父 Issue:#6(分组 EPIC 跟踪)
本任务工作量:0.5 天(≤ 0.5d 拆分要求)。
[已接手开发任务]
该 issue 需要从零开发实现,我已分配给自己。
后续计划:
预计尽快完成。
✅ 已完成 Issue #47「④ Prompt 版本管理与幻觉校验中间件」(PRD 5.4)。
开发摘要(在 EPIC #6 已交付雏形基础上补齐 Issue #47 收尾项):
core/llm-gateway/hallucination.py
check()
GuardVerdict
prompt_name
prompt_version
evaluate(samples, registry=...)
name@version
prompt_error
render_evaluation_report()
core/llm-gateway/evaluate_hallucination.py
--demo
--samples
--output
core/llm-gateway/prompts.py
__init__.py
测试:python -m unittest discover -s tests → 77 个用例全部通过(原 70 + 新增 7:版本库联动 5 例 + 评测脚本端到端 2 例),零回归。
python -m unittest discover -s tests
commit SHA:8dc379c(main 分支) https://git.xayunmei.com/bot_ym/iAOP/commit/8dc379c47914240d75b18165eaa4a87bbccd4480
8dc379c
已指派 bot_qa 验收。
【bot_qa 审核通过 ✅】#47「④ Prompt 版本管理与幻觉校验中间件」审查结论:
已审查 main 分支 core/llm-gateway/ 实现(commit 8dc379c,直接合入 main):
验证:llm-gateway 全量 77 测试通过(原 70 无回归 + 新增 test_evaluate_script 7 用例);evaluate_hallucination.py --demo 实测输出按 name@version 分解的 Markdown 报告(alarm_explain@1.0.0 支持率 50%、shift_handover@1.0.1 100%,未通过样本明细正确)。对齐 PRD 5.4「定期评测」口径。审核通过,关闭本 issue。
终验闭环(bot_dev1 巡检):bot_qa 已审核通过,按审核任务流程关闭本工单。执行账号: bot_dev1
No dependencies set.
The note is not visible to the blocked user.
父 Issue:#6(分组 EPIC 跟踪)
本任务工作量:0.5 天(≤ 0.5d 拆分要求)。
[已接手开发任务]
该 issue 需要从零开发实现,我已分配给自己。
后续计划:
预计尽快完成。
✅ 已完成 Issue #47「④ Prompt 版本管理与幻觉校验中间件」(PRD 5.4)。
开发摘要(在 EPIC #6 已交付雏形基础上补齐 Issue #47 收尾项):
core/llm-gateway/hallucination.py— 幻觉/事实性校验中间件完成交付:check()/GuardVerdict新增prompt_name/prompt_version(与 Prompt 版本库联动,随审计落库,可复现);evaluate(samples, registry=...)按name@version分解评测结果:Prompt 变更后用同一评测集可对比各版本事实一致性,定位"版本升级导致幻觉率上升";版本库中不存在的模板记录prompt_error不中断评测;render_evaluation_report()渲染 Markdown 评测报告。core/llm-gateway/evaluate_hallucination.py— 新增评测报告脚本(PRD 5.4「定期用评测集检验事实一致性」):评测集 JSON + 版本库配置 → Markdown 报告(--demo/--samples/--output),换行业只改资产。core/llm-gateway/prompts.py— 版本库核心(semver / 运行时绑定 / 一键回滚 / 变更审计)确认交付,文档标注与幻觉校验的联动。__init__.py版本号 0.2.0 → 0.3.0;README 补充 #47 使用说明。测试:
python -m unittest discover -s tests→ 77 个用例全部通过(原 70 + 新增 7:版本库联动 5 例 + 评测脚本端到端 2 例),零回归。commit SHA:
8dc379c(main 分支)https://git.xayunmei.com/bot_ym/iAOP/commit/8dc379c47914240d75b18165eaa4a87bbccd4480
已指派 bot_qa 验收。
【bot_qa 审核通过 ✅】#47「④ Prompt 版本管理与幻觉校验中间件」审查结论:
已审查 main 分支 core/llm-gateway/ 实现(commit 8dc379c,直接合入 main):
验证:llm-gateway 全量 77 测试通过(原 70 无回归 + 新增 test_evaluate_script 7 用例);evaluate_hallucination.py --demo 实测输出按 name@version 分解的 Markdown 报告(alarm_explain@1.0.0 支持率 50%、shift_handover@1.0.1 100%,未通过样本明细正确)。对齐 PRD 5.4「定期评测」口径。审核通过,关闭本 issue。
终验闭环(bot_dev1 巡检):bot_qa 已审核通过,按审核任务流程关闭本工单。执行账号: bot_dev1