LLM 应用实战：客服整合与真实模型验证｜学员任务书
今天的项目交付入口
最终操作入口是 W03 订单中心中的“智能客服／咨询此订单”，并保留原订单功能。核对订单金额和状态，然后停止客服服务，确认订单查询仍可使用。模型自主选择工具仍在 D04 实验中单独验证。
提交一次从订单页面开始、关闭客服后回到订单页面的操作记录，同时标注使用的真实服务或离线回放。按跨周项目导航核对数据来源。原有知识点测试与真实模型要求继续执行，接线完成不等于全部通过。
课程名称：LLM 应用实战：客服整合与真实模型验证｜项目任务：商城内嵌单轮 AI 客服入口｜编号：W04-D05
任务与支架
- 自主等级：4，给评测维度和质量红线，不给实现或最终报告。
- 教师提供：冻结合同、W04-L/P 案例、评测/Evidence/交接模板。
- 教师不提供：未见变式答案、完整修复路径和教师完整 pipeline。
先整合已有产物
git status --short
python run_tests.py学生自己的入口可不同，但必须能一条命令跑固定评测。今天不得以“重构方便”为理由加入多轮、流式、RAG、Agent 或写工具。
固定评测
补齐 evaluation_report.md：逐案记录 Evidence 层、期望、实际、失败层、artifact 和状态。Learning 使用 Replay/Fixture；真实项只填你实际结果。
独立变式
- 自拟一条课堂未见客服表达；
- 不看答案，先写期望和不通过条件；
- 加入评测并保存红灯；
- 定位 Provider/Prompt/Schema/筛选器/控制器/工具/API；
- 让 AI 只提议最小修改；
- 审查 diff，记录至少一项接受或拒绝；
- 单例复验并跑全量回归。
必做：调用链观测与优化
- 用 D01 固定输入或当天同一条正常客服案例生成 Baseline：
e2e_latency_ms、input_tokens、output_tokens、cached_tokens、estimated_cost、quality_passed。标明案例、模型、配置版本、计时范围和 Replay/真实来源。 - 判断主要问题更接近“输入过长、输出过长、模型调用慢”还是“暂时没有明显热点”，写出依据。展开输入组成，不能仅凭一条总耗时断定网络或模型内部原因。
- 只改一个变量，例如删除重复上下文、收紧输出边界或复用稳定前缀，再用同一案例和固定评测重跑。保留实际输出、指标与 diff。
- 另保留一例“更快但答错”的回滚判断，解释为什么不能接受。Replay 可以用于此反例，必须标明来源。
- 完成
performance_evidence.md，关联baseline.json、candidate.json、回滚反例和质量回归，写清ACCEPT/ROLLBACK决策及可声称的范围。
不得用“换一个更快模型”替代诊断；不得只交优化后的漂亮数字而删除失败候选。正确识别失败并回滚可以证明你会判断，但不能据此宣称性能已提升。完整操作见调用链观测与优化实战。
Portfolio Evidence
使用 portfolio_evidence.md，只记录脱敏最小字段。真实模型和真实本地 Commerce API 任一没闭环，就保持 Pending。禁止用教师账号、同伴截图或 Replay 补空。
W05 交接
完成 w05_handoff.md：合同版本、Adapter Capability、只读工具、筛选行为、评测/Bad Case、遥测和 Evidence 状态，并关联 performance_evidence.md 的输入组成、优化决策和未解决问题，作为 W05 分析多轮上下文的起点。不得交教师答案或完整实现。
提交
- 单轮 pipeline 与一键评测入口；
- 全部固定案例报告；
- 你还没见变式的期望/红灯/diff/复验；
performance_evidence.md及基线/候选、回滚反例、费用口径和质量回归；- Portfolio Evidence 或 Pending；
- W05 交接；
- 现场答辩与项目声明边界。
工程主线：提示词工程阶段复盘
在原有任务和实验记录中补充：当前工程层、问题原因、修改位置、比较结果及未验证项，不另建项目或重复做一套实验。怎样证明V2提示词比V1更好，而不是恰好成功一次？
优化前先核查评测前置
沿用 D02 已冻结的开发/留出划分与 expected；先得到质量基线，再做单变量性能候选。不得用留出样本反复挑 Prompt；质量或权限红线退步即回滚，未见验证未完成写 Pending。