LLM 应用实战:客服整合与真实模型验证|作业与日验收

课程名称:LLM 应用实战:客服整合与真实模型验证|项目任务:商城内嵌单轮 AI 客服入口|编号:W04-D05

周五交付

  • 完整单轮 pipeline 和固定评测;
  • 失败逐层定位和最小修复;
  • 本人未见表达的期望、红灯、diff、复验;
  • performance_evidence.md:同案基线/候选、单变量 diff、质量回归及回滚反例;
  • Learning Gate(课堂学习验收要求) 证据;
  • Portfolio Evidence 或明确 Pending;
  • W05 交接和现场答辩。

过关条件

  • W04-L-01/L-02 全部固定案例可复验;
  • 正常/失败轨迹状态一致且零副作用;
  • 能把错误定位到正确层;
  • 独立变式完成“期望→失败→修改→复验”;
  • 完成下方必做性能实战检查,能解释一次接受和一次质量失败回滚的判断;
  • 没有硬编码金标或教师答案。

作品集验收要求

  • 学生本人真实模型 request_id/usage/结构输出;
  • 真实模型动作经程序校验后访问本人可运行的真实本地 Commerce API;
  • 至少一条真实商品辅助和一条安全负例;
  • 本人解释模型/程序/上下文/API 边界;
  • 未完成项保持 Pending。

不通过条件

周五新增多轮/RAG/Agent;用 Mock 冒充真实;只报平均分;没有独立变式红灯;作品声明超过真实证据。

必做性能实战检查

这项与固定评测、独立变式一起检查,不能当作可选加餐。Replay/Fixture 可以练习诊断与决策;真实 Portfolio Gate(作品集验收要求) 的本人调用要求不变。

  • 同一案例有 Baseline 与 Candidate;
  • performance_evidence.md 关联输入、模型/配置版本、e2e_latency_ms、input/output/cached Token、费率来源和估算费用;
  • 只修改一个变量,diff 可解释;
  • 商品事实、结构化输出、工具边界与固定评测没有退化;
  • 明确写出 ACCEPT 或 ROLLBACK,保留失败候选。
  • 有一例“更快但答错”的回滚证据;能说明数据来源和计时范围,不把单次调用写成生产 p95;
  • W05 交接能找到基线、决策与尚未解决的问题。

候选没改善或质量退化时,正确回滚体现的是判断能力,不是优化成功。优化成功必须有可比指标改善且质量不退化;真实效果仍需本人真实调用证据,缺少时保持 Pending。

配套学习资料