LLM 应用实战：客服整合与真实模型验证｜课后复习
把今天的能力放回订单中心
请打开订单中心复现：核对订单金额和状态，然后停止客服服务，确认订单查询仍可使用。模型自主选择工具仍在 D04 实验中单独验证。
复盘三个问题：浏览器为什么只传订单编号、不传价格？为什么历史回答不能覆盖刚查询的订单状态？独立聊天页面能回答问题，为什么还不足以证明完成商城集成？
回答要点：事实由后台重新读取；历史仅提供语境；嵌入式交付还要验证原页面入口、身份边界、异常隔离和返回订单操作。结合跨周项目导航解释，不把离线通过写成真实服务验收。
课程名称：LLM 应用实战：客服整合与真实模型验证｜项目任务：商城内嵌单轮 AI 客服入口｜编号：W04-D05
看图复述：输入经过 Provider/Prompt、Schema（数据结构约束）、控制器和 API（应用程序接口）；每层都有错误终点和证据，最后再判断 Learning（学习）、Portfolio（作品集） 与 Release（发布） 状态。
本周能力链
Provider 与证据边界
→ Prompt 候选契约
→ 严格对象与有限修复
→ 确定性筛选 / 只读工具
→ 固定评测 / 独立变式 / 同案优化与质量回归 / 交接风险怎么防、怎么发现、怎么处理、怎么复验
| 风险 | 提前预防 | 怎样发现 | 怎样处理 | 怎样复验 |
|---|---|---|---|---|
| 所有失败都改 Prompt（提示词） | 冻结分层表 | trace（执行轨迹） 显示后层错误 | 修改根因最接近层 | 单例 + 全量回归 |
| 平均分隐藏坏例 | 逐案 artifact（交付产物） | 报告无失败详情 | 补齐 case_id/层级 | 随机抽案可复现 |
| Mock（模拟替身） 冒充作品 | Gate（验收门槛） 独立状态 | 无你真实的 request_id/HTTP | 改 Pending（待验证） 并补验 | 你现场重跑 |
| 项目声明越界 | 证据到声明映射 | 写鉴权/算法/转化 | 改成真实贡献 | 答辩逐项核对 |
| 更快却答错 | 固定业务断言和评测集 | JSON（结构化数据交换格式） 截断、事实遗漏或工具越界 | 回滚唯一修改并保留失败候选 | 原案例和全量评测一起重跑 |
| 缓存费用算少了 | 记录命中/未命中/输出费率 | 只有两个费率却有缓存命中 | 分项重算，缺费率不猜免费 | 对照 Provider（服务提供方） usage（用量） 和当期价格卡 |
自测
- 一条客服答案错误时，按什么顺序定位？
- 为什么固定评测全绿不能外推真实转化？
- 哪些资产交 W05，哪些不能交？
- 你拒绝过哪项 AI（人工智能） 修改，证据是什么？
面试考点与面试题
考点：LLM（大语言模型） 应用分层、端到端 trace、评测集、真实证据、故障定位和项目声明边界。
- 客服回答错误时，怎样区分 Prompt、Schema、工具和 API 问题？
- 为什么固定评测通过不能证明真实销售转化？
- 怎样证明模型回答里的商品事实来自 Commerce（商城业务） API？
- 如果真实模型通过而真实本地 API 失败，作品集应该怎样描述？
给 W05 的真实起点
W05 可依赖单轮结构化输出、只读工具边界、固定筛选、评测/Bad Case、遥测和 Evidence（验证证据） 状态。W05 不能假设已会 Conversation（会话）、状态隔离、流式、取消/断流，也不能把 W04 Pending 改成 Passed（通过）。
和下一周的衔接：交付你可复验的运行证据、失败复盘和稳定合同，供下一周按合同接入。
调用链观测复盘
先指着图说清楚从哪里开始计时、到哪里结束。本例观察一轮模型请求，不把单次 Provider 耗时冒充整个客服流程。再打开自己的 performance_evidence.md，复述：固定案例和版本→保存指标与回答→定位可能的问题→只改一个变量→同案及固定评测复验→接受或回滚。
费用自查。 假设输入 1000 Token（其中缓存命中 200），输出 500；示例费率为未命中输入 2 元/百万、命中输入 1 元/百万、输出 8 元/百万。这是练习数字，不是当期报价。
未命中输入 800 × 2 / 1000000 = 0.0016 元
命中输入 200 × 1 / 1000000 = 0.0002 元
输出 500 × 8 / 1000000 = 0.0040 元
合计 0.0058 元；总 Token 仍为 1000 + 500 = 1500。算成 0.0056 元，漏了命中输入费用；把总 Token 算成 1700，又重复加了缓存部分。若 Provider 没给缓存用量，写缺失并核对合同，不要编一个命中数。
判断练习。 基线质量合格；候选 Token 少了 30%，但 JSON 缺字段。先说决策，再指出你要保留的两个证据。自查应同时出现“回滚”和“候选原输出/校验失败记录”；只说“更便宜了”不算完成。
面试追问。 输入 Token 很高，你先拆哪几部分？下一层追问：删掉重复上下文后，为什么还要用相同案例和固定评测复跑？可接受的解释应包含系统约束、商品事实、用户问题的组成，同案单变量比较，以及结构/事实/工具边界不退化。回答要回到你自己的 diff（代码差异） 和失败候选，不背统一项目结论。
交给 W05 的问题。 单轮里已经识别了重复输入；多轮历史增加后，哪些信息要保留、哪些可以裁剪？这里只带走问题与基线，不假设已会多轮记忆策略。
工程主线：提示词工程阶段复盘
先用同一输入和配置核对提示词质量，再查输入事实、参数校验和工具结果。遇到错误先定位，不能用反复换措辞掩盖接口或数据问题。
自测：怎样证明V2提示词比V1更好，而不是恰好成功一次？ 用你的失败、修改和回归记录回答，再说明相邻工程层负责什么。只背定义不能替代项目解释。