LLM 应用实战:客服整合与真实模型验证|课前预习
课程名称:LLM 应用实战:客服整合与真实模型验证|项目任务:商城内嵌单轮 AI 客服入口|编号:W04-D05
第一部分:业务知识
站在商城产品负责人的角度,设计一条真实验收旅程:
- 用户从哪里打开客服;
- 他先问什么;
- 哪些商品事实必须展示;
- 哪些信息不足时要继续澄清;
- 哪种失败必须明确提示;
- 哪个结果可以转人工;
- 哪些结论绝不能写成“提升转化率”。
再想一个真实问题:两版客服都能回答,第一版等待较久,第二版更快却偶尔漏掉商品限制。负责人应该直接选第二版吗?带着一条你自己遇到过的“慢、啰嗦或答漏了”的客服回答,写下你想先核对的事实。
第二部分:技术相关
客服负责人要验收单轮能力:商品辅助、订单查询、缺信息澄清、人工/未知、坏结构、未知工具、写请求、上下文不一致和 Provider/API 故障。任何一层失败都可能表现为“客服答错”。
先判断
- 调用成功、结构合格、事实正确、任务完成、作品可宣称,为什么是五个门?
- 一条答案错了,怎样区分 Provider(服务提供方)、Prompt(提示词)、Schema(数据结构约束)、筛选器、控制器、工具和 API(应用程序接口)?
- 只报告平均通过率会隐藏什么?
- 固定评测全绿能证明真实业务转化吗?
- 未见表达应该先写期望,还是先让 AI(人工智能) 改代码?
- 真实模型通过但本地 API 未跑,Portfolio(作品集) Gate(验收门槛) 是什么状态?
- 教师真实调用、同伴截图和 Replay(回放) 为什么不能证明你完成?
- W05 可以继承哪些合同,不能继承哪些答案或能力假设?
- 作品说明为什么必须主动写“没有真实鉴权/推荐算法/转化证明”?
- D01 已记录耗时和 Token(词元)。要证明一次修改有效,哪些输入、配置和评价标准应保持不变?
- 输入里有重复要求时,你会先删哪一段?删掉后怎么发现回答变差了?缓存命中的 Token 能直接不计费吗?
今天不加新框架。保留判断,课堂全部用 D01-D04 现有产物验证。
入口
课堂讲解后,可用本课预习问题解答核对自己的判断。
工程主线:提示词工程阶段复盘
怎样证明V2提示词比V1更好,而不是恰好成功一次? 请先写判断与理由,课堂“工程定位”和阶段收口会结合项目回答。