LLM API 开发:把大模型接入智能客服|课前预习

失败分类与有界重试

业务问题:查订单超时与创建工单超时,能否都再做一次?

技术问题:SDK 和外层都重试三次会怎样?如何让总时间和取消真正生效?保留预测,课堂用反例核对。

课堂核对入口:失败分类与有界重试。

业务观察:带着问题进入课堂

用户只问一次,为什么可能收费多次?HTTP成功为什么不代表业务正确? 先写下你自己的判断和依据,课上讲实战时会对照核对。

本次还要思考:SDK替我们做了什么

同样是调用DeepSeek,手写HTTP(超文本传输协议)和安装openai客户端有什么关系?如果客户端会自动重试,会不会影响调用预算或业务执行?先写下你自己的判断,课上再跑一遍对照。

课程名称:LLM API 开发:把大模型接入智能客服|项目任务:商城客服模型接入层|编号:W04-D01

第一部分:业务知识

选择一个国内电商平台,观察商品页或商城首页里的客服入口。不要登录,不提交真实订单号、手机号或地址。

记录:

  • 客服入口位于商品页、订单页还是全站悬浮区域;
  • 用户提出商品问题时,回答里哪些内容必须来自当前商城;
  • 当客服无法核对价格或库存时,产品怎样提示;
  • 人工客服、机器人客服和商品页面各自承担什么;
  • 如果模型服务中断,商城核心功能是否应该继续可用。

画一张“商城页面—客服入口—商品系统”的关系草图。课堂会用它判断 W04 应新增在哪里。

再想一个企业问题:公司已有普通应用服务器,准备先试点客服,是否必须先买显卡?写下你还需要询问的条件,不急着给采购建议。

第二部分:技术相关

客服团队要处理“预算 500 元以内,想要通勤耳机”。今天不推荐商品,也不查询订单;只建设一个可替换、可诊断、能诚实记录证据的模型入口。

模型究竟运行在哪里

没有高端显卡的电脑为什么也能调用 DeepSeek?安装 OpenAI SDK 后,模型是否就装在本机?如果后续要在企业内部部署,谁要负责哪些新增工作?

保留自己的判断,课堂在我的电脑没有高端显卡,模型在哪里运行中用请求链路解答。

先独立判断

  1. 聊天网页能回答,为什么不等于你的 Python 程序已经接入模型 API(应用程序接口)?
  2. HTTP 200、模型输出自然、业务事实正确,这三件事是同一层证据吗?
  3. Key、Base URL、Model(模型) ID 各自错误时,你预计会看到什么?
  4. 401、429、503 哪些值得自动重试?请写出理由和停止条件。
  5. Replay(回放) 固定返回 replay-d01-001,它能证明 Adapter(适配器) 哪些行为?不能证明什么?
  6. 证据日志为什么要保留 request_id、usage(用量)、latency(耗时) 和模型标识,却不能保存 Key?
  7. 自费真实调用时,怎样控制无意义批量调用和成本失控?
  8. 如果真实调用失败,怎样继续完成 Learning Gate(课堂学习验收要求),又不把作品集证据写成 Passed(通过)?
  9. 让 AI(人工智能) 一次生成完整 Adapter 有什么风险?你准备怎样看 diff(代码差异)、注入错误并复验?

把答案写入自己的 notes/d01_prediction.md。保留原始判断,课堂会用 Replay、错误轨迹和你真实的调用逐项验证。

第三部分:课前环境准备

先按 每周 Python 虚拟环境与依赖安装手册 建立 W04 .venv 并安装冻结依赖,再阅读 模型 API 账号与 Key 安全配置手册 与 DeepSeek API 优先使用与课堂配置规范。真实调用默认使用学生你 DeepSeek API;账号、Key、费用由自己管理,课前不在群里提交 Key。没有真实 Key 仍可用 Replay 进入课堂,Portfolio(作品集) Evidence(验证证据) 保持 Pending(待验证)。

入口

课堂讲解后,可用本课预习问题解答核对自己的判断。

行业实践选读

相同系统提示词重复发送,缓存命中是否等于复用了上次答案?

先提出自己的判断,不要求额外安装工具或调用付费 API(应用程序编程接口)。课堂会在缓存命中以后,模型是不是不用回答了中解答。

配套学习资料