从模型调用到业务成本
今天的接口成功,企业的问题解决了吗
客户问“这笔订单能退吗”,模型回答流畅,却没看到订单状态和政策版本。 我先把问题分开:指令不清补提示词;缺企业文档用检索;缺实时事实查API(应用程序接口);需要写入则检查授权、审批和执行结果。 后面几周会逐步补这些能力,今天不提前实现全部系统。
| 周次 | 新出现的问题 | 工程增量 |
|---|---|---|
| W04 | 理解错、字段乱、事实靠猜 | 提示词、结构校验、只读接口 |
| W05 | 多轮遗忘、取消后仍输出 | 会话状态、上下文和流式控制 |
| W06 | 企业资料缺失或读错 | 解析、检索、引用与拒答 |
| W07 | 任务重复执行或越界 | 受控工具、预算与人工审批 |
| W08 | 中途失败后无法接着做 | 确定性工作流、持久化和恢复 |
这些是提示词工程、上下文工程与运行控制工程逐步补齐的能力,不是简单换一个更强模型。
先看清钱花在哪
一次业务任务可能有多次模型请求。用户只问了一次,不代表只收费一次。 先在当前演示中观察输入/输出Token(词元)、耗时、请求状态和模型版本;重试也保留。 不要用“一个汉字等于一个Token”估计账单。费用按当次Provider(服务商)的实际计费规则核对;未知费用保留待核,不填0。
优化要同时看质量
比较同一问题、相同数据和验收口径。精简重复说明后重跑反例:省了Token却漏掉退款边界,就是退步。 提示词中的示例数量、输出长度、无意义重试都可以检查;不能为了省钱删掉必要事实或安全条件。 W08按业务任务汇总;W12再比较含人工复核的总流程。学生默认DeepSeek,接口适配仍可替换,不为练习购买额外服务。
回到企业决策
榜单、模型规模只是参考;先确定任务质量、数据范围、延迟、费用和失败处理。 远端API、本地与混合部署分别有不同成本和责任,不承诺某种方式永远最好。 预习中的“调用成功为何还会失败”:HTTP成功只说明传输/服务响应,结构合法和业务正确还要分别验证。 复习追问:为什么保留失败请求?为什么省Token后仍要跑旧例?请用自己的日志回答。