从模型调用到业务成本

今天的接口成功,企业的问题解决了吗

客户问“这笔订单能退吗”,模型回答流畅,却没看到订单状态和政策版本。 我先把问题分开:指令不清补提示词;缺企业文档用检索;缺实时事实查API(应用程序接口);需要写入则检查授权、审批和执行结果。 后面几周会逐步补这些能力,今天不提前实现全部系统。

周次新出现的问题工程增量
W04理解错、字段乱、事实靠猜提示词、结构校验、只读接口
W05多轮遗忘、取消后仍输出会话状态、上下文和流式控制
W06企业资料缺失或读错解析、检索、引用与拒答
W07任务重复执行或越界受控工具、预算与人工审批
W08中途失败后无法接着做确定性工作流、持久化和恢复

这些是提示词工程、上下文工程与运行控制工程逐步补齐的能力,不是简单换一个更强模型。

先看清钱花在哪

一次业务任务可能有多次模型请求。用户只问了一次,不代表只收费一次。 先在当前演示中观察输入/输出Token(词元)、耗时、请求状态和模型版本;重试也保留。 不要用“一个汉字等于一个Token”估计账单。费用按当次Provider(服务商)的实际计费规则核对;未知费用保留待核,不填0。

优化要同时看质量

比较同一问题、相同数据和验收口径。精简重复说明后重跑反例:省了Token却漏掉退款边界,就是退步。 提示词中的示例数量、输出长度、无意义重试都可以检查;不能为了省钱删掉必要事实或安全条件。 W08按业务任务汇总;W12再比较含人工复核的总流程。学生默认DeepSeek,接口适配仍可替换,不为练习购买额外服务。

回到企业决策

榜单、模型规模只是参考;先确定任务质量、数据范围、延迟、费用和失败处理。 远端API、本地与混合部署分别有不同成本和责任,不承诺某种方式永远最好。 预习中的“调用成功为何还会失败”:HTTP成功只说明传输/服务响应,结构合法和业务正确还要分别验证。 复习追问:为什么保留失败请求?为什么省Token后仍要跑旧例?请用自己的日志回答。