团队估算AI成本时,通常会把调用次数乘以模型单价。这个算法适合粗略预算,却容易忽略任务在系统里走过的完整路径。一次客服答复可能先检索资料,再调用模型判断意图,随后生成文字,失败后还会重试。

如果答案最后需要人工大幅修改,低廉的模型调用也没有带来低成本。

按完成的任务记账

成本单位应尽量靠近业务结果,例如完成一张工单、审核一份合同或整理一次会议。这样才能比较不同方案,并发现费用究竟集中在哪个步骤。

日志需要记录模型版本、输入长度、检索次数、工具调用和重试原因。没有这些信息,账单上涨时只能看到总数,找不到具体问题。

便宜的调用不一定组成便宜的任务,少一次无效重试往往更直接。

给不同任务分配不同能力

并非所有步骤都需要最强模型。分类、格式转换和固定字段提取,可以先用轻量方案;只有涉及复杂判断时再调用能力更高的模型。

输入也需要克制。把全部资料放进上下文很方便,却会增加费用和噪声。检索环节应优先找到相关片段,同时保留遗漏时的补充路径。

成本优化不能破坏结果

压缩输入、减少重试和切换模型之后,必须重新跑业务评测。成本下降但错误转移到人工端,只是把支出换了一个科目。

较稳妥的看法是同时观察单任务成本、完成率和人工修正时间。三者一起变化,团队才知道优化是否真的成立。