Index of every page on this site: llms.txt
跳到主要内容

新闻资讯 | Insights

AI Agent 的 Token 成本怎么优化?模型路由、提示词瘦身与缓存策略的企业降本指南

企业 AI 应用试点时账单可控,一上量就失控,问题大多不在模型单价,而在架构。本文面向企业技术与财务负责人,拆解 Token 成本的构成,给出模型分层路由、提示词与上下文瘦身、Prompt 缓存、语义缓存与批处理等可落地的优化手段,并说明如何把成本归因到部门与任务,建立可持续的 AI FinOps 机制。

AI Agent成本优化大模型·

企业引入 AI 的第一年,常见轨迹是:试点阶段每月几千元账单,管理层觉得便宜;业务全面铺开后,账单按季度翻倍,财务开始追问钱花在哪。问题大多不在模型单价——主流模型这两年降价了一个数量级以上——而在架构:所有请求都打给最贵的模型、越来越长的上下文反复全量发送、同样的问题每天回答几百遍。Token 成本优化不是省着用,而是把每一类请求送到成本合理的执行路径上。

1. 先算清账:Token 成本由什么决定

一次模型调用的费用 = 输入 Token × 输入单价 + 输出 Token × 输出单价,再乘以调用次数。三个杠杆里,企业最容易忽视的是输入端:

  • 输出 Token 通常比输入贵 3 到 5 倍,但长输出往往来自"让模型把资料复述一遍"这类可以修剪的指令。
  • 长上下文是成本的主要推手。一个塞了 2 万 Token 制度文档的 RAG 问答,输入成本可能是问题本身的几百倍,而且每问一次就重付一次。
  • 重试与循环调用是隐性消耗。Agent 任务规划不当时,一个用户请求背后可能展开成十几次模型调用,失败重试再翻一倍。

优化的第一步不是换便宜的模型,而是把账单拆开:按场景、按 Agent、按任务统计输入、输出、调用次数和重试率。多数企业拆完会发现,80% 的成本集中在 20% 可优化的请求类型上。这一步依赖可观测基础设施,具体做法可参考AI Agent 可观测性建设中的成本归因部分。

2. 模型分层与路由:别让旗舰模型干体力活

企业 AI 调用里大量是分类、抽取、改写、意图识别、格式转换这类"体力活",并不需要最强的推理能力。合理的架构是三层:

  • 轻量层:开源或低价小模型,承担意图分类、实体抽取、敏感词初筛、简单改写,单价可以是旗舰模型的几十分之一。
  • 主力层:中端模型承担大部分 RAG 问答、文档摘要和常规生成,是日常流量的主力。
  • 专家层:旗舰模型只处理复杂推理、多步骤规划、关键决策和前面两层置信度不足的兜底。

路由器可以先用规则和置信度分数实现,不必一开始就上复杂的调度系统。切换的前提是建立评测集:把历史真实请求按任务类型采样,先在候选模型上离线跑通过率,达标后灰度切流,再全量。关于模型选型与微调的权衡,可参考企业大模型微调选型指南。

3. 提示词与上下文瘦身:输入端是最大的漏点

提示词工程不只影响质量,也直接决定成本。常见的浪费和对应做法:

  • System Prompt 过度堆砌:把几千字的人设、规则、示例塞进每个请求。应定期审计,能放进模型的约束不写在提示词里,能用一条规则说清的不用五条。
  • RAG 召回贪多:默认召回 Top 10 拼进上下文,实际只有 2 条相关。应加重排序、按相关度阈值截断,并把长文档先做摘要再入上下文。
  • 对话历史无限增长:多轮对话每轮都带上全部历史。超过窗口后应做滚动摘要,只保留与当前意图相关的轮次。
  • 工具描述冗长:Agent 场景下几十个工具的 JSON Schema 会占掉数千 Token。应按意图动态加载相关工具,而不是全量挂载。

Anthropic 的工程实践建议把稳定不变的内容放在提示词前部、易变内容放在尾部,这既是缓存命中的前提,也是瘦身时的排序原则。

4. 缓存与批处理:能不算就不算,能攒就攒着算

缓存是投入产出比最高的优化手段,分三层:

  • Prompt 缓存:Anthropic、DeepSeek、OpenAI 等厂商均支持复用请求前缀的 KV Cache。DeepSeek 的磁盘上下文缓存对命中部分按原价约一折计费,Anthropic 的缓存读取同样远低于标准输入价。前提是把制度文档、知识库片段等稳定内容放在前缀,且前缀保持一致。
  • 语义缓存:在应用层把历史问题与答案向量化,新问题语义相似度超过阈值时直接返回缓存结果。客服、制度问答这类高频重复场景,命中率做到 30% 以上并不困难,等于这部分流量零模型成本。需要配套时效与失效策略,知识更新后主动失效相关缓存。
  • 结果与工具缓存:工具调用返回的结构化数据(组织架构、产品目录、汇率)按 TTL 缓存,避免 Agent 每轮都重新查。

另外,对评测、批量打标、离线摘要这类不追求实时的任务,OpenAI Batch API 等批处理通道通常按标准价五折计费,把离线任务从在线流量中剥离出来,是立竿见影的一刀。

5. 把成本管理变成工程制度

技术手段之外,成本失控往往也是管理问题。建议建立三条制度:

  • 成本归因:每次调用记录场景、部门、Agent 版本和任务 ID,月度账单能回答"哪个部门、哪个场景、哪个版本花了钱",而不是只有一个总数。
  • 预算与配额:按部门和场景设月度配额,达到阈值先告警、再降级到便宜模型、最后熔断转人工。Agent 任务设最大步骤数和超时,防止循环调用烧穿预算。
  • 质量门禁:所有以降本为目的的变更——换小模型、砍上下文、加缓存——都必须过评测集回归,防止成本降了、业务质量悄悄劣化。降本与质量应该共用同一套评估流水线。

对数据敏感、调用量大的企业,还可以在总体账中对比私有化部署开源模型的拐点:当月均 Token 消耗稳定超过某一量级,自建推理集群加上私有化部署的综合成本可能低于按量付费,这需要结合硬件、运维和利用率具体测算。

数舵科技如何做 AI 成本优化?

数舵科技在企业 AI 项目交付中,把成本设计前置到架构阶段而非上线后补救:按任务复杂度做模型分层与路由,RAG 管线内置重排序与上下文截断,缓存策略与知识库更新机制联动,并通过统一网关把每次调用的 Token、耗时和费用归因到部门与业务任务。

我们的AI 智能系统解决方案覆盖 AI Agent、RAG 知识库、模型网关与私有化部署,以及与 CRM、ERP、OA、工单等业务系统的集成。对于已有 AI 应用但账单失控的企业,也可以从成本审计切入:两周内输出调用分布、浪费点清单和按优先级排序的优化方案,通常第一期优化即可看到明显账单下降。

写在最后

Token 成本优化的本质,是把 AI 调用当成一种需要精细管理的生产资源:合适的任务用合适的模型,能复用的计算不重复付费,每一笔开销能追溯到具体的业务价值。模型单价仍在持续下降,但上下文长度和 Agent 调用深度在上升,不做架构级优化的企业,账单增速依然会跑赢降价速度。

值得强调的是,降本不能以牺牲质量为代价。评测集、灰度发布和成本归因这三件基础设施,既是质量保障体系,也是成本治理体系——先把它们建好,后续的每一项优化才有衡量标准。

相关解决方案

如果你正在调研这篇文章里的业务问题,可以直接继续查看对应的系统建设方案。
相关文章

AI智能生态系统

适合 AI 知识库、智能客服、智能体、私有化部署和业务流程智能化场景。

常见问题

参考资料