LLM 成本归因器
给 B2B 团队的 LLM 账单按功能、团队和意图归因,自动给出降本动作
- 痛点
- 很多团队用 LLM 做客服机器人和内部 agent 后,token 用量涨了,但账单涨得更快,而账单上只有模型名和总金额,看不出是哪个功能、哪个团队、哪类意图把钱烧掉了。想省却不知道该先换小模型还是先加缓存。
- 方案
- 部署一个轻量网关或 SDK,在每次调用上记录功能标签、团队、意图和模型,聚合成成本归因报表;对高频相似系统提示给出缓存建议,对简单意图给出换用便宜模型的建议,并模拟省钱效果。
- 用户
- 使用 LLM 做客服、内部工具或 agent 的中小 B2B 团队和独立 SaaS 开发者。
- MVP
- 支持主流模型 API 的代理层;按功能、团队、意图打标签;成本趋势与 Top 消耗源看板;相似提示聚类并给出缓存建议;换模型省钱模拟器。
- 变现
- 按调用量计费的 SaaS 订阅,或自托管 license 年费;免费版限制调用量。
- 为何现在
- LLM 从实验走向生产后,成本控制成为真实预算问题,而现有可观测工具偏工程师视角,缺少面向小团队的归因与行动建议。