DocTokenLens — 文档 token 消耗分析与优化器

帮你在文档复核和关联分析前预估并削减 token 花费

痛点

项目文档越积越多，每次做方案、计划审核、测试用例和代码实现时 token 消耗还能承受，但一旦需要对大量文档做复核和关联分析，token 消耗就会暴涨。开发者缺少工具来预判哪些文档组合最烧 token、如何裁剪上下文才能省钱又够用。

方案

一个本地优先的 CLI / 桌面工具，在把文档喂给 LLM 之前，先分析文档集合的 token 总量和重复内容，模拟不同上下文组合的消耗，并给出摘要替代、分块引用、去重合并等优化建议。支持与常见 API 的计价对接，输出预估费用。

用户

需要频繁用 LLM 做文档复核、方案审核和知识关联的开发者、PM 和技术写作者

MVP

支持粘贴或指定文件夹导入 Markdown / TXT；用 tiktoken 类库统计 token；展示文档级和段落级 token 热力图；模拟不同上下文窗口组合的成本；给出去重和摘要建议；输出可导出报告

变现

免费版限制月分析次数，Pro 版订阅解锁无限分析和多模型计价（每月 8～12 美元），企业版支持自部署

为何现在

LLM 上下文窗口虽在增大，但文档复核的 token 成本依然是真实痛点，尤其是团队把大量知识库塞进 agent 工作流之后；独立开发者可以基于开源 tokenizer 快速做出精准工具