AgentKV — 面向 Agent 的 KV 缓存控制面板

让开发者在 fork agent、长任务场景下手动管理推理 KV 缓存

痛点

开发者反馈在黑盒推理提供商上无法手动控制 KV 缓存，尤其是 agent swarm 场景下想从同一上下文 fork 多个 agent 时，完全受制于提供商的黑盒缓存策略。这种不可控性对长运行和多分支 agent 工作流来说是很大的效率和成本障碍。

方案

提供一个轻量的推理代理层，支持手动管理 KV 缓存分叉、快照和复用。开发者可以指定从某个上下文分支点创建多个 agent，或让长任务保留关键缓存片段，减少重复计算和 token 消耗。支持对接主流推理 API。

用户

构建 agent swarm、长运行 agent 和 fork-and-merge 工作流的 AI 工程师和独立开发者

MVP

实现一个代理层拦截推理请求；支持缓存分叉标记和复用；提供简单 SDK 和 CLI 用于从指定上下文 fork agent；支持 OpenAI 兼容 API；记录缓存命中和节省估算

变现

按推理请求中转量计费（API 溢价），或对高级企业特性收取订阅费；开源核心代理层吸引社区

为何现在

Agent 工作流正在从单次问答转向长运行、多分支协作，但推理提供商对 KV 缓存的控制仍然封闭；独立开发者比大厂更灵活，可以先做社区驱动的代理层