Agent Skill 使用追踪器
帮平台方追踪 Agent 到底有没有用你发布的 skill
- 痛点
- 不少 SaaS 和 API 平台都会发布 agent skill,但作者完全不知道这些 skill 在真实用户环境里到底有没有被调用。像有人在 HN 上直接问:agent skill 发布出去了,怎么衡量它在真实场景下被使用的频率?比如 agent 有多大比例绕过 skill 去网页搜索、安装的 skill 多久才真正被触发、哪个 skill 从不工作。目前团队只有理想条件下的 eval,没有真实运行时行为,收入直接受此影响却看不到。
- 方案
- 提供一个轻量 SDK / 代理端点,接入 skill 的 MCP 或调用链即可埋点,记录 skill 是否被调用、被哪类 agent 调用、是否发生 fallback、用时与成功与否。后台按 skill 和 agent 版本展示触发率、绕过率、失效原因,并支持导出。不收集用户隐私文本,只埋结构化 hook。
- 用户
- 发布 agent skill 的 SaaS 平台、API 公司、独立 agent 开发者、企业平台团队
- MVP
- 支持一个主流 agent 协议(如 MCP)的 skill 埋点钩子;记录调用/跳过/fallback 三类事件;做一张按 skill 维度的触发率看板;提供一句话接入文档和 npm 包;支持导出 CSV 给团队做周报。
- 变现
- 按调用量订阅(事件数计费)+ 团队版看板席位费,独立开发者可按月免费加简单付费解锁。
- 为何现在
- 近一年 agent 协议(MCP 等)开始普及,各平台都在铺 skill,但配套运行时可观测性几乎空白,而 agent 数量又在快速增长,先做埋点标准比做模型本身更容易落地。