DevToolsAgent可观测性SaaS

Agent Skill 使用追踪器

帮平台方追踪 Agent 到底有没有用你发布的 skill

痛点
不少 SaaS 和 API 平台都会发布 agent skill,但作者完全不知道这些 skill 在真实用户环境里到底有没有被调用。像有人在 HN 上直接问:agent skill 发布出去了,怎么衡量它在真实场景下被使用的频率?比如 agent 有多大比例绕过 skill 去网页搜索、安装的 skill 多久才真正被触发、哪个 skill 从不工作。目前团队只有理想条件下的 eval,没有真实运行时行为,收入直接受此影响却看不到。
方案
提供一个轻量 SDK / 代理端点,接入 skill 的 MCP 或调用链即可埋点,记录 skill 是否被调用、被哪类 agent 调用、是否发生 fallback、用时与成功与否。后台按 skill 和 agent 版本展示触发率、绕过率、失效原因,并支持导出。不收集用户隐私文本,只埋结构化 hook。
用户
发布 agent skill 的 SaaS 平台、API 公司、独立 agent 开发者、企业平台团队
MVP
支持一个主流 agent 协议(如 MCP)的 skill 埋点钩子;记录调用/跳过/fallback 三类事件;做一张按 skill 维度的触发率看板;提供一句话接入文档和 npm 包;支持导出 CSV 给团队做周报。
变现
按调用量订阅(事件数计费)+ 团队版看板席位费,独立开发者可按月免费加简单付费解锁。
为何现在
近一年 agent 协议(MCP 等)开始普及,各平台都在铺 skill,但配套运行时可观测性几乎空白,而 agent 数量又在快速增长,先做埋点标准比做模型本身更容易落地。

来源讨论 · 1

  1. Hacker NewsAsk HN: Has anyone measured how often agents use the skills you ship?1↑ 0
← 返回列表