Agent 技能评测台

让开发者像跑单元测试一样系统评测 AI agent 技能的效果

痛点

越来越多人在构建带自定义 skill 的 AI agent，但技能好不好用全靠读 SKILL.md 再手动试几次，没有可重复的评测方法；一旦 skill 更新或换模型，行为会不会退化也无人知晓。

方案

提供一个轻量评测框架：给每个技能定义一组输入样例和期望行为，一键批量运行并生成通过率与差异报告，支持版本对比和模型切换对比。

用户

独立开发者、小型 AI 团队、正在把 agent 投入生产的工程师

MVP

用 YAML 定义测试用例；支持接入 OpenAI/Claude 等主流 API；批量执行并输出通过率；记录每次运行的版本与模型；简单的网页结果面板

变现

开源核心 + 托管版订阅（按运行次数或团队席位）；企业版支持私有部署

为何现在

agent 技能生态刚起步，评测是明显的空白，而且不需要海量数据，一个人就能覆盖核心场景