AI 编码代理效能榜单
把不同编码代理在同一仓库任务上的表现变成可对比的分数
- 痛点
- 开发者想知道自己的编码代理到底有没有变强,但只能靠感觉或换模型。有人把仓库清理、加 lint、提供更及时的信息,却不知道怎么衡量这些改进是否有效。
- 方案
- 提供一个本地基准测试工具,从真实仓库中抽一组可验证的小任务(改 bug、加测试、重构),分别让不同代理或不同配置跑,自动记录通过率、耗时、token 消耗和人工介入次数,生成对比报告。
- 用户
- 重度使用 Claude Code、Cursor、Copilot 等编码代理的个人开发者和小团队
- MVP
- 从 Git 历史中抽取近期修复提交生成任务;自动运行指定代理并收集结果;本地可比分的报表;支持自定义评分权重;一键导出分享卡
- 变现
- 免费本地版加付费团队面板和长期趋势跟踪订阅
- 为何现在
- 编码代理正从尝鲜进入日常使用,但缺乏可信的效能度量,独立开发者可以快速做出轻量基准工具