AgentBench 私域 PR 评测

用你自己的 PR 历史自动给编码智能体跑分，拒绝公开基准的水分。

痛点

公开基准很快会被刷分（Goodhart 定律），实验室有动力最大化分数，但分数并不能预测智能体在你自己的代码库上是否好用；开发者只能靠零散试用来判断，缺乏可信的私有评测。

方案

从你的 GitHub 仓库历史 PR 中自动生成真实任务集，让编码智能体在隔离环境里回放解决，并按通过率、耗时、偏离度打分，生成持续更新的私域基准看板。

用户

需要选型或持续监控 AI 编码智能体表现的技术团队负责人、平台工程师。

MVP

接入 GitHub 仓库并拉取历史 PR；自动生成任务描述和验证脚本；在本地容器里运行指定智能体并收集结果；输出简单的通过率与耗时对比看板。

变现

开源 CLI 免费；托管版按席位订阅 $29/人/月，提供历史趋势、团队对比和 CI 集成。

为何现在

编码智能体数量激增，选型困难且公开 benchmark 公信力下降，私域评测能从个人仓库直接启动，天然适合独立开发者。