AI开发者工具评测效率

SceneBoard — 多 Agent 编码会话横向对比台

把同一任务分发给多家编码 Agent,并排对比结果与成本,帮开发者决定该用哪个模型

痛点
开发者手头同时用 Codex、Claude Code、GLM、Grok 等多个编码 Agent,但很难判断某个任务该交给谁,只能靠零散体感和偶发对比,缺乏系统化的横向评测方式。
方案
做一个本地对比工作台:用户定义一个编码任务(带仓库快照或最小复现),工具并行分发给多个 Agent,收集输出、diff、耗时和 token 成本,生成并排对比视图与评分,让开发者基于证据选择模型和套餐。
用户
同时订阅多个 AI 编码套餐的开发者、正在评估降级方案的团队、以及写模型对比内容的技术博主。
MVP
支持配置多家 Agent 的 CLI 或 API;在隔离目录中对同一任务并行运行;采集 diff、耗时和 token 消耗;生成并排对比报告;结果本地保存可导出。
变现
免费版限制并行 Agent 数量,付费解锁更多席位和报告导出;也可通过联盟链接变现模型订阅。
为何现在
多模型混用已是常态,但横向对比仍靠人工零散进行,一个轻量评测台能直接切中选型焦虑。

来源讨论 · 4

  1. V2EX[问与答] cursor grok 额度0↑ 8
  2. V2EX[程序员] 基于机密计算的 LLM 推理商
  3. V2EX[程序员] 让多家前沿 agent 互打《星际争霸:母巢之战》0↑ 8
  4. V2EX[程序员] 做了个不同模型醍醐骑车的对比, fable5.1 是真的各项拉满,但是预算有限,在考虑剩下的哪个好0↑ 4
← 返回列表