LocalAgentBench 本地代理基准测试

在本地硬件上对 AI 代理进行真实任务基准测试的工具

痛点

开发者使用本地模型驱动编码代理时，缺乏标准化方法来评估不同模型在真实代理任务（如文件编辑、搜索、多步推理）上的性能，只能凭感觉选择模型。

方案

提供一个本地可运行的基准测试套件，模拟编码代理常见操作（如解析代码库、执行命令、修改文件），记录成功率和资源消耗。核心功能：预置代理任务场景；一键运行本地模型；生成对比报告；支持自定义任务。

用户

本地 LLM 用户、编码代理开发者、评估模型性能的研究者。

MVP

内置 5-10 个代理任务（如查找函数、修复语法错误）；支持通过 API 接入本地模型（Ollama、LM Studio）；输出准确率和耗时；CLI 界面。

变现

开源核心，提供付费云报告和团队协作功能，或捐赠支持。

为何现在

本地模型性能快速提升，但代理任务评测缺失；独立开发者可快速构建基准并建立社区标准。