PelicanBench – 模型能力纵向对比与复现基准站
用同一提示词跨模型、跨思考档位、跨工具跑基准,保存源码而不是截图
- 痛点
- 大家用『鹈鹕骑自行车』这类题目测试模型是否降智,但往往截图发完就没了。同一个模型换一个思考档位、换一个工具,跑出来的差别很大,事后想对比却找不回原件,现有讨论也无法回收成可复现的数据。
- 方案
- 把每次测试的提示词、模型、思考档位、工具链和原始 SVG/HTML 源码一起入库,形成可筛选、可对比的纵向基准。动画作品放在独立沙盒子域运行以避免脚本污染,支持生成对比页并分享。
- 用户
- AI 重度用户、模型评测爱好者、需要选型的工程团队、内容创作者
- MVP
- 上传表单保存提示词+源码+模型+档位;按模型/档位筛选与并排对比视图;SVG 用 img 标签安全渲染、动画走沙盒子域;每份作品生成可分享对比链接;公开排行榜和最新提交流。
- 变现
- 免费公开浏览;订阅提供私有基准集、多模型自动重跑、导出对比报告;与模型厂商或工具商做赞助位
- 为何现在
- 模型降智讨论持续升温,但社区缺少结构化留存;现有做法是截图,谁先做成『可复现基准库』谁就能沉淀数据,且完全可由小团队做出。
来源讨论 · 1
- V2EX[分享创造] 做了一个鹈鹕骑自行车的小站,欢迎各位指正0↑ 2