本地 LLM 性能试驾:买硬件前先跑个分
在购买硬件前,在线体验不同本地 LLM 的真实运行速度
- 痛点
- Hacker News 上有人发布 Llmspeed,让用户在购买硬件前感受本地 LLM 的运行速度。这反映出用户在选择本地大模型硬件时,缺乏直观的性能参考,容易买错配置。
- 方案
- 一个网站,用户选择模型和硬件配置(或上传自己的跑分数据),系统展示 token 生成速度、内存占用等关键指标,并允许用户对比不同组合,所有数据来自社区众包。
- 用户
- 本地 LLM 爱好者、开发者、小型工作室,计划购买硬件运行开源模型。
- MVP
- 预置常见模型和硬件配置组合;展示速度/内存对比图表;允许用户提交自己的跑分结果;按模型或硬件筛选和排序。
- 变现
- 免费浏览,付费获取详细基准报告或硬件推荐联盟链接。
- 为何现在
- 本地 LLM 硬件选择多样且信息分散,社区众包数据可快速形成价值,独立开发者可低成本启动。