Developer ToolsLocal LLMBenchmarkAI

LLM 本地部署选型助手

根据你的显存和任务,告诉你哪个本地小模型真的能用

痛点
开发者在 24GB 显存等消费级硬件上想跑代码小模型,但面对 Qwen3-Coder-30B、DeepSeek-Coder-V2-Lite 等众多选项,不知道哪个实际效果最好、哪种量化最适合自己的场景。
方案
一个本地基准测试工具,自动检测硬件配置,在用户机器上对候选模型跑一组代码任务(补全、解释、重构),生成可比较的效果与速度报告,并给出推荐。
用户
拥有消费级 GPU 的个人开发者、小团队技术选型者
MVP
自动检测 GPU 显存和内存;内置 10 个典型代码任务;支持 3-5 个主流小模型的量化版本;输出任务通过率和 tokens/秒对比表;一键分享报告。
变现
开源核心,付费提供云同步历史报告、团队共享排行榜和定期更新的模型兼容性数据库。
为何现在
本地小模型生态爆发,但选型信息碎片化,且云端评测无法反映个人硬件真实表现,这正是独立开发者能填补的缝隙。

来源讨论 · 1

  1. V2EX[问与答] 有什么本地部署好使的写代码小模型吗? 24GB 显存玩玩那种
← 返回列表