AI本地部署硬件开发者工具

RigCheck 本地模型适配检查器

根据真实文件大小和 KV cache 判断你的显卡或 Mac 能否跑新模型

痛点
每次新开源模型出现,社区常按参数量×位数估算显存,结果与真实需求差距很大,导致下载后跑不起来。现有信息零散且缺乏可信来源。
方案
为每个模型提供检查器,使用仓库真实文件大小,按 llama.cpp 分配方式逐层计算 KV cache(含滑动窗口层、线性注意力层等),再与设备可用显存/内存比较;每个数字标注来源类型(官方/社区/估算/实测)。
用户
本地部署开源大模型的开发者、AI 爱好者、小型研究团队
MVP
支持主流开源模型和常见显卡/Mac 内存配置;输入模型和设备后输出能否运行及所需显存/内存;每个数字标注来源;提供按显卡、Mac 内存、显存档位浏览的页面
变现
免费基础查询,付费订阅获取高级筛选、批量对比和实测数据报告;可与云 GPU 租赁联盟推广
为何现在
开源模型迭代极快,本地运行需求旺盛,但准确评估工具稀缺,独立开发者可依靠实测数据建立壁垒。

来源讨论 · 1

  1. V2EX[分享创造] RigCheck:查你的显卡 / Mac 能不能本地跑新出的开源模型,数字都有来源,还自己租卡实测了 24 次
← 返回列表