LocalLLM GPU 调度器

让多个本地 LLM 服务共享一块 GPU 的轻量调度器

痛点

HN 上有人展示 GridCore，解决多个本地 LLM 同时运行争抢 GPU 的问题。许多开发者在家用服务器或单卡机器上跑多个模型（如编码助手、语音转写、聊天），但缺乏简单工具来排队、分配显存和避免 OOM。

方案

提供一个轻量级调度器，用户声明各模型的显存需求与优先级，调度器动态加载/卸载模型，按请求路由到可用实例，并暴露统一的 OpenAI 兼容 API。支持监控与超额订阅。

用户

拥有单张消费级 GPU 的开发者、家庭实验室用户、小团队内部 AI 服务。

MVP

监听多个模型服务端口；根据显存和优先级排队请求；自动启动/停止模型进程；简单 Web UI 显示 GPU 使用；OpenAI 兼容代理。

变现

开源核心 + 付费 Pro 版（多 GPU 支持、高级调度策略、团队管理）。

为何现在

本地 LLM 流行，但单卡用户常因显存不足无法同时运行多个模型，缺乏简单调度方案。