批量评分推理的即插即用服务

给不做 ML 基础设施的团队一个开箱即用的批量打分/决策推理服务

痛点

开发者常需要一次性对上万条记录跑打分或规则判定（反作弊、线索评分、内容分级），但自建推理服务涉及模型加载、批处理、并发与显存管理，重活多；有人干脆做了 Spinf-serve 这样的小型推理服务来填这个空。而新项目在选型和后端数据库上也普遍缺少可参照的轻量方案。

方案

提供单二进制或 Docker 即可跑的批量推理守护进程：读取 CSV/JSON 或数据库表，按任务配置调用模型或规则，输出结果写回；自带分批、重试、进度与结果校验。面向中小数据量场景，不追求训练能力。

用户

需要给业务数据批量打分的 SaaS 团队、数据工程师、独立后端开发者

MVP

单容器部署；支持 CSV/JSON 输入输出；模型加载与批处理调度；进度与失败重试；一个示例打分场景

变现

开源核心 + 托管版按处理条数计费，或企业版买断含部署支持

为何现在

AI 应用进入落地阶段，批量打分比在线对话更常见却缺少轻量方案；单人可在数周内做出可运行 MVP