GrokNerf：模型质量滑坡监测器

给重度依赖某个模型的开发者提供跨版本质量回归预警

痛点

开发者长期把某个模型当默认选项，最近一周明显感觉它变笨、答非所问，却拿不出证据，只能在论坛里问『是不是被削弱了』。模型厂商悄悄调参或降级，用户的判断全凭感觉，出问题时已经耽误了工作。

方案

让用户订阅一组固定评测集（自己的 prompt + 期望输出标准），定时调用指定模型并自动打分，出现显著下滑时推送告警；同时横向对比同价位模型，给出『该不该换』的建议。核心是自建私有 benchmark 的自动化流水线。

用户

每天用 AI 编程/写作的重度用户、依赖单一模型的小团队

MVP

用户上传 10~50 条代表性 prompt 与评分规则；每日定时跑一轮并记录分数曲线；支持多模型并列对比；分数跌破阈值时邮件/飞书通知；提供一键导出换模型对照报告

变现

订阅制，按 prompt 数量和模型数分级；免费版只允许 1 个模型和每周一次跑分

为何现在

模型迭代节奏越来越快、降级频繁，用户对『我的工具悄悄变差了』高度敏感；独立开发者可复用现成 API，无需自研模型