模型降智追踪器

自动检测并预警各家 AI 模型的能力退化，让重度用户不再被悄悄降智

痛点

很多开发者发现模型会不定期被「降智」——同一提示词旧版本回答得更好，新版却敷衍。有开发者已开始做 nerftracker 这类监控，说明这是个真实且反复出现的焦虑，但当前大多靠人工体感。用户需要的是一个客观、自动、可回溯的降智记录。

方案

用户注册后选择要监控的模型与任务，产品每天用固定基准提示词集（代码、翻译、推理、长上下文、拒答率）跑一批回归测试，生成能力曲线，一旦超过阈值就邮件/短信告警。同时保留每次原始输出，方便对比与截图取证。

用户

重度依赖 Claude Code / Codex / 各类 API 的开发者、AI 应用创业者，以及需要给客户解释模型表现波动的团队

MVP

用 30～50 条覆盖常见任务的高质量基准提示词；支持接入 3～5 家主流模型 API；每日定时跑批与曲线图；退化超阈值发邮件；历史输出可查看可导出。

变现

按监控模型数量与频率订阅（9～29 美元/月），重度用户升级到带 API 与历史导出套餐；也可对开源社区提供只读公共看板作为引流

为何现在

模型静默更新越来越频繁，用户的体感下降缺少客观证据；大厂不会主动做这类透明度工具，正好留给独立开发者。技术上只需定时任务和简单统计，几周可上线。