LLM 行为漂移监测哨兵

持续监控同一模型 API 的输出质量变化，在降智时第一时间告警

痛点

很多开发者依赖闭源模型 API 但无法感知其行为变化，直到用户反馈或自己发现才意识到模型被削弱了。社区里出现大量用户报告同一模型版本在几周内质量明显下降，却没有客观的持续监测手段，只能靠主观感受和零散提交的复现案例。

方案

用户定义一组关键提示词与期望行为（如遵循格式、拒绝范围、推理准确度），产品每日/每次模型发布后自动重跑同一批基准提示，对比历史输出并给出漂移分数与差异高亮。发现异常时推送告警，并保留随时间变化的趋势图。

用户

依赖第三方 LLM API 的独立开发者、小型 AI 产品团队、AI 应用运维人员

MVP

内置 20～50 条常用基准提示模板；每日定时调用指定模型并记录输出与指标；输出漂移分数的历史趋势图；质量指标显著下降时发送邮件/webhook 告警

变现

按监控模型数量与调用频率订阅收费；免费版限一条监控与每周一次检测，付费版支持多模型与每日检测

为何现在

闭源模型频繁更新且缺乏稳定承诺，开发者对其输出质量的可观测性需求正在快速上升，而大厂不会提供跨模型的第三方监测工具