AI 指令漂移检测器
自动探测同一提示词在不同时间/模型下的行为漂移
- 痛点
- 用户抱怨同一个付费账号、同一个模型,今天惊艳明天发狂,按菜谱做菜却倒进地沟油、输出完全偏离指令,让人怀疑是不是被偷偷路由到了旧模型或版本。开发者缺乏一个独立工具来量化「这个模型今天是不是变蠢了」,只能凭感觉和社区吐槽。
- 方案
- 一个轻量的提示词回归测试工具:用户保存一组关键提示词和期望输出样例,工具定时(或手动触发)通过自己的 API key 调用目标模型,对比输出是否发生语义漂移、指令遵循度下降或格式异常,并给出可视化趋势与告警。支持多模型横向对比,帮助用户确认是否被路由到不同版本。
- 用户
- 依赖 LLM API 的独立开发者、Prompt 工程师、AI 产品团队、重度个人用户
- MVP
- 保存提示词集与期望输出;手动/定时调用目标模型并记录结果;用轻量评分(指令遵循、格式、相似度)标出漂移;提供趋势图和邮件/webhook 告警;支持多模型并排对比
- 变现
- 免费版限制提示词数量和检测频率;订阅解锁更多提示词集、定时检测、历史保留和多渠道告警;团队版支持共享提示词库和审计日志
- 为何现在
- 模型版本频繁更新且暗地路由不透明,用户对「降智」的抱怨越来越多。一个独立、可自托管的漂移检测器能建立信任,且无需训练模型,只需调用 API 和做轻量评估。