AI开发者工具测试SaaS

AI 指令漂移检测器

自动探测同一提示词在不同时间/模型下的行为漂移

痛点
用户抱怨同一个付费账号、同一个模型,今天惊艳明天发狂,按菜谱做菜却倒进地沟油、输出完全偏离指令,让人怀疑是不是被偷偷路由到了旧模型或版本。开发者缺乏一个独立工具来量化「这个模型今天是不是变蠢了」,只能凭感觉和社区吐槽。
方案
一个轻量的提示词回归测试工具:用户保存一组关键提示词和期望输出样例,工具定时(或手动触发)通过自己的 API key 调用目标模型,对比输出是否发生语义漂移、指令遵循度下降或格式异常,并给出可视化趋势与告警。支持多模型横向对比,帮助用户确认是否被路由到不同版本。
用户
依赖 LLM API 的独立开发者、Prompt 工程师、AI 产品团队、重度个人用户
MVP
保存提示词集与期望输出;手动/定时调用目标模型并记录结果;用轻量评分(指令遵循、格式、相似度)标出漂移;提供趋势图和邮件/webhook 告警;支持多模型并排对比
变现
免费版限制提示词数量和检测频率;订阅解锁更多提示词集、定时检测、历史保留和多渠道告警;团队版支持共享提示词库和审计日志
为何现在
模型版本频繁更新且暗地路由不透明,用户对「降智」的抱怨越来越多。一个独立、可自托管的漂移检测器能建立信任,且无需训练模型,只需调用 API 和做轻量评估。

来源讨论 · 2

  1. Hacker NewsA repo gained 3,278 stars while GitHub showed Andrej Karpathy as a contributor3↑ 0
  2. V2EX[程序员] GPT-6 是不是最近又降智了0↑ 8
← 返回列表