Agent 回归对比台

在不花大钱调 LLM 评委的情况下，对比 prompt/工具链改动前后 Agent 的表现

痛点

做金融等垂直 Agent 的团队发现，离线评测覆盖不了真实用户提问，而用 LLM 评委跑全量流量太贵，只能抽小样本，导致一些回归问题漏到生产。改一次 harness 就不知道是变好还是变坏，只能凭感觉。

方案

一个轻量的发布健康检查工具：记录每次 prompt、工具、模型配置的变更，自动在生产/影子流量上采样对比新旧版本的输出与关键指标，用确定性规则（结构化差异、字段命中、错误码）代替 LLM 评委做初筛，只把可疑样本丢给人看。

用户

做垂直 AI Agent 的 1～10 人产品团队、独立 AI 工程师

MVP

接入一份变更配置并打版本快照；支持导入/旁路采样真实请求日志；用规则对比新旧输出差异并高亮；生成一次变更的回归报告；一条命令/一个 webhook 完成记录

变现

按项目/请求量订阅，免费版每月 N 次对比，付费版放开采样量与历史保留

为何现在

Agent 进入生产阶段后，团队都在为「改一处坏一处」头疼，而 LLM 评委成本高这一痛点正被反复提及