FlakyAgent 状态可复现回归台
给有记忆和账号状态的外部 AI 助手做可重复的 CI 回归测试
- 痛点
- 团队在给带记忆、有账号状态的专有助手(如各类客服/销售 agent)写 MCP 或 API 集成时,测试极难复现:同一个提问,因为历史记忆和账号状态不同,回答每次都不一样,无法在 CI 里稳定断言。自建的调试脚本散落各处,回归靠人肉点。
- 方案
- 一个面向 agent 消费方的测试工具:录制并快照会话状态与记忆,允许在每次运行前把环境重置到某个确定性状态,从而获得可重复的输入输出对比;支持把断言写成 CI 任务,失败时展示状态差异。
- 用户
- 正在集成第三方 AI 助手或自研 agent、需要对行为做回归保障的 3~20 人工程团队
- MVP
- 录制一次交互并保存状态快照;一键回放到固定状态再重跑;对输出做结构化 diff 与断言;命令行 + GitHub Action 一行接入;失败时输出状态差异报告
- 变现
- 按项目/并发数的订阅制,开源 CLI + 付费的云端快照存储与团队协作看板
- 为何现在
- agent 正从 demo 进入生产,记忆和状态让传统单测失效,但大厂工具都聚焦造 agent 而非测 agent,这个缝隙正适合独立开发者