AI测试开发者工具SaaS

FlakyAgent 状态可复现回归台

给有记忆和账号状态的外部 AI 助手做可重复的 CI 回归测试

痛点
团队在给带记忆、有账号状态的专有助手(如各类客服/销售 agent)写 MCP 或 API 集成时,测试极难复现:同一个提问,因为历史记忆和账号状态不同,回答每次都不一样,无法在 CI 里稳定断言。自建的调试脚本散落各处,回归靠人肉点。
方案
一个面向 agent 消费方的测试工具:录制并快照会话状态与记忆,允许在每次运行前把环境重置到某个确定性状态,从而获得可重复的输入输出对比;支持把断言写成 CI 任务,失败时展示状态差异。
用户
正在集成第三方 AI 助手或自研 agent、需要对行为做回归保障的 3~20 人工程团队
MVP
录制一次交互并保存状态快照;一键回放到固定状态再重跑;对输出做结构化 diff 与断言;命令行 + GitHub Action 一行接入;失败时输出状态差异报告
变现
按项目/并发数的订阅制,开源 CLI + 付费的云端快照存储与团队协作看板
为何现在
agent 正从 demo 进入生产,记忆和状态让传统单测失效,但大厂工具都聚焦造 agent 而非测 agent,这个缝隙正适合独立开发者

来源讨论 · 1

  1. Hacker NewsShow HN: CATT 0.2.1: Test agents/services against a Muse/Instinct-alike, in CI4↑ 0
← 返回列表