ModelDiff — AI 编码助手行为变更追踪器
帮订阅了 AI 编码工具的重度用户监控模型行为的悄然变化,避免因模型更新导致工作流意外中断
- 痛点
- 用户订阅了 GitHub Copilot 的 ChatGPT 模型($40/月),发现每个月初 AI 行为都有变化,比如昨天写代码后有 accept 按钮,今天突然没了。这种不透明的月度模型更新让人感到奇怪且影响效率,用户不知道什么时候会变、变了什么,只能被动适应。
- 方案
- 一个自动化监控服务:用户通过浏览器插件或 CLI 提交一组固定的编码提示词任务,每日/每周在指定 AI 编码工具上自动运行并录制输入输出、UI 元素(如是否出现 accept 按钮)、响应时间等,生成差异报告。支持 Slack/邮件通知,并保留历史快照供回溯对比。
- 用户
- 每月付费使用 AI 编码工具的开发者、团队技术负责人、AI 工具评测者
- MVP
- 提供预置的 5-10 个编码任务提示词模板;用 Playwright 自动在目标 AI 编码工具(如 Copilot)中运行并截图/DOM 快照;对比两次快照输出差异报告;通过邮件或 webhook 发送提醒;保留最近 10 次快照。
- 变现
- 订阅制($8-12/月),团队版支持多账号监控;或按监控任务数计费。
- 为何现在
- AI 编码工具(Copilot、Cursor、Windsurf 等)频繁更新但缺乏变更日志透明度,重度用户对工作流稳定性有强需求;独立开发者可以快速利用无头浏览器+diff 实现,技术门槛低。