DevToolsOpen SourceAutomationSaaS

RunLoop — 「录一次、永久跑」的采集规则版本管理

把浏览器操作录成可回放、带版本和回滚的采集任务

痛点
写爬虫不难,难的是长期维护:页面一改版选择器全废,人一离职脚本没人敢动。有人开源了 AegisCrawler,主张「录制即规则、规则即任务」,用 DSL、真实浏览器回放验证和版本化来解决问题。但完整平台偏重,很多小团队只需要把录下来的操作变成可版本化、可回归的任务。
方案
一个轻量的开源核心加托管面板:Chrome 扩展录制操作并生成 YAML 规则,每次保存生成不可变版本;提供一键回放验证、失败截图和差异对比;把规则当任务调度,支持租约、重试和死信。重点做「规则回归」和「版本对比」,而不是做全家桶。
用户
做数据采集的小团队、独立开发者、需要长期维护爬虫的运营和增长工程师。
MVP
Chrome 扩展录制生成 YAML;本地或托管保存不可变版本;真实浏览器回放验证;失败截图与前后版本差异对比;简单调度与重试。
变现
开源核心 + 托管版订阅(调度、告警、历史回放);企业版按量计费。
为何现在
AegisCrawler 的出现说明「录制即规则」的路线已被验证,但完整平台对个人和小团队偏重;把版本管理和回归验证单独抽出来做,几周可成,且和爬虫维护这个长期痛点高度绑定。

来源讨论 · 1

  1. V2EX[程序员] 开源了一个"录一次、永久跑"的浏览器采集平台 AegisCrawler(Go + TS, GPL)
← 返回列表