EnvGuard 爬虫伪装审计

帮你发现哪些'AI 爬虫'其实是假扮成 GPTBot 在翻你的 .env 文件

痛点

站点为了出现在 ChatGPT 和 Perplexity 的回答里允许 AI 爬虫访问，结果有攻击者用同一批 UA 轮番冒充 GPTBot、ClaudeBot、GrokBot、Googlebot 等，12 秒内发起 66 次请求并逐个尝试 .env 文件；而正确的做法是按 IP 验证爬虫、绝不依赖 UA，这对大多数小团队来说既没工具也没时间去做。

方案

一个托管或自托管的轻量审计服务：解析访问日志，按官方公布的爬虫 IP 段校验每个自称 AI 爬虫的请求，标出疑似伪装流量与敏感路径探测，生成可执行的规则（WAF/nginx/Cloudflare）和每日安全摘要。

用户

允许 AI 爬虫抓取但缺乏安全人力的 SaaS 与内容站站长

MVP

上传或接入访问日志；官方爬虫 IP 库实时核对；UA 与 IP 不匹配告警；敏感路径探测检测；导出防火墙规则

变现

按日志量订阅，独立站低价档，WAF 规则包买断

为何现在

AI 爬虫接入成为增长刚需，而伪装爬虫扫描同时激增，验证标准和 IP 列表都已公开，工具化窗口正好