GhostCrawler – 网站被 AI 爬虫读取却没人访问的真相面板

告诉站长 AI 爬虫到底读了多少、带来了多少真实访问，以及哪一页值得改写

痛点

有运营者统计了四个小 B2B 站点 27 天的日志，发现来自 AI 助手爬虫的验证抓取高达 2817 次，但真正带上 AI 引荐来源的访问只有 5 次。所有内容都在喊「要被 ChatGPT 引用」，可没有工具从服务器侧告诉他这个落差有多大、哪一页被抓最多、哪些抓取是浪费。

方案

接入站点日志或 CDN 日志，自动识别主流 AI 爬虫（GPTBot、PerplexityBot、ClaudeBot 等）并统计抓取频次、抓取页面分布、robots 拦截情况，再和 AI referrer 带来的真实访问做对比，给出「哪些页面值得优化摘要与结构化数据」的建议清单。

用户

独立站长、小 B2B 站点运营者、内容型 SaaS 创业者

MVP

支持上传 Nginx/CDN 日志；自动识别并分类主流 AI 爬虫；按页面统计抓取次数与最后抓取时间；对比 AI referrer 访问量生成落差报告；给出 10 条可执行的页面改写建议

变现

按站点数订阅（单站点免费，多站点 $9~19/月）；报告导出和竞品对比付费

为何现在

大家都在焦虑 AI 流量，但真正的数据在服务器日志里，现成分析工具（GA、Plausible）不区分 AI 爬虫。独立开发者做一个只读日志的分析器成本极低，却直接回应了「我到底该不该为 AI 优化」这个热门问题