AI 网站抓取合规闸门
帮网站主区分善意 AI 抓取与恶意爬虫,并一键生成可执行的访问策略
- 痛点
- 网站主发现 AI 助手加载链接时好时坏:有时能读,有时被「检测恶意机器人」拦住,连 AI 抓取流量到底算不算恶意都搞不清;而写规则的人又不清楚该怎么针对不同 AI 流量设置策略,只能一刀切全部拦截或全部放行。
- 方案
- 提供一个可嵌入的流量识别与策略服务:按已知 AI 抓取来源与行为特征分类流量,生成分级访问规则(如允许摘要类、拒绝训练类),并给出可直接复制的防护配置;同时提供一份实时面板显示各类 AI 流量占比与拦截原因。
- 用户
- 有内容资产的独立站长、博客作者、小型 SaaS 与文档站运营者
- MVP
- 基于常见 AI 抓取 user agent 与 IP 段的分类规则库;一键生成 robots.txt 与 WAF/CF 规则片段;简单的流量统计面板;提供测试链接功能查看某页面对 AI 是否可读;不做复杂机器学习
- 变现
- 按站点数订阅,免费版仅基础分类;高级版提供规则模板库与告警;可对接 CDN 做联盟分成
- 为何现在
- AI 抓取正成为网站流量的主要来源之一,而内容方与 AI 公司之间的边界争议刚刚开始,规则尚未定型,小工具能快速占位
来源讨论 · 2
- Hacker NewsShow HN: I made a guardrail against AI outreach slop (API/MCP)5↑ 0
- Hacker NewsAsk HN: Non-Malicious Bots1↑ 0