GPTBot 和 OAI-SearchBot 是 OpenAI 的两个不同爬虫。前者收集的内容可能被用于模型训练,后者负责为 ChatGPT 搜索抓取页面。封掉其中一个,并不会影响另一个——把两者搞混,是 robots.txt 里最容易犯的错误之一。
![]()
同样的拆分也出现在 Anthropic 和 Perplexity 身上。如果封错了爬虫,网站可能在 AI 搜索的回答里彻底消失,但在谷歌上排名一切正常,因为谷歌用的是自家爬虫。这不只是 SEO 问题。AI 可见度机构 RankingBite 把它称为 AI 可见度的“分发”层:你的内容是否出现在 AI 模型实际学习和检索的来源里。一行 Disallow,就可能在内容质量还没上场之前先把这一层打断。
对多数产品站、SaaS 和 B2B 品牌来说,一个可参考的起点是:放 AI 搜索进来,训练用途单独决定。也就是允许搜索和用户触发的抓取,封掉训练。
几个容易漏掉的细节:
- 具体规则优先。爬虫只认点名自己的那一组规则,不看 User-agent: * 那一组。* 下面一条旧的 Disallow: / 不会封住 OAI-SearchBot,只要它有自己的 Allow 组。
- 私有路径要单独封。在每个 AI 爬虫组里都补上 Disallow: /admin/ 之类的规则,因为每组规则是独立读取的。
- 改动需要时间。OpenAI 和 Perplexity 都表示,变更大约要 24 小时才生效。
- 用户触发的爬虫不一样。OpenAI 称 robots.txt 可能不适用于 ChatGPT-User,Perplexity 称 Perplexity-User 一般会忽略它,因为访问是由真人触发的。
robots.txt 只是一个请求,不是闸门。CDN 或 Web 应用防火墙可以在爬虫读到这个文件之前就把它拦下。如果站点在 Cloudflare 上,先查那里:自 2025 年 7 月 1 日起,它对新客户默认拦截 AI 爬虫,老客户一键就能打开拦截。它的 AI Crawl Control 面板在所有套餐中都可用,能看到哪些 AI 爬虫访问了站点,并逐个放行或拒绝。其他 CDN、WAF,以及 WordPress 这类平台上的安全插件,也可能有类似的爬虫规则。
别猜,去看日志。在 Nginx 或 Apache 服务器上,可以用命令筛出最近的 AI 爬虫访问及其状态码,默认 combined 日志格式下会打印每次访问的状态码和完整 user agent;如果服务器用了自定义格式,需要相应调整 awk 的列号。看什么:
- 200 响应:爬虫进来了。
- 403 或 429 响应:有东西在拦截或限流,通常是 CDN 或 WAF。
- 完全没有记录:爬虫可能在到达源站前就被封了,或者它还没来过。
有个坑:user agent 字符串很容易伪造,不能只信名字。OpenAI 和 Perplexity 都公布了自家爬虫的官方 IP 段,包括 gptbot.json、searchbot.json、chatgpt-user.json 和 perplexitybot.json 四份列表。把日志里的来源 IP 和这些列表比对。Anthropic 则建议不要按 IP 封它的爬虫,改用 robots.txt。
一条 curl -A "OAI-SearchBot" -I https://example.com 的测试,能看出简单的 user agent 规则是否会挡住爬虫。但它抓不到按 IP 验证爬虫的 CDN 规则,所以只能当作第一道检查,不是证据。
顺带说下 llms.txt,因为问的人多。它是一个提议中的文件,用来向 AI 工具概述站点内容,但替代不了上面任何一步。谷歌的 AI 搜索优化指南称,AI Overviews 和 AI Mode 并不需要它,保留它既不会提升也不会损害在谷歌搜索中的可见度。部分其他 AI 工具可能会读它,留着成本很低,但它修不好一个已经被封的爬虫。
AI 搜索只能引用它的爬虫被允许读取的内容,而这件事由 robots.txt 里的几行规则加一个 CDN 设置决定。值得花五分钟查一遍。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.