网易首页 > 网易号 > 正文 申请入驻

封错一个爬虫,网站从AI搜索里消失了?

0
分享至

GPTBot 和 OAI-SearchBot 是 OpenAI 的两个不同爬虫。前者收集的内容可能被用于模型训练,后者负责为 ChatGPT 搜索抓取页面。封掉其中一个,并不会影响另一个——把两者搞混,是 robots.txt 里最容易犯的错误之一。


同样的拆分也出现在 Anthropic 和 Perplexity 身上。如果封错了爬虫,网站可能在 AI 搜索的回答里彻底消失,但在谷歌上排名一切正常,因为谷歌用的是自家爬虫。这不只是 SEO 问题。AI 可见度机构 RankingBite 把它称为 AI 可见度的“分发”层:你的内容是否出现在 AI 模型实际学习和检索的来源里。一行 Disallow,就可能在内容质量还没上场之前先把这一层打断。

对多数产品站、SaaS 和 B2B 品牌来说,一个可参考的起点是:放 AI 搜索进来,训练用途单独决定。也就是允许搜索和用户触发的抓取,封掉训练。

几个容易漏掉的细节:

  • 具体规则优先。爬虫只认点名自己的那一组规则,不看 User-agent: * 那一组。* 下面一条旧的 Disallow: / 不会封住 OAI-SearchBot,只要它有自己的 Allow 组。
  • 私有路径要单独封。在每个 AI 爬虫组里都补上 Disallow: /admin/ 之类的规则,因为每组规则是独立读取的。
  • 改动需要时间。OpenAI 和 Perplexity 都表示,变更大约要 24 小时才生效。
  • 用户触发的爬虫不一样。OpenAI 称 robots.txt 可能不适用于 ChatGPT-User,Perplexity 称 Perplexity-User 一般会忽略它,因为访问是由真人触发的。

robots.txt 只是一个请求,不是闸门。CDN 或 Web 应用防火墙可以在爬虫读到这个文件之前就把它拦下。如果站点在 Cloudflare 上,先查那里:自 2025 年 7 月 1 日起,它对新客户默认拦截 AI 爬虫,老客户一键就能打开拦截。它的 AI Crawl Control 面板在所有套餐中都可用,能看到哪些 AI 爬虫访问了站点,并逐个放行或拒绝。其他 CDN、WAF,以及 WordPress 这类平台上的安全插件,也可能有类似的爬虫规则。

别猜,去看日志。在 Nginx 或 Apache 服务器上,可以用命令筛出最近的 AI 爬虫访问及其状态码,默认 combined 日志格式下会打印每次访问的状态码和完整 user agent;如果服务器用了自定义格式,需要相应调整 awk 的列号。看什么:

  • 200 响应:爬虫进来了。
  • 403 或 429 响应:有东西在拦截或限流,通常是 CDN 或 WAF。
  • 完全没有记录:爬虫可能在到达源站前就被封了,或者它还没来过。

有个坑:user agent 字符串很容易伪造,不能只信名字。OpenAI 和 Perplexity 都公布了自家爬虫的官方 IP 段,包括 gptbot.json、searchbot.json、chatgpt-user.json 和 perplexitybot.json 四份列表。把日志里的来源 IP 和这些列表比对。Anthropic 则建议不要按 IP 封它的爬虫,改用 robots.txt。

一条 curl -A "OAI-SearchBot" -I https://example.com 的测试,能看出简单的 user agent 规则是否会挡住爬虫。但它抓不到按 IP 验证爬虫的 CDN 规则,所以只能当作第一道检查,不是证据。

顺带说下 llms.txt,因为问的人多。它是一个提议中的文件,用来向 AI 工具概述站点内容,但替代不了上面任何一步。谷歌的 AI 搜索优化指南称,AI Overviews 和 AI Mode 并不需要它,保留它既不会提升也不会损害在谷歌搜索中的可见度。部分其他 AI 工具可能会读它,留着成本很低,但它修不好一个已经被封的爬虫。

AI 搜索只能引用它的爬虫被允许读取的内容,而这件事由 robots.txt 里的几行规则加一个 CDN 设置决定。值得花五分钟查一遍。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
遭母亲责骂、嫁中国人九年?李在明抵达深圳,却意外带火秋瓷炫

遭母亲责骂、嫁中国人九年?李在明抵达深圳,却意外带火秋瓷炫

聚焦事件
2026-11-20 21:45:52
普京重磅宣布!俄罗斯,要下狠手了!

普京重磅宣布!俄罗斯,要下狠手了!

大嘴说天下
2026-11-20 21:35:04
大鹅出动 图-160 战略轰炸机大规模轰炸基辅,京子:我们不谈了! | 狼叔看世界

大鹅出动 图-160 战略轰炸机大规模轰炸基辅,京子:我们不谈了! | 狼叔看世界

狼叔看世界
2026-11-20 14:37:50
比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

墨策史
2026-11-14 02:15:05
【数说经济】不要小看中国经济“稳”的分量

【数说经济】不要小看中国经济“稳”的分量

经济日报
2026-11-20 06:55:13
特朗普在深圳没拉车窗帘,这个细节让美国特勤局集体沉默

特朗普在深圳没拉车窗帘,这个细节让美国特勤局集体沉默

歪歌社团
2026-11-20 07:01:47
骑士128-119击败步行者!哈登创80年NBA纪录,拿3年9700万太超值

骑士128-119击败步行者!哈登创80年NBA纪录,拿3年9700万太超值

篮球大视野
2026-11-21 11:11:51
实力“倒退”一年!哈登半场砍下24分 创骑士生涯新高

实力“倒退”一年!哈登半场砍下24分 创骑士生涯新高

体坛周报
2026-11-21 10:26:09
还在跌!黄金失守3600美元,现货黄金一周内连破四大关口,大摩:黄金仍是2027年首选大宗商品

还在跌!黄金失守3600美元,现货黄金一周内连破四大关口,大摩:黄金仍是2027年首选大宗商品

每日经济新闻
2026-11-20 16:57:26
声称国外没有瘦肉精!29岁中国女排名将回应质疑:你们有被害妄想症

声称国外没有瘦肉精!29岁中国女排名将回应质疑:你们有被害妄想症

念洲
2026-11-21 08:37:39
爽了!火箭轰动NBA!恶棍状元或联手杜兰特

爽了!火箭轰动NBA!恶棍状元或联手杜兰特

篮球实战宝典
2026-11-20 18:47:13
广东省面积最大的县和面积最小的县,分别是谁?

广东省面积最大的县和面积最小的县,分别是谁?

石辰搞笑日常
2026-11-21 02:17:46
太真实!广东网友晒11月20日朋友圈:股、金、房价齐跌,有人崩溃直呼“要跳楼”

太真实!广东网友晒11月20日朋友圈:股、金、房价齐跌,有人崩溃直呼“要跳楼”

火山詩话
2026-11-20 20:54:10
美国商务与司法部发声明 披露英伟达Megaspeed芯片转运调查时间线

美国商务与司法部发声明 披露英伟达Megaspeed芯片转运调查时间线

别人都叫我阿腈
2026-11-21 06:19:46
任达华毁容烧声!半边烂脸急就医 狠甩鲜肉男星5巴掌超内疚

任达华毁容烧声!半边烂脸急就医 狠甩鲜肉男星5巴掌超内疚

ETtoday星光云
2026-11-19 10:11:03
首次反超苹果!国产PC巨头,拿下销量、销售额2项全球第一

首次反超苹果!国产PC巨头,拿下销量、销售额2项全球第一

互联网.乱侃秀
2026-11-18 13:04:39
她陪主席走到最后,终身未婚,41年后同天离世,一生守密不言语

她陪主席走到最后,终身未婚,41年后同天离世,一生守密不言语

故史闲谈局
2026-11-21 03:04:09
让他装到了!知名歌星在《GTA6》里找到自家豪宅

让他装到了!知名歌星在《GTA6》里找到自家豪宅

游民星空
2026-11-21 11:07:35
东京万人集会抗议

东京万人集会抗议

陆弃
2026-11-20 10:53:24
涉嫌严重违纪违法,吴振绵被查

涉嫌严重违纪违法,吴振绵被查

中国基金报
2026-11-20 20:40:23
2026-11-21 11:47:00
爬虫饲养员
爬虫饲养员
业余养了只叫“龙虾”的AI爬虫,主业是给互联网打工。
227文章数 88关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
亲子
时尚
健康
军事航空

教育要闻

教授:我的大学已被行政人员占领

亲子要闻

幼儿园不睡午觉还理直气壮?

运动风,漫不经心地穿才“松弛”!

医生眼里"很伤腰"的椅子,很多人天天坐

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版