【安全圈】ChatGPT网络搜索功能使用微软必应搜索技术 爬虫名称为OAI-SearchBot

关键词

人工智能

早前 OpenAI 推出 ChatGPT Search 网络搜索功能，该功能本质上也属于搜索引擎因此与谷歌搜索有着直接竞争关系。

关于数据收集方面 OpenAI 采用的是两方面措施，一方面搜索技术使用微软必应，另一方面 OpenAI 也在自己抓取内容，所有数据被抓取后将按照特定算法进行排序以便在 ChatGPT 中向用户返回结果。

OpenAI 并未在博客中透露搜索技术使用的是微软必应，不过其工程师在 Reddit 论坛中确认确实使用了必应搜索，因此对站长来说如果想要通过 ChatGPT 获得搜索流量，也要针对必应搜索进行 SEO 优化。

爬虫方面目前 OpenAI 共有 3 种不同的爬虫：

GPTBot：用于从互联网上抓取数据训练 OpenAI 的人工智能模型，该爬虫可以屏蔽不会影响到网站的搜索流量；

ChatGPT-User：用于在用户提问时从网络上检索数据以标注来源链接，该爬虫本身不会抓取网页信息；

OAI-Search：这是 OpenAI 用于 ChatGPT Search 搜索功能的爬虫，专门用于抓取网络数据但不会将数据用于 AI 模型训练。

对网站来说如果不想自己的内容被抓取用于训练 AI 但又不想损失来自 ChatGPT Search (尽管目前可能极少)，那就可以屏蔽 GPTBot 而允许 OAI-Search 爬虫。

关于 OAI-Search 爬虫的更多信息：

完整 UA：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot

IP 地址：20.42.10.176/28、172.203.190.128/28、51.8.102.0/24

为防止有恶意爬虫冒充 OAI-Search 抓取数据，你可以对爬虫 IP 地址进行校验，如果爬虫 IP 地址不再上述 IP 段内均为假冒爬虫，可以直接将其 IP 屏蔽。

来源：https://www.landiannews.com/archives/106411.html

安全圈

网罗圈内热点 专注网络安全

实时资讯一手掌握！

好看你就分享 有用就点个赞

支持「安全圈」就点个三连吧！