江苏
关键词
人工智能
早前 OpenAI 推出 ChatGPT Search 网络搜索功能，该功能本质上也属于搜索引擎因此与谷歌搜索有着直接竞争关系。
关于数据收集方面 OpenAI 采用的是两方面措施，一方面搜索技术使用微软必应，另一方面 OpenAI 也在自己抓取内容，所有数据被抓取后将按照特定算法进行排序以便在 ChatGPT 中向用户返回结果。
OpenAI 并未在博客中透露搜索技术使用的是微软必应，不过其工程师在 Reddit 论坛中确认确实使用了必应搜索，因此对站长来说如果想要通过 ChatGPT 获得搜索流量，也要针对必应搜索进行 SEO 优化。
爬虫方面目前 OpenAI 共有 3 种不同的爬虫：
GPTBot：用于从互联网上抓取数据训练 OpenAI 的人工智能模型，该爬虫可以屏蔽不会影响到网站的搜索流量；
ChatGPT-User：用于在用户提问时从网络上检索数据以标注来源链接，该爬虫本身不会抓取网页信息；
OAI-Search：这是 OpenAI 用于 ChatGPT Search 搜索功能的爬虫，专门用于抓取网络数据但不会将数据用于 AI 模型训练。
对网站来说如果不想自己的内容被抓取用于训练 AI 但又不想损失来自 ChatGPT Search (尽管目前可能极少)，那就可以屏蔽 GPTBot 而允许 OAI-Search 爬虫。
关于 OAI-Search 爬虫的更多信息：
完整 UA：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot
IP 地址：20.42.10.176/28、172.203.190.128/28、51.8.102.0/24
为防止有恶意爬虫冒充 OAI-Search 抓取数据，你可以对爬虫 IP 地址进行校验，如果爬虫 IP 地址不再上述 IP 段内均为假冒爬虫，可以直接将其 IP 屏蔽。
来源：https://www.landiannews.com/archives/106411.html
安全圈
网罗圈内热点 专注网络安全
实时资讯一手掌握！
好看你就分享 有用就点个赞
支持「安全圈」就点个三连吧！
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
