搜索引擎能抓的页面,AI代理不一定能碰。美联航在2026年11月11日公布的政策更新里,把这两件事拆开处理了。
按新规,未获授权的第三方个人AI代理或助手,被限制访问美联航的数字平台;与此同时,公开页面仍可留给搜索引擎做索引。凡是需要在 united.com 或美联航应用上搜索、订票、购买的代理,都必须拿到书面许可。相关说法来自该公司条款及旅行政策的报道。
这个区分之所以重要,是因为出现在搜索结果里,并不自动等于网站允许自动化代理使用其内容、调取库存或完成交易。
被拆开的三件事
对美联航更新后条款的梳理,识别出与搜索从业者更相关的一层拆分:
- 搜索引擎可以索引美联航的公开页面;
- 在其网站或应用上搜索、订票、购买的自动化AI代理,需要书面许可;
- 美联航禁止利用其站点数据训练或支撑AI模型。
这几条政策彼此相关,但管的是不同活动。传统爬虫能发现并索引一个可访问的公开页面,用于搜索结果;而一个在站点里导航、调取出行选项、提交请求或尝试购买的代理,做的是更主动的自动化访问。
索引与代理访问,本就是两个问题
AI助手的兴起,让抓取、检索与执行之间的界线变得更关键。搜索引擎可能抓取公开内容来建立索引;生成式系统可能检索内容来回答一个问题;AI代理则可能更进一步,比较选项、查询可用性,或尝试完成一笔交易。
对一家旅行公司来说,后者牵涉动态价格、库存、乘客数据、常旅客账户、订票规则和分销协议。美联航的政策反映出,这些运营与合同层面的关切,和在搜索里被找到并不是一回事。
政策同时把“可见性”和“数据使用许可”分开了。允许一个页面出现在搜索结果中,不应被解读为同意其内容用于AI模型训练或支撑。据相关报道,美联航的条款直接处理了这一区分。
对试图提升在AI驱动发现中曝光度的组织来说,这一点尤其相关:内容可访问性可以支撑可发现性,但它并不决定外部助手能否访问某项服务、复用其数据或执行一套工作流。
robots.txt 只是其中一块
据报道,截至2026年11月中旬,美联航的 robots.txt 并未点名AI爬虫。这与公司的政策立场并不矛盾。robots.txt 是给爬虫的指令,而使用条款、合同和分销政策可以就自动化访问与数据使用设定另外的条件。
robots.txt 能向守规矩的机器人传达抓取偏好,但它本身并不是面向AI系统、代理工具或商业数据关系的完整治理框架。反过来,法律或合同层面的限制,也不必然意味着页面无法被常规搜索索引。
对站点所有者来说,实际教训是别把单一技术文件当成全部的AI访问策略。相关规则可能分散在 robots.txt、网站条款、API文档、合作伙伴协议、登录控制和产品特定条件里。
给SEO与网站团队的操作思路
美联航的做法提供了一个可用来审视自家政策的框架。目标不一定是照搬它的限制,而是有意识地区分:哪些内容应当可被发现,哪些活动需要控制或许可。
先按活动梳理自动化访问。可以列出组织允许、限制或尚未处理的自动化行为:搜索引擎对公开页面的抓取与索引;AI爬虫对内容的访问;为AI生成回答而检索内容;用站点数据做模型训练或支撑;代理驱动的研究、账户访问、表单提交或交易;以及合作伙伴、代理机构、聚合器和API对数据的使用。
这项练习能暴露政策空白。一家企业可能欢迎搜索曝光,同时希望限制自动化购买、抓取动态库存,或在AI系统中复用专有内容。
接着核对技术与合同规则是否对齐。SEO团队应把 robots.txt 指令与网站条款、数据使用表述、API规则和代理协议放在一起比对。错位会在内外造成困惑:站点可能在技术上允许广泛抓取,合同条款却对AI数据使用只字未提;也可能限制了代理行为,却没清楚定义许可流程是什么。
当站点涉及交易、敏感数据或伙伴分销时,团队应让法务、产品、安全和商务相关方参与进来。由SEO主导的抓取政策,无法单独解决合同或受监管工作流中的义务。
最后,把内容可见性与转化工作流分开。公开的教育、支持和目的地内容可能适合被索引,因为它帮助用户通过搜索找到品牌;账户区域、实时可用性、结账流程和其他高风险交互,则可能需要更强的访问控制或明确的许可要求。
这种分离能在保留自然可发现性的同时,让组织对自动化行为有更清晰的治理。它也能帮助内容与技术团队解释:一个以AI可见性为目标的举措,不应被假定为授权了所有类型的AI代理交互。
美联航这项政策的实际影响仍不确定。公司尚未公开详述它将用来识别或拦截自动化代理的全部方法,对代理机构和第三方工具的实际效果,将取决于执行方式和任何许可流程。公告在政策边界上比在执行一致性上说得更清楚。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.