北京
一个链接，如果只存在于JavaScript生成的页面里，人类用浏览器点开毫无障碍，但AI爬虫可能永远找不到它。这是SEO工程师Vinicius Stanula在一项为期41天的实地测试中得出的结论。
测试网站约1000个页面，分布在21个顶级分类下。其中11个分类使用标准HTML锚链接，链接直接出现在页面源代码中；另外10个分类的链接由JavaScript注入，初始HTML响应里根本看不到。结果泾渭分明：GPTBot、ClaudeBot、PerplexityBot等AI爬虫，完全没发现仅靠JavaScript链接可达的页面。
30,180次请求，27个爬虫，差距明显
整个测试周期内，服务器记录了来自27个不同爬虫的30,180次请求。AI导向的爬虫没有找到任何仅通过JavaScript链接呈现的层级页面。Googlebot和GoogleOther虽然能跟随JavaScript生成的链接，但覆盖情况并不等同于HTML链接那一侧的站点——层级越深，覆盖越弱。
换句话说，Googlebot能“看见”JS链接，但爬得越深越吃力；AI爬虫干脆“看不见”。
切换成HTML后，GPTBot 48小时发现250页
测试最有价值的部分在切换之后。当所有链接都改成纯HTML，GPTBot在48小时内迅速发现了250个新页面，Bingbot新增89页。Google没有新增页面——这与其此前能触达JavaScript链接区域的能力一致。
这个结果说明，问题不在内容本身，而在链接的呈现方式。爬虫通常从HTTP响应开始，检查其中的HTML。如果内部链接要等浏览器执行脚本后才出现，不渲染JavaScript的爬虫就没有路径可走。
对AI发现渠道意味着什么
对AI爬虫而言，这个差距有一个重要后果：内容可能公开可见，但通过站点内部架构无法被爬虫发现。这并不证明某个AI系统会使用、引用或训练某个页面，但确实表明：在本次测试中，无法被爬虫触达的页面，无法通过那些仅靠JavaScript的路径被发现。
现代JavaScript框架能带来流畅、精致的用户体验，但客户端导航不应与爬虫可访问的导航混为一谈。企业团队现在要同时管理好几件事：自然搜索可见性、文档可访问性、AI助手的发现能力，以及对自动化采集的控制。这项实验提示，这些应该被当作相互关联的架构与治理问题，而不是各自独立的营销任务。
一个合理的策略，先要决定哪些内容该被谁发现。组织可能有正当理由限制自动化工具访问某些内容，但如果是希望被发现的页面，链接出现在原始HTML里，是最基本的起点。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
