你的网站正在被AI爬虫"白嫖"：一个27年前的技术能救场

几个月前，我上线了两个小项目——一个转录工具，一个效率应用。该做的都做了：meta标签、Open Graph、站点地图、Lighthouse评分90+，标准的2018年SEO全套。

某天早上打开Cloudflare后台，我差点把咖啡洒了。

过去24小时里，相当一部分"流量"不是人类点击蓝色链接，而是机器。具体来说，是ChatGPT、Claude这些AI代理在爬取我的内容，用来回答别人的问题。

讽刺的是：我整个网站都是为人类和Googlebot优化的——而这俩现在都不是决定性访客了。

老SEO已死，或者说被降级了。新玩法是优化那些给大模型喂数据的爬虫。而方法跟你2015年学的完全不同。

先补个没人告诉你的背景词汇。

Gartner 2025年预测，到2026年底，商业网站的有机搜索流量将下降约25%，因为答案引擎吞噬了信息类查询。BrightEdge报告显示，Google AI Overviews已出现在超过40%的搜索结果页。大约60%的Google搜索现在以无点击结束。

翻译一下：就算你"排名第一"，点击的人也在变少。AI吞掉你的摘要就走了。

所以2026年的赢家不是排第一的人，而是被AI引用为答案来源的人。要做到这点，AI得能高效读取你。这才是关键。

有个事我花了 embarrassingly 长时间才内化：AI世界里一切都是token。

成本？Token。上下文窗口？Token。速度？Token。准确度？Token。模型能不能把你的页面塞进工作记忆？还是token。

AI代理爬你网站时，每个浪费的token都是浪费的钱、浪费的上下文、更差的用户答案。而HTML是 spectacularly 浪费的。

举个例子。假设你只想传达"Hello World"这句话。

纯文本：11个字符，约3个token。

真实世界的HTML长这样：

Hello World

这些class名、属性、嵌套标签，对AI全是噪音。它要的是干净、结构化的内容——而Markdown恰好给这个。

但怎么让AI爬虫拿到Markdown，同时人类访客看到正常网页？答案是内容协商（content negotiation）——一个1998年的HTTP特性，现在突然重要了。

原理很简单：浏览器请求时带Accept: text/html，你返回渲染好的页面；AI爬虫带Accept: text/markdown或类似标识，你返回纯Markdown。同一URL，不同表示。

实现也不复杂。Cloudflare Workers、Vercel Edge、Nginx都能做。核心是检查请求头，路由到不同渲染路径。

我改完middleware一周后，Perplexity开始更频繁地引用我的内容。不是巧合——当AI能低成本、高保真地读取你，你就更可能成为它的信息来源。

这不是SEO的终结，是SEO的转移。从"讨好Google的排序算法"变成"成为AI的知识基础设施"。

27年前设计的HTTP特性，现在成了大模型时代的入场券。技术史的回旋镖，有时候飞得比预期久一点。