北京
凌晨三点，你被监控警报炸醒：源站CPU 100%，数据库连接池耗光，可后台显示并没有秒杀活动。查过日志才发现，是一批AI购物代理正在实时抓取每个商品SKU——价格、库存、描述，一遍又一遍。它们不是恶意攻击，而是真人用户在某个对话界面里问了一句“这款值不值得买”，代理就直冲你的服务器来取答案。问题在于，这个“用户”可能永远不会点进你的网站。
Cloudflare刚刚发布的《2025年度回顾》里有一组数字很值得玩味：由用户直接触发的“行动式爬取”，全年暴涨超过15倍，仅1月初到12月初就飚了21倍还多。和传统搜索引擎按自己时间表过来抓索引不同，这种请求是实时的、和真人等待绑在一起的，而且根本没有“一次抓取→多个访客”的承诺。等于你替别人的AI买单，还不一定换得来流量。
更让人血压上升的是抓取与引荐的畸形比例。Cloudflare的报告点名Anthropic家的爬虫，最高来到50万次抓取才带回一个访客，而Perplexity的比例最低。这中间跨度巨大，但指向同一个结论：被抓取和被推荐买单，完全是两本账。零售商家必须专门为“被扒”这部分算力费用设预算，否则月末的云计算账单很可能让你怀疑被DDoS了。
零售业想躲都躲不开。报告明确写道，零售与计算机软件是被AI爬虫盯得最狠的两个行业，合计揽走超过40%的AI爬虫活动。如果你在网上卖东西，你就是那波“最受伤”的群体。这不是危言耸听，是你的真实成本。
那该怎么办？原文给出的原则很干脆：每一个负载数据，都是让你更聪明地实现缓存，绝不是让你把门摔在可能选择你的代理脸上。以下几条要点，就是给运维和研发那条“不破产还能保持开放”的路径。
① 分清两类爬虫，别拿实时当索引
计划性的搜索爬虫，时间调度可控，一次抓取后期可能引来潮水般的免费流量；而由用户提问触发的代理抓取，成本波峰尖锐且回报毫无保证。两者压在后端上的账单逻辑截然不同，混在一起处理，只会让你高估了抗压能力，低估了真实开销。
② 边缘节点把静态页面喂饱，动态数据短链更新
把那些几乎不变化的机器可读表面——llms.txt、Markdown镜像、产品描述长文、Feed——全部推到边缘缓存。价格和实时库存保持极短的过期时间，绝不给代理机会引用一个过期的报价。这样既能保护源站计算资源，又不会让购物者看到“已经没货”的商品还被AI助手推荐。核心策略：便宜而静态的信息让CDN扛，珍贵且新鲜的数据才回头调源站。
③ 访问控制是限流假货，不是跟着用户代理换内容
原文特别强调：对未经核验的伪造爬虫进行速率限制，这叫访问控制；而根据用户代理给出不同页面内容，那是伪装欺骗，搜索引擎判你一抓一个准。正确的做法是，建立已验证代理的白名单，保证正牌购物代理和问答机器人一路畅通，把限流刀锋只对准那些冒名顶替的伪爬虫。不要弄巧成拙，把真正能推荐你的渠道一并堵死。
说到底，原文中的那句话就是主线：“本章关乎如何负担得起开放，而非封锁代理。” AI代理狂奔的时代，你的源站不可能也不应该退回到一道墙后面。把缓存策略和访客控制做得精细一点，让逻辑替你的服务器减负，而不是用情绪把潜在的推荐机会拒之门外。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
