Python爬虫51%流量是机器人在跑，但高手早就不碰HTML了

2025年，全球网站流量里机器人占比冲到51%——这是Imperva最新报告的数字。更麻烦的是，反爬系统已经从"有最好"变成"必须有"。

新手写爬虫的第一反应是：下载网页、解析HTML、提取数据。这个路径在2025年基本等于自曝。

为什么DOM是最后选项

现代网站的HTML不是给人看的，是给浏览器渲染用的。你看到的商品列表、价格、评分，很大概率是JavaScript执行后才填充进去的。

直接解析DOM（文档对象模型）意味着你要处理嵌套混乱的节点、动态加载的片段、还有随时变动的class名。维护成本按周计算。

更隐蔽的风险是行为指纹。你的请求节奏、Header组合、甚至TLS握手特征，都会被反爬系统标记。HTML解析器做不到模拟真实用户的行为链。

API优先：找隐藏的数据管道

真正稳的爬虫先做一件事：打开浏览器开发者工具，切到Network面板，筛选XHR和Fetch请求。

你会发现大量网站把核心数据藏在内部API里——JSON格式、结构清晰、往往还没做严格的鉴权。这些接口是给前端用的，但没人说不能给爬虫用。

用Python的httpx或aiohttp直接请求这些端点，绕过整个渲染层。响应时间是HTML解析的1/10，被封概率降到谷底。

API优先不是技巧，是优先级：先找JSON端点，再试静态HTML，最后才动浏览器。

三层防御的合理分工

生产级爬虫需要三套工具箱，按场景切换。

第一层是HTTP客户端，对付纯API或静态页面。第二层是智能解析，比如selectolax处理轻量HTML，比BeautifulSoup快一个数量级。第三层才是Playwright或Selenium，留给那些把数据埋进WebAssembly或者层层加密的重度防护站点。

每层都有代价。浏览器自动化内存占用高、并发难做、成本按秒计费。能不用就不用。

反爬军备竞赛里，你的目标不是"像人一样浏览"，是"像前端工程师一样思考"——找到数据从哪来，而不是从哪显示。

你最近抓的哪个站，表面看是动态渲染，实际藏着没加密的内部API？