北京
两次实测，同一批问题反复出现。9月20日抓了104个用AI应用构建器搭出来的站点，9月27日又抓了927个x402 Bazaar站点，两次都是完全按AI爬虫的方式去取。结果五个毛病在两边都撞上了。
麻烦的地方在于，这五个问题在浏览器里一个都看不出来。站长打开页面一切正常，自然也就不知道爬虫那边已经空手而归。每个问题都配了一条一行就能跑完的测试，以及对应的修法。
五个坑，一条条拆
- 空HTML：爬虫拿到的页面里没有实际内容，浏览器里却渲染得好好的。
- 软404：页面返回的状态码不是404，但内容实际上是"找不到"。
- 两个主机名：同一个站点挂在两个域名下，爬虫不知道该认哪个。
- 没有站点地图：缺sitemap，爬虫找不到入口。
- 防火墙拦截：请求被防火墙挡在门外。
这五项里，前两项属于"看起来有、实际没有"的类型。空HTML意味着服务端吐给爬虫的是一副空壳，内容靠浏览器端的脚本才填进去；软404则是状态码和内容对不上，爬虫按状态码判断，就会把不存在的页面当成正常页收走。
后三项更偏配置层面。两个主机名会让同一份内容出现两个入口，爬虫无法确定规范地址；没有sitemap等于没给地图；防火墙则是直接把请求拦下，连内容都递不到。
每一项的验证方式都很轻：用curl按爬虫的方式请求一次，看返回的到底是什么。修法也各自对应——该补内容的补内容，该改状态码的改状态码，该统一域名的统一域名，该加地图的加地图，该放行的放行。
这五个问题有个共同点：它们都不影响人看，只影响机器读。站点在浏览器里越正常，站长越不会往这个方向想。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
