两周时间,一个爬虫被指向11060家小企业网站。JavaScript关闭,使用自我标识的user agent,每个站点抓三个页面,把返回的内容全部存下来。最终有9483家站点给出了响应,这份数据看的就是这些站点的结构化标记、robots文件和实际返回的HTML。
![]()
做这件事的出发点很直接:gaash.ai只卖一样东西——衡量AI助手是否会推荐某家企业,所以需要先搞清楚,问题有多少出在助手身上,有多少出在网站自己身上。结论是,主要出在网站。
三分之二的站点,没有一句能被助手直接引用的话。
61.5%的站点没有任何形式的问答内容:没有FAQ板块,没有FAQPage结构化标记,没有任何长得像买家提问的东西。助手是从本来就包含答案的页面里摘取答案的。一个只写着“自1998年起提供优质服务”的首页,给不了它任何可摘的东西。
有点意外的是,约一半站点(50.7%)确实至少有一个标题被写成了问句。它们只是没有用机器能单独拎出来的方式去回答这个问题。
评价存在,但不在机器看的地方。
64.7%的站点没有任何爬虫可读的评价信号:没有评分标记,页面正文里也没有引用评价。只有8.9%带了评分结构化数据。这些商家里大多数在谷歌上都有几十条评价,但读他们网站的助手并不知道,因为网站自己没说。
企业身份对不上号。
43.1%的站点在“是谁、在哪”这件事上前后不一致。36.9%在自己三个主要页面上给出了不止一个电话号码。34.1%没有任何机器能解析的邮寄地址。一个助手在决定要不要提“Smith Plumbing”时,想要的是一个名称、一个号码、一个地址,并且反复出现。它经常拿到的是各三份。
结构化数据大多存在,也大多没用。
只有17.8%完全没有schema.org标记,这个数字让人意外。但看看另外82%有什么:WebSite、WebPage、BreadcrumbList、SearchAction、ImageObject。这些是建站工具放进去的,描述的是网站,不是企业。LocalBusiness大约出现在四分之一的站点上。另有13.7%带了企业结构化数据,但缺了让它可用的那些字段。
无标记比例在各行业间并不均匀。房地产经纪(33.6%)、摄影师(32.7%)、税务顾问(31.0%)、婚礼策划(30.1%)最差。木工(15.8%)和搬家公司(16.1%)是样本中站点数过百的行业里表现最好的。地区差异不大:欧盟(20.5%)和阿联酋(20.0%)略差于美国(17.5%)和加拿大(17.2%)。
几乎没人主动屏蔽AI。
- 3.2%在robots.txt里禁止AI爬虫;
- 7.2%处在机器人防护之后,给爬虫返回的是验证页而不是网站,效果上同样挡住了助手,只是没人主动做这个决定;
- 3.0%的内容只在JavaScript里渲染,不执行脚本的爬虫看到的是空页面;
- 2.1%把真正的内容(价目表、服务菜单)放在PDF里。
页面并不单薄。首页中位数880词,只有3.9%低于150词。问题不是这些网站说得太少,而是它们说的内容不在机器能归属、引用、核验的形式里。
llms.txt基本不存在,63.6%没有/llms.txt。这一项放在最后,是因为它目前是否重要还不确定:它是一个提议中的约定,不是助手们已经承诺采用的标准。但它只花一小时,而且能干净地反映出一件事——有没有人认真想过机器读者。
助手真的会提这些企业吗?
也问了。对其中9240家企业,从它们所在市场和行业里取一个买家问题,交给开启网页检索的Claude(Opus),比如“Brampton最好的电工是谁”,然后检查企业是否被点名。14.9%被提到。在助手给出明确区分度列表而非含糊回答的5928个问题里,这个比例是17.7%。
这只能当作方向性数字,不是比率。每家企业一个问题、一个助手、一天。给付费客户用的完整问题面板是十到十二个问题,这次只有十分之一,只是规模跑大了。严谨的研究应该跑完整面板。能说的是,被点名的企业,检查下来正是那些网站带有答案形态内容、身份信息一致的企业,这也是持续测量这件事的全部理由。
那9240个回答里还有一件没预料到的事:助手给出的所有名字中,只有0.6%是目录或聚合平台(Yelp、Angi之类),99.4%是真实企业。谷歌对这些问题的首页结果大多是聚合平台,助手的回答大多不是。如果一家小企业花了十年也没能排在Yelp前面,这是一场不同的游戏,而决定它的,是你自己网站返回了什么。
接下来该做什么
如果运营的是这类站点,数据给出的顺序是:把名称、地址、电话统一成一种形式,在每一页上完全一致地重复;用LocalBusiness或更具体的类型标记企业而不是网站,填上地址、电话、营业时间和服务区域;把评价以文本和AggregateRating的形式放到页面上;把客户在电话里问的五个问题写成标题,下面配上真实答案。然后检查爬虫实际收到的是什么,因为有7%的站点挡在一堵自己都不知道存在的机器人墙后面。
方法说明:爬虫user agent为gaash-audit/1.0,不执行JavaScript,跟随重定向,抓取首页、联系页和关于页(若首页有链接),外加/robots.txt和/llms.txt。结构化数据检测覆盖JSON-LD和microdata。“NAP不一致”指抓取页面间出现不止一个不同电话号码,或没有可解析的邮寄地址。探测使用开启检索的Claude(Opus),每家企业一个问题,问题取自按都市圈和行业构建的面板。样本按都市圈和行业发现企业,并非随机抽样,百分比描述的是这个样本。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.