北京
那个下午，我们决定做一件在旁人看来极其无聊的事——对着自家Shopify店铺连扫六次，一次代码都不改。
没动排版，没改文案，连一个标点都没碰。顶着七月十二号的基线数据，又在七月十七号一口气跑了五轮，全部重扫在短短62秒内完成。
这个实验唯一想回答的问题，比大部分人以为的都要直白：测量本身，到底有多稳？
结果让团队里几个做算法的同事沉默了。
六轮扫描下来，页面速度、技术架构、结构化数据……所有能用量化规则直接算出的东西，全部严丝合缝，比特级一致。表格拉出来那一刻，数字干净得像复制粘贴。
唯一左右晃动的，只有一个维度的分数：意图。四次显示4，两次显示6，就在这两个值之间小幅度摇摆。其他的，一律纹丝不动。
总分怎么变？
- 第一次：78
- 第二次：76
- 第三次：76
- 第四次：78
- 第五次：77
- 第六次：77
六张成绩单，表面看有三副面孔。可一旦把意图分从总分里剥掉，公式出奇地整齐：78-6=72，76-4=72，77-5=72——六次结果全部归位到同一个常数。
也就是说，那部分靠硬规则打出来的分，从头到尾没动过。有变化的，只是模型给出的那一点点主观判断。
这个发现至少打碎了一种惯性思维：看到两轮扫描总分从78涨到80，马上认定“优化生效了”。
我们的数据显示，在没有做过任何真实改动的情况下，同样一个店铺的总分可以在76到78之间自然浮动。一个点、两个点的跳动，也许跟商店质量八竿子打不着，而只是大语言模型在作答时天然携带的方差。
对于习惯了看数字做决策的电商团队来说，这比任何技术教训都更值得放在心上。
争论随之而来。支持传统解读的一方认为：分数上涨就是信号，哪怕只动了一点，也值得顺着方向去推。
而对测量更敏感的一方则强调：如果评分系统本身自带“手抖”效应，那单次波动的参考价值就被严重高估了。你自以为在调优，实际上很可能只是在追着测量误差做调整。
我们的判断更偏向后者——但也多了一层操作性的结论：不是从此不信AI评分，而是不要只信一次扫描的结果。
要想在后续实验中辨别出什么才是真正的改善，关键动作变得异常具体：任何一次疑似有效的变化，都必须在连续多轮重扫中稳定再现，才会被认定是实实在在的进步。
这听上去粗暴，但它在统计学层面的含义很朴素——先认清噪声地板在哪，再谈信号。
这次基线测量还给出了另一个值得留意的截面。在完全未做优化的状态下，店铺的“AI Commerce Score”中位数落在72，而确定性得分里最拖后腿的，是15分满只拿了7分的技术基础项。
换句话说，那些不依赖模型判断、完全由页面客观表现决定的分数，本身就留出了巨大的提升空间。
这个数据立下了一条清晰的路线：先别急着在意图、文案、表达层面试水温，先把技术债务清掉，把站内架构和结构化数据这些确定性要素补到及格线以上。
这也正是下一步的实验方向。团队计划从最“无聊”却最不受模型噪声干扰的部分做起——页面加载逻辑、Schema标记、可被爬虫稳定识别的技术指标。
只有当这些硬分数在地板上站稳，再切到更容易飘动的产品文案和意图信号区，才分得清哪部分增量是自己做出来的，哪部分只是测量系统的晃动。
每一轮改动之后，也都会像这次一样，至少跑多轮扫描。不是对每个优化都信心不足，而是已经明确知道，测量工具自身就有一个不可忽略的抖动区间。
很多人把AI评分当成一把刻度精确的卡尺，测一测就知道自己跟满分之间的差距。
我们的实验恰恰说明，这类基于模型的评分系统，更接近一支老式指针表——指针会因供电、温度、内部电路的轻微扰动而在真实值附近微微一抖。真正需要关心的，是能让指针稳定地跳过一个刻度以上的那种改变。
一个点上下浮动的结果，与其拿来指导下一步动作，不如当作背景噪声，放过它也放过自己。
这个实验出自Founder Lab，是Atom Foundry在AI电商研究中公开运营的Shopify试验场。
所有数据、所有过程记录，包括那些失败的尝试，都会按计划公开。就像这次六轮扫描一样——没改一行代码，却实打实地搬开了优化道路上最容易踩到的那块石头。
看清测量的底噪，或许比盯着分数本身更有价值。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
