Sega这套A/B测试系统让实验量翻倍，却一个人都没招

去年HARDlight的数据团队算过一笔账：每多跑10组实验，分析师就要多加班15小时。不是没人想测，是测完之后那堆Excel和Slack消息能把人埋了。

他们最后没招人，实验量却翻了一倍。秘密藏在Databricks上的一套自动化框架里——从埋点数据进仓，到LLM生成结论推给产品经理，全程不用人动手。

实验做多了，反而没人信了

手游行业的A/B测试是个悖论。你做得越多，团队越疲惫，结论越混乱。

HARDlight的困境很典型。不同分析师用不同统计方法，同一组数据能读出两种结论。运营要的是"今天哪个版本赚钱"，策划想知道"玩家为什么流失"，数据科学家却要验证"这个 lever 的因果效应是否 robust"。

三套需求，三套报表，三个版本的故事。时间久了，实验从"科学决策工具"退化成"各说各话的话术弹药库"。

更隐蔽的伤害是延迟。关键信号出现后，结论要等两三天才能对齐。等所有人看完PPT，玩家早跑光了。

他们需要的不是更快的手动分析，是一套让所有人用同一套语言说话的系统。

把统计学家塞进流水线

HARDlight的解法是把A/B测试拆成三段自动化管道，全部跑在Databricks上。

第一段是标准化 ingestion。实验定义、埋点 schema、用户分组逻辑全部代码化，进仓前自动校验。以前分析师拿到数据要先问"这组的randomization unit是设备ID还是用户ID"，现在系统直接拒绝格式不对的输入。

第二段是上游统计建模。Bayesian inference、sequential testing、multiple comparison correction 这些操作被封装成可复用的库，每次实验自动套用同一套方法。换句话说，不会再出现"小张用t-test、小王用bootstrap"的混乱。

第三段最花心思：分层的结果呈现。最顶层是LLM生成的每日摘要，用自然语言告诉产品经理"实验A的retention提升置信度78%，建议继续观察"。往下钻是KPI看板、diagnostics面板、raw data导出。不同角色各取所需，但底层数字完全一致。

LLM摘要：给忙碌者的作弊条

这个LLM摘要的设计很产品经理思维。

它不是替代分析师，而是解决"99%的人只需要知道实验死没死"的场景。每天自动刷新，三句话概括状态：实验跑了多久、核心指标变化、下一步建议。如果指标异常波动，会高亮提示"第3天出现样本不平衡，建议检查流量分配"。

真正需要深挖的人，可以点进AI/BI视图看 cumulative difference plot、SRM（sample ratio mismatch）检测、power curve。这些曾经藏在Python notebook里的专业图表，现在成了自助服务的菜单选项。

实验结束后，所有结果会被冻结存档。决策依据、当时的context、学到的教训，全部保留成可检索的知识资产。这是很多团队忽略的细节——实验做完了，但"为什么做这个决定"的记忆往往随着人员流动而丢失。

没招人，为什么能跑双倍实验

容量翻倍的核心不是"更快"，而是"更少的人为阻塞点"。

以前一个实验从结束到出结论，要经过：分析师跑代码→做图表→写summary→开会同步→根据反馈再改。现在管道自动产出标准化输出，会议变成"确认建议并执行"，而非"先对齐数字再争论方法"。

另一个隐性收益是信任重建。当所有人看到同一组数字、同一套统计方法，实验从"谁嗓门大听谁的"变回"数据说话"。HARDlight提到，这套系统帮助团队 adopt "a shared scientific approach"——这句话的潜台词是，之前他们并没有。

值得注意的一个设计选择：他们没有追求real-time，而是daily refresh。手游实验的周期通常以天为单位，过度追求分钟级更新反而制造噪音。这个取舍体现了对业务节奏的尊重。

这套框架的边界在哪

HARDlight的方案并非万能药。它依赖几个前提：实验定义必须提前代码化，埋点质量必须稳定，Databricks的compute成本必须可接受。

对于实验文化尚不成熟的团队，自动化可能加速混乱而非消除混乱—— garbage in, garbage out 的速度变快了。

另外，LLM摘要的准确性需要持续监控。自然语言的灵活性是把双刃剑，"建议继续观察"在不同语境下可能被解读为"还没显著"或"别急着下结论"。HARDlight的做法是让摘要模板保持克制，关键决策点强制引用具体数字。

这套系统最聪明的点，可能是承认了"不同人需要不同深度"的现实，而不是强迫所有人成为统计学家。产品经理得到的是可行动的结论，数据科学家保留了对方法的完全掌控，两者通过同一套基础设施协作。

手游行业的A/B测试正在从" artisanal craft "（手工作坊）转向" industrialized pipeline "（工业化流水线）。HARDlight的案例证明，这个转型不一定需要扩编——但需要把分析师的时间从重复劳动中解放出来，去做更难的判断。

最后留一个问题：当你的实验系统能自动生成结论，产品经理还需要懂统计学吗？还是说，懂统计的产品经理会变成更稀缺的物种？