从火山引擎技术开放日说起：被低估的AB Test

A/B测试作为一个单品，很少有上了规模的互联网企业会大力去推广它。

然而今年4月份，火山引擎举办技术开放日，对外首次揭秘了A/B测试在字节跳动内部的实践情况，并将字节跳动在A/B测试上的能力开放给企业客户。

今天想借火山引擎推A/B测试这件事，聊聊A/B的渊源、价值与前沿。

A/B测试可以理解为对照试验，一般针对产品想改进的某个功能或策略，提供两种或多种不同的备选方案，通过测试用户对不同方案的反馈，寻找最优的产品决策。

奥巴马08年大选时，对4个不同竞选页方案进行了A/B测试，通过数据选出的了右侧优胜版本，这个页面版本为奥巴马队额外获得了300万的支持者，增加了5700万美元的捐款额。

01 源起

20年前，谷歌进行过一次实验，想了解页面展示多少条搜索结果最受读者喜欢。那次实验由于搜索结果加载速度问题没能成功，但却有着划时代意义，它是互联网行业的第一次A/B测试。

在那以后，亚马逊、谷歌、eBay等一众先行者将这种方法应用在产品迭代、内容优化、UI调整、算法检测等各方面，每年有数以万计的实验开启。

国内对A/B测试的应用大概始于10多年前，那时BAT就有支持各自业务的规模性并行A/B测试，但说到把A/B测试根植在基因中的公司，绕不开字节跳动。

2012年成立之初，当还是今日头条的时候，字节跳动就在内部使用A/B测试，之后这个工具逐渐升级、进化，成为大型的测试平台。

字节曾对外透露，每次发布APP，都会起多个名字，放到各大应用市场去做A/B测试，“今日头条”、“抖音”的名字都由此而来。成立9年间，字节总共开了70多万次实验，从增长策略制定，到产品 Feature 迭代，以极高的决策成功率，狂奔到了如今的位置。

2018年字节的A/B测试开始服务少数外部的种子客户，2020年通过火山引擎正式对外商业化。

02 价值

对一家企业而言，拥有A/B测试的能力到底有多重要？

关于字节内部的A/B测试工具，坊间有着它比 Google Analysics 更好用的评价。外界也有很多声音，说增长团队和A/B测试工具是字节的制胜关键。但我更倾向于认为，工具本身只是显性呈现，背后的本质是科学增长的方法论。

A/B测试，可以被应用在产品的每一个拉新、转化、激活、留存的微小细节，也可以被放置于公司的方案、方向、战略、决策的重大抉择。A/B实验的本质，是能以较小的风险对决策进行评估，并且可以排除其他因素的干扰，寻得定量的结果。经过大量的实验铺陈，企业就能用更小的试错风险，寻得更优的决策。

这些年，我见过很多一夜爆红又一夜死亡的产品，拥有健康增长曲线的公司寥寥无几。对前者而言，成功或许归结于运气与风口，而对后者而言，成功却是一种必然，是在上万次的迭代决策中，都选择了那个“更好一点”的方案的必然。

可以说，企业的竞争力与实施A/B测试的能力密切相关。

03 演进方向

这几年，我在持续关注着A/B测试的产品演进。市面上顶尖的A/B测试产品，提供的是让业务变得精确、简易、高效的能力。而智能化能力与简易化能力，是未来产品演进的重要方向。

智能化方向

在剑桥的中，将实验平台按成熟度分成了 Crawl, Walk, Run, Fly 四个层次，第四阶的 Fly ，指的是AB测试的自动化乃至智能化阶段。进入这个阶段的实验平台，能够低成本和低人力投入地大量并行A/B测试。

目前少数前沿A/B测试产品具有的动态流量调优能力，是这个方向较有代表性的特性。该能力可以让实验者同时提交多种策略（例如多种推送文案、多个落地页面样式），在实验开启后，由A/B测试工具智能动态扩量优胜版本，无需人工干预，流量自动向“有可能成为最优的策略”倾斜，并根据实时的指标变化，动态更新流量配置。

简易化方向

在新产品层出不穷的今天，内卷竞争弥漫在各行业赛道，倒逼企业转型向精细和高效管理。在精细操作阶段，A/B测试是绕不开的驱动器。曾经需要专业的产品团队、专业的数据分析团队才能完成的A/B测试，会向人人可用、适配全行业的方向发展。

一个比较代表性的产品方向是可视化实验配置能力。这是一个让配置A/B实验趋近零门槛的功能，用户可通过直接拖拽的方式，改变页面布局及各种前端元素，以所见即所得的操作，完成实验对照组和实验组的配置。没有产品基础和数据基础的人同样可以DIY实验，不再需要前后端研发的介入。

另一个我关注的产品能力，是优化的灰度发布和回滚能力。通常产品在新功能发布前，会有“灰度发布 (Feature Flag)”流程，这个流程的目的是采取小流量测试的方式，验证新功能是否稳定。

如果灰度上线后结果不理想，需要协同产研将功能回滚，以做进一步优化。

目前，前沿的A/B测试产品提供了“开关”形式，可直接管理产品内功能的开启/关闭，运营可直接操作，还可以针对目标人群进行定向发布，进行精细化运营。这个功能可以让产品 Feature 迭代高效数倍。

04 结语

近些年围绕增长的概念很多，从战略的第二曲线、品牌的错位竞争，到产品的三级火箭、渠道的裂变营销；另一层面，技术发展也为增长带来了可量化依赖的工具，譬如画像洞察，譬如AB测试。

“增长”已不再是互联网专属的摩登词语，而成为了各行业发展的必修课程。而在凭借经验、才智、理论指引决策之外，数据工具的重要性也将到达前所未有的高度。这个方面，我也会保持时刻的观察，间歇和大家交流。