周三下午的复盘会上,运营团队把两张报表并排放在投影上。左边是客服AI,销售额涨了16.3%;右边是广告标题生成工具,销售额没有任何可检测到的增长。同一家公司,同一类生成式AI,两个结果。
这就是企业AI最不舒服的地方:系统完成了你交代的任务,却没能改善你真正在意的结果。2025年10月发布的一份工作论文《生成式AI与企业生产力:在线零售的田野实验》,在一家大型国际电商平台做了7个随机实验,覆盖数百万客户和商品,销售效果从"无可检测提升"一路分布到16.3%。
论文没有披露这家公司的名字。实验在2023年9月到2024年6月之间进行,论文于2025年10月发布。7个实验是各自与原有流程做的独立对比,不能相加,也不构成全公司营收增长,更不能保证在另一家企业复现。技术类别相似,商业结果并不相似。
16.3%背后,AI替代的是什么
客服实验涉及44,614名客户,持续两个月。一组客户在购买前可以与生成式AI助手交互;对照组收到的是一条脚本化消息,告知客服当前不可用。AI组的销售额相对这个对照组高出16.3%。
所以准确的描述不是"AI击败了客服",而是"提供AI协助,胜过了让客户得不到有效协助"。实验没有证明AI助手强过一支优秀的人工客服团队,它证明的是:回答问题,胜过了问题无人回答。机会来自一个服务缺口。
搜索实验涉及1,849,382名客户。原有流程用的是基础翻译,AI介入后增加了语义理解,更好地还原客户真正想表达的意思,研究报告销售提升约2%到3%。这家公司本来就有商品目录、客户查询和搜索系统,干预点落在三者之间的连接上:客户说了什么、客户想说什么、搜索系统取回了什么。你未必需要替换整个体验,有时有用的干预就卡在两个已有组件之间。
商品描述实验覆盖4,772,937名客户。AI在原有商品信息基础上补充更完整、结构化的描述,销售提升同样约2%到3%。基线很具体:平台自营商品中近一半描述有限或根本没有描述。起点不是"公司需要做好AI准备",而是"客户在信息不足的情况下试图评估商品"。
那个零增长的结果,才是重点
AI优化的广告标题,没有产生任何可检测到的销售增长。标题生成器容易理解、容易演示、容易让人称赞,但这些属性都不等于增量商业价值。"无可检测增长"不等于真实效果恰好为零,它意味着在测试条件下,实验没能证明销售有提升。
如果产出变了、结果没变,我们到底在为改善什么付费?一个更好看的产物,不会自动变成更好的商业结果。
这些实验指向的变量是"余量":在现有体验之上还有多少改进空间。一个无人回答的问题余量大,一个信息缺失的商品页余量大,一个本来就跑得不错的流程余量小。这带来一个换掉的问题——不是"AI能不能做这件事",而是"AI能不能把这个结果改善到足以覆盖成本和风险"。
论文还报告,销售增长主要来自更高的转化率,而非更高的客单价。干预帮助更多客户完成了购买,未必让每个买家花得更多。"AI提升了营收"是标题,"AI帮忙移除了购买障碍"才是可以继续追查的机制。
在画架构图之前、在争论框架之前、在演示智能体之前,先问几个问题:当前体验缺了什么?谁在为这个缺口付出代价?什么信息会有帮助?哪个结果应该改变?什么证据会让我们停下来?下一个有价值的AI项目,起点可能不是更强的模型,而是一个没人回答的客户问题。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.