考古拼多多，20年前的技术文档

6篇学术论文，从大气颗粒分析、数据库优化、机器学习，到电商商品推荐。

最近在雪球刷到黄峥硕士期间的一篇论文，出于好奇，我顺着这条线索翻了不少历史资料，最后找到了黄峥、陈磊和阿布（顾娉娉）在拼多多成立之前的6篇公开论文。

时间跨度从2004年到2009年，涉及大气颗粒分析、数据库优化、机器学习和电商商品推荐。这其实是拼多多建立之前的理论基础，他们从2004年开始有初步想法，一步步演变、实践，然后有了今天的拼多多。

6篇论文背后，有一条相当清晰的线索：他们一直在研究如何从海量、复杂的数据中找到规律，再以尽可能低的成本，把这些规律转化为有效决策。

在讨论这6篇论文之前，我们需要了解一些背景。

1、导师Raghu教授

先介绍一个关键人物：Raghu Ramakrishnan教授。

陈磊1997年在清华读计算机，2001年前往威斯康星大学麦迪逊分校（UW-Madison）读博，次年黄峥也来了，两人是师兄弟，导师是Raghu。

Raghu是印度理工学院马德拉斯分校毕业的高材生，1987年获得德州大学奥斯汀分校博士学位，随后进入威斯康星大学任教，一干就是近20年。他是数据库系统领域的重要学者，著有经典教材《Database Management Systems》，研究涉及数据库查询优化、数据挖掘、信息检索和数据集成等领域。

这位教授的经历也挺有意思。1999年，他一边当教授，一边创办了QUIQ，一家提供众包问答和知识管理服务的公司，自己担任董事长兼CTO。赶上互联网泡沫，公司最终在2003年被Kanisa收购。2006年，他加入雅虎，先后担任门户、云和搜索业务的首席科学家，2012年转投微软，如今担任微软数据领域CTO。学术、创业、雅虎、微软，这条职业路线几乎贯穿了互联网从数据库时代走向云计算时代的全过程。

Raghu教授的学术研究，简单理解就是两件事：如何让计算机从海量数据中发现有价值的信息，以及如何让这个过程算得更快、更省。前者叫数据挖掘（Data Mining），后者是计算优化（Query Optimization）。

这两个关键词，我们先记住。

2、EDAM课题组

读书期间，陈磊和黄峥参与了Raghu主持的同一个研究项目——EDAM，全称Exploratory Data Analysis and Management，即探索性数据分析与管理。陈磊是课题组的第一个博士生。

这是一个由美国国家科学基金会资助、跨学校跨学科的研究项目，研究对象是：大气中的气溶胶颗粒。当质谱仪检测空气中的微粒，会连续产生大量复杂信号，一种颗粒可能包含多种化学成分，不同成分的信号相互叠加，还夹杂着噪声。这个项目就是希望通过算法识别颗粒的化学组成、发现不同颗粒的共同特征，并以较低的计算成本持续处理海量数据。

有意思的是，EDAM官网在讨论未来应用时，明确提到了电商网站。项目介绍指出，对复杂现实系统进行动态监测，既可以用于分析大气中的汞和臭氧，也可以用于分析电商网站的用户行为。只是前者观察的是气溶胶仪器数据，后者观察的是点击流和交易数据。

现在我们理清了师徒几人早期研究的核心了：面向大规模数据的模式识别与计算优化。

3、六篇论文

现在，我们再来看这6篇论文，放在“面向大规模数据的模式识别与计算优化”这一框架下，它们回答了三个层层递进的问题。

第一个问题：模式识别，从复杂数据中提取有用规律

2004年发表的两篇，由黄峥和陈磊合著，这个阶段的研究回答了两个问题：数据背后存在什么规律，以及怎样以较低的计算成本把规律找出来。

《Mass Spectrum Labeling: Theory and Practice》研究如何从一个混合质谱信号中识别不同化学成分。假设一份空气样本同时包含多种物质，质谱仪得到的是它们叠加后的信号。研究者需要利用已知成分的特征和数学约束，判断哪些物质存在，以及它们可能以怎样的比例混合。

《Cost-Based Labeling of Groups of Mass Spectra》进一步研究如何从一组颗粒中高效找出共有成分，介绍了GenTest、DFSVoting等算法，并根据不同数据和执行条件比较计算代价，其核心思路，是充分利用群体信息，并尽量减少昂贵、重复的计算。

这篇论文接近结尾的第8节“FROM MASS SPECTRA TO MASS MARKET”，专门讨论了质谱分析与电商购物分析的联系：一次购物，不一定只反映一种消费需求，它可能是几种不同购买动机叠加的结果。算法的任务，是把这些混合信号拆解出来。

论文还举了一个例子：一种典型购买模式是，关爱孩子的父亲购买很多玩具，以及少量铅笔；另一种典型购买模式是，低收入消费者购买较多鸡肉，但很少购买海鲜。如果某次购物同时包含大量玩具、一些铅笔和大量鸡肉，却没有海鲜，算法就可以把它解释为上述两种购买模式的组合。如果只有玩具而没有食品，则只能推断其符合第一种模式，不能据此判断其收入高低。

这是最早有记录的黄峥关于电商的思考。

最值得关注的是它提出了一种与传统用户分类不同的思路，传统分类可能会问：这个顾客究竟属于哪一类？这篇论文则是问：这次购买行为，由哪几种潜在消费模式共同构成？也就是说，一个人不是一个固定标签，一次交易也不只有一种动机。

这是后来拼多多理解用户的重要线索：拼多多吸引的是追求高性价比的人群，他会买一个爱马仕的包，也会用 9.9 元买一箱芒果。

第二个问题：计算优化，如何在海量数据上高效计算

2004年黄峥毕业，陈磊进一步研究，在识别了规律后，如何将复杂的数据分析规模化，并建立预测模型。

2006年的《Learning from Aggregate Views》提出：如果无法获得完整的个体数据，能不能仅凭汇总统计，训练出有效的预测模型？值得注意的是，论文使用了真实的包含约100万条记录的邮购零售数据。论文设定的场景是：零售商希望外包数据分析，但不愿公开每件商品的成本，因为它属于商业机密。分析方只能拿到经过汇总的商品类别、定价、目录展示位置等数据，却仍要预测不同商品的盈利表现。具体做法是从数据中构造三种聚合视图，也可以得到较好的预测效果，但聚合过程中损失的信息越多，预测准确性通常越差。

与此同时，《Composite Subset Measures》和陈磊2007年的博士论文把重点放到了计算效率上。前者研究如何将相互关联的统计任务组织成一个整体，后者进一步研究单机优化和分布式并行执行。陈磊在博士论文中，第一次提到了“分布式计算优化”：当单台计算机不足以处理大规模数据时，可以把数据重新分配到多台机器，让各台机器独立完成一部分统计任务。它特别关注如何划分数据、处理相邻区域之间的重叠，以及减少不同机器之间的数据传输，并引入成本优化器，在数据复制、并行程度和通信成本之间寻找合理的计算方案。

这已经非常接近后来大型互联网平台经常面对的工程问题。当用户、商品、订单和经营指标不断增长，平台要每天计算海量统计结果，还要为推荐、营销和运营提供足够及时的反馈。算法不仅需要算出答案，还得考虑内存、通信、并行效率和整体计算成本。

第三个问题：商业应用，把推荐算法变成真实的经营实验

顾娉娉2009年的论文最有意思，当时她在黄峥创办的欧酷网实习，亲身经历了早期的电商推荐系统，研究项目得到陈磊的支持，并且在论文致谢环节“特别感谢”了陈磊博士。这算是一次系统性的思考，也是理解后来拼多多运营方法最直接的一份技术档案。

论文讨论了一个非常具体的问题：一款诺基亚手机有57个可选配件，但商品详情页下方只有5个展示位置，应该挑选才能让消费者更愿意购买？

论文综合考虑了以下因素：历史购买概率、商品类目结构、数据量、实际运营效率、反馈更新等，设计了三种推荐算法，并在欧酷网平台进行实验。结果自适应推荐的指标达到77.1%，比纯统计方法高11.8个百分点。这个结果相当不错，特别是考虑到2009年的技术条件。

论文提出的推荐方法，核心由三部分组成。

其一，用真实交易行为预测购买概率。

论文采用的基础指标是条件购买概率：

最基础的方法，是利用历史订单计算条件购买概率。简单理解，就是购买商品A的人，有多大比例会同时购买配件B。这比单纯按照配件销量排名更合理。一款手机壳可能不是全站销量最高的商品，却可能是购买某个型号手机的消费者最需要的配件。

推荐系统由此建立起一种反馈机制：根据历史购买行为预测商品关联，再根据新产生的订单不断修正判断。

其二，用商品类目解决新品缺乏数据的问题。

这是我认为论文技术上最有价值的部分。假设一款新手机刚上市，没有任何购买记录，单纯依赖历史成交数据，推荐系统就无法判断。而新品恰恰需要推荐曝光，没有曝光又很难产生销量，于是陷入死循环。

论文的解决方案很直接：利用相似商品或者上一级商品类目的购买数据进行预测。例如，某款新诺基亚手机没有销量数据，可以先参考同品牌手机的配件购买规律。作者还设计了样本量阈值，在商品自身数据不足时依赖类目数据，随着销量积累逐渐转向商品自身的数据，并在样本充足时更重视近期购买行为。实验中使用的主要阈值为10和40。

它解决了一个电商平台始终存在的问题：如果推荐系统永远根据历史销量分配流量，新商品就很难获得成长机会。这个思想后来可以扩展到新品冷启动、新商家成长、产业带商品推广等场景。

其三，把商业运营规则纳入推荐系统。

算法并没有被设计成一个脱离运营的独立模型，作者专门讨论了七类真实运营问题，包括配件之间的互斥关系、新品上市、缺货、赠品促销以及固定推荐位置等。例如，用户购买手机已经赠送充电器，继续向他推荐另一款充电器可能没有意义；某款配件历史销量很好，但即将缺货，也不应获得同样的推荐权重。

这体现出一种鲜明的工程导向：推荐系统必须理解商品和商家的实际经营约束。

在今天的电商体系中，可以把这种思路进一步扩展到库存、履约能力、商品价格、质量、退款率、营销投入等因素。推荐算法与运营规则共同决定商品如何被消费者看到，从商业上看，这让推荐系统既承担用户体验功能，也成为连接消费者、商家和平台收入的重要基础设施。

总体来看，这是一篇商业应用意识很强、具有真实线上实验的工程型硕士论文，其价值主要在于系统设计和实践探索，统计证明的严谨程度则比较有限。

我们也可以从这篇论文观察到拼多多技术团队很早就关注的三个问题：怎样理解用户、怎样用数据改善交易效率，以及怎样把算法与运营结合起来。

现在，我们回顾6篇论文，可以看到一条相当清晰的技术主线：从复杂数据中识别潜在模式，发现群体规律，利用规律进行预测，再通过计算优化让整套系统能够大规模运行，最终用真实交易结果验证效果。

这就是拼多多的理论基础：

第一是群体规律。黄峥、陈磊2004年的研究已将复杂信号识别与购物分析建立了概念联系。对于电商而言，从大量分散的交易中发现共同需求，有助于理解商品组合、消费偏好和需求聚合。

第二是计算效率与规模化。陈磊2006—2007年的研究关注如何组织复杂分析任务、复用中间结果，以及把计算分配到大规模集群。一个拥有海量用户和商品的平台，需要不断计算不同维度的需求和经营指标，这类研究经验具有相关性。

第三是交易反馈驱动运营。到顾娉娉的论文，已经形成了一个完整闭环：利用历史订单预测需求，根据商品关系和业务规则决定展示内容，再观察真实购买结果，并不断更新算法。它还把冷启动、缺货、促销赠品等现实经营问题放进了模型，这与电商平台的日常运营高度贴近。

这些早期论文还有一个容易被忽视的共同点：它们不只讨论一个问题能否被求解，也反复讨论怎样以可承受的代价求解。

计算成本、内存占用、算法执行路径及规模扩展能力都属于核心研究内容，这种与拼多多的商业模式有一个深层共性，系统的目标不只是提高某个局部指标，而是寻找多个约束下的整体效率。例如：推荐更精准，可能提高商品曝光效率；需求更集中，可能改善供应端的备货和生产安排；流量获取成本更低，可能为更有竞争力的商品价格提供空间；复杂指标计算更高效，可能支持更及时的运营反馈。

但更让我感慨的，是专注的力量。

从各自在校期间的论文，到今天的拼多多，20多年的时间他们只做了一件事：围绕电商行业，从海量、分散、充满噪声的数据中，识别出有价值的群体规律，再以尽可能低的成本，将这些规律转化为大规模决策。

市场通常把拼多多的成功归因于低价、补贴、社交裂变、算法推荐和白牌供应链，但它们只是属于不同层面的经营手段。时至今日，虽然商业规模和业务复杂度已经发生了巨大变化，他们面对的问题早已超出当年的论文范围，但早期研究所体现的方法论，依然值得用来理解这家公司。

2016 年，拼好货的黄峥接受采访时说：

我们无非一伙人，想追求做成一件牛逼的事，那我们就坐下来商量，哪一件事情能够更牛逼。

【欢迎关注，点赞和分享：一年后你仍然会翻出来看的文章】