百度研发出大模型加持的广告推荐系统，转化率提升3.6%

（文/张睿佳 编辑/张广凯）

上月，百度团队于arXiv上发表论文，介绍了一种名为COBRA（Cascaded Organized Bi-Represented generAtive Retrieval）的新算法框架，该框架被应用于提升生成式模型在广告推荐系统中的使用效果。

根据文章介绍，工程师把COBRA投放到真实环境，在 A/B 测试中增加了3.6%的转化率，ARPU（平均每用户收入）增加4.15%，目前该框架已经被应用在百度广告推荐业务上。

利用生成式大模型来提高广告推荐的准确性，是很多企业都在做的尝试。早在去年，谷歌就提出了一种生成式检索推荐系统范式TIGER。

百度团队的论文提到，谷歌的TIGER是利用 Transformer 编码器-解码器架构中的一系列稀疏 ID 作为输入，直接预测下一个项目的稀疏 ID。而百度这篇论文的标题就是“当稀疏遇到稠密”，相较TIGER做出了进一步改进。

据悉，COBRA是一个融合生成式和密集检索的框架。

在生成式推荐中，模型需要预测的目标对象（item)是一个个综合体，并非简单的token。所以在技术上，需要明确如何表征，并进行序列建模。

百度最先采用的是纯文本表征和LLM建模策略。该策略提升了对用户意图的理解能力但是运行成本较高，同时在表征和建模中存在不匹配的问题。

为解决该问题，百度团队又使用了稠密学习和对比学习度量，但这个方案缺少兴趣探索过程，建模复杂度较高。

在受到谷歌推出的推荐系统生成检索的TIGER方法启发后，团队又尝试了稀疏表征和稀疏ID生成。

这个过程中运用到一个名为“残差量化变分自编码器（RQ-VAE）”的技术。顾名思义，该技术综合了残差学习、量化技术和变分自编码器三种方法。可以减少信息损失、提高模型的泛化能力，并通过优化模型参数，改善重构效果。

但是稀疏表征带来的信息缺失，使得该方案在捕捉用户偏好的精细变化时效果较差。

最后，团队提出了COBRA框架，稀疏稠密级联表征和⽣成度量⼀体化方案，并达到了SOTA 级别的推荐性能。

在该框架中，稀疏ID负责提供稳定的类别基础信息，稠密向量确保模型捕获高级语义和细粒度细节。模型在稀疏ID的指导下动态地细化稠密向量，可以获得更加全面的目标对象（item) 特征。同时端到端的训练方法，可以捕获高级语义和协同信息。

实测效果上，在利用公开数据集（Amazon Product Reviews: Beauty, Sports and Outdoors,Toys and Games) 和工业数据集(Baidu Industrial)，以及离线和在线评估后，证明COBRA 优于目前业内最先进的方法。

本文系观察者网独家稿件，未经授权，不得转载。