北京
分享至
想象一张铺满散点的画布，每个点都是一张训练图片。生成模型要做的，是把这些点的分布规律学会，再画出一批全新的点。
很多方法的第一步，是去拟合一个密度函数——回答“某个位置出现样本的概率有多大”。但2019年，Yang Song 和 Stefano Ermon 在论文《通过估计数据分布的梯度进行生成建模》里，把重心从密度本身，挪到了密度的梯度方向。
score 是什么？
密度告诉你“哪里更像真实数据”；梯度告诉你“往哪个方向挪，能更接近真实数据”。论文给这个梯度方向起了个名字：score（分数）。它的巧妙之处在于：即便不知道分布长什么样，只沿着 score 指出的方向不断修正，也能一步步生成新样本。
为什么说它是扩散模型的基石？
今天生成式AI的主角——扩散模型，核心逻辑和这恰恰是同一条路。论文作者在文中明确写道：学会估计梯度方向、而不是直接估计数据密度，为现代扩散模型奠定了基础。
一篇换了个角度提问的论文，绕开了密度估计这座大山，反而给整个生成式AI画出了新路线。下次再看到“扩散模型”四个字，不妨回想一下2019年这个“不学密度，改学梯度”的巧思。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
