北京
分享至
训练带隐变量的模型时，梯度估计往往噪声很大，方差高得让人头疼。Towards Data Science 上这篇讲重参数化技巧的文章，给了一个很直接的思路：把随机性挪到计算图外面去。
噪声从哪来
问题出在采样这一步。当模型需要从一个分布里采样，而采样本身又夹在计算图中间，梯度回传时就会带上这份随机性带来的抖动。估计出来的梯度方向忽左忽右，方差自然压不下来。
重参数化的做法是换个写法：把随机源单独拎出来，作为一个不参与求导的外部输入，再通过一个确定性的变换把它映射回原来的分布。这样一来，随机性还在，但它不再挡在梯度的路径上。
为什么这样更聪明
随机性一旦被移出计算图，剩下的变换就是可导的。梯度估计从"带噪采样"变成了"对确定性函数求导"，方差随之下降，训练也更稳。
文章把这套思路概括为用更聪明的梯度做方差缩减——不是靠多采样几次硬扛噪声，而是从结构上把噪声的来源挪开。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
