重参数技巧

在深度学习中，有些时候我们可能想要对一个分布进行随机采样，最常见的情况是随机采样一个高斯分布，以获取高斯噪声。 但是随机采样这个过程是无法求导的！因此需要一种方法让这个过程可以求导，可以学习。

以正态分布为例，，要随机采样到一个就需要一个离散的随机数作为正态分布函数的参数，这个随机数生成过程不可求导。此时可以引入随机变量使得，此时x可导且可导。对的采样是在神经网络之外进行的，对于神经网络来说，相当于一个常数，也就不需要进行求导。