由来
在神经网络的训练过程中,权重和偏差的初始值对模型的性能和训练过程的收敛速度都有影响。随机初始化是一种常用的权重和偏差初始值设置方法,它有助于打破对称性,避免网络陷入局部最优解。
概念
当所有权重和偏差都被设置为相同的初始值时,神经网络的每个神经元在反向传播时会计算相同的梯度,导致网络无法学到不同的特征。为了避免这种情况,我们使用随机初始化,即为每个权重和偏差分配随机的小值。
通常,随机初始化的原则是使用均匀分布或正态分布生成随机数,并根据网络的规模和结构来调整初始化的尺度。
代码实现,一个简单的随机初始化示例,以正态分布为例
import numpy as npdef initialize_parameters(layers_dims):"""Initialize the parameters of the neural network.Arguments:layers_dims -- list containing the dimensions of each layer in the networkReturns:parameters -- python dictionary containing your parameters "W1", "b1", ..., "WL", "bL":Wl -- weight matrix of shape (layers_dims[l], layers_dims[l-1])bl -- bias vector of shape (layers_dims[l], 1)"""np.random.seed(42)parameters = {}L = len(layers_dims) # number of layersfor l in range(1, L):parameters['W' + str(l)] = np.random.randn(layers_dims[l], layers_dims[l - 1]) * 0.01parameters['b' + str(l)] = np.zeros((layers_dims[l], 1))return parameters