深度学习模型九大经典初始化方案

注意：本文引用自专业人工智能社区Venus AI

1. 正态分布初始化

正态分布初始化将权重初始化为来自正态（或高斯）分布的随机数。该分布通常以0为均值，其标准差（或方差）可以根据网络的特定需求进行调整。这种方法在保证权重不会开始时过大或过小的同时，允许模型自行学习适合的权重分布。

让我们用Python来实现正态初始化：

def normal_distribution_initialization(n_in, n_out, std=0.01):"""Normal distribution initialization for a weight matrix.:param n_in: Number of input units.:param n_out: Number of output units.:param std: Standard deviation of the normal distribution.:return: Initialized weight matrix."""weights = np.random.normal(0, std, (n_out, n_in))  # Initialize weightsreturn weights# Example: Initialize weights for a layer with 100 input units and 50 output units using normal distribution
weights_normal = normal_distribution_initialization(n_in, n_out, std=0.01)# Plot the histogram of the initialized weights
plt.hist(weights_normal.flatten(), bins=50, color='purple', alpha=0.7)
plt.title('Normal Distribution Initialization Weight Distribution')
plt.xlabel('Weight value')
plt.ylabel('Frequency')
plt.show()

代码运行结果如下：

在图1中，我们展示了使用正态分布初始化方法初始化权重后的权重分布直方图。可以看到，这些权重值主要集中在零附近，呈现出紧凑的高斯分布形状。在这个例子中，标准差设置为0.01，这意味着大多数权重值都位于[−0.02,0.02] 的范围内。

正态分布初始化是一种通用的初始化策略，适用于多种不同类型的神经网络。通过合理选择分布的标准差，可以确保权重既不会过大，也不会过小，有助于网络在训练过程中稳定地学习。

2. 均匀初始化

均匀初始化是一种简单而常用的神经网络权重初始化方法。在这种方法中，权重被初始化为在一个特定的小范围内均匀分布的随机数。均匀初始化的主要优势在于其简单性和在许多场景下的有效性。它适用于多种不同类型的神经网络，特别是在缺乏先验知识时，提供了一种合理的权重初始化选择。通过在合理的范围内均匀分布权重，这种方法有助于避免在训练初期激活值过大或过小，从而促进了有效的学习过程。

接下来，我将介绍均匀分布初始化的实现和可视化。

# 均匀分布初始化的实现和权重分布直方图def uniform_distribution_initialization(n_in, n_out, limit=0.01):"""Uniform distribution initialization for a weight matrix.:param n_in: Number of input units.:param n_out: Number of output units.:param limit: The range of the uniform distribution (-limit, limit).:return: Initialized weight matrix."""weights = np.random.uniform(-limit, limit, (n_out, n_in))  # Initialize weightsreturn weights# Example: Initialize weights for a layer with 100 input units and 50 output units using uniform distribution
weights_uniform = uniform_distribution_initialization(n_in, n_out, limit=0.01)# Plot the histogram of the initialized weights
plt.hist(weights_uniform.flatten(), bins=50, color='orange', alpha=0.7)
plt.title('Uniform Distribution Initialization Weight Distribution')
plt.xlabel('Weight value')
plt.ylabel('Frequency')
plt.show()

代码运行结果如下：

在图2中，我们展示了使用均匀分布初始化方法初始化权重后的权重分布直方图。这些权重值均匀分布在 [−0.01,0.01] 的范围内，呈现出较为平坦的直方图形状。

均匀分布初始化为权重赋予了在给定范围内均匀分布的随机值，这有助于在网络训练的初期阶段保持激活和梯度的多样性。这种初始化方式适用于多种网络架构，尤其是在缺乏先验知识时，它提供了一种简单且有效的权重初始化选择。

通过对比正态分布和均匀分布的初始化，可以看到不同初始化策略对权重值分布的影响，这进一步说明了初始化对神经网络训练过程的重要性。

3. Xavier/Glorot 初始化

这种初始化方法由 Xavier Glorot 和 Yoshua Bengio 提出，特别适用于具有S型激活函数（如sigmoid或tanh）的网络。其核心思想是通过调整权重的规模来保持网络各层的输出方差大致相同，这有助于避免在训练过程中的梯度消失或爆炸。

在实现这种初始化方法时，权重通常从一个均值为0，方差为 $\frac2{n_\mathrm{in}+n_\mathrm{out}}$ 的正态分布中随机抽取，其中 $\mathrm{~}n_\mathrm{in}$ 和 $n_{\mathrm{out}}$ 分别是权重矩阵的输入和输出连接数量。这种方法也可以使用均匀分布来实现，此时分布的范围会根据 $\mathrm{~}n_\mathrm{in}$ 和 $n_{\mathrm{out}}$ 进行调整。

让我们用Python来实现Xavier初始化，并可视化一个初始化后的权重矩阵。我们将初始化一个简单的全连接层的权重，并使用热图显示初始化后的权重分布。

import numpy as np
import matplotlib.pyplot as pltdef xavier_initialization(n_in, n_out):"""Xavier initialization for a weight matrix.:param n_in: Number of input units.:param n_out: Number of output units.:return: Initialized weight matrix."""var = 2.0 / (n_in + n_out)  # Calculate the variance for Xavier initializationweights = np.random.normal(0, np.sqrt(var), (n_out, n_in))  # Initialize weightsreturn weights# Example: Initialize weights for a layer with 100 input units and 50 output units
n_in, n_out = 100, 50
weights_xavier = xavier_initialization(n_in, n_out)# Plot the histogram of the initialized weights
plt.hist(weights_xavier.flatten(), bins=50, color='blue', alpha=0.7)
plt.title('Xavier Initialization Weight Distribution')
plt.xlabel('Weight value')
plt.ylabel('Frequency')
plt.show()

代码的运行结果如下：

在图3中，我们可视化了使用 Xavier/Glorot 初始化方法初始化的权重矩阵。这个矩阵代表一个从100个输入单元到50个输出单元的全连接层的权重。

如图3所示，这些权重被初始化为接近零的小数值，分布均匀且对称。这有助于确保网络在训练开始时，各层输出的方差保持大致相同，从而有助于避免梯度消失或爆炸，特别是在使用S型激活函数时。

Xavier初始化是深度学习中一种常用的初始化技术，特别适用于深度前馈神经网络和具有S型激活函数的网络。通过合理的初始化，它可以显著提高网络训练的稳定性和收敛速度。

4. He 初始化

这种方法由 Kaiming He 等人提出，特别适用于使用ReLU激活函数的网络。He 初始化的主要思想是在深度网络中维持信号的方差，从而避免梯度消失或爆炸的问题。

在实现 He 初始化时，权重通常从一个均值为 0 ，方差为 $\frac2{n_{in}}$ 的正态分布中随机抽取，其中 $n_{in}$ 是权重矩阵的输入连接数量。这种方法也可以使用均匀分布来实现，此时分布的范围会根据 $n_{in}$ 进行调整。

让我们用Python来实现He初始化，并可视化一个初始化后的权重矩阵。我们将初始化一个简单的全连接层的权重，并使用热图显示初始化后的权重分布。

# He 初始化的完整代码和权重分布直方图def he_initialization(n_in, n_out):"""He initialization for a weight matrix.:param n_in: Number of input units.:param n_out: Number of output units.:return: Initialized weight matrix."""var = 2.0 / n_in  # Calculate the variance for He initializationweights = np.random.normal(0, np.sqrt(var), (n_out, n_in))  # Initialize weightsreturn weights# Example: Initialize weights for a layer with 100 input units and 50 output units
weights_he = he_initialization(n_in, n_out)# Plot the histogram of the initialized weights
plt.hist(weights_he.flatten(), bins=50, color='green', alpha=0.7)
plt.title('He Initialization Weight Distribution')
plt.xlabel('Weight value')
plt.ylabel('Frequency')
plt.show()

代码运行结果如下：

从图4中可以看出，He 初始化产生的权重值分布更宽，相较于 Xavier 初始化，这些权重的方差更大。

He 初始化特别适用于使用 ReLU（及其变体）激活函数的网络。通过提高权重的初始方差，这种方法有助于维持网络在深层中的激活和梯度的传播，从而避免了梯度消失的问题。

5. 正交初始化

正交初始化是一种专门用于神经网络权重初始化的方法。它基于正交矩阵的概念，即矩阵的行或列是彼此正交并且单位化的。这种初始化方式有助于维持梯度的规模，防止在深度神经网络训练过程中发生梯度爆炸或消失。

实现正交初始化通常涉及生成一个随机矩阵，然后通过奇异值分解（SVD）来获取近似正交的矩阵。这个近似正交的矩阵被用作网络层的权重。这种方法特别适用于递归神经网络（RNN），但也可用于其他类型的深度网络。

在实际应用中，如果权重矩阵的形状是 $m\times n$ ，正交初始化会生成一个 $m\times n$ 的矩阵，其中 $m$ 是输出单元数， $n$ 是输入单元数。通过SVD处理后，得到的矩阵保持了其列 (或行) 之间的正交性。

正交初始化通过保持权重矩阵的正交性，有助于避免在训练过程中的数值不稳定性，特别是在递归网络中，这对于保持梯度的稳定传播非常重要。Python代码实现如下：

def orthogonal_initialization(shape, gain=1.0):"""Orthogonal initialization for a weight matrix.:param shape: The shape of the weight matrix.:param gain: A scaling factor applied to the orthogonal matrix.:return: Initialized weight matrix."""# Create a random matrixa = np.random.normal(0.0, 1.0, shape)# Perform QR factorizationu, _, v = np.linalg.svd(a, full_matrices=False)# Pick the one with the correct shapeq = u if u.shape == shape else v# Scale the matrixreturn gain * q# Example: Initialize weights for a layer with 100 input units and 50 output units
shape = (50, 100)
weights_orthogonal = orthogonal_initialization(shape)# Plot the histogram of the initialized weights
plt.hist(weights_orthogonal.flatten(), bins=50, color='red', alpha=0.7)
plt.title('Orthogonal Initialization Weight Distribution')
plt.xlabel('Weight value')
plt.ylabel('Frequency')
plt.show()

代码运行结果如下：

在图5中，我们展示了使用正交初始化方法初始化权重后的权重分布直方图。可以看到，这些权重值的分布呈现出一定的对称性，并且覆盖了一个相对宽泛的值域。

正交初始化通过维持初始化权重的独立性和分散性，可以显著减少训练初期的梯度消失或爆炸问题，从而有助于网络的快速和稳定训练。

6. 稀疏初始化

稀疏初始化是一种神经网络权重初始化方法，它将大部分权重设置为零，只有少数权重被赋予非零值。这种方法的目的是减少参数间的冗余，提高网络训练的效率和泛化能力。

在实现稀疏初始化时，通常会指定一个稀疏度参数（如每个神经元连接到的前一层神经元的数量），然后随机选择这些连接并赋予它们非零的权重。这些非零权重可以从一个正态分布或均匀分布中随机抽取。

如果权重矩阵的形状是 $m\times n$ ，并且稀疏度为 k ，则每个输出神经元只与输入层中的 k个神经元连接，权重矩阵中大约有 $m\times k$ 个非零元素。

稀疏初始化减少了模型的参数数量，有助于防止过拟合，并且在一些情况下可以加速神经网络的训练过程。这种初始化尤其适用于输入特征非常多但是只有少数是重要的场景。Python代码实现如下：

def sparse_initialization(n_in, n_out, sparsity=50):"""Sparse initialization for a weight matrix.:param n_in: Number of input units.:param n_out: Number of output units.:param sparsity: Number of non-zero connections for each output unit.:return: Initialized weight matrix."""# Initialize a matrix of zerosweights = np.zeros((n_out, n_in))for i in range(n_out):# Randomly choose indices for non-zero weightsnon_zero_indices = np.random.choice(n_in, sparsity, replace=False)# Assign random values from a normal distribution to these indicesweights[i, non_zero_indices] = np.random.normal(0, 0.1, sparsity)return weights# Example: Initialize weights for a layer with 100 input units and 50 output units with sparsity 10
weights_sparse = sparse_initialization(100, 50, 10)# Plot the histogram of the initialized weights
plt.hist(weights_sparse.flatten(), bins=50, color='brown', alpha=0.7)
plt.title('Sparse Initialization Weight Distribution')
plt.xlabel('Weight value')
plt.ylabel('Frequency')
plt.show()

代码运行结果如下：

在图6中，我们展示了使用稀疏初始化方法初始化权重后的权重分布直方图。如图所示，大多数权重值为零（这在直方图中表现为一个高峰），而非零权重则分布在一个较小的值域内。

稀疏初始化通过显著减少非零权重的数量，有助于提高网络训练的效率和泛化能力。这种初始化方法特别适用于那些输入特征非常多但只有少数特征是重要的情况，如在处理高维稀疏数据时。通过减少模型的参数数量，稀疏初始化也有助于防止过拟合。

7. LSUV初始化

LSUV初始化是一种逐层初始化方法，旨在确保神经网络的每一层在初始化时都有单位方差。这种方法特别适用于深层网络，可以有效避免训练过程中的梯度问题。

LSUV初始化首先随机初始化权重，然后逐层调整权重，直到每层的输出方差接近1。这通常通过将层的输出与其标准差的倒数相乘来实现。这种方法确保了每层的激活值分布保持一致，有助于稳定和加速训练过程。

如果网络层 $l$ 的输出是 $o_{l}$ ，那么LSUV会调整该层的权重 $W_{l}$ ，使得 $o_{l}$ 的方差 $Var\left(o_l\right)$ 接近1。

LSUV初始化通过调整每层的权重以达到单位方差，有助于防止梯度消失或爆炸，特别是在深层网络中。这种初始化方法对于使用ReLU及其变体的激活函数特别有用。

为了进行可视化，我们需要定义一个未训练的神经网络模型，并在训练之前使用LSUV初始化方法对其进行初始化。初始化后，我们可以通过前向传播一批输入数据并可视化每一层输出的激活分布，以展示LSUV初始化的效果。在这个示例中，我将使用TensorFlow和Keras来构建模型。然后，我们将通过可视化每一层的输出来展示初始化后的激活分布。实现如下：

import tensorflow as tf
from tensorflow.keras.layers import Dense
from tensorflow.keras.models import Sequential
import numpy as np
import matplotlib.pyplot as pltdef create_model():model = Sequential([Dense(64, activation='relu', input_shape=(100,)),Dense(64, activation='relu'),Dense(10, activation='softmax')])return modeldef lsuv_initialization(layer, batch_input):weights = layer.get_weights()if len(weights) > 0:activation_model = tf.keras.Model(inputs=model.input, outputs=layer.output)activations = activation_model.predict(batch_input)std_dev = np.std(activations)if np.abs(std_dev - 1) > 0.1:scale = 1 / std_devnew_weights = [w * scale for w in weights]layer.set_weights(new_weights)activations = activation_model.predict(batch_input)  # Recompute activationsreturn activationsmodel = create_model()
batch_input = np.random.randn(100, 100)activations = []
for layer in model.layers:layer_activations = lsuv_initialization(layer, batch_input)activations.append(layer_activations)# Plot the histogram of activations for each layer in a single figure
plt.figure(figsize=(12, 8))
for i, layer_activations in enumerate(activations):plt.subplot(1, len(activations), i+1)plt.hist(layer_activations.flatten(), bins=50)plt.title(f'Layer {i+1}')plt.xlabel('Activation Value')if i == 0:plt.ylabel('Frequency')
plt.tight_layout()
plt.show()

代码运行结果如下：

8. Delta-正交初始化

Delta-正交初始化是一种特别为卷积网络设计的权重初始化方法。它是正交初始化的一个变体，专门针对卷积层的结构进行了优化。这种初始化方法通过保持卷积核的正交性，有助于在训练深度卷积网络时保持梯度的稳定性。

在实现Delta-正交初始化时，需要确保卷积核的每个切片是正交的。这通常通过在卷积核的每个切片上应用奇异值分解（SVD）并使用得到的正交矩阵来实现。这种方法特别适用于具有ReLU激活函数的深度卷积网络。

对于一个给定的卷积核，其形状为 $h\times w\times n_\mathrm{in~}\times n_\mathrm{out}$ ，其中 h 和 w 是卷积核的高度和宽度， $n_{\mathrm{in}}$ 是输入通道数， $n_{\mathrm{out}}$ 是输出通道数。Delta-正交初始化确保卷积核在 $h\times w\times n_\mathrm{in}$ 维空间中的每个 $n_{\mathrm{out}}$ 维切片是正交的。