目录
Tensor在神经网络中的角色
实现权重聚合的算法
1. Tensor的基本概念
2. Tensor的数据结构举例
一维Tensor(向量)
二维Tensor(矩阵)
三维及以上Tensor
3. Tensor的内部结构
4. Tensor的操作
Tensor数据结构示例
示例Tensor内容(部分)
model.state_dict()函数
state_dict有那些不同参数
1. 权重(Weights)
2. 偏置(Biases)
3. Batch Normalization参数(如果模型中包含)
4. 其他可能的参数
注意事项
Tensor数据结构例子
1. 词嵌入(Word Embedding)
2. 模型参数
3. 激活函数输出
Tensor在神经网络中的角色
在神经网络中,tensor(张量)是一个核心概念,扮演着数据容器的角色。张量可以看作是标量、向量和矩阵的高维推广,能够存储多维数组的数据。在神经网络中,张量通常用于表示输入数据、权重、偏置项、激活值、梯度以及最终的输出等。
假设我们有一个简单的全连接神经网络(也称为密集连接层或线性层),它用于处理二维输入数据(例如,图像的灰度值或特征向量)。
-
输入层:输入数据被表示为一个张量,其形状可能为
[batch_size, input_features]
,其中batch_size
是批量中样本的数量,input_features
是每个样本的特征数。 -
权重和偏置:权重(weights)和偏置(biases)也被表示为张量。权重的形状通常为
[input_features, output_features]
,表示从输入特征到输出特征的连接强度;偏置的形状为[output_features]
,用