目录

一、基本原理

1. 胶囊结构

2. 层级结构

二、动态路由算法

1. 加权输入向量

2. 路由过程

三、非线性激活函数

四、优势与局限性

优势

局限性

五、应用前景

---

一、基本原理

1. 胶囊结构

• 定义：胶囊网络的核心在于将神经元组织成不同级别的“胶囊”结构，每个胶囊由一组神经元组成，用于表示特定类型的实体（如对象或对象部分）的实例化参数（如可能性、方向、大小等）。
• 向量输出：每个胶囊的输出是一个向量，而非传统神经网络中的标量。向量的长度（模）表示实体存在的概率，向量的方向表示除了概率以外的其他实例化参数，如位置、角度、大小等。

2. 层级结构

• 胶囊网络具有层级结构，每一层胶囊代表了不同层次的特征。低层次的胶囊可能代表眼睛、鼻子等局部特征，而高层次的胶囊则可能代表人脸等整体特征。

二、动态路由算法

1. 加权输入向量

• 底层胶囊的输出向量通过权重矩阵与高层胶囊相连接。权重矩阵编码了底层特征和高层特征之间的空间关系和其他重要关系。
• 加权输入向量是底层胶囊的输出向量与相应的权重矩阵相乘的结果，它决定了当前胶囊将其输出传递到哪个更高级的胶囊。

2. 路由过程

• 初始化：所有连接权重的值都初始化为相同的值（如0.5），表示不确定性最大。
• 迭代更新：
  • 在每次迭代中，计算底层胶囊的输出向量与高层胶囊的预测向量之间的相似度（通常通过点积来衡量）。
  • 根据相似度更新连接权重。相似度越高，权重越大，表示该底层胶囊的输出更有可能对高层胶囊的预测有贡献。
  • 重复该过程多次，直到达到预设的迭代次数或收敛条件。
• 结果：经过多次迭代后，底层胶囊的输出将更准确地传递到与其最相关的高层胶囊，从而实现特征的层次化表示。

三、非线性激活函数

• 胶囊网络使用squash函数作为非线性激活函数。squash函数将向量的长度压缩到0到1之间，同时保持向量的方向不变。这有助于保持胶囊输出向量的稳定性和一致性。

四、优势与局限性

优势

1. 对姿态和视角的变化更加鲁棒：通过动态路由算法，胶囊网络能够自适应地计算物体之间的关系，从而更好地适应形状、姿态和视角上的变化。
2. 更好地利用上下文信息：由于胶囊之间的关系被显式地表示为向量，胶囊网络能够更好地利用上下文信息来识别和分类复杂的图像和物体。
3. 对欺骗性样本更加鲁棒：动态路由机制可以在训练过程中自适应地排除欺骗性样本的干扰因素。

局限性

1. 训练时间较长：由于需要更多的计算资源和更长的训练时间，胶囊网络在实际应用中的成本较高。
2. 模型复杂性：胶囊网络的结构较为复杂，使得模型的可解释性不够强，同时在实际应用中难以实现。

五、应用前景

图像分类、目标识别、自然语言处理等领域