1. RBM 的提出
BM 的缺点：
- 计算时间漫长，尤其是无约束自由迭代的负向阶段；
- 对抽样噪音敏感；
- 流行软件的不支持；
受限玻尔兹曼机（Restricted Boltzmann Machine,简称 RBM，以解决 BM 的学习效率过慢的严重缺陷）是由 Hinton 和 Sejnowski 于 1986 年提出的一种生成式随机神经网络（generative stochastic neural network），该网络由一些可见单元(visible unit，对应可见变量，亦即数据样本)和一些隐藏单元(hidden unit，对应隐藏变量)构成，可见变量和隐藏变量都是二元变量，亦即其状态取{0,1}。整个网络是一个二部图，只有可见单元和隐藏单元之间才会存在边，可见单元之间以及隐藏单元之间都不会有边连接，如下图所示：
2. BM 与 RBM 的对比
RBM 和 BM 一样，都可视为一种无向图（undirected graph），所谓无向的涵义即在于，权值对称，wji=wij（自然对于有向图而言，与指向有关；）
RBM 同层节点之间没有连接（BM 有连接），
- 可见层，隐层：结点之间彼此独立（简化的思路）（条件独立假设），
3. 数学记号
能量函数的定义：
E(v,h|θ)=−∑iaivi−∑jbjhj−∑in∑jmaiWijbj- 显然可以将上述公式简化为：一种向量的记法；
- ai：可见层的偏置（bias）
- bj：隐层的偏置（bias）
- 竖线右边的 θ 就像条件概率的形式一样，一般理解为固定 θ（θ={Wij,ai,bj}）的条件下，E 关于 v,h 的函数；
v,h 的联合概率分布为（由玻尔兹曼分布而来）：
P(v,h)=e−E(v,h|θ)Z(θ)Z 十分难计算（2n+m 种组合）
4. CD 算法
θ∗=argmaxL(θ)=argmax∑t=1TlogP(v(t)|θ)
目标函数，即在参数（θ）确定的情况，最大化重现（再现）输入；
5. AE 与 RBM
- AE：
- 出于简化的考虑：输入层，隐层，输出层；
- 因为通过低维的隐层，可以重构出输出层，可见低维的隐层，是一种对输入本质特征的描述，又可从侧面说明，输入层是可以被压缩，也即存在冗余，进一步我们可认为其是可以被稀疏表示的；
- 平方损失，BP反向传播，
- RBM：
- 可见层，隐层，可见层，隐层 ,,, ，是一种横向的展开；
- 这种周期性的循环结构可以被视为：不同的可见层其实是相互重叠的；
- 可见层既作为输入，也作为输出，（之所以称其为可见层，隐层，而不是输入层，隐层，输出层，就在于，可见层既作为输入层，也作为输出层） -
