常见组合函数

常见激活函数

结构

• 前馈神经网络（单向）
• 反馈/循环神经网络

学习方法

• 学习模型

  • 增量
  • 迭代

• 类型

  • 监督
  • 无监督

• 学习策略

  • Hebbrian Learning
    • 若两端的神经元同时激活，增强联接权重
    • Unsupervised Learning
    • 循环？
    • ${\omega }_{ij}(t+1)={\omega }_{ij}(t)+\eta (x_i(t),x_j(t))$
  • Error Correction
    • 最小化实际和输出的误差
      • BP
        • 目标函数：${\omega }^{\ast }=argmi{n}_{\omega }\frac{1}{K}{\Sigma }_{k=1}^{K}e(D_k,Y_k)$
        • 迭代：$\omega \leftarrow \omega +\Delta \omega =\omega +\eta \delta$
      • delta rule(LMS rule,windrow-hoff
  • 随机学习（模拟退火？）
    • 采用随机模式，跳出局部极小
      • 如果网络性能提高，新参数被接受.
      • 否则，新参数依概率接受

重要的ANN

	…损失函数…	…目标函数…	…激活函数…	…更新…	特点
多层感知机（MLP，全连接)	L(y,f(x))	$R(f)=\int L(y,f(x))p(x,y)dx,R_{emf}=\Sigma L(y,f(x))$	$v={\sigma }_i{\omega }_i{x}_i,y=f(v)$	梯度法	-
多层感知机（MLP，全连接–>BP网络)	平方误差	-	$v={\sigma }_i{\omega }_i{x}_i,y=f(v)，f是sigmoid，\omega =argmin(E)$	输入从前向后，损失从后向前（链式法则）,梯度下降法	允许非线性，收敛慢，过拟合，局部极小，表达能力强，容易执行
单层感知机	看分类对错	-	$\omega x=0,一面1，一面-1，权向量是一个超平面$	$\omega =\omega +y^{\ast }\cdot x，y^{\ast }=1或-1（C，真实y，正确：y^{\ast }=y)$	仅当线性可分时收敛，对噪声（不可分）/泛化性不好
单层感知机(最小二乘法）	平方损失$\frac{1}{2}{\Sigma }_{i=1}^n{\Sigma }_{k=1}^m(y_k(x_i)-t_{k,i}{)}^2$	-	$y=v(线性的）$	$w^T=(X^{T}X{)}^{-1}{X}^{T}T$	仅当线性可分时收敛，对噪声（不可分）/泛化性不好
单层感知机(改进）	平方损失E=$\frac{1}{2}{\Sigma }_{i=1}^n{\Sigma }_{k=1}^m(y_k(x_i)-t_{k,i}{)}^2$	-	$y=\frac{1}{1+e^{-v}}(sigmoid$	$\frac{
\partial E}{\partial w_k}=\Sigma_{i=1}n\Sigma_{k=1}m(y_k(x_i)-t_{k,i})y_k(x_i)(1-y_k(x_i))x_i$	仅当线性可分时收敛，对噪声（不可分）,泛化性不好
支持向量机	-	最大化间隔，约束：$mi{n}_{\omega }\frac{1}{2}\Vert \omega {\Vert }^2,y_i{\omega }^T{x}_i\ge 1，任意i，小于则为0（relu)$	-	-	可以找到最好的分界面，解决了泛化性
Hopfield网络(能量稳定点-记忆）	-	有输入：$E=-\frac{1}{2}{\Sigma }_{i=0}^n{\Sigma }_{j=0}^n{\omega }_{ij}{s}_i{s}_j-{\Sigma }_{i=0}^n{I}_i{s}_i,没有输入则去除后面的$	wij=ji(i！=j)	$权值是设定的w_{ij}={\Sigma }_{k=1}^K{x}_{ik}{x}_{jk},i\ne j,否则0(n\ast n矩阵）（s=x)$	f分布式记忆，动态联想，记忆容量有限，伪稳定点的联想与记忆，样本接近时，难以回忆

感知机

• 感知机收敛定理：线性可分则收敛

  • w、x是增广得到的
  • 若数据集可分，
    • 存在$w^{\ast }(||w^{\ast }||=1),\gamma >0,使得y_t{w}^{\ast }{x}_t\ge \gamma$
  • 令最终分离超平面参数为$w^{\ast }(||w^{\ast }||=1)$
    • $w_k{w}^{\ast }=(w_{k-1}+x_t{y}_t)w^{\ast }\ge w_{k-1}{w}^{\ast }+\gamma \ge ...\ge k\gamma$
    • $||w_k|{|}^2=||w_{k+1}+x_t{y}_t|{|}^2=||w_{k-1}|{|}^2+2w_{k-1}^T{x}_t{y}_t+||x_t|{|}^2$——yt=1
    • $\le ||w_{k-1}|{|}^2+||x_t|{|}^2\le ||w_{k-1}|{|}^2+R^2\le ...\le k{R}^2$
    • 所以$k\gamma \le w_k{w}^{\ast }\le ||w_k||||w^{\ast }||\le \sqrt{k}R$
    • $k\le \frac{R^2}{{\gamma }^2}$

• 改进

  • sigmoid激活函数
    • 批处理
      • 一次性更新权重
      • 收敛慢
    • 增量模式
      • 逐样本更新
      • 随机近似，但速度快能保证收敛

• MLP（多层感知机

  • 在实际应用中
    • 预处理很重要—normalize
    • 调整学习率——${\eta }_t=1/t$
  • 表达能力强
  • 容易执行
  • 收敛速度慢
    • newton法
  • 过拟合（
    • 正则化，约束权值平滑性
    • 采用更少的隐层单元
  • 局部极小（不同的初始化，增加扰动
  • 三层-所有连续函数
  • 4层：多层连续
  • 权重如何学习？BP–链式法则计算反向传递

Hopfield

• 应用
  • 将优化目标函数转换成能量函数(energy function)——网络的稳定状态是优化问题的解
• 两个稳态：——>解
  • E最大——>w1
  • E最小——>w2
• 两个工作方式
  • 异步：每次只改变一个状态x_i
  • 同步：所有状态均改变：x1~xn
• 反馈网络（无向有权图）
• 权值是设定的，而不是学习出来的
• TSP:
  • Hopfield网络：l邻接矩阵
  • 行：城市；列：时间，每行只有一个亮，每列也只有一个on