学习视频**：第4章-决策树_哔哩哔哩_bilibili
西瓜书对应章节： 第五章 5.1；5.2；5.3

---

---

MP 神经元

接收n个收入，并给各个输入赋予计算加权和，并且和自身特有的阈值进行比较（作减法），最后经过处理得到输出。

• 单个MP神经元：感知机 （sgn 感知函数） ； 对数几率回归 （sigmoid）作为激活函数
• 多个MP神经元： 神经网络

---

- 感知机模型 （分类模型）

从几何的角度看，感知机的作用是 给定一个数据集D，求得对数据集中样本进行二分类的超平面。

• 其超平面方程不唯一
• w 与超平面垂直
• w 和 b 确定唯一的超平面
• w 指向正的超平面
• 恒成立公式：
  

– 损失函数定义

特点：

• 永远是非负的
• 没有误分类点，损失函数为0
• 误分类点越少，离超平面越近，损失函数值越小

将其中的 $-\Theta$ 看作一定值的变量，写作 $w^T{x}_i$ 的形式作为第 n+1 位，可将上式简化为

---

— 感知机学习算法 - 随机梯度下降法

---

- 神经网络需要解决的问题

• 面对一个具体场景，神经网络该做多深？多宽？
• 面对一个具体场景，神经网络的结构该如何设计才最合理？
• 面对一个具体场景，神经网络的输出结果该如何解释？

• 原则上， 神经网络能够以 任意精度 逼近 任意复杂度 的 连续 函数。

• 神经网络能够自己比较好的处理特征的问题

---

- 误差逆传播算法

BP算法 基于随机梯度下降的参数更新算法

• 随机梯度下降 不能保证一定走到 全局最小点， 大部分情况下走到的是 局部最小点。

---