文章目录
- 神经网络的起源：线性回归
- 一个线性回归问题
- 线性回归优化方法：梯度下降
- 梯度计算
- 梯度计算总结
- 线性回归：输出
- 线性回归：局限
- 从线性到非线性
- 非线性激励
- 常用的非线性激励函数
- tanh
- RELU
- Lecky RELU
- 神经元—神经网络
- 神经网络构建
- 神经元的并联和串联
- 神经网络优化
- Tensorflow实现
- 神经网络“配件”
- 损失函数-Loss
- Softmax
- Cross entropy
- 自定义损失函数
- 学习率
- 动量
- 过拟合
- 应对方法：正则化
- 应对方法：Drop out
- Fine turning
神经网络的起源：线性回归
概念：线性关系描述输入到输出的映射关系
应用：网络分析，银行风险分析，基金股价预测，天气预报
一个线性回归问题
线性回归优化方法：梯度下降
梯度计算
梯度计算总结
- 随机初始化参数
- 开始循环：t=0，1，2，……
线性回归：输出
线性回归：局限
从线性到非线性
非线性激励
常用的非线性激励函数
一般神经网络最后一层用sigmoid
tanh
RELU
特征足够多情况下运用
Lecky RELU
线性了
神经元—神经网络
是否存在线性回归网络
神经网络构建
神经元的并联和串联
从第一层神经网络到最终输出，每一个神经元的数值由前一层神经元数值，神经元参数w，b以及激励函数共同决定第n+1层第k个神经元方程，由公式表示为：
在这里，m表示第n层神经网络的宽度，n为当前神经网络的深度
神经网络优化
Tensorflow实现
神经网络“配件”
损失函数-Loss
影响深度学习性能重要因素之一。是外部世界对神经网络模型训练的直接指导
合适的损失函数能够确保深度学习模型收敛
设计合适的损失函数是研究工作主要内容之一
Softmax
Cross entropy
自定义损失函数
学习率
动量
直接调大学习率有什么区别？
矢量标量区别
过拟合
训练100% 测试数据差过拟合
应对方法：正则化
应对方法：Drop out
随机选择50%神经元,进行预测 需乘2
pooling：四个分别两个选最大出来
Fine turning
旋转改变平移1张图变10张然后运用model
