资料:https://www.bilibili.com/video/BV1K94y1Z7wn/?spm_id_from=333.337.search-card.all.click&vd_source=14a476de9132ba6b2c3cbc2221750b99
计划:3~4天
注:网课讲的内容比较糅杂,记录的内容可能会出现重复
杂
- 人工智能包括ML,ML包括DL
- 机器学习需要人工大量参与,深度学习可以主动提取特征
- 神经网络要看作是从数据中提取特征的方法
深度学习的流程
- 数据获取→特征工程→建立模型→评估与应用
- 特征工程的主要内容?
- 数据特征决定模型解决问题的上限,算法与参数的选择决定选择 何种方式逼近上限
- 预处理和特征提取,是特征工程核心步骤
- TODO 特征如何提取?
- 深度学习的应用?
- 计算机视觉(输入是图片)
- 图片分类任务
- 挑战: 光纤,形状,被遮挡,背景干扰
- 癌细胞检测
- 变脸
- 分辨率重构
- 图片分类任务
- 自然语言处理(输入是文本)
- 计算机视觉(输入是图片)
深度学习基础
- 线性函数/得分函数:属于每一个类别的得分值,不同像素点对识别图像是只猫,起到的作用不同。3072个像素点要对应3072个参数
- W每行中不同的权重值影响最后的得分
- 做不同的任务,区别是损失函数不同,损失函数含义:距离正确结果的距离
- Softmax分类器:归一化得到x(range [0,1])→取-log(x)作为损失值
- 前向传播:从前往后。用W和x计算出Loss value. 可以引入多个W,每个W关注特征不同
- 反向传播:逐层从后往前传播。current_gradient = backward_gradient * local_gradient
- 加法门单元:后边梯度v传来时,v分给x和y
- MAX门单元:后边梯度v传来,仅传递给最大值
- 乘法门单元:对于x而言,梯度值是yv;y梯度是xv
- 整体架构
- 层次结构:可以有好多个W矩阵
- 全连接:多个特征可以叠加到下一层一个特征上
- 非线性:每层计算结束后,会进行非线性映射