摘要
2024-01-06 阴 杭州 晴
本节简介:
a. 数学模型&算法名词相关概念;
b. 学会数学建模相关知识;
c. 学会自我思考,提升认知,不要只会模仿;
课程内容
1. Fine-Tuning 有什么作用?
a. 什么是模型训练(Training)
b. 什么是模型预训练(Pre-Training)
c. 微调(Fine-Tuning)
d. 轻量化微调(Parameter Efficient Fine-Tuning,PEFT)
2. 什么是模型?
a. 模型是一个函数(一种逻辑实现)
a.1 接受一定范围内的参数;
a.2 预测输出;
b. 模型训练是什么?
b.1 我们有一系列的入参,比如年龄,收入,性格等指标;
b.2 基于调研和记录采集到了一定参数指标下的观测数据;
b.3 求解二者关系的过程,就是数学建模,不断求解优化的过程就是模型训练;
3. 什么是模型训练?
4. 求解器
为了训练过程取得更好的收益,人们设计了很多复杂的求解器;
重点: 最常用的求解器是 Adam || AdamW
5. 常用的损失函数
a. 两个数值的差距: Min Square Error
b. 两个向量之间的(欧式)距离
c. 两个向量之间的夹角(余弦距离)
d. 概率分支之间的差异: 交叉熵
备注: 损失函数之间可以组合使用,例如预先定义的权重也叫超参;
6. 基于 PyTorch 训练一个最简单的神经网络
代码通过 ChatGPT 自行学习;
7. 自然语言处理常见的网络结构
a. 文本卷积神经网络 TextCNN
b. 循环神经网络 RNN
简易的 RNN 有很多问题,最大的问题就是随着序列长度的增加,将会出现梯度消失或者梯度爆炸的现象。
备注: LSTM 和 GRU 通过 [门] 来控制上下文的状态被记住或是遗忘,同时防止梯度消失或者梯度爆炸。
8. Transformer 江山一统
总结
小结: 机器学习基础,任重道远,但是基本的概念早就了解了,反复碎碎念。