1、激活函数：

深度学习—激活函数详解（Sigmoid、tanh、ReLU、ReLU6及变体P-R-Leaky、ELU、SELU、Swish、Mish、Maxout、hard-sigmoid、hard-swish）-CSDN博客

2、ModuleList和Sequential的区别：ModuleList是定义了一个迭代循环体，而Sequential展开

详解PyTorch中的ModuleList和Sequential - 知乎 (zhihu.com)

3、过拟合指的是模型在训练集上表现很好，但在测试集或未见过的数据上表现差的现象。这是因为模型过度学习了训练集中的噪声和细节，而没有捕捉到数据的真实分布

4、【大模型开发】 一文搞懂Embedding工作原理_embedding原理-CSDN博客

深度学习中embedding层的理解-CSDN博客

5、自(内部)注意力机制：一文搞定自注意力机制（Self-Attention）-CSDN博客

6、NLP常用编码方式--onehot、word2vec、BERT

7、checkpoint-模型保存和加载_checkpoint模型-CSDN博客