AI大模型微调训练营-总结

课程总结

历经2个月，终于初步完成了极客时间的AI大模型训练营的课程。课程真的很好，从AI大模型技术的发展演进历史，到Transformers工具库的使用。特别是PEFT、SFT等微调技术的深入讲解，老师带着我们读论文、讲技术原理、实操微调，细节和干货满满。特别要感谢彭靖田老师，课程准备的太好了。也要感谢极客时间的老师，课程支持非常好。

搞技术的闲话不多说，因为课程中老师给的是Linux环境，而我的是Win10环境，所以接下来我也献出来我的一篇干货笔记，就是如何在Win10下安装CUDA、Torch、Anaconda和Transformer。

大模型开发环境搭建(Windows10+CUDA12.4+T4+Torch+Transformer)

1、安装CUDA

参照cuda在windows10安装教程的指导安装CUDA，注意安装完CUDA以后务必要暗账cuDNN，cuDNN不同版本的下载链接为：https://developer.nvidia.com/rdp/cudnn-archive，选择Download cuDNN v8.9.7 (December 5th, 2023), for CUDA 11.x，Local Installer for Windows (Zip)

2、安装ffmpeg

参照2023年Window系统安装FFmpeg教程&FFmpeg命令大全安装ffmpeg

3、安装Anaconda

4、安装Torch和Transformer

4.1、参考资料

pytorch的CUDA版本的安装参考：https://pytorch.org/get-started/locally/

4.2、具体安装步骤

1. 配置清华镜像，必须先执行这个，否则pytorch安装不好桑区

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --set show_channel_urls yes查看~/.condarc配置
$ conda config --show-sources
channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
- defaults
show_channel_urls: True

2. 在Anaconda Prompt中创建一个新的虚拟环境并指定Python版本：

conda create -n transformers python=3.11

3. 激活新创建的虚拟环境：

conda activate transformers

4. 克隆github项目

git clone https://github.com/DjangoPeng/LLM-quickstart.git

5. 进入克隆项目，安装依赖包

pip install -r requirements.txt

6. 安装和配置JupyterLab：

conda install -c conda-forge jupyterlab
jupyter lab --generate-config

7. 编辑生成的配置文件，通常在你的主目录下名为.jupyter/jupyter_lab_config.py。在配置文件中找到c.ServerApp.notebook_dir，并设置为你想要的目录路径，例如：

c.ServerApp.notebook_dir = 'C:/_ProgramData/anaconda3/jupyterlab'

8. 安装Hugging Face Transformers

conda install -c huggingface transformers

9. 安装前置依赖：

conda install -c conda-forge omegaconf timm torchvision nltk scikit-learn scipy sentencepiece

10. 安装其他包：

conda install -c conda-forge tqdm iprogress ffmpeg ffmpeg-python pillow datasets numpy accelerate

11. 安装CUDA版本的PyTorch：

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

12. 安装其他包：

pip install transformers -U

12. 最后，验证安装是否成功：

# 检查conda版本
conda --version# 检查Python版本
python --version# 检查Jupyter Lab
jupyter lab --version# 检查transformers库
python -c "import transformers; print(transformers.__version__)"# 检查PyTorch
python -c "import torch; print(torch.__version__)"

13. 验证GPU是否可用
    在命令行输入jupyter lab，打开一个页面，输入如下代码：

import torch# 检查是否可以访问 CUDA
print("CUDA is available:", torch.cuda.is_available())# 查看当前使用的 GPU
if torch.cuda.is_available():
print("GPU device name:", torch.cuda.get_device_name(0))
print("Number of GPUs available:", torch.cuda.device_count())
else:
print("No GPU available, using CPU")

运行以上代码有如下提示说明安装成功：

CUDA is available: True
GPU device name: NVIDIA GeForce RTX 3060 Laptop GPU
Number of GPUs available: 1

至此，你的Transformers开发环境就已经在Windows 10的Anaconda中搭建完成了。

14. 将项目复制到jupyter lab的工作目录下。