1 访问大模型的一个障碍：内存量
- 访问非常大的预训练模型的一个障碍是所需的内存量。
- 当加载预训练的 PyTorch 模型时，通常会：
- 创建一个随机权重的模型。
- 您的预训练权重。
- 将这些预训练权重放入模型中。
- ——>前两步都需要在内存中有模型的完整版本，如果模型有几十GB的大小，可能没有足够的内存来存放两份副本。
2 Accelerate的解决方法
from_pretrained()方法通过加入 Accelerate 的大模型推理功能得到了增强，有效地处理非常大的模型- 大模型推理在 PyTorch 的元设备上创建一个模型框架。只有当预训练权重被加载时，才会创建随机初始化的参数
- ——>不需要同时在内存中保留两份模型副本（一份是随机初始化的模型，另一份是预训练权重）
- ——>消耗的最大内存仅为整个模型的大小
要在 Transformers 中启用大模型推理，在 from_pretrained() 方法中设置 low_cpu_mem_usage= True。
from transformers import AutoModelmodel=AutoModel.from_pretrained("meta-llama/Llama-2-7b-hf", low_cpu_mem_usage=True)- Accelerate 自动地将模型权重分配到所有可用设备上，从最快的设备（GPU）开始，然后转移到较慢的设备（CPU，甚至是硬盘）
- 当传递
device_map参数时，low_cpu_mem_usage会自动设置为 True- ——>此时不需要显式指定它
)
)
