Model Memory Utility - a Hugging Face Space by hf-accelerate
- 这个工具可以计算在 Hugging Face Hub上托管的大型模型训练和执行推理时所需的vRAM内存量。
- 模型所需的最低推荐vRAM内存量表示为“最大层”的大小,模型的训练大约是其大小的4倍(针对Adam)。
- 这些计算的准确性最多相差几个百分点,例如bert-base-cased为413.68 MB,而计算器估计为413.18 MB。
- 目前,该工具支持所有使用transformers和timm的托管模型。
- 使用此工具时,输入模型的URL或模型名称来计算内存使用量,选择其来源的框架(“auto”会尝试从模型元数据中检测),以及想使用的精度。
下表格解释了使用Adam训练的具体细节,包括在不同精度下模型训练过程中各阶段的内存需求