Can You Run It? LLM version - a Hugging Face Space by Vokturz

1 配置设置部分

• Model Name就是需要测量的模型名称

• GPU Vendor ——GPU供应商

• Filter by RAM (按RAM过滤)

  • 筛选出所有内存容量在选择范围之间的GPU

• GPU

  • 下拉菜单选择具体的GPU型号

• LoRa % trainable parameters (LoRa可训练参数百分比)

  • 滑动条设置了2%的值

  • 指的是在LoRa微调中，仅有2%的参数是可训练的，其余的参数保持冻结状态

• GPU详细信息表

  • 展示了所选GPU的具体信息，包括：
    • Product Name (产品名称): Tesla V100 SXM2 32 GB
    • GPU Chip (GPU芯片): GV100
    • Released (发布日期): 2018年3月27日
    • Bus (总线): PCIe 3.0 x16
    • Memory (内存): 32 GB, HBM2, 4096 bit
    • GPU clock (GPU时钟频率): 1290 MHz
    • Memory clock (内存时钟频率): 877 MHz
    • Shaders / TMUs / ROPs (着色器/纹理单元/光栅操作单元): 5120 / 320 / 128
    • RAM (GB) (内存大小): 32.0 GB
    • Vendor (供应商): NVIDIA

2 具体计算和需求分析

• GPU信息来自TechPowerUp GPU Specs。
• 主要基于hf-accelerate使用transformers库的Model Memory Calculator。
• 推理计算参考EleutherAI Transformer Math 101，推理内存估算公式为：

  • 

• 对于lora，假设可训练参数使用16位数据类型，他所需内存为：
  •