Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey

综述阅读笔记
仅记录个人比较感兴趣的部分

基本知识

1. PEFT的三种分类：additive, selective, reparameterized, and hybrid fine-tuning
   selective fine-tuning 不需要任何额外的参数，它从主干模型中选择一小部分参数，并且仅使它们可调，同时保持大多数参数在对下游任务进行微调期间保持不变。
   

2. LLM Evaluation的下游任务
   (1) the first type is the General Language Understanding Evaluation (GLUE) benchmark
   (2) the other type of dataset that has been used in recent LLM papers is common sense reasoning which integrated into our study caters to a variety of research facets: OpenBookQA, PIQA, Social IQA, HellaSwag, BoolQ, WinoGrande, ARC-easy, ARC-challenges

3. PEFT的评估基准
   based on criteria such as performance, convergence, efficiency, combinability, scalability, and transferability.
   ShareGPT & Microsoft Azure Function Trace & Gamma process

PEFT的分类

1. Additive PEFT
   (1) adapters
   比较感兴趣的的是CoDA
   【CoDA采用稀疏激活机制来提高推理效率。具体而言，CoDA使用软top-k选择过程，识别每层中的k个重要token，这些令牌将由冻结的预训练Transformer层和适配器分支处理，以保持模型准确性。相比之下，那些不重要的token只由适配器分支处理，而跳过繁重的预训练层，因此在不影响整体性能的情况下优化推理效率。】
   ✘没代码
   (2) soft prompt

2. Selective PEFT
   （1）unstructured mask
   Diff pruning 将可学习的掩码应用于模型权重
   PaFi 选择具有最小绝对值大小的权重作为可训练的
   FishMask 使用Fisher信息近似决定参数的重要性
   Fish-Dip 相比于增加了每个训练周期的动态重计算
   LTSFT 引入Lottery Ticket Hypothesis确定参数重要性
   SAM使用二阶逼近确定掩码
   （2）structured mask
   SPT 使用一阶泰勒展开计算敏感参数

3. Reparameterized PEFT
   LoRA
   NOAH --> NAS

PEFT的设计

1. KV缓存
   SLoRA在统一内存池中采用统一分页机制，以分页的方式动态分配和管理内存

2. 内存高效的PEFT方法

PEFT的系统设计挑战

PEFT的系统设计

1. PEFT serving systems的系统性能的评价指标：
   System throughout
   Memory footprint ：内存利用率来自于模型参数与kv cache
   Accuracy performance
   Quality of services
2. PEFT training systems的有效性的评估指标：
   Accuracy performance ：微调模型对下游任务的性能
   Compute cost ：云服务器和边缘设备上前向和反向传播操作期间的计算成本
   Communication cost ：指在云服务器和边缘设备之间传输中间数据过程中涉及的数据量