🧠 首先搞清楚 LoRA 是怎么做微调的
我们原来要训练的参数矩阵是 W W W，但 LoRA 说：
别动 W，我在它旁边加一个低秩矩阵 Δ W = U V \Delta W = UV ΔW=UV，只训练这个部分！
也就是说，LoRA 用一个新的权重矩阵：
W ′ = W + U V W' = W + UV W′=W+UV
只训练 U U U 和 V V V， W W W 不动。
📦 所以前向传播其实用的是：
模型输入 x ⟶ W ′ x = W x + U V x ⟶ 输出 ⟶ L \text{模型输入}x \longrightarrow W'x = Wx + UVx \longrightarrow \text{输出} \longrightarrow \mathcal{L} 模型输入x⟶W′x=Wx+UVx⟶输出⟶L
在这个过程中，损失函数 L \mathcal{L} L 是基于 W + U V W + UV W+UV 来计算的。
🔁 反向传播的时候怎么求梯度？
LoRA 要训练的是 U U U 和 V V V，所以我们要算：
∂ L ∂ U 和 ∂ L ∂ V \frac{\partial \mathcal{L}}{\partial U} \quad \text{和} \quad \frac{\partial \mathcal{L}}{\partial V} ∂U∂L和∂V∂L
但问题是：损失函数 L \mathcal{L} L 不是直接依赖 U U U 和 V V V，而是依赖 U V UV UV
所以要用链式法则，先对 U V UV UV 求导，然后传播回 U U U、 V V V。而对UV求导等价于对 W W W求导
✅ 关键点来了
我们记：
∂ L ∂ W = G \frac{\partial \mathcal{L}}{\partial W} = G ∂W∂L=G
这个 G G G 就是“如果我们在做全量微调，该怎么更新 W W W 的梯度”。
LoRA 说：
“虽然我不更新 W W W，但我要更新的是 U V UV UV。所以我也可以用这个 G G G 来指导我怎么更新 U U U 和 V V V。”
于是我们得到：
∂ L ∂ U = G V ⊤ , ∂ L ∂ V = U ⊤ G \frac{\partial \mathcal{L}}{\partial U} = G V^\top, \quad \frac{\partial \mathcal{L}}{\partial V} = U^\top G ∂U∂L=GV⊤,∂V∂L=U⊤G
LoRA 的梯度建立在 ∂ L ∂ W \frac{\partial \mathcal{L}}{\partial W} ∂W∂L 上， 是因为它相当于“用低秩矩阵 U V UV UV 来代替全量的参数更新”， 所以梯度传播也必须从 ∂ L ∂ W \frac{\partial \mathcal{L}}{\partial W} ∂W∂L 开始。
LoRA 往往只是显存不足的无奈之选，因为一般情况下全量微调的效果都会优于 LoRA，所以如果算力足够并且要追求效果最佳时，请优先选择全量微调。
使用 LoRA 的另一个场景是有大量的微型定制化需求，要存下非常多的微调结果，此时使用 LoRA 能减少储存成本。
🔍 为什么
为什么 ∂ L ∂ W \frac{\partial \mathcal{L}}{\partial W} ∂W∂L，就是对 U V UV UV 的梯度？
换句话说：LoRA 中的 W ′ = W + U V W' = W + UV W′=W+UV，那我们训练时不是更新 W W W，只更新 U V UV UV，那为什么还能用 ∂ L ∂ W \frac{\partial \mathcal{L}}{\partial W} ∂W∂L 来指导 U U U 和 V V V 的更新呢？
✅ 答案是：因为前向传播中 W + U V W + UV W+UV 是一起作为整体参与运算的
所以：
∂ L ∂ W = ∂ L ∂ ( W + U V ) = ∂ L ∂ ( U V ) \frac{\partial \mathcal{L}}{\partial W} = \frac{\partial \mathcal{L}}{\partial (W + UV)} = \frac{\partial \mathcal{L}}{\partial (UV)} ∂W∂L=∂(W+UV)∂L=∂(UV)∂L
这是因为：
- 我们的模型使用的是 W + U V W + UV W+UV
- 所以损失函数 L \mathcal{L} L 是以 W + U V W + UV W+UV 为输入计算出来的
- 那么对 W W W 求导，其实是对这个整体求导
- 而因为 W W W 是固定的（不训练，看作常数），所以梯度全部由 U V UV UV 来承接
- 本来我们应该更新 W W W：
W ← W − η ∂ L ∂ W W \leftarrow W - \eta \frac{\partial \mathcal{L}}{\partial W} W←W−η∂W∂L - 现在我们不动 W W W，让 U V UV UV 来“做这个事情”：
W + U V ← W + U V − η ⋅ ( LoRA方向上的梯度 ) W + UV \leftarrow W + UV - \eta \cdot \left(\text{LoRA方向上的梯度}\right) W+UV←W+UV−η⋅(LoRA方向上的梯度)
所以如果要算 U V UV UV 的导数，就是算 ∂ L ∂ W \frac{\partial \mathcal{L}}{\partial W} ∂W∂L
)
