创作日志: 在看李沐学深度学习,“深度学习中,我们的目的不是计算微分矩阵,而是批量中每个样本单独计算的偏导数之和”,对这句话一知半解,自己动手推导一下。
一、理解
在深度学习中,被求导的对象(样本/输入)一般是多元的(向量x),绝大多数情况是标量y对向量x进行求导,很少向量y对向量x进行求导,否则就会得到复杂的微分矩阵(且torch无法直接处理这种操作,需要在backward()中添加gradient参数才能实现)。
所以经常把一个样本看做一个整体,它包含多个变量(属性),对其所有属性求导后再加和,就得到了这个样本的偏导数之和。因此当计算得到的y是一个关于x的向量的话,我们可以通过y.sum()操作将y标量化,再反向传播,得到标量对x的导数。
二、举例
import torch
x = torch.arange(4.0)
x.requires_grad_(True)
print(x)
第一种做法:在反向传播时添加gradient参数,一个长度和x一样的张量。
x.grad.zero_()
y = x*x # x的点积
y.backward(gradient=torch.ones(len(x)))
print(x.grad)
第二种做法:先sum()再backward(),结果一样的。
x.grad.zero_()
y = x*x # x的点积
y.sum().backward()
print(x.grad)
三、例子推导