深度学习-06-手动进行反向传播

本文是《深度学习入门2-自製框架》的学习笔记，记录自己学习心得，以及对重点知识的理解。如果内容对你有帮助，请支持正版，去购买正版书籍，支持正版书籍不仅是尊重作者的辛勤劳动，也是鼓励更多优秀作品问世。

当前笔记内容主要为：步骤6 手动进行反向传播章节的相关理解。

书籍总共分为5个阶段，每个阶段分很多步骤，最终是一步一步实现一个深度学习框架。例如前两个阶段为：

第 1 阶段共包括 10 个步骤。在这个阶段，将创建自动微分的机制
第 2 阶段，从步骤11-24，该阶段的主要目标是扩展当前的 DeZero ，使它能够执行更复杂的计算，使它能够处理接收多个输入的函数和返回多个输出的函数

1.Variable 类的功能

Variable 类在原有的基础上，除了data普通值外，应该增加一个grad 的值，用于记录导数值。grad 也是numpy ndarray 类型。为啥是ndarray ,我们上一节讲的是对x 一维的，但是我们后面可能会设计到多维度，每个维度都需要进行求导，所以这里定义的是一个ndarray ，这样就可以表示向量或者矩阵。

class Variable:def __init__(self, data):self.data = dataself.grad = None   #存储梯度，导数值

2.Function 类的功能

Function 类我们在原有的定义前向计算，表示复合函数的基础上定义一个反向传播方法，并且函数定义一个数据域input, 用以记录每次执行是的输入变量。有了input变量后，每次调用backward 方法后，向函数输入的 Variable 实例就可以作为 self.input使用。

class Function:def __call__(self, input):x = input.datay = self.forward(x)output = Variable(y)self.input = input  # input 保存每次输入的变量return outputdef forward(self, x):raise NotImplementedError()  # 使用Function  这个方法forward 方法的人 ， 这个方法应该通过继承采实现def backward(self, gy):raise NotImplementedError()

3.Square 类和Exp 类的功能扩展

按照最新的Function类，为Square 和Exp 类增加反向传播功能

class Square(Function):def forward(self, x):y = x ** 2return ydef backward(self, gy):x= self.input.datagx = 2 * x * gy     #方法的参数 gy 是 一个 ndarray 实例 ， 它是从输出传播而来的导数 。return gxclass Exp(Function):def forward(self, x):y = np.exp(x)return ydef backward(self, gy):x = self.input.datagx = np.exp(x) * gyreturn gx

4.反向传播的实现

尝试对函数进行推演，正向计算，图：

    A = Square()B = Exp()C = Square()x = Variable(np.array(0.5))a = A(x)b = B(a)y = C(b)

反向计算导数图：

    y.grad = np.array(1.0)b.grad = C.backward(y.grad)a.grad = B.backward(b.grad)x.grad = A.backward(a.grad)print(x.grad)

5.项目代码

项目全部代码如下：

'''
step06.py
手动实现反向传播'''import numpy as npclass Variable:def __init__(self, data):self.data = dataself.grad = Noneclass Function:def __call__(self, input):x = input.datay = self.forward(x)output = Variable(y)self.input = inputreturn outputdef forward(self, x):raise NotImplementedError()  # 使用Function  这个方法forward 方法的人 ， 这个方法应该通过继承采实现def backward(self, gy):raise NotImplementedError()class Square(Function):def forward(self, x):y = x ** 2return ydef backward(self, gy):x= self.input.datagx = 2 * x * gy     #方法的参数 gy 是 一个 ndarray 实例 ， 它是从输出传播而来的导数 。return gxclass Exp(Function):def forward(self, x):y = np.exp(x)return ydef backward(self, gy):x = self.input.datagx = np.exp(x) * gyreturn gxif __name__ == '__main__':A = Square()B = Exp()C = Square()x = Variable(np.array(0.5))a = A(x)b = B(a)y = C(b)y.grad = np.array(1.0)b.grad = C.backward(y.grad)a.grad = B.backward(b.grad)x.grad = A.backward(a.grad)print(x.grad)

执行结果：3.297442541400256