AI学习目录汇总
1、什么是自动微分
自动微分:automatic differentiation,深度学习框架通过自动计算导数,即自动微分,自动微分使系统能够随后反向传播梯度。
计算图:computational graph,根据设计好的模型,系统会构建一个计算图, 来跟踪计算是哪些数据通过哪些操作组合起来产生输出。
反响传播:backpropagate,是指着跟踪整个计算图,填充关于每个参数的偏导数。
2、自动微分示例1:向量点乘
1)原函数如下:
y = 8 x ⊤ x y=8\mathbf{x}^{\top}\mathbf{x}