微积分基础
导数的定义
左导数、右导数、可导函数
导数几何意义、物理意义
基本函数求导公式
四则运算法则
复合函数求导法则
神经网络激活函数的导函数求解
高阶导数
导数与函数单调性
极值定理
导数与函数凹凸性
一元函数泰勒展开
线性代数基础
向量与其运算
行向量和列向量
向量加减、数乘、内积、转置
向量范数
特殊向量
矩阵与其运算
方阵、对称阵、单位阵、对角阵
矩阵加减、数乘、矩阵乘法、转置
逆矩阵
行列式
多元函数微分学
偏导数
高阶偏导数
梯度
雅可比矩阵
Hessian 矩阵
极值判别法则
线性代数高级
二次型
特征值和特征向量
特征值分解
多元函数的泰勒展开
矩阵和向量的求导公式
奇异值分解
奇异值分解计算方式
奇异值分解性质
SVD 用于数据压缩
SVD 用于 PCA 降维
SVD 用于协同过滤
SVD 用于矩阵求逆
概率论
随机事件和随机事件概率
条件概率和贝叶斯公式
随机事件的独立性
随机变量
数学期望和方差
常用随机变量服从的分布
随机向量
随机变量独立性
协方差与协方差矩阵
随机向量的常见分布
最大似然估计
最优化
局部最小和全局最小
迭代法求解
梯度下降法推导
牛顿法推导
坐标下降法
数值优化算法的问题
凸集
凸函数
凸优化问题
拉格朗日乘数法
拉格朗日对偶
KKT 条件
原文出处：人工智能算法-AI 数学知识 - 尚学堂的文章 - 知乎
https://zhuanlan.zhihu.com/p/139191156，侵删
)
