说明：本文是七月算法5月深度学习班第一次课听课笔记。只记录关键知识点，有些没具体展开。帮助复习用。文中使用了老师课件中的公式。

微积分

导数

定义

常用函数导数

导数法则

加法  乘法  除法  链式法则

一元函数与多元函数

一阶导   一元函数 f'(x) 

多元函数               

二阶导    一元函数f‘’(x)

    多元函数Hessian矩阵

泰勒级数

       泰勒级数公式    一元版和多元版

        

       

一级导数=0  这一点可能为 平稳点、极值点、鞍点。如果二级导数>0，是极小值点；二级导数<0，是极大值点。二级导数=0，是鞍点。注意在多元函数中二级导数>0，就是指hession矩阵>0（正定矩阵）。

梯度下降

为了找到函数最小值，首先要求一阶导数。当原函数的导数不好求，或者不可求的时候选择梯度下降。

为什么是梯度下降？

在函数已知点 (xk,f(xk)) ，走一个方向 delta。怎么才能让函数最快上升呢？根据上面的泰勒级数公式，当  delta = 梯度方向的时候， 可以取到最大值，所以函数增长会最大。

当需要求函数最小值的时候，只要沿着负梯度方向就可以了。当然这里还有一个重要的参数是步长。

概率论

随机变量

离散型 分布式函数

连续型 累计分布函数概率密度函数

高斯分布

表达式   一元版   多元函数版

中心极限定理

多个(>=4)泊松分布的和是高斯分布

独立高斯变量相加=高斯分布

贝叶斯公式

贝叶斯公式用于推断一件事情发生的可能性。

通过 公式1和公式2推出公式3，进而得到公式4，贝叶斯公式。P(A|B)是后验概率，P(B)是一个确定的事件，P(A)是先验概率，P(B|A)是似然函数。

吸毒案例学习

注意：当先验概率很低的时候，即使似然函数有很高的值，结果也可能很低。

矩阵

特征向量与特征值

凸优化

一般有约束的优化问题

KKT条件

将约束转为无约束

凸优化问题

无约束问题求解--------SGD

有约束优化问题  --------------拉格朗日乘子--------无约束问题-----------KKT 求解