目录
- 最小二乘法概念
- 最大似然法概念
- 两者的联系
- 总结
一、最小二乘法概念
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。
如果实验数据呈下图蓝点分布，我们想要拟合下图中的变量分布函数，首先选择一个直线模型y=ax+b，想要假设函数与实验数据尽可能的小，那就需要误差的和尽量保持最小,也就是下面这个式子尽量最小
那为了消除正负号,我们将绝对值改成平方,
那我们只需要对这个误差的平方和函数求导,并且令倒数等于零时,就可以使误差最小了。
那如果是多元函数呢？
一个多元函数如果在某一点可微并且取到极值，那么它在此点每一个方向上的导数都必须是0。比如
我们需要满足下面这两个条件
这是一个关于
以上就是最小二乘法。
二、最大似然法概念
最大似然法估计认为，我们多次观察到的结果就是最有可能发生的结果，也就是让我们的观察样本概率最大的参数就是整体分布的参数。
我认为最大似然估计类似与人们的思维惯性。
三、两者的联系
下图是最大似然法的损失函数，我们可以看到最大似然法的损失函数和最小二乘法的损失函数是相等的。
在最大似然法中，通过选择参数，使已知数据在某种意义下最有可能出现，而某种意义通常指似然函数最大，而似然函数又往往指数据的概率分布函数。与最小二乘法不同的是，最大似然法需要已知这个概率分布函数，这在实践中是很困难的。一般假设其满足正态分布函数的特性，在这种情况下，最大似然估计和最小二乘估计相同。
四、总结
最大似然法，就是利用已知的样本结果，推最有可能导致这样结果的参数值。
最小二乘法，就是选择与所有点的误差之和最小的。
感谢观看！
)
)
.doc)
