一、Approximation and fitting

1. 拟合与回归的区别

回归分析：是一种统计学上分析数据的方法，目的在于了解两个或多个变量间是否相关、相关方向与强度，并建立数学模型以便观察特定变量来预测研究者感兴趣的变量。
拟合：是一种把现有数据透过数学方法来代入一条数式的表示方式。
如果你认同上面的两个定义的话。那么，很明显，回归分析包含的研究范围更多。拟合在某种程度上是承认了变量只见存在相关关系的，而回归则还要分析是否相关。所以可以把关系总结为：拟合是回归分析中分析变量相关方向与相关强度的一种方法。——个人理解

2.拟合与插值的关系

拟合和插值的区别就在于范德蒙矩阵中m和n的数量关系上：插值需要的离散点的个数必须是有限制的，m和n必须满足m=n，换句话说，用n次多项式逼近，插值时我们就只能用n+1个点来求取。这样插值的德蒙矩阵为方阵。根据范德蒙矩阵的特点，我们知道方程组也一定有唯一解。反映在图像上就是插值必须全部通过多项式曲线。拟合需要的离散点个数与最高次幂次数没有限定条件的，实际中且m是越大越好，离散点越多，拟合的效果越好。换句话说，用n次多项式逼近，拟合时我们可以用大于n+1个点来求取。这样的后果是方程组很难有正常解。拟合的范德蒙矩阵不是方阵，行数一般大于列数，我们知道行数比列数越多，代表着对于矩阵有正常解的条件越苛刻。所以在拟合的时候，矩阵方程一般是无解的。解决办法就是采用最小二乘法。最小二乘法求得的最小二乘解是一个近似解。反映在图像上就是离散点并不是全部通过多项式曲线。

3. 小结

拟合以及插值还有逼近是数值分析的三大基础工具，通俗意义上它们的区别在于：

拟合：已知点列，从整体上靠近它们；
插值：已知点列并且完全经过点列；
逼近：已知曲线，或者点列，通过逼近使得构造的函数无限靠近它们

二、Statistical estimation

统计估计(statistical estimation)是统计推断的一种形式，是指推断统计中用样本资料去估计总体参数的方法。统计估计的方法是用样本的函数来估计总体的分布函数、分布参数或数字特征。
例如，用样本均值估计总体均值；用经验分布函数估计总体分布函数等.
包含两大部分：参数估计、非参数估计

https://www.zhihu.com/question/24276013
https://www.zhihu.com/question/24904495/answer/371618173

g