Robust Regression

最小二乘回归受数据中的离群点的影响较大，稳健回归通过降低离群点的影响缓解此问题。M估计法是稳健回归的重要方法之一，M 估计法的目标函数为：

$min\sum\rho(\epsilon_i) = min\sum\rho(y_i - \hat{\beta} * X_i)$

函数 $\rho$ 具有特性：

$\rho(\epsilon)\ge 0, \rho(0)=0$
$\rho(\epsilon) = \rho(-\epsilon)$

目标函数关于带估计参数 $\hat{\beta}$ 求导：

$\frac{\sum\rho(y_i-\hat{\beta}X_i)}{\partial \hat{\beta}} = \sum -\frac{\rho(y_i - \hat{\beta}X_i)}{\partial \hat{\beta}}X_i\triangleq \sum \psi(\rho(y_i - \hat{\beta}X_i)) X_i$

其中 $\psi(\epsilon) = \frac{\partial \rho(\epsilon)}{\partial \hat{\beta}}$

Andrews 估计

Andrews 1974年提出:

$\psi(z)=\left\{ \begin{aligned} sin(z/c) & & |z| \le c \\ 0 & & |z| \ge c \end{aligned} \right.$

$\rho(z)=\left\{ \begin{aligned} 1 - cos(z) & & |z| < \pi \\ 0 & & |z| \ge \pi \end{aligned} \right.$

Huber 估计

$\psi(z)=\left\{ \begin{aligned} z & & |z| < c \\ c\cdot sign(z) & & |z| \ge c \end{aligned} \right.$

$\rho(z)=\left\{ \begin{aligned} \frac 12 z^2 & & |z| < c \\ c|z| - \frac12c^2 & & |z| \ge c \end{aligned} \right.$

Tuerky 估计

$\psi(z)=\left\{ \begin{aligned} z(c^2 - z^2)^2 & & |z| < c \\ c\cdot sign(z) & & |z| \ge c \end{aligned} \right.$

$\rho(z)=\left\{ \begin{aligned} \frac 16(c^6 - (c^2-z^2)^3) & & |z| < c \\ 0 & & |z| \ge c \end{aligned} \right.$

$L_p$ 估计

$\rho(z) = |z|^p$

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/41174.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！