去量纲:归一化、标准化
- 1.归一化(Normalization)
- 1.1 Min-Max Normalization
- 1.2 非线性Normalization
- 2.标准化(Standardlization)
- 2.1 Z-score Normalization
- 3.标准化在梯度下降算法中的重要性
本博文为葫芦书《百面机器学习》阅读笔记。
去量纲化 可以消除特征之间量纲的影响,将所有特征统一到一个大致相同的数值区间内;以便不同量级的指标能够进行比较和加权处理。
去量纲化的好处:
(1).使得不同量纲之间的特征具有可比性,消除量纲引起的特征数值量级对分析结果的影响;
(2).未归一化的特征数值太大,将引起数值计算问题;
(3).利用梯度下降算法求解的模型,输入特征数据通常需要归一化处理(线性回归,逻辑回归,支持向量机,神经网络模型),可以加速算法的收敛过程。
去量纲化的方法:
两类常用的方法:归一化、标准化
1.归一化(Normalization)
1.1 Min-Max Normalization
x′=x−XminXmax−Xminx'=\frac{x-X_{min}}{X_{max}-X_{min}}x′=Xmax−Xminx−Xmin
作用: 将原始特征数据线性映射到[0,1]
优点: 线性变换,对数据进行处理,不会改变原有数据的性质
缺点: 新数据加入,Xmin,XmaxX_{min},X_{max}Xmin,Xmax可能会发生变化,所有数据需要重新进行归一化处理。
1.2 非线性Normalization
对数变换:x′=logxx'=\log xx′=logx
反正切变换:x′=2πarctanxx'=\frac{2}{\pi}\arctan xx′=π2arctanx
适用情况:用于数据分化较大的场景,有些数据很大,有些数据很小 。需要依据数据分布情况,决定使用的非线性函数。
2.标准化(Standardlization)
2.1 Z-score Normalization
零均值标准化
x′=x−μσx'=\frac{x-\mu}{\sigma}x′=σx−μ
其中:μ\muμ 原始数据均值,σ\sigmaσ原始数据标准差 (数据量很大的情况下,这两个统计量对 加入新数据 不敏感,故可以处理新添加数据的情况);x−μx-\mux−μ 为数据中心化,将数据中心平移到原点。
适用情况: 原始数据分布接近正态分布,将原始数据 标准化 为均值为0 ,方差为1 的分布。
优点: 线性变换,对数据进行处理,不会改变原有数据的性质
3.标准化在梯度下降算法中的重要性
参考博文:通俗易懂理解特征归一化对梯度下降算法的重要性https://blog.csdn.net/feijie7788/article/details/89812737
涉及数学知识:
1.一个三维曲面z=f(x,y)z=f(x,y)z=f(x,y)被一系列平面z=cz=cz=c所截得到一系列等值线。
2.曲面上某点P 梯度方向 定义:函数在该点增长最快的方向。
通过方向导数与fxf_xfx和fyf_yfy的关系得出函数在P点增长最快的方向为:(fx,fy)(f_x,f_y)(fx,fy),即为梯度方向。
3.等值线上 P点法线方向,垂直于P点切线方向。P点切线方向(dx,dy)(dx,dy)(dx,dy),斜率为dydx\frac{dy}{dx}dxdy, 由隐函数求导规则可得dydx=−fxfy\frac{dy}{dx}=-\frac{f_x}{f_y}dxdy=−fyfx. 则法线斜率为fyfx\frac{f_y}{f_x}fxfy,即,法线方向为(fx,fy)(f_x,f_y)(fx,fy) .所以曲线上某点的梯度方向,与过该点的等值线的法线方向相同。
4.c=f(x,y)隐函数求导:(两边同时对x求导)
0=∂f∂x+∂f∂ydydx=>dydx=−fxfy0=\frac{\partial f}{\partial x}+\frac{\partial f}{\partial y}\frac{dy}{d x}=>\frac{dy}{d x}=-\frac{f_x}{f_y}0=∂x∂f+∂y∂fdxdy=>dxdy=−fyfx
5.相互垂直两个向量a=(x1,y1),b=(x2,y2)a=(x_1,y_1),b=(x_2,y_2)a=(x1,y1),b=(x2,y2),夹角θ\thetaθ
内积定义垂直关系:∣a∣∣b∣cosθ=0|a||b|\cos \theta=0∣a∣∣b∣cosθ=0
坐标垂直关系:x1x2+y1y2=0x_1x_2+y_1y_2=0x1x2+y1y2=0(带入a=x1i+y1j,b=x2i+y2j,a∗b计算a=x_1i+y_1j,b=x_2i+y_2j,a*b计算a=x1i+y1j,b=x2i+y2j,a∗b计算)
两向量与x轴夹角正玄值关系:−1=y2x2y1x1-1=\frac{y_2}{x_2} \frac{y_1}{x_1}−1=x2y2x1y1
参考博文:
1.梯度方向与等高线方向垂直的理解:https://blog.csdn.net/bitcarmanlee/article/details/85275016
2.等值线与梯度的几何意义:https://jingyan.baidu.com/article/da1091fb475551027849d6b7.html
3.一文读懂梯度下降算法(各种导数):https://www.cnblogs.com/hithink/p/7380838.html
4.据预处理之中心化(零均值化)与标准化(归一化):https://www.cnblogs.com/wangqiang9/p/9285594.html
5.归一化 (Normalization)、标准化 (Standardization)和中心化/零均值化 (Zero-centered)(简书):https://www.jianshu.com/p/95a8f035c86c