文章目录
- 前言
- 一、特征缩放技术
- 1. 标准化（Standardization）
- 2. 归一化（Normalization）
- 3 sklearn高级接口
- 二、学习率的选取
- 三、将特征转换为近似符合高斯分布
- 1. 取对数变换（Log Transformation）
- 原理
- 为什么有效？
- 2. 平方根变换（Square Root Transformation）
- 原理
- 为什么有效？
- 3. Box-Cox变换（Box-Cox Transformation）
- 原理
- 为什么有效？
- 4. 数据标准化与正态化（Standardization and Normalization）
- 5. 代码尝试一下 --- plt.hist(x,bin=100)
- （1）生成一个不符合高斯分布的特征数据
- （2）幂变换（根号变换）
- （3）对数变换
- 总结
前言
特征缩放技术在机器学习优化过程中可以加快收敛过程，特别是在数据量差异较大的情况下。
关于学习率的选取一直都是机器学习里面的一个热点，到现在已经有部分自适应学习率的优化算法可供我们选择。但本文还是想介绍一下，自己应该怎么使用合适的学习率。
一、特征缩放技术
示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。
在机器学习中，数据缩放是一个常见的预处理步骤，可以帮助提高模型的性能。常用的数据缩放方法包括：
1. 标准化（Standardization）
标准化是指将数据按其均值和标准差进行缩放，使得数据的均值为0，标准差为1。标准化的公式如下：
x standardized = x − mean ( x ) std ( x ) x_{\text{standardized}} = \frac{x - \text{mean}(x)}{\text{std}(x)} xstandardized=std(x)x−mean(x)
其中， x x x 是原始数据， mean ( x ) \text{mean}(x) mean(x) 是数据的均值， std ( x ) \text{std}(x) std(x) 是数据的标准差。
【注】：标准化的目的是将数据调整到均值为0，标准差为1的分布；机器学习里面的部分算法如朴素贝叶斯分类器假设数据的每个特征都是符号正态分布的，但实际情况不一定啊（自然界大多数只要抽样次数足够多是近似为一个正态分布的），但经过我们这样强制的标准化过后我们就可以假设这个数据背后的总体分布近似为一个标准正态分布。
（机器学习的样本量是有限的，但根据概率论的知识，样本足够多就可以用样本均值代替总体均值，样本方差代替总体方差）。
因此，有的课本上直接就将标准化也解释为将数据转换成符号标准正态分布的数据。
2. 归一化（Normalization）
归一化是指将数据缩放到一个固定的范围，通常是 [ 0 , 1 ] [0, 1] [0,1] 或者 [ − 1 , 1 ] [-1, 1] [−1,1]。归一化的公式如下：
x normalized = x − min ( x ) max ( x ) − min ( x ) x_{\text{normalized}} = \frac{x - \min(x)}{\max(x) - \min(x)} x
)
函数)
