二值编码

独热编码

• 定义 ：One-Hot Encoding即One-Hot 编码，也称独热编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候，其中只有一位有效。

• 应用场景：由于分类器往往默认数据数据是连续的，并且是有序的，但是在很多机器学习任务中，存在很多离散（分类）特征，因而将特征值转化成数字时，往往也是不连续的， One-Hot 编码解决了这个问题

• 示例：

  • 实际：类别1，类别2，类别3，类别4，类别5，类别6；
  • 自然状态码为：000,001,010,011,100,101；

  • 独热编码为：000001,000010,000100,001000,010000,100000；

    可以这样理解，对于每一个特征，如果它有m个可能值，那么经过独热编码后，就变成了m个二元特征。并且，这些特征互斥，每次只有一个激活。因此，数据会变成稀疏的。

    这样做的好处主要有：

    • 解决了分类器不好处理属性数据的问题
    • 在一定程度上也起到了扩充特征的作用

• 独热编码优缺点

  • 优点：独热编码解决了分类器不好处理属性数据的问题，在一定程度上也起到了扩充特征的作用。它的值只有0和1，不同的类型存储在垂直的空间。
  • 缺点：当类别的数量很多时，特征空间会变得非常大。在这种情况下，一般可以用PCA来减少维度。而且one hot encoding+PCA这种组合在实际中也非常有用。

独热编码的实现