spark mllib 特征学习笔记（二）

当然，请继续介绍其他特征处理方法的公式、适用场景和案例：

10. StringIndexer

公式：
将字符串类型的标签转换为数值索引：
$\text{StringIndexer}(x) = \{0, 1, 2, \ldots, N-1\}$

适用场景：
用于将分类标签转换为数值标签，以便机器学习算法处理。

案例：

from pyspark.ml.feature import StringIndexerdata = spark.createDataFrame([(0, "a"), (1, "b"), (2, "c"), (3, "a"), (4, "a"), (5, "c")], ["id", "category"])
indexer = StringIndexer(inputCol="category", outputCol="categoryIndex")
indexedData = indexer.fit(data).transform(data)
indexedData.show()

11. VectorAssembler

公式：
将多个特征列合并成一个特征向量：
$\text{VectorAssembler}(\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_n) = [\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_n]$

适用场景：
用于将多个特征列合并成一个特征向量，作为机器学习算法的输入。

案例：

from pyspark.ml.feature import VectorAssembler
from pyspark.ml.linalg import Vectorsdata = spark.createDataFrame([(1, 2, 3), (4, 5, 6)], ["a", "b", "c"])
assembler = VectorAssembler(inputCols=["a", "b", "c"], outputCol="features")
assembledData = assembler.transform(data)
assembledData.show()

12. Word2Vec

公式：
Word2Vec 是一种词嵌入模型，通过训练将单词映射到低维向量空间：
$\text{Word2Vec}(\text{sentence}) = \mathbf{v}$
其中 (\mathbf{v}) 是单词的向量表示。

适用场景：
用于自然语言处理中的词语表示学习，以便后续应用于文本分类、文本相似度等任务。

案例：

from pyspark.ml.feature import Word2Vecdata = spark.createDataFrame([("Hi I heard about Spark".split(" "),),("I wish Java could use case classes".split(" "),),("Logistic regression models are neat".split(" "),)
], ["text"])word2Vec = Word2Vec(vectorSize=3, minCount=0, inputCol="text", outputCol="result")
model = word2Vec.fit(data)
result = model.transform(data)
result.show(truncate=False)

这些例子展示了 PySpark MLlib 中几种常用的特征处理方法的基本用法和应用场景。根据具体的数据和任务需求，选择合适的特征处理方法可以有效地提高模型的性能和准确性。

当然，请继续介绍其他特征处理方法的公式、适用场景和案例：

13. UnivariateFeatureSelector

公式：
基于单变量统计测试选择特征，例如卡方检验：
$\text{UnivariateFeatureSelector}(X, y) = \{ \text{features with highest score} \}$

适用场景：
用于基于单变量统计测试（如卡方检验）选择与标签相关性最高的特征。

案例：

from pyspark.ml.feature import UnivariateFeatureSelector
from pyspark.ml.linalg import Vectorsdata = [(1, Vectors.dense(0.0, 1.1, 0.1)),(0, Vectors.dense(2.0, 1.0, -1.0)),(0, Vectors.dense(2.0, 1.3, 1.0)),(1, Vectors.dense(0.0, 1.2, -0.5))]
df = spark.createDataFrame(data, ["label", "features"])selector = UnivariateFeatureSelector(featuresCol="features", outputCol="selectedFeatures", labelCol="label", selectionMode="numTopFeatures", numTopFeatures=1)
result = selector.fit(df).transform(df)
result.show()

14. VarianceThresholdSelector

公式：
基于方差选择特征，移除方差低于阈值的特征：
$\text{VarianceThresholdSelector}(X) = \{ \text{features with variance above threshold} \}$

适用场景：
用于移除方差较低的特征，以减少噪声对模型的影响。

案例：

from pyspark.ml.feature import VarianceThresholdSelector
from pyspark.ml.linalg import Vectorsdata = [(1, Vectors.dense(0.0, 1.0, 0.0)),(0, Vectors.dense(0.0, 1.0, 1.0)),(0, Vectors.dense(0.0, 1.0, 0.0))]
df = spark.createDataFrame(data, ["label", "features"])selector = VarianceThresholdSelector(featuresCol="features", outputCol="selectedFeatures", threshold=0.0)
result = selector.fit(df).transform(df)
result.show()

15. VectorIndexer

公式：
索引化向量中的类别特征列：
$\text{VectorIndexer}(X) = \{ \text{indexed features} \}$

适用场景：
用于处理数据集中的向量特征，自动识别并索引类别特征。

案例：

from pyspark.ml.feature import VectorIndexer
from pyspark.ml.linalg import Vectorsdata = [(Vectors.dense(1.0, 2.0, 3.0),),(Vectors.dense(2.0, 5.0, 6.0),),(Vectors.dense(1.0, 8.0, 9.0),)]
df = spark.createDataFrame(data, ["features"])indexer = VectorIndexer(inputCol="features", outputCol="indexed", maxCategories=2)
indexedData = indexer.fit(df).transform(df)
indexedData.show()

16. VectorSizeHint

公式：
添加向量列的大小信息到元数据中：
$\text{VectorSizeHint}(X) = \{ \text{features with size hint in metadata} \}$

适用场景：
用于在向量列中添加大小信息，以提供给后续流水线阶段使用。

案例：

from pyspark.ml.feature import VectorSizeHint
from pyspark.ml.linalg import Vectorsdata = [(Vectors.dense([1.0, 2.0]),),(Vectors.dense([2.0, 3.0]),)]
df = spark.createDataFrame(data, ["features"])sizeHint = VectorSizeHint(inputCol="features", size=2)
sizeHint.transform(df).show()