很可能不是最漂亮的解决方案,但你可以尝试这样的事情：

def getCategory(categories: Array[String]) = {

udf((input:String) => categories(input.toInt))

}

df.withColumn("newCategory", getCategory(myArray)(col("myInput")))

您还可以尝试一系列文字：

val getCategory = udf(

(input:String, categories: Array[String]) => categories(input.toInt))

df.withColumn(

"newCategory", getCategory($"myInput", array(myArray.map(lit(_)): _*)))

在旁注中使用Map而不是Array可能是一个更好的主意：

def mapCategory(categories: Map[String, String], default: String) = {

udf((input:String) => categories.getOrElse(input, default))

}

val myMap = Map[String, String]("1" -> "a", "2" -> "b", "3" -> "c")

df.withColumn("newCategory", mapCategory(myMap, "foo")(col("myInput")))

从Spark 1.5.0开始,您还可以使用数组函数：

import org.apache.spark.sql.functions.array

val colArray = array(myArray map(lit _): _*)

myCategories(lit(colArray), col("myInput"))