一、环境说明
Oracle JDK 11Scala 2.12.17Apache Spark 3.1.1Apache Hadoop 3.1.0
二、RDD 转 Dataframe 的方法
1、通过 StructType 创建 Dataframe(强烈推荐使用这种方法)
/*** 方法一:通过 StructType 创建 Dataframe* @param spark SparkSession* @param rdd 输入* @return 输出*/private def func1(spark:SparkSession, rdd:RDD[(Int, String, Int, String, String)]):DataFrame ={LOG.warn("------> (1) 构建 structSchema")val structSchema: StructType = StructType(List(StructField("id", IntegerType, true),StructField("name", StringType, true),StructField("age", IntegerType, true),StructField("address", StringType, true),StructField("phoneNumber", StringType, false)))LOG.warn("------> (2)创建 DF&