Spark实战：Spark读取Excel文件

由于Apache Spark本身不支持直接读取Excel文件，我们需要通过一些间接手段来实现，例如先将Excel文件转换为CSV格式，然后使用Spark读取CSV文件。下面我将给出完整的Scala代码示例，包括如何将Excel文件转换为CSV文件（这里我们使用Scala和Apache POI库作为示例，但通常这一步可以在数据预处理阶段使用Python的pandas库或其他工具完成），以及如何使用Spark读取CSV文件。

步骤1：将Excel文件转换为CSV文件（使用Scala和Apache POI）

首先，你需要在你的项目中添加Apache POI的依赖。如果你使用sbt（Scala的构建工具），可以在build.sbt文件中添加如下依赖：

libraryDependencies += "org.apache.poi" % "poi" % "5.0.0" // 请检查并使用最新版本
libraryDependencies += "org.apache.poi" % "poi-ooxml" % "5.0.0" // 用于处理.xlsx文件

然后，你可以使用以下Scala代码将Excel文件转换为CSV文件：

import java.io._
import org.apache.poi.ss.usermodel._
import org.apache.poi.xssf.usermodel.XSSFWorkbookobject ExcelToCsv {def main(args: Array[String]): Unit = {val inputFile = new File("path/to/your/input.xlsx") // 替换为你的Excel文件路径val workbook = new XSSFWorkbook(new FileInputStream(inputFile))val sheet = workbook.getSheetAt(0) // 假设我们读取第一个sheetval csvFile = new File("path/to/your/output.csv") // CSV文件输出路径val csvWriter = new BufferedWriter(new FileWriter(csvFile))// 遍历表头val rowHead = sheet.getRow(0)val header = rowHead.iterator().asScala.map(_.toString).mkString(",")csvWriter.write(header)csvWriter.newLine()// 遍历数据行for (row <- sheet.iterator()) {val line = row.iterator().asScala.map(_.toString).mkString(",")csvWriter.write(line)csvWriter.newLine()}// 关闭文件csvWriter.close()workbook.close()}
}

步骤2：使用Spark读取CSV文件

在Scala中，你可以使用Spark的spark.read.csv方法来读取CSV文件。以下是一个简单的示例：

import org.apache.spark.sql.SparkSessionobject SparkReadCsv {def main(args: Array[String]): Unit = {val spark = SparkSession.builder().appName("SparkReadCsv").master("local[*]") // 或者你的集群管理器，如 "spark://master:7077".getOrCreate()import spark.implicits._// 读取CSV文件val df = spark.read.option("header", "true") // 如果CSV文件有标题行.option("inferSchema", "true") // 自动推断列的数据类型.csv("path/to/your/output.csv") // 替换为你的CSV文件路径// 显示数据df.show()// 停止SparkSessionspark.stop()}
}