Spark使用Java读取Mysql

在Apache Spark中使用Java来读取MySQL数据库中的数据，你需要使用JDBC（Java Database Connectivity）来连接MySQL，并且通常你会使用Spark的JdbcRDD或者DataFrameReader（通过Spark SQL）来读取数据。不过，需要注意的是，JdbcRDD在较新版本的Spark中已经被弃用，因此推荐使用Spark SQL的DataFrameReader。

以下是一个使用Spark SQL的DataFrameReader和Java来读取MySQL数据库的示例步骤：

添加依赖：
首先，确保你的项目中包含了MySQL JDBC驱动和Spark SQL的依赖。如果你使用Maven，可以在pom.xml中添加如下依赖：

<!-- MySQL JDBC Driver -->
<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.x</version> <!-- 使用你需要的版本 -->
</dependency><!-- Spark SQL -->
<dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql_2.12</artifactId><version>3.x.x</version> <!-- 使用你需要的Spark版本 -->
</dependency>

注意替换8.0.x和3.x.x为你需要的版本。

编写Java代码：
使用DataFrameReader来读取MySQL中的数据：

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;public class SparkJdbcExample {public static void main(String[] args) {// 创建一个SparkSessionSparkSession spark = SparkSession.builder().appName("Java Spark SQL MySQL Example").master("local[*]") // 使用本地模式，或者设置为你的集群管理器URL.getOrCreate();// MySQL JDBC连接参数String jdbcUrl = "jdbc:mysql://localhost:3306/your_database";String connectionProperties = "user=your_username&password=your_password";// 读取MySQL表中的数据Dataset<Row> df = spark.read().format("jdbc").option("url", jdbcUrl).option("dbtable", "your_table") // 你要读取的表名.option("user", "your_username").option("password", "your_password").load();// 显示前几行数据df.show();// 停止SparkSessionspark.stop();}
}