import org.apache.spark.sql.SparkSessionobject HiveToMySQL {def main(args: Array[String]): Unit = {// 创建SparkSessionval spark = SparkSession.builder().appName("HiveToMySQL").enableHiveSupport().getOrCreate()// 读取Hive表数据val hiveDF = spark.table("hive_table_name")// 写入MySQL表hiveDF.write.format("jdbc").option("url", "jdbc:mysql://localhost:3306/database_name").option("dbtable", "mysql_table_name").option("user", "mysql_username").option("password", "mysql_password").save()// 关闭SparkSessionspark.stop()}
}
"hive_table_name"
:Hive表的名称。"jdbc:mysql://localhost:3306/database_name"
:MySQL数据库的连接URL,包括主机名、端口号和数据库名称。"mysql_table_name"
:要写入的MySQL表的名称。"mysql_username"
:MySQL数据库的用户名。"mysql_password"
:MySQL数据库的密码。
确保替换这些参数后,运行代码即可将Hive表中的数据写入到MySQL表中。