下载地址:https://spark.apache.org/downloads.html
下载完成:
复制文件到自己的路径下,路径最好不要有中文、空格;
解压tgz文件:
修改环境变量:
创建SPARK_HOME:
D:\software_download\spark-3.5.1-bin-hadoop3
(根据自己安装的位置)
Path添加:%SPARK_HOME%\bin
PYSPARK_PYTHON添加一个变量,变量值填上自己的python解释器的路径
验证:
退出:
quit()
启动spark-shell
http://127.0.0.1:4040/jobs/
报错:
Did not find winutils.exe: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache.org/hadoop/WindowsProblems
原因是因为hadoop问题,可以参考:https://blog.csdn.net/shulianghan/article/details/132042385
Hadoop安装:
https://blog.csdn.net/lvoelife/article/details/133349627
这个文章也不错:https://blog.csdn.net/qq_37067752/article/details/131210857