1、系统及环境版本
系统：Win7 旗舰版 64位 sp1
JDK：1.8.0
Spark：2.3.2
Hadoop：2.7
Scala：2.11.8
文章最后，有所有版本的下载链接，不用再去折腾版本之间的问题。
2、环境下载
2.1 Spark 下载
spark
2.2 hadooponwindos 下载
image.png
2.3 Hadoop 下载
image.png
2.4 JDK下载
略
2.5 IntelliJ IDEA
2.6 scala 下载
2.7 IntelliJ-scala plug 下载
image.png
至此，准备工作才算完成！
3、环境配置
安装ideaIC-2017.3.5.exe。
除了scala-intelliJ-bin-2017.3.15不需要解压外，其他能解压的都需要解压。
重要：配置之前，需要把2.2中的bin文件夹替换掉2.3中的bin文件夹
重要：配置之前，需要把2.2中的bin文件夹替换掉2.3中的bin文件夹
重要：配置之前，需要把2.2中的bin文件夹替换掉2.3中的bin文件夹
重要的事说三遍！
3.1 JAVA环境配置：
JAVA_HOME:java所在的目录，注意不是bin目录
PATH:%JAVA_HOME%\bin
ClassPath：%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar
3.2 Hadoop环境配置
HADOOP_HOME:hadoop解压的目录
Path:%HADOOP_HOME%\bin
3.3 Spark环境配置
SPARK_HOME:spark解压的目录
Path:%SPARK_HOME%\bin
3.4 Scala环境配置
SCALA_HOME:scala解压的目录
Path:%SCALA_HOME%\bin
4、IDE的配置
4.1创建新项目
image.png
4.2 选择Project SDK
选择刚才解压的JAVA目录
image.png
next>next>finesh!
此时可以看到 external library只有一个jdk1.8
image.png
4.3 安装scala插件
file>settings
image.png
image.png
4.4 重启IntelliJ
重启之后：
image.png
image.png
选择scala的解压的目录，我原来装过一个2.11.12版本的，所以，我这里会有两个版本，应该选择2.11.8版本。
4.5 添加spark library
此时，新建项目之后可以看到，external libraryes 出现了 jdk1.8 和scala sdk。
我们最后再添加spark library
file>project structure
image.png
Libraries > +
之后添加解压后的spark下的jars
image.png
最终可以看到External Libraries出现了三个。
image.png
4.6 建一个Sparkdemo 的object
image.png
import org.apache.spark._
object SparkDemo {
def main(args: Array[String]): Unit = {
val masterUrl = "local[1]"
val conf = new SparkConf().setAppName("helenApp").setMaster(masterUrl)
val sc = new SparkContext(conf)
val rdd = sc.parallelize(List(1, 2, 3, 4, 5, 6)).map(_ * 3)
rdd.filter(_ > 10).collect().foreach(println)
println(rdd.reduce(_ + _))
println("hello world")
}
}
4.7 ctrl+shift+F10运行！
最终，成功！
image.png
由于是小白，所以记录得很详细。
