目录

 

网络配置

SSH 免密码登录

部署

执行测试

---

网络配置

 

192.168.81.157 node1 master

192.168.81.158 node2 slave1

192.168.81.159 node3 slave2

 

相同的配置先在一个节点上配置，配置完成后复制到其它节点上。

vi /etc/hosts

192.168.81.157 node1

192.168.81.158 node2

192.168.81.159 node3

分别对应每一台主机修改主机名；

依次修改所有节点 node[1-3]上分别执行

hostnamectl set-hostname node1

 

拷贝文件到其他节点

for a in {2..3} ; do scp /etc/hosts node$a:/etc/hosts ; done

 

SSH 免密码登录

1.在集群node1的 /etc/ssh/sshd_config  文件

vi /etc/ssh/sshd_config

RSAAuthentication yes #开启私钥验证 PubkeyAuthentication yes #开启公钥验证

2.将集群node1 修改后的 /etc/ssh/sshd_config  通过 scp 命令复制发送到集群的每一个节点

for a in {2..3} ; do scp /etc/ssh/sshd_config node$a:/etc/ssh/sshd_config ; done

3.生成公钥、私钥

1.在集群的每一个节点节点输入命令 ssh-keygen -t rsa -P ''，生成 key，一律回车

ssh-keygen -t rsa -P ''

4.在集群的node1 节点输入命令

将集群每一个节点的公钥id_rsa.pub放入到自己的认证文件中authorized_keys;

for a in {1..3}; do ssh root@node$a cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys; done

5.在集群的node1 节点输入命令

将自己的认证文件 authorized_keys  通过 scp 命令复制发送到每一个节点上去: /root/.ssh/authorized_keys`

for a in {2..3}; do scp /root/.ssh/authorized_keys root@node$a:/root/.ssh/authorized_keys ; done

6.在集群的每一个节点节点输入命令

接重启ssh服务

sudo systemctl restart sshd.service

7.验证 ssh 无密登录

开一个其他窗口测试下能否免密登陆

例如：在node3

ssh root@node2

exit 退出

 

部署

node1机器上

部署/opt/目录

tar xzvf spark-2.4.4-bin-hadoop2.7.tgz

cd spark-2.4.4-bin-hadoop2.7

cp conf/slaves.template conf/slaves

将slave机器名添加上

node2

node3

 

cp conf/spark-env.sh.template conf/spark-env.sh

 

所有机器都

yum install -y java-1.8.0-openjdk

 

vi conf/spark-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64/jre/

 

拷贝到其他机器上

for a in {2..3}; do scp -r /opt/spark-2.4.4-bin-hadoop2.7 node$a:/opt ; done

 

关闭防火墙（各台均执行）

systemctl stop firewalld.service

systemctl disable firewalld

 

node1机器上启动集群

./sbin/start-all.sh

关闭集群

./sbin/stop-all.sh

 

netstat -tunlp #看到8080端口已经被监听

 

浏览器访问页面

http://192.168.81.157:8080/

 

可以看到slave也加入到集群中了。

 

执行测试

bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://node1:7077 --num-executors 2 /opt/spark-2.4.4-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.4.jar

……

19/12/17 17:46:05 INFO DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 2.072959 s

Pi is roughly 3.141275706378532

……