文章目录
- 一、配置基础环境
- 1. 设置静态ip
- 2. hostname
- 3. firewalld
- 4. ssh免密码登录
- 5. JDK
一、配置基础环境
1. 设置静态ip
[root@bigdata01 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO="static"
IPADDR=192.168.92.100
GATEWAY=192.168.92.2
DNS1=192.168.92.2
[root@bigdata01 ~]# service network restart
Restarting network (via systemctl): [ OK ]
[root@localhost ~]# ip addrens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state inet 192.168.92.100/24 brd 192.168.92.255 scope global noprefixroute ens3
[root@localhost ~]#
2. hostname
hostname:设置临时主机名和永久主机名
[root@bigdata01 ~]# hostname bigdata01
[root@bigdata01 ~]# vi /etc/hostname
bigdata01
3. firewalld
firewalld:临时关闭防火墙+永久关闭防火墙[root@bigdata01 ~]# systemctl stop firewalld
[root@bigdata01 ~]# systemctl disable firewalld
4. ssh免密码登录
在这需要大致讲解一下ssh的含义,ssh 是secure shell,安全的shell,通过ssh可以远程登录到远程linux机器。
我们下面要讲的hadoop集群就会使用到ssh,我们在启动集群的时候只需要在一台机器上启动就行,然后hadoop会通过ssh连到其它机器,把其它机器上面对应的程序也启动起来。
但是现在有一个问题,就是我们使用ssh连接其它机器的时候会发现需要输入密码,所以现在需要实现ssh免密码登录。
那有同学可能有疑问了,你这里说的多台机器需要配置免密码登录,但是我们现在是伪分布集群啊,只有一台机器
注意了,不管是几台机器的集群,启动集群中程序的步骤都是一样的,都是通过ssh远程连接去操作,就算是一台机器,它也会使用ssh自己连自己,我们现在使用ssh自己连自己也是需要密码的。
[root@localhost ~]# ssh bigdata01
The authenticity of host 'bigdata01 (192.168.92.100)' can't be established.
ECDSA key fingerprint is SHA256:OkPdWB6Qbl6dbKtaCWEsnueYoZ1E6jTMswu1gB5e8Wg.
ECDSA key fingerprint is MD5:fa:46:3c:5c:86:b3:6e:36:86:2c:94:8c:5d:a8:83:fc.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'bigdata01,192.168.92.100' (ECDSA) to the list of known hosts.
root@bigdata01's password: 【这里需要输入密码】
Last failed login: Sat Jul 3 05:54:45 CST 2021 from bigdata01 on ssh:notty
There was 1 failed login attempt since the last successful login.
Last login: Sat Jul 3 05:20:20 2021 from 192.168.92.1
[root@bigdata01 ~]#
下面详细讲一下ssh免密码登录 ssh这种安全/加密的shell,使用的是非对称加密,加密有两种,对称加密和非对称加密。非对称加密的解密过程是不可逆的,所以这种加密方式比较安全。
非对称加密会产生秘钥,秘钥分为公钥和私钥,在这里公钥是对外公开的,私钥是自己持有的。
那么ssh通信的这个过程是,第一台机器会把自己的公钥给到第二台机器,
当第一台机器要给第二台机器通信的时候,
第一台机器会给第二台机器发送一个随机的字符串,第二台机器会使用公钥对这个字符串加密,
同时第一台机器会使用自己的私钥也对这个字符串进行加密,然后也传给第二台机器
这个时候,第二台机器就有了两份加密的内容,一份是自己使用公钥加密的,一份是第一台机器使用私钥加密传过来的,公钥和私钥是通过一定的算法计算出来的,这个时候,第二台机器就会对比这两份加密之后的内容是否匹配。如果匹配,第二台机器就会认为第一台机器是可信的,就允许登录。如果不相等 就认为是非法的机器。
下面就开始正式配置一下ssh免密码登录,由于我们这里要配置自己免密码登录自己,所以第一台机器和第二台机器都是同一台
首先在bigdata01上执行 ssh-keygen -t rsa
rsa表示的是一种加密算法
注意:执行这个命令以后,需要连续按 4 次回车键回到 linux 命令行才表示这个操作执行 结束,在按回车的时候不需要输入任何内容。
[root@bigdata01 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:rL9D/qe+VntaQZABHcMLOkDy3FisEvqkIGg7znSbyQo root@bigdata01
The key's randomart image is:
+---[RSA 2048]----+
| ..... .+=+ |
| .+.+. . +o |
|. . .+o.. . .. |
|+.. o ..o .. |
|o..+ . S. . |
| +... .. . . |
|E + + .o . .. |
|.o = .o . o.. |
| .. o*=+.o |
+----[SHA256]-----+
[root@bigdata01 ~]#
执行以后会在~/.ssh
目录下生产对应的公钥和秘钥文件
[root@bigdata01 ~]# ll ~/.ssh/
total 12
-rw-------. 1 root root 1679 Jul 3 05:57 id_rsa
-rw-r--r--. 1 root root 396 Jul 3 05:57 id_rsa.pub
-rw-r--r--. 1 root root 186 Jul 3 05:54 known_hosts
下一步是把公钥拷贝到需要免密码登录的机器上面
[root@bigdata01 ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
然后就可以通过ssh 免密码登录到bigdata01机器了
[root@bigdata01 ~]# ssh bigdata01
Last login: Sat Jul 3 05:54:49 2021 from bigdata01
[root@bigdata01 ~]#
5. JDK
按照正常工作中的开发流程,建议把软件安装包全部都放在/data/soft目录下。
一般公司中正式环境的服务器中都会有一个data盘,负责存储数据,当然也可能会起其他名字
在这里我们没有新挂磁盘,所以手工创建/data/soft
目录
[root@bigdata01 ~]# mkdir -p /data/soft
把JDK的安装包上传到/data/soft/
目录下
[root@bigdata01 ~]# ll /data/soft/
total 527024
-rw-r--r--. 1 root root 194042837 Mar 8 2020 jdk-8u202-linux-x64.tar.gz
[root@bigdata01 ~]#
解压jdk安装包
[root@bigdata01 soft]# tar -zxvf jdk-8u202-linux-x64.tar.gz.....
export JAVA_HOME=/data/soft/jdk1.8
export PATH=.:$JAVA_HOME/bin:$PATH
重命名jdk
[root@bigdata01 soft]# mv jdk1.8.0_202 jdk1.8
配置环境变量 JAVA_HOME
[root@bigdata01 soft]# vi /etc/profile
export JAVA_HOME=/data/soft/jdk1.8
export PATH=.:$JAVA_HOME/bin:$PATH
验证
[root@bigdata01 soft]# source /etc/profile
[root@bigdata01 soft]# java -version
java version "1.8.0_202"
Java(TM) SE Runtime Environment (build 1.8.0_202-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.202-b08, mixed mode)
基础环境搞定了,下面开始安装Hadoop