学习大数据的第一天

今天学习如何安装hapood安装

1.安装hapood安装

2.需要的资料

3.开始安装

1.创建目录

mkdir -p /export/server

2.进入目录下

cd /export/server/

3.安装

安装需要的依赖

yum install gcc gcc-c++ make autoconf automake libtool curl lzo-devel zlib-devel openssl openssl-devel ncurses-devel snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop libXtst zlib -y

yum install -y doxygen cyrus-sasl* saslwrapper-devel*

下载安装cmake-3.9.4

文件下载

wget http://www.cmake.org/files/v3.19/cmake-3.19.4.tar.gz

文件安装

解压文件

tar zxvf cmake-3.19.4.tar.gz

进入目录编译安装

cd /export/server/cmake-3.19.4

安装

./configure

这里安装比较慢

继续安装

make && make install

验证是否安装成功

cmake -version

下载安装 snappy

下载

Index of /repo/pkgs/snappy

下载 1.1.3的版本

安装

卸载已经安装的

rm -rf /usr/local/lib/libsnappy*

rm -rf /lib64/libsnappy*

上传文件

上传文件snappy-1.1.3.tar.gz到 /export/server/目录下

解压文件

tar zxvf snappy-1.1.3.tar.gz

安装编译

cd /export/server/snappy-1.1.3

./configure

编译

make && make install

验证

ls -lh /usr/local/lib |grep snappy

安装JDK文件

上传文件

jdk-8u241-linux-x64.tar.gz 到 /export/server/目录下

解压

tar zxvf jdk-8u241-linux-x64.tar.gz
配置环境变量

vim /etc/profile

注意

进入到新的页面中

shift+g 然后输入i 进入编辑模式

export JAVA_HOME=/export/server/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

加入到

输入 esc 退出编辑模式

输入 :wq 保存退出

文件生效

source /etc/profile

验证文件

java -version

安装maven

下载maven

maven下载地址 Index of /maven/maven-3/3.8.8/binaries

绿色的是文件路径

上传文件

解压文件

tar -zxvf apache-maven-3.8.8-bin.tar.gz

配置环境变量

vim /etc/profile

export MAVEN_HOME=/export/server/apache-maven-3.8.8
export MAVEN_OPTS="-Xms4096m -Xmx4096m"
export PATH=:$MAVEN_HOME/bin:$PATH

加载文件

source /etc/profile

验证文件

mvn -v

配置阿里云地址信息

vim /export/server/apache-maven-3.8.8/conf/settings.xml

我先在需要加快进度了

安装ProtocolBuffer 3.7.1

下载 ProtocolBuffer 3.7.1文件

GitCode - 开发者的代码家园

上传文件

解压文件

tar -zxvf protobuf-v3.7.1.tar.gz

安装

cd protobuf-v3.7.1/

./autogen.sh

./configure

make && make install

验证

protoc --version

安装hadoop

下载hadoop文件信息

链接：https://pan.baidu.com/s/1vmXHrlfd1crbjAwgpZJL5g?pwd=ue6w
提取码：ue6w

上传

注意

必须把文件上传到root目录

解压

tar zxvf hadoop-3.3.0-src.tar.gz

编译

cd hadoop-3.3.0

mvn clean package -Pdist,native -DskipTests -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib

文件说明

Pdist,native ：把重新编译生成的hadoop动态库；
DskipTests ：跳过测试
Dtar ：最后把文件以tar打包
Dbundle.snappy ：添加snappy压缩支持【默认官网下载的是不支持的】
Dsnappy.lib=/usr/local/lib ：指snappy在编译机器上安装后的库路径

今天基础环境已经安装完成了明天更新其他的