分布式数据库环境(HBase分布式数据库)的搭建与配置

分布式数据库环境(HBase分布式数据库)的搭建与配置

  • 1. VMWare安装CentOS7.9.2009
    • 1.1 下载 CentOS7.9.2009 映像文件
    • 1.2启动 VMware WorkstationPro,点击“创建新的虚拟机”
    • 1.3在新建虚拟机向导界面选择“典型(推荐)”
    • 1.4安装来源选择“安装程序光盘映像文件(iso)”,点击“浏览”按钮,选择下载的 centos7映像文件:CentOS-7-x86_64-Minimal-2009.iso
    • 1.5指定虚拟机名称和位置(建议存储位置从默认的 C 盘改为其它盘)
    • 1.6指定磁盘容量,可以使用推荐的 20GB
    • 1.7点击“自定义硬件”,修改默认配置参数
    • 1.8 VM 自动运行 CentOS7 映像文件,点击鼠标进入虚拟机,用键盘选中“Install CentOS7”,然后按回车键
    • 1.9在 CentOS 7 的安装欢迎界面,选择安装语言为“简体中文”。
    • 1.10设置“安装信息摘要”。
      • 1.10.1 点击“安装位置”,在新窗口中,可以使用默认设置,直接点击左上角的“完成”按钮。
      • 1.10.2点击“KDUMP”,在新窗口中取消“启用 kdump”后,点击左上角的“完成”按钮。
      • 1.10.3点击“网络和主机名”,在新窗口中点击按钮打开以太网连接,在下方设置主机名为“centos7server”,并点击“应用”按钮,然后点击左上角的“完成”按钮。
      • 1.10.4配置完毕,点击“开始安装”。在安装界面点击“ROOT 密码”,在新窗口中设置密码为:root,然后需要两次点击左上角的“完成按钮”,返回安装界面。
      • 1.10.5等安装结束后,点击“重启”按钮。
      • 1.10.6重启进入登陆界面,输入用户名 root,密码 root(输入密码时没有回显),即可成功登陆。
    • 1.11系统设置
      • 1.11.1修改网卡配置信息
  • 2. 安装hadoop
    • 2.1克隆一台虚拟机,设置网卡静态ip
    • 2.2配置主机名
    • 2.3安装jdk和Hadoop
    • 2.4配置相关文件
    • 2.5运行启动hadoop
  • 3. 安装Hbase
    • 3.1 准备安装文档。
    • 3.2配置环境变量
    • 3.3修改Hbase配置文件
    • 3.4启动hbase。
  • 4.总结
  • 5.参考资料

1. VMWare安装CentOS7.9.2009

1.1 下载 CentOS7.9.2009 映像文件

下载网址:下载网址

1.2启动 VMware WorkstationPro,点击“创建新的虚拟机”

在这里插入图片描述

1.3在新建虚拟机向导界面选择“典型(推荐)”

在这里插入图片描述

1.4安装来源选择“安装程序光盘映像文件(iso)”,点击“浏览”按钮,选择下载的 centos7映像文件:CentOS-7-x86_64-Minimal-2009.iso

在这里插入图片描述

1.5指定虚拟机名称和位置(建议存储位置从默认的 C 盘改为其它盘)

在这里插入图片描述

1.6指定磁盘容量,可以使用推荐的 20GB

在这里插入图片描述

1.7点击“自定义硬件”,修改默认配置参数

在这里插入图片描述
设置内存为 4G,处理器为 2 核
移除打印机(选中打印机后,点击移除按钮)
在这里插入图片描述
配置完成后,点击“关闭”按钮。
回到新建虚拟机向导界面,点击“完成”按钮。
在这里插入图片描述

1.8 VM 自动运行 CentOS7 映像文件,点击鼠标进入虚拟机,用键盘选中“Install CentOS7”,然后按回车键

在这里插入图片描述

1.9在 CentOS 7 的安装欢迎界面,选择安装语言为“简体中文”。

1.10设置“安装信息摘要”。

1.10.1 点击“安装位置”,在新窗口中,可以使用默认设置,直接点击左上角的“完成”按钮。

1.10.2点击“KDUMP”,在新窗口中取消“启用 kdump”后,点击左上角的“完成”按钮。

在这里插入图片描述
在这里插入图片描述

1.10.3点击“网络和主机名”,在新窗口中点击按钮打开以太网连接,在下方设置主机名为“centos7server”,并点击“应用”按钮,然后点击左上角的“完成”按钮。

在这里插入图片描述

1.10.4配置完毕,点击“开始安装”。在安装界面点击“ROOT 密码”,在新窗口中设置密码为:root,然后需要两次点击左上角的“完成按钮”,返回安装界面。

1.10.5等安装结束后,点击“重启”按钮。

1.10.6重启进入登陆界面,输入用户名 root,密码 root(输入密码时没有回显),即可成功登陆。

在这里插入图片描述

1.11系统设置

1.11.1修改网卡配置信息

查看当前ip地址
在这里插入图片描述
切换工作目录:cd /etc/sysconfig/network-scripts/
编辑网卡文件:vi ifcfg-ens33
默认为命令模式,无法修改文件内容,按下字母“i”进入编辑模式,修改内容如下:
在这里插入图片描述
修改完毕后,按“ESC”键进入命令模式,输入“:wq”保存退出
重启网卡:systemctl restart network
检查网络是否连通:ping www.baidu.com
显示如下结果,说明网络正常,按 Ctrl+C 退出执行:
在这里插入图片描述
关闭防火墙:systemctl disable firewalld
关闭 selinux:sed -i ‘s/enforcing/disabled/’ /etc/selinux/config
重启:reboot

2. 安装hadoop

2.1克隆一台虚拟机,设置网卡静态ip

• cd /etc/sysconfig/network-scripts
• 编辑网卡文件:vi ifcfg-ens33
• 将IPADDR的值修改为192.168.37.182(其它配置不变)。
• 保存后,执行systemctl restart network,即可重启网卡,使设置生效
• 运行ping www.baidu.com检查网络是否连通。

2.2配置主机名

• 在虚拟机hadp01上编辑hostname文件vi /etc/hostname,修改文件内容为:hadp01
• 编辑hadp01的hosts文件vi /etc/hosts。
加以下内容:192.168.3.182 hadp02
• 在虚拟机的hosts文件中增运行reboot重启CentOS系统,使设置生效

2.3安装jdk和Hadoop

• 在官网下载文件:jdk-8u201-linux-x64.tar.gz和hadoop-2.9.2.tar.gz,通过MobaXterm,将保存在Win10中的jdk-8u201-linux-x64.tar.gz和hadoop-2.9.2.tar.gz传递到hadp01的/home/root目录中,并解压到执行命令tar -xzvf jdk-8u201-linux-x64.tar.gz -C apps/,tar -xzvf hadoop-2.9.2.tar.gz -C apps/, 将jdk解压到指定目录中(/home/root/apps)。
• vi /etc/profile 编辑/etc/profile文件,在文件的末尾设置JAVA环境变量
在这里插入图片描述

2.4配置相关文件

• 2.4.1 vi /etc/profile 编辑/etc/profile文件,在文件的末尾设置Hadoop环境变量
在这里插入图片描述
运行source /etc/profile 让修改后的/etc/profile文件立即生效
• 执行命令cd /home/root/apps/hadoop-2.9.2/etc/hadoop,切换到目录/home/root/apps/hadoop-2.9.2/etc/hadoop下。
• 编辑core-site.xml文件vi core-site.xml
在这里插入图片描述
• 编辑hdfs-site.xml文件,vi hdfs-site.xml

在这里插入图片描述
• 根据模板创建mapred-site.xml文件:cp mapred-site.xml.template mapred-site.xml
• 编辑mapred-site.xml文件

在这里插入图片描述
• 编辑yarn-site.xml文件vi yarn-site.xml
o yarn.nodemanager.aux-services:指定辅助服务
o yarn.resourcemanager.hostname:指定resourcemanager的地址

<property><name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property><name>yarn.resourcemanager.hostname</name>
<value>hadp01</value>
</property>

• 编辑hadoop-env.sh文件vi hadoop-env.sh
o 将默认的export JAVA_HOME=${JAVA_HOME}替换为export JAVA_HOME=/home/root/apps/jdk1.8.0_201
• 编辑yarn-env.sh文件i
o 将默认的# export JAVA_HOME=/home/y/libexec/jdk1.6.0/替换为export JAVA_HOME=/home/root/apps/jdk1.8.0_201,记得删除这一行最前面的#
• 编辑mapred-env.sh文件vi mapred-env.sh
o 将默认的# export JAVA_HOME=/home/y/libexec/jdk1.6.0/替换为export JAVA_HOME=/home/root/apps/jdk1.8.0_201,记得删除这一行最前面的#
• 编辑slaves文件vi slaves
o 将默认的localhost改为hadp01

2.5运行启动hadoop

• 格式化namenode节点:hdfs namenode -format
• 启动Hadoop集群
o cd /home/root/apps/hadoop-2.9.2/sbin
o ./start-all.sh
o 提示Are you sure you want to continue connecting (yes/no)?时,输入yes
• jps显示当前所有java进程pid,查看Hadoop是否启动成功(NameNode,SecondaryNameNode,DataNode,ResouceManager,NodeManager)

在这里插入图片描述
• 在Windows中启动浏览器查看运行情况(推荐使用Google Chrome浏览器)
o HDFS的Web页面:192.168.37.182:50070

在这里插入图片描述
o YARN的Web页面:192.168.37.182:8088
在这里插入图片描述

3. 安装Hbase

3.1 准备安装文档。

• 在Windows中下载HBase,下载链接:https://archive.apache.org/dist/hbase/2.2.6/hbase-2.2.6-bin.tar.gz
• 利用MobaXterm,将Windows中保存的hbase-2.2.6-bin.tar.gz拷贝到hadp02虚拟机,存储位置:/home/root/
• 在hadp01中切换到HBase安装文件所在目录:cd /home/root
• 解压缩到apps目录中:tar -xzvf hbase-2.2.6-bin.tar.gz -C apps

3.2配置环境变量

• 编辑/etc/profile文件,vi /etc/profile,,在文件末尾增加内容如下:
在这里插入图片描述
• 并使修改的profile文件生效:source /etc/profile

3.3修改Hbase配置文件

• 切换到配置文件目录:cd /home/root/apps/hbase-2.2.6/conf
• 编辑hbase-env.sh文件:vi hbase-env.sh
o 配置JAVA_HOME,HBASE_MANAGES_ZK
o 找到# export JAVA_HOME=/usr/java/jdk1.6.0/,修改为export JAVA_HOME=/home/root/apps/jdk1.8.0_201(注意:要去掉最前面的#)

在这里插入图片描述
o 找到如下代码

# Tell HBase whether it should manage it's own instance of Zookeeper or not.
# export HBASE_MANAGES_ZK=true

去掉export前面的#,修改效果如下:

# Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=true

• 编辑hbase-site.xml文件:vi hbase-site.xml
o 修改第一项hbase.cluster.distributed的value值为true,并添加部分内容,修改后文件如下:
在这里插入图片描述
• 编辑regionservers文件:vi regionservers,删除原有内容localhost,修改内容为:
在这里插入图片描述

3.4启动hbase。

• 启动hdfs集群
在这里插入图片描述
• 启动hbase

在这里插入图片描述
• 检查启动状态。
o 输入jps,查看进程中是否包含HMaster、HRegionServer、HQuorumPeer
o 在Windows环境下,启动Chrome浏览器,输入:192.168.37.182:16010

在这里插入图片描述
在这里插入图片描述
• 命令行形式操作hbase。
在这里插入图片描述

4.总结

这个搭建过程主要是CentOS上成功完成了Hadoop和HBase的伪分布式安装。主要包括环境配置、Hadoop与HBase的安装、配置与测试。

如果对您有帮助,希望您能给我点个赞~!

5.参考资料

(1)HBase基础知识
https://www.cnblogs.com/boanxin/p/10407778.html
https://blog.csdn.net/qq_1018944104/article/details/85013790?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.channel_param

(2)搭建5个节点的hadoop集群环境(CDH5)
https://blog.csdn.net/u010270403/article/details/51446674

(3)HBase完全分布式集群环境搭建过程总结
https://blog.csdn.net/qq_38586378/article/details/81352358

附选:
Oracle的安装与卸载
目的与要求
掌握Oracle 10g数据库服务器的安装与配置
掌握Oracle 10g数据库服务器安装过程中问题的解决

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/55964.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

springBoot集成nacos注册中心以及配置中心

一、安装启动nacos 访问&#xff1a;http://127.0.0.1:8848/nacos/index.html#/login 二、工程集成nacos 1、引入依赖 我这里搭建的父子工程哈&#xff0c;在子工程引入 <dependencies><!-- SpringBoot Web --><dependency><groupId>org.sp…

【Golang】关于Gin框架请求参数的获取

✨✨ 欢迎大家来到景天科技苑✨✨ &#x1f388;&#x1f388; 养成好习惯&#xff0c;先赞后看哦~&#x1f388;&#x1f388; &#x1f3c6; 作者简介&#xff1a;景天科技苑 &#x1f3c6;《头衔》&#xff1a;大厂架构师&#xff0c;华为云开发者社区专家博主&#xff0c;…

基于springboot的网上服装购物商城系统

基于springboot的网上服装购物商城系统 开发语言&#xff1a;Java 框架&#xff1a;springboot JDK版本&#xff1a;JDK1.8 服务器&#xff1a;tomcat7 数据库&#xff1a;mysql 5.7 数据库工具&#xff1a;Navicat11 开发软件&#xff1a;idea 源码获取&#xff1a; &#x…

【conda环境打包】ubuntu的conda环境打包导出方法 conda-pack

【conda环境打包】ubuntu的conda环境打包导出方法 conda-pack 1.准备工作2.解压3.后续处理参考文献 1.准备工作 安装conda-pack pip install conda-pack激活要被打包的环境&#xff0c;打包环境之前 先激活要打包的环境 conda activate 被打包的环境打包命令 conda pack --…

Java 输入与输出(I\O)之字节缓冲流【BufferedInputStream】【BufferedOutputStream】详解

缓冲流是Java I/O中的一个重要概念&#xff0c;它可以提高文件读写的性能。 由于磁盘的IO处理速度远低于内存的读写速度。 为了提高文件读写性能&#xff0c;我们可以使用缓冲流。缓冲流使用内存缓冲区&#xff0c;可以一次性读取或写入大量数据&#xff0c;从而减少与磁盘的交…

将图片转换为PDF:Python初学者指南

前言 最近,我去进行了一次入职体检,第二天在体检医院的公众号中查看了体检报告。但遗憾的是,医院没有提供下载功能,而公司需要的是PDF格式的报告。市面上很多工具或软件都能将图片转换为PDF格式,但大多数都要求开会员,而我不常用这些工具,因此没必要为此花钱。出于囊中羞…

华为OD机试真题---关联子串

华为OD机试中的“关联子串”题目是一个考察字符串处理和算法理解的经典问题。以下是对该题目的详细解析&#xff1a; 一、题目描述 给定两个字符串str1 和 str2&#xff0c;如果字符串 str1 中的字符&#xff0c; 经过排列组合后的字符串中只要有一个是 str2 的子串&#xff…

oracle和hive之间关于sql的语法差异及转换

目录 前言 1、oracle中的&#xff08;&#xff09;写法 1.1、区分左右连接 1.2、hive中的写法 a、最常用 b、副表带条件 c、只显示过滤条件的数据 2、select中含有子查询 3、oracle的decode函数 4、oracle的时间转化 5、oracle的trunc函数 6、oracle instr函数 7…

vscode中每个打开的文件都显示在一个单独的标签页中

版本&#xff1a;1.94 实现步骤&#xff1a; 1、打开设置 File-》Preferences-》Settings 2、具体设置 2.1、在配置中搜索 workbench.editor.showTabs 设置为multiple。 2.2、在配置中搜索 workbench.editor.enablePreview 取消勾选。 根据这个功能的说明&#xff0c;在…

24.10.20(换根哈希)

星期一&#xff1a; 阴间场 cf渡劫成功&#xff0c;拿下三题&#xff0c;终于上蓝&#x1f973;&#x1f973;&#x1f973; 贴 cf round978 div2 C cf传送门 答案取到n1但初始化没到n1&#xff0c;wa了一发&#xff0c;很烦&#x1f63f;…

100. UE5 GAS RPG 显示范围魔法的攻击范围

在这一篇里&#xff0c;我们将制作一个范围魔法&#xff0c;释放魔法时&#xff0c;我们将在鼠标拾取位置绘制一个魔法光圈&#xff0c;用于显示技能释放时攻击的范围&#xff0c;然后再次点击可以释放技能。 创建贴花类 魔法范围标识的光圈&#xff0c;我们采用贴花实现&…

利用飞腾派进行OpenCV开发

实验目标&#xff1a; 完成飞腾平台OpenCV开发。 实验大纲&#xff1a; Mat数据结构加载、显示、保存图像读写像素RGB图像分离彩色图转灰度图 Mat数据结构 Mat是一个类&#xff0c;由两个数据部分组成&#xff1a;矩阵头(大小,通道,数据类型等)和数据块(像素 值)。创建示例…

SQL Server-导入和导出excel数据-注意事项

环境&#xff1a; win10&#xff0c;SQL Server 2008 R2 之前写过的放在这里&#xff1a; SqlServer_陆沙的博客-CSDN博客 https://blog.csdn.net/pxy7896/category_12704205.html 最近重启ASP.NET项目&#xff0c;在使用sql server导出和导入数据时遇到一些问题&#xff0c;特…

LLAMA2入门(一)-----预训练

Llama 2 是预训练和微调的LLM系列&#xff0c;Llama 2 和 Llama 2-Chat 模型的参数规模达到 70B。Llama 2-Chat 模型专门为对话场景进行了优化。 这是一个系列的文章&#xff0c;会分别从LLAMA2的预训练&#xff0c;微调&#xff0c;安全性等方面进行讲解。 1.数据来源 数据…

SDRAM控制器的设计与验证(野火学习笔记)

SDRAM发展至今已历经五代&#xff0c;具有单位存储量大、高数据带宽、读写速度快、价格相对便宜等优点。同时&#xff0c;作为内存条中不可缺少的有一部分&#xff0c;SDRAM在计算机领域也占有一席之地。 &#xff08;SDRAM的内容以及操作时序比较复杂&#xff0c;本文已经尽可…

域7:安全运营 第17章 事件的预防和响应

第七域包括 16、17、18、19 章。 事件的预防和响应是安全运营管理的核心环节&#xff0c;对于组织有效识别、评估、控制和减轻网络安全威胁至关重要。这一过程是循环往复的&#xff0c;要求组织不断总结经验&#xff0c;优化策略&#xff0c;提升整体防护能力。通过持续的监测、…

计算机毕业设计Python+大模型知识图谱中华古诗词可视化 古诗词智能问答系统 古诗词数据分析 古诗词情感分析 PyTorch Tensorflow LSTM

温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 开发技术&#xff1a; 前端…

Web前端-JavaScript书写位置

一、JavaScript介绍 1.JavaScript 是什么? 是一种运行在客户端(浏览器)的编程语言&#xff0c;实现人机交互效果。 2.作用 &#xff08;1&#xff09;网页特效(监听用户的一些行为让网页作出对应的反馈) &#xff08;2&#xff09;表单验证(针对表单数据的合法性进行判断…

C语言——头文件的使用

目录 前言头文件怎么包含 前言 这个专栏会专门讲一些C语言的知识&#xff0c;后续会慢慢更新&#xff0c;欢迎关注 C语言专栏 头文件怎么包含 在使用头文件的过程中&#xff0c;我们经常会遇到重定义、重复包含等问题&#xff0c;那么怎么编写头文件和使用头文件才能解决这些…

通过 Twitter Token 实现授权与操作

通过 Twitter Token 实现授权与操作 一、Twitter API 概览 1.1 Twitter API 简介 Twitter API 是 Twitter 公司提供的一种编程接口,它允许开发者访问 Twitter 的海量数据,包括用户信息、推文内容、关系网络等。通过这些接口,开发者可以创建应用程序,实现自动化的社交媒体…