HBase 搭建过程中常见问题

文章目录

  • 进程问题
    • HQuorumPeer 和 QuorumPeerMain 区别
    • HRegionServer
    • HMaster 自动关闭
  • 启动顺序
  • 停止顺序
  • 无法关闭一直等待
  • 运行报错
  • 日志中报错问题
    • 无法调用方法
    • 启动 HBase 无法找到 Hadoop 本机库

进程问题

HQuorumPeer 和 QuorumPeerMain 区别

HQuorumPeer 进程是一个 ZooKeeper 实例,由 HBase 控制和启动。如果没有使用自己的 Zookeeper,而是使用 Hbase 托管的, 那么每个集群节点只能使用一个实例,并且仅适用于测试。

QuorumPeerMain 进程是 Zookeeper 独立的进程, ZooKeeperHBase 之外运行。

HRegionServer

stop-hbase.sh 可能没有关闭 HRegionServer 进程,需要自己关闭

/opt/hbase-2.4.16/bin/hbase-daemon.sh stop regionserver
# 或者 jps 查看进程号,使用 kill -9 杀死进程

HMaster 自动关闭

  1. 检查 HDFS 的端口
    • hbase-site.xml 中的 hbase.rootdir 的主机和端口号必须和 core-site.xml 中的 fs.defaultFS 的保持一致,即主机相同且端口统一使用 8020 或者 9000
  2. 检查 ZooKeeper
    • ZooKeeper 集群不稳定或者不可用:HMaster 依赖于 ZooKeeper 进行状态管理和协调,如果 ZooKeeper 出现问题,可能会影响到 HMaster 的运行。
  3. 检查网络和防火墙设置
    • 确保 HBase Master 能够通过网络与其他节点(包括 ZooKeeper)通信。检查网络连接和防火墙设置,确保必要的端口是开放的。
  4. 检查网络
    • 网络中断或不稳定:HMaster 需要与 ZooKeeper、RegionServers 和其他服务保持稳定的网络连接。网络问题可能导致 HMaster 无法正常工作并自动关闭。

启动顺序

zookeepeer➡hadoop➡hbase

./zk.sh start
./myhadoop.sh start
start-hbase.sh

停止顺序

hbase➡hadoop➡zookeepeer

stop-hbase.sh
./myhadoop.sh stop
./zk.sh stop

无法关闭一直等待

单点关闭,去日志里查找问题,日志里会提供关于问题的更多详细信息和上下文。

$HBASE_HOME/bin/hbase-daemon.sh stop master
$HBASE_HOME/bin/hbase-daemon.sh stop regionserver

运行报错

ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yetat org.apache.hadoop.hbase.master.HMaster.checkServiceStarted(HMaster.java:2815)at org.apache.hadoop.hbase.master.MasterRpcServices.isMasterRunning(MasterRpcServices.java:1163)at org.apache.hadoop.hbase.shaded.protobuf.generated.MasterProtos$MasterService$2.callBlockingMethod(MasterProtos.java)at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:387)at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:132)at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:369)at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:349)
  1. 等待 Master 启动完成
    • HBase Master 启动可能需要一些时间。如果你刚刚启动了 Master,可能需要等待一段时间让它完全启动并注册到 ZooKeeper 中。
  2. 检查 HBase Master 状态
    • 确认 HBase Master 进程是否在运行。你可以通过查看系统进程(例如使用 jps 命令)或者检查 HBase 的日志文件来确定 Master 的状态。
  3. 检查 HBase 和 ZooKeeper 配置
    • 确保 HBaseZooKeeper 的配置文件中的地址、端口和其他设置都是正确的。任何错误的配置都可能导致 Master 无法启动或者无法与 ZooKeeper 正确通信。
  4. 检查网络和防火墙设置
    • 确保 HBase Master 能够通过网络与其他节点(包括 ZooKeeper)通信。检查网络连接和防火墙设置,确保必要的端口是开放的。
  5. 查看日志文件
    • 查看 HBaseZooKeeper 的日志文件,它们可能会提供关于问题的更多详细信息和上下文。

日志中报错问题

无法调用方法

报错信息如下:

WARN  [RS-EventLoopGroup-1-1] concurrent.DefaultPromise: An exception was thrown by org.apache.hadoop.hbase.io.asyncfs.FanOutOneBlockAsyncDFSOutputHelper$4.operationComplete()
java.lang.IllegalArgumentException: object is not an instance of declaring classat sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.lang.reflect.Method.invoke(Method.java:498)at org.apache.hadoop.hbase.io.asyncfs.ProtobufDecoder.<init>(ProtobufDecoder.java:64)......

解决方案:

1)使用 Hadoopjar 包替换 hbasejar 包,并将 hbasejar 包备份

cp $HADOOP_HOME/share/hadoop/common/lib/slf4j-log4j12-1.7.30.jar $HBASE_HOME/lib/client-facing-thirdparty/slf4j-log4j12-1.7.30.jar
cp $HADOOP_HOME/share/hadoop/common/lib/slf4j-api-1.7.30.jar $HBASE_HOME/lib/client-facing-thirdparty/slf4j-api-1.7.30.jarmv $HBASE_HOME/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar $HBASE_HOME/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar.bak
mv $HBASE_HOME/lib/client-facing-thirdparty/slf4j-api-1.7.33.jar $HBASE_HOME/lib/client-facing-thirdparty/slf4j-api-1.7.33.jar.bak

2)修改 hbase-env.sh

vim $HBASE_HOME/conf/hbase-env.sh

禁用 Hadoop 的类路径查找功能,类路径的查找可能会引发问题或冲突。

export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP=true

3)重新启动 hbase 集群

stop-hbase.sh
start-hbase.sh

启动 HBase 无法找到 Hadoop 本机库

报错信息如下:

WARN  [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

官方解决方案:Apache HBase ™ Reference Guide

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/516835.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

海纳威上云 构建数字化透明工厂

“海纳威通过阿里巴巴的宜搭平台&#xff0c;开发了生产计划分配、计时计件、考勤与工资计算系统。宜搭的这种模式&#xff0c;可以按照我们自己的想法来设计软件&#xff0c;贴合现场业务来开发和调整&#xff0c;满足了管理诉求。效率很高&#xff0c;成本可控&#xff0c;和…

通用网站备案常见的备案场景及要求

当网站托管于中国大陆境内的服务器上时&#xff0c;网站需申请ICP备案。本文为您介绍常见网站的备案场景及备案要求。 通用网站备案 此种场景下&#xff1a; 托管于大陆境内服务器的网站需备案&#xff0c;托管于中国大陆境外服务器的网站无需备案。网站备案将会审核网站的三…

如何利用DTS数据同步功能,快速创建数据同步作业

数据传输服务DTS&#xff08;Data Transmission Service&#xff09;提供的数据同步功能简单易用&#xff0c;您只需在控制台上进行简单操作&#xff0c;即可完成整个数据同步作业的配置。 注意事项 本文仅简单介绍数据同步作业的通用配置流程&#xff0c;不同的数据源在配置…

震惊!程序员要放弃 Python 了!?发生了啥?

听说 Python 很难学&#xff1f;难在哪里&#xff1f;听说学完不知道做什么&#xff1f;为什么&#xff1f;Python 该怎么学&#xff1f;好不好学&#xff1f;学完做什么&#xff1f;许多人都会遇到了下面这些问题——1. 没经验根本不知道从何学起&#xff0c;而且应用方向太多…

设置网页文字禁止复制

设置网页文字禁止复制 *{-moz-user-select: none; /*火狐*/-webkit-user-select: none; /*webkit浏览器*/-ms-user-select: none; /*IE10*/-khtml-user-select: none; /*早期浏览器*/-o-user-select:none;user-select: none; }直接设置css样式禁止文字选中就可以了。

如何快速完成企业应用IPv6改造

场景描述 对于IPv4-only的云服务器&#xff0c;通过DNS域名解析IPv6转换服务&#xff0c;快速支持对外提供IPv6访问能力。对于双栈云服务器&#xff0c;构建应用环境。 解决问题 改造技术复杂度高改造任务时间紧改造所需人力和设备成本较高 产品列表 虚拟专用网VPC弹性计算E…

上云七步走,助力垂直电商降本增效

甩开技术包袱&#xff0c;做出业务特色&#xff0c;越发成为垂直电商的生存之道 今天&#xff0c;人们通过天猫、淘宝、苏宁进行网络购物&#xff0c;不仅方便&#xff0c;而且快乐&#xff0c;通过盒马、饿了么享受更加快捷的本地生活服务&#xff0c;与此同时&#xff0c;家电…

3.3亿人都在用小程序,中国首次定义的互联网标准又有新进展

2020年&#xff0c;你的一天可能是这样度过。早晨&#xff0c;用天气小程序&#xff0c;看看立秋后天气是否降温&#xff1b;中午&#xff0c;用外卖小程序&#xff0c;点一份你最爱的水煮鱼&#xff1b;下午&#xff0c;用咖啡小程序&#xff0c;买一份4.8折的美式咖啡&#x…

Elasticsearch7.15.2 分布式集群安装(linux环境)

前言&#xff1a;一到六演示采用伪分布式&#xff0c;七单独介绍分布式集群方式 文章目录一、前期准备1. 下载2. 解压3.创建es用户4. 增加资源分配5. 内核参数6. 刷新 配置二、node1节点2.1. 重命名2.1. 编辑配置三、node2节点3.1. 复制node-13.2. 修改配置四、node3节点4.1. 复…

中小企业上云多地域办公组网,建立高质量云上内网环境

场景描述 举例企业存在三个网络&#xff1a;阿里云 VPC&#xff08;北京&#xff09;、云下北京 IDC&#xff0c;云下上海 IDC。SAG 可就近接入阿里云上海接入点CCN网络&#xff0c;并通过CEN 走阿里内网高质量链路连接北京阿里云 VPC。阿里云 VPC&#xff08;北京&#xff09…

vue项目中导入视频

vue项目中引入视频插件 一、安装插件 vue-video-player npm install vue-video-player -s二、在main.js里倒入并使用 import VideoPlayer from vue-video-player import vue-video-player/src/custom-theme.css import video.js/dist/video-js.cssVue.use(VideoPlayer)三、在…

简单五步,实现物联网批量创建设备

产品指某一类设备&#xff0c;创建完产品后&#xff0c;需要为具体设备创建身份。您可以创建单个设备&#xff0c;也可以批量创建设备。本文为您讲述如何批量创建设备。 操作步骤 1.登录物联网平台控制台。 2.在左侧导航栏&#xff0c;选择设备管理 > 设备&#xff0c;单…

Elasticsearch7.15.2 集成ik中文分词器 适用于单机和集群

文章目录一、下载部署1. 版本对应2. 下载ik3. 目录权限4. 切换es用户5. 启动es6. 验证es7. 切换kibana 用户8. 启动kibana9. 验证kibana二、ik分词测试2.1. 测试ik2.2. 分词器2.3. 最佳实践一、下载部署 1. 版本对应 软件Elasticsearch版本i版本k中文分词器版本Elasticsearch…

快速部署web项目上线云服务器

快速部署web项目上线云服务器 一、第一步登录腾讯云 1、登录腾讯云后&#xff0c;先购买或者在最新活动中免费领取一个十五天的云服务器产品 2、然后点击头像 3、在云产品选项中选择你需要的云服务器或轻量级应用服务器 4、我选择的是轻量级应用服务器&#xff0c;点击服务器…

如何让 Mac在运行 Windows时享受极致体验?Parallels Desktop 16给你答案!

在工作、生活与学习中我们都能够体会到Mac确实非常好用&#xff0c;但很多时候&#xff0c;仍然会需要用到一些Windows上的软件&#xff0c;而这些软件大部分是macOS没有的&#xff0c;因此&#xff0c;如何在Mac上运行Windows软件&#xff0c;成为了很多人的切实需求。当然&am…

建站零基础入门:手把手教你如何自助建站

使用阿里云云服务器ECS搭建网站有多种方式&#xff0c;本文主要介绍自助建站的流程。 建站方式 使用ECS建站的方式如下表所示。请根据实际业务需求&#xff0c;选择适合您的建站方式。 自助建站步骤 1.选择服务器。 不同网站类型需要的ECS配置不同&#xff0c;请您确认网站…

logstash-input-jdbc 下载安装 linux

文章目录1.下载2. 解压3. 下载插件1.下载 官网&#xff1a;https://www.elastic.co/cn/ 下载logstash cd /app wget https://artifacts.elastic.co/downloads/logstash/logstash-7.15.2-linux-x86_64.tar.gz2. 解压 tar -zxvf logstash-7.15.2-linux-x86_64.tar.gz 3. 下…

Webpack搭建React开发环境

Webpack搭建React开发环境 1、React环境搭建 实现React开发的三种方式&#xff1a; &#xff08;1&#xff09;使用CDN的方式 <script src"https://unpkg.com/react16/umd/react.development.js"></script> <script src"https://unpkg.com/r…

安心加科技打造多维度全场景式安心加物联平台

云栖号案例库&#xff1a;【点击查看更多上云案例】 不知道怎么上云&#xff1f;看云栖号案例库&#xff0c;了解不同行业不同发展阶段的上云方案&#xff0c;助力你上云决策&#xff01; 公司介绍 广东省安心加科技有限公司是一家专注于地产行业智能化和物联网领域&#xff0…

MySQL 索引分析除了 EXPLAIN 还有什么方法?

作者 | adrninistrat0r责编 | 夕颜出品 | CSDN&#xff08;ID:CSDNnews&#xff09;前言对于非数据库开发人员而言&#xff0c;难以对MySQL源码进行分析或调试&#xff0c;接近一个黑盒&#xff0c;但MySQL提供了一些命令及系统状态变量&#xff0c;可对索引及其他内容进行分析…