Impala 调用Hbase 报错 LeaseException

 impala调用Hbase表数据操作时,提示 LeaseException 异常,主要原因是hbase数据过大,调用期间没有汇报心跳导致

WARNINGS: LeaseException: org.apache.hadoop.hbase.regionserver.LeaseException: lease '-8355984789923245890' does not existat org.apache.hadoop.hbase.regionserver.Leases.removeLease(Leases.java:224)at org.apache.hadoop.hbase.regionserver.RSRpcServices.scan(RSRpcServices.java:3288)at org.apache.hadoop.hbase.shaded.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.java:42002)at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:409)at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:130)at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:324)at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:304)CAUSED BY: RemoteWithExtrasException: org.apache.hadoop.hbase.regionserver.LeaseException: lease '-8355984789923245890' does not existat org.apache.hadoop.hbase.regionserver.Leases.removeLease(Leases.java:224)at org.apache.hadoop.hbase.regionserver.RSRpcServices.scan(RSRpcServices.java:3288)at org.apache.hadoop.hbase.shaded.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.java:42002)at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:409)at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:130)at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:324)at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:304)

 

是租约(Lease)过期或租约不存在,所谓租约,是指hbase client端每次和regionserver交互的时候,都会在服务器端生成一个租约(Lease),租约的有效期由参数hbase.regionserver.lease.period确定。

 

客户端去regionserver取数据的时候,hbase中存得数据量很大并且很多region的时候的,客户端请求的region不在内存中,或是没有被cache住,需要从磁盘中加载,如果这时候加载需要的时间超过hbase.regionserver.lease.period所配置的时间,并且客户端没有和regionserver报告其还活着,那么regionserver就会认为本次租约已经过期,并从LeaseQueue中从删除掉本次租约,当regionserver加载完成后,拿已经被删除的租约再去取数据的时候,就会出现如上的错误现象。

 

其实在做hbase批量数据删除的时候就出现过这个问题,然后也修改了hbase.regionserver.lease.period参数(默认为60000,一分钟),但是在做scan的时候还是出现了上面的问题。问题出在哪呢?

 

后来发现是hbase.rpc.timeout的问题,出现租约过期的时候,可以根据需求适当的增加租约的有效时间,但却忽略了RPC超时的问题,所以在增大hbase.regionserver.lease.period的时候应该同时增大hbase.rpc.timeout,同时hbase.rpc.timeout应该等于或大于hbase.regionserver.lease.period

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/510057.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

js和jsp所有页面跳转总结

Jsp页面跳转和js控制页面跳转的几种方法 Jsp 页面跳转的几种方法 1. RequestDispatcher.forward() 在服务器端起作用,当使用forward()时,Servlet engine传递HTTP请求从当前的Servlet或者是JSP到另外的一个Servlet、JSP 或普通HTML文件,也即你的form提交至a.jsp,在a.jsp用到了fo…

mitmproxy 中间人代理工具,抓包工具,linux抓包工具 mitmproxy 使用

mitmproxy是一个支持HTTP和HTTPS的抓包程序,类似Fiddler、Charles的功能,可以在linux以命令行形式的展示抓包信息 mitmdump:它是mitmproxy的命令行接口,利用它我们可以对接Python脚本,用Python实现监听后的处理。 mitm…

欧拉角转旋转矩阵

//c实现 cv::Mat eulerAnglesToRotationMatrix(cv::Vec3f& theta){// Calculate rotation about x axiscv::Mat R_x (cv::Mat_<double>(3, 3) <<1, 0, 0,0, cos(theta[0]), -sin(theta[0]),0, sin(theta[0]), cos(theta[0]));// Calculate rotation about y a…

C++常见面试题

1.在C 程序中调用被C 编译器编译后的函数&#xff0c;为什么要加extern “C”&#xff1f; 答&#xff1a;首先&#xff0c;extern是C/C语言中表明函数和全局变量作用范围的关键字&#xff0c;该关键字告诉编译器&#xff0c;其声明的函数和变量可以在本模块或其它模块中使用。…

Ajax学习总结+案例

一、AJAX简介 1、Asynchronous JavaScript And XML指异步 JavaScript 及 XML 2、老技术新用法。是基于JavaScript、XML、HTML、CSS新用法 二、同步和异步&#xff08;理解&#xff09; 三、第一个异步请求案例&#xff08;熟悉编码步骤&#xff09; 四、XmlHttpRequest&…

spark 2.2 读取 Hadoop3.0 数据异常 org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterfa

spark 2.2 读取 Hadoop3.0 数据异常 Exception in thread "main" java.lang.IllegalAccessError: class org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterface org.apache.hadoop.hdfs.web.TokenAspect$TokenManagementDelegatorat java.la…

安装open3d python

安装&#xff1a; pip install open3d 测试是否安装成功 python -c "import open3d as o3d"

ajax测试代码

//jsp文件 <% page language"java" contentType"text/html; charsetutf-8"pageEncoding"utf-8"%> <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"> …

Spark 运行内存不足Not enough space to cache rdd in memory,Container killed by YARN for exceeding memory

日志报错&#xff08;WARN类型最后执行成功可以忽略&#xff09;&#xff1a; 19/04/15 12:35:37 INFO memory.MemoryStore: Will not store rdd_2_5119/04/15 12:35:37 WARN memory.MemoryStore: Not enough space to cache rdd_2_51 in memory! (computed 1109.7 MB so far)…

opencv 读取CV_16U图像 c++

cv::Mat depthImage cv::imread("../data1/depth0.png",-1);

Spark 某两个节点数据分析速度慢 - hbase数据删除(分裂) 元信息未删除导致 There is an overlap in the region chain.

基于Hbase2.0&#xff0c;Spark2.2 问题描述 执行Spark处理Hbase数据时&#xff0c;遇到某两个Excutor处理速度特别慢&#xff0c;如图 正常速度10多分钟 左右处理完成&#xff0c; 一个多小时有另外一个处理完成&#xff0c;还有一个在处理中。 分析原因 1.查看hbase数据分…

servlet中用out.print输出中文为“乱码”如何解决

最开始准备再servlet中加1.request.setCharacterEncoding("UTF-8")的作用是设置对客户端请求进行重新编码的编码。显然这个作用范围不同不可取。2.response.setCharacterEncoding("UTF-8")的作用是指定对服务器响应进行重新编码的编码。 这是在服务器端的编…

python pip清华源安装库

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn imageio

Spark NaiveBayes Demo 朴素贝叶斯分类算法

模型sql文件 :https://pan.baidu.com/s/1hugrI9e使用数据链接 https://pan.baidu.com/s/1kWz8fNhNaiveBayes Spark Mllib训练 package com.xxx.xxx.xxximport java.io.ObjectInputStream import java.sql.{Connection, DriverManager, PreparedStatement} import java.util.{A…

TCP,UDP数据包的大小以及MTU

TCP、UDP数据包大小的确定 UDP和TCP协议利用端口号实现多项应用同时发送和接收数据。数据通过源端口发送出去&#xff0c;通过目标端口接收。有的网络应用只能使用预留或注册的静态端口&#xff1b;而另外一些网络应用则可以使用未被注册的动态端口。因为UDP和TCP报头使用两个字…

jQuery如何在线导入js包

<script src"http://libs.baidu.com/jquery/2.0.0/jquery.min.js"></script> 在<script>中加入导入的在线网络链接就ok了。 当然这种办法是你本地的包导入不进去或者是本地没有jquery的包

ubuntu 安装cudnn

tips:cudnn要与cuda对应版本下载 1.下载对应cuda版本的cudnn&#xff0c;需要注册Nvidia开发者账号。NVIDIA cuDNN下载地址:https://developer.nvidia.com/cudnn 2.解压&#xff1a;tar zxvf cudnn*.tgz 3.cuda的安装目录通过which nvcc 查看 cuda安装目录为/usr/loca/cuda…

map和hash_map

list支持快速的插入和删除&#xff0c;但是查找费时; vector支持快速的查找&#xff0c;但是插入费时。 map查找的时间复杂度是对数的&#xff0c;这几乎是最快的&#xff0c;hash也是对数的。 如果我自己写&#xff0c;我也会用二叉检索树&#xff0c;它在大部分情况下可以保…

ubuntu开机报错 system program problem detected

解决方式&#xff1a; sudo gedit /etc/default/apport 将其中的 enable 1改为enable 0

jQuery ajax实现

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> <html><head><title>toggle方法</title><meta http-equiv"keywords" content"keyword1,keyword2,keyword3"><meta http-equiv"d…