Hbase WALs(HLog) 文件存储,查看

WALs(HLog)  存储

HLog 存储位置是在,hbase配置目录下WALs目录,默认为 /hbase/WALs  与  /hbase/oldWALs

/hbase/WALs : 存储未过期的日志/hbase/oldWALs : 存储已过期的日志

这里先查看WALs日志目录,目录格式为:hostname1 为 服务器hostname , 16020 为hbase 端口,1561747594397 为目录创建时间

drwxr-xr-x   - hbase hbase          0 2019-08-13 15:58 /hbase/WALs/hostname1,16020,1561747594397

 目录下存放着Hlog 

-rw-r--r--   2 hbase hbase  268440291 2019-08-13 15:58 /hbase/WALs/hostname1,16020,1561747594397/hostname1%2C16020%2C1561747594397.hostname1%2C16020%2C1561747594397.regiongroup-0.1565681614115

查看日志内容

 hbase hlog -j /hbase/WALs/hostname1,16020,1561747594397/hostname1%2C16020%2C1561747594397.hostname1%2C16020%2C1561747594397.regiongroup-0.1565681614115

Hbase 2.0 之后使用

 hbase wal -j /hbase/WALs/hostname1,16020,1561747594397/hostname1%2C16020%2C1561747594397.hostname1%2C16020%2C1561747594397.regiongroup-0.1565681614115

更多介绍参考:https://hbase.apache.org/book.html#wal

Deprecated in 1.0 admin commands have been removed.

The following commands that were deprecated in 1.0 have been removed. Where applicable the replacement command is listed.

  • The 'hlog' command has been removed. Downstream users should rely on the 'wal' command instead.

看下命令介绍:-j 以json输出,-p输出value值,默认是补输出value 

[root@hostname ~]# hbase wal 
Java HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS is deprecated and will likely be removed in a future release
usage: WAL <filename...> [-h] [-j] [-p] [-r <arg>] [-s <arg>] [-w <arg>]-h,--help             Output help message-j,--json             Output JSON-p,--printvals        Print values-r,--region <arg>     Region to filter by. Pass encoded region name; e.g.'9192caead6a5a20acb4454ffbc79fa14'-s,--sequence <arg>   Sequence to filter by. Pass sequence number.-w,--row <arg>        Row to filter by. Pass row name.

Hlog查看 

hbase wal /hbase/WALs/hostname1,16020,1561747594397/hostname1%2C16020%2C1561747594397.hostname1%2C16020%2C1561747594397.regiongroup-0.1565681614115  | less 
row=d687aa8919594289543efde17047217b, column=fn:friends_count
row=d687aa8919594289543efde17047217b, column=fn:created_at
row=d687aa8919594289543efde17047217b, column=fn:description
row=d687aa8919594289543efde17047217b, column=fn:experience
row=d687aa8919594289543efde17047217b, column=fn:uid
row=d687aa8919594289543efde17047217b, column=fn:province
row=d687aa8919594289543efde17047217b, column=fn:zan_count
row=d687aa8919594289543efde17047217b, column=fn:verified_reason
row=d687aa8919594289543efde17047217b, column=fn:level_info
row=d687aa8919594289543efde17047217b, column=fn:reposts_count
row=d687aa8919594289543efde17047217b, column=fn:isRepeat
row=d687aa8919594289543efde17047217b, column=fn:profileImageUrl
row=d687aa8919594289543efde17047217b, column=fn:read_count
row=d687aa8919594289543efde17047217b, column=fn:growthSpeed
row=d687aa8919594289543efde17047217b, column=fn:verified
row=d687aa8919594289543efde17047217b, column=fn:verified_type
row=d687aa8919594289543efde17047217b, column=fn:growthValue
row=d687aa8919594289543efde17047217b, column=fn:url

 Hlog过期

当数据从memstore写入到磁盘中,Hlog就已经没有用了,会把/hbase/WALs目录下的数据移动到/hbase/oldWALs 目录下,oldWALs目录下的数据会根据 hbase.master.cleaner.interval (默认1分钟)配置的时间定期去检查,如发现有数据会清除,清除前还会检验一个参数 hbase.master.logcleaner.ttl ,也就是说数据保存1分钟以上才会删除,如果一分钟内数据直接从memstore写入到了磁盘,oldWALs下的数据也不会被删除

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/509891.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Elasticsearch 6.x 下载安装

下载ES 下载ES安装包上传至服务器&#xff0c;地址为&#xff1a; https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.1.0.tar.gz 上传完成后解压 tar -zxvf elasticsearch-6.1.0.tar.gz 安装JDK 这里使用jdk8&#xff0c;官网下载安装即可&#xf…

抽象工厂模式-与-工厂方法模式区别

首先来看看这两者的定义区别&#xff1a; 工厂模式&#xff1a;定义一个用于创建对象的借口&#xff0c;让子类决定实例化哪一个类 抽象工厂模式&#xff1a;为创建一组相关或相互依赖的对象提供一个接口&#xff0c;而且无需指定他们的具体类 个人觉得这个区别在于产品&#x…

Centos7.x 安装 CDH 6.x

前置条件 ntp服务安装防火墙关闭 执行以下优化代码 systemctl stop firewalld.service echo "* soft nofile 128000" >>/etc/security/limits.conf echo "* hard nofile 128000" >>/etc/security/limits.conf echo "* so…

Windows IEDA 编译Hbase源码报错 - 无法执行shell脚本

windows 下编译 hbase源码&#xff0c;报错 [ERROR] Command execution failed. java.io.IOException: Cannot run program "bash" (in directory "D:\File\ideaWorkspace\hbase-1.4.10-src\hbase-1.4.10\hbase-shaded\hbase-shaded-check-invariants\target\…

最新版 VMware 安装,虚拟机安装, Ubuntu可视化linux系统安装

一、下载 地址&#xff1a;https://www.vmware.com/cn.html 二、安装VM 选择相应配置&#xff0c;一直下一步即可 双击打开VMware&#xff0c;输入密钥&#xff1a;CG392-4PX5J-H816Z-HYZNG-PQRG2 Ubuntu 镜像下载地址&#xff1a; https://www.ubuntu.com/download/desktop/…

Flink 集群搭建安装 CentOS 7.x 版本

基本准备&#xff1a; JDK免密登录&#xff08;不设置后期启动可以手动输入密码&#xff09;Centos 7.x 一、下载Flink 下载地址&#xff1a;http://flink.apache.org/downloads.html 我这里使用&#xff1a;https://www.apache.org/dyn/closer.lua/flink/flink-1.9.0/flin…

web通讯录之登录注册界面

登录页面&#xff1a; 功能说明&#xff1a;登录页面是在页面模糊背景网站中找的素材加以修改成自己想要的登录界面&#xff0c;我们老师让我们在登录时候加验证码&#xff0c;看了大部分人用的是签名登录方式&#xff0c;觉得没有什么特色因此设计了滑动登录&#xff0c;把验证…

使用IntelliJ IDEA导入 Flink 消费kafka报错 Error: A JNI error has occurred, please check your installation an

提示找不到类&#xff0c;pom中已经引用了jar包&#xff0c;使用eclipse也可以执行&#xff0c;就是IntelliJ不行 java.lang.NoClassDefFoundError: org/apache/flink/api/common/serialization/DeserializationSchemaat java.lang.Class.getDeclaredMethods0(Native Method)a…

有限状态机/FSM

有限状态机&#xff08;FSM&#xff09;的设计与实现&#xff08;一&#xff09; 有限状态机&#xff08;FSM&#xff09;是表示有限个状态及在这些状态之间的转移和动作等行为的数学模型&#xff0c;在计算机领域有着广泛的应用。通常FSM包含几个要素&#xff1a;状态的管理、…

web通讯录之通讯录主界面

界面展示&#xff1a; 界面所用的素材网址点击打开链接&#xff0c;在用网上素材时候首先要把代码看懂才能进行修改&#xff0c;因此希望读者好好看看源码&#xff0c;看的时候着重看看字母排序原理、JQuery设计等等。 分组展示&#xff1a;这个地方有个不好的地方&#xff0c…

NameNode 启动失败 - There appears to be a gap in the edit log. We expected txid xxx, but got tx

场景 NameNode迁移&#xff0c;导致一个节点无法启动 异常 在Namenode主动迁移&#xff0c;或者Namenode机器挂掉无法恢复时&#xff0c;我们需要Namenode节点迁移&#xff0c;迁移经常会出现一个NameNode启动成功&#xff0c;另外一个standby启动失败&#xff0c;报错如下 …

opengl光照

看一张图片&#xff1a; 图中绘制了两个大小相同的白色球体。其中右边的一个是没有使用任何光照效果的&#xff0c;它看起来就像是一个二维的圆盘&#xff0c;没有立体的感觉。左边的一个是使用了简单的光照效果的&#xff0c;我们通过光照的层次&#xff0c;很容易的认为它是一…

Nifi 之 kafka消费存入hbase

添加kafka processor&#xff0c;配置如下 kakfa数据格式为JSON&#xff1a; {"events_tag":"103913","query_word":"华大癌变 虎嗅","time":"2018-08-09 13:01:11"} 添加putHbaseJSON&#xff0c;json格式添加数…

web通讯录之搜索功能

手机号搜索&#xff1a; 姓名搜索&#xff1a; 拼音搜索&#xff1a; 城市搜索&#xff1a; 性别搜索&#xff1a; 点击姓名或者电话显示完整信息 相信大家期待自己所写的搜索功能类似于百度、谷歌这种搜索引擎&#xff0c;有兴趣的读者可以去学学SEO&#xff0c;在这里我…

Hbase 删表过程

Hbase 执行删表命令后(drop)&#xff0c;表的数据会移动到 /hbase/archive 目录下&#xff0c;并不会直接从hdfs删除&#xff0c;后台会有进程定期去检查&#xff08;默认五分钟&#xff09;&#xff0c;如果这张表没有快照则会删除&#xff0c;有快照会保留数据。 刚drop时&a…

opengl纹理单元

可以这样简单的理解为&#xff1a;显卡中有N个纹理单元&#xff08;具体数目依赖你的显卡能力&#xff09;&#xff0c;每个纹理单元&#xff08;GL_TEXTURE0、GL_TEXTURE1等&#xff09;都有GL_TEXTURE_1D、GL_TEXTURE_2D等&#xff0c;如下代码&#xff1a; [cpp] view plain…

Spark 创建 hive表报错 ROW FORMAT DELIMITED is only compatible with 'textfile', not 'parquet'

场景&#xff1a; 在spark分析数据时&#xff0c;创建hive表失败。 提示异常 &#xff1a; 19/10/09 10:59:18 INFO execution.SparkSqlParser: Parsing command: CREATE EXTERNAL TABLE IF NOT EXISTS dm_xxx.user_area(biFollowersCount String,city String,created_at Str…

多重纹理和纹理组合器

多重纹理和纹理组合器 本文主要介绍OpenGL中两种技术的使用方法&#xff1a;多重纹理技术和纹理组合器技术&#xff0c;最终根据参考【2】中的代码&#xff0c;实现了两个简单的演示DEMO&#xff0c;其中使用到了《八叉树颜色量化、BMP、TGA文件解析》篇章中提供的图像解析类。…

ClouderaManager agent 报错,无法连接到结群 Error, CM server guid updated, expected xxx , received xxx

场景 集群版本&#xff1a;CDH 6.0.1 服务器版本&#xff1a;Centos 7.3 JAVA版本&#xff1a;1.8 异常出现原因 搭建集群中遇到异常&#xff0c;删除agent节点&#xff0c;重新部署CM后发现异常&#xff0c;CDH处于无法使用状态 异常 查看agent日志会出现,说无法连接到…

CDH Kerberos 认证下Kafka 消费方式

集群Kerberos认证安装参考&#xff1a;https://datamining.blog.csdn.net/article/details/98480008 目录 环境&#xff1a; 配置 Java Producer 代码 文件内容&#xff1a; kafka_client_jaas.conf krb5.conf ( kerberos 配置文件复制过来即可) kafka.keytab Java Co…