Hbase WALs(HLog) 文件存储,查看

WALs(HLog)  存储

HLog 存储位置是在,hbase配置目录下WALs目录,默认为 /hbase/WALs  与  /hbase/oldWALs

/hbase/WALs : 存储未过期的日志/hbase/oldWALs : 存储已过期的日志

这里先查看WALs日志目录,目录格式为:hostname1 为 服务器hostname , 16020 为hbase 端口,1561747594397 为目录创建时间

drwxr-xr-x   - hbase hbase          0 2019-08-13 15:58 /hbase/WALs/hostname1,16020,1561747594397

 目录下存放着Hlog 

-rw-r--r--   2 hbase hbase  268440291 2019-08-13 15:58 /hbase/WALs/hostname1,16020,1561747594397/hostname1%2C16020%2C1561747594397.hostname1%2C16020%2C1561747594397.regiongroup-0.1565681614115

查看日志内容

 hbase hlog -j /hbase/WALs/hostname1,16020,1561747594397/hostname1%2C16020%2C1561747594397.hostname1%2C16020%2C1561747594397.regiongroup-0.1565681614115

Hbase 2.0 之后使用

 hbase wal -j /hbase/WALs/hostname1,16020,1561747594397/hostname1%2C16020%2C1561747594397.hostname1%2C16020%2C1561747594397.regiongroup-0.1565681614115

更多介绍参考:https://hbase.apache.org/book.html#wal

Deprecated in 1.0 admin commands have been removed.

The following commands that were deprecated in 1.0 have been removed. Where applicable the replacement command is listed.

  • The 'hlog' command has been removed. Downstream users should rely on the 'wal' command instead.

看下命令介绍:-j 以json输出,-p输出value值,默认是补输出value 

[root@hostname ~]# hbase wal 
Java HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS is deprecated and will likely be removed in a future release
usage: WAL <filename...> [-h] [-j] [-p] [-r <arg>] [-s <arg>] [-w <arg>]-h,--help             Output help message-j,--json             Output JSON-p,--printvals        Print values-r,--region <arg>     Region to filter by. Pass encoded region name; e.g.'9192caead6a5a20acb4454ffbc79fa14'-s,--sequence <arg>   Sequence to filter by. Pass sequence number.-w,--row <arg>        Row to filter by. Pass row name.

Hlog查看 

hbase wal /hbase/WALs/hostname1,16020,1561747594397/hostname1%2C16020%2C1561747594397.hostname1%2C16020%2C1561747594397.regiongroup-0.1565681614115  | less 
row=d687aa8919594289543efde17047217b, column=fn:friends_count
row=d687aa8919594289543efde17047217b, column=fn:created_at
row=d687aa8919594289543efde17047217b, column=fn:description
row=d687aa8919594289543efde17047217b, column=fn:experience
row=d687aa8919594289543efde17047217b, column=fn:uid
row=d687aa8919594289543efde17047217b, column=fn:province
row=d687aa8919594289543efde17047217b, column=fn:zan_count
row=d687aa8919594289543efde17047217b, column=fn:verified_reason
row=d687aa8919594289543efde17047217b, column=fn:level_info
row=d687aa8919594289543efde17047217b, column=fn:reposts_count
row=d687aa8919594289543efde17047217b, column=fn:isRepeat
row=d687aa8919594289543efde17047217b, column=fn:profileImageUrl
row=d687aa8919594289543efde17047217b, column=fn:read_count
row=d687aa8919594289543efde17047217b, column=fn:growthSpeed
row=d687aa8919594289543efde17047217b, column=fn:verified
row=d687aa8919594289543efde17047217b, column=fn:verified_type
row=d687aa8919594289543efde17047217b, column=fn:growthValue
row=d687aa8919594289543efde17047217b, column=fn:url

 Hlog过期

当数据从memstore写入到磁盘中,Hlog就已经没有用了,会把/hbase/WALs目录下的数据移动到/hbase/oldWALs 目录下,oldWALs目录下的数据会根据 hbase.master.cleaner.interval (默认1分钟)配置的时间定期去检查,如发现有数据会清除,清除前还会检验一个参数 hbase.master.logcleaner.ttl ,也就是说数据保存1分钟以上才会删除,如果一分钟内数据直接从memstore写入到了磁盘,oldWALs下的数据也不会被删除

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/509891.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

关于在头文件中定义变量

注意头文件中不可以放变量的定义&#xff01;&#xff01;&#xff01;一般情况下头文件中只放变量的声明&#xff0c;因为头文件要被其他文件包含&#xff08;即#include&#xff09;&#xff0c;如果把定义放到头文件的话&#xff0c;就不能避免多次定义变量&#xff0c;C不允…

Elasticsearch 6.x 下载安装

下载ES 下载ES安装包上传至服务器&#xff0c;地址为&#xff1a; https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.1.0.tar.gz 上传完成后解压 tar -zxvf elasticsearch-6.1.0.tar.gz 安装JDK 这里使用jdk8&#xff0c;官网下载安装即可&#xf…

抽象工厂模式-与-工厂方法模式区别

首先来看看这两者的定义区别&#xff1a; 工厂模式&#xff1a;定义一个用于创建对象的借口&#xff0c;让子类决定实例化哪一个类 抽象工厂模式&#xff1a;为创建一组相关或相互依赖的对象提供一个接口&#xff0c;而且无需指定他们的具体类 个人觉得这个区别在于产品&#x…

navicat设计表中添加自增长列

写web通讯录的时候在添加联系人时候需要主键故采用自增长列为主键&#xff0c;百度链接有详细教程 点击打开链接,注意的是在设计表中添加栏位后把类型改成bigint才会出现自增长选项&#xff0c;希望对你有用

ElasticSearch 索引、更新和删除数据

https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.1/client.html Relational DB -> Databases -> Tables -> Rows -> Columns Elasticsearch -> Indices -> Types -> Documents -> Fields 创建索引 , 5个分片&#xff0c;1个副本 …

osg学习笔记(一)

场景图形采用一种自顶向下的&#xff0c;分层的树状数据结构来组织空间数据集&#xff0c;以提高渲染的效率 场景图形树结构的顶部是一个根节点&#xff0c;从根节点向下延伸&#xff0c;各个组节点中均包含了几何信息和用于控制其外观的渲染状态信息。根节点和各个组节点都可以…

Centos7.x 安装 CDH 6.x

前置条件 ntp服务安装防火墙关闭 执行以下优化代码 systemctl stop firewalld.service echo "* soft nofile 128000" >>/etc/security/limits.conf echo "* hard nofile 128000" >>/etc/security/limits.conf echo "* so…

osg学习博客

http://www.cnblogs.com/mazhenyu/p/3522387.html http://www.cnblogs.com/shapherd/archive/2010/08/10/osg.html&#xff08;基础知识&#xff09;

Windows IEDA 编译Hbase源码报错 - 无法执行shell脚本

windows 下编译 hbase源码&#xff0c;报错 [ERROR] Command execution failed. java.io.IOException: Cannot run program "bash" (in directory "D:\File\ideaWorkspace\hbase-1.4.10-src\hbase-1.4.10\hbase-shaded\hbase-shaded-check-invariants\target\…

怎样查找自增列主键的id

select max(id) from inform &#xff08;inform为表名,查询最大的id值&#xff09;

c++使用Lua

http://www.jb51.net/article/55096.htm

最新版 VMware 安装,虚拟机安装, Ubuntu可视化linux系统安装

一、下载 地址&#xff1a;https://www.vmware.com/cn.html 二、安装VM 选择相应配置&#xff0c;一直下一步即可 双击打开VMware&#xff0c;输入密钥&#xff1a;CG392-4PX5J-H816Z-HYZNG-PQRG2 Ubuntu 镜像下载地址&#xff1a; https://www.ubuntu.com/download/desktop/…

何为“渲染”

这个问题也曾经困惑过我很久.其实"渲染","绘制","画画"这三个词是一个意思.对应的英文是Render,Draw,Paint.但"渲染"的逼格要高于"绘制","绘制"的逼格要高于"画画".在计算机图形学相关的书中,你只会看到…

java 获取插入数据的自增长id

/*** * 这是插入一条数据的同时&#xff0c;获取该数据的则增长列的值&#xff08;该例子的自增长列是id&#xff09;* * author LZL* */ public class Auto_Increment {private static Connection conn null;private static PreparedStatement stsm null;private static Res…

Flink 集群搭建安装 CentOS 7.x 版本

基本准备&#xff1a; JDK免密登录&#xff08;不设置后期启动可以手动输入密码&#xff09;Centos 7.x 一、下载Flink 下载地址&#xff1a;http://flink.apache.org/downloads.html 我这里使用&#xff1a;https://www.apache.org/dyn/closer.lua/flink/flink-1.9.0/flin…

Mipmap纹理技术简介

在三维世界中,显示一张图的大小与摄象机的位置有关,近的地方,图片实际象素就大一些,远的地方图片实际象素就会小一些,就要进行一些压缩,例如一张64*64的图,在近处,显示出来可能是50*50,在远处可能显示出来是20*20. 如果只限于简单的支掉某些像素,将会使缩小后的图片损失很多细节…

子网掩码、最大主机、最大子网数的计算

前言&#xff1a; 不管是在校招笔试中&#xff0c;还是在软考中&#xff0c;基础知识都是尤为重要的&#xff0c;尤其是计算机网络这块&#xff0c;经常考到这块&#xff0c;所以这里做一个笔记总结一下。下面给出一个具体的案例来分析&#xff1a;题目&#xff1a;1、…

web通讯录之登录注册界面

登录页面&#xff1a; 功能说明&#xff1a;登录页面是在页面模糊背景网站中找的素材加以修改成自己想要的登录界面&#xff0c;我们老师让我们在登录时候加验证码&#xff0c;看了大部分人用的是签名登录方式&#xff0c;觉得没有什么特色因此设计了滑动登录&#xff0c;把验证…

使用IntelliJ IDEA导入 Flink 消费kafka报错 Error: A JNI error has occurred, please check your installation an

提示找不到类&#xff0c;pom中已经引用了jar包&#xff0c;使用eclipse也可以执行&#xff0c;就是IntelliJ不行 java.lang.NoClassDefFoundError: org/apache/flink/api/common/serialization/DeserializationSchemaat java.lang.Class.getDeclaredMethods0(Native Method)a…

有限状态机/FSM

有限状态机&#xff08;FSM&#xff09;的设计与实现&#xff08;一&#xff09; 有限状态机&#xff08;FSM&#xff09;是表示有限个状态及在这些状态之间的转移和动作等行为的数学模型&#xff0c;在计算机领域有着广泛的应用。通常FSM包含几个要素&#xff1a;状态的管理、…