Hbase1.2数据导入2.0

 

场景:现有一批之前导出的数据,发现2.0版本hbck工具更新,无法直接导入,跨机房使用export/import方式需要重新外网传输数据比较耗时,现搭建临时hbase版本1.2,在同机房进行export/import方式

  1. 数据导入hbase1.2版本

           CDH默认hbase用户是不可登录,修改权限,使其可登录(完成操作后记得改回来)

##这里没有全部显示
[root@test ~]# vim /etc/passwd
cloudera-scm:x:997:995:Cloudera Manager:/var/lib/cloudera-scm-server:/sbin/nologin
mysql:x:27:27:MariaDB Server:/var/lib/mysql:/sbin/nologin
flume:x:996:993:Flume:/var/lib/flume-ng:/bin/false
hdfs:x:995:992:Hadoop HDFS:/var/lib/hadoop-hdfs:/bin/bash
solr:x:994:991:Solr:/var/lib/solr:/sbin/nologin
zookeeper:x:993:990:ZooKeeper:/var/lib/zookeeper:/bin/false
llama:x:992:989:Llama:/var/lib/llama:/bin/bash
httpfs:x:991:988:Hadoop HTTPFS:/var/lib/hadoop-httpfs:/bin/bash
mapred:x:990:987:Hadoop MapReduce:/var/lib/hadoop-mapreduce:/bin/bash
sqoop:x:989:986:Sqoop:/var/lib/sqoop:/bin/false
yarn:x:988:985:Hadoop Yarn:/var/lib/hadoop-yarn:/bin/bash
kms:x:987:984:Hadoop KMS:/var/lib/hadoop-kms:/bin/bash
hive:x:986:983:Hive:/var/lib/hive:/bin/false
sqoop2:x:985:982:Sqoop 2 User:/var/lib/sqoop2:/sbin/nologin
oozie:x:984:981:Oozie User:/var/lib/oozie:/bin/false
kudu:x:983:980:Kudu:/var/lib/kudu:/sbin/nologin
hbase:x:982:979:HBase:/var/lib/hbase:/bin/false
sentry:x:981:978:Sentry:/var/lib/sentry:/sbin/nologin
impala:x:980:977:Impala:/var/lib/impala:/bin/bash
spark:x:979:976:Spark:/var/lib/spark:/sbin/nologin
hue:x:978:975:Hue:/usr/lib/hue:/bin/false
ntp:x:38:38::/etc/ntp:/sbin/nologin

修改

hbase:x:982:979:HBase:/var/lib/hbase:/bin/false

hbase:x:982:979:HBase:/var/lib/hbase:/bin/bash

切换至Hbase用户,将数据导入hbase1.2,使用一下命令将linux 上的数据迁移至hdfs相对应目录中

 hdfs dfs -copyFromLocal /linux/dic/table1 /hdfs/hbase/table1  

导入成功后修复元数据表

hbase hbck -fixMeta -fixAssignments

2.将Hbase1.2数据Export 至 Hbase2.0数据库中

    

 hbase org.apache.hadoop.hbase.mapreduce.Export  需要导出的Hbase表名 需要输出到的位置(可以使其他集群的hdfs路径,也可以是本地linux系统的路径)

 

异常:权限不足

[hbase@test ~]$ hbase org.apache.hadoop.hbase.mapreduce.Export  HbasetableName hdfs://xxxxx:8020/hbase/HbasetableName
Java HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS is deprecated and will likely be removed in a future release
18/09/10 21:39:53 INFO mapreduce.Export: versions=1, starttime=0, endtime=9223372036854775807, keepDeletedCells=false
18/09/10 21:39:54 INFO client.RMProxy: Connecting to ResourceManager at fwqml006.zh/10.248.161.16:8032
18/09/10 21:39:54 WARN security.UserGroupInformation: PriviledgedActionException as:hbase (auth:SIMPLE) cause:org.apache.hadoop.security.AccessControlException: Permission denied: user=hbase, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-xat org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279)at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:260)at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:240)at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:162)at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:152)at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3770)at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3753)at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:3735)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6723)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4493)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4463)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4436)at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:876)at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.mkdirs(AuthorizationProviderProxyClientProtocol.java:326)at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:640)at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2226)at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2222)at java.security.AccessController.doPrivileged(Native Method)at javax.security.auth.Subject.doAs(Subject.java:422)at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1917)at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2220)Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=hbase, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-xat org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279)at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:260)at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:240)at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:162)at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:152)at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3770)at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3753)at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:3735)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6723)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4493)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4463)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4436)at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:876)at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.mkdirs(AuthorizationProviderProxyClientProtocol.java:326)at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:640)at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2226)at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2222)at java.security.AccessController.doPrivileged(Native Method)at javax.security.auth.Subject.doAs(Subject.java:422)at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1917)at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2220)at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)at java.lang.reflect.Constructor.newInstance(Constructor.java:423)at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:106)at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:73)at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:3120)at org.apache.hadoop.hdfs.DFSClient.mkdirs(DFSClient.java:3085)at org.apache.hadoop.hdfs.DistributedFileSystem$19.doCall(DistributedFileSystem.java:1004)at org.apache.hadoop.hdfs.DistributedFileSystem$19.doCall(DistributedFileSystem.java:1000)at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirsInternal(DistributedFileSystem.java:1000)at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirs(DistributedFileSystem.java:992)at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:133)at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:148)at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1307)at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1304)at java.security.AccessController.doPrivileged(Native Method)at javax.security.auth.Subject.doAs(Subject.java:422)at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1917)at org.apache.hadoop.mapreduce.Job.submit(Job.java:1304)at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1325)at org.apache.hadoop.hbase.mapreduce.Export.main(Export.java:188)
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=hbase, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-xat org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279)at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:260)at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:240)at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:162)at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:152)at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3770)at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3753)at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:3735)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6723)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4493)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4463)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4436)at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:876)at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.mkdirs(AuthorizationProviderProxyClientProtocol.java:326)at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:640)at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2226)at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2222)at java.security.AccessController.doPrivileged(Native Method)at javax.security.auth.Subject.doAs(Subject.java:422)at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1917)at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2220)at org.apache.hadoop.ipc.Client.call(Client.java:1504)at org.apache.hadoop.ipc.Client.call(Client.java:1441)at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:230)at com.sun.proxy.$Proxy11.mkdirs(Unknown Source)at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.mkdirs(ClientNamenodeProtocolTranslatorPB.java:573)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.lang.reflect.Method.invoke(Method.java:498)at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:260)at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:104)at com.sun.proxy.$Proxy12.mkdirs(Unknown Source)at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:3118)... 16 more

提示hdfs中/user目录hbase用户权限不足,修改/user目录访问权限,这里为了方便使用

-chmod -R 777,记得数据导出完成后修改为之前权限。

又报错jdk环境:

[hdfs@test ~]$ hdfs dfs -chmod -R 777 /user
ERROR: JAVA_HOME /home/xxx/tools/jdk1.8.0_101 does not exist.
在~/bashrc修改环境变量

执行导出成功。

 hbase org.apache.hadoop.hbase.mapreduce.Export  HbasetableName hdfs://xxxxx:8020/hbase/HbasetableName

注:导入到本地磁盘使用  file://

 hbase org.apache.hadoop.hbase.mapreduce.Export  HbasetableName file:///home/zsh/HbasetableName

在目标集群中发现数据已传输过去

[hbase@fwqzx002 ~]$ hdfs dfs -ls /hbase/xxx/xxx
Found 12 items
-rw-r--r--   1 hbase hbase           0 2018-09-10 23:04 /hbase/tt_user/offline_user/_SUCCESS
-rw-r--r--   1 hbase hbase 47065003510 2018-09-10 23:04 /hbase/xxx/xxx/part-m-00003
-rw-r--r--   1 hbase hbase 23541633987 2018-09-10 22:24 /hbase/xxx/xxx/part-m-00004
-rw-r--r--   1 hbase hbase 23532345447 2018-09-10 22:40 /hbase/xxx/xxx/part-m-00005
-rw-r--r--   1 hbase hbase 23551359671 2018-09-10 22:39 /hbase/xxx/xxx/part-m-00006
-rw-r--r--   1 hbase hbase 23522350569 2018-09-10 22:25 /hbase/xxx/xxx/part-m-00007
-rw-r--r--   1 hbase hbase 23544202929 2018-09-10 22:48 /hbase/xxx/xxx/part-m-00008
-rw-r--r--   1 hbase hbase 23529537743 2018-09-10 22:40 /hbase/xxx/xxx/part-m-00009
-rw-r--r--   1 hbase hbase 11749139280 2018-09-10 22:36 /hbase/xxx/xxx/part-m-00010
-rw-r--r--   1 hbase hbase 11754855832 2018-09-10 22:36 /hbase/xxx/xxx/part-m-00011
-rw-r--r--   1 hbase hbase 11775381448 2018-09-10 22:27 /hbase/xxx/xxx/part-m-00012
-rw-r--r--   1 hbase hbase 11767607324 2018-09-10 22:35 /hbase/xxx/xxx/part-m-00013

3.数据导入Hbase2.0版本

 hbase org.apache.hadoop.hbase.mapreduce.Import -Dmapred.job.queue.name=etl tableName /hbase/test4

少量数据正常导入,大量数据时Hbase写入过快处理不过来,主要原因是region分裂时导致memstore数据量过大,提示异常RetriesExhaustedWithDetailsException

解决方法:https://blog.csdn.net/zhangshenghang/article/details/82621101

再次执行导入成功。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/510233.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

html 中 标签里面的id 和 name 有什么区别?

html 中 标签里面的id 和 name 有什么区别? id与name的作用,作为标签的标识符,基本上是一样的.name是老方法,id是在name基础上发明的,后来才有的. 一般来说,js中使用ID,asp或php中使用name.比如,在js中要引用这个标签,就需要这个ID是什么,而asp中要得到这个值,就会…

远程桌面管理工具

链接:https://pan.baidu.com/s/1K_AMitnmpYQkRWSBq9HhVA 提取码:d9eo

Impala-shell 查询异常 - ERROR: AnalysisException: Failed to evaluate expr: 1

直接使用impala-shell 进行最近本查询,异常 [test:21000] default> select * from tbName limit 1; Query: select * from vt_article limit 1 Query submitted at: 2018-09-14 13:43:10 (Coordinator: http://fwqzx002:25000) ERROR: AnalysisException: Fail…

手把手教你写平衡二叉树

因为上BST课的时候睡觉睡过了结果。。。,后者折腾了一个下午才写了出来,感谢http://blog.chinaunix.net/uid-24948645-id-3913917.html博客的详细解析,但是上面的不足之处在于代码是伪代码,基本实现不了,然后自己做了修…

视觉算法算法

https://github.com/rayryeng/XiaohuLuVPDetection https://xiaohulugo.github.io/papers/Vanishing_Point_Detection_WACV2017.pdf 三维重建 http://staff.ustc.edu.cn/~lgliu/ pnp问题: https://github.com/ydsf16/PnP_Solver slam文章: https:/…

CDH - 启动HbaseMaster时异常

测试环境 CDH,启动HbaseMaster时,启动失败,提示无法split WALs目录下的数据。 解决方法:删除WALs里的数据解决该问题(数据如不可恢复勿用该方法),重启成功 2018-09-14 14:43:07,254 WARN org.apache.hado…

HTML之标签

2.3.1标签1.开始标签<html> </html> 表示html的开始<head> </head> 描述html文档的相关信息&#xff0c;之间的内容是不会在浏览器的框内显示出来的<body> </body> 在浏览器中显示主要内容&#xff0c;也是html文件的主要部分。2.单独出现…

cuda编程性能 分析工具 nvprof的使用

ubuntu环境上&#xff0c;安装cuda,会自动安装一些工具nvcc ,nvprof nvcc-gdb.... 1.编译生成可执行文件 2.nvprof ./test 可以把性能分析数据输出到文件中 nvprof ./test -o test.nvvp 可以把在nvidia visual profiler现实更加直观 一些常用的配置参数&#xff1a; achie…

HUE Load Balancer 启动失败

安装LoadBalancer服务的机器要安装mod_ssl&#xff0c;httpd 解决方案&#xff1a; yum -y install mod_ssl 注意&#xff1a;安装前也要安装httpd服务&#xff0c;安装完成后记得查看是否启动 yum -y install httpd 异常信息如下&#xff1a; Cant open /opt/cm-5.13.0/r…

cuda nsight 调试和性能分析

如果cuda需要调试需要在配置cmake: cmake配置 set(CUDA_NVCC_FLAGS -G;-g) 命令行编译配置&#xff1a; nvcc –g –G MatrixCUDA.cu –o MatrixCUDA 打开 nvidia nsight monitor ->options进行设置 2.尽量把WDDM TDR Delay 调大点 3.将 use this monitor for cuda att…

html之元素与元素的形成

1.<title> 标签定义文档的标题。2.<p>插入文本内容 注意&#xff1a;<p> </p>整体等同于<p>3.有一些元素可以忽略开始标签4.合理嵌套

cuda线程束原语 __shfl_xor、__shfl、__shfl_up()、__shfl_down()

在CC3.0以上&#xff0c;支持了shuffle指令&#xff0c;允许thread直接读其他thread的寄存器值&#xff0c;只要两个thread在 同一个warp中&#xff0c;这种比通过shared Memory进行thread间的通讯效果更好&#xff0c;latency更低&#xff0c;同时也不消耗额外的内存资源来执行…

Hue添加RDBMS(关系型数据库)

Hue添加RDBMS方式 Hue界面没有Mysql添加方式&#xff0c;需要修改配置切换至Hue3界面&#xff0c;找一下 3.发现有添加方式 4.点进去发现&#xff0c;说要再配置文件中添加 5.经查阅资料发现&#xff0c;需要在hue的配置中hue_safety_valve.ini 修改/添加 相关数据库配置 6.…

html之属性的定义

<元素 属性"值"(或者值)>内容</元素>2.3.4属性的定义1.不定义属性2.属性值中的空白eg:<img src"c:/hello world">因为属性值是连续字符序列&#xff0c;因此hello与world之间的空白处应该用%20&#xff0c;<img srcc:/hello%20world&…

#error This file requires compiler and library support for the ISO C++ 2011 standard

解决方式&#xff1a; set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -stdc11")

HBase BlockCache系列 - 探求BlockCache实现机制

转载自&#xff1a;http://hbasefly.com/2016/04/26/hbase-blockcache-2/ HBase BlockCache系列第一篇文章《走进BlockCache》从全局视角对HBase中缓存、Memstore等作了简要概述&#xff0c;并重点介绍了几种BlockCache方案及其演进过程&#xff0c;对此还不了解的可以点这里。…

html之属性的应用

在html文档中&#xff0c;某些地方不允许存在某些字符。因此使用其他字符代替eg&#xff1a;小于号(<)和and符号(&)&#xff0c;如果错误的使用这些符号&#xff0c;会造成html解析器将显示错误。eg&#xff1a;<p><html></p>可以显示html如果不用其他…

ubuntu安装tensorflow-gpu 和pytorch

本文参考了&#xff1a; https://blog.csdn.net/qq_27825451/article/details/89082978 谢谢这位博主 这里我们选择清华源 sudo python -m pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu1.2.0 pip install -i https://pypi.tuna.tsinghua.edu.c…

Hbase Memstore刷新方式与Region的数目上限

目录 Region数目上限 Region大小上限 MemStore的刷新方式&#xff08;触发条件&#xff09; HLog (WAL) Size & Memstore Flush 频繁的Memstore Flushes Region数目上限 RegionServer的region数目取决于memstore的内存使用&#xff0c;每个region拥有一组memstore&am…