java maven调用hbase

pom.xml

<dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-it</artifactId><version>1.2.0</version>
</dependency>

源码

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.filter.Filter;
import org.apache.hadoop.hbase.filter.FilterList;
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
import org.apache.hadoop.hbase.util.Bytes;public class HBaseService {public static Configuration configuration;public static Connection connection;static {System.setProperty("hadoop.home.dir", "D:\\Program\\hadoop-common-2.6.0-bin-master");configuration = HBaseConfiguration.create();configuration.set("hbase.zookeeper.property.clientPort", "2181");configuration.set("hbase.zookeeper.quorum", "192.168.91.144");configuration.set("hbase.client.keyvalue.maxsize","500000");try {connection=ConnectionFactory.createConnection(configuration);} catch (IOException e) {e.printStackTrace();}//configuration.set("hbase.master", "192.168.1.100:600000");}public static void main(String[] args) {createTable("tbtest");insertData("tbtest");QueryAll("tbtest");QueryByCondition1("tbtest");QueryByCondition2("tbtest");QueryByCondition3("tbtest");deleteRow("tbtest","rowkey123");dropTable("tbtest");}public static void createTable(String tableName) {System.out.println("start create table ......");try {Admin hBaseAdmin = connection.getAdmin();if (hBaseAdmin.tableExists(TableName.valueOf(tableName))) {// 如果存在要创建的表,那么先删除,再创建hBaseAdmin.disableTable(TableName.valueOf(tableName));hBaseAdmin.deleteTable(TableName.valueOf(tableName));System.out.println(tableName + " is exist,delete....");}HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf(tableName));tableDescriptor.addFamily(new HColumnDescriptor("column1"));tableDescriptor.addFamily(new HColumnDescriptor("column2"));tableDescriptor.addFamily(new HColumnDescriptor("column3"));hBaseAdmin.createTable(tableDescriptor);} catch (MasterNotRunningException e) {e.printStackTrace();} catch (ZooKeeperConnectionException e) {e.printStackTrace();} catch (IOException e) {e.printStackTrace();}System.out.println("end create table ......");}public static void insertData(String tableName) {System.out.println("start insert data ......");try {HTable table = (HTable) connection.getTable(TableName.valueOf(tableName));Put put = new Put("rowkey123".getBytes());// 一个PUT代表一行数据,再NEW一个PUT表示第二行数据,每行一个唯一的ROWKEY,此处rowkey为put构造方法中传入的值put.addColumn("column1".getBytes(), null, "aaa".getBytes());// 本行数据的第一列put.addColumn("column2".getBytes(), null, "bbb".getBytes());// 本行数据的第三列put.addColumn("column3".getBytes(), null, "ccc".getBytes());// 本行数据的第三列table.put(put);} catch (IOException e) {e.printStackTrace();}System.out.println("end insert data ......");}public static void dropTable(String tableName) {try {Admin admin = connection.getAdmin();;admin.disableTable(TableName.valueOf(tableName));admin.deleteTable(TableName.valueOf(tableName));} catch (MasterNotRunningException e) {e.printStackTrace();} catch (ZooKeeperConnectionException e) {e.printStackTrace();} catch (IOException e) {e.printStackTrace();}}public static void deleteRow(String tableName, String rowkey)  {try {Table table = connection.getTable(TableName.valueOf(tableName));List list = new ArrayList();Delete d1 = new Delete(rowkey.getBytes());list.add(d1);table.delete(list);System.out.println("删除行成功!");} catch (IOException e) {e.printStackTrace();}}public static void QueryAll(String tableName) {try {Table table = connection.getTable(TableName.valueOf(tableName));ResultScanner rs = table.getScanner(new Scan());for (Result r : rs) {System.out.println("获得到rowkey:" + new String(r.getRow()));for (KeyValue keyValue : r.raw()) {System.out.println("列:" + new String(keyValue.getFamily())+ "====值:" + new String(keyValue.getValue()));}}} catch (IOException e) {e.printStackTrace();}}public static void QueryByCondition1(String tableName) {try {Table table = connection.getTable(TableName.valueOf(tableName));Get scan = new Get("rowkey123".getBytes());// 根据rowkey查询Result r = table.get(scan);System.out.println("获得到rowkey:" + new String(r.getRow()));for (KeyValue keyValue : r.raw()) {System.out.println("列:" + new String(keyValue.getFamily())+ "====值:" + new String(keyValue.getValue()));}} catch (IOException e) {e.printStackTrace();}}public static void QueryByCondition2(String tableName) {try {Table table = connection.getTable(TableName.valueOf(tableName));Filter filter = new SingleColumnValueFilter(Bytes.toBytes("column1"), null, CompareOp.EQUAL, Bytes.toBytes("aaa")); // 当列column1的值为aaa时进行查询Scan s = new Scan();s.setFilter(filter);ResultScanner rs = table.getScanner(s);for (Result r : rs) {System.out.println("获得到rowkey:" + new String(r.getRow()));for (KeyValue keyValue : r.raw()) {System.out.println("列:" + new String(keyValue.getFamily())+ "====值:" + new String(keyValue.getValue()));}}} catch (Exception e) {e.printStackTrace();}}public static void QueryByCondition3(String tableName) {try {Table table = connection.getTable(TableName.valueOf(tableName));List<Filter> filters = new ArrayList<Filter>();Filter filter1 = new SingleColumnValueFilter(Bytes.toBytes("column1"), null, CompareOp.EQUAL, Bytes.toBytes("aaa"));filters.add(filter1);Filter filter2 = new SingleColumnValueFilter(Bytes.toBytes("column2"), null, CompareOp.EQUAL, Bytes.toBytes("bbb"));filters.add(filter2);Filter filter3 = new SingleColumnValueFilter(Bytes.toBytes("column3"), null, CompareOp.EQUAL, Bytes.toBytes("ccc"));filters.add(filter3);FilterList filterList1 = new FilterList(filters);Scan scan = new Scan();scan.setFilter(filterList1);ResultScanner rs = table.getScanner(scan);for (Result r : rs) {System.out.println("获得到rowkey:" + new String(r.getRow()));for (KeyValue keyValue : r.raw()) {System.out.println("列:" + new String(keyValue.getFamily())+ "====值:" + new String(keyValue.getValue()));}}rs.close();} catch (Exception e) {e.printStackTrace();}}
}

异常处理

//报错

org.apache.hadoop.hbase.ipc.RemoteWithExtrasException: org.apache.hadoop.hbase.regionserver.NoSuchColumnFamilyException: Column family table does not exist in region hbase:meta,,1.1588230740 in table 'hbase:meta', {TABLE_ATTRIBUTES => {IS_META => 'true', coprocessor$1 => '|org.apache.hadoop.hbase.coprocessor.MultiRowMutationEndpoint|536870911|'}, {NAME => 'info', BLOOMFILTER => 'NONE', VERSIONS => '10', IN_MEMORY => 'true', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', CACHE_DATA_IN_L1 => 'true', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '8192', REPLICATION_SCOPE => '0'}

at org.apache.hadoop.hbase.regionserver.HRegion.checkFamily(HRegion.java:7884)

由于HBase和HBase-client(2.x)版本不一致导致,查看下hbase版本

http://192.168.91.144:60010/master-status切换到Show non-RPC Tasks得到HBase Version 1.2.0

修改pom.xml中依赖版本为1.2.0

/报错:java.lang.RuntimeException: Unexpected version format: 11.0.2

java版本太高了,用11无法通过hbase的版本验证,这正则写法真心无语了,呵呵,降低到8就可以了

static {

final String version = System.getProperty("java.version");

// Verify String looks like this: 1.6.0_29

if (!version.matches("\\d\\.\\d\\..*")) {

throw new RuntimeException("Unexpected version format: " + version);

}

//java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

两种处理方式

1.直接设置属性System.setProperty("hadoop.home.dir", "D:\\Program\\hadoop-common-2.6.0-bin-master");

2.设置环境变量HADOOP_HOME

下载winutils地址https://github.com/srccodes/hadoop-common-2.2.0-bin下载解压

或者新版的https://github.com/amihalik/hadoop-common-2.6.0-bin

/o.a.hadoop.hbase.client.ConnectionUtils : Can not resolve node3, please check your network

java.net.UnknownHostException: 不知道这样的主机。 (node3)

设置hosts文件,将hadoop集群各主机ip及机器名映射放进去

参考文章:

HBase Java简单示例 - zhenjing - 博客园

Spring Boot中Java API操作HBase 2.x详解 | zifangsky的个人博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/417015.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

前端学习(2347):创建新页面和配置

pages.json {"pages": [ //pages数组中第一项表示应用启动页&#xff0c;参考&#xff1a;https://uniapp.dcloud.io/collocation/pages{"path" : "pages/message/message","style" : {"navigationBarTitleText": "信…

计算机与现代教育技术论文开题报告,计算机科学技术大学硕士与本科毕业论文开题报告...

这是一篇计算机科学技术方面有关毕业论文题目范文,与二维动画设计与制作相关毕业论文。是写论文专业与计算机科学技术及计算机软件及发表一篇方面相关的免费优秀学术论文范文资料&#xff0c;可作为计算机科学技术方面的大学硕士与本科毕业论文开题报告范文和职称论文论文写作参…

3.3、自定义错误页面

如果你在浏览器的地址栏中输入了不可用的路由&#xff0c;那么会显示一个状态码为 404 的错误页面。现在这个错误页面太简陋、平庸&#xff0c;而且样式和使用了 Bootstrap 的页面不一致。 像常规路由一样&#xff0c;Flask 允许程序使用基于模板的自定义错误页面。最常见的错误…

hive shell/sql 命令行

命令hive进入hive命令行 //列表数据库 show databases; //创建数据库 create database myhive; //创建数据库时检查存在与否 create database if not exists t1; //创建数据库时带注释 create database if not exists t2 comment learning hive; //创建带属性的数据库…

前端学习(2348):tabber

{"pages": [ //pages数组中第一项表示应用启动页&#xff0c;参考&#xff1a;https://uniapp.dcloud.io/collocation/pages{"path" : "pages/message/message","style" : {"navigationBarTitleText": "信息页",&…

辽宁交通职业技术学校计算机好不好,辽宁省交通高等专科学校信息工程系

信息工程系是学校“十一五”和“十二五”期间重点建设的校内五个重点专业群之一,也是首批国家高职示范校项目重点建设的专业群之一。现开设计算机网络技术、软件技术、计算机通信技术、图形图像制作、广告设计与制作、影视动画共6个专业,下设信息技术研究所和计算机基础、数学2…

[No0000D7]img生成器.bat合并所有图片到html网页中

ECHO OFF IF EXIST %~nx0.html DEL /F /Q %~nx0.html ECHO ^<html^>^<head^>^<title^>%~nx0^</title^>^</head^>^<body style"background:black;" οnlοad"window.setInterval(function(){window.scrollBy(0,800);},800);&qu…

前端学习(2349):tabber的其他属性

pages.json {"pages": [ //pages数组中第一项表示应用启动页&#xff0c;参考&#xff1a;https://uniapp.dcloud.io/collocation/pages{"path" : "pages/message/message","style" : {"navigationBarTitleText": "信…

计算机组成原理中ID是什么,计算机组成原理.doc

计算机组成原理课程作业_A 用户名&#xff1a;niekai最终成绩&#xff1a;80.0 HYPERLINK "//scores/?ag_id200580&assessmentid23539e75-90b3-487a-be10-06db93333cdd&stu_access_grading1&grading_curpage1&layoutwelcome_blank&role2&schoolG…

thinkphp无法登陆,session跨页后值为空

我已经出现过两次这种问题了&#xff0c;出现了两次就说明第一次没有解决彻底&#xff0c;所以表示thinkphp这个跨页后session为空而无法登陆的问题牵扯很多方面的问题了。经过这两次的研究&#xff0c;我觉得基本上能真正解决它了。 第一次出现的时候&#xff0c;我以为是目录…

前端学习(2350):condition启动模式配置

pages.json {"pages": [ //pages数组中第一项表示应用启动页&#xff0c;参考&#xff1a;https://uniapp.dcloud.io/collocation/pages{"path" : "pages/message/message","style" : {"navigationBarTitleText": "信…

PostgreSQL11 data数据库目录迁移

默认的数据库路径是/var/lib/pgsql/11/data 将现有的数据库文件全部拷贝到新的数据库路径下&#xff0c;然后重启 新建一个路径作为新的数据库数据路径&#xff0c;假如是/gdata/pgdata/data mkdir -p /gdata/pgdata/data chown -R postgres:postgres /gdata/pgdata/data c…

计算机硬件基础大纲,计算机硬件基础教学大纲..docx

计算机硬件技术基础 (III 教学大纲一、课程名称 :计算机硬件技术基础 (III二、课程代码 三、课程的基本要求1.微型计算机基础掌握微型计算机的组成以及各组成部分的主要功能特性 ;掌握微型计算机的总线结构以及简单的工作过程 ;了解现代先进计算机技术 ,了解衡量微型计算机性能…

C# WebApi POST 提交

暂时测试以json方式提交 Content-Type设置 Content-Type: application/json; charsetutf-8 提交参数 {"glsort": 6032,"page_index": 1,"page_size": 10 } WebApi接收 [HttpPost]public string List(dynamic data){int glsort Common.ObjectToI…

前端学习(2351):text组件的使用

detail.vue <template><view><view class""><text>唱歌跳舞</text></view><view seletable><text>唱歌跳舞</text></view><view seletable space"ensp"><text>唱歌 跳舞<…

电子信息工程跨考计算机武大,往届从材料跨考武大085208电子与通信工程初试303分 - 考研 - 小木虫 - 学术 科研 互动社区...

如果您因为分数原因没能如愿考上心目中理想的大学&#xff0c;只要您过了国家线B区分数线(按照往年的政策需要统考数学&#xff1a;参加数一或数二的考试)&#xff0c;材料、物理和化学相关专业&#xff0c;您可要参与报名参与桂林理工大学理学院的调剂,)&#xff0c;由于从201…

python连接postgresql数据库

连接postgresql数据库 pip install psycopg2 ## 导入psycopg2包 import psycopg2 ## 连接到一个给定的数据库 conn psycopg2.connect(database"postgres", user"postgres", password"postgres", host"127.0.0.1&…

前端学习(2352):view组件的使用

detail.vue <template><view><!-- <view class""><text>唱歌跳舞</text></view><view seletable><text>唱歌跳舞</text></view><view seletable space"ensp"><text>唱歌 …

Fatal error compiling: java.lang.ExceptionInInitializerError: com.sun.tools.javac.code.TypeTags

项目换用openjdk11后报错 Fatal error compiling: java.lang.ExceptionInInitializerError: com.sun.tools.javac.code.TypeTags 原因&#xff1a;lombok版本太低了&#xff0c;不支持java11 升级版本&#xff1a;到 1.18.6 <dependency> <groupId>org.projectl…

Spring集成JavaMail并利用线程池发送邮件

我们系统存在大量发送邮件的需求&#xff0c;项目使用的是Spring框架而JavaMail也能很好的跟Spring进行集成&#xff0c;由于发送邮件最好还是使用异步进行发送&#xff0c;所以这里就采用线程池JavaMail进行邮件发送&#xff0c;下面看具体代码实现&#xff1a; Step1、引入Ja…