【大数据基础平台】星环TDH社区开发版单机部署

🍁 博主 "开着拖拉机回家"带您 Go to New World.✨🍁

🦄 个人主页——🎐开着拖拉机回家_大数据运维-CSDN博客 🎐✨🍁

🪁🍁🪁🍁🪁🍁🪁🍁 🪁🍁🪁🍁🪁🍁🪁 🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁

感谢点赞和关注 ,每天进步一点点!加油!

目录

🍁 博主 "开着拖拉机回家"带您 Go to New World.✨🍁

一、概述

二、安装TDH-CE-DEV

2.1 环境准备

2.2 安装TDH社区开发版

2.3 自助申请许可证

三、基本配置

3.1 开启安全

3.2 Hyperbase设置

3.3 安装TDH客户端

3.4 集群外使用hadoop client

3.4.1 使用zookeeper-client

3.4.2 使用hadoop/hdfs

3.4.3 使用hbase shell


一、概述


TDH企业级一站式大数据基础平台致力于帮助企业更全面、更便捷、更智能、更安全的加速数字化转型。通过数年时间的打磨创新,已帮助数千家行业客户利用大数据平台构建核心商业系统,加速商业创新。为了让大数据技术得到更广泛的使用与应用从而创造更高的价值,依托于TDH强大的技术底座,星环科技推出TDH社区版(Transwarp Data Hub Community Edition)版本,致力于为企业用户、高校师生、科研机构以及其他专业开发人员提供更轻量、更简单、更易用的数据分析开发环境,轻松应对各类人员数据分析需求。

社区版官网:TDH社区版-TDH Community Edition-星环科技


二、安装TDH-CE-DEV


2.1 环境准备


主机名和映射配置

cat  /etc/hosts
192.168.2.117 devopshostnamectl set-hostname devops

关闭防火墙或者配置端口

systemctl stop  firewalld.service
systemctl disable  firewalld.service

安装docker ,需有网且配置好 repo 源,或者离线安装

yum install docker
systemctl start docker.service
systemctl status docker.service
systemctl enable docker.service

docker 启动完成

2.2 安装TDH社区开发版


官网地址:TDH社区版-TDH Community Edition-星环科技

下载的单机安装包:TDH-Standalone-Community-Transwarp-9.3.1-X86_64-final.tar.gz

解压并且加载镜像

[root@tdh-node01 yum.repos.d]# cd /opt/
[root@tdh-node01 opt]# ll
total 12045828
drwx--x--x. 4 root root       4096 Oct 24 11:14 containerd
-rw-------. 1 root root 7104777216 Jun  7 21:31 tdh-standalone-2023.5.tar
-rw-r--r--. 1 root root 5230133572 Oct 24 09:32 TDH-Standalone-Community-Transwarp-9.3.1-X86_64-final.tar.gz
[root@tdh-node01 opt]#
[root@tdh-node01 opt]#
[root@tdh-node01 opt]#
[root@tdh-node01 opt]# docker load  -i  tdh-standalone-2023.5.tar
74ddd0ec08fa: Loading layer [==================================================>]  238.6MB/238.6MB
e74f7e968b61: Loading layer [==================================================>]  6.866GB/6.866GB
Loaded image: tdh-standalone:2023.5
[root@tdh-node01 opt]#
[root@tdh-node01 opt]# docker images
REPOSITORY       TAG       IMAGE ID       CREATED        SIZE
tdh-standalone   2023.5    296d67572acb   4 months ago   7.08GB

镜像加载完成

执行下方指令启动容器并运行镜像

docker run -d --network host -v /home/tdh:/opt/transwarp --privileged tdh-standalone:2023.5
docker ps -a 
docker logs -f  xxx

容器启动后需等待30s至2分钟

浏览器访问管理节点8180端口, 默认用户名和密码都是admin

接受

集群名称

默认的单节点主机信息

确认 下一步

安全组件密码设置

服务总览

下一步确定 安装

安装中

安装完成

2.3 自助申请许可证


登录星环云网站:https://cloud.transwarp.cn/home

编辑组织信息

申请许可证

回到TDH Manager,输入账号进行“许可证申请”。

完成申请

安装完成


三、基本配置


3.1 开启安全


进入全局服务下的Guardian服务详情页,选择一键开启安全


输入密码

完成配置刷新

3.2 Hyperbase设置


使用hyperbase前需要进行依赖配置,如果开启安全还需要进行赋权操作。

安装结束后进入Quark服务详情页,更新quark依赖关系;

选择HypeHbase1

点击配置服务,配置完成后进行重启服务

确定快速重启

如果开启安全,需要进入guardian server页面,为hive用户赋予hyperbase权限。

点击Guardian服务详情页,进入Guardian Server权限页面进行编辑;

登录

进入权限配置页面

选择权限 Hypebase1

编辑

“+” 新增

保存

3.3 安装TDH客户端


Manager为用户提供了两种下载tdh-client的方式,其中选择manager自带tdh-client下载可能会比较慢,本章节将介绍如何进行快速下载。

Manager页面下载客户端,选择“随产品包上传”下载tdh-client。

选择所有组件 ,确定

下载 后上传/opt路径解压如下:

拷贝容器内的bundled_tdh_client目录到本地。此处假设客户端解压到了目录/opt下,命令为:

[root@devops opt]# docker ps -a 
CONTAINER ID   IMAGE                   COMMAND              CREATED       STATUS       PORTS     NAMES
1d5c56eca76d   tdh-standalone:2023.5   "/usr/bin/boot.sh"   2 hours ago   Up 2 hours             laughing_perlman
[root@devops opt]# 
[root@devops opt]# docker cp  1d5c56eca76d:/var/lib/transwarp-manager/master/content/resources/bundled_tdh_client .
[root@devops opt]# ls
ansible  bundled_tdh_client  containerd  py  TDH-Client  tdh-client.tar
[root@devops opt]# 
[root@devops opt]# ls bundled_tdh_client/
hadoop  hyperbase  inceptor  init.sh  kafka  redis  sqoop  zookeeper

复制bundled_tdh_client目录下的内容到解压后的TDH-Client目录下。

[root@devops opt]#  cp  -nr bundled_tdh_client/*   TDH-Client/

完成后即可使用TDH-Client。 使用TDH-Client前还需设置JAVA_HOME环境变量。


3.4 集群外使用hadoop client


首先您需要保证JAVA_HOME设置正确。已准备好TDH-Client(TDH-Client文件夹下有init.sh),下方假定TDH-Client存储路径为:/opt

3.4.1 使用zookeeper-client

在guardian上下载zookeeper租户的keytab,假定路径是/opt/TDH-Client/kerberos/zookeeper.keytab

将常用的几个 keytab文件下载 放到/opt/TDH-Client/kerberos 路径下

执行

export ZOOKEEPER_KEYTAB=/opt/TDH-Client/kerberos/zookeeper.keytab
source /opt/TDH-Client/init.sh

3.4.2 使用hadoop/hdfs

# 查看 principal
klist -kt /opt/TDH-Client/kerberos/hdfs.keytab
# 认证
kinit -kt /opt/TDH-Client/kerberos/hdfs.keytab hdfs@TDH

创建文件夹和上传文件测试

3.4.3 使用hbase shell


在guardian上下载hbase租户的keytab,假定路径是/tmp/hbase.keytab /opt/TDH-Client/kerberos/hbase.keytab, 如果没有认证直接进入 命令报错如下:

klist -kt /opt/TDH-Client/kerberos/hbase.keytab

确认后执行下方命令方可使用.

export HYPERBASE_KEYTAB=/opt/TDH-Client/kerberos/hbase.keytab
source /opt/TDH-Client/init.sh
kinit -kt /opt/TDH-Client/kerberos/hbase.keytab hbase@TDH

hbase shel 进入命令行,创建表kangll , put 数据

create 'kangll',{NAME=>'d',VERSIONS => 1,DATA_BLOCK_ENCODING => 'FAST_DIFF',COMPRESSION => 'SNAPPY'},{SPLITS=> ['0','1','2','3','4','5','6','7','8','9','a','b','c','d','e','f']}
alter  'kangll', {NAME => 't',VERSIONS => 1,DATA_BLOCK_ENCODING => 'FAST_DIFF',COMPRESSION => 'SNAPPY'},{SPLITS=> ['0','1','2','3','4','5','6','7','8','9','a','b','c','d','e','f']}put 'kangll','e312673c87115b12#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','f8a5414345987335#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','ab68b01fb2fb77d9#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','0fbdc950ab7bac48#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','03852b8d2e682a2d#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','36506147bed193c9#20230215#1','t:md','2023-02-23 18:27:07.692'

查询成功


参考文档地址:

https://docs.transwarp.cn/#/documents-support/docs-detail/document/CE-PLATFORM/23-5/003TDH-CE-DEV-InstallManual?docType=docs%3Fcategory%3DTDH%26index%3D0&docName=%E7%A4%BE%E5%8C%BA%E5%BC%80%E5%8F%91%E7%89%88%E5%AE%89%E8%A3%85%E6%89%8B%E5%86%8C

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/125202.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vue之CSS基础

CSS:层叠样式表 1、选择器 从模板template中选择某元素进行样式设置 需要注意的是作用域到底是当前模板还是整个html文档 1.1 基础(单一)选择器 标签、类、 id、通配符 标签、直接使用标签名,比如div,span… 优点:全选 模板中的名{。。。}…

反射率检测仪如何检测后视镜

后视镜反射率检测是评估后视镜质量的重要步骤,可以反映后视镜的反射效果是否满足设计要求。一般来说,后视镜的反射率越高,驾驶员观察车后的道路状况就越清晰,从而能够更好地判断与后方车辆的距离和速度差。 后视镜反射率检测的原理…

你被骗了吗?别拿低价诱骗机器视觉小白,4000元机器视觉系统怎么来的?机器视觉工程师自己组装一个2000元不到,还带深度学习

淘宝闲鱼,大家搜搜铺价格,特别是机器视觉小白。 机架:(新的)200元以下。(看需求,自己简单打光,买个50元的。如果复杂,就拿给供应商免费打光) 相机,镜头:&am…

Spring MVC的常用注解(设置响应篇)

目录 1.返回静态页面 2.返回数据 3.返回HTML代码片段 4.返回json 5.设置状态码 6.设置Header (1).设置 Content-Type (2).设置其他Header 推荐先看前篇博客Spring MVC的常用注解(接收请求数据篇) 接收…

【数据结构】时间复杂度与空间复杂度

算法在编写成可执行程序后,运行时需要耗费时间资源和空间(内存)资源 。因此衡量一个算法的好坏,一般是从时间和空间两个维度来衡量的,即时间复杂度和空间复杂度。 时间复杂度: 主要衡量一个算法的运行快慢 空间复杂度:…

C#学习相关系列之多线程---ConfigureAwait的用法

一、ConfigureAwait的作用 ConfigureAwait方法是Task类中的一个实例方法,它用于配置任务的运行上下文。运行上下文指的是任务在执行期间所处的环境,包括线程、同步上下文等。ConfigureAwait方法接受一个布尔值参数,用于决定是否捕获上下文。当…

【JAVA学习笔记】53 - 集合-List类及其子类Collection、ArrayList、LinkedList类

项目代码 https://github.com/yinhai1114/Java_Learning_Code/tree/main/IDEA_Chapter14/src/com/yinhai/collection_ https://github.com/yinhai1114/Java_Learning_Code/tree/main/IDEA_Chapter14/src/com/yinhai/list_ 集合 一、集合引入 前面我们保存多个数据使用的是数组…

Elasticsearch下载安装,IK分词器、Kibana下载安装使用,elasticsearch使用演示

首先给出自己使用版本的网盘链接:自己的版本7.17.14 链接:https://pan.baidu.com/s/1FSlI9jNf1KRP-OmZlCkEZw 提取码:1234 一般情况下 Elastic Search(ES) 并不单独使用,例如主流的技术组合 ELK&#xff08…

MyBatis Plus之wrapper用法

一、条件构造器关系 条件构造器关系介绍: 绿色框:抽象类 abstract 蓝色框:正常 class 类,可 new 对象 黄色箭头:父子类关系,箭头指向为父类 wrapper介绍: Wrapper :条件构造抽象类…

mac m1下navicat执行mongorestore 到mongodb

首先,下载https://www.mongodb.com/try/download/mongocli 解压缩后 有可执行文件使用navicat打开 加载后再重新点击 选择 要恢复的文件即可

CDN加速技术海外与大陆优劣势对比

内容分发网络(CDN)是一项广泛应用于网络领域的技术,旨在提高网站和应用程序的性能、可用性和安全性。CDN是一种通过将内容分发到全球各地的服务器来加速数据传输的服务。本文将探讨使用CDN的优势以及国内CDN和海外CDN之间的不同优势和劣势。 …

【C语言】函数指针存疑调试及回调函数编写(结构体内的Callback回调函数传参和虚伪的回调函数__weak声明)

【C语言】函数指针存疑调试及回调函数编写(结构体内的Callback回调函数传参和虚伪的回调函数__weak声明) 文章目录 函数指针存疑调试函数指针函数调用 回调函数编写结构体内的回调函数虚伪的回调函数 附录:压缩字符串、大小端格式转换压缩字符…

数据结构——双向链表的实现

一、双向链表的结构 注意:双向链表又称带头双向循环链表 这⾥的“带头”跟前⾯我们说的“头节点”是两个概念,实际前⾯的在单链表阶段称呼不严 谨,但是为了同学们更好的理解就直接称为单链表的头节点。 带头链表⾥的头节点,实际…

MySQL---数据用户管理和索引

DDL:CTEATE DROP ALTER dml:对数据进行管理 update insert into delete truncate dpl:查询语句 select dcl:权限控制语句 grant revoke 数据库用户管理 创建用户 修改用户权限 删除用户 grant要在终端执行 创建用户 cr…

function函数指针和lamada的[]和[=]注意事项

在工作的过程中&#xff0c;lamda表达式的 重点&#xff1a; 1.function对象存储函数指针。 2.lamada表达式&和捕捉的方式 lamda传入引用&&#xff0c;导致作用域消失&#xff0c;最终报错 std::function<void()> pFun; void GetNum1(const std::function<…

企业在招标流程中面临的 6 大挑战

采购中的招标是一种采购策略&#xff0c;包括向不同的销售商/供应商询价&#xff08;RFQ&#xff09;和索取资料&#xff08;RFI&#xff09;&#xff0c;以比较其特点、价格和功能。 工作团队在招标采购流程中投入了数个小时&#xff0c;但在整个过程中仍不得不忍受失望和不适…

【抓包分析】通过ChatGPT解密还原某软件登录算法实现绕过手机验证码登录

文章目录 &#x1f34b;前言实现效果成品广告抓包分析一、定位加密文件二、编辑JS启用本地替换 利用Chatgpt进行代码转换获取计划任务id模拟数据请求最后 &#x1f34b;前言 由于C站版权太多&#xff0c;所有的爬虫相关均为记录&#xff0c;不做深入&#xff01; 今天发现gith…

数据结构 | 算法的时间复杂度和空间复杂度【详解】

数据结构 | 算法的时间复杂度和空间复杂度【详解】 文章目录 数据结构 | 算法的时间复杂度和空间复杂度【详解】1. 什么是数据结构&#xff1f;2. 什么是算法&#xff1f;3. 算法效率4. 时间复杂度4.1 时间复杂度的概念4.2 推导大O阶的方法&#xff1a;4.3 常见时间复杂度计算举…

Leetcode—274.H指数【中等】

2023每日刷题&#xff08;十三&#xff09; Leetcode—274.H指数 算法思想 参考自灵茶山艾府 实现代码 int minValue(int a, int b) {return a < b ? a : b; }int hIndex(int* citations, int citationsSize){int cnt[5001] {0};int i;for(i 0; i < citationsSize; …

SpringBoot 公司推广系统 公司广告系统

SpringBoot 公司推广系统 公司广告系统 系统功能 首页功能: 广告展示 方案列表 站内搜索 资讯 查看详细咨询 登录注册 收藏 咨询方案 在线客服实时聊天 后台管理功能: 系统管理分为: 用户管理 角色管理 客户管理 首页轮播管理 公告管理 方案管理: 方案管理 资讯管理: 类型管…