Apach Ozone部署

前言

最近由于工作需要,要部署一套ozone。我自己对hadoop这套体系不是很熟悉,所以过程磕磕碰碰,好不容易勉强搭起来,所以记录一下部署方式

准备

三台主机,主机均已安装jdk、hdfs,相关的安装配置就不另外写了,网上很多教程。

本次安装部署版本为当前最新的ozone-1.3.0版

部署步骤

1、ozone官网下载安装包,ozone有多种安装方式(docker、二进制包、源码编译等)。这里用二进制包安装方式。下载地址:Apache Ozone。这里下载了1.3.0版。ozone-1.3.0.tar.gz

2、上传到服务器:

部分服务器没有szrz命令的,可以通过scp命令进行复制:

scp ozone-1.3.0.tar.gz username@remote_ip:~/

解压

tar zxvf ozone-1.3.0.tar.gz

3、生成配置文件

进入ozone目录

cd  ozone

生成配置文件ozone-site.xml到etc/hadoop目录下

bin/ozone genconf etc/hadoop

PS:如果生成配置文件前/etc/hadoop已存在ozone-site.xml,则先行删除。

4、规划各机器职责并完成配置文件的配置

规划ozone的Ozone Manager(OM)、Storage Container Manager(SCM)、Datanodes服务分别部署在哪些机器上。假设在a主机上启动OM、SCM服务,a、b、c上启动Datanodes服务。

在ab、c主机上创建元数据存储文件夹

mkdir -p 自定义目录/ozonedata/meta

在a、b、c主机上分别创建数据存储文件夹

mkdir -p 自定义目录/ozonedata/data

配置etc/hadoop/ozone-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<configuration><property><name>ozone.om.address</name><value>A主机ip</value><tag>OM, REQUIRED</tag></property><property><name>ozone.metadata.dirs</name><value>用户目录/ozonedata/meta</value><tag>OZONE, OM, SCM, CONTAINER, STORAGE, REQUIRED</tag></property><property><name>ozone.scm.client.address</name><value>A主机ip:9860</value><tag>OZONE, SCM, REQUIRED</tag></property><property><name>ozone.scm.names</name><value>A主机ip</value><tag>OZONE, REQUIRED</tag></property><property><name>ozone.scm.datanode.id.dir</name><value>用户目录/ozonedata/data</value></property><property><name>ozone.enabled</name><value>true</value></property><property><name>ozone.scm.datanode.id</name><value>用户目录/ozonedata/data/datanode.id</value></property>
</configuration>

配置etc/hadoop/core-site.xml

<configuration><property><name>fs.AbstractFileSystem.o3fs.impl</name><value>org.apache.hadoop.fs.ozone.OzFs</value></property><property><name>fs.defaultFS</name><value>o3fs://bucket.volume</value></property>
</configuration>

在A主机上启动OM、SCM和datanode

到ozone-1.3.0/bin目录下执行

./ozone --daemon start scm
./ozone --daemon start om
./ozone --daemon start datanode

B、C主机下启动datanode

到ozone-1.3.0/bin目录下执行

./ozone --daemon start datanode

可以到ozone-1.3.0/logs目录下查看是否启动成功。由于datanode使用ratis协议,所以至少要部署3个节点,否则写入数据的时候会报:

INTERNAL_ERROR Allocated 0 blocks. Requested 1 blocks

验证

尝试创建一个卷(volume):

./ozone sh volume create volume

在卷下面创建一个桶(bucket):

./ozone sh bucket create volume/bucket

在桶下面往key写入一个文件:

./ozone sh key put volume/bucket/mykey1 用户目录/ozone-1.3.0/etc/hadoop/ozone-site.xml

之后通过查看桶下面的key,以及myKey1下的文件内容,验证是否写入成功

./ozone sh key ls volume/bucket
./ozone sh key cat volume/bucket/mykey1

小结

本文主要介绍了ozone的基本部署。ozone还有很多高可用、安全性等等的配置值得深入研究,因为笔者还没有需要使用,所以暂时没有去研究,有兴趣的读者也可以参考官网文档:https://ozone.apache.org/docs/1.3.0/zh/index.html

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/162104.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python二叉树链树_树的链式存储结构

二叉链树是一种树状数据结构&#xff0c;其中每个节点最多有两个子节点&#xff0c;分别称为左子节点和右子节点。每个节点包含一个数据元素和指向其左右子节点的指针。二叉链树可以是空树&#xff0c;也可以是具有以下特点的非空树&#xff1a; 1. 每个节点最多有两个子节点。…

netstat

netstat 命令用于显示网络状态 参数说明&#xff1a; -a或--all 显示所有连线中的Socket&#xff0c;默认不显示LISTEN相关 -n 拒绝显示别名&#xff0c;能显示数字的全部转化成数字 -e或--extend 显示网络扩展信息(User&#xff0c;Inode) -p或--programs 显示正在使用So…

计算机组成原理 the one day

1.计算机系统硬件软件 cpu运算器控制器 1个字&#xff08;word&#xff09;16bit&#xff1b; difference 1个字节&#xff08;Byte&#xff09;bit&#xff1b; 2.cpu主频&#xff08;时钟频率&#xff09;1/cpu时钟周期 CPI执行一条指令所需的时间周期数。 执行一条程序的…

JavaEE 多线程01

为什么引入多线程? 首先进程已经能很好的完成多任务这个情景下的并发编程了,那为什么又引入多线程呢? 这是因为在一些情景下,我么需要大量的创建和销毁进程来完成一些任务,此时多进程对系统的开销就会很大了. 假设有这样一个场景,服务器同时接收到很多个服务请求,这个时候服务…

Python基础教程: sorted 函数

嗨喽&#xff0c;大家好呀~这里是爱看美女的茜茜呐 sorted 可以对所有可迭代的对象进行排序操作&#xff0c; sorted 方法返回的是一个新的 list&#xff0c;而不是在原来的基础上进行的操作。 从新排序列表。 &#x1f447; &#x1f447; &#x1f447; 更多精彩机密、教程…

taro h5 ios解决input不能自动获取焦点拉起键盘

描述&#xff1a;页面中有个按钮&#xff0c;点击跳转到第二个页面&#xff08;有input&#xff09;&#xff0c;能直接获取焦点拉起键盘输入 安卓&#xff1a; 直接用focus() ios&#xff1a; focus无效&#xff0c;必须手动拉起 原理&#xff1a; 点击按钮的时候拉起一…

一元三次方程求解——浮点数二分

题目描述 思路 根与根之差的绝对值>1。可以得出距离为1的区间最多只有一个根若存在2个数x1和x2&#xff0c;且x1 < x2&#xff0c;f(x1) x f(x2) < 0&#xff0c;则(x1, x2)之间一定有一个根我们可以遍历每一个区间为1的范围&#xff0c;先判断左端点是否是根&#x…

K8s client go 创建CRD的informer

背景 需要监听K8s中CRD资源的变动, 做出相应的处理, 需要针对 CRD资源建立informer 实现 dynamicClient 是 创建的K8s的client, 这里使用的是 Unstructured 接収的CRD的结果, 加工的时候使用了convertUnstructuredProject 加工了一下, convertUnstructuredProject 实现下面提…

如何进行网络通信和套接字编程?

网络通信和套接字编程 引言 网络通信是计算机科学中的重要概念&#xff0c;它使得不同计算机之间可以进行数据交换和信息传递。套接字编程是一种实现网络通信的方法&#xff0c;它提供了一套标准的接口&#xff0c;使得应用程序可以通过网络进行数据传输。本文将详细介绍网络…

Python---global关键字---设置全局变量

global 英 /ˈɡləʊb(ə)l/ adj. 全球的&#xff0c;全世界的&#xff1b;全面的&#xff0c;整体的&#xff1b;&#xff08;计算机&#xff09;全局的&#xff1b;球形的 需求&#xff1a;如果有一个数据&#xff0c;在函数A和函数B中都要使用&#xff0c;该怎么办&…

【PyGIS】使用阿里AIEarth快速下载指定区域指定年份的土地利用数据

说明 中国逐年土地覆盖数据集(CLCD) 由武汉大学的杨杰和黄昕教授团队基于Landsat影像制作了中国逐年土地覆盖数据集(annual China Land Cover Dataset, CLCD),数据包含1985—2021年中国逐年土地覆盖信息。研究团队基于Landsat长时序卫星观测数据,构建时空特征,结合随机森…

Linux常用命令——blockdev命令

在线Linux命令查询工具 blockdev 从命令行调用区块设备控制程序 补充说明 blockdev命令在命令调用“ioxtls”函数&#xff0c;以实现对设备的控制。 语法 blockdev(选项)(参数)选项 -V&#xff1a;打印版本号并退出&#xff1b; -q&#xff1a;安静模式&#xff1b; -v&…

蓝桥杯官网填空题(重合次数)

问题描述 在同一天中, 从上午 6 点 13 分 22 秒到下午 14 点 36 分 20 秒, 钟表上的 分针和秒针一共重合了多少次? 注意时针、分针、秒针都围绕中心敳匀速运动。 答案提交 这是一道结果填空的题&#xff0c;你只需要算出结果后提交即可。本题的结果为一 个整数, 在提交答案…

【正则插件】前端正则插件以及预览插件推荐

1&#xff09; 2&#xff09; any-rule Pegex Previewer 下载好插件之后 在代码层右键选择 选择你需要的正则表达式&#xff0c;随后可以使用第二个插件 正则表达式插入之后顶部会有 Test Regex.. 点击会出现以下内容 将他 ctrl a 删除&#xff0c;输入你对应的正则表达…

@Validated注解的作用代码示例

当使用Spring框架进行参数验证时&#xff0c;可以通过Validated注解来触发参数验证。以下是一个简单的示例&#xff0c;演示了如何在Spring控制器中使用Validated注解来验证请求的参数&#xff1a; 首先&#xff0c;假设有一个简单的User类作为请求的数据模型&#xff1a; pu…

电脑序列号查询

电脑序列号是厂商给每台电脑分配的一个产品识别码&#xff0c;也称为S/N&#xff08;Serial Number&#xff09;。主要用来查询电脑的出厂日期、保修状态、生产产地、产品配置等信息。电脑序列号查询有以下几种方法&#xff1a; 1、电脑机箱外壳&#xff1b; 2、系统信息/命令…

前端下载文件链接

前端下载文件链接 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title> </hea…

CSS 文字溢出:ellipsis在IE上不起效果

单行文本的溢出显示省略号 p {overflow: hidden;text-overflow: ellipsis;white-space: nowrap; }多行文本的溢出显示省略号 方法一&#xff1a; p {display: -webkit-box;-webkit-box-orient: vertical;-webkit-line-clamp: 3;overflow: hidden;text-overflow: ellipsis; }…

梁培强:塑造下一代投资高手

在当前全球经济动荡和金融市场快速变化的背景下&#xff0c;梁培强的投资教育计划不仅仅是一套课程&#xff0c;它是对传统投资理念的深度挑战和革新。梁培强&#xff0c;拥有超过二十年金融行业经验的资深分析师&#xff0c;正在引领一场投资者教育的变革&#xff0c;旨在培养…

C++中的Makefile是什么, 如何使用

Makefile简介 Makefile是一种用于构建C/C程序的文件&#xff0c;其中包含了项目中所有源文件、头文件以及编译器和链接器指令。使用Makefile可以使编译和链接成为一个自动化的过程&#xff0c;这样就可以方便地管理复杂的项目。 以下是一个简单的Makefile示例&#xff1a; C…