Centos7+Hadoop3.3.4+KDC1.15+Ranger2.4.0集成

一、集群规划

        本次测试采用3台虚拟机,操作系统版本为centos7.6。

        kerberos采用默认YUM源安装,版本为:1.15.1-55

        Ranger版本为2.4.0   系统用户为ranger:ranger

IP地址主机名KDCRanger
192.168.121.101node101.cc.localKDC masterRanger Admin
192.168.121.102node102.cc.localKDC slaver 1级
192.168.121.103node103.cc.localKDC slaver 2级Ranger Admin
MYSQL

        注意:前期安装过ranger,已创建ranger用户和ranger用户组,参考文档:Centos7 + Apache Ranger 2.4.0 部署_centos安装配置apacherangerjdbc-CSDN博客文章浏览阅读2.7k次。Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。_centos安装配置apacherangerjdbchttps://blog.csdn.net/snipercai/article/details/132227718

二、创建Kerberos主体

1、创建主体

注意:ranger的用户名都是固定的,必须按照指定用户名创建实体
HTTP
rangeradmin
rangerlookup
rangerusersync

# kadmin -p kws/admin -w kws\!101 -q"addprinc -randkey rangeradmin/node103.cc.local"
# kadmin -p kws/admin -w kws\!101 -q"addprinc -randkey rangerlookup/node103.cc.local"
# kadmin -p kws/admin -w kws\!101 -q"addprinc -randkey rangerusersync/node103.cc.local"
# kadmin -p kws/admin -w kws\!101 -q"addprinc -randkey HTTP/node103.cc.local"

2、生成keytab文件

# kadmin -p kws/admin -wkws\!101 -q"xst -k /etc/security/keytab/ranger.keytab rangeradmin/node103.cc.local rangerlookup/node103.cc.local rangerusersync/node103.cc.local HTTP/node103.cc.local"

3、修改keytab文件权限

# chown ranger:ranger /etc/security/keytab/ranger.keytab

三、配置Rangeradmin

1、修改install.properties

        修改policymgr地址,从原来的IP改为hostname,因为Kerberos认证是针对hostname

# ------- PolicyManager CONFIG ----------------
#

policymgr_external_url=http://node103.cc.local:6080

        修改Kerberos Config内容

#------------ Kerberos Config -----------------
spnego_principal=HTTP/node103.cc.local@CC.LOCAL
spnego_keytab=/etc/security/keytab/ranger.keytab
token_valid=30
cookie_domain=
cookie_path=/
admin_principal=rangeradmin/node103.cc.local@CC.LOCAL
admin_keytab=/etc/security/keytab/ranger.keytab
lookup_principal=rangerlookup/node103.cc.local@CC.LOCAL
lookup_keytab=/etc/security/keytab/ranger.keytab
hadoop_conf=/opt/hadoop/hadoop-3.3.4/etc/hadoop/

2、重新安装

# ./setup.sh

2024-04-24 17:53:07,536  [I] Ranger all admins default password has already been changed!!
Installation of Ranger PolicyManager Web Application is completed.

3、启动服务

# su - ranger
# ranger-admin start

四、配置RangerUsersync

1、修改install.properties

修改policymgr地址,从原来的IP改为hostname,因为Kerberos认证是针对hostname

POLICY_MGR_URL = http://node103.cc.local:6080

#Set to run in kerberos environment
usersync_principal=rangerusersync/node103.cc.local@CC.LOCAL
usersync_keytab=/etc/security/keytab/ranger.keytab
hadoop_conf=/opt/hadoop/hadoop-3.3.4/etc/hadoop/

2、重新安装

# ./setup.sh

[I] Successfully updated password of rangerusersync user

3、修改ranger-ugsync-site.xml

        修改conf/ranger-ugsync-site.xml

        <property>
                <name>ranger.usersync.enabled</name>
                <value>true</value>
        </property>

4、启动服务

# su - ranger
# ranger-usersync start

五、配置HDFS-Plugin

1、修改install.properties

修改policymgr地址,从原来的IP改为hostname,因为Kerberos认证是针对hostname

POLICY_MGR_URL = http://node103.cc.local:6080

2、重新安装

# ./disable-hdfs-plugin.sh

# ./enable-hdfs-plugin.sh

3、重启HDFS服务

# start-dfs.sh

4、页面配置

Service Name    hdfs_repo
Display Name    hdfs_repo
Description    --
Active Status    Enabled
Tag Service    --
Username    hadoop
Password    *****
Namenode URL    hdfs://192.168.121.101:9000,hdfs://192.168.121.102:9000,hdfs://192.168.121.103:9000
Authorization Enabled    true
Authentication Type    kerberos
hadoop.security.auth_to_local    DEFAULT
dfs.datanode.kerberos.principal    hadoop/_HOST@CC.LOCAL
dfs.namenode.kerberos.principal    hadoop/_HOST@CC.LOCAL
dfs.secondary.namenode.kerberos.principal    --
RPC Protection Type    authentication
Common Name for Certificate    --
policy.download.auth.users    hadoop
dfs.journalnode.kerberos.principal    hadoop/_HOST@CC.LOCAL

六、配置Yarn-plugin

1、修改install.properties

修改policymgr地址,从原来的IP改为hostname,因为Kerberos认证是针对hostname

POLICY_MGR_URL = http://node103.cc.local:6080

2、重新安装

# ./disable-yarn-plugin.sh

# ./enable-yarn-plugin.sh

3、重启yarn服务

# start-yarn.sh

4、页面配置

Service Name    yarn_repo
Display Name    yarn_repo
Description    --
Active Status    Enabled
Tag Service    --
Username    hadoop
Password    *****
YARN REST URL    http://192.168.121.101:8088,http://192.168.121.102:8088
Authentication Type    kerberos
Common Name for Certificate    hadoop/_HOST@CC.LOCAL
policy.download.auth.users    hadoop

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/5404.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【云原生】Docker 实践(四):使用 Dockerfile 文件的综合案例

Docker 实践&#xff08;四&#xff09;&#xff1a;使用 Dockerfile 文件的综合案例 下面将从一个 CentOS 的基础镜像开始&#xff0c;安装 JDK 和 Tomcat 环境&#xff0c;并完成一个 Web 应用的部署。整个过程通过一个 Dockerfile 文件来描述。通过 Dockerfile 文件来构建一…

Threejs制作服务器机房冷却结构

这节再绘制一个机房的结构&#xff0c;因为内容比较简单&#xff0c;就只使用一个章节来介绍&#xff0c; 先来一张效果图&#xff0c; 需要两个模型&#xff1a;一个冷却设备&#xff0c;一个服务器机箱&#xff0c;我这里是从网上找来的&#xff0c;首先我们搭建一个场景&a…

搭建大型分布式服务(三十七)SpringBoot 整合多个kafka数据源-取消限定符

系列文章目录 文章目录 系列文章目录前言一、本文要点二、开发环境三、原项目四、修改项目五、测试一下五、小结 前言 本插件稳定运行上百个kafka项目&#xff0c;每天处理上亿级的数据的精简小插件&#xff0c;快速上手。 <dependency><groupId>io.github.vipjo…

Matlab生成txt文件导入到Vivado仿真

Matlab处理数据并将其写入txt文件 %% Txt Generate pre_RS_datadec2bin(simDataIn,8); %将数据转化为8bit的二进制 fidfopen("F:\FPGA\Xilinx_vivado\project\dvbstestbench\dbvs\matlab\pre_RS_data.txt","wt"); for i1:n*nMessages %数据…

Ubuntu C++ man手册安装及使用

Ubuntu下C++ man手册安装 C++在线文档: http://www.cplusplus.com/reference/ 第一种办法:使用cppman $ sudo apt install cppman 使用方法 第二种办法: 打开网页:GCC mirror sites- GNU Project 点击下图中的突显行链接: Russia, Novosibirsk:

使用UmcFramework和unimrcpclient.xml连接多个SIP设置的配置指南及C代码示例

使用UmcFramework和unimrcpclient.xml连接多个SIP设置的配置指南及C代码示例 引言1. UniMRCP和UmcFramework简介2. 准备工作3. unimrcpclient.xml配置文件3.1 定义SIP设置3.2 定义MRCP会话配置文件 4. C代码示例5. 测试和验证6. 故障排查7. 结论8. 参考文献 引言 在多媒体通信…

小剧场短剧影视小程序源码_后端PHP

项目运行截图 源码贡献 https://githubs.xyz/boot?app42 部署说明 linux/win任选 PHP版本&#xff1a;7.3/7.2&#xff08;测试时我用的7.2要安装sg扩展 &#xff09; 批量替换域名http://video.owoii.com更换为你的 批量替换域名http://120.79.77.163:1更换为你的 这两个…

微服务之SpringCloud AlibabaSeata处理分布式事务

一、概述 1.1背景 一次业务操作需要跨多个数据源或需要跨多个系统进行远程调用&#xff0c;就会产生分布式事务问题 but 关系型数据库提供的能力是基于单机事务的&#xff0c;一旦遇到分布式事务场景&#xff0c;就需要通过更多其他技术手段来解决问题。 全局事务&#xff1a;…

【论文阅读】ChipNeMo中的数据集处理

前面总体学习了《ChipNeMo: Domain-Adapted LLMs for Chip Design》&#xff0c;然后又继续仔细看了论文中的领域适配分词和领域数据微调的预训练检索模型&#xff0c;对于数据集的处理&#xff0c;也需要仔细看一下。 提炼重点&#xff1a;1&#xff09;对于数据集&#xff0…

第1篇:创建Platform Designer系统

Q&#xff1a;本期我们开始使用Platform Designer工具创建带IP核的FPGA自定义硬件系统。 A&#xff1a;Platform Designer是集成在Quartus软件里的系统设计工具&#xff0c;名称随着Quartus的不断更新曾命名为SOPC Builder和Qsys。 使用Platform Designer可以添加Quartus已有自…

安卓数据库SQLite

目录 一、SQLite数据库二、SQLiteOpenHelper和SQLiteDatabase2.1 SQLiteOpenHelper2.2 SQLiteDatabase 三、常见数据库使用介绍3.1 创建数据库3.2 插入数据3.3 修改数据&#xff08;升级数据库&#xff09;3.4 删除数据3.5 查询数据3.6 关闭数据库3.7 删除数据库 一、SQLite数据…

基于uniapp vue3.0 uView 做一个点单页面(包括加入购物车动画和左右联动)

1、实现效果&#xff1a; 下拉有自定义组件&#xff08;商品卡片、进步器、侧边栏等&#xff09;源码 2、左右联动功能 使用scroll-view来做右边的菜单页&#xff0c;title的id动态绑定充当锚点 <scroll-view :scroll-into-view"toView" scroll-with-animation…

OSPF基本配置

原理概述 OSPF 是一种应用非常广泛的基于链路状态的动态路由协议&#xff0c;它具有区域&#xff08; Area )化的层次结构&#xff0c;扩展性好&#xff0c;收敛速度快&#xff0c;适合部署在各种规模的网络上。 在 OSPF 中&#xff0c;每台路由器都必须有一个 Router-I…

仓储机器人确实蛮卷的~

导语 大家好&#xff0c;我是智能仓储物流技术研习社的社长&#xff0c;老K。专注分享智能仓储物流技术、智能制造等内容。 新书《智能物流系统构成与技术实践》 视频来源于Agilox。 仓储机器人&#xff0c;无疑是现代物流业的一大亮点。它们小巧灵活&#xff0c;却能承担起繁重…

线上线下交友陪玩,支持小程序/app/h5三端打包,源码搭建!

社交APP定制开发的好处&#xff1a; 社交APP定制开发能够根据用户需求进行个性化定制&#xff0c;满足用户对于社交功能的特殊需求。不同用户对社交的理解和需求各不相同&#xff0c;定制开发可以根据用户的要求&#xff0c;提供更加个性化和专属的社交功能&#xff0c;为用户…

Zapier 与生成式 AI 的自动化(一)

原文&#xff1a;zh.annas-archive.org/md5/057fe0c351c5365f1188d1f44806abda 译者&#xff1a;飞龙 协议&#xff1a;CC BY-NC-SA 4.0 前言 当组织处理手动和重复性任务时&#xff0c;生产力会遇到重大问题。Zapier 处于无代码运动的前沿&#xff0c;提供了一种先进的工具&a…

Flutter运行项目一直:running gradle task

大体原因就是访问国外的资源由于网络等原因导致访问失败&#xff0c;解决方法就是换成国内的源 修改项目的android/build.gradle 文件&#xff0c;将里面的 google() mavenCentral()替换为 maven {allowInsecureProtocol trueurl https://maven.aliyun.com/repository/googl…

SpringCloud学习笔记(二)Ribbon负载均衡、Nacos注册中心、Nacos与Eureka的区别

文章目录 4 Ribbon负载均衡4.1 负载均衡原理4.2 源码解读4.3 负载均衡策略4.3.1 内置的负载均衡策略4.3.2 自定义负载均衡策略4.3.2.1 方式一&#xff1a;定义IRule4.3.2.2 方式二&#xff1a;配置文件 4.4 饥饿加载 5 Nacos注册中心5.1 认识和安装Nacos5.2 服务注册到Nacos5.3…

STM32 电源控制PWR

一、PWR电源控制 1.1 PWR&#xff08;Power Control&#xff09; PWR负责管理STM32内部的电源供电部分&#xff0c;可以实现可编程电压监测器和低功耗模式的功能 可编程电压监测器&#xff08;PVD&#xff09;可以监控VDD电源电压&#xff0c;当VDD下降到PVD阀值以下或上升到…

Postgresql 从小白到高手 十一 :数据迁移ETL方案

文章目录 Postgresql 数据迁移ETL方案1、Pg 同类型数据库2 、Pg 和 不同数据库 Postgresql 数据迁移ETL方案 1、Pg 同类型数据库 备份 : pg_dump -U username -d dbname -f backup.sql插入数据&#xff1a; psql -U username -d dbname -f backup.sqlpg_restore -U username…