企业级大数据安全架构(六)数据授权和审计管理

作者:楼高
本节详细介绍企业级大数据架构中的第六部分,数据授权和审计管理

1.Ranger简介

Apache Ranger是一款被设计成全面掌管Hadoop生态系统的数据安全管理框架,为Hadoop生态系统众多组件提供一个统一的数据授权和管理界面,
管理员只需要对接一个Ranger管理系统,就可以对整个Hadoop生态系统进行数据管理,数据授权和审计。

2.安装Ranger和Ranger KMS

需要先创建ranger库

CREATE DATABASE ranger DEFAULT CHARACTER SET utf8;CREATE USER 'ranger'@'localhost' IDENTIFIED BY 'hdp123456';GRANT ALL PRIVILEGES ON *.* TO 'ranger'@'localhost';CREATE USER 'ranger'@'%' IDENTIFIED BY 'hdp123456';GRANT ALL PRIVILEGES ON *.* TO 'ranger'@'%';GRANT ALL PRIVILEGES ON *.* TO 'ranger'@'localhost' WITH GRANT OPTION;GRANT ALL PRIVILEGES ON *.* TO 'ranger'@'%' WITH GRANT OPTION;FLUSH PRIVILEGES;

需要先创建rangerkms库

CREATE DATABASE rangerkms DEFAULT CHARACTER SET utf8;CREATE USER 'rangerkms'@'localhost' IDENTIFIED BY 'hdp123456';GRANT ALL PRIVILEGES ON *.* TO 'rangerkms'@'localhost';CREATE USER 'rangerkms'@'%' IDENTIFIED BY 'hdp123456';GRANT ALL PRIVILEGES ON *.* TO 'rangerkms'@'%';GRANT ALL PRIVILEGES ON *.* TO 'rangerkms'@'localhost' WITH GRANT OPTION;GRANT ALL PRIVILEGES ON *.* TO 'rangerkms'@'%' WITH GRANT OPTION;FLUSH PRIVILEGES;

下面以Ambari安装组件为例:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.FAQ

(1)测试联通性时报Access denied for user
在这里插入图片描述
Root用户没有权限导致的
给root用户添加权限后测试通过

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'hdp123456'
Access denied for user 'root'@'%' to database 'rangerkms' ErrorCode: 1044

(2)登录mysql查看权限

mysql> SELECT host,user,authentication_string,Grant_priv,Super_priv FROM mysql.user;

在这里插入图片描述
可以看到授权的权限没有打开,修复下
打开权限

UPDATE mysql.user SET Grant_priv='Y', Super_priv='Y' WHERE User='root';
FLUSH PRIVILEGES;

4.Ranger配置

4.1 HDFS配置

4.1.1在ranger中选择开启要开ranger相对于的组件
在这里插入图片描述
4.1.2选择对应组件添加相关配置
在这里插入图片描述
4.1.3参数配置
在这里插入图片描述
4.1.4测试联通性之后保存
在这里插入图片描述
参数说明

参数说明
Service Name自定义
Username自定义
Password自定义
Namenode URL非高可用集群:hdfs://emr-header-1:9000
高可用集群:hdfs://emr-header-1:8020
Authorization Enabled标准集群选择No;高安全集群选择Yes
Authentication TypeSimple:表示标准集群
Kerberos:表示高安全集群
dfs.datanode.kerberos.principal标准集群时不填写;高安全集群时填写hdfs/_HOST@EMR.${id}.com
dfs.namenode.kerberos.principal
dfs.secondary.namenode.kerberos.principal
Add New Configurations

说明 您可以登录服务器执行hostname命令,hostname中的数字即为${id}。
Namenode URL参数查看
在这里插入图片描述
在这里插入图片描述
4.1.5权限配置示例
例如,授予test用户/user/foo路径的Write和Execute权限。
a.进入Ranger UI页面
b.在Ranger UI页面,单击配置好的hdp-hadoop。
在这里插入图片描述
c.单击右上角的Add New Policy。
d.配置相关参数。
e.单击Add。
f.单击Add。

参数说明
Policy Name策略名称,可以自定义。
Resoure Path资源路径。
recursive子目录或文件是否集成权限。
Select Group指定添加此策略的用户组。
Select User指定添加此策略的用户。
Permissions选择授予的权限。

添加Policy后,实现了对test用户的授权。test用户即可访问/user/foo的HDFS路径。
说明 添加、删除或修改Policy后,需要等待约一分钟至授权生效。

更多技术信息请查看云掣官网https://yunche.pro/?t=yrgw

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/655502.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

怎么创建facebook广告

创建Facebook广告的文章应由本人根据自身实际情况书写,以下仅供参考,请您根据自身实际情况撰写。 创建Facebook广告的步骤: 确定目标受众和广告主题:首先需要明确你的目标受众是谁,他们有什么特点,以及你想…

蓝桥杯2024/1/28----十二届省赛题笔记

题目要求: 2、 竞赛板配置要求 2.1将 IAP15F2K61S2 单片机内部振荡器频率设定为 12MHz。 2.2键盘工作模式跳线 J5 配置为 KBD 键盘模式。 2.3扩展方式跳线 J13 配置为 IO 模式。 2.4 请注意 : 选手需严格按照以上要求配置竞赛板,编写和调…

APT32F1023X 发送RF433处理

1.硬件电路--CMT2110A 需要注意:发射端MCU写数据的频率要匹配,如果MCU发送中时间最小脉宽是1MS,那么它的发送需要设置为1kbps。 通过华普微USB调试工具PC软件RFPDK_V1.55查看设置是否正确。 2.RF433发送 用到的发送和接收代码来自“无线433发…

Matlab基础语法

基础语法 %% Matlab基本的小常识 % (1)在每一行的语句后面加上分号(一定要是英文的哦;中文的长这个样子;)表示不显示运行结果 a 3; a 5% (2)多行注释:选中要注释的若干语句,快捷键CtrlR % a 3; % a 5% (3)取消注释:选中要取消注释的语句,快捷键CtrlT % 我想要取…

【机器学习300问】20、什么是神经网络?和深度学习什么关系?

在学习深度学习的相关知识之前,我们首先得了解什么是神经网络,解开神经网络的神秘面纱后,什么是深度学习的问题也就迎刃而解。我依旧会采用我习惯的方式:先给出例子直观理解,在给出定义深入理解,最后在实际…

Ubuntu 系统如何修改时间

Ubuntu 系统如何修改时间 简介:在Ubuntu上,你可以使用以下三种方法来修改时间:date命令,timedatectl命令和hw 原文:Ubuntu 系统如何修改时间 (baidu.com)https://cloud.baidu.com/article/393621 三种方法修改Ubunt…

python中tuple元组的作用是什么

在Python中,tuple(元组)是一种不可变序列,可以存储不同类型的数据。 有以下几个作用: 用于存储多个相关的值:tuple是一个容器,可以用于存储多个值,这些值可以是不同类型的数据。例如…

前端自己整理的学习面试笔记

简介 以下是本人一年多整理的前端学习笔记,现汇总分享给大家,很多问题都是面试必问的 更多学习资源,可以点击我获取更多 1 js数据类型 原始类型: null undefined number string boolean Symbol BigInt 引用类型: 对…

ES6.8.6 Java客户端发起 增删改查 query (bool)、update、delete

文章目录 环境测试数据增单个新增批量新增 删通过delete by api删除通过delete by query api删除删除索引中指定字段(script) 改单个修改update by api通过_bulk批量修改批量修改update by query api使用script脚本修改 查完全匹配(term&…

Android Studio 下载安装配置使用入门【2024年最新】

前言: Android Studio 是谷歌官方提供的主要集成开发环境(IDE),专为 Android 平台应用开发而设计。它基于 JetBrains 的 IntelliJ IDEA 软件,并在此基础上增加了大量针对 Android 开发的定制功能。Android Studio 通过…

浏览器推荐:从技术与体验角度的深入探讨

文章目录 浏览器推荐:从技术与体验角度的深入探讨主流浏览器概览1. Chrome2. Firefox3. Safari4. Edge5. 其他浏览器 浏览器技术差异渲染引擎JavaScript引擎网络与安全性 浏览器速度与性能基准测试实际使用 开发者友好性开发者工具扩展与插件开发者社区与资源 选择建…

基于Vue uniapp和java SpringBoot的汽车充电桩微信小程序

摘要: 随着新能源汽车市场的迅猛发展,汽车充电桩的需求日益增长。为了满足市场需求,本课题开发了一款基于Java SpringBoot后端框架和Vue uniapp前端框架的汽车充电桩微信小程序。该小程序旨在为用户提供一个简洁高效的充电服务平台&#xff0…

MySQL事务和锁08

官网地址:https://dev.mysql.com/doc/refman/5.7/en/xa-states.html 欢迎关注留言,我是收集整理小能手,工具翻译,仅供参考,笔芯笔芯. Mysql5.7参考手册 / ... / XA交易状态 13.3.7.2xa交易状态 通过以下国家进行的…

计算机视觉:高级图像处理,满足您的所有需求。

一、说明 特征提取是机器学习管道中的关键步骤,可增强模型在不同数据集上的泛化和良好表现能力。特征提取方法的选择取决于数据的特征和机器学习任务的具体要求。本文揭示图像处理的数学原理,实现增强的计算机视觉 二、关于计算机视觉的普遍问题 在计算机…

ubuntu22.04@laptop 常用基础环境安装

ubuntu22.04laptop 常用基础环境安装 1. 源由2. 步骤2.1 安装ubuntu22.04 LTS系统2.2 必备软件安装2.3 基本远程环境2.3.1 远程ssh登录2.3.2 samba局域网2.3.3 VNC远程登录 2.4 开发环境安装 3. 总结 1. 源由 应朋友要求,整理下一个个人常用的工作笔记本常用开发环…

pytest框架的基本使用

1. 测试框架的作用 测试框架不关系用例的内容 它关心的是:用例编排和结果收集 2. pytest框架的特点 1. 适用于python语言 2. 用法符合python风格 3. 有丰富的生态 3. 安装pytest框架 1. 新建一个项目 2. 在项目终端窗口输入如下命令,用于安装py…

python字典JSON 和csv文件

JSON与Python字典 Python中的字典与JSON非常类似而且支持嵌套结构。Json通过key取值的过程和python字典通过索引取值过程完全一致。JavaScript数据类型(值)对应的Python数据类型(值) JSONPythonobjectdictarraylist/tuplestring…

使用Hutool工具包解析、生成XML文件

说明&#xff1a;当我们在工作中需要将数据转为XML文件、或者读取解析XML文件时&#xff0c;使用Hutool工具包中的XMLUtil相关方法是最容易上手的方法&#xff0c;本文介绍如何使用Hutool工具包来解析、生成XML文件。 开始之前&#xff0c;需要导入Hutool工具包的依赖 <de…

SQL注入攻击 - 基于时间的盲注

环境准备:构建完善的安全渗透测试环境:推荐工具、资源和下载链接_渗透测试靶机下载-CSDN博客 1、SQL 盲注基础 盲注(Blind SQL)是注入攻击的一种形式,攻击者通过向数据库发送true或false等问题,并根据应用程序返回的信息来判断结果。这种攻击方式出现的原因是应用程序配…

002-00-02【大红ai源码】dolphinscheduler3.2.0 源码环境搭建------by孤山村头王大爷家女儿大红

【ai阅读源码-dolphinscheduler】 DolphinScheduler 开发手册1、软件要求2、克隆代码库3、编译打包4、代码风格5、新建数据库&#xff0c;导入元数据。6&#xff0c; 启动后端6.1 启动api-server 6.2 启动master-server6.3 启动worker-server 7 启动前端 DolphinScheduler 开发…