hadoop yarn 获取日志_Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数

注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。

1.    权限相关配置参数

这里的权限由三部分组成,分别是:(1)管理员和普通用户如何区分 (2)服务级别的权限,比如哪些用户可以向集群提交ResourceManager提交应用程序,(3)队列级别的权限,比如哪些用户可以向队列A提交作业等。

管理员列表由参数yarn.admin.acl指定。

服务级别的权限是通过配置hadoop-policy.xml实现的,这个与Hadoop 1.0类似

队列级别的权限是由对应的资源调度器内部配置的,比如Fair Scheduler或者Capacity Scheduler等,具体阅读后面几节。

2.    日志聚集相关配置参数

日志聚集是YARN提供的日志中央化管理功能,它能将运行完成的Container/任务日志上传到HDFS上,从而减轻NodeManager负 载,且提供一个中央化存储和分析机制。默认情况下,Container/任务日志存在在各个NodeManager上,如果启用日志聚集功能需要额外的配 置。

(1)yarn.log-aggregation-enable

参数解释:是否启用日志聚集功能。

默认值:false

(2)yarn.log-aggregation.retain-seconds

参数解释:在HDFS上聚集的日志最多保存多长时间。

默认值:-1

(3)yarn.log-aggregation.retain-check-interval-seconds

参数解释:多长时间检查一次日志,并将满足条件的删除,如果是0或者负数,则为上一个值的1/10。

默认值:-1

(4)yarn.nodemanager.remote-app-log-dir

参数解释:当应用程序运行结束后,日志被转移到的HDFS目录(启用日志聚集功能时有效)。

默认值:/tmp/logs

(5)yarn.log-aggregation.retain-seconds

参数解释:远程日志目录子目录名称(启用日志聚集功能时有效)。

默认值:日志将被转移到目录

${yarn.nodemanager.remote-app-log-dir}/${user}/${thisParam}下

【编辑推荐】

【责任编辑:chensf TEL:(010)68476606】

点赞 0

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/565581.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【youcans 的 OpenCV 例程200篇】156. 边缘连接局部处理的简化算法

欢迎关注 『youcans 的 OpenCV 例程 200 篇』 系列,持续更新中 欢迎关注 『youcans 的 OpenCV学习课』 系列,持续更新中 【youcans 的 OpenCV 例程200篇】156. 边缘连接局部处理的简化算法 2.8 局部处理连接边缘 在实际应用中,由于噪声、光照…

时间索引 mysql_mysql时间类型和表定义及索引定义

3.表定义基本形式:create table 【if not exists】 表名 ( 字段列表 【,索引或约束列表】) 【表选项列表】;或:create table 【if not exists】 表名 (字段1,字段2,....【,索引或约束1&…

矩阵对角线元素之和

根据控制台文本内容的提示输入9个数字,这九个数字将会组成一个3*3的矩阵,程序会计算出你输入的矩阵的对角线之和。 结果演示 代码演示 package com.five;import java.util.Scanner;public class Juzhen {public static Scanner input new Scanner(Sy…

计算机设计大赛国奖作品_5. 模拟退火求解旅行商问题

计算机设计大赛国奖作品_5. 模拟退火求解旅行商问题 本系列是2021年中国大学生计算机设计大赛作品“环境监测无人机航线优化”的相关文档,获得2021年西北赛区一等奖,国赛三等奖。学生习作,只供大家参考。 计算机设计大赛国奖作品_1. 项目概要…

mysql master-user_【MySQL】MySQL5.6数据库基于binlog主从(Master/Slave)同步安装与配置详解...

主从数据库同步原理image.png主从数据库同步工作原理(流程):当主库的数据发生修改时,数据更改的记录将写入到主库的二进制文件中,从库此时将会调用一个IO线程读取主库的二进制文件,并与中继日志作对比,并将存在差异的事…

计算数字的位数并逆序输出

根据控制台文本提示输入一个数,这个数不能大于5位,并且要求是一个整数,程序会输出你输入数字的位数并且会输出每个数字在第几位,然后进行逆序输出显示。 结果演示 代码演示 package com.five;import java.util.Scanner;public …

【youcans 的 OpenCV 例程200篇】157. 霍夫变换直线检测

欢迎关注 『youcans 的 OpenCV 例程 200 篇』 系列,持续更新中 欢迎关注 『youcans 的 OpenCV学习课』 系列,持续更新中 【youcans 的 OpenCV 例程200篇】157. 霍夫变换直线检测 2.9 霍夫变换 霍夫变换(Hough Transform)是图像处…

数字排序

对数字进行排序输出,根据提示输入你要输入数字的个数,然后输入相关的数字,程序会进行排序输出。 结果演示 代码演示 package com.five;import java.util.Scanner;public class Paixu {public static Scanner input new Scanner(System.in…

linux 清除mysql密码_linux重置mysql密码

一般这个错误是由密码错误引起,解决的办法自然就是重置密码。假设我们使用的是root账户。1.重置密码的第一步就是跳过MySQL的密码认证过程,方法如下:#vim /etc/my.cnf(注:windows下修改的是my.ini)在文档内搜索mysqld定位到[mysql…

【youcans 的 OpenCV 例程200篇】158. 阈值处理之固定阈值法

欢迎关注 『youcans 的 OpenCV 例程 200 篇』 系列,持续更新中 欢迎关注 『youcans 的 OpenCV学习课』 系列,持续更新中 【youcans 的 OpenCV 例程200篇】158. 阈值处理之固定阈值法 3.1 阈值处理基础 阈值就是临界值。图像阈值处理简单、直观&#xff…

【youcans 的 OpenCV 例程200篇】159. 图像分割之全局阈值处理

【OpenCV 例程200篇】 系列,持续更新中… 【OpenCV 例程200篇 总目录-202205更新】 【youcans 的 OpenCV 例程200篇】159. 图像分割之全局阈值处理 3.2 全局阈值处理基本方法 当图像中的目标和背景的灰度分布较为明显时,可以对整个图像使用固定阈值进行…

求最大值

在一个整数数组里面求最大的一个数并输出显示。 结果演示 代码演示 package com.six; public class Max {public static void main(String[] args) {int[] arr{4,8,3,30,7,5};int maxgetMax(arr);System.out.println("max"max);}static int getMax(int[] arr){int…

【youcans 的 OpenCV 例程200篇】160. 图像处理之OTSU 方法

欢迎关注 『youcans 的 OpenCV 例程 200 篇』 系列,持续更新中 OpenCV 例程200篇 总目录-202205更新 【youcans 的 OpenCV 例程200篇】160. 图像处理之OTSU 方法 3.3 全局阈值处理 Otsu 方法 阈值处理本质上是对像素进行分类的统计决策问题。 OTSU 方法又称大津算…

mysql innodb表移植_mysql Innodb引擎独立表空间下通过复制.ibd文件快速迁移数据文件...

假设需求:需要把库test1中的的数据迁移到test2中,并且test2中数据量特别大硬性条件:1.mysql 使用 Innodb引擎,且开启独立表空间,2.两个库的mysql版本一致(不同版本下未做测试)1.导出test1库的表结构创建语句&#xff0…

【youcans 的 OpenCV 例程200篇】161. OTSU 阈值处理算法的实现

OpenCV 例程200篇 总目录-202205更新 欢迎关注 『youcans 的 OpenCV 例程 200 篇』 系列,持续更新中 【youcans 的 OpenCV 例程200篇】161. OTSU 阈值处理算法的实现 3.3 全局阈值处理 Otsu 方法 OTSU 方法又称大津算法,使用最大化类间方差(…

近似值匹配

根据文本提示输入英文的星期一到星期日的任意一天的英文的首字母,程序会自动进行近似匹配并输出根据你输入的首字母匹配到的星期。 程序分析 1.大小写的转化 2.判断是否是星期几的英文首字母 3.如果是,输出星期几 4.如果不是给出相应的提示 结果演示 输…

mysql plsql cursor_Oracle--plsql游标创建和使用

游标(cursor)是Oracle系统在内存中开辟的一个工作区,在其中存放SELECT语句返回的查询结果。,PL/SQL隐式建立并自动管理这一游为什么要Oracle游标:先看这个:DECLAREv_empno emp.empno%type;v_ename emp.ename%type;BEGINSELECT emp…

【youcans 的 OpenCV 例程200篇】162. 全局阈值处理改进方法

欢迎关注 『youcans 的 OpenCV 例程 200 篇』 系列,持续更新中 OpenCV 例程200篇 总目录-202205更新 【youcans 的 OpenCV 例程200篇】162. 全局阈值处理改进方法 3.4 全局阈值处理改进方法 在实际的图像处理中,噪声严重影响阈值处理的结果,…

mysql优化 坑_mysql之我们终将踩过的坑(优化)

一、EXPLAIN做MySQL优化,我们要善用 EXPLAIN 查看SQL执行计划。下面来个简单的示例,标注(1,2,3,4,5)我们要重点关注的数据type列,连接类型。一个好的sql语句至少要达到range级别。杜绝出现all级别key列,使用到的索引名。如果没有选…

求1+2!+3!+......+20!的和

使用java算法求求12&#xff01;3&#xff01;…20!的和 结果演示 代码展示 package com.six;public class Qiudsh {public static void main(String[] args) {long sum 0; long temp 1;for(int i1;i<20;i){temp 1;for(int j1;j<i;j){temp temp * j;}sum sumtemp…