Yarn 命令详细介绍

文章目录

  • yarn命令
      • 根据状态查看Yarn全部运行应用程序
      • 根据提交程序代码提交类型查看运行程序
      • yarn top 查看正在运行的状态
      • yarn top整体资源使用查看
  • Yarn web页面
  • 工具脚本
    • 根据yarn应用名称kill进程
    • 根据yarn应用名称查看日志

yarn命令

根据状态查看Yarn全部运行应用程序

# 查看全部运行过的yarn程序
yarn application -list -appStates ALL
# 查看正在运行的yarn程序,等同于:yarn application -list
yarn application -list -appStates RUNNING

-appStates

与-list一起使用,可根据输入的逗号分隔的应用程序状态列表来过滤应用程序。有效的应用程序状态可以是以下之一:ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINISHED,FAILED,KILLED


根据提交程序代码提交类型查看运行程序

# 查看Flink提交到yarn的程序
# yarn application -list -appTypes 'Apache Flink'Application-Id	    Application-Name	    Application-Type	      User	     Queue	             State	       Final-State	       Progress	                       Tracking-URL
application_1651044751782_0093	avris-profile-platform	        Apache Flink	      hdfs	root.users.hdfs	           RUNNING	         UNDEFINED	           100%	     http://dev-bigdata-24-149:4681

-appTypes #与-list一起使用,可以根据输入的逗号分隔的应用程序类型列表来过滤应用程序。

yarn top 查看正在运行的状态

YARN top - 17:03:12, up 13d, 6:24, 0 active users, queue(s): root
NodeManager(s): 3 total, 3 active, 0 unhealthy, 0 decommissioned, 0 lost, 0 rebooted
Queue(s) Applications: 7 running, 119 submitted, 0 pending, 69 completed, 43 killed, 0 failed
Queue(s) Mem(GB): 16 available, 70 allocated, 0 pending, 0 reserved
Queue(s) VCores: 67 available, 29 allocated, 0 pending, 0 reserved
Queue(s) Containers: 29 allocated, 0 pending, 0 reservedAPPLICATIONID USER             TYPE      QUEUE PRIOR   #CONT  #RCONT  VCORES RVCORES     MEM    RMEM  VCORESECS    MEMSECS %PROGR       TIME NAME                                            application_1655951936605_0067 hadoop     apache flink    default     0       9       0       9       0     26G      0G    1636659    4728125 100.00   02:02:31 avris-clue-ruleapplication_1655951936605_0120 hadoop     apache flink    default     0       6       0       6       0     12G      0G     509589    1019188 100.00   00:23:35 avris-profile-platformapplication_1655951936605_0122 hadoop     apache flink    default     0       4       0       4       0     11G      0G       4945      13599 100.00   00:00:20 avris-strategy-ruleapplication_1655951936605_0048 hadoop     apache flink    default     0       3       0       3       0      9G      0G    1287268    3861784 100.00   04:23:11 avris-scEvent-toCDPapplication_1655951936605_0121 hadoop     apache flink    default     0       3       0       3       0      5G      0G     253043     421733 100.00   00:23:25 avris-behavior-labelRegineapplication_1655951936605_0003 hadoop     apache flink    default     0       2       0       2       0      3G      0G    2290410    3435610 100.00   13:06:06 avris-userinfo-changeapplication_1655951936605_0002 hadoop     apache flink    default     0       2       0       2       0      4G      0G    2290768    4581525 100.00   13:06:09 avris-event-hbase

说明:

参数说明
#RCONT使用的容器container个数
RVCORES使用的cpu核数
RMEM使用的内存大小
APPLICATIONIDyarn任务ID
USER提交任务用户
TYPE任务类型,如:apache flink
QUEUE提交任务所在队列

yarn top整体资源使用查看

YARN top - 17:08:52, up 13d, 6:29, 0 active users, queue(s): root
NodeManager(s): 3 total, 3 active, 0 unhealthy, 0 decommissioned, 0 lost, 0 rebooted
Queue(s) Applications: 7 running, 119 submitted, 0 pending, 69 completed, 43 killed, 0 failed
Queue(s) Mem(GB): 16 available, 70 allocated, 0 pending, 0 reserved
Queue(s) VCores: 67 available, 29 allocated, 0 pending, 0 reserved
Queue(s) Containers: 29 allocated, 0 pending, 0 reserved
参数说明
available剩余可用的资源
allocated已经使用的资源
reserved已经申请正在分配的资源
pending等待申请的资源
available + allocatedYarn的总资源

Yarn web页面

在这里插入图片描述

工具脚本

根据yarn应用名称kill进程

[hadoop@10 /data]$ cat kill.sh 
applicationId=`yarn application -list | grep '提交程序在Yarn名称' |awk '{print $1}'`
yarn application -kill $applicationId
yarn application -list

根据yarn应用名称查看日志

applicationId=`yarn application -list | grep '提交程序在Yarn名称' |awk '{print $1}'`
yarn logs -applicationId $applicationId

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/509540.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

初窥Linux 之 我最常用的20条命令

玩过Linux的人都会知道,Linux中的命令的确是非常多,但是玩过Linux的人也从来不会因为Linux的命令如此之多而烦恼,因为我们只需要掌握我们最常用的命令就可以了。当然你也可以在使用时去找一下man,他会帮你解决不少的问题。然而每个…

纸牌三角形(蓝桥杯)

标题:纸牌三角形 A,2,3,4,5,6,7,8,9 共9张纸牌排成一个正三角形(A按1计算)。要求每个边的和相等。 下图就是一种排法。 A 9 6 4 8 3 7 5 2 镜像后的: A 6 9 8 4 2 5 7 3 这样的排法可能会有很多。 如果考虑旋转、镜像…

BackPressure详细介绍

BackPressure详细介绍 文章目录BackPressure详细介绍前言什么是反压?为什么需要关注反压?为什么不需要关注反压?如何发现和追踪反压的根源?反压的坏处经常碰到哪些问题会任务反压怎么处理反压?前言 Flink反压已经是老…

new/delete和malloc/free的区别一般汇总

一、基本概念 malloc/free: 1、函数原型及说明: void *malloc(long NumBytes):该函数分配了NumBytes个字节,并返回了指向这块内存的指针。如果分配失败,则返回一个空指针(NULL)。 void free(voi…

给IT新人的15个建议:程序员的辛酸反省与总结!

很多人表面上看着老实巴交的,实际上内心比谁都好强、自负、虚荣、甚至阴险。工作中见的多了,也就习惯了。   有一些人,什么事都写在脸上,表面上经常得罪人,甚至让人讨厌。但是他们所表现的又未必不是真性情。 我相信…

Logback日志发送到Kafka

Logback日志发送到Kafka 文章目录Logback日志发送到Kafka一、使用logback将日志发送至kafka1.1 引入依赖1.2 logback.xml简单Demo1.3 兼容性1.4 完整的样例1.5 启动程序收集日志1.6 项目Git地址一、使用logback将日志发送至kafka 1.1 引入依赖 如果存在则跳过该步骤 pom.xml …

01背包问题(DFS解法)

有5个物体,每个物品只有一个,其重量分别是为2,2,6,5,4,价值分别为6,3,5,4,6,背包的载重量为10,求装入背包的物体及总质量。 计算结果:15 package com.lanQiaoFor6;import java.util.ArrayList; import java.util.TreeSet;public class JAVA_6 {static …

Windows下安装Vim插件管理Vundle

VIM是编辑器之神,这个就不用说了,越使用越会体会到VIM的强大与便利。但是它的强大建立在众多插件组合之上,而Vim本身缺乏对插件的有效管理,安装插件并配置_vimrc文件非常不便。gmarik受到Ruby的bunler的启发,开发了vun…

AOE网

博客来源:http://blog.csdn.net/wang379275614/article/details/13990163 认识AOE网 有向图中,用顶点表示活动,用有向边表示活动之间开始的先后顺序,则称这种有向图为AOV网络;AOV网络可以反应任务完成的先后顺序&#…

Spark foreachRDD的使用

常出现的使用误区: **误区一:**在driver上创建连接对象(比如网络连接或数据库连接) 如果在driver上创建连接对象,然后在RDD的算子函数内使用连接对象,那么就意味着需要将连接对象序列化后从driver传递到w…

包子凑数(蓝桥杯)

标题:包子凑数 小明几乎每天早晨都会在一家包子铺吃早餐。他发现这家包子铺有N种蒸笼,其中第i种蒸笼恰好能放Ai个包子。每种蒸笼都有非常多笼,可以认为是无限笼。 每当有顾客想买X个包子,卖包子的大叔就会迅速选出若干笼包子来&…

makefile例子(经典)

相信在unix下编程的没有不知道makefile的,刚开始学习unix平台 下的东西,了解了下makefile的制作,觉得有点东西可以记录下。   下面是一个极其简单的例子: 现在我要编译一个Hello world,需要如下三个文件:…

Scala-SparkStreaming 2.2.0 消费 kafka0.10(生产1.0)

Scala-SparkStreaming 2.2.0 kafka0.10(生产1.0) 文章目录Scala-SparkStreaming 2.2.0 kafka0.10(生产1.0)代码Pom.xmlSparkstreaming 2.1.1版本pom文件Spark 2.2 kafka0.10(api使用的0.10,实际生产kafka版本是1.0)代码…

数据结构前缀,后缀,中缀表达式

[cpp] view plaincopy [cpp] view plaincopy <span style"color: rgb(51, 51, 51); font-family: Arial; font-size: 14px; line-height: 26px; background-color: rgb(255, 255, 255);">举例&#xff1a;</span> (3 4) 5 - 6 就是中缀表达式 - 3…

hdu1232畅通路程(并查集)

参考博客&#xff1a;https://blog.csdn.net/blue_skyrim/article/details/50178287 畅通工程 Time Limit: 4000/2000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others) Total Submission(s): 62854 Accepted Submission(s): 33623 Problem Description 某省调…

gcc的简单使用教程

前几天在学习嵌入式入门时,有一个视频中就是介绍gcc的使用的,看了视频后突然好 想将GCC的手册页翻译出来,后来看到手册页发现实在太多了,凭我个人的能力根本无 法完成,只能写一些自己使用Gcc时的一些常规使用方法. GCC是GNU的成员之一,原意是GNU的C语言编译器,后来发展到不只能…

SparkStreaming参数介绍

SparkStreaming参数介绍 spark.streaming.concurrentJobs :增加job并行度 可以通过集中方法为streaming job配置此参数。 - spark-default中修改 全局性修改&#xff0c;所有的streaming job都会受到影响。 - 提交streaming job是 –conf 参数添加&#xff08;推荐&#x…

还是畅通工程(克鲁斯卡尔算法+并查集)

还是畅通工程 Time Limit: 4000/2000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others) Total Submission(s): 53997 Accepted Submission(s): 24504 Problem Description 某省调查乡村交通状况&#xff0c;得到的统计表中列出了任意两村庄间的距离。省政府“畅…

makefile深度学习(一个工程实例来学习 Makefile)

转自 http://www.cnblogs.com/OpenShiFt/p/4313351.html?utm_sourcetuicool&utm_mediumreferral Makefile 文件的编写 学习前的准备 需要准备的工程目录结构如下&#xff1a; . ├── add │ ├── add_float.c │ ├── add.h │ └── add_int.c ├── main…

Spark算子介绍

Spark算子 文章目录Spark算子一、转换算子coalesce函数repartition函数flatMap——flatMap变换sample——抽样zip——联结mapValues——对Value值进行变换二、行动Action算子数据运算类行动算子reduce——Reduce操作collect——收集元素countByKey——按Key值统计Key/Value型RD…