Yarn 命令详细介绍

文章目录

  • yarn命令
      • 根据状态查看Yarn全部运行应用程序
      • 根据提交程序代码提交类型查看运行程序
      • yarn top 查看正在运行的状态
      • yarn top整体资源使用查看
  • Yarn web页面
  • 工具脚本
    • 根据yarn应用名称kill进程
    • 根据yarn应用名称查看日志

yarn命令

根据状态查看Yarn全部运行应用程序

# 查看全部运行过的yarn程序
yarn application -list -appStates ALL
# 查看正在运行的yarn程序,等同于:yarn application -list
yarn application -list -appStates RUNNING

-appStates

与-list一起使用,可根据输入的逗号分隔的应用程序状态列表来过滤应用程序。有效的应用程序状态可以是以下之一:ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINISHED,FAILED,KILLED


根据提交程序代码提交类型查看运行程序

# 查看Flink提交到yarn的程序
# yarn application -list -appTypes 'Apache Flink'Application-Id	    Application-Name	    Application-Type	      User	     Queue	             State	       Final-State	       Progress	                       Tracking-URL
application_1651044751782_0093	avris-profile-platform	        Apache Flink	      hdfs	root.users.hdfs	           RUNNING	         UNDEFINED	           100%	     http://dev-bigdata-24-149:4681

-appTypes #与-list一起使用,可以根据输入的逗号分隔的应用程序类型列表来过滤应用程序。

yarn top 查看正在运行的状态

YARN top - 17:03:12, up 13d, 6:24, 0 active users, queue(s): root
NodeManager(s): 3 total, 3 active, 0 unhealthy, 0 decommissioned, 0 lost, 0 rebooted
Queue(s) Applications: 7 running, 119 submitted, 0 pending, 69 completed, 43 killed, 0 failed
Queue(s) Mem(GB): 16 available, 70 allocated, 0 pending, 0 reserved
Queue(s) VCores: 67 available, 29 allocated, 0 pending, 0 reserved
Queue(s) Containers: 29 allocated, 0 pending, 0 reservedAPPLICATIONID USER             TYPE      QUEUE PRIOR   #CONT  #RCONT  VCORES RVCORES     MEM    RMEM  VCORESECS    MEMSECS %PROGR       TIME NAME                                            application_1655951936605_0067 hadoop     apache flink    default     0       9       0       9       0     26G      0G    1636659    4728125 100.00   02:02:31 avris-clue-ruleapplication_1655951936605_0120 hadoop     apache flink    default     0       6       0       6       0     12G      0G     509589    1019188 100.00   00:23:35 avris-profile-platformapplication_1655951936605_0122 hadoop     apache flink    default     0       4       0       4       0     11G      0G       4945      13599 100.00   00:00:20 avris-strategy-ruleapplication_1655951936605_0048 hadoop     apache flink    default     0       3       0       3       0      9G      0G    1287268    3861784 100.00   04:23:11 avris-scEvent-toCDPapplication_1655951936605_0121 hadoop     apache flink    default     0       3       0       3       0      5G      0G     253043     421733 100.00   00:23:25 avris-behavior-labelRegineapplication_1655951936605_0003 hadoop     apache flink    default     0       2       0       2       0      3G      0G    2290410    3435610 100.00   13:06:06 avris-userinfo-changeapplication_1655951936605_0002 hadoop     apache flink    default     0       2       0       2       0      4G      0G    2290768    4581525 100.00   13:06:09 avris-event-hbase

说明:

参数说明
#RCONT使用的容器container个数
RVCORES使用的cpu核数
RMEM使用的内存大小
APPLICATIONIDyarn任务ID
USER提交任务用户
TYPE任务类型,如:apache flink
QUEUE提交任务所在队列

yarn top整体资源使用查看

YARN top - 17:08:52, up 13d, 6:29, 0 active users, queue(s): root
NodeManager(s): 3 total, 3 active, 0 unhealthy, 0 decommissioned, 0 lost, 0 rebooted
Queue(s) Applications: 7 running, 119 submitted, 0 pending, 69 completed, 43 killed, 0 failed
Queue(s) Mem(GB): 16 available, 70 allocated, 0 pending, 0 reserved
Queue(s) VCores: 67 available, 29 allocated, 0 pending, 0 reserved
Queue(s) Containers: 29 allocated, 0 pending, 0 reserved
参数说明
available剩余可用的资源
allocated已经使用的资源
reserved已经申请正在分配的资源
pending等待申请的资源
available + allocatedYarn的总资源

Yarn web页面

在这里插入图片描述

工具脚本

根据yarn应用名称kill进程

[hadoop@10 /data]$ cat kill.sh 
applicationId=`yarn application -list | grep '提交程序在Yarn名称' |awk '{print $1}'`
yarn application -kill $applicationId
yarn application -list

根据yarn应用名称查看日志

applicationId=`yarn application -list | grep '提交程序在Yarn名称' |awk '{print $1}'`
yarn logs -applicationId $applicationId

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/509540.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

BackPressure详细介绍

BackPressure详细介绍 文章目录BackPressure详细介绍前言什么是反压?为什么需要关注反压?为什么不需要关注反压?如何发现和追踪反压的根源?反压的坏处经常碰到哪些问题会任务反压怎么处理反压?前言 Flink反压已经是老…

给IT新人的15个建议:程序员的辛酸反省与总结!

很多人表面上看着老实巴交的,实际上内心比谁都好强、自负、虚荣、甚至阴险。工作中见的多了,也就习惯了。   有一些人,什么事都写在脸上,表面上经常得罪人,甚至让人讨厌。但是他们所表现的又未必不是真性情。 我相信…

AOE网

博客来源:http://blog.csdn.net/wang379275614/article/details/13990163 认识AOE网 有向图中,用顶点表示活动,用有向边表示活动之间开始的先后顺序,则称这种有向图为AOV网络;AOV网络可以反应任务完成的先后顺序&#…

数据结构前缀,后缀,中缀表达式

[cpp] view plaincopy [cpp] view plaincopy <span style"color: rgb(51, 51, 51); font-family: Arial; font-size: 14px; line-height: 26px; background-color: rgb(255, 255, 255);">举例&#xff1a;</span> (3 4) 5 - 6 就是中缀表达式 - 3…

priority_queueint,vectorint,greaterint优先队列,按照从小到大

原网址&#xff1a; 优先队列 C优先队列的基本使用方法 在优先队列中&#xff0c;优先级高的元素先出队列。 标准库默认使用元素类型的<操作符来确定它们之间的优先级关系。 优先队列的第一种用法&#xff0c;也是最常用的用法&#xff1a; priority_queue<int>qi;通…

Spark stage如何划分

窄依赖和宽依赖 窄依赖&#xff1a; 指父RDD的每一个分区最多被一个子RDD的分区所用&#xff0c;表现为一个父RDD的分区对应于一个子RDD的分区&#xff0c;和两个父RDD的分区对应于一个子RDD 的分区。图中&#xff0c;map/filter和union属于第一类&#xff0c;对输入进行协同…

引出发射和什么是反射和Class类和Class实例、基本类型的字节码对象

引出发射和什么是反射 问题1: 1.对象有编译类型和运行类型Object obj new java.util.Date();编译类型: Object运行类型: java.util.Date需求:通过obj对象,调用java.util.Date类中的toLocaleString方法.obj.toLocaleString(); 此时编译报错, 编译时,会检查该编译类型中是…

获取类中的构造器

需求:通过反射来获取某一个类的构造器: 1):获取该类的字节码对象. 2):从该字节码对象中去找需要获取的构造器. ------------------------------------------------------------------------ Class类获取构造器方法: Constructor类:表示类中构造器的类型,Constructor的实例…

Maxwell读取MySQL数据

文章目录Maxwell 概述1.1 Maxwell 定义1.2 Maxwell工作原理1.2.1 MySQL主从复制过程1.2.2 Maxwell的工作原理1.2.3 **MySQL** **的** binlog1.3 Maxwell和Canal的对比Maxwell使用2.1 Maxwell安装2.1.1 安装地址2.1.2 安装部署2.1.3 MySQL环境准备2.1.4 初始化Maxwell元数据库2.…

Linux-(C/C++)动态链接库生成以及使用(libxxx.so)

Linux中so文件为共享库&#xff0c;与windows下dll类似&#xff0c;不过实现要简单。 so可以供多个进程使用&#xff0c;不同进程调用同一个so文件&#xff0c;所使用so文件不同。 so文件源程序不需要main函数&#xff0c;有也不会被执行。 下面通过一个简单例子&#xff0c;来…

IO之打印流

打印流,打印数据的,打印流只能是输出流: PrintStream: 字节打印流 PrintWriter: 字符打印流 -对于PrintWriter来说,当启用字段刷新之后, 调用println或者printf或者format方法,便会立马刷新操作. 如果没有开启自动刷新,则需要手动刷新或者当缓冲区满的时候,再自动刷新. 使…

IO之 Properties类加载文件

配置文件:资源文件(以.properties作为拓展名的文件)/属性文件: 做项目开发,为何使用配置文件? 把所有的数据存储在代码中,写死了,”硬编码”. 比如:在Java中需要连接数据库,必须拥有数据的账号和密码. 此时我们就得在Java代码中编写,类似的代码: String username”root”…

IO之数据流

数据流,提供了可以读/写任意数据类型的方法: DataOutputStream: 提供了 writeXxx(xxx value)方法. DataInputStream: 提供了 readXxx()方法. 注意: writeXxx和readXxx必须要对应起来, writeByte写出的数据,此时只能使用readByte读取回来.

可视化的状态机(FSM)

状态机这个概念已经在网上的博客和论坛中都已经说烂了&#xff0c;随便一搜都有一大堆。相关的废话就不多说了&#xff0c;在这里主要是分享一下如何可视化的设计状态机&#xff0c;如何增强项目的灵活性。这里通过一个生活中的电梯来了解一下状态机。 电梯逻辑如下图&#xf…

IO之 随机访问文件(RandomAccessFile)

随机访问文件(RandomAccessFile): 表示可以在该文件的任何位置写出和读取数据. API中文解释&#xff1a; 此类的实例支持对随机访问文件的读取和写入。随机访问文件的行为类似存储在文件系统中的一个大型 byte 数组。存在指向该隐含数组的光标或索引&#xff0c;称为文件指针&…

IO之 管道流

管道流: 实现两个线程之间的数据交互. PipedInputStream PipedOutputStream PipedReder PipedWriter 中文API解释&#xff1a; PipedInputStream public class PipedInputStreamextends InputStream管道输入流应该连接到管道输出流&#xff1b;管道输入流提供要写入管道输出流的…

AOE网上的关键路径

题目描述 一个无环的有向图称为无环图&#xff08;Directed Acyclic Graph&#xff09;&#xff0c;简称DAG图。 AOE(Activity On Edge)网&#xff1a;顾名思义&#xff0c;用边表示活动的网&#xff0c;当然它也是DAG。与AOV不同&#xff0c;活动都表示在了边上&#xff…

IO之NIO

NIO:New IO: 从JDK1.4开始提出的,新的IO,可以把一块磁盘文件映射到内存中,我们再去读取内存中的数据. 存放在java.nio包中. Java NIO&#xff08;New IO&#xff09;是从Java 1.4版本开始引入的一个新的IO API&#xff0c;可以替代标准的Java IO API 现在主要运用于服务器中…

IO流总结

四大基流: InputStream—- OutputStream Reader —- Writer IO流的总结和梳理: 文件流: FileInputStream FileOutputStream FileReader FileWriter 缓冲流: BufferedInputStream BufferedOutputStream BufferedReader BufferedWriter 转换流(把字节转换为字符): …

C++异常处理类与自定义异常处理类

转自&#xff1a;http://blog.csdn.net/makenothing/article/details/43273137 例1&#xff1a;自定义一个继承自excepton的异常类myException C标准中&#xff0c;定义在<stdexcept>中的任何异常类都派生自exception Class&#xff0c;本例也只是简单地由exception继承&…