yarn常用命令行

##修改hdfs日志的读写权限
hdfs dfs -ls /tmp/logs/autoflow/logs
hdfs dfs -chmod a+rwx /tmp/logs/autoflow/logs

##查看所有node节点状态
yarn node -list -all

##查看当前运行的应用
yarn application -list

##杀掉application
yarn application -kill application_1703647286630_204559

##获取application日志
##yarn logs -applicationId
yarn logs -applicationId application_1703647286630_204559

##获取container日志
##yarn logs -applicationId -containerId
yarn logs -applicationId application_1678411202227_0001 -containerId container_1678411202227_0001_01_000001 > file.txt

##列出所有尝试的applicationattempt
##yarn applicationattempt -list
yarn applicationattempt -list application_1703647286630_204559

##列出所有Container(容器在任务完成之后就销毁了)
##yarn container -list
yarn container -list appattempt_1703647286630_204559_000001

补充命令:

##获取文件前1万行
head -n 10000 file.txt > newfile.txt

##获取文件最后1万行
tail -n 10000 file.txt > newfile.txt

##查看报错信息

Caused by: java.io.IOException: Unable to close file because the last blockBP-1371676964-10.2.15.61-1700837018995:blk_1128276916_54542751 does not have enough number of replicas.at org.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutputStream.java:966)at org.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutputStream.java:909)at org.apache.hadoop.hdfs.DFSOutputStream.closeImpl(DFSOutputStream.java:892)at org.apache.hadoop.hdfs.DFSOutputStream.close(DFSOutputStream.java:847)at org.apache.hadoop.fs.FSDataOutputStream$PositionCache.close(FSDataOutputStream.java:72)at org.apache.hadoop.fs.FSDataOutputStream.close(FSDataOutputStream.java:101)at org.apache.hive.shaded.parquet.hadoop.ParquetFileWriter.end(ParquetFileWriter.java:648)at org.apache.hive.shaded.parquet.hadoop.InternalParquetRecordWriter.close(InternalParquetRecordWriter.java:117)at org.apache.hive.shaded.parquet.hadoop.ParquetRecordWriter.close(ParquetRecordWriter.java:162)at org.apache.hadoop.hive.ql.io.parquet.write.ParquetRecordWriterWrapper.close(ParquetRecordWriterWrapper.java:127)at org.apache.hadoop.hive.ql.io.parquet.write.ParquetRecordWriterWrapper.close(ParquetRecordWriterWrapper.java:144)at org.apache.flink.connectors.hive.write.HiveBulkWriterFactory$1.finish(HiveBulkWriterFactory.java:79)at org.apache.flink.formats.hadoop.bulk.HadoopPathBasedPartFileWriter.closeForCommit(HadoopPathBasedPartFileWriter.java:71)at org.apache.flink.streaming.api.functions.sink.filesystem.Bucket.closePartFile(Bucket.java:263)

hdfs没有足够的空间,进一步分析是cdh某个节点挂掉了
导致flink连接不上,获取不到资源!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/804863.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

二手车商的套路

https://www.dongchedi.com/article/7126394624675578405 https://www.dongchedi.com/article/7126394624675578405 现在,有越来越多的人去了解二手车,二手车相对于新车来说,更加的亲民划算。很多新车需要四五十万,而二手车有可…

Qt Creator 新建项目

🐌博主主页:🐌​倔强的大蜗牛🐌​ 📚专栏分类:QT❤️感谢大家点赞👍收藏⭐评论✍️ 目录 一、使用 Qt Creator 新建项目 1、新建项目 2、选择项目模板 3、选择项目路径 4、选择构建系统 5…

你不可不知的5款小众神器

Hey小伙伴们👋,是不是还在为工作中的效率不高而烦恼呢?别急,今天我就给大家安利5款超实用的国产小众工作效软件,让你的工作台效率翻倍,轻松应对各种工作挑战!🌟 1️⃣ 亿可达 ycoda…

使用立体视觉作为 3D LiDAR 的替代方案,在 KITTI ADAS 立体视觉数据集上微调立体变换器 (STTR) 模型-含数据集+源码资料下载

为什么是立体视觉? ADAS 立体视觉是指使用两个摄像头(类似于人眼)从略有不同的角度捕获图像的技术。该设置模仿人类双眼视觉,使系统能够感知环境的深度和 3D 结构。 立体视觉的关键技术方面 ADAS 立体视觉具有多种优势和高度复杂的功能。让我们探索它们以更好地理解: …

视频图像的两种表示方式YUV与RGB(4)

本篇主要讲YUV与RGB之间的转换,包括YUV444 颜色编码格式 转为 RGB 格式 ,RGB颜色编码格式转为 YUV444 格式。 一、 YUV与RGB之间的转换 YUV与RGB颜色格式之间进行转换时 , 涉及一系列的数学运算 ; YUV 颜色编码格式转为RGB格式的转换公式 取决于 于 YUV …

蓝桥杯每日一题:矩形牛棚(单调栈)

作为一个资本家,农夫约翰希望通过购买更多的奶牛来扩大他的牛奶业务。 因此,他需要找地方建立一个新的牛棚。 约翰购买了一大块土地,这个土地可以看作是一个 R行(编号 1∼R1)C 列(编号 1∼C1)…

Python requests 模块

爬虫、网络编程、接口......对于Python工程师来讲都绕不过一个强大的模块---requests,本篇文章就深入详细讲一讲requests模块。同时也先也分享一下开源API网站:Gitee-API文档、JSONPlaceholder API文档、和风天气API文档、Postman Echo API网站&#xff…

C语言_文件操作

文件基础 什么是文件 文件是在计算机中以实现某种功能、或某个软件的部分功能为目的而定义的一个单位。磁盘上的文件是文件。但是在程序设计中,我们一般谈的文件有两种:程序文件、数据文件(从文件功能的角度来分的)。 程序文件 …

App加固:不同类型和费用对比

文章目录 [TOC]引言应用程序加固是什么不同类型[App加固](https://www.ipaguard.com/)的费用对比基础加固高级加固云加固 白嫖的混淆加密工具](https://www.ipaguard.com/)-[ipaguard总结参考资料 引言 在当前移动应用市场中,安全性已经成为一个非常重要的话题。为…

Qt单实例运行

开发过程中经常需要确保Qt程序的唯一实例运行,方法有很多种,这里讲一种最方便的方法,创建共享内存。共享内存是操作系统提供的一种进程间通信机制,允许多个进程访问同一块内存区域。你可以利用这一特性来标记程序是否已经在运行。…

tdesign坑之EnhancedTable树形结构默认展开所有行

⚠️在官方实例中,树形结构的表格提供了2种方法控制展开全部节点: 一是通过配置属性tree.defaultExpandAll为true代表默认展开全部节点(仅默认情况有效); 二是使用组件实例方法expandAll()可以自由控制树形结构的展开…

web页面刷新,怎么使每次的随机颜色都一样?

// 创建一个种子随机数生成器 function seededRandom(seed) { var x Math.sin(seed) * 10000; return x - Math.floor(x); } // 使用种子随机数生成器来生成颜色 function generateColor(id) { var random seededRandom(id); var r Math.floor(random * 256); var g Math.…

Bert基础(十二)--Bert变体之知识蒸馏原理解读

B站视频:https://www.bilibili.com/video/BV1nx4y1v7F5/ 白话知识蒸馏 在前面,我们了解了BERT的工作原理,并探讨了BERT的不同变体。我们学习了如何针对下游任务微调预训练的BERT模型,从而省去从头开始训练BERT的时间。但是&#…

311_C++_QT表格的单个item的撤销、恢复操作,代码量很小,轻量化

:初始截图 :修改截图 :撤销截图 connect(m_customTableWidget, &QTableWidget::itemChanged, this, &FileDoc::itemChanged);

o(∩_∩)o设置代理访问博客(三)o(∩_∩)o

增加定时执行功能 直接看代码实现: # -*- coding:UTF-8 -*-import json import random import re import threading import time from datetime import timedeltaimport requests from bs4 import BeautifulSoup from loguru import loggeruid "qq_17328759…

离心机租赁,冷冻离心机租借,实验室离心机租售,大容量离心机以租代买

离心机租赁,冷冻离心机租借,实验室离心机租售,大容量离心机以租代买,满足广大客户对离心的租赁与购买需求! 服务优势 1、以租代买:租期达到一定期限,租金抵扣货款; 2、快速上门:2分钟响应,同城12小时内到…

短剧在线搜索PHP网站源码

源码简介 短剧在线搜索PHP网站源码,自带本地数据库500数据,共有6000短剧视频,与短剧猫一样。 搭建环境 PHP 7.3 Mysql 5.6 安装教程 1.上传源码到网站目录中 2.修改【admin.php】中, $username ‘后台登录账号’; $passwor…

【C++】lambda表达式

目录 一、lambda表达式1.1 C98中的例子1.2 lambda表达式语法1.3 函数对象与lambda表达式 一、lambda表达式 1.1 C98中的例子 如果要对一个数据集合进行排序,可以使用sort函数: int main() {int array[] { 4,1,8,5,3,7,0,9,2,6 };// 默认按照小于比较…

Vue-Router入门

现在的前后端分离项目,后端只管数据传递,视图跳转的活交由前端来干了,vue-router就是专门来干这个活的,它可以让页面跳转到指定组件 组件是可复用的 Vue 实例, 把一些公共的模块抽取出来,然后写成单独的的工具组件或者…

面对DDOS攻击,有哪些解决办法

随着互联网带宽的持续增长以及DDOS黑客技术的发展,DDOS拒绝服务攻击的实施变得愈发容易。商业竞争、打击报复、网络敲诈等多种因素,各行各业的用户都曾受到DDOS攻击的威胁。 一旦遭受到DDOS攻击,随之而来的就是业务宕机,用户无法…