TDC上YARN Web-UI 查看application日志方法

方法一

image-20241012204422461

image-20241012204514581

#通过浏览器访问tdc,访问的工作节点对于TDC都是外部节点。在提交给yarn任务后,YarnRM的Web UI 可以展示yarnnm上运行的application日志,但是由于跳转的svc地址,无法直接访问。
#在tdc界面上找到yarn实例,进入yarn找到yarnhs服务的19888对应的nodeport端口

image-20241012204937741

#浏览器输入  ip:nodeport端口即可,即可自动跳转(类似于跳转到 http://172.18.132.44:30331/jobhistory)
#根据application_id找到对应job_id,即可查看日志
例如: yarnrm页面上的【application_1720516259117_0003】对应 jobhistory页面的【 job_1720516259117_0003】

image-20241012205757261

image-20241012205835973

方案二:通过VIP或Haproxy方案暴露Yarnnm服务,主机hosts强制跳转

通过vip或haproxy代理yarnnm的8042web端口
8042端口需要改成自定义端口进行配置,预定义端口没有

image-20241012212343177

image-20241012212400525

PS:haproxy工具暂不支持,但可以手动配置
找到yarnnm所在节点修改节点上/etc/haproxy/haproxy-hdfs.cfg,手动添加模板

image-20241012212456296

#修改完成后重启所有节点
kubectl -n kube-system get pod |grep haproxy-1.8 |awk '{print $1}' |xargs kubectl -n kube-system delete pod --force
浏览器访问节点hosts做svc和vip的映射
例如修改windows的C:\Windows\System32\drivers\etc\hosts
#格式为参照如下模板,可以替换下vip和install_id以及namespace
172.18.132.141 yarnnm-hmrh8-0.vnafeox.pod.transwarp.local. yarnnm-hmrh8-0.yarnnm-hmrh8.vnafeox.svc.transwarp.local. yarnnm-hmrh8-0.yarnnm-hmrh8.vnafeox.svc.transwarp.local
172.18.132.142 yarnnm-hmrh8-1.vnafeox.pod.transwarp.local. yarnnm-hmrh8-1.yarnnm-hmrh8.vnafeox.svc.transwarp.local. yarnnm-hmrh8-1.yarnnm-hmrh8.vnafeox.svc.transwarp.local
172.18.132.143 yarnnm-hmrh8-2.vnafeox.pod.transwarp.local. yarnnm-hmrh8-2.yarnnm-hmrh8.vnafeox.svc.transwarp.local. yarnnm-hmrh8-2.yarnnm-hmrh8.vnafeox.svc.transwarp.local

image-20241012212737766

在yarnrm的web-ui页面直接跳转访问
由于配置了hosts映射关系,浏览器可以直接访问yarnnm的svc:8042的url

直接跳转访问
由于配置了hosts映射关系,浏览器可以直接访问yarnnm的svc:8042的url


![image-20241012212830309](https://img-blog.csdnimg.cn/img_convert/ce2e60337abdec5f9b6d661b8d7df2c7.png)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/881600.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Facebook直播分析与问题解决策略

Facebook直播(Facebook Live)是一种通过Facebook平台进行的实时视频流媒体功能,使用户能够与朋友、关注者或公众分享实时内容。自从推出以来,Facebook直播逐渐成为企业营销、个人表达和社交互动的重要工具。本文将分析Facebook直播…

数据治理:制造企业转型的关键要素与战略需求

制造业,作为国民经济的主体,是立国之本、兴国之器、强国之基。从工业文明的曙光初现,到今日全球化的激烈竞争,始终昭示着一个真理:没有强大的制造业,就没有国家和民族的强盛。 为全面推进制造强国建设&…

计算机网络—大端序和小端序

大端序和小端序 大端序(Big-endian)和小端序(Little-endian)是指在多字节数据类型(如整数或浮点数)的存储和表示方式上的不同。以下是关于大端序和小端序的详细解释: 一、定义 大端序&#xf…

Python精选200Tips:186-190

针对序列(时间、文本)数据的网络结构 续 P186-- 双向LSTM(Bidirectional Long Short-Term Memory 2005)(1)模型结构说明(2)创新性说明(3)示例代码:IMDB电影评论情感分析 …

like 模糊查询的底层算法

like 模糊查询的底层算法 全文搜索算法、模糊查询、n-gram分隔算法功能介绍 百度搜索,文心一言给出的结果: SQL模糊查询底层通常使用全文搜索算法,如LIKE操作符和全文索引通常使用的n-gram分割算法。 n-gram是一种将文本分割成固定大小的词…

rk3588调试es8388语音编解码IC小结

本次调试es8388语音编解码IC,按照以下思路(如果出现内核崩溃的问题,建议可以同步下rk原厂代码): 1、dts的配置 &i2c7 { //i2c总线确认status "okay";pinctrl-names "default";pinctrl-0 …

污水排放口细粒度检测数据集,污-水排放口的类型包括10类目标,10000余张图像,yolo格式目标检测,9GB数据量。

污水排放口细粒度检测数据集,污-水排放口的类型包括10类目标(1 合流下水道,2 雨水,3 工业废水,4 农业排水,5 牲畜养殖,6 水产养殖,7 地表径流,8 废水处理厂&…

leetcode-10/9【堆相关】

1.数组中的第K个最大元素【215】 思路: 1.1.要使得时间复杂度为O(n),自己实现大顶堆,通过K次调整,顶部元素就是想要的第K个最大元素 1.2.实现大顶堆的过程中,先建堆,建堆是利用递归,本…

【cocos creator】输入框滑动条联动小组建

滑动条滑动输入框内容会改变 输入框输入,滑动条位置改变 const { ccclass, property } cc._decorator;ccclass() export default class SliderEnter extends cc.Component {property({ type: cc.Float, displayName: "最大值", tooltip: "" }…

ssm职业高中学情成绩系统设计+jsp

系统包含:源码论文 所用技术:SpringBootVueSSMMybatisMysql 免费提供给大家参考或者学习,获取源码请私聊我 需要定制请私聊 目 录 摘 要 I Abstract II 第一章 绪论 1 1.1 研究背景 1 1.2 研究意义 1 1.3 研究内容 2 第二章 开发环…

菱形继承(多继承)

1. 什么是菱形继承 也就是多继承,C独有的特性。 2. 菱形继承有什么问题? (1)存在内存浪费,多存一份父类的父类。 (2)容易造成二义性(不知道修改哪一个基本属性)。 3. 如…

Glances:强大的跨平台系统监控工具

Glances介绍 在现今的多元化计算环境中,系统性能监控是确保稳定运行的重要一环。无论是Linux、Windows还是MacOS,了解系统的资源使用情况,如CPU、内存、磁盘和网络等资源,都是至关重要的。Glances正是一款能够满足这一需求的跨平…

Unity用VS打开FGUI脚本变成杂项怎么处理?

在Unity中使用Visual Studio(VS)打开FGUI脚本时,如果脚本显示为杂项文件,这通常意味着VS没有正确识别或关联这些脚本文件。以下是一些解决此问题的步骤: 对惹,这里有一个游戏开发交流小组,大家…

PE结构之绑定导入表

打印绑定导入表 //打印 绑定导入表 BOOL PrintBoundImport(__in char* m_fileName) {char* Filebuffer NULL;if (!GetFileBuffer(m_fileName, &Filebuffer)) return FALSE;PIMAGE_DOS_HEADER LPdosHeader NULL;PIMAGE_NT_HEADERS LPntHeader NULL;LPdosHeader (PIMAGE…

Qt基础对话框QDialog

模态显示对话框 调用exec方法可以使得对话框模态显示,但是一个阻塞函数 [virtual slot] int QDialog::exec() 对话框的三个槽函数 accept [virtual slot] void QDialog::accept(); reject [virtual slot] void QDialog::reject() done [virtual slot] void QDia…

鸢尾花书实践和知识记录[6-23数据聚类]

文章目录 思维导图数据聚类和引例基于图论的聚类算法算法流程1构造数据构造距离矩阵相似度相似度矩阵创建图 拉普拉斯矩阵标准拉普拉斯矩阵(Combinatorial Laplacian)归一化拉普拉斯矩阵 (Normalized Laplacian)无标度拉普拉斯矩阵 (Signless Laplacian)归一化对称拉普拉斯矩阵…

CSP-J

CSP那些事儿 OI赛制是啥OI赛制下的CCF-CSPCSP简介CSP-J考试(仅山东)考试时间考试地点考试结构 写在最后有趣的代码: OI赛制是啥 OI赛制,不详细说了,就是一股脑做好几个题,一起提交的比赛(通俗易…

Vue深入了解

Vue深入了解 MVVMv-model (双向数据绑定原理)异步更新keep-alive原理$nextTick原理computed 和 watch 的区别css-scoped虚拟DOMVuex && PiniaVue-router原理proxy 与 Object.defineProperty组件通信方式 MVVM <!DOCTYPE html> <html lang"en">&…

怎么把一段音频的人声和背景音乐分开?

在数字音频处理中&#xff0c;将一段音频中的人声和背景音乐分开是一个复杂但又常见的需求。这种技术广泛应用于音乐制作、影视后期、广告制作等多个领域。本文将为你详细解析如何通过不同的方法实现这一目标&#xff0c;帮助你更好地掌握音频分离技术。 一、音频分离的基本概念…

关于C语⾔内存函数 memcpy memmove memset memcmp

memcpy使⽤和模拟实现 void * memcpy ( void * destination, const void * source, size_t num ); 函数memcpy从source的位置开始向后复制num个字节的数据到destination指向的内存位置。 这个函数在遇到 \0 的时候并不会停下来。 如果source和destination有任何的重叠&am…