配置集群-日志聚集操作

1.修改配置文件

<!-- 开启日志聚集功能 -->

<property>

    <name>yarn.log-aggregation-enable</name>

    <value>true</value>

</property>

<!-- 设置日志聚集服务器地址 -->

<property>  

    <name>yarn.log.server.url</name>  

    <value>http://hadoop101:19888/jobhistory/logs</value>

</property>

<!-- 设置日志保留时间为7天 -->

<property>

    <name>yarn.log-aggregation.retain-seconds</name>

    <value>604800</value>

</property>

2.分发配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop

3.重新启动服务

重启yarn

进入到我们安装yarn的主机,通过命令来关闭掉yarn和historyServer,然后再重启

sbin/stop-yarn.sh

mapred --daemon stop historyserver

start-yarn.sh

mapred --daemon start historyserver

4.重新运行

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /output1

查看日志

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/72760.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux系统上后门程序的原理细节,请仔细解释一下

在Linux系统上&#xff0c;后门程序通常通过隐蔽的方式绕过正常的安全机制&#xff0c;允许攻击者未经授权访问系统。以下是其工作原理的详细解释&#xff1a; 1. 隐蔽性 隐藏进程&#xff1a;后门程序常通过修改进程列表或使用rootkit技术隐藏自身&#xff0c;避免被ps、top…

华为ipd流程华为流程体系管理华为数字化转型流程数字化管理解决方案介绍81页精品PPT

华为流程体系最佳实践主要包括构建完善的流程框架&#xff0c;明确各层级流程要素与职责&#xff0c;梳理涵盖研发、采购、营销、服务、资产管理等多领域的流程&#xff0c;通过梳理业务场景和核心能力搭建差异化流程框架&#xff0c;采用自上而下与自下而上相结合的建模方法&a…

QT国产化系统软件开发

一、国产操作系统 1、鸿蒙HarmonyOS NEXT ‌核心架构‌ 采用自研鸿蒙内核&#xff0c;完全脱离Linux与AOSP代码&#xff0c;基于分布式架构实现跨设备资源虚拟化整合&#xff0c;支持动态调度多终端硬件能力‌。通过分布式软总线技术&#xff08;D-Bus&#xff09;实现低时延…

Oracle常见系统函数

一、字符类函数 1&#xff0c;ASCII(c)和CHR(i)字符串和ascii码互转换 SQL> select ascii(Z) ,ascii(H),ascii( A) from dual;ASCII(Z) ASCII(H) ASCII(A) ---------- ---------- ----------90 72 32SQL> select chr(90),chr(72),chr(65) from dual;C…

python pytorch tensorflow transforms 模型培训脚本

环境准备 https://www.doubao.com/thread/w5e26d6401c003bb2 执行培训脚本 import torch from torch.utils.data import Dataset, DataLoader from transformers import DistilBertTokenizer, DistilBertForSequenceClassification, AdamW import numpy as np# 自定义数据集类…

request库基础学习

requests安装 Windows &#xff1a;pip install requests mac &#xff1a; python3 -m pip install requests requests模块常用方法 方法含义requests.get()发起get请求requests.post()发起post请求requests.put()发起put请求requests.delete()发起delete请求requests.sess…

Redis客户端Jedis、Lettuce 和 Redisson优缺点总结

https://developer.huawei.com/consumer/cn/blog/topic/03825550899620047 Redis 官方推荐的 Java 客户端有Jedis、Lettuce 和 Redisson。本文总结这些客服端的优缺点 1. Jedis Jedis 是老牌的 Redis 的 Java 实现客户端&#xff0c;提供了比较全面的 Redis 命令的支持&#…

在 Spring Boot 中调用 AnythingLLM 的发消息接口

整体逻辑: 自建系统的web UI界面调用接口: 1.SpringBoot接口&#xff1a;/anything/chatMessageAnything 2.调用anythingLLM - 调用知识库deepseek r1 . Windows Installation ~ AnythingLLMhttps://docs.anythingllm.com/installation-desktop/windows http://localhost:3…

kubectl describe pod 命令以及输出详情讲解

kubectl describe pod 命令格式 kubectl describe pod <pod-name> -n <namespace><pod-name>&#xff1a;Pod 的名称。 -n <namespace>&#xff1a;指定命名空间&#xff0c;默认是当前命名空间。 controlplane ~ ✖ kubectl describe pod newpods-d…

Python生成和安装requirements.txt

概述 看到别的大佬项目中&#xff0c;requirements.txt文件&#xff0c;里面包含了所需要的依赖及版本&#xff0c;方便项目管理和安装。 生成 requirements.txt 文件 pip3 freeze > requirements.txt生成的依赖包有点多&#xff0c;感觉可以根据自己需要整理。 安装req…

WebGL学习2

WebGL&#xff08;Web Graphics Library&#xff09;是一种基于 OpenGL ES 2.0 的 JavaScript API&#xff0c;用于在网页上实现高性能的 3D 图形渲染。 1. 初始化 WebGL 上下文 在使用 WebGL 之前&#xff0c;需要获取<canvas>元素并创建 WebGL 上下文。 // 获取canv…

零知识证明:区块链隐私保护的变革力量

&#x1f9d1; 博主简介&#xff1a;CSDN博客专家&#xff0c;历代文学网&#xff08;PC端可以访问&#xff1a;https://literature.sinhy.com/#/literature?__c1000&#xff0c;移动端可微信小程序搜索“历代文学”&#xff09;总架构师&#xff0c;15年工作经验&#xff0c;…

【java】集合的基本使用

集合是 Java 中用来存储一组对象的容器。与数组相比&#xff0c;集合更加灵活和强大&#xff0c;支持动态增删元素、自动扩容、多种数据结构等特性。下面我会用通俗易懂的语言解释集合的基本使用。 1. 什么是集合&#xff1f; 集合就像是一个“容器”&#xff0c;可以用来装很多…

WPF-实现按钮的动态变化

MVVM 模式基础 视图模型&#xff08;ViewModel&#xff09;&#xff1a;MainViewModel类作为视图模型&#xff0c;封装了与视图相关的属性和命令。它实现了INotifyPropertyChanged接口&#xff0c;当属性值发生改变时&#xff0c;通过OnPropertyChanged方法通知视图进行更新&am…

主流NoSQL数据库类型及选型分析

在数据库领域&#xff0c;不同类型的数据库针对不同场景设计&#xff0c;以下是四类主流NoSQL数据库的对比分析&#xff1a; 一、核心特性对比 键值数据库&#xff08;Key-Value&#xff09; 数据模型&#xff1a;简单键值对存储 特点&#xff1a;毫秒级读写、高并发、无固定…

西门子PLC

西门子PLC与C#通信全解析&#xff1a;从协议选型到实战开发 一、西门子PLC通信协议概述 西门子PLC支持多种通信协议&#xff0c;需根据设备型号及项目需求选择&#xff1a; S7协议 西门子私有协议&#xff0c;适用于S7-200/300/400/1200/1500系列PLC特点&#xff1a;直接访问…

Visual Studio(VS)的 Release 配置中生成程序数据库(PDB)文件

最近工作中的一个测试工具在测试多台设备上使用过程中闪退&#xff0c;存了dump&#xff0c;但因为是release版本&#xff0c;没有pdb&#xff0c;无法根据dump定位代码哪块出了问题&#xff0c;很苦恼&#xff0c;查了下怎么加pdb生成&#xff0c;记录一下。以下是具体的设置步…

★ Linux ★ 进程(上)

Ciallo&#xff5e;(∠・ω< )⌒☆ ~ 今天&#xff0c;我将和大家一起学习 linux 进程~ ​❄️❄️❄️❄️❄️❄️❄️❄️❄️❄️❄️❄️❄️❄️ 澄岚主页&#xff1a;椎名澄嵐-CSDN博客 Linux专栏&#xff1a;https://blog.csdn.net/2302_80328146/category_12815302…

JAVA并发-volatile底层原理

volatile相当于是一个轻量级的synchronized&#xff0c;一般作用在变量上&#xff0c;它具有三个特性&#xff1a;可见性、有序性&#xff0c;相比于synchronized&#xff0c;他的执行成本更低。 先来说可见性&#xff0c;java存在共享变量不可见性的原因就是&#xff0c;线程…

Java面试第十一山!《SpringCloud框架》

大家好&#xff0c;我是陈一。如果文章对你有帮助&#xff0c;请留下一个宝贵的三连哦&#xff5e; 万分感谢&#xff01; 目录 一、Spring Cloud 是什么​ 二、Spring Cloud 核心组件​ 1. 服务发现 - Eureka​ 2. ​负载均衡 - Ribbon​ 3. 断路器 - Hystrix​ ​​4. …