日志收集Day001

1.ElasticSearch

作用:日志存储和检索

2.单点部署Elasticsearch与基础配置

rpm -ivh elasticsearch-7.17.5-x86_64.rpm

查看配置文件yy /etc/elasticsearch/elasticsearch.yml(这里yy做了别名,过滤掉空行和注释行)

yy /etc/elasticsearch/elasticsearch.yml,结果如下

path.data: /var/lib/elasticsearch      数据所在位置
path.logs: /var/log/elasticsearch     日志所在位置

修改配置yy /etc/elasticsearch/elasticsearch.yml,加入:

network.host: 0.0.0.0

discovery.seed_hosts: ["10.0.0.101"]

启动:systemctl enable --now elasticsearch.service

3.集群部署

1.将安装包分发到各个节点

scp -r elasticsearch-7.17.5-x86_64.rpm 10.0.0.103:~

scp -r elasticsearch-7.17.5-x86_64.rpm 10.0.0.102:~

2.各个节点安装Elasticsearch

rpm -ivh elasticsearch-7.17.5-x86_64.rpm

3.单点部署的节点数据清空

systemctl stop elasticsearch.service
rm -rf /var/lib/elasticsearch/* /var/log/elasticsearch/* /tmp/*

4.修改配置文件

vim /etc/elasticsearch/elasticsearch.yml 
...
# 指定ES集群的名称
cluster.name: lxc
# ES服务监听对外暴露服务的地址
network.host: 0.0.0.0
# 指定ES集群的节点IP
discovery.seed_hosts: ["10.0.0.101","10.0.0.102","10.0.0.103"]
# 指定参与master选举的节点
cluster.initial_master_nodes: ["10.0.0.101","10.0.0.102","10.0.0.103"]

5.分发配置文件

scp /etc/elasticsearch/elasticsearch.yml 10.0.0.103:/etc/elasticsearch/

scp /etc/elasticsearch/elasticsearch.yml 10.0.0.102:/etc/elasticsearch/

6.所有节点启动elasticsearch

systemctl enable --now elasticsearch

7.验证ES集群节点是否正常工作

curl 10.0.0.102:9200/_cat/nodes

带星号为主节点

4.使用oraclejdk管理es服务

解压JDK软件包
tar xf jdk-8u291-linux-x64.tar.gz -C /sortwares/

配置系统环境变量
vim /etc/profile.d/jdk.sh

#!/bin/bash
export JAVA_HOME=/sortwares/jdk1.8.0_291
export PATH=$PATH:$JAVA_HOME/bin

加载环境变量
source /etc/profile.d/jdk.sh

systemd启动脚本配置系统环境变量
vim /usr/lib/systemd/system/elasticsearch.service

Environment=ES_JAVA_HOME=/sortwares/jdk1.8.0_291

重新加载systemd

systemctl daemon-reload

重新启动es

systemctl restart elasticsearch.service

5.修改es环境的堆内存

vim /etc/elasticsearch/jvm.options

添加:

-Xms256m
-Xmx256m
重新启动之后

jmap -heap `ps -ef|grep elastic|grep jdk1.8.0_291|awk '{print $2}'`|grep MaxHeapSize

说明修改成功

6.二进制部署elasticsearch-6.8.23

原先服务器上已经有了一套rpm部署的es7,现在使用二进制部署在原先基础上增加一套集群

1.所有节点准备目录:

useradd lxc
install -d /lxc/{data,logs,softwares}/es6 -o lxc -g lxc
chown -R  lxc:lxc /lxc

2.所有节点解压elasticsearch-6.8.23.tar.gz

tar xf elasticsearch-6.8.23.tar.gz -C /lxc/softwares/es6/
chown -R  lxc:lxc /lxc

3.elk101节点修改配置文件

vim /lxc/softwares/es6/elasticsearch-6.8.23/config/elasticsearch.yml

cluster.name: lxc-es6
node.name: elk101.lxcedu.com
path.data: /lxc/data/es6
path.logs: /lxc/logs/es6
network.host: 0.0.0.0
http.port: 19200
transport.tcp.port: 19300
discovery.zen.ping.unicast.hosts: ["elk101.lxcedu.com","elk102.lxcedu.com","elk103.lxcedu.com"]
discovery.zen.minimum_master_nodes: 2

注意其他节点也需要修改,区别是node.name不一样,并且各个节点需要做好hosts解析。

5.elk101节点修改堆内存大小

vim /lxc/softwares/es6/elasticsearch-6.8.23/config/jvm.options

-Xms256m
-Xmx256m

其他节点也需要修改

6.elk101编写启动脚本

vim /usr/lib/systemd/system/es6.service

[Unit]
Description=es6
After=network.target[Service]
Type=simple
Environment=JAVA_HOME=/sortwares/jdk1.8.0_291
ExecStart=/lxc/softwares/es6/elasticsearch-6.8.23/bin/elasticsearch
User=lxc
LimitNOFILE=131070[Install]
WantedBy=multi-user.target

注意:其他节点也需要修改配置文件,JAVA_HOME地址需要写对,这里使用的是oraclejdk部署的地址。

7.启动服务

systemctl daemon-reload && systemctl enable --now es6

8.查看服务状态

curl 10.0.0.101:19200/_cat/nodes

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/66563.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

集合帖:前缀和及差分模板题 ← 一维及二维

【一维前缀和及一维差分知识点】 ● 一维“前缀和数组”预处理过程:cin>>a[i], sum[i]sum[i-1]a[i] 或者 cin>>sum[i], sum[i]sum[i-1] (1≤i≤n) ● 一维“区间和”计算过程:sum[y]-sum[x-1] (y…

《offer 来了:Java 面试核心知识点精讲 -- 框架篇》(附资源)

继上篇文章介绍了《offer 来了:Java 面试核心知识点精讲 -- 原理篇》书后,本文章再给大家推荐兄弟篇 《offer来了:Java面试核心知识点精讲--框架篇》, 简直就是为Java开发者量身定制的面试神器。 本书是对Java程序员面试中常见的…

Low-Level 大一统:如何使用Diffusion Models完成视频超分、去雨、去雾、降噪等所有Low-Level 任务?

Diffusion Models专栏文章汇总:入门与实战 前言:视频在传输过程中常常因为各种因素(如恶劣天气、噪声、压缩和传感器分辨率限制)而出现质量下降,这会严重影响计算机视觉任务(如目标检测和视频监控)的性能。现有的视频修复方法虽然取得了一些进展,但通常只能针对特定的退…

Video-RAG:一种将视频RAG新框架

1. 摘要及主要贡献点 摘要: 检索增强生成(RAG)是一种强大的策略,通过检索与查询相关的外部知识并将其整合到生成过程中,以解决基础模型生成事实性错误输出的问题。然而,现有的RAG方法主要集中于文本信息&…

Docker Load后存储的镜像及更改镜像存储目录的方法

Docker Load后存储的镜像及更改镜像存储目录的方法 Docker Load后存储的镜像更改镜像存储目录的方法脚本说明注意事项Docker作为一种开源的应用容器引擎,已经广泛应用于软件开发、测试和生产环境中。通过Docker,开发者可以将应用打包成镜像,轻松地进行分发和运行。而在某些场…

【零基础入门unity游戏开发——unity通用篇37】鼠标指针(光标)修改隐藏锁定(基于unity6开发介绍)

考虑到每个人基础可能不一样,且并不是所有人都有同时做2D、3D开发的需求,所以我把 【零基础入门unity游戏开发】 分为成了C#篇、unity通用篇、unity3D篇、unity2D篇。 【C#篇】:主要讲解C#的基础语法,包括变量、数据类型、运算符、流程控制、面向对象等,适合没有编程基础的…

亲测解决Latex File ended while scanning use of \@@BOOKMARK

这个问题只要删除了.tex后缀文件外的其他同名文件,再次编译即可。 环境 Win11 MikTex 问题原因 编译的时候用了好几种编译器,然后编译出现了错误。生成了不能使用的引用。 解决方法 删除.tex后缀文件外的其他同名文件后,再次编译。 笔…

Amazon MSK 开启 Public 访问 SASL 配置的方法

1. 开启 MSK Public 1.1 配置 MSK 参数 进入 MSK 控制台页面,点击左侧菜单 Cluster configuration。选择已有配置,或者创建新配置。在配置中添加参数 allow.everyone.if.no.acl.foundfalse修改集群配置,选择到新添加的配置。 1.2 开启 Pu…

Windows FileZila Server共享电脑文件夹 映射21端口外网连接

我有这样一个使用场景,在外部网络环境下,通过手机便捷地读取存储在电脑上的视频文件。比如在外出旅行、出差,身边没有携带电脑,仅依靠手机设备,就能随时获取电脑里存储的各类视频,无论是学习资料视频、工作…

MySQL 实战 4 种将数据同步到ES方案

文章目录 1. 前言2. 数据同步方案 2.1 同步双写2.2 异步双写2.3 定时更新2.4 基于 Binlog 实时同步 3. 数据迁移工具选型 3.1 Canal3.2 阿里云 DTS3.3 Databus3.4 Databus和Canal对比3.4 其它 4. 后记 上周听到公司新同事分享 MySQL 同步数据到 ES 的方案,发现很有…

虚幻基础-1:cpu挑选(14600kf)

能帮到你的话,就给个赞吧 😘 文章目录 ue非常吃cpu拉满主频打开项目编写蓝图运行原因 时间长 关于压力测试 本文以14600kf为例,双12购入,7月份产。 ue非常吃cpu 经本人测试,ue是非常吃cpu的。 拉满主频 无论任何时间…

QTableWidget的简单使用

1.最简单的表格示例&#xff1a; ui->tableWidget->setRowCount(2);// 设置行数ui->tableWidget->setColumnCount(3);// 设置列数&#xff0c;一定要放在设置行表头之前QStringList rowHeaderList;// 行表头rowHeaderList << QStringLiteral("姓名"…

深入探究分布式日志系统 Graylog:架构、部署与优化

文章目录 一、Graylog简介二、Graylog原理架构三、日志系统对比四、Graylog部署传统部署MongoDB部署OS或者ES部署Garylog部署容器化部署 五、配置详情六、优化网络和 REST APIMongoDB 七、升级八、监控九、常见问题及处理 一、Graylog简介 Graylog是一个简单易用、功能较全面的…

2024年我的技术成长之路

2024年我的技术成长之路 大家好&#xff0c;我是小寒。又到年底了&#xff0c;一年过得真快啊&#xff01;趁着这次活动的机会&#xff0c;和大家聊聊我这一年在技术上的收获和踩过的坑。 说实话&#xff0c;今年工作特别忙&#xff0c;写博客的时间比去年少了不少。不过还是…

嵌入式硬件篇---基本组合逻辑电路

文章目录 前言基本逻辑门电路1.与门&#xff08;AND Gate&#xff09;2.或门&#xff08;OR Gate&#xff09;3.非门&#xff08;NOT Gate&#xff09;4.与非门&#xff08;NAND Gate&#xff09;5.或非门&#xff08;NOR Gate&#xff09;6.异或门&#xff08;XOR Gate&#x…

数据库管理-第285期 Oracle 23ai:深入浅出向量索引(20250117)

数据库管理285期 20245-01-17 数据库管理-第285期 Oracle 23ai&#xff1a;深入浅出向量索引&#xff08;20250117&#xff09;1 HNSW事务支持解读 2 IVF分区支持解读 3 混合向量索引何时选择混合向量索引为何选择混合向量索引 总结 数据库管理-第285期 Oracle 23ai&#xff1a…

行人识别检测数据集,yolo格式,PASICAL VOC XML,COCO JSON,darknet等格式的标注都支持,准确识别率可达99.5%

作者简介&#xff1a; 高科&#xff0c;先后在 IBM PlatformComputing从事网格计算&#xff0c;淘米网&#xff0c;网易从事游戏服务器开发&#xff0c;拥有丰富的C&#xff0c;go等语言开发经验&#xff0c;mysql&#xff0c;mongo&#xff0c;redis等数据库&#xff0c;设计模…

【Spring】原型 Bean 被固定

问题描述 在定义 Bean 时&#xff0c;有时候我们会使用原型 Bean&#xff0c;例如定义如下&#xff1a; Service Scope(ConfigurableBeanFactory.SCOPE_PROTOTYPE) public class ServiceImpl { }然后我们按照下面的方式去使用它&#xff1a; RestController public class Hello…

2024年美赛C题评委文章及O奖论文解读 | AI工具如何影响数学建模?从评委和O奖论文出发-O奖论文做对了什么?

模型假设仅仅是简单陈述吗&#xff1f;允许AI的使用是否降低了比赛难度&#xff1f;还在依赖机器学习的模型吗&#xff1f;处理题目的方法有哪些&#xff1f;O奖论文的优点在哪里&#xff1f; 本文调研了当年赛题的评委文章和O奖论文&#xff0c;这些问题都会在文章中一一解答…

PyTorch框架——基于深度学习YOLOv8神经网络学生课堂行为检测识别系统

基于YOLOv8深度学习的学生课堂行为检测识别系统&#xff0c;其能识别三种学生课堂行为&#xff1a;names: [举手, 读书, 写字] 具体图片见如下&#xff1a; 第一步&#xff1a;YOLOv8介绍 YOLOv8 是 ultralytics 公司在 2023 年 1月 10 号开源的 YOLOv5 的下一个重大更新版本…