ELK日志收集

一、什么是ELK

ELK 是由 Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，ELK 是 elastic 公司研发的一套完整的日志收集、分析和展示的企业级解决方案。

ELK 的好处：

ELK 组件在大数据运维系统中，主要可解决的问题如下：

  • 日志查询，问题排查，故障恢复，故障自愈
  • 应用日志分析，错误报警
  • 性能分析，用户行为分析

二、Elasticsearch

是一个高度可扩展的开源全文搜索和分析引擎，它可实现数据的实时全文搜索
Elasticsearch 的特点：

  • 实时搜索、实时分析
  • 分布式架构、实时文件存储
  • 文档导向，所有对象都是文档
  • 高可用，易扩展，支持集群，分片与复制
  • 接口友好，支持 json

三、Logstash

Logstash 是一个具有实时传输能力的数据收集引擎，其可以通过插件实现日志收集和转发，支持日志过滤，支持普通 log、自定义 json 格式的日志解析，最终把经过处理的日志发送给 elasticsearch。

四、kibana

Kibana 为 elasticsearch 提 供 一 个 查 看 数 据 的 web 界 面 ， 其 主 要 是 通 过elasticsearch 的 API 接口进行数据查找，并进行前端数据可视化的展现，另外还可以针对特定格式的数据生成相应的表格、柱状图、饼图等。

安装部署ELK

node1节点（2C/4G）：node1/192.168.91.100					Elasticsearch
node2节点（2C/4G）：node2/192.168.91.101					Elasticsearch
Apache节点：       apache/192.168.91.103				 Logstash  Kibana  Apache

前期准备：java环境，关闭防火墙

java -version										#如果没有安装，yum -y install java
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)systemctl disable  --now   firewalld
setenforce 0
sed -i.bak 's/SELINUX=enforcing/SELINUX=disabled/'  /etc/selinux/config

1.安装 Elasticsearch 软件

ls
elasticsearch-6.7.2.rpm  elasticsearch-head-master.zip  node-v8.2.1.tar.gz  phantomjs-2.1.1-linux-x86_64.tar.bz2rpm -ivh elasticsearch-6.7.2.rpm
#cd /etc/elasticsearch/
mkdir bak 
cp -a *.yml  bak/
#备份

修改配置文件

vim elasticsearch.yml17 cluster.name: my-elk-cluster
#修改集群名字23 node.name: node1
24 node.master: true
25 node.data: true
#设置 节点名称 主从之间不能一致    24作为主节点   25作为数据节点45 bootstrap.memory_lock: true
#内存锁开启  禁止使用  swap59 network.host: 0.0.0.0
#监听地址
60 http.port: 9200
#  默认使用端口
61 transport.tcp.port: 9300
#内部传输端口73 discovery.zen.ping.unicast.hosts: ["192.168.91.100:9300", "192.168.91.101:9300"]
#自动集群发现，加入主机名  使用单播 类似心跳线grep -v "^#"  elasticsearch.yml 
cluster.name: my-elk-cluster
node.name: node1
node.master: true
node.data: true
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 0.0.0.0 
http.port: 9200
transport.tcp.port: 9300
discovery.zen.ping.unicast.hosts: ["192.168.91.100:9300", "192.168.91.101:9300"]

修改系统配置

vim /etc/security/limits.confsoft    nofile          65536
*  hard    nofile          65536
*  soft    nproc           32000
*  hard    nproc           32000
*  soft    memlock         unlimited
*  hard    memlock         unlimitedvim /etc/sysctl.conf
#一个进程可以拥有的最大内存映射区域数，参考数据（分配 2g/262144，4g/4194304，8g/8388608）
vm.max_map_count=262144sysctl -p
sysctl -a | grep vm.max_map_count

修改systemd 服务管理器

vim /etc/systemd/system.confDefaultLimitNOFILE=65536
DefaultLimitNPROC=32000
DefaultLimitMEMLOCK=infinity

重启服务器 启动 elasticsearch

reboot
systemctl start elasticsearch.service
systemctl enable elasticsearch.service
netstat -antp | grep 9200

查看节点信息

浏览器访问  
http://192.168.91.100:9200  
http://192.168.91.101:9200 
查看节点 Node1、Node2 的信息。浏览器访问 
http://192.168.91.100:9200/_cluster/health?pretty  
http://192.168.91.101:9200/_cluster/health?pretty
查看群集的健康情况，可以看到 status 值为 green（绿色）， 表示节点健康运行。浏览器访问 http://192.168.91.100:9200/_cluster/state?pretty  检查群集状态信息

安装谷歌插件
请添加图片描述
请添加图片描述
请添加图片描述
2.在应用服务器部署 Logstash

cd /opt
[root@localhost opt]#  rpm -ivh logstash-6.7.2.rpm                          #开启服务
systemctl enable --now logstash.service[root@localhost opt]# ln -s  /usr/share/logstash/bin/logstash   /usr/bin/
# 做软连接

Logstash 命令常用选项：
-f：通过这个选项可以指定 Logstash 的配置文件，根据配置文件配置 Logstash 的输入和输出流。
-e：从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当作 Logstash 的配置（如果是空，则默认使用 stdin 作为输入，stdout 作为输出）。
-t：测试配置文件是否正确，然后退出。

使用 Logstash 将信息写入 Elasticsearch 中

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.91.100:9200","192.168.91.101:9200"]} }'
#结果不在标准输出显示，而是发送至 Elasticsearch 中
#可浏览器访问http://192.168.91.100:9100/ 查看索引信息和数据浏览。............................
[INFO ] 2024-07-16 00:50:12.096 [Api Webserver] agent - Successfully started Logstash API endpoint {:port=>9600}
# 输入信息
www.kgc.com
hello world

请添加图片描述
使用Logstash配置文件
Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）

  • input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等
    file beats kafka redis stdin

  • filter：表示数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式
    grok 对若干个大文本字段进行再分割成一些小字段 (?<字段名>正则表达式) 字段名: 正则表达式匹配到的内容
    date 对数据中的时间格式进行统一和格式化
    mutate 对一些无用的字段进行剔除，或增加字段
    mutiline 对多行数据进行统一编排，多行合并或拆分

  • output：表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。
    elasticsearch stdout

vim /etc/logstash/conf.d/system-log.conf input {file {path => "/var/log/messages"type => "system"start_position => "beginning"}}output {elasticsearch {hosts => [ "192.168.91.100:9200","192.168.91.101:9200" ]index => "system-%{+YYYY.MM.dd}"}}chmod +r /var/log/messages 
#添加权限logstash   -f  system-log.conf 
#启动logstash
........................................................................
[INFO ] 2024-07-16 01:02:41.716 [Api Webserver] agent - Successfully started Logstash API endpoint {:port=>9601}

3.安装 kibana

rpm -ivh kibana-6.7.2-x86_64.rpm cd  /etc/kibana/
cp kibana.yml  kibana.yml.bak -avim kibana.yml2   		 server.port: 5601          		#打开端口
7    server.host: "0.0.0.0"      	#监听端口
28   elasticsearch.hosts: ["http://192.168.91.100:9200", "http://192.168.91.101:9200"]  #el服务器地址
37   kibana.index: ".kibana"         #打开索引
96   logging.dest: /var/log/k.log      #指定日志文件， 需要手动建立文件
114  i18n.locale: "zh-CN"              #中文设置chown kibana:kibana /var/log/k.logsystemctl enable --now kibana.service
ss -nap |grep 5601
tcp    LISTEN     0      128       *:5601                  *:*                   users:(("node",pid=42235,fd=19))192.168.91.102:5601
#浏览器访问测试

请添加图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/47926.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

适用于 Android 的恢复应用程序合集分享

适用于 Android 的恢复应用程序合集分享

丢失重要文件或数据从来都不是一件有趣的事。这种情况可能发生在您的计算机和笔记本电脑上&#xff0c;也可能发生在您的 Android 智能手机或平板电脑上。然而&#xff0c;尽管 Android 用户可能认为在这种情况下他们可用的选择较少&#xff0c;但用于 Android 数据恢复的应用程…
阅读更多...
自定义注解 + Redis 实现业务的幂等性

自定义注解 + Redis 实现业务的幂等性

1.实现幂等性思路 实现幂等性有两种方式&#xff1a; ⭐ 1. 在数据库层面进行幂等性处理&#xff08;数据库添加唯一约束&#xff09;. 例如&#xff1a;新增用户幂等性处理&#xff0c;username 字段可以添加唯一约束. ⭐ 2. 在应用程序层面进行幂等性处理. 而在应用程序…
阅读更多...
C#医学影像管理系统源码（VS2013）

C#医学影像管理系统源码（VS2013）

目录 一、概述 二、系统功能 系统维护 工作站 三、功能介绍 影像采集 统计模块 专业阅片 采集诊断报告 报告管理 一、概述 医学影像存储与传输系统&#xff08;PACS&#xff09;是一种集成了影像存储、传输、管理和诊断功能的系统。它基于数字化成像技术、计算机技术和…
阅读更多...
大模型+编程，未来程序员躺平还是失业？

大模型+编程，未来程序员躺平还是失业？

自然语言大模型编程可以更好地理解用户的需求&#xff0c;然后输出对应代码。 最近英伟达让AI自动写代码的开源神器已上线&#xff0c;Nvidia推出了Code Llama在线体验页面&#xff0c;Code Llama 是 Llama 2 的代码专用版本&#xff0c;无需注册&#xff0c;无需本地部署&…
阅读更多...
Jangow

Jangow

关于靶场环境配置&#xff0c;确实这个靶场存在很大的问题&#xff0c;不仅仅是网络的配置问题&#xff0c;更重要的是明知道如何修改网络环境配置&#xff0c;但是键盘存在很大的问题。许多字符输入不一致。 Vulnhub靶场&#xff0c;Jangow靶机环境找不到ip解决方法。_jangow…
阅读更多...
基于springboot新生宿舍管理系统

基于springboot新生宿舍管理系统

系统背景 在当今高等教育日益普及的时代背景下&#xff0c;高校作为知识传播与创新的重要基地&#xff0c;其基础设施的智能化管理显得尤为重要。新生宿舍作为大学生活的起点&#xff0c;不仅是学生日常生活与学习的重要场所&#xff0c;也是培养学生独立生活能力和团队合作精神…
阅读更多...
hive动态分区导致xceivercount超限，hdfs无法创建新连接

hive动态分区导致xceivercount超限，hdfs无法创建新连接

目录 一、事件复盘&#xff1a; 二、解决方案&#xff1a; 三、讨论 一、事件复盘&#xff1a; hdfs无法创建新的文件&#xff0c;xceivercount超过最大设置&#xff0c;平时每个datanode只有100个左右的连接&#xff0c;突然达到8000以上。 事故原因&#xff0c;跨多天的…
阅读更多...
学懂C语言（八）：深入理解 register 寄存器的含义

学懂C语言（八）：深入理解 register 寄存器的含义

寄存器是计算机处理器内部非常快速的一种存储设备。与普通的内存&#xff08;RAM&#xff09;相比&#xff0c;处理器访问寄存器的速度要快得多&#xff0c;因为它们位于处理器内部&#xff0c;而不是通过系统总线外部访问。这种速度优势使得寄存器非常适合用来存储那些需要频繁…
阅读更多...
Ubuntu 24.04 LTS 桌面安装MT4或MT5 (MetaTrader)教程

Ubuntu 24.04 LTS 桌面安装MT4或MT5 (MetaTrader)教程

运行脚本即可在 Ubuntu 24.04 LTS Noble Linux 上轻松安装 MetaTrader 5 或 4 应用程序&#xff0c;使用 WineHQ 进行外汇交易。 MetaTrader 4 (MT4) 或 MetaTrader 5 是用于交易外汇对和商品的流行平台。它支持各种外汇经纪商、内置价格分析工具以及通过专家顾问 (EA) 进行自…
阅读更多...
架构以及架构中的组件

架构以及架构中的组件

架构以及架构中的组件 Transform Transform 以下的代码包含&#xff1a; 标准化的示例残差化的示例 # huggingface # transformers# https://www.bilibili.com/video/BV1At4y1W75x?spm_id_from333.999.0.0import copy import math from collections import namedtupleimport …
阅读更多...
C++派生类对基类成员的访问

C++派生类对基类成员的访问

派生类继承了基类的全部数据成员和除了构造、析构函数之外的全部成员函数&#xff0c;但是这些成员在派生类中的访问属性在派生类的过程中是可以调整的&#xff0c;继承方式控制了基类中具有的不同访问属性。 基类的成员有公有&#xff08;public&#xff09;、保护&am…
阅读更多...
项目实用linux 操作详解-轻松玩转linux

项目实用linux 操作详解-轻松玩转linux

我之前写过完整的linux系统详解介绍&#xff1a; LInux操作详解一&#xff1a;vmware安装linux系统以及网络配置 LInux操作详解二&#xff1a;linux的目录结构 LInux操作详解三&#xff1a;linux实际操作及远程登录 LInux操作详解四&#xff1a;linux的vi和vim编辑器 LInux操作…
阅读更多...
VPN以及GRE和MGRE

VPN以及GRE和MGRE

VPN VPN — 是虚拟专用网络 通俗地说&#xff0c;就是通过虚拟的手段&#xff0c;将两个独立的网络&#xff0c;穿越一个公共网络进行连接&#xff0c;实现点到点专线的效果&#xff08;可以理解为&#xff1a;一个分公司通过公网和总公司建立点到点的专线连接&#xff09; 现…
阅读更多...
数据库理论基础

数据库理论基础

1.什么是数据库 1.1数据 描述事物的符号记录&#xff0c; 可以是数字、 文字、图形、图像、声音、语言等&#xff0c;数据有多种形式&#xff0c;它们都可以经过数字化后存入计算机。 1.2数据库 存储数据的仓库&#xff0c;是长期存放在计算机内、有组织、可共享的大量数据…
阅读更多...
【05】LLaMA-Factory微调大模型——初尝微调模型

【05】LLaMA-Factory微调大模型——初尝微调模型

上文【04】LLaMA-Factory微调大模型——数据准备介绍了如何准备指令监督微调数据&#xff0c;为后续的微调模型提供高质量、格式规范的数据支撑。本文将正式进入模型微调阶段&#xff0c;构建法律垂直应用大模型。 一、硬件依赖 LLaMA-Factory框架对硬件和软件的依赖可见以下…
阅读更多...
第二题（卡码网周赛第二十六期（23年阿里淘天笔试真题））

第二题（卡码网周赛第二十六期（23年阿里淘天笔试真题））

题目链接 第二题&#xff08;卡码网周赛第二十六期&#xff08;23年阿里淘天笔试真题&#xff09;&#xff09; 题目描述 讨厌鬼有一个长度为 n &#xff08;1 < n < 10^5&#xff09;的数组&#xff0c;他想知道这个数组有多少个子序列是一个排列? 子序列的定义: 数组…
阅读更多...
Redis高级篇—分布式缓存

Redis高级篇—分布式缓存

目录 Redis持久化 RDB持久化 AOF持久化 RDB与AOF对比 Redis主从 全量同步 增量同步 Redis哨兵 RedisTemplate集成哨兵实现 Redis分片集群 散列插槽 集群伸缩 故障转移 自动故障转移 手动故障转移 RedisTemplate访问分片集群 Redis持久化 RDB持久化 RDB全称Re…
阅读更多...
Mojo 编程语言简介

Mojo 编程语言简介

Mojo 是一种新兴的编程语言&#xff0c;旨在结合 Python 的易用性与 C 的高性能&#xff0c;特别是面向高性能计算、机器学习和系统编程等领域。Mojo 的设计目标是提供一种既具备高级语言灵活性&#xff0c;又能够高效运行的编程工具。 主要特性 高性能&#xff1a;通过高级编…
阅读更多...
Alpine Linux 轻量级Linux 适合于 docker 容器镜像

Alpine Linux 轻量级Linux 适合于 docker 容器镜像

Alpine Linux是创始于2010年4月及以前的、一款开源社区开发的、基于musl libc和BusyBox的轻量级Linux发行版&#xff1b;适合用来做路由器、防火墙、VPNs、VoIP 盒子以及服务器的操作系统。 Alpine 的意思是“高山的”。Alpine Linux 围绕 musl libc 和 busybox 构建。这使得它…
阅读更多...
cephrgw lifecycle理解

cephrgw lifecycle理解

相关lc链接&#xff1a;rgw&#xff1a;lifecycle功能理解_ceph rgw lifecycle-CSDN博客 相关gc链接&#xff1a;RGW 的GC深入解析与调优-腾讯云开发者社区-腾讯云 每个rgw实例有rgw_lc_max_worker个worker (默认为3)来做lifecycle RGWLC::LCWorker::entry()-> RGWLC::pro…
阅读更多...
最新文章

Copyright @ 2022~2023