Linux下如何安装配置Elastic Stack日志收集系统

安装和配置Elastic Stack日志收集系统,包括Elasticsearch、Logstash和Kibana,是一个相对复杂的过程。本篇文章将逐步引导您完成整个过程。

  1. 安装Java

Elasticsearch、Logstash和Kibana都需要Java运行环境。首先,您需要在Linux系统上安装Java。可以使用如下命令来安装OpenJDK 8:

sudo apt update
sudo apt install openjdk-8-jdk

安装完成后,可以通过运行以下命令来验证Java是否正确安装:

java -version
  1. 安装Elasticsearch

Elasticsearch是Elastic Stack的核心组件,用于存储和索引日志数据。您可以通过以下步骤在Linux系统上安装Elasticsearch:

2.1 下载Elasticsearch

在Elasticsearch官方网站上下载最新的稳定版本的Elasticsearch。您可以使用以下命令下载并安装Elasticsearch 7.4.2版本:

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.4.2-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.4.2-linux-x86_64.tar.gz

2.2 启动Elasticsearch

解压后,进入Elasticsearch目录,并执行以下命令启动Elasticsearch:

cd elasticsearch-7.4.2
./bin/elasticsearch

Elasticsearch会在后台启动。您可以通过运行以下命令来验证它是否正在运行:

curl -XGET 'http://localhost:9200'

如果成功运行,您将看到Elasticsearch的版本信息。

2.3 设置Elasticsearch自动启动

为了方便管理,我们可以将Elasticsearch配置为随系统启动而自动启动。将以下内容添加到/etc/rc.local文件中:

/opt/elasticsearch-7.4.2/bin/elasticsearch -d
  1. 安装Logstash

Logstash是Elastic Stack的另一个重要组件,用于收集、过滤和转换日志数据。以下是在Linux系统上安装Logstash的步骤:

3.1 下载Logstash

访问Logstash官方网站,下载最新版本的Logstash。您可以使用以下命令下载并安装Logstash 7.4.2版本:

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.4.2.tar.gz
tar -xzf logstash-7.4.2.tar.gz

3.2 创建Logstash配置文件

在Logstash目录下创建一个名为logstash.conf的配置文件。此文件将定义Logstash的输入、过滤器和输出配置。

cd logstash-7.4.2
vi logstash.conf

在该文件中,您需要指定输入源、过滤器和输出源。以下是一个示例配置文件:

input {file {path => "/var/log/nginx/access.log"start_position => "beginning"}
}filter {grok {match => { "message" => "%{COMBINEDAPACHELOG}" }}
}output {elasticsearch {hosts => ["localhost:9200"]index => "nginx_logs"}stdout { codec => rubydebug }
}

上述配置将从/var/log/nginx/access.log文件中读取日志数据,使用grok过滤器解析日志格式,并将数据存储到Elasticsearch中的nginx_logs索引中。

3.3 启动Logstash

通过运行以下命令,您可以启动Logstash并应用配置文件:

./bin/logstash -f logstash.conf

Logstash将在后台运行,并开始收集和处理日志数据。您可以根据需要自定义Logstash的配置文件。

  1. 安装Kibana

Kibana是Elastic Stack的可视化工具,用于分析和展示日志数据。以下是在Linux系统上安装Kibana的步骤:

4.1 下载Kibana

访问Kibana官方网站,下载最新版本的Kibana。您可以使用以下命令下载并安装Kibana 7.4.2版本:

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.4.2-linux-x86_64.tar.gz
tar -xzf kibana-7.4.2-linux-x86_64.tar.gz

4.2 启动Kibana

进入Kibana目录,并执行以下命令启动Kibana:

cd kibana-7.4.2-linux-x86_64
./bin/kibana

Kibana将在后台启动。您可以通过运行以下命令来验证它是否正在运行:

curl -XGET 'http://localhost:5601'

如果成功运行,您将看到Kibana的版本信息。

4.3 设置Kibana自动启动

为了方便管理,我们可以将Kibana配置为随系统启动而自动启动。将以下内容添加到/etc/rc.local文件中:

/opt/kibana-7.4.2-linux-x86_64/bin/kibana -d
  1. 使用Kibana分析日志数据

当Elasticsearch、Logstash和Kibana都正确安装和配置后,您可以使用Kibana来分析和可视化日志数据。

5.1 访问Kibana控制台

在浏览器中访问http://localhost:5601,您将看到Kibana的控制台界面。

5.2 创建索引模式

在控制台界面的左侧导航栏中,选择"Management",然后选择"Index Patterns"。点击"Create index pattern"按钮来创建一个新的索引模式。

在"Index pattern"字段中输入索引的名称(例如,nginx_logs),然后点击"Next step"按钮。

在"Time filter field name"字段中选择时间字段,然后点击"Create index pattern"按钮。

5.3 探索和可视化数据

在控制台界面的左侧导航栏中,选择"Discover"或"Visualize",您可以使用Kibana的各种工具和功能来分析和可视化日志数据。

以上就是在Linux系统上安装和配置Elastic Stack日志收集系统的步骤。通过Elasticsearch、Logstash和Kibana的组合,您可以有效地收集、处理和分析大量的日志数据。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/49046.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python和MATLAB网络尺度结构和幂律度大型图生成式模型算法

🎯要点 🎯算法随机图模型数学概率 | 🎯图预期度序列数学定义 | 🎯生成具有任意指数的大型幂律网络,数学计算幂律指数和平均度 | 🎯随机图分析中巨型连接分量数学理论和推论 | 🎯生成式多层网络…

购物车案例(源码分享)

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 非常期待和您一起在这个小…

排序算法与复杂度介绍

1. 排序算法 1.1 排序算法介绍 排序也成排序算法(Sort Algorithm),排序是将一组数据,依照指定的顺序进行排序的过程 1.2 排序的分类 1、内部排序: 指将需要处理的所有数据都加载到**内部存储器(内存&am…

android13禁用某个usb设备

总纲 android13 rom 开发总纲说明 目录 1.前言 2.触摸设备查看 3.功能修改 3.1 禁用usb触摸 3.2 禁用usb键盘 3.3 禁用usb遥感 4.查看生效与否 5.彩蛋 1.前言 用户想要禁止使用某些usb设备,需要系统不能使用相关的usb设备,例如usb触摸屏,usb键盘,usb遥感等等usb…

Python零基础快速入门!

“人生苦短,我学python”是编程届的名言。用python写小脚本的便捷性,让很多其他语言的学习者把python当作辅助语言。拥有了某一个语言的功底,再来学习另外一种语言应该是十分快速的。编程理念都十分相似,只是看看语言的差异性。带…

Python函数的介绍;变量的作用域;递归函数

一、函数的创建和调用 1.1、什么是函数 函数就是执行特定任和以完成特定功能的一段代码 1.2、为什么需要函数 复用代码 隐藏实现细节 提高可维护性 提高可读性便于调试 1.3、函数的创建 def 函数名(输入函数)函数体(return XXX) 1.4、函数的调用 函数名 (实际参数) 二、…

当当网数据采集:Scrapy框架的异步处理能力

在互联网数据采集领域,Scrapy框架以其强大的异步处理能力而著称。Scrapy利用了Python的异步网络请求库,如twisted,来实现高效的并发数据采集。本文将深入探讨Scrapy框架的异步处理能力,并展示如何在当当网数据采集项目中应用这一能…

理解 Objective-C 中 `+load` 方法的执行顺序

理解 Objective-C 中 load 方法的执行顺序 在 Objective-C 中,load 方法是在类或分类被加载到内存时调用的。它在程序启动过程中非常早的阶段执行,用于在类或分类被加载时进行一些初始化工作。理解 load 方法的执行顺序对于编写可靠的 Objective-C 代码…

docker build时的网络问题

docker build时无法yum安装包,因为无法访问外网,无法ping通外网。 解决办法: systemctl stop NetworkManager.service firewall-cmd --permanent --zonetrusted --change-interfacedocker0 systemctl start NetworkManager.service systemct…

C++开发示例、护照真伪查验接口、护照阅读器

在这个全球化的世界里,旅行已经成为了连接不同文化和国家的桥梁。然而,这也给不法分子提供了可乘之机,伪造或篡改护照成为了他们逃避责任的通行证,对此,为助力确保每一份护照的真实性,维护国家财产安全&…

用Java手写jvm之实现java -version的效果

写在前面 源码 。 本文来用纯纯的Java代码来实现java -version的效果,就像下面这样: 1:程序 这里输出类似这样的: java version "9" Java(TM) SE Runtime Environment (build 9181) Java HotSpot(TM) 64-Bit Serve…

[保姆级教程]uniapp安装使用uViewUI教程

文章目录 创建 UniApp 项目下载uView UI下载安装方式步骤 1: 安装 uView UI步骤 2: 查看uView UI是否下载成功步骤 3: 引入 uView 主 JS 库步骤 4: 引入 uView 的全局 SCSS 主题文件步骤 5: 引入 uView 基础样式步骤 6: 配置 easycom 组件模式注意事项 NPM方式步骤 1: 安装 uVi…

websocket状态机

websocket突破了HTTP协议单向性的缺陷,基于HTTP协议构建了双向通信的通道,使服务端可以主动推送数据到前端,解决了前端不断轮询后台才能获取后端数据的问题,所以在小程序和H5应用中被广泛使用。本文主要集合报文分析对于websocket…

力扣题解(组合总和IV)

377. 组合总和 Ⅳ 给你一个由 不同 整数组成的数组 nums ,和一个目标整数 target 。请你从 nums 中找出并返回总和为 target 的元素组合的个数。 题目数据保证答案符合 32 位整数范围。 思路: 本题实质上是给一些数字,让他们在满足和是targ…

MATLAB绘制正弦波、余弦波、方波、三角波

一、引言 MATLAB是一种具有很强的数值计算和数据可视化软件,提供了许多内置函数来简化数学运算和图形的快速生成。在MATLAB中,你可以使用多种方法来快速绘制正弦波、方波和三角波。以下是一些基本的示例,展示了如何使用MATLAB的命令来实现正弦…

基于dcm4chee搭建的PACS系统讲解(一)docker搭建精简版

文章目录 知识点PACSdcm4chedcm4chee部署dcm4chee方式 docker部署docker编排 总结 最近项目开始需要用到PACS系统,于是研究了一番,选用了dcm4chee搭建PACS系统,抛出 dcm-arc-light的git地址 。 知识点 PACS Picture Archiving and Communic…

【详细的springboot自动装载原理】

1.默认提供的核心配置模块 springboot提供了 spring-boot-autoconfigure模块,该模块为springboot自动配置的核心模块,它初始化好了很多我们平时需要的配置类,那么有了这些配置类就能生效了吗?得需要一个东西在启动的时候去把它加…

uniapp 小程序 嵌套 webview 返回需要点击两次

uniapp 小程序 嵌套 webview 返回需要点击两次 先 上图 小程序也监听不到 返回事件在网上找了一圈 都没有理想的答案&#xff0c;猜测 是因为嵌入的页面中有问题果然 小程序中嵌入的代码 <view><web-view :src"urlSrc" ></web-view></view>…

常用的python程序汇总——入门级

只用于记录最近的一些日常程序。 目录 前言 一、文件和目录管理 1.读取文件结构 读取所有文件夹和文件 读取到N级子文件夹和文件 只读取到N级子文件夹 2.遍历文件并处理&#xff08;复制、删除&#xff09; 说明&#xff1a; 二、数据分析和处理 三、数据可视化 四、…

关于银联支付交易状态码的一些分析

目录 关于银联支付 一些准备 交易状态码的一些分析 小结 关于银联支付 目前B2C购物支付场景下&#xff0c;支付宝和微信的在线支付已经成为我们经常遇到的支付方式。另外&#xff0c;银联支付也是我们日常的一种支付方式&#xff0c;本文所指的银联支付即指中国银联网关支…