ELK环境搭建

文章目录

    • 1.ElasticSearch安装
        • 1.安装的版本选择
          • 1.SpringBoot版本：2.4.2 找到依赖的spring-data-elasticsearch的版本
          • 2.spring-data-elasticsearch版本：4.1.3 找到依赖的elasticsearch版本
          • 3.elasticsearch版本：7.9.3
        • 2.安装
          • 1.官方文档
          • 2.下载压缩包（百度网盘）
          • 3.上传到服务器
            • 1.在 /usr/local下创建目录ElasticSearch
            • 2.进入目录，并将压缩包上传到该目录
          • 4.解压缩
            • 1.解压
            • 2.删除压缩包
          • 5.快速启动es
            • 1.进入bin目录
            • 2.直接启动
            • 3.报错不能使用root用户启动
          • 6.创建一个新的elasticsearch用户启动es
            • 1.添加用户
            • 2.设置密码（Ww）
            • 3.将elasticsearch目录的所有者和所在组设置为elasticsearch用户
            • 4.查看是否设置成功
          • 7.再次启动es
            • 1.切换用户为elasticsearch
            • 2.启动
          • 8.开放9200端口
            • 1.服务器开启
            • 2.安全组开启
          • 9.elasticsearch配置
            • 1.配置文件位置
            • 2.修改JVM堆大小为512M
            • 3.日志命名规则以及滚动位置（如果滚动的日志过多可以手动删除）
            • 4.配置path.data 和 path.logs也就是数据目录和日志目录
            • 5.配置集群名字
            • 6.配置节点名字
            • 7.配置network.host为0.0.0.0 监听所有网络接口
            • 8.将elasticsearch用户打开文件的最大数量设置为 65,535 个
            • 9.虚拟内存设置
            • 10.线程数配置至少为 4096
            • 11.配置节点发现（因为修改了network.host）
          • 10.测试
            • 1.重启es
            • 2.测试访问
            • 3.后台启动es并指定日志输出目录
            • 4.查看日志
            • 5.再次访问es测试
          • 11.单节点 elasticsearch.yml配置
          • 12.安装head插件
            • 1.谷歌插件安装
            • 2.创建一个只有一个分片的索引（有副本分片，会警告，因为只有一个节点）
    • 2.Kibana安装
        • 1.安装版本7.9.3
        • 2.下载压缩包
          • 1.找到指定版本的
          • 2.百度网盘
        • 3.上传到服务器
          • 1.创建 /usr/local/Kibana的目录
          • 2.将压缩包上传到这里
        • 4.解压缩
          • 1.解压
          • 2.删除压缩包
        • 5.启动
          • 1.给elasticsearch用户Kibana目录的权限
          • 2.切换用户
          • 3.配置kibana
            • 1.编辑配置文件
            • 2.添加下面的内容
            • 3.开启5601端口
            • 4.启动
          • 4.访问测试
          • 5.后台启动
            • 1.启动
            • 2.查看日志
    • 3.Logstash安装
        • 1.安装版本7.9.3首先需要安装jdk
          • 1.官网下载
          • 2.将压缩包上传到 /usr/local/jdk8
            • 1.创建并进入目录
            • 2.上传
          • 3.解压缩
            • 1.解压到当前目录
            • 2.删除原有的压缩包
          • 4.配置环境变量
            • 1.首先复制jdk1.8.0_261的路径
            • 2.编辑环境变量文件，在文件最后配置JAVA_HOME
            • 3.使配置生效
            • 4.输入java -version测试
        • 2.下载压缩包
          • 1.下载地址
          • 2.百度网盘
        • 3.上传到服务器
          • 1.上传到/usr/local/logstash下
          • 2.创建目录并进入，然后上传到这个目录下
        • 4.解压缩
          • 1.解压
          • 2.删除原来的压缩包
        • 5.启动
          • 1.进入bin目录
          • 2.运行最基本的 Logstash 管道
          • 3.输入hello world，有消息就是成功了

1.ElasticSearch安装

1.安装的版本选择
1.SpringBoot版本：2.4.2 找到依赖的spring-data-elasticsearch的版本

CleanShot 2024-12-30 at 18.53.27@2x

2.spring-data-elasticsearch版本：4.1.3 找到依赖的elasticsearch版本

CleanShot 2024-12-30 at 18.56.35@2x

3.elasticsearch版本：7.9.3
2.安装
1.官方文档

https://www.elastic.co/guide/en/elasticsearch/reference/7.9/getting-started-install.html

2.下载压缩包（百度网盘）

CleanShot 2024-12-30 at 18.59.12@2x

CleanShot 2024-12-30 at 18.59.46@2x

3.上传到服务器
1.在 /usr/local下创建目录ElasticSearch
mkdir /usr/local/ElasticSearch
2.进入目录，并将压缩包上传到该目录
cd /usr/local/ElasticSearch

CleanShot 2024-12-30 at 19.09.33@2x

4.解压缩
1.解压
tar -zxvf elasticsearch-7.9.3-linux-x86_64.tar.gz
2.删除压缩包
rm -rf elasticsearch-7.9.3-linux-x86_64.tar.gz
5.快速启动es
1.进入bin目录
cd /usr/local/ElasticSearch/elasticsearch-7.9.3/bin
2.直接启动
./elasticsearch
3.报错不能使用root用户启动

CleanShot 2024-12-30 at 19.14.13@2x

6.创建一个新的elasticsearch用户启动es
1.添加用户
useradd elasticsearch
2.设置密码（Ww）
passwd elasticsearch
3.将elasticsearch目录的所有者和所在组设置为elasticsearch用户
chown -R elasticsearch:elasticsearch /usr/local/ElasticSearch/elasticsearch-7.9.3
4.查看是否设置成功
ll /usr/local/ElasticSearch/elasticsearch-7.9.3

CleanShot 2024-12-30 at 19.17.37@2x

7.再次启动es
1.切换用户为elasticsearch
su elasticsearch
2.启动
cd /usr/local/ElasticSearch/elasticsearch-7.9.3/bin && ./elasticsearch

CleanShot 2024-12-30 at 19.22.42@2x

8.开放9200端口
1.服务器开启
systemctl start firewalld && firewall-cmd --permanent --add-port=9200/tcp && firewall-cmd --reload && firewall-cmd --query-port=9200/tcp
2.安全组开启

CleanShot 2024-12-30 at 19.25.29@2x

9.elasticsearch配置
1.配置文件位置

CleanShot 2024-12-30 at 19.33.17@2x

CleanShot 2024-12-30 at 19.33.59@2x

2.修改JVM堆大小为512M
vim /usr/local/ElasticSearch/elasticsearch-7.9.3/config/jvm.options

CleanShot 2024-12-30 at 19.45.34@2x

3.日志命名规则以及滚动位置（如果滚动的日志过多可以手动删除）

CleanShot 2024-12-30 at 19.55.46@2x

CleanShot 2024-12-30 at 19.56.06@2x

4.配置path.data 和 path.logs也就是数据目录和日志目录
vim /usr/local/ElasticSearch/elasticsearch-7.9.3/config/elasticsearch.yml

path:data: /usr/local/ElasticSearch/elasticsearch-7.9.3/data/elasticsearchlogs: /usr/local/ElasticSearch/elasticsearch-7.9.3/log/elasticsearch
5.配置集群名字
vim /usr/local/ElasticSearch/elasticsearch-7.9.3/config/elasticsearch.yml

cluster.name: elasticsearch-cluster
6.配置节点名字
vim /usr/local/ElasticSearch/elasticsearch-7.9.3/config/elasticsearch.yml

node.name: elasticsearch-node-9200
7.配置network.host为0.0.0.0 监听所有网络接口
vim /usr/local/ElasticSearch/elasticsearch-7.9.3/config/elasticsearch.yml

network.host: 0.0.0.0
8.将elasticsearch用户打开文件的最大数量设置为 65,535 个
vim /etc/security/limits.conf

elasticsearch  -  nofile  65535

CleanShot 2024-12-30 at 20.20.32@2x

9.虚拟内存设置
vim /etc/sysctl.conf

最后一行

vm.max_map_count=262144

CleanShot 2024-12-30 at 20.26.48@2x

sudo sysctl -p

sysctl vm.max_map_count

CleanShot 2024-12-30 at 20.27.40@2x

10.线程数配置至少为 4096
vim /etc/security/limits.conf

elasticsearch soft nproc 4096
elasticsearch hard nproc 4096

CleanShot 2024-12-30 at 20.30.54@2x

vim /etc/security/limits.d/90-nproc.conf
11.配置节点发现（因为修改了network.host）
vim /usr/local/ElasticSearch/elasticsearch-7.9.3/config/elasticsearch.yml

discovery.seed_hosts:- 127.0.0.1
cluster.initial_master_nodes:- elasticsearch-node-9200

CleanShot 2024-12-30 at 20.38.38@2x

10.测试
1.重启es
cd /usr/local/ElasticSearch/elasticsearch-7.9.3/bin && ./elasticsearch

CleanShot 2024-12-30 at 20.39.38@2x

2.测试访问

http://ip:9200/

在这里插入图片描述

3.后台启动es并指定日志输出目录
nohup /usr/local/ElasticSearch/elasticsearch-7.9.3/bin/elasticsearch > /usr/local/ElasticSearch/elasticsearch-7.9.3/logs/elasticsearch-nohup.log 2>&1 &
4.查看日志
cat /usr/local/ElasticSearch/elasticsearch-7.9.3/logs/elasticsearch-nohup.log

CleanShot 2024-12-30 at 20.46.40@2x

5.再次访问es测试
11.单节点 elasticsearch.yml配置
vim /usr/local/ElasticSearch/elasticsearch-7.9.3/config/elasticsearch.yml

path:data: /usr/local/ElasticSearch/elasticsearch-7.9.3/data/elasticsearchlogs: /usr/local/ElasticSearch/elasticsearch-7.9.3/log/elasticsearch
cluster.name: elasticsearch-cluster
node.name: elasticsearch-node-9200
network.host: 0.0.0.0
discovery.seed_hosts:- 127.0.0.1
cluster.initial_master_nodes:- elasticsearch-node-9200
12.安装head插件
1.谷歌插件安装

CleanShot 2024-12-30 at 20.54.11@2x

2.创建一个只有一个分片的索引（有副本分片，会警告，因为只有一个节点）

CleanShot 2024-12-30 at 21.06.08@2x

2.Kibana安装

1.安装版本7.9.3
2.下载压缩包
1.找到指定版本的

https://www.elastic.co/downloads/past-releases#kibana

CleanShot 2024-12-30 at 20.50.56@2x

CleanShot 2024-12-30 at 20.51.11@2x

2.百度网盘

CleanShot 2024-12-30 at 20.52.08@2x

3.上传到服务器
1.创建 /usr/local/Kibana的目录
mkdir /usr/local/Kibana
2.将压缩包上传到这里
cd /usr/local/Kibana

CleanShot 2024-12-30 at 21.15.14@2x

4.解压缩
1.解压
tar -zxvf kibana-7.9.3-linux-x86_64.tar.gz
2.删除压缩包
rm -rf kibana-7.9.3-linux-x86_64.tar.gz
5.启动
1.给elasticsearch用户Kibana目录的权限
chown -R elasticsearch:elasticsearch /usr/local/Kibana/kibana-7.9.3-linux-x86_64/

CleanShot 2024-12-30 at 21.18.28@2x

2.切换用户
su elasticsearch
3.配置kibana
1.编辑配置文件
vim /usr/local/Kibana/kibana-7.9.3-linux-x86_64/config/kibana.yml
2.添加下面的内容
elasticsearch.hosts: ["http://ip:9200"] # 配置 Elasticsearch 链接地址
server.port: 5601 # 配置 Kibana 服务监听端口
server.host: "0.0.0.0" # 配置 Kibana 服务绑定地址（允许外部访问）
3.开启5601端口
systemctl start firewalld && firewall-cmd --permanent --add-port=5601/tcp && firewall-cmd --reload && firewall-cmd --query-port=5601/tcp

CleanShot 2024-12-30 at 21.24.29@2x

4.启动
/usr/local/Kibana/kibana-7.9.3-linux-x86_64/bin/kibana

CleanShot 2024-12-30 at 21.26.15@2x

4.访问测试

http://ip:5601

GET /_cat/health?v

CleanShot 2024-12-30 at 21.28.54@2x

5.后台启动
1.启动
nohup /usr/local/Kibana/kibana-7.9.3-linux-x86_64/bin/kibana > /usr/local/Kibana/kibana-7.9.3-linux-x86_64/kibana.log 2>&1 &
2.查看日志
cat /usr/local/Kibana/kibana-7.9.3-linux-x86_64/kibana.log

3.Logstash安装

1.安装版本7.9.3首先需要安装jdk
1.官网下载

https://www.oracle.com/java/technologies/downloads/#java8

CleanShot 2024-12-31 at 12.07.14@2x

2.将压缩包上传到 /usr/local/jdk8
1.创建并进入目录
mkdir /usr/local/jdk8 && cd /usr/local/jdk8
2.上传

CleanShot 2024-12-31 at 12.14.01@2x

3.解压缩
1.解压到当前目录
tar -zxvf jdk-8u261-linux-x64.tar.gz
2.删除原有的压缩包
rm -rf jdk-8u261-linux-x64.tar.gz
4.配置环境变量
1.首先复制jdk1.8.0_261的路径
/usr/local/jdk8/jdk1.8.0_261
2.编辑环境变量文件，在文件最后配置JAVA_HOME
vim /etc/profile

export JAVA_HOME=/usr/local/jdk8/jdk1.8.0_261
export PATH=$JAVA_HOME/bin:$PATH
3.使配置生效
source /etc/profile
4.输入java -version测试

CleanShot 2024-12-31 at 12.14.49@2x

2.下载压缩包
1.下载地址

https://www.elastic.co/downloads/past-releases/logstash-7-9-3

CleanShot 2024-12-30 at 21.13.09@2x

2.百度网盘

CleanShot 2024-12-30 at 21.38.36@2x

3.上传到服务器
1.上传到/usr/local/logstash下
2.创建目录并进入，然后上传到这个目录下
mkdir /usr/local/logstash && cd /usr/local/logstash

CleanShot 2024-12-30 at 21.47.31@2x

4.解压缩
1.解压
tar -zxvf logstash-7.9.3.tar.gz
2.删除原来的压缩包
rm -rf logstash-7.9.3.tar.gz
5.启动
1.进入bin目录
cd /usr/local/logstash/logstash-7.9.3/bin
2.运行最基本的 Logstash 管道
./logstash -e 'input { stdin { } } output { stdout {} }'

CleanShot 2024-12-31 at 12.16.16@2x

3.输入hello world，有消息就是成功了

CleanShot 2024-12-31 at 12.16.44@2x

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/68067.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

作用域 变量/函数提升

作用域 变量/函数提升

关于作用域的问题，在【ES6语法】、【作用域、this上下文、闭包】文中，均有涉及，今天来做一个详细的介绍。 在之前的文章中，提到作用域是可以静态分析出来的，因此作用域在定义时，就已经确定了。这是为了提高…
阅读更多...
Ubuntu20.04 运行 PL-VIO

Ubuntu20.04 运行 PL-VIO

文章目录 运行后不知为何没有线特征 运行后不知为何没有线特征
阅读更多...
C#与AI的共同发展

C#与AI的共同发展

C#与人工智能(AI)的共同发展反映了编程语言随着技术进步而演变，以适应新的挑战和需要。自2000年微软推出C#以来，这门语言经历了多次迭代，不仅成为了.NET平台的主要编程语言之一，还逐渐成为构建各种类型应用程序的强大工具。随着时…
阅读更多...
什么情况该换手机？先看后买不踩坑

什么情况该换手机？先看后买不踩坑

现在的智能手机发展的非常快，很多刚出来的1000多元的手机性能已经可以流畅玩游戏、刷视频了，而且基本上也能使用3-5年的时。如果真要把手机用到实在不能用了，可能真的会影响生活体验，还有可能因为电池鼓包等问题发生危险&#xff…
阅读更多...
初步理解数据结构

初步理解数据结构

引言 数据结构是计算机科学中的核心概念之一，它是存储、组织和管理数据的方式，直接影响算法的效率和程序的性能。无论是开发一个简单的应用程序，还是设计一个复杂的系统，选择合适的数据结构都是至关重要的。本文将深入探讨常见的…
阅读更多...
centos操作系统上以service形式运行blackbox_exporter监控网页端口

centos操作系统上以service形式运行blackbox_exporter监控网页端口

文章目录 前言一、blackbox_exporter是什么二、使用步骤1.获取二进制文件2.准备部署脚本3.执行命令，进行部署4.prometheus中增加需要监控页面的job信息 三、查看部署结果四、配置到grafana中总结 前言 记录一下centos操作系统上以简单的service形式运行blackbox_ex…
阅读更多...
26考研资料分享 百度网盘

26考研资料分享 百度网盘

基础班： 通过网盘分享的文件：2026【考研数学】等3个文件 链接:https://pan.baidu.com/s/1djzJiut1h0DH8WmrI05YHg?pwd1234 提取码:1234--来自百度网盘超级会员v3的分享 通过网盘分享的文件：01、2026【考研政治】 链接:https://pan.baidu.…
阅读更多...
使用github提交Pull Request的完整流程

使用github提交Pull Request的完整流程

文章目录 1.Fork仓库2. git clone 仓库在本地3.对项目进行修改开发4.上传项目到远程仓库操作补充1. git add .2. git commit -m "提交信息"3. git pull4. git push总结完整工作流程示例 5.将更新的项目pull Request给原来的仓库主人 当多人进行项目的开发的时候&…
阅读更多...
python编写Socket程序

python编写Socket程序

文章目录 编写非阻塞的TCP连接程序编写UDP的socket程序创建连接发送数据 多线程管理udp 编写非阻塞的TCP连接程序 下面代码使用了select模块来管理多个 socket 连接，server_socket.setblocking(0)将服务器 socket 设置为非阻塞模式 ，在接收数据时&#…
阅读更多...
在Ubuntu上使用Apache+MariaDB安装部署Nextcloud并修改默认存储路径

在Ubuntu上使用Apache+MariaDB安装部署Nextcloud并修改默认存储路径

一、前言 Nextcloud 是一款开源的私有云存储解决方案，允许用户轻松搭建自己的云服务。它不仅支持文件存储和共享，还提供了日历、联系人、任务管理、笔记等丰富的功能。本文将详细介绍如何在 Ubuntu 22.04 LTS 上使用 Apache 和 MariaDB 安装部署 Nextcl…
阅读更多...
PHP礼品兑换系统小程序

PHP礼品兑换系统小程序

🎁 礼品兑换系统：革新企业礼品管理，专属神器来袭！ 💻 一款专为追求高效与个性化的现代企业量身打造的礼品兑换系统，它基于强大的ThinkPHP框架与前沿的Uniapp技术栈深度融合，不仅完美适配礼品卡…
阅读更多...
数据结构基础之《（16）—链表题目》

数据结构基础之《（16）—链表题目》

一、链表问题 1、对于笔试，不用太在乎空间复杂度，一切为了时间复杂度 2、对于面试，时间复杂度依然放在第一位，但是一定要找到空间最省的方法 二、快慢指针 逻辑： 慢指针一次走1步 快指针一次走2步 当快指针走完的时…
阅读更多...
OpenHarmonyOS 3.2 编译生成的hap和app文件的名称如何配置追加版本号？

OpenHarmonyOS 3.2 编译生成的hap和app文件的名称如何配置追加版本号？

找了一圈发现官方的文档都是最新的，3.2很多API都不支持，比如获取OhosAppContext，通过OhosAppContext来获取应用版本号，最终是通过读取app.json5的文件内容来读取版本号，最终修改entry下的hvigorfile.ts如下&#xff0c…
阅读更多...
mapbox加载geojson，鼠标移入改变颜色，设置样式以及vue中的使用

mapbox加载geojson，鼠标移入改变颜色，设置样式以及vue中的使用

全国地图json数据下载地址 目录 html加载全部代码 方式一：使用html方式加载geojson 1. 初始化地图 2. 加载geojson数据 设置geojson图层样式，设置type加载数据类型 设置线条 鼠标移入改变颜色，设置图层属性，此处是fill-extru…
阅读更多...
Langchain+讯飞星火大模型Spark Max调用

Langchain+讯飞星火大模型Spark Max调用

1、安装langchain #安装langchain环境 pip install langchain0.3.3 openai -i https://mirrors.aliyun.com/pypi/simple #灵积模型服务 pip install dashscope -i https://mirrors.aliyun.com/pypi/simple #安装第三方集成,就是各种大语言模型 pip install langchain-comm…
阅读更多...
【kong gateway】5分钟快速上手kong gateway

【kong gateway】5分钟快速上手kong gateway

kong gateway的请求响应示意图 安装 下载对应的docker 镜像 可以直接使用docker pull命令拉取，也可以从以下地址下载：kong gateway 3.9.0.0 docker 镜像 https://download.csdn.net/download/zhangshenglu1/90307400， postgres-13.tar http…
阅读更多...
高效查找：二分查找算法解析

高效查找：二分查找算法解析

1.二分查找简介 二分查找算法（Binary Search）是一种高效的查找算法，适用于有序数组或序列。它的基本思想是通过逐步缩小查找范围，将查找区间一分为二，直到找到目标值或确定目标值不存在。 算法原理：在数组…
阅读更多...
数据统计–图形报表（day11）

数据统计–图形报表（day11）

Apache ECharts 介绍 Apache ECharts 介绍 Apache ECharts 是一款基于 Javascript 的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。 官网地址：Apache ECharts 入门案例 Apache Echarts官方…
阅读更多...
Docker可视化管理工具Portainer

Docker可视化管理工具Portainer

Portainer简介 Portainer 是一个轻量级的、开源的容器管理工具，提供了一个直观的 Web 用户界面（UI），用于管理 Docker 和 Kubernetes 环境。它简化了容器的部署、监控和管理，特别适合不熟悉命令行操作的用户或团队。 …
阅读更多...
C++入门14——set与map的使用

C++入门14——set与map的使用

在本专栏的往期文章中，我们已经学习了STL的部分容器，如vector、list、stack、queue等，这些容器统称为序列式容器，因为其底层是线性序列的数据结构，里面存储的是元素本身。而本篇文章我们要来认识一下关联式容器。 &am…
阅读更多...
最新文章

Copyright @ 2022~2023