docker部署elk

目录

前言

一、创建程序工作路径

二、创建私有网络

三、部署elasticsearch

1.先搜速后下载

2.创建一个基础的容器（此步骤是为了拷贝容器里的文件）

3.拷贝文件到宿主机

3.1进入容器

3.2拷贝并授权

3.3删除基础容器

4.创建容器

5.访问9200测试

6.创建索引

7.查询索引

 四、部署kibana

1.同理，先搜索后下载

2.创建一个基础的容器

3.拷贝文件到宿主机

3.1进入容器

3.2拷贝并授权 

3.3修改kibana配置文件 

3.4删除基础容器

4.创建kibana容器

5.访问kibana测试

五、部署logstash

1.同理，先搜索后下载

2.创建一个基础的容器

3.拷贝文件到宿主机

3.1进入容器

3.2拷贝文件

3.3修改配置文件

3.4删除基础容器

4. 创建logstash容器 

六、测试

1.访问kibana，设置索引模式

 2.造一条测试数据

3.发送测试数据

4.查看数据

前言

ELK 是一组开源软件套件，用于实现日志管理和分析。它由三个主要组件组成：

  1. Elasticsearch ：一个基于 Lucene 的分布式搜索引擎，用于存储、搜索和分析大量数据。

  2. Logstash ：一个数据收集引擎，用于从各种源（如文件、数据库、消息队列等）收集、处理和转换数据，然后将其发送到 Elasticsearch 中进行存储和分析。

  3. Kibana ：一个数据可视化平台，用于实时监控和分析 Elasticsearch 中的数据，并将其以交互式图表、图形和地图等形式展示出来。

ELK 被广泛应用于日志管理领域，可以帮助用户高效地收集、存储、索引、搜索和分析大量的日志数据。它不仅适用于 Web 应用程序的日志管理，还可以用于系统日志、网络设备日志、安全事件日志等各种类型的数据收集和分析。

除了 ELK，还有一些类似的开源日志管理工具，例如 Graylog 和 Fluentd 等，它们也提供了类似的功能，但在实现方式和使用场景上略有不同。

部署容器所需要的版本，可以上dockerhub上确认，这里统一使用7.12.1版本，dockerhub链接如下：

Docker

一、创建程序工作路径

mkdir -p /opt/elk/{elasticsearch,kibana,logstash}

二、创建私有网络

创不创建都行，我的宿主机环境没有和默认bridge网络172.17冲突的网段，实验里创建了一个私有网络，来模拟企业环境

docker network create  elk
docker network ls

三、部署elasticsearch

1.先搜速后下载

docker search elasticserch
docker pull elasticsearch:7.12.1

2.创建一个基础的容器（此步骤是为了拷贝容器里的文件）

docker run -d --name es --net elk -P -e "discovery.type=single-node" elasticsearch:7.12.1

--name  设置容器名字

--net      设置容器的网络

-P          自动分配端口

-e          设置环境变量

3.拷贝文件到宿主机

3.1进入容器
docker exec -it es /bin/bash

3.2拷贝并授权
docker cp es:/usr/share/elasticsearch/config/elasticsearch.yml /opt/elk/elasticsearch/chmod 777 elasticsearch/elasticsearch.ymlmkdir datachmod -R 777 /opt/elk/elasticsearch/data/

3.3删除基础容器
docker rm -f es

4.创建容器

docker run -d --name es --net elk -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" --privileged=true -v /opt/elk/elasticsearch/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /opt/elk/elasticsearch/data/:/usr/share/elasticsearch/data elasticsearch:7.12.1

5.访问9200测试

curl -XGET 'http://localhost:9200'
curl -XGET 'http://localhost:9200/_cluster/health?pretty'

访问浏览器

6.创建索引

 curl -XPUT http://192.168.159.128/elk

 7.查询索引

这里面查不到数据，因为是刚创建的

 curl -XGET http://192.168.159.128:9200/elk/_search

 四、部署kibana

1.同理，先搜索后下载

docker search kibana
docker pull kibana:7.12.1

2.创建一个基础的容器

docker run -d --name kibana --net elk -P -e "ELASTICSEARCH_HOSTS=http://192.168.159.128:9200" -e "I18N_LOCALE=zh-CN" kibana:7.12.1

-e  环境变量指定es的访问ip

3.拷贝文件到宿主机

3.1进入容器
docker exec -it kibana /bin/bash

3.2拷贝并授权 
docker cp kibana:/usr/share/kibana/config/kibana.yml /opt/elk/kibana/chmod -R 777 /opt/elk/kibana/kibana.yml

​

3.3修改kibana配置文件 
cat kibana.ymlserver.name: kibana
server.host: "0"
#es的访问ip
elasticsearch.hosts: [ "http://192.168.159.128:9200" ]
monitoring.ui.container.elasticsearch.enabled: true
#汉化
i18n.locale: zh-CN

3.4删除基础容器
docker rm -f kibana

4.创建kibana容器

docker run -d --name kibana --net elk -p 5601:5601 -v /opt/elk/kibana/kibana.yml:/usr/share/kibana/config/kibana.yml kibana:7.12.1

5.访问kibana测试

五、部署logstash

1.同理，先搜索后下载

docker search logstash
docker pull logstash:7.12.1

2.创建一个基础的容器

docker run -d -P --name logstash --net elk logstash:7.12.1

3.拷贝文件到宿主机

3.1进入容器
docker exec -it logstash /bin/bash

 查看下logstash的默认配置文件，端口默认是5044

3.2拷贝文件
docker cp logstash:/usr/share/logstash/config /opt/elk/logstash/
docker cp logstash:/usr/share/logstash/data /opt/elk/logstash/
docker cp logstash:/usr/share/logstash/pipeline /opt/elk/logstash/
3.3修改配置文件

vim /opt/elk/logstash/config/logstash.yml


修改 logstash/config 下的 logstash.yml 文件，主要修改 es 的地址：http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.159.128:9200" ]

vim /opt/elk/logstash/pipeline/logstash.conf 


input {# 从文件读取日志信息file {path => "/opt/test.json"start_position => "beginning"   # 设置从文件的开始位置开始读取日志sincedb_path => "/usr/share/logstash/pipelog.txt"   # 指定记录文件读取位置的 sincedb 文件路径codec => "json"}tcp {mode => "server"host => "0.0.0.0"  # 允许任意主机发送日志port => 5044}
}output {stdout { codec => rubydebug }# 输出到 Elasticsearchelasticsearch {action => "index"hosts => ["http://192.168.159.128:9200"]index => "elk"     # 索引名称}
}

3.4删除基础容器
docker rm -f logstash

4. 创建logstash容器 

docker run -d --name logstash --net elk --privileged=true -p 5044:5044 -p 9600:9600 -v /opt/elk/logstash/data/:/usr/share/logstash/data -v /opt/elk/logstash/config/:/usr/share/logstash/config -v /opt/elk/logstash/pipeline/:/usr/share/logstash/pipeline logstash:7.12.1

六、测试

1.访问kibana，设置索引模式

选择elk索引，创建索引模式

 2.造一条测试数据

在当前目录下创建一个json文件，名字为test.json

{"id": 1,"name": "Tom","birthday": "1990-01-01","address": {"province": "Beijing","city": "Beijing","district": "Chaoyang"},"scores": [80, 90, 85],"is_male": true
}

3.发送测试数据

curl -XPOST -H "Content-Type: application/json" -d @test.json http://192.168.159.128:5044

4.查看数据

后台使用curl查看elk索引，显示已有内容

kibana上的discover上选择elk索引，查到了之前发送的json测试数据

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/128357.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Redis入门指南学习笔记(2)：常用数据类型解析

Redis入门指南学习笔记(2)：常用数据类型解析

一.前言 本文主要介绍Redis中包含几种主要数据类型：字符串类型、哈希类型、列表类型、集合类型和有序集合类型。 二.字符串类型 字符串类型是Redis中最基本的数据类型，它是其他4种数据类型的基础，其他数据类型与字符串类型的差别从某种角度…
阅读更多...
设计模式-访问者模式

设计模式-访问者模式

访问者模式是一种行为设计模式，它允许你在不修改现有对象结构的情况下，定义新的操作。访问者模式通过将操作封装在一个访问者对象中，使得可以在不同的对象上执行不同的操作，从而实现了操作和对象的解耦。 在Java中&#x…
阅读更多...
有关MySQL的联合查询

有关MySQL的联合查询

在 MySQL 中，联合查询（也称为 JOIN 查询）是一种用于将多个表中的数据联接在一起的操作。这使得你可以从多个表中获取相关的数据，并创建复杂的查询。 以下是一些常见的联合查询类型和示例： 内连接（INNER J…
阅读更多...
【Linux学习笔记】进程概念（上）

【Linux学习笔记】进程概念（上）

1. 冯诺依曼体系结构2. 操作系统的作用3. 进程 1. 冯诺依曼体系结构 如图，这是一个冯诺依曼体系结构简图 其中这里的存储器指的是内存！ 用通俗的话来解释这个图，就是数据从输入设备进入，然后进入到存储器，CPU从存储器…
阅读更多...
神经网络气温预测

神经网络气温预测

#引用所需要的库 import numpy as np import pandas as pd import matplotlib.pyplot as plt import torch import torch.optim as optim#优化器 #过滤警告 import warnings warnings.filterwarnings(“ignore”) %matplotlib inline featurespd.read_csv(‘temps.csv’) feat…
阅读更多...
求矩阵高次幂的两种“另类”方法

求矩阵高次幂的两种“另类”方法

文章目录 【方法一】运用哈密顿凯莱定理相关例题 【方法二】运用特征方程二阶矩阵求解通法三阶矩阵求解通法相关例题 市面上许多资料给出的计算矩阵高次幂的方法，无外乎有这几种： 分块矩阵求解高次幂；先求低次方幂，然后通过找规律…
阅读更多...
阿里云OS系统Alibaba Cloud Linux 3系统的安全更新命令

阿里云OS系统Alibaba Cloud Linux 3系统的安全更新命令

给客户部署的服务，进入运维阶段，但是经常被客户监测到服务器漏洞，现在整理一下，服务器漏洞问题更新命令步骤。 服务器系统： 阿里云linux服务器：Alibaba Cloud Linux 3 漏洞类型和描述： #3214…
阅读更多...
新体验：万圣节夜晚的新游戏！--愤怒的南瓜

新体验：万圣节夜晚的新游戏！--愤怒的南瓜

引言： Chatgpt4.0 所带来的冲击似乎远超出人们想象，网页小游戏《愤怒的南瓜》在昨日（万圣节夜晚）火爆了外网。一位名为 Javi Lopez 的外国小哥使用 Midjourney、DALL•E 3 和 GPT-4 打开了一个无限可能的世界，重新演绎…
阅读更多...
【Python全栈_公开课学习记录】

【Python全栈_公开课学习记录】

一、初识python (一).Python起源 Python创始人为吉多范罗苏姆（荷兰），Python崇尚优美、清晰、简明的编辑风格。Python语言结构清晰简单、数据库丰富、运行成熟稳定，科学计算统计分析领先。目前广泛应用于云计算、Web开发、科学运算…
阅读更多...
DSP 开发例程(5): tcp_server

DSP 开发例程(5): tcp_server

目录 DSP 开发例程(5): tcp_server创建工程源码编辑tcp_echo.chelloWorld.c 调试说明 DSP 开发例程(5): tcp_server 此例程实现在 EVM6678L 开发板上创建 TCP Server进程, 完成计算机与开发板之间的 TCP/IP 通信. 例程源码可从我的 gitee 仓库上克隆或下载. 点击 DSP 开发教程…
阅读更多...
【机器学习合集】模型设计之注意力机制动态网络 -＞（个人学习记录笔记）

【机器学习合集】模型设计之注意力机制动态网络 -＞（个人学习记录笔记）

文章目录 注意力机制1. 注意力机制及其应用1.1 注意力机制的定义1.2 注意力机制的典型应用 2. 注意力模型设计2.1 空间注意力机制2.2 空间注意力模型2.3 通道注意力机制2.4 空间与通道注意力机制2.5 自注意力机制2.5 级联attention 动态网络1. 动态网络的定义2. 基于丢弃策略的…
阅读更多...
jquery控制easyui中combobox、textbox显示隐藏

jquery控制easyui中combobox、textbox显示隐藏

//combobox下拉框 $("#下拉框id.combo").hide();//textbox输入框 $("#输入框id.textbox").hide(); 参考网址： https://blog.csdn.net/Coldmood/article/details/128279727
阅读更多...
PostgreSQL逻辑管理结构

PostgreSQL逻辑管理结构

1.数据库逻辑结构介绍 2.数据库基本操作 2.1 创建数据库 CREATE DATABASE name [ [ WITH ] [ OWNER [] user_name ] [ TEMPLATE [] template ] [ ENCODING [] encoding ] [ LC_COLLATE [] lc_collate ] [ LC_CTYPE [] lc_ctype ] [ TABLESPACE [] tablespace ] [ CONNECTION L…
阅读更多...
Day17力扣打卡

Day17力扣打卡

打卡记录 参加会议的最多员工数&#xff08;拓扑排序 分类讨论&#xff09; 链接 计算内向基环树的最大基环&#xff0c;基环树基环为2的情况分类讨论。 class Solution { public:int maximumInvitations(vector<int> &favorite) {int n favorite.size();vector…
阅读更多...
mac下的vscode配置编译环境

mac下的vscode配置编译环境

基础开发环境 创建Dockerfile文件&#xff0c;内容如下&#xff1a; FROM ubuntu:20.04RUN apt update & apt install make gcc cmake git ninja-build -y CMD [ "sleep", "infinity" ]创建docker-compose.yml文件&#xff0c;内容如下&#xff1a; …
阅读更多...
4.多层感知机-3GPT版

4.多层感知机-3GPT版

#pic_center R 1 R_1 R1​ R 2 R^2 R2 目录 知识框架No.1 多层感知机一、感知机1、感知机2、训练感知机3、图形解释4、收敛定理5、XOR问题6、总结 二、多层感知机1、XOR2、单隐藏层3、单隐藏层-单分类4、为什么需要非线性激活函数5、Sigmoid函数6、Tanh函数7、ReLU函数8、多类分…
阅读更多...
SDK是什么

SDK是什么

SDK 是“Software Development Kit”&#xff08;软件开发工具包&#xff09;的缩写&#xff0c;它是一组用于开发特定软件应用、硬件平台、计算机系统或操作系统的开发工具的集合。SDK 通常包括一组开发工具、库、文档和示例代码&#xff0c;以帮助开发者更快地开发和部署应用…
阅读更多...
SAML- 安全断言标记语言

SAML- 安全断言标记语言

一、概念 安全断言标记语言&#xff08;SAML&#xff09;是一种开放标准&#xff0c;用于在各方之间&#xff08;特别是身份提供商和服务提供商之间&#xff09;交换身份验证和授权数据。SAML 是一种基于XML的安全断言标记语言&#xff08;服务提供商用来做出访问控制决策的语句…
阅读更多...
HTML标签、CSS介绍

HTML标签、CSS介绍

标签的分类: 块级/行内 # 块级标签: 独占一行 h1~h6 p div """ 块儿级标签可以修改长宽. 行内标签不可以, 就算修改了也不会变化.块级标签内部可以嵌套任意的块级标签和行内标签. 特例: 是p标签虽然是块级标签 但是它只能嵌套行内标签 不能嵌套块级标签. 如…
阅读更多...
linux安装apache并配置userid站点

linux安装apache并配置userid站点

目录 一、linux安装apache的方式 1、安装wget 2、下载CentOS 7的repo文件 3、更新镜像源 二、安装apache 1.通过命令直接安装apache(linux的软件包为httpd) 2.启动httpd服务 3.访问一下 三、apache配置文件 1.主配置文件 2.修改根目录 3.修改下端口 4.apache的工作…
阅读更多...
最新文章

Copyright @ 2022~2023