分布式应用:ELK企业级日志分析系统

目录

一、理论

1.ELK

 2.ELK场景

 3.完整日志系统基本特征

4.ELK 的工作原理

          5.ELK集群准备

6.Elasticsearch部署(在Node1、Node2节点上操作)

7.Logstash 部署(在 Apache 节点上操作)

8.Kiabana 部署(在 Node1 节点上操作)

二、实验

        1.Elasticsearch部署(在Node1、Node2节点上操作)

2.安装 Elasticsearch-head 插件

3.Logstash 部署(在 Apache 节点上操作)

三、问题

1.node2启动elasticsearch-head报错

2.集群健康的显示未连接

四、总结


一、理论

1.ELK

(1)概念

ELK平台是一套完整的日志集中处理解决方案,将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用, 完成更强大的用户对日志的查询、排序、统计需求。

(2)ELK各组件介绍

ElasticSearch:
是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志。
Elasticsearch 是用 Java 开发的,可通过 RESTful Web 接口,让用户可以通过浏览器与Elasticsearch 通信。
Elasticsearch是一个实时的、分布式的可扩展的搜索引擎,允许进行全文、结构化搜索,它通常用于索引和搜索大容量的日志数据,也可用于搜索许多不同类型的文档。
 

Kiabana:
Kibana 通常与 Elasticsearch 一起部署,Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard,Kibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据,可以用来汇总、分析和搜索重要数据。


Logstash:
作为数据收集引擎。它支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储到用户指定的位置,一般会发送给 Elasticsearch。
Logstash 由 Ruby 语言编写,运行在 Java 虚拟机(JVM)上,是一款强大的数据处理工具, 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能,常用于日志处理。

logStash 的主要组件

Shipper:日志收集者。负责监控本地日志文件的变化,及时把日志文件的最新内容收集
起来。通常远程代理端( agent)只需要运行这个组件即可;

lndexer:日志存储者。负责接收日志并写入到本地文件。
Broker:日志Hub。负责连接多个 Shipper和多个Indexer-Search and Storage:允许对事件进行搜索和存储;
web lnterface:基于web 的展示界面
 

 

 (3)可以添加的其它组件
Filebeat:
轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat,并指定目录与日志格式,Filebeat 就能快速收集数据,并发送给 logstash 进行解析,或是直接发给 Elasticsearch 存储,性能上相比运行于 JVM 上的 logstash 优势明显,是对它的替代。常应用于 EFLK 架构当中。(如果要使用过滤功能的话,Filebeat不能完全替代logstash,Filebeat没有过滤功能,收集数据后需要发送给 logstash 进行处理)
filebeat 结合 logstash 带来好处:

通过 Logstash 具有基于磁盘的自适应缓冲系统,该系统将吸收传入的吞吐量,从而减轻 Elasticsearch 持续写入数据的压力。
从其他数据源(例如数据库,S3对象存储或消息传递队列)中提取。
将数据发送到多个目的地,例如S3,HDFS(Hadoop分布式文件系统)或写入文件。
使用条件数据流逻辑组成更复杂的处理管道。
缓存/消息队列(redis、kafka、RabbitMQ等):
可以对高并发日志数据进行流量削峰和缓冲,这样的缓冲可以一定程度的保护数据不丢失,还可以对整个架构进行应用解耦。
Fluentd:
是一个流行的开源数据收集器。由于 logstash 太重量级的缺点,Logstash 性能低、资源消耗比较多等问题,随后就有 Fluentd 的出现。相比较 logstash,Fluentd 更易用、资源消耗更少、性能更高,在数据处理上更高效可靠,受到企业欢迎,成为 logstash 的一种替代方案,常应用于 EFK 架构当中。在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案。
在 Kubernetes 集群中一般是通过 DaemonSet 来运行 Fluentd,以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod。 它通过获取容器日志文件、过滤和转换日志数据,然后将数据传递到 Elasticsearch 集群,在该集群中对其进行索引和存储。

(4)ELK、ELFK、EFLKL

ELK: ES+logstash+kibana
ELFK: ES+logstash+filebeat+kibana
ELFK: ES+filebeat+logstash+kafka+kibana

 

 2.ELK场景

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。

往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析,但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用 grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,大部分情况需要根据问题暴露的关键信息,定位到具体的服务器和服务模块,构建一套集中式日志系统,可以提高定位问题的效率。

 

 3.完整日志系统基本特征

收集: 能够采集多种来源的日志数据。

传输: 能够稳定的把日志数据解析过滤并传输到存储系统。

存储: 存储日志数据。

分析: 支持 UI 分析。

警告: 能够提供错误报告,监控机制。

 

4.ELK 的工作原理

(1)在所有需要收集日志的服务器上部署Logstash;或者先将日志进行集中化管理在日志服务器上,在日志服务器上部署 Logstash。

(2)Logstash 收集日志,将日志格式化并输出到 Elasticsearch 群集中。

(3)Elasticsearch 对格式化后的数据进行索引和存储。

(4)Kibana 从 ES 群集中查询数据生成图表,并进行前端数据的展示。

 

5.ELK集群准备

(1)实验环境

 

(2)初始化环境,关闭所有节点的防火墙

systemctl stop firewalldsetenforce 0

6.Elasticsearch部署(在Node1、Node2节点上操作)

(1)环境准备,设置Java环境

 #设置Java环境java -version              #如果没有安装,yum -y install javaopenjdk version "1.8.0_131"OpenJDK Runtime Environment (build 1.8.0_131-b12)OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

(2)部署 Elasticsearch 软件

#安装elasticsearch—rpm包,上传elasticsearch-6.7.2.rpm到/opt目录下cd /opt
rpm -ivh elasticsearch-5.5.0.rpm 

(3)修改主机名,在/etc/hosts文件中添加映射关系

#更改主机名、配置域名解析、查看Java环境
Node1节点:hostnamectl set-hostname node1
Node2节点:hostnamectl set-hostname node2vim /etc/hosts
192.168.204.51 node1 
192.168.204.52 node2   

(4)修改 Elasticsearch主配置文件

(1)加载系统服务
systemctl daemon-reload    
systemctl enable elasticsearch.service(2)修改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释,指定集群名字
cluster.name: my-elk-cluster
--23--取消注释,指定节点名字:Node1节点为node1,Node2节点为node2
node.name: node1
--33--取消注释,指定数据存放路径
path.data: /data/elk_data
--37--取消注释,指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释,改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释,设置监听地址,0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释,ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释,集群发现通过单播实现,指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]grep -v "^#" /etc/elasticsearch/elasticsearch.yml(3)创建数据存放路径并授权
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

(5)ES 性能调优参数

 #(1)优化最大内存大小和最大文件描述符的数量vim /etc/security/limits.conf......*  soft    nofile          65536            *  hard    nofile          131072*  soft    memlock         unlimited    *  hard    memlock         unlimited     #不锁内存,即不限制内存(一半给ES,一半给操作系统)​#需重启生效#临时生效可以通过"ulimit -n 数量"命令来修改每个进程可打开的最大文件数​#(2)优化elasticsearch用户拥有的内存权限vim /etc/sysctl.conf#一个进程可以拥有的最大内存映射区域数,参考数据(分配 2g/262144,4g/4194304,8g/8388608)vm.max_map_count=262144​sysctl -psysctl -a | grep vm.max_map_count

优化elasticsearch用户拥有的内存权限:

由于ES构建基于lucene, 而lucene设计强大之处在于lucene能够很好的利用操作系统内存来缓存索引数据,以提供快速的查询性能。lucene的索引文件segements是存储在单文件中的,并且不可变,对于OS来说,能够很友好地将索引文件保持在cache中,以便快速访问;因此,我们很有必要将一半的物理内存留给lucene ; 另一半的物理内存留给ES(JVM heap )。所以, 在ES内存设置方面,可以遵循以下原则:

当机器内存小于64G时,遵循通用的原则,50%给ES,50%留给操作系统,供lucene使用。
当机器内存大于64G时,遵循原则:建议分配给ES分配 4~32G 的内存即可,其它内存留给操作系统,供lucene使用。
 

(6)启动elasticsearch是否成功开启

 systemctl start elasticsearch.servicesystemctl enable elasticsearch.servicenetstat -antp | grep 9200

(7)查看节点信息

浏览器访问  http://192.168.204.51:9200http://192.168.204.52:9200 查看节点 Node1、Node2 的信息。​浏览器访问 http://192.168.204.51:9200/_cluster/health?pretty   http://192.168.204.52:9200/_cluster/health?pretty查看群集的健康情况,可以看到 status 值为 green(绿色), 表示节点健康运行。​浏览器访问 http://192.168.204.51:9200/_cluster/state?pretty  检查群集状态信息。

(8)安装 Elasticsearch-head 插件
使用上述方式查看群集的状态对用户并不友好,可以通过安装 Elasticsearch-head 插件,可以更方便地管理群集。

Elasticsearch 在 5.0 版本后,Elasticsearch-head 插件需要作为独立服务进行安装,需要使用npm工具(NodeJS的包管理工具)安装。

安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。
node:是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
phantomjs:是一个基于 webkit 的JavaScriptAPI,可以理解为一个隐形的浏览器,任何基于 webkit 浏览器做的事情,它都可以做到。
 

 (1)编译安装 node#上传软件包 node-v8.2.1.tar.gz 到/optyum install gcc gcc-c++ make -y​cd /opttar zxvf node-v8.2.1.tar.gz​cd node-v8.2.1/./configuremake && make install​(2)安装 phantomjs#上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到cd /opttar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bincp phantomjs /usr/local/bin​(3)安装 Elasticsearch-head 数据可视化工具#上传软件包 elasticsearch-head.tar.gz 到/optcd /opttar zxvf elasticsearch-head.tar.gz -C /usr/local/src/cd /usr/local/src/elasticsearch-head/npm install​(4)修改 Elasticsearch 主配置文件vim /etc/elasticsearch/elasticsearch.yml......--末尾添加以下内容--http.cors.enabled: true             #开启跨域访问支持,默认为 falsehttp.cors.allow-origin: "*"         #指定跨域访问允许的域名地址为所有​systemctl restart elasticsearch​(5)启动 elasticsearch-head 服务#必须在解压后的 elasticsearch-head 目录下启动服务,进程会读取该目录下的 gruntfile.js 文件,否则可能启动失败。cd /usr/local/src/elasticsearch-head/npm run start &​> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head> grunt server​Running "connect:server" (connect) taskWaiting forever...Started connect web server on http://localhost:9100​#elasticsearch-head 监听的端口是 9100netstat -natp |grep 9100​(6)通过 Elasticsearch-head 查看 Elasticsearch 信息通过浏览器访问 http://192.168.204.53:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色,代表群集很健康。​(7)插入索引#通过命令插入一个测试索引,索引为 index-demo,类型为 test。curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'//输出结果如下:{"_index" : "index-demo","_type" : "test","_id" : "1","_version" : 1,"result" : "created","_shards" : {"total" : 2,"successful" : 2,"failed" : 0},"created" : true}​浏览器访问 http://192.168.121.10:9100/ 查看索引信息,可以看见索引默认被分片5个,并且有一个副本。点击“数据浏览”,会发现在node1上创建的索引为 index-demo,类型为 test 的相关信息。

7.Logstash 部署(在 Apache 节点上操作)

Logstash 一般部署在需要监控其日志的服务器。在本案例中,Logstash 部署在 Apache 服务器上,用于收集 Apache 服务器的日志信息并发送到 Elasticsearch。

(1)更改主机名

hostnamectl set-hostname apache

(2)安装Apahce服务(httpd)

 yum -y install httpdsystemctl start httpd

(3)安装Java环境

 yum -y install javajava -version

(4)安装logstash

 #上传软件包 logstash-5.5.1.rpm 到/opt目录下cd /optrpm -ivh logstash-5.5.1.rpm                           systemctl start logstash.service                      systemctl enable logstash.service​#将logstash放入PATH环境变量的目录中,便于系统识别ln -s /usr/share/logstash/bin/logstash  /usr/local/bin/

(5)测试 Logstash

Logstash 命令常用选项:

1)Logstash 命令常用选项

 2)定义输入和输出流:

 #1.输入采用标准输入,输出采用标准输出(类似管道)logstash -e 'input { stdin{} } output { stdout{} }'......www.baidu.com                                       #键入内容(标准输入)2020-12-22T03:58:47.799Z node1 www.baidu.com        #输出结果(标准输出)www.sina.com.cn                                     #键入内容(标准输入)2017-12-22T03:59:02.908Z node1 www.sina.com.cn      #输出结果(标准输出)​//执行 ctrl+c 退出​​#2.使用 rubydebug 输出详细格式显示,codec 为一种编解码器logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'......www.baidu.com                                       #键入内容(标准输入){"@timestamp" => 2020-12-22T02:15:39.136Z,       #输出结果(处理后的结果)"@version" => "1","host" => "apache","message" => "www.baidu.com"}​​#3.使用 Logstash 将信息写入 Elasticsearch 中logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.204.51:9200"] } }'输入                输出          对接......www.baidu.com                                       #键入内容(标准输入)www.sina.com.cn                                     #键入内容(标准输入)www.google.com                                      #键入内容(标准输入)​//结果不在标准输出显示,而是发送至 Elasticsearch 中,可浏览器访问 http://192.168.204.51:9100/ 查看索引信息和数据浏览。

(6)定义 logstash配置文件

Logstash 配置文件基本由三部分组成:input、output 以及 filter(可选,根据需要选择使用)。

input:表示从数据源采集数据,常见的数据源如Kafka、日志文件等。
filter:表示数据处理层,包括对数据进行格式化处理、数据类型转换、数据过滤等,支持正则表达式。
output:表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。
 

 #格式如下:input {...}filter {...}output {...}​#在每个部分中,也可以指定多个访问方式。例如,若要指定两个日志来源文件,则格式如下:input {file { path =>"/var/log/messages" type =>"syslog"}file { path =>"/var/log/httpd/access.log" type =>"apache"}}

修改Logstash 配置文件:

#修改 Logstash 配置文件,让其收集系统日志/var/log/messages,并将其输出到 elasticsearch 中。chmod +r /var/log/messages                  #让 Logstash 可以读取日志​vim /etc/logstash/conf.d/system.confinput {file{path =>"/var/log/messages"                      #指定要收集的日志的位置type =>"system"                                 #自定义日志类型标识start_position =>"beginning"                    #表示从开始处收集}}output {elasticsearch {                                     #输出到 elasticsearchhosts => ["192.168.204.51:9200","192.168.204.52:9200"]  #指定 elasticsearch 服务器的地址和端口index =>"system-%{+YYYY.MM.dd}"                 #指定输出到 elasticsearch 的索引格式}}​systemctl restart logstash ​浏览器访问 http://192.168.121.10:9100/ 查看索引信息

8.Kiabana 部署(在 Node1 节点上操作)

(1)安装 Kiabana

#上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录cd /optrpm -ivh kibana-5.5.1-x86_64.rpm

(2)设置 Kibana 的主配置文件

 vim /etc/kibana/kibana.yml#--第2行--取消注释,Kiabana 服务的默认监听端口为5601server.port: 5601​#--第7行--取消注释,设置 Kiabana 的监听地址,0.0.0.0代表所有地址server.host: "0.0.0.0"​#--第28行--取消注释,配置es服务器的ip,如果是集群则配置该集群中master节点的ipelasticsearch.url:  ["http://192.168.204.51:9200","http://192.168.204.52:9200"]​#--第37行--取消注释,设置在 elasticsearch 中添加.kibana索引kibana.index: ".kibana"​#--第96行--取消注释,配置kibana的日志文件路径(需手动创建),不然默认是messages里记录日志logging.dest: /var/log/kibana.log

(3)创建日志文件,启动 Kibana 服务

 touch /var/log/kibana.logchown kibana:kibana /var/log/kibana.log​systemctl start kibana.servicesystemctl enable kibana.service​netstat -natp | grep 5601

(4)验证 Kibana

浏览器访问 http://192.168.121.10:5601第一次登录需要添加一个 Elasticsearch 索引:Index name or pattern//输入:system-*           #在索引名中输入之前配置的 Output 前缀“system”​单击 “create” 按钮创建,单击 “Discover” 按钮可查看图表信息及日志信息。数据展示可以分类显示,在“Available Fields”中的“host”,然后单击 “add”按钮,可以看到按照“host”筛选后的结果

(5)将 Apache 服务器的日志(访问的、错误的)添加到 Elasticsearch 并通过 Kibana 显示

vim /etc/logstash/conf.d/apache_log.confinput {file{path => "/etc/httpd/logs/access_log"   #指定访问日志存放位置录type => "access"start_position => "beginning"    #beginning表示从开头收集,如果只需收集最新的,此处改为latest}file{path => "/etc/httpd/logs/error_log"   #指定错误日志存放位置type => "error"start_position => "beginning"}}output {if [type] == "access" {elasticsearch {hosts => ["192.168.204.51:9200","192.168.204.52:9200"]index => "apache_access-%{+YYYY.MM.dd}"      #索引后缀加上当天的日期}}if [type] == "error" {elasticsearch {hosts => ["192.168.204.51:9200","192.168.204.52:9200"]index => "apache_error-%{+YYYY.MM.dd}"     #索引后缀加上当天的日期}  }}​cd /etc/logstash/conf.d//usr/share/logstash/bin/logstash -f apache_log.conf

(6)浏览器访问

浏览器访问 http://192.168.204.51:9100 查看索引是否创建​浏览器访问 http://192.168.204.51:5601 登录 Kibana,单击“Index Pattern -> Create Index Pattern”按钮添加索引, 在索引名中输入之前配置的 Output 前缀 apache_access-*,并单击“Create”按钮。再用相同的方法添加 apache_error-*索引。选择“Discover”选项卡,在中间下拉列表中选择刚添加的 apache_access-* 、apache_error-* 索引, 可以查看相应的图表及日志信息。

二、实验

1.Elasticsearch部署(在Node1、Node2节点上操作)

(1)环境准备

关闭所有节点的防火墙

 设置Java环境

(2)部署 Elasticsearch 软件

 (3)修改主机名,在/etc/hosts文件中添加映射关系

 

 (4)修改 Elasticsearch主配置文件

 

(5) 创建数据存放路径并授权

(6)启动elasticsearch是否成功开启

 (7)查看节点信息

浏览器访问  http://192.168.204.51:9200  、 http://192.168.204.52:9200 查看节点 Node1、Node2 的信息。

 

 

浏览器访问 http://192.168.204.51:9200/_cluster/health?pretty  、 http://192.168.204.52:9200/_cluster/health?pretty查看群集的健康情况,可以看到 status 值为 green(绿色), 表示节点健康运行。

 

(8)ES性能调优

优化最大内存大小和最大文件描述符的数量

 

优化elasticsearch用户拥有的内存权限

2.安装 Elasticsearch-head 插件

(1)编译安装 node

依赖

 

指定路径

 编译安装

 

(2)安装 phantomjs(前端的框架)

 

 (3)安装 Elasticsearch-head 数据可视化工具

 

(4)  修改 Elasticsearch 主配置文件

(5)启动 elasticsearch-head 服务

node1

 

node2

 

(6)通过 Elasticsearch-head 查看 Elasticsearch 信息
通过浏览器访问 http://192.168.204.51:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色,代表群集很健康。

(7)插入索引
通过命令插入一个测试索引,索引为 index-demo,类型为 test。

查看索引信息,可以看见索引默认被分片5个,并且有一个副本。

点击“数据浏览”,会发现在node1上创建的索引为 index-demo,类型为 test 的相关信息。

3.Logstash 部署(在 Apache 节点上操作)

(1)更改主机名、安装Apahce服务(httpd)

 (2)安装Java环境

 (3)安装logstash

 

 (4)测试 Logstash

#输入采用标准输入,输出采用标准输出(类似管道)

 使用 rubydebug 输出详细格式显示,codec 为一种编解码器

 

 

结果不在标准输出显示,而是发送至 Elasticsearch 中

查看索引信息和数据浏览。

(5)  定义 logstash配置文件

 查看索引信息

数据已分片

 数据浏览显示已更新日志

三、问题

1.node2启动elasticsearch-head报错

(1)报错

(2)原因分析

配置文件错误,启动失败

(3)解决方法

重新修改配置文件或编译安装

成功

2.集群健康的显示未连接

(1)报错

后台显示连错错误

 (2) 原因分析

网页请求方法不一样

(3)修改配置文件

 

在文章末尾添加三行内容

vim /etc/elasticsearch/elasticsearch.ymlhttp.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-methods: "GET"

四、总结

logstash作为日志搜集器,从数据源采集数据,并对数据进行过滤,格式化处理,然后交由Elasticsearch存储,kibana对日志进行可视化处理。

Elasticsearch服务

#加载系统服务
systemctl daemon-reload    
systemctl enable elasticsearch.service#主配置文件
vim /etc/elasticsearch/elasticsearch.yml#查看配置文件
grep -v "^#" /etc/elasticsearch/elasticsearch.yml#启动elasticsearch是否成功开启
systemctl start elasticsearch.service
netstat -antp | grep 9200#重启
systemctl restart elasticsearch

查看节点信息

浏览器访问  http://192.168.204.51:9200  、 http://192.168.204.52:9200 查看节点 Node1、Node2 的信息。浏览器访问 http://192.168.204.51:9200/_cluster/health?pretty  、 http://192.168.204.52:9200/_cluster/health?pretty查看群集的健康情况,可以看到 status 值为 green(绿色), 表示节点健康运行。浏览器访问 http://192.168.204.51:9200/_cluster/state?pretty  检查群集状态信息。

启动 elasticsearch-head 服务

#必须在解压后的 elasticsearch-head 目录下启动服务,进程会读取该目录下的 gruntfile.js 文件,否则可能启动失败。
cd /usr/local/src/elasticsearch-head/
npm run start &

Logstash定义输入和输出流:

#输入采用标准输入,输出采用标准输出(类似管道)
logstash -e 'input { stdin{} } output { stdout{} }'#使用 rubydebug 输出详细格式显示,codec 为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'#使用 Logstash 将信息写入 Elasticsearch 中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.204.51:9200"] } }'

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/19510.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

maven安装(windows)

环境 maven:Apache Maven 3.5.2 jdk环境:jdk 1.8.0_192 系统版本:win10 一、安装 apache官网下载需要的版本,然后解压缩,解压路径尽量不要有空格和中文 官网下载地址 https://maven.apache.org/download.cgihttps:…

k8s概念-DaemonSet

回到目录 参考链接https://v1-23.docs.kubernetes.io/zh/docs/concepts/workloads/controllers/daemonset/ DaemonSet 确保全部(或者某些)节点上运行一个 Pod 的副本 当节点加入到K8S集群中,pod会被(DaemonSet)调度到…

【开源源码学习】

C 迷你高尔夫 一款打高尔夫的游戏。亮点是碰撞反应和关卡设计。 GitHub - mgerdes/Open-Golf: A cross-platform minigolf game written in C. TypeScript 俄罗斯方块 复刻经典的俄罗斯方块,项目采用ReactReduxImmutable的技术栈。 GitHub - chvin/react-tetr…

使用Canvas制作画板

使用Canvas制作画板 在本篇技术博客中,我们将使用JavaScript和Canvas技术来创建一个简单的画板应用程序。这个画板将允许用户在一个画布上绘制线条,使用橡皮擦擦除绘制的内容,更改线条的颜色和宽度,并支持撤销和重做功能。 准备…

检查 CPU 的上下文切换

一.什么是cpu上下文切换 CPU 上下文切换是操作系统在多任务环境下管理进程的一项关键任务。在现代计算机系统中,有多个进程同时运行,每个进程都需要一定的 CPU 时间来执行其任务。由于 CPU 在某一时刻只能执行一个进程的指令,因此操作系统需…

MySQL内置函数使用说明

MySQL函数使用说明 MySQL 是一个流行的关系型数据库管理系统,它提供了许多内置函数来处理和操作数据。这些函数可以简化数据库查询和操作的过程,提高代码的可读性和效率。以下是一些常见的 MySQL 内置函数及其使用说明和示例。 数值函数 ABS() 函数原…

静态资源导入探究

静态资源可以在哪里找呢?我们看看源码 从这个类进去 里面有个静态类 WebMvcAutoConfigurationAdapter 有个配置类,将这个类的对象创建并导入IOC容器里 这个静态类下有个方法 addResourceHandlers(ResourceHandlerRegistry registry)静态资源处理器 若自…

从零实现深度学习框架——Transformer从菜鸟到高手(一)

引言 💡本文为🔗[从零实现深度学习框架]系列文章内部限免文章,更多限免文章见 🔗专栏目录。 本着“凡我不能创造的,我就不能理解”的思想,系列文章会基于纯Python和NumPy从零创建自己的类PyTorch深度学习框…

【环境配置】Windows下WSL将ubuntu挪位置-系统盘清理

问题–垃圾太多,系统盘空间占用太大 最近 C 盘空间暴涨,用工具 WinDirStat-强烈推荐的工具 查看发现 WSL 子系统占用了6个多 G 的空间,遂想办法挪个位置; 【关键字】将 Windows 里的子系统挪到非系统盘 D 盘; 解决 打…

生产服务器突然本机无法访问本机IP的端口

生产服务器突然本机无法访问本机IP的端口 一、现象描述 生产服务器突然无法访问自己本机IP地址的端口,通过localhost或者127.0.0.1都可以正常访问 二、问题分析 服务器是搭建在虚拟机上面,起初由于服务器内存不足的原因,导致了服务器故障无…

深度学习环境配置pytorch-GPU版本

一、下载与安装Anaconda 官网:https://www.anaconda.com/download 安装时添加环境变量勾选上,这样可以减少一步操作,不用再去自己手动添加了。 二、在anaconda里面创建虚拟环境 创建虚拟环境,其中pytorch为虚拟环境名,…

UNet 系列:做医学图像分割的任何人,都必须要会使用 nnU-Net

UNet 系列 UNet下采样和上采样跳跃连接 UNet:多层级和多尺度的密集链接nnUNet集成模型预处理训练过程推理后处理4行命令使用 nnUNet 训练自己的医学图像分割模型 UNet 经典的卷积神经网络都很深,越深的卷积层越适合处理大目标的东西,而医学病…

golang自带的命令行解析库flag库实践

1. 简介 flag用于解析命令行选项。有过类 Unix 系统使用经验的童鞋对命令行选项应该不陌生。例如命令ls -al列出当前目录下所有文件和目录的详细信息,其中-al就是命令行选项。 命令行选项在实际开发中很常用,特别是在写工具的时候。 指定配置文件的路径…

24考研数据结构-数组和特殊矩阵

目录 数据结构:数组与特殊矩阵数组数组的特点数组的用途 特殊矩阵对角矩阵上三角矩阵和下三角矩阵稀疏矩阵特殊矩阵的用途 结论 3.4 数组和特殊矩阵3.4.1数组的存储结构3.4.2普通矩阵的存储3.4.3特殊矩阵的存储1. 对称矩阵(方阵)2. 三角矩阵(方阵)3. 三对角矩阵(方阵…

图像处理之hough圆形检测

hough检测原理 点击图像处理之Hough变换检测直线查看 下面直接描述检测圆形的方法 基于Hough变换的圆形检测方法 对于一个半径为 r r r,圆心为 ( a , b ) (a,b) (a,b)的圆,我们将…

vscode里安装Go插件和配置Go环境

vscode是一款跨平台、轻量级、插件多的开源IDE,在vscode不仅可以配置C/C、Python、R、Ruby等语言的环境,还可以配置Go语言的环境。这里介绍在vscode里安装Go语言的插件和配置Go语言环境,系统是Win10 64位。 1、下载Go安装包和配置GOROOT、GO…

一年级数学 数一数(一到十)

今天我们来学习数一数 有一些老人 眼睛可能花了 需要我们在动物园数清楚是多少个动物 然后告诉他们 可能有的小朋友 不知道某些数字怎么读 您可以打开地址 https://fanyi.baidu.com/?aldtype16047#zh/en/ 将数字 输入到 输入框内 然后点击 下面的小话筒 系统就会读出来了 小…

高忆管理:多重利好共振 外资加码布局A股

资本商场活泼信号正在继续开释,内外资决心取得有力提振。以北向资金为代表的外资近来表现活泼,近六个买卖日已连续净买入超500亿元。多家外资组织近期表态称,伴跟着方针力度加强,我国经济有望继续复苏,活泼看好我国权益…

2023年8月美团外卖3-18元红包优惠券天天领取活动日历及美团外卖红包领取使用

2023年8月美团外卖3-18元红包天天领取活动日历 根据上图美团外卖红包领取活动时间表以下时间可以天天领取3-18元美团外卖红包优惠券: 1、2023年8月18日 可领取美团外卖18元神券节红包; 2、2023年8月每周六、周日每天可领取12元美团外卖节红包&#xff…

【C++】类和对象-继承

0.前言 1.基本语法 继承的用处就是极大的减少代码的重复性&#xff0c;如果没有用继承&#xff0c;看看以下代码&#xff0c;你知道了。。。。 基本实现代码&#xff1a; #include <iostream> using namespace std; /******************************************/void …