k8s部署新版elasticsearch+kibana并配置快照备份

版本:es 7.17.6 kibana 7.17.6 k8s:1.19.16

一、介绍

Elasticsearch和Kibana是一对强大的开源工具，通常一起使用以构建实时数据分析和可视化解决方案。

Elasticsearch: Elasticsearch是一个分布式、高性能的实时搜索和分析引擎。它构建在开源搜索引擎库Lucene之上，并提供了一个分布式、可扩展的架构，用于存储、检索和分析大规模的数据。Elasticsearch支持全文搜索、结构化搜索、地理空间搜索等多种查询方式，并提供了强大的聚合和分析功能。它还支持实时数据的索引和搜索，使得您可以快速地在大数据集中进行复杂的搜索和分析操作。
Kibana: Kibana是一个开源的数据可视化工具，专门用于分析和展示Elasticsearch中的数据。它提供了直观的图表、图形和仪表盘，可用于实时监控和可视化大规模数据集。Kibana允许用户通过仪表盘配置和自定义可视化组件，然后通过交互式的界面进行数据的探索和导航。它还支持复杂的数据过滤、查询和聚合操作，使用户能够深入了解数据并发现隐藏的模式和见解。

通过将Elasticsearch和Kibana结合在一起，可以构建强大的实时数据分析和可视化解决方案。Elasticsearch负责高性能的数据存储、检索和分析，而Kibana则提供了直观易用的界面和工具，使您能够将数据转化为有意义的见解和洞察。无论是监控日志数据、分析业务指标，还是构建实时仪表盘和报告，Elasticsearch和Kibana的组合可以帮助您实现强大的数据分析和可视化需求。

二、部署es

1、创建es namespace

apiVersion: v1
kind: Namespace
metadata:name: elklabels:name: elk

2、创建es StorageClass和pvc

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:name: es-storageclass
provisioner: nfs-storage-01
allowVolumeExpansion: true
reclaimPolicy: Retain

apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: es-storageclassnamespace: elkannotations:volume.beta.kubernetes.io/storage-class: "es-storageclass"
spec:resources:requests:storage: 200GivolumeMode: FilesystemaccessModes:- ReadWriteOnce

3、通过sts的方式来部署es集群

apiVersion: apps/v1
kind: StatefulSet
metadata:name: es-clusternamespace: elk
spec:# 必须设置serviceName: es-cluster-svcreplicas: 3selector:# 设置标签matchLabels:app: es-clustertemplate:metadata:labels:app: es-clusterspec:# 初始化容器initContainers:- name: increase-vm-max-mapimage: busyboxcommand: ["sysctl", "-w", "vm.max_map_count=262144"]securityContext:privileged: true- name: increase-fd-ulimitimage: busyboxcommand: ["sh", "-c", "ulimit -n 65536"]securityContext:privileged: true- name: increase-es-clusterimage: busyboxcommand: ["/bin/sh", "-c", "mkdir -p /data/esbak","chown -R elasticsearch.elasticsearch /data/esbak" ,"chmod -R 777 /data/esbak"]securityContext:privileged: truecontainers:- name: es-containerimage: elasticsearch:7.17.6ports:# 容器内端口- name: restcontainerPort: 9200protocol: TCP# 设置挂载目录volumeMounts:- name: es-datamountPath: /usr/share/elasticsearch/data- name: es-pluginsmountPath: /usr/share/elasticsearch/plugins#快照持久化路径- name: snapshot-volumemountPath: /data/esbak      # 设置环境变量env:# 自定义集群名- name: cluster.namevalue: k8s-es# 定义节点名，使用metadata.name名称- name: node.namevalueFrom:fieldRef:fieldPath: metadata.name# 初始化集群时，ES从中选出master节点- name: cluster.initial_master_nodes# 对应metadata.name名称加编号，编号从0开始value: "es-cluster-0,es-cluster-1,es-cluster-2"- name: discovery.zen.minimum_master_nodesvalue: "2"#es快照备份路径- name: path.repovalue: /data/esbak# 发现节点的地址，discovery.seed_hosts的值应包括所有master候选节点# 如果discovery.seed_hosts的值是一个域名，且该域名解析到多个IP地址，那么es将处理其所有解析的IP地址。- name: discovery.seed_hostsvalue: "es-cluster-0.es-cluster-svc,es-cluster-1.es-cluster-svc,es-cluster-2.es-cluster-svc"# 配置内存- name: ES_JAVA_OPTSvalue: "-Xms8192m -Xmx8192m"- name: network.hostvalue: "0.0.0.0"#允许来自任意源的跨域请求- name: "http.cors.allow-origin"value: "*"#启用跨域资源共享- name: "http.cors.enabled"value: "true"#索引分片数量- name: "number_of_shards"value: "5"#分片的副本数量- name: "number_of_replicas"value: "2"volumeClaimTemplates:- metadata:# 对应容器中volumeMounts.namename: es-datalabels:app: es-volumespec:accessModes: [ "ReadWriteOnce" ]storageClassName: es-storageclassresources:requests:storage: 50Gi- metadata:name: es-pluginsspec:accessModes: [ "ReadWriteOnce" ]storageClassName: es-storageclassresources:requests:storage: 2Gi- metadata:name: es-pluginsspec:accessModes: [ "ReadWriteOnce" ]storageClassName: es-storageclassresources:requests:storage: 2Gi- metadata:name: snapshot-volumespec:accessModes: [ "ReadWriteOnce" ]storageClassName: es-storageclass# 申请资源的大小resources:requests:storage: 100Gi

4、部署es svc

apiVersion: v1
kind: Service
metadata:name: es-svcnamespace: elk
spec:selector:app: es-clustertype: NodePortports:- name: clusterport: 9200targetPort: 9200nodePort: 19200- name: transportport: 9300targetPort: 9300

5、发布es

kubectl applf -f ./

6、验证

ip+端口验证一下，浏览器访问、curl命令都可以

三、部署es-head插件

这个插件方便我们查询es集群状态

1、编写yaml文件

apiVersion: apps/v1
kind: Deployment
metadata:labels:app: elasticsearch-headname: elasticsearch-headnamespace: elk
spec:replicas: 1selector:matchLabels:app: elasticsearch-headtemplate:metadata:labels:app: elasticsearch-headspec:containers:- image: springgos/es-head:latestimagePullPolicy: Alwaysname: elasticsearch-headports:- containerPort: 9100name: 9100tcp191001protocol: TCPresources: {}---
apiVersion: v1
kind: Service
metadata:labels:app: elasticsearch-headname: elasticsearch-headnamespace: elk
spec:ports:- name: 9100tcp191001nodePort: 19100port: 9100protocol: TCPtargetPort: 9100selector:app: elasticsearch-headtype: NodePort

2、访问验证

四、部署kibana

1、编写kibana-deploy.yaml和svc

注意：kibana必须跟es保持同一个版本

apiVersion: apps/v1
kind: Deployment
metadata:name: kibananamespace: elk
spec:selector:matchLabels:app: kibanareplicas: 1template:metadata:labels:app: kibanaspec:restartPolicy: Alwayscontainers:- name: kibanaimage: kibana:7.17.6imagePullPolicy: Alwaysports:- containerPort: 5601env:- name: ELASTICSEARCH_HOSTSvalue: http://es-cluster-svc:9200
---
apiVersion: v1
kind: Service
metadata:name: kibananamespace: elk
spec:type: NodePortports:- name: kibanaport: 5601targetPort: 5601nodePort: 25601selector:app: kibana

然后发布应用 kubectl applf -f ./

2、浏览器验证

如果es集群没有启动正常这里面是会报错的

五、通过kibana来创建es快照

1、什么是es快照

在Elasticsearch中，快照备份是一种将索引和集群的状态数据保存到可恢复的快照中的机制。通过创建快照，你可以在需要时恢复数据，或在不同的集群之间迁移数据。

存储库（Repository）：存储库是用来保存快照数据的位置，可以是本地文件系统、远程文件系统或云存储服务。你需要在Elasticsearch中配置一个存储库，指定存储快照的位置。
快照（Snapshot）：快照是在存储库中保存的索引和集群状态的副本。它包含了所有或指定的索引的数据、设置和元数据信息。
过程（Process）：创建快照的过程涉及协调节点（coordinating node）与数据节点（data node）之间的协作。协调节点负责指导数据节点将数据写入存储库，并协调快照的创建过程