API | 作用 | 使用场景 |
---|---|---|
curl localhost:9200/_cluster/health?pretty | 查看ES健康状态 | |
curl localhost:9200/_cluster/settings?pretty | 查看ES集群的设置 | 其中persistent为永久设置,重启仍然有效;trainsient为临时设置,重启失效 |
curl localhost:9200/_cat/nodes?v | 查看ES在线的节点 | 存在节点缺失的情况可用该命令查看缺失节点为哪些 |
curl localhost:9200/_cat/master | 查看ES的主节点 | |
curl localhost:9200/_cat/indicescurl localhost:9200/_cat/indices/{index} | 查看所有索引,查看具体某个索引 | |
curl localhost:9200/_cat/shardscurl localhost:9200/_cat/shards/{index} | 查看所有分片,查看具体某个索引的分片 | |
curl localhost:9200/_cat/recoverycurl localhost:9200/_cat/recovery/{index} | 查看所有分片的恢复状况,查看具体某个索引的分片恢复状况 | 可使用该命令查看initializing分片的恢复进度 |
curl -XPUT "localhost:9200/_all/_settings" -d '{"index":{"routing.allocation.total_shards_per_node":"2"}}' | 修改索引在一个节点上可以分配的分片个数 | 若主副分片数与节点数相同,则设置为2;若主副分片数为节点数的80%, 则设置为1 |
curl -XPUT "localhost:9200/_cluster/settings" -d '{"transient":{"cluster.routing.allocation.node_concurrent_recoveries":"60"}}' | 修改每个节点可同时恢复的分片个数 | 在有大量unassigned分片时,为加快恢复速度可将该值调整为60,在集群green后修改回默认值20 |
curl -XPUT "localhost:9200/_cluster/settings" -d '{"transient":{"cluster.routing.allocation.balance.disk.enabled":"true"}}' curl -XPUT "localhost:9200/_cluster/settings" -d '{"transient":{"cluster.routing.rebalance.enable":"all"}}' curl -XPUT "localhost:9200/_cluster/settings" -d '{"transient":{"cluster.routing.allocation.balance.disk.enabled":"false"}}' curl -XPUT "localhost:9200/_cluster/settings" -d '{"transient":{"cluster.routing.rebalance.enable":"none"}}' | 开启磁盘平衡 关闭磁盘平衡 | 存在多个unassigned分片时,若仍存在relocating分片,可暂时关闭磁盘平衡,待unassigned分片减少至0时,需重新开启磁盘平衡 |
curl -XPUT "localhost:9200/_all/_settings" -d '{"settings":{"index.unassigned.node_left.delayed_timeout":"1m"}}' | 修改分片延迟分配的时间 | 若delayed_unassigned_shards一直卡住,则需修改延迟时间为1m,delayed_unassigned_shards降低后应将延迟时间修改回默认120h |
curl -XPUT "localhost:9200/_cluster/settings" -d '{"transient":{"priority.allocation.enabled":"false"}}' | 修改分片分配优先级 | initializing分片很少,可能是因为集群在优先分片当天的索引,当天索引进入initializing状态后,才会去分其他索引。可修改该值为false |
curl -XPUT "localhost:9200/_cluster/settings" -d '{"persistent":{"action.destructive_requires_name":true}}' | 修改通配符设置 | 在有这个设置的时候无法使用通配符来批量打开/关闭/删除索引 |
curl localhost:9200/_cluster/allocation/explain?pretty -d '{"index": "{index}","shard": {shard},"primary": false}' | 查看分片未分配原因 | ES5.1.1版本存在unassigned分片,使用该api查看具体原因 |
curl localhost:9200/_cat/shards?h=index,shard,prirep,state,unassigned.* \| grep UNASSIGNED | 查看分片未分配原因 | ES2.0版本无上述查询分片无法分配原因的api, 可使用此命令查看 |
脚本名称 | 使用方法 | 作用 | 使用场景 |
---|---|---|---|
elasticsearch.sh | sh elasticsearch.sh startsh elasticsearch.sh stop | start参数启动本台服务器上的ES,stop参数停止本台服务器上的ES | 只需启动或停止一台服务器的ES服务 |
skybuilder.sh | sh skybuilder.sh startsh skybuilder.sh stop | start参数启动本台服务器上的skybuilder,stop参数停止本台服务器上的skybuilder | 只需启动或停止一台服务器的skybuilder服务 |
run.sh | sh run.sh es.startsh run.sh es.stop | es.start参数启动所有服务器上的ES,es.stop参数停止所有服务器上的ES | 需要启动或停止所有服务器的ES服务 |
sh run.sh sky.startsh run.sh sky.stop | sky.start参数启动所有服务器上的skybuilder,sky.stop参数停止所有服务器上的skybuilder | 需要启动或停止所有服务器的skybuilder服务 | |
service.sh | sh service.sh startsh service.sh stopsh service.sh restartsh service.sh addCronsh service.sh removeCron | start参数启动ES集群和skybuilder,并重新加载crontab,stop参数停止ES集群和skybuilder,并移除crontab,restart参数重启ES集群和skybuilder,并重新加载crontab集群所有服务器添加crontab集群所有服务器移除crontab | 需要启动/停止/重启所有服务器的ES服务和skybuilder服务需要加载/移除所有服务器的crontab |
index.sh | sh index.sh health | 查看集群健康度 | 可使用watch sh index.sh health持续观察 |
sh index.sh index.currsh index.sh -v index.curr | 查看集群当天的索引,-v参数可选不加-v只显示索引名称和状态,加-v显示索引的全部信息 | ||
sh index.sh index.allsh index.sh -v index.all | 查看集群所有的索引,-v参数可选不加-v只显示索引名称和状态,加-v显示索引的全部信息 | ||
sh index.sh -i curr create.allsh index.sh -i next create.all | curr参数创建当天的索引,next参数创建下一天的索引。已经创建的索引不会再重复创建。 | crontab失效导致索引未成功创建;手动删除异常索引后重新创建 | |
sh index.sh open.allsh index.sh close.all | open.all参数打开所有的索引,close.all参数关闭所有的索引 | ||
sh index.sh template.update | 更新集群的模板 | 更新的template/skyeye下的模板文件后需执行;或者是mapping存在问题,可执行重新刷新模板 | |
sh index.sh relocate.enablesh index.sh relocate.disable | relocate.enable参数为开启集群平衡,relocate.disable参数为关闭集群平衡 | 在集群yellow/red的状态下如果存在relocate操作会增加集群压力,可临时关闭,待green后再开启 | |
sh index.sh recov.run | 查看所有索引的recovery状况 | 在集群恢复green的过程中,可使用该脚本查看initializing分片的恢复进度 | |
gen_es_config.sh | sh gen_es_config.sh | 依据conf/config.ini和conf/elasticsearch.ini生成ES各个节点的elasticsearch.yml配置文件 | 更改conf/config.ini或者conf/elasticsearch.ini后需执行 |
gen_sky_config.sh | sh gen_sky_config.sh | 依据template/skyeye/skybuilder.txt文件生成skybuilder的 .conf 配置文件 | 通过template/skyeye/skybuilder.txt调整skybuilder入库线程后需执行 |
common_util.sh | common_util.sh loadCroncommon_util.sh removeCron | 单台服务器加载crontab定时任务,任务列表为conf/crontab.txt单台服务器移除crontab定时任务 | 单台服务器crontab丢失时需手动执行重新加载 |
1、平衡集群分片
curl -sXPUT "http://localhost:9200/*2019.04.20/_settings" -d '{"index.routing.allocation.total_shards_per_node":3}'
2、查询集群线程池
curl -sXGET "http://localhost:9200/_cat/thread_pool" | awk '{if($3>0)print $0}'
3、集群执行segment合并
ES5.X: curl -X POST "localhost:9200/_all/_forcemerge?max_num_segments=1"
ES2.X: curl -X POST "localhost:9200/situation-event/_optimize?max_num_segments=1"
4、查看segment合并效果
curl "http://localhost:9200/_cat/indices?h=health,status,index,pri,rep,docs.count,segments.count,uuid,docs.deleted"| awk '{if($4*(1+$5) != $7){print $0}}' | wc -l
5、设置添加删除节点或负载均衡时并发恢复线程的个数
curl -sXPUT "http://localhost:9200/_cluster/settings" -d '{"transient":{"cluster.routing.allocation.node_concurrent_recoveries":"20"}}'
6、查询某个索引的分配情况
curl -XGET localhost:9200/_cluster/allocation/explain?pretty -d '{"index":"skyeye-udpflow-2019.04.12","shard":1,"primary":true}'
7、查看集群健康状态
curl http://127.0.0.1:9200/_cluster/health?pretty
8、集群状态信息
curl -XGET 'http://localhost:9200/_cluster/stats?human&pretty'
9、节点监控
curl http://127.0.0.1:9200/_nodes/stats?pretty
10、索引监控
curl http://127.0.0.1:9200/_stats?pretty
10、打开/关闭索引
curl -XPOST http://127.0.0.1:9200/my_index/_close
curl -XPOST http://127.0.0.1:9200/my_index/_open
11、查看磁盘占用情况
curl 127.0.0.1:9200/_cat/allocation?v
13、查看集群恢复状态
curl -XGET http://localhost:9200/_recovery?pretty=true
curl -XGET localhost:9200/_cat/recovery | grep -v done | wc -l
14、查看fielddata占用情况
curl -XGET localhost:9200/_cat/fielddata?v
15、查询访问node和shard
curl -XPOST localhost:9200/[索引]/_search_shards -d '[查询语句]'
16、Elasticsearch导出导入文件
导入导出脚本:
参考链接:
ES常用命令 - 知乎