【Elasticsearch专栏 18】深入探索:Elasticsearch核心配置与性能调优 保姆级教程 企业级实战

文章目录

  • 导言
  • 01 内存设置优化
    • 1.1 JVM堆内存设置
    • 1.2 禁用Swap分区
    • 1.3 线程栈内存设置
  • 02 文件描述符限制优化
    • 2.1 查看当前的文件描述符限制
    • 2.2 临时更改文件描述符限制
    • 2.3 永久更改文件描述符限制
    • 2.4 Elasticsearch文件描述符配置
    • 2.5 验证更改
  • 03 网络和I/O优化
    • 3.1 网络优化
    • 3.2 I/O优化
  • 04 CPU和线程优化
    • 4.1 设置线程池
    • 4.2 调整并发设置
    • 4.3 调整索引和搜索操作的并发级别
    • 4.4 使用更高效的查询
    • 4.5 监控和分析
  • 05 JVM和GC设置优化
    • 5.1 设置JVM堆内存大小
    • 5.2 选择合适的垃圾收集器
    • 5.3 调整JVM的其他性能参数
    • 5.4. 监控和调整
  • 06 集群和分片设置优化
    • 6.1 合理设置主分片数
    • 6.2 调整副本分片数
    • 6.3 监控分片状态
    • 6.4 避免不必要的分片操作
    • 6.5 考虑使用路由
    • 6.6 定期清理和归档旧数据
  • 07 监控和日志记录优化
    • 7.1 监控优化
    • 7.2 日志记录优化
  • 08 安全性优化
    • 8.1 身份验证和授权
    • 8.2 传输层安全性(TLS)
    • 8.3 网络安全配置
    • 8.4 审计日志记录
  • 09 小结

导言

Elasticsearch是一个基于Lucene的搜索和分析引擎,能够处理大规模的数据并提供实时的搜索和分析功能。为了充分发挥Elasticsearch的性能,集群搭建时的Linux系统设置优化至关重要。本文将分模块详细介绍如何优化Linux设置,以确保Elasticsearch集群的高效运行。

01 内存设置优化

Elasticsearch是一个基于Lucene构建的开源、分布式、RESTful搜索引擎。由于其倒排索引和实时搜索的特性,对内存的使用非常敏感。不正确的内存设置可能会导致性能下降,甚至节点崩溃。因此,优化Elasticsearch的内存设置至关重要。

1.1 JVM堆内存设置

Elasticsearch运行在Java虚拟机(JVM)上,因此其内存使用受到JVM堆内存的限制。Elasticsearch建议将JVM堆内存设置为机器总内存的一半,但不超过32GB。这是因为Lucene使用的数据结构(如FSTs)在内存中的表现与JVM的垃圾回收机制有关,过大的堆内存设置可能导致长时间的垃圾回收停顿。

配置示例
在Elasticsearch的配置文件jvm.options中,可以设置JVM的最小堆内存(Xms)和最大堆内存(Xmx)。

# 设置最小堆内存为2G
-Xms2g# 设置最大堆内存为2G,通常与最小堆内存保持一致,以避免堆内存的动态调整带来的性能开销
-Xmx2g

注意:这里的2G只是一个示例值,应该根据的机器的总内存来适当调整这个值。如果的机器内存是64G,那么可以考虑将JVM堆内存设置为31G左右(留一些内存给操作系统和其他进程使用)。

1.2 禁用Swap分区

Elasticsearch建议禁用Swap分区,因为当物理内存不足时,操作系统会将一些内存页交换到磁盘上,这会导致性能急剧下降。

配置示例
在Linux系统中,可以通过修改/etc/sysctl.conf文件来禁用Swap分区:

# 在文件末尾添加以下行
vm.swappiness=1

然后运行sudo sysctl -p使配置生效。

另外,还可以通过设置Elasticsearch的bootstrap.memory_lock选项来尝试锁定JVM内存,防止其被交换到磁盘上:

# 在elasticsearch.yml中添加以下行
bootstrap.memory_lock: true

注意:这需要用户有memlock权限。可以通过ulimit -l命令查看当前用户的memlock限制,并通过ulimit -l unlimited命令设置无限制(但这通常需要root权限)。在生产环境中,更推荐的方式是通过修改/etc/security/limits.conf文件来永久设置这个限制。

1.3 线程栈内存设置

Elasticsearch为每个线程分配一定的栈内存。默认情况下,这个值可能比较大(如1MB),这可能导致在创建大量线程时消耗过多的内存。如果的Elasticsearch节点主要用于搜索和索引操作,而不是大量的HTTP连接或线程池操作,可以考虑减小线程栈大小以节省内存。

配置示例
jvm.options文件中设置线程栈大小:

# 设置线程栈大小为256k(默认可能是1m)
-Xss256k

注意:减小线程栈大小可能会增加栈溢出的风险。因此,在修改这个设置之前,请确保了解Elasticsearch节点的具体使用情况。

02 文件描述符限制优化

在Elasticsearch中,文件描述符(File Descriptors)是操作系统用于跟踪打开的文件、网络连接等资源的一种方式。由于Elasticsearch需要同时处理大量的文件和网络连接,因此可能会遇到文件描述符耗尽的情况,这会导致新的连接无法建立或索引操作失败。为了解决这个问题,可以对Elasticsearch的文件描述符限制进行优化。

2.1 查看当前的文件描述符限制

在Linux系统上,可以使用ulimit命令查看当前用户的文件描述符限制:

ulimit -n

这个命令会显示当前shell会话的文件描述符软限制(soft limit)和硬限制(hard limit)。

2.2 临时更改文件描述符限制

可以通过ulimit命令临时更改当前shell会话的文件描述符限制:

ulimit -n 65536

这将把当前会话的文件描述符限制设置为65536。然而,这个设置只对当前会话有效,一旦会话结束,限制就会恢复到之前的值。

2.3 永久更改文件描述符限制

要永久更改文件描述符限制,需要编辑/etc/security/limits.conf文件。在该文件中,可以为特定用户或用户组设置文件描述符的软限制和硬限制。例如,要为运行Elasticsearch的用户(假设用户名是elasticsearch)设置限制,可以添加以下行:

elasticsearch soft nofile 65536  
elasticsearch hard nofile 131072

这里,soft表示软限制,hard表示硬限制,nofile表示限制的类型是文件描述符数量。65536131072是限制的具体数值。

保存文件后,需要重新登录或重启系统才能使更改生效。

2.4 Elasticsearch文件描述符配置

除了操作系统级别的设置外,Elasticsearch本身也有一些与文件描述符相关的配置选项。在Elasticsearch的配置文件elasticsearch.yml中,可以设置以下选项来优化文件描述符的使用:

# 设置Elasticsearch节点可以打开的最大文件描述符数量  
# 这个值应该至少与操作系统级别的硬限制保持一致  
node.max_local_storage_nodes: 1  # 注意:Elasticsearch本身并没有直接的配置项来设置文件描述符限制,  
# 因为这个限制是由操作系统管理的。上面的设置是限制单个节点上运行的Elasticsearch实例数量,  
# 以防止误配置导致多个实例竞争文件描述符资源。  
# 实际上,应该在操作系统级别设置合适的文件描述符限制,并确保Elasticsearch用户有足够的权限。

2.5 验证更改

更改限制后,可以通过以下方式验证更改是否生效:

  • 重新启动Elasticsearch服务。
  • 使用ulimit -n命令在新的Elasticsearch进程所在的shell会话中检查文件描述符限制。
  • 或者,可以使用Elasticsearch的监控API或工具来查看运行时的文件描述符使用情况。

请记得,在进行任何系统级别的更改时,都要小心谨慎,并确保了解这些更改的含义和潜在影响。在生产环境中进行更改之前,最好在测试环境中验证这些更改。

03 网络和I/O优化

Elasticsearch的网络和I/O优化涉及多个方面,包括网络配置、文件系统选择、磁盘I/O策略、文件描述符限制等。以下是一些建议的优化措施和相应的配置命令或代码示例:

3.1 网络优化

  1. 禁用交换分区(Swap)

    如之前所述,Elasticsearch推荐禁用交换分区以提高性能。在Linux系统上,可以通过以下命令临时禁用交换分区:

    sudo swapoff -a
    

    要使更改永久生效,可以编辑/etc/fstab文件,注释掉或删除与交换分区相关的行。

  2. 调整网络设置

    • 增加文件描述符限制:Elasticsearch可能会打开大量的网络连接,因此需要增加文件描述符的限制。可以通过以下命令查看当前限制:

      ulimit -n
      

      要增加限制,可以编辑/etc/security/limits.conf文件,添加如下行:

      elasticsearch soft nofile 65536
      elasticsearch hard nofile 131072
      

      其中elasticsearch是运行Elasticsearch的用户名。

    • 优化TCP设置:可以调整TCP的相关参数来优化网络性能。例如,增加TCP最大连接数、TCP重试次数等。这些设置通常位于/etc/sysctl.conf文件中,可以通过sysctl -w命令进行修改。例如:

      sudo sysctl -w net.core.somaxconn=2048
      sudo sysctl -w vm.max_map_count=262144
      

      要使更改永久生效,需要将这些行添加到/etc/sysctl.conf文件中。

  3. 配置Elasticsearch网络设置

    elasticsearch.yml配置文件中,可以设置与网络相关的参数,如绑定IP地址、HTTP和传输端口等:

    network.host: 0.0.0.0 # 绑定到所有IP地址上,或指定特定IP地址
    http.port: 9200 # HTTP端口号
    transport.tcp.port: 9300 # 传输层TCP端口号
    

3.2 I/O优化

  1. 选择合适的文件系统

    Elasticsearch推荐使用SSD硬盘和XFS或EXT4文件系统。这些文件系统在处理大量小文件时性能较好。

  2. 禁用索引的_all字段

    _all字段会索引所有其他字段的内容,这会增加索引大小和I/O负载。如果不需要该功能,可以通过在映射中禁用它来减少I/O压力:

    {"mappings": {"_all": { "enabled": false }}
    }
    
  3. 优化索引和搜索性能

    • 使用更快的硬件:更快的CPU、更多的RAM和更快的磁盘(如SSD)都可以提高I/O性能。
    • 减少索引和搜索的字段数量:只索引和搜索必要的字段可以减少I/O负载。
    • 使用分页查询:对于大量数据的查询,使用分页查询可以减少单次查询的I/O压力。
    • 优化查询:避免使用高开销的查询,如通配符查询、正则表达式查询等。使用更精确的查询可以减少不必要的I/O操作。
  4. 监控I/O性能

    使用Elasticsearch提供的监控工具(如Elasticsearch Monitoring API、Elasticsearch Head插件、iostat命令等)来监控节点的I/O性能。如果发现I/O成为瓶颈,可以考虑增加磁盘数量、使用RAID配置或调整Elasticsearch的索引和查询策略来优化性能。

  5. 配置Elasticsearch的I/O设置

    elasticsearch.yml配置文件中,可以设置与I/O相关的参数,如索引存储路径、合并策略等:

    path.data: /path/to/data # 设置索引数据存储的路径,可以使用多个路径来平衡I/O负载
    indices.store.throttle.type: merge # 设置合并操作的I/O限制类型(如"node"或"none")
    indices.store.throttle.max_bytes_per_sec: 50mb # 设置每秒最大I/O字节数限制合并操作的速度
    

    请注意,以上示例中的命令和配置可能因Elasticsearch版本和操作系统而有所不同。建议查阅Elasticsearch的官方文档以获取最新和最准确的信息。此外,在进行任何更改之前,请确保备份重要数据和配置文件以防止意外数据丢失或配置错误。

04 CPU和线程优化

Elasticsearch能够充分利用多核CPU进行并发处理。在搭建集群时,应确保每个节点都有足够的CPU资源。同时,可以通过设置Elasticsearch的线程池大小来调整并发处理能力。具体设置可以在Elasticsearch的配置文件中进行。

4.1 设置线程池

Elasticsearch使用不同类型的线程池来处理不同类型的操作,如搜索、索引、合并等。可以根据需要调整这些线程池的大小。

配置文件elasticsearch.yml

示例

# 设置索引线程池的大小
thread_pool.index.size: 4
thread_pool.index.queue_size: 200# 设置搜索线程池的大小
thread_pool.search.size: 10
thread_pool.search.queue_size: 1000

注意:这些设置应该根据的具体硬件和工作负载进行调整。Elasticsearch默认已经为各种操作配置了合适的线程池大小,通常不需要修改,除非有明确的性能调优需求。

4.2 调整并发设置

Elasticsearch允许调整HTTP和传输层的并发设置。

配置文件elasticsearch.yml

示例

# 设置HTTP服务器的最大并发连接数
http.max_content_length: 100mb
http.circuit_breaker.request.limit: 40%# 设置传输层的最大并发连接数(节点到节点通信)
transport.connections.per_node.recovery: 3
transport.connections.per_node.bulk: 6
transport.connections.per_node.reg: 9
transport.connections.per_node.state: 1
transport.connections.per_node.ping: 1

4.3 调整索引和搜索操作的并发级别

在Elasticsearch中,索引和搜索操作的并发级别可以通过设置索引的refresh_intervalnumber_of_replicas来控制。

索引设置:在创建或更新索引时通过REST API指定

示例

PUT /my_index/_settings
{"index": {"refresh_interval": "30s",       // 设置刷新间隔,减少频繁的刷新操作"number_of_replicas": 1          // 设置副本数,增加并发搜索能力}
}

4.4 使用更高效的查询

优化查询语句可以减少CPU的使用。避免使用高开销的查询,如通配符查询、正则表达式查询等。尽量使用过滤查询(filter)而不是查询(query),因为过滤查询是缓存的,对CPU的消耗更小。

4.5 监控和分析

使用Elasticsearch提供的监控工具(如Elasticsearch Head、Kibana等)来监控节点的CPU和线程使用情况。根据监控数据,可以发现性能瓶颈并进行相应的优化。

记住,在进行任何优化之前,最好先通过Elasticsearch的基准测试工具(如Rally)对集群进行性能测试,以便有一个性能基准来比较优化前后的效果。

05 JVM和GC设置优化

Elasticsearch运行在Java虚拟机(JVM)上,因此,优化JVM和垃圾收集器(GC)设置对于提高Elasticsearch的性能和稳定性至关重要。以下是一些建议的JVM和GC设置优化配置和代码示例:

5.1 设置JVM堆内存大小

JVM堆内存大小应根据服务器的物理内存大小和Elasticsearch集群的工作负载来调整。一般建议将堆内存设置为可用物理内存的一半,但不超过32GB(因为JVM在堆内存超过32GB时,对象指针会从32位变为64位,增加内存开销)。

配置文件jvm.options(位于Elasticsearch配置目录下)

示例

# 设置最小堆内存大小
-Xms16g
# 设置最大堆内存大小
-Xmx16g

5.2 选择合适的垃圾收集器

Elasticsearch推荐使用G1垃圾收集器,因为它在延迟和吞吐量之间提供了较好的平衡。

配置文件jvm.options

示例

# 使用G1垃圾收集器
-XX:+UseG1GC
# 启用并行GC线程,这通常可以提高GC的效率
-XX:+UseParallelGC
# 启用并行老年代GC线程
-XX:+UseParallelOldGC

注意:在Elasticsearch 7.x及更高版本中,G1已经是默认的垃圾收集器,因此不需要显式指定。但是,上面的示例中-XX:+UseParallelGC-XX:+UseParallelOldGC是多余的,因为当使用G1时,它们不会被使用。正确的配置应该是只指定-XX:+UseG1GC(尽管在现代Elasticsearch版本中通常不需要这么做,因为它是默认的)。

正确的G1配置可能如下:

# 为G1设置明确的GC日志输出(可选)
-Xlog:gc*,gc+age=trace,safepoint:file=gc.log:utctime,pid,tags:filecount=32,filesize=64m# 启用G1的混合GC模式,允许同时收集年轻代和老年代
-XX:+UseG1GC# 根据需要调整G1的并行GC线程数(默认为CPU核心数)
-XX:ParallelGCThreads=n# 设置G1的并发GC线程数(默认为ParallelGCThreads的1/4)
-XX:ConcGCThreads=n# 设置G1的堆内存区域大小(影响GC的频率和延迟)
-XX:G1HeapRegionSize=n# 设置G1的启动并发GC的堆内存占用百分比(默认为45%)
-XX:InitiatingHeapOccupancyPercent=45

在上面的配置中,n代表具体的数值,需要根据服务器的规格和Elasticsearch的工作负载来调整这些参数。

5.3 调整JVM的其他性能参数

还可以调整其他JVM参数来优化Elasticsearch的性能。

配置文件jvm.options

示例

# 禁用JVM的显式GC调用(防止外部触发Full GC)
-XX:+DisableExplicitGC# 启用JVM的服务器模式(64位系统默认启用)
-server# 设置JVM的线程栈大小(根据线程数和可用内存调整)
-Xss1m# 设置年轻代大小(根据JVM堆内存大小和应用特点调整)
-Xmn<size># 设置老年代与年轻代的比例(默认值为2,即老年代是年轻代的2倍)
-XX:NewRatio=2# 设置Survivor区的空间占比(默认为8,即每个Survivor区占年轻代的1/8)
-XX:SurvivorRatio=8

5.4. 监控和调整

在调整JVM和GC设置后,务必监控Elasticsearch的性能指标,特别是GC的频率和持续时间。可以使用Elasticsearch自带的监控API,或者使用像JMX、JVisualVM、JMC(Java Mission Control)等外部工具来监控JVM的性能。

根据监控结果,可能需要进一步调整JVM和GC的设置,以达到最佳的性能和稳定性。

注意:在修改JVM设置之前,请确保备份了原始配置文件,并在非生产环境中测试了修改后的设置。不当的JVM设置可能导致Elasticsearch性能下降或不稳定。

06 集群和分片设置优化

在搭建Elasticsearch集群时,需要根据数据量、查询负载和可用资源来合理设置集群规模和分片数量。过多的分片会增加集群的管理开销和查询延迟,而过少的分片则可能导致单点故障和性能瓶颈。因此,需要根据实际情况进行权衡和调整。

6.1 合理设置主分片数

  • 主分片数量应根据数据量、查询负载和集群规模来确定。过多的主分片会增加集群的开销,而过少则可能导致单个分片过大,影响性能。
  • 通常建议每个节点上的分片数量保持适中,以避免资源竞争。一般来说,每个节点上的分片数量不应超过其CPU核心数的2-3倍。
  • 在创建索引时,应根据数据量和增长预期来合理设置主分片数。如果数据量很大且不断增长,可以考虑使用基于时间的索引策略(如每天或每周创建一个新索引),并为每个索引设置适量的主分片。

在创建索引时设置合适的分片数和副本数:

PUT /my_index  
{  "settings": {  "number_of_shards": 3}  
}

6.2 调整副本分片数

  • 副本分片用于提高数据的可用性和查询性能。设置适当的副本分片数可以确保在节点故障时数据的可用性,并平衡查询负载。
  • 根据集群规模和可靠性要求来确定副本分片数。通常建议至少为每个主分片配置一个副本分片,以防止数据丢失。
  • 如果查询负载很高,可以考虑增加副本分片数以提高查询吞吐量。但是,过多的副本分片会增加存储和I/O开销,因此需要权衡。

在创建索引时设置合适的分片数和副本数:

PUT /my_index  
{  "settings": {   "number_of_replicas": 2  }  
}

6.3 监控分片状态

  • 定期监控分片的状态和性能,包括分片的存储大小、查询延迟、索引速度等。
  • 使用Elasticsearch提供的监控工具(如Elasticsearch Head、Kibana等)来查看分片的详细信息,并根据监控结果进行调整。
  • 注意分片的平衡性,确保不同节点上的分片数量和负载相对均衡。

6.4 避免不必要的分片操作

  • 当单个分片的大小过大时(如超过几百GB),可能会影响性能和可维护性。过大的分片在重新平衡、恢复或迁移时可能需要更长的时间。
  • 如果发现分片过大,可以考虑使用Elasticsearch的重新索引API将数据拆分到更多的分片中。这可以通过创建一个新的索引并指定更多的主分片来实现,然后使用重新索引API将数据从旧索引迁移到新索引。

通过合理设置索引的刷新间隔、合并策略和存储设置来减少不必要的分片操作:

PUT /my_index/_settings  
{  "index": {  "refresh_interval": "30s",  "merge.policy.max_merged_segment": "5gb",  "store.type": "niofs" // 或者使用更适合你工作负载的存储类型,如"mmapfs"(默认)或"hybridfs"等。  }  
}

6.5 考虑使用路由

  • 如果某些查询经常针对特定的数据子集执行,可以使用路由功能将这些数据路由到特定的分片上。这样可以减少跨多个分片的查询开销,并提高查询性能。
  • 在索引文档时指定路由参数,确保相关文档被索引到同一分片上。然后在查询时使用相同的路由参数来确保查询只针对包含相关文档的分片执行。

可以使用以下设置来控制分片的分配和路由策略:

PUT /_cluster/settings  
{  "transient": {  "cluster.routing.allocation.exclude._name": "node_to_exclude"  }  
}

或者,在节点级别上设置:

# 在节点的elasticsearch.yml中  
node.attr.box_type: hot  # 然后使用如下设置来分配分片到特定类型的节点  
PUT /_cluster/settings  
{  "transient": {  "cluster.routing.allocation.require.box_type": "hot"  }  
}

6.6 定期清理和归档旧数据

  • 对于时间序列数据或日志数据等不断增长的数据集,应定期清理和归档旧数据以释放存储空间并减少分片的数量。
  • 可以使用Elasticsearch的Curator工具或自定义脚本来定期删除旧索引或移动旧数据到成本较低的存储层上。

07 监控和日志记录优化

Elasticsearch的监控和日志记录对于确保集群的健康和性能至关重要。以下是一些建议的配置和代码示例,用于优化Elasticsearch的监控和日志记录设置:

7.1 监控优化

  1. 启用Elasticsearch的监控功能

    Elasticsearch提供了内置的监控功能,可以通过配置来启用。在elasticsearch.yml文件中添加以下配置:

    xpack.monitoring.enabled: true
    

    如果你使用的是Elasticsearch的X-Pack插件(在Elasticsearch 7.x版本之后,X-Pack功能已成为内置功能),还可以通过设置来配置监控数据的保留策略:

    xpack.monitoring.history.duration: 7d    # 保留7天的监控数据
    
  2. 配置Elasticsearch的监控导出器

    如果你想将监控数据导出到外部系统(如Monitoring UI、Prometheus等),你可以配置Elasticsearch的监控导出器。例如,将监控数据导出到HTTP导出器:

    xpack.monitoring.exporters.my_http_exporter.type: http
    xpack.monitoring.exporters.my_http_exporter.host: ["http://localhost:9200"]
    xpack.monitoring.exporters.my_http_exporter.auth.username: "user"
    xpack.monitoring.exporters.my_http_exporter.auth.password: "password"
    xpack.monitoring.exporters.my_http_exporter.connection.timeout: 10s
    xpack.monitoring.exporters.my_http_exporter.read_timeout: 10s
    

    注意:上述示例中的用户名和密码仅用于演示目的,实际配置时应使用适当的凭据。

  3. 使用Elasticsearch的监控API

    Elasticsearch提供了一组监控API,可以用于检索集群、节点、索引和分片级别的监控信息。例如,检索集群的健康状态:

    curl -X GET "localhost:9200/_cluster/health?pretty"
    

    检索节点的统计信息:

    curl -X GET "localhost:9200/_nodes/stats?pretty"
    

    你可以根据自己的需求使用这些API来构建自定义的监控解决方案。

7.2 日志记录优化

  1. 配置日志级别

    elasticsearch.yml文件中,你可以设置Elasticsearch的日志级别。例如,将日志级别设置为INFO:

    logger.level: info
    

    你还可以为特定的日志记录器设置不同的级别。例如,增加索引相关日志的详细程度:

    logger.index.level: debug
    
  2. 配置日志滚动策略

    为了防止日志文件过大,你可以配置日志滚动策略。在log4j2.properties文件中(Elasticsearch 7.x之前的版本可能使用logging.yml),你可以设置日志文件的最大大小、备份数量和滚动模式等。以下是一个示例配置:

    appender.rolling.type = RollingFile
    appender.rolling.name = rolling
    appender.rolling.fileName = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}.log
    appender.rolling.layout.type = PatternLayout
    appender.rolling.layout.pattern = [%d{ISO8601}][%-5p][%-25c{1.}] [%node_name]%marker %m%n
    appender.rolling.filePattern = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}-%d{yyyy-MM-dd}.log
    appender.rolling.policies.type = Policies
    appender.rolling.policies.time.type = TimeBasedTriggeringPolicy
    appender.rolling.policies.time.interval = 1
    appender.rolling.policies.time.modulate = true
    appender.rolling.policies.size.type = SizeBasedTriggeringPolicy
    appender.rolling.policies.size.size = 256MB
    appender.rolling.strategy.type = DefaultRolloverStrategy
    appender.rolling.strategy.max = 7
    

    注意:上述示例中的配置路径和文件名可能因Elasticsearch版本和安装方式而有所不同。请根据你的环境进行相应的调整。

  3. 使用外部日志管理系统

    你还可以将Elasticsearch的日志发送到外部日志管理系统(如ELK Stack中的Logstash、Fluentd等),以实现更高级的日志处理和分析功能。这通常涉及配置Elasticsearch的日志输出到外部系统所需的格式和传输协议。具体配置取决于你选择的日志管理系统和Elasticsearch的集成方式。请参考相关文档进行配置。

08 安全性优化

Elasticsearch的安全性优化涉及多个配置层面,包括身份验证、授权、传输加密、网络安全等。以下是一些相关的配置示例和代码片段,用于增强Elasticsearch的安全性。

8.1 身份验证和授权

配置示例:在elasticsearch.yml中启用基于角色的访问控制(RBAC)并配置本地用户。

# 启用基于角色的访问控制
xpack.security.enabled: true# 配置本地用户(这只是一个示例,实际生产环境中应该使用更安全的密码)
xpack.security.authc.realms.file.file1.order: 0
xpack.security.authc.realms.file.file1.location: "/path/to/users/users.roles"
xpack.security.authc.realms.file.file1.users:admin:password: "admin_password"roles: ["superuser"]user:password: "user_password"roles: ["user"]

注意:上面的配置使用了文件存储用户和角色信息,这在生产环境中可能不是最佳选择。Elasticsearch还支持LDAP、Active Directory、PKI等身份验证方法。

8.2 传输层安全性(TLS)

配置示例:在elasticsearch.yml中启用TLS加密。

# 启用HTTPS
xpack.security.transport.ssl.enabled: true# 配置SSL/TLS证书路径(需要替换为的证书和密钥文件路径)
xpack.security.transport.ssl.keystore.path: "/path/to/elasticsearch.keystore"
xpack.security.transport.ssl.truststore.path: "/path/to/elasticsearch.truststore"# 如果证书有密码,还需要配置以下设置
# xpack.security.transport.ssl.keystore.password: "keystore_password"
# xpack.security.transport.ssl.truststore.password: "truststore_password"# 强制客户端使用TLS 1.2或更高版本(推荐)
xpack.security.transport.ssl.protocol: "TLSv1.2"# 启用客户端证书身份验证(双向TLS)
xpack.security.transport.ssl.client_authentication: "required"

8.3 网络安全配置

配置示例:在elasticsearch.yml中限制网络访问。

# 绑定到特定的IP地址,而不是0.0.0.0(所有地址)
network.host: "192.168.1.10"# 仅允许来自特定IP地址的HTTP连接(需要重启集群)
http.host: "192.168.1.10"# 限制可访问的端口范围(这需要在防火墙或Elasticsearch自身中配置)
# 例如,仅允许9200端口用于HTTP通信和9300端口用于节点间通信

注意:上面的配置示例中,需要将IP地址和端口替换为适合环境的值。此外,网络安全配置通常还涉及操作系统级别的防火墙规则设置,以确保只有授权的IP地址和端口可以访问Elasticsearch集群。

8.4 审计日志记录

配置示例:在elasticsearch.yml中启用审计日志。

# 启用审计日志功能并配置输出目标(如文件、索引等)
xpack.security.audit.enabled: true
xpack.security.audit.logfile.events.include: "access_denied,access_granted,anonymous_access_denied,authentication_failed,connection_denied,tampered_request,run_as_denied,run_as_granted"
xpack.security.audit.logfile.emit_node_name: true
xpack.security.audit.logfile.emit_node_host_address: true
xpack.security.audit.logfile.emit_node_host_name: true
xpack.security.audit.logfile.emit_node_id: true# 配置审计日志文件的路径和滚动策略(需要重启集群)
xpack.security.audit.logfile.path: "/path/to/audit.log"
xpack.security.audit.logfile.rollover.max_file_size: "1GB"
xpack.security.audit.logfile.rollover.max_backup_index: 10

注意:上面的配置启用了审计日志,并将其记录到指定的文件中。还可以配置其他输出目标,如Elasticsearch索引,以便进行更方便的搜索和分析。

这些配置示例提供了一些基本的安全性优化措施,但请注意,Elasticsearch的安全性配置可能因版本和特定需求而有所不同。因此,在应用这些配置之前,请务必参考Elasticsearch的官方文档以获取最新和最准确的信息。

09 小结

通过对Linux系统的内存、文件描述符、网络、I/O、CPU和线程、JVM和GC、集群和分片、监控和日志记录以及安全性等方面的优化设置,可以显著提升Elasticsearch集群的性能和稳定性。然而,随着数据量的不断增长和业务需求的不断变化,可能需要持续地对Elasticsearch集群进行优化和调整。因此,建议定期评估集群的性能状况和业务需求,并根据实际情况进行相应的优化操作。同时,关注Elasticsearch社区的动态和最佳实践分享,以便及时获取最新的优化技巧和方法。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/705902.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Layer1 明星项目 Partisia Blockchain 何以打造互操作、可创新的数字经济网络

我们的目标是创建一个以用户为中心的全新数字经济网络&#xff1a;在去信任化和公平透明的环境下&#xff0c;所有的隐私数据都能够得到天然保障&#xff0c;企业、用户等各角色的协作与共享将会更顺利地进行。 —— Partisia Blockchain 团队 作为一个以 Web3 安全为技术方向的…

Linux学习之vi/vim详细介绍

目录 ​编辑 1. 什么是 vim&#xff1f; 2. vi/vim 的使用 2.1 命令模式 2.2 输入模式 2.3 底线命令模式 3. vi/vim 使用实例 3.1 使用 vi/vim 进入一般模式 3.2 按下 i 进入输入模式(也称为编辑模式)&#xff0c;开始编辑文字 3.3 按下 ESC 按钮回到一般模式…

jenkins+kubernetes+git+dockerhub构建devops云平台

Devops简介 k8s助力Devops在企业落地实践 传统方式部署项目为什么发布慢&#xff0c;效率低&#xff1f; 上线一个功能&#xff0c;有多少时间被浪费了&#xff1f; 如何解决发布慢&#xff0c;效率低的问题呢&#xff1f; 什么是Devops&#xff1f; 敏捷开发 提高开发效率&…

CKA认证,开启您的云原生之旅!

在当今数字化时代&#xff0c;云计算已经成为企业和个人发展的关键技术。而获得CKA&#xff08;Certified Kubernetes Administrator&#xff09;认证&#xff0c;将是您在云原生领域迈出的重要一步。 CKA认证是由Kubernetes官方推出的权威认证&#xff0c;它旨在验证您在Kuber…

C++函数对象包装器function类详解

函数对象包装器是对函数的封装&#xff0c;为函数对象提供一个容器&#xff0c;一个封装。C中现有的可调用实体的一种类型安全的包装&#xff08;相对来说&#xff0c;函数指针的调用不是类型安全的&#xff09;&#xff0c;换句话说&#xff0c;函数对象包装器就是函数的容器。…

vue:实现顶部消息横向滚动通知

前言 系统顶部展示一个横向滚动的消息通知&#xff0c;就是消息内容从右往左一直滚动。 效果如下&#xff1a; 代码 使用 <template><div class"notic-bar"><img :src"notic" class"notice-img" /><div class"noti…

C++之类和对象(2)

目录 1.类的6个默认成员函数 2. 构造函数 2.1 概念 2.2 特性 3.析构函数 3.1 概念 3.2 特性 4. 拷贝构造函数 4.1 概念 4.2 特征 5.赋值运算符重载 5.1 运算符重载 5.2 赋值运算符重载 2. 赋值运算符只能重载成类的成员函数不能重载成全局函数 3. 用户没有显式实现时&…

【Flink CDC(一)】实现mysql整表与增量读取

文章目录 一. 运行前准备1. 依赖1.1. Maven dependency1.2. SQL Client JAR&#xff08;推荐&#xff09; 2. 配置 MySQL 服务器&#xff08;必须&#xff09; 二. 功能说明1. 启动模式2. 全量阶段支持 checkpoint3. 关于无主键表Exactly-Once 处理 三. 实战1. 实现mysql整表与…

如何用生成式AI创建食谱,解决五岁孩童挑食问题?

如何处理孩子挑食问题&#xff0c;对父母来说可能是一个挑战。这需要耐心、创造力和策略的结合。在深入具体策略之前&#xff0c;了解五岁儿童的口味偏好仍在发展中&#xff0c;他们的饮食行为受多种因素影响&#xff0c;包括气质、接触不同类型食物的程度以及父母对饮食的态度…

【ArcGIS】利用DEM进行水文分析:流向/流量等

利用DEM进行水文分析 ArcGIS实例参考 水文分析通过建立地表水文模型&#xff0c;研究与地表水流相关的各种自然现象&#xff0c;在城市和区域规划、农业及森林、交通道路等许多领域具有广泛的应用。 ArcGIS实例 某流域30m分辨率DEM如下&#xff1a; &#xff08;1&#xff09…

微服务学习

一、服务注册发现 服务注册就是维护一个登记簿&#xff0c;它管理系统内所有的服务地址。当新的服务启动后&#xff0c;它会向登记簿交待自己的地址信息。服务的依赖方直接向登记簿要Service Provider地址就行了。当下用于服务注册的工具非常多ZooKeeper&#xff0c;Consul&am…

JUnit 5和Mockito进行单元测试

1. JUnit 5 基础 JUnit 5是最新的JUnit版本&#xff0c;它引入了许多新特性&#xff0c;包括更灵活的测试实例生命周期、参数化测试、更丰富的断言和假设等。 1.1 基本注解 Test&#xff1a;标记一个方法为测试方法。BeforeEach&#xff1a;在每个测试方法之前执行。AfterEa…

【深入理解设计模式】装饰者设计模式

装饰者设计模式 装饰者设计模式&#xff08;Decorator Design Pattern&#xff09;是一种结构型设计模式&#xff0c;它允许向现有对象添加新功能而不改变其结构。这种模式通常用于需要动态地为对象添加功能或行为的情况&#xff0c;而且这些功能可以独立于对象本身来进行扩展…

【计算机网络】1 因特网概述

一.网络、互联网和因特网 1.网络&#xff08;network&#xff09;&#xff0c;由若干结点&#xff08;node&#xff09;和连接这些结点的链路&#xff08;link&#xff09;组成。 2.多个网络还可以通过路由器互联起来&#xff0c;这样就构成了一个覆盖范围更大的网络&#xf…

【卡码网】完全背包问题 52. 携带研究材料——代码随想录算法训练营Day44

题目链接&#xff1a;题目页面 题目描述 题目描述 小明是一位科学家&#xff0c;他需要参加一场重要的国际科学大会&#xff0c;以展示自己的最新研究成果。他需要带一些研究材料&#xff0c;但是他的行李箱空间有限。这些研究材料包括实验设备、文献资料和实验样本等等&…

终于明白kmp算法

在刷代码随想录的时候&#xff0c;遇到了leetcode这道经典题目 28. 实现 strStr() 力扣题目链接(opens new window) 实现 strStr() 函数。 给定一个 haystack 字符串和一个 needle 字符串&#xff0c;在 haystack 字符串中找出 needle 字符串出现的第一个位置 (从0开始)。如…

Selenium IDE插件录制网页,解放双手

1、 国内下载地址 https://www.crx4chrome.com/crx/77585/ &#xff0c;这个网络正常基本可以下载&#xff0c;目前最新版本是3.17.2。 点击Crx4Chrome下载。下载后的文件名称是&#xff1a;mooikfkahbdckldjjndioackbalphokd-3.17.2-Crx4Chrome.com.crx。 2、 安装 直接打开…

webpack 如何实现模块懒加载

首先在打包的时候使用 splitwebpackplugin 进行分割 在实际引用中&#xff0c;webpack 实现模块的懒加载是通过动态导入&#xff08;dynamic import &#xff09;来实现的。动态导入是 es6 的一项功能&#xff0c;允许在运行时异步加载模块&#xff0c;从而实现按需加载。 使…

CMS垃圾回收器

CMS垃圾回收 CMS GC的官方名称为“Mostly Concurrenct Mark and Sweep Garbage Collector”&#xff08;最大-并发-标记-清除-垃圾收集器&#xff09;。 作用范围&#xff1a; 老年代 算法&#xff1a; 并发标记清除算法。 启用参数&#xff1a;-XX:UseConMarkSweepGC 默认回收…

探索创造无限可能——Autodesk AutoCAD 2022(CAD 2022)系统要求

随着科技的不断进步和发展&#xff0c;计算机辅助设计&#xff08;CAD&#xff09;已经成为现代设计行业中不可或缺的一部分。在众多CAD软件中&#xff0c;Autodesk AutoCAD 2022&#xff08;CAD 2022&#xff09;无疑是最受欢迎和广泛应用的一款软件。作为一款全球领先的CAD软…