shardingsphere调优日记

文章目录

  • 一、总括
  • 二、连接数调优
  • 二、CPU线程的利用率
  • 三、服务器内存的利用率

一、总括

调优的几个方面

  1. 连接数调优,包含shardingsphere和mysql的连接数。
  2. shardingsphere的globle.yaml中线程调优。(充分利用CPU)
  3. shardingsphere中的内存调优。(充分利用内存)

二、连接数调优

注意调整maxPoolSize,minPoolSize两个参数。表示连接当前数据的的数量。这个数量跟mysql的max_connects要配合,不能大于。所以调节这个参数的时候同时要去调节mysql服务器的参数。

dataSources:write_ds_0:url: jdbc:mysql://10.0.0.13:3306/newbus_0?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf8&useSSL=false&databaseNameuseUnicode=trueusername: rootpassword: Jwcs_18916939125connectionTimeoutMilliseconds: 30000idleTimeoutMilliseconds: 60000maxLifetimeMilliseconds: 1800000maxPoolSize: 100minPoolSize: 20write_ds_1:url: jdbc:mysql://10.0.0.13:3306/newbus_1?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf8&useSSL=false&databaseNameuseUnicode=trueusername: rootpassword: Jwcs_18916939125connectionTimeoutMilliseconds: 30000idleTimeoutMilliseconds: 60000maxLifetimeMilliseconds: 1800000maxPoolSize: 100minPoolSize: 20

二、CPU线程的利用率

  1. proxy-backend-query-fetch-size 参数值默认值为 -1,修改为 大数字可以尽量减少多行结果集的 fetch 次数。主要影响insert…values()的性能。
  2. proxy-frontend-executor-size 参数默认值为 CPU * 2
props:system-log-level: INFOmax-connections-size-per-query: 1kernel-executor-size: 16  # Infinite by default.proxy-frontend-flush-threshold: 128  # The default value is 128.# sql-show is the same as props in logger ShardingSphere-SQL, and its priority is lower than logging rulesql-show: falsecheck-table-metadata-enabled: false# Proxy backend query fetch size. A larger value may increase the memory usage of ShardingSphere Proxy.# The default value is -1, which means set the minimum value for different JDBC drivers.proxy-backend-query-fetch-size: 1024 #影响批量插入的效率,越大越好proxy-frontend-executor-size: 32 # Proxy frontend executor size. The default value is 0, which means let Netty decide.本机16核proxy-frontend-max-connections: 0 # Less than or equal to 0 means no limitation.proxy-default-port: 3307 # Proxy default port.proxy-netty-backlog: 1024 # Proxy netty backlog.cdc-server-port: 33071 # CDC server portproxy-frontend-ssl-enabled: falseproxy-frontend-ssl-cipher: ''proxy-frontend-ssl-version: TLSv1.2,TLSv1.3

三、服务器内存的利用率

找到start.sh修改里面内存配置

DEFAULT_JAVA_MEM_COMMON_OPTS=" -Xmx2g -Xms2g -Xmn1g "

调整如下:

 -Xmx16g -Xms16g -Xmn8g  # 调整 JVM 相关参数

说明
Xmx :最大堆内存
Xms :最小堆内存,设置成总内存的一半。我的机器是32G的,因此设置成16G
Xmn :这个值小,就会造成频繁的垃圾回收进程。为了减少进程启动,设置成8G。

原来的参数是2,2,1,太小了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/31833.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

节能减排如何替电子行业巨头降低成本

尖端科技与环境之间的矛盾,已经不再是科幻小说家笔下的虚构。 先进芯片制造从熔化硅开始,到使用大功率激光进行光刻,再到创造和维护真空状态,以及持续清洁工作,每一个环节都需要大量的电力支持。据统计,半…

体验一下 Claude 3.5 Sonnet

体验一下 Claude 3.5 Sonnet 0. 引言1. Artifacts - 使用 Claude 的新方式2. 体验一下 Claude 3.5 Sonnet 0. 引言 2024年6月21日,Anthropic 推出 Claude 3.5 Sonnet,这是即将推出的 Claude 3.5 型号系列中的第一个版本。 Claude 3.5 Sonnet 提高了行业…

南昌代理记账报税的详细说明

随着社会经济的发展和企业运营的需要,越来越多的企业开始寻找专业的会计服务,我们特别为您提供南昌代理记账报税的相关信息。 https://www.9733.cn/news/detail/166.html 代理记账的主要功能 1、代理记账为企业提供专业化的财务咨询服务。 2、及时准确…

前端调用api发请求常用的请求头content- type的类型和常用场景

Content-Type 是一个非常重要的HTTP头,它定义了发送给服务器或客户端的数据的MIME类型。这对于服务器和客户端正确解析和处理数据至关重要。下面是一些常见的 Content-Type 值及其用途和区别。 常见的 Content-Type 值 text/plain • 用途: 纯文本,无格…

信息检索(43):SPLADE: Sparse Lexical and Expansion Model for First Stage Ranking

SPLADE: Sparse Lexical and Expansion Model for First Stage Ranking 摘要1 引言2 相关工作3 方法3.1 SparTerm3.2 SPLADE:稀疏词汇和扩展模型 4 实验5 结论 发布时间(2021) 标题:稀疏词汇 扩展模型 摘要 稀疏的优点&#xf…

实现可扩展的电商返利平台:技术选型与挑战

实现可扩展的电商返利平台:技术选型与挑战 大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿! 在当今数字化和电商兴盛的时代,返利平台成为…

[程序员] 外企工作的英语重要性

作为一名程序员,英语的必备性是不可或缺,尤其是在一个外企! 因为在工作中,英语是非常重要的一门基础技术,所有的产品代码/第三方开源软件都是英语书写,包括代码逻辑,变量/函数/类定义&#xff…

Python酷库之旅-第三方库openpyxl(02)

目录 一、 openpyxl库的由来 1、背景 2、起源 3、发展 4、特点 4-1、支持.xlsx格式 4-2、读写Excel文件 4-3、操作单元格 4-4、创建和修改工作表 4-5、样式设置 4-6、图表和公式 4-7、支持数字和日期格式 二、openpyxl库的优缺点 1、优点 1-1、支持现代Excel格式…

C#程序的递归方法调用

一个方法可以自我调用。这就是所谓的 递归。下面的实例使用递归函数计算一个数的阶乘: using System;namespace CalculatorApplication {class NumberManipulator{public int factorial(int num){/* 局部变量定义 */int result;if (num 1){return 1;}else{result …

RabbitMQ实践——最大长度队列

大纲 抛弃消息创建最大长度队列绑定实验 转存死信创建死信队列创建可重写Routing key的最大长度队列创建绑定关系实验 在一些业务场景中,我们只需要保存最近的若干条消息,这个时候我们就可以使用“最大长度队列”来满足这个需求。该队列在收到消息后&…

Python打印奇偶数

1 问题 怎么通过键盘输入一个数字,若该数字位各个位上的数字和为奇数,则将该数各位数倒叙打印;若该数字各个位数之和为偶数,则直接打印该数字。 2 方法 (1)先输入一个数字,用int()函数将其取整 …

SpringCloud微服务框架的原理及应用详解(三)

本系列文章简介: 随着云计算、大数据和物联网等技术的飞速发展,企业应用系统的规模和复杂度不断增加,传统的单体架构已经难以满足快速迭代、高并发、高可用性等现代业务需求。在这样的背景下,微服务架构应运而生,成为了…

在Windows上用MinGW编译OpenCV项目运行全流程

一、准备软件 OpenCV源码CMake工具MinGW工具链(需要选用 posix 线程版本:原因见此) 二、操作步骤 官网提供了VC16构建版本的二进制包,但是没有给出GCC编译的版本。所以如果使用MinGW进行构建,那就只能从源码开始构建…

make与makefile

目录 一、make的默认目标文件与自动推导 二、不能连续make的原因 执行原理 touch .PHONY伪目标 make指令不回显 makefile多文件管理 简写依赖方法 三、回车与换行 四、缓冲区 一、make的默认目标文件与自动推导 假设这是一个makefile文件,make的时候默认生…

Java学习 - MySQL存储过程、函数和触发器练习实例

存储过程 存储过程是什么 存储过程是一组已经编译好的SQL语句存储过程优点有什么 安全 性能高 提高代码复用性创建存储过程的语法 DELIMITER $ # 不能加分号CREATE PROCEDURE 存储过程名(IN|OUT|INOUT 参数名 参数类型) BEGIN存储过程语句块 END;$DELIMITER ;创建一个无参的存储…

K-means聚类算法详解与实战

一、引言 K-means聚类算法是一种无监督学习算法,旨在将数据点划分为K个不同的聚类或群组,使得同一聚类内的数据点尽可能相似,而不同聚类间的数据点尽可能不同。在图像处理、数据挖掘、客户细分等领域有着广泛的应用。本文将通过图文结合的方…

sizeof 和 strlen 比较

sizeof 和 strlen 在 C 语言中都是用于获取某种“大小”的,但它们之间有着显著的区别。 sizeof sizeof 是一个运算符,用于计算数据类型或对象在内存中的大小(以字节为单位)。它可以在编译时确定结果,因为它计算的是类…

AcWing 3358:放养但没有完全放养 ← 按位匹配

【题目来源】https://www.acwing.com/problem/content/3361/【题目描述】 一个鲜为人知的事实是,奶牛拥有自己的文字:「牛文」。牛文由 26 个字母 a 到 z 组成,但是当奶牛说牛文时,可能与我们所熟悉的 abcdefghijklmnopqrstuvwxyz…

Origin电源维修高压发生器GEXUS-3 GEXUS-15R-02U

GEXUS-3电源维修 Origin高压发生器维修 Origin电源维修 光电设备电源维修 Origin高压电源维修故障分析应注意两点: 故障分析检测和故障硬件更换,根据高压电源故障提示和工作表现初步判断故障的类型和哪些硬件出了问题,再根据初步判断缩小检测…

java实现持续集成

要使用Java实现Jenkins持续集成,你可以使用Jenkins的Java客户端库来执行一些常见的操作,例如创建任务,触发构建等。下面是一个简单的示例代码,展示了如何使用Java实现Jenkins持续集成: java import com.offbytwo.jenk…