前言
数据库性能调优这块必不可少的环节是进行参数调优,数据库的参数很多,比如Oracle甚至有上千个参数,如何进行参数设置非常关键。参数调优需要基于业务的负载模型、硬件配置等多种因素,好的参数调优可以让数据库性能整体吞吐提升甚至翻倍。
DBA会根据经验来调优数据库的参数,但面临着参数调优过程导致性能下降的风险,存靠人工调优的方式成本太高。
为解决这个痛点,于是就有了一些公司、学者开始进行研究,如何进行自动数据库参数调优,当然ottertune就是其中的一员。
前浪的OtterTune
今天看到天舟和白鳝老师的文章后,打开OtterTune,发现官网显示公司Dead,一个有技术有资金的公司竟然挂了。在感慨的同时,也不由自主地向他们深深地鞠躬,这么好的一个产品,给整个数据库优化方向带来了很多宝贵的借鉴意义。
OtterTune在2022年融资1200万美元,对DBdoctor对外推广有极大的鼓舞,经常跟纪宽讨论为什么很多很好的软件多产自国外?较大的一个点是国外软件比较聚焦,反观国内,很少有聚焦在一个领域的数据库生态软件,几乎都是从云管平台开始做起,大一统的软件,看起来什么都有,细看发现哪一块都不突出。这也是当时我们决定DBdoctor只聚焦在性能领域的原因,彻底解决数据性能问题是我们做DBdoctor的初衷。所以,OtterTune Dead,还有DBdoctor。
OtterTune基于机器学习对数据库参数进行自动调优,利用已有的数据训练机器学习模型,进而自动化的推荐最优参数。用AI来代替数据库调参这个冗繁但又很重要的工作。
感谢AI
无形中很多工作已在强依赖AI,写代码Copilot,生成图片大模型,但是AI真正在数据库的工程落地进度似乎还不够快。DBdoctor也仅仅是上线了资源预测和根因诊断,且根因诊断还是统计学算法和AI结合的方式,DBdoctor的理念就是用数学模型代替传统经验,DBdoctor拥有比任何一款监控平台都细粒度的监控数据,这些数据在未来都会喂给AI,参数预测这个功能会是AI在DBdoctor深度落地的一个开始。
大模型把啄木鸟的手给留下了
后浪的DBdoctor
DBdoctor的自动参数调优已在内测阶段,我们从OtterTune的源码和商业化产品里学到了很多宝贵的经验,两位AI博士基于OtterTune的框架理念,对其中的算法进行了一系列替换与调优,通过海信数万数据库实例的持续验证与学习,目前算法已达到较好的工程落地效果。基于海信质量为先的研发流程,我们内测还需要持续一段时间,请小伙伴们耐心等待。
OtterTune在Github上有个开源版,有兴趣的小伙伴可以下载一下(https://github.com/cmu-db/ottertune),说不定过阵子就没了。下面是我们剖析OtterTune源码得出来的整体详细流程图,有兴趣的小伙伴可以跟我们交流:
DBdoctor参数调优目标有两个:
1)latency(SQL延时)
通过参数调优降低SQL的latency,提升执行速度。
2)TPS(极端压测数据库能支撑的的最大吞吐)
通过参数调优在不增加硬件的基础上,同样资源消耗提升数据库TPS性能吞吐。
总结
各位研发或者DBA小伙伴们,你们是否也会经常遇到类似数据库参数导致性能下降的问题!为让大家消除该困扰,在不增加硬件成本的基础上提升更高的性能吞吐,DBdoctor的小伙伴们正在马不停蹄地研发中,敬请期待~
DBdoctor推出长久免费版
DBdoctor是一款企业级数据库全方位性能监控与诊断平台,致力于解决一切数据库性能问题。可以对商业数据库、开源数据库、国产数据库进行统一性能诊断。
具备:SQL审核、巡检报表、监控告警、存储诊断、审计日志、权限管理等免费功能,不限实例个数,可基于长久免费版快速搭建企业级数据库监控诊断平台。
同时拥有:性能洞察、锁分析、根因诊断、索引推荐、SQL发布前性能评估等高阶功能,官网可快速下载,零依赖,一分钟快速一键部署。
如果您想要试用全部功能可添加公众号自助申请专业版license。成为企业用户可获得产品定制、OpenAPI集成、一对一专家等高阶服务。欢迎添加小助手微信了解详细信息!
1️⃣ 产品介绍:
内核级数据库性能诊断工具DBdoctor
2️⃣免费下载/在线试用:
https://dbdoctor.hisensecloud.com/col.jsp?id=126