源码 连接mysql_MySql轻松入门系列————第一站 从源码角度轻松认识mysql整体框架图...

一:背景

1. 讲故事

最近看各大技术社区,不管是知乎,掘金,博客园,csdn基本上看不到有小伙伴分享sqlserver类的文章,看样子这些年sqlserver没落了,已经后继无人了,再写sqlserver是不可能再写了,这辈子都不会写了,只能靠技术输出mysql维持生活这样子。

二:了解架构图

mysql最大的好处就是开源, 手握百万源码,有什么问题搞不定呢? 这一点要比sqlserver爽多了,不用再dbcc捣来捣去。

1. 从架构图入手

大家都知道做/装修房子都要有一张图纸,其实软件也是一样,只要有了这么一张图纸,大方向就定下来了,再深入到细节也不会乱了方向,然后给大家看一下我自己画的架构图,画的不对请轻拍。

3ca08081ac6f5857ab1d4fbb2db8aa94.png

其实SqlServer,Oracle,MySql架构都大同小异,MySql的鲜明特点就是存储引擎做成了插拔式,这就牛逼了,现行最常用的是InnoDB,这就让我有了一个想法,有一套业务准备用 InMemory 模式跑一下,厉害了~

2. 功能点介绍

MySql其实就两大块,一块是MySql Server层,一块就是Storage Engines层。

<1> Client

不同语言的sdk遵守mysql协议就可以与mysqld进行互通。

<2> Connection/Thread Pool

MySql使用C++编写,Connection是非常宝贵的,在初始化的时候维护一个池。

<3> SqlInterface,Parse,Optimizer,Cache

对sql处理,解析,优化,缓存等处理和过滤模块,了解了解即可。

<4> Storage Engines

负责存储的模块,官方,第三方,甚至是你自己都可以自定义实现这个数据存储,这就把生态做起来了, 。

三: 源码分析

关于怎么去下载mysql源码,这里就不说了,大家自己去官网捣鼓捣鼓哈,本系列使用经典的 mysql 5.7.14版本。

1. 了解mysql是如何启动监听的

手握百万行源码,怎么找入口函数呢??? ,其实很简单,在mysqld进程上生成一个dump文件,然后看它的托管堆不就好啦。。。

undefined_b.jpg

从图中可以看到,入口函数就是 mysqld!mysqld_main+0x227 中的 mysqld_main, 接下来就可以在源码中全文检索下。

<1> mysqld_main 入口函数 => sql/main.cc

extern int mysqld_main(int argc, char **argv);int main(int argc, char **argv)
{return mysqld_main(argc, argv);
}

这里大家可以用visualstudio打开C++源码,使用查看定义功能,非常好用。

<2> 创建监听

int mysqld_main(int argc, char **argv)
{//创建服务监听线程handle_connections_sockets();
}void handle_connections_sockets()
{//监听连接new_sock= mysql_socket_accept(key_socket_client_connection, sock,(struct sockaddr *)(&cAddr), &length);if (mysql_socket_getfd(sock) == mysql_socket_getfd(unix_sock))thd->security_ctx->set_host((char*) my_localhost);//创建连接create_new_thread(thd);
}//创建新线程处理处理用户连接
static void create_new_thread(THD *thd){thd->thread_id= thd->variables.pseudo_thread_id= thread_id++;//线程进了线程调度器MYSQL_CALLBACK(thread_scheduler, add_connection, (thd));   
}

至此mysql就开启了一个线程对 3306 端口进行监控,等待客户端请求触发 add_connection 回调。

2. 理解mysql是如何处理sql请求

这里我以Insert操作为例稍微解剖下处理流程:

当用户有请求sql过来之后,就会触发 thread_scheduler的回调函数add_connection

static scheduler_functions one_thread_per_connection_scheduler_functions=
{0,                                     // max_threadsNULL,                                  // initinit_new_connection_handler_thread,    // init_new_connection_threadcreate_thread_to_handle_connection,    // add_connectionNULL,                                  // thd_wait_beginNULL,                                  // thd_wait_endNULL,                                  // post_kill_notificationone_thread_per_connection_end,         // end_threadNULL,                                  // end
};

scheduler_functions 中可以看到,add_connection 对应了 create_thread_to_handle_connection,也就是请求来了会触发这个函数,从名字也可以看出,用一个线程处理一个用户连接。

<1> 客户端请求被 create_thread_to_handle_connection 接管及调用栈追踪

void create_thread_to_handle_connection(THD *thd)
{if ((error= mysql_thread_create(key_thread_one_connection, &thd->real_id, &connection_attrib,handle_one_connection,(void*) thd))){}
}
//触发回调函数  handle_one_connection
pthread_handler_t handle_one_connection(void *arg)
{do_handle_one_connection(thd);
}
//继续处理
void do_handle_one_connection(THD *thd_arg){while (thd_is_connection_alive(thd)){mysql_audit_release(thd);if (do_command(thd))  break;  //这里的 do_command 继续处理}
}
//继续分发
bool do_command(THD *thd)
{return_value= dispatch_command(command, thd, packet+1, (uint) (packet_length-1));
}
bool dispatch_command(enum enum_server_command command, THD *thd, char* packet, uint packet_length)
{switch (command) {case COM_INIT_DB: ....  break;...case COM_QUERY:   //查询语句:  insert xxxxmysql_parse(thd, thd->query(), thd->query_length(), &parser_state);  //sql解析break;}
}
//sql解析模块
void mysql_parse(THD *thd, char *rawbuf, uint length, Parser_state *parser_state)
{error= mysql_execute_command(thd);
}

<2> 到这里它的Parse,Optimizer,Cache都追完了,接下来看sql的CURD类型,继续追。。。

//继续执行
int mysql_execute_command(THD *thd)
{switch (lex->sql_command) {case SQLCOM_SELECT:  res= execute_sqlcom_select(thd, all_tables);  break;//这个 insert 就是我要追的case SQLCOM_INSERT:   res= mysql_insert(thd, all_tables, lex->field_list, lex->many_values,lex->update_list, lex->value_list,lex->duplicates, lex->ignore);}
}
//insert插入操作处理
bool mysql_insert(THD *thd,TABLE_LIST *table_list,List<Item> &fields, List<List_item> &values_list,List<Item> &update_fields, List<Item> &update_values, enum_duplicates duplic, bool ignore)
{while ((values= its++)){error= write_record(thd, table, &info, &update);}
}
//写入记录
int write_record(THD *thd, TABLE *table, COPY_INFO *info, COPY_INFO *update)
{if (duplicate_handling == DUP_REPLACE || duplicate_handling == DUP_UPDATE){// ha_write_row  重点是这个函数while ((error=table->file->ha_write_row(table->record[0]))){....}}
}

可以看到,调用链还是挺深的,追到 ha_write_row 方法基本上算是追到头了,再往下的话就是 MySql ServerStorage Engine提供的接口实现了,不信的话继续看呗。。。

<3> 继续挖 ha_write_row

int handler::ha_write_row(uchar *buf)
{MYSQL_TABLE_IO_WAIT(m_psi, PSI_TABLE_WRITE_ROW, MAX_KEY, 0,{ error= write_row(buf); })
}//这是一个虚方法
virtual int write_row(uchar *buf __attribute__((unused)))
{return HA_ERR_WRONG_COMMAND;
}

看到没有,write_row是个虚方法,也就是给底层方法实现的,在这里就是给各大Storage Engines的哈。

3. 调用链图

这么多方法,看起来有点懵懵的吧,我来画一张图,帮助大家理解下这个调用堆栈。

d920518fc50c2ea2a2640e3ff6a7c87a.png

三:总结

大家一定要熟读架构图,有了架构图从源码中找信息就方便多了,总之学习mysql成就感还是满满的 。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/381499.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ThinkPHP5.1中使用Redis来缓存

问题 在thinkphp5.1项目中需要引入Redis&#xff0c;安装redis后在tp5.1写入相关的操作代码后却一直报错&#xff0c;可能出现的问题如下&#xff1a; 1. 安装不正确&#xff0c;即redis没正常运行 2. 没有添加php_redis驱动扩展 3. php.ini修改位置不正确 4. tp5.1中配置代…

python网页爬虫例子_Python网络爬虫 - 一个简单的爬虫例子

下面我们创建一个真正的爬虫例子 爬取我的博客园个人主页首页的推荐文章列表和地址 scrape_home_articles.py from urllib.request importurlopenfrom bs4 importBeautifulSoupimportre html urlopen("http://www.cnblogs.com/davidgu") bsObj BeautifulSoup(html, &…

asp.net mvc使用的心得和问题的解决方法(陆续更新ing)

1、在mvc下webform的分页控件不能用&#xff0c;只好自己山寨一个轻便的。 1publicclassPageHelp2{ 3 /**//// <summary> 4 /// 总页数 5 /// </summary> 6 public int TotalPageNum { get; set; } 7 /**//// <summary…

[C++][线程安全]单例模式下双检查锁和线程

问题 在设计模式中&#xff0c;有一个很经典的模式-单例模式&#xff0c;它可能是实现上最简单的模式&#xff0c;在代码中也经常使用&#xff0c;在单线程下&#xff0c;毫无疑问延迟化加载是比较常用的&#xff0c;但是在多线程条件下&#xff0c;单例模式的延迟加载可能就会…

java的ZipOutputStream压缩文件的两个问题(乱码和每次zip后文件md5变化)

java的ZipOutputStream压缩文件的两个问题&#xff08;乱码和每次zip后文件md5变化&#xff09; 1、乱码问题可以使用org.apache.tools.zip 2、md5每次都变化只需要设置entry.setTime(1) posted on 2008-11-20 15:49 夜隼 阅读(...) 评论(...) 编辑 收藏 转载于:https://www.cn…

python少儿编程课件ppt_Python课程第五期

{getUnitName} 免费 {getTaskName} 剩余观看时长&#xff1a;{watchLimitRemaining} 回放 {activityStartTimeStr} 正在直播中 直播结束 {activityLength} 免费 {getTaskName} 敬请期待 { "id": "1680", "isDefault": "1", "lear…

h5 一镜到底_这些一镜到底的H5还能怎么玩?

前文《单个公众号收入过亿&#xff0c;条漫为什么成为2019风口》提到&#xff0c;加入插画元素的条漫和ps拼接的长图文正处在2019年风口&#xff0c;这种现象也适合描述H5。以往扁平化的H5内容新颖&#xff0c;但视觉上缺乏大幅度的起伏。想要让H5看起来更有律动&#xff0c;就…

visio生成数据表图

http://blog.163.com/zgkingdom126/blog/static/2273473200892714445447/转载于:https://www.cnblogs.com/lishenglyx/archive/2008/11/24/1339746.html

打开端口_打印机ip及端口设置

越洋帮路由网原创&#xff1a;文章是关于"打印机ip及端口设置"的相关知识分享&#xff0c;希望可以帮到大家。 - 素材来源网络 编辑:小易。随着科学技术的发展&#xff0c;各种技术成果也进入到千家万户&#xff0c;近日&#xff0c;有人咨询怎样设置和修改打印机ip及…

博客搬迁声明

博客搬迁 回过头&#xff0c;在CSDN写博客已经好几年了&#xff0c;当初写博客是为了总结自己的ACM解题思路&#xff0c;开始觉得浪费时间&#xff0c;可是写到了现在&#xff0c;慢慢发现自己爱上了写博客这种爱好&#xff0c;反过来看之前自己的想法的时候&#xff0c;会惊叹…

分计算iv值_快捷、经济、实用的光伏及IV曲线测试仪PVPM 1500X

PVPM 1500X IV曲线测试仪pvpm 1500x (1500V,20ADC)可测量光伏模块以及字符串或阵列的 iv 曲线。通过专利程序, 该设备可以直接在光伏系统的安装位置测量和计算峰值功率 ppk、r 和 rp。计算结果和图表可以显示在内部彩色的 tft 显示屏上。因此, 光伏系统的质量控制可以快速、经济…

Open Source Blog 开源ASP.NET/C# 博客平台 v2.5 发布(提供源码下载)

EntLib.com Blog 开源ASP.NET/C# 博客平台 v2.5 发布&#xff08;提供源码下载&#xff09;基于Subtext v2.0 开源ASP.NET博客系统的中文汉化及定制化开发&#xff0c;EntLib.com 开源博客小组根据用户的反馈意见&#xff0c;不断改进系统。2008年11月22日正式发布 EntLib.com …

2018年新年计划

前言 好久没有来csdn了&#xff0c;转眼就到了2018年了。因为最近一年差不多都在捣鼓个人博客&#xff0c;用了好长一段的wordpress&#xff0c;也折腾了很多&#xff0c;但是很不幸的是今年10月份由于主机商的跑路&#xff0c;我的个人博客遭遇了丢失了数据&#xff0c;然后&a…

兄弟3150cdn加粉后清零_兄弟MFC1618MFC1816 tn1035加粉清零方法

兄弟MFC-1618\MFC-1816 tn-1035加粉清零方法 有今天要发的题目的话؛兄弟MFC-1618\MFC-1816 tn-1035加粉清零方法 墨粉盒型号&#xff1a;兄弟TN-1035兄弟MFC-1618的清零方法有两种&#xff1a;一、清粉盒(转动粉盒右侧的齿轮180度)&#xff1b;二、在机器上操作&#xff1b;(以…

python随机生成字符串_python 随机生成字符串数据

不说话字节贴代码&#xff1a; # -*- coding:UTF-8 -*- print (---------------------------game---------------------------) import re from random import randint, choice from string import lowercase from sys import maxint from time import ctime doms (com, edu, …

扩大swap分区--Ubuntu手记之系统配置

因为安装时采用的自动分区&#xff0c;因此我的swap分区是800多M&#xff0c;最近打算用休眠功能&#xff0c;发现总是不成功&#xff0c;报告swap分区不够大&#xff0c;原来ubuntu是采用swap分区来挂起系统的&#xff0c;而我的机器有2G内存&#xff0c;因此要使用挂起功能就…

字体外面怎么加边框_有钱人家连电视墙都发“光”,大理石墙周围加一圈镜面边框,华丽...

阅读本文前&#xff0c;请您先点击上面蓝色字体&#xff0c;再点关 注这样您就可以继续免费收到文章了&#xff0c;每天都有分享&#xff0c;完全是“免费订阅”&#xff0c;请放心关注注&#xff1a;本文转载自网络&#xff0c;如有侵权&#xff0c;请在后台留言联系我们进行删…

[Golang]Go语言学习资源集合

说明 对于新手来讲&#xff0c;入门一门新的语言无疑是有困难的&#xff0c;往往会因为找不到方向而迷失。在我的学习golang的过程中&#xff0c;也碰到了该如何入手的问题&#xff0c;还好我善于搜索&#xff0c;有一些基础&#xff0c;入手的时候没有碰到太多困难。但是如果想…

计算机与人脑_类脑计算机:一种新型的计算系统

近日&#xff0c;中国浙江大学联合之江实验室共同研制成功了国内首台基于自主知识产权类脑芯片的类脑计算机(Darwin Mouse)。这台类脑计算机包含792颗浙江大学研制的达尔文2代类脑芯片&#xff0c;支持1.2亿脉冲神经元、近千亿神经突触&#xff0c;与小鼠大脑神经元数量规模相当…

vivi eboot wince 烧写

今天烧vivi文件到nand flash去&#xff0c;用sjf2410wiggler烧&#xff0c;虽然还不懂编译vivi&#xff0c;但是先试试烧个vivi bootloader进去玩玩&#xff01;连上wiggler jtag线&#xff0c;先用H-jtag 软件检测到了芯片&#xff0c;然后在命令行打上sjf2410wiggler /f: c:\…