分布式mysql proxy_mysqlda: 基于核心业务对象切分的Proxy模式的分布式MySQL数据库中间件...

mysqlda - MySQL数据库中间件

1. 概述

1.1. 数据分布式切分方式

分布式架构中最难解决的是数据分布式问题，大部分数据库中间件都以分库分表作为切分方式，好处是通用，但也存在以下问题：

扩容过程需要以切片为单位在库间移动数据。扩容规模受到切片数量限制，如果业务发展增长规模大大超出初期预估会导致切片数量不够用，陷入数据硬迁移的困境。

同一业务对象的数据分散在不同库中，无法做聚合、连接等复杂处理。

跨库意味着分布式事务，虽然现在有两阶段提交等解决方案，但理论上并不总是那么可靠，尤其是在金融行业苛求数据强一致性时。

以核心业务对象切分方式则以产品线入口业务对象作为切分目标(比如互联网业务系统中的客户对象)，开户交易途径数据库中间件，以手机号或其它入口字段作为核心字段做附带权重的客群切分，归属到数据库集群中的某个库中，并保存分配结果，以后该客户的所有交易都会被发往其归属库处理。当需要库存储扩容时，只需简单的增加MySQL归属库到数据库集群中，在数据库中间件系统中增加新归属库配置信息，并调大新库被分配权重，新客户分配归属到新库的概率变大，当新库存储增长到一定程度时调平分配权重，新客户分配归属到所有库的概率均等，直到下一次扩容。

以核心业务对象切分方式的好处是：

无需预估切片数量，其扩容过程无需移动任何切片或数据。

由于同一业务对象的数据集中在其归属库中，所以可以进行任意聚合、连接等复杂处理。

每个库都是全业务库，同一业务对象的所有模块处理都在一个库中完成，不存在跨库分布式事务，数据强一致性丢还给数据库单库来保证。

但也存在以下硬伤：

产品线设计初期慎重挑选核心业务对象作为切分依据，后期很难变更。

有些业务系统存在多个核心业务对象，不适合使用这种切分方式，如银行线上线下整合核心。

以分库分表切分和以核心业务对象切分是两种主流的数据分布式设计范式，各有优缺点，应在不同场景挑选合适的方式。

1.2. mysqlda

mysqlda是一款基于核心业务对象切分的Proxy模式的分布式MySQL数据库中间件。

mysqlda优势：

以核心业务对象切分方式的所有好处。

支持以核心业务对象定位MySQL归属库(如开户用身份证号或手机号或邮箱)，也支持核心业务对象的关联对象(如开户后的用户ID、用户名、账号)定位MySQL归属库。

归属库加权一致性哈希算法的分配权重自动调整，扩容后新库与老库的分配权重也自动调整，无需人工介入，使得所有归属库的数据量尽量自动均衡增长。

已包含数据库网关高可用机制，当一个归属库当前MySQL主服务器不可用时自动切换到备服务器，支持多个备服务器。

与MySQL服务器之间的连接池机制实现了连接复用和闲置清理，提高连接和切换性能。

通过在线重载配置文件，扩容新增MySQL归属库、调整MySQL服务器优先列表等完全无感。

2. 架构与原理

2.1. 体系架构

mysqlda数据库中间件完全遵循MySQL通讯协议桥接应用服务器集群和MySQL数据库集群。

mysqlda内部进程结构为“父-单子进程”。

2.2. 工作原理

全量数据以核心业务对象切分到多个归属库中，每个归属库包含全业务表。一个归属库由一个MySQL服务器列表(需部署为向下游同步数据)组成，当当前MySQL服务器不可用时自动切换到下一个。

MySQL数据库集群预创建相同的连接用户名、密码，相同的数据库名和应用表结构，mysqlda预创建相同的连接用户名、密码。

启动mysqlda，从配置文件(etc/mysqlda.conf)中装载连接用户名、密码，从保存文件(etc/mysqlda.save、etc/mysqlda.关联对象类.save)中装载已存在的核心业务对象、关联对象与 MySQL数据库集群库归属库关系信息。

应用服务器调用标准MySQL连接函数/方法连接mysqlda，mysqlda会遵循MySQL通讯协议处理MySQL用户登录和密码校验。

登录成功后，所有DSL、DML操作前，应用服务器发送mysqlda扩展SQL选择核心业务对象("select library (核心业务对象)")或关联对象类、关联对象("select library_by_correl_object (关联对象类) (关联对象)")以连接MySQL归属库，mysqlda会查询其已分配的MySQL库核心业务对象或关联对象类、关联对象(如果没有分配过则根据加权一致性哈希算法分配一个归属库并持久化到保存文件中)，从该MySQL归属库对应数据库服务器有序列表中选择第一个有效MySQL服务器及其连接池中选取空闲连接(如没有缓存连接则新建一条连接)，然后桥接对外和对内连接结对，开始处理后续所有DSL、DML操作。

后续操作中可以也发送mysqlda扩展SQL再选择核心业务对象或关联对象类、关联对象以调整MySQL归属库服务器连接。

MySQL归属库对应一个数据库服务器列表，如由MySQL数据库1A(MASTER)、1B(SLAVE)、1C(SLAVE)、1D(SLAVE)组成，1A同步复制数据给1B、1C和1D，如果1A出现故障不能被mysqlda连接，mysqlda会依次尝试连接1B、1C和1D，实现系统可用性。

应用服务器发送mysqlda扩展SQL绑定关联对象类和关联对象和核心业务对象("set correl_object 关联对象类关联对象核心业务对象")，mysqlda会保存该关系并持久化到保存文件中，供以后直接用关联对象类、关联对象定位MySQL归属库。

2.3. 简易案例

部署了三个MySQL归属库，每个库有主备两台MySQL服务器组成。

A用户用手机号(核心业务对象)开户，应用服务器发送手机号13812345678给mysqlda请求定位归属库("select library 13812341234")，mysqlda通过加权一致性哈希算法计算出该手机号(分配客户)归属库N并持久化到保存文件中，从归属库N连接池中取出一个连接，把该连接与应用服务器连接桥接，交换后面的所有SQL和处理结果。

开户业务逻辑中创建了账户331234567890，，应用服务器发送mysqlda扩展SQL给mysqla("set correl_object account_no 331234567890 13812345678")，mysqlda绑定两者关系并持久化到保存文件中。

A用户后续处理请求，可以送手机号("select library 13812341234")或账号("select library_by_correl_object account_no 331234567890")给mysqlda定位、连接用户归属库，该用户的所有业务数据和业务处理都在该归属库中完成。

2.4. 内部数据实体和关系

一个MySQL归属库(forward_instance)对应一个MySQL数据库服务器有序列表(forward_servers list)。

一个MySQL数据库服务器有序列表(forward_servers list)下辖一个空闲连接池(unused_forward_session list)和一个工作连接池(forward_session list)。

一个核心业务对象可以绑定一个或多个关联对象类(forward_correl_object_class)、关联对象(forward_correl_object)。

一个核心业务对象或一个关联对象类、关联对象与 MySQL归属库建立一个归属关系(forward_library)。

accepted_session是应用服务器与mysqlda之间的通讯会话，forward_session是mysqlda与MySQL数据库服务器之间的通讯会话，一旦一条连接上的MySQL归属库被选定或切换，这两个会话会被桥接起来。

3. 安装部署

mysqlda只依赖于mysql或mariadb，必须先安装好开发包*-devel-*。

3.1. 解开mysqlda源码包或直接从源码托管地址克隆最新版

$git clone http://git.oschina.net/calvinwilliams/mysqlda

Cloning into 'mysqlda'...

remote: Counting objects: 355, done.

remote: Compressing objects: 100% (345/345), done.

remote: Total 355 (delta 221), reused 0 (delta 0)

Receiving objects: 100% (355/355), 586.04 KiB | 0 bytes/s, done.

Resolving deltas: 100% (221/221), done.

3.2. 进入src目录，清理中间文件

$cdmysqlda

$make -f makefile.Linux clean

make[1]: Entering directory `/home/calvin/src/mysqlda/src'

make[2]: Entering directory `/home/calvin/src/mysqlda/src/mysqlda'

rm -f lk_list.o

rm -f rbtree.o

rm -f LOGC.o

rm -f fasterjson.o

rm -f util.o

rm -f rbtree_ins.o

rm -f IDL_mysqlda_conf.dsc.o

rm -f main.o

rm -f config.o

rm -f monitor.o

rm -f worker.o

rm -f comm.o

rm -f app.o

rm -f mysqlda

make[2]: Leaving directory `/home/calvin/src/mysqlda/src/mysqlda'

make[1]: Leaving directory `/home/calvin/src/mysqlda/src'

make[1]: Entering directory `/home/calvin/src/mysqlda/shbin'

make[1]: Leaving directory `/home/calvin/src/mysqlda/shbin'

make[1]: Entering directory `/home/calvin/src/mysqlda/test'

rm -f mysqlda_test_connect.o

rm -f mysqlda_test_select_library.o

rm -f mysqlda_test_set_correl_object.o

rm -f mysqlda_test_select_library_by_correl_object.o

rm -f mysqlda_test_insert.o

rm -f mysqlda_test_update.o

rm -f mysqlda_test_delete.o

rm -f mysqlda_test_connect

rm -f mysqlda_test_select_library

rm -f mysqlda_test_set_correl_object

rm -f mysqlda_test_select_library_by_correl_object

rm -f mysqlda_test_insert

rm -f mysqlda_test_update

rm -f mysqlda_test_delete

make[1]: Leaving directory `/home/calvin/src/mysqlda/test'

3.3. 修改安装目标目录

可执行文件mysqlda默认编译链接出来后安装到$HOME/bin，如需调整目标目录可编辑src/mysqlda/makeinstall

_BINBASE = $(HOME)/bin

管理脚本mysqlda.sh默认编译链接出来后安装到$HOME/shbin，如需调整目标目录可编辑shbin/makeinstall

NOCLEAN_OBJINST = $(HOME)/shbin

没特殊需求可以不修改

3.4. 编译、安装

$make -f makefile.Linux install

make[1]: Entering directory `/home/calvin/src/mysqlda/src'

make[2]: Entering directory `/home/calvin/src/mysqlda/src/mysqlda'

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include/mysqlda_api -std=gnu99 -I/usr/include/mysql -c lk_list.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include/mysqlda_api -std=gnu99 -I/usr/include/mysql -c rbtree.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include/mysqlda_api -std=gnu99 -I/usr/include/mysql -c LOGC.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include/mysqlda_api -std=gnu99 -I/usr/include/mysql -c fasterjson.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include/mysqlda_api -std=gnu99 -I/usr/include/mysql -c util.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include/mysqlda_api -std=gnu99 -I/usr/include/mysql -c rbtree_ins.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include/mysqlda_api -std=gnu99 -I/usr/include/mysql -c IDL_mysqlda_conf.dsc.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include/mysqlda_api -std=gnu99 -I/usr/include/mysql -c main.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include/mysqlda_api -std=gnu99 -I/usr/include/mysql -c config.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include/mysqlda_api -std=gnu99 -I/usr/include/mysql -c monitor.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include/mysqlda_api -std=gnu99 -I/usr/include/mysql -c worker.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include/mysqlda_api -std=gnu99 -I/usr/include/mysql -c comm.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include/mysqlda_api -std=gnu99 -I/usr/include/mysql -c app.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -o mysqlda lk_list.o rbtree.o LOGC.o fasterjson.o util.o rbtree_ins.o IDL_mysqlda_conf.dsc.o main.o config.o monitor.o worker.o comm.o app.o -L. -L/home/calvin/lib -L/usr/lib64/mysql -lmysqlclient -lcrypto

cp -rf mysqlda /home/calvin/bin/

make[2]: Leaving directory `/home/calvin/src/mysqlda/src/mysqlda'

make[1]: Leaving directory `/home/calvin/src/mysqlda/src'

make[1]: Entering directory `/home/calvin/src/mysqlda/shbin'

cp -rf mysqlda.sh /home/calvin/shbin/

make[1]: Leaving directory `/home/calvin/src/mysqlda/shbin'

make[1]: Entering directory `/home/calvin/src/mysqlda/test'

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include -std=gnu99 -I/usr/include/mysql -c mysqlda_test_connect.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -o mysqlda_test_connect mysqlda_test_connect.o -L. -L/home/calvin/lib -L/home/calvin/lib -L/usr/lib64/mysql -lmysqlclient

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include -std=gnu99 -I/usr/include/mysql -c mysqlda_test_select_library.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -o mysqlda_test_select_library mysqlda_test_select_library.o -L. -L/home/calvin/lib -L/home/calvin/lib -L/usr/lib64/mysql -lmysqlclient

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include -std=gnu99 -I/usr/include/mysql -c mysqlda_test_set_correl_object.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -o mysqlda_test_set_correl_object mysqlda_test_set_correl_object.o -L. -L/home/calvin/lib -L/home/calvin/lib -L/usr/lib64/mysql -lmysqlclient

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include -std=gnu99 -I/usr/include/mysql -c mysqlda_test_select_library_by_correl_object.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -o mysqlda_test_select_library_by_correl_object mysqlda_test_select_library_by_correl_object.o -L. -L/home/calvin/lib -L/home/calvin/lib -L/usr/lib64/mysql -lmysqlclient

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include -std=gnu99 -I/usr/include/mysql -c mysqlda_test_insert.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -o mysqlda_test_insert mysqlda_test_insert.o -L. -L/home/calvin/lib -L/home/calvin/lib -L/usr/lib64/mysql -lmysqlclient

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include -std=gnu99 -I/usr/include/mysql -c mysqlda_test_update.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -o mysqlda_test_update mysqlda_test_update.o -L. -L/home/calvin/lib -L/home/calvin/lib -L/usr/lib64/mysql -lmysqlclient

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -I. -I/home/calvin/include -std=gnu99 -I/usr/include/mysql -c mysqlda_test_delete.c

gcc -g -fPIC -O2 -Wall -Werror -fno-strict-aliasing -o mysqlda_test_delete mysqlda_test_delete.o -L. -L/home/calvin/lib -L/home/calvin/lib -L/usr/lib64/mysql -lmysqlclient

make[1]: Leaving directory `/home/calvin/src/mysqlda/test'

3.5. 查询版本号，也确认可执行文件OK

$mysqlda -v

mysqlda v0.0.6.0

4. 配置使用

4.1. 自动生成缺省配置文件

$mysqlda -a init

$cat ~/etc/mysqlda.conf

{

"server" :

{

"listen_ip" : "127.0.0.1" ,

"listen_port" : 13306

} ,

"auth" :

{

"user" : "calvin" ,

"pass" : "calvin" ,

"db" : "calvindb"

} ,

"session_pool" :

{

"unused_forward_session_timeout" : 60

} ,

"forwards" :

[

{

"instance" : "mysqlda1" ,

"forward" :

[

{

"ip" : "127.0.0.1" ,

"port" : 3306

}

]

}

]

}

各配置项说明如下：

server.listen_ip : mysqlda面向应用服务器的侦听IP

server.listen_port : mysqlda面向应用服务器的侦听PORT

auth.user : mysqlda面向应用服务器的登录认证用户名，也是mysqlda面向MySQL数据库服务器列表集群的登录认证用户名

auth.pass : mysqlda面向应用服务器的登录认证用户密码，也是mysqlda面向MySQL数据库服务器列表集群的登录认证用户密码

auth.db : mysqlda面向应用服务器的登录数据库，也是mysqlda面向MySQL数据库服务器列表集群的登录数据库

session_pool.unused_forward_session_timeout : mysqlda面向MySQL数据库服务器列表集群的空闲连接池超时清理时间

forwards[].instance : MySQL归属库ID

forwards[].forward[].ip : MySQL归属库服务器IP

forwards[].forward[].port : MySQL归属库服务器PORT

4.2. 启动mysqlda

不带命令行参数直接执行mysqlda会得到完整参数列表，根据实际环境修改完配置文件后启动

$mysqlda

USAGE : mysqlda -f (config_filename) --no-daemon -a [ init | start ]

[ --loglevel-debug | --loglevel-info | --loglevel-notice

| --loglevel-warn | --loglevel-error | --loglevel-fatal ]

-v

$mysqlda -a start

注意：默认日志等级为NOTICE，如果想以调试等级启动，加上命令行参数--loglevel-debug。

也可以使用管理脚本启动

$mysqlda.sh

$mysqlda.sh start

注意：mysqlda.sh第二个参数开始的参数列表会传递给mysqlda -a start后面。

查询启动日志(以我的环境参数配置)

$view ~/log/mysqlda.log

2017-09-03 14:17:17.306390 | NOTICE | 18582:monitor.c:75 | [18582]fork[18583] ok

2017-09-03 14:17:17.306460 | NOTICE | 18582:monitor.c:69 | [18582]fork[18583] ok

2017-09-03 14:17:17.307423 | NOTICE | 18583:config.c:259 | Load forward_library /home/calvin/etc/mysqlda.save ok , count[2000]

2017-09-03 14:17:17.307452 | NOTICE | 18583:config.c:358 | Load all forward_correl_object_class ok , count[0]

2017-09-03 14:17:17.307456 | NOTICE | 18583:config.c:369 | instance[0x225a180][mysql_data_1] serial_range_begin[0] power[989]

2017-09-03 14:17:17.307459 | NOTICE | 18583:config.c:373 | ip[192.168.6.22] port[3306]

2017-09-03 14:17:17.307462 | NOTICE | 18583:config.c:369 | instance[0x225a260][mysql_data_2] serial_range_begin[989] power[1013]

2017-09-03 14:17:17.307464 | NOTICE | 18583:config.c:373 | ip[192.168.6.23] port[3306]

2017-09-03 14:17:17.307467 | NOTICE | 18583:config.c:377 | total_power[2002]

2017-09-03 14:17:17.307475 | NOTICE | 18583:worker.c:204 | epoll_create ok , #1#

2017-09-03 14:17:17.307479 | NOTICE | 18583:worker.c:219 | epoll_ctl #1# add alive_pipe_session #0# ok

2017-09-03 14:17:17.307488 | NOTICE | 18583:worker.c:231 | socket ok , #2#

2017-09-03 14:17:17.307499 | NOTICE | 18583:worker.c:248 | bind[192.168.6.21:13306] #2# ok

2017-09-03 14:17:17.307506 | NOTICE | 18583:worker.c:260 | listen[192.168.6.21:13306] #2# ok

2017-09-03 14:17:17.307509 | NOTICE | 18583:worker.c:275 | epoll_ctl #1# add listen_session #2# ok

2017-09-03 14:17:17.308110 | NOTICE | 18583:worker.c:293 | [mysql_data_1]mysql_real_connect[192.168.6.22][3306][calvin][calvin][calvindb] connecting ...

2017-09-03 14:17:17.309869 | NOTICE | 18583:worker.c:302 | [mysql_data_1]mysql_real_connect[192.168.6.22][3306][calvin][calvin][calvindb] connecting ok

2017-09-03 14:17:17.310148 | NOTICE | 18583:worker.c:313 | [mysql_data_1]mysql_close[192.168.6.22][3306] ok

2017-09-03 14:17:17.310219 | NOTICE | 18583:worker.c:293 | [mysql_data_2]mysql_real_connect[192.168.6.23][3306][calvin][calvin][calvindb] connecting ...

2017-09-03 14:17:17.311103 | NOTICE | 18583:worker.c:302 | [mysql_data_2]mysql_real_connect[192.168.6.23][3306][calvin][calvin][calvindb] connecting ok

2017-09-03 14:17:17.311119 | NOTICE | 18583:worker.c:313 | [mysql_data_2]mysql_close[192.168.6.23][3306] ok

2017-09-03 14:17:18.313143 | NOTICE | 18583:worker.c:345 | epoll_wait #1# return[0]events

2017-09-03 14:17:19.315163 | NOTICE | 18583:worker.c:345 | epoll_wait #1# return[0]events

2017-09-03 14:17:20.316408 | NOTICE | 18583:worker.c:345 | epoll_wait #1# return[0]events

则表示启动成功

如果mysqlda连接MySQL数据库集群有问题，启动初始化阶段会侦测出来