postgres的hash分表不停机扩容方案

原来我们hash分表之后，数据扩容采用的是rehash，这样迁移全部的数据，比较麻烦。

本次扩容利用hash环原理，并在此基础上做一些适应性的改动。

首先假定哈希环的范围为0-1023，总共1024的数字，这个可以根据项目情况扩大或者减小。

然后假定表"test"中有一个字段"test_col"，我们根据这一个字段进行分表，因为hash环的范围是0-1023，所以hash之后取模将hash的范围固定在0-1023之间，如abs(mod(hashtext(test_col::text), 1024))，abs是为了防止数据出现负值。

初始化分表

数据不均衡.JPG

假设我们初始化了4张表，table_0、table_1、table_2、table_3，hash取模之后的区间[0,1)的数据存在table_0，[1,2)之间的存在table_1中，[2,3)之间的存在table_2中，[3,1023]之间的存在table_3中，但又因hash取模后的数是整数，因此0->table_0,1->table_1,2->table_2，[3,1023]->table_3，很明显出现了数据不均衡。

建立虚拟映射

初始化.JPG

这里我们采用取余的方式建立虚拟映射，即abs(mod(hashtext(test_col::text), 1024))%4，余数是几就插入到几号表中，hash环上的table_0-n,table_1-n,table_2-n,table_3-n,就是虚拟映射用的表，每个实体表对应了(1024-4)/4张虚拟表，因为1024是4的整数倍，所以在实际数据插入的时候是可以均匀插入的。

扩容

如上所示，我们已经可以利用hash环将我们的数据存在指定的分表中了，但是数据量增加的时候，还是有扩容的需求的，所以重点来了，如下图所示，我们将4张表扩容成8张表了，映射关系变更为abs(mod(hashtext(test_col::text), 1024))%8，即原先4%4=0(12，20...，1020)，这个表中的数据迁移到表4中，原先5%4=1(13，21...，1021)，中的数据迁移到表5中，原先6%4=2(14，22...，1022)，中的数据迁移到表6中，原先7%4=3(15，23...，1023)，中的数据迁移到表7中，其中有(0,8,...,1016),(1,9,...,1017),(2,10,...,1018),(3,11,...,1019)这些映射上的数据是不需要迁移的，因此只需要迁移一半的数据即可。

扩容.JPG

脚本语句

(1)初始化分表语句

## 分表语句

do language plpgsql

$$

declare

parts int := 4;

begin

for i in 0..parts-1 loop

execute format('create table test%s (like test including all) inherits (test)', i);

execute format('alter table test%s add constraint ck check((abs(mod(hashtext(test_col),1024))%%4)=%s)', i, i);

end loop;

end;

$$;

## 触发器函数

create or replace function ins_test() returns trigger as

$$

declare begin

case (abs(mod(hashtext(NEW.test_col),1024))%4)

when 0 then

insert into test0 values (NEW.*);

when 1 then

insert into test1 values (NEW.*);

when 2 then

insert into test2 values (NEW.*);

when 3 then

insert into test3 values (NEW.*);

else

return NEW;

end case;

return null;

end;

$$

language plpgsql strict;

## 为空保护

create trigger test_ins_tg before insert on test for each row when (NEW.test_col is not null) execute procedure ins_test();

## 查询时拼接

and (abs(mod(hashtext(test_col::text), 1024))%4)=(abs(mod(hashtext(#{testCol}::text), 1024))%4)

(2)扩容脚本-1

do language plpgsql

$$

declare

parts int := 8;

begin

for i in 4..parts-1 loop

execute format('create table test%s (like test including all) inherits (test)', i);

execute format('alter table test%s add constraint ck check((abs(mod(hashtext(test_col),1024))%%8)=%s)', i, i);

end loop;

end;

$$;

## 触发器函数

create or replace function ins_test() returns trigger as

$$

declare begin

case (abs(mod(hashtext(NEW.test_col),1024))%8)

when 0 then

insert into test0 values (NEW.*);

when 1 then

insert into test1 values (NEW.*);

when 2 then

insert into test2 values (NEW.*);

when 3 then

insert into test3 values (NEW.*);

when 4 then

insert into test0 values (NEW.*);

when 5 then

insert into test1 values (NEW.*);

when 6 then

insert into test2 values (NEW.*);

when 7 then

insert into test3 values (NEW.*);

else

return NEW;

end case;

return null;

end;

$$

language plpgsql strict;

## 查询时拼接

and (abs(mod(hashtext(test_col::text), 1024))%8)=(abs(mod(hashtext(#{testCol}::text), 1024))%8)

(3)扩容脚本-2

因为原先的分表中constraint定义的是%4，这里需要改成%8

alter table test0 add constraint ck check((abs(mod(hashtext(test_col),1024))%%8)=0)

alter table test0 add constraint ck check((abs(mod(hashtext(test_col),1024))%%8)=1)

alter table test0 add constraint ck check((abs(mod(hashtext(test_col),1024))%%8)=2)

alter table test0 add constraint ck check((abs(mod(hashtext(test_col),1024))%%8)=3)

(4)数据转移

如要将表test0中的要转移的数据查出来，然后存在新表中。

SELECT * FROM test0 where (abs(mod(hashtext(test_col::text), 1024))%8)=4

注意点

(1)这里采用的数据扩容方式是成倍扩容，而1024刚好符合我们的成倍扩容方式，不会造成数据倾斜。

(2)表数量是会动态变更的，如果服务需要动态扩容的话，这个值不应该写死在代码里面，应该支持动态变更。

(3)扩容的时候还做不到对整体系统无影响，因此只能选在夜深人静时。

如果各位有更好的方法，请多多指教，谢谢。

如果各位有更好的方法，请多多指教，谢谢。

如果各位有更好的方法，请多多指教，谢谢。