本文介绍了雪花ID的应用场景,以及针对雪花id生成精度过大导致数据缺失的解决方案。
一、概念
雪花 ID是一种分布式 ID 生成策略,保证全局唯一,位数组成中含有时间戳,相比UUID,故也能保证自增。
二、应用场景
分库、分表、分片、中间件集群部署、数据合并中,
如果使用自增id,易造成冲突
三、实现方式
1、生成雪花id算法
SnowflakeIdGenerator.java
package com.inspur.common.utils;import org.springframework.beans.factory.annotation.Value;public class SnowflakeIdGenerator {@Value("${snowflake.dataCenterId}")private static long dataCenterId;// 数据中心ID(可根据实际情况配置)@Value("${snowflake.machineId}") // 机器ID(可根据实际情况配置)private static long machineId;// 起始的时间戳,可以根据实际情况调整private static final long START_TIMESTAMP = 1609459200000L; // 2021-01-01 00:00:00// 每部分占用的位数private static final long SEQUENCE_BIT = 10; // 序列号占用的位数private static final long MACHINE_BIT = 1; // 机器标识占用的位数private static final long DATA_CENTER_BIT = 1; // 数据中心标识占用的位数// 每部分的最大值private static final long MAX_SEQUENCE = ~(-1L << SEQUENCE_BIT);private static final long MAX_MACHINE_ID = ~(-1L << MACHINE_BIT);private static final long MAX_DATA_CENTER_ID = ~(-1L << DATA_CENTER_BIT);// 每部分向左的位移private static final long MACHINE_LEFT = SEQUENCE_BIT;private static final long DATA_CENTER_LEFT = SEQUENCE_BIT + MACHINE_BIT;private static final long TIMESTAMP_LEFT = DATA_CENTER_LEFT + DATA_CENTER_BIT;/*// 数据中心ID(可根据实际情况配置)private final long dataCenterId;// 机器ID(可根据实际情况配置)private final long machineId;*/// 序列号private long sequence = 0L;// 上次生成ID的时间戳private long lastTimestamp = -1L;/*** 初始化 SnowflakeIdGenerator 对象,并设置数据中心标识和机器标识* @param dataCenterId 数据中心标识* @param machineId 机器标识*/public SnowflakeIdGenerator(long dataCenterId , long machineId) {if (dataCenterId > MAX_DATA_CENTER_ID || dataCenterId < 0) { // 进行合法性检查,确保传入的数据中心标识和机器标识在合理范围内,否则抛出 IllegalArgumentException。throw new IllegalArgumentException("Data center ID can't be greater than " + MAX_DATA_CENTER_ID + " or less than 0");}if (machineId > MAX_MACHINE_ID || machineId < 0) {throw new IllegalArgumentException("Machine ID can't be greater than " + MAX_MACHINE_ID + " or less than 0");}this.dataCenterId = dataCenterId;this.machineId = machineId;}/*** 生成雪花算法的唯一ID* @return 最终的64位ID*///确保在多线程环境下生成的ID是唯一的,防止并发冲突。如果您的应用是单线程或者在多线程环境下并发要求不高,可以适当简化同步逻辑。public synchronized long generateId() {long currentTimestamp = System.currentTimeMillis(); // 获取当前时间戳 currentTimestamp,以毫秒为单位。if (currentTimestamp < lastTimestamp) { // 检查当前时间戳是否小于上一次生成ID的时间戳 lastTimestamp,如果是,说明发生了时钟回拨,抛出 RuntimeException。throw new RuntimeException("Clock moved backwards. Refusing to generate ID for " + (lastTimestamp - currentTimestamp) + " milliseconds.");}if (currentTimestamp == lastTimestamp) { // 如果当前时间戳与上一次时间戳相等,则递增序列号 sequence,并通过位运算确保序列号不超过最大值。如果序列号归零,表示在同一毫秒内生成的ID数量超过限制,调用 waitNextMillis 方法等待下一毫秒。sequence = (sequence + 1) & MAX_SEQUENCE;if (sequence == 0) {currentTimestamp = waitNextMillis(currentTimestamp);}} else {sequence = 0L; // 如果当前时间戳大于上一次时间戳,将序列号重置为零。}lastTimestamp = currentTimestamp;/* System.out.println( ((currentTimestamp) << TIMESTAMP_LEFT) |(dataCenterId << DATA_CENTER_LEFT) |(machineId << MACHINE_LEFT) |sequence);*/// 将当前时间戳、数据中心标识、机器标识和序列号按照雪花算法的规则组合起来,生成最终的64位ID。return ((currentTimestamp - START_TIMESTAMP) << TIMESTAMP_LEFT) |(dataCenterId << DATA_CENTER_LEFT) |(machineId << MACHINE_LEFT) |sequence;}/*** 时钟回拨策略:发生时钟回拨时等待下一个合适的时间戳。* @param currentTimestamp 方法被调用时的当前时间戳* @return 返回新的时间戳,以确保生成的ID是在递增的时间戳基础上生成的。*/private long waitNextMillis(long currentTimestamp) {long timestamp = System.currentTimeMillis();// 判断 timestamp 是否小于等于上一次生成ID的时间戳 lastTimestamp。如果是,说明当前时间戳仍然没有超过上一次生成ID的时间戳,继续在循环内等待。while (timestamp <= lastTimestamp) {timestamp = System.currentTimeMillis(); // 不断更新 timestamp 为当前时间戳,直到 timestamp 大于 lastTimestamp。}return timestamp; // 返回新的时间戳,以确保生成的ID是在递增的时间戳基础上生成的。}public synchronized static long getId() {SnowflakeIdGenerator idGenerator = new SnowflakeIdGenerator(dataCenterId, machineId);return idGenerator.generateId();}public static void main(String[] args) {// 根据情况决定long dataCenterId = 1L; // 数据中心标识long machineId = 1L; // 机器标识SnowflakeIdGenerator idGenerator = new SnowflakeIdGenerator(dataCenterId, machineId);// 使用 idGenerator 生成唯一IDlong uniqueId = idGenerator.generateId();System.out.print(String.valueOf(uniqueId));}}
2、应用
(1) 插入语句
objectPo.setId(SnowflakeIdGenerator.getId());
objectPo.setCreateTime(DateUtils.getNowDate());
int i = objectPoMapper.insertObjectPo(objectPoReason);
(2) Mapper层
insert into objectPo_table_name
<trim prefix="(" suffix=")" suffixOverrides=","><if test="id != null and id != ''">id,</if><if test="createTime != null">create_time,</if><if test="其他 != null">...</if></trim>
<trim prefix="values (" suffix=")" suffixOverrides=","><if test="id != null and id != ''">#{id},</if><if test="createTime != null">#{createTime},</if><if test="其他!= null">#{其他},</if></trim>
四、前后台精度缺失问题
由于雪花算法长度较大,前端接收数据类型为number类型 , 最大为16位, 如果后端 id 大于16位, 则会出现 精度丢失问题, 如雪花算法 id 为18位,就会造成精度缺失。
可以缩短雪花生成算法中的工作机器位数和序列号位数; 或者将id添加添加一个数据类型转换器,后台传至前台时Long型转为String, 前台传至后台时String转为Long。
1、后台序列化
实体类的id或者引用存储其他表id的字段,加上:
@JsonSerialize(using = ToStringSerializer.class)private Long id;@JsonSerialize(using = ToStringSerializer.class)private Long relaTableId;
2、前台number
取消Number()函数使用。
3、jsonBig转化
如果存储的json数据含有雪花id, 在JSON字符串转化实体类时,注意:
JSON.parse(jsonString)会造成精度丢失,用JSONBig.parse(jsonString)取代。
npm install json-bigintimport JSONBig from 'json-bigint'
4、雪花id生成位数
在雪花id生成算法中(SnowflakeIdGenerator.java),适当缩小工作机器位数和序列号位数。
如:
MACHINE_BITDATA_CENTER_BIT