redis百万级数据量预热方案

一、需求描述

项目中需要查询用户对应的地市信息，这些数据是存储在mysql数据库中，并且数据量是百万级别，查询频率高，所以想将需要查询的字段存储到redis中，来提高查询速度

二、需求分析

对redis数据预热，一般思路就通过mysql将数据查询出来，然后遍历存储到redis中。

注意点：

1、因为数据量大，不要直接将所有数据查询出来然后遍历存储，因为大数据量数据全部缓存在服务器内存中会导致内存溢出报错；
解决方式： 分页读取数据，循环遍历直到最后一页
以下是分页读取和数据存储代码

int i=0;
while (true){String sql =" select userid,CITYCODE from tb_tc_orderuser_bycity limit "+i+",5000";List<Tcorderinfo> datalist = new ArrayList<>();try {datalist = jdbcTemplate.query(sql, Tcorderinfo.class);if (datalist!=null && datalist.size() >0){i=i+datalist.size();}else {break;}} catch (Exception e) {logger.error("查询用户的数据失败");}for (Tcorderinfo one : datalist) {stringRedisTemplate.opsForValue().set("userCity:"+one.getUserid(),one.getCitycode());}logger.info("已存入{}数据",i);datalist.clear();
}

上述方式是通过stringRedisTemplate.opsForValue().set方法将数据一条条插入redis中的。
虽然能正常执行了，但是一条条的存储到redis中是相当耗时的，统计了一下，一分钟只能存储500左右的数据量，显然不可行
优化方案：
redis中有一个叫管道的概念，简单概括，就是可以数据先存储到管道中，然后一起推到redis缓存中，这样可以大大提高存储效率

int i=0;
while (true){String sql =" select userid,CITYCODE from tb_tc_orderuser_bycity limit "+i+",5000";List<Tcorderinfo> datalist = new ArrayList<>();try {datalist = jdbcTemplate.query(sql, Tcorderinfo.class);if (datalist!=null && datalist.size() >0){i=i+datalist.size();}else {break;}} catch (Exception e) {logger.error("查询用户的数据失败");}for (Tcorderinfo one : datalist) {batchStoreStringsUsingConnection(datalist);}logger.info("已存入{}数据",i);datalist.clear();
}

public void batchStoreStringsUsingConnection(List<Tcorderinfo> datalist) {stringRedisTemplate.executePipelined((RedisCallback<Void>) connection -> {RedisSerializer<String> stringSerializer = stringRedisTemplate.getStringSerializer();for (Tcorderinfo one : datalist) {String key = "userCity:"+one.getUserid();String value = one.getCitycode();connection.set(stringSerializer.serialize(key), stringSerializer.serialize(value));}return null;});}