redis大数据统计之hyperloglog，GEO，Bitmap

一、亿级系统常见的四中统计

1、聚合统计

2、排序统计

3、二值统计

4、基数统计

二、hyperloglog

去重的方式有哪些？

hyperloglog实战演示

1、技术选型

2、代码演示

三、GEO

GEO实战演示

四、Bitmap

一、亿级系统常见的四中统计

1、聚合统计

聚合统计：统计多个集合元素的聚合结果，交并差集和聚合函数的应用。用于推广社交

2、排序统计

排序统计：在面对需要展示最新列表、排行榜等场景时，如果数据更新频繁或者需要分页显示，建议使用zset。

3、二值统计

二值统计：用于签到打卡，使用bitmap

4、基数统计

基数统计：指统计一个集合中不重复的元素个数，使用hyperloglog

统计名词

UV：Unique Visitor 独立访客，一般伟客户端IP（需要去重）

PV：Page View 页面浏览量（不去重）

DAU：Daily Active User 日活跃用户，登录或者使用了某个产品的用户数（去除重复登录的用户）

常用于反映网站、互联网应用或者网络游戏的运营情况。

MAU：Monthly Active User 月活跃用户

二、hyperloglog

需求分析

统计单日一个页面的访问量(PV)，单次访问就算一次。

统计单日一个页面的用户访问量(UV)，即按照用户为维度计算，单个用户一天内多次访问也只算一次。

多个key的合并统计，某个门户网站的所有模块的PV聚合统计就是整个网站的总PV。

去重的方式有哪些？

1、HashSet

2、bitmap

bitmap是通过用位bit数组来表示各元素是否出现，每个元素对应一位，所需的总内存为N个bit。
基数计数则将每一个元素对应到bit数组中的其中一位，比如bit数组010010101(按照从零开始下标，有的就是1、4、6、8)。新进入的元素只需要将已经有的bit数组和新加入的元素进行按位或计算就行。这个方式能大大减少内存占用且位操作迅速。但是对于亿级统计不太合适。

3、hyperloglog

只是进行不重复的基数统计，不是集合也不保存数据，只记录数量而不是具体内容。Hyperloglog

提供不精确的去重计数方案，牺牲准确率来换取空间，误差仅仅只是0.81%左右。

hyperloglog实战演示

示例：淘宝网站首页亿级UV的Redis统计方案

1、UV的统计需要去重，一个用户一天内的多次访问只能算作一次。
2、淘宝、天猫首页的UV，平均每天是1~1.5个亿左右。
3、每天存1.5个亿的IP，访问者来了后先去查是否存在，不存在加入。

1、技术选型

使用mysql

mysql扛不住稍微大一点的并发，而且都需要存入mysql中，导致mysql的检索也会变慢

使用redis的hash结构存储

按照ipv4的结构来说明，一个ip最多15个字节（ip=“192.168.238.1xx”），某一天 1.5亿*15个字节 = 2G，一个月60G，内存直接没了，加内存条都没用

使用hyperloglog

在Redis里面，每个HyperLogLog键只需要花费12KB内存，就可以计算接近2的64次方个不同元素的基数。

2、代码演示

HypeLogLogService

public interface HypeLogLogService {public long uv();
}

HyperLogLogServiceImpl

import com.xfcy.service.HypeLogLogService;import lombok.extern.slf4j.Slf4j;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Service;import javax.annotation.PostConstruct;
import javax.annotation.Resource;
import java.util.Random;
import java.util.concurrent.TimeUnit;@Slf4j
@Service
public class HypeLogLogServiceImpl implements HypeLogLogService {@Resourceprivate RedisTemplate redisTemplate;/*** 模拟后台有用户点击网站首页，每个用户来自不同的IP地址** @PostConstruct修饰的方法会在服务器加载Servlet的时候运行，并且只会被服务器执行一次。*/@PostConstructpublic void initIp() {new Thread(() -> {String ip = null;for (int i = 0; i < 200; i++) {Random random = new Random();ip = random.nextInt(256) + "." + random.nextInt(256) + "." + random.nextInt(256) + "." + random.nextInt(256);Long hll = redisTemplate.opsForHyperLogLog().add("hll", ip);log.info("ip = {}, 该IP地址访问首页的次数={}",ip,hll);try {// 暂停3秒钟TimeUnit.SECONDS.sleep(3);} catch (InterruptedException e) {throw new RuntimeException(e);}}}, "t1").start();}public long uv() {// PFCOUNTreturn redisTemplate.opsForHyperLogLog().size("hll");}
}

HyperLogLogController

import com.xfcy.service.HypeLogLogService;
import io.swagger.annotations.Api;
import io.swagger.annotations.ApiOperation;
import lombok.extern.slf4j.Slf4j;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestMethod;
import org.springframework.web.bind.annotation.RestController;import javax.annotation.Resource;@Api(tags = "淘宝亿级UV的Redis统计方案")
@Slf4j
@RestController
public class HyperLogLogController {@Resourceprivate HypeLogLogService hypeLogLogService;@ApiOperation("获得IP去重复后的UV统计访问量")@RequestMapping(value = "/uv",method = RequestMethod.GET)public long uv(){return hypeLogLogService.uv();}
}

运行结果，统计每个ip访问的次数

三、GEO

面试题

移动互联网时代LBS应用越来越多，交友软件中附近的小姐姐、外卖软件中附近的美食店铺、打车

软件附近的车辆等等。那这种附近各种形形色色的XXX地址位置选择是如何实现的?

mysql会有什么问题呢?

1.查询性能问题，如果并发高，数据量大这种查询会搞垮mysql数据库

2.一般mysql查询的是一个平面矩形访问，而叫车服务要以我为中心N公里为半径的圆形覆盖。I

3.精准度的问题，我们知道地球不是平面坐标系，而是一个圆球，这种矩形计算在长距离计算时会

有很大误差，mysql不合适。

GEO常用命令

GEOADD：添加经纬度坐标，该命令用于将一个或多个指定的地理位置（经纬度）添加到指定的

键中。其中，key 是存储位置信息的键，longitude 和 latitude 是经度和纬度，member 是与该位置

GEO实战演示

美团地图位置附近的酒店推送

需求分析：美团附近酒店，附近的人，一公里以内的各种营业厅，饭店，附近共享单车等等。

以给定的经纬度为中心，找出某一半径内的元素

GEOService


public interface GeoService {String geoAdd();Point position(String member);String hash(String member);Distance distance(String member1, String member2);GeoResults radiusByxy();GeoResults radiusMember();}

GEOServiceImpl

import com.xfcy.service.GeoService;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.geo.*;
import org.springframework.data.redis.connection.RedisGeoCommands;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Service;import java.util.HashMap;
import java.util.List;
import java.util.Map;@Service
@Slf4j
public class GeoServiceImpl implements GeoService {public static final String CITY = "city";@Autowiredprivate RedisTemplate redisTemplate;@Overridepublic String geoAdd() {Map<String, Point> map = new HashMap<>();map.put("白马寺", new Point(112.610356,34.728481));map.put("龙门石窟", new Point(112.484071,34.564375));map.put("老君山", new Point(111.663,33.75186));redisTemplate.opsForGeo().add(CITY, map);return null;}@Overridepublic Point position(String member) {// 获取经纬度坐标List<Point> position = redisTemplate.opsForGeo().position(CITY, member);return position.get(0);}@Overridepublic String hash(String member) {// geohash 算法生成的base32编码List<String> hash = redisTemplate.opsForGeo().hash(CITY, member);return hash.get(0);}@Overridepublic Distance distance(String member1, String member2) {// 获取两个给定位置之间的距离Distance distance = redisTemplate.opsForGeo().distance(CITY, member1, member2,RedisGeoCommands.DistanceUnit.KILOMETERS);return distance;}@Overridepublic GeoResults radiusByxy() {// 通过经纬度查找附近的，白马寺的位置 112.610356,34.728481Circle circle = new Circle(112.610356, 34.728481, Metrics.KILOMETERS.getMultiplier());// 返回50条RedisGeoCommands.GeoRadiusCommandArgs args = RedisGeoCommands.GeoRadiusCommandArgs.newGeoRadiusArgs().includeCoordinates().sortDescending().limit(50);GeoResults<RedisGeoCommands.GeoLocation<String>> geoResults = redisTemplate.opsForGeo().radius(CITY, circle, args);return geoResults;}@Overridepublic GeoResults radiusMember() {// 通过地方查找附近，洛阳白马寺为例String member = "白马寺";// 返回10条RedisGeoCommands.GeoRadiusCommandArgs args = RedisGeoCommands.GeoRadiusCommandArgs.newGeoRadiusArgs().includeDistance().sortAscending().limit(10);// 半径 10 公里内Distance distance = new Distance(10, Metrics.KILOMETERS);GeoResults<RedisGeoCommands.GeoLocation<String>> geoResults = redisTemplate.opsForGeo().radius(CITY, member, distance, args);return geoResults;}
}

GEOController

import com.xfcy.service.GeoService;
import io.swagger.annotations.Api;
import io.swagger.annotations.ApiOperation;
import lombok.extern.slf4j.Slf4j;
import org.springframework.data.geo.Distance;
import org.springframework.data.geo.GeoResults;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestMethod;
import org.springframework.web.bind.annotation.RestController;import javax.annotation.Resource;
import org.springframework.data.geo.Point;@Api(tags = "美团地图位置附近的酒店推送GEO")
@Slf4j
@RestController
public class GeoController {@Resourceprivate GeoService geoService;@ApiOperation("添加经纬度坐标")@RequestMapping(value = "/geoadd",method = RequestMethod.GET)public String geoAdd() {return geoService.geoAdd();}@ApiOperation("获取经纬度坐标geopos")@RequestMapping(value = "/geopos",method = RequestMethod.GET)public Point position(String member){return geoService.position(member);}@ApiOperation("获取经纬度生成的base32编码值geohash")@RequestMapping(value = "/geohash",method = RequestMethod.GET)public String hash(String member){return geoService.hash(member);}@ApiOperation("获取两个给定位置之间的距离")@RequestMapping(value = "/geodist",method = RequestMethod.GET)public Distance distance(String member1, String member2){return geoService.distance(member1,member2);}@ApiOperation("通过经纬度查找洛阳白马寺附近的")@RequestMapping(value = "/georadius",method = RequestMethod.GET)public GeoResults radiusByxy(){return geoService.radiusByxy();}@ApiOperation("通过地方查找附近，白马寺为例")@RequestMapping(value = "/georadiusByMember",method = RequestMethod.GET)public GeoResults radiusMember(){return geoService.radiusMember();}}

四、Bitmap

Bitmap：由 0 和 1 状态表现得二进制位的 bit 数组

作用：日活统计，连续签到打卡，近一周活跃用户，统计用户一年登录天数，电影、广告是否被点击播放过。

案例：京东签到领取京东

1、小厂方法，传统 mysql 方式

CREATE TABLE user_sign
(keyid BIGINT NOT NULL PRIMARY KEY AUTO_INCREMENT,user_key VARCHAR(200),#京东用户IDsign_date DATETIME,#签到日期(20210618)sign_count INT #连续签到天数
)INSERT INTO user_sign(user_key,sign_date,sign_count)
VALUES ('20210618-xxxx-xxxx-xxxx-xxxxxxxxxxxx','2020-06-18 15:11:12',1);SELECTsign_count
FROMuser_sign
WHEREuser_key = '20210618-xxxx-xxxx-xxxx-xxxxxxxxxxxx'AND sign_date BETWEEN '2020-06-17 00:00:00' AND '2020-06-18 23:59:59'
ORDER BYsign_date DESCLIMIT 1;

问题：签到量用户小这个可以，用户量很大就会出现问题

如何解决？

一条签到记录对应一条记录，会占据越来越大的空间。
一个月最多31天，刚好我们的int类型是32位，那这样一个int类型就可以搞定一个月，32位大于31天，当天来了位是1没来就是0。
一条数据直接存储一个月的签到记录，不再是存储一天的签到记录。

大厂方法

基于redis的 Bitmap 实现签到日历
在签到统计时，每个用户一天的签到用1个bit位就能表示，
一个月（假设是31天）的签到情况用31个bit位就可以，一年的签到也只需要用365个bit位，根本不用太复杂的集合类型

基本命令

SETBIT key offset value    // 将第offset的值设为value  value只能是0或1  offset 从0开始
GETBIT key offset        // 获得第offset位的值
STRLEN key              // 得出占多少字节 超过8位后自己按照8位一组一byte再扩容
BITCOUNT key         // 得出该key里面含有几个1
BITOP and destKey key1 key2 // 对一个或多个 key 求逻辑并，并将结果保存到 destkey 
BITOP or destKey key1 key2 // 对一个或多个 key 求逻辑或，并将结果保存到 destkey 
BITOP XOR destKey key1 key2 // 对一个或多个 key 求逻辑异或，并将结果保存到 destkey 
BITOP NOT destKey key1 key2 // 对一个或多个 key 求逻辑非，并将结果保存到 destkey