B站播放数量如何实现,高并发读写计数难点

我们先不考虑用户规模、并发量、性能、可靠性… 这些东西
我们就单单从功能层面实现统计视频播放量,其实很简单, 就是给视频表加一个字段,用来表示播放量
这样实现,最大的好处就是简单,但是我们马上就能发现一个非常严重的问题,
每当有用户观看一次的时候,这个数字就加一
这里又引申出一个风控的问题,就是如果不加以控制的话,同一个用户就可以疯狂的刷新点击,
那么这个播放量就会被恶意刷高了,所以肯定要做风控的

考虑并发量、性能的解决方案:
抛开上面说的风控模型,单纯从技术上这个播放量如何实现?
1、首先性能必须要好
2、尽量去保证一个高可用,你这个计数服务理论上是可以挂掉的,都是要有一个兜底值、默认值
3、不要求这个数字的绝对准确性,这个很重要,直接关系到我们后面整个系统的实现复杂度
4、对于这个数字的实时性要求不高,可能达到分钟级它能达到一个最终一致性,就够了

这个计数服务是非常通用的,所以我们可以单独抽象出来一个计数服务,
按照大厂的规模,高并发的场景,这个计数服务肯定是要集群部署的
这样就可以让这个服务能够单独去熔断、限流、降级,服务治理,扩容缩容弹性都会好很多

先在本地内存使用 map concurrenthashmap 把大量的写请求缓存起来,
key 是 视频 id,value 是 增量的播放数

使用定时任务周期性的将本地内存中的数据刷新到 Redis 中去,
这本身是一个异步化的实际,
然后刷新到 Redis 之后,再通过一个定时任务将 Redis 中的数据持久化到 MySQL 中

这么做了之后呢,db 的压力可以做的非常低
再具体一点说,读压力,读取视频的播放量,可以直接从 Redis 缓存中读取,甚至可以考虑给 kv 不设置过期时间,这样这不会有缓存击穿、穿透的问题了
写压力,更新视频的播放量,使用异步 + 批量合并的思想,先将大量的更新写请求在本地内存中合并起来,然后在周期性的去写库,大大降低了数据库的压力

再来讲一下极端的场景
1、我写了本地内存,这个机器宕机了,怎么办?
2、数据写入 Redis,Redis 挂了,怎么办?
3、xxx

我们假设一下这些极端场景发生了,那么结果也无非有一些计数没有计算上去,丢失了。
这对业务影响很大吗?并没有对吧。

关于数据的实时性,就看定时任务的周期、产品提的需求、视频的热度、节点的可靠性

所以我认为这么实现,是一个成本比较低、又能满足业务需求的一个解决方案

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/23354.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vue 组件之间的通信

在 Vue.js 中,组件是构建应用程序的基本单位。然而,当你的应用程序变得复杂时,组件之间的通信变得至关重要。本文将介绍几种 Vue 组件之间通信的方式,帮助你更好地管理和组织代码。 父子组件通信 父组件可以通过 props 向子组件传…

离线下载安装TTS的步骤

要离线下载安装 TTS 模块,需要先在有网络的环境下下载所有所需的依赖项,然后将这些文件转移到目标环境中进行安装。以下是具体步骤: 步骤 1:在有网络的环境下下载依赖项 创建一个目录来存放下载的包: mkdir TTS_deps下…

在线标注流程

文章目录 在线标注流程标注方法 在线标注流程 登录地址:http://7a27c5e078f644a2a9b734603913c65e.login.bce.baidu.com 出现页面: 登录名: 三个中任意一个 密码:ZNSJ123a 登录之后叉掉。再打开这个网站:https://…

【ZYNQ】CPU 私有定时器

Zynq 的每个 Cortex-A9 处理器都有自己的专用 32 位定时器和 32 位看门狗定时器,两个处理器共享一个全局 64 位定时器,这些计时器的时钟频率始终为 CPU 频率的 1/2。本文主要介绍 Zynq 芯片 CPU 私有定时器的工作特性,以及私有定时器的基本使…

selenium中,如何使用选择框

html5 一个多选下拉框&#xff0c;没有默认选 一个单选下拉狂&#xff0c;默认“张桐桐” <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>选择框</title> </head> <body><l…

我是大学生,应该选系统运维方向,还是web开发方向?

选择系统运维方向还是Web开发方向取决于你的兴趣、职业目标和个人技能。以下是对这两个方向的详细对比和建议&#xff0c;帮助你做出更明智的选择 双方比较 &#x1f926;‍♀️系统运维方向 优点&#xff1a; 稳定性&#xff1a;系统运维工作通常比较稳定&#xff0c;许多…

【Power Compiler手册】5.Verilog翻转活动示例

Verilog切换活动示例 以下示例展示了使用Verilog进行RTL(寄存器传输级)和门级描述时生成的切换活动数据。 RTL示例 这个Verilog RTL示例包括以下内容: RTL设计描述:定义了电路的功能和行为,但不涉及具体的门级实现细节。RTL测试台(testbench):用于仿真和测试RTL设计…

【问题复盘】第三方接口变慢导致服务崩溃

一、事件经过 -1、一个不在公司的下午&#xff0c;接到客户投诉&#xff0c;说平台不能访问了。 0、介入调查&#xff0c;发现服务器http请求无法访问&#xff0c;https请求却可以正常访问&#xff0c;一时有些无法理解&#xff1b;&#xff08;后来发现&#xff0c;http和htt…

在gateway网关中使用feign远程调用

由于 gateway 采用 spring-boot-starter-webflux 异步的 web 组件&#xff0c;该组件和 spring-boot-starter-web 有较大区别&#xff0c;我们的 openFeign 对 spring-boot-starter-web 比较契合&#xff0c;而对于 前者则需要做一些适配。 编写如下配置类 SpringBootConfigur…

网络编程(八)

网络编程&#xff08;八&#xff09; 数据库数据库的分类基于嵌入式的数据库什么是SQLite?为什么使用SQLite?sqlite3数据库的安装 sqlite3中的点命令.open 数据库文件名字.tables [数据库文件名].schema 表名.database.quit.head on.mode column SQLite数据库中的数据类型SQL…

《混凝土坝安全监测资料整编规程》的深入解读与实际应用

在水利工程中&#xff0c;混凝土坝作为重要的建筑物&#xff0c;其安全监测工作至关重要。为了确保监测工作的准确性和有效性&#xff0c;制定一套规范的混凝土坝安全监测资料整编规程显得尤为重要。本文将对《混凝土坝安全监测资料整编规程》进行深入解读&#xff0c;并探讨其…

泛型基础及深入

泛型深入 泛型定义&#xff1a; JDK5引入的特性&#xff0c;可以在编译阶段约束操作的数据类型&#xff0c;并进行检查 泛型格式&#xff1a; <数据类型> 注意&#xff1a;泛型只能支持引用数据类型 优势&#xff1a; 统一数据类型&#xff1b; 把运行时期的问题提前到…

Linux中 .PHONY 和 all 在 Makefile 中的作用

1 .PHONY 和 all .PHONY 是 GNU make 工具中的一个特殊指令&#xff0c;用于指示某个目标是一个伪目标。伪目标并不对应于实际的文件&#xff0c;而是用来执行一系列命令的标识符。使用 .PHONY 的好处包括避免与现有文件同名造成的冲突&#xff0c;以及提高 make 的执行效率&am…

快速排序(Quick Sort)(C语言) 超详细解析!!!

生活的本质是什么呢? 无非就是你要什么就不给你什么. 而生活的智慧是什么呢? 是给你什么就用好什么. ---马斯克 索引 一. 前言二. 快速排序的概念三. 快速排序的实现1. hoare2. 挖坑法3. 前后指针法 总结 正文开始 一. 前言 接上文, 前面我们了解了插入排序, 与优化版本希尔…

ROS IMU惯性测量单元消息包

ROS IMU惯性测量单元消息包 IMU工作原理与作用 IMU&#xff08;Inertial Measurement Unit&#xff0c;惯性测量单元&#xff09;是一种重要的传感器&#xff0c;用于测量和报告一个物体的特定物理量&#xff0c;包括加速度、角速度和&#xff08;在某些情况下&#xff09;磁…

100道面试必会算法-31-字母异位词分组

100道面试必会算法-31-字母异位词分组 给你一个字符串数组&#xff0c;请你将 字母异位词 组合在一起。可以按任意顺序返回结果列表。 字母异位词 是由重新排列源单词的所有字母得到的一个新单词。 示例 1: 输入: strs ["eat", "tea", "tan"…

HQL面试题练习 —— 向用户推荐好友喜欢的音乐

目录 1 题目2 建表语句3 题解 题目来源&#xff1a;腾讯。 1 题目 现有三张表分别为&#xff1a; 用户关注表 t_follow(user_id,follower_id)记录用户ID及其关注的人ID&#xff0c;请给用户1 推荐他关注的用户喜欢的音乐名称 ------------------------ | user_id | follower…

六月可以闭眼入的宠物空气净化器:希喂、安德迈、霍尼韦尔真实PK

俗话说得好&#xff0c;猫咪一年到头都在掉毛&#xff0c;仿佛它们是四季常在的"蒲公英"&#xff0c;随时随地都在播撒毛发。猫毛不仅遍布它们自己的身体&#xff0c;还可能飘到你的床铺、沙发、衣物上……面对这样的状况&#xff0c;既要应对无处不在的猫毛&#xf…

基于卷积神经网络(CNN)的垃圾分类模型研究

摘要&#xff1a; 随着城市化进程的加快&#xff0c;垃圾问题日益严重。传统的垃圾分类方法存在效率低下、准确率不高等问题。本文提出了一种基于卷积神经网络&#xff08;CNN&#xff09;的垃圾分类模型&#xff0c;该模型能够自动识别并分类不同类型的垃圾。实验表明&#xf…

Kruskal算法求最小生成树

#include <stdio.h> #include <stdlib.h> #include <string.h> #include <assert.h> #define MAX 100 #define NO INT_MAX//NO表示没有边&#xff0c;相当于INFtypedef struct Graph {int arcnum;int vexnum;char vextex[MAX][20];int martrix[MAX][MA…