QQ五毛项目记

问题与挑战:某公司为了实现某马总造福全人类,红旗插遍全球的宏伟目标,为应对后续用户激增的问题。特别安排了一次针对全体用户的秒杀活动:于XXXX年XX月XX日XX时XX分XX秒开始的秒杀五毛钱一百个QQ币的活动。每个账户仅限一次,总数1000万个。公司董事会经过有关人员书面提议,大家集体开会讨论,经过慎重决策,确定该项目正式立项,成立项目管理委员会,开始项目招标流程。我们成功中标该项目。在相关项目合作手续办理完成以后,我们成立了QQApp五毛专用版项目组。

立项之初,我们分析了项目特点,认识到项目建设难度大。由于业主方是一个广受欢迎的社交大厂,可以预见到QQApp五毛专用版一旦发布,巨大的用户群体会引来海量用户注册、登录、秒杀,享受各种服务,包括不限于网上商城,QQ空间,QQ游戏,QQ博客等。因此甲方公司对于整体系统性能要求极高。我们必须在架构设计时保持严谨、正确、科学的设计方法,才能对项目的功能和质量目标起到保障作用。因此我们决定运用分布式存储,微服务,负载均衡,DNS等多种分布式架构理论及设计方法,结合分层设计的架构思想,力争实现业主方提出的1000万最大并发用户、3000万tps、延时最高不超过500ms的秒杀场景的质量需求。下文将从系统分层的角度,详述在该项目中如何实施分布式架构方法。

一、分布式存储

由于存储层的各项性能指标将决定整个系统的性能,因此存储层的架构设计至关重要。本项目对分布式存储数据进行了分区,分区方式有水平分区和垂直分区两种。本项目对分布式存储数据进行了分区,分区方式有水平分区和垂直分区两种。水平分区是按照一定的分布策略,将数据分布到不同的节点(库,表等)去存储,常见的策略有范围分区、列表分区(枚举分区)、hash分区。垂直分区是按照业务字段进行分类并拆分表格,分布存储到不同的节点。采用分区方案后,针对本项目读多写少,我们对每个存储节点设计成“主从集群”方式实现“读写分离”和数据的“多节点备份”。这样的设计方案适用于性能要求较高的大规模存储系统,既提升了系统的整体并发性、数据存储的高可靠性,又保证了数据的可靠性。

在该项目中,3000万tps的订单数量数据要高效地、可靠地保存到数据库,只靠单点集中式数据库是无法实现的。业务方要求性能的同时,也对存储服务的可用性、数据存储的可靠性提出了需求,例如可用性要达到99.9999%,数据丢失率要小于0.00001%,因此分布式存储的架构方案是该项目的不二之选。我们采取的措施如下:

(1)确定基础技术的选型。我们选用MySQL开源数据库作为基础构件,来搭建分区的每个节点。在每个节点使用两个MySQL组成“主从复制集群”,通过MySQL的复制,保证两者数据的一致性。当主库出现问题时,自动化执行“主从切换”,升级从库为主库,继续提供数据读写服务,保证两者数据的一致性。当主库出现问题时,自动化执行“主从切换”,升级从库为主库,继续提供数据读写服务,保证可用性。

(2)确定分区策略。为了确保数据存储的均匀性,采用了hash的分布策略。对每一个订单的关键信息进行hash运算,并对节点数进行取模后,得到该订单应该归属的存储节点。

(3)确定分区数量。经过负载测试,我们得到每个存储节点上的MySQL主从集群在16核32G内存500G普通SSD磁盘的配置下,在可接受的延时范围内,能够达到3万的tps的性能指标。因此我们决定用1000个分区节点来达到3000万tps指标。

(4)确定透明性等级。为了让应用层更方面的访问数据库,我们选用了Sharing Proxy数据库代理构件,向应用层屏蔽了存储层的细节,达到了“分片透明性”登记。这样应用层访问分布式数据库时,就像访问单点数据库一样简单。

在落实这些策略以后,我们满足了客户所要求的数据存取性能指标,为整个系统的质量达标奠定了基础。

二、微服务化

“微服务化”主张将传统的单体应用拆分成一组小的服务,服务之间互相协作,实现务功能。每个服务运行在独立的进程中,采用轻量级的通信机制协作,保证了每个小服务的封装性、可重用性、易维护性、易扩展性,用以解决业务的复杂性问题。拆解出来的多个小服务有利于实现系统的高并发、高性能、高可用性。

应用层架构需要满足业主方提出的最大1000万并发用户指标。因此我们采用了微服务设计方案,微服务能提供服务的弹性扩展能力,以及并发的扩展能力。业务上我们选用Java的Spring框架,来实现面向用户的业务服务,把电子商城的订单、支付、防伪、溯源,封装成Web Service。在3000万tps的模拟用户压力测试下,不断调整和优化微服务的数量,让应用层的整体资源使用率保持在75%左右,由此确定了各业务微服务的集群数量。

三、负载均衡

通常接入层都会有一个Web服务器,它首先接受客户端的请求,然后将请求传递给应用层的某台服务器去处理。此时它就充当了“负载均衡”功能,决定如何选取应用服务器。

常见的负载均衡策略有轮询法、随机法、源地址哈希法等静态策略,还有最小连接数法、最快响应速度法动态策略。它对于整个系统的分布式架构具有”导流”的作用,也可以提供”限流””熔断”等高级负载均衡策略。

本项目中,应用层拥有庞大的应用层服务器,需要在接入层选用高性能的Web服务器,来充当负载均衡器。经过仔细研究分析和调研,我们最终选择了Nginx来担当Web服务器,并选取了最小连接数法作为负载均衡策略。这可以让每个应用层服务器获取平均网络连接数,使得每个服务的响应用户数基本相等,从而尽可能地提高应用层服务器的利用效率。

在该项目中,由于有秒杀业务压测的场景,所以为了避免单机房的流量瓶颈,更靠近用户来提供服务。由此,我们采用了建设多机房的方案,我们在北京,上海,武汉,深圳,贵阳五地建设了5个机房,分别服务华北、华东、华中、华南、华西的用户。每个机房都有两个接入IP,全部绑定同一个域名。DNS会将域名解析为离访问用户最近的IP地址,这样就可以把全国的用户按照地理位置分配给不同的机房,从而实现更高层面的”负载均衡”。

系统在测试过程中,我们使用漏扫工具发现不少的系统安全漏洞。因此,我们采取了一系列措施提升系统的安全性,例如采取支持HTTPS的传输协议,通过SSL链路实现数据防篡改、数据加密等功能。采用堡垒机监控平台的运维活动,审计所有的运维操作,实现操作系统、数据库、应用等日志统一采集和分析处理。同时充分将代码审查、漏洞扫描、渗透测试等安全检查工作贯穿于维护活动中。

得益于各层面分布式架构方案的综合实施,”QQ五毛”项目质量指标顺利达成。

问题:

1. 如何保障该项目的商业收益?拉新与留存的思考?最重要的3个点?思考过程?

2. 对于该设计您有什么好的想法?您认为最重要的3个点是什么?您是基于什么样的权衡层面来进行思考的,您的权衡过程是什么?

3. 如何保证每个人只能薅一次羊毛?

4. 这个系统的可靠性,安全性能有什么更好的方案,请详述最重要的3点,以及您是怎么思考的?

5. 后续业务的挑战与演化的方向,以及应对最重要的3个点是啥?

6. 马总,这个活动我们打算啥时候开展啊?2024年春节可以不?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/148346.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Stable Diffusion 启动时 got an unexpected keyword argument ‘socket_options‘ 错误解决

Stable Diffusion 启动时 got an unexpected keyword argument socket_options 错误解决 问题解决方法 问题 Launching Web UI with arguments: Traceback (most recent call last):File "launch.py", line 48, in <module>main()File "launch.py"…

HTTP Error 500.31 - Failed to load ASP.NET Core runtime

在winserver服务器上部署net6应用后&#xff0c;访问接口得到以下提示&#xff1a; 原因是因为没有安装net6的运行时和环境&#xff0c;我们可以在windows自带的 “事件查看器” 查看原因。 可以直接根据给出的地址去官网下载sdk环境&#xff0c;安装即可 下载对应的net版本…

CentOS Linux release 7.9.2009 (Core)中安装配置Tomcat

一、安装JDK 部分内容可以参考我这篇文章&#xff1a;Windows11与CentOS7下配置与检测JDK与Maven环境变量 中的 2.2 安装jdk-8u371-linux-x64.tar.gz和配置环境变量/etc/profile //1、安装redhat-lsb yum install -y redhat-lsb//2、查看系统版本信息 lsb_release -a //3、查…

结构体——C语言初阶

一.结构体的声明&#xff1a; &#xff08;1&#xff09;结构的基础知识&#xff1a; 结构体是一种构造数据类型把不同类型的数据组合成一个整体结构体是一些值的集合&#xff0c;这些值称为成员变量。结构的每个成员可以是不同类型的变量需要注意的是&#xff0c;结构体是一种…

【C++入门】拷贝构造运算符重载

目录 1. 拷贝构造函数 1.1 概念 1.2 特征 1.3 常用场景 2. 赋值运算符重载 2.1 运算符重载 2.2 特征 2.3 赋值运算符 前言 拷贝构造和运算符重载是面向对象编程中至关重要的部分&#xff0c;它们C编程中的一个核心领域&#xff0c;本期我详细的介绍拷贝构造和运算符重载。 1. …

Transformer中WordPiece/BPE等不同编码方式详解以及优缺点

❤️觉得内容不错的话&#xff0c;欢迎点赞收藏加关注&#x1f60a;&#x1f60a;&#x1f60a;&#xff0c;后续会继续输入更多优质内容❤️ &#x1f449;有问题欢迎大家加关注私戳或者评论&#xff08;包括但不限于NLP算法相关&#xff0c;linux学习相关&#xff0c;读研读博…

FPGA设计时序约束八、others类约束之Set_Case_Analysis

目录 一、序言 二、Set Case Analysis 2.1 基本概念 2.2 设置界面 2.3 命令语法 2.4 命令示例 三、工程示例 四、参考资料 一、序言 在Vivado的时序约束窗口中&#xff0c;存在一类特殊的约束&#xff0c;划分在others目录下&#xff0c;可用于设置忽略或修改默认的时序…

人工智能-深度学习之文本预处理

文本预处理 对于序列数据处理问题&#xff0c; 这样的数据存在许多种形式&#xff0c;文本是最常见例子之一。 例如&#xff0c;一篇文章可以被简单地看作一串单词序列&#xff0c;甚至是一串字符序列。 本节中&#xff0c;我们将解析文本的常见预处理步骤。 这些步骤通常包括…

Java 语言关键字有哪些

Java 语言关键字有哪些 分类关键字访问控制privateprotectedpublic类&#xff0c;方法和变量修饰符abstractclassextendsfinalimplementsinterfacenativenewstaticstrictfpsynchronizedtransientvolatileenum程序控制breakcontinuereturndowhileifelseforinstanceofswitchcase…

uniapp 微信小程序登录 新手专用 引入即可

预览 第一步导入插件 在引入的页面的登录按钮下拷贝一下代码 <template><view class"content"><button type"primary" click"login">微信登录</button></view><TC-WXlogin :wxloginwxlogin /> </templ…

05-Spring Boot工程中简化开发的方式Lombok和dev-tools

简化开发的方式Lombok和dev-tools Lombok常用注解 Lombok用标签方式代替构造器、getter/setter、toString()等重复代码, 在程序编译的时候自动生成这些代码 注解名功能NoArgsConstructor生成无参构造方法AllArgsConstructor生产含所有属性的有参构造方法,如果不希望含所有属…

[C/C++]数据结构 栈和队列()

一:栈 1.1 栈的概念及结构 栈是一种特殊的线性表,其只允许在固定的一端进行插入和删除元素操作,进行数据插入和删除操作的一端称为栈顶,另一端称为栈底,栈中的数据元素遵守先进后出的原则. 压栈:栈的插入操作叫做进栈/压栈/入栈,将数据插入栈顶 出栈:栈的删除操作也叫出…

【PTA题目】7-3 冰雹猜想。 分数 10

7-3 冰雹猜想。 分数 10 全屏浏览题目 切换布局 作者 赵静静 单位 浙江工贸职业技术学院 冰雹猜想的内容是&#xff1a;任何一个大于1的整数n&#xff0c;按照n为偶数则除等2&#xff0c;n为奇数则乘3后再加1的规则不断变化&#xff0c;最终都可以变化为1。 例如&#xff…

Redis新操作

1.Bitmaps 1.1概述 Bitmaps可以对位进行操作&#xff0c;实际上它就是一个字符串&#xff0c;可以将Bitmaps想象为一个以位为单位的数组&#xff0c;数组中的每个元素只能存储0或者1&#xff0c;数组的下标在Bitmaps被称为偏移量。 setbit key offset value&#xff1a;设置o…

游戏中的资源动态加载

动态加载的优势 游戏中的资源动态加载是指在游戏运行时根据需要加载和卸载资源的过程&#xff0c;而不是在游戏启动时一次性加载所有资源。这种方法对于管理大型游戏中的资源尤其重要。以下是动态加载的一些关键方面和优势&#xff1a; 1. 内存管理&#xff1a; 动态加载资源…

uni-app下,页面跳转后wacth持续监听的问题处理

uni-app下&#xff0c;页面跳转后wacth持续监听的问题处理 好久没写博客了&#xff0c;最近碰到了一个uni-app&#xff08;vue2&#xff09;开发小程序的问题&#xff0c;个人觉得很典型&#xff0c;所以拿出来给各位做个参考。 需求场景&#xff1a; 全局轮询用户权限。简单…

MIB 6.S081 System calls(1)using gdb

难度:easy In many cases, print statements will be sufficient to debug your kernel, but sometimes being able to single step through some assembly code or inspecting the variables on the stack is helpful. To learn more about how to run GDB and the common iss…

十二.Jenkins持续集成

十二.Jenkins持续集成 一.安装jenkins 1.下载 Jenkins下载地址&#xff1a;http://jenkins-ci.org/ 或 https://mirrors.jenkins-ci.org/redhat/2.安装 可以通过官网的安装方式来安装 安装完后&#xff0c;需要修改以下的配置 vim /usr/lib/systemd/system/jenkins.servic…

git常用命令和参数有哪些?【git看这一篇就够了】

文章目录 前言常用命令有哪些git速查表奉上常用参数后言 前言 hello world欢迎来到前端的新世界 &#x1f61c;当前文章系列专栏&#xff1a;git操作相关 &#x1f431;‍&#x1f453;博主在前端领域还有很多知识和技术需要掌握&#xff0c;正在不断努力填补技术短板。(如果出…

什么是AIGC

1 定义 "AIGC"代表“人工智能生成内容”&#xff08;Artificial Intelligence Generated Content&#xff09;&#xff0c;它指的是使用人工智能&#xff08;AI&#xff09;技术自动生成的内容&#xff0c;这些内容可以包括文本、图像、音乐、视频或其他多媒体形式。…