数云:PolarDB助力数云轻松应对双十一

公司介绍

我们杭州数云信息技术有限公司成立于2011年,伴随着电子商务、大数据应用和零售企业互联网化的趋势快速发展,目前已成为国内领先的数据化营销软件产品和服务提供商。我们致力于为消费品牌和零售品牌商提供整合软件产品、数据模型和专业服务的一站式数据化营销解决方案。

我们以软件产品为主线,以营销效果为导向,帮助企业深度挖掘大数据价值,持续构建自身的核心竞争优势。实现了以全渠道客户数据管理平台为基础,以CRM(客户关系管理)和BI(商业智能)为核心应用,并渗透到全渠道数据化营销、销售和服务各个接触点的价值闭环。我们的数据化营销管理软件支持公共云SaaS和专有云独立部署模式。

业务痛点

双十一当数云订单量超4亿,我们当时只有部分数据服务的功能已迁云,对其他业务产品进行查询,对流式计算的查询,过完双十一开始正式迁移更多功能流量,急需解决以下问题:

  • 有大促需求,在618/双十一等大促期间希望能快速(分钟级)弹升实例的规格和IOPS能力。
  • 涉及商家数据一致性读取,希望读写数据库的读节点延迟小,有较大的读写比,希望能够快速增加读节点。
  • 单机存储瓶颈,传统数据库单个实例只能存3T数据,单实例业务数据量大,维护成本高,代码配置复杂。
  • 高并发写诉求,对高并发状态下的写能力有较高要求。

解决方案

数云技术架构架构方案如下:

  • 安全接入:DDos高防IP产品用于保障服务器安全,并通过CDN产品实现访问加速。
  • 业务部署:通过SLB将流量均发至多个Nginx服务器集群,同时配备CRM Web服务器集群。
  • 数据存储:存储产品选用高性能、稳定的对象存储OSS;通过RDS、PolarDB、MongoDB和Redis进行业务数据处理,并配合MySQL和RDS进行数据ETL和精简化存储。

其中,主要通过PolarDB产品解决业务迁云中遇到的痛点问题:

  • PolarDB在大促期间可以在20分钟内完成10TB级数据的集群升配,具备快速弹升IOPS的能力。
  • PolarDB主节点和读节点之间采用物理复制的方式,读节点与主节点延迟大大低于普通的MySQL数据库,能满足对读节点的延迟要求;同时新增读节点,5-8分钟可以完成,保证能快速提升集群的读能力。
  • PolarDB采用共享存储架构,存储和计算分离,能够最大程度的提供单实例的存储能力,最大可达100TB,对于历史数据存储,海量在线数据存储都有较好的适配能力,降低代码复杂度和维护成本。
  • PolarDB通过引擎的优化和超强的IOPS能力提供高并发状态下的超强写能力,32个并发以上,OLTP写能力能达到普通MySQL的2-3倍。

上云价值

  • 天猫聚石塔商家,在双十一等业务大促时,需要对数据库计算能力(CPU、内存、IOPS)和存储量做临时升配,我们使用传统的MySQL数据库的时候,数据库升配时间会随着存储量的大小、宿主机资源的情况而不断上升,最大的实例可能升配要6-8个小时,当实例数多的时候,升配时间长、升配带来的运维成本高、由于资源冲突导致升配失败可能性增加,PolarDB提供节点升配10-20分钟、增加节点5-8分钟等高弹性能力,解决客户大促期间升配的痛点,是客户选择PolarDB的最重要原因。
  • 我们数云业务是天猫CRM系统提供商,数据库的部署模式是多租户部署,即每个实例上会部署一个或多个我们客户的数据,因此我们使用的数据库实例数据量都比较大,较大的实例一般是2T-3T,约有上百个实例来满足该业务需求,数据库连接使用比较复杂、管理成本较高,也存在单实例存储瓶颈需要做数据迁移,PolarDB的共享存储,解决了我们这三个痛点。
  • 我们多租户的数据库部署模式对单实例数据库的写能力有较高要求,PolarDB的高并发写能力远超过传统MySQL,解决了我们高并发写入的瓶颈问题。

证言

“通过PolarDB的高弹性能力,我们在双十一之前一两天做弹性升级,在双十一结束后弹性降配,满足数据库计算能力的分钟级弹性,在解决了我们大促弹升需求的同时,也帮我们节约了数据库的成本。同时由于业务数据量较大,单个实例需要较大的数据存储量,传统的单机数据库无法满足,PolarDB的存储计算分离能力帮我们解决了这个困扰我们很久的问题。双十一期间PolarDB的IOPS能力很稳定,连接数使用到当前规格的一半,还可以再承载更大的压力。”— 数云资深技术总监

相关产品

  • 云数据库PolarDB

    PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库,目前兼容三种数据库引擎:MySQL、PostgreSQL、高度兼容Oracle语法。

    更多关于云数据库PolarDB的介绍,参见云数据库PolarDB产品详情页。

  • 云服务器ECS

    云服务器(Elastic Compute Service,简称ECS)是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS(Infrastructure as a Service)级别云计算服务。云服务器ECS免去了您采购IT硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器,实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器,解决多种业务需求,助力您的业务发展。

    更多关于云服务器ECS的介绍,参见云服务器ECS产品详情页。

  • 负载均衡SLB

    负载均衡(Server Load Balancer)是将访问流量根据转发策略分发到后端多台云服务器(ECS实例)的流量分发控制服务。负载均衡扩展了应用的服务能力,增强了应用的可用性。

    更多关于负载均衡SLB的介绍,参见负载均衡产品详情页。

  • 内容分发网络CDN

    阿里云内容分发网络(Content Delivery Network,简称CDN)是建立并覆盖在承载网之上,由分布在不同区域的边缘节点服务器群组成的分布式网络。阿里云CDN分担源站压力,避免网络拥塞,确保在不同区域、不同场景下加速网站内容的分发,提高资源访问速度。

    更多关于内容分发网络CDN的介绍,参见内容分发网络产品详情页。

  • DDoS高防IP

    DDoS高防IP是针对互联网服务器(包括非阿里云主机)在遭受大流量DDoS攻击后导致服务不可用的情况下,推出的付费服务,用户可通过配置高防IP,将攻击流量引流到高防IP,确保源站的稳定可靠。

    更多关于DDoS高防IP的介绍,参见DDoS高防IP产品详情页。

  • 云数据库RDS

    阿里云关系型数据库(Relational Database Service,简称RDS)是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和SSD盘高性能存储,RDS支持MySQL、SQL Server、PostgreSQL、PPAS(Postgre Plus Advanced Server,高度兼容Oracle数据库)和MariaDB TX引擎,并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。

    更多关于云数据库RDS的介绍,参见云数据库RDS产品文档。

  • 云数据库 Redis 版

    阿里云数据库Redis版是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务,基于高可靠双机热备架构及可平滑扩展的集群架构,可充分满足高吞吐、低延迟及弹性变配的业务需求。

    更多关于云数据库 Redis 版的介绍,参见云数据库 Redis 版产品详情页。

  • 对象存储OSS

    阿里云对象存储服务(Object Storage Service,简称 OSS),是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于 99.9999999999%(12 个 9),服务设计可用性(或业务连续性)不低于 99.995%。

    更多关于对象存储OSS的介绍,参见对象存储OSS产品详情页。

原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/516575.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

点触科技:构建实时计算和数据仓库解决方案

公司介绍 厦门点触科技股份有限公司,新三板挂牌企业(股票代码:870702),成立于2013年,是一家以历史养成类游戏研发与发行为主,专业从事手机游戏的策划、研发制作、商业化运营的创新型发展公司。…

定位云原生数据中台,「智领云」获数千万元A轮融资

来源 | 智领云科技据消息,「智领云」获金沙江联合资本领投,线性资本跟投的数千万元A轮融资。本轮融资将主要用于市场拓展和产品线完善。此前,智领云在2019年5月获得线性资本千万级人民币Pre-A轮融资。智领云成立于2016年,是一家数…

docker elasticsearch:7.14.2

参考文档 hub.docker文档:https://hub.docker.com/_/elasticsearch # 说明:容器中生成索引数据存储位置为:/usr/share/elasticsearch/data运行es容器 docker run \ -d \ --name es-temp \ -e "discovery.typesingle-node" \ -p 9…

Vue3 --- 使用vue-element-admin

1.下载 vue-element-admin,并启动 官方:https://github.com/PanJiaChen/vue-element-admin 2. 安装依赖 npm install 3. 启动 npm run dev 安装过程有些慢,别急!

写给大家看的“不负责任” K8s 入门文档

作者 | 邓青琳(轻零) 阿里巴巴技术专家 导读:本文转载自阿里巴巴技术专家邓青琳(轻零)在内部的分享,他从阿里云控制台团队转岗到 ECI 研发团队(Serverless Kubernetes 背后的实现基石),从零开…

腾讯智慧交通战略重磅升级 打造以人为中心的未来交通

在新基建加速布局下,智慧交通正在成为新基建的主力军,不仅可以助力新基建与传统基建融合,还将推动智慧城市建设,推动我国实现“交通大国”向“交通强国”的升级。9月10日,腾讯全球数字生态大会智慧交通分论坛云上召开&…

docker kibana:7.14.2

运行容器 docker run \ -d \ --name kibana \ -e "ELASTICSEARCH_HOSTShttp://192.168.92.129:9200" \ -p 5601:5601 \ kibana:7.14.2ik分词 # 测试ik分词器,只能分词法 GET _analyze?pretty {"analyzer": "ik_smart","text": "…

GitHub 标星 11000+,阿里开源微服务如何连续 10 年扛住双十一大促

云栖号资讯:【点击查看更多行业资讯】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 作者 | 宿何,阿里云高级开发工程师 责编 | 唐小引 封图 | CSDN 下载自东方 IC 出品 | CSDN(ID&#x…

Vue3 --- Vite快速创建Vue项目

npm 命令 npm init vite-app 项目名称

轻松构建基于 Serverless 架构的弹性高可用音视频处理系统

作者 | 罗松(西流) 阿里巴巴技术专家 本文整理自架构师成长系列 2 月 12 日直播课程。 关注“阿里巴巴云原生”公众号,回复 “212”,即可获取对应直播回放链接及 PPT 下载链接。 前言 随着计算机技术和 Internet 的日新月异,视频点播技…

亚马逊云服务(AWS)中国与毕马威中国建立战略合作伙伴关系

2020年9月10日,亚马逊通技术服务(北京)有限公司(AWS中国)与毕马威企业咨询(中国)有限公司(毕马威中国)宣布已签署战略合作协议。 双方将充分利用各自的全球品牌影响力和资…

Vue3 --- vue-router4 编程导航

需求:简单实现登录页,点击登录按钮调转指定的页面 1. import { useRouter } from vue-router // 页面引入路由 2. setup(){ const router useRouter() // 定义路由 const login () >{ //点击登录按钮 router.push(/home) // 实现路由调…

学不动?Apache Member 教你评估实用技术的思路

导读:笔者从 2008 年开始工作到现在也有 11 个年头了,一路走来都在和数据打交道,做过很多大数据底层框架内核的开发 ( Hadoop,Pig,Tez,Spark,Livy ),现在是多个 Apache 项目的 PMC。…

docker sonarqube:7.7-community

创建挂载目录权限 mkdir /app/sonarqube/logs /app/sonarqube/conf /app/sonarqube/data /app/sonarqube/extensions -p chmod -R 777 /app/sonarqube/运行容器 docker run -d --name sonar -p 9090:9000 \-e ALLOW_EMPTY_PASSWORDyes \-e SONARQUBE_DATABASE_USERroot \-e S…

linux异步IO的几种方法及重点案例

异步IO的方法 在Linux下,有几种常见的异步I/O(Asynchronous I/O)机制可供选择。以下是其中一些主要的异步I/O机制: POSIX AIO(Asynchronous I/O):POSIX AIO是一种标准的异步I/O机制&#xff0c…

AI赋能案例—阿里云身份证OCR识别助力实现“无接触”式政务服务!

2020年初的这场疫情,是一场对突发性公共卫生事件应急处置的大考,也是对数字政务体系能力的检验。在保证不影响办事效率的情况,如何减少人员的接触是政务场景下的“防疫”关键!日前由一窗(北京)互联网科技研…

Vue项目 --- JSJDK微信分享朋友和朋友圈功能

1. 在Vue项目index.html引入官方js https://res.wx.qq.com/open/js/jweixin-1.4.0.js 2. src下新建文件夹 weixin/wxjdk.js,代码如下 import axios from axios export default { wxShowMenu: function() { let url location.href; //获取当前页面地址 axios.g…

Hive 终于等来了 Flink

Apache Spark 什么时候开始支持集成 Hive 功能?笔者相信只要使用过 Spark 的读者,应该都会说这是很久以前的事情了。 那 Apache Flink 什么时候支持与 Hive 的集成呢?读者可能有些疑惑,还没有支持吧,没用过&#xff1…

AWS拓展中国合作伙伴生态 加速企业数字化转型进程

在2020年9月9日举办的AWS合作伙伴峰会2020上,亚马逊云服务(AWS)宣布将携手APN合作伙伴进一步拓展中国合作伙伴生态,以更好地服务客户的数字化转型和数字创新需求。AWS宣布与毕马威、神州数码分别达成战略合作关系,结合…

docker nexus3

创建挂载目录赋予权限 mkdir -p /app/nexus3/nexus-data chmod 777 /app/nexus3/nexus-data运行容器 docker run -id \--privilegedtrue \--namenexus3 \--restartalways \-p 8085:8081 \-v /app/nexus3/nexus-data:/nexus-data \sonatype/nexus3