钉钉轻松顶住信息洪流的原因,竟然是它

简介: 在9月18日云栖大会上,阿里云智能高级技术专家木洛就为我们详细介绍了,表格存储Tablestore是如何助力钉钉消息存储架构的升级,帮助钉钉顶住持续增长的流量。

今年的疫情来势汹汹,新冠病毒作为2020最具代表性的黑天鹅事件,虽然引起了一系列不良的连锁反应,但是却让“停工不停业、停课不停学”成为了疫情时期的刚需。
在疫情期间钉钉下载量激增,直冲各大应用商城下载量榜首,同时在线人数最多达到了2亿人。即使现在各行业已经正常复工,但钉钉的下载与使用量仍保持一个高速的提升,截至目前为止已有3亿的用户和1500w的企业组织在上面进行工作和学习。

但在这飞速发展的背后,对于技术也自然提出了更高的要求,尤其IM作为钉钉的核心功能,随着用户应用的不断深入,因此在业务和系统上也迎来了更大的机遇和挑战。
wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

在9月18日云栖大会上,阿里云智能高级技术专家木洛就为我们详细介绍了,表格存储Tablestore是如何助力钉钉消息存储架构的升级,帮助钉钉顶住持续增长的流量。

钉钉IM消息存储面临的业务挑战
1、用户对于产品的品质要求越来越高。在功能上,要求场景化、定制化;在体验上,需要多设备状态同步,历史消息漫游。另外,为了满足一些大型企业的沟通需求,还需要支持人数超过万人的大群。这些要求,都是一个企业级IM必须能够满足的。
2、疫情过后,钉钉IM系统规模快速扩大,日均消息突破千亿,高峰期消息发送TPS超过千万,消息的存储大小更是突破1个P,系统的水平扩展性和成本控制已经成为了目前的核心需要解决的问题。
3、企业经常会面临一些大规模复杂场景下的业务,如何能在这种情况下提供全年99.995%可用性,也是我们需要攻克的重要课题。

1.png

什么是表格存储
表格存储 Tablestore是提供集存储、搜索和分析多功能一体的一站式结构化数据存储平台,覆盖物联网和互联网下的多场景应用。表格存储TableStore采用与Google Bigtable类似的宽表模型,天然的分布式架构,能支撑高吞吐的数据写入以及PB级数据存储。同时其简单可靠的数据模型和架构,帮助企业数据在存储和计算系统之间自然地流转。

2.png

表格存储如何帮助钉钉实现升级
钉钉整个消息系统架构可以分为三层,分别是:消息端、接入层以及消息系统。在一个完整的信息流写入过程中,消息首先会从端发送到接入服务器,接入层将消息投递到消息系统后,消息系统会通过一个MQ(消息队列)来对消息进行异步处理,最后则会有一组消息处理服务器来处理消息。
而在消息处理阶段,又能分为存储、同步和通知三个步骤。首先系统会将消息持久化存储到存储库内以支持消息漫游,之后再通过写扩散或者读扩散的方式写入同步库内,最后消息索引库会异步地对消息存储库内的消息进行全文索引以支持消息在线检索。
这个架构下存储层的核心是三个库,也就是存储库、同步库和索引库。存储库存储全量消息,根据数据的冷热进行分层存储。同步库支持消息读写扩散写入,支持多端多位点实时拉取消息。索引库对消息及元数据进行索引,支持模糊查询以及消息全文检索。

3.png

而表格存储Tablestore之所以能承担了这三个库的存储,核心优势是:
一,表格存储Tablestore设计实现了Timeline模型,是专为IM/Feeds场景设计,可简化模型抽象和开发。
二,表格存储Tablestore单表能支持海量数据规模存储,冷热分层,支撑消息场景下PB级、万亿行规模低成本存储。
三,表格存储Tablestore分布式存储计算分离架构,可支撑每秒千万TPS扩散消息写,同时能达到毫秒级查询性能。
四,表格存储Tablestore具有Serverless服务形态,极致弹性,存储和计算按需扩容,满足低成本诉求。

达到的效果
在2020年,钉钉把原来的存储系统全量升级到表格存储TableStore,而表格存储Tablestore为钉钉提供了强大的建模能力和检索能力,高效地支撑复杂多样的业务功能实现。同时,其良好的水平拓展能力,也极好地满足了钉钉业务快速发展的需求。
另外,在成本控制上,表格存储Tablestore可根据IM的业务特性,实现冷热数据的分层存储以及弹性扩缩容能力,降低存储系统的运行成本,实现业务的可持续发展。

 

 

原文链接
本文为阿里云原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/515034.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

说到 SASE,新的安全范式有哪些

来源 | 好奇瞅瞅责编 | 寇雪芹头图 | 下载于视觉中国前言本系列目录:深入理解SASE(一):什么是云化深入理解SASE(二):网络云化及演进方向深入理解SASE(三):什么…

从零入门 Serverless | SAE 场景下,应用流量的负载均衡及路由策略配置实践

简介: 本节课程包含三部分内容:单应用的负载均衡配置、多应用的路由策略配置以及自建微服务网关。 作者 | 落语 阿里云云原生技术团队 本文整理自《Serverless 技术公开课》,“Serverless”公众号后台回复“入门”,获取 Serverle…

聚焦2020云栖大会 边缘计算专场畅谈技术应用创新

简介: 一年一度科技圈盛事—云栖大会如期上演,本届大会以“数智未来,全速重构”为主题,与业界同仁、合作伙伴共同打造了一场数字时代的云上相聚。于9月18日下午举办的边缘计算技术应用创新专场中,阿里云携手甘肃省公路…

springboot word aspose 转换PDF 在线预览

文章目录1. 依赖2. 工具类3. 实现类4. controller5. application.yml6. license.xml7. 目录结构8. 测试验证1. 依赖 <dependencies><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><version>1.1…

【数据湖加速篇】 —— 数据湖结构化数据优化与查询加速方案

简介&#xff1a; 近几年&#xff0c;数据湖架构的概念逐渐兴起&#xff0c;很多企业都在尝试构建数据湖。相比较大数据平台&#xff0c;数据湖在数据治理方面提出了更高的要求。对于数据湖场景所提出的新需求&#xff0c;“传统”的大数据工具在很多方面都面临着新的挑战。Jin…

Kubernetes 也有局限性吗?

作者 | Draveness来源 | 真没什么逻辑头图 | 下载于视觉中国2014 年发布的 Kubernetes 在今天俨然已成为容器编排领域的事实标准&#xff0c;相信谈到 Kubernetes 的开发者都会一再复述上述现象。如下图所示&#xff0c;今天的大多数个人或者团队都会选择 Kubernetes 管理容器&…

Kubernetes 新玩法:在 yaml 中编程

简介&#xff1a; 如何做性能测试&#xff1f;要么是通过编码的方式完成&#xff0c;写一堆脚本&#xff0c;用完即弃&#xff1b;要么是基于平台&#xff0c;在平台定义的流程中进行。对于后者&#xff0c;通常由于目标场景的复杂性&#xff0c;如部署特定的 workload、观测特…

对话猿辅导:阿里云远程办公零信任落地创新安全

简介&#xff1a; 大型实战场景验证&#xff0c;灵活应对复杂环境。 2020&#xff0c;一场突如其来的新冠疫情&#xff0c;引发了史上最大规模的远程办公。疫情让安全问题暴露得更加突出&#xff0c;与疫情的对抗也是阿里云安全的战场。 9月18日&#xff0c;2020云栖大会技术…

阿里云发布边缘计算视频上云解决方案 为海量视图处理提供城市级云基础设施

简介&#xff1a; 2020云栖大会在云上成功召开&#xff0c;此次大会汇聚行业领袖&#xff0c;共同见证数智未来的重构进程。在9月18日的产品发布大厅&#xff0c;阿里云正式发布边缘计算视频上云解决方案&#xff0c;旨在依托城市级云计算基础设施&#xff0c;实现海量视图数据…

数据湖元数据服务的实现和挑战

简介&#xff1a; 数据湖元数据服务为大数据而生&#xff0c;为互通生态而生&#xff0c;期望后续继续完善其服务能力和支撑更多的大数据引擎&#xff0c;通过开放的服务能力、存储能力、统一的权限及元数据管理能力&#xff0c;为客户节省管理/人力/存储等各项成本&#xff0c…

美国燃油“动脉”被黑客切断,网络安全走向哪里?专访山石网科|拟合

从无序中寻找踪迹&#xff0c;从眼前事探索未来。 > 2021 年正值黄金十年新开端&#xff0c;CSDN 以中立技术社区专业、客观的角度&#xff0c;深度探讨中国前沿 IT 技术演进&#xff0c;推出年度重磅企划栏目——「拟合」&#xff0c;通过对话企业技术高管大咖&#xff0c;…

云时代的智能运维平台,助力企业创新迭代

简介&#xff1a; 智能的运维平台&#xff0c;帮助企业业务平稳、智能、高效地运行。 每一起严重事故背后&#xff0c;必然有29次轻微事故和300起未遂先兆以及1000起事故隐患。—— 海恩法则(Heinrich‘s Law) 随着云计算时代的到来&#xff0c;大量企业将自己的业务逐步迁移…

数据湖架构,为什么需要“湖加速”?

简介&#xff1a; 湖加速即为数据湖加速&#xff0c;是指在数据湖架构中&#xff0c;为了统一支持各种计算&#xff0c;对数据湖存储提供适配支持&#xff0c;进行优化和缓存加速的中间层技术。那么为什么需要湖加速&#xff1f;数据湖如何实现“加速”&#xff1f;本文将从三个…

“阿里日”102 对新人举办集体婚礼,张勇证婚:“又热,又爱”!

整理 | 王晓曼出品 | 程序人生 &#xff08;ID&#xff1a;coder _life&#xff09;2021年5月10日&#xff0c;是第十七个“阿里日”&#xff0c;同时也是第十六次阿里巴巴举办员工集体婚礼。据悉&#xff0c;今年共有1541对新人报名集体婚礼&#xff0c;其中&#xff0c;双职工…

阿里巴巴电商搜索推荐实时数仓演进之路

简介&#xff1a; 自建实时数仓到底难在哪里&#xff1f;实时数仓应该怎么建&#xff1f;阿里巴巴搜索团队告诉您答案 作者&#xff1a;张照亮&#xff08;士恒&#xff09;阿里巴巴搜索事业部高级技术专家 1. 业务背景 阿里巴巴电商搜索推荐实时数据仓库承载了阿里巴巴集团…

多数据源一站式入湖

简介&#xff1a; 通过一站式入湖&#xff0c;将不同数据源的数据统一归并到以OSS对象存储为基础架构的集中式数据湖存储中&#xff0c;解决了企业面临的数据孤岛问题&#xff0c;为统一的数据分析打好了基础. 背景 数据湖作为一个集中化的数据存储仓库&#xff0c;支持的数据…

一文说透架构设计的本质

作者 | 猿码架构来源 | 云时代架构头图 | 下载于视觉中国前言&#xff1a;在软件研发领域&#xff0c;程序员的终极目标都是想成为一名合格的架构师。然而梦想很美好&#xff0c;但现实却很曲折。在实际工作中&#xff0c;程序员会分很多种&#xff0c;有的擅长编码实现&#x…

“视频云营业厅”发布,蚂蚁 mPaaS 加速金融机构数字化转型

简介&#xff1a; 线下业务线上办&#xff0c;便民服务不间断 在业务和数据争相“上云”的今天&#xff0c;更多金融机构加速数字化转型进程&#xff0c;将原有的人对人、线下、柜面核心业务进一步线上化&#xff0c;扩充全新的业务触点&#xff0c;开启远程业务办理的新模式。…

被Python「苦虐」的日子太惨了!

Python因为其优越的特性广泛应用于数据分析、人工智能、Web开发、后端开发、自动化测试/运维、爬虫等领域&#xff0c;也得到了很多企业的青睐。甚至连BATZJ的技术大牛&#xff0c;都无可否认Python现在对于一个程序员发展的重要性&#xff01;最近一两年&#xff0c;我身边也有…

阿里云肖力:原生安全打造云上绿洲

2020年9月17日-18日&#xff0c;一年一度的云栖大会在云上如约而至。疫情加速数字化转型大背景之下&#xff0c;云原生以一种高能见度为各行业带来了一个更动态多变、更具效率和生命力的架构。云原生安全具有什么优势&#xff0c;能否解决线下业务场景的安全困局&#xff1f;作…