PolarDB 助力易仓打造跨境行业生态链协同的产业链 SaaS

2022年7月,易仓ECCANG WMS东南亚版正式上线!专为东南亚海外仓业务打造,帮助东南亚海外仓企业排忧解难,实现订单、仓库、人员、财务高效管理。易仓科技是头部的跨境行业SaaS服务商,其生态涵盖了300+工厂、100000+卖家、1700家仓储物流企业资源。与易仓携手共进的亿级卖家超过1000家,成长型卖家超过30000家。ECCANG ERP客户电商年度总流水超过3000亿元。

01 易仓跨境SaaS携手PolarDB

在传统的跨境电商运营过程中,跨境卖家经常会在多平台多店铺拉单发货处理,多海外仓库存同步,发货追踪,成本核算,广告投放方面等环节遇到很多痛点,因此针对这些环节的跨境SaaS公司也应运而生。通过打通“选品-采购-上架-推广-订单-客服-发货-财务”全链路,构建智能协同的跨境网络,大幅提升各环节运营效率,降低运营成本,持续帮助跨境卖家“降本增效”是易仓打出区分度的标志,帮助客户“降本增效”也是PolarDB一直坚持的理念。

相比于传统软件,跨境SaaS最大的特点是租户根据实际需要向厂商订购及支付费用,并通过互联网最终获得服务。资源层面一般采用多租户架构,特别是数据库服务,对多租户的资源复用能够有效降低开发和运维成本,实现持续快速的升级迭代。所以,在跨境电商行业,核心ERP系统的平稳高效运转是企业的生命线。如果出现故障,将直接导致订单交易中断,会影响到数百上千跨境电商企业,每一秒都意味着销售额和前期推广、人力、库存成本的巨大损失。

如今,易仓跨境ERP、运营管理等核心系统都用上了PolarDB MySQL。在数据库自治服务DAS的护航下,SQL洞察对SQL进行快速诊断分析,DBA在关键时刻只需看一眼可疑SQL,就能快速判断问题根因,并且获得合理的应急优化建议。而这仅仅是阿里云数据库智能化的一个小缩影。

02 勇创新:用技术创新驱动行业发展

易仓海外仓系统是一款专业的海外仓管理系统,凭借对仓储物流技术领域的持续研发创新,长期为跨境电商行业的众多仓储物流客户提供智能化综合解决方案。长期以来,易仓海外仓系统基于对这些客户仓储物流自动化需求的深入理解,凭借多项自主研发的核心技术及长期积累的丰富项目经验,已成功为全球多个知名仓储物流客户量身打造智能仓储物流数字化系统解决方案,有效的帮助客户实现了仓储物流环节的降本增效,并在业绩上取得了快速增长。目前,易仓海外仓系统拥有覆盖30多个国家的1700+海外仓实施经验。未来,易仓海外仓系统还将在不断破解难题中优化服务,为更多的跨境企业提供更加丰富实用的解决方案,成为值得信赖的跨境仓储物流合作伙伴,通过技术创新驱动跨境行业快速发展。

易仓坚持技术创新引领行业发展,这种追求跟PolarDB不谋而合。自2017年启动自研,采用存储计算分离、软硬一体化设计,成本仅为传统商业数据库的十分之一,经过5年努力,PolarDB如今实现的计算、内存与存储资源的“三层解耦”架构、多主多写、基于内存池化的HTAP、Serverless等功能已是全球首创或业内领先的技术。

03 智能化:数据库也懂跨境SaaS

多年来,ECCANG ERP坚定不移地为不同平台,和不同规模卖家实现长期经营价值保驾护航,深入理解客户的业务,致力打造一款更懂卖家的跨境SaaS ERP系统,持续提升卖家安全感。2021年系统更新迭代1960次,优化功能3736个。迄今为止,与易仓携手共进的亿级卖家超过1000家,成长型卖家超过30000家。ECCANG ERP客户电商年度总流水超过3000亿。

而深入理解客户的业务,致力打造更懂客户的数据库,也是PolarDB一直坚持的理念。PolarDB不断深入理解跨境SaaS行业,围绕着海量表支持,快速DDL+并发控制,大量端链接优化,计算快弹 + 存储按量付费等业务场景,提供了完美的解决方案。下面我们来分别做介绍。

3.1 SaaS场景海量表支持

针对易仓单PolarDB实例数百万表单场景,易仓运维团队联合PolarDB MySQL团队做了专项快速重启优化,单实例100万张表的重启时间提速到30 ~ 60s,200万张表可以控制在120秒内。重启时间大幅缩减到原来的1/10,大幅降低实例重启时的服务中断时间,保障易仓跨境SaaS服务可以提供高水平可用性。其次,针对易仓跨境SaaS海量表场景,热点表徒增的问题,使用PolarDB默认参数配置,往往不能同时满足性能和稳定的要求,需要部分核心参数进行了调优。下表是我们在实践过程中,形成的一个PolarDB参数配置最佳实践。

3.2 快速DDL+并发控制

在跨境SaaS多租户架构背景下,易仓数百小租户共享一个数据实例,按库分租户,每个库一套相同的表。由于业务快速发展,版本迭代变更快,经常要给表加索引,给表新增字段等操作,这种一般都是由系统自动批量下发数据库。官方MySQL的实现里,很多DDL操作都是有锁变更,DDL会对表加MDL锁,而且原生实现都是单线程串行执行,会长时间堵塞数据库影响业务运行,导致业务变更效率太低,耗时不可控。

PolarDB MySQL支持Parallel DDL,利用并行 scan/build index,和深度优化的并行merge sort,可以帮助客户大幅度提升加索引效率,将DDL的速度提升了10倍,极大的减小了发版变更对业务影响的时间窗口,进而减轻了运维团队的工作量。

在多租户架构下,虽然可能只能对一张表新增一个字段,但乘以租户数,DDL的数量动辄达到数百个,所以客户十分需要数据库支持快速DDL。上线PolarDB MySQL引擎后,现在可以秒级新增表字段,而且PolarDB即将推出秒级修改和删除字段的能力,在变更操作时只需修改表定义信息,无需修改底层数据,非常适合易仓这种按库分租户的SaaS场景。

在PolarDB实例负载过高的情况下,虽然PolarDB可以支持秒级加字段,但如果对数据库实例中所有库一起加字段或者做其它DDL操作,可能还是会堵塞实例的。基于PolarDB提供的语句并发控制CCL功能,可以控制语句的并发数,避免堵塞数据库。比如,系统一次下发300个alter表语句,可以通过CCL限制一次并发执行30个,分10次执行,这块可以保证不会阻塞数据库实例。

3.3 大量短连接优化

易仓应用开发语言主要是PHP,应用层面没有使用连接池,在数据库中会产生大量短连接。对每一个短连接,传统上MySQL都会创建一个独立的线程来响应请求。当MySQL数据库有大量的连接存在时,会出现频繁线程切换消耗CPU导致性能下降。同时大量的系统线程调度和缓存失效,也会导致数据库性能急剧下降。所以,客户期望数据库内核层面可以提升处理效率,在大量短链接场景保证性能不下降。

经过调研和测试,在应用端存在PHP大量短连接的场景,客户选择使用了PolarDB数据库代理层面自带事务级连接池功能,其大幅减少了短连接场景下频繁创建短连接给数据库带来的负载。PolarDB开启事务级连接池后,当客户端发送请求时,会先与PolarDB代理建连,代理不会马上将其与后端数据库建连,而是先从事务级连接池里查找是否存在可用的连接(库名、用户名、客户端IP三要素可以链接复用)。若不存在,代理会与数据库创建一个新连接;若存在,则从连接池里直接拿出并使用,并在当前事务结束后将该连接放回事务级连接池,方便下个请求继续使用。数据库层面支持连接复用,可以无缝地解决客户PHP大量短连接场景遇到的问题,业务无需做任何代码调整,极大的降低了业务开发成本。

3.4 计算快弹 + 存储按量付费

易仓主要做跨境电商业务,租户(卖家)会经常搞大促,特别在黑5、双11等节日,业务流量会徒增,MySQL数据库计算资源存储需要支持快速扩容,应对业务洪峰。租户业务也有生命周期,当租户停用下线时,如果数据库存储资源不能自动回收,会导致存储资源浪费,增加资源成本。传统上面对这种问题,一般通过迁移新实例或合并实例方式来回收存储资源,但耗时太长,运维成本会比较高。

PolarDB MySQL采用存储和计算分离的架构,所有计算节点共享一份数据,扩容时不需要迁移底层数据,增减节点可以在分钟级完成,可以满足客户跨境电商大促时,快速升配的需求。PolarDB存储采用分布式块存储设计和文件系统,使得存储容量不限制于单节点的规格,扩展比较容易,可以支持100TB级别的数据规模,客户不用担心会有存储容量瓶颈。而且存储空间无需手动配置,根据数据量自动伸缩,按实际使用量计费。租户停用下线清理后,存储会自动回收,节约资源成本。基于共享存储架构的数据库完美解决了传统本地盘部署时,DBA需要面对的扩缩容及容量管理的挑战。极大降低了运维负担。

04 更易用:让复杂变简单,极致体验

绝大多数的跨境电商平台最开始的时候都是从铺货模式开始的,为了快速补充平台的商品品类。而亚马逊作为跨境电商的“元老级”平台,现在已经慢慢转为精细化运营的模式了。精细化运营简单的理解就是精雕细琢的打磨某一品类的几件产品,将其打造为爆款、热卖款。因此数据和仓储就成为了精细化运营中非常重要的两个因素。假设您有多个店铺的时候,查看数据和仓储情况就会变成非常头疼的问题。在此背景下,ECCANG ERP系统就诞生了,汇集营销数据总览、Listing管理、推广管理、客服、库存、运营报表等功能,从数据、推广、客服、库存多维度助力卖家精细化运营升级,让复杂的事情变得简单,给用户极致体验。

“让复杂的事情变得简单,给用户极致体验”,也是PolarDB一直坚持的理念,特别在PolarDB HTAP的技术实现上。传统的HTAP方案,比较常见的是使用两套系统来分别满足的OLTP和OLAP型需求,在两套系统中间通过数据同步工具等进行数据的实时同步。随着采用多副本的分布式数据库兴起,由于一份数据在多个副本之间上完全独立,因此其中一个副本可以使用列存来响应AP型的查询请求,进而出现了基于多副本的Divergent Design方案。比多副本Divergent Design方法更进一步的,是在同一个数据库实例中采用行列混合存储的方案,同时响应TP型和AP型负载。这是先进商用数据库Oracle/SQL Server/DB2等不约而同采用的方案。

对比上述三种方法,从组合搭积木的方法到Divergent Design方法再到一体化的行列混合存储,其集成度越来越高,用户的使用体验也越来越好。但是其对内核工程实现上的挑战也一个比一个大。基础软件的作用就是把复杂留给自己把简单留给用户,因此一体化的方法是符合技术发展趋势的,所以PolarDB HTAP采用行列混合存储的技术路线,并提出了In-Memory Column Index(IMCI)的技术实现方案,为PolarDB带来列式存储以及内存计算能力,让用户可以在一套PolarDB数据库上同时运行TP和AP型混合负载,在保证现有PolarDB优异的OLTP性能的同时,大幅提升PolarDB在大数据量上运行复杂查询的性能。

目前,易仓亚马逊运营系统大量租户的多维店铺和商品统计分析已经跑在PolarDB HTAP服务上了,给用户带来了极致的性能体验。

05 全链路:行业全链路 + 生态协同发展

易仓不但打造了一个跨境行业全产业链SaaS,还实现了跨境生态的高效协同。易仓SaaS产品“M2B→ERP→TMS→WMS”连通了工厂、卖家、物流商、海外仓服务商企业,围绕跨境全链路的信息化形成了闭环,各关键节点运营效率大幅提升。易仓跨境产业链SaaS和生态交易双向驱动,让全球贸易更加简单轻松,切实帮助客户降低运营成本、交易成本和物流成本。

PolarDB也选择了跟易仓类似的发展模式,在不断壮大自身的优势的同时,不断适配各类生态工具,比如数据传输服务DTS、数据库库自治服务DAS、数据管理DMS、数据备份服务DBS等等,跟生态工具协同发展,让客户轻松方便使用PolarDB数据库,提升运维工程师工作效率。

易仓租户数据分布全球,按库分租户,数百小租户共享一个PolarDB实例,单实例百万级表,而且数据体量大。为了满足下游业务实时数据分析需求,PolarDB单实例有10万+核心表要实时接入数据中心。在这种存在海量库表,租户数据分布全球的复杂SaaS场景,加上数据体量大,如何便捷、高效、低延迟地完成实时集成租户数据到数据中心,且能保证数据一致性,成为一个巨大挑战。

易仓数据中心基于DTS OPEN API建设了一个实时数据集成平台,实现自动化按表粒度的全量初始化,并实时同步租户增量数据到消息队列Kafka,数据延迟毫秒级,支持断点续传,确保数据不丢失。通过修同步对象来增加新表同步,很方便实现新增表的全数据量初始化,满足下游持续增加的业务需求。真正做到了易仓跨境SaaS全球租户数据秒级响应。

结语

经过9年快速发展,易仓已经成为一家跨境全生态综合服务商,也见证了跨境行业从起步到万亿级的增长。即便经历了这次疫情的突袭,易仓一直致力于让跨境生态链中的工厂、卖家、海外仓、物流实现协同,实现了从跨境SaaS 软件服务到跨境全生态综合服务的蜕变,并致力于 2025 年打造一个万亿级的跨境生态。而PolarDB作为面向下一代云原生关系型数据库,未来在跨境SaaS会提供更丰富的产品适配能力,不但能为跨境SaaS多种场景提供优秀的解决方案,提升研发和运维效率,还能显著提升生产协同效率。PolarDB 和易仓会继续携手前进,会继续为易仓跨境业务发展提供更贴心的技术支持。

原文链接

本文为阿里云原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/510515.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

iLogtail 社区版使用入门 - 采集 MySQL Binlog

iLogtail是阿里云日志服务(SLS)团队自研的可观测数据采集Agent,拥有的轻量级、高性能、自动化配置等诸多生产级别特性,可以署于物理机、虚拟机、Kubernetes等多种环境中来采集遥测数据。iLogtail在阿里云上服务了数万家客户主机和…

融合数据库生态:利用 EventBridge 构建 CDC 应用

引言 CDC(Change Data Capture)指的是监听上游数据变更,并将变更信息同步到下游业务以供进一步处理的一种应用场景。近年来事件驱动架构(EDA)热度逐步上升,日渐成为项目架构设计者的第一选择。EDA 天然契合…

Pandas+ SLS SQL:融合灵活性和高性能的数据透视

Pandas是什么 Pandas是一个十分强大的python数据分析工具,也是各种数据建模的标准工具。Pandas擅长处理数字型数据和时间序列数据。Pandas的第一大优势在于,封装了一些复杂的代码实现过程,只需要调用接口就行了,避免了编写大量的…

iLogtail 开源之路

2022年6月底,阿里云iLogtail代码完整开源,正式发布了完整功能的iLogtail社区版。iLogtail作为阿里云SLS官方标配的采集器,多年以来一直稳定服务阿里集团、蚂蚁集团以及众多公有云上的企业客户,目前已经有千万级的安装量&#xff0…

迁移 Nacos 和 ZooKeeper,有了新工具

背景 注册中心迁移在行业中主要有两个方案,一个是双注册双订阅模式(类似数据库双写),一个是 Sync 模式(类似于数据库 DTS);MSE 同时支持了两种模式,对于开通 MSE 服务治理客户&…

基于 Serverless+OSS 分分钟实现图片秒变素描

场景介绍 小明接到学校老师安排的任务,需要批量将班级里同学们拍的普通照片转换为素描图,供课堂游戏使用,于是求助到程序员老爸,机智的程序员老爸分分钟用几行Python代码解决:在阿里云Serverless函数计算服务中部署普…

解析 RocketMQ 业务消息 - “顺序消息”

引言 Apache RocketMQ 诞生至今,历经十余年大规模业务稳定性打磨,服务了阿里集团内部业务以及阿里云数以万计的企业客户。作为金融级可靠的业务消息方案,RocketMQ 从创建之初就一直专注于业务集成领域的异步通信能力构建。本篇将继续业务消息…

Koordinator 0.6:企业级容器调度系统解决方案,引入 CPU 精细编排、资源预留与全新的重调度框架

阿里云原生开源的混部系统 Koordinator 基于阿里超大规模混部生产实践经验而来,旨在为用户打造云原生场景下接入成本最低、混部效率最佳的解决方案,助力用户企业实现云原生后提升计算资源利用率、降低 IT 成本。 经过社区多位成员的贡献,Koor…

KubeVela Maintainer 徐佳航:什么样的开源项目将具有可延续的生命力?

云原生的技术价值喻示着它就是未来,加入到一个具有可延续性生命力的开源社区,可以帮助我们更快地到达那里。——徐佳航,KubeVela Maintainer,来自招商银行基础设施研发中心云平台及运维平台开发团队。来自招商银行基础设施研发中心…

龙蜥社区首推“分层分类”顶设 发展以云为终态的开源产业创新生态

在刚刚结束的 2022 开放原子全球开源峰会 OpenAnolis 分论坛上,龙蜥社区技术委员会主席杨勇做了《OpenAnolis 社区技术发展报告》的主题演讲,分享龙蜥社区如何从 0 到 1 实现原生社区布局,以及发展以云为终态的开源产业创新生态。 全文整理如…

友邦人寿可观测体系设计与落地

业务场景与挑战 友邦保险是香港联合交易所上市的人寿保险集团,覆盖 18 个市场。截至 2021 年 12 月 31 号,总资产 3400 亿美元。 友邦保险于 1992 年在上海设立分公司,是改革开放后最早一批获发个人人身保险业务营业执照的非本土保险机构之…

如何写出有效的单元测试

什么是单元测试 《单元测试的艺术》中对单元测试的定义: 一个单元测试是一段自动化的代码,这段代码调用被测试的工作单元,之后对这个单元的单个最终结果的某些假设进行校验。 单元测试几乎都是用单元测试框架编写的;只要产品代…

测试环境不稳定复杂的必然性及其对策

这篇文章想要讲的,的确是两件事情: 为什么测试环境的不稳定是必然的,怎么让它尽量稳定一点?为什么测试环境比生产环境更复杂,怎么让它尽量简单一点? 此外,还会谈一谈对测试环境和生产环境的区别…

【计算几何】线段相交

问题描述:已知两条线段P1P2和Q1Q2,判断P1P2和Q1Q2是否相交,若相交,求出交点。 两条线段的位置关系可以分为三类:有重合部分、无重合部分但有交点、无交点。 算法的步骤如下: 1.快速排斥实验。 设以线段…

代码圈复杂度治理小结

网上有个段子,说建筑工程师不会轻易答应会给摩天大楼增加一个地下室,但代码开发工程师却经常在干这样的事,并且总有人会对你说“这个需求很简单”。到土里埋个雷,这确实不复杂,但我们往往面临的真实场景其实是“在一片…

MSE 治理中心重磅升级-流量治理、数据库治理、同 AZ 优先

本次 MSE 治理中心在限流降级、数据库治理及同 AZ 优先方面进行了重磅升级,对微服务治理的弹性、依赖中间件的稳定性及流量调度的性能进行全面增强,致力于打造云原生时代的微服务治理平台。 前情回顾 在介绍升级能力之前,先简要回顾 MSE 产…

基于阿里云 Serverless 快速部署 Function 的极致体验

1.Serverless 前世今生 1.1 Serverless 背景介绍 云计算的不断发展,涌现出很多改变传统IT架构和运维方式的新技术,而以虚拟机、容器、微服务为代表的技术更是在各个层面不断提升云服务的技术能力,它们将应用和环境中很多通用能力变成了一种…

性能提升1倍,成本直降50%!基于龙蜥指令加速的下一代云原生网关

​ 技术背景 网络信息传输的可靠性、机密性和完整性要求日渐提升,HTTPS 协议已经广泛应用。HTTPS 的 SSL/TLS 协议涉及加解密、校验、签名等密码学计算,消耗较多 CPU 计算资源。因此 CPU 硬件厂商推出过多种加速卸载方案,如 AES-NI、QAT、KA…

TiDB、OceanBase、PolarDB-X、CockroachDB 二级索引写入性能测评

为什么要做这个测试 二级索引是关系型数据库相较于NoSQL数据库的一个关键差异。二级索引必须是强一致的,因此索引的写入需要与主键的写入放在一个事务当中,事务的性能是二级索引性能的基础。 目前市面上的分布式数据库中,从使用体验的角度看…

EMQX + PolarDB-X 一站式 IoT 数据解决方案

本文整理自 EMQX 产品经理李国伟,在PolarDB开源社区中关于EMQX与PolarDB-X构建一站式IoT数据解决方案的分享。本篇内容主要分为四个部分: 1. IoT数据特性 2. EMQX介绍 3. EMQX与PolarDB-X集成 4. EMQXPolarDB-X方案DEMO 一、IoT数据特性 物联网应用场景…