研发协同平台持续交付2.0架构演进

源宝导读:为了打通CI/CD环节,实现持续的端到端的交付能力,RDC平台提供了在线化的更新服务,随着业务量增长与场景的需要,我们对更新服务架构重新设计,实现了2.0版本。本文将介绍更新服务2.0的架构演进过程与实践。

一、ERP的部署架构

    在谈更新服务之前我们先了解一下ERP现存的部署架构,ERP产品以建模平台为底座,开发有成本、售楼、计划、采招等产品及对应的二开项目,同时依赖配置中心、中台服务等配套服务。依据客户的不同规模提供不同的部署方案,部署方案的复杂程度决定了更新的过程的难易程度。在RDC接入更新服务之前,产品及二开团队出包后需要联系一线进行线下更包,架构的复杂程度越高,线下更新的代价越大。更新服务1.0的出现了解决这一痛点:一线人员通过访问ERP站点更新链接即可跳转到更新页面实现一键更新。

    ERP部署架构如下图所示:

二、更新服务1.0架构

    应用层ERP产品如建模平台、成本系统、售楼系统、计划系统、采招系统及各种配套服务通过代理服务接入到RDC CD管道(Pipeline),代理服务对外输出持续交付能力:

  • 客户在线状态心跳监测

  • 产品注册上报

  • 产品更新检查

  • 产品持续部署

    那代理服务是如何做到这些的呢?

三、更新服务1.0设计

更新服务1.0更新包时序图:

    尽管1.0的更新服务完成了打通CD环节实现了端到端的持续交付但依然存在一些不足

  • 更新效率低;

  • 扩展性 - 后期ERP代理服务不单是处理更新,还要能扩展处理其他业务,例如商城插件的安装、卸载、更新。扩展性已经考虑了,只是缺乏插件的定义规范;

  • 稳定性 - 主要表现在现有机制下,后去下一步执行步骤出错(预先将下一步放在一个表);

  • 日志和异常 - 异常日志和异常出错指引,日志的显示要明晰;

  • 设计到更新的表结构设计不合理:插件自身定义和插件步骤定义没有分开,更新包状态的维护。过程中会涉及到不少联合查询做业务的场景,互相依赖。原则:单实体职责单一,同时相应处理接口,职责也要单一;

  • 代码实现数据脚本式。

功能也存在不足:

  • 获取一条指令错误;

  • 更新状态挂起,一直是进行中,即不成功,也不失败;

  • 错误日志不明晰,出错的情况下难以快速定位到出错步骤;

  • 包的更新状态没有维护,查询时得实时从多个表中计算包的状态,效率很低。

四、更新服务2.0架构

    将代理服务重构,支持动态插件加载,解决扩展性不足,实现守护插件解决稳定性不足同时重新设计了日志的采集机制解决了日志记录上的不足。
    重构了更新逻辑解决更新性能及设计上的不足:

  • 重新定义了插件的设计:解决1.0中未从代码层面约定插件的定义问题;

  • 解耦执行命令与更新业务**:**解决1.0中设计上扩展性不足的问题;

  • 解耦更新插件对更新服务的强依赖:可实现一键离线更包解决一线线下更包时需要在服务器上进行手动盖包、执行sql、元数据同步修改mysofverion等复杂高危操作的痛点;

  • 解耦更新步骤与更新步骤控制逻辑:让插件开发者只用关心插件本身的业务不用考虑负载等场景中如何对执行流程进行控制;

  • 优化更新列表查询慢问题;

  • 重构更新服务数据库设计及实现方案:解决1.0中表设计不合理及引发的更新性能问题;

  • 重新设计了插件日志规范:解决1.0中日志设计的不足将业务日志与通用诊断日志进行区分,业务日志提供更友好的格式化日志呈现,详细的诊断日志提供线上问题分析;

  • 设计超时机制及补偿机制:解决1.0中更新超时或状态异常时导致更新状态挂起的问题;

  • 设计重试机制:提升更新成功率;

  • 设计守护插件:提高代理服务自身的稳定性。

五、更新服务2.0设计

更新服务2.0更新包时序图:

对比时序图我们可以发现2.0在命令设计这块有以下明显区别:

1、命令设计不同:1.0一次更新过程按步骤拆分成若干步骤(如下载更新包、备份等)而2.0仅为一条命令从而减少了心跳的周期;

2、更新流程控制方式不同:1.0依据服务端运算并下发下一步的更新命令而2.0则在客户端自行控制更新流程从而效率更高;

3、设计有补偿机制:解决服务器状态异常或执行挂起时修复执行状态保证更新过程的稳定性避免过多的人工干预。

小结一下:

    对比1.0的时序图我们不难发现,2.0只需要一次心跳轮询即可完成整个更新过程,而在1.0中每一步执行都依赖于心跳轮询,负载环境更新时还需要依赖心跳轮询机制保证每台服务器执行步调一致且1.0的服务端还需要根据当前步骤执行结果计算出下一步需要分发出去的执行命令,而2.0服务端一次完成命令下发,客户端根据命令及服务端提供的执行状态自行完成更新过程所以2.0执行效率要更高,更新服务1.0单包平均更新时间约为3分钟,更新服务2.0为50秒左右效率提升大约3倍以上详见下表:

更新服务V2更新效率

六、写在最后

    更新服务2.0设计解决了1.0中暴露出来的一系列问题,更新效率也大幅提高,然而没有最好的设计只有更合适的设计。目前更新服务2.0还有一些有待提升的地方,比如更新流程未实现逐步回滚,基于更新插件扩展其他业务插件尚不够完善。展望未来更新插件将以更新插件核心框架作为更新底座,提供完善的流程控制逻辑和更新控制,各种更新业务插件以底座为依托实现自己更新业务,最终实现ERP全系产品的端到端高效交付流程。

------ END ------

作者简介

王同学: 研发工程师,目前负责RDC平台的设计与开发工作。

也许您还想看

研发协同平台持续集成Jenkins作业设计演进

研发协同平台持续交付之代理服务实践

研发协同平台持续集成2.0架构演进

链路追踪在ERP系统中的应用实践

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/309810.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[C++11]可调用对象包装器function

可调用对象包装器 std::function是可调用对象的包装器。它是一个类模板,可以容纳除了类成员(函数)指针之外的所有可调用对象。通过指定它的模板参数,它可以用统一的方式处理函数,函数对象,函数指针,并允许保存和延迟执…

android应用窗口模式,[技巧]如何启用Android N开发者预览版中的“自由窗口”模式...

这里是Android N开发者预览版“自有窗口”模式的一些实际演示截图。对于已经参加了“Beta Program”的人们来说,通过OTA获取Android N Preview更新是最简单的。但如果你非要选择“困难模式”(命令行镜像刷新),则可能让设备无法再通过OTA的方式来安装未来…

LOOPS HDU - 3853(概率dp,期望)

题意: 有一个R*C的方格。一个人想从(1,1)走到(r,c)。在每个格子都有三种选择,向下,向右,或者原地不动。每个格子里的每个选择都有一定的概率。而每次移动都需要消耗2点的能量,问期望…

Sql Server之旅——第四站 你必须知道的非聚集索引扫描

非聚集索引,这个是大家都非常熟悉的一个东西,有时候我们由于业务原因,sql写的非常复杂,需要join很多张表,然后就泪流满面了。。。这时候就有DBA或者资深的开发给你看这个猥琐的sql,通过执行计划一分析,或许…

[C++11]可调用对象绑定器

std::bind用来将可调用对象与其参数一起进行绑定。绑定后的结果可以使用std::function进行保存,并延迟调用到任何我们需要的时候。通俗来说,它主要有两个作用: 1.将可调用对象与其参数一起绑定成一个仿函数。 2.将多元(参数个数为n,n > …

电视android已停止运行是什么意思,智能电视提示应用停止运行怎么办?当贝市场三招解决...

智能电视提示应用停止运行怎么办?当贝市场三招解决2019年11月28日 17:53作者:网络编辑:王动分享智能电视使用久了之后,电视页面会提示我们应用停止运行,这是怎么回事?当贝小编针对这个问题,整理了一份解决教程,大家可以看看有没有什么帮助。…

重磅!2020年微软开发者大会落幕,.NET迎来新机遇!

两天前微软举行了首个线上Build大会,而开发者成为大会里唯一的主角。和所有技术公司一样,开发者对于微软来说,同样也越来越重要了。如同血肉相依的关系,谁也离不开谁。在这次大会上,开发者是最大的宠儿,成了…

番茄时间有感之关于在疫情期间我与ACM不得不说的故事

哼哼~首先声明,我不是来讲故事的,我来总结一下在疫情这段时间,在ACM训练过程中的自我情况的总结和反思,嘻嘻,我是一个标题党,如果是被标题骗进来哒,抱歉啦,有句话说的好,…

基于 abp vNext 和 .NET Core 开发博客项目 - 自定义仓储之增删改查

上一篇文章我们用Code-First的方式创建了博客所需的实体类&#xff0c;生成了数据库表&#xff0c;完成了对EF Core的封装。本篇说一下自定义仓储的实现方式&#xff0c;其实在abp框架中已经默认给我们实现了默认的通用(泛型)仓储&#xff0c;IRepository<TEntity, TKey>…

计算机操作系统第四章作业

计算机操作系统第四章作业 1.何为静态链接&#xff1f;静态链接时需要解决两个什么问题? 答&#xff1a;静态链接是指在程序运行之前&#xff0c;先将各自目标模块及它们所需的库函数&#xff0c;链接成一个完整的装入模块&#xff0c;以后不再拆开的链接方式。   将几个目…

走进WebApiClientCore的设计

WebApiClientWebApiClient是NCC开源社区的一个项目&#xff0c;是目前微服务里http接口调用的一把锋利尖刀&#xff0c;项目早期设计与开发的时候&#xff0c;是基于.netframework的&#xff0c;然后慢慢加入netstandard和netcoreapp多个框架的支持&#xff0c;设计能力出众&am…

Blazor WebAssembly 3.2 正式发布

5月 20日&#xff0c;微软 发布了 Blazor WebAssembly 3.2(https://devblogs.microsoft.com/aspnet/blazor-webassembly-3-2-0-now-available/) 。Blazor 是 ASP.NET Core 中的一个新框架&#xff0c;支持使用 C#和 HTML 创建交互式 Web 应用程序。Blazor WebAssembly 使用基于…

温故知新:Docker基础知识知多少?

【云原生】| 作者/Edison Zhou这是恰童鞋骚年的第233篇原创文章记得之前曾经粗略的写过一篇Docker的基础及ASP.NET Core部署Docker示例的入门文章&#xff0c;但那个时候刚刚学习对Docker的认知还比较浅&#xff0c;现在重新来温故知新一下。本文预计阅读时间为10min。1容器的用…

[C++11]lambda表达式语法

代码如下: #include <iostream> using namespace std;void func(int x, int y) {int a;int b;[]() {int c a;//使用了外部变量&#xff0c;[]里面加个 int d x;}; }int main() {return 0; }lambda表达式的注意事项: 以上图片来自下面链接: https://subingwen.cn/cpp…

[翻译]欢迎使用C#9.0

本文由公众号[开发者精选资讯](微信号&#xff1a;yuantoutiao)翻译首发&#xff0c;转载请注明来源C# 9.0 is taking shape, and I’d like to share our thinking on some of the major features we’re adding to this next version of the language.C&#xff03;9.0初具规…

操作系统第四章习题

操作系统第四章习题 1.对一个将页表放在内存中的分页系统&#xff1a; (1) 如果访问内存需要0.2μs&#xff0c;有效访问时间为多少? (2) 如果加一快表&#xff0c;且假定在快表中找到页表的几率高达90%&#xff0c;则有效访问时间又是多少&#xff08;假定查快表需花的时间…

[C++11]右值和右值引用

代码如下: #include <iostream> using namespace std;int main() {//左值int num 9;//左值引用int &a num;//右值const int N 5;//右值引用int && b 8;//常量左值引用const int &c num;//常量右值引用const int &&d 6;//const int &&…

我们为什么推荐在Json中使用string表示Number属性值

在这篇简短的文章中&#xff0c;我将解释在使用JSON传输数据时&#xff0c;为什么浮点数或大十进制值应表示为字符串 。long类型引发的诡异情况长话短说&#xff0c;同事在利用swagger对接后端API时&#xff0c;诡异的发现swaggerUI中显示的json属性值并不是api返回的值。[Http…

并查集+基础知识点详解

并查集概念 并查集单看名字大家也能猜到这个算法的作用&#xff0c;是用来对集合进行合并和查找操作 并查集是一种树型的数据结构&#xff0c;用于处理一些不相交集合(Disjoint Sets)的合并及查询问题。——来自百度百科 就是将原本不一样的集合&#xff0c;但是由于某种关系有…

[C++11]move资源的转移

从实现上讲&#xff0c;std::move 基本等同于一个类型转换&#xff1a;static_cast<T&&>(lvalue);&#xff0c;函数原型如下: template<class _Ty> _NODISCARD constexpr remove_reference_t<_Ty>&& move(_Ty&& _Arg) _NOEXCEPT { …