架构日趋复杂的今天,如何重构数据库和应用边界?

戳蓝字“CSDN云计算”关注我们哦!


640?wx_fmt=jpeg


20年间,应用架构不断发生变化。从两层架构到多层架构,从集中式应用到分布式应用,应用架构的日趋复杂也带来了使用、开发维护方面的诸多问题……接下来,笔者将以亲身经历带你回顾20年来业务应用的变迁历史,从中找到破局之法。

 

2B应用架构日趋复杂:两层到多层,从集中式到分布式


两层架构到多层架构


回想20年前,笔者从事应用软件开发工作时,主要使用的是VB、PB、Delphi这类提供强大集成开发环境(IDE)的语言,主要以Client/Server架构为主。前端是应用程序,后端是数据库,主要用于开发MIS和ERP系统。客户端的工作相对简单,通过拖拉拽的方式完成界面设计实现展现和交互,通过各种事件完成前端的控制逻辑,后端则依托数据库写存储过程来完成复杂的业务处理。


那个时代的系统没有太大的用户量和并发量,一切以快速、低成本实现业务需求为第一目标。经常是几个开发人员组成一个项目组,在客户现场埋头苦干几个月,干完收工走人。记忆中,整个项目的大多数时间用在了与用户沟通业务现状,处理各种业务异常,开发方面相对容易简单。同时,在强大的IDE的帮助下,开发的效率极高,一个程序员承担好几个模块没问题。


2000年初,Browser/Server架构逐步兴起,事情逐渐变得复杂。


由于这种架构不再有单独的客户端程序,必须依托浏览器来实现前端交互,因此,html/CSS/JavaScript就成为了前端的主要开发语言,中间增加了服务器端处理语言,即当时诞生的asp(active server page)、php(Hypertext Preprocessor)等新技术规范和语言,后端是数据库。


整个系统不再是两层架构,而是演变成了三层架构。应用程序员们的精力开始从业务端向技术端转移,他们需要学习前端语言、服务端的脚本语言,并且还要实现前端和服务端的交互和通信。


然而,这也许还不是最困难的,直到Java开始兴盛。


虽然不明白Java是怎么火起来的,但是它确实兴盛起来了。我最早接触到的是Java的Servlet,通过out.print拼写HTML语句做展现输出。当时觉得一大片的字符串连接做起来实在是难以忍受,后面使用更为笨重的EJB,也感觉不太实用。直到开源界开发出了更轻量的框架来代替Java的企业级框架,从struts到Spring,从EJB到mybatis……技术栈不断更新,各种新技术被引入,如redis、memcache、kafka、activemq等。


最后我发现,大多数程序员的时间都被这些新技术、新框架占据了,能理解和吃透客户业务的程序员越来越少。干一个项目也不是之前的几个开发人员就能搞定,项目职责分工更为细化,做需求的、做架构的、做测试的,人多了还需要一个专业做管理的。沟通成本相较以前提高了,开发难度越来越大,但是客户的满意度在竞争激烈的今天却越来越低。


于是,我在想,我们做的这些事情给客户的业务带来价值了吗?带来了多少价值?

 

从集中式应用到分布式应用


我做ERP/MIS的年代还没出现架构师这个职位,B/S多层架构的兴起让架构师们走上了历史舞台。随着互联网应用的不断发展,应用架构也在日益变得复杂和难以理解。以SOA(面向服务架构)为代表的分布式应用引发了新一波热潮。


以往的集中式应用,所有的模块在一个容器中运行,整个过程可以被单一程序员掌控;而分布式应用的这项工作被分配给了多名程序员,一个调用会涉及到多个服务,容易发生问题,这类情况不在少数。于是,时而会引发问题是由谁导致的这种争端。同时,应用程序员们开始疑惑:由于分布式应用下必须考虑分布式事务的实现,怎么能在满足性能要求的同时实现一致性呢?这些工作以前是由数据库来承担的啊。


总的来说,以SOA为代表的分布式应用没有给业务带来明显的增值,但是却很大程度上加大了开发和维护的复杂度、难度及成本。因此,严格意义上说,SOA架构并没有大面积流行起来,继而诞生了一种新架构:微服务。


微服务可以看作是SOA架构的一种进化,核心思想是将系统拆解分散,通过专业化分工提升整个系统的效率。从管理角度而言,专业化分工的确是提升整体系统效率最有效的手段,但前提是系统本身相对稳定,一旦系统本身快速、剧烈变化,分工的基础就会被打破,各个独立的微服务就无法完成变更和协同。


而我们当前正处于一个充满不确定的时代。对企业而言,市场和业务快速变化,随之也会要求与之相匹配的IT系统快速变化。而快速变化的前提是需要一个轻量灵活、统一设计、统一管理的系统,而不能是各自独立、纵横交错的复杂体系。

 

回顾了应用开发近20年的演变,笔者一直在反思一个问题:为什么应用开发中技术所占据的分量越来越重,这些投入客户并不能有效感知。另一方面,客户能够直接感知到的业务价值没有得到明显的体现和提升。客户认为自己的投入没有转化为足够的业务价值,对软件供应商未免不满和无奈。


2B应用架构的复杂化带来了哪些问题?


1、学习和使用难度不断增大


20年前的开发人员只需要掌握一种集成开发环境和SQL语言就能完成系统开发,不需要学习spring、javascript、vue、bootstrap等各种技术语言和集群、负载均衡的管理和维护。开发人员更多的是专注业务本身,思考如何将业务更好地通过IT技术进行固化。


20年前的新人,师傅带1个月基本就能开始做简单的模块开发。现在的Java是一种工业设计语言,涉及到的技术和点太多,Java工程师至少需要1年以上的练习才能把整个模块稳定地做出来。


另外,架构的日趋复杂让开发人员要学习的东西越来越多,也增大了学习和使用难度。

 

2、开发和维护成本不断提升


在实际项目中,需求是最难控制的事情,需求变更是常有的事。有可能甲方一句话,整体系统都要面临调整,时间紧,任务重。但架构的日益复杂及技术种类的增多使变更的难度和成本不断增加;同时,分工的细化也促使沟通和协作的成本在不断提升。


过去可以由一个人完成的模块现在切分成了多个人,因此,在系统维护阶段一旦出现问题,问题定位和改造的难度增大。普通的售后维护人员无法定位和解决问题,需调动原有的多名资深研发人员共同定位和排查问题,发生凌晨两三点给三四个人逐一打电话,从东南西北奔向客户现场的情况也就屡见不鲜了。

 

3、技术的复杂度阻碍了业务的持续发展


为了实现对技术的有效掌控,公司逐步加大在技术方面的投入,花费高成本招募技术高手解决各类技术问题,在业务理解和应用方面则用一些相对初级的开发人员做业务应用开发,减少投入。


由此导致的问题是,业务应用与需求的匹配度逐步下降,开发过程多次反复,项目质量难以提升,结果软件企业没赚到钱,客户的满意度也不高。

 

破局之法:重构数据库和应用边界


业务应用的最大价值是帮助客户高效、低成本地解决业务问题,客户并不关心内在架构,应用开发商如果真的以客户为中心,就应该把精力转移到业务问题上。


那么,非功能性问题、性能问题、分布式事务问题由能去解决呢?20年前是应用程序+数据库解决所有问题,今天,数据库是不是也能往外迈一大步,接手应用程序面对的这些非业务问题呢?


设想一:数据库与缓存、消息引擎的一体化


目前,大量应用程序使用了redis、memcache这类开源缓存,程序员们需要投入较多的精力才能深度掌握。而使用缓存的目的主要是为了缓存数据库中的常用基础数据或查询数据,再由应用来维护这些缓存数据的状态更新。一旦应用出错,缓存数据就有可能与数据库的数据不一样,导致业务逻辑出错。


既然缓存如此重要,和数据库关系又相当紧密,为什么不能由数据库提供一个可被应用程序访问的缓存呢?同时由数据库自动维护数据库表对应的缓存数据的状态更新,将缓存的部署、管理和数据库的管理工具整合起来,这样就节约应用程序的大量工作了。


同理,消息引擎也可作为数据库的功能延展出现,既能提供给应用访问,同时管理和部署又和数据库整合到了一起,消息引擎中的消息在特定语法下就能直接转化为SQL插入数据库,以此实现通过消息引擎来访问数据库。


如果上述假设成立,未来的数据库就能实现从底层向上解决业务应用的非架构、性能等非业务问题,让应用程序更专注于业务本身,从而更聚焦于业务价值的创新创造。


人大金仓的KingbaseES V9.0产品将从这一角度出发,实现数据库能力的外延和扩展,提供一个一体化的DB+缓存+消息引擎的轻量级平台。

 

设想二:从应用的分库分表转变到分布式数据库


大并发、大吞吐量的应用需求增多,使得应用开始采用分库分表的方法分散并发量和数据量的压力,在业务应用中加入了相当多的非业务代码,业务应用的复杂度进一步加大。一旦遇到较复杂的业务问题时,业务应用的代码加上分库分表的代码使整个系统变得难以维护。


从分层的思想看,应用不应让性能代码侵入业务代码,最好是从数据层想办法,实现数据层处理能力的弹性伸缩,不去干扰业务层。传统的关系型数据库没能解决这类问题,分布式交易数据库将是一个更好的选择。


通过对传统关系数据库进行改造和能力提升,实现多写多读的分布式数据处理能力,自动实现数据的分库分表动作,同时对应用层保持透明,在充分兼容原有SQL的情况下保持高性能及业务代码的简洁度。


人大金仓即将发布的分布式交易数据库产品KSOne能够在兼容Oracle/Mysql的基础上实现数据库的自动分库分表,减少对应用开发的复杂度,提升系统的并发能力和吞吐量。

 

设想三:从Hadoop到兼容sql的轻量MPP数据库


大数据的兴起使Hadoop成为开源界重要的大数据存储平台。但由于开源的特性,Hadoop存在笨重、易用性较差、组件繁多、性能一般等较多局限性,效果不是很理想。


显然,采用列式存储技术的分布式MPP数据库更适合处理结构化的大数据,尤其是完全兼容SQL这项能力最大程度地适应了传统程序员的技术积累和习惯。MPP更轻量、更易于维护的特点也使其在商业化方面更易于规模化地应用。


因此,采用MPP数据库后,业务程序员可以更加集中精力在分析模型的构建上,由MPP完成基础的大数据存储和处理工作,自动实现节点的弹性伸缩,解决性能问题,发挥各自最大优势。


作为MPP数据库中的佼佼者,人大金仓打造的KADBKVDB产品已经广泛应用于安防、金融风控、运营分析等大数据领域,应用效果出色。


未来之路:数据库+AI


随着AI的快速发展,应用开始要求向智能化方向发展。而应用厂商的价值应当更多地放在在行业细分领域构建应用场景,将成熟的AI技术与客户需求将结合,实现商业变现。


作为大数据的承载者,数据库是天然的AI基础平台。将AI算法内置到数据库中,在库内完成例如计算机视觉相关、NLP相关的数据运算。应用厂商只需要调用AI算法与以图搜图、区域碰撞等应用场景相结合即可。


总的来说,2B业务应用要继续发展,就应当将非业务需求抛出业务应用的范畴,专注于打磨应用本身;而数据库想要更好地支撑应用发展,就应当承接所有的非业务需求,在原有数据库的基础上实现能力的丰富与外延。

 

   愿上帝的归上帝,凯撒的归凯撒。希望业务应用和数据库都能在这个充满变化的时代中持续前进,不断为客户创造更多价值!

 

640?wx_fmt=png


戳他↓↓↓

640?wx_fmt=png


福利

扫描添加小编微信,备注“姓名+公司职位”,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!


640?wx_fmt=jpeg


推荐阅读:

  • “V神给了我1000个ETH, 我用来招了两个程序员” 独立开发者做到极限就是Paul Hauner | 人物志

  • 工作 996,生病 ICU!这一次,程序员不忍了!

  • 14 岁编程神童?假的!

  • NLP泰斗董振东老师与他的知网 | 纪念

  • JavaScript 力压 Java 成最受欢迎编程语言,TypeScript 大涨!

  • 上海交大CV博导微信群辱骂学生,已停止教学

  • 李沐团队新作Gluon,复现CV经典模型到BERT,简单好用 | 强烈推荐

  • 日本乐天要求员工学编程,AI 进中小学课堂,全民编程时代来了!


640?wx_fmt=png真香,朕在看了!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/524332.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

OpenGL 波浪特效

目录 一.OpenGL 波浪特效效果演示 1.IOS 演示效果2.Windows OpenGL ES 演示效果3.Windows OpenGL 演示效果 二.OpenGL 波浪特效源码下载 1.IOS Object-C 版本2.Windows OpenGL ES 版本3.Windows OpenGL 版本 三.猜你喜欢 零基础 OpenGL ES 学习路线推荐 : OpenGL ES 学习目录 …

基于JVisualVM的可视化监控

监控本地的java进程 本小节我们介绍一下如何使用JDK自带的jvisualvm工具来监控本地的Java进程,该工具是一个图形化的监控工具。 jvisualvm官方文档地址如下: https://visualvm.github.io/documentation.html 一、介绍 VisualVM,能够监控线…

要闻君说:华为发布2018年年度报告:全球销售收入超千亿美元;微软”立誓“不过愚人节;大众与AWS一起做工业汽车云...

关注并标星星CSDN云计算每周三次,打卡即read更快、更全了解泛云圈精彩newsgo go go 三位深度学习之父同获2018年图灵奖(图片来源网络)【3月29日 星期三】云の声音华为计划在英国剑桥大学建设芯片工厂,占地500英亩,在爱…

Windows OpenGL ES 波浪特效

目录 一.OpenGL ES 波浪特效效果演示 1.原始图片2.效果演示 二.OpenGL ES 波浪特效源码下载三.猜你喜欢 零基础 OpenGL ES 学习路线推荐 : OpenGL ES 学习目录 >> OpenGL ES 基础 零基础 OpenGL ES 学习路线推荐 : OpenGL ES 学习目录 >> OpenGL ES 特效 零基础 …

jmap+MAT实战内存溢出

一、堆区和非堆区 前言: 如果发生内存溢出,主要是通过内存映像文件,来查看到底是那些类,一直在占有没有释放。 1.1 情况分析: 第一种内存溢出:有可能内存泄漏 第二种内存溢出:也有可能内存分…

Git 中文详细安装教程01(安装篇)

git官网:https://git-scm.com/ Step 1 Information Please read the following important information before continuing 继续之前,请阅读以下重要信息 Step 2 Select Destination Location 选择安装位置 Step 3 Select Components 选择组件 Step 4…

Windows OpenGL 波浪特效

目录 一.OpenGL 波浪特效效果演示 1.原始图片2.效果演示 二.OpenGL 波浪特效源码下载三.猜你喜欢 零基础 OpenGL ES 学习路线推荐 : OpenGL ES 学习目录 >> OpenGL ES 基础 零基础 OpenGL ES 学习路线推荐 : OpenGL ES 学习目录 >> OpenGL ES 特效 零基础 OpenGL…

阿里带火的中台,究竟是个啥?

戳蓝字“CSDN云计算”关注我们哦!来源:CIO发展中心中台这个概念早期是由美军的作战体系演化而来的,技术上所说的“中台”主要是指学习这种高效、灵活和强大的指挥作战体系。电商经过十几年的发展,组织已经庞大而复杂,业…

OpenGL 亮度调节

目录 一.OpenGL 亮度调节效果演示 1.IOS 演示效果2.Windows OpenGL ES 演示效果3.Windows OpenGL 演示效果 二.OpenGL 亮度调节源码下载 1.IOS Object-C 版本2.Windows OpenGL ES 版本3.Windows OpenGL 版本 三.猜你喜欢 零基础 OpenGL ES 学习路线推荐 : OpenGL ES 学习目录 …

云漫圈 | 写给对 ”游戏开发” 感兴趣的朋友们

戳蓝字“CSDN云计算”关注我们哦!作者:小灰转自:程序员小灰我们程序员能为世界带来什么?有些程序员做出了 淘宝/Amazon,为世界带来了电子商务。有些程序员做出了 微信/Twitter,为世界带来了社交平台。而有些…

git下载安装、验证、企业实战单机、多人协作

此课程会划分为10个小结进行讲述 1 安装和配置2 创建仓库3 基本用法4 三种状态5 标签 tag6 分支 branch7 合并分支8 远程仓库9 如何多人远程合作 git下载安装验证 一、下载、安装、验证 1、git官网: https://git-scm.com/downloads 2、安装及配置 2-1 一路下一步…

Qt中线程的使用1

初学Qt线程,此实例只是对Qt单一线程的使用,另外结合信号槽实现ui界面与子线程之间数据的传输,可以解决线程在运行的过程中,关闭对话框程序崩溃的问题。此实例要实现的效果图如下: 界面控件的类,对象表如下…

Linux CentOS 6.8 安装 Docker

Linux CentOS 6.8 安装 Docker 一、移除Docker yum remove docker二、移除 Docker-selinux yum remove docker-selinux 三、修改Docker镜像配置文件 rpm -iUvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm四、安装Docker yum update -y …

爬取了10W条数据,我们整理出了这份北上广深租房图鉴

戳蓝字“CSDN云计算”关注我们哦!作者:AlfredWu 转自: Alfred数据室俗话说“金三银四”,又到了春招换工作、乃至换城市的时候了。这对于“回望楼价又一年”的小伙伴们来说,也意味着又到了搬家换房子的时候了。北上广深…

Windows OpenGL 图像亮度调节

目录 一.OpenGL 图像亮度调节 1.原始图片2.效果演示 二.OpenGL 图像亮度调节源码下载三.猜你喜欢 零基础 OpenGL ES 学习路线推荐 : OpenGL ES 学习目录 >> OpenGL ES 基础 零基础 OpenGL ES 学习路线推荐 : OpenGL ES 学习目录 >> OpenGL ES 特效 零基础 OpenGL…

Qt下继承于QObject创建的线程

Qt线程线程创建方法示例线程创建方法 Qt下创建线程的方法有两种: 一种是通过继承QThread,并重写run()函数,在run()函数中,编写线程所做的事情,在需要线程的文件中&#…

入门篇|学渣是如何自学数据结构的?

戳蓝字“CSDN云计算”关注我们哦!作者 | 小鹿来源 | 一个不甘平凡的码农写在前边-------------------------------------------今天呢,我想简单的分享一下半年来自学数据结构与算法学习方法和技巧。写这篇文章主要目的还是重在让刚刚接触数据结构的读者…

Qt下简单的文件读取

此示例只是一个简单的文件的打开&#xff0c;读取&#xff0c;文件内容的加载&#xff0c;望共勉。 界面效果展示 代码实现 dialog.h #ifndef DIALOG_H #define DIALOG_H#include <QDialog>namespace Ui { class Dialog; }class Dialog : public QDialog {Q_OBJECTpub…

趣挨踢 | 用大数据扒一扒蔡徐坤的真假流量粉

戳蓝字“CSDN云计算”关注我们哦&#xff01;作者&#xff1a;AlfredWu 转自&#xff1a; Alfred数据室前段时间央视新闻公开披露流量明星数据造假。作为一名数据猿&#xff0c;我们秉着好奇心点开了NBA新春贺岁形象大使蔡徐坤的微博&#xff0c;发现他的微博转发量除了最新一条…