数据库产品层出不穷,金融行业应该怎么选?|飞轮科技联合创始人连林江

众所周知,金融行业对于数据有着极为严苛的标准和要求,尤其当在线化、实时化业务场景增多以后,金融行业也面临着多重的挑战:既要满足实时数据分析的高性能、高效率需求,又要确保数据的安全性和完整性。基于此,金融行业对数据服务的选型也会格外谨慎与困难。尤其是在各类数据库产品层出不穷的当下,金融行业到底应该如何选型?怎样的产品才更加符合金融行业的未来发展?

在 FCon 全球金融大会的大会现场,InfoQ 也采访到了飞轮科技 COO & 联合创始人,他本人长期投身在大数据、基础架构和云计算领域,过去 12 年一直在百度工作,曾担任百度智能云副总裁、大数据与云存储等部门总经理,从零到一开拓出数十款云产品及数十亿营收。目前致力于推广开源 Apache Doris,并基于 Apache Doris 内核打造了实时数仓产品 SelectDB ,助力中国邮政储蓄银行、银联商务、平安人寿等多家头部金融企业升级了实时数据仓库平台。关于金融领域客户对实时分析场景的痛点与解决方案,他在采访过程中分享了自己的观点。

InfoQ:金融行业对数据服务的需求主要集中在哪些方面?包括对实时数据仓库的需求点主要是在哪些方面?

连林江:金融行业在数字化转型上走得相对靠前,无论是技术力量的投入,还是对新技术的使用都非常深入,但聚焦于数字化转型,依然面临着很多诉求和挑战。

从业务需求看,可以看到金融行业的业务更多地开始走向在线化,消费者金融业务、企业金融业务等都大量 APP 化,这些在线化的变化都带来业务感知、风控、客户洞察和决策等业务路径的实时化要求,所以就需要做更实时的消费信贷、欺诈交易识别、客户行为洞察等等动作。可以看到,金融行业服务客户的时间、路径都比以前更短了,也就需要更快的数据分析和响应速度。

从技术角度看,新技术给金融业务带来了更多业务变革的可能性,对技术的超前建设、对前沿技术趋势的预判也尤其重要,所以我们看到很多行业客户都开始设立金融科技部、信息科技部这样的战略组织,来全盘推进金融科技的战略。

但很多金融行业在大数据建设上,普遍还存在滞后性、复杂性。举例来说,很多的金融企业在一定程度上复刻了原来互联网公司走过的大数据建设路径,基于 Hadoop 构建了大数据平台,并在此之上建设了大量的系统以应对不同业务的挑战,比如有批量处理分析系统、实时处理分析系统等等,少则十来个,多则可能几十个。所以从技术规划和发展趋势的角度来说,金融行业的大数据系统需要化繁为简,架构需要更简单、更高效。

此外,大数据的技术发展是日新月异的,如何能够紧跟时代变化也是金融行业面临的另一挑战。

InfoQ:那么,金融领域的企业如何找到一款适合自身业务的数据库产品?您能否从实时数据仓库选型的角度给一些建议?

连林江:第一,从需求出发。刚刚也提到了金融行业的业务开始走向在线化,更需要一个实时的数据库应对业务挑战,同时还需要解决一系列随之而来的如何用好的问题,比如数据如何集成、如何治理、如何面向业务进一步调优等;第二,看清楚未来的技术趋势。技术的日新月异往往带来不断的更新换代,这其实是一个不断迭代的过程,因为系统的建设是滞后于技术发展的,可能造成的局面是今天投入力量进行系统升级了,过一两年又在新技术的冲击下需要迭代。而我们对大数据未来趋势的判断是朝三个方向发展:实时化、统一化以及云原生化,所以也建议金融领域的企业用户能够选择面向未来、符合技术趋势的产品;第三,关注产品的开放性。所谓开放性指的是尽量选择能够代表行业标准的产品,类似像数据库领域的 SQL 这种标准接口语言,这类标准性带来的是更开放的选择,以及未来历史资产的继承性。纵观大数据技术,开源其实一直在引领大数据产业发展,开源能够非常好地促进标准,也能够带来开放性。

InfoQ:刚好连总也讲到了开源这个因素,我们知道 SelectDB 是基于开源的 Apache Doris 来开发的,对于金融行业而言,开源是否是企业选型的重要考虑点之一?

连林江:我今天看到很多金融领域的企业,他们普遍对前沿技术有非常强的敏感性和开放性。从实际的交流观点来看,大家对于开源技术的认可和采用也是普遍趋同的。为什么呢?

第一,如刚刚提到的,开源本身能够很好地带来标准性,因为开源在开发者群体里是一种市场经济化的行为。一个好的开源产品如果被大家认可了,便能够引发更大范围、更广泛的使用,这个过程天然具有很大的可信度和标准性,所以优秀的开源产品一定有它的独特优势和普遍适应性;第二,一个开源项目要想发展好,它一定要有持续的先进性,这也会给产品带来持续的、蓬勃的生机;第三,金融对自主可控的要求比较高,而由于开源的代码可以共享,使其具备了自主可控的特性,如果企业有能力就可以很好地掌控、投入建设,便能在这个社区里得到一加一大于二的效益。

我认为开源是对金融企业来说是一个非常有前景的平台建设路径,它能提供更强的生命力和正向循环。通过开源也可以让我们的产品得到锤炼,对我们自身而言也是一个机会。就像 Apache Doris 是从百度的海量数据场景里锤炼出来的,通过开源又广泛地吸收了多行业、多场景的需求,让其能够更快地蓬勃发展。所以我们可以看到,金融领域的企业以及开发者对开源是非常认可的,也是很愿意投入,并且是在持续做建设的过程。

InfoQ:众所周知,金融是对数据要求极高的行业,因此也是不少数据库厂商的竞争高地,相比于其他金融级数据库,SelectDB 的核心优势是什么?

连林江:从公司设立的第一天起,我们就非常清楚自己的定位——实时数仓,实时性是产品的第一要求。

要对数据做到实时分析,最重要的是解决好两个延迟问题,数据集成的低延迟和数据查询的低延迟。换而言之,数仓必须能满足数据进得足够快、同时能够实时可见支持秒级的查询。

因此我们在实时性上进行了大量的技术创新,包括支持毫秒级的实时数据写入、实时增删改的主键存储模型、实时追加的明细和聚合存储模型以及毫秒级轻量化表结构更新等,可以实现数据的实时导入与实时可见。而在实时查询方面,SelectDB 在高并发点查询、大宽表查询、复杂多表关联等多种查询负载上都拥有极速性能。在全球分析型数据库测评榜单 ClickBench 中,SelectDB 更是凭借在多种场景下的卓越性能表现,占据性能全球排名第一的位置。

在定位之外,还要进一步看清大数据的发展形势,当前企业普遍使用典型的湖仓并行架构方案,既有面向批量的多个组件、也有面向交互分析的多个组件,甚至不止一个湖一个仓。基于此,我们提出了统一化的理念,简化当前复杂的架构,尽可能减少数据组件;特别值得一提的是,我们也在不断地完善湖仓一体方案,采用了 SelectDB 的现代化数据平台方案将数据仓库和数据湖进行融合统一,在一套架构中为 BI 报表、Adhoc 分析,以及批量和增量 ETL 等多种业务负载提供统一的数据处理和分析能力。

此外,针对有上云需求的客户,会更加在意云服务的性价比和资源弹性。SelectDB 也是从开始就把云产品当成核心来做,在去年 10 月份我们就推出了第一款云原生产品,也是国内第一款立足于多云之上、完全 SaaS 化的云原生数据仓库 SelectDB Cloud,目前已经支持阿里云、华为云、腾讯云和亚马逊云科技等国内外主要云厂商。

除了上述提到的优势以外,SelectDB 还有架构简单和生态丰富的特点。当金融客户要将历史资产迁移到 SelectDB 上时,能够很好地保障企业用户数据的迁移以及集成。考虑到很多金融客户的大数据系统上、下层都有联动,所以 SelectDB 也与数十家合作伙伴做了产品互兼容、互认证以及方案打通。

最后一点,由于金融客户的特殊性,持续的陪伴和服务能力也是更为重要的。在这一点上,我们其实也做了很多的建设和投入,目前在国内有 7 个分支机构,会安排售前、售后等支持人员,为他们提供可靠的服务保障。

InfoQ:相比于其他实时分析的需求场景,金融行业的应用软件是否有哪些额外的关注点?SelectDB 会采用哪些方案进行保障?

连林江:对于互联网行业而言,他们更喜欢在云上一站式地选购 SaaS 化的产品,既能做到开箱即用,产品之间也有很好的联动性。但对于金融企业而言,出于对可靠性或监管的要求,大量系统建设都是私有化独立部署的。对此,我们做了大量金融企业级产品的工作:

首先,我们为金融行业打造了企业版,可以私有化部署在各种环境下,比如虚拟机、物理机、云原生基础设施或者私有云,我们都能为其提供非常高效的部署,以及简单、易用、易运维的能力。其次,金融客户对数据以及整个 IT 基础设施的安全性要求是非常高的,我们除了保证单一软件系统的高可靠性、高可用性以及完整的权限系统外,我们尤其加强了容灾备份的能力,提供了本地双集群和多地多中心集群之间 CCR 的能力,一旦有服务断掉了,马上能够秒级分钟级的启动。

InfoQ:是否方便分享一个 SelectDB 在金融场景的落地案例?

连林江:SelectDB 在整个金融行业服务的客户非常多,包括银行、证券、基金等等。这里我可以分享一个国有大行在金融反欺诈上的实践案例。

因为国有大行本身有非常多的网点和客户,在这基础上做业务的在线化,就需要在事前、事中、事后做很多的风控判断和处理。尤其对于反欺诈行为来说,过了一天可能损失是追不回来的,所以基本上要达到秒级,最差分钟级的反馈闭环。此外,由于反欺诈行为更多发生在终端,国有大行有数万个网点、亿级的用户,需要有几万甚至几十万的并发来支撑,这对于技术有非常强的要求。另外,作为一个建设的平台方,它还需要管理起来更简单、数据高可靠,而且每次数据统计都是精确无误的。这些特性决定了它的选型非常苛刻,所以他们也做了非常多的评测,最后整体认为 SelectDB 的技术是最符合要求的,比业内同款产品的性能要高出几倍、几十倍。

现在客户实际落地用下来效果非常好,如果用以前的老架构去实施,效果可能是小时级甚至是 T+1,现在做到了秒级的实时性,所以也在大力推广更大规模使用。他们也在规划更多的落地场景,也想让日志分析用到我们的技术,把原来做指标观测、订单分析查询的系统都替换掉,而且整体的成本投入只需要以前方案的三分之一到五分之一。这个客户整体上讲,SelectDB 不仅很好地满足了业务方需求,也更好地满足了建设方需求。

InfoQ:后续,SelectDB 将如何服务好更多金融领域的客户,基于此,我们是否有相应的规划?

连林江:从技术角度,我们会在实时化、统一化、云原生化三个方向上持续投入和迈进,这很好地满足广大企业客户的需求;今天,大量的金融客户也已经从中获得了收益,我们也会齐头并进继续做深技术创新。

从业务场景,我们会沿着用户的业务场景做深入的优化。比如针对画像行为分析,我们进行函数的设计、业务流程优化;针对数据分析,做实时报表、辅助决策、日志分析,甚至 AI 的数据分析,这些都是更加深入的场景化思考和落地实践。这就意味着我们的技术和业务是双向迭代的过程。

在金融领域,当前数据分析的技术和业务场景是非常多的,这其中对于数据的存储和数据的处理其实是一个非常基础性的要求,在这之上应用场景的需求满足更需要端到端的解决方案能力落地,这就需要和领域内的广大生态厂商一起努力。比如,我们跟一些 BI 厂商联合做指标分析,效果就比以前提升了好多倍,这些场景方案能力最后都会在广大的金融客户场景中释放出效益。后续,我们也希望和更多的合作伙伴一起提供更多端到端的场景化方案

写在最后

作为全球数据库和大数据领域最活跃的开源社区之一 Apache Doris 的商业化公司,我们看到了 SelectDB 在实时化、统一化、云原生化方向上的坚定投入。我们也期待随着 SelectDB 在金融领域商用化程度的不断加深,以及端到端金融联合解决方案的持续补充,未来将帮助更多金融领域的企业释放数据价值。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/215853.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[GPT]Andrej Karpathy微软Build大会GPT演讲(上)--GPT如何训练

前言 OpenAI的创始人之一,大神Andrej Karpthy刚在微软Build 2023开发者大会上做了专题演讲:State of GPT(GPT的现状)。 他详细介绍了如何从GPT基础模型一直训练出ChatGPT这样的助手模型(assistant model)。作者不曾在其他公开视频里看过类似的内容,这或许是OpenAI官方…

产品经理在项目周期中扮演的角色Axure的安装与基本使用

目录 一.项目周期流程 二.Axure是什么 三.Axure安装 3.1 一键式安装 3.2 汉化 3.3 授权登录 四.Axure的界面介绍及基本使用 4.1 菜单栏的使用 4.2 工具栏的使用 4.3 页面概要的使用及组件的使用 4.4 组件的样式设计 一.项目周期流程 在一般的项目周期中包含的工作内容有&…

2005-2021年全国各省资本存量测算数据(含原始数据+测算过程+计算结果)

2005-2021年全国各省资本存量测算数据(含原始数据测算过程计算结果) 1、时间:2005-2021年(以2005年为基期) 2、范围:30个省市(不含西藏) 3、指标:固定资产形成总额、固…

利用工具JStack排查:死锁问题和CPU100%问题

无论是再面试过程中还是再实际项目开发当中我们都有可能遇到这两个问题。我之前有同学面试这两个问题都有问道过。哈哈哈。所以我绝对把他们了解下并利用博客记录。 1、工具JStack是什么? JStack可以显示Java应用程序中每个线程的堆栈跟踪,帮助开发人员…

【PTA题目】7-8 矩阵运算 分数 10

7-8 矩阵运算 分数 10 全屏浏览题目 切换布局 作者 C课程组 单位 浙江大学 给定一个nn的方阵,本题要求计算该矩阵除副对角线、最后一列和最后一行以外的所有元素之和。副对角线为从矩阵的右上角至左下角的连线。 输入格式: 输入第一行给出正整数n(…

Azure Machine Learning - 使用自己的数据与 Azure OpenAI 模型对话

在本文中,可以将自己的数据与 Azure OpenAI 模型配合使用。 对数据使用 Azure OpenAI 模型可以提供功能强大的对话 AI 平台,从而实现更快、更准确的通信。 关注TechLead,分享AI全维度知识。作者拥有10年互联网服务架构、AI产品研发经验、团队…

台式扫描电镜中的扫描速度和扫描模式如何选择?

台式扫描电镜(SEM)是一种利用电子束扫描样品表面,通过检测样品反射或发射的次级电子、背散射电子、X 射线等信号,来获取样品的形貌、结构、组成和分布等信息的仪器。台式扫描电镜具有体积小、操作简单、样品制备方便、分辨率高、成…

AttributeError: cannot assign module before Module.__init__() call 解决方法

这个错误通常是由于在__init__方法之外对模块中的某些成员进行了初始化或赋值操作,导致模块还没有被完全初始化就已经被调用了。为了解决这个问题,需要将所有的初始化或赋值操作移到__init__方法内部。 例如,如果有一个自定义模块MyModule&a…

量化交易与人工智能:Python库的应用与效用

💂 个人网站:【 海拥】【神级代码资源网站】【办公神器】🤟 基于Web端打造的:👉轻量化工具创作平台💅 想寻找共同学习交流的小伙伴,请点击【全栈技术交流群】 量化交易简介 量化交易是一种利用计算机算法执…

Windows使用virtualenv创建python环境

假设已有python和pip环境使用pip安装vitualenv pip install virtualenv 将virtualenv的路径加入环境变量使用virtualenv创建一个虚拟环境 virtualenv virtual_name --pythonpython3.9 激活虚拟环境 virtual_name\Script\activate 遇到问题: 使用工作电脑激活…

VUE+webrtc-streamer 实现实时视频播放(监控设备-rtsp)

效果 下图则启动成功,此时在浏览器访问127.0.0.1:8000可以看到本机监控画面 1、下载webrtc-streamer 地址:https://github.com/mpromonet/webrtc-streamer/releases 2、解压下载包 3、双击webrtc-streamer.exe启动服务 4、将下载包html文件夹下webrt…

Vue笔记-在axios中的than函数中使用this需要注意的地方

在Vue中,可以使用this关键字来访问到组件中定义的变量。然而,在axios的then函数中,this关键字的作用域会改变,会指向axios对象本身而不是Vue组件实例。因此,不能直接访问到Vue组件中定义的变量。 解决这个问题的一种方…

数据分析Pandas

数据分析Pandas Pandas简介第一个PandasPandas APIPandas数据结构Pandas数据结构SeriesSeries API创建 SeriesSeries基本属性和方法Series索引操作Series切片操作Series过滤数据Series算术运算Series缺失数据处理Series排序和排名Series统计函数Pandas数据结构DataFrameDataFr…

2023/12/11 作业

1.思维导图 2.作业 成果&#xff1a; 第一个头文件 #ifndef TEST3GET_H #define TEST3GET_H #include <QWidget> #include<QMessageBox> QT_BEGIN_NAMESPACE namespace Ui { class test3get; } QT_END_NAMESPACE class test3get : public QWidget { Q_OBJE…

QT学习(19):QIODevice

目录 QIODevice类&#xff1a;一、一般操作1、open()和close()2、read()3、write() 二、随机存取设备和顺序设备三、读写信号四、阻塞函数五、虚函数readData、readLineData、writeData六、内存缓冲区七、事务机制 QIODevicePrivate类QRingBuffer和QRingChunk QIODevice类&…

安卓.apk的文件app应用程序开发后如何安装运行到真机上测试?

当您完成了一个安卓app的开发之后&#xff0c;进行真机测试是确保应用程序稳定运行的关键步骤之一。下面我们会讲述几种将安卓app安装到手机进行测试的方法&#xff0c;请根据具体情况选择合适的方式。 图片来源&#xff1a;安卓.apk的文件app应用程序开发后如何安装运行到真机…

Scala-初学

前提&#xff0c;已经安装好Scala 在Linux终端 准备资料&#xff1a; a.txt 内容 HIVE 底层 是 hdfs 和 mapreduce 实现存储 和 计算的 。 HIVE 也 可以 使用 hadoop 配置 的 压缩 方法 对 中间 结果 或 最终 数据 进行 压缩 1 import scala.io.Source scala> val lines So…

C++ 指针常量和常量指针的区别

指针常量 指针常量&#xff1a;顾名思义它就是一个常量&#xff0c;但是是指针修饰的。 格式为&#xff1a; int * const p //指针常量在这个例子下定义以下代码&#xff1a; int a&#xff0c;b&#xff1b; int * const p&a //指针常量 //那么分为一下两种操作 *p9;//操…

普通SSL证书和EV SSL证书有什么区别?

SSL证书是一种用于加密网站和保护用户数据传输的安全协议。在SSL证书的类型中&#xff0c;普通SSL证书和EV SSL证书是两种常见的选择。本文将介绍普通SSL证书和EV SSL证书的区别&#xff0c;以及它们在网站安全性和可信度方面的差异。 1、安全性验证程度 普通SSL证书和EV SSL证…

linux(5):linux基础命令第五弹

在linux基础命令第四弹中http://t.csdnimg.cn/tvuNl我们了解了echo、tail命令、管道符和vim文本编辑器的相关内容。这一篇我们会了解关于命令选项的说明 我们在之前的学习中&#xff0c;发现命令中的选项是非常多的&#xff0c;比如-l -c -m -r -w 等等&#xff0c;命令有很多&…