北方银行 - HDFS 现代化快速案例研究

故事很重要,客户故事是最好的。他们提供令人瞠目结舌的统计数据或克服巨大障碍的那些是获得最佳头条新闻的那些。它们也是最难发表的。我们知道,因为我们将与您分享一些我们正在孜孜不倦地努力出版的内容 - 但现在它们将保持匿名。话虽如此,如果您想联系我们,我们可以让您看看幕后。

让我们开始吧。

北方银行

我们与加拿大所有主要银行都有业务往来。真正的全球性机构并不多,所以你猜对的机会很大。与其他主要金融机构一样,它们有监管义务从每次客户互动中生成和存储电子记录。大数据分析使这些机构不仅能够存储用于监管目的的数据,还可以积极利用这些信息来生成业务见解并增加价值。机器学习和人工智能 (ML/AI) 技术正在推动现代数据密集型工作负载不仅可以进行历史数据分析,还可以执行实时分析以推动即时决策。实时分析用例包括欺诈检测、交易监控、客户细分、个性化营销和风险管理。

当这家银行开始遇到性能和稳定性问题时,他们将其过时的企业数据仓库(Cloudera/Hadoop)迁移到了MinIO - 随着数据在Hadoop环境中的增长,应用程序开始遇到性能问题和停机时间。他们希望云运营模式没有与公有云相关的成本和失控。与数据增长相关的挑战以及对基础设施进行现代化改造的需求为基于 Kubernetes 的现代云原生架构提供了路线图。该银行希望实现干净的实施和最短的上市时间。这意味着MinIO。

存储基础架构支持多个业务部门,包括:

  • 加拿大银行业分析

  • 国际银行分析

  • 数据支持与架构

它们在不同的数据中心运行两个 MinIO 部署。两者之间的数据使用主动-主动复制进行复制,从而使 MinIO 具有高可用性。鉴于银行财务数据的关键性,MinIO 对象存储实现必须支持无限扩展和站点级容灾能力。为了实现这一目标,MinIO 团队帮助部署了双站点双站点双主动复制策略。该银行能够根据需要增加每个站点的集群规模,只需向部署中添加新的服务器池即可。通过主动-主动站点级复制,银行的 MinIO 实施不仅可以在单个站点内承受多个磁盘、服务器甚至机架故障,而且给定地理位置内的整个站点都可能遇到故障,而不会出现任何应用程序停机或数据丢失例如:

集群一:

集群二:

本地对象存储的主要用例之一是企业文件处理,目前已经迁移了一百多个项目以利用 MinIO 对象存储。该银行利用 MinIO 进行机器学习模型训练和服务:

MinIO 集群的可扩展性和可用性:

在多个数据中心之间同步数据是任何提供站点级容灾能力的对象存储的关键功能。主动-主动复制提供快速热-热故障转移和多地理恢复能力。多站点复制建立在双向主动-主动框架之上,并保留了关键功能,例如复制删除操作、删除标记、现有对象和副本元数据更改。

结果

升级到基于 Kubernetes 的现代基础架构的好处立竿见影。自实施 MinIO 以来,该银行已将存储占用空间减少了 50% 以上,同时将存储容量翻了一番。在此过程中,该银行将成本降低了近 60%,并将关键机器学习任务的性能提高了 30%。

MinIO 还为银行未来的云原生成功奠定了基础。这位平台工程师表示:“不断发展的数据需求(例如我们的数据需求)需要可扩展性和强大的存储位置,而 MinIO 满足了这些需求。此外,数据中心之间的延迟也减少了;可以根据需要进行扩展,同时提供元数据以改进对此类数据的理解。这也为我们提供了与我们希望在不久的将来迁移到的云平台非常相似的存储环境。

其中一位云工程师也指出:“MinIO 帮助我们的数据分析工作负载实现了现代化,使其具有高度可扩展性,并增加了我们组织内对云原生技术的采用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/32971.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

爬取同样内容,xpath方法会比bs4要慢很多吗?

点击上方“Python爬虫与数据挖掘”,进行关注 回复“书籍”即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 红豆生南国,春来发几枝。 大家好,我是Python进阶者。 一、前言 前几天在Python白银交流群【沐子山树】问了一个Python网络爬虫的…

ARM32开发--WDGT看门狗

知不足而奋进 望远山而前行 目录 文章目录 前言 目标 内容 什么是看门狗 ARM中的看门狗 独立看门狗定时器 窗口看门狗定时器 独立看门狗FWDGT 初始化配置 喂狗 完整代码 窗口看门狗WWDGT 初始化配置 喂狗 完整代码 注意 总结 前言 嵌入式系统在如今的科技发…

JSON序列化与反序列化

目录 JSON序列化 查看JSON文件,设置数据模板类 ​编辑 Newtonsoft.Json下载 运行结果展示 JSON反序列化 序列化是将对象或数据结构转换为可以存储或传输的格式(如JSON字符串)的过程,而反序列化则是将这个格式的数据转换回原…

Web渗透:文件上传-后端过滤

在上一篇文件上传的内容中笔者阐述了文件上传漏洞产生的相关原理以及使用了一个pikachu靶场的例子进行演示,在这个例子中涉及到了前端代码对于文件上传漏洞的相关防护,以及站在攻击者的角度我们要如何绕过前端的防护成功进行攻击;但是事实上对…

很冷门但真的有趣的IOS应用

Tuesday Tuesday纪念日小组件是一款功能丰富的倒数日和桌面小组件工具APP。此外,Tuesday软件还具有超萌小清新的风格,界面设计清新可爱,适合各种场景使用。用户可以通过小组件实现各种趣味功能,满足不同心情需求。 SideNotes Si…

吴恩达机器学习 第三课 week2 推荐算法(上)

目录 01 学习目标 02 推荐算法 2.1 定义 2.2 应用 2.3 算法 03 协同过滤推荐算法 04 电影推荐系统 4.1 问题描述 4.2 算法实现 05 总结 01 学习目标 (1)了解推荐算法 (2)掌握协同过滤推荐算法(Collabo…

查找和排序

目录 一、查找 1.1查找的基本概念 1.2顺序查找 1.3折半查找(二分查找) 1.4散列表的查找 1.4.1基本概念 1.4.2散列函数的构造方法 1.4.3解决冲突的方法 二、排序 2.1排序的基本概念 2.2插入排序 2.2.1直接插入排序: 2.2.2希尔排序…

linux 简单使用 sftp 和 lftp命令

目录 一. 环境准备二. sftp命令连接到SFTP服务器三. lftp命令3.1 连接FTP和SFTP服务器3.2 将文件从sftp服务器下载到本地指定目录 四. 通过WinSCP命令行从SFTP服务器获取文件到Windows 一. 环境准备 ⏹在安卓手机上下载个MiXplorer,用作SFTP和FTP服务器 官网: htt…

windows无法启动redis-server

Warning: no config file specified, using the default config. In order to specify a config file use D:\Code_enve\Redis\redis-server.exe /path/to/redis.conf Creating Server TCP listening socket *:6379: bind: No such file or directory以上是问题的报错信息&…

AIGC-Animate Anyone阿里的图像到视频 角色合成的框架-论文解读

Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation 论文:https://arxiv.org/pdf/2311.17117 网页:https://humanaigc.github.io/animate-anyone/ MOTIVATION 角色动画的目标是将静态图像转换成逼真的视频,这在在线零…

计网:网络应用层【Email应用/SMTP协议】

Email应用与SMTP协议 Email应用层的构成 客户端服务器协议 用户代理 用于读写邮件消息;与服务器交互,收发邮件消息 常见的客户端:Outlook,Foxmail(这两个是需要下载的客户端),Web客户端&…

【论文复现|智能算法改进】一种基于多策略改进的鲸鱼算法

目录 1.算法原理2.改进点3.结果展示4.参考文献5.代码获取 1.算法原理 SCI二区|鲸鱼优化算法(WOA)原理及实现【附完整Matlab代码】 2.改进点 混沌反向学习策略 将混沌映射和反向学习策略结合,形成混沌反向学习方法,通过该方 法…

VB实现加法计算

textbox1失去焦点,检查输入的值是否为数字。 textbox2中按下Enter键,检查输入的值是否为数字。 textbox3获得焦点,计算textbox1和textbox2的和。 Public Class Form1Private Sub TextBox1_LostFocus(sender As Object, e As EventArgs) Hand…

基于Django + Web + MySQL的智慧校园系统

基于Django Web MySQL的智慧校园系统 由于时间紧迫,好多功能没实现,只是个半吊子的后台管理系统,亮点是项目安全性还算完整,权限保护加密功能检索功能有实现,可参考修改 功能如下(服务为超链接&#xff0…

yii2 ActiveForm使用技巧

持续更新&#xff1a; 1、搜索输入框&#xff1a;form-inline <?php $form ActiveForm::begin([action > [index],method > get,options > [class > form-inline] &#xff08;增加此行代码&#xff09; ]); ?>

PBR网络数据流量分流+NQA联动静态路由

一、实验目的&#xff1a; 企业有两个网段&#xff0c;业务1网段和业务2网段&#xff0c;拓扑图如下&#xff0c; 二、实验要求 pc1报文走左侧链路到达ar1&#xff0c;pc2报文走右侧链路到达ar1&#xff0c;且当ar2或者ar3发生故障时候&#xff0c;可以通过另一个设备到达ar1…

1.4 Kettle 数据同步工具详细教程

工具介绍 一、概述 Kettle&#xff0c;又名 Pentaho Data Integration&#xff08;PDI&#xff09;&#xff0c;是一个开源的数据集成工具&#xff0c;最初由 Pentaho 公司开发。它能够从多种数据源提取、转换并加载&#xff08;ETL&#xff09;数据&#xff0c;适用于数据仓…

字符串根据给定关键词进行高亮显示

问题 一般使用搜索引擎的时候我们会发现,搜索出来的内容都对我们搜索的关键词进行了高亮显示, 这样我们能很直观的看出是不是我们想要的结果, 最近我也遇到了类似的功能, 因为关于舆情的系统使用到了ES, 一开始心想ES本身就有支持的API实现起来不难, 但我这里的需求还不太一样…

Altera的JTAG电路下载模块为何上下拉电阻,不可不知的秘密

一、FPGA背景信息 当前的FPGA市场上有国际和国产两大体系&#xff0c;国际排名&#xff0c;一直很稳定&#xff0c;国际上前三名Xilinx、Altera、Lattice&#xff0c;国内FPG厂商也在填补空白&#xff0c;低端、中低端市场上发力&#xff0c;替代潮流已在兴起&#xff0c;目前…

【驱动篇】龙芯LS2K0300之单总线驱动

实验过程 实验目的&#xff1a; 在龙芯开发板上面使用单总线驱动DS18B20温度传感器 ① 根据原理图连接DS18B20模块 ② 将i2c0引脚的功能复用为GPIO ③ 注册字符设备&#xff0c;按照DS18B20的读写时序编写读写驱动接口 ④ 编写测试用例解析传感器的数值 原理图 将板子上…