金融大数据平台总体技术

目录

  1. 金融大数据平台应用场景
  2. 风险管理
    1. 场景描述
    2. 解决方案
  3. ​​​​​​​市场营销
    1. ​​​​​​​场景描述
    2. 解决方案
  4. ​​​​​​​金融大数据信息价值链
  5. ​​​​​​​金融大数据平台总体目标
  6. 金融大数据平台功能技术要求​​​​​​​
    1. ​​​​​​​概述
    2. 数据接入功能要求
      1. ​​​​​​​作业调度
      2.  数据采集
      3. 消息队列
      4. 数据传输      

金融大数据平台应用场景

风险管理

场景描述
        风险管理以反欺诈场景为例。金融欺诈风险主要来自针对借记卡和信用卡的身份盗用、持卡人欺诈、 第三人欺诈、商户欺诈,以及针对电子渠道的钓鱼网站、中间人欺诈、木马欺诈等。银行业金融机构应 有效地甄别、防范和控制风险。
解决方案
       金融大数据平台实时反欺诈功能通过客户的自然属性、行为属性、客户信用度、资产负债状况、交 易环境等信息进行实时交易行为监测,通过交易记录、频度、位置等信息,实时分析判断交易风险,并 针对不同类别和级别的疑似欺诈交易做相应处理,将传统的风险事后跟踪转变为事中控制。实时反欺诈 大数据分析可以通过统一管理银行业金融机构内部多源异构数据结合依法查询外部征信数据,建立完 善的风险防范体系。

市场营销

场景描述

    市场营销以精准营销场景为例。在金融产品标准化、同质化的背景下,传统的营销模式效果不佳。 银行业金融机构需要选择合适的时间、合适的产品推广给真正需要的客户,动态掌握市场需求的变化, 提升产品营销效率
解决方案

    金融大数据平台通过对客户数据进行挖掘、追踪、分析,将不同客户群体进行聚类,分析客户的消 费习惯、风险收益偏好等特征信息,对细分的客户进行个性化智慧营销。例如,根据客户的购买习惯和 风险偏好进行动态的理财产品组合营销。根据客户行为轨迹分析,主动推送关联产品服务,真正做到个 性化的主动营销服务,提升客户整体满意度

金融大数据信息价值链

     从信息价值链的角度来看,金融大数据平台面向金融大数据应用提供者、系统协调者及大数据框架 提供者,核心活动在于从数据提供者处收集、处理、分析金融活动过程中的相关业务数据、用户信息、 行为数据等,并结合金融业务特征支撑金融机构的各项活动和服务。金融大数据信息价值链见图1。   
      数据提供者为金融大数据平台提供数据或信息,包括数据源提供者、数据流通平台提供者和数据 API提供者。
      系统协调者在金融领域规范和协调各类所需的数据应用活动,包括系统的配置管理、作业调度、 资源调度、运行监控等活动。
       大数据应用提供者满足金融领域大数据服务需求,包括收集、预处理、分析、可视化和访问
等活动。
      大数据框架提供者为金融大数据应用提供者在创建具体应用时提供资源和服务。
数据消费者是金融大数据应用的最终使用者或其他系统

金融大数据平台总体目标

      金融大数据平台的总体目标是帮助金融机构更高效、更快速地完成金融大数据应用的开发、部署和 管理,从以交易为中心转向以数据为中心,以应对更多维、更大量、更实时的数据和互联网业务的挑战。 金融机构以防范系统性风险为底线,对数据安全和业务连续性保障的技术要求通常高于其他行业。

金融大数据平台功能技术要求

概述

      金融大数据平台是企业级、分布式、开放、统一的大数据平台,应包括数据接入、数据存储、数据 处理、数据分析及数据服务相关组件。从功能的必要性及重要性角度看,金融大数据平台具体功能技术 要求可以划分为基本要求和增强要求。增强要求是从技术的发展趋势和金融用户的前瞻性需求入手提
出的。
       数据接入的基本要求应包括作业调度、数据传输、消息队列、批量采集,增强要求宜包括实时采集; 数据存储的基本要求应包括分布式关系数据库、分布式存储系统(文件、对象、块)等,增强要求宜包 括分布式列数据库、分布式图数据库;数据处理的基本要求应包括批处理、流处理、图计算,增强要求 宜包括批流融合计算、内存计算;数据分析的基本要求应包括模型库、数据处理引擎等,增强要求宜包 括数据可视化;数据服务的基本要求应包括风险管理、用户画像、营销管理、客户服务和经营分析等。
金融大数据平台技术架构见图2。
    金融大数据平台由数据接入、数据存储、数据处理、数据分析、数据服务和平台运维等部分组成,主要内容如下:
  • 数据接入提供结构化数据、非结构化数据或半结构化数据的采集、数据的导入导出以及数据流 的定义等功能,支持多系统集成,支持多协议接入,如支持RESTful、RPC、异步消息接入。结 构化数据包括数据库文件以及结构化文本文件等。非结构化数据包括图片、音频、视频、文档 及应用数据等。半结构化数据包括XML、表格、JSON、HTML、电子邮件等。
注: REST指的是一组架构约束条件和原则,满足这些约束条件和原则的应用程序或设计称为RESTful。
  • 数据存储提供大数据的分布式存储管理,涵盖多种存储方式和文件系统。
  • 数据处理支持结构化、半结构化及非结构化数据,提供丰富的API接口和SDK开发包,支持分布式 计算技术、流处理技术、内存计算技术,实现稳定、强大的数据处理能力。
  •  数据分析采用数据挖掘、机器学习等技术,支持多个数据处理引擎,具备数据可视化、多种算法、建模分析等深度挖掘分析能力。
  • 数据服务提供海量金融交易数据、用户信息数据、金融业务数据的访问、控制等基础服务,提供 营销管理、风险管理、客户服务、经营分析及用户画像等高级数据服务,金融大数据平台支撑的 应用场景见附录。
  • 平台运维具备高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装部署等功能, 提供分钟级别的统一风险管理,具备各类日志的指标实时采集能力、通用的SQL查询能力、可视 化监控能力。

数据接入功能要求

  • 作业调度
    1. 应支持工作流任务的调度。
    2. 应支持工作流的编排。
    3. 应支持工作流的批量启停、导入、导出。
  •  数据采集
    1. 应支持数据库与文件系统间数据、文件的导入和导出。

    2. 应支持数据的批量采集。

    3. 宜支持数据的实时采集。

    4. 应支持任务的并行执行,在任务失败后可以重新调度。
  • 消息队列
    消息队列的功能要求如下:
    1. 应支持高吞吐、分布式消息的处理。
    2. 应支持消息的缓存。

    3. 应支持离线应用和在线应用对消息的使用和处理。

    4. 宜支持多种客户端。
  •   数据传输      
       数据传输的功能要求如下:
    1. 应支持通用的数据传输协议。
    2. 应支持断点续传机制。
    3. 应支持同步、异步传输机制。

延伸阅读​​​​​​​

企业架构、技术方案、行业资料下载(持续更新)-CSDN博客

如何进行统级架构设计-CSDN博客

金融行业业务流程指南-三级模型-CSDN博客

中国数据库产业图谱(2024)-CSDN博客

设计模式——模板方法模式-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/881741.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Git 根据远程分支拉取并创建本地分支

文章目录 1 关联远程仓库2 获取最新更改,并创建分支3 clone时直接指定远程分支 1 关联远程仓库 git remote add remote_repo ssh:git***.git2 获取最新更改,并创建分支 查看本地分支和远程分支 git branch -a获取最新更改 git fetch remote_repo根据…

创建读取比特币1P类型地址

创建读取比特币1P类型地址 比特币的地址类型有多种,其中 P2TR(Pay-to-Taproot)地址是基于最近的升级(Taproot)引入的一个新类型。本文将介绍如何创建和读取比特币的 1P 类型地址,主要通过 JavaScript 和相…

谁在窥探我们的网络数据?——在未经许可下获取用户上网数据的情形与维权指南

在数字化时代,网络数据不仅是商业价值的金矿,更是用户隐私的敏感部分。然而,有时用户的上网数据可能会在未经知情与允许的情况下被收集甚至滥用。这篇文章将详细探讨哪些机构在何种情况下可以合法获取用户上网数据、用户如何通过法律手段维护…

吐槽kotlin之垃圾设计

本文重点在于吐槽垃圾设计,基本直只说缺点。 一.没有static关键字 static其实不是很面向对象,但是是很有必要和方便的。 kotlin为了实现java的static功能,必须使用伴生类,一般情况下没啥问题,但是反编译之后的class多…

ES6字符串 全局替换

字符串替换 部分替换replace 全部替换 replaceAll aabbcc.replace(b, _) // aa_bcc如果要替换所有的匹配,不得不使用正则表达式的g修饰符。 aabbcc.replace(/b/g, _) // aa__cc

Github学生包的JetBrains认证过期/idea认证过期如何解决?

官网通过Github更新状态即可JetBrains Account 注意要到邮箱走流程

C++面试速通宝典——26

478. 你了解的网络攻击方式有哪些?SYN攻击的防范方法? 网络攻击方式包括: Dos/DDos攻击:通过大量请求耗尽目标资源。Main-in-the-Middle攻击:攻击者拦截和篡改双方通信。Phishing:通过假冒网站或通信骗取…

SQL Server LocalDB 表数据中文乱码问题

--查看数据库设置 SELECT name, collation_name FROM sys.databases;--出现了The database could not be exclusively locked to perform the operation这个错误, --无法修改字符集为Chinese_PRC_CI_AS;所以需要先设置为单用户模式 ALTER DATABASE MySma…

初试PostgreSQL数据库

文章目录 一、PostgreSQL数据库概述1.1 PostgreSQL的历史1.2 PostgreSQL安装1.3 安装PostgreSQL二、PostgreSQL起步2.1 连接数据库2.1.1 SQL Shell2.1.2 执行SQL语句2.2 pgAdmin 42.2.1 打开pgAdmin 42.2.2 查找数据库2.2.3 打开查询工具2.2.4 执行SQL语句三、实战小结文章目录…

日本AZBIL山武燃烧控制器AUR450C42350D0

顺序定时 (在室温、湿度和额定电压下)火焰电压输出范围火焰电压范围 (在额定电压、室温和湿度下)推荐火焰电压额定电源电压允许电压范围功耗介电强度页序,如果发生火修非循环操作629279484士1秒,8士2秒可根据型号选择)仅限《行员7.52.5秒主要审判73秒火老…

大一计算机课程之线性代数

《大一计算机课程之线性代数》 在大一的计算机课程中,线性代数是一门极为重要的基础学科,它就像一把神奇的钥匙,为计算机科学领域的诸多方面开启了智慧之门。 线性代数主要研究线性方程组、向量空间、线性变换等内容。对于计算机专业的学生…

主动降噪技术:原理、方法与应用的深度解析

目录 一、主动降噪的原理二、主动降噪的技术分类三、主动降噪中的核心算法四、主动降噪的应用领域五、主动降噪技术的挑战与未来发展六、结论 主动降噪(Active Noise Cancellation,ANC)是当前音频技术中的重要应用,广泛用于耳机、…

HCIP-HarmonyOS Application Developer 习题(九)

(多选) 1、HarmonyOS多窗口交互能力提供了以下哪几种交互方式? A. 全局消息通知 B.平行视界 C.悬浮窗 D.分屏 答案:BCD 分析:系统提供了悬浮窗、分屏、平行视界三种多窗口交互,为用户在大屏幕设备上的多任务并行、便捷的临时任务…

【已解决】黑群晖绕过双重认证(2FA)登录(终极方案)

黑群晖绕过双重认证(2FA)登录(终极方案) 黑裙版本7.x,之前设置了双重认证,但是由于更换设备导致卡在2FA登录界面,无法登录,之前也没开SSH,网上找了很多方法,…

LeetCode322:零钱兑换

题目链接&#xff1a;322. 零钱兑换 - 力扣&#xff08;LeetCode&#xff09; 代码如下 class Solution { public:int coinChange(vector<int>& coins, int amount) {vector<int> dp(amount 1, INT_MAX);dp[0] 0;for(int i 0; i < coins.size(); i){fo…

程序员必读:精通ER图设计,解锁数据库高效构建秘籍

在信息技术的浩瀚星空中&#xff0c;数据库如同星辰般璀璨&#xff0c;而ER图&#xff08;Entity-Relationship Diagram&#xff0c;实体-关系图&#xff09;则是那把引领我们穿越数据迷雾的钥匙。对于每一位程序员而言&#xff0c;掌握ER图设计不仅是数据库设计的基础&#xf…

Flutter 3.24 发布:GPU模块及多视图嵌入功能

Flutter 3.24 发布&#xff1a;GPU模块及多视图嵌入功能 Flutter 3.24 带来了许多新功能和改进&#xff0c;让开发应用程序变得更加容易和有趣。这个版本重点展示了 Flutter GPU 的预览功能&#xff0c;让应用程序可以直接使用高级图形和 3D 场景功能。 此外&#xff0c;网页…

从零开始,如何构建一个完整的Java Web应用(全面指南!)

第一步&#xff1a;设置开发环境 1. 安装必要的软件 2. 创建项目结构 3. 添加Spring Boot依赖 4. 配置数据库连接 第二步&#xff1a;设计数据模型 1. 创建实体类 2. 创建Repository接口 第三步&#xff1a;创建服务层 1. 创建服务接口 2. 实现服务接口 第四步&…

Open WebUI | 自托管的类 ChatGPT 网站

Open WebUI 是一个扩展性强、功能丰富且用户友好的自托管 WebUI&#xff0c;支持 ChatGPT 网页端的大部分功能&#xff0c;支持各类模型服务&#xff0c;包括 Ollama 和 OpenAI 的 API。该项目在 GitHub 上已有 38k 星&#xff0c;非常受欢迎。 功能介绍 本篇介绍该项目的功能…

分布式 ID

背景 在复杂分布式系统中&#xff0c;往往需要对大量的数据和消息进行唯一标识。随着数据日渐增长&#xff0c;对数据分库分表后也需要有一个唯一ID来标识一条数据或消息&#xff0c;数据库的自增 ID 显然不能满足需求&#xff1b;此时一个能够生成全局唯一 ID 的系统是非常必…