三问(why?what?how?)金融领域的机器学习

摘要: 都喜欢人生三问,那么金融领域的机器学习三问了解一下。

机器学习可能会很有魔力,即使它背后没有魔法。尽管如此,机器学习项目的成功更多地取决于构建高效的基础架构,收集合适的数据集以及应用正确的算法。

机器学习已经在金融服务行业中取得重大进展。让我们看看为什么金融公司可以通过AI和机器学习实现什么解决方案,以及他们如何应用这项技术。

定义

我们可以将机器学习定义为数据科学的一个子集,它使用统计模型来绘制洞察并进行预测。下图解释了人工智能,数据科学和机器学习之间的关系。为了简单起见,我们在这篇文章中专注于机器学习。

机器学习解决方案的神奇之处在于,他们可以从经验中学习而无需明确编程。简而言之,你需要选择模型并将数据提供给它们。然后,模型会自动调整其参数以改善结果。

数据科学家使用现有数据集训练机器学习模型,然后将训练有素的模型应用于现实生活中。

5035fb1871fcd7d5347cff875ff6dbd599c68b5f

模型作为后台进程运行,并根据其训练方式自动提供结果。数据科学家可以根据需要重新训练模型,以使其保持有效性。

通常,你提供的数据越多,结果就越准确。巧合的是,庞大的数据集在金融服务行业中非常普遍。关于交易、客户、账单、汇款等有PB级别的数据非常适合机器学习。

随着技术的发展和最佳算法的开源,很难想象没有机器学习的金融服务的未来。因为大多数金融服务公司都还没有准备好来用这一技术的真正价值,原因如下:

1.    企业往往对机器学习及其组织的价值抱有完全不切实际的期望。

2.    人工智能和机器学习研究和开发成本很高。

3.    DS / ML工程师的短缺是另一个主要问题,下图显示了人工智能和机器学习技能需求的爆炸性增长。

4.    在更新数据基础架构方面,老牌金融企业不够灵活。

690fcdc25c07a51c1ea5c4b1fb54f3cc2da958fa

我们将在本文稍后讨论如何克服这些问题。首先,让我们看看为什么金融服务公司不能忽视机器学习。

为什么要考虑金融机器学习?

因为面临挑战,许多金融公司已经利用了这项技术。下图显示金融服务的高管非常重视机器学习,大多出于以下原因:

1.    由于过程自动化,降低了运营成本。

2.    通过提高生产力和增强用户体验,增加收入。

3.    更好地遵守和加强安全性。

aa387859892bddb292e575c29406ac34712e745c

有各种各样的开源机器学习算法和工具,可以很好地适应金融数据。此外,成熟的金融服务公司拥有大量现金,他们可以负担得起在最先进的计算硬件上花费。对于金融领域的定量性和大量的历史数据,机器学习有望提升金融生态系统。

这就是为什么如此多的金融公司在机器学习研发方面投入巨资。至于落后者,忽视AI和ML可能会被证明是代价高昂的。

什么是金融机器学习用例?

让我们来看看金融领域一些有前景的机器学习应用程序。

93d3335e87de6b2cb21c8d0ca8f69f6ebc5ad40f

过程自动化

过程自动化是机器学习在金融领域最常见的应用之一。该技术可以替代手动工作,自动执行重复性任务并提高生产率。

因此,机器学习使公司能够优化成本,改善客户体验并扩展服务。以下是金融机器学习的自动化用例:

1.聊天机器人;

2.呼叫中心自动化;

3.文本工作自动化等等;

以下是银行业务流程自动化的一些示例:

摩根大通:推出了一个智能合约(COiN)平台,该平台利用自然语言处理技术,它解决了从法律文件中提取重要数据。对12,000份年度商业信贷协议进行人工审查通常需要约360,000个工时。然而,机器学习允许在短短几个小时内审查相同数量的合同。

BNY Mello将流程自动化集成到他们的银行生态系统中。这项创新每年可节省30万美元,并带来了极大的改善了运营情况。

Privatbank一家乌克兰银行,通过其移动和网络平台实施聊天机器人助理。Chatbots加快了一般客户查询的解决速度,并减少人工助理的数量。

安全

随着交易、用户和第三方集成的数量不断增加,财务中的安全威胁也在不断增加。机器学习算法非常适合检测欺诈行为

例如,银行可以使用该技术实时监控每个账户的数千个交易参数。该算法检查持卡人采取的每个动作,并评估尝试的活动是否是该特定用户的特征。这种模型具有高精度的欺诈行为。

如果系统识别可疑帐户行为,则它可以请求用户提供额外的标识以验证交易。如果至少有95%的可能性是欺诈行为,甚至可以完全阻止交易。机器学习算法只需几秒钟来评估交易,有助于实时防止欺诈,而不仅仅是在犯罪发生后发现它们。

财务监控金融机器学习的另一个安全用例。数据科学家可以训练系统检测大量小额支付,并将这种洗钱技术标记为smurfing。

机器学习算法也可以显着增强网络安全性。数据科学家训练系统发现和隔离网络威胁,因为机器学习在分析数千个参数和实时是首屈一指的。这项技术有可能在最近的将来为最先进的网络安全网络提供支持。

AdyenPayoneerPaypalStripeSkrill是一些值得注意的金融科技公司,他们在安全机器学习方面投入巨资。

4ee9bea5790ec4773851991e96e2c4819963dabf

承保和信用评分

机器学习算法完全适合金融和保险行业中常见的承保任务

数据科学家在数千个客户档案中训练模型,为每个客户提供数百个数据条目。然后,训练有素的系统可以在现实环境中执行相同的承保和信用评分任务。这种评分引擎可以帮助人员更快,更准确地工作。

银行和保险公司拥有大量历史消费者数据,因此他们可以使用这些条目来训练机器学习模型。他们可以利用大型电信或公用事业公司生成的数据集。

例如,BBVA Bancomer正与另一个信用评分平台Destacame合作。该银行旨在为拉丁美洲信用记录薄的客户增加信贷准入,Destacame通过开放API访问公用事业公司的账单支付信息。使用账单支付行为,Destacame为客户生成信用评分并将结果发送给银行。

算法交易

在算法交易中,机器学习有助于做出更好的交易决策。数学模型实时监控新闻和交易结果,并检测可能迫使股价上涨或下跌的模式。然后,它可以根据其预测主动出售、持有或购买股票。

机器学习算法可以同时分析数千个数据源,这是人类无法实现的。机器学习算法可以帮助人类交易者在市场平均水平上占据一席之地。而且,鉴于大量的交易操作,这种小优势通常会转化为巨额利润。

ROBO-咨询

机器人顾问现在在金融领域司空见惯。目前,在咨询领域中有两种主要的机器学习应用。

投资组合管理:是一种在线财富管理服务,它使用算法和统计数据来分配,管理和优化客户的资产。用户输入他们目前的金融资产和目标,例如,在50岁时节省一百万美元。机器人顾问然后根据风险偏好和期望目标在投资机会中分配当前资产。

金融产品推荐:许多在线保险服务使用机器人顾问向特定用户推荐个性化保险计划。由于费用较低,客户选择机器人顾问而不是个人理财顾问,以及个性化和校准的推荐。

39ed333b9986174e951a3d828c2fcf842551bb63

如何利用金融机器学习?

尽管人工智能和机器学习具有所有优势,但即使是拥有雄厚财力的公司也很难从这项技术中获取真正的价值。金融服务公司希望利用机器学习的独特机会,但实际上,他们对数据科学如何运作以及如何使用它有一个模糊的概念。

他们遇到类似的挑战,例如缺乏业务KPI。反过来,这会导致不切实际的估计并导致预算耗尽。拥有合适的软件基础设施是不够的,它需要一个清晰的愿景,扎实的技术人才,以及提供有价值的机器学习开发项目的决心。

一旦你充分了解此技术将如何帮助实现业务目标,请继续进行构思验证。这是数据科学家的任务。他们调查这个想法,帮助你制定可行的KPI并做出切合实际的估算。

根据具体的使用案例和业务条件,金融公司可以采用不同的途径来采用机器学习。

放弃机器学习,转而专注于大数据工程

通常,金融公司开始他们的机器学习项目只是为了意识到他们只需要适当的数据工程。马克斯Nechepurenko高级数据科学家为N-IX评论:

在开发数据科学解决方案时,我建议使用Occam的剃刀原理,这意味着不会过度复杂。大多数以机器学习为目标的公司实际上需要关注可靠的数据工程,将统计数据应用于聚合数据以及对数据进行可视化。

仅仅将统计模型应用于处理过的和结构良好的数据就足以让银行隔离其运营中的各种瓶颈和低效率。

这种瓶颈有哪些例子?这可能是特定分支的队列,可以消除的重复性任务,低效的人力资源活动,移动银行应用程序的缺陷等等。

更重要的是,任何数据科学项目中最重要的部分都归结为构建一个协调的平台生态系统,从数百个来源(如CRM、报告软件、电子表格等)收集孤立的数据。

在应用任何算法之前,你需要对数据进行适当的结构化和清理。只有这样,你才能进一步将这些数据转化为洞察力。事实上,ETL(提取,转换和加载)和进一步清理数据占机器学习项目时间的80%左右。

3d9b27b6f3b8f5c61738686c128a844e75fa8881

使用第三方机器学习解决方案

即使你的公司决定在即将开展的项目中使用机器学习,你也不一定需要开发新的算法和模型。

大多数机器学习项目都处理已经解决的问题。谷歌、微软和阿里巴巴等科技巨头将机器学习软件作为一种服务出售。

这些开箱即用的解决方案已经过训练,可以解决各种业务任务。如果你的项目涉及相同的用例,你是否认为你的团队可以通过庞大的研发中心超越这些技术巨头的算法?

机器学习工程师可以实施专注于你的特定数据和业务领域的系统。专家需要从不同来源提取数据,将其转换为适合此特定系统,接收结果并可视化结果。

权衡取舍是缺乏对第三方系统的控制和有限的解决方案灵活性。此外,机器学习算法并不适合每个用例。高级数据科学家IHAR Rubanau评论:

尚不存在通用机器学习算法,数据科学家需要在将算法应用于不同领域的不同业务案例之前对其进行调整和微调。

因此,如果Google的现有解决方案解决了你特定域中的特定任务,你应该使用它。如果没有,请致力于定制开发和集成。

创新与整合

从头开始开发机器学习解决方案是风险最大,成本最高且耗时的选择。尽管如此,这可能是将ML技术应用于某些商业案例的唯一方法。

机器学习研究和开发针对特定利基市场的独特需求,并要求进行深入调查。如果没有为解决这些特定问题而开发的现成解决方案,则第三方机器学习软件可能会产生不准确的结果。

1664311d5d71d637261d92c66dd5be44902c1bec

不过,你可能需要严重依赖Google的开源机器学习库。当前的机器学习项目主要是将现有的最先进的库应用于特定的域和用例。

在N-iX,我们确定了机器学习中成功的企业研发项目的七个共同特征:

1.    一个明确的目标:在收集数据之前,你至少需要对通过AI和机器学习实现的结果有一些大致的了解。在项目的早期阶段,数据科学家将帮助你将这一想法转化为实际的KPI。

2.    机器学习解决方案的强大架构设计:你需要经验丰富的软件架构师来执行此任务。

3.    适当的大数据工程生态系统(基于Apache Hadoop)是必不可少的:它允许从金融服务公司的众多孤立数据源中收集、集成、存储和处理大量数据。大数据架构师和大数据工程师负责构建生态系统。

4.    在新创建的生态系统上运行ETL过程(提取,转换和加载):大数据架构师或机器学习工程师执行此任务。

5.    数据准备:除数据转换和技术清理外,数据科学家可能还需要进一步优化数据,使其适用于特定的业务案例。

6.    应用适当的算法:基于这些算法创建模型,微调模型以及使用新数据重新训练模型。数据科学家和机器学习工程师执行这些任务。

7.    清晰可见的洞察力:商业智能专家对此负责。此外,你可能需要前端开发人员创建具有易于使用的UI的仪表板。

小型项目可能需要更少的工作量和更小的团队。例如,一些研发项目涉及小型数据集,因此他们可能不需要复杂的大数据工程。在其他情况下,根本不需要复杂的仪表板或任何数据可视化。

关键要点:

·       金融老牌企业最常使用机器学习来实现流程自动化和安全性;

·       在收集数据之前,你需要清楚地了解数据科学所期望的结果;

     在项目开始之前,需要设置可行的KPI并做出切合实际的估算;

·       许多金融服务公司需要数据工程、统计和数据可视化,而不是数据科学和机器学习;

·       训练数据集越大越清洁,机器学习解决方案产生的结果就越准确;

·       你可以根据需要随时重新训练模型,而无需停止机器学习算法;

·       没有通用的机器学习解决方案适用于不同的业务案例;

·       具有机器学习功能的财务软件的开发成本很高;

·       像谷歌这样的科技巨头创造了机器学习解决方案。如果你的项目涉及此类用例,那么你不能指望其优于Google,Amazon或IBM的算法。

原文链接

本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/521331.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

git拉取项目以及提交项目

git拉取项目以及提交项目 1.打开cmd,键入cd d: d: cd project 输入git clone 你要拉区项目的地址 2.项目地址可以在gitee.com的项目代码那里去复制 3.提交项目也可以用cmd键入命令来提交 4.一直在d盘这里键入dir cd 项目名字 git comt -…

python中int input_python中的input是什么

Python3.x 中 input() 函数接受一个标准输入数据,返回为 string 类型。 Python2.x 中 input() 相等于 eval(raw_input(prompt)) ,用来获取控制台的输入。 raw_input() 将所有输入作为字符串看待,返回字符串类型。而 input() 在对待纯数字输入…

阿里巴巴机器翻译在跨境电商场景下的应用和实践

摘要: 本文将与大家分享机器翻译相关背景知识,再深入介绍机器翻译在阿里生态中的具体应用实践,介绍基于机器翻译技术搭建的一套完善的电商多语言解决方案,最后将会从技术角度介绍阿里机器翻译在解决实际业务问题中的技术创新和亮点…

【内含福利】全球第一例:苹果Apple Card遭盗刷,物理卡或被克隆;谷歌正在试产5G智能手机,最快下周发布……...

戳蓝字“CSDN云计算”关注我们哦!嗨,大家好,重磅君带来的【云重磅】特别栏目,如期而至,每周五第一时间为大家带来重磅新闻。把握技术风向标,了解行业应用与实践,就交给我重磅君吧!重…

tomcat内存溢出

-Xms1024m -Xmx1536m -XX:PermSize128M -XX:MaxPermSize556M -Dfile.encodingUTF-8

如何用Java代码解析json

如何用Java代码解析json 今天在写项目的时候用到了json,然后尝试着Java代码解析了一下json 用相同的类型定义一个参数,然后json.与定义的参数类型一样的get方法,括号里面就是要解析的key 我图片的是嵌套json,解析两次在输出。

利用函数wavread对语音信号进行采样_AI大语音(一)——语音识别基础(深度解析)...

1 声音特性​ 声音(sound)是由物体振动产生的声波。是通过介质传播并能被人或动物听觉器官所感知的波动现象。最初发出振动的物体叫声源。声音以波的形式振动传播。声音是声波通过任何介质传播形成的运动。频率:是每秒经过一给定点的声波数量&#xff0c…

PostgreSQL PostGIS 的5种空间距离排序(knn)算法

摘要: 标签 PostgreSQL , PostGIS , operator , ops , knn 背景 PostgreSQL GiST索引支持排序接口,可以支撑空间、标准、数组、文本向量、文本等类型的排序。 标签 PostgreSQL , PostGIS , operator , ops , knn 背景 PostgreSQL GiST索引支持排序接口…

程序员为什么爱穿格子衫和卫衣?

点击上方蓝色字关注我们~兢兢业业宵衣旰食写代码造福网友承受着发际线后退和眼神涣散的双重折磨这就是程 序 员为什么这么多的程序员都爱连帽卫衣呢?在我们的卫衣上市之前,我们调查了一下,小编认为也许有以下四点原因——01小肚腩连帽卫衣的宽…

Alios Things的Flash划分规则

摘要: 为了方便大家移植Alios Things,本文给出了关于Alios Things Flash划分规则,及注意事项。 Alios Things简介 AliOS Things发布于2017年杭州云栖大会, 是 AliOS 家族旗下的、面向IoT领域的、高可伸缩的物联网操作系统,于201…

如何解决数组下标越界异常

如何解决数组下标越界异常 今天在写接口的时候运行发现有一个数组的下标越界异常了, 检查了一下发现实在上面的数组中有一些字符串没有大写,造成跟下面的数组字符串不一样,所以导致了数组下标越界异常。

centos7 yum安装ifconfig

centos7 yum安装ifconfig yum install net-tools

华为表示年内没有推出搭载鸿蒙操作系统手机的计划;OpenStack或被抛弃?iPhone至少还要三年可苹果自研5G调制解调器……...

关注并标星星CSDN云计算极客头条:速递、最新、绝对有料。这里有企业新动、这里有业界要闻,打起十二分精神,紧跟fashion你可以的!每周三次,打卡即read更快、更全了解泛云圈精彩newsgo go go 每周三次,打卡即…

获取控件enable状态_Android自定义组合控件数字加减(适用于购物车)

大家好,我是小黑,一个还没秃头的程序员~~~独学而无友,则孤陋而寡闻--《礼记学记》今天的内容是自定义一个数组加减的控件,可以应用于购物车的数量选择,效果如下:自定义实现了控件的默认值、最大值、最小值、…

IPv6转换服务正式发布

摘要: IPv6时代已来,阿里云IPv6转换服务帮忙您使现有IPv4业务快速提供IPv6访问能力 什么是IPv6转换服务 IPv6转换服务(IPv6 Translation Service)是阿里云提供的一种有状态的IPv6和IPv4网络地址和协议转换服务。 通过IPv6转换服…

【角度刁钻】如果把线程当作一个人来对待,秒懂

戳蓝字“CSDN云计算”关注我们哦!作者 | 编程新说李新杰责编 | 阿秃多线程的问题都曾经困扰过每个开发人员,今天将从全新视角来解说,希望读者都能明白。强烈建议去运行下文章中的示例代码,自己体会下。问题究竟出在哪里&#xff…

时间序列数据卡尔曼滤波_使用Highcharts和InfluxDB可视化时间序列数据

实时绘制大量带时间戳的数据往往是一项棘手的任务,需要相当多的技巧和过多的耐心。幸运的是,我们已经有了InfluxData平台来为我们提供开箱即用的许多困难。我们可以高效,安全地收集和存储数据,构建可视化,甚至设置警报…

AI又破案!衢州城市大脑这回抓了一个抢劫犯

摘要: 浙江衢州再次上演AI破案的神迹:两周时间内,衢化西路、巨化西路连续发生两起金项链抢劫案。受案发现场条件限制,视频侦查问题重重。在衢州城市大脑的帮助下,警方最终锁定犯罪嫌疑人马某并进行逮捕。经查&#xff…

用javascript进行一个简单的机器学习小实例

摘要: 本篇文章教你如何使用JavaScript在浏览器中完整地定义、训练和部署机器学习算法。 虽然它可能不是机器学习传统选择的开发语言,但是JavaScript正在证明有能力完成这样的工作——即使它目前还不能与主要的机器学习语言Python竞争。在进一步学习之前…