“刺激的”2017双11 阿里安全工程师首度揭秘智能风控平台MTEE3

摘要: “太刺激了,太刺激了!如果那个48%真出问题,整个安全部的双11就可能是3.25!”

“太刺激了,太刺激了!如果那个48%真出问题,整个安全部的双11就可能是3.25!”知命推了推眼镜,语速明显快了一些。伴随着肢体语言,知命表现出来的是程序员解除了重大Bug时的那种兴奋与激动。
图片描述

用这部IMDB评分最高的电影向阿里安全的工程师致敬

MTEE3是什么?那个48%又是什么鬼?

知命,阿里安全业务安全产品技术高级专家,智能风控平台MTEE3的技术负责人。这一切,他向我们和盘托出。

MTEE3,性能、智能双重加持

MTEE3的中文名称叫业务安全智能风控平台,最后面的3代表这是全新一代的3.0系统。这套系统的功用是为阿里经济体的各类核心业务提供账号安全、黄牛刷单、活动反作弊、内容安全、人机识别等几十种风险的防护与保障。据悉,在2017天猫双11当天,MTEE3处理了超过300亿次的业务风险扫描,扫描峰值超过200万次/秒,这组数据在全球来看也是独一无二的,同时也证明了系统的性能非常强悍。

为了便于我们更了解,知命先做了业务安全的概念普及。

“MTEE3是业务层的安全防控平台。”知命向笔者解释道。据知命介绍,从业务层来看,传统的安全威胁,如盗号、垃圾账号(通过机器批量申请的帐号)等,对于网站的正常运营是有影响的。黑灰产利用这些账号来抢红包、薅羊毛。

“防羊毛党,我们叫营销反作弊;还有就是黄牛党,我们的平台有很多热销产品,比如酒水、手机等;还有识别机器行为的人机防控;还有就是内容方面的防控。这些都是在网络层以上的,我们叫业务安全。”知命说。

据介绍,阿里的业务安全,基于大数据实时分析建模技术,通过每个用户行为背后数千个数据指标的实时计算,利用规则引擎、模型引擎、关系网络、团伙分析、设备画像、语义分析、机器视觉等技术对风险进行快速有效的防控,而运行的平台就叫MTEE3。MTEE3上部署了大量的规则和模型,为阿里经济体多个业务提供防护。“我们将用户的行为称为‘事件’,比如用户的注册、登录、修改基础信息、聊天、下单、支付、发货、收货、评价等等,每个行为点上我们都会去进行防控。”知命告诉笔者,正是因为进行全链路的防控,所以MTEE3能够“轻易地”识别出恶意账号等。

MTEE3的“轻易地”还包含了其毫秒级的响应能力,今年双11,MTEE3将下单环节的风险扫描控制在10毫秒左右,用户几乎无感知。

综上所述,MTEE3的性能是非常强大的,但除此之外,它还具备了智能的特性。对此,知命也进行了详细的解释。

对于正常的用户、机器账号,抑或是黄牛,MTEE3会分析很多的变量(指标),然后综合进行判断。这些变量有多个维度,这些维度包括有账号、设备、环境、内容以及用户的行为等。

“MTEE3对这些信息进行实时的计算和分析,而且这个过程需要在极短的时间内完成。”知命说。

知命表示,MTEE3都是基于信息流的计算,它并不是将所有的数据保存下来,然后再通过数据库去查询,因为这样效率会非常低。阿里安全的工程师赋予MTEE3的是一边计算一边存储的模式,经过计算后,得出结论,然后将结果返回给交易,最后再存下来。“MTEE3其实具备的是流式计算的能力。”知命说。

知命告诉笔者,基于规则和模型的安全防控,基本上历年都在用。而今年安全策略中心团队在双11智能化上的突破,是全新启用了决策天平,利用机器学习算法进行智能化决策,并在双11中使用,首战告捷。决策天平综合考虑风险防控、用户体验、商业考量等多方面因素,利用全局寻优算法计算当前最优解,并考虑到风险分布的变化,利用强化学习对最优解进行修正,产出下一时刻的风险处置决策,通过系统自动化执行决策,同时利用实时计算做到了秒级的决策方案更新。决策天平打造了未来风控模式的雏形。

“刺激的”2017双11

对于知命和他的团队来说,2017年的双11是相当“刺激”的。

首先,他们要解决性能的问题。如果只是简单地叠加资源,比如增加服务器数量,这个问题看上去似乎也不是那么的难。然而,事实却是,知命面对的是资源的增长只有那么一点点,但要求的指标,比如交易峰值,却是要比去年双11翻倍。

这个问题怎么解?

阿里安全的工程师对计算引擎进行了完全重写方式的改造,目的就是让它算得更快,性能提升100%有余;同时,对策略体系的部署进行优化;而与其他安全防护层,比如网络层,进行实时联动,提升整体的效率。

另外,2017双11,安全策略中心团队和产品技术团队一起针对策略体系也进行了重构改造,建立起层次化、体系化的策略架构,去除策略孤岛,规则和机器学习模型有机组合,筑起全新的防控大坝,提升对风险的覆盖率和精准度。

知命告诉笔者,由于补贴方案到最后两天都还会有变更,因此相应的策略、模型和规则等都会产生实时的变化,同时,黑产从哪里来,这个也无法确定。这三方面的“不确定”,让阿里安全的技术团队承受着极大的压力。

然而,知命和他的团队还是提出了解决方案。“由于这些不确定性,所以我们今年决定要容忍一些变化。特别是计算引擎,我们希望在策略变化的前提下,系统的性能是能保证的,资源消耗要在同一量级,而不是说线性增长。”知命说。据介绍,MTEE3项目团队做了相当多的工作,比如,将规则引擎、模型引擎进行重构改造,特别是规则引擎全部重写。经过改造之后,MTEE3的性能成倍增长。

“我们做这个项目,双11是个重要的节点,但并不是只为了它,更是要为未来做准备,是为了策略的重构做升级。计算引擎一直在运行,运行过程中进行升级,相当于是给飞行中的飞机换引擎,这是相当大的挑战。”知命说。

实际上,MTEE3是2017年3月份才上线的。但是,到618的时候并没有被应用,而99酒水节才是真正意义上的实战检验。而这次之后,就是双11了。

我们非常好奇,双11前夕,知命和他的团队是怎样的状态和节奏?

11月8日,MTEE3接到最后一个需求变更。这个时间点,原本是不再允许接受新的需求变更了,但经过各个Leader的综合判断,这个变更必须进行。

11月9日晚上十点的时候,知命和小伙伴们还在反复地测试MTEE3。到了11月10日早上七点,反复测试多轮,所有功能点终于全部验证完毕。

一切看上去似乎风平浪静。

然而,早11月10日零点的时候,又发现了一个“大问题”。“安全策略工程师发现:下单场景下,安全防控策略存在48%的防控拦截失败?最大的挑战在于阿里安全的工程师不确定究竟是所有策略出了问题,还是只有一条策略是这样。但此时,距离2017双11已经不足24小时。”知命说。

“本来大战前1天是希望大家休息一下了,但还是赶紧把所有人叫起,排查这个问题。”知命说,“最后搞到11月10日凌晨三点多,幸好最终查证是虚惊一场。这个是真的非常刺激!”

MTEE3保护着上亿的资金,如果双11当天,这48%拦截失败,后果无法想象。“今年跟以前不一样,今年是前期的准备压力特别大。特别是那个48%,太刺激了,太刺激了。如果这个没防住,整个安全部的双11就可能是3.25!”知命说。

直到11月10日晚上,知命还在和策略中心团队对焦重点防控人群的问题,而最终敲定具体的策略已经是当晚八点多钟。

但真正到了11月11日零点的时候,负责MTEE3系统的工程师反而放松下来。“去年,我们整整待了36个小时,加上跨境,一共是38个小时。今年,待到晚上2点多,很多同学就已经可以回去睡觉了。”知命淡淡地说到。

作者:华蒙

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/523283.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

你相信逛B站也能学编程吗?

戳蓝字“CSDN云计算”关注我们哦!作者 | 徐麟来源 | 数据森麟作者:徐麟,某互联网公司数据分析狮,个人公众号数据森麟(id:shujusenlin)前言很多人提到B站,首先想到的就会是二次元或者…

创建小程序

注册账号:https://mp.weixin.qq.com/

spring boot集成mybatis和springsecurity实现权限控制功能

上一篇已经实现了登录认证功能,这一篇继续实现权限控制功能,文中代码只贴出来和上一篇不一样的修改的地方,完整代码可结合上一篇一起整理spring boot集成mybatis和springsecurity实现登录认证功能-CSDN博客 数据库建表 权限控制的意思就是根…

基于云上分布式NoSQL的海量气象数据存储和查询方案

摘要: 气象数据是一类典型的大数据,具有数据量大、时效性高、数据种类丰富等特点,每天产生的数据量常在几十TB到上百TB的规模,且在爆发性增长。如何存储和高效的查询这些气象数据越来越成为一个难题,本文针对气象领域中…

现代IM系统中消息推送和存储架构的实现

摘要: 前言 IM全称是『Instant Messaging』,中文名是即时通讯。在这个高度信息化的移动互联网时代,生活中IM类产品已经成为必备品,比较有名的如钉钉、微信、QQ等以IM为核心功能的产品。当然目前微信已经成长为一个生态型产品&…

漫画:为什么程序员没有女友?

戳蓝字“CSDN云计算”关注我们哦!作者 | 程序员小灰————— 五分钟后 —————ERNIE是百度开源深度学习平台飞桨(PaddlePaddle)推出的知识增强语义表示模型,通过海量数据建模词、实体及实体关系。相较于 BERT 学习原始语言信…

基于TableStore的数据采集分析系统介绍

摘要: 摘要 在互联网高度发达的今天,ipad、手机等智能终端设备随处可见,运行在其中的APP、网站也非常多,如何采集终端数据进行分析,提升软件的品质非常重要,例如PV/UV统计、用户行为数据统计与分析等。虽然…

idea 暂存文件或idea切换分支代码不见了

idea切换分支时,修改过的代码文件全部不见了 找了一下问题,切换分支时,idea自动会创建暂存文件, 点开,右边View --> 即可显示暂存文件。 点击Apply Stash 即可将暂存文件应用到当前分支。 如果发现此方法还是不行…

微服务架构之「 访问安全 」

戳蓝字“CSDN云计算”关注我们哦!作者 | 奎哥来源 | 不止思考应用程序的访问安全又是我们每一个研发团队都必须关注的重点问题。尤其是在我们采用了微服务架构之后,项目的复杂度提升了N个级别,相应的,微服务的安全工作也就更难更复…

百亿级全网舆情分析系统存储设计

摘要: 前言 在时下互联网信息的浪潮下,信息的传播速度远超我们的想象。微博里一条大V的帖子,朋友圈的一个状态更新,热门论坛的一条新闻,购物平台的购物评价,可能会产生数以万计的转发,关注&…

面试官:你简历中写用过docker,能说说容器和镜像的区别吗?

戳蓝字“CSDN云计算”关注我们哦!作者 | bethal来源 | http://sina.lt/gfmf这篇文章希望能够帮助读者深入理解Docker的命令,还有容器(container)和镜像(image)之间的区别,并深入探讨容器和运行中…

IPv6终于要取代IPv4了!阿里云将全面提供IPv6服务

摘要: 近日,中办国办印发《推进互联网协议第六版(IPv6)规模部署行动计划》,加快推进基于IPv6的下一代互联网规模部署,计划指出到2018年末国内IPv6活跃用户数要达到2亿,2020年末达到5亿&#xff…

SDN精华问答 | 为什么会出现SDN?

SDN火热了好一阵子,无论运营商、政府企业、投资机构,一段时间,不知道SDN、不能甩几个SDN相关的名词术语,似乎都落后于时代了。今天,就来看看关于SDN的精华问答吧。1Q:SDN的本质属性? A&#xff…

一张图看懂2017双11中的网络产品和技术

摘要: 大家都知道,2017年双11又创造了新纪录,全天交易额1682亿,交易峰值32.5万笔/秒,支付峰值25.6W笔/秒,狂欢的背后是极其复杂庞大的技术系统,其中就有大量阿里云云计算相关的产品和技术&#…

开源Elasticsearch云托管服务,专享企业级服务

摘要: 日前,阿里云联合开源官方Elastic联合发布了Elasticsearch新产品。该产品基于开源Elasticsearch及商业版X-Pack插件的云托管服务,保证高性能、高可用,可弹性扩容,并提供企业级权限管控、安全监控告警等高级功能,适…

Ivanti罗琦:IT服务管理中“拧紧螺丝”要有门道儿!

戳蓝字“CSDN云计算”关注我们哦!作者 | 刘晶晶Ivanti与科大讯飞的携手合作!初听这一消息,阿晶惊讶不已。毕竟科大讯飞擅长语音众所周知,Ivanti更专攻IT服务管理,看似“不相关”的两家企业,却有了某种隐含的…

CDN价格下调25% 阿里云再次冲击国内最低价

摘要: 在刚刚圆满落幕的云栖大会广东分会上,阿里云发布了很多重磅信息,其中不乏很多核心产品折扣幅度调整的信息。令人惊喜的是,阿里云CDN价格再次下调,降幅高达25%。降价完成后,带宽单价最低只需0.54元/Mb…

SpringBoot整合Spring Cloud Alibaba

spring-cloud官方中文文档https://www.springcloud.cc/spring-cloud-dalston.htmlspring-cloud官方文档https://cloud.spring.io/spring-cloud-static/Greenwich.SR1/single/spring-cloud.html#_quick_start_6Spring Cloud Alibaba官方文档https://github.com/alibaba/spring-c…

产品经理教你玩转阿里云负载均衡SLB系列(一):快速入门--什么是负载均衡

摘要: 负载均衡是一种技术,从字面意义上理解,就是让负载(变得)均衡,负载是什么呢?可以理解为工作量、工作强度。用日常生活中的例子来打比方,一群建筑工人,盖一幢楼房,有搬砖的&…

android touch事件坐标原点,Android onTouch事件与手势操作

触摸,手势操作已经很好的融入了我们的生活。那么Android开发中触摸事件要如何捕捉?如何处理?如何识别手势?事件的传递机制又是怎么样的?下面我们将通过一个小例子来进行这方面的学习。先看效果图如上图所示&#xff0c…