基于 MaxCompute 的智能推荐解决方案

简介: 在互联网行业红利已过、在获客成本越来越高、在用户在线时长全网基本无增长以及信息大爆炸的情况下,如何更好的转化新用户和提升老用户粘性就变得至关重要,智能化的个性化推荐无疑是经过验证的重要手段之一,我们每天使用的移动App或企业内都处处有其身影。

本文作者 吴世龙 阿里云智能 高级产品专

 

一、背景介绍

行业趋势

“2018年天猫双11共产生了453亿次AI个性化推荐,阿里巴巴副总裁、淘宝总裁蒋凡表示淘宝可能是全世界最大人工智能的应用,他说:“在今年双11我们也可以看到,基于个性化推荐的流量已经超过了搜索等方式带来的流量,这是一个非常非常大的变化”

信息爆炸一词最早出现在20世纪80年代,各种信息以指数级增长,如何处理过载的信息成为了重要的问题,而这对于无论是消费者还是信息发布者还是承载的平台,都意味着眼下和未来都面临着巨大的挑战,而个性化推荐系统的本质则是高效连接信息和用户,于用户满意度提升,于信息发布者获得合理的用户群,于平台价值转化最大化。

MaxCompute产品背景

MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效的分析处理海量数据。数以万计的企业正基于 MaxCompute 进行数据计算与分析,将数据高效转换为业务洞察。

智能推荐产品背景

智能推荐,基于阿里巴巴领先的大数据和人工智能技术,根据用户的兴趣偏好,解决用户需求和内容展示中间的关联问题。结合阿里巴巴在电商、内容、新闻、视频直播和社交等多个行业领域的积累,为全球企业及开发者提供云推荐服务与机器学习平台。

智能推荐在我们生活和工作中都是会遇到的,比如某工业客户,在企业内部有许多的资料供员工查看。智能推荐不止是对于ToC的企业,ToB的企业在企业内部,包括一些知名的企业,内部都是用很多资料,能够让员工方便的,快速的,高效的供员工查看。这个需求在ToB企业中也是普遍现象。ToC企业的需求更加明显,如果大家关注行业报告,会发现互联网的红利已经基本结束,用户的渗透率已经很高。那在行业发展和用户增量达到瓶颈时,用户的在线时长从2020年的6.1小时,仅仅增加到6.3小时,用户的在线时间基本上处于停滞不增加的阶段。那企业随之也会面临两个问题,一企业用户获客成本越来越高,增量的难度也越来越高。二获客成本越来越高的情况下,存量客户怎么去增加在线时长。从这两个问题表明,如何充分、高效转化不管是增量还是存量的用户,对于企业来说都是非常重要的一环。

二、智能推荐业务场景与价值

哪些行业需要智能推荐

不管是电商行业、内容行业、新闻行业包括上文讲到的行业,其实行行业业都会用到智能推荐。大家一听到智能推荐都会想到ToC的行业,但ToB的行业也是需要智能推荐,因为企业内部有大量的资料和文章。推荐本身已经渗透到我们平时用到的产品的方方面面,从产品形态来看电商,内容,新闻等都有它的身影,通过大数据+算法预测出我们更感兴趣的内容,极大的改善了用户体验;

一期1.png

痛点

电商/零售行业

•获客成本高用户留存差

•成交转化率低复购率低

•人工规则推荐效率低效果差

内容/资讯/视频行业

•获客成本高用户留存差

•用户粘性/活跃度低

•人工规则推荐效率低效果差

场景

电商/零售行业

•App首页瀑布流

•店铺首页瀑布流

•商品详情页

•卖场活动页

•其他

内容/资讯/视频行业

•首页瀑布流

•内容/资讯/视频详情页

•主题/专题瀑布流

客户使用智能推荐后的效果

从下图表中可以看出,在企业使用完智能推荐之后,各项效果指标有了明显的提升。

某知名垂类社区商城

某知名垂类电商

中青看点个性化推荐

某食谱类APP

1.png

2.png

3.png

4.png

成交转化率提升 40%+

CVR提升 100%

CTR提升 80%+

PV_CTR提升 38%

GMV提升 50%+

每用户下单数提升 89%

用户均停留时长提升 10Min

UV_CTR提升 34%

基于数据仓库的智能推荐架构

智能推荐是典型的大数据应用场景,所以强依赖于数据仓库。智能推荐在数据对接方面,基于MaxCompute来实现,通过应用MaxCompute内部的一些计算能力,能够更好的分析、管理企业的数据,从而实现智能推荐的业务场景。如果您的数据量较小,也可以通过SDK把数据推送到智能推荐,实现您的业务场景。智能推荐支持算法定制和业务定制,给予企业充分的灵活自主可控的能力。

一期2.png

三、自建痛点与产品优势

自建痛点(智能推荐)

搭建成本

•人员要求高:自建推荐系统对人员要求较高,系统开发、数据处理、召回、排序模型开发及调优,均需要高级开发&算法工程师长期参与。

•上线周期长:推荐系统架构复杂,为达到上线效果需要反复调优,所需开发时间多于3个月。

•运维成本高:升级迭代、自建系统后期有较高的维护成本。

推荐效果

•效果调优困难:套用主流算法不一定有好的效果,还需考虑应用领域数据、相关性、新颖度、时效性等多维度推荐效果

•核心指标难统一:想提高CTR的同时又增加用户停留时长,无法兼顾多个核心指标

•迭代周期长与业务快节奏:业务节奏通常很快,而内部人力有限,既要快节奏又要人力占用少还要服务稳定性高更要见效快

后续维护

•适配难度大:任何一套推荐引擎都无法完全适配企业的业务诉求,阿里云智能推荐提供了黑白盒一体化

•运营易用性:推荐系统较复杂,不具备算法知识但需要干预的运营人员上手难度大

•服务稳定性:推荐场景通常用于高流量页面,对系统性能及稳定性以及弹性要求极高

自建数据仓库面临的挑战

企业为了使用数据驱动业务发展,在建设和运营企业数据仓库时面临的问题:

1、启动成本高、建设周期长,价值难以快速验证

2、如何处理多样数据,拥抱新技术,充分挖掘数据价值

3、难以共享企业数据资产、数据创新成本高

4、平台架构复杂、运营成本高

5、满足业务需要的扩展性和弹性

一期3.png

业务增长

通过自建的方式搭一套智能推荐系统是没问题的,但搭建推荐的效果如何保障。智能推荐的效果在不同行业的定义不同,在提升效果的同时,需要在推荐系统内做大量的工作。

多场景&业务适配

•不同企业(业务目标和效果不同)

•同一企业不同阶段

•同一阶段不同场景

•同一场景不同诉求

实验平台

•选品

•召回

•排序

•业务诉求

阿里云智能推荐=领先的算法能力+稳定且高效的工程体系+完整且灵活的产品能力

一期4.png

智能推荐产品优势

开箱即用

•高度产品化、行业化(电商/内容/新闻)

•覆盖全链路(支持友盟SDK行为采集)

推荐精准

•行业、场景定向优化

•行业与阿里自研主流算法封装

•猜你喜欢&相关推荐

•多目标模型训练

全托管

•保障在线服务稳定性

•灵活升降配服务

•丰富的数据质量诊断功能,在线服务监控告警

灵活适配

•运营助手:产品和运营可快速干预推荐

•开发和算法:集成强大的离线、在线链路开发能力

MaxCompute产品优势

简单、易用

  • 数据仓库(Data Warehouse)
  • 面向数仓优化高性能存储、计算
  • 多服务预集成、标准SQL,开发简单
  • 企业级服务-内建完善的管理和安全能力
  • 服务化(As a Service)
  • Serverless、免运维
  • 按量付费、不用不花钱
  • 自动升级

5.png

匹配业务发展的弹性扩展

  • 动态扩缩容,无需提前容量规划,满足突发业务增长
  • 存储-计算独立扩展,无扩展性限制
  • 业务增长性能不降级

一期6.png

一期7.png

多分析场景支持

近实时化、交互分析、AI分析、数据湖分析方面增强,支持更多业务场景

  • 机器学习
  • PAI原生集成
  • 内置Spark ML
  • Mars科学计算
  • 传统数仓
  • ETL:SQL +UDF
  • BI:查询加速、MC-Hologres
  • 数据湖分析
  • SQL外表
  • 联邦查询
  • 非结构化数据处理
  • 近实时数仓
  • 近实时写入
  • 近实时分析

开放的平台

全托管服务上支持开放接口和生态,为数据、应用迁移、二次开发提供灵活性。

  • 管理接口开放
  • Java/Python SDK
  • 标准JDBC接口
  • 数据开放
  • 开放的导入导出数据接口(Tunnel 上下传)
  • LOAD/UNLOAD:免费、高性能导入/导出ORC、Parquet开放格式到数据湖
  • 兼容主流语法
  • MaxCompute SQL兼容Hive SQL语法
  • 支持原生Spark作业
  • 开放的生态
  • Flink/Kafka/Presto Connector
  • Airflow/Azkaban/Kettle调度
  • 支持Tableau、FineBI及通用JDBC BI工具

MC生态0720(1).jpg

四、配置与启动服务

产品使用基础流程

成本优化:可在POC阶段使用入门版实例测试,测试完成后一键升配标准版正式切流。

主要分成四个步骤:1、数据准备;2、创建实例;3、策略配置;4、测试、发布。

实现基础服务搭建只需1个普通水平的工程师花费3-5天即可完成。

一期8.png

通过历史数据( MaxCompute)启动实例

6.png

控制台配置流程

7.png

8.png

通过服务端SDK启动实例

8.png

通过友盟+服务端SDK启动实例

8.png

五、重点功能解读

猜你喜欢+相关推荐

在电商行业,智能推荐支持猜你喜欢、相关推荐这2种推荐服务类型。猜你喜欢主要应用于首页以及商品TAB页的商品瀑布流推荐,相关推荐主要应用于商品展示页、详情页的推荐。其中,种草社区可基于AIRec内容行业搭建。

1.png

2.png

3.png

4.png

实时推荐

实时交互是促进消费者沉浸式浏览的必备基础功能。智能推荐可实时学习消费者当前兴趣表达、变化,并更新在下一次生成的推荐结果中,从而实现实时的互动式推荐功能。

1.png

负反馈

推荐系统在与用户互动的过程中,有可能出现不符用户预期的推荐结果,而负反馈成为推荐与用户对话的重要入口。智能推荐支持单个商品维度、商品类目维度以及商品其他特征类维度的负反馈功能。

1.png

业务策略配置

可针对精品做人工加权,实时上下架,保证推荐质量。

可通过设置去重规则,保证在设置时间区间内,不重复给用户推荐同一商品或内容。

通过设置类目多样性规则,保证推荐的多样性,避免产品单一性。

1.png

多场景

场景作为个性化推荐的流量入口,在不同的页面/不同的用户群可进行差异化的定制。如,首页的推荐、频道页推荐、个人中心页、搜索空结果页、商品详情页、购物车页等等。推荐PLUS支持定制差异化的场景选品规则。

一期11.png

一期12.png

一期13.png

一期14.png

控制台配置规则

左侧业务定制->场景管理

1.png

A/B实验平台

流程如下

1.png

1.png

控制台配置规则

1.png

1.png

1.png

机器学习平台

100+算法组件、完整业务开发框架、拖拽式开发平台

1.png

推荐业务逻辑封装、算法模型开箱即用

1.png

可视化分析模型指标

1.png

支持离线、在线的模型部署方式

1.png

六、MaxCompute + 智能推荐学习阵地

MaxCompute学习阵地

SaaS 模式云数据仓库 MaxCompute 官网,海量学习资料,助您开启云数仓之旅!

智能推荐学习阵地

智能推荐(Artificial Intelligence Recommendation,简称AIRec)基于阿里巴巴领先的大数据和人工智能技术,结合在电商、内容、新闻、视频直播和社交等多个行业领域的积累,为全球企业及开发者提供个性化推荐服务。

原文链接

本文为阿里云原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/512598.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于MaxCompute+开放搜索的电商、零售行业搜索开发实践

简介: 搜索一直是电商行业流量来源的核心入口之一,如何搭建电商行业搜索并提升搜索效果,一直是电商行业开发者努力攻克的难题。基于传统数据库或开源引擎虽然能够搭建基础搜索服务,但随着商品数据的增多和业务流量的增长&#xff…

快速搭建实验环境:使用 Terraform 部署 Proxmox 虚拟机

作者 | Addo Zhang来源 | 云原生指北自从用上 m1 的电脑,本地开发环境偶尔会遇到兼容性的问题。比如之前尝试用 Colima 在虚拟机中运行容器运行时和 Kubernetes,其实际使用的还是 aarch64 虚拟机,实际使用还是会有些差异。手上有台之前用的黑…

linux grub 下载,GRUB 2.04发布下载,附新功能介绍

GRUB 2.04版本发布了,它是在GRUB 2.02/2.00的基础上更新的,GRUB 2.02是目前使用得最多的多重启动管理器,全称为GRand Unified Bootloader,使用它可以引导几乎所有的操作系统,包括Unix、Linux、Windows,GRUB…

Go 调用 Java 方案和性能优化分享

简介: 一个基于 Golang 编写的日志收集和清洗的应用需要支持一些基于 JVM 的算子。 作者 | 响风 来源 | 阿里技术公众号 一 背景 一个基于 Golang 编写的日志收集和清洗的应用需要支持一些基于 JVM 的算子。 算子依赖了一些库: Groovy aviatorscript 该应用有如…

低代码发展专访系列之八:低代码平台能够打破企业「应用孤岛」现象吗?

话题:低代码发展系列专访 前言:2019年开始,低代码爆火。有人认为它是第四代编程语言,有人认为它是开发模式的颠覆,也有人认为是企业管理模式的变革……有很多声音,社区讨论很热烈。CSDN随后展开低代码平台产…

redis rdb aof区别_Redis(三):持久化RDB,fork.copyonwrite,AOF,RDBamp;AOF混合使用

Redis的数据全部在内存里,如果突然宕机,数据就会全部丢失,因此必须有一种机制来保证Redis的数据不会因为故障而丢失,这种机制就是Redis的持久化机制。Redis的持久化有两种,第一种是快照,第二种是AOF日志。快…

浅谈 Linux 高负载的系统化分析

简介: 浅谈 Linux 高负载的系统化分析,阿里云系统组工程师杨勇通过对线上各种问题的系统化分析。 讲解 Linux Load 高如何排查的话题属于老生常谈了,但多数文章只是聚焦了几个点,缺少整体排查思路的介绍。所谓 “授人以鱼不如授人…

AI、元宇宙技术方兴未艾,软件测试重装上阵

Larry Bernstain 曾说过“在系统测试阶段找出并修正错误,要比开发者自己完成这一工作多付出 2 倍的努力。而当系统已经交付使用之后找出并修正错误,要比系统测试阶段多付出 9 倍的努力。” 测试用例总结,图片来源:Applause以上我们…

如何快速搭建云原生企业级数据湖架构及实践分享

简介: 众所周知,数据湖技术在大数据领域炙手可热,随着在云上的广泛部署和应用,其业务价值逐渐获得业界共识。如何快搭建数据湖架构被越来越多的企业探讨。本文主要分享快速搭建云原生企业级数据湖架构及实践分享。 王震&#xff0…

5分钟搞定AlertManager接入短信、语音等10+种通知渠道

简介: Alert Manager是开源监控系统Prometheus中用于处理告警信息的服务,通过将日志服务开放告警配置为Alert Manager中的一个Receiver,可以将Alert Manager产生的告警消息发送到日志服务。 SLS告警管理 AlertManager作为Prometheus生态系统…

c语言编程输出数组元素之和,C语言 输出一个数组中,所有元素之和为0的子序列...

本程序用到了一个时间种子,来随机产生10个整数[-5~5],函数是randData( )。还有一个计算子序列为0的函数ZeroSubarray( )。randData( )如下:int arr[10];void randData(int a[], int start, int end){srand(time(NULL));for (int i start; i …

小米百万美金大奖花落机器狗团队,5 年千亿重砸研发鼓励创新

1月4日,第三届小米百万美金技术大奖公布,CyberDog铁蛋四足仿生机器人在 68个参评项目中脱颖而出,一举获得最高奖。值得一提的是,该团队拥有两名 2020 年应届毕业生成员。 小米集团创始人、董事长兼CEO雷军在微博高兴地说道&#x…

日志审计携手DDoS防护助力云上安全

简介: 本文主要介绍日志审计结合DDoS防护保障云上业务安全的新实践。 日志审计携手DDoS防护助力云上安全 1 背景介绍 设想一下,此时你正在高速公路上开车去上班,路上还有其他汽车,总体而言,大家都按照清晰的合法速度…

MySQL 深潜 - 一文详解 MySQL Data Dictionary

简介: 在 MySQL 8.0 之前,Server 层和存储引擎(比如 InnoDB)会各自保留一份元数据(schema name, table definition 等),不仅在信息存储上有着重复冗余,而且可能存在两者之间存储的元…

中国加速计算市场第二名,宁畅正领跑“智能算力定制”赛道

构建“元宇宙”最缺什么?对此,服务器新一线厂商宁畅给出的答案是“定制化算力”。 2022年1月6日,在“创立两周年媒体会”上宁畅透露,伴随IT头部企业进入“元宇宙”赛道,以及宁畅“智定”战略推进,2021年宁…

CPU Burst有副作用吗?让数学来回答!| 龙蜥技术

简介: 使用CPU Burst的副作用是什么?是否有不适用的场景呢?戳我给你答案~ 编者按:CPU Burst 特性已合入 Linux 5.14,Anolis OS 8.2、Alibaba Cloud Linux2、Alibaba Cloud Linux3也都支持CPU Burst特性。 在系列文章的…

用了 HTTPS,没想到还是被监控了!

作者 | 轩辕之风来源 | 编程技术宇宙大家好,我是轩辕。上周,微信里有个小伙伴儿给我发来了消息:随后,我让他截了一个完整的图,我一瞅,是HTTPS啊!没用HTTP!再一瞅,是www.b…

AI让边缘更智能 边缘让AI无处不在

简介: 城市管理和城市服务逐步走向智能化,智慧化。到2019底,全国100%的副省级城市,95%以上的地级市,以及50%以上的县级市均提出建设新型智慧城市,并已经有32个主要城市成立了专门的大数据管理机构&#xff…

开源自建/托管与商业化自研 Trace,如何选择?

简介: 随着微服务架构的兴起,服务端的调用依赖愈加复杂,为了快速定位异常组件与性能瓶颈,接入分布式链路追踪 Trace 已经成为 IT 运维领域的共识。但是,开源自建、开源托管或商业化自研 Trace 产品之间到底有哪些差异&…

python 覆盖list_【Python妙招】gt;gt;gt;看腻了能不能换成别的啊……当然可以啦:)...

原文作者:站在两个世界边缘 & 小象编辑:VL今天给大家介绍几个Python里(可能没那么广为人知的)小知识,希望能给大家带来帮助,让编程更有乐趣。1.如何修改解释器提示符正常情况下,我们在终端下执行Python 命令是这样…