你好,我是周大壮。目前,我已在搜索推荐等算法技术领域从事研发近 10 年,做过诸多流量分发领域的算法技术工作。
如今任公司同城的算法架构师、技术委员会人工智能分会委员、公司本地服务事业群算法策略部负责人,我主要负责公司集团四大业务板块之一本地服务事业群算法能力基础建设(包括本地服务业务中搜索推荐推送、知识图谱、信息爬取、标签等系统)。
在工作期间,我不仅带领了 20+ 团队从 0 到 N 构建了一套推荐系统工程和算法体系,还支持了公司同城本地服务、到家精选品牌业务、到店及社区产品的流量分发和营销业务。
为什么要学习推荐系统?
近年来,深度学习技术的快速发展,大大加速了人工智能在传统和互联网领域的商业化落地。现如今,人工智能的应用已如雨后春笋般渗透到我们衣食住行的方方面面。比如无人超市的面世、无人驾驶汽车的正式上路、智能手机刷脸识别模式、医疗图像技术等。
与此同时,面对时间的碎片化、信息的同质化/海量化、用户选择项的增多和用户耐心的减退,如何满足用户需求、拓展用户需求、驱动业务增长、优化行业生态等,成了各个行业亟待解决的问题。因此,个性化推荐系统便应运而生了。
比如公司同城本地服务涉及 200+ 个行业(如家政、装修、租车、教育培训等),业务生态涉及面非常广且杂,这就大大超出了我们主动获取信息的能力。此时,在不同场景下,我们就不得不利用推荐技术实现供需匹配,因为它具备如下几点优势。
对用户而言:
-
帮助用户快速、精准获取信息,降低用户获取信息和做决策的成本;
-
挖掘用户需求,持续为用户带来惊喜感和新鲜感。
对商家而言:
-
通过建立反馈机制和用户交互,不断优化对用户群体的认知,从而不断提升系统精准度和用户体验;
-
通过个性化服务实现商品精准投放,从而降低商品周转时间、减少库存积压,进而大幅提升产品销量;
-
让用户产生强烈的信赖感和依赖感,提升用户对产品的黏性,从而增强平台商业变现能力。
公司同城本地服务推荐系统上线之后,支持了多个业务,几十种不同应用场景的产品需求,大幅提升了产品的转化率和用户黏性。相对原有的简单推荐策略,个性化推荐系统在各个业务应用中的转化率效果平均提升幅度达 1 倍以上。
不仅仅是公司同城,很多耳熟能详的产品也都有着强大的推荐系统。也就是说推荐系统早已成为所有互联网产品的标配,并在电商、音视频、新闻资讯、图书、社交、教育等多种领域都有所应用。
可以说,一个好的推荐系统是一个产品成功的重要保证。
也正是基于此,各大公司纷纷放出了众多推荐系统相关的职位(一线大厂岗位也很多)。通过查询拉勾招聘官网,我们发现 1~3 年经验推荐系统算法工程师的薪资最低都是 20K 起,且主要都是大厂,如下图所示:
由此可见,熟练掌握了推荐系统相关知识将在职场中更吃香,不仅薪水高、就业范围广,还更容易挤进大厂。
加之,企业都要求面试者熟悉常用的推荐算法、具备一定的算法功底和工业实践经验,也就是说想真正做好一个推荐系统,技术门槛相对较高,可一旦我们做好了,不可替代性更强。
不过,在学习推荐系统时,我们往往会遇到以下挑战:
-
因为推荐场景主要在各个大厂广泛应用,很多中小厂的工程师对于推荐系统的产生不知所云,不知道到底需要掌握哪些知识。
-
人工智能领域各大论文数量呈现井喷趋势,网上推荐系统相关的学习资料汗牛充栋。而这些资料基本是东拼西凑,没有实质性含量,我们也就很难在学习时摸出推荐系统的门道。
-
推荐算法作为推荐系统中非常核心且关键的部分,很大程度上决定了推荐系统性能的优劣。现如今,推荐算法种类较多,使得很多人对算法存在误解,以为只有高深的算法才能搭建一个好的推荐系统,其实不然。 一个好的、有效的推荐系统应该建立在具体的问题之上,并寻找最合适的推荐算法进行解决。
掌握推荐系统的发展规律,才是根本
为此,公司技术委员会与拉勾教育共同推出了这个专栏,这也是我个人 10 多年推荐算法实战经验的浓缩与提炼。
公司技术委员会由公司集团内部各技术通道的专家组成,是一个以把握技术方向、建设技术人才梯队、营造技术氛围、鼓励技术创新、推动开源项目为主要目标的技术领导机构。
在《易经》中,我们把事物发展划分为潜龙勿用、见龙在田、终日乾乾、或跃在渊、飞龙在天、亢龙有悔这六个阶段,它描述了事物从孕育——出生——发展——壮大——成功——衰败的自然规律。在学习推荐系统时,我们同样需要经历这六个阶段。
我根据这六个阶段划分为了 5 大内容模块(结语“亢龙有悔”),总计 18 讲,旨在帮助你从入门到精通,了解推荐系统的相关知识脉络、推荐算法的基本原理,并结合实战经历助你融会贯通,进而在职场中保持核心竞争力,让自己无可替代。
模块一:推荐系统基础篇(潜龙勿用)
此模块属于推荐系统的入门阶段,我将讲解推荐系统有关的理念、基础数据体系搭建等知识。学完这部分内容,你将快速掌握互联网业务场景、推荐系统的作用、埋点上报、用户和物品画像,以及标签挖掘、A/B 测试系统等基础系统的做法。
模块二:传统推荐算法的演化之路(见龙在田)
此模块主要讲解相对容易的传统机器学习推荐算法,它也是推荐算法的基础。学完这部分知识,你将掌握传统经典推荐算法的原理,以及传统推荐算法的发展脉络,此时才能把推荐算法工作做到及格。
模块三:深度学习推荐算法的演化之路(终日乾乾)
此模块主要从系统化的角度讲解20+ 种常见的深度学习推荐算法,学习难度比较大,也是本课程中相当重要的内容。学完这部分知识,你将真正掌握最有影响力的深度学习推荐算法及其发展脉络,从而将推荐算法工作做到 80 分,并以此为基准向着更高、更远的方向前进。
模块四:推荐系统绕不开的经典问题(或跃在渊)
此模块属于推荐系统的进阶内容,其中的问题也是在你在落地过程中一定会遇到的。因为使用算法模型时,我们需要结合当前业务场景进行选择,所以这部分内容将结合迁移学习、强化学习等实际业务落地场景,介绍推荐领域独特问题和经典问题的解法,助你增强解决实际问题的能力。学完后,你将知晓如何在特有场景下通过推荐算法做好一个推荐系统。
模块五:推荐系统理论与实战篇(飞龙在天)
此模块属于推荐系统的拔高内容,我将以公司同城本地服务业务为背景,详细介绍如何根据实际业务的特点和难点构建流量分发体系,以及在体系分层优化中如何结合算法和工程能力实现推荐算法大串讲及工程化实践方案的落地。这部分知识,将助你进一步巩固前面所学,熟悉整个流量系统的搭建过程和推荐各阶段个性化优化方法,并积累丰富的实战经验。
如果你是一名互联网非算法从业人员,想了解推荐系统,本专栏将由浅入深为你讲述推荐系统的来龙去脉;如果你是一名算法工程师,在推荐算法中迷失了自己,本专栏将为你拨云见日,梳理和把握推荐领域的算法知识体系与脉络。
讲师寄语
以上五个阶段就是系统的推荐系统知识体系,因为前面的模块是下一个模块的基础,所以我们绝不可跳过前面的内容或者省略其中一个步骤往下学,而需要稳扎稳打。只有这样,我们才能顺其自然地到达最高阶段。到了那个时候,使用推荐系统相关知识时,相信你绝对能信手拈来、游刃有余。
《道德经》中宣扬“大道至简”,也就是说无论万物如何变化多端终会回归根本,而掌握了这个根本的人才能从中把握客观规律,从而面向未来。
我相信“吾道不孤”,你与其奔波于大小行业会议被搞得懵懵懂懂,不如与我一起解构推荐系统。把你关于推荐系统的相关困惑与经历,在留言区说给我听?