ctr/cvr预估之DeepFM模型

ctr/cvr预估之DeepFM模型

在数字营销的浪潮中,点击率(CTR)和转化率(CVR)预估已成为精准广告投放和个性化推荐系统的核心。随着深度学习技术的蓬勃发展,传统的机器学习方法,如逻辑回归和因子分解机(FM),虽然在某些方面表现出色,但在处理高维稀疏数据和捕捉复杂特征交互方面逐渐显现出局限性。为了突破这一瓶颈,DeepFM模型应运而生,它巧妙地结合了深度学习与因子分解的思想,旨在更深层次地挖掘用户行为背后的模式。

文章目录

  • ctr/cvr预估之DeepFM模型
  • 一、什么是DeepFM模型
  • 二、DeepFM模型提出背景
  • 三、DeepFM模型原理
  • 四、DeepFM模型注意事项
  • 五、DeepFM模型的核心参数
  • 六、DeepFM模型实现代码


一、什么是DeepFM模型

DeepFM模型是一种结合了因子分解机(Factorization Machines, FM)和深度神经网络(Deep Neural Network, DNN)的推荐系统模型,它专门设计用于处理点击率(CTR)预估问题。DeepFM模型的核心思想是同时捕获低阶和高阶的特征交互,这在提高模型预测准确性方面非常关键。

二、DeepFM模型提出背景

DeepFM模型的提出背景主要是为了解决传统推荐系统中特征工程复杂度高、难以处理大规模数据等问题。随着大数据时代的到来,推荐系统成为互联网应用中不可或缺的一部分,但同时也面临着新的挑战。传统的推荐系统在特征处理上通常需要大量的手工特征工程,这不仅增加了系统的复杂性,也限制了模型处理大规模稀疏数据的能力。

为了克服这些挑战,研究者们提出了多种深度学习模型,DeepFM便是其中的佼佼者。它是基于Wide & Deep模型的改进和提升,将因子分解机(FM)和深度神经网络(DNN)相结合,通过同时学习低阶和高阶特征交互,实现了强大的推荐功能。DeepFM模型通过FM部分学习低阶特征交互,而DNN部分则负责学习高阶特征交互,两者共享相同的输入特征,从而简化了特征工程。

此外,DeepFM模型的提出也是为了充分利用深度学习在自动特征学习方面的优势,同时保留FM在处理稀疏数据和捕获特征交互方面的高效性。通过这种结合,DeepFM能够自动学习数据中的复杂模式,并提供更加精准的推荐结果。模型的端到端学习能力和不依赖于特征工程的特点,使其在CTR预估领域得到了广泛应用。

三、DeepFM模型原理

DeepFM模型结构
在这里插入图片描述
DeepFM模型由Wide&Deep模型演化而来,在Wide部分使用FM代替了Wide&Deep中的LR模型,有了FM自动构造学习二阶(考虑到时间复杂度原因,通常都是二阶)交叉特征的能力,因此不再需要特征工程。Wide&Deep模型中LR部分依然需要人工的特征交叉,比如【用户已安装的app】与【给用户曝光的app】两个特征做交叉。并且在DeepFM模型中,FM模型与DNN模型共享底层Embedding向量。

  1. 因子分解机(FM)部分

线性交互:FM的第一部分是线性回归部分,它处理所有特征的一阶线性关系。

二阶交互:FM的核心在于它可以有效地计算任意两个特征间的二阶交互,而不需要显式地为每对特征创建交互项。它通过将每个特征映射到一个低维空间来实现,交互项的权重是通过这些低维向量的点积来计算的。这种方法使得模型能够捕捉到特征间的相互作用,同时保持参数数量和计算复杂度相对较低。

  1. 深度神经网络(DNN)部分

高阶交互:深度网络部分能够学习输入特征的高阶交互关系。与传统的多层感知机(MLP)相似,这一部分由多个隐藏层组成,每一层都是前一层输出的非线性变换。

特征嵌入共享:DeepFM的一个关键创新是FM部分和DNN部分共享相同的特征嵌入。这意味着输入到FM和DNN的特征表示是相同的,这样可以有效地减少模型需要学习的参数量,并且使得学习到的特征表示在两个模型部分中都是一致的。

  1. 结合FM和DNN

输出层:DeepFM模型的输出是FM部分和DNN部分的结果的组合。这通常通过将两部分的输出求和或连接后通过一个或多个全连接层来实现。

优化和训练:整个模型可以端到端地进行训练,通常使用如梯度下降的优化算法来最小化预测误差(如二元交叉熵损失)。

四、DeepFM模型注意事项

对于长度不一致的特征,FM模型通过将这些特征转换为固定长度的向量来处理它们之间的交叉项,通常通过特征的嵌入(Embedding)实现。

对于多特征的场景,一般会将各个特征嵌入到相同的维度,然后进行拼接,拼接后的总维度就是各个嵌入维度之和,在FM层处理时,关注的是处理后的嵌入特征,而非原始的输入维度。

FMLayer层的关键在于计算两个部分:一是所有嵌入向量的和的平方,二是所有嵌入向量的平方的和。然后,将前者减去后者,乘以0.5得到交叉项。

五、DeepFM模型的核心参数

DeepFM模型的核心参数

六、DeepFM模型实现代码

DeepFM模型实现代码
欢迎关注我的公众号~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/861007.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Websocket实现方式一

创建Websocket处理器继承AbstractWebSocketHandler 覆写public void afterConnectionEstablished(WebSocketSession session)方法,建立Websocket连接覆写protected void handleTextMessage(WebSocketSession session, TextMessage message)方法,处理接收…

【Python】Python异常处理及常见错误详解

Python是一种动态类型的高级编程语言,其简单易懂的语法和强大的功能使其成为当今最流行的编程语言之一。然而,在编写Python代码时,我们难免会遇到各种错误。理解和处理这些错误是每个Python开发者必备的技能。本文将深入探讨Python中的异常处…

会声会影2024破解版本激活码注册机免费安装包下载

今天我要来和大家安利一款让我彻底改变对视频创作认知的神器 —— 会声会影2024!✨🎉 会声会影全版本绿色安装包获取链接:(抓紧保存以防失效) https://pan.quark.cn/s/06e2f90a8526 会声会影最新一键安装包下载如下…

数据分析必备:12个“地表超强”数据可视化工具推荐!

数据可视化之所以流行,不仅是因为它简化了我们查看复杂数据的方式,更是因为数据可视化可以加快我们获取数据信息的速度。但对于初学者来说,使用数据可视化工具并不能快速启动。因此,本文专门为您列出了12个免费的数据可视化工具&a…

期货交易什么是锁仓,锁仓有什么利弊

锁仓是期货交易中的一种操作,指的是投资者在持有合约头寸的同时,通过建立相反的合约头寸来对冲风险,以保护自己的投资。锁仓可以通过买入或卖出相同数量的相同合约来实现,使投资者的净头寸为零。 此时无论行情上涨或者下跌&#…

互联网医院系统开发中的移动端应用设计

在现代医疗服务中,互联网医院系统逐渐成为提升患者体验和优化医疗资源的重要手段。而移动端应用作为互联网医院系统的关键组成部分,其设计和开发尤为重要。本文将从设计原则、技术架构和具体实现等方面探讨互联网医院系统中的移动端应用设计,…

Apple - View Programming Guide

本文翻译整理自:View Programming Guide(更新:2013-08-08 https://developer.apple.com/library/archive/documentation/Cocoa/Conceptual/CocoaViewsGuide/Introduction/Introduction.html#//apple_ref/doc/uid/TP40002978-CH1-SW1 文章目录…

threejs tween补间动画(七)

1.引入依赖 import * as THREE from three import { OrbitControls } from three/examples/jsm/controls/OrbitControls.js//引入相机轨道控制器 import { GLTFLoader } from three/examples/jsm/loaders/GLTFLoader.js//引入GLTF模型加载器 import { DRACOLoader } from thre…

用本地电脑连接centos

要从本地计算机链接到CentOS服务器,通常可以使用SSH(Secure Shell)。以下是如何使用SSH命令从本地计算机连接到CentOS服务器的步骤: 打开终端(在Linux或Mac上)或者使用SSH客户端(在Windows上&a…

汽车零部件制造企业如何选择合适的ESOP电子作业指导书系统

随着汽车产业的不断发展,汽车零部件制造企业在提高生产效率和产品质量方面面临着越来越大的挑战。为了解决这些问题,越来越多的汽车零部件制造企业开始采用ESOP电子作业指导书系统,以帮助他们管理和优化生产流程。但是,在选择合适…

【ppt技巧】有哪些方法可以实现?PPT转换为图片!

将ppt文件转换为图片都有哪些方法可以实现?其实很简单,一起来看一下如何操作吧! 方法一: 使用格式转换器,有些文件格式转换器,支持ppt转换为图片。 方法二: 不需要转换器,直接在…

Pixel手机中文网-全球最大的华人Pixel手机论坛

Pixel手机中文网,使用Pixel手机华人的聚集地,快来加入这个大家庭分享和创作吧 😃 googlepixel.cn

Batch入门学习:从零开始掌握批处理脚本

目录 1. Batch脚本简介 1.1 什么是Batch脚本? 1.2 Batch脚本的历史 1.3 Batch脚本的应用场景 2. Batch脚本基本语法 2.1 注释 2.2 变量 2.3 常用命令 2.3.1 ECHO 2.3.2 PAUSE 2.3.3 CLS 2.3.4 GOTO 2.3.5 IF 2.3.6 FOR 2.4 参数传递 2.5 输入输出重定向 3. B…

STM32之三:中断外部中断

目录 1. 什么是中断 1.1 中断概念 1.2 中断优先级 1.3 中断嵌套 2.STM32中断 2.1 NVIC中断优先级 3 外部中断 3.1 EXTI简介 3.2 EXTI中断/事件线 3.3 EXTI功能框图 3.4 中断和事件的区别? 3.5 什么时候用外部中断? 3.怎么使用STM32中断 3.…

stm32F4库函数c++和C混合编程笔记20240626

1、有时候需要用到c的一些特性,封装,类等等。 2、研究一下如何更改之前c工程的内容,实现混合编程。 操作 1、keil设置 2、要重新建立一个main文件,后缀名是cpp,cpp才能调用cpp. 后面如果要用到c特性的,需要…

msvcr100.dll丢失的解决方法,学会这几种方法都能快速解决dll丢失

一、 msvcr100.dll丢失原因分析 系统文件损坏 系统文件损坏是导致msvcr100.dll丢失的常见原因之一。这种情况可能由多种因素引起,包括但不限于: 磁盘错误:磁盘的物理损坏或逻辑错误可能导致系统文件损坏。 病毒或恶意软件攻击&#xff1a…

【探索Linux】P.35(传输层 —— UDP协议)

阅读导航 引言一、UDP协议端格式二、UDP的特点三、UDP的缓冲区四、基于UDP的应用层协议温馨提示 引言 在上一篇文章中,我们深入探讨了网络协议的应用层,揭示了各种协议如何协同工作以确保信息在网络中正确、高效地传递。从HTTP到FTP,每一层协…

C++ Thead多线程 condition_variable 与其使用场景---C++11多线程快速学习

std::condition_variable 的步骤如下&#xff1a; 创建一个 std::condition_variable 对象。 创建一个互斥锁 std::mutex 对象&#xff0c;用来保护共享资源的访问。 在需要等待条件变量的地方 使用 std::unique_lock<std::mutex> 对象锁定互斥锁 并调用 std::conditio…

6.二叉树.题目2

6.二叉树.题目2 题目9.找树左下角的值10.路径总和11.从中序与后序遍历序列构造二叉树12.最大二叉树13.合并二叉树14.二叉搜索树中的搜索15.验证二叉搜索树16.二叉搜索树的最小绝对差 总结 题目 9.找树左下角的值 题目链接 给定一个二叉树&#xff0c;在树的最后一行找到最左边…

【LeetCode】二、链表相关:移除与反转链表

文章目录 1、链表结构2、leetcode203&#xff1a;移除链表元素3、leetcode206&#xff1a;反转链表 1、链表结构 和数组不同&#xff0c;此时不需要连续的内存空间&#xff0c;如下为单端链表&#xff0c;无pre指针 时间复杂度&#xff1a; 和数组相反&#xff0c;访问元素时…