【机器学习】基于Gumbel-Sinkhorn网络的“潜在排列问题”求解

1. 引言

1.1.“潜在排列”问题

本文将深入探索一种特殊的神经网络方法,该方法在处理离散对象时展现出卓越的能力,尤其是针对潜在排列问题的解决方案。在现代机器学习和深度学习的领域中,处理离散数据一直是一个挑战,因为传统的神经网络架构通常是为连续数据设计的。然而,在诸如序列分析、图像识别和自然语言处理等应用中,我们经常会遇到需要处理离散对象的情况。

潜在排列问题是一个典型的例子,它涉及到对一组无序的元素进行重新排列,以找到一种符合某种标准或目标的顺序。这种排列过程在许多实际应用中都是至关重要的,比如排序算法、图像重建和推荐系统等。然而,由于排列空间的大小随着对象数量的增加而急剧增加,直接搜索所有可能的排列通常是不切实际的。

为了解决这个问题,我们提出了一种新型的神经网络架构,它结合了深度学习的强大表示能力和优化技术的精确性。这种网络能够学习从输入数据中提取有用特征,并基于这些特征预测出最优的排列。通过引入一种特殊的网络层,我们能够将排列的搜索过程嵌入到神经网络的训练过程中,从而实现对潜在排列的高效学习和预测。

具体来说,我们的方法利用了一种基于Gumbel-Sinkhorn分布的随机松弛技术,该技术能够将原始的排列问题转化为一个可微分的优化问题。通过这种方式,我们可以使用梯度下降等优化算法来训练神经网络,并直接优化排列的质量。此外,我们还设计了一种新颖的损失函数,用于评估预测排列与实际目标排列之间的差异,从而指导神经网络的训练过程。

在实验中,我们验证了所提出方法的有效性和优越性。通过与其他传统方法和现有神经网络架构的比较,我们发现我们的方法在处理潜在排列问题时具有更高的准确性和效率。此外,我们还探讨了不同参数设置和网络结构对性能的影响,为实际应用提供了有价值的指导。

我们的目标是,在缺乏直接监督的情况下,找到潜在变量的正确排列 P P P。为了实现这一目标,我们将利用Gumbel-Sinkhorn 操作符,该操作符能够将排列 P P P的寻找问题转化为一个线性优化问题。
备注:有关Gumbel-Sinkhorn的论述,请参考[Mena, G., 等人, (2018)]的论文。

1.2.潜在排列问题的数学表达

通常,我们认为神经网络的优势在于它们能够灵活地学习输入和输出之间任意复杂的映射关系。然而,在实际应用中,我们往往可以通过引入特定的归纳偏好来缩小可学习函数的范围,这些偏好基于我们对问题设置的先验知识,是真实且相关的。

一个体现模型设计中归纳偏好重要性的例子是我们对离散对象的操作。例如,想象一下我们有一个数字列表 n \mathbf{n} n,我们希望对其进行排序:通过在神经网络中引入排序的归纳偏好,我们可以更有效地设计模型来学习和执行这一任务。这种设计方法允许模型利用排序操作的组合性质,从而提高学习效率和性能。

n T = [ 5 1 3 4 ] \mathbf{n}^T = \begin{bmatrix}5\\ 1\\ 3\\4\end{bmatrix} nT= 5134

我们可以通过左乘一个排列矩阵 P P P来获得数字的重新排序;

P = [ 0 1 0 0 0 0 1 0 0 0 0 1 1 0 0 0 ] P = \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \\ 1 & 0 & 0 & 0 \end{bmatrix} P= 0001100001000010

将这样的排列矩阵应用到我们的输入中,我们得到:

P n T = [ 0 1 0 0 0 0 1 0 0 0 0 1 1 0 0 0 ] [ 5 1 3 4 ] = [ 1 3 4 5 ] \begin{align} P \mathbf{n}^T &= \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \\ 1 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix}5\\ 1\\ 3\\4\end{bmatrix} \\= \begin{bmatrix} 1\\ 3\\4\\5\end{bmatrix} \end{align} PnT= 1345 = 0001100001000010 5134
一种直观的初步思路可能是让我们的神经网络直接学习排列矩阵 P P P。但是,如果我们没有真实的排列矩阵作为监督数据呢?在这种情况下,我们可能会转而优化网络以输出排列后的输入 P n T P\mathbf{n}^T PnT

然而,我们必须注意到排列矩阵 P P P具有特定的属性。它是一个双随机矩阵的实例,这意味着其行和列的和都等于1。更具体地说,排列矩阵的每一行和每一列都是独热向量,这反映了输入 n T \mathbf{n}^T nT中的每个元素在输出 P n T P\mathbf{n}^T PnT中必须恰好出现一次,且只出现在一个位置上。

那么,我们如何训练网络以学习到这样的双随机矩阵呢?这正是Gumbel-Sinkhorn操作符所要解决的问题!

值得注意的是:排列矩阵是正交矩阵的一个特例。对于这样的矩阵,其逆矩阵就是其转置矩阵。因此,我们有 P T P = I P^T P = \mathbf{I} PTP=I。在后续的处理中,我们可能会用到这个性质。

1.3.Gumbel-Softmax分布**

在介绍Sinkhorn算子之前,我们先回顾一下Gumbel-Softmax分布。Gumbel-Softmax分布是一个可微分的近似,用于从离散分布中采样,这与在变分自编码器(VAE)中使用的重新参数化技巧在处理连续分布时的作用类似。

在VAE中,我们能够通过重新参数化技巧从连续分布中可微分地采样,但直接将这种方法应用于离散分布则不那么直接。

如果我们想要从一个具有类别概率 α = [ α 1 , α 2 , α 3 ] \mathbf{\alpha}=[\alpha_1, \alpha_2, \alpha_3] α=[α1,α2,α3]的类别分布中采样,可以使用Gumbel-Max技巧。这个技巧涉及到计算 log ⁡ α + G \log \alpha + \mathbf{G} logα+G a r g m a x {\rm argmax}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/860267.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

scroll-view标签里引入弹窗层级问题

小程序scroll-view标签里引入弹窗(model)层级问题 在使用scroll-view组件时,在其内部嵌套了一个弹窗(如modal),但是弹窗无法正确显示在最上层。这是因为scroll-view默认的层级(z-index&#xf…

自然语言处理(NLP)—— Rasa中config.yml

调整你的NLU模型:选择合适的处理管道 在启动一个新的项目时,Rasa 会为你提供一个建议的自然语言理解(NLU)配置。然而,随着项目的不断发展,你可能需要对配置进行调整,以更好地适应不断扩展的训练…

使用JAVA代码实现发送订阅消息以及模板消息

今天写了一个商品到货提醒的job任务,具体效果如下 这里用到了微信的发送订阅消息,主要代码是这一块的,最后我把发送了消息的订单存到表里,因为是定时任务,大家可不存 发送订阅消息 | 微信开放文档 /*** 微信平台-商品…

【系统架构师】-论文-论软件可靠性分析与设计

1、摘要: 我就职于一家在线教育互联网公司,公司为了深耕中、小学的教学资源消费市场,决定在 2017 年3月份决定升级一款教学资源搜索与下载产品,“*校通”。我有幸作为该产品系统架构师,负责了系统架构工作。本文以该产品升级的可靠…

玩转Linux dd命令:备份与恢复指南

欢迎来到我的博客,代码的世界里,每一行都是一个故事 🎏:你只管努力,剩下的交给时间 🏠 :小破站 玩转Linux dd命令:备份与恢复指南 前言简介基本语法常用选项 示例3. 高级用法 性能优…

python-九九乘法表(对齐式1)

[题目描述] 输出九九乘法表,输出格式见样例。输入格式: 无输出格式: 输出乘法表,对齐方式见样例输出。样例输入 无样例输出 来源/分类(难度系数:一星) 完整代码展示: #对齐式1 a[] …

夏季生鲜防损规范

一、引言 在夏季,高温与高湿度的环境条件对生鲜商品的品质和保存构成了严峻挑战,生鲜商品由于其天然的易腐特性,在夏季极易发生变质和损耗,那么超市夏季生鲜防损规范主要包含哪几个方面呢? 二、生鲜商品分类及特点 …

使用 MediaSession API 控制 Web 媒体播放

在现代的 web 应用程序中,多媒体播放已经成为了很常见的功能。为了提供更好的用户体验,我们可以使用 MediaSession API 来控制网页中的媒体播放。 什么是 MediaSession API? MediaSession API 允许网页控制媒体会话,例如音频和视…

C/C++混合编译说明

C调用C的函数: C的头文件中声明,被C调用的函数,是以C的方式编译 C的头文件: #ifdef __cplusplus extern "C" { #endif void func_c(void); #ifdef __cplusplus } #endif C调用C的函数: C的源文件中声明&#xff…

Windows操作防火墙命令

Windows操作防火墙命令 启用防火墙: netsh advfirewall set allprofiles state on禁用防火墙: netsh advfirewall set allprofiles state off添加新的入站规则允许端口80(HTTP): netsh advfirewall firewall add r…

Python生成器嵌套太多?使用yield from秒变简洁!

目录 1、yield from基础概念 🌐 1.1 yield关键字回顾 1.2 yield from引入动机 2、yield from深入解析 🧭 2.1 语法与用法 2.2 传递生成器控制权 2.3 与迭代器的高效整合 2.4 与传统yield对比优势 3、实战应用示例 📈 3.1 链接多个生成器 3.2 简化递归生成器实…

Git之checkout/reset --hard/clean -f区别(四十二)

简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏:Audio工程师进阶系列【原创干货持续更新中……】🚀 优质专栏:多媒…

Elasticsearch:倒数排序融合 - Reciprocal rank fusion - 8.14

警告:此功能处于技术预览阶段,可能会在未来版本中更改或删除。语法可能会在正式发布之前发生变化。Elastic 将努力修复任何问题,但技术预览中的功能不受官方正式发布功能的支持 SLA 约束。 倒数排序融合 (reciprocal rank fusion - RRF) 是一…

【数学】Leetcode 50. Pow(x, n)【中等】

Pow(x, n) 实现 pow(x, n) ,即计算 x 的整数 n 次幂函数(即,xn )。 示例 1: 输入:x 2.00000, n 10 输出:1024.00000 示例 2: 输入:x 2.10000, n 3 输出&#xf…

wireshark抓包方法及常用过滤命令

wireshark是一个抓包小能手,排查网络问题的时候常常离不开,网上的使用教程也有很多,但多数是抓的有线数据包,本文主要介绍使用wireshark抓空口包的方法和常用命令。 -----再牛逼的梦想,也抵不住傻逼般的坚持&#xff…

OpenAI: 禁止在不支持的地区使用其 API

OpenAI 给开发者发邮件表示,禁止其 API 用于不被允许的地区,否则 7 月 9 日将面临封杀。 本次封杀似乎不区分 IP ,而是直接按照地理位置。

电商数据自动化批量采集:商品数据|订单数据|店铺数据|图片搜索|关键字搜索

电商竞争白热化的今天,一个电商卖家往往会在多个平台铺设店铺来获取更多的客户。有没有什么高效的电商数据采集方式呢? 针对主流电商平台数据采集、ERP、OA等业务系统数据采集、行业数据采集,可以用以下5种电商数据采集方式: API…

【Linux】Ubuntu 部署 Zabbix 7.0

实验环境:Ubuntu-22.04 官方下载地址: 下载Zabbix 7.0 LTS for Ubuntu 22.04 (Jammy), MySQL, Apache 1、下载 Zabbix 官方安装包以及环境配置 下载 zabbix 安装包 wget https://repo.zabbix.com/zabbix/7.0/ubuntu/pool/main/z/zabbix-release/zabb…

Perl如何进行错误处理和创建子程序详解

在Perl中创建子程序(类似于其他编程语言中定义函数)的基本语法如下: 使用sub关键字:这是定义子程序的关键字。 子程序名称:可以是任何有效的Perl标识符。 参数列表:子程序可以有零个或多个参数&#xff0…

Spring-Boot整合Redis【随记】

基于spring boot整合. 1 引入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId> </dependency> 2 编写redis的配置文件 application.yml进行编写. 属性: url por…