AAAI论文阅读

文章目录

  • Open-Vocabulary Multi-Label Classifcation via Multi-Modal Knowledge Transfer——知识蒸馏的范畴
  • Med-EASi: Finely Annotated Dataset and Models for Controllable Simplifcation of Medical Texts——医学领域数据集构建
  • “Nothing Abnormal”: Disambiguating Medical Reports via Contrastive Knowledge Infusion
  • Self-Supervised Logic Induction for Explainable Fuzzy Temporal Commonsense Reasoning——时序信息

Open-Vocabulary Multi-Label Classifcation via Multi-Modal Knowledge Transfer——知识蒸馏的范畴

多模式知识传播

在这里插入图片描述

我们的 MKT 主要由视觉和语言预训练(VLP)模型和视觉转换器模型组成。VLP 模型旨在提取输入图像-文本对的多模态知识,而视觉转换器则用于提取输入图像的语义特征。此外,还利用知识提炼来保证图像及其相关标签嵌入的一致性,并通过及时调整来进一步更新标签嵌入。(最佳彩色效果)
在这里插入图片描述
主要贡献:

  1. 我们提出了一种基于开放词汇的多模态知识转移(MKT)框架,该框架基于 VLP 模型,利用图像-文本对中的语义多模态信息进行多标签分类。 据我们所知,这是第一项探索开放词汇多标签分类任务的工作。
  2. 我们的 MKT 框架主要由提取图像特征的图像编码器和提取图像/标签嵌入的 VLP 图像/文本编码器组成。为了保证图像和标签嵌入的一致性,我们在 MKT 框架中加入了知识蒸馏策略,并通过及时调整来迭代更新标签嵌入。此外,为了进一步提高我们方法的特征表达能力,我们提出了双流特征提取模块,通过联合捕捉局部特征和全局特征来提高特征提取的能力。
  3. 大量结果表明,我们的 MKT 方法明显优于之前的 ML-ZSL 方法,并在两个大规模基准测试中为开放词汇多标签分类建立了新的技术水平

Med-EASi: Finely Annotated Dataset and Models for Controllable Simplifcation of Medical Texts——医学领域数据集构建

MedEASi(简化和抽象医学数据集)是一个独特的众包和注释数据集,用于监督医学短文的简化

我们采用多角度训练方法,为文本简化添加了两种可控性:位置感知(使用原位注释输入和输出)和位置无关(模型只知道要编辑的内容,但不知道它们的位置)。

  • 数据集 我们对现有的两个并行医学文本简化语料库进行了四种文本转换注释,即阐述、替换、删除和插入新内容。

“Nothing Abnormal”: Disambiguating Medical Reports via Contrastive Knowledge Infusion

"没有异常 通过对比知识注入消除医疗报告的歧义

我们探讨了医疗保健领域的受众期望差距,并将导致患者对其诊断感到困惑的常见歧义归纳为三类:医学术语、自相矛盾的结论和误导性语法错误

我们的医疗团队对结果进行了分析,并将产生歧义的主要原因归纳为三类:报告句子含糊不清的原因是:(1)医学术语的含义与日常一般用法不同,如unsmarkable;(2)同一句子中的结论相互矛盾;(3)误导性语法错误,如完整句子之间没有句号。

解决方案(模型):我们首先通过对比学习对医学领域的 Seq2Seq 模型进行预训练。然后,通过扰动模型的隐藏状态,使用该模型改写模棱两可的输入,并将生成的结果推向对其考试结果更加明确的方向。

任务表示形式:
对于异常标签为 y(是否存在异常)的模棱两可的句子 x,我们将输出一个对 y 更明确的消歧义句子 x˜。
For an ambiguous sentence x whose abnormality label is y (abnormality presents or not), we will output a disambiguated sentence x˜ that is more explicit about y.
在这里插入图片描述
预训练阶段损失函数:
在这里插入图片描述
重写阶段(Rewriting framework):

在这里插入图片描述

Self-Supervised Logic Induction for Explainable Fuzzy Temporal Commonsense Reasoning——时序信息

问题来源: 最近的一项研究表明,经过大规模预训练的 LM 在复杂语境(如对话)下仍难以进行这种时间推理,因为它们只能隐式地编码相关语境,而不能显式地揭示复杂推理的基本逻辑组合。
定义了三个模块化组件:时态依赖诱导器和时态概念模糊器,以及逻辑验证器。

模型结构:
LECTER 框架。我们利用逻辑归纳模块(logic induction module)来解决模糊时态常识推理的中间推理步骤(intermediate inference steps)。逻辑验证器(The logic validator)从依赖诱导器和概念模糊器中获取预测概率分布,计算时态逻辑蕴含损失。它与基于回归的时值恢复损失一起,以端到端的方式训练模型(regression-based temporal value recovery loss to train the model in an end-to-end manner)。
在这里插入图片描述
we propose two self-supervised learning objectives, i.e., the Regression-based Temporal Value Recovery and Temporal Logical Entailment.
我们提出了两个自监督学习目标,即基于回归的时域价值恢复和时域逻辑不一致
(小trick:将时序做了变换处理,比如7:30 pm →19 + 30/60 → 19.5)

损失函数:

  1. 回归损失(mean square loss——均方误差):
    在这里插入图片描述
  2. 分类损失
    给定训练示例 X 和作为查询的 q,模型需要调整权重,使所有训练示例的查询概率 Pθ(q|X ) 最大化。这可以通过最小化查询的平均负对数似然来实现:
    在这里插入图片描述
  3. 总损失函数
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/33282.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

UE 5 GAS 在项目中处理AttributeSet相关

这一篇文章是个人的实战经验记录,如果对基础性的内容不了解的,可以看我前面一篇文章对基础的概念以及内容的讲解。 设置AttributeSet 使用GAS之前,首先需要设置参数集AS,这个是用于同步的一些参数,至于如何设置GAS&a…

Mysql之安装-字符集设置-用户及权限操作-sqlmode设置

1、概述 MySQL支持大型数据库,支持5000万条记录的数据仓库,32位系统表文件最大可支持4GB,64位系统支持最大的表文件为8TB。使用标准的SQL数据语言形式。 2、Linux的mysql安装 (1)检查是否已安装:rpm -qa…

梯度下降求极值,机器学习深度学习

目录 梯度下降求极值 导数 偏导数 梯度下降 机器学习&深度学习 学习形式分类

Apollo让自动驾驶如此简单

前言: 最近被新能源的电价闹的不行,买了电车的直呼上当了、不香了。但电车吸引人不只是公里油耗低,还有良好的驾车使用感。比如辅助驾驶、甚至是自动驾驶。今天来介绍一个头部自动驾驶平台Apollo,Apollo是一个开源的、自动驾驶的软…

Linux 创建用户赋予root权限,并限定登录ip

1.创建jms用户 创建组 groupadd jms创建用户 -g 指定分组 useradd -m -d /home/jms jms -g jms -s /bin/bash设置用户密码 passwd jms2.赋予root权限 编辑文件 vim /etc/sudoers添加如下内容 jms ALL(ALL:ALL) NOPASSWD: ALL3.限定登录ip 编辑文件,在末尾添…

【论文阅读】基于深度学习的时序预测——FEDformer

系列文章链接 论文一:2020 Informer:长时序数据预测 论文二:2021 Autoformer:长序列数据预测 论文三:2022 FEDformer:长序列数据预测 论文四:2022 Non-Stationary Transformers:非平…

git checkout -b

创建分支: $ git branch mybranch 切换分支: $ git checkout mybranch 创建并切换分支: $ git checkout -b mybranch 更新master主线上的东西到该分支上:$git rebase master 切换到master分支:$git checkout master …

模拟栈(c++题解)

实现一个栈,栈初始为空,支持四种操作: push x – 向栈顶插入一个数 xx;pop – 从栈顶弹出一个数;empty – 判断栈是否为空;query – 查询栈顶元素。 现在要对栈进行 M 个操作,其中的每个操作 …

3.6 Spring MVC文件上传

1. 文件上传到本地 实现方式 Spring MVC使用commons-fileupload实现文件上传,注意事项如下: l HTTP请求方法是POST。 l HTTP请求头的Content-Type是multipart/form-data。 SpringMVC配置 配置commons-fileupload插件的文件上传解析器CommonsMultip…

tp5伪静态设置

nginx伪静态 location / {if (!-e $request_filename) {rewrite ^(.*)$ /index.php?s$1 last;break;} } apache伪静态 <IfModule mod_rewrite.c>Options FollowSymlinks -MultiviewsRewriteEngine OnRewriteCond %{REQUEST_FILENAME} !-dRewriteCond %{REQUEST_FILENAME…

SpringBoot复习:(34)@EnableWebMvc注解为什么让@WebMvcAutoconfiguration失效?

它导入了DelegatingWebMvcConfiguration 它会把容器中的类型为WebMvcConfigurer的bean注入到类型为WebMvcConfigurerComposite的成员变量configurers中。 可以看到它继承了WebMvcConfigurerSupport类 而WebMvcConfigureAutoConfiguration类定义如下 可以看到一个Conditional…

Flink源码之RPC

Flink是一个典型的Master/Slave分布式实时处理系统&#xff0c;分布式系统组件之间必然涉及通信&#xff0c;也即RPC&#xff0c;以下图展示Flink组件之间的关系&#xff1a; RPCGateWay 一般RPC框架可根据用户业务类生成客户端和服务器端通信底层代码&#xff0c;此时只需定…

边缘计算:连接智能世界的变革之力

随着物联网和人工智能的迅猛发展&#xff0c;边缘计算作为一种新兴的计算模式正受到越来越多的关注。边缘计算将数据处理和分析的能力从云端向网络的边缘推移&#xff0c;为各行各业带来了巨大的机遇和挑战。本文将探讨边缘计算的定义、应用领域以及对未来智能世界的影响。 1.…

【微信小程序篇】-请求封装

最近自己在尝试使用AIGC写一个小程序&#xff0c;页面、样式、包括交互函数AIGC都能够帮我完成(不过这里有一点问题AIGC的上下文关联性还是有限制&#xff0c;会经常出现对于需求理解跑偏情况&#xff0c;需要不断的重复强调&#xff0c;并纠正错误&#xff0c;才能得到你想要的…

基于机器学习进行降雨预测 -- 机器学习项目基础篇(13)

在本文中&#xff0c;我们将学习如何构建一个机器学习模型&#xff0c;该模型可以根据一些大气因素预测今天是否会有降雨。这个问题与使用机器学习的降雨预测有关&#xff0c;因为机器学习模型往往在以前已知的任务上表现得更好&#xff0c;而这些任务需要高技能的个人来完成。…

mysql正则表达式

mysql正则表达式 : REGEXP 规则基本和java正则规则一样,有些特殊字符有差异. 举例: -- 匹配以英文开头,4位英文字母8位数字/4位数字-4位数字 select * from tableName where code REGEXP ^[A-Z]{4}[0-9]{8}/[0-9]{3}-[0-9]{3}$ ;将code中的3位数字改成4位.高位补0. -- 数据…

Jmeter快捷方式和应用图标设置

很多人在安装Jmeter,安装到本机却没有icon&#xff0c;每次使用的时候&#xff0c;每次打开应用都要找目录&#xff0c;不太方便。 【解决问题】 使用bin路径下的一个.bat文件&#xff0c;创建快捷方式。 【操作步骤】 Step1、将Jmeter 安装bin路径下的jmeter.bat 发送快捷方…

Linux常见面试题,应对面试分享

操作系统基础 1.cpu占⽤率太⾼了怎么办? 排查思路是什么&#xff0c;怎么定位这个问题&#xff0c;处理流程 其他程序: 1.通过top命令按照CPU使⽤率排序找出占⽤资源最⾼的进程 2.lsof查看这个进程在使⽤什么⽂件或者有哪些线程 3.询问开发或者⽼⼤,是什么业务在使⽤这个进程…

实例036 使窗体标题栏文字右对齐

实例说明 窗口标题栏中的文字是窗口的重要说明&#xff0c;该文字可以标示窗口的功能、状态或名称等信息&#xff0c;一般该文字是居左显示的&#xff0c;在本例中设计一个标题栏文字右对齐的窗口。本实例运行结果如图1.36所示。 技术要点 在C# 2.0中实现这一功能非常容易&am…

smali语法从入门到精通

smali语法从入门到精通 相关资源 视频中提到的apk和源代码资源&#xff0c;到这里下载 Smali是什么 Smali是Android虚拟机的反汇编语言。Android虚拟机的可执行文件并不是普通的class文件&#xff0c;而是再重新整合打包后生成的dex文件。dex文件反编译之后就是Smali代码&am…