Talk | ACL‘23 杰出论文,MultiIntruct:通过多模态指令集微调提升VLM的零样本学习

图片

本期为TechBeat人工智能社区536线上Talk!

北京时间10月11(周三)20:00弗吉尼亚理工大学博士生徐智阳、沈莹的Talk已准时在TechBeat人工智能社区开播!

他们与大家分享的主题是: 通过多模态指令集微调提升VLM的零样本学习, 介绍了由他们提出的MultiIntruct和第一个多模态指令集微调数据集。

Talk·信息

主题:通过多模态指令集微调提升VLM的零样本学习

嘉宾:弗吉尼亚理工大学博士生 徐智阳

弗吉尼亚理工大学博士生 沈莹

时间:北京时间 10月11日(周三)20:00

地点:TechBeat人工智能社区

点击下方链接,即可观看视频!

TechBeatTechBeat是荟聚全球华人AI精英的成长社区,每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。icon-default.png?t=N7T8https://www.techbeat.net/talk-info?id=815

Talk·介绍

指令集微调可以很有效地提升大语言模型的零样本学习能力并且提高大语言模型执行用户的指令的能力。但是在多模态领域中指令集微调并没有被探索与研究。随着越来越多的生成式视觉语言模型的出现,我们认为指令集微调也可以被拓展到多模态领域。我们提出的MultiIntruct 是第一个探索与研究指令集微调在多模态领域的工作并且提出了第一个多模态指令集微调数据集。我们的实验结果证实了指令集微调可以很大程度提升视觉语言模型的泛化能力。 

Talk大纲

1.介绍指令集微调在自然语言处理中的发展与应用

2.提出多模态指令集微调的可能性以及存在的问题

3.介绍视觉语言模型:ofa

4.介绍MultiInstruct 第一个多模态指令集微调数据集

5.讲解在MultiInstruct上的多模态指令集微调的实验细节

6.分析零样本学习的性能并且总结他们的发现 

Talk·预习资料

论文链接:

https://aclanthology.org/2023.acl-long.641/

Talk·提问交流

在Talk界面下的【交流区】参与互动!留下你的打call🤟和问题🙋,和更多小伙伴们共同讨论,被讲者直接翻牌解答!

图片

你的每一次贡献,我们都会给予你相应的i豆积分,还会有惊喜奖励哦!

Talk·嘉宾介绍

徐智阳

弗吉尼亚理工大学博士生

徐智阳,现为弗吉尼亚理工计算机科学三年级博士,导师为lifu huang。本科获得伦斯勒理工计算机工程学位。研究生就读于麻省大学,与Andrew McCallum 合作发表文章在EMNLP,AKBC,Neurips 等国际会议。博士期间致力于研究自然语言处理和多模态中的零样本和小样本学习并发表多篇论文在ACL,EMNLP。近期工作MultiInstruct 获得ACL 2023 杰出论文奖。

个人主页: 

https://www.techbeat.net/grzytrkj?id=34797

图片

沈莹

弗吉尼亚理工大学博士生

沈莹,弗吉尼亚理工大学计算机科学专业的博士生。她的研究兴趣在于深度学习、自然语言处理和多模态机器学习,该研究领域专注于集成和建模多种交流模态,包括语言、听觉和视觉消息。她的研究热情是构建更多类人的交互式代理,以便更好地理解、解释和推理周围的世界。

个人主页:

https://www.techbeat.net/grzytrkj?id=34815


关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投,是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!

更多详细介绍>>TechBeat,一个荟聚全球华人AI精英的学习成长社区

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/102018.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

关键字extern、static与const

关键字extern、static与const extern关键字与include的区别 extern:于声明某个函数或变量是外部的(其他源文件中)include:用于批量引入 项目中可以根据需要引入的函数或变量数量决定使用extern还是include static关键字 static关键字用于限制函数和全局变量的作用域仅在当…

做一个物联网的后台程序与数据库设计

数据库部分 先设计一个简单的数据库。表结构如下: sql语句如下: SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0;-- ---------------------------- -- Table structure for realtimedata -- ---------------------------- DROP TABLE IF EXISTS `realtimedata`

蓝桥等考Python组别十七级004

第一部分:选择题 1、Python L17 (15分) 运行下面程序,输出的结果是( )。 def func(x, y): return (x - y) // 2 print(func(10, 4)) 2356正确答案:B 2、Python L17 (15

Godot快速精通-从看懂英文文档开始-翻译插件

视频教程地址:https://www.bilibili.com/video/BV1t8411q7hw/ 大家好,我今天要和大家分享的是如何快速精通Godot,众所周知,一般一个开源项目都会有一个文档,对于有一定基础或者是理解能力强的同学,看文档比…

跨境电商独立站,无货源,轻松卖全球~

在互联网全球化的现在,跨境电商已经成为越来越多企业和个人的选择。但运营过程中总会遇到各种各样的问题,比如库存压力大、语言沟通困难、物流费用高且慢等等。特别是在当下印尼电商禁止令出台,很多在各大电商平台的卖家更是苦不堪言。 因为市…

【已解决】微信小程序-苹果手机日期解析异常

在开发微信小程序时,使用了 uView 的 CountDown倒计时 组件和 uni.$u.timeFrom Api,后台传递了一个时间字符串,前台计算时间戳的差值,来显示还有多久开始,这个功能在模拟器和我自己手机(iphon13&#xff09…

机器人流程自动化(RPA)如何提升用户体验?

机器人流程自动化(RPA)是一种新型的自动化技术,它通过模拟人类在计算机上执行的操作,将重复性、繁琐的任务自动化。除了在内部流程中提高效率,RPA还可以通过提升用户体验来为企业带来更多收益。下面将从几个方面探讨RP…

机器学习基础之《回归与聚类算法(1)—线性回归》

一、线性回归的原理 1、线性回归应用场景 如何判定一个问题是回归问题的,目标值是连续型的数据的时候 房价预测 销售额度预测 贷款额度预测、利用线性回归以及系数分析因子 2、线性回归定义 线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(…

翻译docker官方文档(残缺版)

Build with docker(使用 Docker 技术构建应用程序或系统镜像) Overview (概述) 介绍(instruction) 层次结构(Layers) The order of Dockerfile instructions matters. A Docker build consists of a series of ordered build ins…

openmp 通用核心 学习 2 数据环境—任务-内存模型

目录 openmp 数据环境 子句: 在上述三个子句中也可以传入指针和数组 openmp 任务: openmp内存模型: openmp 数据环境 子句: shared(list) private(list)//默认构造 值未被初始化 对于图6-5: //File #1 int tm…

数据挖掘实战(3):如何对比特币走势进行预测?

⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ 🐴作者:秋无之地 🐴简介:CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作,主要擅长领域有:爬虫、后端、大数据…

深度学习基础知识 最近邻插值法、双线性插值法、双三次插值算法

深度学习基础知识 最近邻插值法、双线性插值法、双三次插值算法 1、最近邻插值法 1、最近邻插值法 *最邻近插值:将每个目标像素找到距离它最近的原图像素点,然后将该像素的值直接赋值给目标像素 优点:实现简单,计算速度快缺点&…

【C++】【自用】STL六大组件:算法

文章目录 🔺sortstable_sort🔺reverse🔺swap🔺find🔺max/min🔺next_permutation/prev_permutation 全排列binary_searchlower_bound/upper_bound 求下界和上界set_union/set_intersection/set_difference 求…

JNI中调用Java函数

文章目录 一、JNI 注册二、JNI 调用 Java 函数1、实例2、总结3、参考 三、JNI 数据传递四、JNA五、图像传递 一、JNI 注册 JNI 分成静态注册和动态注册 静态注册 cpp 实现 JNIEXPORT jstring JNICALL Java_com_example_hellojni_HelloJni_stringFromJNI(JNIEnv *env, jobject…

【深蓝学院】手写VIO第7章--VINS初始化和VIO系统--笔记

0. 内容 1. VIO回顾 整个视觉前端pipeline回顾: 两帧图像,可提取特征点,特征匹配(描述子暴力匹配或者光流)已知特征点匹配关系,利用几何约束计算relative pose([R|t]),translation只有方向&…

EsayExcel让不同标题有不同的颜色

今天我在github社区的时候遇见了这个issues,我有看了下百度发现很多人需要这个问题的解决方案,接下来我就写一份这个问题的解决方案。 您的需求: ​ 您好我了解到您的需求,您的需求是为每一个标题设置不同的颜色。 我的解决方案…

Linux Centos7 下使用yum安装的nginx平滑升级

1. 查看当前nginx版本 1nginx -v2. 查看centos版本 1cat /etc/redhat-release3. 创建一个新的文件nginx.repo,其中第三行的7是因为我的centos版本是7点多的,你看自己是多少就改多少 1vim /etc/yum.repos.d/nginx.repo23[nginx]4namenginx repo 5baseu…

Unity后台登录/获取数据——BestHTTP的使用Get/Post

一、使用BestHTTP实现登录功能(Post) 登录具体的步骤如下: 1:传入你的用户名和密码,这是一条包括链接和用户名密码的链接 2:使用BestHTTP的Post功能将链接传到服务器后台 3:后台拿到了你传送…

2023年中国超导磁体市场规模、需求量及行业竞争现状分析[图]

超导磁体一般是指用超导导线绕制的能产生强磁场的超导线圈,还包括其运行所必要的低温恒温容器。通常电磁铁是利用在导体中通过电流产生磁场,由于超导材料在超导状态下具有零电阻特性,因此可以以极小的面积通过巨大的电流。超导磁体具有场强高…

如何自制一本电子书,安利一个平台

有没有想过把纸质版的书刊制作成图文相结合的电子书,实现随时随地的阅读。其实很多人在实际制作时常常陷入困扰:创意不够,无法找到理想的素材,制作繁琐等等。感觉好难啊! 不过,幸运的是,我发现…