【讲座分享】| 复旦大学张奇教授——《自然语言发表论文如何打怪升级?NLP顶会论文发表》

文章目录

  • 1 基础关
    • 1.1 基础书籍
    • 1.2 提高书籍
    • 1.3 课程链接
    • 1.4 编程实战
  • 2 阅读关
    • 2.1 分层过滤
    • 2.2 集团作战,信息获取
    • 2.3 论文如何泛读
  • 3 动机 方向关
    • 3.1 快速发论文
    • 3.2 好的研究
  • 4 写作关
    • 4.1 论文写作流程
    • 4.2 从读者角度出发
    • 4.3 每一部分怎么写
      • 4.3.1 Abstract摘要
      • 4.3.2 Introduction 介绍
      • 其他
      • 4.3.3 实验设计

今天听了~复旦大学张奇教授的报告——《自然语言发表论文如何打怪升级?自然语言顶会论文发表》内容,我觉得收获很大,实际上我在听报告之前并不知道张奇教授竟然就是我前段时间阅读的一本自然语言书籍《大规模语言模型,从理论到实践》的作者,听报告的时候才发现,属实有点惊喜哈哈哈

张奇教授将论文最后的成功发表,分为了四关,一路打怪升级,最后达成目标!张奇教授讲述的时候可能是站到自然语言处理的角度,但是我觉得对计算机其他方向也都是适用的

张奇教授提到的四关分别是基础关,阅读关,动机关,写作关

1 基础关

基础需要我们阅读一些经典书籍,系统全面掌握相关知识

经典书籍推荐

1.1 基础书籍

1,2点 感觉做AI的都需要看,3的话做自然语言处理看即可

1 周志华老师的《机器学习》又叫做西瓜书

2 《神经网络与深度学习》

3 《统计自然语言处理》

1.2 提高书籍

1李航老师《统计学习方法》

2《深度学习》Ian Goodfellow、Yoshua Bengio 和Aaron Courville撰写的花书

1.3 课程链接

老师推荐了一些课程链接

1 神经网络与深度学习 邱锡鹏 https://www.bilibili.com/video/BV13b4y1177W

2 李宏毅2020机器学习深度学习(完整版)国语 https://www.bilibili.com/video/BV1JE411g7XF

3 斯坦福CS224N《深度学习自然语言处理》课程(2021) by Christopher Manning https://www.bilibili.com/video/BV1nP4y1j7rZ

4 神经网络与深度学习 邱锡鹏 https://www.bilibili.com/video/BV13b4y1177W

上面很多课程我都没看过,但我看了北京邮电大学鲁鹏老师的课程,我觉得对我帮助很大

计算机视觉与深度学习 北京邮电大学 鲁鹏 清晰版合集(完整版)_哔哩哔哩_bilibili

1.4 编程实战

我觉得李沐老师的动手深度学习非常棒,可以来提高代码实战能力

《动手学深度学习》 — 动手学深度学习 2.0.0 documentation (d2l.ai)

张奇老师提到两点

如果可以在一周之内

不看别人的代码手搓实现Transformer等基本架构,R-NET基本架构等就算基本入门了

2 阅读关

每年相关论文有上万篇,arxiv上每天也放出很多相关论文,怎么阅读?

老师给出的建议是分层过滤,集团作战,公众号热点,一些文章核心看motivation,一些文章重点看

2.1 分层过滤

从各大会议筛选出一万多篇

每个会议的Best Paper,oral(口头报告论文),Session,重点单位论文筛选出两千多篇

然后根据title,自己做的方向筛选出一千多篇

然后再阅读摘要Abstract和Introduction筛选出五百篇

2.2 集团作战,信息获取

筛选出五百篇还是很多,所以要和组内同学相互分享(集团作战)

每人精读一百多篇左右,主题分享阅读

从各大公众号上获取论文热门信息,核心要看论文的motivation是什么

在筛选过程中,如何泛读呢?

2.3 论文如何泛读

1 题目是什么

2 做的Motivation是什么,motivation可以理解为左这个研究的动机,即做这个研究的目的,出发点

3 大致用了什么方法,看重点的图

4 在什么数据集上面做了测试,结果怎么样

那么在阅读了大量论文之后,就要提出自己的研究动机和方向了

3 动机 方向关

研究方向怎么选?是否应该选择热门方向呢?还是选一些冷门方向

这得看自身情况?如果着急发论文,可以选一些热门的容易录取,但是如果打算长时间做研究,可以静下心来好好做自己真正感兴趣的

3.1 快速发论文

快速发论文可以用棋盘法

在这里插入图片描述

3.2 好的研究

好的研究的特点

  1. 做了的话,可以辅助很多的任务,有明显的益处
  2. 描述简单,如信息抽取,关系抽取,倾向性分析
  3. 研究问题尚且不具备明确的解法
  4. 解决方案具备可测试性,大问题可以拆解成多个子问题,能观察每个子问题的进程。怎么测试呢?
  5. 要确保研究中数据的可靠性以及足够数量

有一个经典的motivation 非常反面的例子——之前的方法精度低,本文提出的方法提升了精度,是不行的

精度低不是motivation,而是要讲明白为什么精度低,对于精度低,我们找到为什么会精度低,提出自己的方法,从而最后取得了哪些进步,解决的初衷才是motivation

比较好的motivation还有比如别人做的工作没注意到什么点,没有关注什么信息,我们充分利用了这些信息等等

4 写作关

4.1 论文写作流程

核心让读者读懂,降低读者的难度,尽量让读者提升他的愉悦感

这里,老师提到了清华大学刘洋老师的报告——论文发表流程

大致分为

1 确定方向

2 确定问题

3 确定思路

4 确定方法

5 实验验证

6 撰写论文

详细可看

刘洋:如何撰写高质量科技论文-清华大学智能产业研究院 (tsinghua.edu.cn)

4.2 从读者角度出发

1 信息的呈现符合读者的认知惯性,深入浅出,引人入胜,让读者快速找到想要的信息

2 尽量降低读者的理解难度 合理地综合使用信息元素:图>曲线>表>正文>公式

3 尽量提高读者阅读时的愉悦感 思想新颖、组织合理、逻辑严密 论证充分、文笔优美、排版美观

我们要核心理解审稿人的审稿一般也是赶DDL,所以我们要在五分钟之内打动审稿人

在这里插入图片描述

4.3 每一部分怎么写

4.3.1 Abstract摘要

两个都可以

在这里插入图片描述

在这里插入图片描述

4.3.2 Introduction 介绍

相当于是把Abstract的每一句话变成一段话详细阐述,中间加上现有的方法有哪些(最好分一下类)现有方法有什么问题

最后阐明自己的Contribution贡献,1,2,3分条列出来

一般在第一页右上部分加一个图说明自己的motivation

不要一上来就描述你的工作,可以先介绍背景知识(往往就是baseline)

• 有利于降低初学者或其他领域学者的理解难度

• 有利于对introduction中的论文做更详细的解释

• 有利于对比baseline和你的方法

其他

多用例子

4.3.3 实验设计

1 公认的标准数据和state-of-the-art系统

2 实验先主后辅

  • 主实验(测试集):证明显著超过baseline
  • 辅实验:参数的影响

不辞辛劳,做到极致

最后,老师寄语

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/667532.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Sklearn、TensorFlow 与 Keras 机器学习实用指南第三版(八)

原文:Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow 译者:飞龙 协议:CC BY-NC-SA 4.0 第十八章:强化学习 强化学习(RL)是当今最激动人心的机器学习领域之一,也是最古老…

跟着pink老师前端入门教程-day18

3、CSS3 3D转换 生活中的环境是3D的,照片就是3D物体在2D平面呈现的例子 特点:近大远小,物体后面遮挡不可见 3.1 三维坐标系 三维坐标系其实就是指立体空间,立体空间是由3个轴共同组成的 x轴:水平向右 注意&#x…

SpringBoot 使用定时任务(SpringTask)

Spring3.0以后自带的task&#xff0c;可以将它看成一个轻量级的Quartz&#xff0c;而且使用起来比Quartz简单许多。 使用步骤&#xff1a; 1.导入坐标 在spring-boot-starter-web坐标中&#xff0c;就包含了SpringTask&#xff0c;所以一般的Web项目都包含了。 <depende…

基于动作合成视频、线免费使用不需要注册,支持多种视频任务:图像生成视频、文本生成视频、视频修改、视频风格化、用Transformer构建世界模型

基于动作合成视频、线免费使用不需要注册&#xff0c;支持多种视频任务&#xff1a;图像生成视频、文本生成视频、视频修改、视频风格化、用Transformer构建世界模型。 WorldDreamer无缝逐帧AI模型: 基于Transformer生成高质量电影级别视频的通用世界模型"。从20亿数据中…

问题:胚珠裸露于心皮上,无真正的果实的植物为() #经验分享#媒体

问题&#xff1a;胚珠裸露于心皮上&#xff0c;无真正的果实的植物为&#xff08;&#xff09; A.双子叶植物 B.被子植物 C.单子叶植物 D.裸子植物 参考答案如图所示

【节选】Go语言的100个错误使用场景|数据类型

Data types &#x1f31f; 章节概述&#xff1a; 基本类型涉及的常见错误 掌握 slice 和 map 的基本概念&#xff0c;避免使用时产生 bug 值的比较 低效的切片初始化&#xff08;#21&#xff09; 实现一个 conver 方法&#xff0c;将一个切片 Foo 转换成另一个类型的切片 Ba…

基于若依的ruoyi-nbcio流程管理系统自定义业务回写状态的一种新方法(二)

更多ruoyi-nbcio功能请看演示系统 gitee源代码地址 前后端代码&#xff1a; https://gitee.com/nbacheng/ruoyi-nbcio 演示地址&#xff1a;RuoYi-Nbcio后台管理系统 更多nbcio-boot功能请看演示系统 gitee源代码地址 后端代码&#xff1a; https://gitee.com/nbacheng/n…

【MATLAB源码-第136期】基于matlab的变色龙群优化算法CSA)无人机三维路径规划,输出做短路径图和适应度曲线

操作环境&#xff1a; MATLAB 2022a 1、算法描述 变色龙群优化算法&#xff08;Chameleon Swarm Algorithm&#xff0c;CSA&#xff09;是一种新颖的群体智能优化算法&#xff0c;受到自然界中变色龙捕食和社交行为的启发。变色龙以其独特的适应能力而著称&#xff0c;能够根…

前缀和与差分

前缀和 S [ i ] Σ i j 1 A [ j ] S [ i − 1 ] A [ i ] \text{S}\left[ \text{i} \right] \underset{\text{j}1}{\overset{\text{i}}{\Sigma}}\text{A}\left[ \text{j} \right] \text{S}\left[ \text{i}-1 \right] \text{A}\left[ \text{i} \right] S[i]j1Σi​A[j]S[i−1…

后端程序员入门react笔记(一)

相关参考 react 首先&#xff0c;我们先大概了解一下什么是react以及react可以干什么。 React 是 Facebook 开源的一个用于构建用户界面的一款 JavaScript 库&#xff0c;主要用于构建 UI。 react的特点 声明式编程 react使用jsx进行渲染&#xff0c;这是一种类似html的语法…

打开双重el-dialog后出现遮罩后如何解决?

背景&#xff1a; 打开el-dialog后&#xff0c;再次打开另外一个el-dialog&#xff0c;出现以下画面。 解决方式&#xff1a;在第二个el-dialog增加append-to-body <el-dialog :close-on-click-modal“true” :visible.sync“createVisible” v-if“createVisible” :width…

BLIP-2:低计算视觉-语言预训练大模型

BLIP-2 BLIP 对比 BLIP-2BLIPBLIP-2如何在视觉和语言模型之间实现有效的信息交互&#xff0c;同时降低预训练的计算成本&#xff1f;视觉语言表示学习视觉到语言的生成学习模型架构设计 总结主要问题: 如何在计算效率和资源有限的情况下&#xff0c;有效地结合冻结的图像编码器…

Ray on ACK 实践探索之旅 - RayCluster 篇

作者&#xff1a;张杰、霍智鑫、行疾 什么是 Ray&#xff1f; Ray 是一个开源框架&#xff0c;专为构建可扩展的分布式应用程序而设计&#xff0c;旨在通过提供简单直观的 API&#xff0c;简化分布式计算的复杂性&#xff0c;让开发者能够便捷高效地编写并行和分布式 Python …

【MySQL】- 09 Select Count

【MySQL】- 09 Select Count 1认识COUNT2 COUNT(列名)、COUNT(常量)和COUNT(*)之间的区别3 COUNT(*)的优化 4 COUNT(*)和COUNT(1)5 COUNT(字段)总结 数据库查询相信很多人都不陌生&#xff0c;所有经常有人调侃程序员就是CRUD专员&#xff0c;这所谓的CRUD指的就是数据库的增删…

文心一言 VS 讯飞星火 VS chatgpt (194)-- 算法导论14.3 2题

二、用go语言&#xff0c;改写 INTERVAL-SEARCH 的代码&#xff0c;使得当所有区间都是开区间时&#xff0c;它也能正确地工作。 文心一言&#xff0c;代码正常运行&#xff1a; 在Go语言中&#xff0c;处理开区间&#xff08;open intervals&#xff09;时&#xff0c;我们需…

Qt环境搭建+简单程序实现

Qt是什么 Qt是一个跨平台的C图形用户界面应用程序框架。 框架的本质就是一群大佬发明的让菜鸡写出来的代码也也比较规范 也就是限制程序员的自由&#xff0c;让程序员写出来的代码规范。 库和框架有相似性。 库是被程序员调用的&#xff0c;&#xff08;程序员是主体&…

06 - python操作xml

认识XML 与HTML很像&#xff0c;是一种将数据存储在标记之间的标记语言&#xff0c;用户可以自定义自己的标记。 XML文件可以表示称为&#xff1a;XML树。这个XML树从根元素开始&#xff0c;根元素进一步分支到子元素。XML文件的每个元素都是XML树的一个节点&#xff0c;没有…

Flink实战五_直播礼物统计

接上文&#xff1a;Flink实战四_TableAPI&SQL 1、需求背景 现在网络直播平台非常火爆&#xff0c;在斗鱼这样的网络直播间&#xff0c;经常可以看到这样的总榜排名&#xff0c;体现了主播的人气值。 人气值计算规则&#xff1a;用户发送1条弹幕互动&#xff0c;赠送1个荧…

在线JSON转SQL工具

在线JSON转SQL - BTool在线工具软件&#xff0c;为开发者提供方便。在线JSON转SQL工具可以将JSON文件中的数据或者JSON对象转换为SQL插入语句&#xff0c;方便用户将数据导入到数据库中。用户可以通过简单的界面上传JSON文件&#xff0c;或者文本框输入&#xff0c;点击JSON转S…

Redis——SpringBoot整合Redis实战

1、基本配置 1.1、引入依赖 首先&#xff0c;建立Maven项目&#xff0c;在Maven项目中引入pom.xml文件&#xff1a; <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> &l…