仅仅因为方法 Too Simple 就被拒稿,合理吗?

02ad71214a5427e4c6385b0898106317.png

文 | 小戏
编 | 小轶

如果你看到自己实验行之有效的论文被退稿,而收到的退稿理由仅仅是“方法太简单”,你会怎么想?

这两天在推特上,佐治亚理工的 Riedl 教授吐槽了自己收到的 AAAI phase 1 退稿理由居然是因为“这方法似乎太简单”,引起了广泛的讨论。

b2a495c3905816593b9a53a4ff95bfc0.png

Riedl 教授列出了自己收到的两点退稿理由:一是方法太过简单,二是不满于他只采用了人工评分,而没有使用 BLEU score(尽管他们做的任务是故事生成......)。

面对这两个退稿理由, Riedl 教授只能表示"I can't even."

8dd4b60f0f49b80026db02456250c453.png

这段被拒稿的经历似乎使得大家相当共情,评论里有分享相似经历的

34815abdd8424c651bf616d9c84a9eae.png

也有归谬出一个讽刺的因果关系的——因为我可以理解你的论文,所以我拒绝了你的投稿

7daf7f394f737333d08704aeffead8f4.png

有对人性展开思考的——人们只会喜欢他们所不能理解的东西

460a4a1048c74dab812ee92f54cf00d5.png

也有使用了朴素的辩证法得出:投稿的最高境界就是让一个评审觉得太简单让另一个评审觉得太难

9b5a8d007431a6dca15f59c02a46ddeb.png

有对简单下定义的,强调简单的强大力量:

3b0c3340b5e01793f224042e3fa5070e.png

或者搬出了爱因斯坦:“凡事要尽可能简单,但不能过于简单”。

f22deb9ca1a1d94b99d7196689d51065.png

还有直接对 BLEU 开炮的,认为这是计算机科学最具破坏力的发明之一

e341e38bb15114a11e9140df46ccda87.png

甚至乎,还有写成了一个故事。换成暴漫形式的话,大概是这样:

0073313830b7b27dd6c73c96f13893fd.png

看了这么多,倒是这个评论一针见血:THIS. Simplicity is a feature, not a bug.

2b654033612397d5e466bae79280b8c7.png

事实上对“一篇论文是否应该由于方法简单而被拒稿”这一问题做出价值判断是相当容易的。更加有趣的是 Riedl 教授的两点引申:一点是他提到的“如无必要,勿增实体”奥卡姆剃刀原理另一点则是他指出的学术界对“简单方法”的偏见

ec04602439ce25c3cd6b8ab605b99084.png奥卡姆剃刀的误用05e571a9ed864918e0b4ffb3f15d3087.png

在推文中, Riedl 教授使用了奥卡姆剃刀原理为自己辩护,即“因为‘如无必要,勿增实体’,那么如果我的解决方法简单有效,为什么还要求我使用一个复杂模型呢?”。然而,奥卡姆剃刀原理作为一个经验性的法则,它并不是“保真”的。换言之,奥卡姆剃刀原理它并不一定在所有情况下都正确。事实上,我们会发现用于论证这个法则的常常是一些安排妥当的例子,譬如在管理学的课堂上经常讲述这样一个故事:

52333d220af4563e0103eb97c885c4b5.png

这种故事与其说是归纳法的经验材料,不如说是“带点教育意义”的心灵鸡汤。而在评论区内,也有这样一则评论,对 Riedl 教授的辩护提出了质疑。

8ad96be6ec678bbcbb4163d190becf43.png

科学研究与工程实践对于“好方法”的要求有所不同。Riedl 教授所谓的“简单有效即可”或许足以满足工程实践的要求,却未必在科研界存在深远意义,并值得发表。显然,科学所要求的普遍性与有效性天然使得它有一种更为复杂的一套评价体系,远远不止“有效即可”这么简单。

但也正如下方另一位网友所指出的那样:科学与工程是交织在一起的。我们无法想象科学与工程之间那条泾渭分明的分界线——一个不断从理论出发,演绎与解释;而另一个则不断从实验出发,归纳与总结。因而这种二分式的质疑也不足以完全瓦解简单性法则的合理性。

让我们回到奥卡姆剃刀原理本身。从某种意义上讲,对类似奥卡姆剃刀这样的简单性法则的探讨实际上就是波普尔关于科学证伪主义的论证起点

以罗素为代表的逻辑实证主义哲学家将所有命题还原为原子命题,而主张原子命题的真假可以由经验证实——比如“所有天鹅都是白色的”可以被分解为:

天鹅白

而这里“这是一只天鹅”与“这是白色的”二者是可以被经验直接证实的。由此,在逻辑实证主义眼中,如果一个命题的所有原子命题都被经验证实,那么从逻辑律上讲这一命题就是一个真命题。如果我看到的所有的天鹅都是白的,那么所有的天鹅都是白天鹅这一命题就为真。

a6b822f44af5b876ed75e0e9e2dc2249.png

这种观点可以说为长期以来的科学实证主义提供了理论基础。它表明:评价一个理论的好坏源自于它是否可以很好的解释经验现象。譬如海王星的发现证明了牛顿的万有引力定律;参数过多的模型容易过拟合,因而我们倾向选择更简单的模型,也部分说明了奥卡姆剃刀原理。

然而波普尔却从由所有原子命题为真到原命题为真这个严重依赖归纳法的飞跃入手,指出任何归纳命题都不能得出普遍有效的全称陈述。即哪怕我看到的所有天鹅都是白的也无法否认出现一只黑天鹅的可能性。

这样一种质疑使得归纳法丧失了之前长久以来先验的普遍有效性,也由此从“理论的被经验证实”便无法再天然的导出理论的科学性。比如可以精准预测太阳东升西落的地平说并无法支撑自己为一个科学的理论。因而波普尔略显简单粗暴的使用可证伪性这个概念为科学与非科学画界,即是说一个理论可以被称为科学理论,必要给予被经验验证的可能,而类似“上帝既存在又不存在”便是典型的非科学理论。

因而,在波普尔的观点下,“如无必要,勿增实体”这句话实际上是非科学的,因为作为前提的“必要”并无法被清晰定义出“何为必要”。这种不清晰得界定意味着,哪怕我炫技式的缝合各种新鲜方法于一体,我也可以从某种程度上证明这个究极缝合怪确有存在的必要。

00e9a873d26662f51073f1be29c0a730.gif

而从这个角度来看,简单性法则实际上就变成了一种“科学试错法”。与其说它可以为“因为我的模型简单所以我的模型就很好”提供理论支持,不如说它只是在指导我们“在我们通过实验探索我们所提出的假说时,应该尽可能选择假设更少的那个”。由此,当审稿人的话语变为“如果你没有尝试过更复杂的模型进行对比,你为何可以说你的简单模型已经很好了呢?”时,奥卡姆剃刀原理便无法为 Riedl 教授提供更多的辩护。

942d2ae2d4ea7eaa765c4787f796a14f.png

8e4d764fd43c068e756fb8ea8dbb72f7.png对“简单”的偏见c862a34380d487895f429ba1d4b7f677.png

波普尔对归纳法的批判的意义还不止于此。从某种程度上讲波普尔解构了近代以来科学研究的绝对真理属性。即波普尔提出,如果演绎法是答案隐藏在大前提下的同义反复,而归纳法又丧失了普遍有效性的基础,那么人类的一切知识如何与所谓真理挂钩呢?在这种质疑下,科学研究就不再是建立在真理基础上绝对理性的演绎。其形成之初便是有诸如信念、灵感等的非理性因素参与其中的。

这就又直接牵扯到第二个问题,即学术界对“简单方法”的偏见上。在此次讨论中,人们不无意有所指的暗示着这样一个事实:当下学术界似乎并不将复杂视为解决问题可选方法之中的一种,而是将其视为一种提高入行门槛的手段

125d9c9692ff63869b0503ce393c0e13.png

在社会科学中,范式这个概念几乎已经成为了一个默认的共识。从词源上讲, “Paradigm” 的原义是指词形变化表。而哲学家托马斯·库恩在《科学革命的结构》一书中对其进行改造,用以描述一个科学共同体所共有的、相互间彼此理解与默认的信念、理论、思维方式、实验技巧等等

这并不是一个清晰的定义。库恩从未对这一他所提出的极其著名的概念下过精确地定义,而往往是在不同的语境下赋予其不同的指谓。从狭义上讲,它可以用来指某种固定的实验方法、操作模式;从广义上理解,它甚至可以用来指某一领域的科学家们对世界整体的信念

af7285e64e235a87b137eb123344a9fa.png
▲托马斯·库恩

试问一下,当我们遇到一个文本分类的任务时,为什么我们会第一时间想到用诸如 TextCNNBERT 等等的工具?为什么我们在操作时会先考虑如何进行分词、如何进行特征表征?在范式理论下,这显然是因为我们共处于自然语言处理这样一个科学共同体内,我们共享着一整套信念、理论与术语。当我们说起 Transformer 时大家都可以理解是一个有用的模型而非指的是一个变压器或变形金刚

0f08e58e60840174119aae409957fa11.png

然而,范式的弊端在于:当科学共同体的搭建源于共同的信念,而非所谓“理性的必然”时,对“简单性”的偏见就从一个个体的非理性行为上升到了整体的结构性的问题

现在有多少人还相信 AI 这门学科的最高理想?或是说相信 AI 这门学科目前的范式可以实现或达到 1956 年在达特茅斯会议上那批人工智能的先行者们展望的真正的通用人工智能?事实上当这种信念被越来越多地否认或遮蔽时,论文的发表似乎便只有方法论的意义。纵然 2 完全可以用 1+1 来代替,但使用 10000-9998 似乎可以更为精致的水出一篇论文。在问题本身没有被革新的情况下,方法论的更高更快更强才有更加显著的意义。

19995d0e822007af258910267ad9d8a5.png

或许我们可以看到,现在 AI 这门学科或多或少地在规避着一些问题。当面对来自 AI 哲学家的批评时,如“如果神经网络本质上是一种统计学模型,那么现在的 AI 究竟是一门有关人工智能的学科还是一种变相的应用统计学?”,“如果神经网络在行为上具有有限的灵活性与可塑性,那么它何以被用来建模超越性的智能?”,“当原始输入数据发生突变时,神经网络模型是否依然是可靠的?”等等问题,AI 从业者都在刻意保持一种缄默。

也许恰如 CV 领域的戴维斯教授描述的那样:“通常的情形是,技术的发展是由小团体中的科研人员的个人特殊兴趣所激发,而其方法也往往只是为特定问题量身定做的。与此情景相应的,却是如下事实:各种算法、程序、技术都受限于不同研究者各自的创造性。

换言之,现在 AI 界似乎缺少一套系统的理念与方法整合不同领域不同任务不同数据集上的不同成果,同时也缺少或是刻意遮蔽了一个统一的期望解决的最高问题,而将目光下放到在特定数据集上不同方法论间的竞争。不同数据集上不断刷新的准确率或许仅与不成正比膨胀的参数量有相关关系,也因而一种“简单的”,哪怕是“有效的”的方法因为其本身的体量与外形上的先天劣势而受到来自所谓审稿人的恶意拒绝

ab718bf2922c9316f2bd2c64a6735d28.png写在最后c6d6cff7ebbaf6aba76f0d0d706077a2.png

关注科学伦理的物理学家约翰·齐曼将现在这样一个科学的时代定义为“后学院时代”。在这个时代下,一个科学共同体并不是一个传统上一心追寻真理的理论假设,而是受到多方利益集团干涉,与社会、政治不断产生产品交换的新的社会制度。也由此科学界与科研人员不再是一个理想条件下绝对理性的概念预设,而被还原为一个社会中的活生生的个体,在没有理性预设的保护下,科学伦理便有了登场的必要。

3c414573f51d89a9782e26fbc42a7e58.png

然而科学伦理从不是被强加在人身上的外在之物,而是一个健康发展的学科的内在要求。因而尽管科研的问题不能用对某些“大问题”的追求而被简单的一言以蔽之,但缺少对学科内基本问题的认识与追求,很难真正形成一种自发自觉的科研伦理,当科学研究完全被解构为一种谋生的手段之一,科学伦理也便不再具有其先天的约束力与管辖权。

总之,如果只是回答“仅因方法 Too Simple,就该被拒稿吗?”这一问题是相当简单的,但这个答案是否可以引我们思考,当我们说出“不应该”时,心中所期待的应该应是如何?或许是更为有意义的话题吧。

15fe242b9c4da609e7f50f5b63f9f4f5.png

萌屋作者:小戏

边学语言学边学NLP~

作品推荐

  1. 千呼万唤始出来——GPT-3终于开源!

  2. Linux 程 序 员 失 业 警 告

e47a8ac1975dd9b861e6f318656f5d91.png后台回复关键词【入群

加入卖萌屋NLP/IR/Rec与求职讨论群

后台回复关键词【顶会

获取ACL、CIKM等各大顶会论文集!

ef82ff6dec906605daa94c344b3eb8b6.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/477922.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

论文浅尝 | 从具有数值边缘属性的知识图谱中学习嵌入

论文笔记整理:朱珈徵,天津大学硕士链接:https://www.ijcai.org/proceedings/2021/0395.pdf动机从遗传数据到社会网络,在越来越多的场景下与知识图谱边缘相关的数值已经被用来表示不确定性、边的重要性,甚至是带外知识。…

LeetCode 459. 重复的子字符串(数学)

1. 题目 给定一个非空的字符串,判断它是否可以由它的一个子串重复多次构成。给定的字符串只含有小写英文字母,并且长度不超过10000。 示例 1: 输入: "abab" 输出: True 解释: 可由子字符串 "ab" 重复两次构成。示例 2: 输入: &quo…

被放养导致申博论文难产,该不该硬gang导师?

最近一位粉丝给我发长文求助,说他因为申博论文的事情快崩溃了,让我给点建议。我把经过贴在这里跟大家探讨一下:985专硕一枚,CV方向,最近想申请国外博士,快被论文逼疯了。提交了初稿,隔了一个月&…

会议交流 | 第十五届全国知识图谱与语义计算大会(CCKS 2021)12月25日线上召开...

勘误:张伟老师为华东师范大学紫江青年学者OpenKGOpenKG(中文开放知识图谱)旨在推动以中文为核心的知识图谱数据的开放、互联及众包,并促进知识图谱算法、工具及平台的开源开放。点击阅读原文,进入 CCKS 2021 网站。

美团性能分析框架和性能监控平台

以下是我在 Velocity China 2014 做的题为“美团性能分析框架和性能监控平台”演讲的主要内容,现在以图文的形式分享给大家。 今天讲什么? 性能的重要性不言而喻,需要申明的是,我们今天不讲业界最佳性能实践,这些实践已…

LeetCode 581. 最短无序连续子数组(排序单调栈)

文章目录1. 题目2. 解题2.1 排序2.2 4次遍历2.3 单调栈1. 题目 给定一个整数数组,你需要寻找一个连续的子数组,如果对这个子数组进行升序排序,那么整个数组都会变为升序排序。 你找到的子数组应是最短的,请输出它的长度。 示例…

史上最大多模态图文数据集发布!

文 | 付瑶编 | 小轶最近多模态研究圈中出现了一个扬言 “史上最大规模”的多模态图文数据集:LAION-400。该数据集在今年8月完全公开,共计公开了 4亿图文对,可以依据不同的用途提供不同大小版本的子数据集。据小编调查,在 LAION-40…

图谱实战 | 知识图谱构建的一站式平台gBuilder

OpenKG地址:http://openkg.cn/tool/gbuilder网站地址:http://gbuilder.gstore.cn知识图谱能够让机器去理解和认知世界中的事物和现象,并解释现象出现的原因,推理出隐藏在数据之间深层的、隐含的关系,使得知识图谱技术从…

LeetCode 861. 翻转矩阵后的得分(贪心)

1. 题目 有一个二维矩阵 A 其中每个元素的值为 0 或 1 。 移动是指选择任一行或列,并转换该行或列中的每一个值:将所有 0 都更改为 1,将所有 1 都更改为 0。 在做出任意次数的移动后,将该矩阵的每一行都按照二进制数来解释&…

一文跟进Prompt进展!综述+15篇最新论文逐一梳理

文 | ZenMoore编 | 小轶自从 Dr.Pengfei Liu 的那篇 prompt 综述发表开始,prompt 逐渐红得发紫。近期清华、谷歌等单位你方唱罢我登场,涌现了好多好多 prompt 相关的论文。无论是工业界还是学术界,想必大家都在疯狂 follow。不少伙伴肯定从老…

论文浅尝 | PairRE: 通过成对的关系向量实现知识图谱嵌入

笔记整理:黎洲波,浙江大学硕士,研究方向为自然语言处理、知识图谱。研究背景知识图谱因其在问答、语义解析和命名实体消歧等任务取得了良好的效果而受到广泛关注,而大部分知识图谱都存在不全和缺失实体链接的问题,所以…

Java内存访问重排序的研究

什么是重排序 请先看这样一段代码1: public class PossibleReordering { static int x 0, y 0; static int a 0, b 0;public static void main(String[] args) throws InterruptedException {Thread one new Thread(new Runnable() {public void run() {a 1;x…

LeetCode 1261. 在受污染的二叉树中查找元素(树哈希)

1. 题目 给出一个满足下述规则的二叉树: root.val 0如果 treeNode.val x 且 treeNode.left ! null,那么 treeNode.left.val 2 * x 1如果 treeNode.val x 且 treeNode.right ! null,那么 treeNode.right.val 2 * x 2 现在这个二叉树受…

东南大学王萌 | “神经+符号”学习与多模态知识发现

转载公众号 | DataFunTalk分享嘉宾 |王萌博士 东南大学 助理教授编辑整理 |盛泳潘 重庆大学 助理研究员导读:近年来,多模态一词在知识图谱、计算机视觉、机器学习等领域逐渐引起越来越多的关注。从认知科学角度看,…

Child-Tuning:简单有效的微调涨点方法

文 | 罗福莉源 | 罗福莉自BERT火了以后,基本上现在所有NLP领域都all in Pre-training & Fine-tuning了吧?但当“大”规模预训练模型遇上“小”规模标注数据时,往往直接Fine-tuning会存在过拟合现象,进一步会影响Fine-tune完后…

LeetCode 890. 查找和替换模式(哈希表)

1. 题目 你有一个单词列表 words 和一个模式 pattern,你想知道 words 中的哪些单词与模式匹配。 如果存在字母的排列 p ,使得将模式中的每个字母 x 替换为 p(x) 之后,我们就得到了所需的单词,那么单词与模式是匹配的。 &#x…

Solr空间搜索原理分析与实践

前言 在美团CRM系统中,搜索商家的效率与公司的销售额息息相关,为了让BD们更便捷又直观地去搜索商家,美团CRM技术团队基于Solr提供了空间搜索功能,其中移动端周边商家搜索和PC端的地图模式搜索功能为BD们的日常工作带来了很大的便利…

专心做搜索也能登顶CLUE分类榜?在快手做搜索是一种怎样的体验

文 | 快手搜索短视频和直播,越来越成为重要的内容供给形式,而内容供给侧的改变,也在潜移默化地推动着用户搜索习惯的变化。据报道,截止今年4月,超过50%的用户都在使用快手搜索功能,每天搜索达到2.5亿次&…

开源开放 | 一个融合多元关系和事件表示的金融领域本体模型FTHO(CCKS2021)

OpenKG地址:http://openkg.cn/dataset/ftho开放许可协议:GPL 3.0贡献者:武汉科技大学(高峰、郑丽丽、顾进广)摘要在此开放资源中,面对金融领域多元关系表示的困境和时序事件表示需求,我们以OWL语…

LeetCode 114. 二叉树展开为链表(递归)

1. 题目 给定一个二叉树,原地将它展开为链表(右侧路径)。 例如,给定二叉树1/ \2 5/ \ \ 3 4 6 将其展开为:1\2\3\4\5\6来源:力扣(LeetCode) 链接:https://leet…