论文作者串通抱团、威胁审稿人,ACM Fellow炮轰「同行评审」作弊

来源:机器之心

编辑:陈萍、杜伟

布朗大学计算机科学系教授、机器学习研究者、2018 年 ACM Fellow 迈克尔 · 利特曼(Michael L. Littman)在 ACM 通讯上发文斥责「部分学者正在威胁计算机科学研究的诚实性」。他在文章中指出了同行评审中可能普遍存在却无人注意到的学术道德乱象:论文作者串通一气,不择手段使自己的论文被接收。

简单来说,几位作者将各自的论文提交至顶会,相互告知论文标题,故意违反盲审规则,造成重大未披露的利益冲突。接着,他们努力成为这些论文的审稿人,并给出正面的评审意见,甚至在其他审稿人不知情的情况下游说领域主席。更过分的是,如果其他审稿人可能会影响到论文评审结果,他们会发送威胁性电子邮件。这也太可怕了,研究者为了使自己的论文被接收,竟然做到了这种地步。

Michael 教授虽未明确点名哪些会议、期刊或者哪些学者采用了这些方法,但指出了这种现象普遍存在,并且已经威胁到了学术研究的公平性和诚实性。

图左:Michael L. Littman。

Michael L. Littman 的观点获得了众多其他学者的赞同。奥地利林茨大学计算机科学系网络与安全研究所负责人、谷歌安卓平台安全主管 René Mayrhofer 表示:「很多研究文化都以诚实为准则,所以同行评审中论文作者的抱团现象令人不安。一想到我们要在积极对抗(actively adversarial setting)的环境中做研究,就感到不寒而栗。」

全栈数据科学家、机器学习工程师 Dr. T 则被学术界的抱团现象深深地震惊到了。

AI 爆火,顶会论文接收难上加难

一直以来,计算机科学学科充分且高效地利用同行评审会议论文,并将同行评审作为传播具有时效性和影响力的研究成果的重要机制。但近来,学术界试图「玩弄」评审制度的做法将破坏这种机制,并且不利于研究成果的高效分享。

Michael 教授想要提醒社区的是,一种日益严重的学术道德乱象——论文作者串通一气,正一步步蚕食计算机科学所依仗的的同行评审制度。更有甚者,造成的影响已经远远超出了计算机科学领域。

首先来看评审过程具有的几个显著特征,它们并不是某一学术会议所特有,但 Michael 教授曾参与组织的三至四个会议都具备这些特征:

  • 同行评审过程中通常会设有一个程序委员会,由一至两名程序主席、数百名领域主席以及数千名审稿人组成。评审过程中要求审稿人说明是否有利益冲突情况,力求论文审核的公正性;

  • 作者提交其论文时会被要求隐去姓名,俗称「盲审」;

  • 审稿人对提交论文的标题和摘要进行评估,判断是否符合自身评审要求。若符合,则进行投标(bid)。以近年来的 ACL 会议为例,审稿人投标过程中会对论文给出 yes/no/maybe 的选择;

  • 审稿人审核哪篇文章则由程序主席决定,在分配论文时,他们会充分尊重审稿人的投标结果并尽量避免出现公开的利益冲突;

  • 审稿人审阅分配给自己的论文并提交评审意见,并可以与「共同负责」某篇论文的其他审稿人分享各自的看法,并就接受或者拒绝论文达成一致。领域主席和程序主席也会根据评审意见做出规划。

一般来说,顶级学术会议的接收率在 15%–25% 之间,并且一篇论文在某个会议上发表的机会只有一次,所以论文被拒的概率还是非常高的。论文被接收往往能够提高研究者的声誉,对他们的职业生涯发展也有影响。学术地位的竞争也非常激烈,特别是对于研究生而言,论文被拒会对未来的职业前景造成影响。此外,在一些国家,学术会议和期刊上发表论文的数量往往与学者的职位晋升和薪资调整挂钩。

在种种压力下,研究者尽可能地把自己的工作做到最好。通常,会议截止日期前的一两个星期压力异常大,计算机满负荷运行,睡眠时间也很少。即便如此,投入再多也似乎并不足以保证成功,因为评审过程充满了随机性。2014 年的 NIPS 大会(现已更名为 NeurIPS)将会议评审分组成了两个独立的评审委员会,并让他们负责审查 10% 提交的论文。结果是,一个程序委员会接受的论文中有近 60% 被另一个程序委员会拒绝。

这表明许多论文的命运由审稿人掌握,论文本身的价值并不足以保证其被接收。为了提高论文被接收的几率,多数研究者选择更努力地创新和充实论文内容,但不可避免地,也有一些学者则选择投机取巧,甚至作弊。

重压之下,论文作者选择串通抱团

Michael 教授在文章中揭露了自己知道的一种作弊方式:论文作者串通起来。他表示:「虽然还没有公开披露细节,但调查人长时间的详细调查和分析,让我没有理由怀疑他得出的结论。」

以下是具体的作弊步骤

  • 几位作者提前串通好,将论文提交至顶会;

  • 共享彼此论文的标题,故意违反盲审原则,造成重大的未披露的利益冲突;

  • 隐瞒利益冲突,投标审核这些论文,努力成为这些论文的审稿人;

  • 对这些论文做出非常正面的评论,甚至在其他审稿人不知情的情况下,通过秘密渠道游说领域主席;

  • 如果审核到了这些论文,但是其他审稿人可能会影响结果,所以有时会发送威胁电子邮件给这些审稿人;

  • 在讨论论文过程中,临时在网上会议管理系统上改名,这或许是为了避免因支持质量较差的论文而影响自身名声。

如果这种行径没有被发现并且成功了,其结果就是一些作者会通过非常不道德的行为使论文被顶会接收。鉴于许多会议限制论文接收数量,这就意味着很多质量高的论文被拒绝。因此,会议的含金量以及整个社区的诚信会受到影响。

学术界必须对这些行为做出强有力的回应,向行为不端的论文作者和审稿人发出一个明确的信息:他们的所作所为是不可接受的。然而,除了警告他们之外,目前还没有更有效的干预措施来打击作弊者。

顶会组织者正在权衡数十项提案,但这些提案都存在一些缺陷。更好的论文分配技术将有助于弥补正在被利用的漏洞。但是,如果没有更好的调查工具,我们可能永远也无法追究这些人的责任。

目前,同行评审过程主要还是由「诚实」的参与者组成。但是,一旦不道德的行为非常普遍,「诚实」的同行评审过程将会崩溃。作弊者冒着破坏其职业成功所依赖的系统的风险。现在是时候仔细研究同行评审过程并调整激励措施了,以便每个人都能共享最佳的研究成果。

参考链接:

https://github.com/ymcui/ACL2020-PC-Blogs-Chinese/blob/master/post/5-conflict-of-interest.zh.md

https://cacm.acm.org/magazines/2021/6/252840-collusion-rings-threaten-the-integrity-of-computer-science-research/fulltext

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/484623.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JDG人脸识别课堂管理系统全栈开发流程报告-软件工程实践报告

JDG人脸识别课堂管理系统全栈开发流程报告-软件工程 ⭐️ 本报告的代码部分和程序设计参考了 计算机18-1班张宇哲(学号181002406)同学 在Gitee仓库发布的AI-Attendance,本文档基于软件工程的具体流程,从软件工程的角度细化的张同学…

LeetCode 520. Detect Capital

Given a word, you need to judge whether the usage of capitals in it is right or not. We define the usage of capitals in a word to be right when one of the following cases holds: All letters in this word are capitals, like “USA”.All letters in this word a…

浅谈贝叶斯统计

来源:京师统计团总支学生会编辑: ∑Gemini浅谈贝叶斯统计贝叶斯统计是英国学者托马斯贝叶斯在《论有关机遇问题的求解》中提出一种归纳推理的理论,后被一些统计学者发展为一种系统的统计推断方法,称为贝叶斯方法。本文旨在通过实际…

java注释讲解

注释简单的来说就是一种说明,不能被当成执行语句执行。做为一名程序员,但我们在写代码时是顺着思路写下去的。写代码好比就是在做题。当你在做的时候你脑海时的思路很清晰,会想到用一些特殊的方法来解决当前的问题。但是但你在解决一个大型问…

浅析虚拟语气 (Subjunctive mood)

浅析虚拟语气 (Subjunctive mood) 本文旨在通过一种时序逻辑上的联系,帮助读者更好的记忆和运用虚拟语气。文中提及的概念不一定正确,但一定程度上能辅助记忆,最终达到熟练运用的目的。(有些语法不用刨根问底,都是约定…

数论重大突破:120年后,希尔伯特的第12个数学难题借助计算机获得解决

来源:机器之心编辑:nhyilin德国数学家大卫 希尔伯特(David Hilbert)是二十世纪最伟大的数学家之一,被后人称为「数学世界的亚历山大」。他对数学领域做出了广泛和重大的贡献,研究领域涉及代数不变式、代数…

bzoj 4319 cerc2008 Suffix reconstruction——贪心构造

题目:https://www.lydsy.com/JudgeOnline/problem.php?id4319 如果字符集有 5e5 那么大的话,挨个填上去就行了。但只有26个字符,所以要贪心地尽量填和上一次一样的字符。 按 sa[ ] 的顺序从小到大填字符,判断这个位置 x 能否填上…

Linux进程通信的四种方式——共享内存、信号量、无名管道、消息队列|实验、代码、分析、总结

Linux进程通信的四种方式——共享内存、信号量、无名管道、消息队列|实验、代码、分析、总结 每个进程各自有不同的用户地址空间,任何一个进程的全局变量在另一个进程中都看不到,所以进程之间要交换数据必须通过内核,在内核中开辟…

美国人测评马斯克的星链服务: 现实太骨感,梦想已破灭

来源: 风闻社区、3D实验室最近看到外国人测评马斯克的starlink服务,满篇吐槽,无数缺陷,而且都是原理上无法克服的那种缺陷,跟大家分享一下。首先星链服务不是你想像的那种一卡在手,天下我有的服务。用它之前…

编译过程中的链接地址对最终编译镜像文件的影响

MDK和交叉编译工具编译时都会指定程序的下载的地址(其实就是告诉程序它将在那个地址上开始执行),这有什么意义吗? 其实这么设计有原因的,因为这里涉及到全局变量和全局函数指针的地址问题,加入当你在编译时…

三维空间中曲线绕任意轴旋转所得的旋转曲面求法

三维空间中曲线绕任意轴旋转所得的旋转曲面求法 对2023汤家凤考研高等数学讲义225页2.三维空间直线旋转曲面的解释和推广 ©️ sylvanding

彩图完美解释:麦克斯韦方程组

来源:微波射频网麦克斯韦方程组麦克斯韦方程组(英语:Maxwells equations)是英国物理学家麦克斯韦在19世纪建立的描述电磁场的基本方程组。它含有四个方程,不仅分别描述了电场和磁场的行为,描述了它们之间的…

基于阿里云服务网格流量泳道的全链路流量管理(二):宽松模式流量泳道

作者:尹航 在前文基于阿里云服务网格流量泳道的全链路流量管理(一):严格模式流量泳道中,我们介绍了使用服务网格 ASM 的严格模式流量泳道进行全链路灰度管理的使用场景。该模式对于应用程序无任何要求,只需…

中国世界工厂地位为什么不会动摇

来源:工信头条文:赵一之在贸易保护主义和疫情的双重影响下,中国作为世界工厂是否会面临大规模制造业外迁,是时常引起关注的问题。复杂产品的供应链彼此环环相扣,缺失任何一环,都会影响到整个行业。疫情指出…

一文彻底解决YOLOv5训练找不到标签问题

YOLOv5 训练找不到标签, No labels found in /path/train.cache 问题的解决方法(亲测可用) ❤️ 网上绝大部分教程所述解决方法都不靠谱,也没有分析问题发生的原因,本文彻底解决了YOLOv5训练时找不到标签,出现 No labels found in /path/trai…

性能测试的分类

性能测试中最常见的要属于负载测试、压力测试了。此外,并发测试在经常被提及到。 根据大多数人总结的通用法则,可将性能测试主要分为以下几种方法: 1、验收性能测试 2、负载测试 3、压力测试 4、配置测试 5、并发测试 6、可靠性测试 7、失败回…

yolov5踩坑记录:标签错位(PIL读取图片方向异常)

PIL踩坑记录:读取图片方向异常(yolov5标签错位) 奇怪的现象 今天用 YOLOv5 做项目时,对数据集的标记出现了奇怪的现象,在下述测试用例中可明显看到,标记框偏离了物体,故发文阐述原因和解决方法…

理解与理论:人工智能基础问题的悲观与乐观

来源:筑土为坛梅剑华,男,1980年生,湖北秭归人,山西大学哲学社会学院教授,博士生导师,先后赴美国罗格斯大学、匹兹堡大学、奥地利萨尔茨堡大学等访学,研究方向是语言哲学与心灵哲学、…

设计模式系列 - 原型模式

所谓原型模式是指为创建重复对象提供一种新的可能。 介绍 当面对系统资源紧缺的情况下,如果我们在重新创建一个新的完全一样的对象从某种意义上来讲是资源的浪费,因为在新对象的创建过程中,是会有系统资源的消耗,而为了尽可能的节…

图像二值化(Image Binarization):平均值法、双峰法、大津算法(OTSU)

图像二值化(Image Binarization):平均值法、双峰法、大津算法(OTSU) 编程实现图像的二值化,分析不同的阈值对二值化图像的影响。 问题描述 传统的机器视觉通常包括两个步骤:预处理和物体检测…