以“开放同行评议”推动学术发展

57af2057faacef8774491340c1c910a3.jpeg

来源:《中国社会科学报》

图片来源:CFP

同行评议是指同一领域的专家学者评议研究人员稿件,确定学术论文是否适合发表、提出意见的过程。同行评议一直是学术期刊出版的重要基石。然而,学术界关于同行评议中的偏见和不利影响的争论,也一直伴随着这项制度而存在。正因如此,同行评议制度得以不断调整优化。奥地利因斯布鲁克大学金融学教授尤尔根·胡贝尔(Jürgen Huber)等人近期发表的一篇论文指出,在同行评议过程中,作者会因声望与地位的不同而遭受不同待遇。

在本项研究中,尤尔根·胡贝尔的研究团队向三组审稿人发送由诺贝尔奖获得者和一位鲜为人知的研究助理共同撰写的研究论文,但三组审稿人能看见的作者姓名不同,分别为诺贝尔奖获得者、研究助理和匿名。结果显示,当作者显示为诺贝尔奖获得者时,只有23%的人建议不发表;当作者显示为研究助理时,该数据为65%;而当论文作者匿名时,48%的人建议不予发表。基于此,研究人员得出的结论是,同行评议应采取双向匿名模式,即审稿人与作者双方都不公开身份,以促进公平。

该研究引起广泛讨论。针对同行评议中存在的偏见问题,丹麦奥胡斯大学研究员谢尔盖·霍尔巴赫(Serge P. J. M. Horbach)、奥地利格拉茨技术大学高级研究员托尼·罗斯·海洛尔(Tony Ross Hellauer)与荷兰莱顿大学定量科学研究教授卢多·沃尔特曼(Ludo Waltman)近日在伦敦政治经济学院官网发文提出,双向匿名模式并不能从根源上应对偏见问题。围绕双向匿名模式存在的利弊,以及如何优化同行评议机制等问题,本报记者采访了海洛尔。

双向匿名制存在的问题

海洛尔等人在文章中写道,他们赞同胡贝尔等人的研究理论与实验过程,但不赞同其结论。他们认为,虽然双向匿名模式比单向匿名模式能更加有效地从结果上减少偏见的发生,但没有从偏见产生的根源出发解决问题。因此,双向匿名模式无法解决同行评议中的偏见问题。海洛尔认为,人们高估了双向匿名模式的有效性,一些研究表明,在双向匿名模式中审稿人能根据语言风格或观点等识别出作者身份。

海洛尔表示,目前大多数审稿人依然着重于评估研究是否新颖或重要,这是偏见产生的重要原因。期刊会偏向于选择那些会被大量引用的、最有影响力的论文发表,因此才会产生诸多偏见,而双向匿名模式并不会影响审稿人的评估重点。海洛尔等人提倡采用新型评议方式,减少对研究结果重要性的关注,“如果我们改变评价体系,不对论文是否重要、有意义作出评价,而只是从技术角度审核其正确与否,那么就能在很大程度上减轻甚至消除偏见”。

此外,双向匿名模式还会阻碍开放科学实践,如预印本(preprint)和“发布—评议—精选”(publish-review-curate)等开放评议模式都与双向匿名模式相冲突。双向匿名模式要求在稿件正式发表前不能公开,而在预印本与“发表—评议—精选”等模式中,作者需要在互联网上预先发布尚未在正式刊物上发表的论文。海洛尔认为,预印本模式是近年来快速发展的评议形式,提高了评议效率,让信息更早地面向大众,有利于学术争鸣。在新冠肺炎疫情期间尤为如此,预印本模式加快了信息传播速度。

预印本模式的兴起意味着越来越多的作者在同行评议前就将文稿放在网络上,一旦稿件上网,双向匿名模式就很难起作用。海洛尔说:“双向匿名模式与预印本模式很难兼容,而我们认为,预印本模式是重大进步,要放在优先发展的地位。应在这个认识的基础上再考虑如何消除偏见,我们建议将评议过程透明化。”

开放同行评议的重要内涵

开放同行评议是开放科学的重要支柱,但学界一直没有就其标准化定义形成共识。海洛尔在论文中系统回顾和梳理了“开放同行评议”(open peer  review)的重要内涵。他将开放同行评议总结为三种主要形式:公开评审人和作者信息、公开同行评议报告、开放公众参与。

海洛尔向记者介绍,提到开放同行评议时,人们首先会想到的是公开作者或审稿人的身份。审稿人身份公开的时机也较为多样,可以在评议过程中或者评议完成后公开。例如,在评议过程中,作者不会收到任何消息,直到收到稿件录用通知时,审稿人的姓名才会与同行评议报告共同公开。

海洛尔表示,公开评议报告呈现出审稿人对稿件的意见与建议,是开放同行评议的重要形式。公开评议报告有以下几种好处:第一,有利于推动学术交流与发展。“公开评议报告将对学术发展大有裨益,在人文社科领域尤其如此。行业内顶尖的专家围绕文章展开讨论,这些对话中包含着许多有价值的重要信息,有助于学术交流与发展。”第二,公开评议报告、实现透明化还能够解决掠夺性期刊(Predatory Journal)的问题,即专门以营利为目的、完全不进行或进行虚假同行评议的期刊。如果实行开放评议,要求公开评议报告,会有效减少期刊市场乱象。第三,期刊团队相对封闭,编辑们倾向于邀请固定的专家参与评议,也会避免邀请某些群体。公开评议报告有利于打破传统,推动期刊多样化发展。

海洛尔提到,开放同行评议的第三个方面是指公众参与。在开放评议的过程中,人们可以发表评论,令评议意见多元化。海洛尔说,作者在网络上发布预印本的同时,也会将文章提交给期刊,读者阅读预印本后可以留言反馈,与此同时,期刊的审稿人、编辑与作者本人也会进行对话,将两种对话有机结合有助于增加评议的科学性和合理性。

海洛尔表示,与双向匿名隐藏过程只呈现结果的模式相比,开放同行评议能令评议过程透明化,更有利于解决学术中的偏见问题。

人文社科领域亟须创新评议方式

不同研究领域都有自己特定的评议模式传统,人文社科领域的常用模式为双向匿名评议制度,在评议与发表方面的创新发展较慢。海洛尔认为,人文社科领域更应在同行评议制度上积极创新,因为在该领域中开放同行评议将发挥更大的作用。

正如伦敦大学学院学者马塞尔·诺切尔曼(Marcel Knochelman)在其研究中所论述的那样,与物理和生物医学等学科相比,人文学科的同行评议不太依赖于“抽象、客观的定量内容”,而是更多依赖于“审稿人或编辑理解水平内的共识问题”。通常来说,同行评议更像是质量把关,需要判断方法论与结论的正确性,这在科学领域明确有效,因为科学与客观事实直接关联且有标准答案。然而,在人文社科领域,研究更多地依赖理论和个人解读,因此,对人文学科来说,同行评议更应该通过对话、讨论、意见交换来完成。在这种情况下,公开同行评议报告可以鼓励更多人参与讨论,从而优化论证和理解。

在谈及人文社科领域所适合的评议模式时,海洛尔倾向于采用“发布—评议—精选”模式。这种模式先在网上发布预印本,并公开审稿人的评论,同时大众也可以参与评论,最后通过筛选标识出各方认可的文章。这种新兴模式可以提供相关特定研究主题的合集,帮助读者了解研究背景,并且通过直接提供相关文章链接的方式为原文增加附加价值,这一模式有望成为品牌期刊的改革方向。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

f9e538720f0e20df81bf2ae75aca565b.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/481329.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2022年,人工智能领域发展的七大趋势有哪些?

来源:福布斯官网美国《福布斯》网站在近日的报道中指出,尽管目前很难想象机器自主决策所产生的影响,但可以肯定的是,当时光的车轮到达2022年时,人工智能领域新的突破和发展将继续拓宽我们的想象边界,其将在…

DeepMind VS Meta:实现纳什均衡理性最优解,还是多人非零和博弈算法更强大?

大数据文摘转载自AI科技大本营编译 & 整理:杨阳记得豆瓣高分电影《美丽心灵》中的约翰纳什吗?作为获得诺贝尔经济学奖的数学家,纳什在博弈论、微分几何学,以及偏微分方程等各个领域都作出卓越贡献。为表彰他在非合作博弈理论中…

【萌味】小夕说,不了解动态空间增长的程序喵都是假喵(上)

小提示:小夕会将小屋的最新动态更新到小屋的布告栏哦,口令是【nb】(口令在订阅号主界面直接回复即可使用)。 小夕学了数据结构后,知道了链表、树、哈希表等数据结构与静态数组的固定容量不同,它们…

马斯克脑机接口公司被查,曾宣布6个月内进行人体试验

来源:医谷文:医谷近日,据路透社报道称,因涉嫌违反动物保护相关内容,马斯克的脑机接口公司Neuralink正面临美国联邦部门的调查。据称,其现任和前员工指出,由于马斯克要求加快研发速度的高压要求&…

【萌味】小夕说,不了解动态空间增长的程序喵都是假喵(中)

亲爱的小屋客人,昨天小夕将小屋的讨论室重新装修啦!希望您会喜欢哦~除了口令[d],现在也可以通过主页下方的“喵了个咪”进入讨论室啦。ps:昨天小夕装修讨论室的时候发生了N次差点吐血的事件,明天小夕与大家含泪分享T_T…

马斯克点赞!DeepMind神AI编剧,一句话生成几万字剧本

来源:机器学习研究组订阅你有灵光乍现的时刻吗?就是那种:这点子太好了,要是拍成电影一定能大火?之前这种想法可能只能停留在你的脑海中,而现在,一个「AI编剧大师」的出现,或许能让你…

“东数西算”之五大热点问题探讨

"“东数西算”无疑是2022年一大热词,产业界和学术界就该话题进行了深入的研究探讨。"整体上来看,“东数西算”的实施,一方面是为了更好地利用西部相对优惠的电力资源和优异的气候条件,推动数据中心的优化布局和产业整体…

科普一下人工智能领域的研究方向

路人甲:“你是学什么的?” 小夕:“学计算机嗒~” 路人甲:“哦哦,那你ps肯定很厉害!” 小夕:“我不会,我是做人工智能的。” 路人甲:“哦哦,做机器人的啊&…

编程神器Copilot被官司搞怕了?月收费19美元的商业版将提供辩护服务,最高索赔50万美元...

来源:AI前线作者:凌敏、核子可乐Copilot 的商业化“虽迟但到”。GitHub 推出商业版 Copilot据外媒 theRegister 报道,GitHub 旗下的 AI 编程神器 Copilot 现已推出商业版本,每月收费 19 美元(约合 133 元人民币&#x…

【激萌】人工智能大地图-生存能力篇

小屋的喵喵们,讨论室的投票明天就要截止了,还没有投票的喵喵快来啦。通过口令[d]或者主界面下方“喵了个咪”菜单即可进入讨论室哦。本文的封面图还是小夕设计的哦~喜欢吗(⁎⁍̴̛ᴗ⁍̴̛⁎)路人甲:“你是学什么的?”小夕&#…

Nature经典回顾:大脑中统一的物体空间模型

导语大脑能够轻而易举的完成物体识别,这一过程主要在大脑的下颞叶皮层进行。研究已经发现下颞叶皮层存在面孔、身体、场景等类别选择性区域,然而,仍有大部分下颞叶皮层未发现已知的功能特异性。这就带来一系列问题:未被理解的大片…

小夕说,不了解动态空间增长的程序喵都是假喵(下)

小夕在本系列前两篇文章中为大家介绍了各类数据结构的扩容策略,且在上篇文末,小夕提到了加倍式扩容中,倍率采用2并不是最优的,为什么呢?有没有最优倍率呢?内存复用如果倍率采用2甚至更大的数,那…

ChatGPT 与AI大模型发展简要综述

来源:数据观综合编辑:蒲蒲"日前,美国硅谷的初创公司OpenAI推出了一款新的人工智能对话模型ChatGPT,模型中首次采用RLHF(从人类反馈中强化学习)方式。目前,模型处于测试阶段,用户…

Nature Reviews Physics:人工智能怎样促进科学理解

导语一个能正确预测每个粒子物理实验结果、每个可能的化学反应产物或每个蛋白质的功能的先知将彻底改变科学和技术。然而,科学家们不会完全满意,因为他们想了解先知是如何做出这些预测的。这就是科学理解(scientific understanding&#xff0…

史上最萌最认真的机器学习/深度学习/模式识别入门指导手册(一)

喵喵喵~大家元宵节快乐噢。有没有要陪小夕出去看烟花的吖...小夕借此给热爱学习的喵喵们献上这篇拙文,希望不要嫌弃哦~还有,小夕画的封面图是不是很棒呀( ̄∇ ̄)小夕发现现在想进军人工智能领域的程序yuan甚至少年少女喵好多呀&…

OpenAI ChatGPT走红,DeepMind不甘示弱,推出剧本写作AI,一句话生成一个剧本

来源:机器学习研究组订阅Dramatron似乎在一定程度上克服了AI大模型写长剧本前后不连贯的问题。你是否有过这种体验:某一天逛街的时候,脑子里突然冒出来一个好玩的故事,但你一时想不到更多的细节,也没有一块完整的时间去…

[完结]以C++与Java为例,详解数据结构的动态增长策略

前言 本文改编自小夕的订阅号文章《【萌味】小夕说,不了解动态空间增长的程序喵都是假喵(上)》、《【萌味】小夕说,不了解动态空间增长的程序喵都是假喵(中)》、《【萌味】小夕说,不了解动态空间增长的程序喵都是假喵(…

量子计算机创造了虫洞吗?不完全是,但揭示了量子模拟的未来

来源:光子盒研究院最近,科学家们因据称产生了一个虫洞而成为头条新闻。发表在《自然》杂志上的这项研究使用量子计算机在简化的物理模型中模拟虫洞。消息传出后不久,物理学家和量子计算专家对虫洞是否真的存在表示怀疑。这是怎么回事&#xf…

复旦大学邱锡鹏教授:语言模型即服务,走向大模型的未来

来源:智源社区作者:智源社区整理:周致毅人类一直期待AI能在处理自然语言方面大放异彩,语言大模型在近些年已逐渐成为NLP领域的标配。随着模型的扩张,当前大模型的调用已变成上游厂商开放API供下游使用的模式。这一模式…

史上最萌最认真的机器学习/深度学习/模式识别入门指导手册(二)

谢谢你们。小夕昨晚又熬夜被发现了,谢谢对小夕的关心...有你们陪着,小夕很幸运。路人乙:“小夕,别人都说上完coursera上的那门机器学习课就已经入门机器学习了,可你又不这样认为。那你认为上完那门课,或者说…