牛津大学发布船新「论文评审」Python程序，淘汰人工审核，自动给arXiv打分
评委表示很高兴，再也不用看paper了。
晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI
什么？同行评审已经可以被AI程序取代了？
就在4月1日，牛津大学提出了最新的评审标准算法——State-Of-the-Art Review，SOAR，同时开源了它的Python程序代码。
SOAR优化了过去同行评审多目标、大规模分布、延迟极高的缺陷。
这篇颠覆现在同行评审制度的论文，已被“国际AI顶会”SIGBOVIK 2020收录。
SIGBOVIK是在每年4月1日举办的学术会议，只有一天的议程，但是接收的论文都是全球顶尖名校和科技巨头的顶级研究。
今年在大会上发表的SOAR智能系统，必将把人工审核机制扫进历史垃圾堆。
其他还靠人工审核论文的AI顶会表示瑟瑟发抖。不过大会评委们倒是很开心，因为以后不必做吃力不赚钱的活了。
船新的论文评分系统
目前同行评审系统存在着无法扩展、运行速度慢、结果不一致的问题。其中，审稿人看稿速度慢是主要问题，另外暴增的博士生数量也不可忽略。
从1990年到2010年，授予博士学位的人数呈指数式增长，但是谷歌搜索收录的论文数量在过去几年中却没有太大变化，即使旋转坐标轴也无法保持上升趋势。
以上证据表明，要么是现在博士的工作效率比其之前都要低，要么是现有的评审系统没有提供足够的能力审核越来越多的论文。
很显然是后者。
因此来自牛津大学的研究人员提出了SOAR计划。SOAR包含两个重要参数：
1、对文章中的SOTA单词数量进行计数，数字越高越可信。
2、另外就是判断文章新颖性，统计文中novelty这个单词出现的数量。
然后我们就得到了SOAR的计算公式：
计算SOAR分数的代码也很简单，我们可以通过Python 3.7.2的collections.Counter对象传递来实现SOAR算法。
而且，算法实现的成本很低，即使你没有计算机，也可以让研究生通过铅笔划线的方式，手工算出SOAR。
不过第二种算法的难度在于，需要提高研究生的忍耐力，并说服其更好地利用时间，这一点在实验上还未得到验证。
arXiv网站是我们看论文常去的地方。
如果你没有“SOAR人肉计算器”，牛津大学的研究人员还开发了arXiv的SOAR插件，可以对未经同行评审的论文打分，节省科研工作者的筛选时间。
插件的实际效果如下：
顶会SIGBOVIK真的很“顶”
SIGBOVIK从2007年开始举办，最初由CMU的高级计算机科学家Harry Q. Bovik带头，计算机异端学会组织，今年已是第14届。
SIGBOVIK是一个研究内容相当多元化的计算机顶级学术会议。
过去SIGBOVIK讨论的内容就有：无能专家系统、深空导航、困惑理论、大型多人在线游戏、后悔最少算法、独自编译、人工智障、自然智能等等。
今年的大会可谓一波三折，本来计划3月1日截止投稿，但是一拖再拖，直到3月27日才截止。4月1日就举办了大会。
如此高的审核效率，不得不让人怀疑今年的大会评审是不是就已经用上了SOAR系统。
SIGBOVIK大会今年总共只接受了11篇论文，其中不乏CMU这样的名校，也不乏Google、Yandex等知名科技公司，
广大科研工作认为，在SOAR系统的加持下，SIGBOVIK将会是超越ICLR、CVPR水平的顶会。
以上内容纯属娱乐。
论文地址：
https://arxiv.org/abs/2003.14415
SIGBOVIK大会首页：
http://sigbovik.org/
会议全程录像：
https://www.youtube.com/watch?v=ClfBtwoHPeg
- 脑机接口走向现实，11张PPT看懂中国脑机接口产业现状｜量子位智库2021-08-10
- 张朝阳开课手推E=mc²，李永乐现场狂做笔记2022-03-11
- 阿里数学竞赛可以报名了！奖金增加到400万元，题目面向大众公开征集2022-03-14
- 英伟达遭黑客最后通牒：今天必须开源GPU驱动，否则公布1TB机密数据2022-03-05
相关阅读
