文|机器之心 泽南 杜伟

改一改再投也不行？NeurIPS 的程序主席们表示他们还在审查一些疑似与其他 AI 学术会议投稿雷同的论文，未来拒稿的数字可能还会增加。

「随着 NeurIPS 2019 大会的审稿工作完成，作者回应阶段开始，我们现在要宣布有关程序主席（PC）审稿策略的更新了，」Hugo Larochelle 说道。

Deadline 过去了，论文还没有审完

首先，对于作者来说论文提交的 Deadline 是一道坎。对于审稿人来说，评审 Deadline 也一样刺激。

7 月 25 日至 7 月 31 日是 NeurIPS 2019 论文作者起草并提交论文评审反驳意见的时间。针对目前给出的评审意见，作者们可以进行解释消解评审的顾虑，抑或澄清审查中可能存在的任何误解和事实错误。随后，作者的回复将通知提交给审稿人和大会区域主席（AC）之间进行讨论，最终他们会给出评审建议。

大家可能已经注意到，论文评审的提交截止日 7 月 15 日和评审放出时间 7 月 25 日之间相隔多天。大会组织者表示，这一段时间原本计划用于区域主席、高级区域主席和程序主席（PC）跟踪逾期未审的论文，以在必要时紧急进行评审。

虽然大多数评审者按时完成了自己的评审任务，但仍然出现了大量评审者推迟提交评审，甚至在截止时间最后一刻选择退出评审者行列的情况。所以直到 Deadline 之后 36 个小时，只有 73% 的论文获得了至少 3 个评审结果，大约有 90% 的评审者提交了评审结果。

看来对于大会评审人员、区域主席和程序主席来说，他们度过了一段紧张繁忙的阶段。

严禁一稿多投

正如会方在 Call for Papers 中所提到的，本届 NeurIPS 2019 宣布与其他人工智能学术会议展开了合作，以阻止一稿多投的现象。组织者选择的合作会议与 NeurIPS 存在主题领域和评审时间上的交叉。

为了保证 NeurIPS 大会的内容具有原创性和新颖性，因此大会希望积极制止一稿多投的现象。此外，大会主席还希望避免论文作者利用系统漏洞的企图，通过一稿多投来增加被接收的机会。找出这些一稿多投的论文也为大会增加了很多额外的工作量。

针对这种情况，我们已经与 BMVC、ECML-PKDD、EMNLP-IJCNLP 以及 ICCV 的程序委员会主席展开合作。我们的流程管理人员运行相应脚本，对提交至 NeurIPS 的论文与这些学术会议上同一作者提交的论文进行对比。然后，我们检查了相似度最高的论文，确定它们是否违反了双重提交政策。

通过以上操作，我们发现并确定提交至 NeurIPS 的 19 篇论文与同一作者提交至不同学术会议的其他论文存在明显重复。因此，我们现在已经拒绝接收这 19 篇论文。我们还识别出了一些疑似出现重复的论文，并指定领域主席进行仔细调查，以帮助我们确定一个公平的解决方案。

此外，大会还对所有相同作者提交至 NeurIPS 的论文中运行相似度脚本，从而突出显示具有明显重复的论文案例。大会主席并没有亲自检查这些重复论文，而是指定相同的评审者和领域主席进行审核。然后，NeurIPS 会通知他们，这些提交的论文会被一同进行评估，以确定接收其中的一篇是否导致另一篇因重复而无法被接收。

更多有关作者回应和论文双重提交的信息可参阅《NeurIPS 2019 征文须知》。

链接：https://neurips.cc/Conferences/2019/CallForPapers?source=post_page---------------------------

有损论文评审公平性？

将相同的评审分配给类似的论文以避免它们「可能」的雷同虽然可以提高评审论文的效率，但显然也会有损论文评审的公平性。人们对于这种新的评审做法颇有微词，英特尔科学家 Randall Munroe 表示：「这是一个让评审机制走向偏见的好方法，我很惊讶机器学习会议会变得如此堕落——故意加剧审查制度的偏见。」

Munroe 认为，如果把应对「一稿多投」问题的任务交给大会的领域主席（AC），但让他们以无偏见的方式进行审查效果或许会好得多，因为这对于领域主席来说相对简单，而且一稿多投且在两个大会上都被接收的情况其实很少见。

对此，程序主席 Hugo Larochelle 并不赞同：「请注意，如果论文有高度重复性，我们实际上希望两边都把它拒掉，因为我们希望阻止这种投机取巧的策略。」

Larochelle 又表示，其实目前这种方法对于论文作者来说也有好处，论文评审可以在评论中提出自己的看法，而论文作者也可以在回复中进行反驳——如果让领域主席来进行判断，这些都就都做不到了。

看起来，为了降低大会接收论文的水分，组织者们正在采取各种手段。上周四，NeurIPS 2019 大会放出了论文的评审结果。对于每篇有效投稿的论文，作者们都得到了至少三个评审结果。

在知乎等社交平台上，人们纷纷开始晒（tu）出（cao）收到的评审结果。总体而言，大多数评审给出的建议非常中肯，但也有一些缺乏专业知识/没有仔细看论文/故意反问的：

你文章里标点为什么用那么多？很难读啊，我建议你把它修改一下。

当然，其中还有更加直击灵魂的追问：

What is softmax?

最后，如果看到这些不淡定了，先吃一袋 NIPS 压压惊。

参考内容：

https://medium.com/@NeurIPSConf/author-response-4a58bbd101bf