Science：透视同行评议

Michael Lauer 在美国国立卫生研究院（ NIH ）的工作是：资助最好的心脏学研究，并将其成果快速传播至其他科学家、医生和公众。然而， NIH 的同行评议系统也许会使这一目标难以达成——其评议依赖于一些志愿科学家为研究计划评定拨款优先级的无偿服务。最近，作为 NIH 国家心脏、肺和血液研究所（ NHLBI ）心血管研究部门的负责人， Lauer 开展的两项研究针对这个每年分配数十亿美元联邦资金的系统，提出了一些令人不安的问题。

系统缺陷

上个月， Lauer 的研究在线发表于《循环研究》杂志上。其结果表明：由 NHLBI 资助的被评为优先级最低分的项目的引用和发表数量，与那些得最高分的项目相同。

“同行评议系统应该能够告诉我们，哪些研究项目会产生最大的影响。” Lauer 主张，“事实上，我们明确地告诉科学家，这是评议的主要标准之一。但是我们的研究却发现，同行评议并不会预测其研究结果，这令人相当不安。”

Lauer 认为，这两篇论文明显表明，评议人在分配 NHLBI 用于研究的20亿美元上表现并不好。

Lauer 称，他已经将研究结果提交给 NIH 院长 Francis Collins 和其他高级官员，“他们中没有人指出任何缺陷，也没有人认为我们的发现是错误的”。但是，这并不意味着这些官员同意 Lauer 的结论。

科学审查中心（ CSR ）负责人、监督 NIH 同行评议系统的 Richard Nakamura 对这种使用引用等事后标准来衡量研究影响的方式持怀疑态度。“ CSR 会更多地关注优秀科学家认为哪些研究会有很高的影响力，而不是文献计量是否显示它们具有高影响力。”

一些社会学家则十分欢迎 Lauer 剖析当前评议系统的想法。位于新西兰威灵顿的Motu经济和公共政策研究所负责人、经济学家 Adam Jaffe 认为，此类研究可以帮助 NIH 和其他美国研究机构在分配稀缺资源上做得更好。

“不同项目获得的资金数目有很大差异，但是具体研究计划的排名是接近随机的。” Jaffe 指出，在马萨诸塞州的布兰代斯大学担任将近 20 年教授和院长的 Jaffe 于去年春天到达新西兰任职。“这意味着 NIH 对研究项目的持续资助很重要，然而选择过程中所使用的资源并没有被有效地分配。”

Lauer 强调，他的研究并不是想说明 NIH 在资助糟糕的研究，也并不是建议对当前的评议系统进行彻底改革。不过他希望，其研究结果可以促使 NIH 质疑关于同行评议的由来已久的问题，并更多地将注意力放在确保其资金获得最大的回报上。“就像一位医生面对一群病人，这位医生应该想的是，我该如何使所有人的健康最大化。”他如是说。

公正的信仰

如果询问一位科学家关于同行评议的事情，很多人都会立即引用温斯顿·丘吉尔对民主的著名描述：“它不是一个好东西，但是目前为止尚没有比它更好的东西。”科学家们承认同行评议系统存在诸多缺陷，例如其保守主义和无法识别微小差异等。不过 Nakamura 称：“ CSR 存在的信仰是我们的评议系统是公正的，我们唯一的依据就是好的科学。”

这并不意味着 Nakamura 和同事认为，当前的系统不能被改善。去年， Collins 要求一个由高级管理人员组成的工作组调查 NIH “优化同行评议”的方式。工作组主席为 NIH 主要副院长Lawrence Tabak。该工作组调查的内容包括， NIH 是否需要采取更多措施来识别和支持新兴领域的研究项目，以及学习如何对那些曾经红极一时但目前科研兴趣已冷却下来的领域进行撤资。

CSR 管理的 170 个左右的研究小组是 NIH 同行评议系统进行外部资助的必要条件。每个小组中有 12 到 22 位外界科学家，他们每年会面 3 次，平均每次评议 70 份申请。小组成员为每份研究计划评分，其平均分即为研究计划的影响得分。这是一个庞大的系统，需要大量研究团体的支持。

NIH 官员认为，同行评议只是构建均衡的拨款系统的一部分。不过他们承认， NIH 的项目管理者比其他联邦机构更为担心拨款资助系统出现混乱所带来的后果。

Nakamura 一直在寻找新的方法评估研究小组的表现。他说：“我始终相信科学家最终会打败计量或者机器。但想要达到这一目标会面临严峻的挑战。”

如何优化

Jaffe 表示，他已经付诸 10 多年的努力，试图令 NIH 和国家科学基金会（NSF）的最高级官员在整个机构开展与 Lauer 的研究同样类型的同行评议定量分析。但是他遭遇了挫败。“这些相信科学方法的科学家却不相信科学方法需要应用于评价他们自己的研究，令我感到震惊。” Jaffe 称，“对他们来说，当前的同行评议系统是最佳方式。”

Lauer 在自己的研究所着手研究同行评议系统，他并未获得 CSR 的资助。他最初的灵感来自于 2012 年 1 月在《英国医学杂志》（BMJ）发表的一项研究，该研究报告称，由 NHLBI 资助、旨在测试预防和治疗心脏病的研究中，只有低于一半的研究在结束后的 30 个月之内发表了研究结果，1/3的实验从未发布任何信息。 Lauer 起初并不相信该结果，于是扩大了研究样本，并开展了自己的分析。“事实证明，那份研究结果是对的。”他说。

他怀疑缓慢的出版记录是否是一个更深层次的问题。于是， Lauer 开始调查那些在同行评议中得高分的研究计划是否公布数据更快。答案是否定的。“在同行评议优先级分数和发表时间之间没有显著联系。”去年秋天，他和 NHLBI 的同事在《新英格兰医学杂志》（NEJM）中如是写道。

Lauer 称，同行评议的问题与其他一些系统一样，就是依赖于专家的判断。宾夕法尼亚大学的心理学家 Philip Tetlock 于 2006 年出版的《专家政治判断：有多好？我们如何知道？》一书令 Lauer 受益匪浅。该书描述了专家如何在预测政治事件时做得比一般概率的预测更好，以及如何过高估计了自己的预测能力。 Tetlock 认为，这同样适用于同行评议系统，“有些高影响力的研究被拒绝资助，而低影响力的研究却获得拨款”。

对于 NIH 没有急于赞同 Lauer 开展的研究， Tetlock 并不惊讶。“大多数机构都不热衷于关注外界对其的客观评价。”

Lauer 和 Jaffe 称，为了改善同行评议系统， NIH 应该更加大胆地设计实验。特别是，他们希望 NIH 严格测试该系统的关键部分。可能的方式包括，加入第二组评议员，以进行结果控制，或者要求评议员根据一些具体标准分别对研究计划打分，而不是像现在一样进行整体评分。

Tetlock 指出，没有系统可以100%地选中高影响力的研究项目，且从不资助低影响力的项目。“只有上帝才做得到。”不过他相信，当前的同行评议系统的改进空间还很大。“通过使用关于如何引出和综合判断的最佳科学方法，也许我们可以提高命中率。” Tetlock 说，“世界也会因此变得更好。”

原始出处：

Jeffrey Mervis. Peering Into Peer Review. Science, 7 February 2014;