专人专款历时八年，五十余篇高引用论文依然有一多半未能复现

原创知社知社学术圈 2021-12-24 11:29

收录于话题

海归学者发起的公益学术平台

分享信息，整合资源

交流学术，偶尔风月

一项耗资200万美元、历时8年的可重复性研究于近期结束，项目组的初始目标是复现发表在Nature、Cell和Science等期刊上的53篇高引用癌症研究论文中的193项实验。根据项目组在eLife上发表的两篇总结性论文来看，能够重复论文部分结果的只有不到一半。

图源：Patrick Hertzog/AFP/Getty

已发表的论文可重复性差长期以来一直是生物医学界所关注的问题，2010年开始，几个旨在深入研究问题症结所在的大型实验项目陆续启动，由两个非营利性组织 Center for Open Science（COS）和 Science Exchange 于2013年合作发起的此项研究也是其中之一，这也是迄今为止进行的最严谨的可重复性研究项目之一。

他们选择的领域是癌症生物学，最初的计划是复现53篇论文中193项实验，但是最终该团队只完成了23篇论文中的50项实验，并发现他们获得的结果通常远没有原始论文中报告的结果那么明确。当然这并不代表他们的有意挑战原始论文的结论——复现过程中面临的种种问题可能正是可重复性差的原因之一。

每篇论文都被分配给了一组研究人员，他们收集必要的信息来撰写一份实施方案，也可以看做是一篇准确描述他们计划如何重复和分析实验数据的论文，这些方案在接受同行评议后在eLife上发表，这个步骤旨在通过阐明计划来提高透明度。然后，团队进行实验并将结果与原始论文的结果进行比较。虽然这些研究中有少数成功地复制了原始论文的关键部分，但许多研究只能复制一部分或者无法清楚地解释结果。

例如，在原始研究中具有统计学意义的97个数字效应（如某一特定代谢物浓度的百分比增加）中，只有42个在重复研究中具有统计学意义且方向相同。有7个在统计学上具有相反的意义——原始研究中的增加在重复研究中变成了减少，其余的是统计学上不显著的，或者说是无效的结果。

造成这种结果的原因可能很复杂，其中一个重要原因可能是缺乏信息：在该项目指定的53篇论文中，没有一篇仅通过这些论文本身描述的方法就可以启动实验。因此，对于他们试图复现的每一项研究，都需要联系原作者索取有关材料、实验方案、分析和其他细节的信息。该团队的数据显示，对这些请求的回应喜忧参半：一些作者非常乐于助人，回答了许多问题后甚至还会提供实验材料。但是也有 32% 的作者“根本没有帮助”——通常是完全没有回应。这种沟通的不顺畅，直接导致实验开始后发现许多细节需要修改，造成了时间和经费的损失。平均而言，该团队需要197周来复现一项研究，而每次实验的成本高达53000 美元——大约是团队最初预算的两倍，这导致许多实验无法完成最初预定的目标。

马德里国家心血管研究中心的 Miguel Del Pozo 的一篇论文被选中进行复现，他很乐于看到这个项目的努力，与多位同事和合作者进行了协调，以帮助 COS 的研究人员获得他们需要的信息和材料。但他指出，他在2011年的实验过程与COS的不太一样，患肿瘤的小鼠一旦肿瘤负荷过大就会出于伦理原因被安乐死，原始研究中的这一时间为70天，而复现研究中的小鼠45天就挂了。COS 的研究人员也认为，无法对两项研究结果进行明确的比较。Del Pozo 补充说，一般而言，原始研究和复现尝试之间的差异通常可能归结为专业知识——一些生物医学技术可能需要数月或数年的时间的磨练，因此它难以在另一个实验室中重现也就不足为奇了。

巴西可重复性倡议的协调员、巴西里约热内卢联邦大学的神经科学家 Olavo Amaral 表示，复现非常困难——“你永远不可能做到完全一样，如果上下摇晃管子而不是左右摇晃，这会有影响吗？如何解释不同的基线读数？”

并不是每个人都相信复现工作有价值，尤其是来自研究结果未能成功复现的那些作者。加利福尼亚州拉霍亚 Sanford Burnham Prebys 的癌症生物学家 Erkki Ruoslahti 说：“我不确定这些一次性实验有多大价值。”——2017 年，复现团队报告说，它无法证实 Ruoslahti 论文中的结论， Ruoslahti 则认为，外部实验室至少重复了这个“有争议的结果” 20 次，这项工作产生的候选药物现已进入II 期试验。“我很难相信所有论文中有一半是无效的，”他说。

COS 的执行主任 Brian Nosek 表示，一些论文复现失败并不能说明太多问题，而且相互矛盾的实验结果还可能带来更深入的科学见解。整个复现研究项目并不是为了证明某项特定的研究无效，真正的目标是找到导致复现率不高的各种因素和评估复现率到底有多低，最终提出系统化的解决方案。他认为，除了对发表论文提出更大的样本量、更高的统计严谨性和研究计划的预注册等技术要求外，与复现工作的有关的激励措施和研究文化是更根本的问题。

布里斯托大学的生物心理学家兼英国可重复性网络指导小组主席 Marcus Munafò 表示，对于一直关注科学研究中的可重复性问题的研究人员来说，这个结果可能不太令人惊讶。 科学界倾向于将复现视为人身攻击而不是促进学术交流的机会，并将论文视为已完成的产品而不是正在进行的科学过程——因为现行的制度关注的是产出而不是过程，这就是我认为从根本上需要改变的地方。