姚晨教授：全球临床研究论文撤稿现象及原因分析

2020年3月18日，国内学者在 《Engineering》 杂志上发表了题为《Experimental Treatment with Favipiravir for COVID-19: An Open-Label Control Study》 的论文。此项研究表明法匹拉韦可以加速COVID-19患者的康复。4月1日，该杂志对该论文发布撤稿通知，目前撤稿原因仍未知。

无独有偶，3月16日，法国传染病专家Didier Raoult的研究团队基于羟氯喹和阿奇霉素联合用药的临床试验展示了对新冠肺炎患者疗效显著，该研究次日即被期刊《IJAA》 (International Journal of Antimicrobial Agents) 接收。不过随后，IJAA于4月3日发布公告：这篇基于开放式非随机临床试验的研究论文不符合ISAC的预期标准，期刊主编Jean-Marc Rolain（文章合著者）未参与文章同行评审。

在全球疫情下，全球各国开展了大量与新冠病毒肺炎治疗相关的临床研究，人们欣喜的看到一个又一个研究成果发表的同时，也为类似撤稿、研究扎堆等消息感到担忧：尽管在临床研究中越来越重视科学完整性，但还没有研究主要集中在临床研究的科学完整性上。

日前，北大医学姚晨团队在爱思唯尔旗下的《European Journal of Internal Medicine》发表文章，回顾性纳入1980～2019年间发表的1112篇撤稿论文进行分析，目的是系统评估临床研究论文的撤稿现象和原因。因该杂志的篇幅限制，英文版选择了该投稿文章的精华观点。

1引言

过去几年，论文撤稿问题引起了行业的注意，许多文章分析了论文撤稿原因^1,2。撤稿是一种全球现象，许多国家的作者都有被撤稿的文章³。而且撤稿文章数量显著增加，尽管尚不清楚这背后的原因是因为科研论文数量增加，还是因为现在发现缺陷文章的方法有所改进^4,5。

撤稿是杂志期刊对行为不当的作者实施的最严厉处罚之一，可能对作者的声誉和学术生涯造成永久性损害。它还对读者、机构、期刊和学科产生严重的负面影响。一项研究发现，虽然从2001～2010年，每年发表的研究论文增加44%，但在同一时期，每年撤稿的临床研究数量却增加了10倍⁶。许多人从不同的角度分析了撤稿的状况，但临床研究的论文撤稿原因尚不清楚。许多研究只是简单描述了撤稿的论文数量，而本研究的目的是通过整合来自不同数据来源的信息，详细地分析世界各地临床研究论文的撤稿情况。

2方法

2.1检索策略

首先，两位研究人员从Retraction Watch网站(www.retractionwatch.com)检索数据，时间段为1980～2019年。在检索retractionwatch网站中使用以下搜索条件：研究类型选择为“clinical study”，通知性质选择为“retraction”。其次，我们搜索了PubMed和Web of Science，以进一步识别这些撤稿的论文，并发现潜在的撤稿文章。使用的检索词为“((retracted) OR  (retraction)) AND (clinical)”。“Retracted Publication”过滤器被应用于我们的搜索。

使用PubMed上的“clinical study”选项进一步过滤搜索结果，而这个选项在Web of Science上不可用。我们的搜索仅限于1980～2019年发表的英文论文。我们使用Web of Science检索论文的引用次数和期刊影响因子。为了比较各个国家撤稿文章的百分比，我们在PubMed上搜索了过去10年来各自国家每年发表的所有临床研究的文章数量。采用以下检索方法，检索词为“(country [Affiliation]) AND (clinical)”，并以“clinical study”筛选检索结果。

2.2数据提取

本研究共纳入1112篇文献。对于每一篇撤稿的论文，我们提取了文章的标题、主题、期刊名称、作者、出版商、原始发表时间、撤稿日期、撤稿原因、国家、撤稿日期年份内按国家分类的总出版量、影响因子和被引用次数。从发表到撤稿的时间以从原始发表日期到撤稿日期的时间长度计算。对数据转换的一个假设是，当多个国家涉及一篇撤稿的论文时，对于涉及的每个国家，该论文被算作一个完整的撤稿文章。

通过对期刊变量进行模糊字符串匹配，将期刊的影响因子与数据集合并，并由研究人员进行人工校验。通过使用Web of Science中的基本搜索，利用Python网络爬虫技术进行提取，收集每篇文章的引用次数。按国家分类的每年出版物总数是从PubMed中提取的。两名研究人员独立提取了数据，并对数据进行了比对和核查。

2.3统计方法

采用描述性统计等方法对数据进行分析。所有分析均使用版本3.7.6的Python软件进行。分类数据在条形图中使用频率和百分比来描述。根据国家、时间、影响因子和撤稿原因等因素分析了撤稿的数量。从某种意义上说，引用次数可以用来评价撤稿文章的负面影响。因此，建立线性回归模型来衡量影响因子和从发表到撤稿的时间是否是影响引用次数的显著变量。

3结果

3.1检索结果

总共纳入了1980～2019年间发表的1112篇撤稿论文。研究选择流程图如图1所示。

图1根据PRISMA（Preferred Reporting Items for Systematic Reviews and Meta-Analyses，系统回顾和荟萃分析的首选报告项)的研究选择流程图。

3.2随时间变化的撤稿百分比

使用每年发表论文数量中撤稿的论文百分比来评估时间范围。采用检索到的原始发表年份的撤稿论文数和PubMed数据库当年的临床研究论文总数计算每年的撤稿百分比。按撤稿年份来看，撤稿比例一直在稳步上升，但还没有上升到0.3%以上(图2)。

图2.临床研究论文的撤稿率

3.3原始文章所属的期刊和出版商

撤稿前三位的期刊分别是：麻醉与镇痛（Anesthesia & Analgesia）：37(3.3%)，欧洲麻醉学杂志（European Journal of Anaesthesiology）：24(2.2%)，英国麻醉杂志（British Journal of Anaesthesia）：18(1.6%)。撤稿排名前三的出版商分别是：Elsevier：217篇(19.5%)，Wiley：105篇(9.4%)，Springer：105篇(9.4%)。

3.4原始文章的产出国家

分析撤稿论文的原产国，能更深入地了解撤稿问题的原因。日本是撤稿出版物总数(203篇)的主要来源国，其次是美国(188篇)、中国(182篇)、德国(112篇)和印度(65篇)。前5位国家的撤稿数量占全部撤稿的68%。我们还统计了过去10年来各国撤稿的百分比(表1)。因此，我们随后的分析将重点从撤稿原因和撤稿时间两个方面具体比较排名前五的国家。

表1  近10年临床研究论文撤稿排名前十的国家及其撤稿率

3.5按国家划分的撤稿时间

为了找出特定国家的相关撤稿时间线，我们比较了前5个国家文章的撤稿时间及其高峰期。中国和印度的情况类似，撤稿的时间范围都在最近10年内：中国的撤稿在2015年和2019年达到峰值，而印度的撤稿在2013年和2016年。德国的时间范围是从1994年到2019年，高峰期在2011年。日本的时间范围是从1999年到2019年，峰值在2013年。美国的撤稿时间范围是1980年至2019年最宽的，并在2009年达到峰值(图3)。

图3按国家划分的撤稿时间对应的撤稿数量（X轴为数量）

3.6按国家划分的从发表到撤稿的时间

另一个有助于评估一篇文章的整体影响，是从文章发表到被撤稿之间间隔多长时间，以表明这不仅仅是文章数量，也是它可被引用的时间。我们比较了不同国家之间的从发表到撤稿的时间。所有国家的撤稿高峰都出现在前两年内，日本是一个特例，峰值出现在第14～15年之间。日本和德国都表现出文章在发表10年后被撤稿的模式。(图4)。

图4按国家划分的从发表到撤稿时间的撤稿数量（X轴为数量）

3.7按国家划分的撤稿原因

对排名前5位的每个国家的撤稿原因分布进一步分析。首先，通过筛选至少提到50篇文章的撤稿原因，收集了文章被撤稿的18个主要原因。为了确保这些原因实际上是排名前5位的国家的首要原因，对这18个原因的排名一致性进行了分析，结果显示它们没有变化。

在18个原因中，任何带有“调查”/“行为不当”/“没有信息”的原因仅用于提及导致论文撤稿的调查方式类型，因此不能用作撤稿原因。各国排名前两位的原因是：以“期刊/出版商调查”为首的中国(文章重复和数据错误)，以“期刊/出版商调查”为首的印度(文章重复和抄袭)，以“期刊/出版商调查”为首的德国(缺乏IRB/IACUC批准和作者违反道德行为)，以“公司/机构调查”为首的日本(伪造/捏造数据和缺乏IRB批准)，以及以“公司/机构调查”为首的美国(伪造/捏造数据)。

中国和印度在主要撤稿原因方面的相似之处可能与这样一个事实有关，即调查是由可能更容易发现文章重复的期刊发起的，对于其他国家来说也是如此，这些国家的撤稿是由对公司/机构的调查发起的，这些公司/机构可能更好地检测不合理或不道德的数据（图5）。

图5按国家划分的撤稿原因

3.8不同国家撤稿文章影响因子的密度

随着时间的推移，撤稿文章的影响因子较低，这可能意味着期刊在捕捉高影响因子缺陷文章方面取得了进展。当对比前文与撤稿文章的时间相关的图表时，发现这可能是因为2010年后中国有更多的文章被撤稿了。撤稿文章的影响因子按国家显示，以帮助诊断什么级别的出版物可能撤稿文章，以显示是如何影响中国和印度每年的总体平均影响因子。

我们比较了这五个国家撤稿文章影响因子的密度分布差异。大多数撤稿的文章都是低影响因子，这是有意义的，因为大多数出版物的影响因子都很低。独一无二的是，中国有33%的撤稿文章接近2.5左右的影响因子(图6)。

图6按国家划分的撤稿文章的影响因子的密度图

3.9影响因子与撤稿原因类型的关系

某些撤稿原因来自影响因子高于其他原因的文章。影响因子高的撤稿文章不太可能是重复或抄袭，而更有可能是与结果和数据相关的错误。由公司/机构和第三方发起的调查可能比由期刊/出版商发起的调查，撤稿更高影响因子的研究。影响因子较高的研究类型通常是原创性研究，如随机对照研究、队列研究和观察性研究，这使得它更有可能出现与数据、方法、结果和不当行为有关的错误。

3.10主要撤稿原因随时间的变化

在找到每个国家的总的撤稿原因分布之后，进一步的分析表明，一些原因在一个国家仍然长期存在。确定了中位数撤稿年份，并将其设置为比较前后日期范围的分界点。比较了两个日期范围之间的原因分布，以找出尽管从日期之前范围撤稿达到峰值，但仍持续在日期范围之后的原因

对中国来说，“文章重复”和“数据错误”持续存在，而“虚假同行审查”减少，“违反道德行为”增加。对于德国来说，关于“违反道德”和“缺乏IRB批准”的主要问题并没有持续存在，但“伪造/捏造数据”成为首要原因。

就美国而言，“数据错误”持续存在，而“数据造假/捏造”有所减少。就日本而言，“伪造/捏造数据”和“缺乏IRB批准”依然存在，而“对作者身份的担忧/问题”有所增加。对印度来说，“文章重复”和“抄袭”依然存在。趋势显示，总体来说，主要原因持续在更少的比例以下。

3.11不同国家撤稿文章的引用次数

为了评估撤稿文章的负面影响，我们分析了每篇撤稿文章的被引次数。从小提琴图可以看出，被引用最多的撤稿文章主要分布在日本、美国和德国(图7)。

图7 不同国家撤稿文章的引用次数

3.12引用次数的模型构建

建立线性回归模型来衡量影响引用次数的变量是否为显著变量，即评估影响因子和从发表到撤稿的时间这两个变量是否有统计学意义。在只包括既有引用次数又有影响因子的文章后：1112篇文章中有892篇被用于建模。结果表明，这两个变量对引用次数都有统计上的显著影响。(表2)。

表2引用次数的线性回归模型(排除两个变量之间的交互作用)

4讨论

在过去十年中，虽然撤稿通知的数量增加了10倍，但与发表的文章数量(约0.02%)相比，这是非常小的⁶。我们的研究还发现，在此期间，撤稿文章的数量呈现出明显的增长趋势。这一不断上升的现象促使人们更加关注科学诚信问题。

很多关于撤稿研究的分析都停留在简单的统计描述层面，很少有研究对这一问题进行深入的探讨^7-10。为了确定撤稿规模，对临床研究中的撤稿文章数量与我们的搜索算法提取的已发表研究的数量相比，每年的比例都没有超过0.3%。通过以上分析，从原产国、撤稿时间、撤稿原因、影响因子、引用次数等方面对科学诚信进行了分析。

分析的目的是找到一种方法，在缺陷文章影响未来研究人员的思维之前发现它们，并用来检测某些国家存在的具体问题，以使他们可以关注这些问题。分析表明，世界上65.1%的撤稿文章来自排名前5位的国家，其中有18个主要原因涉及至少50篇的撤稿文章。

在这些原因中，研究表明，某些原因更有可能被发表在高影响因子的期刊上。例如，伪造/捏造数据的原因有能力在高影响因子的期刊上发表，而剽窃的文章没有一篇从影响因子超过10的期刊撤稿。将前5个国家的撤稿原因进行了比较，以了解它们撤稿的主要原因。在涉及前5个国家的研究中，只有2.5%是合作撰写的，这意味着撤稿原因之间的相似之处不是来自国家间的合作。各国之间原因分布的相似之处可能与这样一个事实有关，即调查是由期刊/出版商发起的，这样可以更好地发现文章的重复，或者公司/机构可能更好地检测不合理或不道德的数据。

分析发现，随着各国发表论文的增加，撤稿原因的变化趋势在除了德国违反道德的行为减少外，没有发现撤稿原因的剧烈变化。分析的另一个方面关注的是撤稿文章可能造成的潜在损害，如果被大量研究人员引用，撤稿文章会有更长期的损害。该模型的结果现在可以用来帮助各国更多地了解其科学完整性的具体方面。这两个因素的结合可能会对未来的研究人员造成损害，因此各国可以将他们的注意力集中在文章被撤稿的主要原因上。

在大量撤稿的期刊中，麻醉期刊及其撤稿背后的故事引起了我们的关注^11,12。大量与麻醉相关的有缺陷的研究发现归因于专门从事统计分析的麻醉学家约翰·卡莱尔(John Carlisle) ¹³。一项撤稿的研究表明，麻醉师应该定期提高他们在手术期间和术后向患者输送的氧气水平，以帮助减少感染，最终被世卫组织引用。根据他作为麻醉师的经验，他开始对结果持怀疑态度，并调查了随机组之间基线协变量的平衡情况，发现它们看起来被篡改了。随后他发表了一篇论文，指出16年来发表的5087项试验中有90项发现了可疑数据，包括数据造假和其他非随机抽样的原因。之后，《新英格兰医学杂志》(The New England Journal Of Medicine)等主要医学期刊决定对数据进行统计检查，以防止P值篡改（指p-hack）人群¹⁴。

随着大数据时代的临床研究变得越来越突出，检测P值篡改人们的行为变得越来越困难。随着越来越多的数据被数字化到医院数据库中，获得数据变得越来越容易，随着可用性的增加，研究人员很容易尝试对数据进行统计测试，而无需事先编写统计分析计划。为了使数据带来创新而不是增加风险，需要对数据的获取过程进行适当的审查，检查适合进行研究的计划，并与现有的文献和专家医疗建议进行比较。如果一位拥有统计知识的麻醉师能够带来如此巨大的变革，就不难想象拥有特定领域专业知识的期刊实施这些做法的力量有多大。 

这项研究有几个优点，包括分析方法的多样性和洞察撤稿趋势的多角度。这项研究是第一个专注于临床研究中科学完整性的研究，它深入探讨了撤稿的研究如何影响研究人员，以及可能导致研究撤稿的环境和调查。

结论

综上分析，65.1%的临床研究论文撤稿来自于撤稿最多的前5个国家；有18个主要原因涉及至少50篇撤稿文章。在这些论文撤稿原因中，某些原因是文章更有可能发表在高影响因子的期刊上而主动撤回。

中国、印度、日本和德国的论文撤稿原因是相似的。在涉及前5个国家的研究中，只有2.5%属于国际合作。线性回归模型表明，变量“影响因子”和“从发表到撤稿的时间”是影响引用次数的重要变量。应加强瑕疵论文的审评审阅流程，并进一步开展研究，以提高临床研究的科学性。

参考文献

1. Lei L, Zhang Y. Lack of Improvement in Scientific Integrity: An Analysis of WoS Retractions by Chinese Researchers (1997–2016). Science and Engineering Ethics 2018;24:1409-20.

2.Bik EM, Casadevall A, Fang FC. The Prevalence of Inappropriate Image Duplication in Biomedical Research Publications. mBio 2016;7:e00809-16.

3.Amos KA. The ethics of scholarly publishing: exploring differences in plagiarism and duplicate publication across nations. Journal of the Medical Library Association : JMLA 2014;102:87-91.

4.Wager E, Williams P. Why and how do journals retract articles? An analysis of Medline retractions 1988-2008. Journal of medical ethics 2011;37:567-70.

5.Steen RG. Retractions in the scientific literature: is the incidence of research fraud increasing? Journal of medical ethics 2011;37:249-53.

6.Van Noorden R. Science publishing: The trouble with retractions. Nature 2011;478:26-28.

7.Faggion CM, Jr., Ware RS, Bakas N, . An analysis of retractions of dental publications. Journal of dentistry 2018;79:19-23.

8.King EG, Oransky I, Sachs TE, et al. Analysis of retracted articles in the surgical literature. American journal of surgery 2018;216:851-55.

9.Stretton S, Bramich NJ, Keys JR, et al. Publication misconduct and plagiarism retractions: a systematic, retrospective study. Current medical research and opinion 2012;28:1575-83.

10.Decullier E, Samson G, Huot L. Retractions due to errors and frauds. Presse medicale (Paris, France : 1983) 2012;41:847-52.

11.Carlisle JB, Dexter F, Pandit JJ, et al. Calculating the probability of random sampling for continuous variables in submitted or published randomised controlled trials. Anaesthesia 2015;70:848-58.

12.Carlisle JB. The analysis of 168 randomised controlled trials to test data integrity. Anaesthesia 2012;67:521-37.

13.Adam D. How a data detective exposed suspicious medical trials. Nature 2019;571:462-64.

14. Carlisle JB. Data fabrication and other reasons for non-random sampling in 5087 randomised, controlled trials in anaesthetic and general medical journals. Anaesthesia 2017;72:944-52.