为什么多数研究者喜欢看高影响力或知名人士的文章?究其原因有两个字非常重要:可靠!当我们拿到一篇文章时,多数人都会质疑:这工作靠谱吗?我如果借鉴能够信任文中的研究结论吗?

好的工作是巨人的肩膀,后来者在其基础上才能看的更远。不准确有误导性的工作简直是巨坑,让人白瞎时间和气力,忍不住骂娘!

灵魂发问:为何大多数已发表研究成果重复不出来?

2011年,全球心理学领域的270资深学者发起了“重做计划”,抽取该领域100项研究成果进行重做。结果显示可重复率仅为36%,这意味大部分已发表研究成果是重复不出来的。这一计划随后拓展到了其他多个领域。以癌症研究为例,研究者们选择了53项重要研究成果,但其中只有6项可重复,重复率仅为11.3%。

现在越来越多的人担心当前发表的大多数研究结果都是不靠谱的。在15年前,John Ioannidis曾在PLOS Medicine杂志上发表了一篇代表性文章对该问题进行了深入讨论[1]。作者认为造成多数研究成果不可信的原因是实验者趋向于选择有利样本。基于逆向思维,选择样本时人为干预过于严重,造成巨大的反向偏差

灵魂发问:为何大多数已发表研究成果重复不出来?

以“多喝水能减肥”的结论为例,假如实验者要选择100个胖子作为样本,而挑选样本时,从自己认为的结论逆向出发,故意挑选了30个有明显减肥趋势的人。所有样本中每人每天比一般人多喝1L水,然后1个月后得出结论,其中有30%的人多喝水有明显减肥趋势。而真实情况是,这些人体重下降跟是否多喝水可能没有半毛钱关系!

在上述过程中,实验者对实验结果进行了操纵,造成了巨大的反向偏差,展示给他人的是断章取义或歪曲事实的结论。文中作者根据计算公式得出结论:随着偏差增加,研究结论趋向正确的概率将大大减小(表)。真实研究有时会由于这种反向偏差而废止,但由于利益作祟,研究者倾向于“掩盖”真实,将这种反向偏差与偶然性相混淆,这将不能反映实验结论的真实情况。

表:存在偏差时的研究结论和真实结论的关系。

灵魂发问:为何大多数已发表研究成果重复不出来?

我们怎样才能改善这种情况?

1、提供更有力的证据:如大规模研究和偏差分析。

2、多个团队和证据类型可以减少单一团队的误导性和偏差。

3、不单纯以统计学的R值作为评判标准,注重对实验中真实关系本身的理解。

4、加大考虑范围,在相近领域中求得验证。

以电池领域为例,灵魂发问一下:除硬件原因外

1、文章中所给出的电池数据确定具有代表性吗?是否进行了多批次重做以保证可重复性?

2、选择数据时,是否是在所有电池中选择一个数据最好的向审稿人展示?

3、同一批次,不同电池的容量,循环性能,倍率性能误差有多大?

4、电池跑长循环,是否用超过量的电解液来掩盖剧烈的副反应?

5、实验室级别每次合成的活性材料较少,多次合成时能否保证每批材料都相同?

6、所用的电池材料如电解液,是否清楚地知道其成分组成,是否有添加剂成分?

7、对比不同材料时所采用的工艺能否保证一致?例如,烘烤极片时是否有的烘烤8小时,有的烘烤9小时,有的烘烤10小时,有的甚至都不知道几个小时?

……

相信每个领域都有一些被大家忽视的关键问题,欢迎在底部留言,以让更多的后来者看到,避开巨坑,做更可靠的研究!

诱然皆生,而不知其所以生。同焉皆得,而不知其所以得。我们可能永远也无法知道这个世界的本质,但请遵循客观规律,保证相对真实。

【参考文献】

[1] John P. A. Ioannidis. Why Most Published Research Findings Are False. PLoS Med 2(8): e124.

相关新闻

微信
微信
电话 QQ
返回顶部