假定100个人各掷了一次硬币，其中48个人发现硬币正面朝上， 52人发现硬币反面朝上。但是，这群人有个奇怪的偏好：他们只喜欢报告正面朝上的结果，对于反面朝上的结果，他们就直接忽视不报。于是乎，你听到的结果是：48人各投掷了一次硬币，全部都是正面朝上！！

毫不奇怪，你会觉得这个结果是一场骗局，因为你知道掷硬币正面朝上和反面朝上的概率大约是50%。同样的道理，如果一位科学家在一次实验中，收集了100个数据点，但只报告50个数据点，那么我们肯定认为他人品有问题。如果是多个研究者各自独立完成实验，却只有那些有显著结果的研究者以论文的形式将结果报告出来，我们似乎就难以辨别出这里的谬误了。然而，并非所有人都忽视了这个谬误，一些研究者犀利地发现了这个问题（也可能是长期非常苦逼，做不出有统计显著的结果，因此去找寻找原因 ;-）），并对其进行系统研究，这个问题就是科学论文的出版偏见（Publication bias）。

科学论文出版有偏见?

出版偏见指的是部分的研究者、审稿人和杂志编辑倾向于尝试出版或接受那些报告了统计上有显著差异结果的论文。换句话说，如果一个实验或者调查没有发现统计上的显著效应，那么该研究能够出版的可能性就大大降低。这些研究的结果就只能放在研究人员的抽屉里，见不了阳光，正是如此，这个问题还有另一个名字，叫做文件抽屉问题（file drawer problem）(Rosenthal, 1979)。

出版偏见遍地开花

出版偏见并不是某个研究领域所特有的，而是波及到科学研究的各个领域，这里仅以作者本人比较熟悉的社会科学和生物医学两个领域为例（计算机图形学研究领域的例子见这里）。早在1959年，心理学家Sterling就指出，在心理学论文的出版中，出版的标准可能会存在偏差(Sterling, 1959)。到1979年，哈佛大学的心理统计学家罗伯特*罗森塔尔（Robert Rosethal）提出了统计方法来估计那些被放在抽屉里的研究结果(Rosenthal, 1979)。到80年代，医学研究者也开始关注出版偏见的问题。例如霍普金斯大学医学院的Easterbrook等(1991)分析了牛津研究伦理中心委员会在1984年到1987年间批准的487项研究，截止1990年，有285项研究结果已经进行了分析，其中52%结果得以出版。在出版文章中，那些在统计上达到显著的结果比那些没有达到显著的结果出版的过程更容易，也更多地出版在高影响因子的杂志上。

虽然研究者们很早就意识到了这个问题，但遗憾的是，出版偏见并未因此而得到解决，位于加州的安进血液与肿瘤研究中心（Hematology and Oncology Research at Amgen）前负责人C·格伦·贝格利（C. Glenn Begley） 与德克萨斯大学安德森癌症研究中心的李·M·埃利斯（Lee M. Ellis）2012年在Nature 上联合发文指出，在一项重复53个药物实验的研究中，只有6项研究得到证实。斯坦福大学医学院的约翰·P·A·埃尼迪斯(John  P.A.  Ioannidis)于2014年的分析也表明，在新兴的神经成像领域，出版偏见也是非常严重。

出版偏见，费钱耗物

可能有人会觉得，出版偏见不就是少让一些论文出版吗？也没什么大不了的。这实在是低估了出版偏见对科研领域甚至是对普通民众的影响。

2014年1月，顶尖医学杂志《柳叶刀》（Lancet）发表了一篇讨论医药研究如何减少浪费和提高价值文章，多伦多大学的研究者陈安文（An-Wen Chan）等(2014)讨论了出版偏见的严重后果之一：浪费科研资源和民众的健康！这里的科研包括科研资金、科学家时间和精力的投入。该文援引了哌苯醋胺（lorcainide）的著名案例: 1980年，有研究者测试了哌苯醋胺（lorcainide）这种抗心律不齐的药物，采用了100多人的小样本进行试验，发现使用哌苯醋胺的实验组的死亡率是19%，而使用糖丸的安慰剂组的死亡率则只有2%。但是，当时研究者担心结果未发现哌苯醋胺的积极效果而未报告其结果。于是该药物继续广泛地为心律不齐患者所使用，直到1989和1992年的临床试验才发现这类药物的危害。但在这近10年间，由于哌苯醋胺以及类似的药物广泛使用，可能引发了20 000到70 000不必要的死亡。

出版偏见的另一个危害是让出版的研究中显得过分地积极，一些效应量特别小的研究被发表出来，继而引发其他研究者继续投入该方向，误导科研走向。2011年，社会心理学领域最顶级杂志《人格与社会心理学杂志》上发表了一个神奇的研究：康奈尔大学心理学系的达里尔 ·J · 本(Daryl J. Bem)发现大学生竞然可以预知未来！这个明显不太符合事实的结果很快一石激起千层浪，因为从科学角度来讲，能够预知未来是极小概率的事件。所幸的是该研究引起了广泛关注，从而在社会心理学领域掀起了关于出版偏见、重复实验等研究方法上问题讨论的热潮。

出版偏见从何时产生？

出版偏见是如何产生的？一般认为，统计结果不显著的研究是被杂志的审稿人和编辑cut掉的。但实际上，由于结果分析和论文撰写也需要研究者投入大量的时间和精力，研究者们已经实行了自我审查：碰到阴性结果时，直接抛弃研究结果，转向新实验，而不是想办法把阴性结果出版。

最近，斯坦福大学政治科学系的研究者安妮· 佛朗科等在《科学》（Science）上发表的论文证实这一推断。他们分析了2002年美国国家自然科学基金支持的社会科学时间共享研究项目 (Time-sharing Experiments in the Social Sciences, TESS) 中包括的研究项目，因为这些研究项目都登记在案、研究者的水平相当、研究设计质量高。他们的结果表明，大约有65%的阴性研究结果直接被研究者放到抽屉，没有写成论文，从而让大多数的阴性结果胎死腹中。至于为什么研究者会选择不把这些阴性结果写成文章，大部分人的回答是：杂志不会接受这些阴性结果的文章。

路在何方？

对于出版偏见的问题，大部分研究者首推的解决方案是提前登记研究，即所有研究在开始之前都登记在案，随后按照登记的设计进行实验并将结果公布于众，从而让学术界和公众知道这些阴性结果的存在，减少后续的科研人力物力和财力的投入，以及在医药领域，减少无效药物的使用。

目前医学方面已经有一些相应的措施，例如，一个称为临床试验的网站（http://clinicaltrials.gov/） 就致力于让临床研究都提前登记在案。心理学领域最近也正有类似的努力：有研究者发起建立心理学文件抽屉的档案（http://psychfiledrawer.org/）。不过问题在于，虽然大部分研究者认为提前登记是一件好事，但真正参与这个事儿的人却不多，原因很简单：目前的科研环境并不鼓励研究者进行登记。研究者所在的机构（大学、研究所）并不会因为研究者登记并完成一个研究而对他进行奖励，而是根据其发表的论文来进行评估！

此外，研究本身的不确定性，也使得提前登记系统很难生效，因为研究者可能在实验过程中不断对实验进行细节的调整，这些调整是难以预期的。巴黎狄德罗大学医学院的Mathieu于2009年发表在《美国医学会杂志》（Journal of the American Medical Association, JAMA）的一个分析表明，提前登记系统对出版偏见的减少程度有限，这可能反映了当前科研环境仍然可能促进了出版偏见的产生。

结束的话：

所幸的是，科学研究往往并非像掷硬币那些随机，即使有出版偏见的存在，科学总体而言还是在提供可靠的知识和发现。对出版偏见的纠正，是为了让科研更加完美，要记住，研究出版偏见的，也是科学家。

相关链接：

TED med: Ben Goldacre: What doctors don't know about the drugs they prescribe

参考文献：

Begley, C.G., and Ellis, L.M. (2012). Drug development: Raise standards for preclinical cancer research. Nature 483, 531-533. doi: 10.1038/483531a

Bem, D.J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology 100, 407-425. doi: 10.1037/a0021524

Chan, A.-W., Song, F., Vickers, A., Jefferson, T., Dickersin, K., G?tzsche, P.C., Krumholz, H.M., Ghersi, D., and Van Der Worp, H.B. (2014). Increasing value and reducing waste: addressing inaccessible research. The Lancet 383, 257-266. doi: 10.1016/S0140-6736(13)62296-5

Easterbrook, P.J., Gopalan, R., Berlin, J.A., and Matthews, D.R. (1991). Publication bias in clinical research. The Lancet 337, 867-872. doi: 10.1016/0140-6736(91)90201-Y

Franco, A., Malhotra, N., and Simonovits, G. (2014). Publication bias in the social sciences: Unlocking the file drawer. Science. doi: 10.1126/science.1255484

Ioannidis, J.P.A., Munafò, M.R., Fusar-Poli, P., Nosek, B.A., and David, S.P. (2014). Publication and other reporting biases in cognitive sciences: detection, prevalence, and prevention. Trends in Cognitive Sciences 18, 235-241. doi: 10.1016/j.tics.2014.02.010

Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin 86, 638-641. doi: 10.1037/0033-2909.86.3.638

Sterling, T.D. (1959). Publication Decisions and their Possible Effects on Inferences Drawn from Tests of Significance—or Vice Versa. Journal of the American Statistical Association 54, 30-34. doi: 10.1080/01621459.1959.10501497