為什么說要該當個“存疑精神”的科學家

為什么說要該當個“存疑精神”的科學家

【本文經 Tim van der Zee 許可改編，原文發表在他的博客上。】

不要誤解我的話，但身為科學家必須要有“存疑精神”。

不要滿足于困難問題的簡單答案

不要輕信表面看起來正確的信息

也不要輕易相信你讀到的研究中所得出的結論，因為它看起來好像是對的

Geoff Norman 說：我人生中的某些黑暗時刻，我可以說服我自己教育的所有主張是——

(a) 源自沒有證據的來源（成人學習理論）

(b) 盡管有相反證據依然堅持自我（學習方式、自我檢測技巧）或是

(c) 超過既存證據的支持范圍

科研文獻總是有偏見的。陽性結果大量發表，而陰性或無效研究結果在角落生灰塵1,2，這種偏見從什么論文被投出去到什么論文被發表等許多層級都存在3,4。換句話說，這誘使科研人員（有意或無意地）提出有問題的研究方法，例如做了很多統計檢驗，但只報告“成功”的那幾個，這也稱作 p 值操縱 (p-hacking)5。還有，科研人員經常對自己的研究結果提供帶偏見的闡釋6，例如，有將近 28% 的引用都是錯的或是有誤導性，這些通常都不會被發現，因為大部分的讀者都不會檢查參考文獻7。

當然不止這樣，需要事先注冊 protocol 的研究，如臨床試驗，通常都是源自沒有報告結果或私自添加新結果的 protocol8，這些改變都有跡可循，但通常都偏向報告正面影響，隱藏負面影響9。不是只有臨床試驗這樣，一般的已發表論文也經常含有不正確報告的統計，其中有 35% 是會直接影響結論的嚴重錯誤10,11,12。來自有產業介入的作者的 meta 分析大量被發表，但卻沒有報告注意事項13。而且，如果原來的研究本身質量不高，meta 分析并沒有神奇的方法改變這件事（也就是garbage in, garbage out 理論）。這些研究素質低下的其中一個原因是缺乏對照組，或是更誤導人的：不適當的對照組，有可能錯誤地帶出安慰劑效應和其他已經被排除的解釋14。要注意，這些問題不僅限于定量研究或（半）實證主義范式，從更自然的角度來看，與定性研究一樣有關。

每個人都會說謊

問題還可以繼續列舉，但重點已經出來了：每個人都會說謊。在現有的體系中，說謊和誤導不是那么單純，是被誘發的。這有一部分可能是因為強烈偏好陽性發現的美好愿望的發表體系。除了發表體系中存在的這些誘因外，研究人員當然也是關鍵，不過，比較詭異的地方在于這也有部分存在許多領域，尤其是那些沒有“技術證明”的，舉例來說，如果你聲稱可以改善智能手機，你可以直接去做。但像心理學領域就不太可能直接實現。變數通常都是潛在的，不能直接觀察到。衡量也都是間接的，即便有測出結果通常也沒有辦法證明它們實際上衡量了什么。

不好的誘因并不會一夜消失，人們通常抗拒改變。雖然有很多人在努力奮戰，想要改善科學，但要看見成果，不是一條看不見盡頭的路程，也會是一條漫漫長路。

現在呢？

這個觀察是否太過憤世嫉俗？或許。但不管是不是，最重要的是我們都該小心。懷疑我們所讀到的信息，甚至也要懷疑我們自己做的事、我們做的研究。

這或許是我開始寫博客的主要原因：大部分的時候我都是錯的。但我想要進步，隨著時間過去錯得少一些，而我們需要彼此才能做到，因為要愚弄一個人太過簡單。

讓我們都當個有“存疑精神”的科學家。

當我們變成更好的科學家。

?

參考資料

  1. Dwan, K., Gamble, C., Williamson, P. R., & Kirkham, J. J. (2013).?Systematic review of the empirical evidence of study publication bias and outcome reporting bias—an updated review.?PloS one,?8(7).
  2. Franco, A., Malhotra, N., & Simonovits, G. (2014). Publication bias in the social sciences: Unlocking the file drawer.?Science,?345(6203), 1502-1505.
  3. Coursol, A., & Wagner, E. E. (1986).?Effect of positive findings on submission and acceptance rates: A note on meta-analysis bias.?Professional Psychology: Research and Practice, 17(2), 136-137
  4. Kerr, S., Tolliver, J., & Petree, D. (1977).?Manuscript characteristics which influence acceptance for management and social science journals.?Academy of Management Journal,?20(1), 132-141.
  5. Head, M. L., Holman, L., Lanfear, R., Kahn, A. T., & Jennions, M. D. (2015).?The extent and consequences of p-hacking in science.?PLoS Biol,?13(3).
  6. Brown, A. W., Brown, M. M. B., & Allison, D. B. (2013).?Belief beyond the evidence: using the proposed effect of breakfast on obesity to show 2 practices that distort scientific evidence.?The American journal of clinical nutrition,?98(5), 1298-1308.
  7. Van der Zee, T. & Nonsense, B. S. (2016).?It is easy to cite a random paper as support for anything.?Journal of Misleading Citations,?33(2), 483-475.
  8. http://compare-trials.org/
  9. Jones, C. W., Keil, L. G., Holland, W. C., Caughey, M. C., & Platts-Mills, T. F. (2015).?Comparison of registered and published outcomes in randomized controlled trials: a systematic review.?BMC medicine,?13(1), 1.
  10. Bakker, M., & Wicherts, J. M. (2011).?The (mis) reporting of statistical results in psychology journals.?Behavior Research Methods,?43(3), 666-678.
  11. Nuijten, M. B., Hartgerink, C. H., van Assen, M. A., Epskamp, S., & Wicherts, J. M. (2015).?The prevalence of statistical reporting errors in psychology?(1985–2013).?Behavior research methods, 1-22.
  12. Nonsense, B. S., &?Van der Zee, T. (2015).?The reported thirty-five percent is incorrect, it is approximately fifteen percent.?The Journal of False Statistics,?33(2), 417-424.
  13. Ebrahim, S., Bance, S., Athale, A., Malachowski, C., & Ioannidis, J. P. (2015).?Meta-analyses with industry involvement are massively published and report no caveats for antidepressants.?Journal of clinical epidemiology.
  14. Boot, W. R., Simons, D. J., Stothart, C., & Stutts, C. (2013).?The pervasive problem with placebos in psychology why active control groups are not sufficient to rule out placebo effects.?Perspectives on Psychological Science,?8(4), 445-454.
  15. Collier, D., & Mahoney, J. (1996).?Insights and pitfalls: Selection bias in qualitative research.?World Politics,?49(01), 56-91.
  16. Golafshani, N. (2003).?Understanding reliability and validity in qualitative research.?The qualitative report,?8(4), 597-606.
  17. Sandelowski, M. (1986).?The problem of rigor in qualitative research.?Advances in nursing science,?8(3), 27-37.

期待學術生涯高歌猛進，發表過程一帆風順？

來加入我們活力洋溢的在線社區吧。免費注冊，無限閱覽。

社交賬號一鍵登入

已有54300名科研人員在此注冊。

意得輯專家視點 Editage Insights 目前正在維護中。維護期間，部分站點功能，如登錄、注冊可能無法正常工作。

Top

覺得有用？

如果是的話，和你的同事分享吧