科學的短板:不可重復性

科學的短板:不可重復性

研究不可復制的情況是不是幻影?研究復制失敗的案例經常變成遺忘的一角,不被科研界所知。大量的科研發現無法重現成為科學的短板,需要被重視。

根據先前發表的報告,美國生物領域無法復制的研究每年的花費高達 280 億美元。雖然全球在研究和開發的投資逐年增加,但無法復制的問題已經成為資助者、單位和研究人員在進行 R&D 投資時爭論的焦點。大部分的領域都面臨了這個問題,看起來具有突破性的研究卻無法被其他研究團隊復制,這在宇宙學、心理學、醫學和遺傳學領域特別嚴重。瑞典斯德哥爾摩大學宇宙粒子物理學 Oskar Klein 中心 (Oskar Klein Centre for Cosmoparticle Physics) 的天體粒子物理學教授 Jan Conrad 就說:「我的同事以前(看到突破性研究)會很興奮,現在只會搖搖頭,開玩笑地說:『又一個暗黑候選研究。』

研究發現無法復制不只是經濟上的問題,也可能對科學的了解帶來不利的影響。雖然像 STAP 細胞研究這類騙人的研究發現會被撤稿,但大部分的時候錯誤的數據導致無法復制的研究還是會繼續被引用。一個無法復制的研究可能是以好幾個假設為基礎,最后可能會引發骨牌效應,影響某個領域內對某個面向的料及。

研究通常是醫療保健政策的根據,無法復制的研究結果可能會危害國民健康,失去人們對科學的信任。最近一個普及影響大眾的案例,是 90 年代后期在肯尼亞發生的研究,研究表示幼童除蟲能改善在學校表現還有整體健康狀況。該研究發表于 2004,有很多發展中國家推行了大規模的除蟲計劃,英國流行病學家在十年后想要復制這個研究結果,結果發現這個研究有很多問題。從這個時間,我們可以知道無法復制的研究可能會破壞人們對科學的信任。

研究無法復制的背后原因有很多,但最核心的問題是研究人員面對的發表壓力。突破性的研究能發表到高影響因子的期刊,提高申請到基金的機會,這些都導致研究人員在沒有確認研究精確度前,就開始大肆宣傳自己的發現。《Why Most Published Research Findings Are False》論文作者,斯坦福大學醫學院健康研究與政策教授John Ioannidis 認為,大部分的研究人員都落入“數據挖掘”(date dredging) 的陷阱,當初步假設不成立時,研究人員會從數據中找出“看起來可以寫成故事”或“數據中的爆點”,他們認為這些數據具有顯著性,將他們的研究構建在這些統計不精確的信息上。因此毫無意外的,其他忽略這些統計問題的研究人員無法重現研究發現。

科研人員在同行評審前,通過新聞稿或上傳預印本公開宣傳研究發現,這個的趨勢也是造成無法復制或無法重現的研究結果擴散出去的原因,一個著名的例子是引力波證據。Conrad 評論道:「放上 arXiv 的不正確的文章帶來不相關的結果,形成干擾。資助者的決策偏倚,理論學家浪費許多時間設計說明,公眾被新聞報道誤導。」科研人員為了在競爭中保持領先,確保自己的位置,在研究發現還不夠成熟的時候公布結果,最后發現研究有瑕疵。

對這個現象有沒有什么破解辦法?如果科學界和研究界的主要人士能夠共同努力抑制不可復制的情況,或許有可能。研究人員需要注意在做研究時可能遇到的陷阱,導致錯誤的研究發現,比如大數據可能帶來的挑戰。有些研究人員也建議將復制至少一個其他博士生擅長的研究列為博士生教育的必要項,讓他們更了解研究透明度和可復制性的重要性。

另一個確保科研精確度的方法是每個領域都有自己的實驗方法或準則供研究人員參考。像是 Conrad 建議可以要求物理學家遵守 5-sigma (或等值)的規則,重申他們的研究發現。為了引起他人的注意,在線分享論文是很常見的做法,應該也要有相關的規則來確保研究質量。那些看起來顯著的研究發現應該要附上審稿人姓名,這樣也可以反過來督促嚴格的同行評審,阻止未經證實的發現過早公開。

期刊和出版商也加入破解不可復制性的行列。許多期刊現在都會要求作者投稿時要提供數據,讓其他人可以復制或重新分析。有些頂級期刊如 Nature 和 Science 以及主要出版商形成共識,形成一套鼓勵研究透明度和可復制性的規則。Science Exchange 為了進一步打擊研究不可復制的情況,推行了?Reproducibility Initiative,希望獨立驗證復制 50 個最有影響力的癌癥研究。

科研界掀起一股解決不可復制性問題的浪潮,但有些專家也提出警告,就算是可以復制的研究也不等于正確的科學,約翰·霍普金斯大學公共衛生學院生物統計系副教授 Roger Peng 就表示:「一定要記住,可以成功復制的研究還是有可能是錯的。我這邊說的“錯”,指的是研究聲稱的東西或是結論可能是錯的。」對 Roger Peng 來說“可復制性的重要性在于它是唯一一個調查人員能保證研究的方法”。

可復制性是科學的核心,也是復雜的參數。不管特定的研究發現是否能夠重現,都能在不經意間帶來我們對科學進一步的了解。因此科學界應該致力提高研究可復制性,帶來研究透明。

期待學術生涯高歌猛進,發表過程一帆風順?

來加入我們活力洋溢的在線社區吧。免費注冊,無限閱覽。

社交賬號一鍵登入

已有54300名科研人員在此注冊。

意得輯專家視點 Editage Insights 目前正在維護中。維護期間,部分站點功能,如登錄、注冊可能無法正常工作。

覺得有用?

如果是的話,和你的同事分享吧