控制、處理、重復:在不確定性中復制實驗

究竟收益的歧義會如何影響合作和分配?對于任何與先前工作有關的發現,單有統計顯著性就足以證明它的有效性嗎?
Luigi Butera 和 John List 的論文 An Economic Approach to Alleviate the Crises of Confidence in Science: With An Application to the Public Goods Game 就討論了第一個問題,通過重復四個公共財賽局的實驗,提出吸引發表這類實驗的方法,提供他們的穩健性。
有鑒于單一實驗結果具有統計顯著性有可能會產生誤導,經濟學領域經常宣導要復制實驗,但現實中還是很少發生。科研作者表示缺乏原始實驗誘因和預期的重復人員是造成這個雙面性的原因,他們還說,復制實驗的片面觀點對研究可靠度是威脅而不是支持,這也是原因之一。
找出原因后,他們提出了補救措施:提供以誘因為基礎的機制來鼓勵復制實驗。不隨波逐流,他們將提議的機制付諸實踐,將他們的論文以 working paper 的形式在線公開,承諾不會投稿任何期刊,并提供其他復制他們實驗的學者在下一篇文章中共同署名的資格做為交換。
實驗涉及文獻中最多人研究過的領域:提供公共財,但談到了比較少人研究的不確定性,雖然不確定性是確實存在經濟學領域的,很少有研究將不確定性納入關系人投資公共財的收益中,即便有納入不確定性的研究,其中還是有確定性要素存在,例如大家所知道的不同收益的概率,偏離現實情況等。作者并沒有透露參與者的投資人均報酬率,因此結合奈特氏不確定性 (Knightian uncertainty),使結果較為接近現實情況。
總之,論文連結的不是兩端,而是兩個落差:實驗和重制。論文讓讀者進入尚未探索的世界,讓他們會想進一步探索的世界。
貢獻:防噪聲?
實驗設置是多回合的游戲,參與者分配私人或公開帳號,而玩家在返還貢獻的時候會發出聲音提示。作者發現在私人不確定下的合作比較高,特別是公共財質量處在未知情況下。合作會隨著時間過去確定性越趨完成而瓦解,而不確定性高的下降幅度較大。他們透露,提示的向上偏差會提高貢獻,而向下偏差則相反,并對這個有悖常理的結果感到驚訝,因為向下偏差通常是更具代表性的真實值。納入不確定性會提高這兩個方向誤差的貢獻,不確定性也會提高返還內與返還之間的貢獻。
該研究糾正實驗的設計審查群組和觀察間的差異,也導出參與者對于自己扮演的角色感到困惑的可能性。這個結果值得注意,因為其中提供了考慮的各種情境的完整清單,還有避免潛在的障礙。
從上面開始拿
因為缺乏創新性,對重復者的反饋預期值較低,而實驗人士的先行者風險試驗失敗,讓重復意愿受阻,盡管大家都知道重要性。作者找出不同形式的重復,使用同樣的數據集,或是用不同的方法處理同個問題,最后選擇專注在采用同樣的設計。
他們分享了 Maniadis 等人 (2014) 提出的貝葉斯方法來算出先行者重復工作失敗和成功,分別說明障礙和經常被忽略的好處,然后列出他們通過呼吁重復人員來實現這些好處的步驟。
重復人員是否會呼應或反駁這個研究尚未克制,但作者確實打中能鼓勵他們參與的核心。
結論
結果不確定性提高合作這個情況可能會引人注目,但這些厭惡坐享其成的人在失敗時除了歸咎不勞而獲的人之外,現在又多了個地方可以究責,因此稍微緩解了他們的厭惡,鼓勵他們的參與。因為很難預料確定性通過審查的框架,所以這個研究不像先前的研究,并沒有避開不確定性,選擇直面它,也因為如此,開啟了更為真實的現實模擬。
該研究的實驗結果有其真實性,他們提供了重復實驗的人實際的誘因,來取代改善可靠度這種虛幻的動力。再怎么說,有人重復時間能幫助避免低估事實和高估謬誤,還有更好的,讓經濟學家重復實驗的實踐也進行復制。
意得輯專家視點相關閱讀: