指標有辦法取代同行評議，成為評價研究質量和影響力的方法嗎？

指標的浪潮肯定在升高

英國薩塞克斯大學（University of Sussex）科學與民主教授 James Wilsdon

評估科學研究質量和影響力一直是研究發展界人員關注的議題，目前最主要的兩個方法是同行評議和定量指標。同行評議，經驗豐富的研究人員會對論文進行嚴格的批判，這個做法一直備受推崇，對研究質量注入極大的價值。已發表研究的定量分析有影響因子，為研究做出指標型評估。同行評議提供定性評估，指標提供影響力的定量指標。過去幾年來，評估投入在高等教育和研究的公共開支的壓力不斷升高，評價指標的重要性更勝以往。指標在研究評價過程中尤其重要，比如英國研究卓越框架（Research Excellence Framework，REF）將定量指標與同行評議結合使用，用來評估研究影響力。

為了解指標在決定研究質量和影響力的角色，主導 REF 的英國高等教育基金委員會（Higher Education Funding Council for England，HEFCE）在 2014 年設立委員會，希望改善資助者以及政策制定人員使用定量指標的方式。研究評價和管理指標作用的獨立審查（Independent Review of the Role of Metrics in Research Assessment and Management）在 2015 年 7 月發布了一份 The Metric Tide 的報告，此次研究由英國薩塞克斯大學（University of Sussex）科學政策研究組（Science Policy Research Unit，SPRU）的?James Wilsdon?教授主持，并有科學計量學、研究基金、研究政策、主編、大學管理與行政等部門專家的支持。報告探究研究指標的可能使用方式和限制，也著墨在一些重要的議題上：指標可以取代同行評議嗎？同行評議和以指標為基礎的替代指標能有平衡點嗎？

科學計量數據可以幫助指出知識的進展，但是期刊影響因子和 H 指數這類的指標備受非議的原因是沒有考慮更詳細的研究定性要素，指標沒有辦法量化使用。大部分的研究評價新工具，像是替代指標和在線平臺跟工具，都還在開發初期，因此報告建議不該在沒有深度了解數據收集和分析的方式之前，過度依賴這些工具。Wilsdon 等人表示：「新指標和研究質量間的強力關系的證據有限，需要更多實驗。」他們還補充表示：「那些提交證據，或是用不同方式參與評估的人都懷疑指標在研究管理中的角色有提升的可能。」?

針對指標是否可取代同行評議，報告檢視了指標在不同研究文化中的應用性，比較同行評議系統和以指標為基準的替代方案，還考慮兩者之間達成平衡的可能性。同行評議系統并非完美，但報告中說“（同行評議）是我們在學術管理上最不糟糕的形式，應繼續保持為評價研究論文、企劃和個人的主要方式，還有用于國家級評估，例如REF”。參與報告的人（26 則回應中，有 13 個回應支持同行評議）大部分都認為“指標不能被當成同行評議的替代，而是繼續擔任研究評估的‘金標準’”。報告也建議指標可以用來支持同行評審員“判斷研究杰出程度”。各個領域的專家依然偏好同行評議。

報告收集到的證據顯示， HEFCE 的 2008 試點項目探討文獻計量學潛力，發現文獻計量學不夠強大，無法及時取代 REF 的同行評議，因此報告建議指標不該在 REF 下次的評價中取代同行評議。

Metric Tide 報告主要宣揚的想法是：「指標應該是支持專家判斷，而不是取代。」報告還提出“知情同行評議”，特定的文獻計量學數據可以補充同行評議，根據評價分目標還有內容，進行全方位測評。

報告的一個主要意見是未來的研究評價需要有更成熟的研究系統，建立在進階指標和知情同行評議之上。Wilsdon 等人總結道：「或許這些倡議可能產生新的“轉化文獻計量學”文獻，可以充實知情同行評議的概念。」

Metric Tide 報告概述請見意得輯專家視點上另一篇文章：Metric Tide 報告：責任指標能改變研究評價的未來