Metric Tide 報告：責任指標能改變研究評價的未來

Metrics hold real power: they are constitutive of values, identities and livelihoods.

James Wilsdon,
in his foreword for?The Metric Tide

指標和排名在研究交流占有重要的地位。總體來說，這兩者是我們做的研究的大數據，反映了我們使用它們來了解當下趨勢與模式的能力和需求，以便做出明智的決定。更具體的說，指標幫助檢視研究的潛在影響力，藉此表現研究研究人員有多成功。它們還提供了一個框架來分析已發表研究和，找出傳播開創性工作的期刊。然而，多年來泛濫而且不算經過篩選的研究評價指標，特別是引用指標，已經引起很多問題。例如，期刊影響因子被多數人視為評估期刊聲譽的唯一可靠參數，在基金申請中占有重要的份量，同時被很多機構用來評價研究人員所發表的文獻。導致很多研究人員和期刊為了保持領先地位而承受巨大壓力，甚至意味著采取違反倫理道德的做法，像是捏造數據。另外一個最近的極端例子是倫敦帝國學院的 Stefan Grimm 教授的因為無法應付單位指標的巨大壓力而過世，現在大部分都知道評價研究和學術表現的指標有很大的改進空間。

正是這個想法讓英國高等教育基金委員會（Higher Education Funding Council for England，HEFCE）進行了研究評價和管理指標作用的獨立審查（Independent Review of the Role of Metrics in Research Assessment and Management），此次審查由來自科學政策研究組（Science Policy Research Unit，SPRU）的 James Wilsdon?教授主持，并得到許多來自科學計量、研究經費、研究政策、出版業以及高效行政管理多個部門專家的支持。這個小組著手詳細了解英國影響力指標的現狀，包括潛在的應用及限制。他們同時會關注機構內部和學科之間如何使用這些指標。審查結果發表在?The Metric Tide 報告中，以下是部分發現：

• 指標可以被取代
  多年來，一些因素導致把研究重點錯放在數字和排名上：專注放在高等教育和研究上的公共支出的責任；政策制定者要求評估研究質量和影響力；學術機構在研究管理策略的壓力；研究機構、期刊和研究人員必須要名列前茅的壓力；容易取得的評估指標信息還有可以用來分析指標的工具。
• 沒有通用的衡量方法
  評價指標有幾種定義、描述、計算以及使用方法。另外一方面，量化指標和替代指標可以幫助提高研究透明度和責任。但是過度依賴“有限且拙劣的指標，例如影響因子（JIF），會導致消極后果”（報告第 9 頁）。業界對于直接使用量化指標有高度質疑，因此有必要設計和使用一個更嚴謹的指標。
• 研究界忠于同行評審機制
  同行評審系統是評價研究的一種比較老的形式，盡管有瑕疵，仍然是學術管理偏好的方式。通過建立和采用小心設計的量化指標，與同行評審相結合，可補充審稿意見，提供更全面的評估。
• 指標的建立和應用不足透明
  把重點錯放在量化指標上可能導致這些指標被誤用，需要正視這個問題好好處理。
• 管理指標的數據基礎設施應該是強大的
  我們需要更好更精確的系統來管理數據收集和分析。目前，通過計算和應用指標的任務而推動的管理工作并不高效。在某些情況下，如果有可靠的評價指標可以使用，可能可以降低同行評審成本，不過不同的學科情況可能有所不同。
• 應該有更多關于研究的研究
  研究界需要關注很多問題，例如科學政策（我們為什么要資助？或我們要資助什么？）。科學指標界可以幫助提供可靠和靈活的量化指標確保更好的評估工作。
• 提出責任指標
  建立“責任研究和創新”（responsible research and innovation，RRI）的概念，報告提出“責任指標概念，在治理、管理評估研究時正確使用量化指標的方式”。責任指標的特點有：
• 穩健：以最精確的數據為基礎，并且涉及范圍大
• 謙虛：承認量化指標可作為輔助評價工具，但不能替代。
• 透明：數據收集和分析的過程是完全開放透明的，保證這些信息可以驗證結果。
• 多樣化：責任指標可以表現學科間的差異，采用不同的指數涵蓋“多個跨系統的研究和研究人員的科研歷程”。
• 自反：這些指標的潛在影響在經過測試之后，就可以更新。

責任指標的基本理念是，靈活具包容性、自反以及更貼近實際可用信息的量化指數。

遏制涌現的指標潮的建議

將責任指標作為基礎，此報告對英國相關的研究領域提出了 20 項建議，包括領導、基金、管理、經營、信息基礎設施、科研信息化管理和信息來源等。雖然很多建議是針對英國的研究，但是也有一些是適用于世界各地的科研管理。包括：

• 科研領域應重新審視對于量化指標作用的態度。
• 研究管理和評價的原則應該從制度層面定義和引導。研究管理人員應該宣傳這些原則和責任指標的使用。
• 指標評價在職涯晉升還有學術招聘中的作用應該更清楚。
• 研究人員在使用量化指標為自己的履歷加分時，應該更慎重。
• 資助人在使用指標來評價研究時，應該要有自己的原則，而不是直接采用現有的指標。
• 為了增加數據收集及分析的透明度，科研領域人士應采納支持開放和可靠的研究管理的原則。
• 應該鼓勵使用特殊識別碼，例如英國現在強制使用 ORCID?。
• 出版商應該設定獨特的 ID 和 ISSN ，讓管理員能夠順利跟蹤。研究機構也應該擁有自己的識別標志。
• DOI 的使用不該僅限于文章，應該延伸到科研領域的所有研究成果。
• 研究信息基礎設備的投資應該要增加。科研資助者也應該在“科學政策的科學”上加碼投資。
• 整體來說，研究信息管理基礎設施應該要改善，才能更有效率。

這個歷時 15 個月的項目，背后的想法是要提供科研評價指數的 meta 分析，同時也幫助研究評價程序規劃未來的評價周期，例如卓越研究框架（Research Excellence Framework，REE），這個評價體系廣泛地被英國高等教育機構采用進行衡量研究質量和影響力。然而作者 Wilsdon 等的觀察和建議可能更適用于研究單位、資助機構、期刊和全球的研究人員。報告正確地指出，一刀切的方法不適用的；而是“以研究質量的角度思考，不是追求一個單一的定義或質量的測量”。另外，很顯然在基本層面，責任指標是更加靈活、應用廣泛和響應的研究評價系統，可以反映科學發展的動態本質。這一理念是否為涌現的指標潮指出一個新方向，并且使研究評價更可靠，還有待驗證。

?

資料來源：

• Wilsdon, J., et al. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. DOI: 10.13140/RG.2.1.4929.1363
• Image designed by freepik.com