Kim Holmberg 博士:我們還沒準備好用 altmetrics 來衡量研究影響力

Kim Holmberg 博士:我們還沒準備好用 altmetrics 來衡量研究影響力

現在幾乎人人皆有使用社交網絡平臺,微博、推特 (Twitter)、領英 (LinkedIn)、ResearchGate、Mendeley等等,越來越多人開始討論社交媒體互動對研究人員的好處。在這次的訪談中,我很榮幸能訪問到這位對研究學術人員在線互動極具熱忱的研究人員,談談用替代計量學 (altmetrics) 來捕捉研究影響力的潛力,他就是 Kim Holmberg 博士,為芬蘭圖爾庫大學 Research Unit for the Sociology of Education (RUSE) 博士后研究員、英國胡弗漢頓大學 Statistical Cybermetrics Research Group 名譽研究員、芬蘭奧伯學術大學信息研究學系副教授,他的研究領域包含替代計量學 (altmetrics)、網絡計量學 (webometrics)、科學計量學 (scientometrics)、Web 2.0、Library 2.0和虛擬教育世界,也使用量化方法研究一般網絡上還有特定社交媒體上的各種現象。Holmberg 博士發表過多篇期刊論文、書籍著作、會議論文集以及他基本最關切的主題的書籍:替代計量學和社交媒體時代的信息交換。

在本篇訪談中,Holmberg 博士談到了社交媒體平臺在學術人員建立人脈和機會上起到了關鍵作用。本次談話的亮點則在 Holmberg 博士說明學術界正處于了解和探索替代計量學初期,現在要推定替代計量學是衡量研究對社會影響力的明確指標還言之過早。Holmberg 博士還談到了以引用數據為基礎的指標的主要問題,以及科研人員在使用社交媒體時常犯的菜鳥錯誤。

您的研究領域相當有趣,能跟意得輯專家視點的讀者介紹下嗎?

我的研究興趣都跟兩個東西有關:網絡和量化研究方法。我只能說我熱切地想要了解不同類型的網絡現象,可以用量化方法調查的現象。科研和出版界生產和在線分享的數據如此龐大,這讓量化方法選擇變得非常簡單。更準確點來說,最近我感興趣的是替代計量學 (altmetrics),替代計量學調查在線學術溝通情況,研究產出(文章、數據等)在網絡上被討論、分享和提及情況,這些信息或許可以告訴我們該研究的影響力,或是該研究所收到來自學術圈之外的關注。

根據您的觀察,科研人員使用推特時,最不一樣的地方在哪里?

我會說科研人員使用推特的行為沒有什么特別不同,有些將推特做為專業用途,有些則是私人用途,但或許,大部分的人是專業私人都有。這種二元性使得我們要判斷科研人員使用推特的特性變得不太容易。

不同領域的科研人員使用社交媒體有什么不同嗎?

是的,在我們發表的論文《Disciplinary differences in Twitter scholarly communication》中,我們發現了某些領域的研究人員使用推特進行學術溝通的情況高于其他領域。雖然我們的研究并沒有涵蓋所有的學科領域,但我們的結果清楚地顯示不同領域的研究人員在使用推特上的差異。我們也根據這個結果,建議替代計量學在推特上應該要領域標準化。[Holmberg, K. & Thelwall, M. (2014).?Disciplinary differences in Twitter scholarly communication.?Scientometrics, vol. 101, no. 2, pp. 1027-1042. DOI:10.1007/s11192-014-1229-3.]

社交媒體在現今的研究合作上起到什么樣的作用?

社交媒體在協助和促進研究合作上起到很重要的作用。通過學術社交網絡或是社交參考管理,科研人員可以找到研究興趣相近的同行,或是這些平臺使用的演算法,指引用戶到與他們發表的論文相近的文章,從而將科研人員連結在一起。社交媒體也可以促進研究合作的發生,例如,通過在不同社交媒體平臺上的開放討論,或是一同協作。

科研人員在社交媒體平臺上互動的時候,有什么常見的菜鳥錯誤嗎?

對于使用社交媒體平臺的科研人員,一個建議是要記得這些平臺都是開放給大眾的(至少大部分都是),所以任何人都可以看到你發的帖,你分享的文章。雖然你可以創建私密群組,或是有些平臺能讓選擇可見人群,但要一直記得你將哪些信息分享給哪些人看到還是不容易。基于這個原因,我的 Facebook 設置為完全公開,所有人都可以看到,而我也從來不分享什么東西給特定群組,我在發文的時候都會記得這些東西所有人都會看到。我會注意我說的話,確認我有表達出我想要說的信息,這也能提高該平臺對于我的用途的效用。

大部分社交媒體用途相關的討論都集中在科研人員身上,那么學術出版界的其他人可以怎么樣利用社交媒體呢?例如學術單位、圖書館、基金單位、期刊、出版社等等。

我認為這些單位已經在用各式各樣創新的方式在經營社交媒體。以圖書館來說,他們是使用社交媒體的第一線,事實上幾年前受到熱議的 Library 2.0 現象就是關于圖書館利用社交媒體來連結他們的客戶并宣傳圖書館服務,這甚至比替代計量學的概念還要早出現。圖書館可以用社交媒體平臺來宣傳學術工作(論文或是其他類型的學術產出),與客戶、用戶、讀者或關系人互動。

現在的替代計量學中,有哪些指標被用來衡量研究影響力?有效嗎?

我說,現在還不該用任何替代計量學指標來衡量研究影響力,因為我們根本還沒準備好。我們對替代指標做為研究影響力指標的理解有限,雖然在加拿大蒙特利爾、荷蘭萊頓、英國胡弗漢頓、美國布盧明頓、芬蘭圖爾庫等地都有單位在進行這方面的研究,在數據質量和影響力衡量標準上仍然有許多問題需要解決。有許多關于替代計量學數據普遍化的問題,而要完全了解替代計量學(如研究論文在推特、Reddit 或 Facebook 上被提及)反映了什么,我們需要一個靠譜的系統,了解更多這些人通過與科研產出相關的互動(如分享文章或在微博中提到文章)產生的替代計量學事件,還有他們分享到什么程度。我想,目前替代計量學最大的用處是展現在網絡上得到許多關注的特定研究。替代計量學也可以找出在學術圈外受到關注的研究,而這是使用引用來評價研究影響力時一般不會看到的。替代計量學還可以用來創造研究的敘述,如誰用什么方式分享討論研究,但在我們能說替代計量學是靠譜指標,或是我們可以用替代計量學衡量研究之前,還需要更多的研究。

現在替代計量學越來越受歡迎,但也有許多科研人員有所遲疑,根據您的觀察,科研人員對于用替代計量學來衡量研究影響力,一般常見的誤區有哪些?該怎么處理?

我想其中一個問題是“替代計量學 altmetrics”這個詞本身涵蓋的面向太廣了,有這么多不同的平臺和來源可以讓我們追蹤和搜集研究產品被提到的信息,其中有部分是用作研究評價用途的潛力來源,但有些可能連用都沒法用。因此知道這些不同平臺和來源間的差異是很重要的,還有,雖然推特是替代計量學事件的大宗數據來源,但并不是唯一來源,也肯定不是最靠譜的來源。

以引用為準的指標有什么問題?反過來說,替代指標有什么缺點?

以引用為準的指標有三個主要問題。第一個是這些指標只看研究論文,現在是數字時代,研究產品可能有很多種形式,有數據集,也有簡報、計算機源碼,還有研究論文等等,這些研究產品都該算進科學貢獻之中,但卻只有研究論文是“重要”的。還有,不同領域的發表和引用傳統有很大的不同,有些領域比起科技期刊,更常發表書籍著作或是會議論文集。

第二個問題跟時間有關。從研究想法的構成到產生可供他人引用的正式發表的研究論文,學術溝通實際發生的期間是很長的。要用引用數來評價研究影響力時,我們需要等幾年的時間讓引用數累積到一個程度,或是我們用文章發表在哪個期刊來判斷。前者是衡量過去成就的方法,但后者只是對于論文未來的影響力進行大概的預測。

第三個問題是以引用數為準的指標應該是看其他科研人員的引用,才能顯示出科研界是如何使用已發表的研究,才能成為研究所產生的科研影響力的指標。同時,現在也有越來越多人要求展現研究在更廣的層面上的社會影響力,例如對經濟的影響、對健康的影響、對文化的影響、對教育的影響或是對環境的影響。

替代計量學或是我們常說的 altmetrics 目前的缺點主要跟數據質量有關。這部分已經有在處理了,例如國家信息標準化組織 (National Information Standards Organization, NISO) 已在進行相關工作,但這部分還是有很多工作要做。另一個缺點是我們并不一定知道某個替代計量學事件產生的背景是什么,是對研究的褒獎還是批評。

衡量研究影響力最好的方式是什么?

同行評審。只有通過同行評審才能評價研究的影響力,但是同行評審沒有辦法大規模運用,呃,或許可以,但會很貴!因此,我們需要其他的方式。以引用為基礎的指標可以為同行評審提供幫忙和支持,而替代計量學(目前)可以找出有意思的研究,或是值得受到更多審稿人關注的研究。

您認為哪個平臺對研究人員比較有用?是像推特這種比較廣泛的平臺還是像 ResearchGate 這種科研專門的論壇?

這要看你怎么定義“有用”。是要觸及更廣泛的群眾嗎?那么我會說是推特。是要讓你分享自己的工作給其他科研人員,或是認識其他做類似工作的科研人員嗎?那么我會選擇學術社交網絡平臺,或是社交網絡管理平臺。所以,這一切要看你想要達成的目標是什么,如同我們所看到的,科研人員將社交媒體用作各式各樣不同的用途。

您覺得社交媒體和研究圈的關系接下來幾年會如何發展?

社交媒體會成為固定的存在,而我們也會接受這個事實。但沒有什么是永久的,雖然某些平臺可能會不見,會有其他平臺出現并取代。在不久之后的將來,我認為會有越來越多的科研人員看見互動帶來的好處,(為了不同意圖)開始使用社交媒體平臺。

【非常感謝 Holmberg 博士接受意得輯專家視點的訪問,與我們分享這么多有意思的觀點!】

期待學術生涯高歌猛進,發表過程一帆風順?

來加入我們活力洋溢的在線社區吧。免費注冊,無限閱覽。

社交賬號一鍵登入

已有54300名科研人員在此注冊。

意得輯專家視點 Editage Insights 目前正在維護中。維護期間,部分站點功能,如登錄、注冊可能無法正常工作。