在同行評審中使用AI技術

乍眼一看,AI和同行評審,這兩者之間似乎沒有任何共同點。作為研究人員,你肯定希望自己的論文能盡快得到評審意見。但審稿人也是人,目前還沒有哪種機器能快速讀完一篇論文,然后立即判斷論文是否值得發表。2020同行評審周開幕的主題是“信任同行評審”,也許你很想知道我們為什么要討論AI和同行評審???
首先,需要先澄清一下我們討論的AI類型。AI是一個被廣泛使用的術語,它涵蓋了許多不同的過程,有些過程非常復雜,有些過程又很簡單。例如,在無人駕駛的汽車中,我們顯然需要使用精密復雜且能承擔關鍵任務的AI,因為流程中的任何一個小錯誤都可能引發大災難。但是,自動駕駛汽車其實也應用了大量的簡單流程,包括一些很常見的成熟技術。例如,有種技術可以讓汽車在發現附近有停車場時立即通知司機,但事實上,這種技術也并不是什么新發明,早在1999年,就已經有公司推出了首個智能停車輔助系統。智能停車是個技術活,需要多個流程配合完成,其中最簡單的流程是通過攝像頭估算距離。當然,要最終實現停車功能,系統還需要完成許多這樣的離散任務。???
現在,我們再來看看同行評審。收到投稿后,出版商必須先完成一些非常單調乏味的工作。至于像論文新穎性和創新性評估這樣的關鍵任務,它們仍需要由人來完成。根據Wiley數據庫在2016年進行的一項同行評審調查,過去五年中,接受審稿邀請的比例下降了5%。在這種形勢下,我們有必要對現有的審稿流程進行一些改進。否則,在未來幾年里,你會發現愿意審稿的人越來越少,而需要發表的論文卻越來越多。那么,有什么辦法能讓AI助我們一臂之力呢????
根據愛思唯爾在2018年發布的一份報告,同行評審過程中,有三項任務可以實現自動化:???
-
根據專業資質和研究方向,為稿件匹配合適的備選審稿人??
-
刪除有潛在利益沖突的備選審稿人??
-
判斷備選審稿人愿意接受審稿請求的可能性????
首先是確定審稿人。對人類而言,這可不是一件簡單的工作!不管是在哪個學術領域,出版商永遠都是缺人的。員工再多,也不可能了解所有研究領域,不可能為每個領域都找到適合的審稿專家。而且,一個人的受教育水平越高,他在某個領域的專業程度也會更高,所以即使出版商只聘請有博士學位的編輯,他們的知識體系也只能覆蓋特定的研究領域,在數量巨大的投稿面前,不過是滄海一粟。換言之,雇傭更多的專家并不是解決問題的好辦法。????
在實踐中,人類編輯上手很快。他們會先查看論文的名稱和標題,然后確定有哪些作者曾在同一領域發過論文。但是,這個過程會比較慢,而且具有相當的隨機性,不能確保所選擇的審稿人就一定擁有相應的專業知識。在2014年進行的一項調查中(調查主題是:“為什么同行評審人會拒絕審稿?”),研究人員發現同行評審人拒絕了14%的審稿邀請,因為他們覺得會有其他人更適合該領域論文的評審。以上結果表明:人工篩選其實并不是非常精確。??
為了克服這一問題,UNSILO使用了基于語料庫的概念提取工具。它的概念引擎可以從一篇論文中提取數百個概念(“概念”是指能將每篇文章與語料庫中的其他文章區分開來的關鍵詞組),然后根據這些文章與該論文的相關性進行排序。如果該文章屬于生物醫學領域,那么接下來,UNSILO會根據所確定的概念,對PubMed語料庫中的2900萬篇文章和摘要進行匹配。找到匹配的文章后,系統會確定這些文章的作者,按相關度進行排序,再將前20位作者發給編輯部審核。???
?至于利益沖突,這就更簡單了。雖然有幾種不同的利益沖突?(COI)?類型,但每次進行COI檢查時,系統只會判斷論文作者和推薦的審稿人是否來自同一單位。如果來自同一單位,該審稿人將失去審稿資格。人工檢查可能只需要幾分鐘,但在一個每天都有3000篇新論文發表的世界里,哪怕每篇文章只節省幾秒鐘,也將極大地提高工作效率。??
最后,機器會做一些計算工作,并將結果發給人類編輯評估。例如,你也許想知道一位備選審稿人發過多少篇論文,因為如果數量太少,審稿人可能會經驗不足;如果已經發了好幾百篇,那審稿人很可能會因為資歷太老而拒絕審稿。在這種情況下,人類可以對機器進行相應的設置,讓機器幫助我們獲得符合正確標準的結果。?
最關鍵的一點是,機器并不會代替審稿人做出最后的選擇。機器只是根據上面列出的各種條件提交一些匹配到的名稱。換言之,機器只負責一些相對簡單的檢查工作,最后的決斷還是由人類完成,畢竟這才是人類最擅長的事。機器還不能獨立進行同行評審(至少目前是這樣),但它們可以像停車輔助工具一樣,幫助人類更快、更準確地做出判斷。???
UNSILO簡介??
UNSILO Peer Reviewer?Finder是一款用于學術期刊編輯出版流程的AI工具(類似的工具,開科思還有很多)。UNSILO可以進行一系列技術檢查,并提供推薦引擎(用于內容發現)和主題自動采集創建器。UNSILO還為施普林格?自然集團的Nano數據庫(世界上最大的納米研究數據庫)提供技術支持,負責相關內容的持續更新。??
邁克爾·阿普舍爾?
?
邁克爾?阿普舍爾是開科思旗下丹麥機器學習公司UNSILO的銷售和業務發展總監。他具有豐富的出版經驗,參與過詞典、家居指南和實用手冊等圖書的編輯工作。他曾與人共同創立Helicon出版公司,該公司主營參考文獻的出版和發行,由微軟投資,最終在AIM成功上市。在數字創作和交付領域,他曾與布盧姆斯伯里出版社、英國工程技術學會(IET)、國際應用生物科學中心(CABI)和劍橋大學出版社等多家出版機構有過合作,并為英國聯合信息系統委員會(簡稱JISC,一家在英國高等教育領域提供數字解決方案的協會)管理過多個項目。他寫過很多文章,也出過很多書(比如由愛思唯爾在2009年出版的《內容許可》)。此外,他還定期為一個數字出版專欄供稿。