學(xué)術(shù)期刊眾包同行評審模式分析

時間:2022-10-13 09:45:22

導(dǎo)語:學(xué)術(shù)期刊眾包同行評審模式分析一文來源于網(wǎng)友上傳,不代表本站觀點(diǎn),若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。

學(xué)術(shù)期刊眾包同行評審模式分析

同行評審(peerreview)是科技期刊取舍稿件的主要依據(jù),在把控期刊質(zhì)量方面發(fā)揮著重要作用。同行評審模式可追溯至1665年英國皇家學(xué)會《哲學(xué)匯刊》(PhilosophicalTransactions)創(chuàng)辦時期,首位編輯亨利·奧登伯格邀請了同領(lǐng)域的學(xué)者對擬發(fā)表文章的科學(xué)性進(jìn)行獨(dú)立審核,開創(chuàng)了同行評審的先例[1-2]。經(jīng)過300多年的發(fā)展,同行評審形成了較為成熟的模式,是目前絕多數(shù)國際期刊采用的學(xué)術(shù)把關(guān)模式。近年來,科技發(fā)展日新月異,期刊數(shù)量不斷增加,質(zhì)量不斷提高,作者對發(fā)表周期的要求也越來越高。傳統(tǒng)同行評審的缺陷逐漸顯露,比如評審時間過長、評審過程不夠透明等,評審專家剽竊作者學(xué)術(shù)成果的事件也偶有發(fā)生。為了縮短評審周期和提高審稿質(zhì)量,期刊專業(yè)人士進(jìn)行了諸多研究和改革嘗試,比如改善同行評審流程、建立審稿專家?guī)?、成立審稿委員會等[3-6]。也有人不斷探索新的同行評審形式,比如開放式同行評審、結(jié)構(gòu)式同行評審、比較式同行評審、交互式同行評審、非選擇性同行評審、便攜式同行評審、反彈式同行評審、背書式同行評審、級聯(lián)同行評審等[7-12]。近年來,國外的一些化學(xué)期刊和醫(yī)學(xué)期刊采取了一種新的同行評審方式——眾包同行評審,值得關(guān)注與研究。

1眾包同行評審的概念和實施流程

眾包同行評審(crowd-basedpeerreview)是將眾包評審(crowd-sourcedreview)方法用于同行評審的一種新型同行評審方法。眾包模式是一種社會化生產(chǎn)模式,一種創(chuàng)新性的群體協(xié)作生產(chǎn)方式。眾包的概念最早由《連線》(Wired)雜志記者JeffHowe提出,他這樣定義“眾包”:一個公司或者機(jī)構(gòu)把過去由員工執(zhí)行的工作任務(wù),以自由自愿的形式外包給非特定的大眾網(wǎng)絡(luò)的做法[13]。Jeff提出的眾包模式具有以下幾個要素:一是參加群眾不確定;二是參加人數(shù)較多;三是以互聯(lián)網(wǎng)為手段;四是自由自愿的形式。維基百科和百度百科都是大眾集體創(chuàng)作的成功眾包案例。眾包同行評審相較于Jeff提出的眾包模式,最大區(qū)別是參加評審的人員不同,參加眾包同行評審的人員均是經(jīng)過嚴(yán)格選擇的同行專家,只有專家才有資格對稿件進(jìn)行評審。相同點(diǎn)是都由不確定人數(shù)的眾人自愿對同一目標(biāo)進(jìn)行評審,而且都是線上組織評審。2016年,德國期刊《合成有機(jī)化學(xué)快報》(Synlett)的主編BenjaminList[14]與他的助手DenisHofler由于不堪忍受傳統(tǒng)同行評審的缺陷,決心尋找一種更加快速公正的審稿方式,因此嘗試了一種新的同行評審方式——精選眾包評審(selectcrowdreview),這種方法后來被廣泛地稱為眾包同行評審。他們精心組建了一個評審團(tuán)體,需要審理的稿件在固定時間內(nèi)向評審團(tuán)開放;根據(jù)自愿自由的原則,評審團(tuán)的成員在短時間內(nèi)進(jìn)行評審,編輯和主編根據(jù)評審意見做出最后的決定。2018年8月,Thieme出版的開放期刊《開放合成化學(xué)》(SynOpen),也開始實行眾包審稿。除了化學(xué)期刊,一些醫(yī)學(xué)期刊也嘗試了眾包同行評審,比如《運(yùn)動醫(yī)學(xué)國際雜志》(Internationaljournalofsportsmedicine)等[15]。Synlett和SynOpen在實施眾包評審時的流程基本相同,如圖1所示。眾包同行評審的第(1)-(3)步與傳統(tǒng)審稿基本相同,主要對稿件進(jìn)行初審。(4)-(7)步是關(guān)鍵所在,其作用基本等同于傳統(tǒng)審稿中的外審,用眾包審稿代替外審過程。眾包編輯將稿件上傳到在線平臺,并邀請平臺上的專家進(jìn)行評審,專家們同時收到包括文章名的郵件邀請。眾包編輯預(yù)先分配給每位專家一個網(wǎng)名,以便于自己鑒別評審專家的身份,但評審專家相互之間以及他們和作者之間均為匿名,彼此并不知道對方的真實身份。平臺上所有的專家都可以看到相同的稿件版本和所有評審專家的意見,后面的審稿人只需要在前面意見的基礎(chǔ)上進(jìn)行工作,可以只寫“同意”前面的意見,不需要再把相同的意見重復(fù)一遍。后面的審稿人也可以否定前面審稿人的意見并展開討論,前面的審稿人通常會重新站出來捍衛(wèi)自己最初的意見,但有時也會贊同后面的意見而否定自己原來的意見。這時也往往會有第三第四甚至第五第六名審稿人同時加入討論,結(jié)果多數(shù)會形成統(tǒng)一的觀點(diǎn),但有時也會爭執(zhí)不下,不過各方的觀點(diǎn)都已進(jìn)行了充分的交流。眾包編輯將最終形成的審稿報告發(fā)送給期刊編委,相當(dāng)于是傳統(tǒng)同行評審的審稿報告。最后編委根據(jù)這份報告決定稿件是被錄用、拒絕還是修改。作者收到編委意見,同時也會收到眾包評審的原始匿名意見。

2眾包同行評審的優(yōu)勢和局限性

2.1節(jié)約審稿時間,加快出版速度

Synlett的專職眾包編輯將需要處理的稿件發(fā)在審稿平臺上,同時給平臺上所有的審稿專家發(fā)郵件,通常情況下4天之內(nèi)就會有10多位審稿人匿名在平臺上發(fā)表意見,討論文章中涉及的新的合圖1眾包同行評審的主要流程成產(chǎn)物。他們會對產(chǎn)品的創(chuàng)新性、分子結(jié)構(gòu)、實驗控制條件、光譜特征等發(fā)表意見,并給出接受或拒絕的建議。大約一周后,眾包編輯關(guān)閉平臺討論并形成一份正式的報告,提交給相關(guān)的期刊編委以便做出最終結(jié)論。傳統(tǒng)評審中,完成外審一般需要1~2個月的時間。眾包審稿只需要1周即可以完成,大大縮短了外審時間。傳統(tǒng)審稿程序中,編輯一般要等到所有審稿完成,形成一個比較完整的意見后再通知作者或接受或退稿或修改。但在眾包審稿的平臺,作者隨時可以看到審稿人的意見,能夠?qū)崟r開始考慮如何修改自己的文章,縮短文章的修改時間,從而縮短審稿周期。與傳統(tǒng)審稿相比,快速是眾包審稿的主要優(yōu)勢,較大幅度地縮短了審稿周期,作者也可以及時修改,使快速出版成為可能。

2.2防止學(xué)術(shù)不端,凈化學(xué)術(shù)氣氛

COPE網(wǎng)站公布的1997—2011年間的664起國際學(xué)術(shù)期刊論文評審中的不端行為案例中,有32起是關(guān)于利益沖突方面,約占總數(shù)的4.8%;其中,涉及評審專家的有5起,涉及期刊的有2起,涉及編輯的有2起,涉及作者的有23起[16]。這些利益沖突主要可以分為兩類:一類是由期刊編輯和審稿人等的不當(dāng)行為所致,一類是由作者本人的剽竊等違規(guī)行為所致。可見,在傳統(tǒng)同行評審稿件中,因評審專家和編輯問題引起的學(xué)術(shù)不端現(xiàn)象時有發(fā)生。評審意見不是公開的,也為各種學(xué)術(shù)不端的滋生帶來了空間。評審人可能因經(jīng)濟(jì)利益或各種社會關(guān)系所施加的壓力而濫用權(quán)力[17],如果作者的研究成果恰好是審稿人正在從事或打算進(jìn)行的研究工作,稿件就有可能受到不公正的待遇,某些評審人甚至有可能將論文中的數(shù)據(jù)或思想據(jù)為己有。眾包評審平臺的審稿意見都是公開透明的,所有審稿專家都可以看到稿件,沒有人私自處理,從而降低了審稿人竊取作者學(xué)術(shù)成果的可能性,較好地防止審稿中的學(xué)術(shù)不端事件發(fā)生。眾包審稿專家如果有不當(dāng)評論,也會有其他專家指出并提出不同意見。對于作者自身的不當(dāng)學(xué)術(shù)行為,已經(jīng)有不少軟件可以核復(fù)率、違規(guī)數(shù)據(jù)和圖表,且相關(guān)軟件還在不斷改進(jìn)中。但如果作者換個說法來剽竊觀點(diǎn),或者改變圖表的形式,軟件就很難識別出來。在眾包審稿稿中,由于參與人數(shù)較多,在發(fā)現(xiàn)變相剽竊他人作品、重復(fù)變相使用作品的重要部分、通過數(shù)字化方式變相利用重要支撐數(shù)據(jù)等不端行為方面具有更大優(yōu)勢。一方面,由于眾包同行評審的審稿意見是公開的,使審稿人剽竊作者學(xué)術(shù)成果的可能性變?。涣硪环矫?,由于審稿專家較多,在識別變相剽竊方面具有較大專家優(yōu)勢。因此,眾包同行評審在防止學(xué)術(shù)不端、凈化學(xué)術(shù)氛圍方面可以發(fā)揮積極的作用。

2.3評審細(xì)致全面,意見客觀公正

傳統(tǒng)同行評審中,一篇論文一般有2-3人擔(dān)任審稿專家,審稿人的知識體系多數(shù)情況能完全覆蓋論文涉及的全部內(nèi)容。對于評審人熟悉的內(nèi)容,可以較快給出中肯的意見。但碰到不熟悉的內(nèi)容,審稿人自己也需要學(xué)習(xí)相關(guān)知識,很難在短時間內(nèi)給出有用的建議。眾包同行評審中,平臺上有幾十至上百名專家,每一位審稿人都有自己深入研究的領(lǐng)域,不同的審稿人會從不同的角度來評審文章。他們的意見不僅能指出毛病,還能給出解決方案。比如,傳統(tǒng)審稿中的一句“作者需要提高語言質(zhì)量”,在眾包審稿中可能變成幾十條具體的建議,幫助作者提高語言水平。如果每個眾包評審人做好自己熟悉的一小部分,每人對整個評審過程貢獻(xiàn)一小部分,那么將所有審稿人的意見湊在一起,就是一篇非常細(xì)致入微的系統(tǒng)的審稿意見,對提高稿件質(zhì)量起到全面而均衡的作用。與此同時,所有審稿人還可以看到其他同行給出的評論,如果個別審稿人弄錯了某些概念,其他人還可以進(jìn)行糾正,整個評審過程更接近于集體討論。2016年的一項調(diào)查顯示,95%的審稿人認(rèn)為討論式審稿對作者來說很有意義,89%的審稿人認(rèn)為審稿人之間的討論可以使結(jié)果更趨于公平[18]。由于所有審稿人都是匿名的,可以毫無顧忌地反對前面的審稿意見,并展開一場討論。后面的審稿人不可能因為依附權(quán)威或其他不正當(dāng)?shù)脑蚨馇懊娴挠^點(diǎn),真正贊成其觀點(diǎn)才是同意的唯一原因,因此眾包審稿的意見更加客觀公正。

2.4減輕審稿負(fù)擔(dān),促進(jìn)專家成長

相對于傳統(tǒng)審稿,眾包審稿的最大優(yōu)勢是可以節(jié)約審稿時間,減輕審稿專家的負(fù)擔(dān)。在傳統(tǒng)審稿方式中,由于是編委或編輯部直接邀請審稿人,審稿人往往會礙于情面而被動接受審稿,但又苦于時間緊張常常不能按時完成審稿。在眾包審稿中,由于同時邀請多名審稿人,如果時間不允許,不參加評論沒有任何負(fù)擔(dān),審稿人完全可以根據(jù)自己的時間決定參加評審的方式和程度。第一位審稿人通常需要花費(fèi)較多時間,發(fā)表較長的評論,后面的審稿人只需要簡單地寫上“同意”,完全不需要重復(fù)第一人的觀點(diǎn),不需要人人寫長篇評論,大大節(jié)約了審稿人的時間。同時,其他的審稿人可以把注意力放在第一位審稿人沒有評論的部分,他們完成這樣的評論通常只需要一兩個小時。眾包審稿意見有時只有一兩句話,不似傳統(tǒng)審稿意見一般正式,但不會影響審稿質(zhì)量。眾包審稿之所以節(jié)約審稿人時間,一是不需要所有審稿人對全文進(jìn)行評論;他們可以自己選擇一部分進(jìn)行評論,二是后面的審稿人可以簡單地同意前面審稿人的意見,不需要重復(fù)同樣的評價。在傳統(tǒng)審稿過程中,不同的審稿人之間完全沒有交流,有時年輕的審稿人對自己的意見不是特別有把握,又苦于沒有更好的渠道了解別人的意見。在眾包評審中,由于各個審稿人可以互相討論,不同意見互相“碰撞”,審稿人可以在討論中快速成長,這對他們作為審稿人和學(xué)者都有幫助。來自德國杜塞爾多夫大學(xué)的NerndM.Schmidt是Synlett旗下的眾包審稿專家,他認(rèn)為參與眾包審稿有機(jī)會閱讀別人的審稿意見,發(fā)現(xiàn)自己忽略的問題,這對其個人成長非常有用。

2.5眾包審稿的局限性

當(dāng)然,眾包評審也有其缺陷,主要包括:(1)有學(xué)者認(rèn)為眾包審稿意見太過零散,不能完全替代傳統(tǒng)審稿模式,如果眾包內(nèi)專家的知識結(jié)構(gòu)比較相似,可能文章的某些不足就會成為盲點(diǎn);(2)對于專業(yè)過細(xì)的刊物或綜合性期刊,發(fā)起眾包審稿可能比較困難;(3)審稿邀請發(fā)出后可能會有眾包內(nèi)無人響應(yīng)的局面,還需另外邀請審稿人。以上這些局限,可以通過合理構(gòu)建和管理眾包來改善。

3眾包同行評審的改進(jìn)措施

3.1建立眾包并充分調(diào)動審稿專家的積極性

眾包同行評審不是普通的大眾評審,因此選擇眾包評審專家的首要條件是專業(yè),必須是期刊所在學(xué)科的專家學(xué)者。眾包專家的數(shù)量一般控制在30~100人,同時還要考慮期刊各分支領(lǐng)域?qū)<业钠胶饨M成,眾包內(nèi)不同專家之間的專業(yè)互補(bǔ)非常重要,有助于對稿件全方位評價。Synlett的眾包審稿人主要包括博士后研究人員、助理教授,還有些已經(jīng)離開學(xué)術(shù)界在業(yè)界供職的資深科學(xué)家。雖然各刊因為專業(yè)不同,在眾包專家選擇上會有不同的標(biāo)準(zhǔn),但一個重要的標(biāo)準(zhǔn)是眾包專家的學(xué)術(shù)水平要基本與外審專家相似,而且要對審稿工作主動積極。眾包審稿與傳統(tǒng)審稿的主要不同就是把“被動審稿”變?yōu)椤爸鲃訉徃濉?。傳統(tǒng)審稿是“邀請制”,由編委或編輯部根據(jù)專業(yè)來邀請審稿人。眾包審稿是“舉手制”,由審稿人主動承擔(dān)審稿工作。充分調(diào)動審稿人的主動積極性是眾包審稿成功的關(guān)鍵,可以采取以下措施:(1)選擇眾包審稿專家時可以采取編委推薦和自薦兩種方式。編委多數(shù)會推薦自己的學(xué)生或同一研究小組人員,他們都會支持編委的工作,自薦的審稿專家多數(shù)也會比較主動積極。(2)定期公布審稿人的工作數(shù)量和質(zhì)量,對主要評審人和附議評審人數(shù)量實行動態(tài)管理。(3)邀請審稿人參加期刊編委會,為審稿編輯創(chuàng)造與編委接觸的機(jī)會,提升他們的對期刊的歸屬感。(4)為審稿人提供晉升機(jī)會,優(yōu)秀的審稿人有機(jī)會進(jìn)入期刊編委會,甚至擔(dān)任專業(yè)副主編。(5)保護(hù)好審稿人的隱私,尤其是負(fù)面的審稿意見,不能透露審稿人的任何信息,解決審稿專家的后顧之憂。

3.2審稿編輯的職責(zé)和工作注意事項

相對于傳統(tǒng)編輯,眾包審稿編輯的工作有一定的特殊性,一是要管理龐大的審稿團(tuán)體,二是要整合各位審稿人的意見,并對稿件形成初步的意見向編委匯報。眾包審稿編輯的工作主要包括:(1)給審稿專家進(jìn)行編號或者分配一個專用審稿名,不能用審稿專家的真實姓名,也不能用他們在的社交媒體使用的化名或昵稱,所有審稿專家必須完全匿名,不能透露他們的真實姓名和身份,這樣才能保證審稿意見的公正性,沒有權(quán)威的干預(yù)和影響;(2)在審稿中要時刻注意平臺內(nèi)容,對于發(fā)表不當(dāng)言論的審稿人要立刻給予警告甚至撤銷其審稿人資格;(3)在審稿結(jié)束后,需要將原始審稿意見制作成PDF文件,將審稿人標(biāo)注過的原始稿件制作成新的PDF文件,將所有審稿意見進(jìn)行分類梳理,最后根據(jù)審稿人的討論形成一個初步的意見;(4)要注意記錄每位專家的參與積極性、發(fā)表評論的次數(shù)和質(zhì)量,以便實行動態(tài)管理;(5)還要學(xué)會如何處理過多的審稿意見,Synlett主編認(rèn)為,編輯需要輔助作者合理修改以提高文章質(zhì)量,但編輯注意不能給作者太大的壓力,要幫助作者優(yōu)先關(guān)注最重要的意見進(jìn)行修改。審稿編輯要學(xué)會幫助作者識別主要意見來修改文章,不能要求每條都回應(yīng)。審稿編輯的工作還有一點(diǎn)必須特別注意,即每篇文章準(zhǔn)備開審時把作者邀請進(jìn)眾包,結(jié)束時注意把作者移出眾包,這樣才能既方便作者與審稿專家直接對話,又不會影響眾包的完整性與純粹性。

3.3在線眾包審稿平臺的選擇與條件

眾包審稿必須通過互聯(lián)網(wǎng)組織實施,因此審稿平臺的選擇非常重要。Synlett使用的平臺是Filestage,輸入郵箱即可開通。對于眾包同行審稿來說,其好處是多名來自不同地域的審稿人可以同時工作,而且具有較好的封閉性,其他無關(guān)人員不能隨便加入,這是一款比較理想的眾包評審軟件。我國多數(shù)期刊建立了微信群或者QQ群,二者都可以設(shè)置為拒絕圈外人加入,封閉性均較好。但是無論是微信還是QQ,雖然每人可以在不同的群中設(shè)置不同的昵稱,但別人點(diǎn)擊后都可以看到其他信息,保密性不夠嚴(yán)格,而且每人只能有一個頭像,熟悉的人員有可能通過頭像猜測到對方的真實身份。因此,不建議使用微信群或QQ群等常用社交媒體來直接作為眾包審稿的平臺。如果每位專家能夠使用一個專門用于審稿的微信或QQ賬號,目前的騰訊文檔具有共享功能,可以供多人同時編輯,基本可以滿足眾包審稿的需求。對于經(jīng)費(fèi)相對比較充裕的期刊,也可以考慮開發(fā)一款避免透露眾包專家信息的小程序。

3.4與原有審稿平臺和審稿程序的對接

我國中文科技期刊目前多數(shù)使用瑪格泰克審稿平臺,而英文科技期刊的平臺則各不相同,使用ScholarOne和EditorialManager的期刊比較多,也有使用英文版瑪格泰克或其他軟件的。這些平臺目前都不具有眾包審稿的功能,但均可與眾包審稿相融合。具體建議如下:在完成初審進(jìn)入外審時,外審階段建議系統(tǒng)中統(tǒng)一使用CrowdReviewer來充當(dāng)審稿人,審稿編輯整理好眾包審稿意見后,以CrowdReviewer的身份將審稿意見上傳到審稿系統(tǒng),這時負(fù)責(zé)的編委和主編就都可以看到審稿意見。編委一般會根據(jù)審稿意見請作者修改文章,修改稿不建議重新進(jìn)行眾包審稿,建議通過原有審稿系統(tǒng)邀請1-2名核心審稿人復(fù)審即可,否則有可能會產(chǎn)生太多的意見,又開始新的一輪眾包評審,審稿人和作者的工作量都會成倍增加。如果有些期刊覺得直接采取眾包審稿有困難,但希望提高審稿速度,也可以采用眾包輔助審稿。編輯部事先建立好審稿人眾包,編委或編輯部在送外審前先在眾包中征詢合適的審稿人,這樣就可以有的放矢,避免多次送審,提高效率。這種眾包只是在傳統(tǒng)同行評審前加了一個步驟,既可以保證評審質(zhì)量,又可以提高審稿效率,是傳統(tǒng)審稿的一種補(bǔ)充和完善。

4我國科技期刊實施眾包同行評審的可行性與關(guān)鍵

《中國科技期刊發(fā)展藍(lán)皮書(2020)》指出:2010—2019年,中國作者發(fā)表的SCI論文數(shù)占全球SCI論文的18.06%??倲?shù)達(dá)到275.5萬余篇,其中2.2萬余篇發(fā)表在中國SCI收錄期刊上,僅占總數(shù)的8.10%。造成這一現(xiàn)象的原因是多方面的,除了評價機(jī)制,中國科技期刊的發(fā)表周期較長也是重要原因之一。[19]《中國臨床藥理學(xué)與治療學(xué)》編輯部對148名藥學(xué)領(lǐng)域的作者調(diào)查,70.27%的作者認(rèn)為目前同行評議最大的問題是評審周期過長。[20]審稿周期偏長是我國多數(shù)科技期刊面臨的問題,改革審稿制度具有一定的緊迫性和必然性。眾包審稿最大優(yōu)勢是縮短審稿時間,同時還能提升評審質(zhì)量,對提高我國科技期刊提高服務(wù)效率具有一定的意義。我國多數(shù)科技期刊采用編委或編輯部初審—外審—終審的審稿制度,眾包同行評審主要是代替其中的外審環(huán)節(jié),可以較好地與原有審稿程序融合,不需要從根本上改變審稿制度,具有易于執(zhí)行的優(yōu)勢和良好的發(fā)展空間。主編是期刊的靈魂,主編的辦刊思想和理念,影響著期刊的方方面面。只有主編重視審稿制度的改革,眾包審稿才有可能實行。一般來說,主編是期刊所在行業(yè)的領(lǐng)軍人才,而編委則是各分支行業(yè)的重要專家,主編和編委均在行業(yè)中具有重要的影響力。只有主編重視,編委積極配合,發(fā)揮他們在行業(yè)中的影響力,才會有更多的專家愿意加入到眾包中來,進(jìn)入眾包中的專家才會更有主動性和積極性,更加愿意為辦好期刊付出精力和時間。因此,一本期刊要想改革審稿制度,主編的大力支持是關(guān)鍵,編委的積極配合是保障。