導語：期刊評價方法選擇研究一文來源于網(wǎng)友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

指標體系多屬性評價方法是學術評價中應用最為廣泛的評價方法之一。世界大學主流大學評價、教育部學科評價及中國第三方機構學術期刊評價等，均廣泛采用多屬性評價方法。多屬性評價方法圍繞評價目的，通過選取各種評價指標來建立評價體系，從而避免了單一評價指標的片面性，使得評價更加全面，在實踐中取得了較好的評價結果。多屬性評價方法的選擇問題是學術界長期以來沒有得到解決的問題?，F(xiàn)有的多屬性評價方法有好幾十種，比如層次分析法、主成分分析、因子分析、秩和比、灰色關聯(lián)、康拓對角線、模糊數(shù)學、粗糙集、TOPSIS、VIKOR、ELECTRE、CRITIC等等，這些評價方法原理各異，并且各有其優(yōu)點，每種方法的適用性均較廣，很難從評價目的與評價方法自身角度進行選擇。由于不同多屬性評價方法的評價結果不同，從而帶來了評價的不確定性。目前的解決方法圍繞兩個路徑展開，一個多屬性評價方法的選擇，選出最合適的一種評價方法;二是組合評價，即同時采用若干種多屬性評價方法進行評價，然后采用一定的方法將評價結果進行組合，得到唯一評價結果。但是，組合評價面臨的問題是，組合評價方法也有很多種，何況理論上任何一種單一的多屬性評價方法也可以用于組合評價。Seren-koA［1］指出，即使兩種最流行的方法的組合也不能保證獲得的排名列表的準確性。封鐵英［2］認為，科技人才評價的關鍵在于對評價方法的選擇和創(chuàng)新，要準確區(qū)分不同評價方法應用的前提條件和適用范圍，避免采用恰當?shù)脑u價方法而造成錯誤的評價結果。相對多屬性評價方法選擇與組合評價兩條路徑，選擇合適的多屬性評價方法是首選思路。開展學術評價的多屬性評價方法選擇具有重要意義。首先，這是學術評價的基礎理論問題，一旦取得進展，不僅推進了科學學方法論研究，同時也推進了多元統(tǒng)計理論的研究。其次，從實踐角度，如果能夠優(yōu)選出最合適的多屬性評價方法，評價結果就具有唯一性，從而從評價方法角度提高了評價的公信力，有助于保證學術評價的公正、公平、公開。第三，解決了多屬性評價方法的選擇問題，也有利于政府相關部門在各種學術評價活動中減少利益相關者沖突，提升形象。關于多屬性評價方法在學術評價中的應用，國外研究主要集中在學術期刊方面，F(xiàn)ranceschetM［3］提出，從信譽度和知名度兩個方面選取指標來進行學術期刊評價，信譽度主要采用特征因子類指標，知名度主要采用期刊影響因子類指標。ShottonD［4］提出了學術期刊評價的5個一級指標，即同行評議、內(nèi)容質量、數(shù)據(jù)集、計算機可讀元數(shù)據(jù)、開放獲取。SombatsompopN等［5］提出了采用期刊影響因子、文章影響因子、位置影響因子等多個指標進行評價。PhilippM［6］從搜索引擎、直接路徑和背部路徑3方面構建了開放存取期刊評價指標。MarkJM等［7］從論文隨機質量、編輯審稿能力、作者獲益度3個方面建立開放存取期刊質量評價模型。國內(nèi)關于采用多屬性評價方法進行學術評價的文獻浩如煙海，目前已經(jīng)有數(shù)千篇相關論文。趙潔［8］則從引文數(shù)量是質量視角研究了學術期刊的評價問題。關于學術評價中多屬性評價方法的選擇，俞立平提出了4種思路:第一種是對評價指標和評價結果分別進行聚類，根據(jù)聚類結果一致度高低來進行選?。?］;第二種是通過評價指標公共因子的模擬權重來進行選?。?0］;第三種是評價結果與評價指標數(shù)據(jù)分布的擬合度，以及評價結果與評價指標的擬合度［11］;第四種是基于偏最小二乘法對評價結果與評價指標進行回歸，根據(jù)指標權重單調性及其正負來進行選?。?2］。蘇為華［13］指出，可以從評價方法的區(qū)分度、靈敏度等角度進行選取。段曉君等［14］提出，綜合考慮模型擬合殘差大小、殘差信息量與參數(shù)數(shù)量進行選取。陳述云等［15］提出，采用不同多屬性評價方法結果的相關系數(shù)大小選擇多屬性評價方法。從現(xiàn)有的研究看，多屬性評價方法已經(jīng)在學術評價中得到了廣泛的應用，國外主要集中在學術期刊評價領域，國內(nèi)的研究領域非常廣泛，研究成果眾多。一些多屬性評價方法自身就有其適用性檢驗，比如主成分或因子分析可以根據(jù)KMO檢驗來進行適用性初篩，但是這樣的評價方法太少了，更多的評價方法其實不存在適用性檢驗。關于多屬性評價方法的選取問題，學術界已經(jīng)意識到并開展了一些研究，但是總體上成果不算太多，并且在以下幾個方面有待進一步深入:第一，一些多屬性評價方法篩選思路值得商榷。比如采用技術類方法進行篩選，如靈敏度、數(shù)據(jù)分布、相關系數(shù)、殘差大小、區(qū)分度等等。盛明科［16］在研究政府績效評價時指出，評價是一個倫理和價值問題，而非純技術問題。選擇評估方法不僅要考慮不同類型方法的特點，還要求評價方法必須契合政府績效評價的價值取向和理念。第二，單純采用純技術類方法不能解決多屬性評價方法的選擇問題。很難同時考慮靈敏度、數(shù)據(jù)分布、相關系數(shù)、殘差大小、區(qū)分度等進行評價，只能考慮其中的部分技術相關內(nèi)容進行評價方法的篩選。進一步地，單純采用技術類方法進行多屬性評價方法的篩選，其篩選方法也是多樣的。第三，一些評價方法的篩選方法難以保證篩選出的評價方法的唯一性。比如某種篩選方法篩選出的結果可能仍然還有數(shù)種評價方法，在這種情況下，如何進一步進行篩選有待研究。第四，現(xiàn)有的篩選方法，許多只能用在非線性評價中，對于線性多屬性評價方法，缺乏有效的篩選手段。本研究在分析評價本質屬性的基礎上，提出采用因子分析與人工神經(jīng)網(wǎng)絡相結合，將技術方法與專家的主觀能動性相結合進行多屬性評價方法的選取，并以JCR2017經(jīng)濟學期刊為例，同時采用專家會議賦權法、主成分分析、因子分析、TOPSIS進行評價，并進行評價方法的篩選。本研究主要創(chuàng)新體現(xiàn)在，第一，讓評價回歸到評價的本質，充分結合專家知識、管理需求與技術手段;第二，通過因子分析法降維，輔助專家進行權重合理性的判斷。

1研究方法

1.1評價的本質屬性分析。辭海中對評價的界定有兩種:“評估人、事、物的優(yōu)劣、善惡美丑、或合不合理，稱為「評價」”;“衡量評定人或事物的價值?！边@兩種解釋含義基本一致，都是評價主體對評價客體的看法。它說明了以下幾個問題:第一，評價主體是人，也可以是機構。之所以機構也是評價主體，這是現(xiàn)代社會發(fā)展的必然。比如政府部門提供公共服務，必然會分配資源，進而涉及到對資源應用效果的評價。不過機構評價集中的是若干人的智慧，即使評價中體現(xiàn)了文化道德和規(guī)章制度等，也是對以往傳統(tǒng)的繼承，本質上，機構也是“人”的體現(xiàn)，是機構決策者的體現(xiàn)。第二，評價是主觀的。從哲學層面，評價是人對他人或事情的看法，所以評價的主觀性是毋容置疑的。即使是機構評價，也體現(xiàn)了一定的管理思想，同樣是主觀的。第三，評價是動態(tài)的。由于物質是運動的，評價對象也是永遠處在運動和變化中，任何評價均是針對一定時間范圍的人或事物的評價，并且任何評價均有一定的有效期。第四，評價標準也是動態(tài)的。由于作為評價主體的人也是不斷變化發(fā)展的，因此，評價標準也是動態(tài)變化的。1.2主觀評價與客觀評價的本質。評價隨著人類社會的發(fā)展越來越復雜。人類社會發(fā)展初期，評價是相對簡單的，人們可以根據(jù)評價客體的表現(xiàn)和各種特征，得出一個大致的評價結論。隨著人類社會發(fā)展，被評價對象越來越復雜，需要評價的因素越來越多，超越了人類大腦直接判斷的范圍，此時就必須借鑒一定的數(shù)學模型來進行評價。多屬性評價就是在這樣的背景下產(chǎn)生的，現(xiàn)在復雜的多屬性評價已經(jīng)擁有幾百個指標，比如世界衛(wèi)生組織的健康城市評價單純靠個人的力量很難判斷，即使是多個人共同評價也比較困難，所以，屬性評價也是在現(xiàn)實評價需求發(fā)展的背景下產(chǎn)生的。本質上，多屬性評價方法是一種輔助人類進行評價的技術手段。多屬性評價方法包括主觀評價方法與客觀評價方法兩大類。所謂主觀評價方法，就是在評價中添加了人為因素，最典型的就是指標權重。如層次分析法、專家打分法、加權TOPSIS等等。所謂客觀評價方法，就是不涉及主觀權重的評價方法，如主成分分析、因子分析、康拓對角線、概率權等等。當然還有一種分類方法是主客觀評價方法，本文將這類評價方法仍然歸類到主觀評價方法。客觀評價方法仍然具有主觀性，并沒有改變評價的本質。第一，評價是為管理服務的，邱均平等［17］指出，沒有科學的評價就沒有科學的管理，沒有科學的管理，就沒有科學的發(fā)展。管理是讓合適的人干合適的事情，本質上就有很強的主觀性。第二，客觀評價方法貌似客觀，但是客觀評價方法的選取還是需要人，仍然是主觀的。第三，客觀評價方法的評價結果是否合適，還是要通過人工加以判斷。如果某種客觀評價方法的評價結果明顯不合理，那么該種客觀評價方法肯定是不能選取的。所以對于客觀評價方法的本質判斷，不能簡單看方法本身，而應該從更系統(tǒng)、更全面的高度看。1.3多屬性評價方法的選取必須引入主觀因素。無論是主觀評價方法還是客觀評價方法，均要考慮其本質上的主觀性，都要考慮其評價目的必須為管理服務。就學術評價而言，無論是大學評價、學科評價、期刊評價、人才評價等等，評價結果均涉及到單位發(fā)展與資源分配。政府部門自身的評價是為管理服務，即使是民間或第三方機構的評價，盡管貌似不直接參與管理與資源分配，但是對公眾或政府部門仍然發(fā)揮較大的影響。所以，在多屬性評價方法選取時，一定要納入人為因素或者管理因素，傳統(tǒng)的單純采用統(tǒng)計學技術手段的多屬性評價方法選擇方法，只可以用來輔助評價方法選取，但不可以作為終極手段。1.4因子－BP人工神經(jīng)網(wǎng)絡篩選法。因子－BP人工神經(jīng)網(wǎng)絡篩選法的原因如圖1所示。對于任何一種多屬性評價方法，其評價過程是首先選擇評價指標，然后采用某種多屬性評價方法進行評價，并得到評價結果。方法篩選的思路是這樣，首先根據(jù)評價指標采用因子分析法提取公共因子，然后用公共因子作為人工神經(jīng)網(wǎng)絡的輸入，評價結果作為人工神經(jīng)網(wǎng)絡的輸出，通過機器學習建立訓練模型，最終得到各公共因子的權重，最后專家或管理者根據(jù)公共因子的權重是否符合管理需求來進行評價方法的篩選。人工神經(jīng)網(wǎng)絡是在現(xiàn)代心理學、神經(jīng)學、生物學、計算機技術等學科基礎上產(chǎn)生的，它是在模擬人類大腦神經(jīng)組織工作原理基礎上發(fā)展起來的。人工神經(jīng)網(wǎng)絡具有生物神經(jīng)系統(tǒng)的基本特征，具有分布式處理、大規(guī)模并行、自學習、自組織等優(yōu)點，是人工智能的主要技術手段，廣泛應用在圖像識別、語音分析、計算機視覺、數(shù)字水印、專家系統(tǒng)圖1因子－BP人工神經(jīng)網(wǎng)絡篩選法原理等很多領域。多層前向BP神經(jīng)網(wǎng)絡是目前應用最多的人工神經(jīng)網(wǎng)絡系統(tǒng)。BP神經(jīng)網(wǎng)絡模型是對人腦神經(jīng)網(wǎng)絡若干基本特性的抽象和模擬，可以進行分布式并行信息處理［18］。典型的BP神經(jīng)網(wǎng)絡由一個輸入層，若干個隱蔽層和一個輸出層構成，其主干是隱蔽層。對于本文而言，輸入層節(jié)點的數(shù)量取決于公共因子的數(shù)量，輸出層節(jié)點數(shù)為1，就是評價結果，隱含層通過一定的算法確定。每層單元節(jié)點與它鄰近兩邊層的各個單元節(jié)點相連，每個連接都會賦予權重，表明上一個單元的輸出對下一個單元的影響力。1.5多屬性評價方法。本文主觀評價法中以專家會議賦權法為例，客觀評價法中以主成分分析、因子分析、TOPSIS法為例。從另外一個角度看，專家會議賦權法屬于線性評價方法，而主成分分析、因子分析、TOPSIS屬于非線性評價方法。本文同時采取以上4種方法進行評價，然后采用因子－BP人工神經(jīng)網(wǎng)絡篩選法進行篩選，這樣可以進一步闡明該方法的原理。至于主成分分析、因子分析、TOPSIS、專家會議賦權法的原理，由于其應用眾多，本文不再贅述。

2研究數(shù)據(jù)

本文基于JCR2017數(shù)據(jù)庫，選取學科期刊數(shù)量較多的經(jīng)濟學期刊為例進行說明，從而保證了相對較大的樣本，以便取得較好的學習效果，提高研究的穩(wěn)健性。JCR2017共有經(jīng)濟學期刊353種，由于部分期刊數(shù)據(jù)缺失，需要將其刪除，經(jīng)過清洗后還有321種期刊。關于評價指標，本文選取總被引頻次、影響因子、他引影響因子、5年影響因子、即年指標、特征因子、論文影響分值、被引半衰期、引用半衰期9個指標進行評價。影響因子百分位指標沒有選取，因為它來源于影響因子，另外具有非參數(shù)性質，用于評價不太合適。此外標準特征因子來源于特征因子，選取存在重復計算。另外，被引半衰期和引用半衰期屬于反向指標，需要進行正向處理，這樣才能進一步用于評價，本文首先采用極大值減去每個指標將其轉化為正向指標，再采用極大值法標準化。

3實證研究結果

采用專家會議賦權法進行評價，首先要確定各評價指標的權重。本文作為一個評價算例，邀請了8名學術評價領域的教授和研究人員進行賦權，經(jīng)過兩輪打分，權重區(qū)域穩(wěn)定，各評價指標的權重分別為:總被引頻次0.10、影響因子0.20、他引影響因子0.15、5年影響因子0.1、即年指標0.05、特征因子0.12、論文影響分值0.08、被引半衰期0.1、引用半衰期0.1。主成分分析和因子分析評價需要首先進行適用性檢驗，KMO檢驗值為0.772，Bartlett檢驗值為3623.831，相伴概率p為0.000，說明符合采用這兩種評價方法的前提條件。采用主成分分析，其主成分矩陣如表1所示。從主成分矩陣可以看出，第一主成分包括總被引頻次、影響因子、他引影響因子、5年影響因子、即年指標、特征因子、論文影響分值7個指標，可以將其命名為期刊影響力;第二主成分包括被引半衰期和引用半衰期2個指標，可以將其命名為期刊時效性。第一主成分的方差貢獻率為56.98%，第二主成分的方差貢獻率為16.49%，兩者累計貢獻率為73.47%，根據(jù)方差貢獻率進行加權匯總，就得到主成分分析的評價結果。采用因子分析評價，需要對矩陣進行旋轉，方法采用最大方差法，旋轉成分矩陣如表2所示。第一公共因子包括總被引頻次、影響因子、他引影響因子、5年影響因子、特征因子、論文影響分值6個指標，為期刊影響力。第二公共因子包括即年指標、被引半衰期和引用半衰期3個指標，為期刊時效性。第一公共因子旋轉方差貢獻率為55.94%，第二公共因子的旋轉方差貢獻率為17.53%，兩者之和為73.47%，同樣根據(jù)旋轉方差貢獻率進行加權匯總，得到因子分析的評價結果。TOPSIS評價包括加權TOPSIS和等權重TOP-SIS，為了分析問題方便，本文采取后者進行評價。4種評價方法的評價結果如表3所示，由于篇幅所限，本文僅公布按照專家會議賦權法評價排名的前40種期刊評價結果。從評價結果看，由于不同評價方法評價原理不同，其評價結果相差較大，除了前3名排序一致外，其他排序結果相差較大。從評價方法選取的角度，專家會議賦權法、TOPSIS評價方法幾乎可以適用于一切評價，主成分分析和因子分析需要進行適用性檢驗，但一般不通過的情況極其罕見，所以從評價方法角度來選擇評價方法幾乎是不可能的。4種評價方法的相關系數(shù)如表4所示，它們之間擁有極高的相關系數(shù)，最低的相關系數(shù)為因子分析與TOPSIS之間的相關系數(shù)，為0.936;最高的相關系數(shù)為因子分析與主成分分析之間的相關系數(shù)，為0.987。對比表3中的排序結果可以看出，盡管不同評價方法評價結果的相關系數(shù)很高，但是評價結果的排序相差仍然較大。需要注意的是，表3中這種排序差異是在區(qū)分度相對較好的優(yōu)秀期刊之間的，如果是處在中等水平的期刊排序，其差異會更大。下面用兩個公共因子作為輸入，4種評價方法的評價結果分別作為輸出，基于BP神經(jīng)網(wǎng)絡進行學習，并得到最終模型的權重。由于BP神經(jīng)網(wǎng)絡可能存在局部極小化問題和網(wǎng)絡結構不唯一問題，為了提高研究的穩(wěn)健性，每種評價方法的BP神經(jīng)網(wǎng)絡模型均學習5次，每次迭代次數(shù)為500，取5次的平均結果。專家賦權法、主成分分析、因子分析、TOP-SIS這4種評價方法的因子－BP人工神經(jīng)網(wǎng)絡篩選結果權重如表5～8所示。將4種評價方法的因子－BP人工神經(jīng)網(wǎng)絡平均權重做成1張表(如表9所示)。這樣就可以非常清晰地看出各種評價方法的側重點，專家會議賦權法影響力權重為0.898，時效性權重為0.102，更加側重影響力。因子分析法影響力權重為0.922，時效性權重為0.078，相比專家會議賦權法更加注重影響力。主成分分析賦權法影響力權重為0.832，時效性權重為0.168，對時效性的重視程度有所加強。而TOPSIS最重視時效性，其權重為0.433，影響力權重為0.567。如果在這個基礎上進一步比較權重，選擇評價方法則非常方便。本文將這個權重組合發(fā)給各位專家，8位專家有7位傾向于采用主成分分析法進行評價，即以期刊影響力評價為主，兼顧時效性進行評價。這樣評價方法的選取就結束了，對于4種評價方法而言，選取主成分分析更合適，最后應該采用主成分分析的評價結果作為唯一標準。

4研究結論

4.1在學術評價中多屬性評價方法的選擇必須兼顧主觀和管理因素學術評價本質上是主觀的，評價隨著人類社會的發(fā)展越來越復雜，進而誕生了客觀賦權法，但是客觀評價法也必須為管理服務，客觀評價方法的選取也是人為的，其評價結果是否合適也要依靠人工加以判斷，評價結果的運用也要考慮到各利益相關者的感受，所以對于多屬性評價方法的選取，無論是客觀評價方法還是主觀評價方法，均要兼顧主觀和管理因素，即在方法選取中必須施加人工的判斷。4.2因子－BP人工神經(jīng)網(wǎng)絡篩選法是一種有效的評價方法選取手段因子－BP人工神經(jīng)網(wǎng)絡篩選法首先通過降維，從評價指標中提取少數(shù)公共因子，再通過BP人工神經(jīng)網(wǎng)絡對某種多屬性評價方法的公共因子和評價結果進行訓練學習，從而得到該評價方法的因子權重，再輔助專家知識和管理需求來進行評價方法的篩選。實證研究表明，通過因子分析降維，降低了專家判斷權重的難度。人工神經(jīng)網(wǎng)絡學習模型具有較好的穩(wěn)定性，得到的權重是可信的。并且該方法適用于所有的多屬性評價方法，因此具有廣闊的應用前景。4.3因子－BP人工神經(jīng)網(wǎng)絡篩選法可以用來輔助專家賦權雖然因子－BP人工神經(jīng)網(wǎng)絡篩選法是一種多屬性評價方法篩選方法，但是在專家賦權時，利用該方法可以得到公共因子的權重，并反饋給專家，由于只有少數(shù)公共因子，并且公共因子之間不相關，這樣可以讓專家非常容易地判斷指標賦權是否合適，因為不是直接面對幾十個甚至更多的評價指標。本質上，因子－BP人工神經(jīng)網(wǎng)絡篩選法提高了評價要素的區(qū)分度，方便了專家。4.4對于多屬性評價方法的進一步優(yōu)化成為新的問題通過因子－BP人工神經(jīng)網(wǎng)絡篩選法進行多屬性評價方法的篩選，只能依托現(xiàn)有的多屬性評價方法，在極限情況下，如果嘗試的所有多屬性評價方法的因子權重均不能達到專家或管理需求希望的結果，即有可能否決正在嘗試的所有多屬性評價方法。在這種情況下，如何進一步推進評價?一種可能的思路是進一步調整各評價指標的權重，采用專家賦權法重新進行評價并進行進一步的檢驗，但這種工作耗時長，不確定性因素多，有待進一步深入研究。4.5當評價對象較少時不宜采用本文方法因子－BP人工神經(jīng)網(wǎng)絡篩選法必須符合兩個前提條件，第一是因子分析的前提條件，比如KMO檢驗必須通過(這通常沒有問題)，評價對象至少達到一定數(shù)量;第二是人工神經(jīng)網(wǎng)絡的前提條件，比如對樣本數(shù)量的要求。如果這些前提條件不滿足，是無法應用該方法進行多屬性評價方法選取的。需要說明的是，本文中期刊評價方法的篩選方法嚴重依賴于研究數(shù)據(jù)，即依賴了評價指標本身和評價數(shù)據(jù)。