導(dǎo)語(yǔ)：如何才能寫(xiě)好一篇神經(jīng)網(wǎng)絡(luò)總結(jié)，這就需要搜集整理更多的資料和文獻(xiàn)，歡迎閱讀由公務(wù)員之家整理的十篇范文，供你借鑒。

篇1

關(guān)鍵詞 神經(jīng)網(wǎng)絡(luò)；BP；優(yōu)化算法

中圖分類(lèi)號(hào)：TP183 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671-7597（2014）13-0066-01

1 人工神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)稱(chēng)ANN，它是一種將人類(lèi)大腦的組織結(jié)構(gòu)和運(yùn)行機(jī)制作為其研究基礎(chǔ)來(lái)模擬人類(lèi)大腦內(nèi)部結(jié)構(gòu)和其智能行為的處理系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元細(xì)胞將其接收到的所有信號(hào)進(jìn)行處理，如加權(quán)求和等操作，進(jìn)行操作后經(jīng)軸突輸出。

2 人工神經(jīng)網(wǎng)絡(luò)的分類(lèi)

2.1 前饋型神經(jīng)網(wǎng)絡(luò)

前饋型神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)其網(wǎng)絡(luò)中的神經(jīng)元之間的連接關(guān)系進(jìn)行復(fù)合映射，因此這種網(wǎng)絡(luò)模型具有非常強(qiáng)的非線性處理的能力。如圖1所示，在這里前饋型神經(jīng)網(wǎng)絡(luò)模型被分為三層，分別為輸入層、輸出層和隱含層，一般常用的前饋型神經(jīng)網(wǎng)絡(luò)有BP神經(jīng)網(wǎng)絡(luò)、RBF神經(jīng)網(wǎng)絡(luò)、自組織神經(jīng)網(wǎng)絡(luò)等。

圖1 前向神經(jīng)網(wǎng)絡(luò)模型

2.2 反饋型神經(jīng)網(wǎng)絡(luò)

反饋型神經(jīng)網(wǎng)絡(luò)其結(jié)構(gòu)，在這個(gè)模型中我們假設(shè)網(wǎng)絡(luò)總的神經(jīng)元個(gè)數(shù)為N，則每個(gè)神經(jīng)元節(jié)點(diǎn)都有N個(gè)輸入值及一個(gè)輸出值，每個(gè)神經(jīng)元節(jié)點(diǎn)都如此，節(jié)點(diǎn)之間相互聯(lián)系。現(xiàn)在被大量使用的反饋型神經(jīng)網(wǎng)絡(luò)一般有離散Hopfield神經(jīng)網(wǎng)絡(luò)模型、Elman神經(jīng)網(wǎng)絡(luò)模型等等。

3 BP神經(jīng)網(wǎng)絡(luò)

3.1 BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

1986年，Rumelhant和McCelland提出了BP神經(jīng)網(wǎng)絡(luò)的一般模型，BP神經(jīng)網(wǎng)絡(luò)是一種具有多層網(wǎng)絡(luò)的反向傳播學(xué)習(xí)算法。BP神經(jīng)網(wǎng)絡(luò)模型的基本思想是：整個(gè)過(guò)程主要由信號(hào)的正向傳播和誤差的反向傳播兩個(gè)過(guò)程組成。目前，BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍為數(shù)據(jù)壓縮、數(shù)據(jù)分類(lèi)、預(yù)測(cè)分析和模式識(shí)別等領(lǐng)域。

3.2 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

如圖2所示，這里是BP神經(jīng)網(wǎng)絡(luò)的一種模型結(jié)構(gòu)，在這種模型結(jié)構(gòu)中輸入信號(hào)量為m，具有隱含層的數(shù)量為j，輸出信號(hào)量為q的模型結(jié)構(gòu)。

BP神經(jīng)網(wǎng)絡(luò)一般具有一個(gè)或多個(gè)隱含層單元，其差別主要體現(xiàn)在激活函數(shù)的不同。針對(duì)BP神經(jīng)網(wǎng)絡(luò)所使用的激活函數(shù)一

圖2 BP神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

般采用S型對(duì)數(shù)函數(shù)或者采用正切激活函數(shù)，而輸出層則一般采用線性函數(shù)作為激活函數(shù)。

3.3 BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)方法

BP神經(jīng)網(wǎng)絡(luò)作為當(dāng)今對(duì)研究電力負(fù)荷預(yù)測(cè)應(yīng)用最多的一種神經(jīng)網(wǎng)絡(luò)，但標(biāo)準(zhǔn)的BP神經(jīng)網(wǎng)絡(luò)算法存在的一些缺陷，這里就對(duì)一些經(jīng)常使用的典型改進(jìn)方法進(jìn)行描述。

1）增加動(dòng)量項(xiàng)。在一般的BP神經(jīng)網(wǎng)絡(luò)算法中，其模型中的各層權(quán)值在進(jìn)行更新的過(guò)程中，是按照t時(shí)刻誤差曲線進(jìn)行梯度下降方式進(jìn)行調(diào)整的，在這里并沒(méi)有考慮其之間的梯度下降的方向，如果使用這種方式進(jìn)行調(diào)整則會(huì)造成訓(xùn)練的過(guò)程不穩(wěn)定，容易發(fā)生振蕩，導(dǎo)致收斂過(guò)程緩慢的結(jié)果。因此有些學(xué)者就為了使網(wǎng)絡(luò)訓(xùn)練的速度提高，收斂過(guò)程加快，就在一般網(wǎng)絡(luò)模型的權(quán)值更新環(huán)節(jié)添加了一個(gè)動(dòng)量項(xiàng)因子即：

（1）

在這個(gè)式子中，W表示BP神經(jīng)網(wǎng)絡(luò)中每一層的權(quán)值矩陣，O則表示神經(jīng)網(wǎng)絡(luò)中每一層的輸出向量矩陣，α則被稱(chēng)為該神經(jīng)網(wǎng)絡(luò)的動(dòng)量系數(shù)因子，其取值范圍在0到1之間，在該網(wǎng)絡(luò)在進(jìn)行訓(xùn)練的過(guò)程中，如果其誤差梯度網(wǎng)線出現(xiàn)了局部極小值現(xiàn)象，雖然在這里的第一項(xiàng)會(huì)趨摟于零，但是這一項(xiàng)，

這樣就會(huì)使該訓(xùn)練過(guò)程避免了限入局部極小值區(qū)域的形勢(shì)，從而加快了其訓(xùn)練速度，使該神經(jīng)網(wǎng)絡(luò)收斂速度加快，因此這種帶有動(dòng)量項(xiàng)因子的BP神經(jīng)網(wǎng)絡(luò)算法應(yīng)用到了很多的BP網(wǎng)絡(luò)中。

2）學(xué)習(xí)速度的自適應(yīng)調(diào)節(jié)方法。學(xué)習(xí)速度η在一個(gè)標(biāo)準(zhǔn)的BP神經(jīng)網(wǎng)絡(luò)中是以一個(gè)常數(shù)出現(xiàn)的我們也稱(chēng)為之步長(zhǎng)，而在實(shí)際的運(yùn)算過(guò)程中，很難找到一個(gè)數(shù)值作為最優(yōu)學(xué)習(xí)速度。我們從誤差曲面圖形中可以看出，當(dāng)曲面中區(qū)域處于一個(gè)平坦區(qū)域時(shí)，我們需要設(shè)置一個(gè)比較大的η值，使它能夠跳出這個(gè)平坦的區(qū)域；而當(dāng)曲面中的區(qū)域處于變化比較很大的區(qū)域時(shí)，這時(shí)的η的數(shù)值我們又需要將其進(jìn)行減小或者增大操作。自適應(yīng)調(diào)整學(xué)習(xí)速度η則可以根據(jù)網(wǎng)絡(luò)的總誤差來(lái)進(jìn)行自我調(diào)整，在網(wǎng)絡(luò)經(jīng)過(guò)多次調(diào)整后，如果E總繼續(xù)上升，則表明這里的調(diào)整是無(wú)效的，且η=βη， ；而經(jīng)常調(diào)整這里的E總下降了，則表明這里的調(diào)整是有效果的，且η=αη，。

3）引入陡度因子（防止飽和）。在網(wǎng)絡(luò)訓(xùn)練的過(guò)程中，由于其誤差曲面具有平坦區(qū)，當(dāng)處于這個(gè)區(qū)域時(shí)，由于S型激活函數(shù)有飽和特性，促使權(quán)值的調(diào)整速度放慢，從而影響了調(diào)整的速度。在訓(xùn)練的過(guò)程中，如果算法調(diào)整進(jìn)入了這個(gè)區(qū)域，我們可以減小神經(jīng)元的輸入量，使其輸出值迅速脫離激活函數(shù)的飽和區(qū)域，這里誤差函數(shù)的數(shù)值則會(huì)隨之發(fā)生改變，其權(quán)值的調(diào)整也就脫離了該平坦區(qū)。想要實(shí)現(xiàn)以上思路則需要在激活函數(shù)中引入一個(gè)陡度因子λ。

（2）

當(dāng)趨近于0時(shí)，而數(shù)值較大時(shí)，調(diào)整其進(jìn)入誤差曲面中的平坦區(qū)，此時(shí)λ的值應(yīng)選擇大于1的數(shù)值；而當(dāng)調(diào)整脫離平坦區(qū)域后，再設(shè)置λ大于1，使激活函數(shù)能夠恢復(fù)到原始數(shù)值。

4 總結(jié)

綜上所述，設(shè)計(jì)一個(gè)人工神經(jīng)網(wǎng)絡(luò)應(yīng)用到實(shí)際問(wèn)題中，可以歸結(jié)為網(wǎng)絡(luò)自身權(quán)值參數(shù)的學(xué)習(xí)與合理的設(shè)計(jì)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)這兩大類(lèi)優(yōu)化問(wèn)題。由于人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是一個(gè)非常復(fù)雜的問(wèn)題，使用傳統(tǒng)的學(xué)習(xí)算法進(jìn)行訓(xùn)練則要花費(fèi)很長(zhǎng)的時(shí)間，BP算法用到了梯度下降法，才只能在一定范圍內(nèi)找到合適的參數(shù)值及其模型結(jié)構(gòu)。因此，為了更好的提高神經(jīng)網(wǎng)絡(luò)的泛化能力，及將網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)的更加合理，大量關(guān)于神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法相繼產(chǎn)生。

參考文獻(xiàn)

篇2

【關(guān)鍵字】 灰色理論 BP神經(jīng)網(wǎng)絡(luò) 預(yù)測(cè)模型

一、引言

隨著大數(shù)據(jù)時(shí)代的到來(lái)，BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型已成為學(xué)術(shù)界研究的熱點(diǎn)，并應(yīng)用到多領(lǐng)域中。BP神經(jīng)網(wǎng)絡(luò)具有很好的非線性逼近以及自學(xué)習(xí)的能力，可高精度擬合預(yù)測(cè)值，但是，由于很多系統(tǒng)存在不確定性，傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)將原始時(shí)間序列直接作為輸入值，而原始時(shí)間序列中具有很大的隨機(jī)性和不確定性，使得神經(jīng)網(wǎng)絡(luò)在預(yù)測(cè)結(jié)果中，存在較大偏差。解決此問(wèn)題的有效方法是將原始時(shí)間序列經(jīng)過(guò)灰色理論進(jìn)行白化處理，過(guò)濾掉數(shù)列中的不確定性和隨機(jī)性等灰色特性，再將白化處理后的結(jié)果作為BP神經(jīng)網(wǎng)絡(luò)的輸入。

二、灰色預(yù)測(cè)理論研究

根據(jù)研究對(duì)象的特性可將其分為白、灰、黑三類(lèi)，該分類(lèi)取決于研究者對(duì)系統(tǒng)信息的掌握程度，是基于認(rèn)識(shí)程度而言，具有相對(duì)性。其中白色系統(tǒng)信息完全明確，黑色系統(tǒng)信息完全缺乏，而灰色系統(tǒng)是介于白色系統(tǒng)和黑色系統(tǒng)之間，其信息具有不充分、不完全的特性。灰色預(yù)測(cè)為灰色系統(tǒng)最典型的應(yīng)用，在樣本數(shù)據(jù)量較少、預(yù)測(cè)結(jié)果具有一定的隨機(jī)性時(shí)，灰色理論是應(yīng)用最為廣泛的，克服了系統(tǒng)周期短和數(shù)據(jù)不足的矛盾。對(duì)于樣本少、貧信息的不確定性系統(tǒng)[1]而言，由于原始數(shù)據(jù)毫無(wú)規(guī)律可循，因此灰色理論首先將原始時(shí)間序列進(jìn)行累加，使其具有遞增規(guī)律，然后對(duì)其進(jìn)行擬合，最終將累加數(shù)據(jù)進(jìn)行還原。其具體原理如下所示：設(shè)原始時(shí)間序列為累加為時(shí)間序列為，累加后是單調(diào)不減時(shí)間序列，可見(jiàn)，一般累加可將非負(fù)的任意無(wú)規(guī)律數(shù)列轉(zhuǎn)換為單調(diào)不減數(shù)列。根據(jù)該時(shí)間序列，建立白化方程并得到方程的解。所得即為的估計(jì)值，但是由原始數(shù)列累加變換所得，因此，還需對(duì)估計(jì)值進(jìn)行累減處理，最終即為所求預(yù)測(cè)值。

三、BP神經(jīng)網(wǎng)絡(luò)理論研究

BP神經(jīng)網(wǎng)絡(luò)是一種具有連續(xù)傳遞函數(shù)的前饋神經(jīng)網(wǎng)絡(luò)，其訓(xùn)練方法是誤差反向傳播算法，常用的為梯度下降法[2]。以均方誤差最小化為目標(biāo)不斷修改網(wǎng)絡(luò)權(quán)值和閾值，最終能高精度地?cái)M合數(shù)據(jù)。BP神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)分為三層，第一層為輸入層，輸入值為預(yù)測(cè)系統(tǒng)的主要影響因素的定量值；第二層為隱含層，每個(gè)神經(jīng)網(wǎng)絡(luò)模型至少包含一個(gè)隱含層，為了計(jì)算方便，本論文中采用一個(gè)隱含層進(jìn)行預(yù)測(cè)；第三層為輸出層，輸出即為系統(tǒng)的預(yù)測(cè)結(jié)果，輸出可為一個(gè)或多個(gè)，本文采用一個(gè)輸出模式。設(shè)輸入層的輸入值為，隱含層的神經(jīng)元值為，輸出層的神經(jīng)元值為。輸入層神經(jīng)元與隱含層神經(jīng)元的權(quán)值為，隱含層神經(jīng)元與輸出層神經(jīng)元的權(quán)值為。隱含層神經(jīng)元的閾值為，激發(fā)函數(shù)為，輸出層神經(jīng)元的閾值為，激發(fā)函數(shù)為。在神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，分為兩個(gè)方向：信息正向傳遞和誤差反向傳播。在信息正向傳遞的過(guò)程中，隱含層每個(gè)神經(jīng)元通過(guò)該神經(jīng)元的閾值、其與輸入層各神經(jīng)元的權(quán)值及輸入層各神經(jīng)元本身的值的結(jié)合，在本層激勵(lì)函數(shù)的作用下取得。神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)以上的正向信息傳遞，將M維向量的N個(gè)樣本數(shù)據(jù)作為輸入，計(jì)算出隱含層神經(jīng)元的值，最后計(jì)算出實(shí)際輸出值。利用其與期望輸出值T可計(jì)算出均方誤差。將所得MSE沿原來(lái)正向信息傳遞的路徑逐層反向傳遞，依據(jù)輸出的MSE計(jì)算出各層的，并將作為依據(jù)，更新各連接的閾值和權(quán)值，此時(shí)誤差反向傳遞完畢。網(wǎng)絡(luò)模型反復(fù)進(jìn)行信息正向傳遞和誤差反向傳遞著兩個(gè)過(guò)程，直到MSE達(dá)到標(biāo)準(zhǔn)或小于標(biāo)準(zhǔn)ε。

四、灰色神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的建立

由于灰色系統(tǒng)具有明顯的不確定性，因此用灰色模型先將原始輸入數(shù)據(jù)進(jìn)行累加，使其具有明顯的指數(shù)特性，并對(duì)其進(jìn)行白化即用微分方程對(duì)其進(jìn)行擬合預(yù)測(cè)。對(duì)于有N個(gè)參數(shù)的灰色神經(jīng)網(wǎng)絡(luò)的微分方程為：

其中，xi（1）（i=2，3，...，N）為系統(tǒng)輸入值，xi（1）為系統(tǒng)輸出值。記微分方程系數(shù)為

將GM（1，N）的輸出值作為神經(jīng)網(wǎng)絡(luò)的輸入值，即可得到灰色神經(jīng)網(wǎng)絡(luò)模型。

總結(jié)和展望：由于現(xiàn)實(shí)世界中的系統(tǒng)很多屬于灰色系統(tǒng)，在對(duì)未來(lái)數(shù)據(jù)的預(yù)測(cè)過(guò)程中，僅憑傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)存在很大的偏差。而本文提出的灰色神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型可以有效地過(guò)濾系統(tǒng)中的灰色特性，并充分發(fā)揮灰色理論和BP神經(jīng)網(wǎng)絡(luò)各自的優(yōu)勢(shì)，二者取長(zhǎng)補(bǔ)短，使得最終對(duì)灰色系統(tǒng)的預(yù)測(cè)更加準(zhǔn)確。但值得注意的是在神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的過(guò)程中，采用的梯度下降法只能找到局部最有值[3]，無(wú)法準(zhǔn)確獲取全局最優(yōu)?？稍谝院蟮念A(yù)測(cè)模型研究中考慮加入遺傳算法等對(duì)此模型進(jìn)行優(yōu)化。

參 考 文 獻(xiàn)

[1] 劉金英. 灰色預(yù)測(cè)理論與評(píng)價(jià)方法在水環(huán)境中的應(yīng)用研究[D].吉林大學(xué)，2004.

篇3

關(guān)鍵詞 ：GA-RBF神經(jīng)網(wǎng)絡(luò) 預(yù)測(cè)模型 仿真

泵的性能預(yù)測(cè)研究就是根據(jù)泵的葉輪、蝸殼、導(dǎo)葉等過(guò)流部件的幾何參數(shù)，分析內(nèi)部流動(dòng)特征，以此預(yù)測(cè)泵的性能，是在泵產(chǎn)品設(shè)計(jì)中必不可少的重要環(huán)節(jié)，具有縮短研發(fā)周期、降低開(kāi)發(fā)成本和提高產(chǎn)品設(shè)計(jì)質(zhì)量等優(yōu)點(diǎn)。針對(duì)離心泵的性能研究不但具有重要的學(xué)術(shù)價(jià)值和社會(huì)效益，而且對(duì)研究其他泵的性能提供了可資借鑒的依據(jù)。

一、GA-RBF神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

GA-RBF神經(jīng)網(wǎng)絡(luò)是將遺傳算法引入到前饋式神經(jīng)網(wǎng)絡(luò)（RBF）發(fā)展起來(lái)的一種神經(jīng)網(wǎng)絡(luò)。作為三層前向網(wǎng)路的RBF神經(jīng)網(wǎng)絡(luò)，由輸入層、徑向基層（RBF層）和輸出層構(gòu)成，它利用RBF作為隱含單元的“基”構(gòu)成隱含空間，輸入矢量不需要通過(guò)權(quán)連接直接進(jìn)入隱含層，只要能夠確定RBF的中心點(diǎn)，就能夠確定其相應(yīng)的映射關(guān)系，具有突出的最佳逼近性能和全局最有特性且構(gòu)造簡(jiǎn)單、訓(xùn)練速度快，在非線性函數(shù)逼近及模式識(shí)別領(lǐng)域取得了很好的效果。

二、構(gòu)建基于GA-RBF神經(jīng)網(wǎng)絡(luò)性能預(yù)測(cè)模型

在利用GA-RBF神經(jīng)網(wǎng)絡(luò)算法來(lái)實(shí)現(xiàn)對(duì)離心泵性能預(yù)測(cè)時(shí)可根據(jù)如圖1所示的流程圖進(jìn)行。

因?yàn)樵贕A-RBF神經(jīng)網(wǎng)絡(luò)中，輸入模式對(duì)于離心泵性能預(yù)測(cè)預(yù)測(cè)結(jié)果有比較大影響，因此我們選取對(duì)離心泵能量性能影響較大的離心泵幾何參數(shù)和設(shè)計(jì)流量（）作為GA-RBF神經(jīng)網(wǎng)絡(luò)的輸入變量。其中，主要的離心泵幾何參數(shù)包括：葉輪出口直徑（）、葉片出口寬度（）、葉片出口安放角（）、渦殼的基圓直徑（）、渦殼進(jìn)口寬度（）、蝸殼第八斷面面積（）、葉片包角（）以及葉片數(shù)（）。根據(jù)輸入模式可以確定輸入層神經(jīng)元數(shù)目為9。考慮到RBF神經(jīng)網(wǎng)絡(luò)的隱含層神經(jīng)元是徑向基函數(shù)，該特性使RBF神經(jīng)網(wǎng)絡(luò)的擬合特性為局部性，于是本文將泵的揚(yáng)程和效率預(yù)測(cè)設(shè)計(jì)為2個(gè)相類(lèi)似結(jié)構(gòu)的GA-RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，即為離心泵揚(yáng)程GA-RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型和離心泵效率GA-RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，如圖2所示。

三、仿真實(shí)驗(yàn)

為了考察建立的離心泵揚(yáng)程GA-RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型和離心泵效率GA-RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的有效性，我們選取沈陽(yáng)水泵研究所編撰的《全國(guó)優(yōu)秀水力模型匯編》和江蘇大學(xué)關(guān)醒凡教授編撰的《現(xiàn)代泵技術(shù)手冊(cè)》選取57組單級(jí)單吸離心泵的設(shè)計(jì)參數(shù)和試驗(yàn)參數(shù)作為訓(xùn)練樣本數(shù)據(jù)和目標(biāo)數(shù)據(jù)。

根據(jù)訓(xùn)練樣本數(shù)據(jù)和目標(biāo)數(shù)據(jù)輸入離心泵揚(yáng)程GA-RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型和離心泵效率GA-RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型進(jìn)行訓(xùn)練，其訓(xùn)練學(xué)習(xí)效果分別如圖3、圖4所示。

為了考察建立的離心泵揚(yáng)程GA-RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型和離心泵效率GA-RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的效果，本文也從沈陽(yáng)水泵研究所編撰的《全國(guó)優(yōu)秀水力模型匯編》和江蘇大學(xué)關(guān)醒凡教授編撰的《現(xiàn)代泵技術(shù)手冊(cè)》選取6組單級(jí)單吸離心泵的設(shè)計(jì)參數(shù)和試驗(yàn)參數(shù)數(shù)據(jù)作為檢驗(yàn)樣本，其具體數(shù)據(jù)如表1所示。

采用表1的數(shù)據(jù)和利用已經(jīng)建立的離心泵揚(yáng)程GA-RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型和離心泵效率GA-RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型分別進(jìn)行預(yù)測(cè)離心泵的揚(yáng)程、效率等性能指標(biāo)，與談明高等人所做實(shí)驗(yàn)和撰寫(xiě)的文獻(xiàn)參數(shù)進(jìn)行對(duì)比，其結(jié)果如表2所示。

分析表2的離心泵性能的GA-RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型檢驗(yàn)樣本預(yù)測(cè)結(jié)果發(fā)現(xiàn)：GA-RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的揚(yáng)程最大相對(duì)誤差的絕對(duì)值為12.06% 、最小相對(duì)誤差的絕對(duì)值為2.34%、均方根相對(duì)誤差為6.56%;效率誤差最大相對(duì)誤差的絕對(duì)值為6.99% 、最小相對(duì)誤差的絕對(duì)值為0.67% 、均方根誤差為3.99%。RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的揚(yáng)程最大相對(duì)誤差的絕對(duì)值為13.86% 、最小相對(duì)誤差的絕對(duì)值為2.29%、均方根相對(duì)誤差為7.56%;效率誤差最大相對(duì)誤差的絕對(duì)值為6.00% 、最小相對(duì)誤差的絕對(duì)值為1.78% 、均方根誤差為3.70%。

由圖3和圖4我們可以看到，RBF神經(jīng)網(wǎng)絡(luò)及其改進(jìn)的GA-RBF神經(jīng)網(wǎng)絡(luò)在離心泵揚(yáng)程預(yù)測(cè)精度方面都低于效率預(yù)測(cè)精度;雖然GA-RBF神經(jīng)網(wǎng)絡(luò)在預(yù)測(cè)離心泵效率的精度雖然比RBF神經(jīng)網(wǎng)絡(luò)略低，但在預(yù)測(cè)離心泵揚(yáng)程的精度明顯要好得多。

四、總結(jié)

我們采用GA-RBF神經(jīng)網(wǎng)絡(luò)算法建立離心泵性能GA-RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，在沈陽(yáng)水泵研究所編撰的《全國(guó)優(yōu)秀水力模型匯編》和江蘇大學(xué)關(guān)醒凡教授編撰的《現(xiàn)代泵技術(shù)手冊(cè)》選取57組單級(jí)單吸離心泵的設(shè)計(jì)參數(shù)和試驗(yàn)參數(shù)進(jìn)行建模和驗(yàn)證，并通過(guò)闡述性能預(yù)測(cè)的實(shí)現(xiàn)過(guò)程，結(jié)果表明離心泵性能GA-RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型與原有的離心泵性能RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型通一樣有效，并且設(shè)置參數(shù)更簡(jiǎn)單、更方便。

參考文獻(xiàn)：

[1]關(guān)醒凡.現(xiàn)代泵技術(shù)手冊(cè)[M].宇航出版社，1995.

[2]張頂學(xué)，劉新芝，關(guān)治洪.RBF神經(jīng)網(wǎng)絡(luò)算法及其應(yīng)用[J].石油化工高等學(xué)校學(xué)報(bào)，2007，（03）.

篇4

關(guān)鍵詞：仿生算法；神經(jīng)網(wǎng)絡(luò)；遺傳算法

中圖分類(lèi)號(hào)：TP183文獻(xiàn)標(biāo)識(shí)碼：Adoi: 10.3969/j.issn.1003-6970.2011.03.017

An Improved Algorithm of Bionic Research and Analysis

Yue Tong-sen, Wang Da-hai

(XinXiang Vocational and Technical Collage, Xinxiang 453000,Henan,China)

【Abstract】In this paper the bionic algorithm of neural network and genetic algorithm were analyzed and summarized, aimed at slow speed of neural network training, recognition efficiency low, and genetic algorithm the optimum choice premature convergence problem, combined with neural network method and genetic algorithms of their respective characteristics, puts forward the improved algorithm.Without the destruction of single neurons based on input weights, adopt data pretreatment methods to reduce the number of input layers, so as to improve the ability of evolutionary learning.

【Key words】Bionic algorithm; Neural network; Genetic algorithm

0引言

人工神經(jīng)網(wǎng)絡(luò)[1]和遺傳算法[2]是仿生算法[3]的典型方法，它們的優(yōu)化問(wèn)題一直是眾多研究者所倍為關(guān)注的研究熱點(diǎn)之一。在人工神經(jīng)網(wǎng)絡(luò)和遺傳算法結(jié)構(gòu)的研究中發(fā)現(xiàn)，人工神經(jīng)網(wǎng)絡(luò)具有很好的模式分類(lèi)的特性，遺傳算法有很好的動(dòng)態(tài)變更權(quán)值的特性，基于此，本文提出了一種改進(jìn)的基于人工神經(jīng)網(wǎng)絡(luò)和遺傳算法的算法。本章的改進(jìn)算法，就是對(duì)人工神經(jīng)網(wǎng)絡(luò)和遺傳算法進(jìn)行了變換，增強(qiáng)了對(duì)輸入權(quán)值的變化速度，并提出用減少輸入層個(gè)數(shù)的方法是加快神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的有效方法，取得了良好的實(shí)驗(yàn)效果。

1神經(jīng)網(wǎng)絡(luò)和遺傳算法的特究點(diǎn)

1.1神經(jīng)網(wǎng)絡(luò)和遺傳算法的不同點(diǎn)

1．神經(jīng)網(wǎng)絡(luò)是多層感知機(jī)，而遺傳算法是單層感知機(jī)。神經(jīng)網(wǎng)絡(luò)是由輸入層，隱含層和輸出層夠成，但遺傳算法的基因組是一個(gè)數(shù)組，不管基因的長(zhǎng)度有多長(zhǎng)，其結(jié)構(gòu)仍然是一個(gè)單層感知機(jī)。

2． 神經(jīng)網(wǎng)絡(luò)的隱含神經(jīng)元個(gè)數(shù)是不確定的，而輸出層和輸入層的個(gè)數(shù)是可以確定的。我們希望輸入層的個(gè)數(shù)用新的方法得到降低，這樣神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度就可以提高。同時(shí)對(duì)于隱含層的層數(shù)，一般情況設(shè)為1。每層的神經(jīng)元個(gè)數(shù)也并不是越多越好，是要根據(jù)問(wèn)題的情況而變動(dòng)的。但神經(jīng)網(wǎng)絡(luò)的隱含層是不確定的，而且隱含層的個(gè)數(shù)也是不確定的。對(duì)于遺傳算法，它的二進(jìn)制的長(zhǎng)度是可以確定的，但是交叉和變異的比例是變動(dòng)的。對(duì)于單點(diǎn)交叉比例，我們可以設(shè)定為黃金分割點(diǎn)。雖然設(shè)定為黃金分割點(diǎn)作為單點(diǎn)交叉比例沒(méi)有用數(shù)學(xué)方法嚴(yán)格的證明，但是，大量的實(shí)驗(yàn)表明，選擇黃金分割點(diǎn)往往可以得到較好的結(jié)果。對(duì)于變異比例，沒(méi)有交好的方法確定，只能設(shè)計(jì)交互式的實(shí)驗(yàn)來(lái)調(diào)試決定。

3．權(quán)值的更新方式不一樣。神經(jīng)網(wǎng)絡(luò)的權(quán)值的更新方式是時(shí)時(shí)的，而遺傳算法權(quán)值的更新方式是批量的。

4．兩者應(yīng)用的范圍不一樣。神經(jīng)網(wǎng)絡(luò)主要應(yīng)用于模式匹配，錯(cuò)誤診斷，監(jiān)視病人的狀態(tài)，特征提取，數(shù)據(jù)過(guò)濾。而遺傳算法主要應(yīng)用在計(jì)算機(jī)輔助設(shè)計(jì)，日程安排，經(jīng)濟(jì)學(xué)的投資研究等。

1.2神經(jīng)網(wǎng)絡(luò)和遺傳算法的相同點(diǎn)

1．有教師的學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)的輸出是有目標(biāo)的，當(dāng)然是確定的。同時(shí)對(duì)于遺傳算法的目標(biāo)也是確定的。所以?xún)烧叨际怯心繕?biāo)的，也就是有教師的學(xué)習(xí)。

2．隨機(jī)近似優(yōu)化過(guò)程。神經(jīng)網(wǎng)絡(luò)中，如果把網(wǎng)絡(luò)的權(quán)值初始化為接近于0的值，那么在早期的梯度下降步驟中，網(wǎng)絡(luò)將表現(xiàn)為一個(gè)非常平滑的函數(shù)，近似為輸入的線性函數(shù)，這是因?yàn)閟igmoid函數(shù)本身在權(quán)值靠近0時(shí)接近線性。同樣，遺傳算法的初始個(gè)體都是隨機(jī)產(chǎn)生的，它的交叉和變異都是一個(gè)不斷近似的過(guò)程。

3．并行化。神經(jīng)網(wǎng)絡(luò)的每個(gè)神經(jīng)元是獨(dú)立的，如果把每個(gè)神經(jīng)元分配一個(gè)處理器，那么就可以采用并行的方式。同樣，遺傳算法很自然地適合并行實(shí)現(xiàn)，有粗粒度并行方法和細(xì)粒度并行方法。有粗粒度并行方法就是把群體細(xì)分成相對(duì)獨(dú)立的個(gè)體群，稱(chēng)為類(lèi)屬，然后為每個(gè)類(lèi)屬分配一個(gè)不同的計(jì)算節(jié)點(diǎn)，在每個(gè)節(jié)點(diǎn)進(jìn)行標(biāo)準(zhǔn)的GA搜索。細(xì)粒度并行方法就是給每個(gè)個(gè)體分配一個(gè)處理器，然后相鄰的個(gè)體間發(fā)生重組。

2算法的研究及改進(jìn)

結(jié)合人工神經(jīng)網(wǎng)絡(luò)和遺傳算法的研究的本質(zhì)，通過(guò)兩種算法結(jié)合的研究及改進(jìn)，提高算法的收斂速度，從大量的數(shù)據(jù)中模擬生物的特性來(lái)完成特定的任務(wù)和解決問(wèn)題的方法和方向。由于遺傳算法是單層感知機(jī)，而神經(jīng)網(wǎng)絡(luò)是多層感知機(jī)，所以可以從多層感知機(jī)的多層性，我們想象為遺傳算法是單層感知機(jī)作為神經(jīng)網(wǎng)絡(luò)是多層感知機(jī)的輸入層。這樣，我們就可以采用遺傳算法的動(dòng)態(tài)變更權(quán)值的特性來(lái)對(duì)神經(jīng)網(wǎng)絡(luò)輸入層有效性的遺傳和變異。這種算法適合與沒(méi)有輸入，只有輸出的應(yīng)用，就像無(wú)人駕駛技術(shù)中控制行駛的速度和方向的控制一樣。基本的框架如圖1：

圖1結(jié)合人工神經(jīng)網(wǎng)絡(luò)和遺傳算法的框圖

Fig.1 Combined with artificial neural network and genetic algorithm diagram

最上面的是智能體，神經(jīng)網(wǎng)絡(luò)的輸出來(lái)控制智能體，控制中心將神經(jīng)網(wǎng)絡(luò)的權(quán)值用遺傳算法的初始體來(lái)提供。

2.1遺傳算法的基因作為神經(jīng)網(wǎng)絡(luò)的權(quán)值變量

遺傳算法的基因的初始化必須要滿(mǎn)足神經(jīng)網(wǎng)絡(luò)的輸入要求，一般遺傳算法的基因都是0，1編碼。但是為了達(dá)到神經(jīng)網(wǎng)絡(luò)的輸入要求，是要在（-1，+1）之間隨機(jī)產(chǎn)生。

2.2遺傳傳算法中雜交點(diǎn)選擇

遺傳算法中，一般都是采用隨機(jī)平均變異[4][5]的方式，但是如果輸入是由遺傳算法的基因提供的話，為了保證在變異的時(shí)候，采用標(biāo)記變異的方法。我們可以首先根據(jù)圖2的神經(jīng)網(wǎng)絡(luò)來(lái)考慮：

圖2遺傳算法作為人工神經(jīng)網(wǎng)絡(luò)和的權(quán)值圖

Fig.2 Genetic algorithm as artificial neural network and the weights of figure

很顯然，（0.3,-0.8,-0.2）是神經(jīng)元1的權(quán)值 ；(0.6,0.1,-0.1)是神經(jīng)元2的的權(quán)值；(0.4,0.5) 神經(jīng)元3的權(quán)值。為了在遺傳算法中的雜交過(guò)程中，不破壞每個(gè)神經(jīng)元的權(quán)值個(gè)數(shù)，特意標(biāo)記（3，6）所在的箭頭。

2.3引入神經(jīng)網(wǎng)絡(luò)輸入層的數(shù)據(jù)預(yù)處理

神經(jīng)網(wǎng)絡(luò)的計(jì)算問(wèn)題是神經(jīng)網(wǎng)絡(luò)應(yīng)用中最為關(guān)鍵的問(wèn)題。如何提高網(wǎng)絡(luò)的訓(xùn)練速度是算法研究的重點(diǎn)。我們?cè)谒伎紗?wèn)題的時(shí)候，總是希望問(wèn)題越簡(jiǎn)單越容易解決。同樣，我們也可以通過(guò)對(duì)數(shù)據(jù)的預(yù)處理，來(lái)降低問(wèn)題的難度。

為了減少輸入層的個(gè)數(shù)，我們可以先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。預(yù)處理的方法為如下流程：

（1）.計(jì)算機(jī)器人前進(jìn)方向Position(x,y)和目標(biāo)的所在的位置Location(x,y)。

（2）.歸一化Position(x,y) 和Location(x,y)。

（3）.用點(diǎn)乘的計(jì)算公式計(jì)算兩者點(diǎn)乘。

（4）.用符號(hào)重載的方式計(jì)算是順時(shí)針還是相反。

（5）.計(jì)算角度=第3步的結(jié)果*第4步的結(jié)果。

3實(shí)驗(yàn)結(jié)果及分析

3.1實(shí)驗(yàn)框架

將本算法應(yīng)用于掃雪機(jī)器人的智能控制中，設(shè)計(jì)的主要模塊：

3.1.1神經(jīng)網(wǎng)絡(luò)部分的設(shè)計(jì)

神經(jīng)網(wǎng)絡(luò)的輸入由四個(gè)變量組成：掃雪機(jī)器人方向向量（由兩個(gè)變量組成，即在X和Y的分量），發(fā)現(xiàn)目標(biāo)，即雪的向量（由兩個(gè)變量組成，即在X和Y的分量）。神經(jīng)網(wǎng)絡(luò)的隱含層由一層組成，而且由10個(gè)神經(jīng)元。神經(jīng)網(wǎng)絡(luò)的輸出由兩個(gè)變量組成，V1和V2，分別作用在機(jī)器人的左輪和右輪上。神經(jīng)網(wǎng)絡(luò)的響應(yīng)函數(shù)采用SIGMOD。

3.1.2遺傳算法部分的設(shè)計(jì)

遺傳算法的初始化是為神經(jīng)網(wǎng)絡(luò)提供權(quán)值，所以是由[-1，1]隨機(jī)數(shù)產(chǎn)生。遺傳算法的變異是采用隨機(jī)變量的變異，選擇采用輪轉(zhuǎn)法。

3.1.3掃雪機(jī)器人

掃雪機(jī)器人用神經(jīng)網(wǎng)絡(luò)來(lái)控制，當(dāng)找到目標(biāo)后，它的適值就加一。這樣就隨著發(fā)現(xiàn)目標(biāo)越多，它的適值就越大。學(xué)習(xí)能力是通過(guò)不斷的學(xué)習(xí)后，它的適值就會(huì)加強(qiáng)。如果直接采用機(jī)器人前進(jìn)方向和目標(biāo)的所在的位置，那么神經(jīng)網(wǎng)絡(luò)的輸入為四個(gè)變量。

3.2結(jié)果與分析

如果直接采用機(jī)器人前進(jìn)方向和目標(biāo)的所在的位置，那么神經(jīng)網(wǎng)絡(luò)的輸入為四個(gè)變量。通過(guò)對(duì)掃雪機(jī)器人的學(xué)習(xí)過(guò)程，沒(méi)有進(jìn)行預(yù)處理的數(shù)據(jù)，即四個(gè)變量輸入神經(jīng)網(wǎng)絡(luò)后的參數(shù)設(shè)定：神經(jīng)網(wǎng)絡(luò)的輸入為4，神經(jīng)元為6個(gè)，輸出個(gè)數(shù)為2個(gè)，如圖3所示：

圖3網(wǎng)絡(luò)的參數(shù)設(shè)定圖

Fig.3 Network parameters set figure

我們?cè)O(shè)定初始的適值為0，如果發(fā)現(xiàn)一個(gè)目標(biāo)后，它所對(duì)應(yīng)的適值就加上1，這樣經(jīng)過(guò)50次的進(jìn)化后，沒(méi)有進(jìn)行數(shù)據(jù)預(yù)處理的最大值是25，平均值是10.1333。如表1所示：

將50次的統(tǒng)計(jì)結(jié)果用柱狀圖進(jìn)行對(duì)比,如圖4所示。

圖4進(jìn)化50代后的加入數(shù)據(jù)預(yù)處理和沒(méi)有加入預(yù)處理的對(duì)比圖

Fig.4 After 50 generation data preprocessing and did not join joined the pretreatment of contrast diagram

為了減少輸入層的個(gè)數(shù)，我們可以先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理下面，用統(tǒng)計(jì)的方法對(duì)數(shù)據(jù)進(jìn)行的結(jié)果分析，如表2所示。

將進(jìn)化100代后，對(duì)比兩者的對(duì)比柱狀圖如圖5所示。

圖5進(jìn)化50代后的加入數(shù)據(jù)預(yù)處理和沒(méi)有加入預(yù)處理的對(duì)比圖

Fig.5 After 50 generation data preprocessing and did not join joined the pretreatment of contrast diagram

實(shí)驗(yàn)結(jié)果表明，為了減少輸入層的個(gè)數(shù)，先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。通過(guò)對(duì)掃雪機(jī)器人的過(guò)程的數(shù)據(jù)分析進(jìn)行分析，數(shù)據(jù)預(yù)處理后的智能進(jìn)化學(xué)習(xí)能力相對(duì)于原始數(shù)據(jù)的智能進(jìn)化學(xué)習(xí)能力有明顯的提高。

4結(jié)束語(yǔ)

本文提出了基于神經(jīng)網(wǎng)絡(luò)和遺傳算法結(jié)合的改進(jìn)算法，對(duì)于遺傳算法的變異操作進(jìn)行改進(jìn)，不會(huì)破壞單個(gè)神經(jīng)元的輸入權(quán)值的基礎(chǔ)上，采用數(shù)據(jù)預(yù)處理的方法來(lái)減少輸入層的個(gè)數(shù)，從而提高進(jìn)化學(xué)習(xí)的能力。從實(shí)驗(yàn)數(shù)據(jù)中可以看到，本章提出的改進(jìn)算法加快了學(xué)習(xí)速度，達(dá)到了提高智能學(xué)習(xí)的預(yù)期

目的。

參考文獻(xiàn)

[1] 喬俊飛，韓桂紅．神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)動(dòng)態(tài)優(yōu)化設(shè)計(jì)的分析與展望[J].控制理論與應(yīng)用，2010,3(13):350-357.

[2] 葛繼科，邱玉輝,吳春明，等．遺傳算法研究綜述[J].計(jì)算機(jī)應(yīng)用研究,2008,10(9):2911-2916.

[3] 丁建立，陳增強(qiáng)，袁著祉．智能仿生算法及其網(wǎng)絡(luò)優(yōu)化中的應(yīng)用研究進(jìn)展[J].計(jì)算機(jī)工程與應(yīng)用，2003,12(3):10-15

[4] 鞏敦衛(wèi)，等．交互式遺傳算法原來(lái)及其應(yīng)用[M].北京:國(guó)防工業(yè)出版社,2007.

篇5

關(guān)鍵詞：矢量量化；自組織特征映射神經(jīng)網(wǎng)絡(luò)；圖像壓縮；主元分析

中圖分類(lèi)號(hào)：TP183文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2008)36-2731-02

The Vector Quantization Based on PCA/SOFM Hybrid Neural Network

HUNG Cui-cui, ZHANG Jian

(Liaoning University of Technology Electronic and Information Engineering College, Jinzhou 121001, China)

Abstract: In order to improve the two main shortcomings of the Kohonen's self-organizing feature map(SOFM) that are high computation complexity and poor codebook quality, the author proposes a vector quantization algorithm based on PCA/SOFM hybrid neural network in this paper. Descend the dimension of imported vectors by using the principal component analysis (PCA) linear neural network. And then, use SOFM neural network to vector quantization. By modifying the learning-rate parameter, topology field weight and initial codebook of the SOFM neural network to optimize network. Simulation results demonstrate that the image compression algorithm can shorten the time and improve the performance of codebook.

Key words: Vector quantization(VQ); Self-organizing feature map neural network (SOFM); image compression; Principle component analysis(PCA)

1 引言

矢量量化[1,2]技術(shù)是一種利用圖像數(shù)據(jù)空間相關(guān)性的高效有損壓縮方法，它具有壓縮比大，編碼速度快等優(yōu)點(diǎn)，目前己廣泛用于信號(hào)識(shí)別、語(yǔ)音編碼、圖像壓縮等領(lǐng)域中。矢量量化優(yōu)越性的體現(xiàn)離不開(kāi)性能良好的碼書(shū)，因而，矢量量化的關(guān)鍵是如何設(shè)計(jì)一個(gè)最佳碼書(shū)，使得用該碼書(shū)中的碼字表征輸入矢量空間分布時(shí)所引起的量化平均失真最小。近年幾來(lái)，許多學(xué)者將SOFM神經(jīng)網(wǎng)絡(luò)應(yīng)用于碼書(shū)的設(shè)計(jì)[3]。但SOFM算法存在收斂速度慢、計(jì)算量大等缺點(diǎn)。陸哲明和孫圣和針對(duì)SOFM基本算法的計(jì)算量大采用了快速搜索算法，為了提高碼書(shū)性能對(duì)SOFM基本算法的權(quán)值調(diào)整方法作了一些改進(jìn)[4]。目前越來(lái)越多的研究人員把目光投向?qū)⑹噶苛炕c其他的編碼方法相結(jié)合[5]。例如，矢量量化與小波變換結(jié)合的算法[6]，分形變換與矢量量化相結(jié)合的算法[7]。PCA是一種有效的圖像變換編碼算法，它能夠提取圖像數(shù)據(jù)的主特征分量，因此能夠降低圖像輸入數(shù)據(jù)維數(shù)。SOFM算法用于圖像矢量量化則具有不易受初始碼書(shū)的影響，同時(shí)能夠保持圖像數(shù)據(jù)的拓?fù)浣Y(jié)構(gòu)等優(yōu)點(diǎn)。為此本文將兩者結(jié)合，提出了PCA/SOFM混合神經(jīng)網(wǎng)絡(luò)圖像混合編碼算法。先用PCA對(duì)圖像進(jìn)行降維處理，再用SOFM神經(jīng)網(wǎng)絡(luò)進(jìn)行碼書(shū)設(shè)計(jì)。本文還對(duì)碼書(shū)的初始化的選擇問(wèn)題和神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)參數(shù)進(jìn)行研究。實(shí)驗(yàn)表明，該算法不但大大降低了計(jì)算量，而且提高了碼書(shū)的性能。

2 PCA/SOFM混合神經(jīng)網(wǎng)絡(luò)的算法

盡管SOFM神經(jīng)網(wǎng)絡(luò)比起LBG算法有很大優(yōu)勢(shì)，但SOFM算法仍然存在收斂速度慢。計(jì)算量大等缺點(diǎn)。因此本文將PCA與SOFM神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出了PCA/SOFM混合神經(jīng)網(wǎng)絡(luò)。PCA/SOFM混合神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，先用PCA線性神經(jīng)網(wǎng)絡(luò)對(duì)輸入矢量降維處理，從而使得壓縮圖像達(dá)到最小失真。然后用SOFM神經(jīng)網(wǎng)絡(luò)進(jìn)行碼書(shū)設(shè)計(jì)， PCA線性神經(jīng)網(wǎng)絡(luò)采用Sanger提出的廣義Hebb算法[8]。

2.1 基本PCA/SOFM混合神經(jīng)網(wǎng)絡(luò)算法

1) PCA網(wǎng)絡(luò)權(quán)值Wpi,j和SOFM網(wǎng)絡(luò)權(quán)值初始化；

2) PCA網(wǎng)絡(luò)輸出矢量Yp(t)：

(1)

N為PCA神經(jīng)網(wǎng)絡(luò)輸入矢量Xp的維數(shù)。

3) Wpi,j網(wǎng)絡(luò)權(quán)值調(diào)整：

(2)

4) 重復(fù)步驟(2)至(3)，直至算法收斂。輸出矢量Ypi(t)，并將此作為SOFM的輸入Xi(t)；

5) 計(jì)算矢量Xi(t)與權(quán)值矢量Wi,j(t)的距離：

(3)

6) 選擇具有最小距離的輸出節(jié)點(diǎn)，j*作為獲勝節(jié)點(diǎn)，即：

(4)

7) Wij(t) 網(wǎng)絡(luò)權(quán)值調(diào)整：

(5)

8) 重復(fù)步驟(5)至(7)，直至算法收斂。

9) 取輸入訓(xùn)練矢量集的下一個(gè)輸入矢量，回到步驟(2)反復(fù)進(jìn)行，直到足夠的學(xué)習(xí)次數(shù)或滿(mǎn)足規(guī)定的終止條件為止。

10) 保存所有權(quán)值Wij的值，即設(shè)計(jì)碼書(shū)。

2.2 PCA/SOFM混合神經(jīng)網(wǎng)絡(luò)的初始化和改進(jìn)

在PCA/SOFM混合神經(jīng)網(wǎng)絡(luò)算法中網(wǎng)絡(luò)的初始化、鄰域函數(shù)和學(xué)習(xí)率函數(shù)非常重要，它直接影響到網(wǎng)絡(luò)的收斂速度和碼書(shū)的性能。本文要對(duì)這幾個(gè)參數(shù)進(jìn)行優(yōu)化以提高壓縮速度和壓縮性能。本文采用一種改進(jìn)的隨機(jī)選取法，使空間分配均勻，不會(huì)出現(xiàn)碼字空間分的過(guò)細(xì)或過(guò)粗的現(xiàn)象。首先，按k維矢量所有元素中最重要的單個(gè)元素(即k維歐氏空間中最敏感的方向)大小排序；然后按順序每隔n個(gè)矢量取一個(gè)矢量作為初始碼書(shū)的一個(gè)碼字，完成碼書(shū)的初始化（n=訓(xùn)練序列中矢量的總數(shù)/碼書(shū)的大?。?/p>

由SOFM基本算法可知，權(quán)矢量Wi(t+1)的更新實(shí)質(zhì)上是權(quán)矢量Wit和訓(xùn)練矢量Xi(t)的加權(quán)和。其中學(xué)習(xí)率因子和鄰域函數(shù)非常重要，它們決定算法的收斂速度。下面推導(dǎo)最優(yōu)的學(xué)習(xí)率因子α(t)。由式（5）得：

(6)

可以總結(jié)得：

(7)

令多項(xiàng)式的各項(xiàng)相等可得到最優(yōu)學(xué)習(xí)率因子：

(8)

其鄰域函數(shù)取為：

(9)

式中，hcc典型地取為0.8。T為最大迭代次數(shù)，初始值σ0和最終值σT典型地取為0.8和0.1。

3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證算法的有效性，本文把基本SOFM編碼算法、基本PCA/SOFM混合神經(jīng)網(wǎng)絡(luò)編碼算法和改進(jìn)PCA/SOFM算法分別用于圖像的壓縮編碼。本文采用的是512×512像素，256級(jí)灰度的Lena圖像用于訓(xùn)練圖像進(jìn)行碼書(shū)設(shè)計(jì)。首先將圖像分為4×4子塊，然后將每一小塊的16個(gè)像素灰度值作一個(gè)訓(xùn)練矢量，送入PCA線性神經(jīng)網(wǎng)絡(luò)。PCA線性神經(jīng)網(wǎng)絡(luò)輸出節(jié)點(diǎn)為8維PCA變換系數(shù)矢量，同時(shí)將它作為SOFM神經(jīng)網(wǎng)絡(luò)的輸入矢量，用于進(jìn)行碼本設(shè)計(jì)。進(jìn)過(guò)多次實(shí)驗(yàn)，取其平均值作為實(shí)驗(yàn)結(jié)果，圖3給出了各種算法在相同壓縮比的情況下恢復(fù)圖像的對(duì)比。表1給出了各算法編碼后的尖峰信噪比PSNR和碼書(shū)設(shè)計(jì)時(shí)間的比較。

從測(cè)試的結(jié)果可以看出改進(jìn)PCA/SOFM算法優(yōu)于基本SOFM算法和基本PCA/SOFM算法，該算法縮短了碼書(shū)設(shè)計(jì)的時(shí)間，圖像的恢復(fù)質(zhì)量有所提高，取得了令人滿(mǎn)意的結(jié)果。從而證明本文提出的算法是一種行之有效的方法。

4 結(jié)束語(yǔ)

篇6

[關(guān)鍵詞] 水電工程 移民安置 項(xiàng)目成功度 后評(píng)價(jià)

一、引言

水電工程移民是水電工程建設(shè)的重要組成部分,涉及社會(huì)、經(jīng)濟(jì)、資源、生態(tài)、環(huán)境等諸多方面。水電工程移民能否得到妥善安置,影響著區(qū)域社會(huì)、經(jīng)濟(jì)與環(huán)境的協(xié)調(diào)發(fā)展,以及移民自身的可持續(xù)發(fā)展,因此備受各界關(guān)注。

水電工程移民安置項(xiàng)目成功度后評(píng)價(jià)就是對(duì)已完成的移民安置項(xiàng)目是否達(dá)到預(yù)期的效果,以及產(chǎn)生的作用和影響所進(jìn)行的系統(tǒng)的、客觀的評(píng)價(jià),并分析其以后的發(fā)展趨勢(shì),總結(jié)經(jīng)驗(yàn)教訓(xùn),為今后移民安置工作提供建議,以期合理地進(jìn)行后期扶持,并對(duì)移民區(qū)經(jīng)濟(jì)發(fā)展提供對(duì)策與建議。目前對(duì)其主要有以下幾種研究方法:(1)專(zhuān)家打分法或經(jīng)驗(yàn)判斷法。(2)基于灰色聚類(lèi)法的項(xiàng)目成功度評(píng)價(jià),該方法能比較客觀地反映項(xiàng)目的真實(shí)情況,但對(duì)于成功度指標(biāo)比較復(fù)雜的大型項(xiàng)目,在計(jì)算速度和精度上存在缺陷。(3)運(yùn)用神經(jīng)網(wǎng)絡(luò)對(duì)成功度進(jìn)行評(píng)價(jià)。該方法目前只是處于嘗試階段?；诖?本文提出了基于模糊神經(jīng)網(wǎng)絡(luò)的水電工程移民安置項(xiàng)目成功度后評(píng)價(jià)方法。

二、基于模糊神經(jīng)網(wǎng)絡(luò)的項(xiàng)目成功度評(píng)價(jià)體系

1.建立指標(biāo)體系的基本原則。水電工程移民安置項(xiàng)目成功度后評(píng)價(jià)的核心是對(duì)項(xiàng)目實(shí)施效果成功度進(jìn)行評(píng)價(jià)。而水電工程移民是一個(gè)涉及多方面的復(fù)雜體系,因此需要為其構(gòu)建科學(xué)完備的實(shí)施效果后評(píng)價(jià)指標(biāo)體系。指標(biāo)體系的構(gòu)建要遵循以下原則:

(1)全面性。評(píng)價(jià)指標(biāo)體系作為一個(gè)有機(jī)整體是多種因素綜合作用的結(jié)果,同時(shí)水電工程移民內(nèi)容的多樣性要求指標(biāo)體系具有足夠的涵蓋面,從不同角度反映出被評(píng)價(jià)系統(tǒng)的主要特征和狀況。

(2)科學(xué)性。水電工程移民安置項(xiàng)目實(shí)施效果后評(píng)價(jià)指標(biāo)體系應(yīng)建立在科學(xué)的基礎(chǔ)上,尤其是具體指標(biāo)的設(shè)置、構(gòu)成、層次等要建立在充分認(rèn)識(shí)、系統(tǒng)研究的科學(xué)基礎(chǔ)上,社會(huì)、經(jīng)濟(jì)、資源和環(huán)境等主要構(gòu)成要素應(yīng)在指標(biāo)體系中得到充分的反映。

(3)動(dòng)態(tài)性。作為一個(gè)系統(tǒng),水電工程移民是一個(gè)不斷變化發(fā)展的動(dòng)態(tài)過(guò)程,要求其評(píng)價(jià)指標(biāo)體系充分考慮系統(tǒng)動(dòng)態(tài)變化的特點(diǎn)。

(4)理論性與實(shí)踐性相結(jié)合。水電工程移民安置項(xiàng)目實(shí)施效果成功度后評(píng)價(jià)指標(biāo)體系的構(gòu)成應(yīng)以理論分析為基礎(chǔ),但在實(shí)際應(yīng)用中往往受到資料來(lái)源和數(shù)據(jù)支持的制約。因此,要求評(píng)價(jià)指標(biāo)體系中相應(yīng)指標(biāo)的量化應(yīng)是可行的,且獲取數(shù)據(jù)較為容易、準(zhǔn)確可靠,盡量利用現(xiàn)存數(shù)據(jù)和己有的規(guī)范標(biāo)準(zhǔn)。

2.水電工程移民安置項(xiàng)目成功度評(píng)價(jià)指標(biāo)體系。根據(jù)以上原則,結(jié)合大量相關(guān)項(xiàng)目后評(píng)價(jià)報(bào)告資料,本文構(gòu)建了水電工程移民安置項(xiàng)目成功度評(píng)價(jià)指標(biāo)體系(見(jiàn)上表)。

三、模糊神經(jīng)網(wǎng)絡(luò)成功度評(píng)價(jià)模型構(gòu)建方法

1.構(gòu)建評(píng)價(jià)指標(biāo)相對(duì)隸屬度矩陣。步驟:

(1)構(gòu)建n個(gè)級(jí)別,m個(gè)評(píng)價(jià)因子的成功度后評(píng)價(jià)標(biāo)準(zhǔn)值矩陣X:,式中,是第i項(xiàng)評(píng)價(jià)因子所對(duì)應(yīng)的第j級(jí)評(píng)價(jià)標(biāo)準(zhǔn)值

(2)假設(shè)已計(jì)算得到該項(xiàng)目成功度的成功度值,構(gòu)成檢測(cè)樣本值矩陣Y:,式中,表示第i項(xiàng)成功度指標(biāo)的值。

(3)運(yùn)用模糊數(shù)學(xué)中的相對(duì)隸屬度來(lái)描述項(xiàng)目的成功度指標(biāo)的值,規(guī)定第i項(xiàng)成功度指標(biāo)的第1級(jí)別的標(biāo)準(zhǔn)值對(duì)于模糊集“成功”的相對(duì)隸屬度pi1,而第n級(jí)標(biāo)準(zhǔn)值對(duì)應(yīng)的相對(duì)隸屬度pin=1。介于1級(jí)與n級(jí)之間的第i項(xiàng)指標(biāo)的第j級(jí)標(biāo)準(zhǔn)值的相對(duì)隸屬度為pij,采用線性?xún)?nèi)插公式進(jìn)行計(jì)算: (1)

(4)應(yīng)用公式(1),構(gòu)造成功度評(píng)價(jià)指標(biāo)標(biāo)準(zhǔn)值相對(duì)隸屬度矩陣R:

(5)把項(xiàng)目的各個(gè)成功度指標(biāo)值轉(zhuǎn)化為評(píng)價(jià)等級(jí)集合的相對(duì)隸屬度,計(jì)算方法見(jiàn)下式:(2)

(6)應(yīng)用公式(2),構(gòu)造實(shí)際項(xiàng)目檢測(cè)樣本指標(biāo)相對(duì)隸屬度矩陣T:

2.構(gòu)建BP神經(jīng)網(wǎng)絡(luò)模型。BP神經(jīng)網(wǎng)絡(luò)屬于正向前饋神經(jīng)網(wǎng)絡(luò),具有很強(qiáng)的自學(xué)習(xí)和自組織能力,對(duì)輸入的數(shù)據(jù)和規(guī)則計(jì)算有很強(qiáng)的容錯(cuò)性和穩(wěn)健性,因此用來(lái)評(píng)價(jià)項(xiàng)目成功度是可行的。下面以三層BP網(wǎng)絡(luò)建立模型,其拓?fù)浣Y(jié)構(gòu)如圖所示。

設(shè)有k個(gè)樣本向量,網(wǎng)絡(luò)輸入層神經(jīng)元個(gè)數(shù)為n,中間層神經(jīng)元個(gè)數(shù)為p,輸出層神經(jīng)元個(gè)數(shù)為m,網(wǎng)絡(luò)輸入向量,輸出向量,期望輸出向量,為輸入層到中間層的連接權(quán),為中間層到輸出層的連接權(quán),為中間層單元的閾值,為輸出層單元的閾值,其中。其計(jì)算步驟如下:

(1)對(duì)樣本向量進(jìn)行歸一化處理,將數(shù)據(jù)處理為(0,1)之間的數(shù)據(jù),給權(quán)值和閾值賦予(-1,1)之間的隨機(jī)初值,選取一組輸入和目標(biāo)樣本提供給網(wǎng)絡(luò)。

(2)計(jì)算隱含層和輸出層各單元的輸入和相應(yīng)輸出。 (3)

(3)根據(jù)網(wǎng)絡(luò)輸出計(jì)算輸出層誤差和隱含層誤差。(4)

(4)利用誤差調(diào)整值對(duì)各層權(quán)值和閾值進(jìn)行調(diào)整。(5)

(5)選取下一個(gè)學(xué)習(xí)樣本向量提供給網(wǎng)絡(luò),返回步驟2,直到全局誤差E小于預(yù)先設(shè)定值,則學(xué)習(xí)結(jié)束。

3.移民安置后評(píng)價(jià)模糊神經(jīng)網(wǎng)絡(luò)模型的實(shí)現(xiàn)

(1)模糊神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)過(guò)程。據(jù)構(gòu)造出的成功度評(píng)價(jià)指標(biāo)標(biāo)準(zhǔn)值相對(duì)隸屬度矩陣R,和實(shí)際項(xiàng)目檢測(cè)樣本指標(biāo)相對(duì)隸屬度矩陣T,對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。為了提高訓(xùn)練精度,需要對(duì)R進(jìn)行有限次內(nèi)插,要求內(nèi)插樣本k的指標(biāo)i對(duì)評(píng)價(jià)級(jí)別j的相對(duì)隸屬度均為,則內(nèi)插樣本k的隸屬于評(píng)價(jià)級(jí)別j的隸屬度為,并且其滿(mǎn)足。定義內(nèi)插樣本k對(duì)應(yīng)的標(biāo)準(zhǔn)級(jí)別值為,則有:(6)(7)

式中,i=1,2,…,n;j=1,2,…,m;q=1,2,…,c-1;c值可根據(jù)插值樣本個(gè)數(shù)進(jìn)行調(diào)整。并且從中選取部分樣本連同評(píng)價(jià)標(biāo)準(zhǔn)樣本作為學(xué)習(xí)樣本,對(duì)應(yīng)的級(jí)別值作為輸出樣本,余下的作為網(wǎng)絡(luò)的檢驗(yàn)樣本。

(2)項(xiàng)目成功度后評(píng)價(jià)步驟。水電工程移民安置項(xiàng)目可以根據(jù)上述方法確定學(xué)習(xí)樣本和目標(biāo)輸出,調(diào)整隱含層和輸入層個(gè)數(shù),構(gòu)建BP神經(jīng)網(wǎng)絡(luò)。具體步驟:①根據(jù)上表中水電工程移民安置項(xiàng)目成功度評(píng)價(jià)指標(biāo)體系, 構(gòu)建神經(jīng)網(wǎng)絡(luò)的輸入層。②將各指標(biāo)的評(píng)價(jià)值進(jìn)行模糊處理后, 作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本集。③啟動(dòng)神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí), 經(jīng)反復(fù)迭代直到收斂到相應(yīng)的精度條件, 儲(chǔ)存學(xué)習(xí)好的神經(jīng)網(wǎng)絡(luò)綜合評(píng)價(jià)模型。④將標(biāo)準(zhǔn)化的評(píng)價(jià)矩陣輸入設(shè)計(jì)好的模型, 即可得出評(píng)價(jià)、評(píng)價(jià)結(jié)果。

四、結(jié)論

本文運(yùn)用模糊神經(jīng)網(wǎng)絡(luò)對(duì)水電工程移民項(xiàng)目進(jìn)行成功度后評(píng)價(jià), 弱化了評(píng)價(jià)過(guò)程中的隨機(jī)性和評(píng)價(jià)人員確定指標(biāo)權(quán)重的主觀性,保證了評(píng)價(jià)結(jié)果的客觀性和科學(xué)性,具有很強(qiáng)的實(shí)際意義。由于本文主要從后評(píng)價(jià)的方法層面進(jìn)行研究,所以需要進(jìn)一步開(kāi)展實(shí)證研究,來(lái)驗(yàn)證該方法的科學(xué)性和實(shí)用性。

參考文獻(xiàn):

[1]劉向富:BP神經(jīng)網(wǎng)絡(luò)在水電工程移民安置后評(píng)價(jià)中的應(yīng)用[J].水利技術(shù)監(jiān)督,2008,03:34～35

[2]張君偉:水利水電工程移民安置項(xiàng)目后評(píng)價(jià)研究[D]. 南京,河海大學(xué),2006

篇7

國(guó)內(nèi)外已不少學(xué)者通過(guò)構(gòu)建不同模型對(duì)經(jīng)濟(jì)周期進(jìn)行監(jiān)測(cè)預(yù)警，人工神經(jīng)網(wǎng)絡(luò)是方法之一。神經(jīng)網(wǎng)絡(luò)實(shí)質(zhì)是一個(gè)大規(guī)模的連續(xù)的非線性時(shí)間動(dòng)力系統(tǒng)，它具有并行分布處理、連續(xù)時(shí)間非線性動(dòng)力學(xué)、網(wǎng)絡(luò)全局作用及學(xué)習(xí)聯(lián)想能力和高度的魯棒性等特點(diǎn)。[1]與此同時(shí)，它也具有不可預(yù)測(cè)性、自適應(yīng)性、耗散性和吸引性等非線性動(dòng)力系統(tǒng)的所共有的特性。[2]對(duì)于宏觀經(jīng)濟(jì)這樣一個(gè)復(fù)雜的“黑箱”運(yùn)作系統(tǒng)，人工神經(jīng)網(wǎng)絡(luò)體現(xiàn)出其優(yōu)良性。

再者，崔勝鉉和瓦里安（2011）認(rèn)為利用大數(shù)據(jù)信息可以為實(shí)時(shí)預(yù)測(cè)提供服務(wù)。[3]比如，提前捕獲GDP這樣的經(jīng)濟(jì)數(shù)據(jù)。人們可以依靠網(wǎng)絡(luò)技術(shù)和實(shí)時(shí)信息的可采集性，比如，在2016年12月31日得到我國(guó)本月GDP的數(shù)值。本文將通過(guò)構(gòu)建以經(jīng)濟(jì)理論為支撐的宏觀經(jīng)濟(jì)的指標(biāo)體系，然后采用徑向基神經(jīng)網(wǎng)絡(luò)進(jìn)行宏觀經(jīng)濟(jì)預(yù)測(cè)分析。

二、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)介紹

（一）徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)

徑向基函數(shù)網(wǎng)絡(luò)（Radial Basis Function，RBF）由三層構(gòu)成：輸入層、隱藏層和輸入層。輸入向量首先與權(quán)值向量相乘，輸入到隱藏層的節(jié)點(diǎn)；再計(jì)算樣本點(diǎn)與節(jié)點(diǎn)中心的距離，該距離通過(guò)徑向基函數(shù)的轉(zhuǎn)換形成隱藏層的輸出；最后通過(guò)輸出層的線性表達(dá)形成網(wǎng)絡(luò)的最終輸出。

在這個(gè)過(guò)程中，重點(diǎn)之一是如何確定隱藏層節(jié)點(diǎn)的中心和其標(biāo)準(zhǔn)差σ，以及隱藏層與輸出層之間的權(quán)值矩陣。[4]其中節(jié)點(diǎn)中心可用聚類(lèi)的方法確定，或直接從樣本中選擇；而標(biāo)準(zhǔn)差則可通過(guò)經(jīng)驗(yàn)公式

其中dmax表示所選中心之間的最大距離，n為隱藏層節(jié)點(diǎn)個(gè)數(shù)。根據(jù)徑向基函數(shù)中心確定的方法不同，RBF神經(jīng)網(wǎng)絡(luò)有不同的學(xué)習(xí)策略。本文將使用有監(jiān)督選取中心的方法?！氨O(jiān)督”即神經(jīng)網(wǎng)絡(luò)的權(quán)值通過(guò)輸出數(shù)據(jù)來(lái)調(diào)整，整個(gè)過(guò)程采用誤差修正來(lái)學(xué)習(xí)，其代價(jià)函數(shù)如下定義：

設(shè)E為一個(gè)輸出節(jié)點(diǎn)的誤差，N為訓(xùn)練樣本的個(gè)數(shù)，ej為輸入第j個(gè)訓(xùn)練樣本所得結(jié)果與期望結(jié)果之間的誤差：

其中，I表示隱含節(jié)點(diǎn)的個(gè)數(shù)[6]。學(xué)習(xí)時(shí)，正是通過(guò)尋找合適的自由參數(shù)使代價(jià)函數(shù)最小。

由于RBF網(wǎng)絡(luò)能夠逼近任意的非線性函數(shù)，可以處理系統(tǒng)內(nèi)的難以解析的規(guī)律性，并且具有很快的學(xué)習(xí)收斂速度，因此RBF網(wǎng)絡(luò)具有較為廣泛的應(yīng)用。[5]

三、基于徑向基神經(jīng)網(wǎng)絡(luò)宏觀經(jīng)濟(jì)預(yù)測(cè)的實(shí)現(xiàn)

宏觀經(jīng)濟(jì)預(yù)測(cè)的影響因素眾多，且各因素之間關(guān)系復(fù)雜，是具有高度不確定的非線性系統(tǒng)，故而先構(gòu)建影響宏觀經(jīng)濟(jì)的指標(biāo)體系，再采用徑向基神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)宏觀經(jīng)濟(jì)預(yù)測(cè)，以陜西省1996年～2015年的數(shù)據(jù)作為實(shí)證樣本。

（一）宏觀經(jīng)濟(jì)預(yù)警指標(biāo)體系的構(gòu)建

以陜西省省內(nèi)內(nèi)生產(chǎn)總值（億元）表示陜西省的經(jīng)濟(jì)水平。以經(jīng)濟(jì)學(xué)理論為基礎(chǔ)，劃分出四類(lèi)一級(jí)指標(biāo)：消費(fèi)、投資、政府支出及凈出口；[6]但人力資本在地方經(jīng)濟(jì)發(fā)展中起著越來(lái)越重要的作用，所以增加技術(shù)、教育投資和文化公共事業(yè)這三項(xiàng)一級(jí)指標(biāo)。兼顧指標(biāo)數(shù)據(jù)的可獲得性，選取以下指標(biāo)來(lái)衡量陜西省的經(jīng)濟(jì)發(fā)展：

所有數(shù)據(jù)均來(lái)源于中國(guó)統(tǒng)計(jì)局，原始數(shù)據(jù)見(jiàn)附表1。

（二）徑向基神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的實(shí)現(xiàn)

基于徑向基神經(jīng)網(wǎng)絡(luò)進(jìn)行陜西省宏觀經(jīng)濟(jì)預(yù)測(cè)的實(shí)現(xiàn)依照以下步驟實(shí)現(xiàn)：

1.數(shù)據(jù)的預(yù)處理。利用RStudio處理初始數(shù)據(jù)，調(diào)用matrixplot查看是否存在缺失數(shù)據(jù)，結(jié)果顯示共有7個(gè)缺失數(shù)據(jù)。補(bǔ)充方法如下：對(duì)于教育經(jīng)費(fèi)（EF）的第一處缺失、圖書(shū)（TB）、期刊（TJ）和報(bào)紙（TN）的缺失采用均值插樣做補(bǔ)充；教育經(jīng)費(fèi)（EF）的第二處缺失參考新聞“教育經(jīng)費(fèi)不少于地區(qū)總產(chǎn)值的4%”[5]，加之2014年、2013年的教育經(jīng)費(fèi)投入都大于陜西總產(chǎn)值的5%，那么一定程度上用2015年地區(qū)總產(chǎn)值的5%作為本地的教育費(fèi)投入。博物館數(shù)量（NM）的兩處均以1998年的67個(gè)類(lèi)推。

接著定義樣本并劃分訓(xùn)練樣本和測(cè)試樣本。其中1996～2000年的數(shù)據(jù)為訓(xùn)練樣本，2001～2005年的數(shù)據(jù)為測(cè)試樣本。

2.訓(xùn)練樣本。為了充分利用樣本，對(duì)15份訓(xùn)練樣本進(jìn)行插值得到100份樣本。具體操作為先將訓(xùn)練樣本和對(duì)應(yīng)的目標(biāo)輸出合并為16×100矩陣，采用Matlab2013（a）中的二維插值函數(shù)interp2插值后，再將該矩陣拆分為樣本和對(duì)應(yīng)目標(biāo)輸出。

3.創(chuàng)建徑向基神經(jīng)網(wǎng)絡(luò)。使用newrb函數(shù)創(chuàng)建徑向基神經(jīng)網(wǎng)絡(luò)，其中設(shè)定設(shè)誤差容限為，擴(kuò)散因子為22，最大神經(jīng)元個(gè)數(shù)為101。調(diào)用函數(shù)后，得到的誤差下降曲線圖如下：

考慮到不同指標(biāo)的數(shù)據(jù)量級(jí)不同，對(duì)數(shù)據(jù)做歸一化后得到的神經(jīng)網(wǎng)絡(luò)如圖3：

相比初次得到的RBF網(wǎng)絡(luò)結(jié)構(gòu)圖（圖4），數(shù)據(jù)歸一化后誤差下降速率更穩(wěn)定：

4.測(cè)試顯示測(cè)試結(jié)果。

相對(duì)誤差結(jié)果總結(jié)如下：

四、總結(jié)

從實(shí)證過(guò)程可以歸納出以下三點(diǎn)：第一，指標(biāo)有效，合適的數(shù)據(jù)預(yù)處理可以保證算法的收斂速；第二，預(yù)測(cè)結(jié)果的平均相對(duì)誤差僅有0.071629，因此有理由認(rèn)為，徑向基神經(jīng)網(wǎng)絡(luò)可以準(zhǔn)確預(yù)測(cè)宏觀經(jīng)濟(jì)的走勢(shì)；第三，預(yù)測(cè)值隨著時(shí)間的推后，預(yù)測(cè)偏差逐漸擴(kuò)大，這說(shuō)明該方法和其他預(yù)測(cè)方法有著同樣的確定，即只適合短時(shí)期內(nèi)的預(yù)測(cè)，預(yù)測(cè)誤差會(huì)隨著預(yù)測(cè)期的延長(zhǎng)而變大。

參考文獻(xiàn)

[1]李?lèi)?ài)軍.前饋神經(jīng)網(wǎng)絡(luò)工作機(jī)理分析與學(xué)習(xí)算法[D].北京交通大學(xué)，2005.

[2]趙貴玉.多層前向網(wǎng)絡(luò)泛化能力研究與應(yīng)用[D].中國(guó)人民信息工程大學(xué)，2005.

[3]Hyunyoung Choi，Hal Varian，“Using Search Engine Data for Nowcasting -An Illustration”，In Actes des Rencontrees Economiques；Aix-en-Provence，F(xiàn)RANCE，Recontres Economiques d'Aix-en- Provence，LeCercle des economists，http：//Lecercledesecono- mistes.asso.fr/IMG/pdf /Actes_ Rencontres_Economiques_d_Aix-en- Provence_2011.Pdf，2011.L.Wu，E.Brynjolfsson，“The Future of Prediction：How Google Searches Foreshadow Housing Prices and Quantities”，Thirtieth International Conference on Information System，Phoenix 2009，pp.1-14.

[4]陳明等.MATLAB神經(jīng)網(wǎng)絡(luò)原理與實(shí)例精解[M].清華大學(xué)出版社，2013，3.

[5]韓力群編著.人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)及應(yīng)用[M].化學(xué)工業(yè)出版社，2007，7.

篇8

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò) BP算法改進(jìn) 脫機(jī)手寫(xiě)漢字識(shí)別 誤差函數(shù)

中圖分類(lèi)號(hào)：TP183 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2014）01（b）-0047-01

漢字識(shí)別有兩種，一種是印刷體漢字，因比較規(guī)范，容易識(shí)別；第二種是手寫(xiě)漢字，分聯(lián)機(jī)手寫(xiě)和脫機(jī)手寫(xiě)兩類(lèi)，前者準(zhǔn)確率較高，后者則偏低，是當(dāng)前的研究重點(diǎn)。作為模式識(shí)別的重要組成部分，漢字識(shí)別技術(shù)應(yīng)用廣泛，但由于涉及圖像處理、人工智能、計(jì)算機(jī)、數(shù)字信號(hào)處理等多種技術(shù)，加上漢字的復(fù)雜繁多，使得漢字識(shí)別存在著很大困難，如尤其是相似字，使得識(shí)別更為困難，如“裸”和“”、“壺”和“”、“禪”和“”等，極易出現(xiàn)錯(cuò)誤。

1 神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)

1.1 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)科研成果的基礎(chǔ)上提出并發(fā)展起來(lái)的，通過(guò)對(duì)生物大腦神經(jīng)的模擬建立的一種信息處理系統(tǒng)，由許多簡(jiǎn)單元件連接構(gòu)成，具有非線性和容錯(cuò)性，從能力特征來(lái)講，具有自適應(yīng)和自組織性。其優(yōu)勢(shì)主要體現(xiàn)在：能夠模仿人腦進(jìn)行聯(lián)想記憶；對(duì)存儲(chǔ)的信息進(jìn)行分類(lèi)識(shí)別；能夠自動(dòng)總結(jié)歸納經(jīng)驗(yàn)。在長(zhǎng)期的實(shí)踐發(fā)展中，神經(jīng)網(wǎng)絡(luò)技術(shù)不斷完善，在語(yǔ)音處理、機(jī)器人研究、模式識(shí)別等諸多領(lǐng)域都有廣泛應(yīng)用。

1.2 BP神經(jīng)網(wǎng)絡(luò)

用于文字識(shí)別的神經(jīng)網(wǎng)絡(luò)模型有很多，BP神經(jīng)網(wǎng)絡(luò)是其中較為常用的一種，該網(wǎng)絡(luò)模型是以BP算法（即反向傳播算法）為基礎(chǔ)的，除了函數(shù)逼近功能，還具有良好的機(jī)器學(xué)習(xí)能力。

BP神經(jīng)網(wǎng)絡(luò)屬于多層前向網(wǎng)絡(luò)，能夠進(jìn)行反向傳遞、修正誤差，通過(guò)結(jié)構(gòu)和權(quán)值將頗為復(fù)雜的非線性映射關(guān)系表達(dá)出來(lái)。多由輸入層、輸出層以及隱含層組成，每層都有若干神經(jīng)元，前向網(wǎng)絡(luò)是指其計(jì)算過(guò)程呈單向型，即由輸入層到中間層，再到輸出層。

BP算法有兩個(gè)階段，一是正向傳播，二是反向傳播，在第一個(gè)階段，將信號(hào)輸進(jìn)系統(tǒng)的輸入層，由其內(nèi)部神經(jīng)元進(jìn)行處理，主要是加權(quán)求和、激勵(lì)函數(shù)等，而后傳遞到中間層（即隱含層），在經(jīng)過(guò)內(nèi)部逐層處理，傳到輸出層，將實(shí)際的輸出值和預(yù)期值相比，若超過(guò)了規(guī)定的誤差范圍，就開(kāi)始反向傳播，把誤差值從輸出層輸入，向中間層和輸入層傳遞，求得每層內(nèi)各單元的誤差，將相應(yīng)的權(quán)值進(jìn)行修改，經(jīng)不斷的調(diào)整，直至誤差值符合要求。

2 BP網(wǎng)絡(luò)神經(jīng)在小字符集漢字識(shí)別中的實(shí)際應(yīng)用

2.1 缺陷

（1）站在數(shù)學(xué)的角度看，BP網(wǎng)絡(luò)神經(jīng)所使用的梯度下降法屬于非線性?xún)?yōu)化算法的一種，以至于局部極小值大的問(wèn)題很難得到解決，在實(shí)際計(jì)算中，BP算法能夠?qū)⒕W(wǎng)絡(luò)權(quán)值進(jìn)行收斂，但收斂值為局部極小解的可能性較大，是否是全局的最小解則沒(méi)有可靠的保證。若解決的問(wèn)題比較復(fù)雜，很容易致使誤差函數(shù)陷入局部的極小區(qū)域。

（3）中間層的結(jié)點(diǎn)

在確定訓(xùn)練集之后，輸入層和輸出層的結(jié)點(diǎn)數(shù)目也相應(yīng)的確定下來(lái)，然而中間層及選取層內(nèi)結(jié)點(diǎn)時(shí)，缺乏足夠的理論作指導(dǎo)，中間層的結(jié)點(diǎn)數(shù)直接影響著網(wǎng)絡(luò)的學(xué)習(xí)效率和復(fù)雜程度，因此，在選取中間層變得結(jié)點(diǎn)時(shí)，也應(yīng)做一定的改進(jìn)，積極建立相關(guān)的指導(dǎo)理論。

3 結(jié)語(yǔ)

針對(duì)脫機(jī)手寫(xiě)漢字識(shí)別技術(shù)存在的難度，可運(yùn)用BP神經(jīng)網(wǎng)絡(luò)技術(shù)，而實(shí)際應(yīng)用中，收斂速度過(guò)慢以及局部最小點(diǎn)問(wèn)題對(duì)BP神經(jīng)網(wǎng)絡(luò)技術(shù)影響較大，為此，需從初始權(quán)值的選取、激勵(lì)函數(shù)、誤差函數(shù)等方面對(duì)其算法加以改進(jìn)，以達(dá)到提升脫機(jī)手寫(xiě)漢字識(shí)別速度和精確度的目的。

參考文獻(xiàn)

篇9

關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò)；信息處理；風(fēng)險(xiǎn)評(píng)估

中圖分類(lèi)號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2014）06-1285-02

Research on the Application of Artificial Neural Network

LI Hong-chao

（China University of Petroleum （East China）， Qingdao 266580，China）

Abstract： Artificial neural networks are part of an integrated artificial intelligence， it is proposed is based on research of modern neuroscience. With the continuous development of artificial neural networks， and their use more widely. This article first analyzes the basic concepts and features of artificial neural networks， from six aspects of information， medicine， psychology and other details of the application of artificial neural networks.

Key words： artificial neural network； information processing； risk assessment

1 人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)，英文名為“Artificial Neural Network”，簡(jiǎn)稱(chēng)ANN，它充分分析大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)特點(diǎn)，對(duì)其進(jìn)行模擬，然后進(jìn)行信息處理。簡(jiǎn)單來(lái)說(shuō)，人工神經(jīng)網(wǎng)絡(luò)就是對(duì)人腦結(jié)構(gòu)、人腦功能的模仿。它的特點(diǎn)有很多，比如非線性、非局限性、非常定性、非凸性等。這些特點(diǎn)鑄就了人工神經(jīng)網(wǎng)絡(luò)的各種功能，促進(jìn)了它的應(yīng)用。

2 人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用

隨著人們對(duì)人工神經(jīng)網(wǎng)絡(luò)的不斷研究，人工神經(jīng)網(wǎng)絡(luò)的作用越來(lái)越大，給人們提供了更好的服務(wù)，下面就以人工神經(jīng)網(wǎng)絡(luò)在信息領(lǐng)域、醫(yī)學(xué)、經(jīng)濟(jì)領(lǐng)域、控制領(lǐng)域、交通運(yùn)輸、心理學(xué)六個(gè)方面分別介紹其應(yīng)用。

2.1 信息領(lǐng)域

人工神經(jīng)網(wǎng)絡(luò)在信息領(lǐng)域的應(yīng)用分為兩個(gè)方面，一個(gè)是信息處理，一個(gè)是信息識(shí)別。

1）信息處理

由于現(xiàn)代信息的多樣化和多變性的特點(diǎn)，信息處理就變得復(fù)雜起來(lái)，人工神經(jīng)網(wǎng)絡(luò)可以對(duì)人的一部分思維能力進(jìn)行模仿甚至代替，解決傳統(tǒng)信息處理的困難。在通常情況下，人工神經(jīng)網(wǎng)絡(luò)可以自動(dòng)診斷問(wèn)題，開(kāi)啟問(wèn)題求解模式。另外，人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的容錯(cuò)性能高，當(dāng)其連接線遭到破壞，自身的組織功能還是可以保持它的優(yōu)化工作狀態(tài)。因此，軍事系統(tǒng)充分利用這一優(yōu)勢(shì)，在其電子設(shè)備廣泛應(yīng)用人工網(wǎng)絡(luò)信息系統(tǒng)。

2）模式識(shí)別

這項(xiàng)功能的理論基礎(chǔ)有兩個(gè)，一個(gè)是貝葉斯的概率論，另一個(gè)是申農(nóng)提出的信息論。模式識(shí)別主要是分析和處理存在于目標(biāo)體上的各種形式的信息，然后在處理和分析的基礎(chǔ)上對(duì)目標(biāo)體進(jìn)行描述、辨認(rèn)等過(guò)程。隨著人工神經(jīng)網(wǎng)絡(luò)在模式識(shí)別中的應(yīng)用，傳統(tǒng)的模式識(shí)別逐漸被取代。隨著模式識(shí)別的發(fā)展，已經(jīng)逐漸應(yīng)用到語(yǔ)音識(shí)別、人臉識(shí)別、文字識(shí)別等各個(gè)方面。

2.2 醫(yī)學(xué)領(lǐng)域

人體是非常復(fù)雜的，在醫(yī)學(xué)中，想要弄清楚疾病的類(lèi)型、疾病的嚴(yán)重情況等，僅僅依靠傳統(tǒng)的望聞問(wèn)切診斷方法是遠(yuǎn)遠(yuǎn)不夠的，醫(yī)學(xué)的發(fā)展需要運(yùn)用新技術(shù)。人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于醫(yī)學(xué)中，可以分析生物信號(hào)，觀察信息的表現(xiàn)形式以及研究信息的變化規(guī)律，將這三者的結(jié)果進(jìn)行分析和比較，從而掌握病人的病情。

1）生物信號(hào)的檢測(cè)與分析

在醫(yī)學(xué)診斷中，醫(yī)生基本上都是通過(guò)對(duì)醫(yī)學(xué)設(shè)備中呈現(xiàn)出來(lái)的連續(xù)波形進(jìn)行分析。人工神經(jīng)網(wǎng)絡(luò)中有一套自適應(yīng)的動(dòng)力學(xué)系統(tǒng)，該系統(tǒng)由一些數(shù)量龐大的簡(jiǎn)單處理單元互相連接。因此，它具有多種功能，比如Massively Parallelism，即所謂的巨量并行，分布式存貯功能以及強(qiáng)大的自組織自學(xué)習(xí)功能等。用常規(guī)處理法處理生物醫(yī)學(xué)信號(hào)分析非常困難，而人工神經(jīng)網(wǎng)絡(luò)的功能可以有效解決難題，其在生物醫(yī)學(xué)人腦檢測(cè)與處理中的應(yīng)用非常廣泛，比如分析電腦信號(hào)，對(duì)心電信號(hào)進(jìn)行壓縮處理，醫(yī)學(xué)圖像的識(shí)別等，在很大程度上促進(jìn)了醫(yī)學(xué)的發(fā)展。

2）醫(yī)學(xué)專(zhuān)家系統(tǒng)

對(duì)于傳統(tǒng)的專(zhuān)家系統(tǒng)而言，其工作原理基本上就是先由專(zhuān)家根據(jù)自己多年的醫(yī)學(xué)經(jīng)歷，總結(jié)自己的經(jīng)驗(yàn)和所掌握的知識(shí)，以某種規(guī)則的形式將這些經(jīng)驗(yàn)和知識(shí)存儲(chǔ)在電腦中，建立一個(gè)專(zhuān)家的知識(shí)庫(kù)，然后借助邏輯推理等方式開(kāi)展醫(yī)療診斷工作。但是，隨著專(zhuān)家知識(shí)的不斷增長(zhǎng)和經(jīng)驗(yàn)的日益豐富化，數(shù)據(jù)庫(kù)的規(guī)模會(huì)越來(lái)越大，極有可能產(chǎn)生知識(shí)“爆炸”的現(xiàn)象。同時(shí)，專(zhuān)家在獲取知識(shí)的過(guò)程中也會(huì)遇到困難，導(dǎo)致工作效率低下。人工神經(jīng)網(wǎng)絡(luò)中的非線性并行處理方式解決了傳統(tǒng)專(zhuān)家系統(tǒng)中的困難，在知識(shí)推理、自組織等方面都有了很大的提高，醫(yī)學(xué)專(zhuān)家系統(tǒng)也開(kāi)始逐漸采用人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)。

在醫(yī)學(xué)領(lǐng)域中，麻醉和危重醫(yī)學(xué)的研究過(guò)程中，存在很多的生理方面的分析與檢測(cè)工作，人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)有良好的信號(hào)處理能力，排除干擾信號(hào)，準(zhǔn)確檢測(cè)臨床狀況的相關(guān)情況，有力促進(jìn)了醫(yī)學(xué)的發(fā)展。

2.3 經(jīng)濟(jì)領(lǐng)域

經(jīng)濟(jì)的快速有效增長(zhǎng)是基于人們對(duì)市場(chǎng)規(guī)律良好的掌握和運(yùn)用以及對(duì)經(jīng)濟(jì)活動(dòng)中的風(fēng)險(xiǎn)評(píng)估，及時(shí)應(yīng)對(duì)和解決，這樣才能保障經(jīng)濟(jì)活動(dòng)的快速發(fā)展。人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于經(jīng)濟(jì)領(lǐng)域，主要有預(yù)測(cè)市場(chǎng)價(jià)格和評(píng)估經(jīng)濟(jì)風(fēng)險(xiǎn)兩個(gè)方面。

1）預(yù)測(cè)市場(chǎng)價(jià)格的波動(dòng)情況

商品的價(jià)格主要是由市場(chǎng)的供求關(guān)系和國(guó)家宏觀調(diào)控來(lái)變化的。國(guó)家的宏觀調(diào)控是客觀存在的，我們可以在遵循國(guó)家宏觀調(diào)控的前提之下分析市場(chǎng)的供求關(guān)系，從而預(yù)測(cè)商品的市場(chǎng)價(jià)格。在傳統(tǒng)的統(tǒng)計(jì)學(xué)方法中，在預(yù)測(cè)價(jià)格波動(dòng)時(shí)因其自身的局限性，難以做出科學(xué)的判斷。人工神經(jīng)網(wǎng)絡(luò)可以有效處理不完整數(shù)據(jù)和規(guī)律性不強(qiáng)的數(shù)據(jù)，它是傳統(tǒng)統(tǒng)計(jì)方法所不能達(dá)到的。人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)基于市場(chǎng)價(jià)格的確定機(jī)制，綜合分析影響商品價(jià)格的因素，比如城市化水平、人均工資水平、貸款情況等，將這些復(fù)雜的因素綜合起來(lái)，建立一個(gè)模型，通過(guò)模型中的數(shù)據(jù)顯示，科學(xué)預(yù)測(cè)商品的市場(chǎng)價(jià)格波動(dòng)情況，有效利用商品的價(jià)格優(yōu)勢(shì)。

2）評(píng)估經(jīng)濟(jì)風(fēng)險(xiǎn)

經(jīng)濟(jì)風(fēng)險(xiǎn)，即Economic Exposure，它指的是由于經(jīng)濟(jì)前景的一些不確定因素，導(dǎo)致經(jīng)濟(jì)實(shí)體出現(xiàn)重大的經(jīng)濟(jì)損失。在處理經(jīng)濟(jì)風(fēng)險(xiǎn)的時(shí)候，做好的措施就是防患于未然，做好評(píng)估和預(yù)測(cè)，將經(jīng)濟(jì)風(fēng)險(xiǎn)扼殺在萌芽時(shí)期。人為的主觀判斷經(jīng)濟(jì)風(fēng)險(xiǎn)具有一定的可靠性，但是也存在很多的不足。將人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)應(yīng)用于評(píng)估經(jīng)濟(jì)風(fēng)險(xiǎn)，可以有效彌補(bǔ)人為判斷風(fēng)險(xiǎn)的不足。人工神經(jīng)網(wǎng)絡(luò)先提取具體風(fēng)險(xiǎn)來(lái)源，然后在此基礎(chǔ)上構(gòu)建出一個(gè)模型，這個(gè)模型一般要符合實(shí)際情況，通過(guò)對(duì)模型的研究，得出風(fēng)險(xiǎn)評(píng)價(jià)系數(shù)，最終確定有效的解決方案。

2.4 控制領(lǐng)域

隨著人工神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，人們開(kāi)始研究其在控制領(lǐng)域的應(yīng)用。比如現(xiàn)在的機(jī)器人的攝像機(jī)控制、飛機(jī)控制等。它主要是通過(guò)控制圖像傳感器，再結(jié)合圖像表面的非線性關(guān)系，進(jìn)行計(jì)算和分析，另外，它還可以將圖像傳感器瞄準(zhǔn)到處于運(yùn)動(dòng)狀態(tài)中的目標(biāo)物上。

2.5 交通運(yùn)輸

交通問(wèn)題具有高度的非線性特點(diǎn)，它的數(shù)據(jù)處理是非常龐大和復(fù)雜的，這與人工神經(jīng)網(wǎng)絡(luò)有很大的吻合性。就目前來(lái)講，人工神經(jīng)網(wǎng)絡(luò)應(yīng)用到交通領(lǐng)域有模擬駕駛員的行為、分析交通的模式等等。

2.6 心理學(xué)

人工神經(jīng)網(wǎng)絡(luò)是對(duì)人腦神經(jīng)元的信息處理能力的模擬，本身就帶有一定的抽象性，它可以訓(xùn)練很多的認(rèn)知過(guò)程，比如感覺(jué)、記憶、情緒等。人們通過(guò)對(duì)人工神經(jīng)系統(tǒng)的不斷研究，多個(gè)角度分析了其認(rèn)知功能。就目前來(lái)看，人工神經(jīng)網(wǎng)絡(luò)可以分析人的認(rèn)知，同時(shí)對(duì)認(rèn)知方面有缺陷的病人進(jìn)行模擬，取得了很大的進(jìn)步。當(dāng)然，人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于心理學(xué)領(lǐng)域也存在很多的問(wèn)題，比如結(jié)果精確度不高、模擬算法的速度不夠等，這些都需要人們持之以恒的研究。突破這些難題，促使人工神經(jīng)網(wǎng)絡(luò)有效應(yīng)用于心理學(xué)領(lǐng)域。

3 結(jié)束語(yǔ)

綜上所述，隨著人工神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，它特有的非線性適應(yīng)能力和自身的模擬結(jié)構(gòu)都有效推動(dòng)了其應(yīng)用范圍。我們應(yīng)該不斷運(yùn)用新技術(shù)，不斷完善人工神經(jīng)網(wǎng)絡(luò)的功能，拓寬其應(yīng)用范圍，促進(jìn)其智能化、功能化方向發(fā)展。

參考文獻(xiàn)：

[1] 毛健，趙紅東，姚婧婧.人工神經(jīng)網(wǎng)絡(luò)的發(fā)展及應(yīng)用[J].電子設(shè)計(jì)工程，2011（12）.

[2] 林和平，張秉正，喬幸娟.回歸分析人工神經(jīng)網(wǎng)絡(luò)[J].吉林大學(xué)學(xué)報(bào)：信息科學(xué)版，2010（3）.

[3] 李雷雷.人工神經(jīng)網(wǎng)絡(luò)在建筑工程估算中的應(yīng)用研究[D].華北電力大學(xué)，2012.

篇10

關(guān)鍵詞： BP算法； 入侵檢測(cè)； 神經(jīng)網(wǎng)絡(luò)； 隨機(jī)優(yōu)化算子

中圖分類(lèi)號(hào)： TN915.08?34； TP393.08 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）11?0091?04

Research on BP algorithm based on neural network and its application

in network intrusion detection

LUO Junsong

（College of Information Science and Technology， Chengdu University of Technology， Chengdu 610059， China）

Abstract： By analyzing the problems of BP neural network applied to the detection system， the automatic variable?rate learning method， forgetting factor and random optimization operator are introduced into the BP algorithm on the basis of traditional BP algorithm. The BP algorithm is applied to the network intrusion detection system. The simulation results show that the improved BP neural network algorithm applied to intrusion detection has the characteristics of fast speed and easy convergence， and can quickly obtain the target accuracy of 0.02. The detection rate， missed detection rate and false alarm rate of the improved BP neural network algorithm can reach up to 96.17%， 3.83% and 4.15% respectively， whose detection rate is 11.65% higher than that of the traditional BP algorithm， the missed detection rate is 10.66% lower than that of the traditional BP algorithm， and the false alarm rate is 4.07% lower than that of the traditional BP algorithm. The superiority of the algorithm is obvious.

Keywords： BP algorithm； intrusion detection； neural network； random optimization operator

0 引 言

隨著通信技術(shù)和計(jì)算機(jī)技術(shù)的快速發(fā)展，計(jì)算機(jī)的網(wǎng)絡(luò)規(guī)模越來(lái)越大，通信系統(tǒng)也越來(lái)越復(fù)雜，由于計(jì)算機(jī)網(wǎng)絡(luò)本身具有漏洞，同時(shí)還有黑客對(duì)網(wǎng)絡(luò)進(jìn)行攻擊，因此計(jì)算機(jī)網(wǎng)絡(luò)受到的威脅和攻擊日益增加[1?3]。網(wǎng)絡(luò)安全形勢(shì)越來(lái)越嚴(yán)峻。通過(guò)入侵檢測(cè)技術(shù)可收集計(jì)算機(jī)網(wǎng)絡(luò)中的若干關(guān)鍵點(diǎn)信息，同時(shí)對(duì)這些信息進(jìn)行分析，并對(duì)網(wǎng)絡(luò)是否遭到襲擊、是否存在違反安全策略行為進(jìn)行檢查，并做出及時(shí)響應(yīng)，對(duì)網(wǎng)絡(luò)連接進(jìn)行切斷并報(bào)警等[4?6]。目前傾向于通過(guò)入侵檢測(cè)技術(shù)結(jié)合人工智能算法進(jìn)行相關(guān)研究，對(duì)于各種入侵行為，采用人工智能算法通過(guò)自學(xué)習(xí)、自適應(yīng)能力進(jìn)行識(shí)別、檢測(cè)[7]。

作為一種重要的模式識(shí)別方法，人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、自組織、推廣能力強(qiáng)等特點(diǎn)[8]。在入侵檢測(cè)系統(tǒng)中，應(yīng)用人工神經(jīng)網(wǎng)絡(luò)方法可使系統(tǒng)能較好地識(shí)別已知攻擊，同時(shí)還具有對(duì)未知攻擊進(jìn)行檢測(cè)的能力[9]。但是在異常入侵檢測(cè)系統(tǒng)中，應(yīng)用標(biāo)準(zhǔn)BP算法存在收斂局部極小值、學(xué)習(xí)速度慢等缺點(diǎn)，這在很大程度上影響了入侵檢測(cè)系統(tǒng)的性能[10]。本文在對(duì)原有BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行改進(jìn)的基礎(chǔ)上，研究了優(yōu)化的神經(jīng)網(wǎng)絡(luò)BP算法及其在網(wǎng)絡(luò)入侵檢測(cè)中的應(yīng)用。

1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，包括輸入信號(hào)前向傳遞和誤差反向傳播兩個(gè)過(guò)程，在結(jié)構(gòu)上一般由輸入層、隱含層、輸出層三層構(gòu)成，每一層的神經(jīng)元狀態(tài)只影響下一層神經(jīng)元狀態(tài)。它被廣泛應(yīng)用在BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型中。網(wǎng)絡(luò)結(jié)構(gòu)一般只需單個(gè)隱含層就能以任意精度逼近任意有理函數(shù)。訓(xùn)練樣本的輸入、輸出向量的維數(shù)分別決定了網(wǎng)絡(luò)的輸入、輸出層神經(jīng)節(jié)點(diǎn)個(gè)數(shù)，典型的只有單個(gè)隱含層、單個(gè)輸出的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

圖1中，為BP神經(jīng)網(wǎng)絡(luò)的一組輸入向量；為網(wǎng)絡(luò)的目標(biāo)輸出值；為輸入層與隱含層之間的連接權(quán)值；為隱含層c輸出層之間的連接權(quán)值；分別為隱含層和輸出層的節(jié)點(diǎn)閾值。若設(shè)隱含層節(jié)點(diǎn)個(gè)數(shù)為則在前向傳遞中，輸入信號(hào)向量從輸入層經(jīng)隱含層逐層傳輸，最后到輸出層，通過(guò)各層連接權(quán)值矢量、閾值矢量和每一層相應(yīng)的激勵(lì)函數(shù)進(jìn)行計(jì)算。得到輸出層的預(yù)測(cè)輸出值若預(yù)測(cè)值與目標(biāo)值之間有誤差，則誤差部分轉(zhuǎn)入反向逐層傳遞，沿誤差減小方向調(diào)整網(wǎng)絡(luò)各層連接的權(quán)值、閾值。反復(fù)執(zhí)行以上過(guò)程，使得BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)值不斷逼近實(shí)際輸出值。

2 入侵檢測(cè)算法

網(wǎng)絡(luò)入侵檢測(cè)通過(guò)分析系統(tǒng)數(shù)據(jù)，一旦有網(wǎng)絡(luò)攻擊行為、非授權(quán)網(wǎng)絡(luò)訪問(wèn)時(shí)，入侵檢測(cè)系統(tǒng)就會(huì)報(bào)警，同時(shí)對(duì)入侵線路進(jìn)行切斷。入侵檢測(cè)系統(tǒng)應(yīng)具有監(jiān)視系統(tǒng)、用戶(hù)的活動(dòng)，對(duì)系統(tǒng)、用戶(hù)活動(dòng)進(jìn)行分析，對(duì)異常行為模式進(jìn)行分析，對(duì)已知進(jìn)攻模式進(jìn)行識(shí)別，審計(jì)系統(tǒng)弱點(diǎn)、構(gòu)造，跟蹤管理系統(tǒng)審計(jì)，對(duì)系統(tǒng)、數(shù)據(jù)文件完整性進(jìn)行評(píng)估，對(duì)用戶(hù)違反安全策略行為進(jìn)行識(shí)別。常見(jiàn)的攻擊手段目前包括非授權(quán)獲得權(quán)限、非授權(quán)訪問(wèn)、探測(cè)、拒絕服務(wù)等。在實(shí)際中，這些攻擊手段變異很大，入侵檢測(cè)難度較大。BP神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的自學(xué)習(xí)和自組織能力，經(jīng)過(guò)訓(xùn)練后，對(duì)以前觀察到的入侵檢測(cè)行為模式，BP神經(jīng)網(wǎng)絡(luò)會(huì)進(jìn)行歸納和總結(jié)，可識(shí)別出已觀察到的攻擊和已知攻擊變異的新攻擊，圖2為網(wǎng)絡(luò)的入侵檢測(cè)過(guò)程。

3 改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)入侵檢測(cè)

3.1 BP神經(jīng)網(wǎng)絡(luò)用于檢測(cè)系統(tǒng)存在的問(wèn)題

BP神經(jīng)網(wǎng)絡(luò)采用分布式存儲(chǔ)，但傳統(tǒng)的BP算法存在一些不足，包括極小的局部，較慢的學(xué)習(xí)收斂速度，缺乏理論隱含層節(jié)點(diǎn)的選取，已經(jīng)學(xué)完樣本會(huì)受到新加入樣本的影響，每次樣本的輸入必須具有確定相同的特征數(shù)目。

在入侵檢測(cè)中，BP神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)方式主要是與現(xiàn)有系統(tǒng)結(jié)合進(jìn)行，BP神經(jīng)網(wǎng)絡(luò)與應(yīng)用模式識(shí)別系統(tǒng)相結(jié)合使用，例如與專(zhuān)家系統(tǒng)結(jié)合。在這種方式中，BP神經(jīng)網(wǎng)絡(luò)可作為系統(tǒng)組成部分，通常是作為信息過(guò)濾模塊或信息預(yù)處理模塊，當(dāng)信息輸入系統(tǒng)后，神經(jīng)網(wǎng)絡(luò)會(huì)對(duì)信息做過(guò)濾處理。另外，神經(jīng)網(wǎng)絡(luò)可規(guī)則自動(dòng)生成模塊，進(jìn)而更新入侵檢測(cè)系統(tǒng)規(guī)則庫(kù)、模式庫(kù)。這種方式的優(yōu)點(diǎn)是能將入侵檢測(cè)系統(tǒng)的工作性能提高，缺點(diǎn)是這種方式神經(jīng)網(wǎng)絡(luò)的真正優(yōu)勢(shì)不能得到充分發(fā)揮。

3.2 改進(jìn)的神經(jīng)網(wǎng)絡(luò)算法

在信號(hào)檢測(cè)、非線性處理、模式識(shí)別等領(lǐng)域，人工神經(jīng)網(wǎng)絡(luò)應(yīng)用較多，這是因?yàn)槿斯ど窠?jīng)網(wǎng)絡(luò)自組織性、自適應(yīng)性非常好，同時(shí)其非線性特性明顯，信息存儲(chǔ)為分布式模式、可進(jìn)行大規(guī)模的并行處理。實(shí)質(zhì)上BP神經(jīng)網(wǎng)絡(luò)算法屬于非線性?xún)?yōu)化的梯度算法，在收斂性上，該算法存在不足，也就是說(shuō)該算法的學(xué)習(xí)結(jié)果有可能落入到均方誤差全局最小點(diǎn)，也有可能落入到局部極小點(diǎn)，造成算法不收斂，使工作模式陷入錯(cuò)誤。

入侵檢測(cè)系統(tǒng)的主要功能是對(duì)入侵計(jì)算機(jī)網(wǎng)絡(luò)的行為和計(jì)算機(jī)系統(tǒng)進(jìn)行檢測(cè)，包括數(shù)據(jù)聚類(lèi)、數(shù)據(jù)采集、分析判斷行為、對(duì)入侵行為進(jìn)行響應(yīng)、報(bào)警等。BP網(wǎng)絡(luò)各層神經(jīng)元僅連接相鄰層神經(jīng)元；在各層內(nèi)部，神經(jīng)元間無(wú)連接；同時(shí)各層神經(jīng)元間也無(wú)反饋連接。在信號(hào)輸入后，傳播到隱節(jié)點(diǎn)經(jīng)變換函數(shù)再將信息傳播到輸出節(jié)點(diǎn)，經(jīng)過(guò)處理，輸出結(jié)果。本文將改進(jìn)的BP 神經(jīng)網(wǎng)絡(luò)用于入侵檢測(cè)系統(tǒng)，其檢測(cè)模型見(jiàn)圖3。

3.2.1 采用自動(dòng)變速率學(xué)習(xí)法

傳統(tǒng)BP算法在梯度基礎(chǔ)上，采用最陡下降法LMS學(xué)習(xí)問(wèn)題，學(xué)習(xí)步長(zhǎng)為一個(gè)較小值，并且這個(gè)值是固定不變的，對(duì)網(wǎng)絡(luò)收斂無(wú)益處。因而選擇基于梯度方向自動(dòng)對(duì)學(xué)習(xí)速率進(jìn)行調(diào)節(jié)。通過(guò)梯度對(duì)學(xué)習(xí)方向做最終確定，在梯度方向上，學(xué)習(xí)步長(zhǎng)由速率決定。若相鄰兩次梯度方向是相同的，表明該方向的收斂有利；若相鄰兩次梯度方向是相反的，表明該方向的收斂不穩(wěn)定。根據(jù)這個(gè)規(guī)律，通過(guò)兩次相對(duì)梯度的變化確定學(xué)習(xí)步長(zhǎng)。當(dāng)兩次梯度為相同方向時(shí)，學(xué)習(xí)步長(zhǎng)增大，該方向上學(xué)習(xí)速度要加快；在兩次梯度為相反方向時(shí)，學(xué)習(xí)步長(zhǎng)減小，整個(gè)網(wǎng)絡(luò)收斂速度要加快，自適應(yīng)速率調(diào)節(jié)方法如下：

（1）

（2）

式中表示在時(shí)刻和時(shí)刻梯度的乘積。

3.2.2 引入遺忘因子

根據(jù)相鄰兩次梯度變化，通過(guò)自適應(yīng)變速率學(xué)習(xí)法對(duì)學(xué)習(xí)步長(zhǎng)算法進(jìn)行確定。變化單純學(xué)習(xí)速率，這時(shí)收斂速度不能完全保證，但不會(huì)有振蕩產(chǎn)生，因此考慮變速率學(xué)習(xí)法，在權(quán)值調(diào)節(jié)量上，加一個(gè)量，這個(gè)量正比于前幾次的加權(quán)，權(quán)值調(diào)節(jié)量采用式（3）計(jì)算：

（3）

式中：表示遺忘因子，引入遺忘因子項(xiàng)，在學(xué)習(xí)過(guò)程中可通過(guò)對(duì)學(xué)習(xí)速率進(jìn)行等效微調(diào)的效果進(jìn)行說(shuō)明。遺忘因子的作用是緩沖平滑，并使調(diào)節(jié)的平均方向朝底部變化。

3.2.3 引入隨機(jī)優(yōu)化算子

BP神經(jīng)網(wǎng)絡(luò)算法在引入遺忘因子，采用自動(dòng)變速率學(xué)習(xí)法后，雖然可微調(diào)學(xué)習(xí)速率，但BP神經(jīng)網(wǎng)絡(luò)的不足和限制仍存在，為了進(jìn)一步對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，本文引入隨機(jī)優(yōu)化算子，當(dāng)網(wǎng)絡(luò)權(quán)值誤差迭代達(dá)到一定次數(shù)后，收斂不明顯或連續(xù)幾次發(fā)生系統(tǒng)誤差函數(shù)梯度變化，這種情況表明網(wǎng)絡(luò)進(jìn)入疲乏狀態(tài)，要借助外界推動(dòng)力對(duì)網(wǎng)絡(luò)進(jìn)行激活。當(dāng)出現(xiàn)這兩種情況時(shí)，與權(quán)值維數(shù)相同的隨機(jī)數(shù)就產(chǎn)生了，直接將權(quán)值和隨機(jī)數(shù)相加，對(duì)系統(tǒng)誤差變化進(jìn)行判斷，若誤差未降低，繼續(xù)產(chǎn)生隨機(jī)數(shù)，進(jìn)行權(quán)值修改，當(dāng)誤差出現(xiàn)減少時(shí)停止，然后再?gòu)男聶?quán)值繼續(xù)開(kāi)始BP算法，隨機(jī)優(yōu)化算子可隨機(jī)變化搜索方向，局部極小點(diǎn)就擺脫掉了，圖4為改進(jìn)的BP算法流程圖。

4 仿真實(shí)驗(yàn)

本文的仿真實(shí)驗(yàn)在Matlab 7.0實(shí)驗(yàn)平臺(tái)進(jìn)行，以此來(lái)驗(yàn)證提出改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法是否能達(dá)到較好的效果，本文同時(shí)給出采用未改進(jìn)的BP算法網(wǎng)絡(luò)入侵檢測(cè)和改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法網(wǎng)絡(luò)入侵檢測(cè)模型仿真實(shí)驗(yàn)結(jié)果。

圖5為兩種算法得到的訓(xùn)練精度。從兩種算法的實(shí)驗(yàn)仿真結(jié)果可看出，將改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法用于入侵檢測(cè)，速度快、易收斂，目標(biāo)精度0.02很快達(dá)到。在規(guī)定周期內(nèi)，未改進(jìn)的BP算法不能達(dá)到規(guī)定的目標(biāo)精度，易陷入局部極小，本文提出的改進(jìn)的BP算法所用訓(xùn)練周期較短，學(xué)習(xí)時(shí)間縮短顯著，效果良好。

評(píng)價(jià)檢測(cè)模型的標(biāo)準(zhǔn)為漏報(bào)率、誤報(bào)率、檢測(cè)率，其定義分別如下：

表1為未改進(jìn)的BP算法與改進(jìn)的BP算法的比較結(jié)果，從表1中可看出，改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法的檢測(cè)率、漏報(bào)率、誤報(bào)率分別為96.17%，3.83%，4.15%，檢測(cè)率比未改進(jìn)的BP算法要高出11.65%，漏報(bào)率比未改進(jìn)的BP算法要低10.66%，誤報(bào)率比未改進(jìn)的BP算法要低4.07%。

表1 兩種算法的入侵檢測(cè)結(jié)果

[算法 訓(xùn)練周期 /s 檢測(cè)率 /% 漏報(bào)率 /% 誤報(bào)率 /% 基本BP算法 480 84.52 14.49 8.22 改進(jìn)的BP算法 480 96.17 3.83 4.15 ]

5 結(jié) 語(yǔ)

本文在對(duì)原有BP 神經(jīng)網(wǎng)絡(luò)算法進(jìn)行改進(jìn)的基礎(chǔ)上，研究了改進(jìn)優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)算法及其在網(wǎng)絡(luò)入侵檢測(cè)中的應(yīng)用。通過(guò)分析BP神經(jīng)網(wǎng)絡(luò)用于檢測(cè)系統(tǒng)存在的問(wèn)題，在傳統(tǒng)BP算法基礎(chǔ)上，采用自動(dòng)變速率學(xué)習(xí)法，引入遺忘因子、隨機(jī)優(yōu)化算子，并將其用于網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)。仿真實(shí)驗(yàn)表明，改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法用于入侵檢測(cè)，速度快易收斂，目標(biāo)精度0.02很快達(dá)到。本文算法具有明顯的優(yōu)越性，各種入侵行為檢測(cè)率得到明顯提高，系統(tǒng)誤報(bào)率也降低了，入侵檢測(cè)系統(tǒng)性能得到有效改進(jìn)，本文算法優(yōu)越性明顯。

參考文獻(xiàn)

[1] 宋玲，常磊.變異粒子群優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)在入侵檢測(cè)中的應(yīng)用[J].智能系統(tǒng)學(xué)報(bào)，2013，8（6）：558?563.

[2] 劉伉伉，謝福，郭雪雪.基于BP神經(jīng)網(wǎng)絡(luò)的云計(jì)算入侵檢測(cè)技術(shù)研究[J].計(jì)算機(jī)與數(shù)字工程，2014（12）：2357?2361.

[3] 黃煜坤.基于BP神經(jīng)網(wǎng)絡(luò)算法的入侵檢測(cè)技術(shù)[J].電子制作，2015（10）：60?62.

[4] 沈夏炯，王龍，韓道軍.人工蜂群優(yōu)化的BP 神經(jīng)網(wǎng)絡(luò)在入侵檢測(cè)中的應(yīng)用[J].計(jì)算機(jī)工程，2016，42（2）：190?194.

[5] 王玲.基于BP 算法的人工神經(jīng)網(wǎng)絡(luò)建模研究[J].裝備制造技術(shù)，2014（1）：162?164.

[6] 王俊士，李江濤.一種改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法在入侵檢測(cè)中的應(yīng)用[J].電腦知識(shí)與技術(shù)，2014，10（3）：614?617.

[7] 顏謙和，顏珍.遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)[J].計(jì)算機(jī)仿真，2011，28（4）：141?144.

[8] 汪潔.基于神經(jīng)網(wǎng)絡(luò)的入侵z測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件，2013（5）：320?322.