導(dǎo)語(yǔ)：如何才能寫(xiě)好一篇神經(jīng)網(wǎng)絡(luò)的算法，這就需要搜集整理更多的資料和文獻(xiàn)，歡迎閱讀由公務(wù)員之家整理的十篇范文，供你借鑒。

篇1

【關(guān)鍵詞】深度學(xué)習(xí) 卷積神經(jīng)網(wǎng)絡(luò) 權(quán)值共享 下采樣 R-CNN Fast-R-CNN

1 緒論

隨著電子信息技術(shù)的快速發(fā)展，芯片的設(shè)計(jì)與生產(chǎn)進(jìn)入了納米時(shí)代，計(jì)算機(jī)的計(jì)算能力與計(jì)算速度得到了空前的提高，但是人們的需求是無(wú)限的，要求計(jì)算機(jī)能更加任性化的服務(wù)于我們的生活，這也就要求計(jì)算機(jī)本身能像人一樣識(shí)別與感知周?chē)沫h(huán)境，并對(duì)復(fù)雜的環(huán)境做出正確的判斷。而圖片信息是我們周?chē)h(huán)境最直觀的，最容易獲取的信息，要求計(jì)算機(jī)能對(duì)為的環(huán)境做出識(shí)別與判斷也就要求計(jì)算機(jī)能夠智能的識(shí)別圖像信息。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一個(gè)新的研究領(lǐng)域。通過(guò)深度學(xué)習(xí)的方法構(gòu)建深度網(wǎng)絡(luò)來(lái)抽取目標(biāo)特征進(jìn)而識(shí)別周?chē)沫h(huán)境。卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像的處理具有平移，旋轉(zhuǎn)，扭曲不變的優(yōu)良特性。在處理圖像是更加快捷和便利。卷積神經(jīng)網(wǎng)絡(luò)使得計(jì)算機(jī)在感知識(shí)別周?chē)h(huán)境的能力有了巨大的提升，使得計(jì)算機(jī)更加智能。卷積神經(jīng)網(wǎng)絡(luò)擁有強(qiáng)大的特征提取能力，使得其在圖像分類(lèi)識(shí)別，目標(biāo)跟蹤等領(lǐng)域有著強(qiáng)大的運(yùn)用。

1.1 國(guó)內(nèi)外研究現(xiàn)狀

1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向傳導(dǎo)神經(jīng)網(wǎng)絡(luò)輸出誤差進(jìn)行訓(xùn)練神經(jīng)網(wǎng)絡(luò)。通過(guò)BP算法，神經(jīng)網(wǎng)絡(luò)能夠從大量訓(xùn)練數(shù)據(jù)中的學(xué)習(xí)到相關(guān)統(tǒng)計(jì)信息，學(xué)習(xí)到的數(shù)據(jù)統(tǒng)計(jì)信息能夠反映關(guān)于輸入-輸出數(shù)據(jù)模型的函數(shù)映射關(guān)系。

自2006年以來(lái)，Geoffery Hinton教授提出深度信念網(wǎng)絡(luò)。從此深度學(xué)習(xí)在學(xué)術(shù)界持續(xù)升溫。深度學(xué)習(xí)不僅改變著傳統(tǒng)的機(jī)器學(xué)習(xí)方法，也影響著我們對(duì)人類(lèi)感知的理解，迄今已在語(yǔ)音識(shí)別和圖像理解等應(yīng)用領(lǐng)域引起了突破性的變革。各種相關(guān)的算法和模型都取得了重要的突破，使得深度學(xué)習(xí)在圖像分類(lèi)，語(yǔ)音識(shí)別，自然語(yǔ)言處理等領(lǐng)域有廣泛的運(yùn)用。

2013年百度成立百度深度學(xué)習(xí)研究院以來(lái)我國(guó)的人工智能領(lǐng)域取得了長(zhǎng)足的進(jìn)步。在人工智能專(zhuān)家吳恩達(dá)的帶領(lǐng)下，百度陸續(xù)推出一系列人工智能產(chǎn)品，無(wú)人駕駛技術(shù)，DuerOS語(yǔ)音交互計(jì)算平臺(tái)，人臉識(shí)別技術(shù)，美樂(lè)醫(yī)等優(yōu)秀產(chǎn)品。此外Imagenet圖像識(shí)別大賽中也誕生了一系列經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，VGG，F(xiàn)ast-R-CNN，SPP-net等等，可以說(shuō)人工智能技術(shù)在近幾年得到了空前的發(fā)展。

2 深度學(xué)習(xí)概述

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)新方向，通過(guò)學(xué)習(xí)樣本數(shù)據(jù)內(nèi)在規(guī)律和深層特征深度，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠像人一樣有分析和學(xué)的能力，尤其在文字處理，圖像識(shí)別，語(yǔ)音等領(lǐng)域更加突出。能夠自主學(xué)習(xí)一些新的東西。目前深度學(xué)習(xí)使用的典型技術(shù)是通過(guò)特征表達(dá)和分類(lèi)器來(lái)進(jìn)行目標(biāo)識(shí)別等任務(wù)的。并在語(yǔ)音識(shí)別、圖像處理、機(jī)器翻譯等領(lǐng)域取得很多成果。

深度學(xué)習(xí)不同于以往的淺層學(xué)習(xí)，淺層學(xué)習(xí)模型值包含一個(gè)隱藏層，或者不存在隱藏層，深度學(xué)習(xí)則是由很多隱藏層組成的，上一層的輸出作為下一層的輸入，實(shí)驗(yàn)對(duì)輸入信息進(jìn)行分級(jí)表達(dá)。目前深度學(xué)習(xí)框架主要包含三種深度學(xué)習(xí)框架，如圖1、2、3所示。

3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)層次比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)復(fù)雜，卷積神經(jīng)網(wǎng)絡(luò)包含大量的隱藏層，相鄰的卷積核或者下采樣核采用局部感受野全鏈接，神經(jīng)元權(quán)值共享的規(guī)則，因此卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)的數(shù)量遠(yuǎn)比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)少，卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練和前向測(cè)試的復(fù)雜度大幅度降低，同時(shí)也減少了神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)過(guò)擬合的幾率。卷積神經(jīng)網(wǎng)絡(luò)主要有兩部分，分別是卷積核和下采樣核。卷積核主要對(duì)上一層的圖像進(jìn)行卷積運(yùn)算，提取圖像特征，下采樣核則是對(duì)上層的數(shù)據(jù)進(jìn)行將為處理，減少神經(jīng)網(wǎng)絡(luò)的復(fù)雜度。

卷積神經(jīng)網(wǎng)絡(luò)中每一個(gè)神經(jīng)元的輸入與前一層的局部感受野相連，提取局部感受野的特征，比如圖像的輪廓，顏色等特征，而這些特征不僅包括傳統(tǒng)人類(lèi)能理解的特征，也包括神經(jīng)網(wǎng)絡(luò)自身能夠識(shí)別的特征，卷積核全職共享，因此這些特征提取與圖像的位置無(wú)關(guān)。

圖4是經(jīng)典的LeNet5卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，LeNet5架構(gòu)中卷積核和下采樣核交替出現(xiàn)，下采樣核及時(shí)的將卷積核生成的特征向量進(jìn)行降維，減少神經(jīng)網(wǎng)絡(luò)的運(yùn)算量。LeNet5算法在1962年幼Hubel等人提出，在識(shí)別手寫(xiě)數(shù)字mnist中有極高的準(zhǔn)確率。

4 R-CNN、Fast-R-CNN對(duì)比分析

卷積神經(jīng)網(wǎng)絡(luò)在對(duì)圖像進(jìn)行識(shí)別具有平移，旋轉(zhuǎn)，扭曲不變的優(yōu)良特性，并且能夠?qū)崿F(xiàn)高準(zhǔn)確率識(shí)別圖像，但是在現(xiàn)實(shí)生活運(yùn)用中往往需要神經(jīng)網(wǎng)絡(luò)標(biāo)記出目標(biāo)的相對(duì)位置，這是傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)不具備的功能。因此在前人傳統(tǒng)卷積神經(jīng)網(wǎng)路基礎(chǔ)上對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，產(chǎn)生了具有對(duì)圖像中目標(biāo)進(jìn)行識(shí)別和定位的卷積神經(jīng)網(wǎng)絡(luò)R-CNN，F(xiàn)ast-R-CNN等改良算法。

4.1 R-CNN

R-CNN為Region Convoluntional Neural Network的縮寫(xiě)即對(duì)圖像進(jìn)行局部區(qū)域的卷積處理，其核心思想主要是利用候選區(qū)圖像對(duì)物體探測(cè)中位置信息進(jìn)行精確處理和利用監(jiān)督式預(yù)訓(xùn)練和區(qū)域特殊化的微調(diào)方法，代替了傳統(tǒng)的非監(jiān)督式預(yù)訓(xùn)練和監(jiān)督式微調(diào)。

在CNN中，全連接層輸入是固定大小的，因此R-CNN用計(jì)算機(jī)視覺(jué)算法將每一張圖片分割成1000-2000張的候選區(qū)圖片后，要將這些候選區(qū)圖片進(jìn)行變換，生成固定大小的候選圖片，在訓(xùn)練提取特征時(shí)一般采用經(jīng)過(guò)預(yù)訓(xùn)練的模型參數(shù)進(jìn)行finetuning，榱嗽黽友盜費(fèi)本，模型在也將生成的候選框以及標(biāo)定的標(biāo)簽作為訓(xùn)練樣本進(jìn)行訓(xùn)練。R-CNN采用SVMs分類(lèi)器對(duì)特征向量進(jìn)行分類(lèi)，在訓(xùn)練SVMs時(shí)將候選框經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取的特征和SVM標(biāo)定結(jié)果輸入到SVMs分類(lèi)器訓(xùn)練分類(lèi)器模型。而在測(cè)試時(shí)將圖像全部候選框經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取的特征輸入到SVMs分類(lèi)器中，得到每一類(lèi)的評(píng)分結(jié)果。但是R-CNN在處理一張圖片是要處理需要對(duì)一張圖片1000-2000個(gè)候選區(qū)圖像進(jìn)行前向運(yùn)算，保存所有后選取圖片的特征值，要求計(jì)算硬件有大量的存儲(chǔ)空間，同時(shí)處理每一張圖片的時(shí)間也會(huì)增加。由于訓(xùn)練集龐大，本文采用hard negative mining method方法提高存儲(chǔ)的利用率。

R-CNN的體現(xiàn)出了極大的優(yōu)勢(shì)，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN計(jì)算的時(shí)間成本很大，達(dá)不到實(shí)時(shí)的計(jì)算效果，R-CNN在對(duì)候選區(qū)進(jìn)行處理時(shí)會(huì)使得圖像失真，部分信息丟失。

4.2 Fast-R-CNN

Fast-R-CNN則是再次改進(jìn)的一種基于卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)跟蹤定位算法。相比于R-CNN，F(xiàn)ast-R-CNN從單輸入變?yōu)殡p輸入，在全連接層后有了兩個(gè)輸出，引入了Rol層。

Fast-R-CNN在運(yùn)行的時(shí)候同樣會(huì)生成大量的候選區(qū)，同時(shí)將原始的圖片用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，將原始圖片提取的特征與生成的候選區(qū)坐標(biāo)送入Rol層為每一個(gè)候選區(qū)生成一個(gè)固定大小的特征向量。最后將Rol生成的特征向量全連接層產(chǎn)生最終的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于計(jì)算K+1分類(lèi)的損失，K為第K個(gè)目標(biāo)，1為背景；Regression LOSS計(jì)算候選區(qū)的四個(gè)角的坐標(biāo)。

Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在計(jì)算候選區(qū)是仍存在瓶頸，這也是限制Fast-R-CNN速度的因素。

5 實(shí)驗(yàn)測(cè)試

對(duì)于本文提出的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別圖像定位圖像目標(biāo)算法R-CNN，F(xiàn)ast-R-CNN，在本章給出實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)平臺(tái)為基于Linux系統(tǒng)的debian8下運(yùn)行caffe進(jìn)行訓(xùn)練，采用顯卡K620進(jìn)行實(shí)驗(yàn)。

訓(xùn)練模型初始化參數(shù)在是服從高斯隨機(jī)分布，R-CNN采用的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示，F(xiàn)ast-R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。

本次實(shí)現(xiàn)的訓(xùn)練樣本為錄制實(shí)驗(yàn)室視頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn)換成幀圖片，對(duì)每張圖片數(shù)據(jù)進(jìn)行裁剪，裁剪后圖像大小在256*256，共有500張，再將裁剪后的圖片進(jìn)行旋轉(zhuǎn)，平移，扭曲，鏡像，加噪聲等處理，最后生成144萬(wàn)張樣本圖片，其中136.8萬(wàn)張圖片作為訓(xùn)練樣本，7.2萬(wàn)張作為測(cè)試樣本。

6 總結(jié)

在目標(biāo)識(shí)別定位領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的圖像處理能力，對(duì)圖像的識(shí)別定位具有很高度平移，旋轉(zhuǎn)，扭曲不變形的優(yōu)良性能。卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)R-CNN和Fast-R-CNN都有強(qiáng)大的圖像處理能力。Fast-R-CNN在識(shí)別準(zhǔn)確率上比R-CNN高。R-CNN算法復(fù)雜，對(duì)一張圖片需要進(jìn)行1000-2000次的卷積運(yùn)算，特征重復(fù)提取。因此在訓(xùn)練和前向測(cè)試時(shí)，R-CNN用的時(shí)間長(zhǎng)，不能很好的適用于處理實(shí)時(shí)圖片數(shù)據(jù)，尤其視頻數(shù)據(jù)。R-CNN在對(duì)每個(gè)候選區(qū)進(jìn)行特征提取之后需要將提取的特征向量存入內(nèi)存，降低訓(xùn)練測(cè)試時(shí)間的同時(shí)也需要耗費(fèi)大量?jī)?nèi)存。因此從各方面分析可知，F(xiàn)ast-R-CNN性能優(yōu)于R-CNN。

參考文獻(xiàn)

[1]謝寶劍.基于卷積神經(jīng)網(wǎng)絡(luò)圖像分類(lèi)方法研究[D].合肥工業(yè)大學(xué)，2015.

[2]鄭胤，陳權(quán)崎，章毓晉.深度學(xué)習(xí)及其在目標(biāo)和行為識(shí)別中的新進(jìn)展[J].中國(guó)圖象圖形學(xué)報(bào)，2014（02）：175-184.

[3]陳先昌.基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與運(yùn)用研究[D].杭州：浙江工商大學(xué)，2006（04）：603-617.

[4]李彥冬，郝宗波，雷航等.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)應(yīng)用，2016.

[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.

[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.

[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014

[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.

[9]R.Girshick.Fast R-CNN. arXiv：1504.08083，2015.

篇2

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN），是基于人類(lèi)大腦的生物活動(dòng)所提出的，是一個(gè)數(shù)學(xué)模型。它由眾多節(jié)點(diǎn)通過(guò)一定的方式互聯(lián)組成，是一個(gè)規(guī)模巨大、自適應(yīng)的系統(tǒng)。其中有一種學(xué)習(xí)算法是誤差傳遞學(xué)習(xí)算法即BP算法。BP算法是人工智能最常用到的學(xué)習(xí)方法，從一定意義上來(lái)講，BP算法的提出，終結(jié)了多層網(wǎng)絡(luò)在學(xué)習(xí)訓(xùn)練算法上的空白史，是在實(shí)際應(yīng)用中最有效的網(wǎng)絡(luò)訓(xùn)練方法，對(duì)ANN的應(yīng)用和發(fā)展起到了決定性的作用。

BP算法是使用從輸出層得到的誤差來(lái)估算前一層的誤差，再利用該誤差估算更前一層的誤差。依次進(jìn)行，就會(huì)獲得其他所有各層的估算誤差。這樣就實(shí)現(xiàn)了將從輸出層的得到誤差沿著與輸入信號(hào)傳送相反的方向逐級(jí)向網(wǎng)絡(luò)的輸入端傳遞的過(guò)程[1]。但是，BP算法也存在著不可忽視的缺陷?；诖?，該文總結(jié)介紹了BP的改進(jìn)方法。

2 BP算法的基本思想

2.1 BP算法的基本原理

BP算法是有監(jiān)督指導(dǎo)的算法，它的學(xué)習(xí)訓(xùn)練過(guò)程一般分為兩步：首先是輸入樣本的正向傳遞；第二步誤差的反向傳遞；其中信號(hào)正向傳遞，基本思想是樣本值從輸入層輸入，經(jīng)輸入層傳入隱藏層，最后通過(guò)輸出層輸出，中間層對(duì)樣本數(shù)據(jù)進(jìn)行處理操作，利用各層的權(quán)值和激活函數(shù)對(duì)數(shù)據(jù)進(jìn)行操作然后在輸出層獲得輸出[2]；接下來(lái)就是反向傳遞，算法得到的實(shí)際輸出值與期望目標(biāo)輸出之間必然會(huì)有誤差，根據(jù)誤差的大小來(lái)決定下一步的工作。如果誤差值較小滿足訓(xùn)練的精度要求，則認(rèn)為在輸出層得到的值滿足要求，停止訓(xùn)練；反之，則將該誤差傳遞給隱藏層進(jìn)行訓(xùn)練，按照梯度下降的方式，對(duì)權(quán)值和閾值進(jìn)行調(diào)整，接著進(jìn)行循環(huán)，直到誤差值滿足精度要求停止訓(xùn)練[3]。

3 BP算法的缺陷

盡管BP算法有著顯著的優(yōu)點(diǎn)，但是在實(shí)際應(yīng)用過(guò)程中，BP算法會(huì)出現(xiàn)很多問(wèn)題。尤其是下面的問(wèn)題，對(duì)BP神經(jīng)網(wǎng)絡(luò)更好的發(fā)展有很大影響。有的甚至?xí)?dǎo)致算法崩潰。

3.1 收斂速度的問(wèn)題

BP算法在進(jìn)行訓(xùn)練學(xué)習(xí)時(shí)，收斂速度慢，特別是在網(wǎng)絡(luò)訓(xùn)練達(dá)到一定的精度時(shí)，BP算法就會(huì)出現(xiàn)一個(gè)長(zhǎng)時(shí)間的誤差“平原”，算法的收斂速度會(huì)下降到極慢[4]。如果盲目的加快收斂速度，則會(huì)使算法產(chǎn)生震蕩現(xiàn)象。

3.2 局部極小點(diǎn)問(wèn)題

在一些初始權(quán)值的條件下，BP算法在訓(xùn)練過(guò)程中會(huì)陷入局部極值。這是由于BP網(wǎng)絡(luò)采用最速下降法，誤差曲面非常復(fù)雜且分布著許多局部極值點(diǎn)，一旦陷入，BP算法就很難逃脫，進(jìn)而會(huì)使BP網(wǎng)絡(luò)的訓(xùn)練停止。算法可以在某處得到一個(gè)收斂值，但是并不能確定取到了誤差曲面的最小值。這樣就會(huì)使網(wǎng)絡(luò)難以達(dá)到事先規(guī)定的誤差精度[5]。

3.3 網(wǎng)絡(luò)癱瘓問(wèn)題

在算法的學(xué)習(xí)訓(xùn)練過(guò)程中，網(wǎng)絡(luò)的權(quán)值會(huì)變得很大，從而使得節(jié)點(diǎn)的輸入變大，這就會(huì)導(dǎo)致其激活函數(shù)的導(dǎo)函數(shù)在改點(diǎn)取得的值很小，接著會(huì)導(dǎo)致算法的訓(xùn)練速度變得極低，最終會(huì)導(dǎo)致BP網(wǎng)絡(luò)停止收斂，網(wǎng)絡(luò)癱瘓。

3.4 步長(zhǎng)問(wèn)題

BP的收斂是建立在無(wú)窮小權(quán)修改量的基礎(chǔ)上，而這就意味著網(wǎng)絡(luò)所需要的訓(xùn)練時(shí)間是無(wú)窮的，這顯然是不可取的。因此，要限定權(quán)值修改量的值。這主要是因?yàn)椋绻介L(zhǎng)太小，那么網(wǎng)絡(luò)的收斂速度就會(huì)下降，如果步長(zhǎng)太大，就會(huì)使BP神經(jīng)網(wǎng)絡(luò)產(chǎn)生癱瘓和振蕩。學(xué)者們經(jīng)過(guò)研究提出一個(gè)較好的方法，就是用自適應(yīng)的步長(zhǎng)代替原來(lái)的定值步長(zhǎng)，以使權(quán)值修改量隨著B(niǎo)P網(wǎng)絡(luò)的訓(xùn)練而不斷變化[6]。

4 改進(jìn)BP算法的方法

BP算法應(yīng)用廣泛，但它又存在很多缺陷，針對(duì)BP算法的問(wèn)題，國(guó)內(nèi)外許多學(xué)者提出各種改進(jìn)方法，主要的改進(jìn)方法分為兩類(lèi)：一是啟發(fā)式改進(jìn)，如附加動(dòng)量法和自適應(yīng)學(xué)習(xí)率等；二是結(jié)合新理論的改進(jìn)。這些方法在不同程度上提高了網(wǎng)絡(luò)的收斂速度，避免了局部最小問(wèn)題。

4.1 啟發(fā)式改進(jìn)方法

啟發(fā)式改進(jìn)方法是建立在BP網(wǎng)絡(luò)梯度下降規(guī)則的基礎(chǔ)上，通過(guò)對(duì)BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和學(xué)習(xí)率的改進(jìn)，從而解決BP網(wǎng)絡(luò)在學(xué)習(xí)訓(xùn)練過(guò)程中遇到的問(wèn)題。它的核心思想是：使權(quán)重的調(diào)整量最大限度的適應(yīng)誤差下降的要求。該文主要介紹了附加動(dòng)量法。

傳統(tǒng)的BP算法實(shí)際上是運(yùn)用最速下降規(guī)則來(lái)搜索最優(yōu)點(diǎn)的算法，該規(guī)則是順著梯度的反方向進(jìn)行權(quán)值的修正，并不將前一階段積累的經(jīng)驗(yàn)考慮進(jìn)來(lái)。因此會(huì)在訓(xùn)練過(guò)程中發(fā)生震蕩，導(dǎo)致收斂速度緩慢。但是將動(dòng)量項(xiàng)引入到BP網(wǎng)絡(luò)中后，當(dāng)輸入樣本依照順序輸入時(shí)，則可以將權(quán)值的修正公式看作為以t為變量的時(shí)間序列，那么權(quán)值的修改公式就改變?yōu)槿缦滤荆?/p>

加入動(dòng)量項(xiàng)以后若本次。

4.2 BP網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化

在BP算法中，輸入和輸出節(jié)點(diǎn)的個(gè)數(shù)由實(shí)際問(wèn)題確定，網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化主要是針對(duì)隱藏層的節(jié)點(diǎn)數(shù)和層數(shù)。許多研究表明，一個(gè)隱藏層就可以解決各種分類(lèi)問(wèn)題。那么對(duì)于隱藏層節(jié)點(diǎn)的個(gè)數(shù)的確定，有的學(xué)者給出了公式[NH=NI+NO+L]（其中[NH]表示隱藏層節(jié)點(diǎn)數(shù)，[NI]表示輸入層節(jié)點(diǎn)數(shù)，[NO]表示輸出層節(jié)點(diǎn)數(shù)），但是公式缺乏一定的理論支持，所以目前最好的方法是通過(guò)經(jīng)驗(yàn)和在學(xué)習(xí)訓(xùn)練過(guò)程中不斷的調(diào)整隱藏層節(jié)點(diǎn)數(shù)，最后得到一個(gè)合適的網(wǎng)絡(luò)結(jié)構(gòu)。

4.3 基于新理論的算法改進(jìn)

隨著對(duì)BP網(wǎng)絡(luò)結(jié)構(gòu)知識(shí)的研究，能夠更加深刻的理解BP算法誤差傳遞的本質(zhì)。出現(xiàn)了許多基于新興理論的BP算法的改進(jìn)，這種改進(jìn)方式是結(jié)合了其它領(lǐng)域比較成功的優(yōu)化算法和理論，比如將遺傳算法與BP算法相結(jié)合，將遺傳算法高效的全局尋優(yōu)能力引入進(jìn)來(lái)，利用GA算法來(lái)優(yōu)化BP算法的權(quán)值和閾值，解決BP神經(jīng)網(wǎng)絡(luò)存在容易陷入局部極值和收斂速度慢的問(wèn)題，兩種算法的結(jié)合實(shí)現(xiàn)了各自?xún)?yōu)勢(shì)的互補(bǔ)，取得了良好的效果[8]；將粒子群優(yōu)化算法用于BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練，使算法更容易找到全局最優(yōu)解，具有更好的收斂性[9]。很多研究者還將BP算法與模糊數(shù)學(xué)理論、小波理論、混沌算法等相結(jié)合。這些改進(jìn)使得BP神經(jīng)網(wǎng)絡(luò)得到更進(jìn)一步的應(yīng)用。

5 小結(jié)

BP算法是目前在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法中得到最廣泛應(yīng)用的。該文總結(jié)了BP算法的原理，針對(duì)BP算法中出現(xiàn)的問(wèn)題，雖然給出了BP算法的改進(jìn)方法，但還是有很多不足之處。隨著科學(xué)日新月異的發(fā)展，各種新的優(yōu)化算法 不斷的提出，BP算法也會(huì)得到更廣泛的發(fā)展。

參考文獻(xiàn)：

[1] 胡彩萍.基于BP神經(jīng)網(wǎng)絡(luò)的排序評(píng)價(jià)算法研究及應(yīng)用[D].南昌：江西師范大學(xué)碩士學(xué)位論文，2009.

[2] 劉翔.BP算法的改進(jìn)及其應(yīng)用[D].太原：太原理工大學(xué)碩士學(xué)位論文，2012.

[3] 張璐璐.基于遺傳神經(jīng)網(wǎng)絡(luò)的人民幣識(shí)別方法研究[D].長(zhǎng)春：吉林大學(xué)碩士學(xué)位論文，2009.

[4] 張波.DRP決策支持系統(tǒng)及小波網(wǎng)絡(luò)在其中的應(yīng)用[D].成都：四川大學(xué)碩士學(xué)位論文，2006.

[5]付海兵，曾黃麟.BP神經(jīng)網(wǎng)絡(luò)的算法及改進(jìn)[J].中國(guó)西部科技，2012，11（8）：1671-6396.

[6] 周羽.紅外圖像人臉識(shí)別研究[D].大連：大連理工大學(xué)碩士學(xué)位論文，2007.

篇3

關(guān)鍵詞： BP算法； 入侵檢測(cè)； 神經(jīng)網(wǎng)絡(luò)； 隨機(jī)優(yōu)化算子

中圖分類(lèi)號(hào)： TN915.08?34； TP393.08 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）11?0091?04

Research on BP algorithm based on neural network and its application

in network intrusion detection

LUO Junsong

（College of Information Science and Technology， Chengdu University of Technology， Chengdu 610059， China）

Abstract： By analyzing the problems of BP neural network applied to the detection system， the automatic variable?rate learning method， forgetting factor and random optimization operator are introduced into the BP algorithm on the basis of traditional BP algorithm. The BP algorithm is applied to the network intrusion detection system. The simulation results show that the improved BP neural network algorithm applied to intrusion detection has the characteristics of fast speed and easy convergence， and can quickly obtain the target accuracy of 0.02. The detection rate， missed detection rate and false alarm rate of the improved BP neural network algorithm can reach up to 96.17%， 3.83% and 4.15% respectively， whose detection rate is 11.65% higher than that of the traditional BP algorithm， the missed detection rate is 10.66% lower than that of the traditional BP algorithm， and the false alarm rate is 4.07% lower than that of the traditional BP algorithm. The superiority of the algorithm is obvious.

Keywords： BP algorithm； intrusion detection； neural network； random optimization operator

0 引 言

隨著通信技術(shù)和計(jì)算機(jī)技術(shù)的快速發(fā)展，計(jì)算機(jī)的網(wǎng)絡(luò)規(guī)模越來(lái)越大，通信系統(tǒng)也越來(lái)越復(fù)雜，由于計(jì)算機(jī)網(wǎng)絡(luò)本身具有漏洞，同時(shí)還有黑客對(duì)網(wǎng)絡(luò)進(jìn)行攻擊，因此計(jì)算機(jī)網(wǎng)絡(luò)受到的威脅和攻擊日益增加[1?3]。網(wǎng)絡(luò)安全形勢(shì)越來(lái)越嚴(yán)峻。通過(guò)入侵檢測(cè)技術(shù)可收集計(jì)算機(jī)網(wǎng)絡(luò)中的若干關(guān)鍵點(diǎn)信息，同時(shí)對(duì)這些信息進(jìn)行分析，并對(duì)網(wǎng)絡(luò)是否遭到襲擊、是否存在違反安全策略行為進(jìn)行檢查，并做出及時(shí)響應(yīng)，對(duì)網(wǎng)絡(luò)連接進(jìn)行切斷并報(bào)警等[4?6]。目前傾向于通過(guò)入侵檢測(cè)技術(shù)結(jié)合人工智能算法進(jìn)行相關(guān)研究，對(duì)于各種入侵行為，采用人工智能算法通過(guò)自學(xué)習(xí)、自適應(yīng)能力進(jìn)行識(shí)別、檢測(cè)[7]。

作為一種重要的模式識(shí)別方法，人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、自組織、推廣能力強(qiáng)等特點(diǎn)[8]。在入侵檢測(cè)系統(tǒng)中，應(yīng)用人工神經(jīng)網(wǎng)絡(luò)方法可使系統(tǒng)能較好地識(shí)別已知攻擊，同時(shí)還具有對(duì)未知攻擊進(jìn)行檢測(cè)的能力[9]。但是在異常入侵檢測(cè)系統(tǒng)中，應(yīng)用標(biāo)準(zhǔn)BP算法存在收斂局部極小值、學(xué)習(xí)速度慢等缺點(diǎn)，這在很大程度上影響了入侵檢測(cè)系統(tǒng)的性能[10]。本文在對(duì)原有BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行改進(jìn)的基礎(chǔ)上，研究了優(yōu)化的神經(jīng)網(wǎng)絡(luò)BP算法及其在網(wǎng)絡(luò)入侵檢測(cè)中的應(yīng)用。

1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，包括輸入信號(hào)前向傳遞和誤差反向傳播兩個(gè)過(guò)程，在結(jié)構(gòu)上一般由輸入層、隱含層、輸出層三層構(gòu)成，每一層的神經(jīng)元狀態(tài)只影響下一層神經(jīng)元狀態(tài)。它被廣泛應(yīng)用在BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型中。網(wǎng)絡(luò)結(jié)構(gòu)一般只需單個(gè)隱含層就能以任意精度逼近任意有理函數(shù)。訓(xùn)練樣本的輸入、輸出向量的維數(shù)分別決定了網(wǎng)絡(luò)的輸入、輸出層神經(jīng)節(jié)點(diǎn)個(gè)數(shù)，典型的只有單個(gè)隱含層、單個(gè)輸出的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

圖1中，為BP神經(jīng)網(wǎng)絡(luò)的一組輸入向量；為網(wǎng)絡(luò)的目標(biāo)輸出值；為輸入層與隱含層之間的連接權(quán)值；為隱含層c輸出層之間的連接權(quán)值；分別為隱含層和輸出層的節(jié)點(diǎn)閾值。若設(shè)隱含層節(jié)點(diǎn)個(gè)數(shù)為則在前向傳遞中，輸入信號(hào)向量從輸入層經(jīng)隱含層逐層傳輸，最后到輸出層，通過(guò)各層連接權(quán)值矢量、閾值矢量和每一層相應(yīng)的激勵(lì)函數(shù)進(jìn)行計(jì)算。得到輸出層的預(yù)測(cè)輸出值若預(yù)測(cè)值與目標(biāo)值之間有誤差，則誤差部分轉(zhuǎn)入反向逐層傳遞，沿誤差減小方向調(diào)整網(wǎng)絡(luò)各層連接的權(quán)值、閾值。反復(fù)執(zhí)行以上過(guò)程，使得BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)值不斷逼近實(shí)際輸出值。

2 入侵檢測(cè)算法

網(wǎng)絡(luò)入侵檢測(cè)通過(guò)分析系統(tǒng)數(shù)據(jù)，一旦有網(wǎng)絡(luò)攻擊行為、非授權(quán)網(wǎng)絡(luò)訪問(wèn)時(shí)，入侵檢測(cè)系統(tǒng)就會(huì)報(bào)警，同時(shí)對(duì)入侵線路進(jìn)行切斷。入侵檢測(cè)系統(tǒng)應(yīng)具有監(jiān)視系統(tǒng)、用戶的活動(dòng)，對(duì)系統(tǒng)、用戶活動(dòng)進(jìn)行分析，對(duì)異常行為模式進(jìn)行分析，對(duì)已知進(jìn)攻模式進(jìn)行識(shí)別，審計(jì)系統(tǒng)弱點(diǎn)、構(gòu)造，跟蹤管理系統(tǒng)審計(jì)，對(duì)系統(tǒng)、數(shù)據(jù)文件完整性進(jìn)行評(píng)估，對(duì)用戶違反安全策略行為進(jìn)行識(shí)別。常見(jiàn)的攻擊手段目前包括非授權(quán)獲得權(quán)限、非授權(quán)訪問(wèn)、探測(cè)、拒絕服務(wù)等。在實(shí)際中，這些攻擊手段變異很大，入侵檢測(cè)難度較大。BP神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的自學(xué)習(xí)和自組織能力，經(jīng)過(guò)訓(xùn)練后，對(duì)以前觀察到的入侵檢測(cè)行為模式，BP神經(jīng)網(wǎng)絡(luò)會(huì)進(jìn)行歸納和總結(jié)，可識(shí)別出已觀察到的攻擊和已知攻擊變異的新攻擊，圖2為網(wǎng)絡(luò)的入侵檢測(cè)過(guò)程。

3 改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)入侵檢測(cè)

3.1 BP神經(jīng)網(wǎng)絡(luò)用于檢測(cè)系統(tǒng)存在的問(wèn)題

BP神經(jīng)網(wǎng)絡(luò)采用分布式存儲(chǔ)，但傳統(tǒng)的BP算法存在一些不足，包括極小的局部，較慢的學(xué)習(xí)收斂速度，缺乏理論隱含層節(jié)點(diǎn)的選取，已經(jīng)學(xué)完樣本會(huì)受到新加入樣本的影響，每次樣本的輸入必須具有確定相同的特征數(shù)目。

在入侵檢測(cè)中，BP神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)方式主要是與現(xiàn)有系統(tǒng)結(jié)合進(jìn)行，BP神經(jīng)網(wǎng)絡(luò)與應(yīng)用模式識(shí)別系統(tǒng)相結(jié)合使用，例如與專(zhuān)家系統(tǒng)結(jié)合。在這種方式中，BP神經(jīng)網(wǎng)絡(luò)可作為系統(tǒng)組成部分，通常是作為信息過(guò)濾模塊或信息預(yù)處理模塊，當(dāng)信息輸入系統(tǒng)后，神經(jīng)網(wǎng)絡(luò)會(huì)對(duì)信息做過(guò)濾處理。另外，神經(jīng)網(wǎng)絡(luò)可規(guī)則自動(dòng)生成模塊，進(jìn)而更新入侵檢測(cè)系統(tǒng)規(guī)則庫(kù)、模式庫(kù)。這種方式的優(yōu)點(diǎn)是能將入侵檢測(cè)系統(tǒng)的工作性能提高，缺點(diǎn)是這種方式神經(jīng)網(wǎng)絡(luò)的真正優(yōu)勢(shì)不能得到充分發(fā)揮。

3.2 改進(jìn)的神經(jīng)網(wǎng)絡(luò)算法

在信號(hào)檢測(cè)、非線性處理、模式識(shí)別等領(lǐng)域，人工神經(jīng)網(wǎng)絡(luò)應(yīng)用較多，這是因?yàn)槿斯ど窠?jīng)網(wǎng)絡(luò)自組織性、自適應(yīng)性非常好，同時(shí)其非線性特性明顯，信息存儲(chǔ)為分布式模式、可進(jìn)行大規(guī)模的并行處理。實(shí)質(zhì)上BP神經(jīng)網(wǎng)絡(luò)算法屬于非線性?xún)?yōu)化的梯度算法，在收斂性上，該算法存在不足，也就是說(shuō)該算法的學(xué)習(xí)結(jié)果有可能落入到均方誤差全局最小點(diǎn)，也有可能落入到局部極小點(diǎn)，造成算法不收斂，使工作模式陷入錯(cuò)誤。

入侵檢測(cè)系統(tǒng)的主要功能是對(duì)入侵計(jì)算機(jī)網(wǎng)絡(luò)的行為和計(jì)算機(jī)系統(tǒng)進(jìn)行檢測(cè)，包括數(shù)據(jù)聚類(lèi)、數(shù)據(jù)采集、分析判斷行為、對(duì)入侵行為進(jìn)行響應(yīng)、報(bào)警等。BP網(wǎng)絡(luò)各層神經(jīng)元僅連接相鄰層神經(jīng)元；在各層內(nèi)部，神經(jīng)元間無(wú)連接；同時(shí)各層神經(jīng)元間也無(wú)反饋連接。在信號(hào)輸入后，傳播到隱節(jié)點(diǎn)經(jīng)變換函數(shù)再將信息傳播到輸出節(jié)點(diǎn)，經(jīng)過(guò)處理，輸出結(jié)果。本文將改進(jìn)的BP 神經(jīng)網(wǎng)絡(luò)用于入侵檢測(cè)系統(tǒng)，其檢測(cè)模型見(jiàn)圖3。

3.2.1 采用自動(dòng)變速率學(xué)習(xí)法

傳統(tǒng)BP算法在梯度基礎(chǔ)上，采用最陡下降法LMS學(xué)習(xí)問(wèn)題，學(xué)習(xí)步長(zhǎng)為一個(gè)較小值，并且這個(gè)值是固定不變的，對(duì)網(wǎng)絡(luò)收斂無(wú)益處。因而選擇基于梯度方向自動(dòng)對(duì)學(xué)習(xí)速率進(jìn)行調(diào)節(jié)。通過(guò)梯度對(duì)學(xué)習(xí)方向做最終確定，在梯度方向上，學(xué)習(xí)步長(zhǎng)由速率決定。若相鄰兩次梯度方向是相同的，表明該方向的收斂有利；若相鄰兩次梯度方向是相反的，表明該方向的收斂不穩(wěn)定。根據(jù)這個(gè)規(guī)律，通過(guò)兩次相對(duì)梯度的變化確定學(xué)習(xí)步長(zhǎng)。當(dāng)兩次梯度為相同方向時(shí)，學(xué)習(xí)步長(zhǎng)增大，該方向上學(xué)習(xí)速度要加快；在兩次梯度為相反方向時(shí)，學(xué)習(xí)步長(zhǎng)減小，整個(gè)網(wǎng)絡(luò)收斂速度要加快，自適應(yīng)速率調(diào)節(jié)方法如下：

（1）

（2）

式中表示在時(shí)刻和時(shí)刻梯度的乘積。

3.2.2 引入遺忘因子

根據(jù)相鄰兩次梯度變化，通過(guò)自適應(yīng)變速率學(xué)習(xí)法對(duì)學(xué)習(xí)步長(zhǎng)算法進(jìn)行確定。變化單純學(xué)習(xí)速率，這時(shí)收斂速度不能完全保證，但不會(huì)有振蕩產(chǎn)生，因此考慮變速率學(xué)習(xí)法，在權(quán)值調(diào)節(jié)量上，加一個(gè)量，這個(gè)量正比于前幾次的加權(quán)，權(quán)值調(diào)節(jié)量采用式（3）計(jì)算：

（3）

式中：表示遺忘因子，引入遺忘因子項(xiàng)，在學(xué)習(xí)過(guò)程中可通過(guò)對(duì)學(xué)習(xí)速率進(jìn)行等效微調(diào)的效果進(jìn)行說(shuō)明。遺忘因子的作用是緩沖平滑，并使調(diào)節(jié)的平均方向朝底部變化。

3.2.3 引入隨機(jī)優(yōu)化算子

BP神經(jīng)網(wǎng)絡(luò)算法在引入遺忘因子，采用自動(dòng)變速率學(xué)習(xí)法后，雖然可微調(diào)學(xué)習(xí)速率，但BP神經(jīng)網(wǎng)絡(luò)的不足和限制仍存在，為了進(jìn)一步對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，本文引入隨機(jī)優(yōu)化算子，當(dāng)網(wǎng)絡(luò)權(quán)值誤差迭代達(dá)到一定次數(shù)后，收斂不明顯或連續(xù)幾次發(fā)生系統(tǒng)誤差函數(shù)梯度變化，這種情況表明網(wǎng)絡(luò)進(jìn)入疲乏狀態(tài)，要借助外界推動(dòng)力對(duì)網(wǎng)絡(luò)進(jìn)行激活。當(dāng)出現(xiàn)這兩種情況時(shí)，與權(quán)值維數(shù)相同的隨機(jī)數(shù)就產(chǎn)生了，直接將權(quán)值和隨機(jī)數(shù)相加，對(duì)系統(tǒng)誤差變化進(jìn)行判斷，若誤差未降低，繼續(xù)產(chǎn)生隨機(jī)數(shù)，進(jìn)行權(quán)值修改，當(dāng)誤差出現(xiàn)減少時(shí)停止，然后再?gòu)男聶?quán)值繼續(xù)開(kāi)始BP算法，隨機(jī)優(yōu)化算子可隨機(jī)變化搜索方向，局部極小點(diǎn)就擺脫掉了，圖4為改進(jìn)的BP算法流程圖。

4 仿真實(shí)驗(yàn)

本文的仿真實(shí)驗(yàn)在Matlab 7.0實(shí)驗(yàn)平臺(tái)進(jìn)行，以此來(lái)驗(yàn)證提出改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法是否能達(dá)到較好的效果，本文同時(shí)給出采用未改進(jìn)的BP算法網(wǎng)絡(luò)入侵檢測(cè)和改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法網(wǎng)絡(luò)入侵檢測(cè)模型仿真實(shí)驗(yàn)結(jié)果。

圖5為兩種算法得到的訓(xùn)練精度。從兩種算法的實(shí)驗(yàn)仿真結(jié)果可看出，將改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法用于入侵檢測(cè)，速度快、易收斂，目標(biāo)精度0.02很快達(dá)到。在規(guī)定周期內(nèi)，未改進(jìn)的BP算法不能達(dá)到規(guī)定的目標(biāo)精度，易陷入局部極小，本文提出的改進(jìn)的BP算法所用訓(xùn)練周期較短，學(xué)習(xí)時(shí)間縮短顯著，效果良好。

評(píng)價(jià)檢測(cè)模型的標(biāo)準(zhǔn)為漏報(bào)率、誤報(bào)率、檢測(cè)率，其定義分別如下：

表1為未改進(jìn)的BP算法與改進(jìn)的BP算法的比較結(jié)果，從表1中可看出，改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法的檢測(cè)率、漏報(bào)率、誤報(bào)率分別為96.17%，3.83%，4.15%，檢測(cè)率比未改進(jìn)的BP算法要高出11.65%，漏報(bào)率比未改進(jìn)的BP算法要低10.66%，誤報(bào)率比未改進(jìn)的BP算法要低4.07%。

表1 兩種算法的入侵檢測(cè)結(jié)果

[算法 訓(xùn)練周期 /s 檢測(cè)率 /% 漏報(bào)率 /% 誤報(bào)率 /% 基本BP算法 480 84.52 14.49 8.22 改進(jìn)的BP算法 480 96.17 3.83 4.15 ]

5 結(jié) 語(yǔ)

本文在對(duì)原有BP 神經(jīng)網(wǎng)絡(luò)算法進(jìn)行改進(jìn)的基礎(chǔ)上，研究了改進(jìn)優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)算法及其在網(wǎng)絡(luò)入侵檢測(cè)中的應(yīng)用。通過(guò)分析BP神經(jīng)網(wǎng)絡(luò)用于檢測(cè)系統(tǒng)存在的問(wèn)題，在傳統(tǒng)BP算法基礎(chǔ)上，采用自動(dòng)變速率學(xué)習(xí)法，引入遺忘因子、隨機(jī)優(yōu)化算子，并將其用于網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)。仿真實(shí)驗(yàn)表明，改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法用于入侵檢測(cè)，速度快易收斂，目標(biāo)精度0.02很快達(dá)到。本文算法具有明顯的優(yōu)越性，各種入侵行為檢測(cè)率得到明顯提高，系統(tǒng)誤報(bào)率也降低了，入侵檢測(cè)系統(tǒng)性能得到有效改進(jìn)，本文算法優(yōu)越性明顯。

參考文獻(xiàn)

[1] 宋玲，常磊.變異粒子群優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)在入侵檢測(cè)中的應(yīng)用[J].智能系統(tǒng)學(xué)報(bào)，2013，8（6）：558?563.

[2] 劉伉伉，謝福，郭雪雪.基于BP神經(jīng)網(wǎng)絡(luò)的云計(jì)算入侵檢測(cè)技術(shù)研究[J].計(jì)算機(jī)與數(shù)字工程，2014（12）：2357?2361.

[3] 黃煜坤.基于BP神經(jīng)網(wǎng)絡(luò)算法的入侵檢測(cè)技術(shù)[J].電子制作，2015（10）：60?62.

[4] 沈夏炯，王龍，韓道軍.人工蜂群優(yōu)化的BP 神經(jīng)網(wǎng)絡(luò)在入侵檢測(cè)中的應(yīng)用[J].計(jì)算機(jī)工程，2016，42（2）：190?194.

[5] 王玲.基于BP 算法的人工神經(jīng)網(wǎng)絡(luò)建模研究[J].裝備制造技術(shù)，2014（1）：162?164.

[6] 王俊士，李江濤.一種改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法在入侵檢測(cè)中的應(yīng)用[J].電腦知識(shí)與技術(shù)，2014，10（3）：614?617.

[7] 顏謙和，顏珍.遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)[J].計(jì)算機(jī)仿真，2011，28（4）：141?144.

[8] 汪潔.基于神經(jīng)網(wǎng)絡(luò)的入侵z測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件，2013（5）：320?322.

篇4

為降低神經(jīng)網(wǎng)絡(luò)的冗余連接及不必要的計(jì)算代價(jià)，將量子免疫克隆算法應(yīng)用于神經(jīng)網(wǎng)絡(luò)的優(yōu)化過(guò)程，通過(guò)產(chǎn)生具有稀疏度的權(quán)值來(lái)優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。算法能夠有效刪除神經(jīng)網(wǎng)絡(luò)中的冗余連接和隱層節(jié)點(diǎn)，并同時(shí)提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率、函數(shù)逼近精度和泛化能力。該算法已應(yīng)用于秦始皇帝陵博物院野外文物安防系統(tǒng)。經(jīng)實(shí)際檢驗(yàn)，算法提高了目標(biāo)分類(lèi)概率，降低了誤報(bào)率。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；量子免疫克隆算法；目標(biāo)分類(lèi)；冗余連接；網(wǎng)絡(luò)優(yōu)化

中圖分類(lèi)號(hào)： TP273

文獻(xiàn)標(biāo)志碼：A

Quantum-inspired clonal algorithm based method for optimizing neural networks

Abstract：

In order to reduce the redundant connections and unnecessary computing cost， quantum-inspired clonal algorithm was applied to optimize neural networks. By generating neural network weights which have certain sparse ratio， the algorithm not only effectively removed redundant neural network connections and hidden layer nodes， but also improved the learning efficiency of neural network， the approximation of function accuracy and generalization ability. This method had been applied to wild relics security system of Emperor Qinshihuangs mausoleum site museum， and the results show that the method can raise the probability of target classification and reduce the false alarm rate.

Key words：

neural network； quantum-inspired clonal algorithm； target classification； redundant connection； network optimization

0 引言

神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛地應(yīng)用于模式分類(lèi)、函數(shù)逼近、信號(hào)預(yù)測(cè)等各種領(lǐng)域，是近年來(lái)的研究熱點(diǎn)之一[1-2]。在應(yīng)用過(guò)程中，研究人員發(fā)現(xiàn)，當(dāng)神經(jīng)網(wǎng)絡(luò)的規(guī)模過(guò)大會(huì)產(chǎn)生連接數(shù)量冗余大、計(jì)算代價(jià)過(guò)高的問(wèn)題，降低了大規(guī)模神經(jīng)網(wǎng)絡(luò)的實(shí)用性。針對(duì)此問(wèn)題，研究人員提出了多種方法在保持神經(jīng)網(wǎng)絡(luò)的前提下優(yōu)化神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)權(quán)值。Leung等[3-4]改進(jìn)了傳統(tǒng)的遺傳算法（Genetic Algorithm， GA）并將其應(yīng)用于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)值優(yōu)化過(guò)程，利用遺傳算法的快速收斂性來(lái)提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度，其缺點(diǎn)在于當(dāng)目標(biāo)函數(shù)維數(shù)過(guò)大時(shí)容易陷入局部最優(yōu)。Xiao等[5]使用混合優(yōu)點(diǎn)（Hybrid Good Point， HGP）優(yōu)化前向神經(jīng)網(wǎng)絡(luò)的參數(shù)和結(jié)構(gòu)，避免權(quán)值陷入局部最優(yōu)，但其對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化沒(méi)有達(dá)到最優(yōu)。Shu等[6]提出正交模擬褪火（Orthogonal Simulated Annealing， OSA）算法， 使用褪火算法和正交算法的優(yōu)點(diǎn)來(lái)同時(shí)優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，其算法收斂速度快、魯棒性好，缺點(diǎn)則在于計(jì)算代價(jià)較大。杜文莉等[7]提出了使用量子差分進(jìn)化（Cooperative Quantum Differential Evolution， CQGADE）算法來(lái)優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值，使用量子遺傳算法優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和隱層節(jié)點(diǎn)數(shù)，算法綜合了量子遺傳算法和量子差分算法的優(yōu)點(diǎn)，收斂速度快，但其缺點(diǎn)在于需要同時(shí)協(xié)同兩種算法的優(yōu)化結(jié)果，算法復(fù)雜度較高，且容易陷入局部最優(yōu)。Tsai等[8]提出混合田口遺傳算法（Hybrid Taguchi Genetic Algorithm， HTGA），將傳統(tǒng)的GA與Taguchi方法結(jié)合起來(lái)，使得算法具有魯棒性好、收斂性快等優(yōu)點(diǎn)，但其缺點(diǎn)在于獲得最優(yōu)解的計(jì)算代價(jià)較大。

量子免疫克隆算法[9-12]（Quantum-inspired Immune Clonal Algorithm， QICA）也稱(chēng)為量子遺傳算法（Quantum Genetic Algorithm， QGA），其將量子搜索機(jī)制和免疫算法克隆選擇原理相結(jié)合，利用量子編碼的疊加性和隨機(jī)性構(gòu)造抗體，利用遺傳算法的克隆操作產(chǎn)生原始種群和克隆子群實(shí)現(xiàn)種群擴(kuò)張，使搜索空間擴(kuò)大，提高了局部搜索能力；同時(shí)借助全干擾交叉操作避免陷入局部最優(yōu)。QICA采用了多狀態(tài)量子比特編碼方式和通用的量子旋轉(zhuǎn)門(mén)操作， 引入動(dòng)態(tài)調(diào)整旋轉(zhuǎn)角機(jī)制和量子交叉[11]。QICA在組合優(yōu)化問(wèn)題中具有良好的表現(xiàn)。

針對(duì)上述問(wèn)題，提出了使用量子克隆免疫算法對(duì)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和連接權(quán)值同時(shí)進(jìn)行優(yōu)化，通過(guò)產(chǎn)生具有一定稀疏度的連接權(quán)值對(duì)網(wǎng)絡(luò)隱層數(shù)量和連接權(quán)值進(jìn)行優(yōu)化，提高了算法的效率和收斂速度，避免了算法陷入局部最優(yōu)。

1 帶開(kāi)關(guān)權(quán)值的神經(jīng)網(wǎng)絡(luò)模型

在經(jīng)典的神經(jīng)網(wǎng)絡(luò)理論中，網(wǎng)絡(luò)結(jié)構(gòu)在初始化后便不再變動(dòng)，僅通過(guò)權(quán)值的變化來(lái)計(jì)算產(chǎn)生結(jié)果，這種算法增加了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)復(fù)雜性，在實(shí)際應(yīng)用中增加了計(jì)算結(jié)果的代價(jià)。Leung等[3-4]提出了帶開(kāi)關(guān)權(quán)值的神經(jīng)網(wǎng)絡(luò)，通過(guò)調(diào)整開(kāi)關(guān)的通斷就能調(diào)整神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和連接數(shù)量，從而減少計(jì)算代價(jià)。帶開(kāi)關(guān)權(quán)值的神經(jīng)網(wǎng)絡(luò)模型如圖1所示[7]。

2.2 權(quán)值計(jì)算及優(yōu)化方法

根據(jù)量子克隆免疫理論，將神經(jīng)網(wǎng)絡(luò)權(quán)值計(jì)算及優(yōu)化過(guò)程分為以下四個(gè)過(guò)程。

2.2.1 權(quán)值抗體初始化

量子克隆免疫算法是基于量子計(jì)算和遺傳算法組成的，其抗體的編碼方式采用量子比特編碼。一個(gè)抗體中的量子位的狀態(tài)是不確定的，可以為0或1，其狀態(tài)表示為式（5）：

3.1 算法復(fù)雜度分析

量子克隆免疫算法的實(shí)質(zhì)是通過(guò)量子理論的隨機(jī)特性提供豐富的種群數(shù)量，并通過(guò)使用遺傳算法對(duì)種群進(jìn)行淘汰和進(jìn)化，因此其算法的復(fù)雜度等于種群生成算法的復(fù)雜度：假設(shè)神經(jīng)網(wǎng)絡(luò)有x個(gè)輸入，其隱層節(jié)點(diǎn)數(shù)量為N，輸出為y，則網(wǎng)絡(luò)中的輸入與隱層節(jié)點(diǎn)間的連接權(quán)值ω的數(shù)量為：x*N，隱層節(jié)點(diǎn)與輸出層的連接權(quán)值v的數(shù)量為：N*y。種群生成需要對(duì)所有節(jié)點(diǎn)進(jìn)行權(quán)值初始化，并將隨機(jī)位置的n（nN）個(gè)節(jié)點(diǎn)的權(quán)值設(shè)置為0， 其算法復(fù)雜度為O（n2）。而克隆免疫算法在種群克隆及抗體選擇過(guò)程中使用遺傳算法，因此其算法的復(fù)雜度與傳統(tǒng)遺傳算法相同，其算法復(fù)雜度也為O（n2）。因此，使用量子免疫克隆的神經(jīng)網(wǎng)絡(luò)優(yōu)化算法的復(fù)雜度為O（n2）。

3.2 非線性函數(shù)逼近

選取復(fù)雜交互非線性函數(shù)（Complicated Interaction Function，CIF）：

其中0

選取樣本700組，其中500組用于訓(xùn)練，其余200組用于檢測(cè)性能。神經(jīng)網(wǎng)絡(luò)的初始隱層神經(jīng)元設(shè)置為20個(gè)，初始網(wǎng)絡(luò)結(jié)構(gòu)為：2-20-1，初始連接權(quán)值為隨機(jī)值。在此條件下驗(yàn)證不同稀疏度條件下對(duì)CIF的二維逼近效果如圖3所示。

圖3顯示隨著稀疏度的不斷降低，神經(jīng)網(wǎng)絡(luò)的逼近能力有所減弱，逼近誤差則逐漸增大。這主要是因?yàn)樯窠?jīng)網(wǎng)絡(luò)中的連接權(quán)值數(shù)量降低，造成神經(jīng)網(wǎng)絡(luò)的適應(yīng)性差。具體逼近效果見(jiàn)表2。

從表2中可以看出，隱層節(jié)點(diǎn)數(shù)量直接影響著神經(jīng)網(wǎng)絡(luò)的性能。高稀疏度條件下的計(jì)算量大，但逼近精度高；低稀疏度條件下的計(jì)算量小，但逼近精度較差。實(shí)驗(yàn)表明當(dāng)稀疏度大于0.6時(shí)，算法的逼近精度高于90%，優(yōu)化后的網(wǎng)絡(luò)具有較好的非線性逼近能力。當(dāng)神經(jīng)網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù)量低于12時(shí)逼近精度大幅下降，說(shuō)明此時(shí)神經(jīng)網(wǎng)絡(luò)處理信息的能力也隨之大幅減弱，隱層節(jié)點(diǎn)的最合適的數(shù)量為12～14個(gè)，這也符合文獻(xiàn)[14]的實(shí)驗(yàn)結(jié)果。

圖4為不同稀疏度下，算法適應(yīng)度的收斂情況?？梢钥闯隽孔涌寺∶庖咚惴ň哂泻芎玫氖諗刻匦?，算法收斂速度很快，能夠在很短的進(jìn)化次數(shù)內(nèi)收斂至極值，且稀疏度越低，神經(jīng)網(wǎng)絡(luò)的連接權(quán)值數(shù)量越少，算法收斂速度越低，最優(yōu)適應(yīng)度越差。

表3為相同條件下，不同算法的最優(yōu)計(jì)算結(jié)果，包括目標(biāo)分類(lèi)的準(zhǔn)確度、隱藏層節(jié)點(diǎn)數(shù)量等。可以看出，當(dāng)稀疏度高于0.8時(shí)，本文算法收斂性和適應(yīng)度均優(yōu)于混沌粒子群（Chaotic Particle Swarm Optimization，CPSO）[15]、粒子群優(yōu)化算法（Particle Swarm Optimization，PSO）[16]、混合田口遺傳算法[Hybrid Taguchi-Genetic Algorithm，HTGA][8]等其他算法，說(shuō)明算法具有很好的收斂速度、尋優(yōu)精度和魯棒性。

3.3 微地震信號(hào)目標(biāo)分類(lèi)

實(shí)驗(yàn)場(chǎng)地選擇在秦始皇兵馬俑博物館內(nèi)K9901號(hào)坑旁。所有傳感器節(jié)點(diǎn)沿公路一側(cè)直線部署，距離公路1m左右?？赡墚a(chǎn)生地震波的活動(dòng)物體包括人員行走、機(jī)動(dòng)車(chē)和挖掘活動(dòng)。將采集到的微地震信號(hào)進(jìn)行濾波、分幀、特征提取等處理后輸入至神經(jīng)網(wǎng)絡(luò)進(jìn)行模式識(shí)別。

系統(tǒng)對(duì)傳感器采集到的數(shù)據(jù)進(jìn)行分幀，并使用功率譜二次分析[17]算法對(duì)其進(jìn)行處理，最后將經(jīng)過(guò)預(yù)處理的數(shù)據(jù)輸入至神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行分類(lèi)。根據(jù)其活動(dòng)特點(diǎn)，將輸出目標(biāo)分為三類(lèi)：人員活動(dòng)、挖掘活動(dòng)以及機(jī)動(dòng)車(chē)輛活動(dòng)。傳感器采集到的三類(lèi)活動(dòng)的經(jīng)典波形如圖5所示。

表6中給出了算法的最優(yōu)計(jì)算結(jié)果，包括不同稀疏度條件下神經(jīng)網(wǎng)絡(luò)的隱藏層節(jié)點(diǎn)數(shù)量、最優(yōu)適應(yīng)度以及分類(lèi)準(zhǔn)確率等?？梢钥闯?，算法能夠有效減少冗余的隱藏層節(jié)點(diǎn)數(shù)量，并降低節(jié)點(diǎn)連接數(shù)量。算法的稀疏度越高，其適應(yīng)度越好，其分類(lèi)的準(zhǔn)確性越好，但稀疏度高帶來(lái)的則是計(jì)算代價(jià)增大、計(jì)算復(fù)雜度增加。當(dāng)稀疏度低于0.7時(shí)，算法的適應(yīng)度變差，目標(biāo)的識(shí)別率為90%，在實(shí)際應(yīng)用過(guò)程中帶來(lái)了誤判率較高的問(wèn)題，降低了實(shí)用性。因此在秦始皇帝陵博物院野外文物安防系統(tǒng)中使用了稀疏度為0.7的算法對(duì)模式識(shí)別的神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化。

4 結(jié)語(yǔ)

本文提出了基于量子免疫克隆算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化算法，該算法在訓(xùn)練神經(jīng)網(wǎng)絡(luò)優(yōu)化權(quán)值的同時(shí)刪除了冗余連接和多余的隱層節(jié)點(diǎn)，實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)權(quán)值的優(yōu)化。通過(guò)經(jīng)典非線性函數(shù)逼近和目標(biāo)識(shí)別檢驗(yàn)，算法能夠有效地優(yōu)化神經(jīng)網(wǎng)絡(luò)，提高神經(jīng)網(wǎng)絡(luò)的優(yōu)化效率，減少計(jì)算復(fù)雜度。使用優(yōu)化后的神經(jīng)網(wǎng)絡(luò)已經(jīng)用于秦始皇帝陵博物院野外文物安防系統(tǒng)中。

參考文獻(xiàn)：

[1] QIAO H， ZHOU Y，SHAO N， et al. Software reliability prediction based on learning vector quantization neutral network[J]. Journal of Computer Applications， 2012，32（05）：1436-1438.）（喬輝，周雁舟，邵楠，等.基于學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)的軟件可靠性預(yù)測(cè)[J].計(jì)算機(jī)應(yīng)用，2012，32（5）：1436-1438.）

[2] PAN Y， DENG Y， ZHANG Q， et al. Deterministic prediction of wavelet neural network model and its application[J]. Journal of Computer Applications，2013， 33（4）：1001-1005.（潘玉民，鄧永紅，張全柱，等.小波神經(jīng)網(wǎng)絡(luò)模型的確定性預(yù)測(cè)及應(yīng)用[J].計(jì)算機(jī)應(yīng)用，2013，33（4）：1001-1005.）

[3] LEUNG H F，LAM H F， LING S F， et al. Tuning of the structure and parameters of neural network using an improved genetic algorithm[C]// Proceedings of the 27th Annual Conference of IEEE Industrial Electronics Society. Piscataway： IEEE，2001：25-30.

[4] LEUNG H F， LAM H F， LING S H， et al. Tuning of the structure and parameters of a neural network using an improved genetic algorithm[J]. IEEE Transactions on Neural Network，2003，14（1）：79-88.

[5] XIAO C， CAI Z， WANG Y， et al. Tuning of the structure and parameters of a neural network using a good points set evolutionary strategy[C]// Proceedings of the 9th International Conference for Young Computer Scientists. Piscataway： IEEE， 2008：1749-1754.

[6] SHU L， HO S Y， HO S J. Tuning the structure and parameters of a neural network using an orthogonal simulated annealing algorithm[C]// Proceedings of the 2009 Joint Conferences on Pervasive Computing. Piscataway： IEEE，2009：789-792.

[7] DU W， ZHOU R， ZHOU L， et al. Cooperative quantum differential evolution algorithm based method for optimizing neural networks[J].Journal of Tsinghua University： Science and Technology， 2012，52（3）：331-335.（杜文莉，周仁，趙亮，等. 基于量子差分進(jìn)化算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法[J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，52（3）：331-335.）

[8] TSAI J， CHOU J， LIU T. Tuning the structure and parameters of a neural network by using hybrid Taguchi-genetic algorithm[J]. IEEE Transactions on Neural Network， 2006，17（1）：69-80.

[9] LI Y， JIAO L. Quantum-inspired immune clonal algorithm and its application[C]// Proceedings of the 2007 International Symposium on Intelligent Signal Processing and Communication Systems. Piscataway： IEEE， 2007：670-673.

[10] JIAO L， LI Y， GONG M，et al. Quantum-inspired immune clonal algorithm for global optimization[J]. IEEE Transactions on Systems， Man and Cybernetics， Part B： Cybernetics， 2008，38（5）：1234-1253.

[11] ZHOU C， QIAN F. Improvement of quantum genetic algorithm and its application[J]. Journal of Computer Applications， 2008，28（2）：286-288.（周傳華，錢(qián)峰.改進(jìn)量子遺傳算法及其應(yīng)用[J].計(jì)算機(jī)應(yīng)用， 2008，28（2）：286-288）

[12] ZHOU Q， JIANG S， ZHAO X， et al. Improved quantum genetic algorithm and its application in test data generation[J]. Journal of Computer Applications，2012，32（2）：557-560.（周綺，姜淑娟，趙雪峰，等.改進(jìn)的量子遺傳算法及其在測(cè)試數(shù)據(jù)生成中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用，2012，32（2）：557-560.）

[13] QIAO J，LEE Y G， SCOTT D S， et al. Self-organizing radial basis function network for real-time approximation of continuous-time dynamical systems[J]. IEEE Transactions on Neural Networks，2008，19（3）：460-474.

[14] HAN H， QIAO J， BO Y， et al. On structure design for RBF neural network based on information strength[J]. Acta Automatica Sinica， 2012，38（7）：1083-1090.（韓紅桂，喬俊飛，薄迎春，等.基于信息強(qiáng)度的RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)研究[J].自動(dòng)化學(xué)報(bào)， 2012，38（7）：1083-1090.）

[15] ZHAO L. Fuzzy identification and neural networks learning based on cooperative PSO algorithm[D]. Shanghai： Shanghai Jiao Tong University，2008.（趙亮.基于協(xié)同PSO算法的模糊辨識(shí)與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)[D].上海：上海交通大學(xué)，2008.）

篇5

關(guān)鍵詞： ATR2神經(jīng)網(wǎng)絡(luò)； 警戒值； 模式漂移； 模式識(shí)別

中圖分類(lèi)號(hào)： TN911?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2014）18?0041?03

An improved algorithm based on ART2 neural network

HU Xin， YE Qing， GUO Geng?shan

（Changsha University of Science and Technology， Changsha 410114， China）

Abstract： Aiming at the problems of setting vigilance parameter and pattern drift produced in the process of classification identification of the traditional ART2 neural network， a new ART2 neural network model based on modified algorithm is presen?

ted in this article to solve problems concerning analysis of pattern identification. Reasonable vigilance parameter needed by clustering is deduced through the processing of self?organization， weighting and iteration. In order to conduct reasonable classification of clustering objects， the measures of slowing learning rate which can be realized by modifying the weight training of ART2 neural network to reduce the speed of pattern drifting should be taken. The experimental results have proved that the new model is of high validity and feasibility.

Keywords： ATR2 neural network； security value； pattern drift； pattern recognition

0 引 言

ART2神經(jīng)網(wǎng)絡(luò)的輸入為任意模擬輸入矢量，所以它有非常廣泛的應(yīng)用范圍，通過(guò)對(duì)警戒值的調(diào)整，ART2神經(jīng)網(wǎng)絡(luò)可以對(duì)輸入的模擬矢量進(jìn)行不同精度的分類(lèi)。ART2是基于自適應(yīng)諧振理論的一種自組織神經(jīng)網(wǎng)絡(luò)，通過(guò)競(jìng)爭(zhēng)學(xué)習(xí)和自穩(wěn)機(jī)制原理實(shí)現(xiàn)分類(lèi)，它主要是為了解決下列問(wèn)題而提出的：設(shè)計(jì)一個(gè)學(xué)習(xí)系統(tǒng)，同時(shí)擁有穩(wěn)定性和可塑性，即系統(tǒng)在不斷學(xué)習(xí)新知識(shí)的時(shí)候能保持原有的知識(shí)[1?2]。

迄今為止，基于ART網(wǎng)絡(luò)的模式分類(lèi)方法有很大發(fā)展，其中具有代表性的就是S.Grossberg和A.carpenter提出的用于并行分類(lèi)和自適應(yīng)模式分類(lèi)方法[3?4]。

傳統(tǒng)的自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)也存在著一些缺陷，主要體現(xiàn)在：傳統(tǒng)的ART神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)訓(xùn)練前要給出警戒參數(shù)，該警戒參數(shù)對(duì)于網(wǎng)絡(luò)聚類(lèi)結(jié)果具有直接的影響。當(dāng)警戒參數(shù)較高時(shí)，ART系統(tǒng)對(duì)模式的相似性要求就越高，類(lèi)的劃分就越細(xì)，形成的類(lèi)別就越多；當(dāng)警戒參數(shù)較低時(shí)，網(wǎng)絡(luò)有較強(qiáng)的容錯(cuò)能力，因此就產(chǎn)生較少的分類(lèi)數(shù)目[5?6]。

由于傳統(tǒng)的ART2網(wǎng)絡(luò)在對(duì)輸入模式識(shí)別分類(lèi)時(shí)，會(huì)產(chǎn)生模式漂移現(xiàn)象，從而無(wú)法實(shí)現(xiàn)更準(zhǔn)確的分類(lèi)。對(duì)部分權(quán)值的修正放慢學(xué)習(xí)速度，將改善模式漂移現(xiàn)象。

1 ART2神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和原理

1.1 ART2神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

ART2系統(tǒng)由定向子系統(tǒng)OS和注意子系統(tǒng)AS構(gòu)成，注意子系統(tǒng)AS由感受層SL和反應(yīng)層RL和控制增益GC組成，既有短時(shí)記憶[OS（t）]和[OR（t）]，又有長(zhǎng)時(shí)記憶，包括自低向上的長(zhǎng)時(shí)記憶[Ω（SR）]和自頂向下的長(zhǎng)時(shí)記憶[Ω（RS）]。作為神經(jīng)計(jì)算的模型，ART2系統(tǒng)是由人工神經(jīng)元形成的系統(tǒng)。感覺(jué)神經(jīng)元構(gòu)成了系統(tǒng)的感受層，而反應(yīng)神經(jīng)元構(gòu)成了系統(tǒng)的反應(yīng)層，ART2網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示。

圖1 ART2神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

在系統(tǒng)中，各感覺(jué)神經(jīng)元之間的聯(lián)結(jié)關(guān)系包括：[Dab：SLaSLb]，[Dbc：SLbSLc]，[Dcd：SLcSLd]，[Dde：SLdSLe]，[Def：SLeSLf]，[Dda：SLdSLa]，[Dfc：SLfSLc]。各子集[SLk（V（S）k）（k∈{a，b，c，d，e，f}）]之間的聯(lián)結(jié)關(guān)系式對(duì)應(yīng)元素之間的聯(lián)結(jié)，因而，其聯(lián)結(jié)關(guān)系矩陣[Dij（i，j∈{a，b，c，d，e，f}）]均為對(duì)角矩陣。

在感受層SL中，只有子集[SLa（V（s）a）]可以接受外部輸入信號(hào)[x]，另外只有子集[SLe（V（S）e）]的狀態(tài)向量[OSe]能作為系統(tǒng)感受層SL的輸出，用于系統(tǒng)的反應(yīng)層RL[3]。

1.2 ART2神經(jīng)網(wǎng)絡(luò)的工作原理

1.2.1 參數(shù)及聯(lián)結(jié)權(quán)值初始化

所有神經(jīng)元的輸出置0向量，計(jì)數(shù)器初始值為[C=0]；SL層從下到上的長(zhǎng)時(shí)記憶初始為：

[Ω（SR）=0.5（1-α3）?mnm]

RL層從上到下的長(zhǎng)時(shí)記憶初始為：

[Ω（RS）=（0）mn]

各參數(shù)確定為：

[α1>0， α2>0，0

1.2.2 計(jì)算步驟

ART2網(wǎng)絡(luò)的運(yùn)行按照如下的步驟進(jìn)行：

（1） [SLa]運(yùn)算：

[O（S）a=x+α1O（S）d]

（2） [SLb]運(yùn)算：

[O（S）b=O（S）aε+O（S）a]

（3） [SLc]運(yùn)算：

[O（S）c=f（O（S）b）+α2f（O（S）f）]

式中：[x>α3]時(shí)[f（x）=x]，[x≤α3]時(shí)[f（x）=0]。

（4） [SLd]運(yùn)算：

[O（S）d=O（S）cε+O（S）c]…

（5） [SLe]運(yùn)算：

[O（S）e=O（S）d， C=0O（S）d+ω（RS）kα4， C>0]

（6） [SLf]運(yùn)算：

[O（S）f=O（S）eε+O（S）e]

（7） SL測(cè)試：如果短時(shí)記憶[O（S）i（i∈a，b，c，d，e，f）]沒(méi)有達(dá)到穩(wěn)定狀態(tài)，轉(zhuǎn)到步驟（11）。

（8） 計(jì)數(shù)和轉(zhuǎn)移：如果[C=0]，轉(zhuǎn)到步驟（11）。

（9） OS運(yùn)算：

[r=O（S）d+α4O（S）eε+O（S）d+α4O（S）e]

若[r

（10） 復(fù)位操作：如果復(fù)位信號(hào)[r=1]，則置[O（S）k=0]，抑制[v（R）k]到ART2系統(tǒng)達(dá)到“諧振”狀態(tài)，重置短時(shí)記憶[OS=0]和[C=0]，轉(zhuǎn)到步驟（1）；否則[r=0]，轉(zhuǎn)向步驟（14）。

（11） RL運(yùn)算：

[O（R）k=α4， ω（SR）TkO（S）e=maxω（SR）TiO（S）e0， 其他]

其中[O（R）k=α4] 的單元[v（R）k]記作競(jìng)爭(zhēng)獲勝單元。

（12） 引發(fā)期待：[Ω（RS）Tω（RS）k]。

（13） 計(jì)數(shù)和轉(zhuǎn)移：[C=C+1]，轉(zhuǎn)向步驟（5） 。

（14） 諧振：[r=1]說(shuō)明[x]與[ω（RS）k]匹配，ART2系統(tǒng)達(dá)到諧振狀態(tài)，ART2快速學(xué)習(xí)機(jī)制啟動(dòng)。

（15） 前饋學(xué)習(xí)：更新前饋聯(lián)結(jié)關(guān)系[Ω（SR）]的第[k]個(gè)列向量[ω（SR）k]：

[ω（SR）k=O（S）d1-α4]

（16） 反饋學(xué)習(xí)：更新反饋聯(lián)結(jié)關(guān)系[Ω（RS）]的第[k]個(gè)行向量[ω（RS）k]：

[ω（RS）k=O（S）d1-α4]

（17） 停機(jī)條件：若對(duì)于任意輸入[x]，[Ω（RS）]和[Ω（SR）]都是穩(wěn)定的，ART2系統(tǒng)停止運(yùn)行；否則刪除輸入模式，RL中所有被抑制的反應(yīng)神經(jīng)元恢復(fù)起始，重置短時(shí)記憶[OR=0]和[OS=0]，重置計(jì)數(shù)器[C=0]。

2 改進(jìn)的ART2神經(jīng)網(wǎng)絡(luò)

在上述傳統(tǒng)的ART2神經(jīng)網(wǎng)絡(luò)算法中對(duì)于警戒值[ρ]的選擇是根據(jù)經(jīng)驗(yàn)所得，這里提出了一種在神經(jīng)網(wǎng)絡(luò)計(jì)算前對(duì)[ρ]的選取算法。同時(shí)為了解決模式漂移的問(wèn)題，對(duì)ART2神經(jīng)網(wǎng)絡(luò)中F2至p層和p層至F2層的權(quán)值進(jìn)行修改，減緩學(xué)習(xí)速率，從而可以有效地減少模式漂移帶來(lái)的誤差[7]。

2.1 具體算法描述

（1） 設(shè)置警戒參數(shù)初值ρ，開(kāi)始設(shè)置接近l，在初始聚類(lèi)時(shí)，對(duì)于接近的輸人向量也會(huì)在這個(gè)過(guò)程進(jìn)行融合，每個(gè)差異較大的輸入向量就會(huì)產(chǎn)生一個(gè)類(lèi)別。

（2） 由于ART2模型的輸出端是一維陣列，可按神經(jīng)元模值將神經(jīng)元放置在x軸上，以模值大小順序?qū)敵鰧由窠?jīng)元的位置進(jìn)行重新排列，以模值為判斷依據(jù)，同時(shí)對(duì)自頂向下和自低向上權(quán)重矩陣進(jìn)行調(diào)整。

（3） 在解決漂移模式問(wèn)題中，模式漂移現(xiàn)象主要

原因是權(quán)值的修正方法不準(zhǔn)確引起的，在傳統(tǒng)的ART2算法中，權(quán)值修正公式在每次輸入模式結(jié)束時(shí)，權(quán)值都近似等于[O（S）d1-α4]，在學(xué)習(xí)新的模式之后容易遺忘已經(jīng)學(xué)過(guò)的輸入模式，權(quán)值總是向當(dāng)前的輸入數(shù)據(jù)靠近。所以對(duì)ART2神經(jīng)網(wǎng)絡(luò)中F2至p層和p層至F2層的權(quán)值進(jìn)行修改，減緩學(xué)習(xí)速率，修正后的權(quán)值為：

從F2層到p層的權(quán)值為：

[Ωnewji=Ωoldji+α（Οd-Ωoldji）]；

從p層到F2層的權(quán)值為：

[Ωnewij=Ωoldij+α（Οd-Ωoldij）]；

2.2 具體算法步驟

加入警戒值選擇和權(quán)值修改后的改進(jìn)ART2神經(jīng)網(wǎng)絡(luò)算法如下：

（1） ρ=ρ-del ；del為警戒參數(shù)遞減值；

（2） 將第k次迭代神經(jīng)網(wǎng)絡(luò)輸出層的每一個(gè)神經(jīng)元代表的類(lèi)別向量組成第k+1次迭代神經(jīng)網(wǎng)絡(luò)的輸入向量樣本集X（k+1）；

（3） 按序輸入X（k）樣本集中每個(gè)向量，訓(xùn)練的算法按照步驟（4）整個(gè)過(guò)程；

（4） 在傳統(tǒng)ART2神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的對(duì)步驟（15），步驟（16）進(jìn)行修改如下：

步驟（15） 前饋學(xué)習(xí)：更新前饋?zhàn)赃m應(yīng)聯(lián)結(jié)關(guān)系[Ω（SR）]的權(quán)值：

[Ωnewji=Ωoldji+α（Οd-Ωoldji）]

步驟（16） 反饋學(xué)習(xí)：更新反饋?zhàn)赃m應(yīng)聯(lián)結(jié)關(guān)系[Ω（RS）]的權(quán)值：

[Ωnewij=Ωoldij+α（Οd-Ωoldij）]停機(jī)條件不變。

3 實(shí)驗(yàn)及其結(jié)果分析

為了驗(yàn)證算法改進(jìn)后的分類(lèi)效果，對(duì)傳統(tǒng)ART?2神經(jīng)網(wǎng)絡(luò)算法和改進(jìn)后的算法進(jìn)行了實(shí)驗(yàn)比較[8?10]。本文采用實(shí)際數(shù)據(jù)做為測(cè)試數(shù)據(jù)。實(shí)際數(shù)據(jù)采用來(lái)自美國(guó)加州Irvine大學(xué)信息與計(jì)算機(jī)科學(xué)系中所提供的Glass數(shù)據(jù)。Glass數(shù)據(jù)是在記錄玻璃所包含的化學(xué)元素情況，記錄中包含了處理過(guò)與非處理過(guò)的建筑用窗戶、處理過(guò)與非處理過(guò)的貨車(chē)窗戶、容器、餐具以及車(chē)燈共7種類(lèi)別，而在G1ass數(shù)據(jù)中則有9種不同的化學(xué)元素，分別是鋯、鈉、鎂、鋁、硅、鉀、鈣、鋇、鐵九種屬性，Glass數(shù)據(jù)集一共是214組。在不同用途的玻璃中化學(xué)元素的含量不同，如表1所示。

表1 不同用途的玻璃中化學(xué)元素的含量

在進(jìn)行ART2神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)候，對(duì)于參數(shù)設(shè)為ρ=0.95，a=10，b=10，c=0.1，d=0.9，del=0.01。將神經(jīng)網(wǎng)絡(luò)程序運(yùn)行結(jié)果， 與數(shù)據(jù)集中正確分類(lèi)進(jìn)行對(duì)比之后，發(fā)現(xiàn)以前ART2網(wǎng)絡(luò)由于模式漂移和警戒參數(shù)人工設(shè)置問(wèn)題設(shè)置產(chǎn)生了10個(gè)分類(lèi)，產(chǎn)生了較大分錯(cuò)率。由改進(jìn)的ART2網(wǎng)絡(luò)下運(yùn)行結(jié)果顯示降低了這些問(wèn)題的影響，只產(chǎn)生了8個(gè)分類(lèi)，而且在每一類(lèi)的分類(lèi)中，改進(jìn)后的神經(jīng)網(wǎng)絡(luò)可以更好地對(duì)每一組數(shù)據(jù)進(jìn)行正確的分類(lèi)。如表2所示。

表2 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)和改進(jìn)后神經(jīng)網(wǎng)絡(luò)的分類(lèi)比較

4 結(jié) 語(yǔ)

針對(duì)本文中摘要提出的警戒值選取問(wèn)題，在改進(jìn)的ART2神經(jīng)網(wǎng)絡(luò)聚類(lèi)算法中，利用以前警戒參數(shù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)結(jié)果的基礎(chǔ)上迭代，改變了神經(jīng)網(wǎng)絡(luò)主觀設(shè)定警戒參數(shù)的問(wèn)題。針對(duì)模式漂移的問(wèn)題，通過(guò)改進(jìn)聯(lián)結(jié)權(quán)值，使改進(jìn)后的ART2神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)減慢了學(xué)習(xí)速率，近而降低了模式漂移的速度。實(shí)驗(yàn)證明，在改進(jìn)選取警戒值和對(duì)聯(lián)結(jié)權(quán)值修改后的ART2神經(jīng)網(wǎng)絡(luò)更好地實(shí)現(xiàn)了聚類(lèi)分類(lèi)，同時(shí)提高了模式識(shí)別的精度。

參考文獻(xiàn)

[1] 陳國(guó)燦，高茂庭.ATR2神經(jīng)網(wǎng)絡(luò)的一種改進(jìn)[J].計(jì)算機(jī)工程與應(yīng)用，2013（4）：2?3.

[2] 沈艷超，葉青.車(chē)輛特征提取和分類(lèi)方法的研究[D].長(zhǎng)沙：長(zhǎng)沙理工大學(xué)，2010.

[3] 阮曉剛.神經(jīng)計(jì)算科學(xué)[M].北京：國(guó)防工業(yè)出版社，2006.

[4] CARPENTER G A， GROSSBERG S. ART2 self?organization of stable category recognition codes for analog input patterns [J]. Applied Optics， 1987， 26（l）： 4920?4927.

[5] 錢(qián)曉東，王正歐.基于算法改進(jìn)的ART2數(shù)據(jù)聚類(lèi)方法研究[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2006（9）：1549?1553.

[6] 錢(qián)曉東，王正歐.基于神經(jīng)網(wǎng)絡(luò)等技術(shù)的數(shù)據(jù)與文本聚分類(lèi)研究[D].天津：天津大學(xué)，2005.

[7] 譚錦華，鄺獻(xiàn)濤.基于ART2神經(jīng)網(wǎng)絡(luò)與動(dòng)態(tài)聚類(lèi)的分類(lèi)器[J].控制工程，2005（z1）：68?70.

[8] 姚光順.ART?2神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)及其改進(jìn)[J].儀器儀表用戶，2008（2）：117?118.

篇6

關(guān)鍵詞：字符識(shí)別；BP神經(jīng)網(wǎng)絡(luò)；車(chē)牌識(shí)別

中圖分類(lèi)號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A

1 引言（Introduction）

汽車(chē)牌照的識(shí)別是計(jì)算機(jī)視覺(jué)與模式識(shí)別應(yīng)用于的重要研究課題，車(chē)牌識(shí)別的準(zhǔn)確率和高效性是識(shí)別的關(guān)鍵。由于車(chē)牌圖像難免會(huì)受到光照、天氣等因素影響，車(chē)牌圖像質(zhì)量會(huì)有所下降，為了對(duì)車(chē)牌字符的進(jìn)行有效地識(shí)別，首先要對(duì)其進(jìn)行去噪、增強(qiáng)等預(yù)處理，之后應(yīng)用識(shí)別算法對(duì)其進(jìn)行識(shí)別[1]。本文研究了用BP神經(jīng)網(wǎng)絡(luò)方法對(duì)汽車(chē)牌照字符的識(shí)別算法。首先對(duì)分割、歸一化后的字符特征進(jìn)行提取，所提取的特征向量記錄的就是字符的特征。把這個(gè)特征向量送到BP網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，就可以得到訓(xùn)練好的權(quán)值，用這個(gè)權(quán)值對(duì)車(chē)牌字符進(jìn)行識(shí)別。對(duì)于車(chē)牌圖像的識(shí)別率達(dá)90%以上，表明該方法是有效的。

2 字符識(shí)別的原理（The principle of character

recognition）

字符識(shí)別的基本原理即對(duì)字符進(jìn)行匹配識(shí)別。提取代表未知字符基本特征、結(jié)構(gòu)的樣本庫(kù)和提前在計(jì)算機(jī)中保存的標(biāo)準(zhǔn)字符的字典（字符基本特征和結(jié)構(gòu)的集合），在一定的規(guī)則下逐個(gè)匹配比較。在計(jì)算機(jī)中保存的標(biāo)準(zhǔn)字符的字典中，尋找與輸入字符樣本最相似的表達(dá)項(xiàng)，然后找出對(duì)應(yīng)的字符就是識(shí)別的結(jié)果[2]。字符識(shí)別的原理框圖如圖1所示。

3 BP神經(jīng)網(wǎng)絡(luò)字符識(shí)別算法（The BP neural network

character recognition algorithm）

BP算法基本原理是利用輸出后的誤差來(lái)估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計(jì)[3]。對(duì)BP網(wǎng)絡(luò)的設(shè)計(jì)要點(diǎn)是高效率的特征提取方法、具有代表性的大量訓(xùn)練樣本和穩(wěn)定高效的學(xué)習(xí)方法。

3.1 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

算法的基本流程就是：

（1）設(shè)置變量和參量，包括輸入向量（訓(xùn)練樣本和樣本個(gè)數(shù)）、每次迭代中輸入層和隱含層之間、隱含層與隱含層之間、隱含層與輸出層之間的權(quán)值向量矩陣、迭代次數(shù)、每次迭代的實(shí)際輸出、期望輸出和學(xué)習(xí)效率。

（2）隨機(jī)初始化權(quán)值矩陣。給三類(lèi)權(quán)值矩陣賦一個(gè)相對(duì)較小的隨機(jī)非零值。

（3）進(jìn)行樣本輸入。采用隨機(jī)輸入的方法。

（4）前向傳播。按照公式一層一層的前向計(jì)算隱藏神經(jīng)元和輸出神經(jīng)元的輸入和輸出。

（5）誤差計(jì)算，判斷。根據(jù)每次迭代的期望值和實(shí)際輸出結(jié)果算出誤差，判斷誤差值滿足要求與否，如果滿足進(jìn)行第8步，否則進(jìn)行下一步。

（6）迭代次數(shù)判斷。如果已經(jīng)達(dá)到最大的迭代次數(shù)，則進(jìn)行第8步，否則進(jìn)行反響傳播，即反向按照公式一層層迭代計(jì)算每層神經(jīng)元的局部梯度。

（7）權(quán)值更新。依據(jù)反向傳播過(guò)程計(jì)算出的局部梯度值，計(jì)算出各矩陣的權(quán)值修正值，并進(jìn)行修正。

（8）終止判斷。終止條件為：所有的樣本都學(xué)習(xí)完成。否則進(jìn)行第3步。

3.2 實(shí)際使用BP神經(jīng)網(wǎng)絡(luò)過(guò)程中的一些問(wèn)題

①樣本的處理?？蛇m當(dāng)放寬輸出條件，例如當(dāng)輸出大于0.9時(shí)就當(dāng)作是1，輸出小于0.1時(shí)當(dāng)作0。對(duì)于輸入樣本，也應(yīng)該進(jìn)行歸一化處理。

②初始化權(quán)值的選擇。權(quán)值的不同對(duì)學(xué)習(xí)結(jié)果會(huì)產(chǎn)生影響，因此選擇一個(gè)相對(duì)比較合理的權(quán)值是非常重要的。實(shí)際使用時(shí)，應(yīng)該用較小的隨機(jī)數(shù)來(lái)對(duì)權(quán)值進(jìn)行初始化，隨機(jī)數(shù)的大小的分布也應(yīng)該是均勻的。

③學(xué)習(xí)率的選擇。神經(jīng)網(wǎng)絡(luò)中有一個(gè)學(xué)習(xí)率的概念，為了保證系統(tǒng)的穩(wěn)定性，通常應(yīng)該取較小的學(xué)習(xí)率，一般選取范圍在0.01―0.8。如果學(xué)習(xí)率過(guò)大，可能會(huì)導(dǎo)致系統(tǒng)不穩(wěn)定。如果學(xué)習(xí)率過(guò)小，會(huì)使得學(xué)習(xí)時(shí)間變長(zhǎng)，收斂也會(huì)變慢。

3.3 BP神經(jīng)網(wǎng)絡(luò)應(yīng)用過(guò)程

BP神經(jīng)網(wǎng)絡(luò)應(yīng)用過(guò)程如圖2所示。

3.4 BP網(wǎng)絡(luò)三個(gè)層的神經(jīng)元數(shù)目的確定

目前還沒(méi)有什么成熟的定理能確定各層神經(jīng)元的神經(jīng)元個(gè)數(shù)和含有幾層網(wǎng)絡(luò)，大量經(jīng)驗(yàn)表明，三層的網(wǎng)絡(luò)可以逼近任意一個(gè)非線性網(wǎng)絡(luò)。

首先，使用已知的樣本對(duì)BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練。對(duì)于輸入層的結(jié)點(diǎn)，其數(shù)目是之前車(chē)牌圖像預(yù)處理后輸出特征的維數(shù)。

對(duì)于隱含層的結(jié)點(diǎn)數(shù)目，一般情況下，隱含層神經(jīng)元數(shù)目和BP網(wǎng)絡(luò)精確度成正比，數(shù)目越多，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間也會(huì)越長(zhǎng)。但是，當(dāng)隱含層神經(jīng)元數(shù)目過(guò)大時(shí)，識(shí)別的準(zhǔn)確率就會(huì)受到影響，同時(shí)也會(huì)使得網(wǎng)絡(luò)的抗噪聲能力下降[4]。綜合考慮上述情況，根據(jù)以往經(jīng)驗(yàn)，使用10個(gè)隱含層的神經(jīng)元。

對(duì)于輸出層結(jié)點(diǎn)數(shù)目，受輸入層結(jié)點(diǎn)數(shù)的約束。本文中，我們采用8421碼對(duì)數(shù)字0―9，字母A―Z，省名簡(jiǎn)稱(chēng)“京津滬冀魯豫鄂蘇皖晉湘桂閩川浙甘寧陜吉遼臺(tái)”依次進(jìn)行編碼。例如，對(duì)于輸出“1”，表示為（0，0，0，0，0，1），對(duì)于輸出“A”，表示為（0，0，1，0，1，0），對(duì)于輸出“京”，表示為（1，0，0，1，0，0）。因此，采用6個(gè)輸出層神經(jīng)元。

然而，實(shí)驗(yàn)中發(fā)現(xiàn)，當(dāng)使用上述結(jié)構(gòu)的標(biāo)準(zhǔn)輸出向量時(shí)，會(huì)出現(xiàn)BP神經(jīng)網(wǎng)絡(luò)無(wú)法收斂的問(wèn)題。原因在于BP網(wǎng)絡(luò)學(xué)習(xí)中采用的激活函數(shù)的輸出只可能無(wú)限接近1或0，但不會(huì)是1或0。針對(duì)這個(gè)問(wèn)題，對(duì)標(biāo)準(zhǔn)輸出向量的編碼方式進(jìn)行如下調(diào)整：用0.1代替0，用0.9代替1。即對(duì)于輸出“0”，表示為（0.1，0.1，0.1，0.1，0.1，0.1），對(duì)于輸出“1”，表示為（0.1，0.1，0.1，0.1，0.1，0.9），對(duì)于輸出“A”，表示為（0.1，0.1，0.9，0.1，0.9，0.1），對(duì)于輸出“京”，表示為（0.9，0.1，0.1，0.9，0.1，0.1），以此類(lèi)推。

3.5 BP神經(jīng)網(wǎng)絡(luò)識(shí)別字符的流程

使用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識(shí)別，實(shí)際上可看作是訓(xùn)練和識(shí)別兩個(gè)過(guò)程。其中，訓(xùn)練就是提取訓(xùn)練樣本的特征向量。第一步，將挑選好的圖像形式的已知數(shù)據(jù)作為訓(xùn)練樣本，這些已知數(shù)據(jù)能夠很好的反應(yīng)樣本的可分性。第二步，在訓(xùn)練樣本圖像經(jīng)過(guò)進(jìn)行特征提取操作后送入BP網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。訓(xùn)練之前，要提前輸入一系列訓(xùn)練參數(shù)。

經(jīng)過(guò)BP網(wǎng)絡(luò)的訓(xùn)練后，就可以用其對(duì)待識(shí)別數(shù)據(jù)進(jìn)行識(shí)別。待識(shí)別數(shù)據(jù)在經(jīng)過(guò)灰度化、二值化、歸一化、分割等預(yù)處理操作后，再經(jīng)過(guò)特征向量提取，最后在BP網(wǎng)絡(luò)中進(jìn)行識(shí)別，得出識(shí)別結(jié)果。

3.6 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)中采用了在不同環(huán)境下拍攝到的100張車(chē)牌圖像，這些牌照的清晰程度、區(qū)域大小都不相同，按照前文所述BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行模擬實(shí)驗(yàn)。根據(jù)表1所示識(shí)別結(jié)果，由于個(gè)別字母與數(shù)字之間有相似之處，導(dǎo)致其識(shí)別率相對(duì)較低，分別為95.9%、96.2%。而車(chē)牌中漢子字符數(shù)量很少，且特征相對(duì)比較明顯，使得其識(shí)別率相對(duì)較高，實(shí)驗(yàn)結(jié)果為98.0%。

4 結(jié)論（Conclusion）

基于BP神經(jīng)網(wǎng)絡(luò)的車(chē)牌字符識(shí)別方法，對(duì)于比較清晰的車(chē)牌圖像，本方法能有效識(shí)別其中的字符，但對(duì)于較低解析度和較為模糊的車(chē)牌還需要進(jìn)行很多預(yù)處理的工作，因?yàn)楸仨殞④?chē)牌中的字符獨(dú)立地被分割后，才能用該方法進(jìn)行識(shí)別。而事實(shí)上，在那些圖像不夠清晰的車(chē)牌上分割出獨(dú)立的字符也是特別困難的。雖然，BP神經(jīng)網(wǎng)絡(luò)在識(shí)別效果上提高的余地較大，具有較強(qiáng)的容錯(cuò)能力，還可進(jìn)一步訓(xùn)練學(xué)習(xí)，識(shí)別率較高，但其識(shí)別速度較慢，不能滿足實(shí)時(shí)性的要求。

參考文獻(xiàn)（References）

[1] 郭榮燕，胡雪惠.BP神經(jīng)網(wǎng)絡(luò)在車(chē)牌字符識(shí)別中的應(yīng)用[J].計(jì)

算機(jī)仿真，2010（9）：299-301；350.

[2] 劉靜.幾種車(chē)牌字符識(shí)別算法的比較[J].電腦與電信，2008（8）：

72-73；78.

[3] 石云.BP神經(jīng)網(wǎng)絡(luò)的Matlab實(shí)現(xiàn)[J].湘南學(xué)院學(xué)報(bào)，2010（5）：86-

88；111.

[4] 尹念東.BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用設(shè)計(jì)[J].信息技術(shù)，2003（6）：18-20.

作者簡(jiǎn)介：

篇7

關(guān)鍵詞：自主角色; 神經(jīng)網(wǎng)絡(luò); 遺傳算法

中圖分類(lèi)號(hào)： TP183

文獻(xiàn)標(biāo)識(shí)碼：A

0引言

隨著計(jì)算機(jī)圖形學(xué)和硬件技術(shù)的高速發(fā)展，計(jì)算機(jī)游戲近十幾年也取得了很大的發(fā)展，游戲軟件已成為軟件產(chǎn)業(yè)中非常重要的內(nèi)容。游戲的類(lèi)型主要包括FPS（第一人稱(chēng)射擊）、RPG（角色扮演類(lèi)型）和RTS（即時(shí)戰(zhàn)略游戲）等幾種類(lèi)型，這些不同類(lèi)型的游戲都要求游戲控制的角色（NPC）與玩家控制的角色（PLAYER）要有行為的交互，交互的方式直接影響玩家對(duì)游戲的興趣度。因此，對(duì)NPC與PLAYER之間的角色交互行為方式的研究已經(jīng)成為游戲軟件中的一個(gè)非常重要的研究課題。

目前大多數(shù)游戲中的角色行為的交互方式采用的是確定型的交互行為，其特征主要表現(xiàn)在角色的行為都是預(yù)先確定的，這種類(lèi)型的行為實(shí)現(xiàn)起來(lái)較為簡(jiǎn)單，也是目前大多數(shù)游戲所采用的交互方式。像這種確定性的行為往往體現(xiàn)不出角色的自主性，而且還會(huì)導(dǎo)致角色行動(dòng)單調(diào)乏味，其行動(dòng)很容易被玩家所預(yù)測(cè),降低游戲的可玩性。為此,我們需要在游戲軟件中設(shè)計(jì)和實(shí)現(xiàn)這樣的NPC角色，它能夠根據(jù)當(dāng)前環(huán)境的變化以及以往的經(jīng)驗(yàn)知識(shí)來(lái)動(dòng)態(tài)地改變對(duì)PLAYER的行為。具有這種能力的角色，我們稱(chēng)之為自主角色,也稱(chēng)為自適應(yīng)角色。具有自主和自適應(yīng)特點(diǎn)的角色可具有推理能力和自適應(yīng)能力,在游戲環(huán)境下可更受玩家的歡迎。

一款擁有自主角色的游戲能夠牢牢地吸引玩家的注意力，從而延長(zhǎng)這款游戲的生命周期，因此促使游戲開(kāi)發(fā)人員花更多的時(shí)間來(lái)研究自主角色的實(shí)現(xiàn)。一些公司已經(jīng)開(kāi)始嘗試從人工智能領(lǐng)域發(fā)展出更加高級(jí)的技術(shù)，如采用決策樹(shù)或者強(qiáng)化學(xué)習(xí)來(lái)實(shí)現(xiàn)角色的自主性，也有的像著名的游戲Colin McRae Rally2則采用了學(xué)習(xí)系統(tǒng)和神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)角色的自主性。

有關(guān)自主角色行為的論文已經(jīng)有很多做出了卓有成效的成績(jī)，如在Reynolds的文獻(xiàn)［1］中，對(duì)自主角色的群體行為進(jìn)行了描述。Blumberg和Galyean［2］中引入更多的行為控制機(jī)制，并考慮了行為學(xué)習(xí)這樣一個(gè)令人感興趣的問(wèn)題。對(duì)于自主角色的更高層次的認(rèn)知能力方面，John David Fungc［3］中指出，認(rèn)知模型是用于創(chuàng)建虛擬世界的模型“金字塔”的頂層，底層的行為模型作為認(rèn)知模型和物理學(xué)模型之間的緩沖區(qū)，并將情景演算(situation calculus)［4］用于高度動(dòng)態(tài)的虛擬世界。

但是，上述各種方法因?yàn)閭?cè)重點(diǎn)不同，各有優(yōu)缺點(diǎn)，且相互之間較為獨(dú)立，因此本文結(jié)合上述一些方法的優(yōu)點(diǎn)，在此基礎(chǔ)上提出了基于認(rèn)知角色建模，采用神經(jīng)網(wǎng)絡(luò)和遺傳算法相結(jié)合的游戲自主角色的設(shè)計(jì)思路?；诖耍餍」?jié)安排如下：

第一節(jié)確定了基于認(rèn)知建模方法的游戲自主角色模型；第二節(jié)介紹了神經(jīng)網(wǎng)絡(luò)在實(shí)現(xiàn)自主角色中的應(yīng)用；第三節(jié)說(shuō)明了遺傳算法對(duì)神經(jīng)網(wǎng)絡(luò)的優(yōu)化；第四節(jié)對(duì)自主角色的實(shí)驗(yàn)進(jìn)行了分析。

1基于認(rèn)知建模的角色自主性模型

由于認(rèn)知建模方法能夠采用精確的數(shù)學(xué)方式來(lái)定義自主角色的行為和學(xué)習(xí)模式，因此本文采用認(rèn)知建模方法來(lái)對(duì)游戲角色的自主性進(jìn)行建模。這里將游戲中存在的非玩家控制的角色簡(jiǎn)稱(chēng)為NPC,通過(guò)認(rèn)知建模方法研究NPC的高級(jí)行為規(guī)劃，指導(dǎo)NPC,提高NPC的智能水平能力，使NPC能夠?qū)Νh(huán)境作出判斷，并根據(jù)當(dāng)前的狀態(tài)進(jìn)行推理，進(jìn)而完成相應(yīng)的行動(dòng)序列,有利于創(chuàng)建聰明自主的智能體――具有認(rèn)知能力的自主的角色。

在計(jì)算機(jī)游戲中，我們將游戲角色關(guān)于他所在世界的內(nèi)部模型稱(chēng)“認(rèn)知模型”(Cognitive Model)。認(rèn)知模型可以用于游戲中，控制一類(lèi)自主的角色。通過(guò)認(rèn)知模型支配游戲角色對(duì)其所在環(huán)境的了解程度，如何獲取知識(shí)，以及如何利用知識(shí)選擇行動(dòng)。

NPC的行為分為“預(yù)定義的”和“非確定性的”兩種，建立的認(rèn)知模型也各不相同。建立預(yù)定義行為的認(rèn)知模型比較簡(jiǎn)單，只要將事先定義好的NPC所在環(huán)境的領(lǐng)域知識(shí)賦予NPC系統(tǒng)，NPC就可以根據(jù)人們的要求采取某種行動(dòng)。而非確定性的行為不容易控制。為了實(shí)現(xiàn)人為的控制，我們采取一種折中的方法，即將領(lǐng)域知識(shí)和人的指導(dǎo)賦予NPC，使NPC主動(dòng)地向人們希望它達(dá)到的目標(biāo)發(fā)展。可由下面的公式表示:

知識(shí)+指導(dǎo)=行為

領(lǐng)域知識(shí)能夠用來(lái)規(guī)劃目標(biāo)，而指導(dǎo)對(duì)如何達(dá)到目標(biāo)提供一種框架計(jì)劃。

當(dāng)然NPC在決定采取什么樣的行動(dòng)時(shí)并不需要整個(gè)虛擬世界的知識(shí)。所以，我們認(rèn)為NPC的認(rèn)知模型是角色對(duì)其虛擬世界的一種內(nèi)部簡(jiǎn)化模型〔simplified model〕。

為此我們?cè)诂F(xiàn)有游戲系統(tǒng)之上營(yíng)造一個(gè)通過(guò)認(rèn)知模型定義的高級(jí)行為規(guī)劃器來(lái)實(shí)現(xiàn)對(duì)NPC的行為指導(dǎo)。規(guī)劃器模型設(shè)計(jì)如圖1所示。

NPC的預(yù)定義行為和非確定行為都可以形式化為認(rèn)知模型，通過(guò)認(rèn)知模型來(lái)指導(dǎo)NPC高級(jí)行為規(guī)劃器，由于神經(jīng)網(wǎng)絡(luò)在非確定中的強(qiáng)大的學(xué)習(xí)作用，因此本項(xiàng)目通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)NPC高級(jí)行為規(guī)劃器的三個(gè)方面：目標(biāo)引導(dǎo)、行為協(xié)調(diào)、約束滿足。

2基于人工神經(jīng)網(wǎng)絡(luò)的角色自主系統(tǒng)

這里,我們采用的是神經(jīng)網(wǎng)絡(luò)中的BP網(wǎng)絡(luò)作為NPC的感知系統(tǒng)。BP算法是一種用于多層前向網(wǎng)絡(luò)的學(xué)習(xí)算法，它包括輸入層、輸出層和隱含層，隱含層可以是多層結(jié)構(gòu)。BP網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程包括兩個(gè)階段:第一階段計(jì)算前向輸出;第二階段從反向調(diào)整連接權(quán)矩陣。

在前向傳播過(guò)程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每一層神經(jīng)元的輸出作為上層神經(jīng)元的輸入.如果在輸出層，實(shí)際輸出值與期望輸出值有誤差時(shí)，則以反向?qū)⒄`差信號(hào)逐層修改連接權(quán)系數(shù)并且反復(fù)迭代，最后使實(shí)際輸出值與期望值的均方差為最小。在修正連接權(quán)系數(shù)時(shí)，通常采用梯度下降算法。

BP神經(jīng)網(wǎng)絡(luò)使用的是指導(dǎo)式的學(xué)習(xí)方法,即在學(xué)習(xí)過(guò)程中,向網(wǎng)絡(luò)提供有明確輸入和輸出目標(biāo)的樣本對(duì)。BP學(xué)習(xí)算法是基于最小二乘法LMS 算法,運(yùn)用梯度下降方法,使網(wǎng)絡(luò)的實(shí)際輸出與期望輸出的均方差最小。網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程是一種誤差邊向后傳播邊修正連接權(quán)的過(guò)程。因?yàn)锽P網(wǎng)絡(luò)對(duì)以分類(lèi)為主要目的的學(xué)習(xí)非常有效,所以,我們采用B P網(wǎng)絡(luò)進(jìn)行NPC分類(lèi)的自學(xué)習(xí)。需要輸入NPC自主系統(tǒng)中BP網(wǎng)絡(luò)的特征參數(shù)主要是NPC的生命值,NPC的攻擊力，NPC的防御力，NPC的情感值等，玩家虛擬角色的生命值,玩家虛擬角色的攻擊力，玩家虛擬角色的防御力，玩家虛擬角色的情感值等。

NPC在虛擬游戲環(huán)境下，在與玩家的不斷交互中刺激著感知系統(tǒng)，在外界環(huán)境發(fā)生變化時(shí)產(chǎn)生認(rèn)知模型指導(dǎo)下的自主行為，通過(guò)神經(jīng)網(wǎng)絡(luò)最終演化成具有自主性的行為系統(tǒng)，同時(shí)，利用遺傳算法使適應(yīng)度有一定程度的增加，使NPC更適應(yīng)外界環(huán)境的變化。關(guān)于NPC的感知系統(tǒng)的設(shè)置如下：

1） 輸入?yún)?shù)的確定

NPC的感知系統(tǒng)由人工神經(jīng)網(wǎng)絡(luò)構(gòu)成，虛擬游戲環(huán)境的特征參數(shù)作為輸入送入神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。在我們的游戲項(xiàng)目中，輸入主要包括三種類(lèi)型：布爾類(lèi)型、枚舉類(lèi)型和連續(xù)類(lèi)型三種，但是這三種類(lèi)型都需要轉(zhuǎn)化成神經(jīng)網(wǎng)絡(luò)所認(rèn)可的實(shí)數(shù)類(lèi)型。

2） 權(quán)重的確定

權(quán)重有些類(lèi)似于生物神經(jīng)網(wǎng)絡(luò)的樹(shù)突聯(lián)結(jié)，權(quán)重影響了輸出變量的值，并且定義了神經(jīng)網(wǎng)絡(luò)的行為，實(shí)際上訓(xùn)練或者演化神經(jīng)網(wǎng)絡(luò)的主要目標(biāo)就是確定NPC神經(jīng)網(wǎng)絡(luò)的權(quán)重。為了確定每個(gè)輸入?yún)?shù)的權(quán)重，需要確定激活函數(shù)。

3） 激活函數(shù)的確定

激活函數(shù)確定了輸入與輸出參數(shù)之間的映射關(guān)系，針對(duì)NPC自主角色的神經(jīng)網(wǎng)絡(luò)，我們采用的是非線性激活函數(shù)，具體采用的是S型激活函數(shù)。

3基于遺傳算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化

神經(jīng)網(wǎng)絡(luò)的基本特征是大規(guī)模并行處理、容錯(cuò)性、自適應(yīng)性和自組織性，適合處理直覺(jué)和形象思維信息。神經(jīng)網(wǎng)絡(luò)與遺傳算法的結(jié)合使神經(jīng)網(wǎng)絡(luò)的訓(xùn)練有了一個(gè)嶄新的面貌，目標(biāo)函數(shù)既不要求連續(xù)，也不要求可微，僅要求該問(wèn)題可計(jì)算，而且它的搜索始終遍及整個(gè)解空間，因此容易得到全局最優(yōu)解。用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)，可以使得神經(jīng)網(wǎng)絡(luò)具有自進(jìn)化、自適應(yīng)能力，從而構(gòu)造出進(jìn)化的神經(jīng)網(wǎng)絡(luò)(ENN)［5］。

研究NPC的進(jìn)化,要建立NPC在虛擬環(huán)境中進(jìn)行的各種行為模型。另外,同虛擬環(huán)境本身也會(huì)發(fā)生競(jìng)爭(zhēng)。由于適應(yīng)度是NPC競(jìng)爭(zhēng)力大小的直接反映,為了建立NPC的競(jìng)爭(zhēng)機(jī)制,首先要建立NPC的適應(yīng)度函數(shù)。

首先,NPC的適應(yīng)度函數(shù)和NPC的種類(lèi)相關(guān)。在同一環(huán)境下,不同NPC的適應(yīng)度肯定是不相同的［6］。同時(shí),為了表現(xiàn)NPC自學(xué)習(xí)對(duì)進(jìn)化的影響,有了學(xué)習(xí)能力的同種NPC適應(yīng)度的取值也有所不同。其次,NPC的適應(yīng)度還與其所處的不同階段有關(guān)。適應(yīng)度取值在其不同階段中不是一成不變的。

在環(huán)境不發(fā)生變化時(shí),NPC的適應(yīng)度函數(shù)F(t)可以用此函數(shù)表示:

其中,參數(shù)a表示NPC的生命力值;參數(shù)k表示NPC的類(lèi)型,不同的NPC對(duì)同一游戲環(huán)境的適應(yīng)性是不一樣的,當(dāng)k取不同的值時(shí),會(huì)得到適應(yīng)度不同的各種NPC。接著按照以下工作步驟操作：

1） 從NPC神經(jīng)網(wǎng)絡(luò)中提取權(quán)重向量；

2） 用遺傳算法演化出一個(gè)新的網(wǎng)絡(luò)權(quán)重群體；

3） 把新的權(quán)重插入到NPC神經(jīng)網(wǎng)絡(luò)；

4） 轉(zhuǎn)到第一步進(jìn)行重復(fù)，直至獲得理想的性能。

4試驗(yàn)分析

我們的實(shí)驗(yàn)測(cè)試場(chǎng)景如下：

在一個(gè)仿真的三維游戲環(huán)境下,游弋著若干個(gè)NPC角色和一個(gè)玩家控制的虛擬角色,主角可以漫游整個(gè)游戲場(chǎng)景,這些NPC當(dāng)遇到主角后,可能會(huì)對(duì)主角采取不同的行為,比如攻擊行為,逃避行為,團(tuán)隊(duì)作戰(zhàn)行為,對(duì)話行為等,所有這些行為的決策都取自于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

在采用神經(jīng)網(wǎng)絡(luò)算法之前，所有的NPC無(wú)論強(qiáng)弱，都會(huì)主動(dòng)向玩家角色發(fā)起攻擊，而在采用神經(jīng)網(wǎng)絡(luò)算法之后，這些NPC都具有了一個(gè)人工大腦，每個(gè)NPC在與玩家角色的交互過(guò)程不斷地學(xué)習(xí)，不斷地演化，最終變成自主角色，具體表現(xiàn)在：NPC根據(jù)以往與玩家角色交互過(guò)程中的經(jīng)驗(yàn)，從而產(chǎn)生較為理智的行為，比如當(dāng)NPC感覺(jué)玩家的綜合實(shí)力要高于自己時(shí)，它可能會(huì)采取逃避的行為，而當(dāng)NPC感覺(jué)其綜合實(shí)力要高于玩家時(shí)，它往往會(huì)主動(dòng)攻擊玩家。

表1和表2列舉了應(yīng)用神經(jīng)網(wǎng)絡(luò)算法前后的測(cè)試數(shù)據(jù)。

應(yīng)用神經(jīng)網(wǎng)絡(luò)算法所采取的實(shí)驗(yàn)方案如下：

(1) 對(duì)于NPC感知系統(tǒng)的輸入，包括與虛擬玩家角色的距離， 虛擬玩家的攻擊力，防御力，生命力，魔法力，信譽(yù)度，NPC自身的攻擊力，防御力，生命力，魔法力，信譽(yù)度。并將參數(shù)歸一化，使最終的參數(shù)范圍位于[-1, 1]之間；

(2) 對(duì)于NPC感知系統(tǒng)的輸出，包括躲避，單獨(dú)攻擊，潛伏，召喚同伴，團(tuán)隊(duì)攻擊等行為。即將神經(jīng)元的輸出元設(shè)計(jì)成五個(gè)，這些行為通過(guò)一些標(biāo)志符來(lái)確定，例如， 如果代表攻擊的輸出位為1，則其他位為零。

通過(guò)對(duì)比兩組測(cè)試試驗(yàn),可以發(fā)現(xiàn)后一組試驗(yàn)中,NPC能夠根據(jù)自己的實(shí)力和玩家的實(shí)力對(duì)比，理智的采取一些行為（比如退避，呼喚同伴協(xié)同作戰(zhàn)）而不是一味盲目攻擊， NPC的存活率顯然就很高，因此也顯得較為智能。

篇8

關(guān)鍵詞：遺傳算法 神經(jīng)網(wǎng)絡(luò) 瓦斯突出 預(yù)測(cè)

中圖分類(lèi)號(hào)：TD712 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2017）01（a）-0000-00

預(yù)測(cè)煤層中的瓦斯含量是進(jìn)行煤與瓦斯突出風(fēng)險(xiǎn)研究的重要一環(huán)，由于影響瓦斯含量的地質(zhì)因素復(fù)雜多樣，以及各因素間存在著復(fù)雜的非線性關(guān)系，迄今為止，對(duì)瓦斯突出的預(yù)測(cè)主要使用回歸分析方法，預(yù)測(cè)的結(jié)果往往跟實(shí)際的情況差別較大，因此需要使用新的方法建立預(yù)測(cè)模型來(lái)實(shí)現(xiàn)對(duì)瓦斯突出高精度的預(yù)測(cè)。

1 利用遺傳算法改進(jìn)的神經(jīng)網(wǎng)絡(luò)建立瓦斯突出預(yù)測(cè)模型

（1）網(wǎng)絡(luò)輸入?yún)?shù)的確定：經(jīng)查閱相關(guān)文獻(xiàn)和咨詢(xún)得知瓦斯突出的主要影響因素有：煤層底板標(biāo)高、煤層到斷層距離、煤層到最近剝蝕面距離、頂板砂巖比、統(tǒng)計(jì)單元中有無(wú)斷層、基巖厚度、煤厚。

（2）網(wǎng)絡(luò)輸出參數(shù)的確定：選擇二進(jìn)制數(shù)0和1分別表征瓦斯不突出和突出。

（3）網(wǎng)絡(luò)的構(gòu)造： 一般地可以用一個(gè)三層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)預(yù)測(cè)功能，此神經(jīng)網(wǎng)絡(luò)的輸入層有n個(gè)神經(jīng)元，根據(jù)經(jīng)驗(yàn)公式選取隱含層有（2n+1）個(gè)神經(jīng)元，輸出層有m個(gè)神經(jīng)元，因此本模型中的神經(jīng)網(wǎng)絡(luò)可以采用3層神經(jīng)網(wǎng)絡(luò)。

（4）網(wǎng)絡(luò)的訓(xùn)練：訓(xùn)練樣本取自唐山開(kāi)灤多個(gè)礦井具有代表性的10個(gè)突出點(diǎn)，利用突出點(diǎn)的數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到預(yù)測(cè)模型。

（5）網(wǎng)絡(luò)的精確度驗(yàn)證： 利用已完成的人工神經(jīng)網(wǎng)絡(luò)對(duì)實(shí)際問(wèn)題進(jìn)行試驗(yàn)研究。把在開(kāi)灤礦井采取的11～20組數(shù)據(jù)的瓦斯突出指標(biāo)輸入已經(jīng)訓(xùn)練的網(wǎng)絡(luò)中，驗(yàn)證人工神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果與實(shí)際突出情況的吻合度，如果吻合度低，就需要對(duì)網(wǎng)絡(luò)進(jìn)行改動(dòng)，直至達(dá)到滿意的吻合度。

（6）利用遺傳算法對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行優(yōu)化

個(gè)體的編碼：將神經(jīng)網(wǎng)絡(luò)各層之間可能存在的連接權(quán)值和閾值編碼成實(shí)數(shù)碼串或者進(jìn)行二進(jìn)制碼串，每條碼串中包含著網(wǎng)絡(luò)中的所有權(quán)值、閾值其排列順序可以隨意定義，不受限制，組成一個(gè)染色體。

產(chǎn)生初始種群：隨機(jī)生成一定數(shù)量的碼串個(gè)體作為一個(gè)初始種群。

計(jì)算適應(yīng)度：設(shè)網(wǎng)絡(luò)有K個(gè)訓(xùn)練樣本，讓所有的訓(xùn)練樣本依次通過(guò)解碼后生成的神經(jīng)網(wǎng)絡(luò)，計(jì)算所有訓(xùn)練樣本一次通過(guò)的平均總誤差作為每條染色體的適應(yīng)度， 其中， 為瓦斯含量的實(shí)測(cè)值， 為網(wǎng)絡(luò)的輸出值。

④將網(wǎng)絡(luò)的所有連接權(quán)值和閾值進(jìn)行實(shí)數(shù)編碼，構(gòu)成一個(gè)染色體，每條染色體代表一個(gè)神經(jīng)網(wǎng)絡(luò)模型的權(quán)值和閾值。設(shè)定初始種群規(guī)模為20，進(jìn)化代數(shù)為220，交叉概率0.2 ，變異概率為0.1，為了防止遺傳算法的早熟現(xiàn)象，變異概率先定義為0.1，然后在逐漸遞增。算法運(yùn)行到158代時(shí)獲得最佳的連接權(quán)值，網(wǎng)絡(luò)平均總誤差為0.001。

2 實(shí)例分析及算例求解

選取唐山開(kāi)灤煤礦為例，對(duì)該地進(jìn)行瓦斯含量預(yù)測(cè)研究。對(duì)影響瓦斯含量的主要因素進(jìn)行分析，歸納確定了神經(jīng)網(wǎng)絡(luò)的輸入層神經(jīng)元個(gè)數(shù)為7，對(duì)應(yīng)為7個(gè)輸入變量即7個(gè)影響瓦斯含量的因素。其中對(duì)輸入變量中的頂板砂巖比、統(tǒng)計(jì)單元中有無(wú)斷層、頂板基巖厚度、煤層厚度四個(gè)影響因素采用二變量比值法將其定量化。處理方法的劃分條件如表1所示，輸出層神經(jīng)元個(gè)數(shù)是1。在開(kāi)灤集團(tuán)獲得的相關(guān)數(shù)據(jù)如表2所示，其中1～10作為網(wǎng)絡(luò)訓(xùn)練樣本，11～20作為網(wǎng)絡(luò)檢驗(yàn)樣本，用來(lái)檢驗(yàn)?zāi)Ｐ偷念A(yù)測(cè)精度。

利用前10組數(shù)分別訓(xùn)練自適應(yīng)的BP神經(jīng)網(wǎng)絡(luò)和與遺傳算法結(jié)合改進(jìn)的網(wǎng)絡(luò)得到瓦斯突出預(yù)測(cè)模型，如圖1和2所示。然后利用11～20組的樣本對(duì)網(wǎng)絡(luò)性能進(jìn)行檢驗(yàn)，并將檢驗(yàn)結(jié)果和實(shí)測(cè)值的數(shù)據(jù)進(jìn)行對(duì)比，對(duì)比后的結(jié)果如表3所示。 由圖1、2可知用遺傳算法改進(jìn)的神經(jīng)網(wǎng)絡(luò)收斂速度更快，由表3可知用遺傳算法改進(jìn)后的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的值跟實(shí)際的值更加的逼近即預(yù)測(cè)精度高。

3 結(jié)論

本文采用遺傳算法與神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，通過(guò)優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，使得預(yù)測(cè)的絕對(duì)誤差從-0.0119～0.2000縮小到-0.0013～0.0611，提高了預(yù)測(cè)的精度，加快了收斂速度。對(duì)煤礦安全發(fā)展具有一定的意義。

參考文獻(xiàn)

[1]曾文飛，張英杰，顏玲.遺傳算法的基本原理及其應(yīng)用研究[J]，軟件導(dǎo)刊，2009

[2]梁芳.遺傳算法的改進(jìn)及其應(yīng)用[D].武漢理工大學(xué)，2008.

[3]彭海雁.影響煤與瓦斯突出的主控因素研究[D].東北大學(xué)，2013.

篇9

【關(guān)鍵詞】人工神經(jīng)網(wǎng)絡(luò) BP算法 故障診斷 發(fā)動(dòng)機(jī)

近年來(lái)，汽車(chē)越來(lái)越多地出現(xiàn)在普通百姓家庭。發(fā)動(dòng)機(jī)系統(tǒng)是汽車(chē)的心臟，大部分零件處于高溫、高壓的工作環(huán)境且處在高速運(yùn)動(dòng)當(dāng)中，設(shè)備復(fù)雜、參數(shù)多，其故障的發(fā)生率高，診斷起來(lái)困難繁瑣，本文針對(duì)這一問(wèn)題，在掌握發(fā)動(dòng)機(jī)運(yùn)行流程后，引入了BP神經(jīng)網(wǎng)絡(luò)故障診斷方法，并適當(dāng)改進(jìn)，測(cè)試結(jié)果表明，該方法可靠有效實(shí)用。

3 自適應(yīng)BP網(wǎng)絡(luò)實(shí)例應(yīng)用

3.1 網(wǎng)絡(luò)輸入輸出向量及參數(shù)的選取

由汽車(chē)維修專(zhuān)家提供典型發(fā)動(dòng)機(jī)系統(tǒng)故障現(xiàn)象及相應(yīng)的故障原因?qū)嵗鳛橛?xùn)練樣本。以故障類(lèi)型X=（x1，x2，x3，x4）作為輸入，故障原因R=（r1，r2，…，r12）作為輸出，建立故障模式與故障原因之間的映射關(guān)系。如表1所示。

3.2 網(wǎng)絡(luò)的創(chuàng)建、訓(xùn)練與檢驗(yàn)

按照樣本的模式對(duì)，確定輸入層節(jié)點(diǎn)個(gè)數(shù)為4，輸出層節(jié)點(diǎn)個(gè)數(shù)為12。輸出節(jié)點(diǎn)值的大小反映了故障出現(xiàn)的可能程度。而隱含層節(jié)點(diǎn)的個(gè)數(shù)可參照經(jīng)驗(yàn)公式選取：其中為輸出節(jié)點(diǎn)數(shù)，n為輸入節(jié)點(diǎn)數(shù)，為1至10的常數(shù)。

將故障類(lèi)型及原因分析表中的文字描述進(jìn)行轉(zhuǎn)換并編碼，就得到樣本訓(xùn)練表，如表2所示。

選取網(wǎng)絡(luò)的初始學(xué)習(xí)率=1，動(dòng)量因子=0.01，初始學(xué)習(xí)率調(diào)整因子β=1，訓(xùn)練過(guò)程中根據(jù)誤差變化實(shí)時(shí)調(diào)整學(xué)習(xí)率，取β=0.9（誤差變大時(shí)），β=1.1（誤差變小時(shí)）。

采用Matlab軟件編寫(xiě)程序?qū)颖具M(jìn)行訓(xùn)練。

3.3 誤差分析與判定

利用同一組樣本對(duì)改進(jìn)的BP算法和傳統(tǒng)BP算法分別進(jìn)行測(cè)試，并對(duì)照研究，進(jìn)行誤差分析。表3為階段性均方誤差所需要的訓(xùn)練次數(shù)對(duì)比，圖1為增加動(dòng)量項(xiàng)的BP算法對(duì)網(wǎng)絡(luò)訓(xùn)練誤差的影響，圖2為采用自適應(yīng)學(xué)習(xí)率BP算法對(duì)網(wǎng)絡(luò)訓(xùn)練誤差的影響，可以直觀地看出，兩種方法都可以極大地加快網(wǎng)絡(luò)的訓(xùn)練過(guò)程，將兩種方法結(jié)合到一起，則效果更好，如圖3所示。

需要注意的是，建議學(xué)習(xí)率調(diào)整率不能取值太大，使步長(zhǎng)平穩(wěn)，同時(shí)設(shè)定學(xué)習(xí)率的最大值，超過(guò)后就不再調(diào)整，防止出現(xiàn)過(guò)調(diào)。

4 結(jié)論

本文把基于BP神經(jīng)網(wǎng)絡(luò)的故障診斷技術(shù)引入汽車(chē)發(fā)動(dòng)機(jī)故障診斷系統(tǒng)，通過(guò)增加動(dòng)量項(xiàng)和自適應(yīng)調(diào)節(jié)學(xué)習(xí)率兩種方法來(lái)對(duì)基本的BP網(wǎng)絡(luò)學(xué)習(xí)算法進(jìn)行改進(jìn)，可以極大地加快BP 神經(jīng)網(wǎng)絡(luò)收斂過(guò)程，提高學(xué)習(xí)速度。通過(guò)分析，人工神經(jīng)網(wǎng)絡(luò)能夠在發(fā)動(dòng)機(jī)系統(tǒng)的監(jiān)測(cè)及診斷中發(fā)揮較大的作用，并且在設(shè)計(jì)診斷工具和改進(jìn)診斷方式中有一定的借鑒功能。

參考文獻(xiàn)

[1]韓力群.人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)及應(yīng)用[M].北京：化學(xué)工業(yè)出版社，2002.

[2]黃勇，郭曉平.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的柴油機(jī)故障診斷研究[J].汽車(chē)科技，2009（03）.

[3]張冉，趙成龍.改進(jìn)BP網(wǎng)絡(luò)在汽輪發(fā)電機(jī)組故障診斷中的應(yīng)用[J].計(jì)算機(jī)仿真，2011（07）.

[4]張延林，佟德軍.BP神經(jīng)網(wǎng)絡(luò)的汽車(chē)故障診斷研究[J].自動(dòng)化儀表，2009（04）.

[5]禹建麗，卞帥.基于BP神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷模型[J].系統(tǒng)仿真學(xué)報(bào)，2014（06）.

[6]姜蕊.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的速度預(yù)測(cè)模型[J].交通工程，2013（04）.

[7]陳懷琛，吳大正，高西全.MATLAB及在電子信息課程中的應(yīng)用[M].北京：電子工業(yè)出版社，2006（03）.

篇10

關(guān)鍵詞：矸石和粉煤灰配合比； BP神經(jīng)網(wǎng)絡(luò)；遺傳算法；最優(yōu)配比

河北金牛能源股份有限公司邢臺(tái)礦綜采面充填采煤技術(shù)，自應(yīng)用以來(lái)取得了非常好的經(jīng)濟(jì)效益和社會(huì)效益，在7606工作面進(jìn)行了系統(tǒng)的試驗(yàn)和研究，在試驗(yàn)過(guò)程中發(fā)現(xiàn)矸石與粉煤灰作為充填開(kāi)采的骨料，其物理力學(xué)基本特性對(duì)充填開(kāi)采運(yùn)輸系統(tǒng)及充填工藝的設(shè)計(jì)至關(guān)重要，因此合理的最優(yōu)的矸石和粉煤灰的配比是控制開(kāi)采巖層移動(dòng)和地表沉降的關(guān)鍵所在，本文結(jié)合計(jì)算智能領(lǐng)域的遺傳算法和神經(jīng)網(wǎng)絡(luò)方法，利用遺傳算法的非線性尋優(yōu)能力和神經(jīng)網(wǎng)絡(luò)的非線性擬合能力，來(lái)尋找最優(yōu)方案。[1]，[2]

1 矸石與粉煤灰的物理化學(xué)特性

1.1 矸石的物理化學(xué)特性

1.1.1礦物成分測(cè)試

本測(cè)試采用的測(cè)試儀器為D/Max-3B型X射線衍射儀，由日本理學(xué)公（Rigaku）生產(chǎn)。測(cè)試條件為：Cu靶，Kα輻射，石墨彎晶單色器。狹縫系統(tǒng)為： DS（發(fā)散狹縫）：1°，RS（接收狹縫）：1°，SS（防散射狹縫）：0.15mm，RSM（單色器狹縫）： 0.6°。其中：X射線管電流為30mA，電壓為35kV。在定量分析過(guò)程中采用的掃描方式為步進(jìn)掃描，掃描速度0.25°/min，采樣間隔0.01°。

定量分析所采用的分析標(biāo)準(zhǔn)為：按照中國(guó)標(biāo)準(zhǔn)（GB5225--86）的K值法進(jìn)行定量分析，洗選矸石的組成成分分別見(jiàn)表1-1，X-射線衍射圖譜分別如圖1-1所示。

在定性分析過(guò)程中采用的掃描方式為連續(xù)掃描，采樣間隔為0.02°，掃描速度為3°/min。定性分析所采用的分析標(biāo)準(zhǔn)為：利用粉末衍射聯(lián)合會(huì)國(guó)際數(shù)據(jù)中心（JCPDS--ICDD）提供的各種物質(zhì)標(biāo)準(zhǔn)粉末衍射資料（PDF），并按照標(biāo)準(zhǔn)分析方法進(jìn)行對(duì)照分析。兩種樣品分析結(jié)果表明，洗選矸石主要成分是高嶺石、石英，有部分伊蒙混層、伊利石、非晶物質(zhì)和少量的其它礦物，其中的部分非晶物質(zhì)，分析認(rèn)為可能是煤或其它物質(zhì)；粉煤灰主要成分是非晶物質(zhì)，含有略多的石英，有部分莫來(lái)石、伊利石和少量的方解石、CaSO4、長(zhǎng)石等礦物。樣品中的非晶態(tài)物質(zhì)無(wú)法確定，分析認(rèn)為可能含有部分煤等非晶物質(zhì)，也可能是粘土中溫加熱產(chǎn)生的非晶物質(zhì)。

1.1.2化學(xué)成分測(cè)試

洗選矸石與粉煤灰的礦物組成直接影響煤矸石的工程性質(zhì)。洗選矸石的化學(xué)成分與化學(xué)元素分別見(jiàn)表1-2、表1-3。

由表1-2、表1-3知，洗選矸石試樣的物質(zhì)組成中，SiO2的含量較高，是矸石充填開(kāi)采時(shí)骨架的主要成分，可使充填后的矸石強(qiáng)度較高；此外，由于矸石中含有碳、鋁和CaO等物質(zhì)，易使矸石發(fā)生水解和風(fēng)化等現(xiàn)象。

1.1.3 致密度電鏡掃描分析

通過(guò)電鏡掃描SEM（Scanning Electron Microscope）對(duì)矸石的致密度進(jìn)行了分析，得到不同分辨率條件下洗選矸石的SEM圖片，如圖1-2所示，其SEM圖片細(xì)觀結(jié)構(gòu)描述見(jiàn)表1-4。

1.1.4 含水量測(cè)試

a.試驗(yàn)設(shè)備

本試驗(yàn)采用JA2003電子精密天平（Electronic Precision Balance）、YZH1-30遠(yuǎn)紅外自控焊條烘箱進(jìn)行測(cè)試。

JA2003電子精密天平量程為200g，可讀性為0.001g，重復(fù)性≤±0.001g，線性≤±0.002g，秤盤(pán)尺寸為Ф=110mm，如圖1-3所示。YZH1-30烘箱能夠自動(dòng)測(cè)量、顯示和控制溫度，具有結(jié)構(gòu)簡(jiǎn)單、性能穩(wěn)定等優(yōu)點(diǎn)。烘箱內(nèi)膽及擱板采用耐腐蝕不銹鋼材料和優(yōu)質(zhì)鋼板二種，最高工作溫度可達(dá)到500℃。

b.試驗(yàn)結(jié)果

從現(xiàn)場(chǎng)取洗選矸石測(cè)試試樣，為防止水分的揮發(fā)，采用雙層隔離層保存封裝，保持了其自然狀態(tài)下的含水量，并對(duì)試樣進(jìn)行了一系列含水量測(cè)試。洗選矸石測(cè)試6組，分別為x1、x2、x3、x4、x5、x6，其試驗(yàn)結(jié)果見(jiàn)表1-5。

由上述測(cè)試可知，自然狀態(tài)下洗選矸石的含水量為2.28%。

1.2 粉煤灰的物理化學(xué)特性

1.2.1 化學(xué)成分測(cè)試

同樣采用D/Max-3B型X射線衍射儀作為測(cè)試儀器，對(duì)粉煤灰試樣進(jìn)行定量分析。

1.2.2 化學(xué)成分測(cè)試

洗選矸石與粉煤灰的礦物組成直接影響充填材料的工程性質(zhì)。粉煤灰化學(xué)成分與化學(xué)元素分別見(jiàn)表1-6、表1-7。

由表1-6、表1-7知，粉煤灰試樣的物質(zhì)組成中，SiO2的含量較高，是煤矸石充填開(kāi)采時(shí)骨架的主要成分，使充填后的煤矸石強(qiáng)度較高。

1.2.3 致密度電鏡掃描分析

通過(guò)電鏡掃描SEM（Scanning Electron Microscope）對(duì)粉煤灰的致密度進(jìn)行了分析，得到不同分辨率條件下粉煤灰的SEM圖片，如圖1-6所示。圖示細(xì)觀結(jié)構(gòu)描述見(jiàn)表1-8。

選取與測(cè)試洗選矸石含水量的相同儀器，對(duì)六組粉煤灰試樣的含水量進(jìn)行測(cè)試，其試驗(yàn)結(jié)果見(jiàn)表1-9。

由上述測(cè)試可知，自然狀態(tài)下粉煤灰的含水量為21.17%。

1.3 充填材料性能分析

分析充填材料的化學(xué)成分發(fā)現(xiàn)，洗選矸石和粉煤灰均以二氧化硅和氧化鋁為主要成分，可以作為充填開(kāi)采骨料的主要成分，但是粉煤灰的氧化鈣含量相對(duì)降低，活性較差，可以相應(yīng)增加洗選矸石的量來(lái)提高整體骨料中氧化鈣的含量，提高骨料的活性性能。通過(guò)致密度電鏡掃描分析發(fā)現(xiàn)，洗選矸石的結(jié)構(gòu)較致密，粗大孔洞及裂隙基本未見(jiàn)；粉煤灰以多孔玻璃體為主，孔洞連通情況較好，中量碎屑顆粒，可以看出粉煤灰的壓實(shí)變形量將會(huì)較大，碎屑顆粒會(huì)對(duì)充填產(chǎn)生一定的影響。在自然狀態(tài)下，粉煤灰的含水量較大，這對(duì)于充填開(kāi)采將會(huì)產(chǎn)生不利影響，在實(shí)際的操作中，可以根據(jù)粉煤灰這一物理特性，控制充填膏體制備中水的加入量，改善充填體的性能。

2 矸石與粉煤灰的力學(xué)特性試驗(yàn)

2.1 試驗(yàn)?zāi)康募霸囼?yàn)內(nèi)容

通過(guò)對(duì)洗選矸石與粉煤灰不同配比條件下壓實(shí)特性的測(cè)試，分析各種配比條件下各組試樣的壓實(shí)力與變形量的關(guān)系，并得出最有利于現(xiàn)場(chǎng)充填的配比條件。

2.2 試驗(yàn)設(shè)備及試驗(yàn)條件

本試驗(yàn)采用美國(guó)MTS公司的MTS815.02電液伺服巖石力學(xué)試驗(yàn)系統(tǒng)進(jìn)行測(cè)試，如圖2-1所示。充填矸石與粉煤灰的盛樣裝置為自行設(shè)計(jì)的壓縮鋼筒，該裝置的內(nèi)徑128 mm，鋼筒深度180 mm，壓縮活塞高度為110 mm，試驗(yàn)中試樣高度為120 mm。

2.3 壓實(shí)試驗(yàn)方案設(shè)計(jì)射線

在試驗(yàn)前將取洗選矸石和粉煤灰作為測(cè)試樣品，按照二者不同的配比比例，將試樣共同分為12組，其中1∶0和0∶1分別代表純矸石和純粉煤灰，壓實(shí)試驗(yàn)配比方案見(jiàn)表2-1。

在矸石與粉煤灰直接充填綜采項(xiàng)目現(xiàn)場(chǎng)工業(yè)性試驗(yàn)中，充填材料中的矸石直接來(lái)自洗選矸石倉(cāng)，而實(shí)驗(yàn)室試驗(yàn)矸石樣品來(lái)自于選煤廠排放于矸石山的矸石；充填材料中的粉煤灰直接來(lái)自電廠的粉煤灰，而實(shí)驗(yàn)室試驗(yàn)粉煤灰樣品來(lái)自于電廠堆積于地面噴水后（噴水為了防止揚(yáng)塵）的粉煤灰。因此，實(shí)際充填時(shí)料的含水量與試驗(yàn)的含水量是不同的，在實(shí)際配比時(shí)將會(huì)結(jié)合換算關(guān)系，進(jìn)行配比換算。

矸石粉煤灰配比混合充填材料設(shè)計(jì)試驗(yàn)的壓應(yīng)力范圍為0～30 MPa，加載速率為0.1 MPa·s-1。每組測(cè)試的時(shí)間為300 s，數(shù)據(jù)每1.0 s采集一次。每組不同配比的試驗(yàn)做三次，以防止試驗(yàn)過(guò)程中出現(xiàn)無(wú)效數(shù)據(jù)等情況，確保試驗(yàn)數(shù)據(jù)的真實(shí)有效性。

2.4 矸石與粉煤灰壓實(shí)特性

壓實(shí)度k的定義為充填材料在壓實(shí)過(guò)程中受外力作用而被壓實(shí)的程度。它用壓實(shí)后的體積Vys與原松散狀態(tài)下的總體積Vs之比來(lái)表示。

由圖2-3可知，充填材料的壓實(shí)度k隨著壓實(shí)力σ的增大而減小，特別在初始階段，由于材料的松散程度較大，因此產(chǎn)生的壓縮量較大，表現(xiàn)為壓實(shí)度k變化較快。在試驗(yàn)曲線中取的當(dāng)壓力為7 MPa時(shí)，不同配比的壓實(shí)度。由以上試驗(yàn)數(shù)據(jù)，可知不同配比情況下有不同的壓實(shí)度，但是無(wú)法判斷最優(yōu)的配合比是否在試驗(yàn)配比當(dāng)中，因此有必要采用神經(jīng)網(wǎng)絡(luò)和遺傳算法進(jìn)行尋優(yōu)。

3 BP神經(jīng)網(wǎng)絡(luò)和遺傳算法尋優(yōu)

3.1 BP神經(jīng)網(wǎng)絡(luò)和遺傳算法簡(jiǎn)介

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，簡(jiǎn)稱(chēng)ANN）是模擬人腦學(xué)習(xí)、處理和記憶方式，在人類(lèi)對(duì)其大腦神經(jīng)網(wǎng)絡(luò)認(rèn)識(shí)理解的基礎(chǔ)上人工構(gòu)造的能夠?qū)崿F(xiàn)某種功能的神經(jīng)網(wǎng)絡(luò)。它是理論化的人工神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型，是基于模仿大腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能而建立的一種信息處理系統(tǒng)。它是一個(gè)由大量簡(jiǎn)單元件互相連接而成的復(fù)雜網(wǎng)絡(luò)，具有高度的非線性，能夠進(jìn)行復(fù)雜的邏輯操作和非線性關(guān)系實(shí)現(xiàn)的系統(tǒng)。BP神經(jīng)網(wǎng)絡(luò)又稱(chēng)為誤差反向傳播（Back Propagation）神經(jīng)網(wǎng)絡(luò)，是一種多層前饋神經(jīng)網(wǎng)絡(luò)，具有廣泛的適應(yīng)性和有效性，主要應(yīng)用于模式識(shí)別和分類(lèi)等方面。[3]

遺傳算法（Genetic Algorithm，簡(jiǎn)稱(chēng)GA）是一種模仿自然界生物進(jìn)化思想而得出的一種自適應(yīng)啟發(fā)式全局搜索算法，其實(shí)質(zhì)是由復(fù)制—交換—變異算子組成的周而復(fù)始的循環(huán)過(guò)程。這種方法由于仿效生物的進(jìn)化與遺傳，根據(jù)“生存競(jìng)爭(zhēng)”和“優(yōu)勝劣汰”的原則，借助復(fù)制、交換、變異等操作，使要解決的問(wèn)題一步步逼近最優(yōu)解或近優(yōu)解。[4]

在充填配比試驗(yàn)中，由于條件的限制，我們只能進(jìn)行有限次的試驗(yàn)，而且試驗(yàn)配比是建立在經(jīng)驗(yàn)的基礎(chǔ)上，所以得到的試驗(yàn)結(jié)果往往不是最優(yōu)的配比，但是我們可以認(rèn)為在一定的配比情況下獲得對(duì)應(yīng)的壓實(shí)度值，兩者之間存在一定的非線性映射關(guān)系，通過(guò)建立神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，把配比作為輸入數(shù)據(jù)，把壓實(shí)度值作為輸出數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，訓(xùn)練后的網(wǎng)絡(luò)可以預(yù)測(cè)不同配比情況下的壓實(shí)度值。然后把配比值作為遺傳算法中種群個(gè)體，把網(wǎng)絡(luò)預(yù)測(cè)的壓實(shí)度值作為個(gè)體適應(yīng)度值，通過(guò)遺傳算法推導(dǎo)最優(yōu)試驗(yàn)結(jié)果及其對(duì)應(yīng)的配比。

3.2 模型建立

神經(jīng)網(wǎng)絡(luò)遺傳算法極值尋優(yōu)主要分為BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練擬合和遺傳算法極值尋優(yōu)兩步。神經(jīng)網(wǎng)絡(luò)訓(xùn)練擬合根據(jù)試驗(yàn)條件和試驗(yàn)結(jié)果的特點(diǎn)構(gòu)建合適的BP神經(jīng)網(wǎng)絡(luò)，用部分試驗(yàn)結(jié)果的輸入輸出訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)，訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)就可以預(yù)測(cè)函數(shù)輸出。遺傳算法極值尋優(yōu)把訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果作為個(gè)體適應(yīng)度值，通過(guò)選擇、交叉和變異操作尋找壓實(shí)度的全局最優(yōu)值及對(duì)應(yīng)輸入配比值。

3.3 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練和遺傳算法計(jì)算

利用MATLAB神經(jīng)網(wǎng)絡(luò)工具箱進(jìn)行網(wǎng)絡(luò)創(chuàng)建、訓(xùn)練、仿真和輸出，網(wǎng)絡(luò)有2個(gè)輸入?yún)?shù)、1個(gè)輸出參數(shù)，通過(guò)試湊隱藏層神經(jīng)元個(gè)數(shù)比較輸出結(jié)果與期望結(jié)果的誤差，如圖2-2所示，發(fā)現(xiàn)當(dāng)隱藏層為2層，第一個(gè)隱藏層有8個(gè)神經(jīng)元，第二個(gè)隱藏層有2個(gè)神經(jīng)元時(shí)，網(wǎng)絡(luò)的輸出誤差最低，因此確定BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為2-8-2-1。取試驗(yàn)的12組數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，并測(cè)試網(wǎng)絡(luò)性能，網(wǎng)絡(luò)訓(xùn)練好后用于預(yù)測(cè)輸出。通過(guò)預(yù)測(cè)輸出圖可以看出預(yù)測(cè)輸出與期望輸出基本上吻合，但是每次驗(yàn)證的結(jié)果都會(huì)不同，因此BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)精度對(duì)于最優(yōu)位置的尋找具有非常重要的意義，在進(jìn)行擬合的時(shí)候要尋找最優(yōu)BP網(wǎng)絡(luò)結(jié)果，然后進(jìn)行遺傳算法尋優(yōu)計(jì)算。

遺傳算法中個(gè)體采用實(shí)數(shù)編碼，由于試驗(yàn)配比只有兩個(gè)輸入?yún)?shù)，所以個(gè)體長(zhǎng)度為2，迭代次數(shù)是100次，種群規(guī)模是20，個(gè)體適應(yīng)度值為BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)值，適應(yīng)度值越大，個(gè)體最優(yōu)，交叉概率為0.2，變異概率為0.1。經(jīng)過(guò)遺傳算法得到的最優(yōu)個(gè)體適應(yīng)度值為0.8490，最優(yōu)個(gè)體為[0.9972，0.6521]，此時(shí)的配比為1：0.654，這個(gè)比值只是某次試驗(yàn)情況下的結(jié)果，不一定是所有試驗(yàn)最優(yōu)結(jié)果，但是基本接近最優(yōu)結(jié)果，我們可以根據(jù)得到的結(jié)果優(yōu)化實(shí)際中的矸石和粉煤灰配比，達(dá)到最優(yōu)的狀態(tài)。[5]，[6]，[7]

4 結(jié)論

1）通過(guò)矸石與粉煤灰的物理化學(xué)特性實(shí)驗(yàn)，得到了邢臺(tái)礦充填材料的化學(xué)成分和致密度情況以及含水率，發(fā)現(xiàn)二氧化硅和氧化鋁的含量對(duì)于充填性能有較大影響，致密結(jié)構(gòu)將有助于提高充填強(qiáng)度，粉煤灰的含水量較高對(duì)充填會(huì)有不利的影響。

2）利用遺傳算法和人工神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)尋優(yōu)計(jì)算得到了矸石和粉煤灰的近似最優(yōu)配比，配比為1：0.654。

3）現(xiàn)場(chǎng)應(yīng)用的結(jié)果表明，在此配比時(shí)上部巖層受采動(dòng)應(yīng)力影響，出現(xiàn)了裂隙發(fā)育、局部離層、最終到裂隙閉合的發(fā)展過(guò)程，說(shuō)明充填體可控制上覆巖層的運(yùn)動(dòng)，工作面頂板不會(huì)出現(xiàn)大面積的垮落。礦用鐵路沿線最大下沉值為16 mm， 沿南外環(huán)公路的觀測(cè)線沒(méi)有任何下沉。

4）國(guó)內(nèi)同類(lèi)礦山或采用充填法進(jìn)行回采的礦山都可以通過(guò)計(jì)算智能方法，經(jīng)過(guò)優(yōu)化計(jì)算找到最優(yōu)的充填材料配合比，參數(shù)的數(shù)量可以根據(jù)實(shí)驗(yàn)的條件進(jìn)行改變，本文的方法有極大的參考價(jià)值。

參考文獻(xiàn)

[1] Liu Q G， Zhao Q B. Coal Mining Technology with Fully Mechanized Solid Back filling Under the Building Structures in Xingtai Mine. Coal Science andTechnology， 2010， 38（3）： 1（劉建功，趙慶彪.邢臺(tái)礦建筑物下綜合機(jī)械化固體充填采煤技術(shù)[J].煤炭科學(xué)技術(shù)，2010，38（3）：1.）

[2] Hao B S， Zhang S G. An experimental study on waste stone-fly ash mixture for stowing after mining.China coal. 2009，35（11）：1（郝寶生，張書(shū)國(guó).矸石與粉煤灰混合充填開(kāi)采的試驗(yàn)研究[J].中國(guó)煤炭，2009，35（11）：1）