導(dǎo)語：如何才能寫好一篇神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則，這就需要搜集整理更多的資料和文獻(xiàn)，歡迎閱讀由公務(wù)員之家整理的十篇范文，供你借鑒。

篇1

【關(guān)鍵詞】模糊系統(tǒng)；神經(jīng)網(wǎng)絡(luò)；結(jié)合；現(xiàn)狀

中圖分類號：Q189文獻(xiàn)標(biāo)識碼： A 文章編號：

一、前言

隨著我國經(jīng)濟(jì)的快速發(fā)展，我國的各項(xiàng)事業(yè)都取得了巨大的成就。其中模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)的結(jié)合就是重要的體現(xiàn)，模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)的結(jié)合在很多方面都得到了應(yīng)用，同時(shí)也引起了更多學(xué)者研究其的愿望。相信模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)的結(jié)合在未來會發(fā)展的更好。

二、模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)概述

1、模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)的概念

（1）、模糊系統(tǒng)概念

模糊系統(tǒng)(Fuzzy System, 簡稱 FS)是仿效人的模糊邏輯思維方法設(shè)計(jì)的系統(tǒng), 方法本身明確地說明了系統(tǒng)在工作過程中允許數(shù)值量的不精確性存在。

（2）、神經(jīng)網(wǎng)絡(luò)概念

神經(jīng)網(wǎng)絡(luò)( Neural Network, 簡稱 NN) 是由眾多簡單的神經(jīng)元連接而成的網(wǎng)絡(luò)。盡管每個(gè)神經(jīng)元結(jié)構(gòu)、功能都不復(fù)雜, 但網(wǎng)絡(luò)的整體動態(tài)行為極為復(fù)雜, 可組成高度非線性動力學(xué)系統(tǒng), 從而可表達(dá)許多復(fù)雜的物理系統(tǒng)。神經(jīng)網(wǎng)絡(luò)的研究從上世紀(jì)40年代初開始, 目前, 在世界范圍已形成了研究神經(jīng)網(wǎng)絡(luò)前所未有的熱潮。它已在控制、模式識別、圖像和視頻信號處理、金融證券、人工智能、軍事、計(jì)算機(jī)視覺、優(yōu)化計(jì)算、自適應(yīng)濾波和A/D變換等方面獲得了應(yīng)用。

2、模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)的異同

（1）映射集及映度

神經(jīng)網(wǎng)絡(luò)是用點(diǎn)到點(diǎn)的映射得到輸入與輸出的關(guān)系, 它的訓(xùn)練是確定量, 因而它的映射關(guān)系也是一一對應(yīng)的; 模糊系統(tǒng)的輸入、輸出都是經(jīng)過模糊化的量, 不是用明確的數(shù)來表示的, 其輸入輸出已模糊為一個(gè)隸屬度的值,因此它是區(qū)域與區(qū)域間的映射, 可像神經(jīng)網(wǎng)絡(luò)一樣映射一個(gè)非線性函數(shù)。

（2）知識存儲方式

神經(jīng)網(wǎng)絡(luò)的基本單元是神經(jīng)元, 對映射所用的多層網(wǎng)絡(luò)間是用權(quán)連接的, 因此學(xué)習(xí)的知識是分布在存儲的權(quán)中間的, 而模糊系統(tǒng)則以規(guī)則的方式來存儲知識, 因此在隸屬函數(shù)形式上, 區(qū)域的劃分大小和規(guī)則的制定上人為因素較多。

（3）聯(lián)結(jié)方式

神經(jīng)網(wǎng)絡(luò)的聯(lián)結(jié), 以前饋式網(wǎng)絡(luò)為例, 一旦輸出的隱層確定了, 則聯(lián)結(jié)結(jié)構(gòu)就定了, 通過學(xué)習(xí)后, 幾乎每一個(gè)神經(jīng)元與前一層神經(jīng)元都有聯(lián)系, 因此, 在控制迭代中, 每迭代一次,各權(quán)都要學(xué)習(xí)。而在模糊系統(tǒng)中, 每次輸入可能只與幾條規(guī)則有關(guān), 因此聯(lián)結(jié)不固定, 每次輸入輸出聯(lián)系的規(guī)則都在變動, 而每次聯(lián)結(jié)的規(guī)則少, 運(yùn)算簡單方便。

（4）計(jì)算量的比較

人工神經(jīng)網(wǎng)絡(luò)的計(jì)算方法需要乘法、累加和指數(shù)運(yùn)算, 而模糊系統(tǒng)的計(jì)算只需兩個(gè)量的比較和累加, 又由于每次迭代的規(guī)則不多, 因此在實(shí)時(shí)處理時(shí), 模糊系統(tǒng)的速度比神經(jīng)網(wǎng)絡(luò)快。但是當(dāng)模糊輸入與輸出變量很多的時(shí)候,模糊規(guī)則僅靠一張表已不能描述多變量間的關(guān)系, 且規(guī)則的控制存在一定困難, 此時(shí)人為的先驗(yàn)指數(shù)變得較少, 那么隸屬函數(shù)、規(guī)則本身都要通過學(xué)習(xí)得到, 因此它的計(jì)算量也會增加。

三、模糊和神經(jīng)網(wǎng)絡(luò)的結(jié)合形式

目前,模糊和神經(jīng)網(wǎng)絡(luò)技術(shù)從簡單結(jié)合到完全融合主要體現(xiàn)在四個(gè)方面(見圖1)。由于模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)的結(jié)合方式目前還處于不斷發(fā)展的進(jìn)程中,所以,還沒有更科學(xué)的分類方法,下述結(jié)合方式是從不同應(yīng)用中綜合分析的結(jié)果。

1、模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)系統(tǒng)的簡單結(jié)合(見圖1(a))

模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)系統(tǒng)各自以其獨(dú)立的方式存在,并起著一定的作用。¹松散型結(jié)合 在一系統(tǒng)中,對于可用“if-then”規(guī)則來表示的部分,用模糊系統(tǒng)描述;而對很難用“if-then”規(guī)則表示的部分,則用神經(jīng)網(wǎng)絡(luò),兩者之間沒有直接聯(lián)系。

（1）并聯(lián)型結(jié)合 模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)在系統(tǒng)中按并聯(lián)方式連接,即享用共同的輸入。按照兩系統(tǒng)所起作用的輕重程度,還可分為等同型和補(bǔ)助型。

（2）串聯(lián)型結(jié)合 模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)在系統(tǒng)中按串聯(lián)方式連接,即一方的輸出成為另一方的輸入。

圖表 1模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)結(jié)合形式分類

2、用模糊邏輯增強(qiáng)的神經(jīng)網(wǎng)絡(luò)。這種結(jié)合的主要目的是用模糊神經(jīng)系統(tǒng)作為輔助工具,增強(qiáng)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力,克服傳統(tǒng)神經(jīng)網(wǎng)絡(luò)容易陷入局部極小值的弱點(diǎn)。

3、用神經(jīng)網(wǎng)絡(luò)增強(qiáng)的模糊邏輯

這種類型的模糊神經(jīng)網(wǎng)絡(luò)是用神經(jīng)網(wǎng)絡(luò)作為輔助工具,更好地設(shè)計(jì)模糊系統(tǒng)。

（1）網(wǎng)絡(luò)學(xué)習(xí)型的結(jié)合 模糊系統(tǒng)設(shè)計(jì)的關(guān)鍵是知識的獲取,傳統(tǒng)方法難于有效地獲取規(guī)則和調(diào)整隸屬度函數(shù),而神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力能夠克服這些問題,故用神經(jīng)網(wǎng)絡(luò)增強(qiáng)的模糊系統(tǒng)。

（2）基于知識擴(kuò)展型的結(jié)合 神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)的結(jié)合是為了擴(kuò)展知識庫和不費(fèi)時(shí)地對知識庫進(jìn)行修正,增強(qiáng)系統(tǒng)的自學(xué)習(xí)能力,這種自學(xué)習(xí)能力是靠神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)之間進(jìn)行雙向。

4、模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)的等價(jià)

（1）函數(shù)通近

模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)除了都是無模型系統(tǒng)外,它們都是函數(shù)的全局逼近器.模糊系統(tǒng)以其插值機(jī)理來逼近任意的連續(xù)函數(shù)。不但傳統(tǒng)的模糊系統(tǒng)模型是任意連續(xù)函數(shù)的全局逼近器,而且神經(jīng)網(wǎng)絡(luò)與模糊系統(tǒng)的不同結(jié)合能逼近不同的函數(shù),如模糊神經(jīng)網(wǎng)絡(luò)可以逼近模糊函數(shù)，神經(jīng)網(wǎng)絡(luò)也是任意連續(xù)函數(shù)的全局逼近器。設(shè)任意連續(xù)函數(shù)h(x),對于緊空間X和任意小的正數(shù),總能找到一個(gè)三層的前向神經(jīng)網(wǎng)絡(luò)N(x)滿足:

在前向神經(jīng)網(wǎng)絡(luò)家族中,RBF神經(jīng)網(wǎng)絡(luò)是最優(yōu)的函數(shù)逼近器,即對于任意的神經(jīng)網(wǎng)絡(luò)N(x)總存在一個(gè)RBF神經(jīng)網(wǎng)絡(luò)N‘(x),滿足:

（2）神經(jīng)網(wǎng)絡(luò)與模糊系統(tǒng)的等價(jià)性

模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)的等價(jià)性主要有兩個(gè)方面:模型的等價(jià)性和Madani模型的等價(jià)性。對于TS模型.首先Jang〔,5〕給出了標(biāo)準(zhǔn)的Gauss,anRBF神經(jīng)網(wǎng)絡(luò)等價(jià)于限制的Ts一型模糊系統(tǒng)。Hunt指出推廣的GaussianRBF神經(jīng)網(wǎng)絡(luò)等價(jià)于TS一型模糊系統(tǒng)。Benitez證明了若一個(gè)三層的神經(jīng)網(wǎng)絡(luò),隱含單元的激發(fā)函數(shù)為對數(shù)函數(shù)(loglst1C),輸出層的激發(fā)函數(shù)為單元函數(shù).設(shè)N(x),則存在一個(gè)模糊系統(tǒng)的輸出也為N(x)。

四、模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)結(jié)合的現(xiàn)狀

目前, FS和NN的結(jié)合主要有模糊神經(jīng)網(wǎng)絡(luò)和神經(jīng)模糊系統(tǒng)。神經(jīng)模糊系統(tǒng)是以NN為主, 結(jié)合模糊集理論。它將NN作為實(shí)現(xiàn)FS 模型的工具, 即在NN的框架下實(shí)現(xiàn)FS或其一部分功能。神經(jīng)模糊系統(tǒng)雖具有一些自己所具有而NN不具備的特性, 但它沒有跳出NN 的框架。神經(jīng)模糊系統(tǒng)從結(jié)構(gòu)上來看, 一般是四層或五層的前向神經(jīng)網(wǎng)絡(luò)。模糊神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)的模糊化。即以模糊集、模糊邏輯為主, 結(jié)合 NN 方法, 利用NN的自組織性, 達(dá)到柔性信息處理的目的。目前,FS理論和NN結(jié)合主要應(yīng)用于商業(yè)及經(jīng)濟(jì)估算、自動檢測和監(jiān)視、機(jī)器人及自動控制、計(jì)算機(jī)視覺、專家系統(tǒng)、語音處理、優(yōu)化問題、醫(yī)療應(yīng)用等方面, 并可推廣到工程、科技、信息技術(shù)和經(jīng)濟(jì)等領(lǐng)域。

五、模糊神經(jīng)網(wǎng)絡(luò)的發(fā)展方向及存在問題

然模糊神經(jīng)網(wǎng)絡(luò)得到了突飛猛進(jìn)的發(fā)展,但目前還存在很多問題:（1）多變量、復(fù)雜控制系統(tǒng)中,很難確定網(wǎng)絡(luò)的結(jié)構(gòu)和規(guī)則點(diǎn)的組合“爆炸”問題；（2）傳統(tǒng)的Bp學(xué)習(xí)方法昜陷入局部極小值,并切學(xué)習(xí)速度較慢。

發(fā)展方向主要集中于:（1）模糊邏輯和神經(jīng)網(wǎng)絡(luò)的對應(yīng)關(guān)系,將模糊控制器的調(diào)整轉(zhuǎn)化為等價(jià)的神經(jīng)元網(wǎng)絡(luò)學(xué)習(xí),利用等價(jià)的模糊邏輯來初始化神經(jīng)元網(wǎng)絡(luò)；（2）尋找一般模糊集的模糊神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法

七、結(jié)束語

近年來隨著信息技術(shù)的發(fā)展，模糊理論和人工神經(jīng)網(wǎng)絡(luò)近年來取得了引人注目的進(jìn)展, 模糊理論和人工神經(jīng)網(wǎng)絡(luò)的各個(gè)方面都取得了越來越多的成果。 通過不斷的努力，我們一定可以進(jìn)一步的推進(jìn)模糊理論和神經(jīng)網(wǎng)絡(luò)將會在發(fā)展新理論, 完善各自體系。相信在未來的研究中，模糊和神經(jīng)網(wǎng)絡(luò)的結(jié)合

將會為研究更高智能系統(tǒng)開創(chuàng)一條成功之路，造福人類。

參考文獻(xiàn)

[1]劉增良.模糊技術(shù)與應(yīng)用選篇[J].京航空航天大學(xué)出版社,1997.

[2]莊鎮(zhèn)泉,章勁松.神經(jīng)網(wǎng)絡(luò)與智能信息處理[J].中國科學(xué)技術(shù)大學(xué),2000.

篇2

關(guān)鍵詞：自主導(dǎo)航；人工智能；模糊神經(jīng)網(wǎng)絡(luò)；避障；BP神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP79文獻(xiàn)標(biāo)識碼：A文章編號：1005-3824（2014）03-0083-03

0引言

2013年12月14日21時(shí)11分，嫦娥三號探測器在月球表面預(yù)選著陸區(qū)域成功著陸，裝著紅外成像光譜儀、避障相機(jī)、機(jī)械臂和激光點(diǎn)陣器等設(shè)備的月球車“玉兔”驅(qū)動著6個(gè)輪子在月球表面留下了歷史的痕跡。這標(biāo)志著我國已成為世界上第3個(gè)實(shí)現(xiàn)地外天體軟著陸的國家，也展現(xiàn)出了智能控制系統(tǒng)[1]在航天事業(yè)上的卓越應(yīng)用。在如今的社會生活中，隨處體現(xiàn)著智能技術(shù)的存在，人們已經(jīng)離不開智能技術(shù)，智能機(jī)器人的發(fā)展也飛速前進(jìn)，從兒童的玩具機(jī)器人到太空探索的機(jī)器人，可以預(yù)見智能機(jī)器人的應(yīng)用將更加廣泛。近年來，非線性動態(tài)系統(tǒng)的自適應(yīng)控制在我國引起了廣泛的研究，模糊神經(jīng)網(wǎng)絡(luò)控制是一個(gè)重要的自適應(yīng)方法，因此得到了很多專家學(xué)者的青睞。

模糊邏輯控制在宏觀上模仿人的思維，處理語言和思維中的模糊性概念，它是以模糊集合論、模糊語言變量和模糊邏輯推理為基礎(chǔ)的一種計(jì)算機(jī)數(shù)字控制技術(shù)；神經(jīng)網(wǎng)絡(luò)是從微觀上模仿人的智能行為，進(jìn)行分布式并行信息處理算法的數(shù)學(xué)模型，它是根據(jù)人腦的生理結(jié)構(gòu)和信息處理過程創(chuàng)造的[2]。模糊控制與神經(jīng)網(wǎng)絡(luò)各自都有一定的應(yīng)用局限，因此，人們早在20世紀(jì)80―90年代就把它們相結(jié)合，組成更為完善的控制方法。模糊控制與神經(jīng)網(wǎng)絡(luò)的結(jié)合有多種方式，根據(jù)研究角度和應(yīng)用領(lǐng)域的變化而不同。1模糊控制與神經(jīng)網(wǎng)絡(luò)的介紹

1.1模糊邏輯控制系統(tǒng)

模糊邏輯控制系統(tǒng)主要包含輸入變量、模糊控制器、被控對象和偏差。模糊邏輯控制系統(tǒng)結(jié)構(gòu)如圖1所示。

知識庫：是模糊控制器的核心。由數(shù)據(jù)庫和規(guī)則庫組成，數(shù)據(jù)庫中存著有關(guān)模糊化、模糊推理、解模糊的一切知識，規(guī)則庫是由若干模糊規(guī)則組成的。

模糊推理機(jī)：根據(jù)模糊邏輯法則把邏輯規(guī)則庫中的模糊“if-then”轉(zhuǎn)換成某種映射。

反模糊化：反模糊化的方法一般有最大隸屬度平均法、最大中點(diǎn)法、面積等分法、重心法和加權(quán)平均法等。

模糊控制的優(yōu)點(diǎn)：可以在預(yù)先不知道被控對象的精確數(shù)學(xué)模型；規(guī)則一般是由有經(jīng)驗(yàn)的操作人員或者專家的經(jīng)驗(yàn)總結(jié)出來并且以條件語句表示的，便于學(xué)習(xí)和理解；控制是由人的語言形式表示，有利于人機(jī)對話和系統(tǒng)知識的處理等。不足之處：精度不夠高；自適應(yīng)能力有限；模糊規(guī)則庫非常龐大，難以進(jìn)行更改優(yōu)化[3]。

1.2人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（ANN）是一種模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能的運(yùn)算模型，由大量的節(jié)點(diǎn)，即神經(jīng)元及相互之間連接構(gòu)成的，它是人工方式構(gòu)造的一種網(wǎng)絡(luò)系統(tǒng)。神經(jīng)元結(jié)構(gòu)模型如圖3所示。

傳遞函數(shù)f又稱轉(zhuǎn)移函數(shù)或激活函數(shù)，是單調(diào)上升的有界函數(shù)，常用的轉(zhuǎn)移函數(shù)有線性函數(shù)、斜坡函數(shù)、階躍函數(shù)及單雙極S型函數(shù)等。但是最常用的還是單極S型函數(shù)：

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)形式也有幾種，例如，全互連型結(jié)構(gòu)、層次型結(jié)構(gòu)和網(wǎng)孔型結(jié)構(gòu)等[4]。前饋型網(wǎng)絡(luò)是一類單方向?qū)哟涡途W(wǎng)絡(luò)模塊，其最基本的單層神經(jīng)元網(wǎng)絡(luò)如圖4所示。

圖4單層神經(jīng)元網(wǎng)絡(luò)3層BP神經(jīng)網(wǎng)絡(luò)是比較常用的結(jié)構(gòu)，圖5是它的基本結(jié)構(gòu)。

圖5BP神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)BP神經(jīng)網(wǎng)絡(luò)至少有3層，圖5中，第Ⅰ層是輸入層，第Ⅱ?qū)訛殡[藏層，第Ⅲ層為輸出層。由于3層的BP神經(jīng)網(wǎng)絡(luò)就具有了模糊系統(tǒng)中萬能逼近的能力[5]，為了不使系統(tǒng)變得更復(fù)雜，本文就只用了3層的BP神經(jīng)網(wǎng)絡(luò)，當(dāng)然，也可以根據(jù)自身的實(shí)際應(yīng)用情況增加隱層的層數(shù)，但并不是層數(shù)越多，精度就越高，相對的系統(tǒng)的反應(yīng)時(shí)間就會增加，時(shí)延也會增長。

神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)：能夠通過學(xué)習(xí)和訓(xùn)練獲取用數(shù)據(jù)表達(dá)的知識，不僅可以記憶一直獲得的信息，還具有較強(qiáng)的概括及聯(lián)想記憶能力，它的應(yīng)用已經(jīng)延伸到各個(gè)領(lǐng)域，在各方面取得很好的進(jìn)展等。不足之處：缺乏統(tǒng)一的方法處理非線性系統(tǒng)；網(wǎng)絡(luò)的權(quán)值是隨機(jī)選取的；學(xué)習(xí)的時(shí)間長；無法利用系統(tǒng)信息和專家經(jīng)驗(yàn)等語言信息；難以理解建立的模型等[6]。

所以，綜合以上模糊邏輯系統(tǒng)與神經(jīng)網(wǎng)絡(luò)各自的優(yōu)缺點(diǎn)，就提出了一種它們的結(jié)合方法，即模糊神經(jīng)網(wǎng)絡(luò)控制方法。

2模糊神經(jīng)網(wǎng)絡(luò)的結(jié)合方式

模糊神經(jīng)網(wǎng)絡(luò)大致分為3種形式：邏輯模糊神經(jīng)網(wǎng)絡(luò)、算術(shù)模糊神經(jīng)網(wǎng)絡(luò)和混合模糊神經(jīng)網(wǎng)絡(luò)。

在這3種形式的系統(tǒng)中，模糊神經(jīng)混合系統(tǒng)是根據(jù)模糊控制系統(tǒng)和神經(jīng)網(wǎng)絡(luò)各自不同的功能、用途集成在一個(gè)系統(tǒng)里面的[7]。在這類系統(tǒng)中，我們可以將神經(jīng)網(wǎng)絡(luò)用于輸入信號處理，模糊邏輯系統(tǒng)用于行為決策[8]（如圖6），或者把模糊邏輯系統(tǒng)作為輸入信號處理，神經(jīng)網(wǎng)絡(luò)系統(tǒng)作為輸出行為決策，再或者是將神經(jīng)網(wǎng)絡(luò)去代替模糊控制器的一部分，還可以將基于神經(jīng)元網(wǎng)絡(luò)的模糊系統(tǒng)或者神經(jīng)元網(wǎng)絡(luò)用在模糊神經(jīng)混合系統(tǒng)中。

在本文的應(yīng)用中，使用的是輪式智能小車，它一共安裝了3個(gè)超聲波傳感器、3個(gè)紅外傳感器和1個(gè)角度傳感器，紅外傳感器除了應(yīng)用在小車循跡外，還用來增加控制系統(tǒng)測量的精確性和彌補(bǔ)超聲波測距的盲區(qū)。例如，在某一路或者幾路超聲波受到了外界的干擾時(shí)，紅外線就可以測量出系統(tǒng)所需要的數(shù)量值。超聲波與紅外線用來測量小車到左、前、右障礙物的距離Ll，Lf，Lr；模糊神經(jīng)系統(tǒng)中控制器的輸入包括： Ll，Lf，Lr，小車與障礙物的夾角tg；輸出為小車的轉(zhuǎn)角sa和小車的加速度va。將Ll，Lf，Lr的模糊變量設(shè)為{near ，far}，論域?yàn)椋?―2 m）；tg的模糊變量為{LB，LM，ZO，RM，RB}表示{左大，左小，零，右小，右大}，論域?yàn)椋?1800，1800）；距離和夾角的隸屬度函數(shù)如圖7和圖8所示。輸出變量的隸屬度函數(shù)在這里就不再贅述了。

在系統(tǒng)解模糊化時(shí)，是將一個(gè)模糊量轉(zhuǎn)換成確定量，常用的解模糊化的方法有最大隸屬度函數(shù)法、重心法、加權(quán)平均法。在本文中用的是重心法。

智能小車避障的控制系統(tǒng)如圖9所示。

篇3

關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò)；Hopfield神經(jīng)網(wǎng)絡(luò)；聯(lián)想記憶

DOIDOI：10.11907/rjdk.161853

中圖分類號：TP391

文獻(xiàn)標(biāo)識碼：A文章編號文章編號：16727800（2016）009014603

基金項(xiàng)目基金項(xiàng)目：

作者簡介作者簡介：余洋（1994-），男，湖北隨州人，四川理工學(xué)院自動化電子信息學(xué)院碩士研究生，研究方向?yàn)橹悄芸刂?；傅成華（1958-），男，四川富順人，四川理工學(xué)院自動化與電子信息學(xué)院教授、碩士生導(dǎo)師，研究方向?yàn)橄冗M(jìn)控制與系統(tǒng)優(yōu)化、神經(jīng)網(wǎng)絡(luò)與非線性信息處理。

0引言

Hopfield于1982年提出了一種新型的神經(jīng)網(wǎng)絡(luò)――Hopfield網(wǎng)絡(luò)模型。它采用了與層次型人工神經(jīng)網(wǎng)絡(luò)完全不一樣的結(jié)構(gòu)特征和學(xué)習(xí)方法來模擬生物神經(jīng)網(wǎng)絡(luò)的記憶機(jī)理，首次使用“能量函數(shù)”的概念，并且說明了此神經(jīng)網(wǎng)絡(luò)與動力學(xué)之間的關(guān)系，使得判斷神經(jīng)網(wǎng)絡(luò)在工作過程中的穩(wěn)定性有了非常簡便和可靠的依據(jù)。該神經(jīng)網(wǎng)絡(luò)非常利于人們理解學(xué)習(xí)，也可以比較方便地在集成電路中實(shí)現(xiàn)。Hopfield神經(jīng)網(wǎng)絡(luò)根據(jù)網(wǎng)絡(luò)輸入輸出的不同分為兩種形式：離散型Hopfield神經(jīng)網(wǎng)絡(luò)和連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)，兩種形式的神經(jīng)網(wǎng)絡(luò)應(yīng)用領(lǐng)域也各不相同。本文使用離散型Hopfield神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)聯(lián)想存儲器設(shè)計(jì)。

1離散型Hopfield神經(jīng)網(wǎng)絡(luò)

離散型Hopfield神經(jīng)網(wǎng)絡(luò)是由n個(gè)神經(jīng)元相互連接而成的二值神經(jīng)網(wǎng)絡(luò)[12]，并且各神經(jīng)元之間的連接是雙向的，連接強(qiáng)度用權(quán)值表示。網(wǎng)絡(luò)的全互聯(lián)結(jié)構(gòu)如圖1所示。神經(jīng)元的輸出為離散值0（或-1）和1，分別代表神經(jīng)元的抑制和激活狀態(tài)。由于神經(jīng)網(wǎng)絡(luò)的時(shí)間離散特性，因而其被稱為離散型Hopfield神經(jīng)網(wǎng)絡(luò)[3]。

這種連接方式使得離散型Hopfield神經(jīng)網(wǎng)絡(luò)中每個(gè)神經(jīng)元的輸出均通過神經(jīng)元之間的連接權(quán)值反饋到同一層次的其它神經(jīng)元，并作為該神經(jīng)元的輸入，從而使各神經(jīng)元之間相互制約，保證離散型Hopfield神經(jīng)網(wǎng)絡(luò)在沒有外部輸入的情況下也能進(jìn)入穩(wěn)定狀態(tài)。

兩個(gè)互聯(lián)神經(jīng)元之間的連接權(quán)值相同（wij=wji），每個(gè)神經(jīng)元到其自身的連接權(quán)值為0，即wii =0。

1.1處理單元模型

離散型Hopfield神經(jīng)網(wǎng)絡(luò)的單個(gè)神經(jīng)元結(jié)構(gòu)如圖2所示，單個(gè)神經(jīng)元采用M-P模型進(jìn)行信息處理，假設(shè)神經(jīng)網(wǎng)絡(luò)有n個(gè)神經(jīng)元，以xj表示神經(jīng)元j的輸出（也稱為神經(jīng)元的狀態(tài)），wij表示神經(jīng)元i與神經(jīng)元j之間的連接權(quán)值，θj表示神經(jīng)元j的閾值。

神經(jīng)元j的凈輸入sj=∑ni=1xiwij-θj（1）

神經(jīng)元j的輸出 xj=f（sj）=sgn（sj）=1sj>0-1sj≤0（2）

1.2網(wǎng)絡(luò)狀態(tài)及運(yùn)行規(guī)則

離散型Hopfield神經(jīng)網(wǎng)絡(luò)的狀態(tài)由網(wǎng)絡(luò)所有（n個(gè)）神經(jīng)元的狀態(tài)集合構(gòu)成，在任意一個(gè)給定的時(shí)刻t，離散型Hopfield神經(jīng)網(wǎng)絡(luò)的狀態(tài)表示為：

X（t）=（x1 ，x2 ，…，xn ）（3）

離散型Hopfield神經(jīng)網(wǎng)絡(luò)是全互聯(lián)反饋式的連接結(jié)構(gòu)，每個(gè)神經(jīng)元都會接收到全部神經(jīng)元的反饋信息，故當(dāng)網(wǎng)絡(luò)中的各神經(jīng)元狀態(tài)改變時(shí)，整個(gè)網(wǎng)絡(luò)狀態(tài)也隨之變化。當(dāng)網(wǎng)絡(luò)中各神經(jīng)元的輸出狀態(tài)都不再改變時(shí)就表示網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)（即xj （t+1）=xj （t）=f（sj （t）））。神經(jīng)網(wǎng)絡(luò)要達(dá)到穩(wěn)定狀態(tài)需要經(jīng)過反復(fù)更新，學(xué)習(xí)訓(xùn)練。

離散型Hopfield神經(jīng)網(wǎng)絡(luò)的工作過程就是網(wǎng)絡(luò)狀態(tài)的動態(tài)演化過程，即從網(wǎng)絡(luò)初始狀態(tài)沿能量遞減的方向不斷演化的過程，直到達(dá)到網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，這時(shí)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)就是網(wǎng)絡(luò)的輸出。離散型Hopfield神經(jīng)網(wǎng)絡(luò)工作時(shí)有以下運(yùn)行步驟：①對網(wǎng)絡(luò)進(jìn)行初始化；②從網(wǎng)絡(luò)中隨機(jī)選取一個(gè)神經(jīng)元i；③按照式（1）計(jì)算神經(jīng)元i在t時(shí)刻的凈輸入si （t）；④按照式（2）計(jì)算神經(jīng)元i在t+1時(shí)刻的輸入xi（t+1），此時(shí)網(wǎng)絡(luò)中除i以外的其它神經(jīng)元j的輸出保持不變，即xj（t+1）=xj（t）其中i ≠j；⑤按照式xj（t+1）=xj（t）=f（sj（t））判斷網(wǎng)絡(luò)是否達(dá)到了穩(wěn)定狀態(tài)，如果未達(dá)到穩(wěn)定狀態(tài)就轉(zhuǎn)到②繼續(xù)進(jìn)行，如果網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)則網(wǎng)絡(luò)的工作過程終止。

1.3離散型Hopfield神經(jīng)網(wǎng)絡(luò)的能量函數(shù)

Hopfield神經(jīng)網(wǎng)絡(luò)的一大特點(diǎn)就是引入了“能量函數(shù)”，它表明了神經(jīng)網(wǎng)絡(luò)與動力學(xué)之間的關(guān)系。上文也提到，網(wǎng)絡(luò)運(yùn)行時(shí)在網(wǎng)絡(luò)狀態(tài)不斷變化過程中，網(wǎng)絡(luò)的能量值不斷遞減，直到達(dá)到穩(wěn)定狀態(tài)。這說明網(wǎng)絡(luò)的能量值與網(wǎng)絡(luò)的穩(wěn)定狀態(tài)有著十分密切的關(guān)系。能量函數(shù)定義為：

E=-12∑ni=1∑nj=1wijxixj+∑ni=1θixi（4）

Hopfield神經(jīng)網(wǎng)絡(luò)實(shí)際上是一個(gè)非線性動力系統(tǒng)，網(wǎng)絡(luò)按動力學(xué)方式運(yùn)行，網(wǎng)絡(luò)狀態(tài)的變化過程實(shí)際上是使能量極小化的過程：每次神經(jīng)元狀態(tài)改變時(shí)，整個(gè)網(wǎng)絡(luò)的能量應(yīng)單調(diào)遞減，即能量與以前相同或下降。證明如下：

設(shè)任一神經(jīng)元j由式（4）得神經(jīng)元j的能量為：

Ej=-12∑ni=1wijxixj+θjxj（5）

該式可變換為：

Ej=-12xj∑ni=1wijxi+θjxj（6）

由t時(shí)刻到t+1時(shí)刻神經(jīng)元j的能量變化為：ΔEj=Ej（t+1）-Ej（t）= -Δxj（∑ni=1wijxi-θj）+12Δxj∑ni=1wijxi（7）

由于在t+1時(shí)刻只有神經(jīng)元j調(diào)整狀態(tài)，并且各神經(jīng)元不存在自反饋，式（7）可簡化為：

ΔEj= -Δxj（∑ni=1wijxi-θj）（8）

在t+1時(shí)刻共有以下3種可能情況來分析ΔEj的大小從而論證網(wǎng)絡(luò)能量值的改變方向：①如果神經(jīng)元j的狀態(tài)不發(fā)生變化，即xj （t+1）=xj （t），則Δxj=0，由式（8）可知ΔEj=0；②如果神經(jīng)元j的狀態(tài)發(fā)生變化，是從-1變?yōu)?，則Δxj=2，此時(shí)由式（1）和式（2）可知∑ni=1wijxi-θj>0，再由式（8）得ΔEj

綜上可知，從t時(shí)刻到t+1時(shí)刻，無論神經(jīng)元j的狀態(tài)如何變化，其能量的改變量均為ΔEj≤0。由于神經(jīng)元j是網(wǎng)絡(luò)中任意一個(gè)神經(jīng)元，而網(wǎng)絡(luò)中的神經(jīng)元又都是按照同一規(guī)則來更新狀態(tài)的，因而整個(gè)網(wǎng)絡(luò)的能量一直向減少的方向進(jìn)行。網(wǎng)絡(luò)變化的過程就是網(wǎng)絡(luò)能量的極小化過程，因?yàn)槟芰亢瘮?shù)是有界的，故網(wǎng)絡(luò)一定會趨于穩(wěn)定狀態(tài)，該穩(wěn)定狀態(tài)就是網(wǎng)絡(luò)的輸出。離散型Hopfield神經(jīng)網(wǎng)絡(luò)能量函數(shù)的變化曲線如圖3所示，能量函數(shù)的變化過程可以看作是下坡的過程，當(dāng)網(wǎng)絡(luò)的狀態(tài)隨時(shí)間改變時(shí)，整個(gè)網(wǎng)絡(luò)的能量沿著下降最快的方向改變，最終停在整個(gè)網(wǎng)絡(luò)能量的極小點(diǎn)[4]。這些極小點(diǎn)有全局極小點(diǎn)c，也有局部極小點(diǎn)a、b，最終落入哪種極小點(diǎn)取決于網(wǎng)絡(luò)的初始狀態(tài)。網(wǎng)絡(luò)能量函數(shù)變化曲線如圖3所示。

1.4關(guān)于離散型Hopfield神經(jīng)網(wǎng)絡(luò)聯(lián)想記憶的連接權(quán)值設(shè)計(jì)

離散型Hopfield神經(jīng)網(wǎng)絡(luò)可以應(yīng)用于聯(lián)想記憶[5]，其聯(lián)想記憶的基本原理是利用能量函數(shù)的極值點(diǎn)，網(wǎng)絡(luò)將記憶的樣本信息存儲在不同的能量極值點(diǎn)上，當(dāng)網(wǎng)絡(luò)輸入某一種模式時(shí)，網(wǎng)絡(luò)工作到穩(wěn)定狀態(tài)后能夠“聯(lián)想記憶”出與其相關(guān)的其它存儲樣本，從而實(shí)現(xiàn)聯(lián)想記憶。并且神經(jīng)網(wǎng)絡(luò)都有很好的容錯(cuò)性能，即使是對一些不全的、破損的、變形的輸入信息，網(wǎng)絡(luò)也能夠很好地將其恢復(fù)成比較完整的原型信息。記憶是聯(lián)想的前提，必須先將信息存儲起來，才能按照某種方式或規(guī)則再取出相關(guān)信息，能量極值點(diǎn)存儲記憶模式，而網(wǎng)絡(luò)的連接權(quán)值和閾值決定這些極值點(diǎn)的分布，因此網(wǎng)絡(luò)聯(lián)想記憶的關(guān)鍵就是根據(jù)能量極值點(diǎn)和需要被記憶的模式設(shè)計(jì)一組恰當(dāng)?shù)木W(wǎng)絡(luò)連接權(quán)值和閾值。

網(wǎng)絡(luò)在沒有記憶之前是空白狀態(tài)，只有設(shè)計(jì)了恰當(dāng)?shù)倪B接權(quán)值和閾值才會使網(wǎng)絡(luò)具有知識，連接權(quán)值的設(shè)計(jì)調(diào)整過程就是網(wǎng)絡(luò)的學(xué)習(xí)過程。離散型Hopfield神經(jīng)網(wǎng)絡(luò)一般用Hebb規(guī)則的外積和法來設(shè)計(jì)權(quán)值。方法具體如下：

假設(shè)網(wǎng)絡(luò)共有n個(gè)節(jié)點(diǎn)，W是網(wǎng)絡(luò)的連接權(quán)矩陣，如果網(wǎng)絡(luò)一共處理m個(gè)兩兩正交的模式樣本，則網(wǎng)絡(luò)的學(xué)習(xí)記憶集合為xk=（xk1，xk2，…，xkn）（k=1，2，…，m）。

（1）若m=1只有一個(gè)學(xué)習(xí)模式，學(xué)習(xí)記憶集合為X1，對于輸入模式X1，如果網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)，有：

X1=sgn（XW），即x1j=sgn（∑ni=1wijx1i）j=1，2， …，n（9）

由sgn函數(shù)的特點(diǎn)可知，若滿足x1j（∑ni=1wijx1i）>0，即若連接權(quán)值wij正比于x1jx1i，則式（9）成立。綜合可得，網(wǎng)絡(luò)的連接權(quán)值與輸入模式向量的每個(gè)分量之間滿足關(guān)系：

wij=αx1jx1iα為常數(shù)而且大于零（10）

（2）如果有多個(gè)學(xué)習(xí)模式，則可將式（10）進(jìn)行推廣有：

wij=α∑mk=1xkjxkiα為常數(shù)而且大于零（11）

由wii=0可將式（11）改寫為：

W=α∑mk=1[（Xk）TXk-I]α為常數(shù)而且大于零，I為nxn的單位矩陣（12）

在設(shè)計(jì)好網(wǎng)絡(luò)連接權(quán)矩陣后，網(wǎng)絡(luò)就處于正常工作狀態(tài)，加載輸入模式向量時(shí)，網(wǎng)絡(luò)可以進(jìn)行模式的記憶及聯(lián)想。

2聯(lián)想記憶功能實(shí)現(xiàn)證明

聯(lián)想記憶的過程分為兩個(gè)階段：第一階段是記憶階段（也稱存儲階段、學(xué)習(xí)階段），它是聯(lián)想記憶的關(guān)鍵，其處理過程是將記憶模式作為網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，并通過設(shè)計(jì)或?qū)W習(xí)獲得需要的網(wǎng)絡(luò)連接權(quán)值；第二階段是聯(lián)想階段（也稱回憶階段），此階段是利用網(wǎng)絡(luò)進(jìn)行回憶，將給定的輸入模式作為網(wǎng)絡(luò)的初始狀態(tài)，網(wǎng)絡(luò)按照既定的運(yùn)行規(guī)則不斷演化，一直演化到網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，此時(shí)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)就是回憶出的記憶模式。下面舉例證明離散型Hopfield神經(jīng)網(wǎng)絡(luò)是如何實(shí)現(xiàn)聯(lián)想記憶功能。設(shè)有一個(gè)4神經(jīng)元的離散型Hopfield神經(jīng)網(wǎng)絡(luò)，各神經(jīng)元的閾值為0，其中存儲了兩個(gè)模式，模式一X1為（1，1，1，1），模式二X2為（-1，-1，-1，-1），每個(gè)存儲模式由兩部分組成：名稱和顏色。前兩神經(jīng)元存儲的是名稱，后兩個(gè)神經(jīng)元存儲的是對應(yīng)的顏色。模式一表示“藍(lán)色的天空”，前兩個(gè)1表示天空，后兩個(gè)1表示藍(lán)色的；模式二表示“綠色的樹”，前兩個(gè)-1表示樹，后兩個(gè)-1表示綠色的，當(dāng)網(wǎng)絡(luò)上加載信息不全或錯(cuò)誤地輸入模式三X3=（1，1，-1，1）時(shí)，讓網(wǎng)絡(luò)聯(lián)想記憶輸出模式X1。若想讓網(wǎng)絡(luò)聯(lián)想輸出模式X1，必須首先設(shè)計(jì)網(wǎng)絡(luò)的連接權(quán)值，讓網(wǎng)絡(luò)記憶模式一和模式二，然后讓網(wǎng)絡(luò)加載輸入模式三運(yùn)行到穩(wěn)定狀態(tài)。將網(wǎng)絡(luò)要存儲的模式一和模式二設(shè)計(jì)為網(wǎng)絡(luò)的兩個(gè)穩(wěn)定狀態(tài)，由此設(shè)計(jì)網(wǎng)絡(luò)的連接權(quán)值。根據(jù)式（12），設(shè)α=1得網(wǎng)絡(luò)的連接權(quán)矩陣為；

W=（X1）TX1+（X2）TX2-2I=0222202222022220

設(shè)計(jì)好連接權(quán)值后，將模式三加載至網(wǎng)絡(luò)，然后按照網(wǎng)絡(luò)運(yùn)行規(guī)則讓網(wǎng)絡(luò)運(yùn)行：

t=0：網(wǎng)絡(luò)的初始狀態(tài)X（0）=（1，1，-1，1）；

t=1：選取節(jié)點(diǎn)1，節(jié)點(diǎn)1的狀態(tài)為x1（1）=sgn[1×0+1×2+（-1）×2+1×2]=sgn[2]=1

網(wǎng)絡(luò)狀態(tài)X（1）=（1，1，-1，1）；

t=2：選取節(jié)點(diǎn)2，節(jié)點(diǎn)2的狀態(tài)為x2（2）=sgn[1×2+1×0+（-1）×2+1×2]=sgn[2]=1

網(wǎng)絡(luò)狀態(tài)X（2）=（1，1，-1，1）；

t=3：選取節(jié)點(diǎn)3，節(jié)點(diǎn)3的狀態(tài)為x3（3）=sgn[1×2+1×2+（-1）×0+1×2]=sgn[6]=1

網(wǎng)絡(luò)狀態(tài)X（3）=（1，1，1，1）；

t=4：選取節(jié)點(diǎn)4，節(jié)點(diǎn)4的狀態(tài)x4（4）=sgn[1×2+1×2+1×2+1×0]=sgn[6]=1

網(wǎng)絡(luò)狀態(tài)X（4）=（1，1，1，1）；………

按此規(guī)則循環(huán)運(yùn)行下去直到網(wǎng)絡(luò)狀態(tài)不再改變，網(wǎng)絡(luò)處于穩(wěn)定狀態(tài)，網(wǎng)絡(luò)的輸出就是（1，1，1，1），也即網(wǎng)絡(luò)存儲的記憶模式一X1=（1，1，1，1）。同理，當(dāng)網(wǎng)絡(luò)加載模式四X4=（-1，-1，1，-1）時(shí)，網(wǎng)絡(luò)也可聯(lián)想記憶輸出模式二。從而證明了離散型Hopfield神經(jīng)網(wǎng)絡(luò)具有聯(lián)想記憶功能。

3結(jié)語

神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶功能雖然很強(qiáng)，但是也存在一些缺陷。由于聯(lián)想記憶能力受到了記憶容量和樣本差異的制約，當(dāng)記憶的模式較多且容易混淆時(shí)，網(wǎng)絡(luò)不能夠很好地辨別出正確模式，而且達(dá)到的穩(wěn)定狀態(tài)也往往不是記憶住的模式。并且，所有記憶模式不是以同樣的記憶強(qiáng)度回想出來的。

參考文獻(xiàn)參考文獻(xiàn)：

[1]周非.基于RBF網(wǎng)絡(luò)和逆模型的汽油機(jī)瞬態(tài)空燃比控制[D].成都：西華大學(xué)，2006.

[2]于樂斐.兩類時(shí)滯細(xì)胞神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[D].青島：中國海洋大學(xué)，2008.

[3]夏松.Hopfield神經(jīng)網(wǎng)絡(luò)構(gòu)造的聯(lián)想記憶存儲器實(shí)現(xiàn)與研究[D].合肥：安徽大學(xué)，2010.

篇4

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò);模糊邏輯;模式識別;具體應(yīng)用

現(xiàn)階段人工智能領(lǐng)域正在開展關(guān)于多種智能識別方法的融合應(yīng)用來改善識別效果，基于模糊邏輯與神經(jīng)網(wǎng)絡(luò)而成的模糊神經(jīng)網(wǎng)絡(luò)對于真正智能模擬的實(shí)現(xiàn)有著極為重要的作用。

1.模式識別概述

模式在本質(zhì)上是一個(gè)內(nèi)涵十分豐富的概念，其主要是指人類可以利用感官直接或間接接受的外界信息，Watanabe等人在研究中將模式定義為：凡是可以給出一個(gè)名字的便可以稱為“模式”，并且其在定義過程中將某些具有共同特性的模式集合統(tǒng)稱為“模式類”?！澳Ｊ阶R別”在本質(zhì)上是識別特定事物或模式相同點(diǎn)與相似點(diǎn)的過程，所以在研究過程中主要是利用自動技術(shù)來實(shí)現(xiàn)這一過程，在該類技術(shù)的支撐下計(jì)算機(jī)可以自動地將待識別模式分配到各自的模式類中，在這個(gè)過程中用到的技術(shù)統(tǒng)稱為模式識別技術(shù)，尤其是在計(jì)算機(jī)技術(shù)的支撐下使其發(fā)展形成一種模擬人的識別方法，所以對于模式識別的概念應(yīng)該定義為自動判別和分類的過程。模式識別的過程為研究對象、數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、測量空間、特征選擇與提出、特征空間比對、模式分類、儲存至類型空間等，對于整個(gè)模式識別過程來說數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、特征提取以及特征選擇是其重點(diǎn)。在模式識別中，數(shù)據(jù)預(yù)處理后所獲取的原始數(shù)據(jù)所在空間則被稱為測量空間，將模式進(jìn)行分類的空間則稱為特征空間。模式識別系統(tǒng)在設(shè)計(jì)過程中主要由學(xué)習(xí)模塊與測試模塊兩個(gè)核心模塊組成，并且整個(gè)系統(tǒng)在運(yùn)行過程中具備訓(xùn)練模式樣本特征數(shù)據(jù)輸入、制定分類判決規(guī)則、錯(cuò)誤率檢測、模式樣本特征選擇和正特提取方法調(diào)整等多項(xiàng)功能。

2.模式識別系統(tǒng)分析

模式識別系統(tǒng)在運(yùn)行中的學(xué)習(xí)模塊與測試模塊中都設(shè)計(jì)了數(shù)據(jù)預(yù)處理的功能，其可以根據(jù)用戶需求將感興趣的模式從背景中進(jìn)行分離處理，并且可以避免噪聲信號對整個(gè)系統(tǒng)的運(yùn)行產(chǎn)生影響，還可以根據(jù)用戶的實(shí)際需求來建立標(biāo)準(zhǔn)化模式樣本等。學(xué)習(xí)模塊在運(yùn)行中會將已知的樣本模式進(jìn)行數(shù)值化處理后輸入計(jì)算機(jī)，這個(gè)過程被稱為訓(xùn)練模式樣本特征數(shù)據(jù)的輸入，系統(tǒng)可以對輸入的樣本進(jìn)行分析并排除無效或容易出現(xiàn)混淆的特征，對于一些對分類判別有效的數(shù)據(jù)特征則可以進(jìn)行界定并保留，這個(gè)過程被稱為模式識別系統(tǒng)在運(yùn)行階段的特征選擇。

模式識別系統(tǒng)在運(yùn)行過程中還需要將一些變換技術(shù)作為支撐，這是因?yàn)橥ㄟ^變換技術(shù)的應(yīng)用可以得出比原來數(shù)目少的綜合性特征作為分類用，這一過程被稱為特征維數(shù)壓縮或特征提取，系統(tǒng)會按照設(shè)想的分類判決數(shù)學(xué)模型對樣本模式進(jìn)行訓(xùn)練來得出分類的判決規(guī)則。模式識別系統(tǒng)在獲取判決規(guī)則后便可以開始整個(gè)識別過程，其需要將未知模式特征數(shù)據(jù)進(jìn)行采集、選擇與提取，然后根據(jù)已有的判決規(guī)則對輸入的模式進(jìn)行分類，最后便可以根據(jù)用戶需求來輸入整個(gè)模式識別的結(jié)果。系統(tǒng)還可以將已識別的分類結(jié)果與已知分類輸入模式進(jìn)行對比，以便于對判決規(guī)則與特征選擇、提取方法進(jìn)行不斷的優(yōu)化，系統(tǒng)只有在該種模式下才能制定出錯(cuò)誤率最小的判決規(guī)則與特征選擇、提取策略，對于模式識別系統(tǒng)來說，這一過程被稱為再學(xué)習(xí)的過程。

3.神經(jīng)網(wǎng)絡(luò)在模式識別中的具體應(yīng)用

國內(nèi)在較早階段便開始了神經(jīng)網(wǎng)絡(luò)在模式識別中應(yīng)用的相關(guān)研究，但是學(xué)者所提出的研究成果并沒有得到廣泛應(yīng)用。在20世紀(jì)80年代末期，我國一些專家對模式識別在地震特征提取等方面的應(yīng)用進(jìn)行了優(yōu)化與改進(jìn)，并結(jié)合不同地區(qū)不同地質(zhì)條件開展了一系列試驗(yàn)研究，先后取得了很多效果十分顯著的成果，并且在這個(gè)基礎(chǔ)上為整個(gè)系統(tǒng)增加了人機(jī)交互功能，改進(jìn)后的模式識別系統(tǒng)開始在國內(nèi)相關(guān)領(lǐng)域中得到了廣泛應(yīng)用。我國部分領(lǐng)域所使用的模式識別系統(tǒng)在最初以統(tǒng)計(jì)識別策略為主，在最近幾年才將神經(jīng)網(wǎng)絡(luò)識別策略應(yīng)用于模式識別系統(tǒng)中。20世紀(jì)80年代后期，世界上關(guān)于人工神經(jīng)網(wǎng)絡(luò)的研究開始進(jìn)入一個(gè)熱潮，這是因?yàn)樵谠撾A段由Rumelhart等人在研究中提出了反向傳播學(xué)習(xí)算法，對于神經(jīng)網(wǎng)絡(luò)來說其可以有效解決前饋反向神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的問題，所以對于整個(gè)神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域來說開辟了一條新的途徑。前饋反向神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)問題的有效解決使神經(jīng)網(wǎng)絡(luò)的各項(xiàng)優(yōu)勢充分彰顯出來，而前饋反向神經(jīng)網(wǎng)絡(luò)模式識別則成為模式識別中的一個(gè)核心發(fā)展方向，并且開始被廣泛應(yīng)用于生物、醫(yī)學(xué)、地質(zhì)以及化工等產(chǎn)品檢測領(lǐng)域中，本文認(rèn)為關(guān)于神經(jīng)網(wǎng)絡(luò)在模式識別中的應(yīng)用將會給社會帶來巨大變革，同時(shí)也意味著基于神經(jīng)網(wǎng)絡(luò)的模式識別技術(shù)將成為網(wǎng)絡(luò)數(shù)字化時(shí)代的一項(xiàng)核心技術(shù)。

4.結(jié)語

現(xiàn)階段前饋反向神經(jīng)網(wǎng)絡(luò)模式識別已經(jīng)開始在社會各領(lǐng)域進(jìn)行實(shí)踐應(yīng)用，雖然在該技術(shù)體系中還存在一些不足與缺陷，但是在現(xiàn)代科技的支持下其勢必會迎來一個(gè)新的發(fā)展時(shí)期，對于我國社會各生產(chǎn)領(lǐng)域來說有著極為重要的推動作用。

參考文獻(xiàn)：

[1]汪烈軍.一種改進(jìn)的結(jié)構(gòu)自適應(yīng)自組織神經(jīng)網(wǎng)絡(luò)算法[J].微電子學(xué)與計(jì)算機(jī)，2007（01）.

[2]趙菊敏，程海青，張立毅.基于動量項(xiàng)前饋神經(jīng)網(wǎng)絡(luò)盲均衡算法[J].太原理工大學(xué)學(xué)報(bào)，2007（03）.

篇5

關(guān)鍵詞：模糊神經(jīng)網(wǎng)絡(luò)；伺服驅(qū)動系統(tǒng)；故障診斷

0 引言

現(xiàn)代伺服驅(qū)動系統(tǒng)采用最新的電力電子技術(shù)及數(shù)控技術(shù)，呈現(xiàn)出高度自動化、信息化、系統(tǒng)化和智能化的發(fā)展趨勢。由于運(yùn)行中的各種客觀條件或人為因素，伺服驅(qū)動系統(tǒng)出現(xiàn)故障的可能性是不可避免的。在眾多故障診斷方法中，人工智能技術(shù)在現(xiàn)代伺服驅(qū)動系統(tǒng)的故障診斷中發(fā)揮巨大作用。其中，模糊神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的非線性處理能力，本文提出利用模糊神經(jīng)網(wǎng)絡(luò)技術(shù)來建立針對伺服驅(qū)動系統(tǒng)的故障診斷模型。

1 模糊神經(jīng)網(wǎng)絡(luò)的原理及結(jié)構(gòu)

1.1 模糊神經(jīng)網(wǎng)絡(luò)的原理

模糊神經(jīng)網(wǎng)絡(luò)是模糊邏輯和人工智能神經(jīng)網(wǎng)絡(luò)有機(jī)結(jié)合的產(chǎn)物，它是一種集模糊邏輯推理的強(qiáng)大結(jié)構(gòu)性、知識表達(dá)能力和神經(jīng)網(wǎng)絡(luò)的強(qiáng)大自學(xué)習(xí)能力于一體的新技術(shù)，由精確輸入、模糊化、模糊規(guī)則庫、推理機(jī)制、清晰化、精確輸出組成。模糊化將輸入空間向量中精確的點(diǎn)映射成模糊集合。模糊規(guī)則庫是由if-then規(guī)則集合所組成。推理機(jī)制即使用編制完成的模糊if-then規(guī)則將模糊輸入集合映射到模糊輸出集合。清晰化是把模糊輸出集合映射成精確輸出集合。

1.2 模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

本文所采用模糊神經(jīng)網(wǎng)絡(luò)是一個(gè)五層網(wǎng)絡(luò)，分別為輸入層、模糊化層、BP隱含層、模糊輸出層和清晰化層。輸入層節(jié)點(diǎn)數(shù)為故障征兆數(shù)；模糊輸入層通過隸屬度函數(shù)實(shí)現(xiàn)故障征兆轉(zhuǎn)為以此隸屬度表示的模糊向量；BP隱含層實(shí)現(xiàn)BP輸入層到輸出層的映射；模糊輸出層輸出模糊化數(shù)值，任一節(jié)點(diǎn)代表一種故障原因，其值代表故障原因存在可能性的程度；清晰化層根據(jù)隸屬度最終確定故障原因。

2 BP神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)的確立

BP神經(jīng)網(wǎng)絡(luò)的隱含層節(jié)點(diǎn)數(shù)對BP神經(jīng)網(wǎng)絡(luò)預(yù)測精度有較大的影響：節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)不能很好地學(xué)習(xí)，需要增加訓(xùn)練次數(shù)，訓(xùn)練的精度也受影響；節(jié)點(diǎn)數(shù)太多，訓(xùn)練時(shí)間增加，網(wǎng)絡(luò)容易過擬合。經(jīng)驗(yàn)公式如下：

l

l

l=√（mqn） （3）

l=log2n （4）

式中：l代表隱含層神經(jīng)元個(gè)數(shù)；n代表輸入層節(jié)點(diǎn)數(shù)；m代表輸出層點(diǎn)數(shù)； a為0-10之間的常數(shù)。

3 模糊隸屬度函數(shù)

伺服驅(qū)動系統(tǒng)是一個(gè)非常復(fù)雜的綜合性系統(tǒng)，包含以下幾個(gè)子系統(tǒng)：總線通信；交流進(jìn)線端；DC Bus；逆變輸出；內(nèi)部溫度檢測；伺服電機(jī)編碼反饋；帶抱閘伺服電機(jī)松閘檢測等。本文以奧地利貝加萊B&R公司的ACOPOS驅(qū)動器為案例，以上文列舉幾大子系統(tǒng)的常見故障，并結(jié)合外部接線常見錯(cuò)誤和個(gè)別典型性故障作為研究對象，來建立對伺服驅(qū)動系統(tǒng)的模糊神經(jīng)網(wǎng)絡(luò)故障診斷模型?，F(xiàn)代伺服驅(qū)動系統(tǒng)在發(fā)生故障時(shí)，往往能夠過人機(jī)操作界面或系統(tǒng)自帶的顯示面板輸出故障代碼，貝加萊公司的ACOPOS驅(qū)動系統(tǒng)同樣可以做到這點(diǎn)，故障代碼就是最好的故障征兆。伺服驅(qū)動系統(tǒng)的一種故障征兆可能是由多種故障原因造成的，而同一種故障原因可能引起多種故障征兆的出現(xiàn)，故障征兆和故障原因之間往往是n對m的一種復(fù)雜映射關(guān)系。想要根據(jù)故障征兆來判斷出哪些原因可能引起故障，并確立多種故障原因的可能性高低，需由預(yù)先設(shè)定模糊隸屬度函數(shù)來確定故障征兆與故障原因之間的隸屬度。伺服驅(qū)動系統(tǒng)的故障原因?qū)收险髡棕暙I(xiàn)大小，即隸屬度。

4 模糊神經(jīng)網(wǎng)絡(luò)模型的建立、訓(xùn)練及其仿真

4.1 模糊神經(jīng)網(wǎng)絡(luò)模型的建立

4.1.1故障隸屬度分布

根據(jù)傳感器測量值與正常值比較和專家經(jīng)驗(yàn)獲得貝加萊伺服驅(qū)動系統(tǒng)的故障隸屬度分布，共71條故障征兆，86條故障原因。

4.1.2故障征兆訓(xùn)練樣本

該樣本是一個(gè)由71x71組成的矩陣：

4.1.3故障原因訓(xùn)練樣本

該樣本是一個(gè)由86x71組成的矩陣：

4.2 模糊神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練

使用Matlab R2014a的神經(jīng)網(wǎng)絡(luò)工具箱nnstart功能對模糊神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。輸入層神經(jīng)元個(gè)數(shù)71個(gè)，使用經(jīng)驗(yàn)公式（3）確定隱含層神經(jīng)元個(gè)數(shù)80個(gè)，輸出層神經(jīng)元個(gè)數(shù)86個(gè)。選用nnstart工具箱中的Fitting app方式訓(xùn)練。經(jīng)過多次訓(xùn)練得到最佳訓(xùn)練效果，誤差曲線如圖。

4.3 模糊神經(jīng)網(wǎng)絡(luò)模型的仿真

基于模糊神經(jīng)網(wǎng)絡(luò)的伺服驅(qū)動系統(tǒng)故障診斷模型訓(xùn)練完畢后，應(yīng)采用適當(dāng)?shù)臋z驗(yàn)樣本對其進(jìn)行仿真。選取貝加萊伺服驅(qū)動系統(tǒng)常見的3組故障征兆作為FNN的檢驗(yàn)樣本。故障征兆X001 32189：CAN總線或powerlink網(wǎng)絡(luò)循環(huán)數(shù)據(jù)超時(shí)；X037 6019：驅(qū)動器輸出過流；X061 41031：驅(qū)動器輸出IGBT結(jié)節(jié)溫度模型過高警報(bào)。表2、表3和表4為基于模糊神經(jīng)網(wǎng)絡(luò)的伺服驅(qū)動系統(tǒng)故障診斷模型的仿真結(jié)果。三張表分別對應(yīng)故障征兆X001、X037和X061的期望輸出、模糊神經(jīng)網(wǎng)絡(luò)模型的實(shí)際輸出和歸一化輸出的比較。從三張表可以看出，模糊神經(jīng)網(wǎng)絡(luò)模型的實(shí)際輸出在歸一化處理后與期望輸出基本相符，說明模糊神經(jīng)網(wǎng)絡(luò)模型能夠正確對貝加萊伺服驅(qū)動系統(tǒng)進(jìn)行故障診斷，在故障診斷中具有很好的決策能力。

篇6

關(guān)鍵詞：圖像復(fù)原 BP神經(jīng)網(wǎng)絡(luò) Hopfield神經(jīng)網(wǎng)絡(luò) 應(yīng)用

中圖分類號：TP391.41 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2013）11-0040-02

1 引言

圖像復(fù)原是一項(xiàng)富有現(xiàn)實(shí)意義的工作，它涉及到廣泛的技術(shù)領(lǐng)域，是圖像處理領(lǐng)域研究的焦點(diǎn)之一。在得到圖像的過程中，由于各種各樣的原因，包括與觀測對象的相對運(yùn)動、介質(zhì)散射、成像系統(tǒng)缺陷和環(huán)境噪聲等原因，使得最終的圖像都會有一定程度的退化。圖像復(fù)原就是從退化的圖像中恢復(fù)圖像的本來面目。傳統(tǒng)的圖像復(fù)原處理問題的關(guān)鍵在于建立退化模型，估計(jì)退化過程中的參數(shù)，由此通過相應(yīng)的逆過程得到原始圖像。獲得準(zhǔn)確的圖像退化模型是比較困難的事情。大多數(shù)圖像復(fù)原的實(shí)際問題是點(diǎn)擴(kuò)展函數(shù)以及原始圖像均未知的盲復(fù)原問題，這類問題具有更嚴(yán)重的病態(tài)性因而進(jìn)一步增加了解決的難度。人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）為圖像復(fù)原問題的解決提供了另外一條路徑，這是基于人工神經(jīng)網(wǎng)絡(luò)具有的模擬人類神經(jīng)的非線性、自組織、自學(xué)習(xí)、自適應(yīng)特性。一般而言，人工神經(jīng)網(wǎng)絡(luò)適合于解決無法或很難精確建立數(shù)學(xué)模型、不完全清楚內(nèi)部機(jī)理的問題，人工神經(jīng)網(wǎng)絡(luò)的很多特性適合解決圖像復(fù)原問題。近些年來，對人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像復(fù)原的研究越來越多，形成了很多豐富的神經(jīng)網(wǎng)絡(luò)模型和算法。BP（Back Propagation反向傳播）和Hopfield（霍普菲爾德）是典型的人工神經(jīng)網(wǎng)絡(luò)類型，也是在圖像復(fù)原領(lǐng)域應(yīng)用較多的神經(jīng)網(wǎng)絡(luò)類型。

2 BP神經(jīng)網(wǎng)絡(luò)在圖像復(fù)原中的應(yīng)用

2.1 BP神經(jīng)網(wǎng)絡(luò)的特性

BP神經(jīng)網(wǎng)絡(luò)是上世紀(jì)80年代美國加州大學(xué)的Rumelhart、McClelland及其團(tuán)隊(duì)研究并行分布信息處理時(shí)提出的采用反向傳播算法的多層前饋網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)具有良好的泛化能力，其隱層的非線性傳遞函數(shù)神經(jīng)元可以學(xué)習(xí)輸入輸出之間的線性或非線性關(guān)系。在1989年，RobertHecht-Nielson證明了對于任何一個(gè)在閉區(qū)間內(nèi)連續(xù)的函數(shù)都可以由具有一個(gè)隱含層的BP網(wǎng)絡(luò)來逼近，這樣，一個(gè)三層（輸入層、隱層和輸出層）的BP神經(jīng)網(wǎng)絡(luò)即能完成對多維度函數(shù)的逼近。這些特性，使得選用BP神經(jīng)網(wǎng)絡(luò)簡單地實(shí)現(xiàn)在未知點(diǎn)擴(kuò)展函數(shù)的情況下，擬合原始圖像與退化圖像之間的關(guān)系，從而得到滿意的圖像復(fù)原結(jié)果成為可能。

2.2 BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像復(fù)原

BP神經(jīng)網(wǎng)絡(luò)用退化圖像與相對應(yīng)的原始圖像進(jìn)行訓(xùn)練，退化圖像為網(wǎng)絡(luò)的輸入，原始圖像為網(wǎng)絡(luò)的輸出。訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)會在退化圖像與原始圖像之間建立非線性的映射關(guān)系，使得利用這種非線性關(guān)系即可實(shí)現(xiàn)在只有退化圖像的情況下對齊進(jìn)行復(fù)原。

利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像復(fù)原，一般用輸入圖像的N×N鄰域內(nèi)的N2個(gè)像素點(diǎn)對應(yīng)輸出圖像的一個(gè)像素點(diǎn)。這樣的對應(yīng)方法會使整個(gè)運(yùn)算量增大，但正由于參與運(yùn)算的像素點(diǎn)增加，使得網(wǎng)絡(luò)具有更好的泛化和魯棒能力。由于三層BP神經(jīng)網(wǎng)絡(luò)可以任意精度逼近某一多維度函數(shù)，因而其應(yīng)用于圖像復(fù)原時(shí)使用三層網(wǎng)絡(luò)結(jié)構(gòu)。輸入層和輸入層節(jié)點(diǎn)數(shù)分別由輸入圖像像素?cái)?shù)量和輸出圖像像素?cái)?shù)量決定，隱層節(jié)點(diǎn)數(shù)量和訓(xùn)練方法在很大程度上決定了網(wǎng)絡(luò)性能。

為了便于網(wǎng)絡(luò)計(jì)算，通過神經(jīng)網(wǎng)絡(luò)計(jì)算前通常將輸入圖像進(jìn)行歸一化。以灰度圖像為例，將圖像數(shù)據(jù)[0～255]轉(zhuǎn)換到[-1～1]或[0～1]。圖像經(jīng)過神經(jīng)網(wǎng)絡(luò)復(fù)原后還需進(jìn)行反歸一化轉(zhuǎn)換，將計(jì)算得到的數(shù)據(jù)轉(zhuǎn)換為圖像數(shù)據(jù)，即將[-1～1]或[0～1]轉(zhuǎn)換到[0～255]。

通常，運(yùn)用BP網(wǎng)絡(luò)進(jìn)行圖像復(fù)原算法流程包括：（1）圖像的預(yù)處理，得到歸一化的便于神經(jīng)網(wǎng)絡(luò)計(jì)算的數(shù)據(jù)；（2）使用退化圖像與對應(yīng)的原始圖像（訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)；（3）將待復(fù)原圖像輸入訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像復(fù)原；（4）數(shù)據(jù)的后處理，將網(wǎng)絡(luò)輸出數(shù)據(jù)進(jìn)行反歸一化，得到復(fù)原圖像。

3 Hopfield神經(jīng)網(wǎng)絡(luò)在圖像復(fù)原中的應(yīng)用

3.1 Hopfield神經(jīng)網(wǎng)絡(luò)的特性

不同于BP神經(jīng)網(wǎng)絡(luò)，Hopfield神經(jīng)網(wǎng)絡(luò)是一種單層反饋網(wǎng)絡(luò)，信號在網(wǎng)絡(luò)中不僅向前傳遞，還在神經(jīng)元之間傳遞。圖1是有三個(gè)神經(jīng)元的Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。Hopfield神經(jīng)網(wǎng)絡(luò)由美國加州理工學(xué)院物理學(xué)家J·J·Hopfield在上世紀(jì)80年代提出，并首次在神經(jīng)網(wǎng)絡(luò)研究中引入了計(jì)算能量函數(shù)的概念，通過研究網(wǎng)絡(luò)的穩(wěn)定性與計(jì)算能量函數(shù)的相關(guān)性給出了網(wǎng)絡(luò)的穩(wěn)定性判據(jù)。J·J·Hopfield運(yùn)用Hopfield神經(jīng)網(wǎng)絡(luò)成功地探討了旅行商問題（TSP）的求解方法。HNN神經(jīng)網(wǎng)絡(luò)采用灌輸式學(xué)習(xí)方式，其網(wǎng)絡(luò)權(quán)值是事先按一定規(guī)則計(jì)算出來的，確定之后不再改變，各神經(jīng)元的狀態(tài)在運(yùn)行過程中不斷更新，網(wǎng)絡(luò)穩(wěn)定時(shí)各神經(jīng)元的狀態(tài)便是問題的解。Hopfield神經(jīng)網(wǎng)絡(luò)的這些自身特征使其適于應(yīng)用于聯(lián)想記憶和求解最優(yōu)化問題。

3.2 Hopfield神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像復(fù)原

利用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像復(fù)原的方法分為兩類：一種是用原始圖像和模糊圖像構(gòu)成的樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)，在訓(xùn)練好的網(wǎng)絡(luò)中建立起原始圖像與模糊圖像的非線性映射關(guān)系，然后以帶復(fù)原的模糊圖像作為網(wǎng)絡(luò)的輸入，經(jīng)過網(wǎng)絡(luò)輸出的圖像數(shù)據(jù)就是經(jīng)過復(fù)原的圖像，BP神經(jīng)網(wǎng)絡(luò)就是運(yùn)用這種方法進(jìn)行圖像復(fù)原的典型神經(jīng)網(wǎng)絡(luò)。另一種是經(jīng)過神經(jīng)網(wǎng)絡(luò)反復(fù)的數(shù)學(xué)迭代計(jì)算復(fù)原，運(yùn)用Hopfield神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像復(fù)原屬于這類方法。

其中是神經(jīng)網(wǎng)絡(luò)的狀態(tài)向量，為網(wǎng)絡(luò)的權(quán)值矩陣，為由網(wǎng)絡(luò)中各神經(jīng)元閾值構(gòu)成的向量。Hopfield神經(jīng)網(wǎng)絡(luò)的運(yùn)行結(jié)果即網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)就是達(dá)到最小值時(shí)的狀態(tài)。由式（4）和（5）可以看出圖像復(fù)原的目標(biāo)函數(shù)與Hopfield神經(jīng)網(wǎng)絡(luò)能量函數(shù)具有相似的表達(dá)形式，因而可以建立兩者之間的聯(lián)系，從而將圖像復(fù)原問題轉(zhuǎn)變?yōu)樯窠?jīng)網(wǎng)絡(luò)的運(yùn)算問題，這也就是Hopfield神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像復(fù)原的基本原理。

運(yùn)用Hopfield神經(jīng)網(wǎng)絡(luò)解決圖像復(fù)原問題首先要確定網(wǎng)絡(luò)的權(quán)值矩陣。可以按照Hebb學(xué)習(xí)規(guī)則得出[4]。完成網(wǎng)絡(luò)初始化后，將退化圖像輸入網(wǎng)絡(luò)，從網(wǎng)絡(luò)中選取一個(gè)神經(jīng)元按照Hopfield神經(jīng)網(wǎng)絡(luò)的運(yùn)算規(guī)則得出神經(jīng)元的輸出，將所有神經(jīng)元求出輸出后判斷該網(wǎng)絡(luò)是否達(dá)到穩(wěn)定狀態(tài)，即計(jì)算前后的網(wǎng)絡(luò)能量函數(shù)的誤差是否小于要求的范圍。如果網(wǎng)絡(luò)不穩(wěn)定，需要重復(fù)迭代計(jì)算；網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)時(shí)，神經(jīng)網(wǎng)絡(luò)的狀態(tài)向量就是要求的原始圖像。經(jīng)過一定的后處理就能得到具有一定精度的原始圖像。

4 結(jié)語

人工神經(jīng)網(wǎng)絡(luò)在圖像復(fù)原問題中的應(yīng)用已經(jīng)擴(kuò)展到了很多方面，包括三維顯微圖像、高能閃光照相等領(lǐng)域[5-6]。神經(jīng)網(wǎng)絡(luò)在圖像復(fù)原中的應(yīng)用機(jī)理也不斷得到深入研究。這些得益于神經(jīng)網(wǎng)絡(luò)算法不依賴求解問題本身數(shù)學(xué)模型的特點(diǎn)，以及自身強(qiáng)大的泛化能力。BP和Hopfield神經(jīng)網(wǎng)絡(luò)都能成功地運(yùn)用在圖像復(fù)原問題中，在選用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像復(fù)原研究時(shí)要注意到BP神經(jīng)網(wǎng)絡(luò)強(qiáng)烈地依賴退化圖像與原始圖像構(gòu)成的樣本集合對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，這就要求得到足夠的先驗(yàn)知識或者通過某種算法得到退化圖像與原始圖像相對應(yīng)的樣本群。Hopfield神經(jīng)網(wǎng)絡(luò)不依賴于退化圖像與原始圖像的先驗(yàn)知識，可以直接針對退化圖像進(jìn)行復(fù)原。這就需要根據(jù)不同的實(shí)際情況選取合適的網(wǎng)絡(luò)類型來解決問題。

參考文獻(xiàn)

[1]尚鋼，鐘珞，陳立耀.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)選取[J].武漢工業(yè)大學(xué)學(xué)報(bào)，1997，19（2）.

[2]王晗.基于Hopfield神經(jīng)網(wǎng)絡(luò)的圖像恢復(fù)[D].武漢：華中科技大學(xué)南京理工大學(xué)，2006年4月.

[3]席旭剛，羅志增.用Hopfield神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)觸覺圖像恢復(fù)[J].儀器儀表學(xué)報(bào)，2008，30（10）.

[4] Bianchini M，F(xiàn)rasconi P.Learning without local minima in radial basis function networks[J].IEEE Transaction on Neural Networks，1995，6（3）：749～756.

篇7

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；數(shù)據(jù)挖掘；算法

1.數(shù)據(jù)挖掘過程及常用的神經(jīng)網(wǎng)絡(luò)模型

1.1數(shù)據(jù)挖掘過程

數(shù)據(jù)挖掘是一個(gè)由諸多步驟共同組成的具有反復(fù)特性的迭代過程，其最主要的目的是從海量的數(shù)據(jù)當(dāng)中，找出人們最感興趣的信息。大體上可將數(shù)據(jù)挖掘過程分為3個(gè)階段，即數(shù)據(jù)準(zhǔn)備、模式提取以及結(jié)果的解釋與評估。

（1）第一個(gè)階段為準(zhǔn)備所需的數(shù)據(jù)，具體可將這個(gè)階段細(xì)分為數(shù)據(jù)清洗、數(shù)據(jù)選取以及數(shù)據(jù)預(yù)處理和數(shù)據(jù)表示四個(gè)步驟。數(shù)據(jù)是數(shù)據(jù)挖掘過程中不可或缺的重要前提和基礎(chǔ)，但大量的實(shí)踐表明，只有數(shù)據(jù)是很難進(jìn)行挖掘工作的，必須在對數(shù)據(jù)進(jìn)行挖掘前，做一些相應(yīng)的準(zhǔn)確工作，這些工作也成為數(shù)據(jù)挖掘的重要環(huán)節(jié)。

（2）第二階段為模式提取。該階段是數(shù)據(jù)挖掘的核心環(huán)節(jié)，需要先明確數(shù)據(jù)挖掘的任務(wù)及目標(biāo)，并在正式確定目標(biāo)之后，選擇合適的算法或工具，開始對數(shù)據(jù)進(jìn)行挖掘操作。在這個(gè)環(huán)節(jié)當(dāng)中，算法是關(guān)鍵，即可選擇單一的算法，也可多種方法聯(lián)合使用，具體的選擇應(yīng)視挖掘的任務(wù)而定。

（3）第三階段為解釋與評價(jià)。挖掘過程中發(fā)現(xiàn)的模式應(yīng)當(dāng)以最容易理解的形式呈現(xiàn)給用戶，其間要對發(fā)現(xiàn)的模式進(jìn)行比較、校驗(yàn)，看是否與用戶的要求相符，進(jìn)而確定出挖掘效果。

1.2神經(jīng)網(wǎng)絡(luò)模型

現(xiàn)階段，已知的人工神經(jīng)網(wǎng)絡(luò)模型有40多種，較為常用的有以下幾種：

（1）BP神經(jīng)網(wǎng)絡(luò)。BP是誤差反向傳播的簡稱，這種神經(jīng)網(wǎng)絡(luò)歸屬于前饋網(wǎng)絡(luò)的范疇，其具有多層映射的特征，該網(wǎng)絡(luò)所采用的主要學(xué)習(xí)方式為最小均差，結(jié)構(gòu)簡單、學(xué)習(xí)訓(xùn)練算法成熟、工作狀態(tài)穩(wěn)定是BP模型的3大特點(diǎn)，正因如此使得該模型獲得了非常廣泛的應(yīng)用。由于BP算法對誤差函數(shù)有著一定的要求，即誤差函數(shù)必須可微，故此，為了有效克服局部極小的問題，多以全局優(yōu)化算法為主，如遺傳算法等。

（2）RBF神經(jīng)網(wǎng)絡(luò)。RBF是徑向基函數(shù)的簡稱，該網(wǎng)絡(luò)與BP網(wǎng)絡(luò)在歸屬的范疇上相同，也屬于前饋網(wǎng)絡(luò)。RBF網(wǎng)絡(luò)在激活函數(shù)方面有多種可選擇，最常用的是高斯函數(shù)，因?yàn)檫@種函數(shù)具有很多顯著的特點(diǎn)，如形式簡單、徑向?qū)ΨQ、容易解析等等。由于RBF網(wǎng)絡(luò)是一個(gè)多層前饋網(wǎng)絡(luò)，故此只要隱單元足夠多，便可達(dá)到任意給定精度，其在逼近目標(biāo)時(shí)，采用的化整為零的思想，即將目標(biāo)分解成為若干個(gè)局部對象。

（3）混合型神經(jīng)網(wǎng)絡(luò)。這是―種將其它方法有機(jī)融合到―起構(gòu)成的神經(jīng)網(wǎng)絡(luò)模型，它與傳統(tǒng)網(wǎng)絡(luò)模型的拓?fù)浣Y(jié)構(gòu)相同，但學(xué)習(xí)機(jī)制卻有所不同。常用的混合型神經(jīng)網(wǎng)絡(luò)有模糊和進(jìn)化2種。

2.基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘方法

2.1神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)挖掘中的應(yīng)用優(yōu)勢

神經(jīng)網(wǎng)絡(luò)是一門實(shí)用性較強(qiáng)的科學(xué)技術(shù)，其集多種現(xiàn)代技術(shù)于一身，有諸多并行分布的處理單元連接而成。從系統(tǒng)的角度上講，神經(jīng)網(wǎng)絡(luò)歸屬于動態(tài)系統(tǒng)的范疇，具有自適應(yīng)和非線性的特征，對噪聲數(shù)據(jù)有著非常強(qiáng)的容錯(cuò)和承受能力。由于神經(jīng)網(wǎng)絡(luò)所具有的這些特點(diǎn)，使得基于神經(jīng)網(wǎng)絡(luò)構(gòu)建的數(shù)據(jù)挖掘模型具備了與之相同的特點(diǎn)，這樣便可以適應(yīng)數(shù)據(jù)環(huán)境的不同變化，由此進(jìn)一步提升了數(shù)據(jù)挖掘模型的準(zhǔn)確性?？梢姡窠?jīng)網(wǎng)絡(luò)十分適用于數(shù)據(jù)挖掘領(lǐng)域。

2.2基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘過程

由上文分析可知，在數(shù)據(jù)挖掘領(lǐng)域中，神經(jīng)網(wǎng)絡(luò)具有較高的適用性，以此為基礎(chǔ)的數(shù)據(jù)挖掘過程分為以下幾個(gè)階段。

2.2.1數(shù)據(jù)的選擇及預(yù)處理階段

數(shù)據(jù)選擇的主要目的是為神經(jīng)網(wǎng)絡(luò)的構(gòu)建提供相應(yīng)的數(shù)據(jù)支撐，這個(gè)過程可以細(xì)分為以下2個(gè)環(huán)節(jié)：（1）對數(shù)據(jù)進(jìn)行訓(xùn)練，（2）對數(shù)據(jù)進(jìn)行測試。觀察和理解是選擇數(shù)據(jù)時(shí)必須做的工作，當(dāng)樣本數(shù)據(jù)集確定之后，便可按照挖掘目標(biāo)，并結(jié)合挖掘方法，對數(shù)據(jù)進(jìn)行編碼處理。

2.2.2網(wǎng)絡(luò)訓(xùn)練與剪枝

當(dāng)數(shù)據(jù)選擇和處理工作完成之后，數(shù)據(jù)挖掘人員需要選用一個(gè)神經(jīng)網(wǎng)絡(luò)模型，同時(shí)確定相應(yīng)的網(wǎng)絡(luò)訓(xùn)練算法，通過該算法對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。剪枝的主要作用是以神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性為前提，去除掉沒有意義和價(jià)值的冗余結(jié)點(diǎn)由此會使網(wǎng)絡(luò)模式更加簡練，也更容易理解。

2.2.3規(guī)則的提取與評估階段

經(jīng)過以上2個(gè)階段后，神經(jīng)網(wǎng)絡(luò)當(dāng)中便會蘊(yùn)含著學(xué)習(xí)到的規(guī)則，也就是常說的知識，但是此時(shí)的規(guī)則由于存在形式的原因，不容易理解，所以需要對規(guī)則進(jìn)行提取。提取規(guī)則的主要目的在于將規(guī)則的形式轉(zhuǎn)化為容易理解的形式，如模糊邏輯、決策樹等，然后再借助測試樣本對規(guī)則的可靠性進(jìn)行測試、評估。

2.3基于RBF神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘模型設(shè)計(jì)

下面本文以RBF神經(jīng)網(wǎng)絡(luò)為依托，對數(shù)據(jù)挖掘模型進(jìn)行設(shè)計(jì)，其整體框架結(jié)構(gòu)如圖1所示。

整個(gè)系統(tǒng)由以下模塊構(gòu)成：數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)分類與評估、控制與干預(yù)、GUI人機(jī)交互、知識庫。系統(tǒng)模塊的設(shè)計(jì)情況如下。

2.3.1數(shù)據(jù)準(zhǔn)備

①數(shù)據(jù)選擇。在數(shù)據(jù)選擇中，讓用戶利用數(shù)據(jù)訪問接口對數(shù)據(jù)集進(jìn)行自行選擇，進(jìn)一步確定數(shù)據(jù)集類型、數(shù)據(jù)集名稱及數(shù)據(jù)集處所位置。數(shù)據(jù)訪問接口為對象模型，該模型覆蓋了數(shù)據(jù)訪問的各個(gè)層面，具體可使用的接口包括ADO，DAO和ODBC三種，本系統(tǒng)采用的數(shù)據(jù)庫訪問方案為DAO/ODBC，選擇該方案的主要原因是DAO既能夠與Microsoft Jet數(shù)據(jù)庫引擎并用，還可借助ODBC Direct選項(xiàng)不與其并用。同時(shí)，通過DA0對Jet進(jìn)行訪問更加簡單、便捷，并且使用DATE控件和DAO，能夠創(chuàng)建出與數(shù)據(jù)庫本身無任何關(guān)聯(lián)性的虛擬代碼。②數(shù)據(jù)清理。該環(huán)節(jié)的主要目的是將不希望包括在內(nèi)的觀測值篩選掉，操作過程既可借助SQn吾句實(shí)現(xiàn)，也可借助相關(guān)程序予以實(shí)現(xiàn)。③數(shù)據(jù)合成。該環(huán)節(jié)是將獨(dú)立的數(shù)據(jù)合成數(shù)據(jù)集，操作過程較為簡單，只要規(guī)則確定便可利用sQL語句或相關(guān)程序來實(shí)現(xiàn)。

2.3.2數(shù)據(jù)挖掘

（1）挖掘方法的選擇與管理。該環(huán)節(jié)在系統(tǒng)中具有重要的作用，與系統(tǒng)的可擴(kuò)充性和最佳挖掘方法的選擇有關(guān)。挖掘方法管理可對系統(tǒng)中使用的全部方法所產(chǎn)生的接口信息進(jìn)行保存，如對文本文件分詞方法、Web日志的Session戈0分方法等挖掘方法中產(chǎn)生的特定數(shù)據(jù)信息予以保存，粗糙集、決策樹屬于通用的挖掘方法。在對該模塊進(jìn)行設(shè)計(jì)的過程中，針對分類預(yù)測問題，使用了聚類和神經(jīng)網(wǎng)絡(luò)以及統(tǒng)計(jì)學(xué)等方法。選擇方法的主要目的是幾乎所有的方法都是數(shù)據(jù)依賴，并沒苻一種方法能夠在所有的數(shù)據(jù)上表現(xiàn)良好。因此在方法選擇的初始階段，通過專家的人為干預(yù)是有必要的。經(jīng)過對前人的研究成果進(jìn)行總結(jié)后發(fā)現(xiàn)，將多種不同的方法聯(lián)合運(yùn)用可大幅度提升運(yùn)用效果。對于本文構(gòu)建的數(shù)據(jù)挖掘系統(tǒng)而言，其核心部分為數(shù)據(jù)挖掘模塊，該模塊的設(shè)計(jì)分為3個(gè)方面：①訓(xùn)練模塊，以訓(xùn)練RBF網(wǎng)絡(luò)為主，采用數(shù)學(xué)模型方法構(gòu)建網(wǎng)絡(luò)分類模型；②預(yù)測模塊，在分類實(shí)際數(shù)據(jù)的基礎(chǔ)上，將分類產(chǎn)生的數(shù)據(jù)結(jié)果快速傳遞到評估模塊；③重構(gòu)模塊，該模塊地能夠確保數(shù)據(jù)挖掘模型具有―定的可擴(kuò)展性和自適應(yīng)能力，按照具體需要對模型進(jìn)行重新構(gòu)建。（2）結(jié)果顯示。該環(huán)節(jié)以多種形式顯示數(shù)據(jù)挖掘結(jié)果，如列表、樹、圖等是最為常見的顯示方式。本文采用了可視化的方法進(jìn)行數(shù)據(jù)挖掘結(jié)果顯示，這樣能夠使用戶對挖掘結(jié)果的了解更加直觀、具體。（3）結(jié)果評估。在評估中，采用數(shù)據(jù)挖掘評價(jià)方式，通過比較分析不同模型下產(chǎn)生的數(shù)據(jù)挖掘效果，從而得出各類型分析工具的最終結(jié)果，再配以相應(yīng)的標(biāo)準(zhǔn)圖標(biāo)進(jìn)行直觀顯示，方便用戶利用相關(guān)數(shù)據(jù)信息開展定量評價(jià)。在結(jié)果評估中，強(qiáng)調(diào)獲取規(guī)則的價(jià)值評定，其評價(jià)關(guān)鍵點(diǎn)為查看數(shù)據(jù)挖掘結(jié)果與用戶期望的符合程度，并對挖掘結(jié)果的可靠性和價(jià)值性進(jìn)行評價(jià)，將其作為知識庫是否納入規(guī)則的重要評判依據(jù)。在GUI交互界面上，數(shù)據(jù)挖掘系統(tǒng)與用戶可以進(jìn)行交互操作。

2.4安全性保障措施

基于RBF神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘系統(tǒng)在使用過程中，安全性非常重要，為此，本文提出幾點(diǎn)安全性保障措施，以此來確保數(shù)據(jù)挖掘的安全。

（1）采用登錄機(jī)制確保數(shù)據(jù)安全。所謂的登錄機(jī)制主要是針對客戶端的一種安全控制措施。由于用戶與服務(wù)器端需要通過網(wǎng)絡(luò)的方式進(jìn)行數(shù)據(jù)傳輸，為了進(jìn)一步提高數(shù)據(jù)傳輸?shù)陌踩?，可對?shù)據(jù)進(jìn)行加密處理，并將用戶挖掘到的數(shù)據(jù)結(jié)果存儲在服務(wù)器上，由此在不同的計(jì)算機(jī)上使用客戶端均可對之前挖掘到的數(shù)據(jù)結(jié)果進(jìn)行利用。

（2）設(shè)置權(quán)限?？梢酝ㄟ^用戶管理來完成用戶的注冊、登錄以及使用權(quán)限管理。當(dāng)用戶需要使用數(shù)據(jù)挖掘系統(tǒng)進(jìn)行數(shù)據(jù)挖掘時(shí)，要先進(jìn)行賬號注冊，并在使用前通過注冊的賬號和密碼進(jìn)行登錄，從而保證每個(gè)用戶的數(shù)據(jù)安全。此外，用戶管理能夠?qū)崿F(xiàn)分級管理，賦予不同用戶不同的權(quán)限，這使安全性獲得了進(jìn)一步提升。

篇8

關(guān)鍵詞：MIS智能入侵檢測；特征規(guī)則；模糊聚類

中圖分類號：TP183文獻(xiàn)標(biāo)識碼：A文章編號：1009-3044(2008)24-1267-02

MIS Intelligent Intrusion Detection Technology Based on the Clustering Method

ZHANG Dong-liang, XIA Zhong-hua

(Qinghuangdao Institute of Technology,Qinhuangdao 066100,China)

Abstract: In this paper, there is a brief introduction to the MIS intelligent intrusion detection technologyby usingneural networks, and by use of the new cluster to improve the neural network, Rules adopted by the best time of the algorithm to reduce complexity and simplify the neural network. To optimize the feature extraction rules, improving the efficiency of the intrusion detection and intelligence.

Key words: MIS intelligent intrusion detection;characteristics of rules;fuzzy cluster

1 引言

入侵檢測（Intrusion Detection，ID）是指通過對行為、安全日志或?qū)徲?jì)數(shù)據(jù)或其它可以獲得的信息進(jìn)行操作，檢測到對系統(tǒng)的闖入或闖入的企圖[1]。它通過對計(jì)算機(jī)系統(tǒng)或網(wǎng)絡(luò)計(jì)算機(jī)系統(tǒng)中的若干 關(guān)鍵點(diǎn)收集信息并對其進(jìn)行分析，從中發(fā)現(xiàn)系統(tǒng)或網(wǎng)絡(luò)中是否有違反安全策略的行為和被攻擊的跡象。

現(xiàn)有的入侵檢測系統(tǒng)多數(shù)采用概率統(tǒng)計(jì)、專家系統(tǒng)、神經(jīng)網(wǎng)絡(luò)等智能化方法來實(shí)現(xiàn)系統(tǒng)的檢測機(jī)制。其中，神經(jīng)網(wǎng)絡(luò)方法可以利用大量實(shí)例通過訓(xùn)練 的方法構(gòu)造正常行為模型，能夠有效預(yù)測未知的攻擊，并且它有自適應(yīng)、自學(xué)習(xí)、自組織、并行性等優(yōu)點(diǎn)，在攻擊類型上，則對非授權(quán)獲得超級用戶權(quán)限和遠(yuǎn)程到本 地的非授權(quán)訪問的檢測效果顯著[2]。

本文使用新的聚類方法來改善神經(jīng)網(wǎng)絡(luò)，通過得到最佳的規(guī)則數(shù)來降低算法時(shí)間復(fù)雜度，簡化神經(jīng)網(wǎng)絡(luò)，使之進(jìn)行有效的數(shù)據(jù)提取和學(xué)習(xí)，提高入侵檢測的效率和智能性。

2 MIS智能入侵檢測技術(shù)

MIS智能入侵檢測主要由四個(gè)主要模塊組成：

1) 數(shù)據(jù)采集：主要由SQLServer跟蹤日志給出，相當(dāng)于事件產(chǎn)生器；2) 檢測單元：主要由神經(jīng)網(wǎng)絡(luò)訓(xùn)練出一個(gè)相對穩(wěn)定的正常模型，用于檢測異常調(diào)用，相當(dāng)于事件分析器[3]；3) 特征數(shù)據(jù)庫：主要利用誤用檢測的特點(diǎn)，實(shí)現(xiàn)快速檢測各種已知的異常調(diào)用，并直接反饋倒報(bào)警單元，相當(dāng)于事件數(shù)據(jù)庫，其征數(shù)據(jù)庫與被監(jiān)控?cái)?shù)據(jù)庫分離存儲；4) 報(bào)警單元：主要是殺掉異常調(diào)用的客戶端進(jìn)程，反饋給系統(tǒng)管理員并記錄到自定義日志文件，相當(dāng)于響應(yīng)單元。

主要流程是：首先通過采集的樣本數(shù)據(jù)經(jīng)過訓(xùn)練后形成檢測單元，建立相應(yīng)特征數(shù)據(jù)庫并完成日志文件初始化工作；然后實(shí)時(shí)監(jiān)測客戶端調(diào)用，將數(shù)據(jù)直接和特征數(shù)據(jù)庫進(jìn)行匹配，如有匹配則送入報(bào)警單元，反之則送入檢測單元；檢測單元將數(shù)據(jù)作為輸入向量與正常模型比較，如果泛化輸出值大于期望值，則列為異常，直接送入誤用數(shù)據(jù)庫存儲，并通知報(bào)警單元，反之繼續(xù)監(jiān)測各調(diào)用。

3 基于聚類方法的智能入侵檢測

3.1 數(shù)據(jù)采集

入侵檢測的關(guān)鍵是用戶行為特征的提取。本文主要利用SQLServer的事件探察器，建立新的跟蹤文件，針對TSQL、存儲過程、安全審核、會話等事件，選取 ObjectId, LoginName, CPU, Read, Write ClientProcessId, SPID 七個(gè)數(shù)據(jù)列作為輸入向量[4]。分別表示客戶端對數(shù)據(jù)庫表、存儲過程和視圖的調(diào)用；客戶數(shù)據(jù)庫登陸名；CPU占用時(shí)間；對數(shù)據(jù)庫的讀寫操作；客戶端進(jìn)程號和系統(tǒng) 分配進(jìn)程號。這七種數(shù)據(jù)在對數(shù)據(jù)庫的調(diào)用過程中相對穩(wěn)定。LoginName中則主要考慮客戶端默認(rèn)調(diào)用，采集到的數(shù)據(jù)都是十進(jìn)制數(shù)據(jù)，不需要額外的數(shù)據(jù)預(yù)處理，符合神經(jīng)網(wǎng)絡(luò)輸入的要求。

3.2 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

本文采用采用三層神經(jīng)網(wǎng)絡(luò)[5]：輸入單元為七個(gè)，分別對應(yīng)上述七個(gè)處理向量；輸出層為一個(gè)神經(jīng)單元，輸出結(jié)果 規(guī)定在（0，1）范圍內(nèi)，用0表示為正常行為，用1表示為異常行為；隱層結(jié)點(diǎn)通過試驗(yàn)確定為6個(gè)；權(quán)值和閾值為小的隨機(jī)數(shù)；學(xué)習(xí)率為0.1；隱含層和輸出層采用Sigmoid函數(shù)f(x)=(1+e-x)－1為激發(fā)函數(shù)，該函數(shù)具有非線性放大功能，可以把輸入從負(fù)無窮大放大到正無窮 大的信號，變換到0到1之間的輸出，可以逼近非線性輸入/輸出關(guān)系。我們將七種特征向量作為神經(jīng)網(wǎng)絡(luò)的輸入向量，訓(xùn)練的結(jié)果就是確定了B網(wǎng)絡(luò)的權(quán)值，而 這些權(quán)值就存儲了行為的特征模式，將訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)用于實(shí)際的工作，就可以判斷是否有異常的調(diào)用，如發(fā)現(xiàn)了新的非權(quán)限異常調(diào)用，則把檢測到的模式存儲到特征數(shù)據(jù)庫。

3.3利用新的聚類方法提取最佳規(guī)則數(shù)

此文通過求解最佳聚類數(shù)來得到最佳規(guī)則數(shù)，首先通過構(gòu)造一個(gè)新的判別準(zhǔn)則來進(jìn)行模糊分類,確定樣本數(shù)據(jù)的最佳分類,從而確定最佳規(guī)則數(shù)。

可以看出,聚類判別準(zhǔn)則Vp由2部分組成,第一部分反映了同一類中的緊湊程度。第k個(gè)樣本Xk越接近模糊類中心,最大隸屬度max(uik)就越接近1。因此,對每一個(gè)樣本Xk來說,模糊集max(uik)被認(rèn)為是一個(gè)好的分類指標(biāo),這個(gè)值越大,代表同一類的緊湊程度就越好。式(1)的第二部分體現(xiàn)了類與類之間的分離程度[4]。這里,用2個(gè)模糊集的交集來評價(jià)類Vi和Vj的分離程度。事實(shí)上,如果Xk接近類中心Vi,min(uik,ujk)接近于零,結(jié)果類Vi和Vj很明顯被分開。

另一方面,如果min(uik,ujk)接近于1/C,Xk屬于所有類的隸屬度相等,此時(shí)劃分的類最模糊。這個(gè)新的的判別準(zhǔn)則Vp既考慮了同一類的緊湊程度,又考慮了類與類之間的分離程度。這樣相對于最大值Vp的聚類數(shù)C就是一個(gè)最佳聚類數(shù)[6]。

3.4 調(diào)整特征提取規(guī)則

經(jīng)過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，得到了大量的特征提取規(guī)則，現(xiàn)在就要根據(jù)上文所得的最佳規(guī)則數(shù)來調(diào)整規(guī)則，使之達(dá)到最佳。規(guī)則的化簡是基于網(wǎng)絡(luò)權(quán)值來進(jìn)行的。權(quán)值的初始值的大小代表了規(guī)則成功的概率；經(jīng)過網(wǎng)絡(luò)進(jìn)行訓(xùn)練以后，這個(gè)概率或被增加或被減少。概率為零表示該條規(guī)則不再存在理應(yīng)被去除[7-8]。1) 主要思想是將網(wǎng)絡(luò)權(quán)值為零或很接近于零的規(guī)則視為無效的規(guī)則而被去除[9]；2) 在具有同一前件的所有規(guī)則中，將取權(quán)值最大的規(guī)則保留，而將其余的規(guī)則去除；3) 為了保持規(guī)則的一致性，在矛盾的規(guī)則中取概率最大的規(guī)則是一種良好的選擇[10]。

3.5 實(shí)驗(yàn)結(jié)果

MIS系統(tǒng)在正常運(yùn)行一周內(nèi)，從跟蹤文件中隨機(jī)選取了1000個(gè)樣本作為訓(xùn)練樣本，500個(gè)樣本作為檢測樣本。利用聚類方法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到的規(guī)則數(shù)目由原來的35個(gè)減少到23個(gè)。改進(jìn)前構(gòu)建的正常行為模型80%以上的能夠檢測到未知的異常操作，誤用數(shù)據(jù)庫70%的可以快速檢測得到各種已知的異常調(diào)用。改進(jìn)后構(gòu)建的正常行為模型90%以上的能夠檢測到未知的異常操作；而誤用數(shù)據(jù)庫則98%的可以快速檢測得到各種已知的異常調(diào)用。

由結(jié)果可以得知，本文提出的方法，有效的提取了數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，提高入侵檢測的效率和智能性。

4 結(jié)論

本文介紹了神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的MIS智能入侵檢測技術(shù)的簡單流程，采用了新的聚類方法來改善神經(jīng)網(wǎng)絡(luò)，通過得到最佳的規(guī)則數(shù)來確定特征提取規(guī)則的界限，降低了算法時(shí)間復(fù)雜度，簡化了神經(jīng)網(wǎng)絡(luò)。從而優(yōu)化了特征提取規(guī)則，提高了入侵檢測的效率和智能性。

參考文獻(xiàn)：

[1] 劉美蘭,姚京松.神經(jīng)網(wǎng)絡(luò)在入侵檢測系統(tǒng)中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用,1999,(6):37-42.

[2] 撖書良,蔣嶷川,張世永.基于神經(jīng)網(wǎng)絡(luò)的高效智能入侵檢測系統(tǒng)[J].計(jì)算機(jī)工程與應(yīng)用,2004,30(10):69-70.

[3] 陳瑾,羅敏,張煥國.入侵檢測技術(shù)概述[J].計(jì)算機(jī)工程與應(yīng)用,2004,(2):133-136.

[4] 王士同,陳慧萍,趙躍華,等.人工智能教程[M].北京:電子工業(yè)出版社,2002

[5] Pal N R,Pal K,Keller J,et al.A Possibilistic Fuzzy c- Means Clustering Algorithm[J].IEEE Trans,Fuzzy Systems:in review,2004.

[6] Krisnapuram R,Frigui H,Nasroui O.Fuzzy and possibilistic shell clustering algorithms and their application to boundary detection and surface approximation[J].IEEE Trans,Fuzzy Systems,1995,3(1):29-60.

[7] Dave R N,Bhaswan K.Adaptive fuzzy c-shells clustering and detection of ellipses[J].IEEE Trans,on Neural Networks,1992,3(5):643-662.

[8] Timm C,Kruse R R.A modification to improve possibilistic fuzzy cluster analysis[C].Proceedings of the IEEE Int,Conf on Fuzzy Systems,Honululu,2002.

[9] 王士同.神經(jīng)模糊系統(tǒng)及其應(yīng)用[M].北京:北京航空航天大學(xué)出版社,2004.

篇9

關(guān)鍵詞:農(nóng)村電力;BP算法;人工神經(jīng)網(wǎng)絡(luò);回歸分析

中圖分類號:TM855文獻(xiàn)標(biāo)識碼:A

文章編號:1009-2374 (2010)22-0138-03

0引言

農(nóng)村用電具有很大的不確定性,農(nóng)村電力短期負(fù)荷預(yù)測研究對農(nóng)村電力系統(tǒng)的安全及農(nóng)業(yè)安全生產(chǎn)有十分重要的意義?；诙唐谪?fù)荷預(yù)測研究理論和方法已做了大量預(yù)測研究,提出了很多方法,大致可以分為兩類:一類是以時(shí)間序列法為代表的傳統(tǒng)方法,如時(shí)間序列法等,這些方法算法簡單,速度快,應(yīng)用廣泛,但由于其本質(zhì)上都是線性模型方法,因此存在著很多缺點(diǎn)和局限性,無法真實(shí)地反映農(nóng)村電力系統(tǒng)不同負(fù)荷模型的非線性特性;另一類是以人工神經(jīng)網(wǎng)絡(luò)為代表的新型人工智能方法,神經(jīng)網(wǎng)絡(luò)具有并行分布信息和自學(xué)習(xí)及任意逼近連續(xù)函數(shù)的能力,能夠捕獲農(nóng)村電力短期負(fù)荷的各種變化趨勢。BP網(wǎng)絡(luò)需要大量歷史數(shù)據(jù)進(jìn)行訓(xùn)練,且學(xué)習(xí)及處理不確定性和人工信息的能力較差。人工邏輯系統(tǒng)適用于處理不確定性、不精確性及噪聲引起的問題。實(shí)踐證明,將BP算法和神經(jīng)網(wǎng)絡(luò)融合的人工神經(jīng)網(wǎng)絡(luò)能發(fā)揮各自的優(yōu)勢,克服各自的不足是一種有效的方法。

1農(nóng)村電力短期負(fù)荷預(yù)測研究算法

基于負(fù)荷預(yù)測方法主要有回歸分析法、時(shí)間序列法、指數(shù)平滑法、灰色模型法、專家系統(tǒng)法、人工神經(jīng)網(wǎng)絡(luò)法、小波分析預(yù)測技術(shù)和數(shù)據(jù)挖掘理論等。

1.1回歸分析法

回歸分析法是研究變量與變量之間的一種數(shù)學(xué)方法。在回歸分析中,自變量是隨機(jī)變量,因變量是非隨機(jī)變量,由給定的多組自變量和因變量資料,研究各自變量和因變量之間的關(guān)系,形成回歸方程,求解回歸方程后,給定各自變量數(shù)值,即可求出因變量值?；貧w分析法根據(jù)歷史數(shù)據(jù)和一些影響負(fù)荷變化的因素變量來推斷將來時(shí)刻的負(fù)荷值。回歸分析法的特點(diǎn)是:原理、結(jié)構(gòu)簡單,預(yù)測速度快,外推特性好,對于歷史上未出現(xiàn)過的情況有較好的預(yù)測值。

1.2灰色模型法

灰色系統(tǒng)理論將一切隨機(jī)變化量看作是在一定范圍內(nèi)變化的灰色量。常用累加生成(AGO)和累減生成(IAGO)的方法將雜亂無章的原始數(shù)據(jù)整理成規(guī)律性較強(qiáng)的生成數(shù)據(jù)列。用灰色模型(GM)的微分方程作為農(nóng)村電力系統(tǒng)單一指標(biāo)(如負(fù)荷)的預(yù)測時(shí),求解微分方程的時(shí)間響應(yīng)函數(shù)表達(dá)式即為所求的灰色預(yù)測模型,對模型的精度和可信度進(jìn)行校驗(yàn)并修正后即可據(jù)此模型預(yù)測未來的負(fù)荷。

1.3專家系統(tǒng)法

專家系統(tǒng)是依據(jù)專門從事短期負(fù)荷預(yù)測的技術(shù)人員提供的經(jīng)驗(yàn),總結(jié)出一系列的規(guī)則,并建立相應(yīng)的歷史負(fù)荷和天氣的數(shù)據(jù)庫,利用if-then規(guī)則對待預(yù)測日的負(fù)荷進(jìn)行估計(jì)。由于專家系統(tǒng)將天氣條件作為一個(gè)重要因素引入預(yù)測模型,因而預(yù)測的結(jié)果更為令人滿意。專家系統(tǒng)預(yù)測的優(yōu)點(diǎn)在于較好的解決了天氣等因素對負(fù)荷的影響,有力的克服了時(shí)間序列法不能處理數(shù)據(jù)序列中出現(xiàn)大擾動的情況。但是這種方法過分依賴規(guī)則,如果沒有一系列成熟的規(guī)則負(fù)荷預(yù)測就無法進(jìn)行,而規(guī)則本身不具有普遍適應(yīng)性,預(yù)測模型不能推廣到所有的系統(tǒng),這正是專家系統(tǒng)存在的弱點(diǎn)。

1.4人工神經(jīng)網(wǎng)絡(luò)法

人工神經(jīng)網(wǎng)絡(luò)方法是90年代以來發(fā)展起來的新方法,用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行負(fù)荷預(yù)測是農(nóng)村電力系統(tǒng)負(fù)荷預(yù)測的一個(gè)新發(fā)展方向。人工神經(jīng)網(wǎng)絡(luò)法利用人工神經(jīng)網(wǎng)絡(luò)(ANN),選取過去一段時(shí)間的負(fù)荷作為訓(xùn)練樣本,然后構(gòu)造適宜的網(wǎng)絡(luò)結(jié)構(gòu),用某種訓(xùn)練算法對網(wǎng)絡(luò)進(jìn)行訓(xùn)練,使其滿足精度要求之后,用ANN作負(fù)荷預(yù)測。一般而言,ANN應(yīng)用于短期負(fù)荷預(yù)測要比應(yīng)用于中長期負(fù)荷預(yù)測更為適宜,因?yàn)槎唐谪?fù)荷變化可以認(rèn)為是一個(gè)平穩(wěn)隨機(jī)過程,而長期負(fù)荷預(yù)測與國家或地區(qū)的政治、經(jīng)濟(jì)政策等因素密切相關(guān),通常會有些大的波動,而并非是一個(gè)平穩(wěn)隨機(jī)過程。目前用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行負(fù)荷預(yù)測還存在一些問題,比如模型結(jié)構(gòu)的確定,輸入變量的選取,人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)時(shí)間較長等問題。但它仍具有許多其他方法所不能比擬的優(yōu)點(diǎn),例如:良好的函數(shù)逼近能力,通過對樣本的學(xué)習(xí),能夠很好的反映對象的輸入/輸出之間復(fù)雜的非線性關(guān)系。因此人工神經(jīng)網(wǎng)絡(luò)受到許多學(xué)者的高度評價(jià)。

1.5小波分析預(yù)測技術(shù)

小波分析是Fourie分析深入發(fā)展過程中的一個(gè)新的里程碑,是本世紀(jì)數(shù)學(xué)研究成果中最杰出的代表,已成為眾多學(xué)科共同關(guān)注的熱點(diǎn)。一方面,小波分析發(fā)揚(yáng)了Foufie分析的優(yōu)點(diǎn),克服了Fourie分析的某些缺點(diǎn);另一方面,小波分析現(xiàn)在已經(jīng)被廣泛應(yīng)用于信號處理、圖像處理、量子場論、語言識別與合成、地震預(yù)報(bào)、機(jī)器視覺、機(jī)械故障診斷與監(jiān)控、數(shù)字通信與傳輸?shù)缺姸囝I(lǐng)域。原則上講,凡是傳統(tǒng)方法中采用Fourier分析的地方,基本上都可以用小波分析來取代,而且其應(yīng)用結(jié)果會得到深化和發(fā)展,因此小波分析作為一種多方面運(yùn)用的數(shù)學(xué)工具,具有巨大的潛力和廣泛的應(yīng)用前景。

農(nóng)村電力系統(tǒng)中曰負(fù)荷曲線具有特殊的周期性,負(fù)荷以天、周、年為周期發(fā)生波動,大周期中嵌套小周期。而小波分析是一種時(shí)域或頻域分析方法,它在時(shí)域和頻域上同時(shí)具有良好的局部化性質(zhì),并且能根據(jù)信號頻率高低自動調(diào)節(jié)采樣的疏密,容易捕捉和分析微弱信號以及信號、圖像精細(xì)的采樣步長,從而可以聚焦到信號的任意細(xì)節(jié),尤其是對奇異信號很敏感,能很好的處理微弱或突變的信號,其目標(biāo)是將一個(gè)信號的信息轉(zhuǎn)化成小波系數(shù),可以方便的處理、存儲、傳遞、分析或被用于重建原始信號,這些優(yōu)點(diǎn)決定了小波分析可以有效地應(yīng)用于負(fù)荷預(yù)測問題的研究。

1.6模糊預(yù)測法(FUZZY)

FUZZY預(yù)測,是近幾年來在農(nóng)村電力系統(tǒng)負(fù)荷預(yù)測中不斷出現(xiàn)的一種預(yù)測方法,將FUZZY方法引入的原因是,農(nóng)村電力系統(tǒng)中存在著大量的模糊信息,如負(fù)荷預(yù)測中的關(guān)鍵因素氣象狀況的評判、負(fù)荷的日期類型的劃分等信息,都是模糊的。常規(guī)方法就是采用統(tǒng)計(jì)和經(jīng)驗(yàn)相結(jié)合的方法予以處理,這給負(fù)荷預(yù)測引入了不科學(xué)因素,并且與自動化要求相矛盾,而FUZZY方法正是破解這些模糊信息的鑰匙。從實(shí)際應(yīng)用來看,單純的FUZZY方法對于負(fù)荷預(yù)測的精度往往是不盡人意的,主要因?yàn)镕UZZY預(yù)測沒有學(xué)習(xí)能力,這一點(diǎn)對于不斷變化的農(nóng)村電力系統(tǒng)而言,是極為不利的。

2農(nóng)村電力短期負(fù)荷預(yù)測研究與實(shí)現(xiàn)

2.1人工神經(jīng)網(wǎng)絡(luò)原理

人工神經(jīng)網(wǎng)絡(luò)是一種“采用物理可實(shí)現(xiàn)的系統(tǒng)來模仿人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能的系統(tǒng)。”人工神經(jīng)網(wǎng)絡(luò)是最近發(fā)展起來的十分熱門的交叉學(xué)科,它涉及生物、電子、計(jì)算機(jī)、數(shù)學(xué)和物理學(xué)科,有著非常廣泛的應(yīng)用背景,這門學(xué)科的發(fā)展對日前和末來的科學(xué)技術(shù)的發(fā)展有重要的影響。二維的簡單人工神經(jīng)網(wǎng)絡(luò)按網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)可分為兩類:前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)。反饋型網(wǎng)絡(luò)模型是一種反饋動力學(xué)系統(tǒng),它具有極復(fù)雜的動力學(xué)特性。反饋神經(jīng)網(wǎng)絡(luò)模型可以用完備的無向圖表示,代表性的模型包括;Hopfield網(wǎng)絡(luò)模型和Hamming網(wǎng)絡(luò)模型。反饋神經(jīng)網(wǎng)絡(luò)模型有很強(qiáng)的計(jì)算能力。前饋神經(jīng)網(wǎng)絡(luò)模型是指那些在網(wǎng)絡(luò)中各處理單元之間的連接都是單向的,而且總是指向網(wǎng)絡(luò)輸出方向的網(wǎng)絡(luò)模型。

2.2BP人工神經(jīng)網(wǎng)絡(luò)算法

基于BP網(wǎng)絡(luò)學(xué)習(xí)規(guī)則的指導(dǎo)思想:對網(wǎng)絡(luò)權(quán)值和閾值的修正要沿著表現(xiàn)函數(shù)下降最快的方向――負(fù)梯度方向。

xk+1=xk-akgk (1)

其中xk是當(dāng)前的權(quán)值和閾值矩陣,gk是當(dāng)前表現(xiàn)函數(shù)的梯度,ak是學(xué)習(xí)速度。假設(shè)三層BP網(wǎng)絡(luò),輸入節(jié)點(diǎn),隱層節(jié)點(diǎn),輸出節(jié)點(diǎn)。輸入節(jié)點(diǎn)與隱層節(jié)點(diǎn)間的網(wǎng)絡(luò)權(quán)值為,隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)間的網(wǎng)絡(luò)權(quán)值為。當(dāng)輸出節(jié)點(diǎn)的期望值為時(shí),模型的計(jì)算公式如下:

隱層節(jié)點(diǎn)的輸出:

yj=f(wjixi-θj )=f (netj) (2)

其中netj=wjixi-θj (3)

輸出節(jié)點(diǎn)的計(jì)算輸出:

zl=f(vljyj-θl)=f (netl) (4)

其中netl=vlj yj-θl (5)

輸出節(jié)點(diǎn)的誤差:

E=(tl-zl)2=(tl-f(vljyj-θl))2

=(tl-f(vljf(wjixi-θj)-θl))2 (6)

E=(tI-zi)2=(tI-zi)

2.3誤差函數(shù)對輸出節(jié)點(diǎn)求導(dǎo)

=?=? (7)

E是多個(gè)zk的函數(shù)。但有一個(gè)zk與vlj有關(guān),各zk間相互獨(dú)立,其中:

=[-2(tk-zk)?]=-(tl-zl) (8)

=?=f '(netl)?yj (9)

則=-(tl-zl)?f '(netl)?yj (10)

設(shè)輸入節(jié)點(diǎn)誤差為δl=(tl-zl)?f '(netl) (11)

則=-δl?yj (12)

2.4誤差函數(shù)對隱層節(jié)點(diǎn)求導(dǎo)

=?? (13)

E是多個(gè)zl的函數(shù),針對某一個(gè)wji,對應(yīng)一個(gè)yj,它與所有zl有關(guān),其中:

=[-2(tk-zk)?]=-(tl-zl) (14)

=?=f '(netl)?(-1)=f '(netl)?vlj (15)

=?=f '(netl)?xi (16)

則=-(tl-zl)?f '(netl)?vlj?f '(netj)?xi=δlvlj?f '(netj)?xi(17)

設(shè)隱層節(jié)點(diǎn)誤差為δj'=f '(netj)?δlvlj (18)

則:=-δj'xi (19)

由于權(quán)值的修正Δvlj,Δwji正比于誤差函數(shù)沿梯度下降,則有:

Δwji=-η'=η'δj'xi (20)

vlj(k+1)=vlj(k)+Δvlj=vlj(k)+ηδlyj (21)

δl=-(tl-zl)?f '(netl) (22)

Δθl=η=ηδl (23)

wji(k+1)=wji(k)+Δwji=wji(k)+η'δj'xi (24)

δj′=f '(netj)?δlvlj (25)

其中隱層節(jié)點(diǎn)誤差δj′中的δlvlj表示輸出節(jié)點(diǎn)的zl的誤差δl通過權(quán)值vlj向節(jié)點(diǎn)yj反向傳播成為隱層節(jié)點(diǎn)的誤差。

2.5 閾值θ也是變化值,在修正權(quán)值的同時(shí)也需要修正,原理同權(quán)值修正一樣誤差函數(shù)對輸出節(jié)點(diǎn)閾值求導(dǎo)

=? (26)

其中=-(tl-zl) (27)

=?=f '(netl)?(-1)=-f '(netl) (28)

則=(tl-zl)?f '(netl)=δl (29)

閾值修正Δθl=η=ηδl (30)

θl(k+1)=θl(k)+ηδl (31)

誤差函數(shù)對隱層節(jié)點(diǎn)閾值求導(dǎo)=??(32)

其中=-(tl-zl) (33)

=f '(netl)?vlj (34)

=?=f '(netj)?(-1)=-f '(netj) (35)

則=(tl-zl)?f '(netl)?vlj?f '(netj)=δlvlj?f '(netj)=δj' (36)

閾值修正Δθj=η' =η'δj' (37)

θj(k+1)=θj(k)+η'δ'j (38)

2.6傳遞函數(shù)f(x)的導(dǎo)數(shù)S型函數(shù)

f (x)=,則f ' (x)=f (x)?(1-f (x)) (39)

f ' (netk)=f (netk)?(1-f (netk)) (40)

對輸出節(jié)點(diǎn)zl=f (netj) (41)

f ' (netj)=zl?(1-zl) (42)

對輸出節(jié)點(diǎn)yj= f (netj) (43)

f ' (netj)=yj?(1-yj) (44)

3結(jié)語

基于一種新的基于人工神經(jīng)網(wǎng)絡(luò)在農(nóng)村電力短期負(fù)荷預(yù)測研究。針對BP算法中存在的收斂速度慢、易陷入局部最小值的問題,可采用附加動量法和自適應(yīng)學(xué)習(xí)速率法在一定程度上解決這些問題。附加動量法是在BP算法的基礎(chǔ)上,在每個(gè)權(quán)值變化上加上一項(xiàng)正比于上一次權(quán)值變化量的值,并根據(jù)BP算法來產(chǎn)生新的權(quán)值變化,利用附加動量法可能會避開某些局部最小值。自適應(yīng)學(xué)習(xí)速率法是在學(xué)習(xí)過程中不斷修正學(xué)習(xí)速率,有利于提高學(xué)習(xí)效率,縮短學(xué)習(xí)時(shí)間。

參考文獻(xiàn)

[1] 劉光中,顏科琦.組合神經(jīng)網(wǎng)絡(luò)模型對電力需求的預(yù)測[J].數(shù)量經(jīng)濟(jì)技術(shù)經(jīng)濟(jì)研究,2003,(1)

篇10

[關(guān)鍵詞] 小生境遺傳算法 神經(jīng)網(wǎng)絡(luò) 股票 預(yù)測

一、引言

股票和股票市場對國家企業(yè)的經(jīng)濟(jì)發(fā)展起到了積極的作用，如可以為投資者開拓投資渠道，增強(qiáng)投資的流動性和靈活性等。但股票價(jià)格的形成機(jī)制是頗為復(fù)雜的，股票價(jià)格既受到多種因素，諸如:政治，經(jīng)濟(jì)，市場因素的影響，亦受技術(shù)和投資者行為因素的影響，個(gè)別因素的波動作用都可能會影響到股票價(jià)格的劇烈波動。因此，股票價(jià)格和各影響因素之間很難直接建立明確的函數(shù)關(guān)系表達(dá)式。針對這一情況，將可有效處理非線性問題的神經(jīng)網(wǎng)絡(luò)引入到股票價(jià)格的預(yù)測中來，但神經(jīng)網(wǎng)絡(luò)收斂慢,易陷入局部極小點(diǎn)，出現(xiàn)振蕩，魯棒性差。所以有的學(xué)者用遺傳算法(GA)來優(yōu)化神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)網(wǎng)絡(luò)可能獲得個(gè)別的甚至局部的最優(yōu)解,即GA早熟現(xiàn)象。本文引進(jìn)能較有效地保持種群多樣性的小生境遺傳算法(NGA),采用NGA優(yōu)化與用GA優(yōu)化的BP網(wǎng)絡(luò)權(quán)值進(jìn)行對比,證實(shí)了NGA的判別準(zhǔn)確性和尋優(yōu)能力。

二、小生境遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)

1.BP神經(jīng)網(wǎng)絡(luò)

反向傳播(BP)算法又稱為誤差逆?zhèn)鞑バＵ椒?，它?974年P(guān).Werbos(哈佛大學(xué))提出的。BP算法用來訓(xùn)練多層前饋神經(jīng)網(wǎng)絡(luò),屬于監(jiān)督學(xué)習(xí)算法。BP網(wǎng)絡(luò)具有結(jié)構(gòu)清晰，易實(shí)現(xiàn)，計(jì)算功能強(qiáng)大等特點(diǎn)。因而是目前最常見，使用最廣泛的一種神經(jīng)網(wǎng)絡(luò)。但是在實(shí)際應(yīng)用中，傳統(tǒng)的BP算法存在以下問題:收斂速度慢;若加快收斂速度易產(chǎn)生振蕩；存在局部極小和平臺問題;泛化能力差;隱節(jié)點(diǎn)數(shù)和初始值的選取缺乏理論指導(dǎo);未考慮樣本選擇對系統(tǒng)學(xué)習(xí)的影響等。所以很多學(xué)者提出許多改進(jìn)的方法，用小生境遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值的神經(jīng)網(wǎng)絡(luò)來預(yù)測股票價(jià)格。

2.小生境遺傳算法

小生境遺傳算法(Iche Genetical Gorihm)的基本思想是:首先比較任意兩個(gè)個(gè)體間的距離與給定值的大小，若該距離小于給定值，則比較其適應(yīng)值大小。對適應(yīng)值較小的個(gè)體施加一個(gè)較強(qiáng)的懲罰，極大地降低其適應(yīng)值。也就是說，在距離L內(nèi)將只有一個(gè)優(yōu)良個(gè)體，從而既維護(hù)了群體的多樣性，又使得各個(gè)體之間保持一定的距離，并使得個(gè)體能夠在整個(gè)約束空間中分散開來。

3.神經(jīng)網(wǎng)絡(luò)連接權(quán)的優(yōu)化

用小生境遺傳算法可以優(yōu)化神經(jīng)網(wǎng)絡(luò)連接權(quán)，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，學(xué)習(xí)規(guī)則等，這里我們對神經(jīng)網(wǎng)絡(luò)的連接權(quán)進(jìn)行優(yōu)化，具體步驟如下：

（1）隨機(jī)產(chǎn)生一組權(quán)值分布，采用某種編碼方案對該組中的每個(gè)權(quán)值(或閾值)進(jìn)行編碼，進(jìn)而構(gòu)造出一個(gè)碼串(每個(gè)碼串代表網(wǎng)絡(luò)的一種權(quán)值分布)，在網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)規(guī)則已確定的前提下,該碼串就對應(yīng)一個(gè)權(quán)值和閾值取特定值的一個(gè)神經(jīng)網(wǎng)絡(luò)。

（2)對所產(chǎn)生的神經(jīng)網(wǎng)絡(luò)計(jì)算它的誤差函數(shù)，從而確定其適應(yīng)度函數(shù)值，誤差越大,則適應(yīng)度越小。

（3)選擇若干適應(yīng)度函數(shù)值最大的個(gè)體,直接遺傳給下一代。

（4)利用交叉和變異等遺傳操作算子對當(dāng)前一代群體進(jìn)行處理，產(chǎn)生下一代群體。

（5)重復(fù)（2）（3）（4），使初始確定的一組權(quán)值分布得到不斷地進(jìn)化,直到訓(xùn)練目標(biāo)得到滿足為止。

這種由小生境遺傳算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法也可以稱做混和訓(xùn)練法。將基于小生境遺傳算法的遺傳進(jìn)化方法和基于梯度下降的反傳訓(xùn)練相結(jié)合,這種訓(xùn)練方法吸取兩種方法的各自特點(diǎn)，所以收斂速度快。

三、股票價(jià)格預(yù)測仿真

根據(jù)經(jīng)驗(yàn)選取輸入預(yù)測日前四天開盤價(jià)、收盤價(jià)歸一化后做為作為輸入量，輸出為第五天收盤價(jià)歸一化數(shù)值。所以，本文采用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為(8,5,1),即網(wǎng)絡(luò)的輸入層6個(gè)節(jié)點(diǎn),隱含層9個(gè)節(jié)點(diǎn),輸出層1個(gè)節(jié)點(diǎn)。本文選擇了“XDG 新梅（600732）”從2006年3月14日到2006年7月1日數(shù)據(jù)進(jìn)行了仿真。利用MATLAB6.5編程，取70組訓(xùn)練樣本和30組測試樣本。如圖（1）表示用遺傳算法和小生境遺傳算法對神經(jīng)網(wǎng)絡(luò)的權(quán)值進(jìn)行優(yōu)化時(shí)，誤差曲線變化;從圖中可以看出，小生境遺傳算法收斂速度要快;圖（2）表示股票預(yù)測值和實(shí)際值比較，從圖中可以看出，遺傳算法和小生境遺傳算法對神經(jīng)網(wǎng)絡(luò)的權(quán)值的模型進(jìn)行股票價(jià)格的預(yù)測，都能預(yù)測出股票走向趨勢，但是，后者的預(yù)測精度顯然要比前者高。

四、結(jié)束語

股票市場的不確定因素太多，股票的價(jià)格更是多種因素影響的集合體，是典型的非線性動力學(xué)問題。股票價(jià)格的中長期準(zhǔn)確預(yù)測很難。本文建立了用小生境遺傳算來優(yōu)化神經(jīng)網(wǎng)絡(luò)模型來預(yù)測股票價(jià)格，結(jié)果表明，這種方法比單用遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)收斂速度快，預(yù)測精度高。對于股票價(jià)格預(yù)測具有較好的應(yīng)用價(jià)值。

參考文獻(xiàn):

[1]龍建成李小平:基于神經(jīng)網(wǎng)絡(luò)的股票市場趨勢預(yù)測[J].西安電子科技大學(xué)學(xué)報(bào)(自然科學(xué)版.2005.3（32）:460-463

[2]王波張鳳玲:神經(jīng)網(wǎng)絡(luò)與時(shí)間序列模型在股票預(yù)測中的比較[J].第27卷第6期武漢理工大學(xué)學(xué)報(bào)?信息與管理工程版.2005.9（27）:69-72

[3]張立明:工神經(jīng)網(wǎng)絡(luò)的模型及其應(yīng)用[M].上海:復(fù)旦大學(xué)出版社,1995.35-76