導(dǎo)語：如何才能寫好一篇神經(jīng)網(wǎng)絡(luò)綜述，這就需要搜集整理更多的資料和文獻(xiàn)，歡迎閱讀由公務(wù)員之家整理的十篇范文，供你借鑒。

篇1

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；VC維；數(shù)據(jù)挖掘

中圖分類號：TP183文獻(xiàn)標(biāo)識碼：A文章編號：1009-3044(2008)30-0710-02

A Review of the Research and Development of the Artificial Neural Nets

WANG Hui

(Xinjiang Petroleum Institute,Urumqi 830000,China)

Abstract: This paper reviews the history and the current situation of the theory of neural nets. It discusses two aspects: the Vapnik-Chervonenkis dimension calculation and the data mining in neural nets. It also touches upon such research areas as calculation theory, methods and application of neural nets.

Key words: neural nets;Vapnik-Chervonenkis dimension;Data Mining

1 引言

本世紀(jì)初，科學(xué)家們就一直探究大腦構(gòu)筑函數(shù)和思維運行機(jī)理。特別是近二十年來。對大腦有關(guān)的感覺器官的仿生做了不少工作，人腦含有數(shù)億個神經(jīng)元，并以特殊的復(fù)雜形式組成在一起，它能夠在計算某些問題（如難以用數(shù)學(xué)描述或非確定性問題等）時，比目前最快的計算機(jī)還要快許多倍。大腦的信號傳導(dǎo)速度要比電子元件的信號傳導(dǎo)要慢百萬倍，然而，大腦的信息處理速度比電子元件的處理速度快許多倍，因此科學(xué)家推測大腦的信息處理方式和思維方式是非常復(fù)雜的，是一個復(fù)雜并行信息處理系統(tǒng)。1943年McCulloch和Pitts結(jié)合了神經(jīng)生理學(xué)和數(shù)理邏輯的研究描述了一個神經(jīng)網(wǎng)絡(luò)的邏輯演算。他們的神經(jīng)元模型假定遵循一種所謂“有或無”(all-or-none)規(guī)則。如果如此簡單的神經(jīng)元數(shù)目足夠多和適當(dāng)設(shè)置突觸連接并且同步操作，McCulloch和Pitts證明這樣構(gòu)成的網(wǎng)絡(luò)原則上可以計算任何可計算的函數(shù)，這標(biāo)志著神經(jīng)網(wǎng)絡(luò)學(xué)科的誕生。

2 發(fā)展歷史及現(xiàn)狀

2.1 人工神經(jīng)網(wǎng)絡(luò)理論的形成

早在40年代初，神經(jīng)解剖學(xué)、神經(jīng)生理學(xué)、心理學(xué)以及人腦神經(jīng)元的電生理的研究等都富有成果。其中，神經(jīng)生物學(xué)家McCulloch提倡數(shù)字化具有特別意義。他與青年數(shù)學(xué)家Pitts合作[1]，從人腦信息處理觀點出發(fā)，采用數(shù)理模型的方法研究了腦細(xì)胞的動作和結(jié)構(gòu)及其生物神經(jīng)元的一些基本生理特性，他們提出了第一個神經(jīng)計算模型，即神經(jīng)元的閾值元件模型，簡稱MP模型，他們主要貢獻(xiàn)在于結(jié)點的并行計算能力很強，為計算神經(jīng)行為的某此方面提供了可能性，從而開創(chuàng)了神經(jīng)網(wǎng)絡(luò)的研究。50年代初，神經(jīng)網(wǎng)絡(luò)理論具備了初步模擬實驗的條件。Rochester，Holland與IBM公司的研究人員合作，他們通過網(wǎng)絡(luò)吸取經(jīng)驗來調(diào)節(jié)強度，以這種方式模擬Hebb的學(xué)習(xí)規(guī)則，在IBM701計算機(jī)上運行，取得了成功，幾乎有大腦的處理風(fēng)格。但最大規(guī)模的模擬神經(jīng)網(wǎng)絡(luò)也只有1000個神經(jīng)元，而每個神經(jīng)元又只有16個結(jié)合點。再往下做試驗，便受到計算機(jī)的限制。人工智能的另一個主要創(chuàng)始人Minsky于1954年對神經(jīng)系統(tǒng)如何能夠?qū)W習(xí)進(jìn)行了研究，并把這種想法寫入他的博士論文中，后來他對Rosenblatt建立的感知器(Perceptron)的學(xué)習(xí)模型作了深入分析。

2.2 第一階段的研究與發(fā)展

1958年計算機(jī)科學(xué)家Rosenblatt基于MP模型，增加了學(xué)習(xí)機(jī)制，推廣了MP模型。他證明了兩層感知器能夠?qū)⑤斎敕譃閮深?，假如這兩種類型是線性并可分，也就是一個超平面能將輸入空間分割，其感知器收斂定理：輸入和輸出層之間的權(quán)重的調(diào)節(jié)正比于計算輸出值與期望輸出之差。他提出的感知器模型，首次把神經(jīng)網(wǎng)絡(luò)理論付諸工程實現(xiàn)。1960年Widrow和Hoff提出了自適應(yīng)線性元件ADACINE網(wǎng)絡(luò)模型，是一種連續(xù)取值的線性網(wǎng)絡(luò)，主要用于自適應(yīng)系統(tǒng)。他們研究了一定條件下輸入為線性可分問題，期望響應(yīng)與計算響應(yīng)的誤差可能搜索到全局最小值，網(wǎng)絡(luò)經(jīng)過訓(xùn)練抵消通信中的回波和噪聲，它還可應(yīng)用在天氣預(yù)報方面。這是第一個對實際問題起作用的神經(jīng)網(wǎng)絡(luò)?？梢哉f，他們對分段線性網(wǎng)絡(luò)的訓(xùn)練有一定作用，是自適應(yīng)控制的理論基礎(chǔ)。Widrow等人在70年代，以此為基礎(chǔ)擴(kuò)充了ADALINE的學(xué)習(xí)能力，80年代他們得到了一種多層學(xué)習(xí)算法。

Holland于1960年在基因遺傳算法及選擇問題的數(shù)學(xué)方法分析和基本理論的研究中，建立了遺傳算法理論。遺傳算法是一種借鑒生物界自然選擇和自然遺傳機(jī)制的高度并行、隨機(jī)、自適應(yīng)搜索算法，從而開拓了神經(jīng)網(wǎng)絡(luò)理論的一個新的研究方向。1976年Grossberg提出自適應(yīng)共振理論(ART)，這是感知器較完善的模型，即superrised學(xué)習(xí)方式。本質(zhì)上說，仍是一種unsuperrised學(xué)習(xí)方式。隨后，他與Carpenter一起研究ART網(wǎng)絡(luò)，它有兩種結(jié)構(gòu)ART1和ART2，能夠識別或分類任意多個復(fù)雜的二元輸入圖像，其學(xué)習(xí)過程有自組織和自穩(wěn)定的特征，一般認(rèn)為它是一種先進(jìn)的學(xué)習(xí)模型。另外還有Werbos提出的BP理論以及提出的反向傳播原理；Fukushima 提出了視覺圖象識別的Neocognitron模型這些研究成果堅定的神經(jīng)網(wǎng)絡(luò)理論的繼續(xù)研究。

2.3 第二次研究的階段

Hopfield于1982年至1986年提出了神經(jīng)網(wǎng)絡(luò)集體運算功能的理論框架，隨后，引起許多學(xué)者研究Hopfield 網(wǎng)絡(luò)的熱潮，對它作改進(jìn)、提高、補充、變形等，至今仍在進(jìn)行，推動了神經(jīng)網(wǎng)絡(luò)的發(fā)展。1983年Kirkpatrick等人先認(rèn)識到模擬退火算法可應(yīng)用于NP完全組合優(yōu)化問題的求解。這種思想最早是由Metropolis等人在1953年提出的，即固體熱平衡問題，通過模擬高溫物體退火過程的方法，來找全局最優(yōu)或近似全局最優(yōu)，并給出了算法的接受準(zhǔn)則。這是一種很有效的近似算法。1984年Hinton等人提出了Boltzmann機(jī)模型，借用統(tǒng)計物理學(xué)中的概念和方法，引入了模擬退火方法，可用于設(shè)計分類和學(xué)習(xí)算法方面，并首次表明多層網(wǎng)絡(luò)是可訓(xùn)練的。Sejnowski于1986年對它進(jìn)行了改進(jìn)，提出了高階Boltzmann機(jī)和快速退火等。

1986年Rumelhart和McClelland 合著的Parallel Distributed Processing: Exploratio n in the Microstructures of Cognition兩卷書出版，對神經(jīng)網(wǎng)絡(luò)的進(jìn)展起了極大的推動作用。它展示了PDP研究集團(tuán)的最高水平，包括了物理學(xué)、數(shù)學(xué)、分子生物學(xué)、神經(jīng)科學(xué)、心理學(xué)和計算機(jī)科學(xué)等許多相關(guān)學(xué)科的著名學(xué)者從不同研究方向或領(lǐng)域取得的成果。他們建立了并行分布處理理論，主要致力于認(rèn)知的微觀研究。尤其是，Rumelhart提出了多層網(wǎng)絡(luò)Back-Propagation法或稱Error Propagation法，這就是后來著名的BP算法。

2.4 新發(fā)展階段

90年代以來，人們較多地關(guān)注非線性系統(tǒng)的控制問題，通過神經(jīng)網(wǎng)絡(luò)方法來解決這類問題已取得了突出的成果，它是一個重要的研究領(lǐng)域。1990年Narendra和Parthasarathy提出了一種推廣的動態(tài)神經(jīng)網(wǎng)絡(luò)系統(tǒng)及其連接權(quán)的學(xué)習(xí)算法，它可表示非線性特性，增強了魯棒性。他們給出了一種新的辨識與控制方案，以multilayer網(wǎng)絡(luò)與recarrent網(wǎng)絡(luò)統(tǒng)一的模型描述非線性動態(tài)系統(tǒng)，并提出了動態(tài)BP 參數(shù)在線調(diào)節(jié)方法。尤其是進(jìn)化計算的概念在1992年形成，促進(jìn)了這一理論的發(fā)展。1993年誕生了國際性雜志Evolutionary Computation。近幾年它成為一個熱點研究領(lǐng)域。1993年Yip和Pao提出了一種帶區(qū)域指引的進(jìn)化模擬退火算法，他們將進(jìn)化策略引入?yún)^(qū)域指引，它經(jīng)過選優(yōu)過程，最終達(dá)到求解問題的目的。

從上述各個階段發(fā)展軌跡來看，神經(jīng)網(wǎng)絡(luò)理論有更強的數(shù)學(xué)性質(zhì)和生物學(xué)特征，尤其是神經(jīng)科學(xué)、心理學(xué)和認(rèn)識科學(xué)等方面提出一些重大問題，是向神經(jīng)網(wǎng)絡(luò)理論研究的新挑戰(zhàn)，因而也是它發(fā)展的最大機(jī)會。90年代神經(jīng)網(wǎng)絡(luò)理論日益變得更加外向，注視著自身與科學(xué)技術(shù)之間的相互作用，不斷產(chǎn)生具有重要意義的概念和方法，并形成良好的工具。

3 神經(jīng)網(wǎng)絡(luò)的發(fā)展趨勢

3.1 神經(jīng)網(wǎng)絡(luò)VC維計算

神經(jīng)計算技術(shù)已經(jīng)在很多領(lǐng)域得到了成功的應(yīng)用，但由于缺少一個統(tǒng)一的理論框架，經(jīng)驗性成分相當(dāng)高。最近十年里，很多研究者都力圖在一個統(tǒng)一的框架下來考慮學(xué)習(xí)與泛化的問題 。PAC(Probably Approximately Correct)學(xué)習(xí)模型就是這樣一個框架。作為PAC學(xué)習(xí)的核心以及學(xué)習(xí)系統(tǒng)學(xué)習(xí)能力的度量，VC維(Vapnik-Chervonenkis dimension)在確定神經(jīng)網(wǎng)絡(luò)的容量(capacity)、泛化能力(generalization)、訓(xùn)練集規(guī)模等的關(guān)系上有重要作用。如果可以計算出神經(jīng)網(wǎng)絡(luò)的VC維，則我們可以估計出要訓(xùn)練該網(wǎng)絡(luò)所需的訓(xùn)練集規(guī)模；反之，在給定一個訓(xùn)練集以及最大近似誤差時，可以確定所需要的網(wǎng)絡(luò)結(jié)構(gòu)。

Anthony將VC維定義為：設(shè)F為一個從n維向量集X到{0, 1}的函數(shù)族，則F的VC維為X的子集E的最大元素數(shù)，其中E滿足：對于任意S?哿E，總存在函數(shù)fs ∈F，使得當(dāng)x ∈ S時fs(x) =1，x?埸S但x∈E時fs(x) =0。

VC維可作為函數(shù)族F復(fù)雜度的度量，它是一個自然數(shù)，其值有可能為無窮大，它表示無論以何種組合方式出現(xiàn)均可被函數(shù)族F正確劃分為兩類的向量個數(shù)的最大值。對于實函數(shù)族，可定義相應(yīng)的指示函數(shù)族，該指示函數(shù)族的VC維即為原實函數(shù)族的VC維。

3.2 基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘

1996年，F(xiàn)ayyad、Piatetsky-Shapiro和Smyth對KDD(Knowledge Discovery from Databases)和數(shù)據(jù)挖掘的關(guān)系進(jìn)行了闡述。但是，隨著該領(lǐng)域研究的發(fā)展，研究者們目前趨向于認(rèn)為KDD和數(shù)據(jù)挖掘具有相同的含義，即認(rèn)為數(shù)據(jù)挖掘就是從大型數(shù)據(jù)庫的數(shù)據(jù)中提取人們感興趣的知識。

數(shù)據(jù)挖掘的困難主要存在于三個方面：首先，巨量數(shù)據(jù)集的性質(zhì)往往非常復(fù)雜，非線性、時序性與噪音普遍存在；其次，數(shù)據(jù)分析的目標(biāo)具有多樣性，而復(fù)雜目標(biāo)無論在表述還是在處理上均與領(lǐng)域知識有關(guān)；第三，在復(fù)雜目標(biāo)下，對巨量數(shù)據(jù)集的分析，目前還沒有現(xiàn)成的且滿足可計算條件的一般性理論與方法。在早期工作中，研究者們主要是將符號型機(jī)器學(xué)習(xí)方法與數(shù)據(jù)庫技術(shù)相結(jié)合，但由于真實世界的數(shù)據(jù)關(guān)系相當(dāng)復(fù)雜，非線性程度相當(dāng)高，而且普遍存在著噪音數(shù)據(jù)，因此這些方法在很多場合都不適用。如果能將神經(jīng)計算技術(shù)用于數(shù)據(jù)挖掘，將可望借助神經(jīng)網(wǎng)絡(luò)的非線性處理能力和容噪能力，較好地解決這一問題。

4 結(jié)束語

經(jīng)過半個多世紀(jì)的研究，神經(jīng)計算目前已成為一門日趨成熟，應(yīng)用面日趨廣泛的學(xué)科。本文對神經(jīng)計算的研究現(xiàn)狀和發(fā)展趨勢進(jìn)行了綜述，主要介紹了神經(jīng)網(wǎng)絡(luò)VC維計算、基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘領(lǐng)域的相關(guān)研究成果。需要指出的是，除了上述內(nèi)容之外，神經(jīng)計算中還有很多值得深入研究的重要領(lǐng)域，例如：與符號學(xué)習(xí)相結(jié)合的混合學(xué)習(xí)方法的研究；脈沖神經(jīng)網(wǎng)絡(luò)(Pulsed Neural Networks)的研究;循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks)的研究等；神經(jīng)網(wǎng)絡(luò)與遺傳算法、人工生命的結(jié)合；支持向量機(jī)(Support Vector Machine)的研究；神經(jīng)網(wǎng)絡(luò)的并行、硬件實現(xiàn)；容錯神經(jīng)網(wǎng)絡(luò)的研究。

參考文獻(xiàn):

[1] McCulloch W S, Pitts W. A Logical Calculus of the Ideas Immanent in Nervous Activity, Bulletin of Mathematical Biophysics, 1943.

[2] N.維納著，郝季仁譯，控制論，科學(xué)出版，1985.

[3] Von Neumann J. The General and Logical Theory of Automata, Cerebral Mechanisms in Behavior; The Hixon Sympsium, 1951.

[4] Hebb D O. The Organization of Behavior, New York:Wiley, 1949.

[5] 陳世福，陳兆乾. 人工智能與知識工程[M]. 南京: 南京大學(xué)出版社，1998.

[6] Simon Haykin.神經(jīng)網(wǎng)絡(luò)原理[M].機(jī)械工業(yè)出版社（第二版），2004.

篇2

【關(guān)鍵詞】極限學(xué)習(xí)機(jī) 故障診斷 神經(jīng)網(wǎng)絡(luò)

引言

隨著設(shè)備復(fù)雜化程度的提高，對故障診斷的快速性和準(zhǔn)確性提出了更高的要求。將神經(jīng)網(wǎng)絡(luò)應(yīng)用于故障診斷中已成為一個非常活躍的研究領(lǐng)域。利用神經(jīng)網(wǎng)絡(luò)強大的分類能力，進(jìn)行故障模式的分類與學(xué)習(xí)，診斷出故障。

Huang在前人研究的基礎(chǔ)上提出了一種稱為極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）的學(xué)習(xí)方法，在保留計算精度的同時可以大幅度的縮減訓(xùn)練的時間。將ELM運用到設(shè)備故障診斷中，極大提高了診斷的快速性和準(zhǔn)確性。

一、極限學(xué)習(xí)機(jī)研究現(xiàn)狀

ELM自2004年提出就一直受到學(xué)者的極大興趣。我們從ELM的理論和應(yīng)用兩方面進(jìn)行闡述。

1.1 ELM的理論

對于傳統(tǒng)ELM算法，網(wǎng)絡(luò)結(jié)構(gòu)、激活函數(shù)類型以及隱層神經(jīng)元的選擇對其泛化性能都有重要的影響。為了提高計算效率，使得ELM適用于更多應(yīng)用領(lǐng)域，研究者提出了許多ELM擴(kuò)展算法。

1.2 ELM的應(yīng)用

研究人員已嘗試?yán)肊LM方法解決現(xiàn)實中各種模式分類問題。隨著ELM自身理論的進(jìn)一步發(fā)展和完善，在人臉識別、文本分類、醫(yī)療診斷等領(lǐng)域中應(yīng)用廣泛。

二、故障診斷技術(shù)研究現(xiàn)狀

故障診斷技術(shù)是由于建立監(jiān)控系統(tǒng)的需要而發(fā)展起來的。其發(fā)展至今經(jīng)歷了3個階段。新的診斷技術(shù)帶來了領(lǐng)域內(nèi)算法的革新，設(shè)備精密程度的提高也對診斷實時性提出了更高的要求。如何保證故障的快速準(zhǔn)確診斷成了診斷技術(shù)發(fā)展重要內(nèi)容。

基于神經(jīng)網(wǎng)絡(luò)的故障診斷運用廣泛，然而傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法存在許多問題。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，極限學(xué)習(xí)機(jī)方法通過隨機(jī)選取輸入權(quán)值及隱層單元的偏置值，可以產(chǎn)生唯一的最優(yōu)解，并具有參數(shù)易于選擇以及泛化能力好等特點，在眾多領(lǐng)域有著廣泛應(yīng)用。

三、基于極限學(xué)習(xí)機(jī)的故障診斷方法研究

3.1基于ELM的故障診斷流程

（1）數(shù)據(jù)預(yù)處理。按照選取的特征向量和故障類型對故障樣本進(jìn)行預(yù)處理，并將處理后的樣本按比例分為訓(xùn)練樣本集和測試樣本集。

（2）ELM的學(xué)習(xí)算法主要有以下3個步驟：確定隱含層神經(jīng)元個數(shù)；隨機(jī)設(shè)定輸入層與隱含層間的連接權(quán)值和隱含層神經(jīng)元的偏置；選擇隱含層神經(jīng)元激活函數(shù)，進(jìn)而計算隱含層輸出矩陣計算輸出層權(quán)值。

（3）用訓(xùn)練好的ELM模型對測試樣本集進(jìn)行分類，并輸出分類結(jié)果。

3.2基于改進(jìn)ELM的故障診斷

針對極限學(xué)習(xí)機(jī)神經(jīng)網(wǎng)絡(luò)初始權(quán)閾值對算法性能的影響問題，提出融合遺傳算法（GA）與粒子群算法（PSO）的GA-PSO算法，用于優(yōu)化ELM神經(jīng)網(wǎng)絡(luò)初始權(quán)閾值。該算法將群組一分為二，分別采用GA和PSO算法，再將優(yōu)秀個體進(jìn)行合并，改善了PSO算法全局搜索能力，同時增強GA算法的局部搜索效能。

篇3

隨著計算機(jī)網(wǎng)絡(luò)、信息技術(shù)、自動化技術(shù)的進(jìn)步，極大的改變了我們的生活。人工神經(jīng)網(wǎng)絡(luò)技術(shù)是一種全新的控制技術(shù)，通過互聯(lián)網(wǎng)進(jìn)行動態(tài)模擬，從而建立一種新的控制互聯(lián)網(wǎng)的系統(tǒng)。經(jīng)過十幾年的發(fā)展，人工神經(jīng)網(wǎng)絡(luò)技術(shù)研究取得了巨大的進(jìn)步，已經(jīng)廣泛應(yīng)用在社會各個領(lǐng)域，使現(xiàn)代計算機(jī)中的難題得到了解決。本文主要從人工神經(jīng)網(wǎng)絡(luò)技術(shù)的概念出發(fā)，探討了它在現(xiàn)代社會領(lǐng)域的具體應(yīng)用。

【關(guān)鍵詞】人工神經(jīng)網(wǎng)絡(luò) 信息技術(shù) 發(fā)展趨勢

人工神經(jīng)網(wǎng)絡(luò)技術(shù)在處理實際問題主要包括兩個過程，一個是學(xué)習(xí)訓(xùn)練過程，另外一個是記憶聯(lián)想過程。近年來隨著人工網(wǎng)絡(luò)技術(shù)的發(fā)展，人工神經(jīng)網(wǎng)絡(luò)技術(shù)在信號處理、圖像處理、智能識別等領(lǐng)域已經(jīng)取得了巨大的改變，為人們研究各類科學(xué)問題提供了一種新的方法和手段，使人們在交通運輸、人工智能、軍事、信息領(lǐng)域的工作更加便捷，近年來隨著AI的l展，人工神經(jīng)網(wǎng)絡(luò)技術(shù)得到了快速的發(fā)展階段。

1 人工神經(jīng)網(wǎng)絡(luò)技術(shù)

人工神經(jīng)網(wǎng)絡(luò)技術(shù)也稱ANN，是隨著上個世紀(jì)八十年代人工智能發(fā)展興起的一個研究熱點，它的主要工作原理對人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象處理，并仿造人腦神經(jīng)網(wǎng)絡(luò)建立簡單的模型，按照不同的連接方式組成一個完整的網(wǎng)絡(luò)，因此學(xué)術(shù)界也直接將它成為神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)其實就是一種運算模型，它是通過大量的節(jié)點――神經(jīng)元連接起來的，其中不同的節(jié)點所代表的輸出函數(shù)也不同，也就是所謂的激勵函數(shù)；當(dāng)有兩個節(jié)點連接起來時稱之為通過該連接信號的加權(quán)值，也稱為權(quán)重，這就相當(dāng)人腦神經(jīng)網(wǎng)絡(luò)記憶。人工神經(jīng)網(wǎng)絡(luò)技術(shù)是采用并行分布式系統(tǒng)，這種工作機(jī)理與傳統(tǒng)的信息處理技術(shù)和人工智能技術(shù)完全不同，是一種全新的技術(shù)，它克服了傳統(tǒng)基于邏輯符號的人工智能處理非結(jié)構(gòu)信息化和直覺方面的缺陷，具有實時學(xué)習(xí)、自適應(yīng)性和自組織性等特點。

2 人工神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用分析

隨著人工神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，它在模式識別、知識工程、信號處理、專家系統(tǒng)、機(jī)器人控制等方面的應(yīng)用較廣。

2.1 生物信號的檢測分析

目前大部分醫(yī)學(xué)檢測設(shè)備都是通過連續(xù)波形得到相關(guān)數(shù)據(jù)，從而根據(jù)所得數(shù)據(jù)對病情進(jìn)行診斷。人工神經(jīng)網(wǎng)絡(luò)技術(shù)就是應(yīng)用了這樣的方式將多個神經(jīng)元組合起來構(gòu)成，解決了生物醫(yī)學(xué)信號檢測方面的難題，其適應(yīng)性和獨立性強，分布貯藏功能多。在生物醫(yī)學(xué)領(lǐng)域該技術(shù)主要應(yīng)用于對心電信號、聽覺誘發(fā)電位信號、醫(yī)學(xué)圖像、肌電荷胃腸等信號的處理、識別和分析。

2.2 醫(yī)學(xué)專家系統(tǒng)

傳統(tǒng)的醫(yī)院專家系統(tǒng)是直接將專家的經(jīng)驗、學(xué)歷、臨床診斷方面取得的成績等存儲在計算機(jī)中，構(gòu)建獨立的醫(yī)學(xué)知識庫，通過邏輯推理進(jìn)行診斷的一種方式。進(jìn)入到二十一世紀(jì)，醫(yī)院需要存儲的醫(yī)學(xué)知識越來越多，每天產(chǎn)生新的病況和知識，過去的一些專家系統(tǒng)顯然已經(jīng)無法適應(yīng)醫(yī)院的發(fā)展需求，因此醫(yī)院的效率很低。而人工神經(jīng)網(wǎng)絡(luò)技術(shù)的出現(xiàn)為醫(yī)院專家系統(tǒng)的構(gòu)建提出了新的發(fā)展方向，通過人工神經(jīng)網(wǎng)絡(luò)技術(shù)，系統(tǒng)能夠自主學(xué)習(xí)、自己組織、自行推理。因此在醫(yī)學(xué)專家系統(tǒng)中該網(wǎng)絡(luò)技術(shù)應(yīng)用面較廣。麻醉醫(yī)學(xué)、重癥醫(yī)學(xué)中生理變量分析和評估較多，目前臨床上一些還沒有確切證據(jù)或者尚未發(fā)現(xiàn)的關(guān)系與現(xiàn)象，通過人工神經(jīng)網(wǎng)絡(luò)便能有效地解決。

2.3 市場價格預(yù)測

在經(jīng)濟(jì)活動中，傳統(tǒng)統(tǒng)計方法受到一些因素的制約，無法對價格變動做出準(zhǔn)確的預(yù)測，因此難免在預(yù)測的時候出現(xiàn)失誤的現(xiàn)象。人工神經(jīng)網(wǎng)絡(luò)技術(shù)能夠處理那些不完整的、規(guī)律不明顯、模糊不確定的數(shù)據(jù)，并作出有效地預(yù)測，因此人工神經(jīng)網(wǎng)絡(luò)技術(shù)具有傳統(tǒng)統(tǒng)計方法無法比擬的優(yōu)勢。例如人工神經(jīng)網(wǎng)絡(luò)技術(shù)可以通過分析居民人均收入、貸款利率和城市化發(fā)展水平，從而組建一個完整的預(yù)測模型，準(zhǔn)確預(yù)測出商品的價格變動情況。

2.4 風(fēng)險評價

在從事某一項特定的活動時，由于社會上一些不確定因素，可能造成當(dāng)事人經(jīng)濟(jì)上或者其他方面的損失。因此在進(jìn)行某一項活動時，對活動進(jìn)行有效的預(yù)測和評估，避免風(fēng)險。人工神經(jīng)網(wǎng)絡(luò)技術(shù)可以根據(jù)風(fēng)險的實際來源，構(gòu)筑一套信用風(fēng)險模型結(jié)構(gòu)和風(fēng)險評估系數(shù)，從而提出有效地解決方案。通過信用風(fēng)險模型分析彌補主觀預(yù)測方面的不足，從而達(dá)到避免風(fēng)險的目的。

3 人工神經(jīng)網(wǎng)絡(luò)技術(shù)未來發(fā)展

人工神經(jīng)網(wǎng)絡(luò)克服了傳統(tǒng)人工智能對語言識別、模式、非結(jié)構(gòu)化信息處理的缺陷，因此在模式識別、神經(jīng)專家系統(tǒng)、智能控制、信息處理和天氣預(yù)測等領(lǐng)域廣泛應(yīng)用。隨著科學(xué)技術(shù)的進(jìn)步，AI的快速發(fā)展，AI與遺傳算法、模糊系統(tǒng)等方面結(jié)合，形成了計算智能，很多企業(yè)和國家開始大規(guī)模研發(fā)AI，人工神經(jīng)網(wǎng)絡(luò)正在模擬人類認(rèn)知的方向發(fā)展，目前市場已經(jīng)有很多不少人工智能產(chǎn)品面世。

4 結(jié)語

通過上述研究分析，人工神經(jīng)網(wǎng)絡(luò)技術(shù)已經(jīng)取得了相應(yīng)的發(fā)展，但還存在很多不足：應(yīng)用范圍狹窄、預(yù)測精度低、通用模型缺乏創(chuàng)新等，因此需要我們在此基礎(chǔ)上不斷尋找新的突破點，加強對生物神經(jīng)元系統(tǒng)的研究和探索，進(jìn)一步挖掘其潛在的價值，將人工神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用在更多領(lǐng)域中，為社會創(chuàng)造更大的財富。

參考文獻(xiàn)

[1]周文婷，孟琪.運動員賽前心理調(diào)控的新策略――基于人工神經(jīng)網(wǎng)絡(luò)技術(shù)的比賽場地聲景預(yù)測（綜述）[J].哈爾濱體育學(xué)院學(xué)報，2015，33（03）：15-21.

[2]張紅蘭.人工神經(jīng)網(wǎng)絡(luò)技術(shù)的應(yīng)用現(xiàn)狀分析[J].中國新通信，2014（02）：76-76.

[3]張廣軍.人工神經(jīng)網(wǎng)絡(luò)技術(shù)在光電檢測中的應(yīng)用[J].北京航空航天大學(xué)學(xué)報，2001，27（05）：564-568.

篇4

關(guān)鍵詞：智能交通 ；預(yù)測 ；短時交通信息

中圖分類號：U491文獻(xiàn)標(biāo)識碼：A0

引言

智能交通（ITS）是將人工智能技術(shù)、自動控制技術(shù)、計算機(jī)技術(shù)、先進(jìn)的信息通信技術(shù)及傳感器技術(shù)等有效的集成，并應(yīng)用于整個地面交通管理系統(tǒng)而建立的一種大范圍、全方位發(fā)揮作用的綜合交通運輸管理系統(tǒng)，包括先進(jìn)交通管理系統(tǒng)（ATMS）、先進(jìn)的駕駛員信息系統(tǒng)（ATIS）、先進(jìn)公共運輸系統(tǒng)（APTS）、出行指導(dǎo)系統(tǒng)等[2,3]。

短期交通信息預(yù)測是對城市交通系統(tǒng)或高速公路系統(tǒng)中某條道路或某個交通網(wǎng)絡(luò)在未來一段時間內(nèi)（時間跨度通常不超過15分鐘）交通流等信息的變化情況進(jìn)行預(yù)測，其結(jié)果可以用于制訂和實施交通管理，對交通流進(jìn)行調(diào)節(jié)，實現(xiàn)路徑誘導(dǎo)，也可以直接送到先進(jìn)的交通信息系統(tǒng)和先進(jìn)的交通管理系統(tǒng)中，為出行者提供實時有效的信息，以更好地進(jìn)行路徑選擇，縮短出行時間，減少交通擁擠。目前，短期交通信息預(yù)測的研究越來越受到重視，已經(jīng)成為智能交通領(lǐng)域的重點研究內(nèi)容之一[3]。

本文對短時交通信息的幾種主要預(yù)測方法進(jìn)行了介紹，重點分析了時間序列、神經(jīng)網(wǎng)絡(luò)、非參數(shù)回歸、支持向量機(jī)等幾種預(yù)測方法的優(yōu)缺點、應(yīng)用場合，并對當(dāng)前研究中的問題和未來發(fā)展趨勢作了介紹。

1短時交通信息預(yù)測方法分類

短期交通信息的預(yù)測包括對交通流三大參數(shù)，即交通流量、車流速度和密度預(yù)測，以及對行程時間等其他信息的預(yù)測。從20世紀(jì)50年代中期開始，國內(nèi)外的研究人員對交通系統(tǒng)的短時交通信息的預(yù)測方法進(jìn)行了廣泛的研究，從早期的歷史平均法、指數(shù)平滑法、譜分析方法、時間序列分析，到近十幾年發(fā)展起來的神經(jīng)網(wǎng)絡(luò)方法、小波分析方法、混沌預(yù)測、支持向量機(jī)、動態(tài)交通分配等預(yù)測方法，應(yīng)用于智能交通領(lǐng)域的短時預(yù)測方法有幾十種[10]。根據(jù)各種預(yù)測方法本身的性質(zhì)和研究問題的角度不同，常見的預(yù)測方法可以分為兩大類：一類是基于數(shù)據(jù)驅(qū)動的預(yù)測方法，結(jié)合統(tǒng)計經(jīng)驗進(jìn)行分析，如神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等方法；另一類是基于機(jī)理的預(yù)測方法，即以交通理論的為基礎(chǔ)，從交通工程上的供求關(guān)系角度進(jìn)行分析，如動態(tài)交通分配法（DTA，Dynamic traffic assignment）[2][12]。常見的預(yù)測方法具體分類如圖1所示。

交通流是一個時變過程，不同的空間位置環(huán)境其狀態(tài)特征差異大，各種預(yù)測方法也都有各自的優(yōu)缺點和相應(yīng)的適用場合，因此對各種環(huán)境條件下的交通信息預(yù)測應(yīng)當(dāng)是一個綜合運用各種方法相互補充的過程。一個成功的交通流預(yù)測過程應(yīng)能正確反映被測過程及其環(huán)境變化并及時調(diào)整模型結(jié)構(gòu)，使預(yù)測具有適應(yīng)性。

圖1 短時交通信息預(yù)測方法分類

2短時交通信息主要預(yù)測方法

2.1時間序列模型

時間序列分析主要指采用參數(shù)模型對觀測到的有序隨機(jī)數(shù)據(jù)進(jìn)行分析和處理的一種數(shù)據(jù)處理方法。其預(yù)測原理是將預(yù)測對象隨時間變化形成的數(shù)據(jù)序列看成一個隨機(jī)時間序列，該序列的未來發(fā)展變化與對象歷史變化存在依賴性和延續(xù)性，包括自回歸模型（AR，Auto-Regressive）、滑動平均模型（MA，Moving Average）、自回歸綜合滑動平均模型（ARIMA，Auto-Regressive Integrated Moving Average）等[1]。其中單變量ARIMA是典型的時間序列方法，適用于短時交通信息預(yù)測，它實際上是用二項式差分消除了非平穩(wěn)時序中的多項式趨向，從系統(tǒng)角度分析，就是分離出了系統(tǒng)中相同的一階環(huán)節(jié)，從而可以按照平穩(wěn)時序建模。ARIMA適用于穩(wěn)定的交通流。但是時間序列方法的缺點是：1）交通狀況變化時由于計算量大，該算法具有預(yù)測延遲的特點，且算法本身依賴于大量不間斷的數(shù)據(jù)，若實際中數(shù)據(jù)遺失則預(yù)測精度變低，算法的魯棒性差；2）模型是通過研究交通流過去的變化規(guī)律來外推或預(yù)測其未來值，只利用了歷史數(shù)據(jù)，沒有考慮其他影響因素，如相鄰路段、天氣變化影響等，所以交通狀態(tài)急劇變化時，預(yù)測結(jié)果與實際情況差別很大；3）模型參數(shù)的求解一般是離線進(jìn)行的，并且在預(yù)測過程中的模型參數(shù)是固定的，不能移植，不能很好的適應(yīng)不確定性強的短時交通流動態(tài)預(yù)測要求[5][13]。與單變量ARIMA相似，多變量時間序列預(yù)測也得到了廣泛研究，包括多變量時間序列模型包括向量ARIMA、空間時間ARIMA等，這些模型主要考慮交通網(wǎng)絡(luò)中多個節(jié)點交通流之間的相互聯(lián)系，一定程度上更能反映交通流的本質(zhì)特征，但由于模型過于復(fù)雜，在實際中很難實現(xiàn)。

2.2神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)網(wǎng)絡(luò)是一種并行的、分布式的智能信息處理方法，具有非線性映射和聯(lián)想記憶功能，非常適合解決強非線性、時變系統(tǒng)的預(yù)測問題。利用神經(jīng)網(wǎng)絡(luò)對環(huán)境變化的較強的自適應(yīng)學(xué)習(xí)能力和較好的抗干擾能力，可以克服傳統(tǒng)交通信息預(yù)測方法的局限性，所以在智能交通系統(tǒng)得到了廣泛的應(yīng)用。目前，在交通信息預(yù)測方向的神經(jīng)網(wǎng)絡(luò)預(yù)測研究主要分為三個層次[18]：

1）將某一類神經(jīng)網(wǎng)絡(luò)方法直接用于短時交通信息預(yù)測的方法有：例如BP神經(jīng)網(wǎng)絡(luò)、RBF神經(jīng)網(wǎng)絡(luò)、時滯神經(jīng)網(wǎng)絡(luò)等；

2）將兩種或多種神經(jīng)網(wǎng)絡(luò)相結(jié)合的混合預(yù)測模型：例如神經(jīng)網(wǎng)絡(luò)集成方法；

3）將神經(jīng)網(wǎng)絡(luò)與其他方法結(jié)合，進(jìn)行綜合預(yù)測的方法：例如模糊神經(jīng)網(wǎng)絡(luò)、粗神經(jīng)網(wǎng)絡(luò)、以及小波神經(jīng)網(wǎng)絡(luò)等。粗神經(jīng)網(wǎng)絡(luò)建立在粗神經(jīng)元基礎(chǔ)上，基于粗糙集理論和近似概念建立的粗神經(jīng)元可以看作由兩個存在重疊的常規(guī)神經(jīng)元組成。粗神經(jīng)網(wǎng)絡(luò)中的常規(guī)神經(jīng)元對應(yīng)于確定性變量，如交通流量密度、速度以及行程時間，粗神經(jīng)元用于描述不確定性變量或變量波動情況，如偶發(fā)事故、天氣原因引起的交通流參數(shù)波動[3]。小波神經(jīng)網(wǎng)絡(luò)是在小波分析基礎(chǔ)上提出的前饋網(wǎng)絡(luò)，與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的區(qū)別是隱含層節(jié)點激勵函數(shù)不是Sigmoid函數(shù)而是小波函數(shù)。小波神經(jīng)網(wǎng)絡(luò)原理是：交通流在不同時間尺度上具有自相似性和多尺度特征，低頻部分反映的是總體變化趨勢，高頻部分是隨機(jī)性和不穩(wěn)定性的表現(xiàn)，因此可以利用小波分析方法將交通信息中的高頻部分和低頻部分預(yù)測。

不過，將神經(jīng)網(wǎng)絡(luò)用于實際交通系統(tǒng)預(yù)測的難點是神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時間較長，普適性差，交通狀態(tài)變化時難以在線調(diào)整，不適用于大規(guī)模網(wǎng)絡(luò)。

2.3非參數(shù)回歸

非參數(shù)回歸是利用模式匹配算法，找到一組與輸入數(shù)據(jù)相對應(yīng)的數(shù)據(jù)或相似的數(shù)據(jù)來預(yù)測[8]，對應(yīng)關(guān)系不需要精確的函數(shù)表達(dá)式，而是一個近似的關(guān)系。在每次模式匹配算法中，隨著輸入數(shù)據(jù)模式變化，這個近似的關(guān)系也會有變化，從而達(dá)到動態(tài)預(yù)測的目的[18]。非參數(shù)回歸方法本質(zhì)上是一種數(shù)據(jù)驅(qū)動的智能方法，認(rèn)為系統(tǒng)所有因素之間的內(nèi)在聯(lián)系都蘊含在歷史數(shù)據(jù)中，從大量的歷史數(shù)據(jù)樣本中找到所需的匹配數(shù)據(jù)，依賴匹配數(shù)據(jù)預(yù)測。

利用非參數(shù)回歸進(jìn)行短時交通流預(yù)測的原理是：對于固定的道路狀況，車流的上下游因果關(guān)系是具有重復(fù)性的，同時這種因果關(guān)系也是隨著時間變化的，由于交通流的時變性和非線性，尋找這種動態(tài)的具體映射關(guān)系是不現(xiàn)實的，采用基于數(shù)據(jù)驅(qū)動的非參數(shù)回歸方法是一種較好的解決方法[21]。文[20]對非參數(shù)回歸方法在短時交通預(yù)測中的可行性進(jìn)行了分析。文[8]利用反饋機(jī)制對系統(tǒng)變量和輸入變量進(jìn)行動態(tài)調(diào)節(jié)，提高了非參數(shù)回歸方法的預(yù)測精度，并通過北京市路網(wǎng)的交通流預(yù)報實例證明了這種方法的有效性。

非參數(shù)回歸方法的優(yōu)點是：1）不需要先驗和大量的參數(shù)識別，不必確定任何模型參數(shù)，只需要足夠的歷史數(shù)據(jù)，尋找歷史數(shù)據(jù)中與當(dāng)前點相似的近鄰，并用這些近鄰預(yù)測下一時段的流量；2）應(yīng)對突發(fā)事件能力強，預(yù)測準(zhǔn)確性和誤差分布較好算法原理清晰，魯棒性好，尤其適用于交通狀態(tài)不穩(wěn)定時的系統(tǒng)預(yù)測。非參數(shù)回歸方法的缺點是：存儲的歷史數(shù)據(jù)較多時查找近似點的效率就會降低，影響預(yù)測速度，另外交通環(huán)境變化時導(dǎo)致狀態(tài)和流量的對應(yīng)關(guān)系發(fā)生變化，需要更新數(shù)據(jù)庫信息[18,19]。

2.4混沌預(yù)測

交通系統(tǒng)是一個復(fù)雜的大系統(tǒng)，它表現(xiàn)出來的非線性動力學(xué)性質(zhì)之一就是混沌現(xiàn)象。實際上，在一個較短的時間段內(nèi)（例如10分鐘），每條道路的車流量、路口總體流量和交通控制網(wǎng)絡(luò)流量的變化具有豐富的內(nèi)部層次有序結(jié)構(gòu)，有很強的規(guī)律可尋，是一種介于隨機(jī)和確定性之間的現(xiàn)象，即混沌。具體來說，車輛間的非線性跟馳和交通系統(tǒng)的狀態(tài)參數(shù)的變化都存在混沌現(xiàn)象。

基于混沌理論的進(jìn)行交通信息短時預(yù)測主要以混沌理論、分形理論、耗散理論、協(xié)同理論、自組織理論等為基礎(chǔ)，利用混沌理論中的相空間重構(gòu)、奇怪吸引子、分形方法等建立預(yù)測模型[18]。研究可分為兩個方面：基于交通流理論模型的混沌研究和基于實測交通流數(shù)據(jù)的混沌研究。混沌時間序列預(yù)測方法有：全域預(yù)測、局域預(yù)測、加權(quán)零階局域預(yù)測、加權(quán)一階局域預(yù)測、基于最大Lyapunov 指數(shù)的預(yù)測、自適應(yīng)預(yù)測等方法。文[28]分析了短時交通流的非線性特性及其對預(yù)測的影響，并討論了兩個方面的問題，即交通流隨著觀測時間尺度不同時混沌和分形特征的變化情況及對交通流預(yù)測的影響。文[17]對交通混沌研究的現(xiàn)狀進(jìn)行了分析和展望。

從理論上利用混沌理論對非線性和不確定性很強的交通流進(jìn)行預(yù)測是非常合適的，所以這種方法將有很好的應(yīng)用前景。不過目前交通混沌預(yù)測的研究中也有許多問題需要解決，例如：1）短時交通信息的混沌預(yù)測對實時性要求高，因此需要研究快速判別混沌方法，解決樣本數(shù)據(jù)和實時性之間的矛盾；2）應(yīng)用混沌解釋一些原來解釋不了的交通問題相對容易，而應(yīng)用混沌解決實際交通問題非常困難。即混沌預(yù)測的實用化方法還是一個難題。

2.5支持向量機(jī)

支持向量機(jī)（SVM）是機(jī)器學(xué)習(xí)的一個重要分支，也是模式識別、統(tǒng)計學(xué)習(xí)等領(lǐng)域研究的熱點。SVM在智能交通領(lǐng)域的應(yīng)用主要包括車輛檢測、交通狀況識別等，目前SVM越來越多的被應(yīng)用在時間序列分析上，即支持向量回歸（SVR，Support vector regression），具體包括有-支持向量回歸機(jī)、-支持向量回歸機(jī)和最小二乘支持向量回歸機(jī)（LS-SVM，Least square SVM）等[4][24]。利用SVR預(yù)測短時交通信息包括交通流量預(yù)測和行程時間預(yù)測兩個方面。

基于支持向量回歸的交通信息預(yù)測思想在于：首先選擇一個非線性映射把樣本向量從原空間映射到高維特征空間，在此高維特征空間構(gòu)造最優(yōu)決策函數(shù)，利用結(jié)構(gòu)最小化原則，同時引入損失函數(shù)，并利用原空間的核函數(shù)取代高維特征空間的內(nèi)積運算。支持向量回歸可以解決神經(jīng)網(wǎng)絡(luò)的一些固有缺點，在解決小樣本、非線性和高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢[25]。與基于神經(jīng)網(wǎng)絡(luò)的預(yù)測方法相比，SVR的預(yù)測精度高，預(yù)測結(jié)果一般好于神經(jīng)網(wǎng)絡(luò)[11][14]。文[9]基于支持向量機(jī)對行程時間進(jìn)行短時預(yù)測，并與BP神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行了對比，實驗結(jié)果表明對于小樣本和高維的數(shù)據(jù)集，SVM在行程時間預(yù)測中的效果較好, 誤差較BP神經(jīng)網(wǎng)絡(luò)的方法小。文[22]利用在線支持向量機(jī)（OSVR，Online SVR）進(jìn)行短時交通流預(yù)測，與BP神經(jīng)網(wǎng)絡(luò)預(yù)測相比，預(yù)測的精度、收斂時間、泛化能力都有提高。文[27]利用LS-SVM對行程時間指標(biāo)（TTI，Travel time index）進(jìn)行預(yù)測，LS-SVM與SVM區(qū)別是LS-SVM采用一組線性方程訓(xùn)練，SVM采用的是二次規(guī)劃方法，所以LS-SVM的優(yōu)點是快速收斂，精度更高，計算量小，預(yù)測性能更好。

但是基于支持向量機(jī)的預(yù)測方法缺點是訓(xùn)練算法速度慢，預(yù)測的實時性還難以保證，另外對核函數(shù)及其參數(shù)以及損失函數(shù)的選擇也沒有確定方法。

2.6 組合預(yù)測方法

由于短時交通信息預(yù)測的隨機(jī)性和不確定性，單一的預(yù)測方法很難取得好的預(yù)測效果，各種預(yù)測方法都存在不同程度的缺點和相應(yīng)的適用范圍，如果將各種方法有機(jī)的結(jié)合起來，則可能會取得更好的效果，這也是組合預(yù)測方法的出發(fā)點。組合預(yù)測方法是指將兩種或兩種以上的預(yù)測方法在中間預(yù)測過程結(jié)合或者將最終的預(yù)測結(jié)果融合[7][18]?，F(xiàn)在已有的組合模型包括：數(shù)學(xué)模型與智能方法的結(jié)合、時域方法與頻域方法的結(jié)合等。如表1所示。

表1組合預(yù)測方法分類

組合模型 作用

數(shù)學(xué)模型

時域方法 智能信息處理方法

（模糊、神經(jīng)網(wǎng)絡(luò)、灰色模型等） 數(shù)據(jù)分類

頻域方法（傅立葉變換、小波模型等） 數(shù)據(jù)分解、消噪

常用的一類組合模型是利用模糊方法、神經(jīng)網(wǎng)絡(luò)、灰色模型等智能信息處理方法對短時交通流的數(shù)據(jù)聚類，然后對每一組聚類數(shù)據(jù)用線性或非線性方法預(yù)測。文[26]利用組合方法進(jìn)行交通流預(yù)測，目的是將不同模型的數(shù)據(jù)和知識結(jié)合起來，最大化的利用有用信息，將MA、ES、ARMA作為神經(jīng)網(wǎng)絡(luò)的輸入，實驗結(jié)果表明組合方法比單一預(yù)測方法精度更高。文[23]利用模糊神經(jīng)網(wǎng)絡(luò)進(jìn)行城市交通流預(yù)測，提出了一種模糊神經(jīng)模型（FNM）預(yù)測城市路網(wǎng)的交通流，首先利用模糊方法對輸入數(shù)據(jù)進(jìn)行劃分，再利用神經(jīng)網(wǎng)絡(luò)建立輸入輸出關(guān)系，并在線滾動優(yōu)化訓(xùn)練FNM，根據(jù)實際交通條件，通過模型系數(shù)自適應(yīng)變化，提高預(yù)測能力。利用智能信息處理方法對交通信息進(jìn)行分類可以減少預(yù)測時間，但是很難對不同的交通條件給出確切的定義，而且聚類處理可能破壞時間序列的內(nèi)在機(jī)理，失去交通流原有的動態(tài)信息[12]。

另一類組合模型是用頻域方法對數(shù)據(jù)先分解，再對分解后的數(shù)據(jù)再預(yù)測，典型的是基于小波分解的預(yù)測模型。通過小波分析，可以將信號逐層分解到不同的頻率層次上，分解后的信號的平穩(wěn)性比原始信號好的多，利用小波變化將交通流序列分解為多個分量，對個信號分量分別進(jìn)行預(yù)測，可以極大的提高預(yù)測準(zhǔn)確性。例如文[15] 提出基于小波分析與神經(jīng)網(wǎng)絡(luò)的交通流短時預(yù)測方法，把多維輸入進(jìn)行小波降維分解，預(yù)測由多個子網(wǎng)絡(luò)獨立完成，實驗結(jié)果表明，該方法比典型的神經(jīng)網(wǎng)絡(luò)預(yù)測準(zhǔn)確度更高。文[16]提出基于小波包和LS-SVM的交通流短時組合預(yù)測方法。小波分析的另一個應(yīng)用是對交通原始數(shù)據(jù)進(jìn)行消噪處理，文[6]將小波分析方法和ARIMA相結(jié)合，取得了更好的預(yù)測效果。文[23]利用離散小波變換（DWT）去除交通數(shù)據(jù)中的噪聲后進(jìn)行交通流量預(yù)測。DWT的多分辨率分析（MRA，Multi-resolution analysis）可以在保留交通流量快變特性的同時，消除噪聲信息利用小波消噪，提高預(yù)測精度。缺點是每次分解信號樣本減少一半，存在信息丟失，影響模型重構(gòu)。

3結(jié)束語

通過智能交通中短時交通預(yù)測主要方法的歸納、分析、比較，可以看出無論是傳統(tǒng)的時間序列預(yù)測方法還是神經(jīng)網(wǎng)絡(luò)、小波分析、支持向量機(jī)等智能預(yù)測方法都存在各自的適用范圍和優(yōu)缺點。交通流本質(zhì)上時空函數(shù)，即從時間上看，短時交通流信息可以作為時間序列處理，同時，交通流也具有空間上的相關(guān)性，上下游的路段之間存在必然的因果聯(lián)系，所以如何在現(xiàn)有預(yù)測方法的基礎(chǔ)上融入更多的交通流的時空信息將是一個值得研究的方向，另外將其他工程、金融等領(lǐng)域的預(yù)測方法借鑒到智能交通領(lǐng)域，并將各種預(yù)測方法有效融合在一起，處理短時交通信息預(yù)測中的不確定性和隨機(jī)性，提高預(yù)測的精度和可靠性，并保證實時性也是一個需要繼續(xù)探索的方向。

參考文獻(xiàn)（References）

[1]楊叔子.時間序列分析的工程應(yīng)用（第二版）[M].武漢：華中科技大學(xué)出版社,2007.

[2]朱順應(yīng),王紅等.交通流參數(shù)及交通事件動態(tài)預(yù)測方法[M].南京：東南大學(xué)出版社,2010.

[3]許倫輝,付惠.交通信息智能預(yù)測理論與方法[M].北京:科學(xué)出版社,2009.

[4]陸海亭,張寧等.短時交通流預(yù)測方法研究進(jìn)展[J].交通運輸工程與信息學(xué)報.2009, 7(4):84-91.

[5]賀國光,李宇等.基于數(shù)學(xué)模型的短時交通流預(yù)測方法探討[J]. 系統(tǒng)工程理論與實踐.2000(12):51-56.

[6]竇慧麗,劉好德等.基于小波分析和ARIMA模型的交通流預(yù)測方法[J].同濟(jì)大學(xué)學(xué)報（自然科學(xué)版）.2009, 37(4):486-494.

[7]張益,陳淑燕等.短時交通量時間序列智能復(fù)合預(yù)測方法概述[J].公路交通科技.2006, 23(8):139-142.

[8]張曉利,陸化普.非參數(shù)回歸方法在短時交通流預(yù)測中的應(yīng)用[J].清華大學(xué)學(xué)報（自然科學(xué)版）.2009, 49(9):1471-1475.

[9]姚智勝,邵春福等.支持向量機(jī)在路段行程時間預(yù)測中的應(yīng)用研究[J].公路交通科技.2007, 24(9):96-99.

[10]劉靜,關(guān)偉.交通流預(yù)測方法綜述[J].公路交通科技.2004, 21(3):81-85.

[11]徐啟華,楊瑞.支持向量機(jī)在交通流量實時預(yù)測中的應(yīng)用[J].公路交通科技.2005, 22(12):131-134.

[12]王正武, 黃中祥.短時交通流預(yù)測模型的分析與評價[J].系統(tǒng)工程.2003, 21(6):97-100.

[13]韓超, 宋蘇等.基于ARIMA 模型的短時交通流實時自適應(yīng)預(yù)測[J].2004, 16(7):1530-1533.

[14]楊兆升,王媛等.基于支持向量機(jī)方法的短時交通流量預(yù)測方法[J].吉林大學(xué)學(xué)報（工學(xué)版）,2006,36(6): 881-884.

[15]張曉利.基于小波分析與神經(jīng)網(wǎng)絡(luò)的交通流短時預(yù)測方法[J].信息與控制.2007, 36(4):467-470.

[16]姚智勝,邵春福等.基于小波包和最小二乘支持向量機(jī)的短時交通流組合預(yù)測方法研究[J].中國管理科學(xué).2007, 15(1):64-69.

[17]王東山,賀國光等.交通混沌研究綜述與展望[J].土木工程學(xué)報.2003, 36(1):68-73.

[18]王進(jìn),史其信.短時交通流預(yù)測模型綜述[J].智能交通.2005, 1(6):93-98.

[19]李振龍,張利國等.基于非參數(shù)回歸的短時交通流預(yù)測研究綜述[J].交通運輸工程與信息學(xué)報.2008, 6(4):34-39.

篇5

關(guān)鍵詞：運動目標(biāo)檢測 光流法 神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP242 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2016）11-0084-01

1 前言

機(jī)器人在未知環(huán)境中運動時，檢測出環(huán)境中的動態(tài)目標(biāo)非常重要，它能為機(jī)器人提供更加詳盡的信息與策略。而腿式機(jī)器人要比輪式機(jī)器人具有更多的優(yōu)點，但是腿式機(jī)器人行動時相對穩(wěn)定性差，使得圖像背景變化的模式和規(guī)律更加復(fù)雜，對于檢測環(huán)境中的運動物體帶來了更大的挑戰(zhàn)。本文提供了一種方法，使足式機(jī)器人能在較高速度下準(zhǔn)確的檢測環(huán)境中物體的移動。該方法首先不對圖像進(jìn)行預(yù)處理，減少了信息計算量；其次在神經(jīng)網(wǎng)絡(luò)的輸出中加入了實質(zhì)性的后期處理步驟；最后對得到的差異信息進(jìn)行重構(gòu)，從而識別出動態(tài)目標(biāo)。本文提供的方法對于一個以最高速度10CM/S自由行走的機(jī)器人來說是有效的。

2 外部運動檢測方法

圖1描述的是我們使用的算法。首先，我們需要計算圖像中的光流，將得到的向量場作為神經(jīng)網(wǎng)絡(luò)的輸入，同時根據(jù)從三個加速度傳感器獲得的機(jī)器人當(dāng)前步態(tài)循環(huán)中的位置信息作為神經(jīng)網(wǎng)絡(luò)的另一個輸入。根據(jù)以上兩方面信息輸出下一幅圖像的預(yù)期光流信息。機(jī)器人對接收到的下一幅圖像進(jìn)行光流計算并且和神經(jīng)網(wǎng)絡(luò)的預(yù)期進(jìn)行比較。用后期處理算法尋找兩幅圖像中不一致區(qū)域的不連續(xù)處，從而判斷在圖像中是否發(fā)現(xiàn)移動的物體。

我們用自己搭建的電子狗機(jī)器人平臺獲得光流的訓(xùn)練和測試序列，并且作為一系列圖形文件傳輸?shù)絺€人計算機(jī)上進(jìn)行光流計算，計算出來的光流場重新儲存到硬盤中用于后來預(yù)期光流的產(chǎn)生和與其進(jìn)行比較。

利用獲得的最新的光流場的圖像和機(jī)器人的加速度及在整個步態(tài)中的位置，神經(jīng)網(wǎng)絡(luò)能有效的獲得下一個光流場的圖像。經(jīng)過和獲得的光流場對比，我們就能看到圖像中哪一部分存在著沒有預(yù)見的運動。我們用已有的光流場序列來訓(xùn)練這個網(wǎng)絡(luò)，得到不同速度下的神經(jīng)網(wǎng)絡(luò)預(yù)測器。

通過比較預(yù)期的和真實獲得的光流場，我們能獲得向量場。捕捉向量場中每個元素的梯度我們將獲得一個相同大小的矩陣，稱之為差異場。如果場景中由外部移動的物體，那么在差異場中就會出現(xiàn)急劇的不連續(xù)，通過在每個差異場中運行邊緣檢測算法就會檢測出來。

最后利用邊緣檢測進(jìn)行后期處理，首先通過找到它的最大像素點，將和最大像素點差距大的像素點賦值為0，其他賦值為1，可以獲得一個二進(jìn)制版本的差異場，接下來用一個常規(guī)的邊緣檢測算法對二進(jìn)制差異場進(jìn)行分析，獲得動態(tài)目標(biāo)的形狀。

3 實驗及結(jié)果

我們用自主搭建的電子狗機(jī)器人獲得實驗圖像，電子狗的四肢和頭部都有3個自由度。它的頭部有一個CMOS的攝像頭，1秒鐘能大約能采集25幅圖像。機(jī)器人嘗試識別出白色背景下運動的2-3個黃色不規(guī)則目標(biāo)，我們設(shè)定機(jī)器人的運動速度為10CM/S。在光流計算前，圖像也會從全色轉(zhuǎn)化成灰度級。

機(jī)器人獲得的圖像和光流場由35列，27行組成。低分辨率的圖像能使用一個簡單的神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，并且使光流場計算的運行時間減少。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中用到了循環(huán)架構(gòu)，網(wǎng)絡(luò)有120個單位的隱藏層。網(wǎng)絡(luò)通過數(shù)據(jù)回溯的方法進(jìn)行訓(xùn)練，訓(xùn)練的數(shù)據(jù)來自于機(jī)器人在空場地的10次行進(jìn)，每次行進(jìn)大約由80幅連續(xù)的圖片組成。

多次實驗證明，利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)預(yù)測器，系統(tǒng)能正確的標(biāo)定出圖像中包含大部分運動的小塊， 大約95%的動態(tài)圖像塊均被正確的標(biāo)注。

4 結(jié)語

本文提出了一種快速移動四足機(jī)器人檢測外部動態(tài)目標(biāo)的方法。通過對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，系統(tǒng)不僅能快速準(zhǔn)確的識別出環(huán)境中的動態(tài)目標(biāo)，同時系統(tǒng)計算量也大幅減少。實驗證明系統(tǒng)具有較高的可靠性。

參考文獻(xiàn)

[1]屠大維，江濟(jì)良.改進(jìn)的光流運動圖像分析方法及其應(yīng)用[J].光學(xué)精密工程，2011（05）.

[2]朱克忠.基于光流法對移動目標(biāo)的視頻檢測與應(yīng)用研究[D].合肥工業(yè)大學(xué)，2007.

[3]邵文坤，黃愛民，韋慶.動態(tài)場景下的運動目標(biāo)跟蹤方法研究[J].計算機(jī)仿真，2006（05）.

篇6

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò) 入侵檢測；自動變速率；隨機(jī)優(yōu)化算子

中圖分類號：TP18 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2014）03-0614-03

隨著互聯(lián)網(wǎng)應(yīng)用的發(fā)展，更現(xiàn)顯了網(wǎng)絡(luò)安全的重要性。入侵檢測技術(shù)在安全防護(hù)中是一種主動防護(hù)技術(shù)，能及時地檢測各種惡意入侵，并在網(wǎng)絡(luò)系統(tǒng)受到危害時進(jìn)行響應(yīng)，因此在為安全防御體系中入侵檢測系統(tǒng)占有重要的地位。但是在現(xiàn)實的應(yīng)用中，入侵檢測系統(tǒng)沒有充分發(fā)揮其作用。這是因為，不斷變化的入侵方式要求入侵檢測模型必須具有分析大量數(shù)據(jù)的能力。無論這些數(shù)據(jù)是不完全的，是非結(jié)構(gòu)化的，或者是含有噪音的。而且，有些攻擊是由處于不同網(wǎng)絡(luò)位置上的多個攻擊者協(xié)作進(jìn)行的，這就要求入侵檢測模型又必須具備處理來自非線性數(shù)據(jù)源的大量數(shù)據(jù)的能力。神經(jīng)網(wǎng)絡(luò)具有聯(lián)想記憶能力、自學(xué)習(xí)能力和模糊運算的能力。因此將神經(jīng)網(wǎng)絡(luò)應(yīng)用入侵檢測中，它不僅可以識別出曾見過的入侵，還可以識別出未曾見過的入侵。該文首先介紹了一種改進(jìn)的神經(jīng)網(wǎng)絡(luò)算法，然后分析了該算法在入侵檢測中的應(yīng)用，并給出試驗仿真結(jié)果。

1 BP神經(jīng)網(wǎng)絡(luò)與入侵檢測

1.1 BP神經(jīng)網(wǎng)絡(luò)的特點與不足

BP神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)模型中應(yīng)用最廣泛一種。它基于成熟的BP算法，主要有以下幾個特點：1）它能夠?qū)崿F(xiàn)自組織、自學(xué)習(xí)，根據(jù)給定的輸入輸出樣本自動調(diào)整它的網(wǎng)絡(luò)參數(shù)來模擬輸入輸出之間的非線性關(guān)系。2）在存儲上采用分布式存儲，所有的信息分布存儲在每一個神經(jīng)元中。3）它還可以實現(xiàn)并行處理，下一層的每個神經(jīng)元可以根據(jù)接收到的上一層信息同時獨立地計算。這些特點使其很適合應(yīng)用于入侵檢測技術(shù)，滿足入侵檢測的適應(yīng)性、可靠性、安全性和高效性的要求。

但是傳統(tǒng)的BP算法也存在著以下幾個方面的不足：1）局部極小；2）學(xué)習(xí)算法收斂速度慢；3）隱含層節(jié)點選取缺乏理論；4）加入新的樣本會影響已經(jīng)學(xué)完的樣本；5）每次輸入樣本特征的數(shù)目必須確定且相同。

1.2 入侵檢測技術(shù)

通過對系統(tǒng)數(shù)據(jù)的分析，當(dāng)發(fā)現(xiàn)有非授權(quán)的網(wǎng)絡(luò)訪問和攻擊行為時，采取報警、切斷入侵線路等措施來維護(hù)網(wǎng)絡(luò)安全，這被就是入侵檢測技術(shù)。采用此技術(shù)設(shè)計的系統(tǒng)稱為入侵檢測系統(tǒng)。根據(jù)采用的技術(shù)來說入侵檢測系統(tǒng)應(yīng)具有以下幾個特性：1）監(jiān)視用戶及系統(tǒng)活動；2） 分析用戶及系統(tǒng)活動；3） 異常行為模式分析；4） 識別已知的進(jìn)攻活動模式并反映報警；5） 系統(tǒng)構(gòu)造和弱點的審計，操作系統(tǒng)的審計跟蹤管理；6） 評估重要的系統(tǒng)和數(shù)據(jù)文件的完整性，并識別用戶違反安全策略的行為。

目前最常用的攻擊手段有：拒絕服務(wù)、探測、非授權(quán)訪問和非授權(quán)獲得超級用戶權(quán)限攻擊。而且這些攻擊手段在實際中還有很大的變異，因此給入侵檢測帶來了一定的難度。BP神經(jīng)網(wǎng)絡(luò)的自組織自學(xué)習(xí)能力，使得經(jīng)過訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)對以前觀察到的入侵檢測行為模式進(jìn)行歸納總結(jié)，除了可以識別出已經(jīng)觀察到的攻擊，還可以識別出由已知攻擊變異出的新的攻擊，甚至是全新的攻擊。

2.3 改進(jìn)的神經(jīng)網(wǎng)絡(luò)算法

人工神經(jīng)網(wǎng)絡(luò)在模式識別、非線性處理、信號檢測等領(lǐng)域應(yīng)用非常多，這是由于人工神經(jīng)網(wǎng)絡(luò)具有的良好的自適應(yīng)和自組織性，高度的非線性特性以及大規(guī)模并行處理和分布式信息存儲能力的特性。BP神經(jīng)網(wǎng)絡(luò)算法實質(zhì)上是非線性優(yōu)化問題的梯度算法，該算法在收斂性問題上存在限制與不足。即該算法學(xué)習(xí)的結(jié)果不能保證一定收斂到均方誤差的全局最小點，也有可能落入局部極小點，使算法不收斂，導(dǎo)致陷入錯誤的工作模式。因此本文選擇了改進(jìn)的神經(jīng)網(wǎng)絡(luò)，改進(jìn)主要有以下幾點：

2）自動變速率學(xué)習(xí)法

傳統(tǒng)的BP算法是以梯度為基礎(chǔ)，采用LMS學(xué)習(xí)問題的最陡下降法，學(xué)習(xí)步長是一個固定不變的較小值，不利于網(wǎng)絡(luò)的收斂。因此，選擇了基于梯度方向來自動調(diào)節(jié)學(xué)習(xí)速率的方法。利用梯度確定學(xué)習(xí)的方向，由速率決定在梯度方向上學(xué)習(xí)的步長。因此，如果相鄰兩次的梯度方向相同則說明在該方向是有利收斂的方向，如果相鄰兩次的梯度方向相反則說明此處存在不穩(wěn)定。因此，可以利用兩次相對梯度變化來確定學(xué)習(xí)步長，當(dāng)兩次梯度方向相同時則增大學(xué)習(xí)步長，加快在該方向上的學(xué)習(xí)速度；而如果兩次梯度方向相反那么減小學(xué)習(xí)步長，加快整個網(wǎng)絡(luò)的收斂速度。這種方法的自適應(yīng)速率調(diào)節(jié)公式如下：

2）引入遺忘因子

本文所采用的自適應(yīng)變速率學(xué)習(xí)法是依據(jù)相鄰兩次梯度變化來確定學(xué)習(xí)步長的算法，但單純的學(xué)習(xí)速率的變化還不能即完全地既保證收斂速度，又不至于引起振蕩。因此考慮變相的學(xué)習(xí)速率的學(xué)習(xí)。即在權(quán)值的調(diào)節(jié)量上再加一項正比于前幾次加權(quán)的量。權(quán)值調(diào)節(jié)量為：

我們將[τ]稱為遺忘因子。遺忘因子項的引入就是對學(xué)習(xí)過程中等效的對學(xué)習(xí)速率進(jìn)行微調(diào)的效果。遺忘因子起到了緩沖平滑的作用，使得調(diào)節(jié)向著底部的平均方向變化。

3）隨機(jī)優(yōu)化算子

雖然采用自動變速率學(xué)習(xí)法，并引入遺忘因子的神經(jīng)網(wǎng)絡(luò)算法可以對學(xué)習(xí)速率進(jìn)行微調(diào)，但是仍存在著BP神經(jīng)網(wǎng)絡(luò)的限制與不足因此引入隨機(jī)優(yōu)化算子。也就是當(dāng)網(wǎng)絡(luò)的權(quán)值誤差迭代一定的次數(shù)后，仍沒有明顯的收斂，或者系統(tǒng)誤差函數(shù)的梯度連續(xù)幾次發(fā)生改變，這說明網(wǎng)絡(luò)進(jìn)入了一個比較疲乏的狀態(tài)，需要借助外界的推動力來激活網(wǎng)絡(luò)。當(dāng)發(fā)現(xiàn)上述的兩種情況時，就產(chǎn)生與權(quán)值維數(shù)相同的隨機(jī)數(shù)，并將隨機(jī)數(shù)與權(quán)值直接相加，然后判斷系統(tǒng)誤差的變化。如果誤差沒有降低，那么就再繼續(xù)產(chǎn)生隨機(jī)數(shù)來修改權(quán)值，直到誤差減少，再從新的權(quán)值開始繼續(xù)BP算法。隨機(jī)優(yōu)化算子可以令搜索方向隨機(jī)變化，從而擺脫局部極小點。

4）改進(jìn)算法與傳統(tǒng)算法比較

以200個訓(xùn)練樣本為例，分別采用改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)和經(jīng)典BP神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行學(xué)習(xí)、訓(xùn)練。兩種算法的誤差收斂對比曲線如圖1所示。

3 采用改進(jìn)算法的入侵檢測仿真實驗

入侵檢測系統(tǒng)進(jìn)行測試和評估需要標(biāo)準(zhǔn)的、可重現(xiàn)的并包含入侵的大量數(shù)據(jù)。本仿真實驗選取DARPA數(shù)據(jù)集網(wǎng)絡(luò)連接數(shù)據(jù)集作為實驗數(shù)據(jù)。然后，對這些數(shù)據(jù)選三組特征值進(jìn)行實驗，并給出實驗結(jié)果。

3.1 數(shù)據(jù)源的選取

該實驗的數(shù)據(jù)采用DARPA 1988入侵檢測評估數(shù)據(jù)庫的數(shù)據(jù)。該數(shù)據(jù)有大量的連接數(shù)據(jù)記錄。每個一記錄代表一次網(wǎng)絡(luò)連接，且每個記錄均有41個特征值，其中各個特征的含義不同，大致可分為三類：1）表示網(wǎng)絡(luò)連接內(nèi)容特征；2）表示網(wǎng)絡(luò)連接基本特征；3）表示網(wǎng)絡(luò)連接流量特征。

模擬的入侵主要有以下四種類型：DOS 、 R2L、U2R、Probing，考慮到設(shè)計的實用性分別對三類特征值用神經(jīng)網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練和識別。實驗選取了13000組數(shù)據(jù)進(jìn)行仿真實驗，其中3000組用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，10000組用于系統(tǒng)測試。

3.2 仿真實驗結(jié)果

對三類特征組的訓(xùn)練集數(shù)據(jù)應(yīng)用改進(jìn)神經(jīng)網(wǎng)絡(luò)分別訓(xùn)練出三個神經(jīng)網(wǎng)絡(luò)，表示網(wǎng)絡(luò)連接內(nèi)容特征的神經(jīng)網(wǎng)絡(luò)，表示網(wǎng)絡(luò)連接基本特征的神經(jīng)網(wǎng)絡(luò)以及表示網(wǎng)絡(luò)連接流量的特征的神經(jīng)網(wǎng)絡(luò)在訓(xùn)練成功時的迭代步數(shù)分別為7056，386，3030。然后再對測試集數(shù)據(jù)進(jìn)行測試，結(jié)果如下：

1）表示網(wǎng)絡(luò)連接內(nèi)容特征組，利用改進(jìn)神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測識別，結(jié)果如表1所示。

2）表示網(wǎng)絡(luò)連接基本特征組，利用改進(jìn)神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測識別，結(jié)果如表2所示。

3）網(wǎng)絡(luò)連接流量特征組，利用改進(jìn)神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測識別，結(jié)果如表3所示：

從表中數(shù)據(jù)可以看出對常見的四種攻擊，不同的特征分組在改進(jìn)神經(jīng)網(wǎng)絡(luò)的作用下檢測各有優(yōu)勢。

4 結(jié)論

論文采用自動變速率學(xué)習(xí)法，利用遺忘因子進(jìn)行微調(diào)，同時引入隨機(jī)優(yōu)化算子對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行了改進(jìn)。改進(jìn)神經(jīng)網(wǎng)絡(luò)的收斂速度比經(jīng)典BP神經(jīng)網(wǎng)絡(luò)更快，同時穩(wěn)定性也較好。并將該算法應(yīng)用于入侵檢測實驗，實驗結(jié)果顯示改進(jìn)后的算法具有較好的識別攻擊的能力。

參考文獻(xiàn)：

[1] 肖道舉，毛輝.BP神經(jīng)網(wǎng)絡(luò)在入侵檢測中的應(yīng)用[J].華中科技大學(xué)學(xué)報，2003（5）.

[2] 汪潔.基于神經(jīng)網(wǎng)路的入侵檢測系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機(jī)應(yīng)用與軟件，2013（5）.

篇7

關(guān)鍵詞：強化學(xué)習(xí)；神經(jīng)網(wǎng)絡(luò)；馬爾科夫決策過程；算法；應(yīng)用

中圖分類號：TP18 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2012）28-6782-05

在機(jī)器學(xué)習(xí)領(lǐng)域，大致可以將學(xué)習(xí)分為監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)三大類。強化學(xué)習(xí)以其在線學(xué)習(xí)能力和具有無導(dǎo)師制的自適應(yīng)能力，因此被認(rèn)為設(shè)計智能Agent的核心技術(shù)之一。從20世紀(jì)80年代末開始，隨著數(shù)學(xué)基礎(chǔ)日益發(fā)展的支持，應(yīng)用范圍不斷擴(kuò)大，強化學(xué)習(xí)也就成為目前機(jī)器學(xué)習(xí)的研究熱點之一。在研究過程中，隨著各種方法、技術(shù)和算法大量應(yīng)用于強化學(xué)習(xí)中，其缺陷和問題也就日漸顯現(xiàn)出來，尋找一種更好的方式和算法來促進(jìn)強化學(xué)習(xí)的發(fā)展和廣泛應(yīng)用，是研究人員探討和研究的重點。因此，神經(jīng)網(wǎng)絡(luò)及其算法以其獨特的泛化能力和存儲能力成為眾多研究人員重視的研究對象。

在此之前，已有大量研究者通過神經(jīng)網(wǎng)絡(luò)的特性來加強強化學(xué)習(xí)的效果及應(yīng)用。張濤[2]等人利用將Q學(xué)習(xí)算法和神經(jīng)網(wǎng)絡(luò)中的BP網(wǎng)絡(luò)、S激活函數(shù)相結(jié)合，加上神經(jīng)網(wǎng)絡(luò)的泛化能力，不僅解決了倒立擺系統(tǒng)的一系列問題，而且還進(jìn)一步提高了強化學(xué)習(xí)理論在實際控制系統(tǒng)的應(yīng)用。林聯(lián)明在神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)研究Sarsa強化算法，提出用BP網(wǎng)絡(luò)隊列保存SAPs，解決由于過大而帶來的Q值表示問題[3]。強化學(xué)習(xí)理論在機(jī)器控制研究中也應(yīng)用廣泛。段勇在基于行為的移動機(jī)器人控制方法基礎(chǔ)上，將模糊神經(jīng)網(wǎng)絡(luò)與強化學(xué)習(xí)理論相結(jié)合，構(gòu)成模糊強化系統(tǒng)，解決了連續(xù)狀態(tài)空間和動作空間的強化學(xué)習(xí)問題和復(fù)雜環(huán)境中的機(jī)器人導(dǎo)航問題[4]。由此可見，將神經(jīng)網(wǎng)絡(luò)與強化學(xué)習(xí)相結(jié)合，已經(jīng)是現(xiàn)今強化學(xué)習(xí)研究的重點方向，也已經(jīng)取得了頗豐的成果。但是，如何將神經(jīng)網(wǎng)絡(luò)和強化學(xué)習(xí)理論更好的融合，選擇何種算法及模型，如何減少計算量和加快學(xué)習(xí)算法收斂速度，以此來推動強化學(xué)習(xí)理論研究更向前發(fā)展，解決更多的實際應(yīng)用問題，這些依然還是待解決的研究課題之一。下面，根據(jù)本人對強化學(xué)習(xí)的研究，朋友給予的指導(dǎo)以及參照前人的研究成果，對基于神經(jīng)網(wǎng)絡(luò)的強化學(xué)習(xí)作個基本概述。

1 強化學(xué)習(xí)

強化學(xué)習(xí)（reinforcement），又稱再勵學(xué)習(xí)或評價學(xué)習(xí)，它是重要的機(jī)器學(xué)習(xí)方法之一，在機(jī)器人控制、制造過程控制、任務(wù)調(diào)配及游戲中有著廣泛的應(yīng)用。

1.1 定義

所謂強化學(xué)習(xí)就是智能Agent從環(huán)境狀態(tài)到行為映射的學(xué)習(xí)，并通過不斷試錯的方法選擇最優(yōu)行為策略，以使動作從環(huán)境中獲得的累積獎賞值最大。

強化學(xué)習(xí)狀態(tài)值函數(shù)有三個基本表達(dá)式，如下：

這三個狀態(tài)的值函數(shù)或狀態(tài)—動作對函數(shù)的值函數(shù)是用來表達(dá)目標(biāo)函數(shù)，該目標(biāo)函數(shù)是從長期的觀點確定什么是最優(yōu)的動作。其中[γ]為折扣因子，[rt]是agent從環(huán)境狀態(tài)[st]到[st+1]轉(zhuǎn)移后所接受到的獎賞值，其值可以為正，負(fù)或零。其中式（1）為無限折扣模型，即agent需要考慮未來h（[h∞]）步的獎賞，且在值函數(shù)以某種形式進(jìn)行累積；式（2）為有限模型，也就是說agent只考慮未來h步的獎賞和。式（3）為平均獎賞模型，agent考慮其長期平均的獎賞值。最優(yōu)策略可以由（4）式確定

1.2 基本原理與一般結(jié)構(gòu)

強化學(xué)習(xí)就是能夠和環(huán)境進(jìn)行交互的智能Agent，通過怎樣的學(xué)習(xí)選擇能夠達(dá)到其目標(biāo)的最優(yōu)動作。通俗的說，在Agent與環(huán)境進(jìn)行交互的過程中，每個行為動作都會獲得特定的獎賞值。如果Agent的某個行為策略導(dǎo)致環(huán)境正的獎賞值（強化信號），那么Agent以后產(chǎn)生這個行為策略的趨勢就會加強。Agent的目標(biāo)就是對每個離散的狀態(tài)發(fā)現(xiàn)最優(yōu)策略以期望的折扣獎賞和最大。

在上述定義中描述了強化學(xué)習(xí)的三個狀態(tài)值或函數(shù)動作對函數(shù)來表達(dá)目標(biāo)函數(shù)，可以求得最優(yōu)策略（根據(jù)（4）式）。但是由于環(huán)境具有不確定性[5]，因此在策略[π]的作用下，狀態(tài)[st]的值也可以寫為

強化學(xué)習(xí)把學(xué)習(xí)看作試探評價過程，可用圖1描述。強化學(xué)習(xí)選擇一個動作作用于環(huán)境，環(huán)境受到作用后其狀態(tài)會發(fā)生變化，從一個狀態(tài)轉(zhuǎn)換到另一個狀態(tài)，同時產(chǎn)生一個強化信號反饋給Agent，即獎懲值。Agent接受到獎懲值和環(huán)境狀態(tài)變化，進(jìn)行學(xué)習(xí)更新，并根據(jù)獎懲值和環(huán)境當(dāng)前狀態(tài)選擇下一個動作，選擇的原則是使受到正強化（獎）的概率增大。選擇的動作不僅影響立即強化值，而且影響環(huán)境下一時刻的狀態(tài)及最終的強化值。

2 神經(jīng)網(wǎng)絡(luò)

2.1 神經(jīng)網(wǎng)絡(luò)概述

神經(jīng)網(wǎng)絡(luò)是指模擬人類大腦的神經(jīng)系統(tǒng)的結(jié)構(gòu)與功能，運用大量的處理部件，采用人工方式構(gòu)造的一種網(wǎng)絡(luò)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)是一種非線性動力學(xué)系統(tǒng)，并且具有以分布式存儲和并行協(xié)同處理的特點，其理論突破了傳統(tǒng)的、串行處理的數(shù)字計算機(jī)的局限。盡管單個神經(jīng)元的結(jié)構(gòu)和功能比較簡單，但是千千萬萬個神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)系統(tǒng)所能表現(xiàn)的行為卻是豐富多彩的。

單個神經(jīng)元的模型如圖2所示。

人工神經(jīng)元模型由一組連接，一個加法器，一個激活函數(shù)組成。連接強度可由各連接上的值表示，權(quán)值為正表示激活，權(quán)值為負(fù)表示抑制；加法器用于求輸入信號對神經(jīng)元的相應(yīng)突觸加權(quán)之和。激活函數(shù)用于限制神經(jīng)元輸出振幅。

神經(jīng)元還可以用如下公式表示

激活函數(shù)主要有閾值函數(shù)、分段線性函數(shù)、非線性轉(zhuǎn)移函數(shù)三種主要形式。

一般來說，神經(jīng)網(wǎng)絡(luò)在系統(tǒng)中的工作方式是：接受外界環(huán)境的完全或者不完全的狀態(tài)輸入，并通過神經(jīng)網(wǎng)絡(luò)進(jìn)行計算，輸出強化系統(tǒng)所需的Q值或V值。人工神經(jīng)網(wǎng)絡(luò)是對人腦若干基本特性通過教學(xué)方法進(jìn)行的抽象和模擬，是一種模仿人腦結(jié)構(gòu)及功能的非線性信息處理系統(tǒng)。

2.2 強化學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的融合

經(jīng)過研究發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)的眾多優(yōu)點，可以滿足強化學(xué)習(xí)研究的需要。首先，由于神經(jīng)網(wǎng)絡(luò)模仿人的大腦，采用自適應(yīng)算法，使得Agent智能系統(tǒng)更能適應(yīng)環(huán)境的變化。此外，神經(jīng)網(wǎng)絡(luò)具有較強的容錯能力，這樣可以根據(jù)對象的主要特征來進(jìn)行較為精確的模式識別。最后，神經(jīng)網(wǎng)絡(luò)又有自學(xué)習(xí)，自組織能力和歸納能力的特點，不僅增強了Agent對不確定環(huán)境的處理能力，而且保證了強化學(xué)習(xí)算法的收斂性。神經(jīng)網(wǎng)絡(luò)也有無導(dǎo)師學(xué)習(xí)機(jī)制，正好適用于強化學(xué)習(xí)。

強化學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的融合重點在于如何運用神經(jīng)網(wǎng)絡(luò)多重特性，能夠快速高效地促進(jìn)Agent智能系統(tǒng)經(jīng)歷強化學(xué)習(xí)后，選擇一條最優(yōu)行為策略來滿足目標(biāo)需求。強化學(xué)習(xí)的環(huán)境是不確定的，無法通過正例、反例告知采取何種行為。Agent必須通過不斷試錯才能找到最優(yōu)行為策略。但是在此過程中，會遇到許多問題，比如輸出連續(xù)的動作空間問題，但可利用神經(jīng)網(wǎng)絡(luò)的泛化特征，實現(xiàn)了輸出在一定范圍內(nèi)的連續(xù)動作空間值[2]。所以，簡單的講，將神經(jīng)網(wǎng)絡(luò)和強化學(xué)習(xí)相融合，主要是利用神經(jīng)網(wǎng)絡(luò)強大的存儲能力和函數(shù)估計能力。目前，在函數(shù)估計強化學(xué)習(xí)研究上，神經(jīng)網(wǎng)絡(luò)是研究熱點之一。

3 馬爾科夫決策過程

本文主要論述馬爾科夫型環(huán)境下的強化學(xué)習(xí)，可以通過馬爾科夫決策過程進(jìn)行建模。下面給出其形式定義：

基本的POMDP由四個元組成：。S是指一個環(huán)境狀態(tài)集，可以是有限的，可列的或者任意非空集；A為Agent行為集合，用A（s）表示在狀態(tài)s處可用的決策集；獎賞函數(shù)R（s，a）：[A×S]->Real；T：[A×S]->PD（S）；T（s，a，s'）為Agent在狀態(tài)s采用a動作使環(huán)境狀態(tài)轉(zhuǎn)移到s'的概率。

一個有限的馬爾科夫決策過程有5元組成：；前四個元與上述是一致的，V為準(zhǔn)則函數(shù)或者目標(biāo)函數(shù)[3]，常用準(zhǔn)則函數(shù)有期望折扣總報酬、期望總報酬和平均報酬等并且可以是狀態(tài)值函數(shù)或狀態(tài)-動作對值函數(shù)。

馬爾科夫決策過程的本質(zhì)是：當(dāng)前的狀態(tài)轉(zhuǎn)變?yōu)榱硪粋€狀態(tài)的概率和獎賞值只取決于當(dāng)前的狀態(tài)和選擇的動作，與過去的動作和狀態(tài)無關(guān)。所以，在馬爾科夫環(huán)境下，已知狀態(tài)轉(zhuǎn)移概率函數(shù)T和獎賞函數(shù)R，可以借助于動態(tài)規(guī)劃技術(shù)求解最優(yōu)行為策略。

4 改進(jìn)的強化學(xué)習(xí)算法

到目前為止，強化學(xué)習(xí)領(lǐng)域提出的強化學(xué)習(xí)算法層出不窮，如Sutton提出的TD算法[6]，Watkins提出的Q-Learning算法[7]，Rummery和Niranjan于1994提出的Sarsa算法[8]，以及Dyna-Q學(xué)習(xí)算法[9]等。致力于這方面研究的研究人員，都在極力尋找一種既能保證收斂性，又能提高收斂速度的新型學(xué)習(xí)算法。本文主要在基于神經(jīng)網(wǎng)絡(luò)的特性，研究并提出改進(jìn)的強化學(xué)習(xí)算法。

4.1 基于模糊神經(jīng)網(wǎng)絡(luò)的Q（[λ]）學(xué)習(xí)算法

Q學(xué)習(xí)算法是強化學(xué)習(xí)領(lǐng)域重要的學(xué)習(xí)算法之一[7，10]，它利用函數(shù)Q（x，a）來表達(dá)與狀態(tài)相對應(yīng)的各個動作的評估。Q學(xué)習(xí)算法的基本內(nèi)容為：

（1）任意初始化一個Q（x，a）

（2）初始化 s

（3）從決策集中隨即選擇一個動作a

（4）采取動作策略a，觀察[r，][s]'的值

（5）計算 [Qs，aQs，a+αr+γmaxa'Qs'，a'-Qs，a]， （11）

（7）重復(fù)（2）-（6）步，直到s終結(jié)。

式（11）使用下一狀態(tài)的估計來更新Q函數(shù)，稱為一步Q學(xué)習(xí)。將TD（[λ]）的思想引入Q學(xué)習(xí)過程，形成一種增量式多步Q學(xué)習(xí)，簡稱Q（[λ]）學(xué)習(xí)[11]。步驟與Q算法類似，其計算公式如下：

如果 [s=st，a=at]，則[Qst，at=Qst，at+αtγt+γtetst+at]； （12）

4.2 基于BP神經(jīng)網(wǎng)絡(luò)的Sarsa算法

描述如下：（1）H是用于保存最近訪問的Q值，當(dāng)滿的時候送至神經(jīng)網(wǎng)絡(luò)訓(xùn)練。

如果表H已滿，則利用H中的樣本對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，版本號自動增加1

若網(wǎng)絡(luò)隊列q也已滿，則隊尾元素出隊，把新訓(xùn)練的神經(jīng)網(wǎng)絡(luò)入隊q；

清空訓(xùn)練集；

該算法的主要貢獻(xiàn)是引入神經(jīng)網(wǎng)絡(luò)隊列保存大量的Q值表，從來降低了保存大量Q值所要花費大量的內(nèi)存空間，更重要的是解決了單個神經(jīng)網(wǎng)絡(luò)“增量式”學(xué)習(xí)所帶來的“遺忘”問題。

5 強化學(xué)習(xí)應(yīng)用

由于強化學(xué)習(xí)在算法和理論方面的研究越來越深入，在大空間、復(fù)雜非線性控制，機(jī)器人控制、組合優(yōu)化和調(diào)度等領(lǐng)域呈現(xiàn)出良好的學(xué)習(xí)性能，使得強化學(xué)習(xí)在人工智能，控制系統(tǒng)，游戲以及優(yōu)化調(diào)度等領(lǐng)域取得了若干的成功應(yīng)用，而本文主要介紹基于神經(jīng)網(wǎng)絡(luò)的強化學(xué)習(xí)算法在某些領(lǐng)域的應(yīng)用。

在非線性控制系統(tǒng)方面，張濤等人[2]將BP網(wǎng)絡(luò)運用于 Q-Learning算法中，成功解決了連續(xù)狀態(tài)空間的倒立擺平衡控制問題和連續(xù)狀態(tài)空間輸入、連續(xù)動作空間輸出的問題，從而提高了強化學(xué)習(xí)算法的實際應(yīng)用價值；在機(jī)器人控制方面，應(yīng)用更為廣泛，Nelson[13]等人考慮了基于模糊邏輯和強化學(xué)習(xí)的智能機(jī)器人導(dǎo)航問題，并且段勇等人[4]基于該理論，成功地將模糊神經(jīng)網(wǎng)絡(luò)和強化學(xué)習(xí)結(jié)合起來，采用殘差算法保證函數(shù)逼近的快速性和收斂性，有效地解決了復(fù)雜環(huán)境下機(jī)器人導(dǎo)航的問題。在游戲方面，Tesauro采用三層BP神經(jīng)網(wǎng)絡(luò)把棋盤上的棋子位置和棋手的獲勝概率聯(lián)系起來，通過訓(xùn)練取得了40盤比賽中只輸一盤的好戰(zhàn)績[14]。在優(yōu)化調(diào)度方面，主要包括車間作業(yè)調(diào)度，電梯調(diào)度以及網(wǎng)絡(luò)路由選擇等，Robert Crites等[15]將強化學(xué)習(xí)和前饋神經(jīng)網(wǎng)絡(luò)融合利用，以最終實驗結(jié)果表明為依據(jù)，證明了該算法是目前高層建筑電梯調(diào)度算法中最優(yōu)算法之一。

6 結(jié)束語

本文將強化學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)相融合，介紹利用神經(jīng)網(wǎng)絡(luò)強大的存儲能力、泛化能力及函數(shù)估計能力，可以解決強化學(xué)習(xí)領(lǐng)域遇到的連續(xù)狀態(tài)和動作輸入、輸出的問題，學(xué)習(xí)狀態(tài)空間過大的問題以及不確定環(huán)境處理的問題等。基于此，主要論述了三種神經(jīng)網(wǎng)絡(luò)和強化學(xué)習(xí)的改進(jìn)算法，它們都綜合了神經(jīng)網(wǎng)絡(luò)的特性。最后，簡單介紹了目前基于神經(jīng)網(wǎng)絡(luò)的強化學(xué)習(xí)應(yīng)用的成功實例。目前，利用神經(jīng)網(wǎng)絡(luò)進(jìn)行強化學(xué)習(xí)依然是研究熱點課題之一。

參考文獻(xiàn)：

[1] 高陽，陳世福，陸鑫. 強化學(xué)習(xí)研究綜述[J].自動化學(xué)報，2004，30（1）：86-100.

[2] 張濤，吳漢生.基于神經(jīng)網(wǎng)絡(luò)的強化學(xué)習(xí)算法實現(xiàn)倒立擺控制[J].計算機(jī)仿真，2006，23（4）：298-300.

[3] 林聯(lián)明，王浩，王一雄.基于神經(jīng)網(wǎng)絡(luò)的Sarsa強化學(xué)習(xí)算法[J].計算機(jī)技術(shù)與發(fā)展，2006，16（1）：30-32.

[4] 段勇，徐心如.基于模糊神經(jīng)網(wǎng)絡(luò)的強化學(xué)習(xí)及其在機(jī)器人導(dǎo)航中的應(yīng)用[J].控制與決策，2007，22（5）：525-529.

[5] 劉忠，李海紅，劉全.強化學(xué)習(xí)算法研究[J].計算機(jī)工程與設(shè)計，2008，29（22）：5805-5809.

[6] Sutton R S.Learning to predict by the methods of temporal differences.Machine Learning，1988，3：9-44.

[7] Watkins P.Dayan.Q-Learning.Machine Learning，1992，8（3）：279-292.

[8] Rummery G，Niranjan M. On-line Q-Learning using connectionist systems. Technical Report CUED/F-INFENG/TR 166，Cambridge University Engineering Department，1994.

[9] Sutton R S，Barto A G， Williams R. Reinforcement Learning is direct adaptive optional control.IEEE Control Systems Manazine，1991，12（2）：19-22.

[10] Sutton R S， Barto A G. Reinforcement Learning： An introduction[M].Cambridge：MIT Press ，1998.

[11] Peng J ， Dayan P. Q-learning [J]. Machine Learning，1992，8（3）：279-292.

[12] Kelley H J ， Cliff E M， Lutze F H. Pursuit/evasion in orbit[J]. J of the Astronautical Sciences， 1981， 29（3）：277-288.

[13] NELSON H C， YUNG. An intelligent mobile vehicle navigator based on fuzzy logic and reinforcement learning [J].IEEE Trans on Systems， Man and Cybernetics， Part B： Cybernetics，1999，29（2）：314-321.

篇8

>> 網(wǎng)絡(luò)交易信用風(fēng)險的防范分析 我國網(wǎng)絡(luò)購物的信用風(fēng)險研究 基于復(fù)雜網(wǎng)絡(luò)的信用風(fēng)險傳染模型研究 基于神經(jīng)網(wǎng)絡(luò)的信用風(fēng)險預(yù)警研究 信用風(fēng)險分析方法的發(fā)展 網(wǎng)上交易信用風(fēng)險評價研究：基于網(wǎng)上拍賣的賣方視角 銀行間市場交易系統(tǒng)的信用風(fēng)險模塊設(shè)計研究 網(wǎng)絡(luò)銀行個人客戶信用風(fēng)險評價研究 網(wǎng)絡(luò)借貸信用風(fēng)險管理體系研究綜述 信用風(fēng)險研究分析 基于BP神經(jīng)網(wǎng)絡(luò)的農(nóng)戶小額信貸信用風(fēng)險評估研究 基于模糊神經(jīng)網(wǎng)絡(luò)的企業(yè)信用風(fēng)險評估模型研究 基于BP神經(jīng)網(wǎng)絡(luò)的商業(yè)銀行信用風(fēng)險評估模型研究 網(wǎng)絡(luò)借貸平臺信用風(fēng)險的測度和控制研究 基于P2P網(wǎng)絡(luò)借貸的信用風(fēng)險管控研究 商業(yè)銀行信用風(fēng)險評價方法研究 基于信用風(fēng)險與ABC分類方法分析的應(yīng)收賬款研究 基于 Fisher判別方法的信用風(fēng)險評估實證研究 信用風(fēng)險評估中的財務(wù)分析方法 信用風(fēng)險的變革 常見問題解答 當(dāng)前所在位置：.

[2]倪翠云.我國網(wǎng)絡(luò)購物的信用風(fēng)險研究[J].中國集體經(jīng)濟(jì)，2011（6）：61-62.

[3]于鳴燕.人工神經(jīng)網(wǎng)絡(luò)在金融領(lǐng)域信用風(fēng)險評估中的應(yīng)用[D].南京理工大學(xué)，碩士論文，2007-06.

[4]馮煒.消費者網(wǎng)絡(luò)購物信任影響因素的實證研究[D].浙江大學(xué)，博士論文，2010-06.

[5]洪瓊.C2C交易模式下誠信問題的研究[D].安徽理工大學(xué)，碩士論文，2009-06.

[6]周艷美，李偉華.改進(jìn)模糊層次分析法及其對任務(wù)方案的評價[J].計算機(jī)工程與應(yīng)用，2008（5）：212-214.

[7]劉巧玲，張金城.在線拍賣信用行為的博弈分析[J].商業(yè)研究，2007（8）：211-214.

篇9

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；預(yù)測；剩余油氣；模式識別；訓(xùn)練

中圖分類號：TP18 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2015）09-0200-02

Abstract： The paper is aimed at the problem of traditional exploration methods can not predict the remaining oil and gas accurately， the methods of fuzzy theory and self-organizing map are approached. It takes the advantage of Fuzzy neural network system converging faster and higher prediction accuracy， as well as the unsupervised competitive learning mechanism of self-organizing map， it achieves the goal of predicting the remaining oil and gas. The method of neural network improve the precision of remaining oil and gas， it obtains better effect of prediction.

Key words： neural network； predict； remaining oil and gas； pattern recognition； train

石油是國家經(jīng)濟(jì)發(fā)展的命脈，油氣勘探開發(fā)則是石油工業(yè)的基礎(chǔ)，在國民經(jīng)濟(jì)的地位舉足輕重。隨著地震勘探理論方法日趨成熟，我國各大油氣田勘探程度相繼提高，油氣田已經(jīng)被大幅度開采。然而我國的石油平均采收率并不高，約為30%多一點，還有近70%的油氣并未采收，傳統(tǒng)的油氣勘探方法已經(jīng)不能滿足增加石油的采收率。當(dāng)前我國各大油田的地質(zhì)勘探工作已經(jīng)進(jìn)入中后期，迫切需要一些新的方法研究方法和技術(shù)，對油氣田剩余油氣的分布和變化趨勢做出預(yù)測，以便在尋找新的勘探開發(fā)領(lǐng)域，同時也能繼續(xù)對老油氣田進(jìn)行挖掘，從而提高油氣產(chǎn)量。

近些年來，隨著神經(jīng)網(wǎng)絡(luò)技術(shù)[1]的日趨成熟，基于模式識別的各類方法技術(shù)，如統(tǒng)計模式識別、神經(jīng)網(wǎng)絡(luò)、模糊判別等技術(shù)和理論在剩余油氣預(yù)測方面都得到了較多的應(yīng)用，也取得了較好的結(jié)果。其中模糊理論具有很強的表達(dá)能力并且容易被人理解，神經(jīng)網(wǎng)絡(luò)的自適應(yīng)學(xué)習(xí)能力很強。由于模糊理論和人工神經(jīng)網(wǎng)絡(luò)各自的優(yōu)點，常常被單獨或者是組合起來運用到實踐中，本文主要介紹神經(jīng)網(wǎng)絡(luò)的方法運用于預(yù)測剩余油氣的工作中。

1 模糊理論

1.1 發(fā)展歷程

1965年美國加州大學(xué)伯里克分校的扎德教授首先創(chuàng)立了模糊集合的數(shù)學(xué)理論，隨后P.N.Marions也開始從事相關(guān)研究，于1966年發(fā)表了一份關(guān)于模糊邏輯的研究報告。1974年扎德教授作了模糊推理的研究報告，同年英國的E.H.Mamdanl運用模糊邏輯和模糊推理首次實現(xiàn)了蒸汽機(jī)的實驗性控制，從此模糊理論的雛形形成了，隨后模糊理論[2]掀起了一波熱潮。

1.2 在剩余油氣預(yù)測中的應(yīng)用

在預(yù)測剩余油氣[3]的實踐中，首先對地震資料做初步的特征提取，然后將提取的樣本用模糊理論的聚類方法進(jìn)行訓(xùn)練，對訓(xùn)練樣本進(jìn)行幾類。每類都有各自對應(yīng)的神經(jīng)網(wǎng)絡(luò)，用專屬于每類的樣本依次訓(xùn)練各自對應(yīng)的神經(jīng)網(wǎng)絡(luò)。具體步驟如下：

1）流體屬性的提取

流體屬性數(shù)據(jù)是三維數(shù)據(jù)，屬性的提取方法依賴于具體的物理問題與數(shù)據(jù)網(wǎng)格的劃分。三維數(shù)據(jù)場屬性邊界的提取所采用的方法是求出網(wǎng)格點的梯度，特征區(qū)域一般是梯度模值較大的區(qū)域。對于均勻的三維網(wǎng)格，估計其梯度的方法可采用三維差分。為得到網(wǎng)格點上的梯度值，簡單的方法是利用前、后、左、右、上、下六個鄰近點的場值進(jìn)行簡單的差分估計。在計算流體力學(xué)問題中，采用的網(wǎng)格大都是結(jié)構(gòu)化網(wǎng)格，為計算網(wǎng)格點上的梯度，需將網(wǎng)格變換為均勻規(guī)則正交網(wǎng)格。設(shè)三維網(wǎng)格交換為[x=T1（ξ，η，?）]，[y=T2（ξ，η，?）]，[z=T3（ξ，η，?）]，在點（m，n，p），其場值梯度在兩種網(wǎng)格上的關(guān)系式為：

[?f?ξ?f?η?f??=?f?x?f?y?f?z?x?ξ?x?η?x???y?ξ?y?η?y???z?ξ?z?η?z??]

2）模糊系統(tǒng)處理流體屬性

確定輸入輸出的學(xué)習(xí)樣本[（αK，βK，γk）]，k為樣本個數(shù)。利用模糊聚類的方法將輸入樣本分成N類，N類樣本對應(yīng)N條神經(jīng)網(wǎng)絡(luò)。利用各自的樣本訓(xùn)練各自的神經(jīng)網(wǎng)絡(luò)，選擇合適的學(xué)習(xí)樣本，系統(tǒng)經(jīng)過多次樣本訓(xùn)練和樣本學(xué)習(xí)之后，優(yōu)化出一部分識別精度高的樣本，優(yōu)選的樣本到達(dá)能辨別精度后，將該樣本輸出，這樣就可以被識別了。

2 自組織神經(jīng)網(wǎng)絡(luò)

2.1 結(jié)構(gòu)與工作過程

自組織神經(jīng)網(wǎng)絡(luò)是上世紀(jì)80年代芬蘭Helsink大學(xué)的Kohonen在Willshaw與Von der Malsberg在的工作上，結(jié)合對自然界中的生物神經(jīng)系統(tǒng)的理解，創(chuàng)建Kohonen模型，又稱Kohonen網(wǎng)絡(luò)。自組織神經(jīng)網(wǎng)絡(luò)[4]的特征映射是基于生物的大腦神經(jīng)系統(tǒng)，模擬它的自組織特征映射機(jī)制，在樣本訓(xùn)練中有很強大學(xué)習(xí)能力，在組織學(xué)習(xí)中不需要監(jiān)控，是一種無監(jiān)督競爭式學(xué)習(xí)的前饋網(wǎng)絡(luò)。自組織神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)，從而提取某組數(shù)據(jù)中的某種重要特征或內(nèi)在規(guī)律，按離散時間的方式進(jìn)行分類。網(wǎng)絡(luò)可以把任意高維的輸入作為輸入神經(jīng)元，映射到低維空間得到輸出神經(jīng)元，并且使得輸入神經(jīng)元內(nèi)部的某些相似性質(zhì)表現(xiàn)為幾何上鄰近的特征映射，這就是人們常說的降維處理。這樣輸出神經(jīng)元會聚集成一個輸出層，輸出層就可以繪制成一維或二維離散幾何圖形，并且其拓?fù)浣Y(jié)構(gòu)保持不變。此分類反映了樣本集之間的本質(zhì)區(qū)別，大幅度降低了一致性準(zhǔn)則中的人為因素。

如圖1所示，SOM網(wǎng)絡(luò)是一種比較簡單的雙層網(wǎng)絡(luò)， 由若干輸入神經(jīng)元和輸出神經(jīng)元組成。輸入層與輸出層各神經(jīng)元之間實現(xiàn)了全部互相直接或間接的連接方式，每個輸出神經(jīng)元可通過可變連接權(quán)與所有輸入神經(jīng)元相連， 且輸出神經(jīng)元間存在局部相互連接。每個連接都具有對應(yīng)的連接權(quán)值，用于表示該連接的強度。各個神經(jīng)元的連接權(quán)值均具有一定的分布，每個輸入神經(jīng)元與輸出神經(jīng)元之間的聯(lián)系通過連接權(quán)來傳達(dá)。輸出層的神經(jīng)元之間實行側(cè)向連接，相鄰的神經(jīng)元相互激勵，距離較遠(yuǎn)的神經(jīng)元則相互抑制，然而超過了一定的距離的神經(jīng)元又具有較弱的激勵作用，最后剩下的一個神經(jīng)元或一組神經(jīng)元，則反映該類樣本的屬性。

2.2 預(yù)測剩余油氣的步驟

1）根據(jù)勘探數(shù)據(jù)體提取流體屬性[5]，并對其進(jìn)行預(yù)處理。

2）優(yōu)選出所要了解的流體屬性，對其進(jìn)行降維壓縮，將壓縮集作為模式識別的輸入，以統(tǒng)計的油氣儲層參數(shù)作為輸出來訓(xùn)練組組織神經(jīng)網(wǎng)絡(luò)。

3）利用模式識別[6]參數(shù)和降維壓縮集對儲層的油氣進(jìn)行預(yù)測，從而得到如今的剩余油氣的分布。

3 結(jié)束語

本文針對傳統(tǒng)油氣勘探的方法難以滿足預(yù)測油氣田剩余油的難題，著重介紹了模糊理論和自組織神經(jīng)網(wǎng)絡(luò)的方法，這兩種神經(jīng)網(wǎng)絡(luò)的方法各有優(yōu)勢。其中模糊神經(jīng)網(wǎng)絡(luò)的系統(tǒng)訓(xùn)練和學(xué)習(xí)速度快，收斂較快，預(yù)測的精度高。自組織神經(jīng)網(wǎng)絡(luò)的競爭模式起到了快速優(yōu)選的作用，神經(jīng)元之間的協(xié)作模式在某種意義上則縮短了整個流程的工作時間?？偠灾?，神經(jīng)網(wǎng)絡(luò)的技術(shù)與方法在預(yù)測油氣田的剩余油氣的實踐中取得了不錯的成果。

參考文獻(xiàn)：

[1] 汪鐳，周國興，吳啟迪.人工神經(jīng)網(wǎng)絡(luò)理論在控制領(lǐng)域中的應(yīng)用綜述[J].同濟(jì)大學(xué)學(xué)報：自然科學(xué)版，2001，03：357-361.

[2] 王曉軍，楊海峰，邱志平，等.基于測量數(shù)據(jù)的不確定性結(jié)構(gòu)分析的模糊理論[J].北京航空航天大學(xué)學(xué)報，2010，08：887-891.

[3] 熊艷，包吉山，肖慈.模糊神經(jīng)網(wǎng)絡(luò)預(yù)測儲層及油氣[J].石油地球物理勘探，2000，02：222-227.

[4] 易榮慶，李文輝，王鐸.基于自組織神經(jīng)網(wǎng)絡(luò)的特征識別[J].吉林大學(xué)學(xué)報：工學(xué)版，2009，01：148-153.

篇10

關(guān)鍵詞：油；水分；爆裂法；小波變換；神經(jīng)網(wǎng)絡(luò)

中圖分類號：TE622.1 文獻(xiàn)標(biāo)識碼：A

0 前言

在機(jī)械設(shè)備的油管理中，水分含量是一個非常重要的指標(biāo)，且機(jī)械設(shè)備在運行時，由于水封的失效或損壞,熱交換器的腐蝕或損壞,潮濕空氣的原因，水侵入油系統(tǒng)是不可避免的［1］。油含水超標(biāo)將會導(dǎo)致油膜失效、油系統(tǒng)部件的腐蝕和銹蝕、油乳化、添加劑失效等嚴(yán)重后果［2］。目前，常見的油水分測量方法有卡爾―費休法、蒸餾法、重量法、介電常數(shù)法、微波衰減法、華特斯摩試紙法和爆裂法等，其中卡爾―費休法、蒸餾法和重量法屬于實驗室分析方法，介電常數(shù)法和微波衰減法可用于現(xiàn)場測量，但影響因素較多，不能有效地進(jìn)行油水分含量的判斷，而華特斯摩試紙法和爆裂法屬于定性的判斷方法。本文以爆裂法為基礎(chǔ)，對其進(jìn)行半定量研究，著重研究了如何判斷油中的水分含量是否超標(biāo)的方法。

BP神經(jīng)網(wǎng)絡(luò)是自20世紀(jì)80年展起來的一種新的模式識別方法，它以其良好的非線性映射特性和自適應(yīng)、自學(xué)習(xí)能力在模式識別、函數(shù)逼近和分類、數(shù)據(jù)壓縮等領(lǐng)域得以應(yīng)用，并取得了一定的研究成果。文中基于油水分定性實驗的爆裂聲信號，構(gòu)造了相應(yīng)的BP網(wǎng)絡(luò)目標(biāo)識別模型，仿真實驗結(jié)果表明，該方法對于半定量的確定油中水分含量是可行的，為現(xiàn)場測量油中水分含量提供了新的思路和方法，具有一定的理論價值和實際意義。

1 基本原理

1.1 油水分定性實驗法

將盛有試樣的試管垂直地插入熱油浴中，仔細(xì)觀察試管及試樣若干分鐘，直至試樣溫度達(dá)到150 ℃為止。如試樣中有水分時，即發(fā)生泡沫，可以聽到噼啪的爆裂響聲，甚至試管會發(fā)生震動或顫動，高出浴面的油層會變成渾濁［3］。

1.2 小波變換及能量分布特征提取

若ψ(t)∈L2(R)且滿足容許性條件

1.3 BP神經(jīng)網(wǎng)絡(luò)模型及算法

BP神經(jīng)網(wǎng)絡(luò)(Back propagation Neural Network，簡稱BP網(wǎng)絡(luò))也稱誤差反向傳播神經(jīng)網(wǎng)絡(luò)，它是由[HJ]非線性變換單元組成的前饋網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)中應(yīng)用最廣的一種神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖1所示。這種網(wǎng)絡(luò)的特點是：①一般由輸入層、輸出層和隱層3部分組成，隱層可以為一層或多層。根據(jù)Kolmogorov定理，1個3層的BP網(wǎng)絡(luò)足以完成任意的n維到m維的映射，即一般只需1個隱層就夠了；②輸入信號從輸入層節(jié)點，依次傳過各隱層節(jié)點，最后傳到輸出層節(jié)點，每一層節(jié)點的輸出僅影響下一層節(jié)點的輸出。在確定了BP網(wǎng)絡(luò)的結(jié)構(gòu)后，利用輸入輸出樣本集對其進(jìn)行訓(xùn)練，也即對網(wǎng)絡(luò)的權(quán)值和偏差進(jìn)行學(xué)習(xí)和調(diào)整，以使網(wǎng)絡(luò)實現(xiàn)對給定輸入輸出關(guān)系的映射，并使其具有泛化（Generalization )功能。對于樣本集合:輸入xi(Rm)和輸出yi(Rn)，可以認(rèn)為存在某一映射g，使g(xi)=yi,i=1, 2,…，P?，F(xiàn)要求出一映射f,使得在某種意義下(通常是最小二乘意義下)，f是g的最佳逼近［5］。

BP算法包括信息的正向傳播和誤差的反向傳播，不斷修正權(quán)值和誤差，使網(wǎng)絡(luò)輸出層實際輸出與期望輸出的誤差平方和達(dá)到最小。由于這種算法采用非線性規(guī)劃中的最速下降法，按誤差函數(shù)的負(fù)梯度方向修改權(quán)系數(shù)，因此存在學(xué)習(xí)效率低，收斂速度慢；易陷于局部極小狀態(tài)；網(wǎng)絡(luò)的泛化及適應(yīng)能力較差等缺點。為了解決這些問題，出現(xiàn)了很多BP改進(jìn)算法，文中采用附加動量項的方法。

2 油水分測量研究

2.1 爆裂實驗

2.1.1 儀器和材料

儀器：聲傳感器，PULSE系統(tǒng)，PC機(jī)，電爐和50 mL燒杯。

材料：CD 40油。

2.1.2 實驗內(nèi)容

該實驗采用丹麥PULSE系統(tǒng)和Microphone 4189A21型傳感器采集含水油爆裂實驗中的聲信號。在實驗過程中，每次取5 mL試樣置于燒杯中，用電爐加熱。PULSE系統(tǒng)分析帶寬設(shè)為0～25.6 kHz，頻譜線數(shù)設(shè)為1600。根據(jù)GB/T 7607-1995柴油機(jī)油換油指標(biāo)，當(dāng)油中水分含量大于0.2%時需要對油進(jìn)行更換。因此，在實驗中，分別選取4組濃度小于0.2%的含水油（濃度分別為0.068%、0.093%、0.13%和0.17%）和3組濃度大于0.2%的含水油（濃度分別為0.25%、0.30%和0.50%）作為實驗對象。

2.2 油水分測量研究

含微量水分的油是典型的油包水型分子基團(tuán),油是連續(xù)相,水是分散相，由于油的沸點比水高,受熱后水總是先達(dá)到沸點而蒸發(fā)或沸騰。當(dāng)油滴中的壓力超過油的表面張力及環(huán)境壓力之和時,水蒸氣將沖破油膜的阻力使油滴發(fā)生爆炸,發(fā)出爆裂聲，同時形成更細(xì)小的油滴,這就是微爆效應(yīng)［6］。另外，微爆發(fā)生的強弱與油的品種及含水量有關(guān)［7］。因此，文中利用二進(jìn)小波變換來提取尺度空間上的能量分布作為BP神經(jīng)網(wǎng)絡(luò)的輸入特征向量。基于小波變換和BP神經(jīng)網(wǎng)絡(luò)的油水分測量研究過程如圖2。

2.2.1 能量分布特征提取

首先，對每個濃度的試樣采集10組數(shù)據(jù)，共70組數(shù)據(jù)，選40組作為訓(xùn)練樣本，其中濃度0.068%、0.093%、0.13%和0.17%的各5組，濃度0.25%和0.30%的各7組，濃度0.50%的6組，其余30組作為測試樣本，其中0.068%、0.093%、0.13%和0.17%的各5組，濃度0.25%和0.30%的各3組，濃度0.50%的4組。對這70組數(shù)據(jù)進(jìn)行6層小波分解，采用db4小波，計算各個高頻分量的能量，這樣每個能量特征向量的維數(shù)就是6，總共有40組訓(xùn)練樣本和30組測試樣本。圖3～圖5分別為濃度為0.069%的含水油（合格）加熱時發(fā)生微爆效應(yīng)所采集到的原始信號以及6層小波分解后得到的近似信號和細(xì)節(jié)信號。

2.2.2 BP神經(jīng)網(wǎng)絡(luò)分類器的實現(xiàn)

根據(jù)Kolmogorov定理，采用一個N×2N+1×M的3層BP網(wǎng)絡(luò)作為狀態(tài)分類器。其中，N表示輸入特征向量的分量數(shù)，M表示輸出狀態(tài)類別總數(shù)。由此可得，該BP網(wǎng)絡(luò)結(jié)構(gòu)為：輸入層有6個神經(jīng)元，中間層有13個神經(jīng)元，輸出層有2個神經(jīng)元，用（0,0）表示合格，（1,0）表示不合格，中間層神經(jīng)元的傳遞函數(shù)為S型正切函數(shù)，輸出層神經(jīng)元的傳遞函數(shù)為S型對數(shù)函數(shù)。然后，利用訓(xùn)練樣本對該BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，經(jīng)過2432次訓(xùn)練后，網(wǎng)絡(luò)的均方誤差落在所設(shè)定的0.00001以內(nèi)。訓(xùn)練曲線如圖6。

最后，利用訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)，把30個測試樣本輸入到神經(jīng)網(wǎng)絡(luò)，根據(jù)BP神經(jīng)網(wǎng)絡(luò)的實際輸出對油含水量是否合格進(jìn)行判斷，結(jié)果如表1。

觀察BP神經(jīng)網(wǎng)絡(luò)輸出結(jié)果可以發(fā)現(xiàn)，根據(jù)BP神經(jīng)網(wǎng)絡(luò)輸出結(jié)果判斷的油含水量與實際結(jié)果完全一致，表明該BP神經(jīng)網(wǎng)絡(luò)分類器可以準(zhǔn)確的判斷油中含水量是否合格。

3 結(jié)論

文中基于小波變換和BP神經(jīng)網(wǎng)絡(luò)理論，構(gòu)造了一個BP神經(jīng)網(wǎng)絡(luò)分類器，并成功地應(yīng)用于油中水分含量的判斷。實驗結(jié)果表明：該方法能有效地進(jìn)行油含水量合格與否的判斷，從而為研究油水分含量的測量提供了新的思路和方法。

另外，文中在實驗時只選取了7種濃度的溶液，且溶液的濃度差別相對較大。因此，溶液的濃度相差較小時是否可以用該方法進(jìn)行有效的判斷以及是否可以對分類結(jié)果進(jìn)行更具體的分類將是下一步研究的重點。

參考文獻(xiàn)：

［1］ 李廷朝，程素萍.油聚結(jié)脫水技術(shù)［J］.液壓與氣動，2003（1）：41-42.

［2］ 郭洪波,張志強,于達(dá)仁，等.透平油微水含量在線檢測方法研究綜述［J］.汽輪機(jī)技術(shù)，2001，43（2）：65-67.

［3］ SH/T 0257-92 油水分定性實驗法［S］.

［4］ 鄭海波，陳心昭，李志遠(yuǎn)，等.小波神經(jīng)網(wǎng)絡(luò)故障診斷系統(tǒng)的設(shè)計與應(yīng)用［J］.農(nóng)業(yè)機(jī)械學(xué)報，2002，33（1）：73-76.

［5］ 焦李成.神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論［M］.西安:西安電子科技大學(xué)出版社，1996.

［6］ Wang C H,Law C K. Micro-Explosion of Fuel Droplets UnderHigh Pressure［J］. Combust Flame,1985(59)：53-62.