導(dǎo)語：如何才能寫好一篇神經(jīng)網(wǎng)絡(luò)提取特征，這就需要搜集整理更多的資料和文獻(xiàn)，歡迎閱讀由公務(wù)員之家整理的十篇范文，供你借鑒。

篇1

關(guān)鍵詞：膠合板； 聲發(fā)射； 小波包變換； 神經(jīng)網(wǎng)絡(luò)

中圖分類號：TN911.7-34; TB52+9文獻(xiàn)標(biāo)識碼：A文章編號：1004-373X(2011)21-0096-04

Wavelet Feature Extraction and Neural Network Pattern

Recognition of Plywood Acoustic Emission Signals

XU Feng， ZHAO Ming-zhong, LIU Yun-fei

(College of Information Science and Technology, Nanjing Forestry University, Nanjing 210037, China)

Abstract：

To identify the different damage types of plywood, a feature extraction method of plywood acoustic emission signal based on time-frequency and proportion of energy is proposed by combining wavelet-packet time-frequency analysis with energy spectrum. The research indicates that dilatational wave and flexural wave are main modes of plywood matrix cracks signal with wide frequency spectrum, and the energy of signal is mainly concentrated in the first, second, third, fourth and seventh-band of the wavelet power spectrum. Delamination and fiber fracture signals of five-story plywood are mainly dominated by dilatational wave and flexural wave mode respectively, the former frequency is unitary and amplitude is higher, the latter energy mostly focus on the first, second band. Degumming signal waveform are composed of dilatational wave and flexural wave， and the flexural wave is dominant, whose signal energy focus on the first, second, third and fourth band of the wavelet power spectrum. An intelligent pattern classifier with BP neural network was used in recognition of those four kinds of AE signals, the recognition accuracy of flaws amounted to 92.6%.

Keywords： plywood； acoustic emission； wavelet package transform； neural network

0 引 言

聲發(fā)射(Acoustic Emission,AE)是材料受外力或內(nèi)力作用產(chǎn)生變形或斷裂時，以彈性波的形式釋放出應(yīng)變能的現(xiàn)象［1］。目前聲發(fā)射技術(shù)作為一種成熟的無損檢測方法，已被廣泛應(yīng)用于石油化工工業(yè)、電力工業(yè)、材料試驗等多個領(lǐng)域，但對膠合板的損傷監(jiān)測，AE技術(shù)鮮有報道。

膠合板(也稱夾板)是按相鄰層木紋方向互相垂直的單板，經(jīng)組坯膠合而成的板材，在我國已廣泛應(yīng)用于家具工業(yè)和建筑工業(yè)。膠合板的損傷模式主要包括基體開裂、纖維斷裂、脫膠、分層等，每一種損傷都對應(yīng)特定的聲發(fā)射信號。然而，不同的損傷模式通常以組合形式出現(xiàn)，類別特征相互重疊［2］，同時由于傳播介質(zhì)的各向異性和多源性噪聲的污染，加大了AE信號鑒別的難度。因此，提取各聲源信號特征與識別其損傷模式是聲發(fā)射應(yīng)用的首要任務(wù)和核心技術(shù)。

由于小波分析同時具有時域和頻域表征信號局部特征的能力，所以特別適合分析瞬態(tài)特性的聲發(fā)射信號。文獻(xiàn)［3］用小波變換的方法分析了薄板中的彈性波，指出在波的傳播過程中，多模式和頻散的特性、模式的分離有助于準(zhǔn)確提取信號中的信息。文獻(xiàn)［4］用Daubechies離散小波進(jìn)行了多尺度分解，利用頻率能量分析玻璃纖維增強(qiáng)復(fù)合材料的不同損傷模式。通過區(qū)分能量的大小和不同能量所處的頻率范圍揭示了材料的破損模式。同時，近年來的研究發(fā)現(xiàn)，人工神經(jīng)網(wǎng)絡(luò)可對數(shù)據(jù)量多、特征復(fù)雜的信號提供準(zhǔn)確度較高的自動分類能力。因此，本文結(jié)合小波分析和人工神經(jīng)網(wǎng)絡(luò)技術(shù)對膠合板不同損失聲發(fā)射信號進(jìn)行特征提取和模式識別。

1 小波包能量特征提取算法

1.1 小波包定義［5］

給定正交尺度函數(shù)Е(t)和小波函數(shù)(t)，其中：

1.2 基于小波包分解的能量特征提取算法

小波包分解是在多分辨率基礎(chǔ)上構(gòu)成的一種更精細(xì)的正交分解方法。它根據(jù)被分析信號本身的特點，自適應(yīng)地選擇頻帶，確定信號在不同頻段的分辨率。分解得到的各個頻段分量既包含了信號的局部特征，也包含了不同的時間尺度信息，從而精確地給出信號能量隨頻率和時間的聯(lián)合分布情況，即各頻帶能量的變化表征了各種信源的特征。因此，本文提取各尺度下各頻段分量的能量占比作為各信號特征向量來識別聲源類型?；谛〔ò纸獾哪芰刻卣魈崛〔襟E如下：

(1) 對原始信號進(jìn)行k層小波包分解，分別選擇第k層從低頻到高頻包含主要信息的前n(n≤2k)個頻段分量的信號特征；

(2) 對小波包分解系數(shù)重構(gòu)(重構(gòu)信號設(shè)為Ski)，提取各頻段范圍的信號；

(3) 求各頻帶信號的總能量Eki：

И

И

2 人工神經(jīng)網(wǎng)絡(luò)模式識別方法

2.1 神經(jīng)網(wǎng)絡(luò)的選擇

人工神經(jīng)網(wǎng)絡(luò)是一個高度非線性的自適應(yīng)并行分布處理信息系統(tǒng)，其信息處理由神經(jīng)元之間的相互作用來實現(xiàn)。信息的存貯表現(xiàn)為神經(jīng)元之間的物理聯(lián)系。網(wǎng)絡(luò)的學(xué)習(xí)取決于神經(jīng)元連接權(quán)系的動態(tài)演化過程。神經(jīng)網(wǎng)絡(luò)的類型多種多樣，但與模式識別的結(jié)合最成功的是多層前饋網(wǎng)絡(luò)，也就是通常簡稱的BP(Back-propagation Network)網(wǎng)絡(luò)［6］，本文即選其進(jìn)行模式識別。

2.2 BP網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計

由BP定理可知, 一個帶S型激活函數(shù)的三層BP網(wǎng)絡(luò)，只要隱節(jié)點數(shù)足夠多，能以任意精度逼近有界區(qū)域上的任意連續(xù)函數(shù)，即一個三層的BP網(wǎng)絡(luò)就能完成任意的n維到m維的映射。BP神經(jīng)網(wǎng)絡(luò)最重要的是隱含層的確定。雖然隱層神經(jīng)元數(shù)目的選擇不存在一個理想的解析式，但隱單元數(shù)目與問題的要求、輸入/輸出單元的數(shù)目都有著直接關(guān)系。綜合現(xiàn)有文獻(xiàn)，隱含層元個數(shù)的計算公式為:

И

n1=n+m+a

(7)

И

式中:n1為隱單元數(shù)；m為輸出神經(jīng)元數(shù)；n為輸入單元數(shù)；a是［0，10］之間的常數(shù)。

輸入層節(jié)點數(shù)一般由一組特征值樣本的數(shù)據(jù)量決定。在分類網(wǎng)絡(luò)中輸出層節(jié)點數(shù)可取類別數(shù)x或┆log x。П疚囊含層采用雙曲正切S型激活函數(shù)，輸出層采用對數(shù)S型激活函數(shù)。

2.3 訓(xùn)練函數(shù)的選擇

采用不同的訓(xùn)練函數(shù)對網(wǎng)絡(luò)的性能可能會有影響，比如收斂速度等。本文應(yīng)用各種典型訓(xùn)練函數(shù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，觀察各種訓(xùn)練算法的收斂速度和誤差，最后確定Levenberg-Marquardt算法為本識別的最優(yōu)訓(xùn)練函數(shù)。

3 實驗和分析

3.1 實驗方法［7］

試驗對普通膠合板的膠合強(qiáng)度進(jìn)行測試研究。樣品選用德華裝飾有限公司的“兔寶寶”牌5層膠合板，其內(nèi)部為雜木夾芯，外覆桃花芯面板，由環(huán)保脲醛膠粘合而成。試樣(如圖1所示)按GB9846.9定義的普通膠合板力學(xué)性能測試試件方法鋸制，尺寸為250 mm×25 mm×5 mm。試驗測試溫度為25 ℃，樣品為氣干狀態(tài)。加載系統(tǒng)為深圳新三思有限公司SANS-CMT6104臺式萬能試驗機(jī)；采集系統(tǒng)選用美國PAC公司PCI-2聲發(fā)射采集系統(tǒng)，用兩個寬帶傳感器S9208組成線定位陣列方式，同時采集各個波擊的波形。

試驗中為保證傳感器與材料表面良好耦合，選用真空脂作為耦合劑，傳感器采用透明膠帶固定在試樣的表面。試樣兩端夾緊于試驗機(jī)的一對活動夾具中，使其成一直線，試樣中心通過活動夾具的軸線，拉伸沿試樣長度方向進(jìn)行，等速加荷，速度為3 mm/min，最大破壞荷重的讀數(shù)精確到5 N，拉伸過程在準(zhǔn)靜態(tài)條件下進(jìn)行，直到試樣斷裂為止。拉伸模型如圖2所示。

圖1 五層膠合板拉伸試樣圖(單位：mm)

3.2 膠合板加載聲發(fā)射信號特征分析

對于厚度方向尺寸遠(yuǎn)小于其他兩個方向的板而言，相應(yīng)于一定的激勵條件，在其中主要形成的是板波(Lamb波)。由文獻(xiàn)［8-9］可知，受激勵后，板中存在多種模式的板波，但當(dāng)板厚遠(yuǎn)小于波長時，主要以兩種模式的波為主，即最低階的對稱波S0和最低階的反對稱波A0。前者即是膨脹波，其傳播速度是一個定值，沒有頻散效應(yīng)；后者亦稱彎曲波，它的傳播速度與角頻率的平方根成正比，有頻散效應(yīng)。一般情況下，板中的波是這兩種波的組合，這兩種波位移的相對幅度同激勵方式有關(guān)。研究發(fā)現(xiàn)［8］，當(dāng)激勵力源作用方向與板平面垂直時，在板中主要產(chǎn)生的是彎曲波。相反，當(dāng)力源作用方向沿板方向時，產(chǎn)生的主要是膨脹波。一般而言，膨脹波的高頻成分要比彎曲波豐富。膠合板受載形變作為強(qiáng)聲發(fā)射源，其聲源有基體開裂、纖維斷裂、脫膠、分層等。理想上，纖維斷裂總在平面內(nèi)完成，其類似于一個沿板平面方向的力源，因此，激發(fā)的聲發(fā)射信號應(yīng)以膨脹波為主，無頻散效應(yīng)；而分層損傷則明顯沿板厚方向發(fā)生，類似于一個沿板平面垂直方向的力源，因此，所激發(fā)的聲信號波形當(dāng)以彎曲波為主，存在頻散效應(yīng)；基體開裂、脫膠產(chǎn)生的聲發(fā)射信號，其特征介于兩者之間，┮話閿ν時表現(xiàn)為膨脹波和彎曲波兩種組合形式。

3.3 實驗結(jié)果分析

本文選用db3小波［10-12］對采集的聲發(fā)射信號做5層小波包分解，并進(jìn)行第五層系數(shù)重構(gòu)，計算各葉子能量占比，繪制時頻、小波包譜和頻譜圖，比較各典型信號的特征差異。由實驗結(jié)果得知，聲發(fā)射源主要集中在主損傷區(qū)或斷裂部位。考慮到聲源的位置、材料物理特性及波的傳播對類別特征的復(fù)雜影響［2］，將所有樣本取自主損傷區(qū)寬20 mm范圍內(nèi)的事件。對比四種典型的聲發(fā)射源波形、頻譜和小波包譜圖，篩選出四類樣本數(shù)據(jù)集，并應(yīng)用小波閾值法消噪，得到各類別信號的典型波形如圖3～圖6所示。觀察圖3～圖6中信號的傅立葉頻譜發(fā)現(xiàn)，膠合板破壞損傷多以低于300 kHz以下的頻率信號為主，且難以區(qū)分其特征差別。為獲取各損傷信號的特征，必須結(jié)合小波包時頻和小波包譜圖分析。

圖2 五層膠合板拉伸模型示意圖

基體開裂如圖3所示，波形以低幅度較寬脈沖為主，頻段較寬，膨脹波和彎曲波模式并舉。FFT主峰頻率位于40～180 kHz，小波時頻圖特征峰約集中在100 kHz以下和200 kHz處，發(fā)生的時間約在0.5～1.2 ms之間。小波包譜峰位于第一至第四和第七頻段內(nèi)，其中第一、第二頻段的能量接近，總和約占總能量的60％，剩余40％幾乎集中于第三、四、七段。

圖3 膠合板基體開裂原始信號(去噪)

及其頻譜、時頻、小波包能量譜圖

圖4為五層膠合板纖維斷裂圖，由圖中得出的信號主要以高幅度較寬脈沖形式出現(xiàn)，頻率較低且單一，無頻散現(xiàn)象。纖維斷裂的FFT峰值主要集中在22～40 kHz，時頻圖特征峰位于40 kHz處，持續(xù)時間約為1 ms，小波譜峰值主要位于第二頻段，能量占到總能量的70％以上，第一、四頻段能量約占20％。結(jié)合樣品斷口紋理分析，斷裂主要沿垂直于纖維方向擴(kuò)展，呈剪切斷裂方式，波形以膨脹波為主導(dǎo)，基本與第3.2節(jié)的信號分析一致。

五層膠合板脫膠信號如圖5所示，信號以中低幅窄脈沖為主，波形為彎曲波模式和膨脹波模式的混合型，且彎曲波模式占主導(dǎo)。受膨脹波成分的影響，在200 kHz頻率處也出現(xiàn)峰值，能量在大于100 kHz頻域上有所分布，但主要集中在小于50 kHz的頻域。從失效樣品查看，明顯存在分層和互相滑移現(xiàn)象，與上述分析基本一致。

圖4 膠合板纖維斷裂原始信號(去噪)

及其頻譜、時頻、小波包能量譜圖

圖5 膠合板脫膠原始信號(去噪)

及其頻譜、時頻、小波包能量譜圖

觀察圖6發(fā)現(xiàn)，五層膠合板分層信號中傅里葉頻譜的峰值主要位于11～55 kHz，小波時頻圖的特征峰主要集中在40 kHz處，持續(xù)時間約為1.2 ms，小波包譜能量主要集中在第一、二、三、四段，且第一、二段能量所占比重接近，總和占到了總能量的85％。信號多以中幅度寬脈沖形式為主，信號持續(xù)時間較長。分層是典型的垂直板平面方向的力源作用，信號明顯存在頻散現(xiàn)象，波形以彎曲波模式為主，能量主要集中在40 kHz以下。

圖3～圖6表明，信號的波形、頻譜和小波包譜等類別特征均有不同程度的重疊，但對5種類別的信號均顯示出一定的鑒別能力，尤其以小波包分析提取的特征更為明顯，以該特征作為樣本可為后續(xù)使用神經(jīng)網(wǎng)絡(luò)進(jìn)行識別提供依據(jù)。

3.4 模式識別

按照第1.2所述方法對聲發(fā)射信號進(jìn)行5層小波包分解，將整個頻段分成32個頻帶，考慮反應(yīng)聲源信號特征的能量主要集中在前10個頻段，因此提取前10個葉子的能量分布為聲發(fā)射信號特征，以此作為BP網(wǎng)絡(luò)的訓(xùn)練樣本。樣本包含膠合板脫膠10組、纖維斷裂10組、分層12組和基體開裂8組共計40組。網(wǎng)絡(luò)在經(jīng)過81次訓(xùn)練后達(dá)到設(shè)定的最小期望誤差0.001(見┩7)。采用網(wǎng)絡(luò)對訓(xùn)練數(shù)據(jù)進(jìn)行識別，識別正確率達(dá)到 100%。證明該網(wǎng)絡(luò)具有較強(qiáng)的學(xué)習(xí)能力，能夠按照給定的輸入/輸出正確建模。

圖6 膠合板分層原始信號(去噪)

及其頻譜、時頻、小波包能量譜圖

為檢驗網(wǎng)絡(luò)的推廣應(yīng)用性能，采用該網(wǎng)絡(luò)對118組測試樣本(脫膠30組、纖維斷裂30組、分層28組和基體開裂30組)進(jìn)行檢驗，識別正確率達(dá)到 92.6%。這表明該人工神經(jīng)網(wǎng)絡(luò)的范化能力較高，設(shè)計結(jié)構(gòu)合理，達(dá)到自動識別聲發(fā)射信號類別的目標(biāo)，具有良好的推廣價值。

4 結(jié) 論

(1) 針對聲發(fā)射這種瞬間的突變信號，小波分析確實能很好地同時表現(xiàn)出時域和頻域的局部特征;

(2) 綜合各類模式信號的波形、頻譜、小波包時頻圖和小波包能譜圖分布等特征，可確定不同損傷機(jī)制所對應(yīng)的聲發(fā)射信號特征，為神經(jīng)網(wǎng)絡(luò)模式識別提供質(zhì)量較高的模式樣本;

(3) 設(shè)計的BP人工神經(jīng)網(wǎng)絡(luò)能準(zhǔn)確度較高地識別出4種不同損傷機(jī)制造成的聲發(fā)射信號。

由于木質(zhì)膠合板的聲發(fā)射研究國內(nèi)開展的不多，對該類材料的聲發(fā)射特征的分析及識別還待進(jìn)一步研究，尤其對多層膠合板聲發(fā)射特征的定量研究還有待于大量實驗數(shù)據(jù)的積累和歸納。

參考文獻(xiàn)

［1］袁振明，馬羽寬，何澤云．聲發(fā)射技術(shù)及其應(yīng)用［M］．北京：機(jī)械工業(yè)出版社，1985.

［2］殷冬萌，王軍，劉云飛．木塑復(fù)合材料缺陷及損傷的聲發(fā)射信號特征分析及神經(jīng)網(wǎng)絡(luò)模式識別［J］．應(yīng)用聲學(xué)，2007，26(6)：352-356．

［3］JIAO Jing-pin， HE Cun-fu， WU Bin，et al．Application of wavelet transform on modal acoustic emission source location in thin plates with one sensor \[J\]. International Journal of Pressure Vessels and Piping, 2004, 81: 427-431.

［4］QI Gang. Wavelet-based AE characterization of composite materials \[J\]. NDT& E International, 2000, 3(3): 133-144.

［5］胡昌華，張軍波，夏軍，等．基于Matlab的系統(tǒng)分析與設(shè)計:小波分析［M］．西安：西安電子科技大學(xué)出版社，1999.

［6］毛漢穎，成建國，黃振峰．基于BP神經(jīng)網(wǎng)絡(luò)的金屬裂紋聲發(fā)射信號特征參數(shù)的提?。跩］．機(jī)械設(shè)計，2010，27(2)：84-86．

［7］陸仁書．膠合板制造學(xué)［M］．2版.北京：中國林業(yè)出版社，1993.

［8］耿榮生，沈功田，劉時風(fēng)．基于波形分析的聲發(fā)射信號處理技術(shù)［J］．無損檢測，2002，24(6):257-261．

［9］LOWE M J S， DILIGENT O． Low-frequency reflection characteristics of the s0 Lamb wave from a rectangular notch in a plate \[J\]. Acoustical Society of America, 2002, 111 (1): 64-74.

［10］徐長發(fā)，李國寬．實用小波方法［M］．2版.武漢：華中科技大學(xué)出版社，2004.

［11］楊曉楠，唐和生，陳榮，等．鋼結(jié)構(gòu)損傷識別中db族小波函數(shù)選擇［J］．同濟(jì)大學(xué)學(xué)報，2006，34(12):1568-1572．

［12］周小勇，葉銀忠．故障信號檢測的小波基選擇方法［J］．控制工程，2003，10(4):308-311．

篇2

基于神經(jīng)網(wǎng)路方法實現(xiàn)高考英語口語成績的采集,實現(xiàn)口語成績等級手寫體的識別,提高在英語口語成績處理的效率,實現(xiàn)口語成績的自動采集。目前該方案應(yīng)用于蘇州市高考英語口語成績采集。

關(guān)鍵詞:

成績采集；模式識別；神經(jīng)網(wǎng)絡(luò)；特征提取

對于未實行高考口語人機(jī)對話的省市,高考口語還是采用打分模式。然后人工采集,為解決這一問題,通過識別手寫評分和OCR識別結(jié)果比對確保成績采集的準(zhǔn)確。而神經(jīng)網(wǎng)絡(luò)很適合用于解決字符識別問題。

1BP神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是在人類對其大腦神經(jīng)網(wǎng)絡(luò)認(rèn)識理解的基礎(chǔ)上人工構(gòu)造的能實現(xiàn)某種功能的神經(jīng)網(wǎng)絡(luò),是一種典型的前饋神經(jīng)網(wǎng)絡(luò),包含輸入層、隱層及輸出層。BP網(wǎng)絡(luò)是典型的多層網(wǎng)絡(luò),分輸入層、隱含層和輸出層,算法由數(shù)據(jù)流的前向計算和誤差信號的反向傳播兩個過程構(gòu)成。通過這兩個過程的交替進(jìn)行,在權(quán)向量空間執(zhí)行誤差函數(shù)梯度下降策略,動態(tài)迭代搜索一組權(quán)向量,使網(wǎng)絡(luò)誤差函數(shù)達(dá)到最小值,從而完成信息提取和記憶過程[1]。

2基于神經(jīng)網(wǎng)絡(luò)的英語口語成績采集的實現(xiàn)

為實現(xiàn)更好的采集,需要設(shè)計適應(yīng)識別的評分表,其中定位點、考生條碼用于定位到考生并采集成績,等級手寫的分區(qū)需要通過神經(jīng)網(wǎng)絡(luò)識別等級,OCR等級識別區(qū)用采集等級并通過神經(jīng)網(wǎng)絡(luò)采集的等級進(jìn)行比較。

2.1采集過程

首先預(yù)處理圖像獲取樣本進(jìn)行訓(xùn)練,輸入神經(jīng)網(wǎng)絡(luò)訓(xùn)練后輸出看誤差并調(diào)整各階層的權(quán)值讓輸出同OCR值一致,正式識別兩種模式結(jié)果不一致需要人工干預(yù),有可能等級打錯也有可能等級涂錯,然后修正結(jié)果,確保等級信息準(zhǔn)確無誤。

2.2圖像預(yù)處理

原始評分表的輸入有可能產(chǎn)生污點等噪音。所以在識別之前必須對圖像進(jìn)行預(yù)處理。預(yù)處理一般包括圖像分割、灰度、二值化、平滑、去噪音、歸一化和細(xì)化等。不同識別方法對于處理要求不一樣預(yù)處理后離散和噪聲和歸一化和細(xì)化處理,將圖片形成一個40×40像素點陣(圖1得分區(qū)圖像預(yù)處理后圖像)。

2.3神經(jīng)網(wǎng)絡(luò)的特征提取

在手寫等級識別中,特征的選擇是非常關(guān)鍵問題。將經(jīng)過預(yù)處理后的等級數(shù)字圖像中提取最能體現(xiàn)這個字符特點的特征向量,然后提取出訓(xùn)練樣本中的特征向量代入BP網(wǎng)絡(luò)之中就可以對網(wǎng)絡(luò)進(jìn)行訓(xùn)練,提取出待識別的等級樣本中的特征向量代入訓(xùn)練好的BP網(wǎng)絡(luò)中,就可以對等級得分字符進(jìn)行識別。

2.3.1英語口語成績采集中BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

將A、B、C、D等級圖像的特征向量作為神經(jīng)網(wǎng)路的輸入,確定輸入神經(jīng)元。經(jīng)過預(yù)處理的為40×40的矩陣,共1600各輸入神經(jīng)元。輸出較為簡單,只要識別A、B、C、D4個等級,輸出節(jié)點數(shù)為4。為加快神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度,3層BP網(wǎng)絡(luò)最為恰當(dāng)效率高。同時根據(jù)網(wǎng)絡(luò)收斂性能的好壞來確定隱含層神經(jīng)元個數(shù)。根據(jù)經(jīng)驗公式:s=51.035.077.054.212.043.02mnmnm其中,n為輸入層神經(jīng)元個數(shù),m為輸出層神經(jīng)元個數(shù)[2]。計算可得隱含層神經(jīng)元個數(shù)為79。

2.3.2BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

手寫字符歸一化和細(xì)化后的圖像為40×40的布爾矩陣,1600個元素組成一個手寫字符的列矩陣,即字符的特征向量。由A、B、C、D這4個字符的特征列向量組成一個1600×4的輸入矢量,訓(xùn)練次數(shù)達(dá)到最大值神經(jīng)網(wǎng)絡(luò)訓(xùn)練就結(jié)束。

2.3.3口語等級識別等分結(jié)果

字符識別的正確率和拒識率與字符識別的判斷值有關(guān),判斷值越高,識別的正確率就高。為確保成績錄取100%正確,通過識別和OCR識別比較,不同再通過人工識別錄入確保準(zhǔn)確(圖2成績自動識別等分)。神經(jīng)網(wǎng)絡(luò)在口語成績登分中的應(yīng)用過程中大大減輕勞動強(qiáng)度,提高準(zhǔn)確率,通過多重比對確保成績錄入準(zhǔn)確,經(jīng)過實踐應(yīng)用和比對成績登分準(zhǔn)確率100%,完全可以滿足實際需要。

參考文獻(xiàn)

[1]蔣宗禮.人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論.高等教育出版社出版,2001(5):26-88.

篇3

關(guān)鍵詞： 指紋識別系統(tǒng)；圖像預(yù)處理；特征提??；BP神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP18 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2014）10-2359-04

Abstract： In this paper， special fingerprint acquisition device is used to obtain the basic fingerprints， fingerprint preprocessing base on MATLAB ， including fingerprint enhancement， binary the fingerprint， segment as well as normalization. Extracting fingerprint types， coordinates and direction parameters， then the BP nerve network is used to train and identify fingerprint. The result of recognition is obvious， it has high recognition rate.

Key words： Fingerprint identification system； Fingerprint preprocessing； Fingerprint feature extraction； BP nerve network

由于每個人指紋紋線的起點、終點、結(jié)合點和分叉點的不同，指紋具有唯一性、終身不變性、方便性，被當(dāng)作生物密碼應(yīng)用于生活中。隨著計算機(jī)相關(guān)技術(shù)的發(fā)展，傳統(tǒng)的證件驗證身份存在證件偽造等問題，它已經(jīng)給高速發(fā)展的社會帶來不便，而且指紋掃描速度快，同時增加了可靠性。所以，指紋識別技術(shù)應(yīng)用越來越廣泛，你可以在指紋門禁、考勤機(jī)、銀行柜員指紋身份認(rèn)證系統(tǒng)、指紋汽車行駛記錄儀、指紋電子印章等領(lǐng)域看到指紋識別系統(tǒng)的身影。隨著社會的發(fā)展，指紋識別將會應(yīng)用于各個領(lǐng)域。

1 指紋識別系統(tǒng)的構(gòu)成

指紋識別系統(tǒng)是典型的模式識別系統(tǒng)，它包括指紋圖像采集，指紋圖像預(yù)處理，特征提取和比對。一般系統(tǒng)包括認(rèn)證系統(tǒng)和識別系統(tǒng)兩部分。該文首先采用指紋專用設(shè)備采集指紋圖像，MATLAB進(jìn)行圖像預(yù)處理，然后特征提取，接下來是BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練，最后用訓(xùn)練好的參數(shù)作為神經(jīng)網(wǎng)絡(luò)的輸入，對指紋樣本進(jìn)行識別和匹配，輸出識別結(jié)果。本系統(tǒng)主要包括以下五個部分組成，如下圖所示[[1]]：

圖像預(yù)處理是關(guān)鍵部分，目的是得到清晰的指紋圖像，方面后續(xù)的指紋識別。該文主要采用MATLAB軟件實現(xiàn)對指紋圖像預(yù)處理，只需將選好的圖像輸入到已經(jīng)完成的程序中即可。

1.1 指紋圖像的獲取

指紋圖像的獲取是通過一定的指紋采集設(shè)備采集樣本。該文采集指紋主要利用光學(xué)式，根據(jù)光的反射原理（FTIR）。光線照到壓有指紋的玻璃表面、反射光線有CCD相機(jī)獲取，光線經(jīng)玻璃射到谷的地方后在玻璃與空氣的界面發(fā)生全反射，光線被反射到CCD，射向脊的光線不發(fā)生全反射，而是被脊與玻璃的接觸面吸收或者漫反射到別的地方，這樣在CCD上形成了指紋的圖像。

1.2 指紋圖像的預(yù)處理

系統(tǒng)采集到的原始圖像由于未經(jīng)過處理，存在噪聲干擾，惡化了圖像質(zhì)量，給特征提取帶來不便，所以在圖像特征提取前要進(jìn)行圖像預(yù)處理。該文主要利用MATLAB編程實現(xiàn)指紋的一系列預(yù)處理[[2]]。MATLAB作為指紋圖像的仿真平臺，既減小了仿真難度，又提高識別的準(zhǔn)確性。一般圖像預(yù)處理包括圖像增強(qiáng)、圖像分割細(xì)化、二值化、歸一化等。

① 圖像增強(qiáng)

圖像增強(qiáng)提高圖像的清晰程度，改善圖像質(zhì)量，增大處理前后圖像的對比度。該文采用的是中值濾波。將采集到的原圖像輸入到MATLAB中，如圖2所示。

對圖像的增強(qiáng)主要采用亮度變換函數(shù)imadjust，然后將0.5至0.75之間灰度級擴(kuò)展到[0，1]范圍之內(nèi)，這種處理

突出的指紋脊線和谷線對比度。以下是對指紋原圖像的MATLAB編程，如圖3所示。

②指紋圖像分割

分割處理指紋是將指紋前景區(qū)域與背景區(qū)域分割出來，分割后，系統(tǒng)會只對前景區(qū)域進(jìn)行處理，這樣可以減少預(yù)處理的復(fù)雜度。該文采用方差分割法的演變方法（即模塊分割法）：

（a）首先選定一個門限閾值M（通常根據(jù)經(jīng)驗選擇）。

（b）然后將高300，寬350的指紋圖像劃分為20×20塊，計算出每一塊的平均值N。

[N=1202x=x0x=x0-20y=y0y=y0-20fx0，y0] （1）

其中，[fx，y]為圖像中點的灰度值，[x0，y0]為小模塊的右上方的點。

（c）若均值N小于閾值M，則將該模塊選作前景區(qū)域，否則，為背景區(qū)域。然后用MATLAB實現(xiàn)上述算法。

③指紋圖像二值化

由于指紋識別是是對前景的處理，所以要對分割后的指紋圖像進(jìn)行二值化，二值化后的結(jié)果直接影響后續(xù)指紋的識別。圖5為二值化后的圖。

④歸一化

實際用指紋采集設(shè)備采集到的指紋，大小是不同的，如果對大小不同的指紋進(jìn)行識別，就必須修正圖像的尺寸，這就增加了識別的工作量。歸一化是必不可少的步驟，它分為兩種：外輪廓的歸一化和中心的歸一化。由于特征點基本集中在指紋中心，所以，該文主要采用中心歸一化。

1.3 特征值提取

從二值化和細(xì)化后的指紋圖像中提取細(xì)節(jié)特征點，細(xì)節(jié)點有以下四個特征：類型[[1]]有（1）端點（2）分叉點（3）孤立點（4）環(huán)點（5）短紋；方向；曲率；位置。該文主要提取的是指紋坐標(biāo)和方向。基于MATLAB特征提取，方便且準(zhǔn)確率高。端點和分叉點是指紋提取的主要特征。定義個八鄰域模型，以P點為交叉點，相鄰點組成3×3模塊[[3]]。

提取方法如下：[mp]為交叉點數(shù)，[np]為8鄰域紋線數(shù)

[mp=12i=18pi-pi-12]，其中[p1=p9]

[np=i=18pi] （2）

當(dāng)[mp=1]，[np=3]時為端點；

當(dāng)[mp=3]，[np=3]時為分叉點。得到一系列的特征點坐標(biāo)[pi=xi，yi，ti，θi]，其中[xi，yi]為特征點的橫縱坐標(biāo)，[ti]為特征點的類型，[θi]為特征點的角度。

1.4 指紋的分類

指紋的分類信息基本包含在中心部分和三角部分，根據(jù)指紋的三角點和中心點分類。根據(jù)指紋中心點下方的紋線走向分[[1]]：（1）左環(huán)型指紋；（2）右環(huán)型指紋；（3）漩渦型指紋；（4）拱形指紋。由于指紋的紋理性和方向性都很強(qiáng)，求出其方向圖，方向圖描繪了指紋圖像中像素點所在的脊線在該點的切線方向。在指紋分類時，必須考慮分類算法和分類器的設(shè)計，傳統(tǒng)的分類器，如通信信號指紋識別分類器，主要缺點是識別率低、穩(wěn)健性差。該文采用神經(jīng)網(wǎng)絡(luò)分類器，它作為一種先進(jìn)的自適應(yīng)、非線性分類器，并且具有強(qiáng)大的模式識別分類和泛函逼近能力。實驗時首先將指紋分成以上四類，存在指紋庫中，將指紋的四個類型作為輸入矢量，送人神經(jīng)網(wǎng)絡(luò)，對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。實驗證明，神經(jīng)網(wǎng)絡(luò)分類器能夠用分類算法正確地對指紋進(jìn)行分類，分類速度也較快，并達(dá)到一定的分類精度。但同樣此算法也存在一定的缺陷，就是對指紋圖像的質(zhì)量要求較高。

1.5 指紋的識別

指紋識別就是確定采集的指紋樣本的身份，若將指紋分類存庫，會提高后序識別的效率，基于人工神經(jīng)網(wǎng)絡(luò)的指紋識別的應(yīng)用，減小了識別的復(fù)雜性。前面已經(jīng)將指紋分類，只需在同類中識別。

2 BP神經(jīng)網(wǎng)絡(luò)的指紋識別

2.1 BP神經(jīng)網(wǎng)絡(luò)的介紹

人工神經(jīng)網(wǎng)絡(luò)在當(dāng)前的指紋識別領(lǐng)域應(yīng)用最為廣泛，該文主要介紹反向傳播神經(jīng)網(wǎng)絡(luò)（BP神經(jīng)網(wǎng)絡(luò)），它通常由輸入層、若干隱含層和輸出層組成，BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋網(wǎng)絡(luò)，采用的誤差后向傳播學(xué)習(xí)算法，一般結(jié)構(gòu)包括輸入層，輸出層，隱層，每層又由多個節(jié)點組成，表示神經(jīng)元，同一層節(jié)點之間無耦合關(guān)系，輸入信息從輸入層傳遞至隱層，再由隱含層傳遞至輸出層，傳遞時是單向向前傳播的。通過輸入層、隱層、輸出層。這三層的劃分也把BP分成正向和反向，首先通過輸入層神經(jīng)元輸入至神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，經(jīng)過隱含層神經(jīng)元處理，將結(jié)果傳輸至輸出層，當(dāng)樣本的輸出結(jié)果與預(yù)期結(jié)果存在較大差異時，那么求出的實際輸出與預(yù)期輸出的誤差并反饋給隱層神經(jīng)元，重新調(diào)整并訓(xùn)練網(wǎng)絡(luò)的權(quán)值和參數(shù)，不斷地擬合，減小誤差，然后重新傳至輸出層，不斷反復(fù)，直到滿足輸出條件為止。網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計是首要任務(wù)，包括輸入、輸出神經(jīng)元個數(shù)，隱層個數(shù)。

2.2 BP神經(jīng)網(wǎng)絡(luò)指紋識別技術(shù)

本文把指紋特征點選擇在指紋中心點周圍的區(qū)域，特征點記為[（x，y，α）]，其中[x]和[y]分別是特征點的橫縱坐標(biāo)，[α]是特征點的方向，它是特征點紋線的切線方向。在指紋的匹配過程中，存在旋轉(zhuǎn)、形變和平移的問題。由于指紋圖像是呈放射狀的非線性形變，而且非線性是向外擴(kuò)張的，因而本文采取極坐標(biāo)系，它能很好的描述指紋的非線性形變。為了抵消平移和抗旋轉(zhuǎn)性，選取參照點（即中心點），轉(zhuǎn)化為極坐標(biāo)下的坐標(biāo)，如下關(guān)系式：

[riθiαi=xi-x02+yi-y02arctanyi-y0xi-x0αi-α0] （3）

其中，[x0]，[y0]為中心點的坐標(biāo)，[α0]為中心點的方向，[xi]，[yi]為指紋特征點的坐標(biāo)，[αi]為指紋特征點的方向。

現(xiàn)將以上指紋分類得到的四種類型和指紋特征點的極坐標(biāo)作為神經(jīng)網(wǎng)絡(luò)識別的特征值輸入，它們分別是：細(xì)節(jié)特征點與參考點的距離，參考點與特征點之間的夾角，特征點的方向與參考點方向的差值。此訓(xùn)練得到的四個參數(shù)可以較準(zhǔn)確的識別指紋。

3 實驗結(jié)果和結(jié)論

將分類后四個數(shù)據(jù)庫中100個指紋圖像分成兩部分，一部分作為測試，一部分作為訓(xùn)練。提取指紋特征點，以特征點的橫坐標(biāo)[x]，縱坐標(biāo)[y]，方向場作為參數(shù)，對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，步驟如下：

① 提取指紋特征點，求出特征點個數(shù)；

② 提取到的特征點經(jīng)極坐標(biāo)轉(zhuǎn)換后[Q=Q1γ1，θ1，α1....Qnγn，θn，αn]將指紋所屬個體作為神經(jīng)網(wǎng)絡(luò)的輸出，選擇四個輸入節(jié)點（指紋類型，細(xì)節(jié)特征點與參考點的距離，參考點與特征點之間的夾角，特征點的方向與參考點方向的差值），按照隱含層神經(jīng)元的選取公式，選擇隱含層神經(jīng)元個數(shù)3；

③ 得到訓(xùn)練完成的BP神經(jīng)網(wǎng)絡(luò)，輸入分類器得到識別結(jié)果。

實驗時，對指紋提取10個特征點，每個特征點包括四個數(shù)據(jù)，下圖是對其中一個指紋提取特征值。

將特征值坐標(biāo)，方向，指紋類型作為神經(jīng)網(wǎng)絡(luò)的輸入，對四個庫中的指紋進(jìn)行訓(xùn)練識別，得到識別結(jié)果統(tǒng)計表如下表所示。

通過實驗結(jié)果可以看出，該文對指紋特征點進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，基本能將不同類型的指紋進(jìn)行識別，而且識別迅速，識別率較高，有效提高了指紋識別系統(tǒng)的效率。由于識別結(jié)果對采集的指紋的完整性，指紋圖像的預(yù)處理和特征提取要求較高，而且本樣本容量較小，在一定程度上會影響識別準(zhǔn)確性，識別精度還有待進(jìn)一步提高。

參考文獻(xiàn)：

[1] 楊靜.基于神經(jīng)網(wǎng)絡(luò)的指紋識別[D].北京工業(yè)大學(xué)，2003.

[2] 岡薩雷斯.數(shù)字圖像處理[M].北京：電子工業(yè)出版社，2005.

[3] 郭晶瑩，吳晴，商慶瑞.基于MATLAB的指紋圖像細(xì)節(jié)特征提取[J].計算機(jī)仿真，2007，24（1）：182-184.

[4] 孫航.基于BP神經(jīng)網(wǎng)絡(luò)的指紋識別[J].信息與電腦，2011（5）：32-33.

[5] 胡小璐.基于神經(jīng)網(wǎng)絡(luò)的指紋識別系統(tǒng)[D].電子科技大學(xué)，2003.

[6] 劉興龍.自動指紋識別系統(tǒng)的研究與實現(xiàn)[D].貴州大學(xué)，2006.

[7] 薛亞許，李寧.基于MATLAB的指紋圖像的二值化及細(xì)化[J].平頂上學(xué)院學(xué)報，2012，27（2）：74-76

篇4

【關(guān)鍵詞】小波包變換 BP神經(jīng)網(wǎng)絡(luò) EPS轉(zhuǎn)矩傳感器 故障診斷

1 引言

EPS是當(dāng)前世界最發(fā)達(dá)的轉(zhuǎn)向助力系統(tǒng)，它是電子控制單元（ECU）根據(jù)各傳感器輸出信號決定電動機(jī)的轉(zhuǎn)動方向和最佳助力轉(zhuǎn)矩的轉(zhuǎn)向機(jī)構(gòu)。EPS轉(zhuǎn)矩傳感器測定方向盤與轉(zhuǎn)向器輸出軸之間傳遞的轉(zhuǎn)矩，并且將其轉(zhuǎn)矩大小轉(zhuǎn)化為電壓值信號。

目前已形成了多種轉(zhuǎn)矩傳感器故障檢測和診斷的方法，比如：故障樹法、神經(jīng)網(wǎng)絡(luò)觀測器以及基于小波分析的方法等等。小波分析是近年來發(fā)展起來的一個新的數(shù)學(xué)分支,非常適合于分析非平穩(wěn)信號，對于EPS轉(zhuǎn)矩傳感器信號，可方便地剔除系統(tǒng)的噪聲干擾和檢測出故障信號?；谶@一點，將信號進(jìn)行若干次小波包分解，可以得到信號在各個頻段上的分量，這樣就實現(xiàn)了信號特征的分離。由于這些特征與故障之間是一種非常復(fù)雜的非線性關(guān)系，而BP神經(jīng)網(wǎng)絡(luò)又具有強(qiáng)大的綜合分析能力，用構(gòu)造的傳感器的各種故障樣本特征向量對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行分類訓(xùn)練，這樣就能進(jìn)行故障診斷。

2 故障診斷流程

信號獲取信號消躁采樣小波包變換提取各頻帶能量歸一化處理BP神經(jīng)網(wǎng)絡(luò)診斷輸出。

3 基于小波包預(yù)處理的故障特征提取方法

設(shè)EPS轉(zhuǎn)矩傳感器電壓信號為f(x)，令 ψ(x)為小波母函數(shù)，則f(x)的二進(jìn)小波變換為

（1）

其中，離散信號的小波包分解算法為

（2）

其中，ak，bk為小波包分解共軛濾波器系數(shù)。

小波包的重構(gòu)算法為

（3）（4）

當(dāng)能量較大時，可對特征向量進(jìn)行歸一化處理，令

（5）

（6）

有了信號基于小波包的能量特征向量，就可以利用BP神經(jīng)網(wǎng)絡(luò)的非線性和擬合特性進(jìn)行故障的診斷識別了。

4 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示，圖中的節(jié)點是BP神經(jīng)網(wǎng)絡(luò)的神經(jīng)元，它的作用函數(shù)為，式中y―神經(jīng)元的輸出，xi―神經(jīng)元的輸入，wi―神經(jīng)元的連接權(quán)值，θ―神經(jīng)元的閾值，f―神經(jīng)元的激活函數(shù)，由于采用IWPT預(yù)處理的小波包分析方法，構(gòu)建的神經(jīng)網(wǎng)絡(luò)為輸入層5個神經(jīng)元，即為故障的能量特征向量維數(shù)，輸出層為5個神經(jīng)元（四種故障和正常狀態(tài)），即為故障的類型數(shù)，隱含層為6個神經(jīng)元，隱層節(jié)點函數(shù)選用sigmoid函數(shù)。

具體的BP網(wǎng)絡(luò)訓(xùn)練算法可以查閱參考文獻(xiàn)。BP網(wǎng)絡(luò)在設(shè)計時，必須規(guī)定隱層的數(shù)目、每層的節(jié)點數(shù)、激活函數(shù)和輸入/輸出樣本對。這些參數(shù)將會影響B(tài)P網(wǎng)絡(luò)的收斂速度和BP網(wǎng)絡(luò)的有效性。

本文提出的基于IWPT預(yù)處理的神經(jīng)網(wǎng)絡(luò)故障診斷方法，預(yù)處理的目的是為了減少神經(jīng)網(wǎng)絡(luò)輸入層和隱層節(jié)點的個數(shù)，從而加快神經(jīng)網(wǎng)絡(luò)訓(xùn)練和收斂速度，提高故障診斷的效率。

5 結(jié)束語

通過小波包算法對傳感器故障信號的分析發(fā)現(xiàn)傳感器故障幾種典型信號在各個頻帶內(nèi)的能量分布是不同的，因此可以提取故障信號的子頻帶能量信號作為特征向量，在提取特征向量的過程中，采用IWPT（不完全小波包變換）預(yù)處理方法，使網(wǎng)絡(luò)的輸入層和隱含層節(jié)點數(shù)目都減少了，能夠顯著的提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和收斂速度。將提取的特征向量作為神經(jīng)網(wǎng)絡(luò)的輸入量，結(jié)合樣本數(shù)據(jù)（訓(xùn)練樣本和測試樣本），利用BP算法對網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，實驗表明，訓(xùn)練后的網(wǎng)絡(luò)能對EPS轉(zhuǎn)矩傳感器的典型故障進(jìn)行有效的診斷。

參考文獻(xiàn)

[1] 沈斌,陳敏.電動助力轉(zhuǎn)向傳感器故障研究[J].機(jī)電一體化,2012(5):59-63.

[2]A.Grossmann and J.Morlet, "Decomposition of hardyfunction into square integrable wavelets of constantshape,"SIAM J.Math.,vol.15, pp.723-736.

[3]Haykin S.Neural Networks A Comprehensive Foundation.Prentice Hall,2001

[4]Y.He,Y.Tan and Y.Sun,Wavelet neural network approach for fault diagnosis of analogue circuits.IEEE Proc.-Circuits Devices Syst.Vol 151(4), pp.379-384

[5]S.Mallat,"Multifrequency channel decompositions of images and wavelet models,"IEEE Trans.ASSP,vol.37, no.12,pp.2091-2110,1989.

篇5

【關(guān)鍵詞】遺傳算法；BP神經(jīng)網(wǎng)絡(luò)；柴油機(jī)；故障診斷

柴油機(jī)缸蓋振動信號中包含著豐富的工作狀態(tài)信息，在對其現(xiàn)代診斷技術(shù)中，基于振動信號分析的診斷方法顯示出了其優(yōu)越性，利用缸蓋振動信號診斷柴油機(jī)故障是一種有效方法。故障特征的提取和故障類型的識別是利用振動信號分析法在對柴油機(jī)進(jìn)行故障診斷過程中兩個最為重要的過程。根據(jù)提取的故障特征識別柴油機(jī)的故障類型是一個典型的模式識別問題，對柴油機(jī)故障類型識別采用恰當(dāng)?shù)哪Ｊ阶R別方法就尤為重要。神經(jīng)網(wǎng)絡(luò)作為一種自適應(yīng)的模式識別技術(shù)，其通過自身的學(xué)習(xí)機(jī)制自動形成所要求的決策區(qū)域，而不需要預(yù)先給出有關(guān)模式的經(jīng)驗知識和判斷函數(shù)；它可以充分利用狀態(tài)信息，對來自于不同狀態(tài)的信息逐一進(jìn)行訓(xùn)練而獲得某種映射關(guān)系。鑒于其自身特性，在故障模式識別領(lǐng)域中有著越來越廣泛的應(yīng)用。而據(jù)統(tǒng)計，有80%～90%的神經(jīng)網(wǎng)絡(luò)模型都是采用了BP網(wǎng)絡(luò)或者是它的變形。BP網(wǎng)絡(luò)是前向網(wǎng)絡(luò)的核心部分，是神經(jīng)網(wǎng)絡(luò)中最精華、最完美的部分。但是它也存在一些缺陷，例如學(xué)習(xí)收斂速度、不能保證收斂到全局最小點、網(wǎng)絡(luò)結(jié)構(gòu)不易確定。遺傳算法是一種基于生物自然選擇與遺傳機(jī)理的隨機(jī)搜索算法。其基本操作是選擇、交叉和變異，核心內(nèi)容是參數(shù)編碼、初始群體的設(shè)定、適應(yīng)度函數(shù)的設(shè)計、遺傳操作設(shè)計和控制參數(shù)的設(shè)定。遺傳算法通過種群隨機(jī)搜索，對數(shù)據(jù)進(jìn)行并行處理，將結(jié)果收斂到全局最優(yōu)解。因此，將遺傳算法與BP神經(jīng)網(wǎng)絡(luò)結(jié)合應(yīng)用于柴油機(jī)故障診斷中，可以提高網(wǎng)絡(luò)的性能，避免網(wǎng)絡(luò)陷入局部極小解，進(jìn)而實現(xiàn)對設(shè)備故障的識別。

1 BP神經(jīng)網(wǎng)絡(luò)

1.1 BP神經(jīng)元模型在柴油機(jī)故障診斷中的應(yīng)用

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋型神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的傳遞是S型函數(shù)，輸出量為0至1之間的連續(xù)量，它可以實現(xiàn)從輸入到輸出的任意非線性映射。由于權(quán)值的調(diào)整采用反向傳播學(xué)習(xí)算法，因此也稱為其為BP網(wǎng)絡(luò)。

圖1 BP神經(jīng)元模型

上圖給出一個基本的BP神經(jīng)元模型，它具有R個輸入，每個輸入都通過一個適當(dāng)?shù)臋?quán)值和ω下一層相連，網(wǎng)絡(luò)輸入可表示為：

a=f（wp+b）

f就是表示輸入/輸出關(guān)系的傳遞函數(shù)。

BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與所有影響齒輪故障的特征因素有關(guān)。柴油機(jī)運(yùn)動部件多而復(fù)雜，激勵源眾多且其頻率范圍寬廣，加之噪聲的融入，使得柴油機(jī)表面振動信號極為復(fù)雜?；谶@種特點，可以確定用于柴油機(jī)故障診斷的BP神經(jīng)網(wǎng)絡(luò)的輸入層、輸出層隱含層以及節(jié)點數(shù)等。由小波包提取各柴油機(jī)故障的特征值作為輸入節(jié)點，輸出節(jié)點數(shù)目與柴油機(jī)故障類別的數(shù)目有關(guān)。

1.2 BP神經(jīng)網(wǎng)絡(luò)與遺傳算法

BP神經(jīng)網(wǎng)絡(luò)又稱為反向傳播算法，其算法數(shù)學(xué)意義明確、步驟分明，是神經(jīng)網(wǎng)絡(luò)中最為常用、最有效、最活躍的一種網(wǎng)絡(luò)模型。常用方法梯度下降法和動量法，但是梯度下降法訓(xùn)練速度較慢，效率比較低，訓(xùn)練易陷入癱瘓，而且其實質(zhì)是單點搜索算法，不具有全局搜索能力；動量法因為學(xué)習(xí)率的提高通常比單純的梯度下降法要快一些，但在實際應(yīng)用中速度還是不夠；BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練開始時網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)是隨機(jī)給定的，因此結(jié)果存在一定的隨機(jī)性。

遺傳算法（Genetic Algorithm，GA）是模擬達(dá)爾文的遺傳選擇和自然淘汰的生物進(jìn)化過程的計算模型，它是由美國密歇根大學(xué)的J.Holland 教授于1975年首先提出來的，遺傳算法具有很強(qiáng)的宏觀搜索能力和良好的全局優(yōu)化性能，因此將遺傳算法與BP神經(jīng)網(wǎng)絡(luò)結(jié)合，訓(xùn)練時先用遺傳算法對神經(jīng)網(wǎng)絡(luò)的權(quán)值進(jìn)行尋找，將搜索范圍縮小后，再利用BP網(wǎng)絡(luò)來進(jìn)行精確求解，可以達(dá)到全局尋找和快速高效的目的，并且可以避免局部極小點問題。該算法不僅具有全局搜索能力，而且提高了局部搜索能力，從而增強(qiáng)了在搜索過程中自動獲取和積累搜索空間知識及自應(yīng)用地控制搜索的能力，從而使結(jié)果的性質(zhì)得以極大的改善。

2 基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)

遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)主要分為：BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定、遺傳算法優(yōu)化權(quán)值和閥值、BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練及預(yù)測。其中，BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是根據(jù)樣本的輸入/輸出個數(shù)確定的，這樣就可以確定遺傳算法優(yōu)化參數(shù)的個數(shù)，從而確定種群個體的編碼長度。因為遺傳算法優(yōu)化參數(shù)是BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閥值，只要網(wǎng)絡(luò)結(jié)構(gòu)已知，權(quán)值和閥值的個數(shù)就已知了。神經(jīng)網(wǎng)絡(luò)的權(quán)值和閥值一般是通過隨機(jī)初始化為[-0.5，0.5]區(qū)間的隨機(jī)數(shù)，這個初始化參數(shù)對網(wǎng)絡(luò)訓(xùn)練的影響很大，但是又無法準(zhǔn)確獲得，對于相同的初始權(quán)重值和閥值，網(wǎng)絡(luò)的訓(xùn)練結(jié)果是一樣的，引入遺傳算法就是為了優(yōu)化出最佳的初始權(quán)值和閥值。

2.1 基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)在柴油機(jī)故障診斷中的應(yīng)用

通過基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)建立小波包特征量與故障之間的對應(yīng)關(guān)系。表1為柴油機(jī)常見故障在不同頻段的能量分布，構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本。表2為網(wǎng)絡(luò)輸出樣本，“0”代表沒有故障，“1”代表發(fā)生故障。利用表1中的訓(xùn)練樣本對基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，經(jīng)1000次訓(xùn)練達(dá)到了理想訓(xùn)練效果。

表1 訓(xùn)練樣本

表2 網(wǎng)絡(luò)理想輸出

表3 待診斷的故障樣本

表4 診斷結(jié)果

將表3中的待診斷的故障樣本輸入到已經(jīng)訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)，得到診斷結(jié)果如表4所示。第1組待診斷的信號第1個輸出節(jié)點接近1，可以根據(jù)訓(xùn)練樣本結(jié)果判斷該組數(shù)據(jù)故障為供油提前角晚；第2組待診斷的信號第4個輸出節(jié)點接近1，根據(jù)訓(xùn)練樣本結(jié)果可以判斷該組數(shù)據(jù)故障類型為供油提前角早；第3組待診斷的信號第7個數(shù)據(jù)節(jié)點接近1 ，可以判斷故障類型為針閥卡死，其診斷結(jié)果和現(xiàn)場勘查結(jié)果一致。

3 結(jié)語

遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的目的是通過遺傳算法得到更好的網(wǎng)絡(luò)初始值和閥值。通過以上研究可以看出，遺傳算法和BP算法有機(jī)的融合，可以有效地彌補(bǔ)BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、權(quán)值和閥值選擇上的隨機(jī)性缺陷，充分利用了遺傳算法的全局搜索能力和BP神經(jīng)網(wǎng)絡(luò)的局部搜索能力，克服了傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)柴油機(jī)故障診斷的缺點，提高了柴油機(jī)故障診斷的精度。

【參考文獻(xiàn)】

篇6

關(guān)鍵詞：人臉朝向識別 學(xué)習(xí)向量量化 神經(jīng)網(wǎng)絡(luò) 特征向量提取

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2016）05-0000-00

Abstract： Aiming at the low accuracy disadvantage of traditional facial orientation recognition algorithm， the paper employs the recognition method based on the Learning Vector Quantization neural network. By means of extracting the feature vector of eyes positions in the face images and studying the different facial image samples， the paper optimizes the weighting parameters of the LVQ neural network， which achieves good recognition result. The simulation results indicates that the facial orientation recognition based on the learning vector quantization neural network is feasible and effective， and the correct recognition rate can reach more than 95%. Besides， the paper ultimately proofs the accuracy and the validity of the learning vector quantization neural network is better than the Back-Propagation neural network.

Key Words： Facial orientation recognition， Learning vector quantization， Neural network，F(xiàn)eature vector extraction

人臉識別作為一個復(fù)雜的模式識別問題，是生物特征識別領(lǐng)域最困難的研究課題之一，其目的是從圖像中剔除背景、提取人臉區(qū)域。人臉識別系統(tǒng)主要包括圖像數(shù)據(jù)庫采集、人臉圖像預(yù)處理、人臉特征建模及識別匹配。計算機(jī)技術(shù)的告訴發(fā)展使人臉圖像在人機(jī)交互中發(fā)揮著越來越重要的作用，由于實際應(yīng)用中，人臉外形的不穩(wěn)定性以及光照條件的多樣性使人臉視覺圖像在位置、朝向以及旋轉(zhuǎn)角度等方面產(chǎn)生巨大的差異，因此對人臉進(jìn)行準(zhǔn)確識別變得異常困難。

學(xué)習(xí)向量量化（LVQ）神經(jīng)網(wǎng)絡(luò)是一種用于訓(xùn)練競爭層的有監(jiān)督學(xué)習(xí)方法的輸入前向神經(jīng)網(wǎng)絡(luò)，其算法是從Kohonen競爭算法演化而來的[1]。與其他模式識別和映射方法相比，它的優(yōu)勢在于網(wǎng)絡(luò)結(jié)構(gòu)簡單，并且不需要對輸入向量進(jìn)行歸一化、正交化處理，只通過計算輸入向量與競爭層之間的距離，從而完成復(fù)雜的分類處理[2]。當(dāng)人臉朝向與旋轉(zhuǎn)角度不同時，眼睛局部特征與人臉圖像的幾何關(guān)系有較強(qiáng)的可區(qū)分性，因此提取人眼位置信息的特征向量并獲得有助于人臉朝向分類的特征數(shù)據(jù)，將該特征信息作為LVQ神經(jīng)網(wǎng)絡(luò)的輸入，可實現(xiàn)對任意給出的人臉圖像進(jìn)行朝向的識別，通過仿真可證明該方法的有效性。

1學(xué)習(xí)向量量化（LVQ）神經(jīng)網(wǎng)絡(luò)

學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)是在競爭網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上提出的，是自組織（SOFM）神經(jīng)網(wǎng)絡(luò)的一種有監(jiān)督形式的擴(kuò)展。在網(wǎng)絡(luò)學(xué)習(xí)過程中加入教師信號作為分類信息對權(quán)值進(jìn)行微調(diào)，并對輸出神經(jīng)元預(yù)先指定類別，LVQ神經(jīng)網(wǎng)絡(luò)實現(xiàn)了二者有效的結(jié)合，能夠更好發(fā)揮競爭學(xué)習(xí)與有監(jiān)督學(xué)習(xí)的優(yōu)點。

1.1 LVQ神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與工作原理

廣義學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)由三層神經(jīng)元組成，即輸入層、隱藏的競爭層和線性輸出層[3]，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。輸入層與競爭層之間采用全連接方式，競爭層與輸出層之間采用部分連接方式[4]。競爭層神經(jīng)元個數(shù)通常取輸出層神經(jīng)元個數(shù)的整數(shù)倍，每個競爭層神經(jīng)元有且只有一個輸出層神經(jīng)元與之相連接且連接權(quán)值固定為1，而每個線性輸出層神經(jīng)元可以與多個競爭層神經(jīng)元相連接[5]。在學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，當(dāng)某個輸入模式被送入網(wǎng)絡(luò)時，競爭層的神經(jīng)元通過競爭學(xué)習(xí)規(guī)則產(chǎn)生獲勝神經(jīng)元，獲勝神經(jīng)元調(diào)整權(quán)值的結(jié)果是使權(quán)值進(jìn)一步向當(dāng)前的輸入向量靠近。當(dāng)下次出現(xiàn)相似的輸入模式時，獲勝神經(jīng)元更容易得到修改權(quán)值的機(jī)會。在反復(fù)的競爭學(xué)習(xí)中，競爭層的各神經(jīng)元對應(yīng)的權(quán)值逐步被調(diào)整為輸入樣本空間的聚類中心[6]。該神經(jīng)元被激活后輸出狀態(tài)為“1”，而其他競爭層神經(jīng)元的狀態(tài)均為“0”。因此，與被激活神經(jīng)元相連的線性輸出層神經(jīng)元狀態(tài)為“1”。其余輸出層神經(jīng)元狀態(tài)為“0”，從而實現(xiàn)模式分類與識別。

LVQ各層的數(shù)學(xué)描述如下：設(shè)神經(jīng)網(wǎng)絡(luò)輸入向量，其中為輸入層神經(jīng)元個數(shù)；競爭層輸出，表達(dá)式為；輸出層實際輸出為，表達(dá)式為，網(wǎng)絡(luò)期望輸出為。輸入層與競爭層之間的權(quán)系數(shù)矩陣，其中列向量為競爭層第個神經(jīng)元對應(yīng)的權(quán)值向量；同理可得，競爭層與輸出層之間的權(quán)系數(shù)矩陣為，其中列向量為競輸出層第個神經(jīng)元對應(yīng)的權(quán)值向量。

1.2 LVQ神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

向量量化是利用輸入向量的固有機(jī)構(gòu)進(jìn)行數(shù)據(jù)壓縮的技術(shù)，學(xué)習(xí)向量量化是在向量量化基礎(chǔ)上將輸入向量分類的監(jiān)督學(xué)習(xí)方法[7]。LVQ網(wǎng)絡(luò)在訓(xùn)練前指定好線性輸出層的神經(jīng)元類別，在學(xué)習(xí)訓(xùn)練過程中不再改變競爭層與輸出層之間的權(quán)系數(shù)矩陣，而是通過改變進(jìn)行學(xué)習(xí)。該算法實質(zhì)是根據(jù)訓(xùn)練樣本的特征進(jìn)行“獎勵與懲罰”的一種迭代學(xué)習(xí)算法，即對分類正確的樣本，“獎勵”與其距離最近的權(quán)值點。經(jīng)過若干次訓(xùn)練后，得到的權(quán)值不再變化，說明網(wǎng)絡(luò)達(dá)到收斂狀態(tài)[8]。而競爭層神經(jīng)元的數(shù)目輸入待分類的模式樣本測試，根據(jù)最近鄰法則得到輸入樣本模式的類別屬性。

LVQ1具體算法步驟為：

（1） 初始化輸入層與競爭層間的權(quán)值，確定初始學(xué)習(xí)速率與訓(xùn)練次數(shù)；

（2）將輸入向量輸入網(wǎng)絡(luò)，計算競爭層神經(jīng)元與輸入向量的距離并尋找獲勝神經(jīng)元：

（3）根據(jù)分類是否正確調(diào)整獲勝神經(jīng)元的權(quán)值：當(dāng)網(wǎng)絡(luò)分類結(jié)果與教師信號一致時，向輸入樣本方向調(diào)整權(quán)值；反之，其他非獲勝神經(jīng)元的權(quán)值保持不變。

算法直接利用最小歐式距離選擇與輸入向量最接近的矢量，因此不需要對權(quán)值向量和輸入向量進(jìn)行歸一化處理。

在上述LVQ學(xué)習(xí)算法中，有且只有一個神經(jīng)元獲勝并得到更新調(diào)整權(quán)值的機(jī)會。為了改善分類效果，Kohonen對該算法進(jìn)行了改進(jìn)，并命名為LVQ2算法[9]。改進(jìn)算法基于光滑的移動決策邊界逼近貝葉斯極限，其特點是引入“次獲勝”神經(jīng)元，使得“獲勝”神經(jīng)元與“次獲勝”神經(jīng)元的權(quán)值向量都被更新[10]。

LVQ2具體計算步驟如下：

（1）初始化參數(shù)、計算競爭層神經(jīng)元與輸入向量距離同LVQ1算法；

（2）選擇與輸入向量距離最小的兩個競爭層神經(jīng)元；

（3）若神經(jīng)元對應(yīng)于不同類別且與當(dāng)前輸入向量的距離滿足，其中為輸入向量可能落進(jìn)的接近于兩個向量中段平面的窗口寬度，經(jīng)驗值為左右，那么若神經(jīng)元對應(yīng)的類別=輸入向量類別，則，若神經(jīng)元對應(yīng)的類別=輸入向量類別，則。

（4）若神經(jīng)元不滿足上述條件，則按照LVQ1步驟（3）中進(jìn)行更新即可。

2基于學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)的人臉朝向識別方法

2.1輸入向量與目標(biāo)向量的設(shè)計

觀察大量人臉圖像容易察覺，當(dāng)人臉圖像旋轉(zhuǎn)角不一樣時，眼睛局部特征在圖像中的位置差異明顯，因此僅需提取描述眼睛局部位置信息的特征向量并作為LVQ神經(jīng)網(wǎng)絡(luò)的輸入，分別用數(shù)字1，2，3，4，5表示五個朝向左方、左前方、前方、右前方、右方，并作為神經(jīng)網(wǎng)絡(luò)的輸出。搜集10人共50幅不同朝向的人臉圖像，隨機(jī)選取其中30幅圖像作為訓(xùn)練集，剩余20幅作為測試集，因此目標(biāo)向量為305的向量，其中每列只有一個“1”，其余均為“0”。

2.2人臉特征向量的提取

如上文所述，文中將420420的圖像劃分為6行8列，人物雙眼的局部特征信息通過第二行的8個子矩陣描述，在利用Sobel算子對圖像進(jìn)行邊緣檢測后第二行8個子矩陣中值為“1”的像素點個數(shù)可較為準(zhǔn)確的表示人臉朝向。

2.3 LVQ神經(jīng)網(wǎng)絡(luò)的創(chuàng)建與訓(xùn)練

LVQ網(wǎng)絡(luò)設(shè)計的關(guān)鍵因素包括訓(xùn)練樣本是否具有普遍性與代表性，訓(xùn)練樣本容量能否滿足需要，競爭層神經(jīng)元數(shù)量、初始權(quán)值等網(wǎng)絡(luò)參數(shù)取值是否得到優(yōu)化。根據(jù)特征向量與訓(xùn)練圖像數(shù)量可知輸入和輸出節(jié)點分別為30和5，競爭層神經(jīng)元的個數(shù)通常取決于輸入輸出關(guān)系的復(fù)雜性。為防止因競爭層神經(jīng)元數(shù)過多產(chǎn)生“死”神經(jīng)元，競爭層節(jié)點數(shù)經(jīng)驗值為線性輸出層節(jié)點數(shù)的24倍，本文選取15作為競爭層節(jié)點數(shù)；其次是選擇合適的學(xué)習(xí)率，為保證算法的收斂性與穩(wěn)定性，學(xué)習(xí)率取恒定值或隨時間單調(diào)減小，通常取。本文期望誤差取值0.001，學(xué)習(xí)函數(shù)用LVQ1，最大訓(xùn)練步數(shù)設(shè)為100，初始化參數(shù)后對LVQ神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練算法達(dá)到預(yù)先指定的誤差容限后停止。訓(xùn)練過程曲線如圖2所示，由圖可知網(wǎng)絡(luò)收斂性較好，滿足誤差要求。

3實驗結(jié)果與分析

3.1網(wǎng)絡(luò)測試識別率與訓(xùn)練次數(shù)、學(xué)習(xí)算法關(guān)系

將測試的20幅不同朝向的人臉圖像輸入網(wǎng)絡(luò)，網(wǎng)絡(luò)識別率如表1所示。由表1結(jié)果可知，LVQ神經(jīng)網(wǎng)絡(luò)識別人臉朝向可行且有效，總體上取得了較好的識別結(jié)果。從訓(xùn)練次數(shù)分析，在一定范圍內(nèi)訓(xùn)練次數(shù)的增加會提高分類識別正確率，所需訓(xùn)練時間也會增加，識別錯誤主要因為樣本數(shù)據(jù)較為復(fù)雜。當(dāng)訓(xùn)練集較少時識別率會相對較低，因此在防止出現(xiàn)過擬合的同時應(yīng)盡量增加訓(xùn)練集的樣本數(shù)目，可有效改善網(wǎng)絡(luò)識別結(jié)果。

從算法角度分析，結(jié)果顯示LVQ2算法雖然是對LVQ1算法的改進(jìn)但同時引入了新的誤差，因此識別結(jié)果較差；同時LVQ1算法運(yùn)用簡單，識別率較高，具體應(yīng)用時應(yīng)開發(fā)更好的優(yōu)化學(xué)習(xí)算法，綜合考慮性能指標(biāo)作折衷處理。

3.2 LVQ神經(jīng)網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)識別效果對比

由于BP神經(jīng)網(wǎng)絡(luò)的輸出為非二值數(shù)據(jù)，因此采用四舍五入方法：若網(wǎng)絡(luò)輸出小于0.5則認(rèn)為是0，反之為1；并提前利用三位二進(jìn)制數(shù)編碼對五個朝向進(jìn)行表述，如表2所示。

設(shè)置訓(xùn)練次數(shù)為100次，BP神經(jīng)網(wǎng)絡(luò)仿真結(jié)果識別率僅為85%，并出現(xiàn)錯誤預(yù)測值 [0；0；0]，該狀態(tài)不屬于表2中任何一種，從結(jié)果判斷不出圖像中人臉朝向，而LVQ神經(jīng)網(wǎng)絡(luò)不僅可以很好的規(guī)避這一缺點，同時算法識別準(zhǔn)確率明顯較高。

4結(jié)語

本文提出了一種基于學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)的人臉朝向識別方法，該方法第一步提取人臉圖像中雙眼的局部位置特征向量，并將提取的向量送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練測試實現(xiàn)人臉朝向的準(zhǔn)確識別，然后通過仿真實驗證明利用LVQ神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉朝向識別方法的有效性，該方法能夠發(fā)揮競爭學(xué)習(xí)和有監(jiān)督學(xué)者的優(yōu)點，且網(wǎng)絡(luò)結(jié)構(gòu)簡單，有效提高了識別率。

參考文獻(xiàn)

[1] 秦愷，曹龍漢 等.基于LVQ神經(jīng)網(wǎng)絡(luò)集成的柴油機(jī)氣門故障診斷[J].UPS應(yīng)用，2014：47-50.

[2] 董妍慧.基于LVQ神經(jīng)網(wǎng)絡(luò)模型的企業(yè)財務(wù)危機(jī)預(yù)警[J].大連海事大學(xué)學(xué)報，2008，7（1）：92-94.

[3] 胡波，王文娟.基于向量量化網(wǎng)絡(luò)的煤礦瓦斯監(jiān)控系統(tǒng)改造[J].電力學(xué)報，2010，25（2）：162-164

[4] 朱玉斌，李華聰.基于LVQ網(wǎng)絡(luò)的航空發(fā)動機(jī)氣路故障特征提取方法研究[J].測控技術(shù)，2014，33（6）：24-27.

[5] 律方成，張波.LVQ神經(jīng)網(wǎng)絡(luò)在GIS局部放電類型識別中的應(yīng)用[J].電測與儀表，2014，51（18）：112-115.

[6] 戴金輝.基于混合神經(jīng)網(wǎng)絡(luò)的入侵檢測技術(shù)的研究[D].東北大學(xué)碩士論文，2010：37-39.

[7] 程劍鋒，徐俊艷.學(xué)習(xí)矢量量化的推廣及其典型形式的比較[J].計算機(jī)工程與應(yīng)用，2006（17）：64-66.

[8] 李琳，張永祥.學(xué)習(xí)向量量化（LVQ）神經(jīng)網(wǎng)絡(luò)在周期信號識別方面的擴(kuò)展應(yīng)用[J].機(jī)械設(shè)計與制造，2006，6：120-122.

篇7

關(guān)鍵詞：壁紙識別；BP神經(jīng)網(wǎng)絡(luò)；不變矩

中圖分類號：TP391.41

貼標(biāo)的識別以往是通過人工識別，人為因素影響大，識別速度慢，精度低，不能滿足大批量生產(chǎn)的需要。因此，在經(jīng)濟(jì)社會高速發(fā)展的今天，此方法越來越不能滿足壁紙行業(yè)發(fā)展的需要。隨著計算機(jī)的發(fā)展，通過計算機(jī)智能識別壁紙的紋理就成為可能，主要思路是將壁紙拍攝獲知的圖像進(jìn)行紋理特征的提取，只要建立足夠的特征庫，就可以把需要判別的壁紙圖片輸入計算機(jī)，通過檢索來判別該壁紙是哪種材種。因此，本文引入圖像處理技術(shù)和BP神經(jīng)網(wǎng)絡(luò)技術(shù)，提出一種壁紙貼標(biāo)自動識別算法，以解決貼標(biāo)大批量生產(chǎn)的需要。

1 壁紙紋理特征的提取

不變矩是指物體圖像經(jīng)過平移，旋轉(zhuǎn)以及比例變換仍保持不變的矩特征量，設(shè)物體的二維離散圖像函數(shù)用f（x，y）表示，其（p+q）階矩定義為：

（1）

相應(yīng)的（p+q）階中心矩定義為：

（2）

其中，x0=m10/m00，y0=m01/m00，x0表示二維圖像的灰度在水平方向上的重心，y0表示二維圖像的灰度在垂直方向上的重心。

HuM.K.等人利用二階、三階中心矩得到了7個不變矩特征參數(shù)，具體如下：

Φk=|log|Φk，k=1，2，3，4，5，6，7 （3）

在本設(shè)計的實驗中要求樣本的尺寸是256×256，從每一類原始樣本中采集100個能表現(xiàn)該樣本紋理的圖片，形成識別樣本庫，之后提取了所有樣本的不變矩紋理特征。

圖1 壁紙樣本圖片

2 BP-神經(jīng)網(wǎng)絡(luò)分類器的設(shè)計

2.1 BP神經(jīng)網(wǎng)絡(luò)概述

BP神經(jīng)網(wǎng)絡(luò)（Back Propagation）是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種基于誤差逆?zhèn)鞑ニ惴ǖ亩鄬忧梆伾窠?jīng)網(wǎng)絡(luò)，目前廣泛應(yīng)用于分類、識別、函數(shù)逼近等領(lǐng)域。BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，包括輸入層、輸出層和隱含層。

圖2 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

BP學(xué)習(xí)算法的工作過程由正向傳播和反向傳播組成。正向傳播過程是指輸入信號從輸入層經(jīng)隱含層，在輸出層產(chǎn)生輸出信號。如果輸出層不能得到期望的輸出信號，輸出信號將反向傳播，將誤差信號沿原有路徑返回，并按照一定規(guī)則修改網(wǎng)絡(luò)參數(shù)，逐漸地向輸入層傳播去進(jìn)行計算，正向傳播和反向傳播兩個過程的反復(fù)運(yùn)用，直到誤差信號滿足要求。

2.2 BP神經(jīng)網(wǎng)絡(luò)分類器設(shè)計

2.2.1 網(wǎng)絡(luò)輸入節(jié)點數(shù)的設(shè)計

輸入層節(jié)點數(shù)主要根據(jù)數(shù)據(jù)特征向量的維數(shù)來確定，本文輸入節(jié)點數(shù)為不變矩特征向量的維數(shù)，即輸入節(jié)點數(shù)為7。

2.2.2 網(wǎng)絡(luò)隱含層數(shù)的設(shè)計

通常情況下，增加網(wǎng)絡(luò)的隱含層數(shù)可以使網(wǎng)絡(luò)誤差降低，提高網(wǎng)絡(luò)的精度，但同時也使網(wǎng)絡(luò)變得復(fù)雜化，使得網(wǎng)絡(luò)的訓(xùn)練時間增加，而且容易出現(xiàn)網(wǎng)絡(luò)過擬合的情況。有研究表明，具有Sigmoid非線性函數(shù)的3層BP神經(jīng)網(wǎng)絡(luò)能夠逼近任何連續(xù)函數(shù)。因此，本研究中神經(jīng)網(wǎng)絡(luò)分類器的隱含層數(shù)選為3層。

2.2.3 網(wǎng)絡(luò)隱含層節(jié)點數(shù)的設(shè)計

在確定BP神經(jīng)網(wǎng)絡(luò)隱含層數(shù)后，下一步就需要確定隱含層節(jié)點數(shù)。隱含層神經(jīng)元個數(shù)一般由 是公式確定，其中n是隱含層神經(jīng)元個數(shù)，n0是輸入層神經(jīng)元個數(shù)，n1是輸出神經(jīng)元個數(shù)，a∈（1～10）。

2.2.4 網(wǎng)絡(luò)輸出層的設(shè)計

輸出層的節(jié)點數(shù)是根據(jù)BP神經(jīng)網(wǎng)絡(luò)分類器的輸出類別數(shù)量決定，也就是說，輸出層的節(jié)點數(shù)應(yīng)為類別總數(shù)。例如，本研究需要將待識別的壁紙樣本分成8大類，那么輸出層節(jié)點數(shù)應(yīng)設(shè)置為8，并將每類對應(yīng)的目標(biāo)向量依次設(shè)置為[1 0 0 0 0 0 0 0]T、[0 1 0 0 0 0 0 0]T、[0 0 1 0 0 0 0 0]T、[0 0 0 1 0 0 0 0]T、[0 0 0 0 1 0 0 0]T、[0 0 0 0 0 1 0 0]T、[0 0 0 0 0 0 1 0]T、[0 0 0 0 0 0 0 1]T，對應(yīng)目標(biāo)向量的數(shù)目為對應(yīng)輸入壁紙樣本的數(shù)目，即目標(biāo)向量與輸入壁紙樣本是相互對應(yīng)的。

本文BP神經(jīng)網(wǎng)絡(luò)分類器采用MATLAB神經(jīng)網(wǎng)絡(luò)工具箱進(jìn)行設(shè)計，訓(xùn)練函數(shù)選擇Trainlm，訓(xùn)練次數(shù)為200，誤差為0.001，將壁紙樣本其分成訓(xùn)練樣本與測試樣本2部分，并利用訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)對樣本進(jìn)行自動識別，識別率達(dá)到90.0%。

3 結(jié)束語

實驗結(jié)果表明不變矩紋理特征參數(shù)可以用于表征壁紙樣本，使用本文設(shè)計的BP神經(jīng)網(wǎng)絡(luò)分類器可以有效識別不同種類的壁紙樣本。

參考文獻(xiàn)：

[1]高雋.人工神經(jīng)網(wǎng)絡(luò)原理及仿真實例[M].北京：機(jī)械工業(yè)出版社，2003：55-63.

[2]楊斐，王坤明，馬欣.應(yīng)用BP神經(jīng)網(wǎng)絡(luò)分類器識別交通標(biāo)志[J].計算機(jī)工程，2000（10）：120-121.

[3]Yaping JIANG，Zuxin XU，Hailong YIN.Study on improved BP artificial neural networks in eutrophication assessment of China eastern lakes [J].Journal of Hydrodynamics，2006（03）：528-532.

[4]嚴(yán)曉梅，耿國華，周明全.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的指紋自動分類器[J].微計算機(jī)信息，2007（01）：281-282+288.

[5]李梅，孟凡玲，李群.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的地下水環(huán)境脆弱性評價[J].河海大學(xué)學(xué)報（自然科學(xué)版），2007（03）：245-249.

[6]閔惜琳，劉國華.用MATLAB神經(jīng)網(wǎng)絡(luò)工具箱開發(fā)BP網(wǎng)絡(luò)應(yīng)用[J].計算機(jī)應(yīng)用，2001（08）：163-164.

篇8

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò) 現(xiàn)場可編程門陣列 并行結(jié)構(gòu)

中圖分類號：TP183 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2015）12-0000-00

1 引言

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）具有良好的處理能力、自學(xué)能力及容錯能力，可以用來處理復(fù)雜的環(huán)境信息，例如，背景情況不明，推理規(guī)則不明，樣品存有一定程度的缺陷或畸變的情況。所以，卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于目標(biāo)檢測、物體識別和語音分析等方面[1]?，F(xiàn)場可編程門陣列（Field Programmable Gate Array， FPGA），作為可編程使用的信號處理器件，其具有高集成度、運(yùn)行高速、可靠性高及采用并行結(jié)構(gòu)的特點，易于配合CNN處理數(shù)據(jù)。

2 國內(nèi)外研究現(xiàn)狀

2.1 神經(jīng)網(wǎng)絡(luò)的模型結(jié)構(gòu)

根據(jù)研究角度、數(shù)據(jù)傳遞方式、數(shù)據(jù)處理模式、學(xué)習(xí)方法等的不同，多種神經(jīng)網(wǎng)絡(luò)模型被構(gòu)建出來。目前主要有四種模型被廣泛應(yīng)用中[2][3]：

（1）前饋型神經(jīng)網(wǎng)絡(luò)。此類神經(jīng)元網(wǎng)絡(luò)是由觸突將神經(jīng)原進(jìn)行連接的，所以網(wǎng)絡(luò)群體由全部神經(jīng)元構(gòu)成，可實現(xiàn)記憶、思維和學(xué)習(xí)。此種類型的網(wǎng)絡(luò)是有監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。（2）遞歸型神經(jīng)網(wǎng)絡(luò)。此種神經(jīng)網(wǎng)絡(luò)又稱為反饋網(wǎng)絡(luò)，以多個神經(jīng)元互相連接，組織成一個互連的神經(jīng)網(wǎng)絡(luò)，使得電流和信號能夠通過正向和反向進(jìn)行流通。（3）隨機(jī)型神經(jīng)網(wǎng)絡(luò)。此種神經(jīng)網(wǎng)絡(luò)的運(yùn)行規(guī)律是隨機(jī)的，通過有監(jiān)督學(xué)習(xí)方法進(jìn)行網(wǎng)絡(luò)訓(xùn)練。（4）自組織競爭型神經(jīng)網(wǎng)絡(luò)。此種神經(jīng)網(wǎng)絡(luò)通過無監(jiān)督的學(xué)習(xí)方法進(jìn)行網(wǎng)絡(luò)訓(xùn)練，一般具有兩層網(wǎng)絡(luò)結(jié)構(gòu)，輸入層和競爭層。兩層間的各神經(jīng)元實現(xiàn)雙向全連接。

2.2 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法用來解決調(diào)整網(wǎng)絡(luò)權(quán)重的問題，是指完成輸入特征向量映射到輸出變量之間的算法，可以歸納為三類[4-7]：

（1）有監(jiān)督的學(xué)習(xí)。在學(xué)習(xí)開始前，向神經(jīng)網(wǎng)絡(luò)提供若干已知輸入向量和相應(yīng)目標(biāo)變量構(gòu)成的樣本訓(xùn)練集，通過給定輸入值與輸出期望值和實際網(wǎng)絡(luò)輸出值之間的差來調(diào)整神經(jīng)元之間的連接權(quán)重。（2）無監(jiān)督的學(xué)習(xí)。此種學(xué)習(xí)方法只需要向神經(jīng)網(wǎng)絡(luò)提供輸入，不需要期望輸出值，神經(jīng)網(wǎng)絡(luò)能自適應(yīng)連接權(quán)重，無需外界的指導(dǎo)信息。（3）強(qiáng)化學(xué)習(xí)。此種算法不需要給出明確的期望輸出，而是采用評價機(jī)制來評價給定輸入所對應(yīng)的神經(jīng)網(wǎng)絡(luò)輸出的質(zhì)量因數(shù)。外界環(huán)境對輸出結(jié)果僅給出評價結(jié)果，通過強(qiáng)化授獎動作來改善系統(tǒng)性能。此種學(xué)習(xí)方法是有監(jiān)督學(xué)習(xí)的特例。

2.3 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)為識別二維或三維信號而設(shè)計的一個多層次的感知器，其基本結(jié)構(gòu)包括兩種特殊的神經(jīng)元層，一為卷積層，每個神經(jīng)元的輸入與前一層的局部相連，并提取該局部的特征[8]；二是池化層，用來求局部敏感性與二次特征提取的計算層[8]。作為部分連接的網(wǎng)絡(luò)，最底層是卷積層（特征提取層），上層是池化層，可以繼續(xù)疊加卷積、池化或者是全連接層。

3 FPGA實現(xiàn)神經(jīng)網(wǎng)絡(luò)的并行體系結(jié)構(gòu)

（1）卷積神經(jīng)網(wǎng)絡(luò)的計算架構(gòu)。卷積神經(jīng)網(wǎng)絡(luò)可以使用“主機(jī)”與“FPGA”相結(jié)合的體系模型，主機(jī)用來控制計算的開始和結(jié)束，并在神經(jīng)網(wǎng)絡(luò)前向傳播計算過程中，提供輸入圖像等數(shù)據(jù)。主機(jī)與FPGA之間的通信可以通過標(biāo)準(zhǔn)接口，在主機(jī)進(jìn)行任務(wù)分配的過程中可以對FPGA上的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行硬件加速。當(dāng)卷積神經(jīng)網(wǎng)絡(luò)開始啟動計算，通過標(biāo)準(zhǔn)接口接收到主機(jī)傳輸?shù)膱D像時，F(xiàn)PGA開始進(jìn)行計算，并且使用FPGA中的存儲器來存儲卷積核權(quán)值。FPGA將會先完成卷積神經(jīng)網(wǎng)絡(luò)前向傳播過程的計算，然后將其最后一層計算得到的結(jié)果輸出給主機(jī)。（2）卷積神經(jīng)網(wǎng)絡(luò)并行體系架構(gòu)。一、單輸出并行結(jié)構(gòu)：每次計算一個輸出圖像，其中會將多個輸入圖像和多個卷積核基本計算單元同時進(jìn)行卷積運(yùn)算，然后將全部卷積運(yùn)算的結(jié)果與偏置值進(jìn)行累加，再將結(jié)果輸入非線性函數(shù)和自抽樣子層進(jìn)行計算。二、多輸出并行結(jié)構(gòu)：若卷積神經(jīng)網(wǎng)絡(luò)的計算單元中含有多個單輸出的并行結(jié)構(gòu)，那么輸入數(shù)據(jù)可同時傳送到多個單輸出計算單元的輸入端，從而組成多個單輸出計算單元組成的并行結(jié)構(gòu)。在卷積神經(jīng)網(wǎng)絡(luò)的并行計算結(jié)構(gòu)中，每個卷積核計算單元在進(jìn)行卷積操作時都要進(jìn)行乘加運(yùn)算，所以，有必要將單個的卷積運(yùn)算拆分實現(xiàn)并行化，并且可以嘗試將同一層內(nèi)的多個卷積運(yùn)算進(jìn)行并行化。

4 結(jié)語

本文對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了介紹，總結(jié)了國內(nèi)外的研究現(xiàn)狀，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)運(yùn)算的特點與FPGA的快速計算單元數(shù)量及功能方面的優(yōu)勢，嘗試闡述了在FPGA映射過程的卷積神經(jīng)網(wǎng)絡(luò)的并行體系結(jié)構(gòu)。

參考文獻(xiàn)

[1] Fan J，Xu W，Wu Y，et al. Human tracking using convolutional neural networks[J].IEEE Transactions on Neural Networks，2010（10）：1610-1623.

[2] 楊治明，王曉蓉，彭軍.BP神經(jīng)網(wǎng)絡(luò)在圖像分割中的應(yīng)用.計算機(jī)科學(xué)[J].2007（03）：234-236.

[3] Simon Haykin . Neural networks ，a comprehensive foundation[M].second edition，Prentice Hall，1998.

[4] Herta J ， et al.Introduction to Theory of Neural Compution[M].Sant Fee Complexity Science Series，1991.156.

[5] 戴奎.神經(jīng)網(wǎng)絡(luò)實現(xiàn)技術(shù)[M].長沙：國防科技大學(xué)出版社，1998.

[6] 焦李成.神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論[M].西安：西安電子科技大學(xué)出版社，1996.

篇9

（中國蚌埠汽車士官學(xué)校裝備技術(shù)系，安徽 蚌埠 233000）

【摘　要】神經(jīng)網(wǎng)絡(luò)具有并行處理能力、自學(xué)習(xí)能力，自適應(yīng)能力和可以逼近任意的非線性函數(shù)等特點，是解決非線性、多變量、不確定的復(fù)雜診斷問題的一條有效的途徑，神經(jīng)網(wǎng)絡(luò)的這些特點使得它在故障諺斷領(lǐng)域應(yīng)用越來越廣泛。本文利用LM改進(jìn)學(xué)習(xí)算法訓(xùn)練所建立的BP神經(jīng)網(wǎng)絡(luò)，然后利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行柴油機(jī)故障診斷，得出診斷結(jié)果，使故障診斷具有人工智能化。

關(guān)鍵詞 BP神經(jīng)網(wǎng)絡(luò)；優(yōu)化；故障診斷；仿真

1　BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是多層前饋神經(jīng)網(wǎng)絡(luò)，它的名字源于網(wǎng)絡(luò)權(quán)值的調(diào)整規(guī)則，采用的是后向傳播學(xué)習(xí)算法，既BP算法。BP網(wǎng)絡(luò)是目前應(yīng)用最廣的神經(jīng)網(wǎng)絡(luò)之一，BP網(wǎng)絡(luò)是由一個輸人層，一個或多個隱層以及一個輸出層組成，如圖1所示，上下層之間實現(xiàn)全連接，而每層神經(jīng)元之間無連接。網(wǎng)絡(luò)的學(xué)習(xí)過程包括正向傳播和反向傳播。在正向傳播進(jìn)程中，輸入信息從輸入層經(jīng)隱層加權(quán)處理傳向輸出層，經(jīng)功能函數(shù)運(yùn)算后得到的輸出值與期望值進(jìn)行比較，若有誤差，則誤差反向傳播，沿原先的連接通道返回，通過逐層修改各層的權(quán)重系數(shù)，減小誤差。隨著這種誤差逆向傳播修正的不斷進(jìn)行，網(wǎng)絡(luò)對輸入模式響應(yīng)的正確率也不斷上升。

研究表明，帶有兩個隱層的BP網(wǎng)絡(luò)能形成任何形狀的決策區(qū)域。當(dāng)BP網(wǎng)用作非線性映射時，允許網(wǎng)絡(luò)實現(xiàn)輸入到輸出之間的任意映射關(guān)系，即可建立故障征兆空間與故障空間的某種映射關(guān)系，每當(dāng)給出一個實測的故障征兆矢量，網(wǎng)絡(luò)即能通過狀態(tài)演化（前傳和聯(lián)想）收斂到與其最相近的模式，從而診斷其故障原因。典型的基于神經(jīng)網(wǎng)絡(luò)模式識別的故障診斷系統(tǒng)結(jié)構(gòu)如圖2所示。

2　BP神經(jīng)網(wǎng)絡(luò)的不足

BP神經(jīng)網(wǎng)絡(luò)模型雖然在各方面都具有重要意義，而且應(yīng)用也很廣泛，但它也存在一些不足。從數(shù)學(xué)上看，它是一個非線性優(yōu)化問題，不可避免的存在局部極小點，學(xué)習(xí)算法的收斂速度慢，網(wǎng)絡(luò)隱層單元數(shù)選取帶有很大的盲目性和經(jīng)驗性，新加入的樣本要影響已學(xué)完的樣本等。

具體來說，BP算法對樣本進(jìn)行逐個學(xué)習(xí)時，常會發(fā)生“學(xué)了新的，忘了舊的”的遺忘現(xiàn)象。故此值得對樣本不斷循環(huán)重復(fù)，這樣一來其學(xué)習(xí)時間必然延長。為了克服這個缺點，將逐個學(xué)習(xí)改為批量學(xué)習(xí)，即對所有樣本都進(jìn)行學(xué)習(xí)后將其誤差相加，然后用這個誤差之和來對網(wǎng)絡(luò)的權(quán)系數(shù)進(jìn)行調(diào)整。但是這樣一來，在誤差求和時，這些誤差有可能互相抵消，這就降低了算法的調(diào)整能力，也就是延長了學(xué)習(xí)的時間。所以，按批量學(xué)習(xí)其收斂速度也會很慢。同時，批量學(xué)習(xí)方法還有可能產(chǎn)生新的局部極小點。比如各誤差不為零，但其總和為零，這種情況發(fā)生后算法就穩(wěn)定在這個狀態(tài)上，造成新的局部極小點。

3　BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的優(yōu)化

為了提高神經(jīng)網(wǎng)絡(luò)算法的學(xué)習(xí)效率及穩(wěn)定性，在反向傳播（BP）算法中可以引入基于非線性最小二乘法的Levenberg-Marquart（LM）最優(yōu)算法，替代原BP算法中的梯度下降法尋找最佳網(wǎng)絡(luò)連接權(quán)值。

LM算法是一種優(yōu)良的非線性最小二乘優(yōu)化方法，這種方法的一般模型為：

LM算法是二階收斂的Newton算法的變形，又稱變尺度法。牛頓法的權(quán)值調(diào)整算法如下：

在Gauss－Newton法中，我們要求A是滿秩的。遺憾的是在實際情況中，A為奇異的情況經(jīng)常發(fā)生，使得算法常常收斂到非駐點。這樣造成的結(jié)果是線性搜索得不到進(jìn)一步下降，從而無法找到最優(yōu)點。LM算法通過引入一個可變因子μ，將一個對角陣μI加到ATA上去，改變了原矩陣的特征值結(jié)構(gòu)使其變成滿秩正定矩陣，從而確保線性搜索的方向為下降的方向。其權(quán)值調(diào)整規(guī)則為：

我們可以利用μ來控制迭代，μ可以在一較大的范圍內(nèi)進(jìn)行調(diào)整。μ較小時即為Gauss－Newton法；μ較大時即為最速下降法。μ參數(shù)的引入，以及在迭代過程中μ參數(shù)的可調(diào)節(jié)性，極大地改善了算法收斂的穩(wěn)定性。

采用LM最優(yōu)化算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)，替代原BP算法中的梯度下降法尋找最佳網(wǎng)絡(luò)連接權(quán)值。仿真試驗證明，這種學(xué)習(xí)算法提高了BP網(wǎng)絡(luò)算法的學(xué)習(xí)效率及穩(wěn)定性，并提高了網(wǎng)絡(luò)的收斂速度，更好的實現(xiàn)了對柴油機(jī)燃油壓力信號的故障診斷。

4　基于優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)柴油機(jī)燃料系故障診斷

4.1　確定故障特征信息

柴油機(jī)燃油系統(tǒng)的狀態(tài)信息主要體現(xiàn)在高壓油管的壓力波形中，當(dāng)某處發(fā)生故障時，必然使原有供油狀態(tài)發(fā)生變化，燃油流動的壓力和流速等參數(shù)會有相應(yīng)的改變，反映在壓力波形上將導(dǎo)致波形形態(tài)和波形參數(shù)值的變化。因此利用壓力傳感器測取高壓油管的燃油壓力波形，并對波形進(jìn)行分析、提取出故障特征，再利用人工神經(jīng)網(wǎng)絡(luò)模型對特征值進(jìn)行模式識別就可達(dá)到故障診斷的目的。圖3、圖4分別為100%和25%供油量噴油壓力波形圖。

4.2　提取特征參數(shù)

特征參數(shù)的提取是模式識別過程中的重要環(huán)節(jié)，它關(guān)系到模式識別效果的準(zhǔn)確性。由于燃油壓力波形是一種規(guī)則波形，任一壓力波形都標(biāo)志著柴油機(jī)燃油系統(tǒng)的一種工作狀態(tài)。壓力波形的狀態(tài)信息主要體現(xiàn)在波形的結(jié)構(gòu)形態(tài)上，可以直接從其時域波形上提取波形的結(jié)構(gòu)特征，并表示為便于計算的特征空間。根據(jù)分析和試驗，對于燃油壓力波形來說，最大壓力、起噴壓力、落座壓力、次最大壓力、波形幅度、上升沿寬度、波形寬度、最大余波寬度等特征最能表現(xiàn)出柴油機(jī)運(yùn)行時的狀況。為了獲得最佳診斷效果，我們選用這八種參數(shù)構(gòu)成特征向量空間，如圖5所示。

4.3　BP神經(jīng)網(wǎng)絡(luò)的建立及故障診斷過程

4.3.1　數(shù)據(jù)樣本采集

柴油機(jī)燃料系故障主要是供油量不足，主要表現(xiàn)為針閥卡死、針閥泄漏、出油閥失效等。在發(fā)動機(jī)800r/min時，用傳感器分別采集正常油量、針閥卡死、針閥泄漏、出油閥失效四種狀態(tài)的燃油壓力數(shù)據(jù)，繪制出不同狀態(tài)下的燃油壓力波形，對每個波形手動提取出最大壓力、啟噴壓力、落座壓力、次最大壓力、波形幅度、上升沿寬度、波形寬度、最大余波寬度這8個特征值。一般情況下，每個狀態(tài)至少采集提取5個實際樣本，每個樣本都包括以上8個特征值，用來建立網(wǎng)絡(luò)，訓(xùn)練網(wǎng)絡(luò)，并進(jìn)行故障診斷。

4.3.2　BP神經(jīng)網(wǎng)絡(luò)的建立和訓(xùn)練

新建BP神經(jīng)網(wǎng)絡(luò)NewNet，如圖6所示，網(wǎng)絡(luò)設(shè)計采用三層BP網(wǎng)絡(luò)，網(wǎng)絡(luò)的輸入層個數(shù)為8個，輸出層的個數(shù)為4個，隱含層的個數(shù)并不是固定的，經(jīng)過實際訓(xùn)練的檢驗和不斷的調(diào)整，確定隱含層的個數(shù)近似遵循下列關(guān)系n2=2n1+1。其中n1為輸入層個數(shù)，n2為隱含層個數(shù)，因此隱含層個數(shù)為17個。

四種故障模式可以用如下形式表示輸出：

正常油量（1，0，0，0）；針閥卡死（0，1，0，0）；針閥泄漏（0，0，1，0）；出油閥失效（0，0，0，1）。

輸入層至隱層的連接權(quán)Wij、隱層至輸出層的連接權(quán)Vjt、隱層各單元的輸出閾值θj、輸出層各單元的輸出閾值γj ，都選取為（－1～1）之間的隨機(jī)數(shù)，然后按照BP網(wǎng)絡(luò)的學(xué)習(xí)步驟進(jìn)行學(xué)習(xí)。網(wǎng)絡(luò)輸入層的傳遞函數(shù)采用雙曲正切S型傳遞函數(shù)Tansig，第二層傳遞函數(shù)采用S型對數(shù)函數(shù)Logsig，利用基于非線性最小二乘法的LM最優(yōu)算法，替代原BP算法中的梯度下降法訓(xùn)練神經(jīng)網(wǎng)絡(luò)，求出最佳網(wǎng)絡(luò)連接權(quán)值和閾值。

利用所采集數(shù)據(jù)樣本，作為網(wǎng)絡(luò)訓(xùn)練的原始樣本，確定初始連接值和閾值后利用Matlab編程，訓(xùn)練的速度為0.1，訓(xùn)練誤差精度為0.01，對網(wǎng)絡(luò)訓(xùn)練9000次，得出最終的各個連接權(quán)值和閾值，訓(xùn)練結(jié)束。

4.3.3　故障診斷過程及結(jié)果

網(wǎng)絡(luò)訓(xùn)練結(jié)束后，將表1中的測試數(shù)據(jù)輸入訓(xùn)練好地BP網(wǎng)絡(luò)。

經(jīng)過運(yùn)算后，網(wǎng)絡(luò)輸出層得出如下的診斷結(jié)果：

從測試結(jié)果可以看出，診斷結(jié)果與實測值具有良好的一致性，診斷誤差分別為0.0043、0.0005、0.0035和0.0380可見診斷誤差非常小，因此可以判定，該BP神經(jīng)網(wǎng)絡(luò)完全可以滿足柴油機(jī)燃油系常見故障的診斷要求。

5　結(jié)束語

仿真試驗表明，基于優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)的故障診斷結(jié)果與實測值具有良好的一致性，只要選擇足夠典型的原始故障樣本訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的容錯性和穩(wěn)定性就較好。針對設(shè)備運(yùn)行的復(fù)雜性，僅選用單一的診斷參數(shù)往往會做出錯誤的判斷，而基于神經(jīng)網(wǎng)絡(luò)的故障模式識別方法能充分利用信息特征，實現(xiàn)輸人與輸出之間的映射關(guān)系，得出準(zhǔn)確的診斷結(jié)果。（下轉(zhuǎn)第188頁）

參考文獻(xiàn)

［1］黃麗．BP神經(jīng)網(wǎng)絡(luò)算法改進(jìn)及應(yīng)用研究[D]．重慶師范大學(xué)，2008：6－15．

［2］孫即祥．現(xiàn)代模式識別[M]．國防科技大學(xué)出版社，2001，5．

［3］李國勇．智能控制及其MATLAB實現(xiàn)[M]．電子工業(yè)出版社，2005，5．

［4］李煥良，等．基于BP神經(jīng)網(wǎng)絡(luò)的電氣系統(tǒng)故障診斷[J]．起重運(yùn)輸機(jī)械，2005，6:55－56．

［5］王俊生．柴油發(fā)動機(jī)燃油系統(tǒng)的故障分析研究[J]．山西建筑，2003，4:250．

［6］董學(xué)剛．燃油壓力波檢測在機(jī)車柴油機(jī)故障判斷上的應(yīng)用[J]．內(nèi)燃機(jī)車，2002，7:25－27．

篇10

Yi Wan，Luo Jing，Li Yong，Guo Shaoying （College of computer science and Information Engineering， Tianjin University of Science & Technology， Tianjin 300222， China） Abstract： According to user search history， the user information of interest by Title Classification， the auto-encoder neural network feature extraction value. Set the learning sample heading up to 25 Chinese characters， coding mode is adopted Chinese characters machine code （GBK code）. Use the MATLAB tool for deep learning， will feature in the original space representation is transformed into a new feature space. Key words： Text feature; The auto-encoder neural network; Deep learning; Matlab

基于自編碼神經(jīng)網(wǎng)絡(luò)建立搜索信息模型的目的是根據(jù)用戶搜索信息的歷史，推斷出網(wǎng)頁中的內(nèi)容是用戶關(guān)注的信息并即時顯示。首先將用戶關(guān)注的歷史信息按標(biāo)題分類，通過自編碼神經(jīng)網(wǎng)絡(luò)建立標(biāo)題特征值數(shù)據(jù)庫。當(dāng)自編碼神經(jīng)網(wǎng)絡(luò)搜索信息模型工作時，按照用戶提供的關(guān)鍵詞順序，打開用戶經(jīng)常瀏覽的網(wǎng)頁，讀入標(biāo)題文本，若具有數(shù)據(jù)庫中的標(biāo)題特征，則將該標(biāo)題的文本內(nèi)容即時顯示。

直接解析網(wǎng)頁中的標(biāo)題文本，面臨的基本問題是文本的表示。如果把標(biāo)題文本所有的詞都作為特征項，那么太多的特征向量維數(shù)導(dǎo)致計算量太大。例如50個標(biāo)題，每個標(biāo)題25個漢字，特征項將有50×25=1250個。如果將標(biāo)題中的某個關(guān)鍵詞作為特征詞，將會有幾千個包含關(guān)鍵詞的標(biāo)題，從而導(dǎo)致讀入分析量過于巨大。本文采用自編碼神經(jīng)網(wǎng)絡(luò)，用映射變換的方法把原始文本特征變換為較少的新特征，提高信息搜索效率。

1 自編碼神經(jīng)網(wǎng)絡(luò)

1.1 自編碼神經(jīng)網(wǎng)絡(luò)理論

Auto-Encoder（自編碼）[1]，自編碼算法是一種基于神經(jīng)網(wǎng)絡(luò)算法的無監(jiān)督學(xué)習(xí)算法，與神經(jīng)網(wǎng)絡(luò)算法的不同之處是將輸入值作為輸出節(jié)點的輸出。自編碼算法的另一個特征是隱藏層節(jié)點的個數(shù)一般少于輸入輸出節(jié)點的個數(shù)。這樣的意義是將輸入的特征通過神經(jīng)網(wǎng)絡(luò)的非線性變換到節(jié)點數(shù)更少的隱藏層。因此，可以通過自編碼神經(jīng)網(wǎng)絡(luò)對給定的樣本進(jìn)行訓(xùn)練學(xué)習(xí)，從而得到輸入數(shù)據(jù)降維后的特征，即為隱藏層的節(jié)點數(shù)，省去了人工特征提取的麻煩。

自編碼神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖1所示[2]。這是一種深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，包含了多個隱含層，整個網(wǎng)絡(luò)是一種對稱的結(jié)構(gòu)，中心層的神經(jīng)元的個數(shù)最少。網(wǎng)絡(luò)通過對樣本的訓(xùn)練可以得到一組權(quán)值系數(shù)，而輸入數(shù)據(jù)通過這組權(quán)值系數(shù)表達(dá)成低維形式，從而達(dá)到了用降維后的特征表示出輸入的數(shù)據(jù)。

圖1 自編碼神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

Fig.1 The structure of auto-encoder neural network

1.1.1 預(yù)訓(xùn)練

（1） 輸入?yún)?shù)的確定：標(biāo)題是作者給出的提示文章內(nèi)容的短語，標(biāo)題一般都簡練、醒目，有不少縮略語，與報道的主要內(nèi)容有著重要的聯(lián)系。如登陸我的鋼鐵網(wǎng)站，搜索鋼管熱點資訊，顯示的標(biāo)題有“我國自主研制*****油管成功替代進(jìn)口”，學(xué)習(xí)樣本選擇50組標(biāo)題，每個標(biāo)題不超過25個漢字，如表1所示。

表1 學(xué)習(xí)樣本

Tab. 1 Learning samples

1

我國自主研制高端耐熱鋼無縫鋼管成功替代進(jìn)口

2

我國自主研制K55石油套管成功替代進(jìn)口

3

我國自主研制J55稠油熱采套管成功替代進(jìn)口

4

我國自主研制專用耐高溫防火船舶用套管成功替代進(jìn)口

5

我國自主研制20G高壓鍋爐管成功替代進(jìn)口

6

我國自主研制特殊用途低溫用管成功替代進(jìn)口

7

我國自主研制起重機(jī)臂架無縫鋼管成功替代進(jìn)口

8

我國自主研制精密合金4J36船用管材成功替代進(jìn)口

9

我國自主研制高強(qiáng)韌性高抗擠毀套管成功替代進(jìn)口

10

我國自主研制三種極限規(guī)格管線管成功替代進(jìn)口

…

……

50

我國自主研制醫(yī)藥化工用管成功替代進(jìn)口

（2） 語句預(yù)處理[3]：學(xué)習(xí)樣本句子進(jìn)行預(yù)處理是把句子中的每一個漢字變換成自編碼神經(jīng)網(wǎng)絡(luò)模型能接受的數(shù)字化形式。為了使神經(jīng)網(wǎng)絡(luò)能接受外部數(shù)據(jù)，首先要對句子中的漢字進(jìn)行編碼，編碼方式是采用漢字的計算機(jī)內(nèi)碼（GBK碼）。每個漢字機(jī)內(nèi)碼有16位二進(jìn)制，如：“我國自主研制”的二進(jìn)制碼為

1100111011010010 我（GBK碼）

1011100111111010 國（GBK碼）

1101011111010100 自（GBK碼）

1101011011110111 主（GBK碼）

1101000111010000 研（GBK碼）

1101011011000110 制（GBK碼）

將16位二進(jìn)制數(shù)轉(zhuǎn)換為十進(jìn)制數(shù)并進(jìn)行線性變換，映射到實數(shù)[0 1]之間，作為輸入神經(jīng)元初值。變換公式如下：

式中：maxi和mini;tmax和tmin分別為x（p）i，t（p）量程范圍的最大值和最小值。

（3）預(yù)訓(xùn)練：幾個獨(dú)立的RBM構(gòu)成“堆?！睒?gòu)成了預(yù)訓(xùn)練部分，而RBM是BM （boltzmannmachine）的一種特殊連接方式。圖2即為RBM的網(wǎng)絡(luò)構(gòu)成。它是一種隱含層神經(jīng)元無連接，并且只有可見層和隱含層兩層神經(jīng)元。

圖2 RBM網(wǎng)絡(luò)構(gòu)成

Fig. 2 Construction of restricted boltzmannmachine

BM的權(quán)值調(diào)整公式為[4]

（1）

式中：在第t步時神經(jīng)元i、j間的連接權(quán)值為wij（t）;η為學(xué)習(xí)速率;T為網(wǎng)絡(luò)溫度;<uihj>+、<uihj>-分別為正向平均關(guān)聯(lián)和反向平均關(guān)聯(lián)。

在RBM中，可見層神經(jīng)元的輸出和隱含層神經(jīng)元輸出的乘積即為平均關(guān)聯(lián)。系數(shù)ε由η和T統(tǒng)一合并而成，迭代步長即由權(quán)值調(diào)整公式ε表示。

圖3 RBM網(wǎng)絡(luò)結(jié)構(gòu)圖

Fig. 3 RBM network structure diagram

（4）MATLAB實現(xiàn)：

本文建立的BP神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)為

[25，15，25]，[15，12，15]，[12，10，12]，[10，8，10]，[8，5，8]

設(shè)定網(wǎng)絡(luò)隱含層的激活函數(shù)為雙曲正切S型函數(shù)tansig，輸出層的激活函數(shù)為線性激活函數(shù)purelin，網(wǎng)絡(luò)的訓(xùn)練函數(shù)為Levenberg-Marquardt算法訓(xùn)練函數(shù)trainlm。因此對應(yīng)的MATLAB神經(jīng)網(wǎng)絡(luò)工具箱的程序語句為

net=newff（minmax（P），[25，25]，{‘tansig’，’purelin’}， ’trainlm’）;

net=newff（minmax（P），[15，15]，{‘tansig’，’purelin’}，’trainlm’）;

net=newff（minmax（P），[12，12]，{‘tansig’，’purelin’}，’trainlm’）;

net=newff（minmax（P），[10，10]，{‘tansig’，’purelin’}，’trainlm’）;

net=newff（minmax（P），[8，8]，{‘tansig’，’purelin’}，’trainlm’）;

設(shè)定學(xué)習(xí)速率為0.01，最大訓(xùn)練步數(shù)為300，目標(biāo)誤差為0.00001。

（5）預(yù)訓(xùn)練結(jié)果：

預(yù)訓(xùn)練結(jié)果如表2所示。

表2 預(yù)訓(xùn)練結(jié)果

Tab. 2 The results of pre training

誤差

學(xué)習(xí)速率

步長

[25，15，25]

0.003248

0.01

150

[15，12，15]

0.0022809

0.01

125

[12，10，12]

0.0025866

0.01

100

[10，8，10]

0.0039575

0.01

75

[8，5，8]

0.013529

0.01

50

1.1.2 展開

如圖4所示，將各個RBM連接，得到自編碼神經(jīng)網(wǎng)絡(luò)。預(yù)訓(xùn)練所得到的權(quán)值，將作為整個自編碼神經(jīng)網(wǎng)絡(luò)的初始權(quán)值，參與整個網(wǎng)絡(luò)的微調(diào)訓(xùn)練。

圖4 RBM展開圖

Fig. 4 Development of RBM network structure

1.1.3 微調(diào)

微調(diào)訓(xùn)練是在預(yù)訓(xùn)練得到初始權(quán)值的基礎(chǔ)上，對權(quán)值進(jìn)一步調(diào)整。采用以交叉熵為目標(biāo)函數(shù)[5]的BP算法完成網(wǎng)絡(luò)的微調(diào)訓(xùn)練。交叉熵是用來度量兩個概率分布間差異性的，它是一個非負(fù)數(shù)，兩個分布越相似，其越小。原始的交叉熵定義為

（4）

式中：x為隨機(jī)變量;q（x）為已知概率分布;p（x）為估計概率分布。

對于隨機(jī)變量x，當(dāng)用q（x）估計p（x）時，通過調(diào)整受x影響的p（x）來最小化交叉熵D（pq），用于自編碼神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整的BP算法交叉熵函數(shù)形式為

（5）

式中：ti目標(biāo)概率分布;yi實際概率分布。

整個網(wǎng)絡(luò)訓(xùn)練的目的是調(diào)整權(quán)值以使交叉熵函數(shù)達(dá)到最小，權(quán)值調(diào)整公式為

根據(jù)上面的權(quán)值調(diào)整公式，可以完成網(wǎng)絡(luò)的微調(diào)訓(xùn)練。訓(xùn)練結(jié)果如表3所示。

表3 微調(diào)訓(xùn)練結(jié)果

1.1.4 特征提取

50組標(biāo)題（每個標(biāo)題不超過25個漢字）的學(xué)習(xí)訓(xùn)練，通過自編碼網(wǎng)絡(luò)的逐層特征變換，將樣本數(shù)據(jù)約1250（50×25）個漢字編碼，在原空間的特征表示變換到一個新特征空間。其中網(wǎng)絡(luò)最深隱含層的輸出值（5個）和權(quán)值矩陣W6（5×8=40個），共計45個，為提取標(biāo)題文本1250個漢字編碼的特征值。

2 實 例

本文選取10組標(biāo)題文本見表4，分別輸入自編碼神經(jīng)網(wǎng)絡(luò)。預(yù)測結(jié)果表示基本符合要求。

表4 預(yù)測結(jié)果

Tab. 4 The prediction results

序號

樣本輸入

結(jié)果顯示

1

我國自主研制的蛟龍?zhí)柹钏綔y器成功替代進(jìn)口

無

2

我國自主研制首臺3.6萬噸垂直擠壓機(jī)擠合格鋼管成功替代進(jìn)口

我國自主研制首臺3.6萬噸垂直擠壓機(jī)擠合格鋼管成功替代進(jìn)口

3

我國自主研制的超級計算機(jī)系統(tǒng)成功替代進(jìn)口

無

4

我國自主研發(fā)的1000MPa高壓共軌管成功替代進(jìn)口

我國自主研發(fā)的1000MPa高壓共軌管成功替代進(jìn)口

5

我國自主研制超臨界電站無縫鋼管T92、P92成功替代進(jìn)口

我國自主研制超臨界電站無縫鋼管T92、P92成功替代進(jìn)口

6

我國自主研制重載火車頭下線成功替代進(jìn)口

無

7

我國自主研制成功特高壓交、直流套管成功替代進(jìn)口

我國自主研制成功特高壓交、直流套管成功替代進(jìn)口

8

我國自主研制的Q355GNH系列耐候鋼成功替代進(jìn)口

我國自主研制的Q355GNH系列耐候鋼成功替代進(jìn)口

9

我國自主研制的渦槳支線飛機(jī)成功替代進(jìn)口

無

10

我國自主研制釩微合金L290管線鋼成功替代進(jìn)口

我國自主研制釩微合金L290管線鋼成功替代進(jìn)口

3 結(jié) 語

本文按照標(biāo)題文本分類檢索信息，解決了直接按照關(guān)鍵詞搜索信息，網(wǎng)頁中經(jīng)常顯示幾千條包含關(guān)鍵詞內(nèi)容的標(biāo)題本文，從而導(dǎo)致讀入分析信息量過于巨大的問題。通過自編碼神經(jīng)網(wǎng)絡(luò)提取文本特征，在不損傷文本核心信息的情況下盡量減少要處理的單詞數(shù)，以此來降低向量空間維數(shù)，簡化計算，提高了文本處理的速度和效率。