導(dǎo)語：如何才能寫好一篇神經(jīng)網(wǎng)絡(luò)的正則化方法，這就需要搜集整理更多的資料和文獻(xiàn)，歡迎閱讀由公務(wù)員之家整理的十篇范文，供你借鑒。

篇1

[關(guān)鍵詞]：貝葉斯BP神經(jīng)網(wǎng)絡(luò) 預(yù)測(cè)流程 預(yù)測(cè)模型 仿真分析

一、貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)算法

為了解決在工程中遇到的一些基于BP神經(jīng)網(wǎng)絡(luò)的問題，可通過減少神經(jīng)網(wǎng)絡(luò)的參數(shù)數(shù)量，降低網(wǎng)絡(luò)規(guī)模，這樣就不會(huì)出現(xiàn)過擬合的現(xiàn)象，這就是正則化（regularization）方法。為保證用此方法設(shè)置的參數(shù)能夠自適應(yīng)神經(jīng)網(wǎng)絡(luò)并且能夠優(yōu)化，通常采用貝葉斯理論，即通過LevenbergMarquardt（LM）算法實(shí)現(xiàn)這一目的，這也就是我們熟知的貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)（Bayesian Regularization BP neural network， BRBPNN ）。

二、基于貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)的性能預(yù)測(cè)流程

在利用貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)算法來實(shí)現(xiàn)對(duì)離心泵性能預(yù)測(cè)時(shí)?？砂凑?qǐng)D所示的流程圖進(jìn)行：

三、構(gòu)建基于貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)性能預(yù)測(cè)模型

在貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)中，輸入模式對(duì)于離心泵性能預(yù)測(cè)預(yù)測(cè)結(jié)果有比較大影響，選取對(duì)離心泵能量性能影響較大的離心泵幾何參數(shù)（葉輪出口直徑（ ）、葉片出口寬度（ ）、葉片出口安放角（ ）、渦殼的基圓直徑（ ）、渦殼進(jìn)口寬度（ ）、蝸殼第八斷面面積（ ）、葉片包角（ ）以及葉片數(shù)（ ））和設(shè)計(jì)流量（ ）作為貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)的輸入變量。根據(jù)輸入模式可以確定輸入層神經(jīng)元數(shù)目為9?？紤]到BF神經(jīng)網(wǎng)絡(luò)的隱含層神經(jīng)元是徑向基函數(shù)，該特性使BF神經(jīng)網(wǎng)絡(luò)的擬合特性為局部性，于是本文將泵的揚(yáng)程和效率預(yù)測(cè)設(shè)計(jì)為2個(gè)相類似結(jié)構(gòu)的貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，即離心泵揚(yáng)程和效率貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，如圖2所示。

四、仿真實(shí)驗(yàn)

為了考察建立的離心泵性能貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的有效性，我們采用從沈陽水泵研究所編撰的《全國優(yōu)秀水力模型匯編》和江蘇大學(xué)關(guān)醒凡教授編撰的《現(xiàn)代泵技術(shù)手冊(cè)》選取57組單級(jí)單吸離心泵的設(shè)計(jì)參數(shù)和試驗(yàn)參數(shù)作為訓(xùn)練樣本數(shù)據(jù)和目標(biāo)數(shù)據(jù)。得到訓(xùn)練樣本數(shù)據(jù)和目標(biāo)數(shù)據(jù)輸入的離心泵性能貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型進(jìn)行訓(xùn)練學(xué)習(xí)曲線如圖3所示：

為了考察建立的離心泵性能的貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的效果，我們從沈陽水泵研究所編撰的《全國優(yōu)秀水力模型匯編》和江蘇大學(xué)關(guān)醒凡教授編撰的《現(xiàn)代泵技術(shù)手冊(cè)》選取6組單級(jí)單吸離心泵的設(shè)計(jì)參數(shù)和試驗(yàn)參數(shù)數(shù)據(jù)作為檢驗(yàn)樣本，其具體數(shù)據(jù)如表1所示。

采用表1的數(shù)據(jù)和利用已經(jīng)建立的離心泵性能的貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型進(jìn)行預(yù)測(cè)離心泵的揚(yáng)程、效率等性能指標(biāo)，與譚明高、劉厚林、袁壽其等人所做實(shí)驗(yàn)和撰寫的文獻(xiàn)參數(shù)進(jìn)行對(duì)比，其結(jié)果如表2所示。

分析表2的離心泵性能的2種改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型檢驗(yàn)樣本預(yù)測(cè)結(jié)果發(fā)現(xiàn)：BRBP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的揚(yáng)程 最大相對(duì)誤差的絕對(duì)值為6.98% 、最小相對(duì)誤差的絕對(duì)值為0.41%、均方根相對(duì)誤差為5.20%； 效率誤差最大相對(duì)誤差的絕對(duì)值為5.30% 、最小相對(duì)誤差的絕對(duì)值為1.67%、均方根誤差為2.98% 。LMBP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的揚(yáng)程 最大相對(duì)誤差的絕對(duì)值為14.0% 、最小相對(duì)誤差的絕對(duì)值為0.06%、均方根相對(duì)誤差為7.81%；效率誤差 最大相對(duì)誤差的絕對(duì)值為3.21% 、最小相對(duì)誤差的絕對(duì)值為0.17%、均方根誤差為1.85%。

通過對(duì)上面的結(jié)構(gòu)分析，效率預(yù)測(cè)精度高一些，揚(yáng)程預(yù)測(cè)精度低一些，我們可以推斷，這可能與離心泵的影響因素有關(guān)。BRBP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)離心泵揚(yáng)程精度最高，LMBP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)離心泵效率精度最高。

需指出的是，雖然貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)離心泵效率精度比LMBP神經(jīng)網(wǎng)絡(luò)差一些，但在預(yù)測(cè)離心泵揚(yáng)程方面BRBP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型比LMBP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型明顯精度更好一些。這是因?yàn)樨惾~斯正則化BP神經(jīng)網(wǎng)絡(luò)靠貝葉斯統(tǒng)計(jì)理論進(jìn)行確定和訓(xùn)練，由程序自動(dòng)確定，相對(duì)而言更穩(wěn)定。

五、總結(jié)

本章采用貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)算法，建立了離心泵性能預(yù)測(cè)模型，最后在沈陽水泵研究所編撰的《全國優(yōu)秀水力模型匯編》和江蘇大學(xué)關(guān)醒凡教授編撰的《現(xiàn)代泵技術(shù)手冊(cè)》選取57組單級(jí)單吸離心泵的設(shè)計(jì)參數(shù)和試驗(yàn)參數(shù)進(jìn)行建模和驗(yàn)證，結(jié)果表明離心泵性能貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型與原有的離心泵性能LMBP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型一樣有效，并且設(shè)置參數(shù)更簡(jiǎn)單、更方便，是一種比較有前途的離心泵性能預(yù)測(cè)方法。

參考文獻(xiàn)：

[1]關(guān)醒凡.現(xiàn)代泵技術(shù)手冊(cè)[M].宇航出版社，1995.

篇2

【關(guān)鍵詞】短期負(fù)荷預(yù)測(cè)；參數(shù)優(yōu)化；量子差分進(jìn)化；最小二乘支持向量機(jī)

引言

“十三五”規(guī)劃期間，隨著電力市場(chǎng)化改革的進(jìn)一步深化與智能電網(wǎng)的大規(guī)模試點(diǎn)，精度較高的負(fù)荷預(yù)測(cè)對(duì)保障智能電網(wǎng)的安全穩(wěn)定運(yùn)行與電能資源的優(yōu)化配置至關(guān)重要。故不斷改進(jìn)負(fù)荷預(yù)測(cè)方法，提高預(yù)測(cè)的精度，對(duì)于制定經(jīng)濟(jì)優(yōu)化的發(fā)電計(jì)劃、降低旋轉(zhuǎn)儲(chǔ)備容量、進(jìn)行電力市場(chǎng)需求分析等方面均有十分重要的意義。

目前，用于負(fù)荷預(yù)測(cè)的方法大體可以分為經(jīng)典的數(shù)學(xué)統(tǒng)計(jì)方法和基于人工智能的方法，其中，大多數(shù)負(fù)荷預(yù)測(cè)理論都基于時(shí)間序列分析，包括自回歸模型（VAR）[1]，自回歸滑動(dòng)平均模型（ARMA）模型[2]等，時(shí)間序列平滑預(yù)測(cè)法的模型識(shí)別與參數(shù)估計(jì)都是根據(jù)有限序列去推斷原序列式的性質(zhì)來完成，這種推斷誤差較大，不能滿足短期負(fù)荷預(yù)測(cè)精度需要。隨著世界各國電力市場(chǎng)的發(fā)展，負(fù)荷預(yù)測(cè)受到了更加廣泛的重視，神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)技術(shù)[3]，混沌預(yù)測(cè)技術(shù)[4]以及粒子群優(yōu)化[5]，LSSVM[6]等自學(xué)能力較強(qiáng)的預(yù)測(cè)方法都在負(fù)荷預(yù)測(cè)中應(yīng)用廣泛。負(fù)荷預(yù)測(cè)是ANN在電力系統(tǒng)應(yīng)用中最合適的領(lǐng)域，但由于神經(jīng)網(wǎng)絡(luò)模型輸入的原始數(shù)據(jù)必須以精準(zhǔn)為前提，而實(shí)際預(yù)測(cè)時(shí)，因統(tǒng)計(jì)存在差異，使得數(shù)據(jù)同實(shí)際值有一定差別，導(dǎo)致預(yù)測(cè)精度不理想。并且針對(duì)不同地區(qū)的特點(diǎn)，應(yīng)根據(jù)其負(fù)荷變化的規(guī)律及氣象變化規(guī)律選取不同的特征參數(shù)，不同的ANN模型與結(jié)構(gòu)，這就增加了推廣的難度。

與神經(jīng)網(wǎng)絡(luò)算法采用經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則不同，支持向量機(jī)（SVM）采用的是結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，將求解過程轉(zhuǎn)化為凸二次規(guī)劃問題。這就很好地克服了神經(jīng)網(wǎng)絡(luò)的一些不足，且在負(fù)荷預(yù)測(cè)的實(shí)際應(yīng)用中取得了很好地性能表現(xiàn)。但是正則化參數(shù)與核參數(shù)的選擇極大影響著LSSVM的性能。量子差分進(jìn)化算法有效的克服了群智能算法中比較普遍的早熟現(xiàn)象，提高了全局的搜索能力。本文通過量子差分進(jìn)化算法優(yōu)化最小二乘支持向量機(jī)模型的正則化參數(shù)與核函數(shù)參數(shù)，實(shí)現(xiàn)參數(shù)的自動(dòng)調(diào)整。

一、基于量子差分進(jìn)化的LSSVM建模過程

在基于量子差分進(jìn)化的LSSVM建模中，LSSVM輸出值為帶有和的因變量，而正則參數(shù)與核函數(shù)由量子差分進(jìn)化算法進(jìn)行優(yōu)化選取，優(yōu)化的目標(biāo)函數(shù)為輸出值與實(shí)際值的誤差平方和。

優(yōu)化目標(biāo)函數(shù)定義為：

其中，yi為第個(gè)已知樣本的輸入值，yi'為第個(gè)樣本對(duì)應(yīng)的模型預(yù)測(cè)輸出值，為樣本總體個(gè)數(shù)。

則基于QDE的LSSVM模型參數(shù)的組合尋優(yōu)步驟如下：

1）參數(shù)初始化

QDE算法的主要參數(shù)為種群規(guī)模N，染色體長度D，變異因子F，交叉因子C和最大世代數(shù)g，其中，g初始化為0。

2）種群初始化

產(chǎn)生一個(gè)N*D規(guī)模均勻分布的隨機(jī)數(shù)矩陣，按照以下方式：

其中，i=1，2，……，N，j=1，2，……，D，與分別表示第j列的上界和下界。

3） 量子編碼

對(duì)初始種群進(jìn)行量子編碼

4） 變異操作

變異操作使用兩個(gè)隨機(jī)向量，按照公產(chǎn)生變異向量

5）交叉操作

交叉操作可以增加種群多樣性

6）選擇操作

選擇操作保證更優(yōu)的后代生存到下一個(gè)世代，選擇操作的原則是按照最優(yōu)適應(yīng)度進(jìn)行。

綜上，基于QDE改進(jìn)的LSSVM算法流程圖如圖1所示。

二、算例分析

本文選取山西陽泉2013-5-01至2013-5-31全天24個(gè)小時(shí)的歷史預(yù)測(cè)數(shù)據(jù)，影響因素包括：日分類，0表示樣本日為工作日（周一―周五），0.8表示一般休息日（周六、周天），1表示節(jié)假日（法定節(jié)假日與民間節(jié)日）；日溫度（日最高溫度，日最低溫度）；日降水量。選取2013-5-01至2013-5-30的720個(gè)數(shù)據(jù)作為訓(xùn)練樣本，2013-5-31作為測(cè)試樣本。同時(shí)，為了反映不同的負(fù)荷情況，31號(hào)得到了24個(gè)小時(shí)的測(cè)試結(jié)果。

為了準(zhǔn)確評(píng)估預(yù)測(cè)模型，采用平均絕對(duì)百分比誤差與最大相對(duì)誤差來衡量模型預(yù)測(cè)結(jié)果的可行性。

其中，與分別為測(cè)試樣本的輸出值與實(shí)際數(shù)值。

設(shè)定種群規(guī)模，變異概率Pm=0.05，交叉因子Cr=0.5，收縮因子且隨機(jī)生成種群數(shù)。根據(jù)圖1所示流程，對(duì)2013-5-31進(jìn)行24點(diǎn)負(fù)荷預(yù)測(cè)。

從圖2中可以看到，短期負(fù)荷量與時(shí)間成非線性相關(guān)。因此，將LSSVM預(yù)測(cè)及BPNN的預(yù)測(cè)結(jié)果作為對(duì)比。LSSVM的預(yù)測(cè)步驟與QDE_LSSVM的預(yù)測(cè)步驟相似，未經(jīng)過QDE優(yōu)化的LSSVM的參數(shù)為（？酌，？滓2）=（0.4641.725），BPNN網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)為2-5-1， BPNN網(wǎng)絡(luò)的迭代次數(shù)設(shè)定為1000，學(xué)習(xí)率為0.5，目標(biāo)為0.00004。

圖2給出了QDE_LSSVM，LSSVM與BPNN的短期負(fù)荷預(yù)測(cè)結(jié)果。其中BPNN的預(yù)測(cè)值波動(dòng)性較大，不能滿足短期負(fù)荷預(yù)測(cè)要求的穩(wěn)定性原則。而經(jīng)過改進(jìn)的LSSVM模型更加接近原始曲線，能夠滿足實(shí)際電力系統(tǒng)負(fù)荷預(yù)測(cè)的要求。

表1給出了三種預(yù)測(cè)方法的平均相對(duì)誤差與最大相對(duì)誤差，其中QDE_LSSVM的平均相對(duì)誤差最低，為1.06%，比BPNN低0.74%。這表明，與BPNN相比，QDE_LSSVM的小樣本集合回歸問題上具有顯著優(yōu)勢(shì)。原因是LSSVM滿足結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，具有較強(qiáng)的推廣能力，可以避免ANN法對(duì)訓(xùn)練樣本數(shù)量和質(zhì)量要求的較高不足。QDE-LSSVM的平均相對(duì)誤差比LSSVM低0.55%，這表明QDE-LSSVM的預(yù)測(cè)效率要優(yōu)于LSSVM。

結(jié)論

考慮電力負(fù)荷的歷史數(shù)據(jù)，日期類型以及氣象因素，本文利用QDE_LSSVM法進(jìn)行短期負(fù)荷預(yù)測(cè)。從實(shí)驗(yàn)效果來看，可以得到以下結(jié)論：

1）根據(jù)確定LSSVM參數(shù)存在的問題，引入QDE對(duì)參數(shù)進(jìn)行優(yōu)化。實(shí)驗(yàn)結(jié)果表明提出的方法能夠自動(dòng)提取識(shí)別率高且收斂速度較快的參數(shù)。

2）提出了應(yīng)用QDE-LSSVM法進(jìn)行短期負(fù)荷預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明，與BPNN和LSSVM法相比，QDE-LSSVM算法能夠?qū)崿F(xiàn)較高的預(yù)測(cè)精度，驗(yàn)證了所構(gòu)建模型的正確性和有效性。作為一種啟發(fā)式混合算法，本文所提出的方法能夠?yàn)橹悄茈娋W(wǎng)制定科學(xué)合理的發(fā)電計(jì)劃提供一定的依據(jù)。

參考文獻(xiàn)：

[1]萬昆，柳瑞禹.區(qū)間時(shí)間序列向量自回歸模型在短期電力負(fù)荷預(yù)測(cè)中的應(yīng)用[J].電網(wǎng)技術(shù)，2012，11：77-81.

[2]黃元生，鄧佳佳，苑珍珍.基于ARMA誤差修正和自適應(yīng)粒子群優(yōu)化的SVM短期負(fù)荷預(yù)測(cè)[J].電力系統(tǒng)保護(hù)與控制，2011，14：26-32.

篇3

關(guān)鍵詞 深度神經(jīng)網(wǎng)絡(luò) 圖像分類 車型識(shí)別 預(yù)測(cè)

中圖分類號(hào)：TP317.4 文獻(xiàn)標(biāo)識(shí)碼：A

0 引言

所謂的深度學(xué)習(xí)是根據(jù)具有多層結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)所提出。在具體的深度學(xué)習(xí)中，主要借助模擬神經(jīng)系統(tǒng)中的層次結(jié)構(gòu)，來進(jìn)行數(shù)據(jù)結(jié)構(gòu)特征的反映，一般來說，細(xì)節(jié)用低層次進(jìn)行表示，抽象數(shù)據(jù)結(jié)構(gòu)則用高層次來表示，利用這種方式，能夠進(jìn)行數(shù)據(jù)挖掘?qū)W習(xí)，滿足學(xué)習(xí)要求。在傳統(tǒng)的車型識(shí)別發(fā)展中，主要涉及到的技術(shù)包括模式識(shí)別、特征選擇和提取以及檢測(cè)分割等方面內(nèi)容，在技術(shù)發(fā)展中，存在的難點(diǎn)主要涉及到如何將完整的目標(biāo)車輛區(qū)域進(jìn)行分割，這是項(xiàng)基礎(chǔ)工作，也是難點(diǎn)所在。這結(jié)合實(shí)際需求，對(duì)于不同拍攝角度下的汽車圖片，包括皮卡車、SUV、面包車以及小轎車進(jìn)行車型識(shí)別，其目標(biāo)質(zhì)量分割質(zhì)量則是最為關(guān)鍵的技術(shù)，直接影響到最后的判斷效果。所以，應(yīng)該重視進(jìn)行具有代表性特征的選擇處理，并相應(yīng)轉(zhuǎn)化成有效的參數(shù)過程。在獲取特征參數(shù)后，則應(yīng)該結(jié)合項(xiàng)目要求來選擇合理的分類器，這樣才能保障識(shí)別的準(zhǔn)確率。結(jié)合汽車車型識(shí)別問題的要求，這里網(wǎng)絡(luò)輸入則是原始圖像，利用神經(jīng)網(wǎng)絡(luò)優(yōu)勢(shì)，原始數(shù)據(jù)經(jīng)過卷積層、完全連接層以及Softmax 層的培訓(xùn)學(xué)習(xí)，通過這種深度神經(jīng)網(wǎng)絡(luò)來進(jìn)行分析處理，免于上述存在難度的圖像分割、手工提取等過程。

1數(shù)據(jù)集

這里的車型識(shí)別目標(biāo)的數(shù)據(jù)集主要包括皮卡車、SUV、面包車以及小轎車等四種類型。其中，訓(xùn)練集和測(cè)試集分別包括1025張和368張?jiān)紙D片。此數(shù)據(jù)集中，包括不同攝像角度中的汽車圖像照片，具有背景復(fù)雜、圖像大小不統(tǒng)一，車輛在圖片中所占比例具有較大差異性等方面問題，這些都在一定程度上造成車型識(shí)別的難度上升。

在預(yù)處理中，為了保證網(wǎng)絡(luò)輸入的一致性，對(duì)于原始圖像進(jìn)行調(diào)整處理為256？56？尺寸。在此基礎(chǔ)上，對(duì)于圖像RGB三個(gè)通道的均值進(jìn)行計(jì)算，并進(jìn)行均值標(biāo)準(zhǔn)化的處理。在具體的網(wǎng)絡(luò)訓(xùn)練測(cè)試的過程中，主要?jiǎng)t是選取224？24？ 的樣本作為輸入。

2網(wǎng)絡(luò)結(jié)構(gòu)探討

結(jié)合文獻(xiàn)所提出的深度神經(jīng)網(wǎng)絡(luò)VGG16的優(yōu)勢(shì)，我們將其應(yīng)用在汽車車型識(shí)別問題中。VGG16網(wǎng)絡(luò)具有較強(qiáng)的優(yōu)勢(shì)，主要包括5個(gè)堆棧式的卷積神經(jīng)網(wǎng)絡(luò)ConvNet，以及3個(gè)完全連接層以及1個(gè)Softmax層，由此可見，其屬于“網(wǎng)絡(luò)中的網(wǎng)絡(luò)”架構(gòu)。在每個(gè)每個(gè)ConvNet中，還有多個(gè)卷積層所構(gòu)成，然后緊跟隨著Max-Pooling層。在進(jìn)行卷積以及池化處理的基礎(chǔ)上，進(jìn)行三層完全連接處理，同時(shí)，Softmax層的輸入則是最后一個(gè)完全連接曾的輸出，在這基礎(chǔ)上，實(shí)現(xiàn)車型分類的要求。結(jié)合實(shí)際需求，將非線性的ReLU層加入該網(wǎng)絡(luò)中，這樣就會(huì)讓ReLU來處理卷積層和完全連接層的輸出，保證訓(xùn)練時(shí)間有效降低。另外，還將一種正則化Dropout方式應(yīng)用在網(wǎng)絡(luò)中，避免出現(xiàn)完全連接層中的過擬合問題。

另一個(gè)神經(jīng)網(wǎng)絡(luò)Alexnet，結(jié)構(gòu)稍微簡(jiǎn)單一些，主要包括5卷積層、3個(gè)完全連接層、Softmax層等幾部分，在進(jìn)行部分卷積層處理后，在進(jìn)行Max- Pooling層處理。在此網(wǎng)絡(luò)中，同樣采用非線性的ReLU層，所采用難度重疊池化方式，也能有效保證盡量降低過擬合的問題。

3實(shí)驗(yàn)結(jié)果分析

結(jié)合上述分析的深度神經(jīng)網(wǎng)絡(luò)VGG16和AlexNet的基礎(chǔ)上，進(jìn)行Gaffe框架的搭設(shè)，為了保證運(yùn)算效率，建立在GeForce GTX TITAN X CPU的工作站中。經(jīng)過統(tǒng)計(jì)，單一網(wǎng)路訓(xùn)練大約為2小時(shí)，一張圖片測(cè)試大約為0.2秒。在應(yīng)用上述網(wǎng)絡(luò)測(cè)試、訓(xùn)練之外，在分類過程中，還應(yīng)用了經(jīng)典的分類算法KNN。經(jīng)過實(shí)驗(yàn)分析，可以看出，VGG16網(wǎng)絡(luò)能夠具有比較好的分類結(jié)果，能夠?qū)崿F(xiàn)準(zhǔn)確率為97.3%，而AlexNet網(wǎng)絡(luò)準(zhǔn)確率達(dá)到為93.0%，KNN算法不能有效處理較為復(fù)雜背景的圖片，分類準(zhǔn)確率僅為52.3%。在具體的案例中，分析VGG16網(wǎng)絡(luò)錯(cuò)誤分類的情況，面包車具有完全正確的分類效果。在錯(cuò)誤分類的SUV車型中，究其原因，主要包括：車顏色有兩部分組成，紅色部分則和皮卡車車型相同；車型結(jié)構(gòu)太類似于皮卡車；背景中加入其他車型，這樣會(huì)造成分類結(jié)果不準(zhǔn)確。如果圖片中僅僅包括車頭的情況，在進(jìn)行車型識(shí)別中也存在較大的難度，不同車型從前面角度進(jìn)行觀察，并沒有太大的差異化，這點(diǎn)應(yīng)該明確指出。

4結(jié)語

這里采用深度學(xué)習(xí)方法，結(jié)合先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)，以及功能強(qiáng)大的計(jì)算機(jī)工作站，對(duì)于四類汽車進(jìn)行識(shí)別實(shí)驗(yàn)研究。經(jīng)過試驗(yàn)表明，VGG16網(wǎng)絡(luò)具有最好的分類效果，傳統(tǒng)的經(jīng)典分類算法往往僅為其準(zhǔn)確率的一半左右。所以，可以看出深度神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的學(xué)習(xí)能力，能夠在圖像分類問題中表現(xiàn)出很大優(yōu)勢(shì)，應(yīng)該不斷優(yōu)化深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，以便其適用于更多的圖像分類要求。

參考文獻(xiàn)

[1] Hinton G E， Osindero S， Teh Y W.A Fast Learning Algorithm For Deep Belief Nets[J]. Neural Computation， 2006， 18（7）：1527-1554.

篇4

關(guān)鍵詞：矩形混凝土柱；屈服位移；人工神經(jīng)網(wǎng)絡(luò)；預(yù)測(cè)模型

中圖分類號(hào)：TU375.3 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1674-2974（2015）11-0017-08

隨著社會(huì)經(jīng)濟(jì)的發(fā)展，以及對(duì)近些年大地震的不斷反思，基于性能的結(jié)構(gòu)抗震設(shè)計(jì)已成為地震工程領(lǐng)域研究的熱點(diǎn)問題和前沿發(fā)展方向，為眾多國家的規(guī)程所提及或者采用（如FEMA273[1]，F(xiàn)EMA356[2]，ASCE41[3]和Eurocode8[4]）.柱子作為實(shí)際結(jié)構(gòu)中承受豎向荷載和抵抗水平荷載的關(guān)鍵構(gòu)件，其屈服位移的合理評(píng)估對(duì)于性能化結(jié)構(gòu)抗震設(shè)計(jì)中結(jié)構(gòu)的動(dòng)力響應(yīng)、結(jié)構(gòu)性能水準(zhǔn)的評(píng)估和抗震延性設(shè)計(jì)有很大影響.綜合以往對(duì)柱子屈服位移的研究，其定義不明確，經(jīng)驗(yàn)理論模型預(yù)測(cè)結(jié)果離散度較大的特點(diǎn)，使柱屈服位移的合理取值成為一個(gè)亟待解決的問題.

對(duì)于柱屈服位移的定義，國內(nèi)外研究者提出了不同的看法，如Park在文獻(xiàn)＼[5＼]中總結(jié)了4種不同的定義方法，并推薦使用割線剛度的方法定義屈服位移.Panagiakos[6]認(rèn)為判定柱屈服的條件是柱中縱向鋼筋屈服或者混凝土發(fā)生嚴(yán)重的非線，并在此基礎(chǔ)上給出了對(duì)應(yīng)的經(jīng)驗(yàn)公式.Montes[7]基于柱中鋼筋屈服，提出了對(duì)應(yīng)不同強(qiáng)度等級(jí)鋼筋的柱有效屈服曲率計(jì)算公式.Berry[8]等模擬了PEER[9]柱性能數(shù)據(jù)庫中255根矩形截面混凝土柱的屈服位移.錢稼茹[10]亦對(duì)該數(shù)據(jù)庫中144根剪跨比大于2的矩形柱考慮軸壓比的影響進(jìn)行回歸分析，提出了修正的柱屈服轉(zhuǎn)角表達(dá)式.蔣歡軍[11]綜合Berry[8]關(guān)于屈服位移以及Priestley[12]對(duì)于屈服曲率的定義，在計(jì)算屈服位移的公式中加入了考慮柱端鋼筋滑移和柱子剪切變形影響的修正項(xiàng).Peru[13]基于Eurocode8[14]中柱屈服位移的定義，利用CAE方法對(duì)PEER柱性能數(shù)據(jù)庫的柱屈服位移進(jìn)行了預(yù)測(cè).

柱屈服過程中鋼筋和混凝土都發(fā)生了復(fù)雜的非線，加之影響屈服性能的因素也非常多，上述基于經(jīng)驗(yàn)理論的非線性擬合公式預(yù)測(cè)柱屈服性能時(shí)存在預(yù)測(cè)結(jié)果離散度非常大的問題.人工神經(jīng)網(wǎng)絡(luò)作為一種在數(shù)據(jù)稀少的情況下能夠有效預(yù)測(cè)數(shù)據(jù)輸入和輸出關(guān)系的手段而進(jìn)入研究者的視野.人工神經(jīng)網(wǎng)絡(luò)是以人類神經(jīng)活動(dòng)為基礎(chǔ)而發(fā)展起來的一項(xiàng)新穎的計(jì)算手段，適合處理復(fù)雜線性及非線性映射問題.由于其強(qiáng)大的非線性映射能力，神經(jīng)網(wǎng)絡(luò)在工程領(lǐng)域被用于預(yù)測(cè)圓柱形混凝土柱約束狀態(tài)的極限壓應(yīng)力和對(duì)應(yīng)的壓應(yīng)變[15]，模擬金屬疲勞裂紋開展速率[16].神經(jīng)網(wǎng)絡(luò)的其它工程應(yīng)用還有如混凝土柱在彎曲失效模式下的極限變形預(yù)測(cè)[17]，邊坡穩(wěn)定性分析[18]，修正結(jié)構(gòu)有限元模型[19]等.

本文基于經(jīng)驗(yàn)理論模型對(duì)彎曲型混凝土柱屈服性能影響因素的研究，利用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)PEER柱性能庫210組矩形混凝土柱的屈服性能，并以此來探討神經(jīng)網(wǎng)絡(luò)對(duì)柱性能預(yù)測(cè)的可行性和有效性.通過對(duì)比神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果與實(shí)驗(yàn)結(jié)果以及經(jīng)驗(yàn)理論模型估算結(jié)果，評(píng)價(jià)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的效果.最后基于Carson敏感性分析方法驗(yàn)證所選神經(jīng)網(wǎng)絡(luò)輸入?yún)?shù)的合理性并得到輸入各參數(shù)對(duì)混凝土柱屈服位移的貢獻(xiàn)程度.

1 經(jīng)驗(yàn)?zāi)Ｐ皖A(yù)測(cè)實(shí)驗(yàn)數(shù)據(jù)庫柱屈服轉(zhuǎn)角

1.1 實(shí)驗(yàn)數(shù)據(jù)庫

本文對(duì)彎曲型失效為主的柱屈服轉(zhuǎn)角進(jìn)行預(yù)測(cè)，在PEER[9]柱性能數(shù)據(jù)庫中通過以下標(biāo)準(zhǔn)：1）柱子截面形狀為矩形；2）柱子受往復(fù)荷載作用直至失效；3）柱子的實(shí)驗(yàn)失效模式為彎曲失效.選擇210組實(shí)驗(yàn)數(shù)據(jù)，作為神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)數(shù)據(jù)庫.該預(yù)測(cè)數(shù)據(jù)庫的主要屬性參數(shù)范圍如圖1所示.

從圖1中可看出本文所選數(shù)據(jù)庫主要參數(shù)分布覆蓋了常規(guī)設(shè)計(jì)的參數(shù)取值范圍，具有廣泛的代表性.

從圖2和表1中可以看出，利用4種經(jīng)驗(yàn)?zāi)Ｐ凸浪銟?gòu)件的屈服轉(zhuǎn)角時(shí)，預(yù)測(cè)值與實(shí)驗(yàn)值的比值分布相當(dāng)離散，ASCE41模型計(jì)算結(jié)果變異系數(shù)相對(duì)較小為0.443，而利用ACI318-08（b）變異系數(shù)則達(dá)到0.65.針對(duì)上述預(yù)測(cè)結(jié)果離散的問題，本文采用BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)PEER數(shù)據(jù)庫柱的屈服轉(zhuǎn)角.

2 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)柱屈服轉(zhuǎn)角方法

2.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)作為前向型多層神經(jīng)網(wǎng)絡(luò)的一種，其實(shí)質(zhì)是利用誤差反向傳播算法（Back-Propagation）對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練.BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)由輸入層、隱含層和輸出層三個(gè)部分組成，Hornik[22]已經(jīng)證明單隱層的神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)任意精度的非線性映射關(guān)系.BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練分為信息的正向輸入和誤差的反向傳播兩個(gè)階段.在信息正向輸入階段，輸入?yún)?shù)通過閥值和權(quán)值的調(diào)節(jié)，再經(jīng)激活函數(shù)傳遞對(duì)計(jì)算結(jié)果進(jìn)行輸出；而在誤差反向傳播階段則是通過計(jì)算輸出層的結(jié)果和目標(biāo)值之間的誤差來反向調(diào)節(jié)各神經(jīng)元的權(quán)值和閥值；在實(shí)際訓(xùn)練中這兩個(gè)階段交替進(jìn)行，直至達(dá)到訓(xùn)練的性能目標(biāo)為止.

但由于BP學(xué)習(xí)算法其本質(zhì)是梯度下降學(xué)習(xí)算法，權(quán)值的修正是沿性能函數(shù)梯度的反向進(jìn)行，使普通的BP神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)有以下不足：1）作為一種局部搜索的方法，容易陷入局部極小值而不能得到全局最優(yōu)的結(jié)果；2）由于BP算法本身反向傳播的特點(diǎn)，使其在求解矩陣時(shí)耗費(fèi)大量的計(jì)算時(shí)間，致使神經(jīng)網(wǎng)絡(luò)收斂速度很慢.針對(duì)上述不足，眾多學(xué)者對(duì)其進(jìn)行修正，其中L-M（Levenberg-Marquardt）[23] 算法因其能夠進(jìn)行快速迭代，又具有全局優(yōu)化的特點(diǎn)而在小型神經(jīng)網(wǎng)絡(luò)中得以廣泛應(yīng)用.L-M算法中迭代項(xiàng)如式（3）所示：

綜合以上討論，可以確定影響柱屈服轉(zhuǎn)角的主要參數(shù)有：混凝土的抗壓強(qiáng)度、軸壓比、剪跨比、縱向鋼筋的屈服強(qiáng)度、配筋率以及縱向鋼筋直徑，并將作為神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的輸入?yún)?shù).

2.3 構(gòu)建BP網(wǎng)絡(luò)預(yù)測(cè)模型

根據(jù)前述從PEER數(shù)據(jù)庫中遴選出的210組數(shù)據(jù)，180組作為BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集，30組作為測(cè)試集.將2.2節(jié)討論的6個(gè)主要參數(shù)作為神經(jīng)網(wǎng)絡(luò)輸入?yún)?shù)，柱的屈服轉(zhuǎn)角為輸出結(jié)果，在MATLAB中建立如圖3所示的3層BP神經(jīng)網(wǎng)絡(luò)N 6-H-1（其中輸入層節(jié)點(diǎn)數(shù)為6，H為隱含層的節(jié)點(diǎn)數(shù)，輸出層節(jié)點(diǎn)數(shù)為1）.

利用MATLAB神經(jīng)網(wǎng)絡(luò)工具箱建立神經(jīng)網(wǎng)絡(luò)模型需要確定以下參數(shù)：學(xué)習(xí)函數(shù)、學(xué)習(xí)速率、激活函數(shù)、訓(xùn)練函數(shù)、學(xué)習(xí)周期、性能目標(biāo)和隱含層節(jié)點(diǎn)數(shù).神經(jīng)網(wǎng)絡(luò)參數(shù)選擇如下：

利用BP網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)分析，為避免因輸入因子數(shù)量級(jí)差別而引起較大的網(wǎng)絡(luò)誤差，一般先將輸入因子進(jìn)行歸一化處理.為避免激活函數(shù)其極值0和1附近飽和而伴隨出現(xiàn)“麻痹現(xiàn)象”，這里采用如式（12）所示方法將神經(jīng)網(wǎng)絡(luò)的輸入和輸出規(guī)格化：

2.4 BP網(wǎng)絡(luò)預(yù)測(cè)結(jié)果

根據(jù)以上討論對(duì)圖3中BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練、測(cè)試，得到如表2所示的預(yù)測(cè)結(jié)果.

從表2中可以看出當(dāng)隱含層節(jié)點(diǎn)數(shù)為13和15時(shí)，其測(cè)試集和訓(xùn)練集的性能函數(shù)值分別達(dá)到最小；而當(dāng)隱含層節(jié)點(diǎn)數(shù)為17和21時(shí)，神經(jīng)網(wǎng)絡(luò)訓(xùn)練集和測(cè)試集的性能函數(shù)均有相對(duì)較好的取值.限于篇幅，本文只以13和15節(jié)點(diǎn)神經(jīng)網(wǎng)絡(luò)為例，討論其對(duì)混凝土柱屈服性能預(yù)測(cè)的適用性.

圖4和表3列出了對(duì)應(yīng)節(jié)點(diǎn)數(shù)目為13和15的BP神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)結(jié)果.為了進(jìn)一步檢驗(yàn)神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)能力，將這兩組預(yù)測(cè)結(jié)果與實(shí)驗(yàn)結(jié)果進(jìn)行線性回歸分析，結(jié)果如圖5所示.

根據(jù)表2和圖5給出的預(yù)測(cè)結(jié)果以及對(duì)應(yīng)的線性回歸結(jié)果，其對(duì)應(yīng)較小的性能函數(shù)MSE的值和較高的相關(guān)系數(shù)R的值，可以看出神經(jīng)網(wǎng)絡(luò)能夠準(zhǔn)確預(yù)測(cè)混凝土柱的屈服轉(zhuǎn)角.

在表3和圖4中可以看出，2種不同節(jié)點(diǎn)數(shù)的神經(jīng)網(wǎng)絡(luò)均能取得較好的預(yù)測(cè)結(jié)果，表3中訓(xùn)練集和測(cè)試集的最大變異系數(shù)僅為0.164和0.179.從圖4～圖5以及表2～表3分析可以看到，利用BP網(wǎng)絡(luò)預(yù)測(cè)柱的屈服位移可以得到相當(dāng)滿意的結(jié)果.

2.5 BP網(wǎng)絡(luò)預(yù)測(cè)結(jié)果與經(jīng)驗(yàn)?zāi)Ｐ捅容^

為了對(duì)比說明神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果的準(zhǔn)確性，本文也將Elwood在文獻(xiàn)＼[20＼]基于理論推導(dǎo)的有效剛度模型帶入式（2），計(jì)算結(jié)果列于圖6（a）中.同時(shí)對(duì)應(yīng)式（1）中屈服位移的定義，計(jì)算對(duì)比文獻(xiàn)＼[11＼]所提出的經(jīng)驗(yàn)?zāi)Ｐ颓D(zhuǎn)角：

從圖6和表4中可以看出：在利用Elwood計(jì)算模型估算構(gòu)件的屈服轉(zhuǎn)角時(shí)，估算精度高于前述4種規(guī)范模型，但是也看出Elwood模型和Jiang經(jīng)驗(yàn)?zāi)Ｐ凸浪憬Y(jié)果依舊相當(dāng)離散，其中Elwood模型計(jì)算結(jié)果變異系數(shù)較小為0.365，而Jiang模型的計(jì)算結(jié)果則為0.477.相對(duì)于上述6種經(jīng)驗(yàn)理論模型，本文所提的13和15節(jié)點(diǎn)神經(jīng)網(wǎng)絡(luò)模型，其預(yù)測(cè)結(jié)果與實(shí)驗(yàn)值的比值均值為1；變異系數(shù)僅為0.16和0.13.

相對(duì)于前述6種經(jīng)驗(yàn)理論模型中僅考慮其中一部分因素的影響或者用一個(gè)數(shù)學(xué)表達(dá)式描述輸入?yún)?shù)和柱子屈服位移之間的關(guān)系，神經(jīng)網(wǎng)絡(luò)綜合考慮輸入?yún)?shù)之間的相互影響，通過權(quán)值和閥值矩陣的調(diào)節(jié)得到更為準(zhǔn)確的預(yù)測(cè)結(jié)果.

2.6 BP網(wǎng)絡(luò)敏感性分析

為得到輸入?yún)?shù)對(duì)混凝土柱屈服位移的影響程度以及驗(yàn)證2.2節(jié)通過經(jīng)驗(yàn)?zāi)Ｐ瓦x用神經(jīng)網(wǎng)絡(luò)輸入?yún)?shù)方法的合理性，本文采用基于Garson算法[28]的神經(jīng)網(wǎng)絡(luò)敏感性分析.作為基于連接權(quán)神經(jīng)網(wǎng)絡(luò)敏感性分析方法的代表，該方法通過連接權(quán)的乘積計(jì)算輸入變量對(duì)輸出變量的貢獻(xiàn)程度.對(duì)于一個(gè)N X-H-1的神經(jīng)網(wǎng)絡(luò)，其計(jì)算表述如式（14）所示：

3 結(jié) 論

為了能夠準(zhǔn)確地預(yù)測(cè)混凝土柱構(gòu)件的屈服性能，建立一種基于BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)混凝土柱的屈服性能的方法.本文首先利用以往的經(jīng)驗(yàn)理論模型詳細(xì)解構(gòu)了影響混凝土柱屈服性能的因素，并將混凝土強(qiáng)度、軸壓比、剪跨比、縱向鋼筋配筋率、縱向鋼筋直徑及縱向鋼筋屈服強(qiáng)度作為BP神經(jīng)網(wǎng)絡(luò)的輸入?yún)?shù)預(yù)測(cè)混凝土柱的屈服性能.通過與已有估算模型結(jié)果的對(duì)比，顯示出利用BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的高效性.最后通過利用Garson敏感性分析方法證明了本文選擇預(yù)測(cè)模型輸入?yún)?shù)合理性，并評(píng)估了各個(gè)輸入因素對(duì)混凝土柱屈服位移影響的程度.本文通過利用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)矩形混凝土柱的屈服性能，說明在數(shù)據(jù)不充分的情況下神經(jīng)網(wǎng)絡(luò)對(duì)于預(yù)測(cè)工程結(jié)果是一種很有潛力的手段.

參考文獻(xiàn)

[1] FEMA 273 Guidelines for the seismic rehabilitation of buildings[S]. Washington： Federal Emergency Management Agency， 1997：13-14.

[2] FEMA 356 Prestandard and commentary for the seismic rehabilitation of buildings ＼[S＼]. Washington： Federal Emergency Management Agency， 2000：218-218.

[3] ASCE/SEI41 Seismic rehabilitation of existing buildings ＼[S＼]. American Society of Civil Engineers， Reston， VA. 2007：354-354.

[4] Eurocode 8：Design of Structures for earthquake resistance Part 1： General rules， seismic actions and rules for buildings＼[S＼]. Brussels European Committee for Standardization，1998：219-219.

[5] PARK R. Ductility evaluation from laboratory and analytical testing ＼[C＼]// Proceedings 9th World Conference on Earthquake Engineering.Tokyo-Kyoto， Japan. 1988：VIII，605-616.

[6] PANAGIOKOS T B， FARDIS M N. Deformations of reinforced concrete members at yielding and ultimate ＼[J＼]. ACI Structural Journal， 2001， 98（2）： 135-148.

[7] MONTES H E， ASCHLEIM M. Estimates of the yield curvature for design of reinforced concrete columns ＼[J＼]. Magazine of Concrete Research， 2003， 55（4）： 373-383.

[8] BERRY M， EBERHARD M O. Performance models for flexural damage in reinforced concrete columns ＼[R＼]. Pacific Earthquake Engineering Research Center， College of Engineering， University of California， 2004：158-158.

[9] PEER. Peer structural performance database ＼[DB/OL＼]. ＼[2003-12-29＼]. http： // nisee. berkeley. edu / spd.

[10]錢稼茹，徐福江.鋼筋混凝土柱基于位移的變形能力設(shè)計(jì)方法＼[J＼]. 建筑結(jié)構(gòu)， 2007（12）： 30-32.

QIAN Jia-ru， XU Fu-jiang. Displacement-based deformation capacity design of RC columns ＼[J＼]. Building Structure， 2007（12）： 30-32.（In Chinese）

[11]JIANG Huan-jun， LU Xi-lin， KUBO T. Damage displacement estimation of flexure-dominant RC columns[J]. Advances in Structural Engineering， 2010， 13（2）： 357-368.

[12]PRIESTLEY M. Brief comments on elastic flexibility of reinforced concrete frames and significance to seismic design ＼[J＼]. Bulletin of the New Zealand National Society for Earthquake Engineering， 1998，31（4）： 246-259.

[13]PERU I， FAJFAR P. Prediction of the forceCdrift envelope for RC columns in flexure by the CAE method ＼[J＼]. Earthquake Engineering & Structural Dynamics， 2007，36（15）： 2345-2363.

[14]Eurocode 8： design of structures for earthquake resistance CPart 2： Bridge＼[S＼]. Brussels European Committee for Standardization， 2005：133-133.

[15]ORETA A W， KAWASHIMA K. Neural network modeling of confined compressive strength and strain of circular concrete columns ＼[J＼]. Journal of Structural Engineering， 2003， 129（4）： 554-561.

[16]羅廣恩，崔維成. 金屬疲勞裂紋擴(kuò)展速率的貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)＼[J＼]. 船舶力學(xué)， 2012， 16（4）： 433-441.

LUO Guang-en， CUI Wei-cheng. Prediction of fatigue crack growth rate of metal based on Bayesian regularized BP neural network ＼[J＼]. Journal of Ship Mechanics， 2012， 16（4）： 433-441. （In Chinese）

[17]INEL M. Modeling ultimate deformation capacity of RC columns using artificial neural networks ＼[J＼]. Engineering Structures， 2007， 29（3）： 329-335.

[18]劉思思，趙明華，楊明輝，等. 基于自組織神經(jīng)網(wǎng)絡(luò)與遺傳算法的邊坡穩(wěn)定性分析方法＼[J＼]. 湖南大學(xué)學(xué)報(bào)：自然科學(xué)版，2008，35（12）： 7-12.

LIU Si-si， ZHAO Ming-hua， YANG Ming-hui， et al. Slope stability analysis method based on self-organizing neural network and genetic algorithm＼[J＼]. Journal of Hunan University： Natural Sciences， 2008， 35（12）： 7-12. （In Chinese）

[19]王蕾，郁勝，李賓賓，等. 基于徑向基神經(jīng)網(wǎng)絡(luò)的橋梁有限元模型修正＼[J＼]. 土木工程學(xué)報(bào)， 2012，45（S2）： 11-15.

WANG Lei， YU Shen， LI Bin-bin， et al. Bridge model updating based on radial basis function neural network ＼[J＼]. China Civil Engineering Journal， 2012，45（S2）： 11-15. （In Chinese）

[20]ELWOOD K J， EBERHARD M O. Effective stiffness of reinforced concrete columns ＼[J＼]. ACI Structural Journal， 2009， 106（4）：483-483.

[21]ACI 318-2008 Building Code requirements for structural concrete and commentary ＼[S＼]. Farmington Hills： 2008， American Concrete Institute， 2008：143-143.

[22]HORNIK K， STINCHCOMBE M， WHITE H. Multilayer feedforward networks are universal approximators ＼[J＼]. Neural Networks， IEEE Transactions on， 1989， 2（5）： 359-366.

[23]HAGAN M T， MENHAJ M B. Training feedforward networks with the Marquardt algorithm ＼[J＼]. Neural Networks， IEEE Transactions on， 1994， 5（6）： 989-993.

[24]鄭罡，李貴乾. 鋼筋混凝土橋墩有效剛度＼[J＼]. 土木工程學(xué)報(bào)， 2013，46（6）：44-52.

ZHENG Gang， LI Gui-qian. Effective stiffness of reinforced concrete bridges piers ＼[J＼]. China Civil Engineering Journal， 2013，46（6）：44-52. （In Chinese）

[25]SEZEN H， MOEHLE J P. Bond-slip behavior of reinforced concrete members ＼[C＼]//Proceedings of fib symposium on concrete structures in seismic regions. Athens， Greece. CEB-FIP. 2003.

[26]BERRY M J， LINOFF G. Data mining techniques： for marketing， sales， and customer support ＼[M＼].New York： John Wiley & Sons Inc，1997：444-444.

篇5

關(guān)鍵詞： 結(jié)構(gòu)損傷；損傷識(shí)別；懸臂版；小波概率神經(jīng)網(wǎng)絡(luò)(WPNN)；數(shù)據(jù)融合

Abstract: through the analysis of wavelet probabilistic neural network (WPNN) and data fusion technology in structural damage identification of the application of the principle, based on wavelet probabilistic neural network and data fusion technology model. To cantilever plate structure of numerical simulation test, the use of damage elements as input vector data training WPNN and data fusion of damage identification model, and selected four unit as a valid sample for inspection, testing results and a good agreement with the numerical test analysis, show that this method in engineering structure damage identification has good application.

Keywords: structural damage; Damage identification; Cantilever version; The probability of wavelet neural network (WPNN); Data fusion

中圖分類號(hào)：TU973+.1 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：

1引言

當(dāng)前，世界范圍內(nèi)建筑工業(yè)的重心正在從大規(guī)模新建轉(zhuǎn)向新建與維修加固并舉[1]。土木工程結(jié)構(gòu)如房屋建筑、橋梁、海洋平臺(tái)等在投入使用之后，由于地震、火災(zāi)、咫風(fēng)等自然災(zāi)害或一長期作用的疲勞、腐蝕等原因而產(chǎn)生不同程度的損傷，結(jié)構(gòu)損傷經(jīng)過長期的累積必然會(huì)導(dǎo)致結(jié)構(gòu)發(fā)生破壞或使用性能降低[2]。結(jié)構(gòu)的損傷檢測(cè)、診斷是土木工程結(jié)構(gòu)經(jīng)歷自然災(zāi)害、長期作用后進(jìn)行維修、加固的基礎(chǔ)，是一項(xiàng)復(fù)雜的系統(tǒng)工程，其核心的問題是基于什么理論進(jìn)行損傷的檢測(cè)[3]。

在損傷識(shí)別以及其它的信息獲取及處理過程中，信息的確定程度主要取決于選用傳感器的種類、所選擇的方法以及信息源本身[4]。進(jìn)一步說，單一傳感器獲得的信息通常是不完整、不精確的。多傳感器數(shù)據(jù)融合技術(shù)從多源信號(hào)中獲取信息，減小了信息的不確定度，助于幫助制定決策。無損檢測(cè)數(shù)據(jù)融合近幾年發(fā)展很快。來自不同國家的很多人對(duì)它表現(xiàn)出極大的興趣，他們已經(jīng)提出了多種適用于無損檢測(cè)數(shù)據(jù)融合的模型[5]。本文給出了一種新的基于小波概率神經(jīng)網(wǎng)絡(luò)（wavelet probabilistic neural network , WPNN）和數(shù)據(jù)融合的結(jié)構(gòu)損傷檢測(cè)方法模型，并給出了該模型在結(jié)構(gòu)損傷識(shí)別中的應(yīng)用。

2基于頻率的結(jié)構(gòu)損傷識(shí)別原理

運(yùn)用試驗(yàn)測(cè)試的數(shù)據(jù)來確定結(jié)構(gòu)系統(tǒng)運(yùn)動(dòng)方程中的參數(shù)叫做參數(shù)識(shí)別。參數(shù)識(shí)別的典型過程包括在結(jié)構(gòu)系統(tǒng)的模態(tài)試驗(yàn)中測(cè)量由于外部激勵(lì)作用下的結(jié)構(gòu)響應(yīng);從響應(yīng)的數(shù)據(jù)中直接地或通過數(shù)據(jù)處理技術(shù)確定系統(tǒng)的動(dòng)力特性，諸如自振動(dòng)頻率和振型。結(jié)構(gòu)的頻率相對(duì)振型來說更容易較準(zhǔn)確測(cè)量，而且能夠反映結(jié)構(gòu)整體特征，使其成為結(jié)構(gòu)損傷識(shí)別中的重要特征參數(shù)。由于系統(tǒng)的自振動(dòng)頻率和振型是系統(tǒng)參數(shù)如質(zhì)量和剛度的函數(shù)，所以可以將實(shí)驗(yàn)得到的結(jié)構(gòu)動(dòng)力特性與數(shù)學(xué)模型預(yù)測(cè)的結(jié)構(gòu)動(dòng)力特性進(jìn)行比較從而確定系統(tǒng)參數(shù)[6]。結(jié)構(gòu)損傷探測(cè)的基本方法正是基于以上的基本概念而產(chǎn)生的。

當(dāng)不考慮阻尼時(shí)，結(jié)構(gòu)振動(dòng)的特征值方程為

（1）

其中矩陣 、 分別表示離散的質(zhì)量矩陣、剛度分布， 與 分別是結(jié)構(gòu)第i階固有頻率和正則化振型向量。設(shè)損傷使結(jié)構(gòu)剛度矩陣、質(zhì)量矩陣、頻率及振型向量的變化分別為 、 、 和 則有

（2）

由于結(jié)構(gòu)定部分的質(zhì)量和剛度損失而引起的 、 的任何變化，都將在自振頻率和振型的測(cè)量值中有所反應(yīng)。當(dāng)系統(tǒng)自振頻率和振型的測(cè)量與原始未損傷系統(tǒng)自振頻率和振型之間出現(xiàn)了差異時(shí)，就是表示系統(tǒng)中出現(xiàn)了損傷。一般來說，建筑結(jié)構(gòu)的損傷對(duì)結(jié)構(gòu)質(zhì)量的影響很小，即可取 。將上式左乘 然后展開并忽略二階項(xiàng)，則有

（3）

P.Cawley研究表明兩階頻率的變化比值只與損傷位置有關(guān)，而與損傷程度無關(guān)。通常采用歸一化的頻率變化率，設(shè)第i頻率的變化率為：

(4)

式中fui和fdi分別是結(jié)構(gòu)損傷前后的第i階頻率。FCRi與損傷程度和損傷程度有關(guān)，假定損傷不引起質(zhì)量變化，則有

(5)

將（9）式關(guān)于 級(jí)數(shù)展開并忽略高階項(xiàng)，可得：

(6)

將頻率變化按下式歸一化，得

(7)

可見，歸一化的頻率變化也只與損傷位置有關(guān)。

3小波概率神經(jīng)網(wǎng)絡(luò)與多傳感數(shù)據(jù)融合技術(shù)原理

目前，基于動(dòng)力響應(yīng)的各種智能損傷診斷技術(shù)得到研究，但這些技術(shù)存在著識(shí)別精度不高或適用條件等缺陷。迅速發(fā)展的數(shù)據(jù)融合技術(shù)具有充分利用各個(gè)數(shù)據(jù)源包含的冗余和互補(bǔ)信息的優(yōu)點(diǎn)，可以提高系統(tǒng)決策的準(zhǔn)確性和魯棒性?；谛〔ǜ怕噬窠?jīng)網(wǎng)絡(luò)（wavelet probabilistic neural network , WPNN）和數(shù)據(jù)融合的結(jié)構(gòu)損傷檢測(cè)方法將兩者有機(jī)結(jié)合，揚(yáng)長避短在損傷識(shí)別中顯示出獨(dú)有的優(yōu)越性。

為了充分發(fā)揮數(shù)據(jù)融合與 WPNN 的優(yōu)點(diǎn)，提出了基于 WPNN 與數(shù)據(jù)融合的損傷檢測(cè)模型見圖1，它首先將來自傳感器 1 的結(jié)構(gòu)響應(yīng)進(jìn)行數(shù)據(jù)預(yù)處理、特征提取，采用小波理論，獲得該傳感器的小波能量特征向量；依次類推，獲得其他傳感器的小波能量特征向量;然后將這些小波能量特征向量放入WPNN中，進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練及融合計(jì)算；最后根據(jù)最大的概率密度函數(shù)值得到融合損傷識(shí)別結(jié)果及損傷類型。

圖1基于WPNN與數(shù)據(jù)融合技術(shù)的損傷識(shí)別模型

可見，基于 WPNN 與數(shù)據(jù)融合技術(shù)的損傷識(shí)別與診斷過程是根據(jù)從目標(biāo)的檢測(cè)量得到損傷特征向量（模式），經(jīng)過數(shù)據(jù)融合分析計(jì)算與處理，進(jìn)行損傷識(shí)別及損傷定位的過程。

4結(jié)構(gòu)損傷在線檢測(cè)原理

結(jié)構(gòu)損傷檢測(cè)的核心技術(shù)是模式識(shí)別，而模式識(shí)別就是將理論分析得到的損傷模式特征庫與實(shí)測(cè)的模式進(jìn)行匹配。一般先通過分析各種不同的損傷序列或破壞模態(tài)來建立模式庫，然后觀察實(shí)測(cè)振動(dòng)信號(hào)的變化，并將它與可能發(fā)生損傷的模式數(shù)據(jù)庫進(jìn)行比較，選擇最相似的模式。神經(jīng)網(wǎng)絡(luò)本身具有模式匹配與記憶的能力，而且對(duì)于具有一定噪聲的模式，識(shí)別效果更好。運(yùn)用模式識(shí)別進(jìn)行損傷檢測(cè)與用神經(jīng)網(wǎng)絡(luò)進(jìn)行損傷檢測(cè)是兩種不同的診斷方法，但二者密切相關(guān)，可以用神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)模式識(shí)別的損傷檢測(cè)。結(jié)構(gòu)損傷的在線檢測(cè)原理如圖2所示。

5數(shù)值模擬實(shí)驗(yàn)分析

為了驗(yàn)證神經(jīng)網(wǎng)絡(luò)技術(shù)在結(jié)構(gòu)損傷檢測(cè)中的有效性，利用ANSYS有限元程序模擬鋼筋混凝土懸臂板，物理參數(shù)為:板長lm，寬度0.5 m，密度為7.85 ×103 kg/m3，楊氏模量2.02 ×105 MPa，泊松比0.3。數(shù)值模擬試驗(yàn)?zāi)Ｐ蛨D如圖3所示。以單元?jiǎng)偠日蹨p15%來模擬結(jié)構(gòu)的損傷，并忽略結(jié)構(gòu)損傷引起的結(jié)構(gòu)質(zhì)量的改變。

懸臂板無損傷時(shí)前三階頻率為： =8.3206Hz,=35.6900Hz,=51.7780Hz。（理論值為 =8.5620Hz,=36.8200 Hz,=53.2900Hz）,用16個(gè)位置剛度分別降低5%來模擬單元的損傷情況。

圖2 結(jié)構(gòu)損傷在線檢測(cè)原理

圖3 數(shù)值試驗(yàn)單元網(wǎng)格劃分圖

由于結(jié)構(gòu)中某類損傷的發(fā)生可能只與幾個(gè)監(jiān)測(cè)參數(shù)相關(guān)聯(lián)，即只跟損傷狀態(tài)樣本中與該損傷狀態(tài)模式對(duì)應(yīng)的非零特征量相關(guān)；同樣，某一傳感器的輸出數(shù)據(jù)也可能與幾類損傷狀態(tài)模式有關(guān)。為了充分利用各傳感器的輸出數(shù)據(jù)進(jìn)行損傷檢測(cè)，采用1、3、4、5、6、8、9、10、12、13、14、15、16單元所得到的訓(xùn)練樣本進(jìn)行損傷檢測(cè)與識(shí)別模型的訓(xùn)練，基于 WPNN 與數(shù)據(jù)融合的損傷識(shí)別模型的訓(xùn)練樣本數(shù)可以確定出來，檢驗(yàn)樣本數(shù)為2、7、10、11單元的數(shù)據(jù)。WPNN模型的拓?fù)浣Y(jié)構(gòu)為20-165-5-5，即輸入層神經(jīng)元個(gè)數(shù)為 20，模式層神經(jīng)元個(gè)數(shù)為 165，求和層和決策層中的神經(jīng)元均為5 個(gè)。模型配置訓(xùn)練好后，用另外2、7、10、11這4個(gè)檢驗(yàn)樣本進(jìn)行檢驗(yàn)，基于 WPNN 與數(shù)據(jù)融合損傷檢測(cè)方法的識(shí)別正確率較好。

6結(jié)論

多傳感器數(shù)據(jù)融合損傷識(shí)別性能較好，使用基于 WPNN 與數(shù)據(jù)融合的損傷識(shí)別方法能夠提高損傷識(shí)別與診斷的準(zhǔn)確性與可靠性。多傳感器所采集的信息具有冗余性，當(dāng)其中有一個(gè)甚至幾個(gè)傳感器信息不可靠時(shí)，經(jīng)過數(shù)據(jù)融合處理后會(huì)使基于 WPNN 與數(shù)據(jù)融合的損傷識(shí)別方法在利用這些信息時(shí)具有良好的容錯(cuò)性?？傊?，利用神經(jīng)網(wǎng)絡(luò)進(jìn)行特征級(jí)數(shù)據(jù)融合對(duì)結(jié)構(gòu)損傷進(jìn)行診斷與識(shí)別，具有很大的潛力，值得進(jìn)一步在理論與實(shí)際應(yīng)用上開展深入研究，這種方法也必定將成為結(jié)構(gòu)損傷診斷研究領(lǐng)域的新方法。

參考文獻(xiàn)

[1] 李國強(qiáng)，李杰.工程結(jié)構(gòu)動(dòng)力檢測(cè)理論與應(yīng)用[M].北京：科學(xué)出版社, 2-4

[2] Tsou P., Shen M. H. Structural damage detection and identification using neural networks [J]. AIAA Journal, 1994,32: 176-183

[3] 楊英杰，虞和濟(jì).結(jié)構(gòu)損傷狀態(tài)識(shí)別的神經(jīng)網(wǎng)絡(luò)方法[J].東北大學(xué)學(xué)報(bào)，1994，15 (2)：210-214.

[4] 周先雁，劉希，沈蒲生.用含裂紋的梁?jiǎn)卧R(shí)別混凝土框架結(jié)構(gòu)損傷[J].振動(dòng)工程學(xué)報(bào)，1999，12(1):115-119

篇6

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；點(diǎn)擊率預(yù)測(cè)；搜索廣告

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)號(hào)：A 文章編號(hào)：2095-2163（2015）04-

Click-Through Rate Prediction for Search Advertising based on Convolution Neural Network

LI Siqin， LIN Lei， SUN Chengjie

（School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China）

Abstract： Click-Through Rate （CTR） prediction is the foundation of search advertising. Nowadays， lots of researches have been explored to predict CTR， and most of those researches either rely on liner model or employ method of recommendation system. However， the relations between different features in CTR predication have not been fully explored in previous works， and the relations between different features also cannot be fully embodied. In this paper， CTR prediction for search advertising based on convolution neural network is proposed， and process of convolution neural network simulating the process of human thought on feature learning is explained. Furthermore， the performance of different features have been analyzed in the task of predicting CTR. Experiments are conducted on the dataset of KDD Cup 2012 Track2 and the proposed method achieves 0.7925 in AUC， demonstrating the effectiveness of the proposed approach.

Keywords： Convolution Neural Network； Click-Through Rate Prediction； Search Advertising

0 引 言

隨著Web搜索技術(shù)的成熟，搜索廣告已經(jīng)成為互聯(lián)網(wǎng)行業(yè)的主要收入來源之一，其根據(jù)用戶輸入的查詢?cè)~，在搜索的結(jié)果頁面呈現(xiàn)出相應(yīng)的廣告信息。廣告媒介的收益通過每次點(diǎn)擊費(fèi)用（CostPerClick，CPC）與廣告點(diǎn)擊率（Click-Through Rate，CTR）預(yù)測(cè)共同影響而得到，即CPC*CTR。由于用戶點(diǎn)擊廣告的概率隨著廣告位的排放順序呈遞減趨勢(shì)，因此對(duì)CTR進(jìn)行準(zhǔn)確高效的預(yù)測(cè)，并將CTR高的廣告投放在搜索結(jié)果頁面靠前的位置，不僅能增加廣告媒介的收益，還能提高用戶對(duì)搜索結(jié)果的滿意程度。

廣告點(diǎn)擊率預(yù)測(cè)是廣告算法中最核心的技術(shù)，近年來被學(xué)術(shù)界廣泛關(guān)注。部分學(xué)者使用基于推薦方法的模型來解決CTR預(yù)測(cè)問題。霍曉駿等人[1]采用協(xié)同過濾算法，為頁面找到與其相似的其他鄰居頁面，實(shí)現(xiàn)CTR的預(yù)測(cè)，以此作為基礎(chǔ)進(jìn)行廣告推薦，但當(dāng)相似頁面的數(shù)量增加時(shí)，該方法的結(jié)果質(zhì)量會(huì)嚴(yán)重下滑。Kanagal等人[2]提出了一種聚焦矩陣分解模型，針對(duì)用戶對(duì)具體的產(chǎn)品的喜好以及相關(guān)產(chǎn)品的信息進(jìn)行學(xué)習(xí)，解決因用戶-產(chǎn)品交互活動(dòng)少而造成的數(shù)據(jù)稀疏問題。在文獻(xiàn)[2]的基礎(chǔ)上，Shan等人[3]提出了一種立方矩陣分解模型，通過對(duì)用戶、廣告和網(wǎng)頁三者之間關(guān)系的立方矩陣進(jìn)行分解，利用擬合矩陣的值來預(yù)測(cè)CTR，雖然立方矩陣分解模型增加了一維交互關(guān)系，但所刻畫的交互關(guān)系仍然十分局限，不能在CTR預(yù)測(cè)中充分挖掘廣告所有特征之間的聯(lián)系。

作為典型的預(yù)測(cè)問題，很多研究中通過將CTR預(yù)測(cè)問題看作分類或者回歸問題來解決，其中最常見的是應(yīng)用線性模型來預(yù)測(cè)CTR。Chapelle等人[4]使用動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)，通過對(duì)用戶產(chǎn)生的點(diǎn)擊過程建立模型，考慮級(jí)聯(lián)位置的信息模擬出特定位置與相近位置的相關(guān)性，以判斷該位置上的廣告是否滿足用戶搜索要求。Chakrabarti等人[5]利用點(diǎn)擊反饋的相關(guān)性，通過在網(wǎng)頁和廣告詞等特征上使用邏輯回歸模型提高廣告檢索和預(yù)測(cè)的效果。Wu等人[6]基于融合的思想，將不同線性模型的實(shí)驗(yàn)效果相結(jié)合，來提高搜索廣告CTR預(yù)測(cè)的結(jié)果。真實(shí)的場(chǎng)景中CTR的預(yù)測(cè)并非簡(jiǎn)單的線性問題，因此，一些學(xué)者開始使用非線性模型來解決CTR的預(yù)測(cè)。Dave等人[7]在搜索廣告點(diǎn)擊信息以及廣告商賬戶信息上提取語義特征，使用基于投票思想的梯度提升決策樹模型，提高了CTR預(yù)測(cè)的效果。Zhang等人[8]利用神經(jīng)網(wǎng)絡(luò)模型對(duì)影響搜索廣告點(diǎn)擊率的因素進(jìn)行的探索，從特征因素方面提高CTR預(yù)測(cè)的結(jié)果，但是資源單一，數(shù)據(jù)交互的關(guān)系沒有獲得良好的利用。

本文對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）的CTR預(yù)測(cè)進(jìn)行研究，通過卷積與亞采樣操作的結(jié)合，能更好地學(xué)習(xí)出數(shù)據(jù)特征之間的關(guān)系，不僅解決了線性模型無法模擬真實(shí)廣告數(shù)據(jù)場(chǎng)景的問題，也解決了淺層學(xué)習(xí)模型無法深入挖掘特征間相互關(guān)系的問題，并且較之于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，CNN能更好地理解特征之間的關(guān)系。在真實(shí)的數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了本文的方法能夠提高搜索廣告中CTR預(yù)測(cè)的AUC值。

1卷積神經(jīng)網(wǎng)絡(luò)模型

1.1 卷積神經(jīng)網(wǎng)絡(luò)基本模型

卷積神經(jīng)網(wǎng)絡(luò)作為人工神經(jīng)網(wǎng)絡(luò)之一，目前已成為深度學(xué)習(xí)領(lǐng)域中研究的熱點(diǎn)，權(quán)值共享以及局部窗口滑動(dòng)的特點(diǎn)使之能更好地模擬出生物神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上有兩個(gè)重要的組成部分：卷積層和亞采樣層。如圖1所示。

圖1 卷積層與亞采樣層結(jié)構(gòu)

Fig.1 Convolution layer and sub-sampling layer structure

在卷積層中，原始特征通過卷積核進(jìn)行卷積得到輸出的特征，使用不同的卷積核就可以得到一系列不同的輸出特征。對(duì)卷積層的計(jì)算，有如下公式：

（1）

這里， 是sigmoid 函數(shù)， ， ； 代表輸入特征上選定的窗口，即在卷積過程中當(dāng)前卷積核在計(jì)算時(shí)所對(duì)應(yīng)在輸入特征上的位置； 和 分別是第 層輸入特征和第 層輸出特征上相應(yīng)的值； 是卷積核的權(quán)重值； 是特征的偏置，每一層對(duì)應(yīng)一個(gè)。

卷積過程，一個(gè)卷積核通過滑動(dòng)會(huì)重復(fù)作用在整個(gè)輸入特征上，構(gòu)建出新的特征。同一個(gè)卷積核進(jìn)行卷積時(shí)，共享相同的參數(shù)，包括同樣的權(quán)重和偏置，這也使要學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)參數(shù)數(shù)量大大降低了。而當(dāng)我們使用不同的卷積核進(jìn)行卷積時(shí)，可以得到相應(yīng)的不同的輸出特征，這些輸出特征組合到一起，構(gòu)成卷積層的輸出。

在亞采樣層，前一個(gè)卷積層的輸出將作為該層的輸入特征，首先設(shè)定大小的窗口，然后通過滑動(dòng)，用窗口區(qū)域中最大（或平均）的特征值來表示該窗口中的特征值，最后組合這些特征值得到降維后的特征。亞采樣過程可表示如下：

（2）

這里，類似于卷積層， 和 分別是第 層輸入特征和第 層輸出特征上相應(yīng)的值， 是特征的偏置； 表示取最大值 或者平均值 的函數(shù)。

典型的卷積神經(jīng)網(wǎng)絡(luò)通常由n（n>=1）個(gè)卷積層和亞采樣層以及最末尾的m（m>=1）全連接層組合而成。一個(gè)亞采樣層跟隨在一個(gè)卷積層后出現(xiàn)，通過這若干卷積層和亞采樣層后得到的特征，將經(jīng)過全連接層與輸出層相連。全連接層公式如下：

（3）

這里， 是sigmoid函數(shù)， 是計(jì)算第 層到第 層時(shí)的權(quán)重值。

1.2基于卷積神經(jīng)網(wǎng)絡(luò)的CTR預(yù)測(cè)模型

研究中使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)搜索廣告的CTR進(jìn)行預(yù)測(cè)，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 卷積神經(jīng)網(wǎng)絡(luò)在搜索廣告點(diǎn)擊率預(yù)估中的應(yīng)用

Fig.2 Convolution neural network in search ad click rate through prediction

實(shí)驗(yàn)中一共設(shè)置了兩個(gè)卷積層、兩個(gè)亞采樣層以及一個(gè)全連接層。首先從歷史日志中提取相應(yīng)的特征構(gòu)建出輸入（Feature_Input），設(shè)置好卷積的窗口大小后根據(jù)公式（1）對(duì)輸入特征進(jìn)行卷積，每一次卷積是對(duì)窗口內(nèi)所有值的組合，因此卷積過程相當(dāng)于特征融合過程。對(duì)卷積后得到的特征，設(shè)置亞采樣的窗口并根據(jù)公式（2）進(jìn)行最大值-采樣，選取出窗口中的最有表達(dá)能力的特征值（最大特征值）表示整個(gè)窗口的特征，因此亞采樣過程相當(dāng)于特征的萃取過程。整個(gè)卷積和亞采樣過程的結(jié)合，模擬出了人對(duì)事物的理解和總結(jié)的過程。最后將特征經(jīng)過一層全連接后連接到輸出，得到最終的預(yù)測(cè)結(jié)果。

在一次特定的卷積（或亞采樣）全過程中即訓(xùn)練的一次迭代過程中，權(quán)值并不會(huì)隨著窗口的滑動(dòng)而改變，即在計(jì)算中，所有窗口滑過的特征享受同樣的權(quán)值。這也是CNN區(qū)別于其他神經(jīng)網(wǎng)絡(luò)的特點(diǎn)――權(quán)值共享。如此即使得CNN更方便訓(xùn)練，更能多角度地對(duì)特征進(jìn)行學(xué)習(xí)。

2特征構(gòu)建

本文所采用的實(shí)驗(yàn)數(shù)據(jù)集為KDD Cup 2012中Track 2提供的數(shù)據(jù)集。該數(shù)據(jù)由騰訊公司下的搜索品牌搜搜（SOSO）搜索引擎提供，因?yàn)樯婕肮旧虡I(yè)信息，數(shù)據(jù)經(jīng)過哈希處理。實(shí)驗(yàn)數(shù)據(jù)集中，每條記錄包含12個(gè)屬性，各屬性詳解如表1所示。

研究按照實(shí)際含義將這12個(gè)屬性構(gòu)造了四大類特征：歷史點(diǎn)擊率特征、相似度特征、位置特征和高影響力特征。

2.1基于卷積神經(jīng)網(wǎng)絡(luò)的CTR預(yù)測(cè)模型

歷史點(diǎn)擊率特征是不同類別ID在歷史數(shù)據(jù)中的點(diǎn)擊率，雖然比較簡(jiǎn)單但十分有效，因?yàn)闅v史點(diǎn)擊率在一定程度上代表了類別ID對(duì)某個(gè)廣告感興趣程度的高低，當(dāng)一個(gè)ID對(duì)某個(gè)廣告的歷史點(diǎn)擊率高時(shí)，意味著其對(duì)這個(gè)廣告更感興趣，后續(xù)點(diǎn)擊的概率也更大。

歷史點(diǎn)擊率（ ）是點(diǎn)擊數(shù)（ ）與展示數(shù)（ ）之比，在統(tǒng)計(jì)計(jì)算過程發(fā)現(xiàn)有很多情況下有些類別信息沒有點(diǎn)擊實(shí)例，因此研究采用了平滑方法解決零值問題，根據(jù)公式（4）來計(jì)算平均點(diǎn)擊率。計(jì)算公式如下：

（4）

公式中的 和 是調(diào)節(jié)參數(shù)，根據(jù)公式（4）計(jì)算出AdID，AdvertiserID，QueryID，KeywordID，TitleID，DescriptiomID，UserID的歷史點(diǎn)擊率。

2.2相似度特征

相似度特征用來刻畫屬性兩兩之間的相似程度，用戶搜索的內(nèi)容與被投放的廣告屬性相似度高時(shí)，廣告被點(diǎn)擊的概率更大。例如當(dāng)搜索內(nèi)容Query與廣告關(guān)鍵字屬性Keyword相似度高時(shí)，意味著網(wǎng)頁投放的廣告與用戶期望搜索的廣告結(jié)果相似度高，更符合用戶點(diǎn)擊廣告的動(dòng)作。

通過對(duì)Query、Keyword、Title、Description的屬性描述文件構(gòu)造出相關(guān)的TF-IDF向量，Query為用戶搜索內(nèi)容，Keyword，Title，Description是廣告的相關(guān)屬性，數(shù)據(jù)集提供的屬性信息都是經(jīng)過哈希后的數(shù)字形式，但是屬性之間的相對(duì)含義不變，然后計(jì)算相互之間的余弦相似度作為特征。

2.3位置特征

該特征描述的是指定廣告在搜索結(jié)果頁面中的位置信息。用戶搜索時(shí)需求的多樣化要求在對(duì)廣告進(jìn)行排序和投放時(shí)，在結(jié)果頁面靠前的位置中盡可能地投放滿足用戶需求的廣告，從而最大化用戶的滿意度、提高用戶點(diǎn)擊的興趣[9]。因此，研究即用當(dāng)前預(yù)測(cè)廣告的相對(duì)位置Pos來刻畫該廣告在結(jié)果頁面中排序靠前的程度，其定義如下：

（5）

這里， 指頁面投放的廣告總數(shù)， 指當(dāng)前所預(yù)測(cè)廣告的位置。

2.4位置特征

在預(yù)測(cè)模型中，ID屬性信息通常采用one-hot形式的特征編碼方式，在將不同的屬性經(jīng)過one-hot編碼后的特征向量組合在一起，這樣方式簡(jiǎn)單直觀，卻使得特征的維度巨大并且非常稀疏。然而在這龐大且稀疏的特征中，絕大部分維度上的特征值對(duì)整個(gè)模型的預(yù)測(cè)結(jié)果貢獻(xiàn)非常小甚至為零，只有少數(shù)維度上的特征值對(duì)預(yù)測(cè)結(jié)果有較高的影響力。因此研究采用L1范數(shù)正則化的方式，在邏輯回歸模型的代價(jià)函數(shù)中加入L1范數(shù)[10]，使得模型學(xué)習(xí)得到的結(jié)果滿足稀疏化，在學(xué)習(xí)參數(shù)中按大小順序取出前N維權(quán)重較大的，將這N維權(quán)重對(duì)應(yīng)位置上的特征值構(gòu)建新的特征，稱為高影響力特征，考慮到實(shí)驗(yàn)硬件，取N=180。

3 實(shí)驗(yàn)結(jié)果與結(jié)論分析

3.1數(shù)據(jù)準(zhǔn)備

實(shí)驗(yàn)?zāi)繕?biāo)是通過給定的信息預(yù)測(cè)搜索網(wǎng)頁的廣告點(diǎn)擊率，由于數(shù)據(jù)量過大并且正負(fù)樣本不平衡，實(shí)驗(yàn)中從訓(xùn)練集隨機(jī)采樣10%作為本文實(shí)驗(yàn)中模型訓(xùn)練的訓(xùn)練集，既縮小了樣本空間，同時(shí)隨機(jī)采樣也保持了原始數(shù)據(jù)的分布信息。實(shí)驗(yàn)中隨機(jī)抽取部分樣本作為驗(yàn)證集用于參數(shù)的調(diào)節(jié)。本文所用測(cè)試集為 KDD Cup 2012中track 2的全部測(cè)試數(shù)據(jù)，因此本文的結(jié)果與KDD Cup 2012中track 2比賽的結(jié)果具有可比性。數(shù)據(jù)的統(tǒng)計(jì)信息如表2所示。

這里， 、 分別表示結(jié)果中預(yù)測(cè)對(duì)的正樣本數(shù)和負(fù)樣本數(shù)， 、 分別表示結(jié)果中預(yù)測(cè)錯(cuò)的正樣本數(shù)和負(fù)樣本數(shù)。對(duì)于廣告點(diǎn)擊率預(yù)測(cè)問題，較大的AUC值代表了較好的性能。

3.2實(shí)驗(yàn)設(shè)置和結(jié)果分析

實(shí)驗(yàn)的操作系統(tǒng)為Ubuntu 12.04 LTS OS，卷積神經(jīng)網(wǎng)絡(luò)在4G RAM 的NVIDIA GeForce GT 610 GPU條件下運(yùn)行。過程中選用了Dense Gaussian對(duì)卷積層、亞采樣層的邊和節(jié)點(diǎn)進(jìn)行初始化，用常數(shù)初始化輸出層，學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)各邊權(quán)值時(shí)的優(yōu)化函數(shù)使用梯度下降算法，其中學(xué)習(xí)率為0.01、動(dòng)量項(xiàng)為0.9，訓(xùn)練步數(shù)為100，設(shè)置公式（4）中參數(shù)α=0.05，β=75。實(shí)驗(yàn)時(shí)使用邏輯回歸模型（LR）、支持向量回歸模型（SVR）和深度神經(jīng)網(wǎng)絡(luò)（DNN）作為對(duì)比方法，所有方法都使用相同的特征，其中DNN的層數(shù)以及每層的節(jié)點(diǎn)數(shù)與卷積神經(jīng)網(wǎng)絡(luò)相同。

具體地，首先探究了卷積神經(jīng)網(wǎng)絡(luò)中節(jié)點(diǎn)的設(shè)置，因?yàn)樵贑NN中后續(xù)層的節(jié)點(diǎn)數(shù)根據(jù)第一個(gè)卷積層和每層卷積（或亞采樣）滑動(dòng)窗口的大小計(jì)算得到，并以第一個(gè)卷積層節(jié)點(diǎn)的設(shè)置為實(shí)驗(yàn)變量，同時(shí)控制DNN中每層的節(jié)點(diǎn)數(shù)均與CNN相同，在驗(yàn)證集上的實(shí)驗(yàn)結(jié)果如圖3所示。

從圖3可以看出，隨著節(jié)點(diǎn)的增加，AUC的值也在不斷增長，在一定范圍內(nèi)，節(jié)點(diǎn)數(shù)越多，實(shí)驗(yàn)的結(jié)果越好。但隨著節(jié)點(diǎn)數(shù)的增大，模型的訓(xùn)練時(shí)間也在延長，對(duì)設(shè)備的開銷需求也在升高，綜合上述因素，最終將第一層的節(jié)點(diǎn)數(shù)設(shè)為9 216。

CNN與各對(duì)比實(shí)驗(yàn)的實(shí)驗(yàn)結(jié)果如表3所示，可以看出CNN的效果最佳，此外在表中還列出了KDD Cup 2012 track 2比賽中第一名的結(jié)果。DNN的AUC值優(yōu)于LR和SVR，驗(yàn)證了深度學(xué)習(xí)模型比淺層學(xué)習(xí)模型更適合解決CTR預(yù)估問題，同時(shí)CNN的結(jié)果高于DNN，說明CNN中卷積層的特征融合和亞采樣層的特征萃取過程是有效的。本文中CNN目前的實(shí)驗(yàn)結(jié)果略低于KDD Cup 2012 track 2中第一名的結(jié)果，原因是比賽隊(duì)伍使用了多模型融合并提取了龐大的（千萬維）輸入特征。

進(jìn)一步地，實(shí)驗(yàn)探索了每一類特征對(duì)搜索廣告點(diǎn)擊率預(yù)測(cè)的貢獻(xiàn)。在所有特征的情況下，去掉某一類特征來進(jìn)行預(yù)測(cè)，實(shí)驗(yàn)結(jié)果如表4所示。實(shí)驗(yàn)結(jié)果表明，去掉任意一類特征都將使得實(shí)驗(yàn)效果有所下降。其中去掉歷史點(diǎn)擊率特征效果下降得最明顯，說明用戶是否點(diǎn)擊廣告，與其之前的點(diǎn)擊行為非常相關(guān)。而去掉位置特征時(shí)，效果下降得最為不明顯，因?yàn)樵趯?shí)驗(yàn)使用的數(shù)據(jù)集中，每個(gè)頁面最多僅呈現(xiàn)三個(gè)廣告，頁面中的廣告數(shù)少時(shí)，位置對(duì)用戶點(diǎn)擊的影響小。

4 結(jié)束語

對(duì)搜索廣告點(diǎn)擊率的有效預(yù)測(cè)不但能夠更好的提高在線廣告投放的性能，增加廣告商的收益，還能增強(qiáng)用戶的體驗(yàn)。研究使用卷積神經(jīng)網(wǎng)絡(luò)CNN對(duì)搜索廣告點(diǎn)擊率進(jìn)行預(yù)測(cè)，對(duì)特征因素的分析之后，在真實(shí)數(shù)據(jù)的環(huán)境下對(duì)搜索廣告點(diǎn)擊率進(jìn)行預(yù)測(cè)的實(shí)驗(yàn)本文的方法的效果相對(duì)于其他方法有明顯的提高。本文的主要貢獻(xiàn)有：（1）本文提出了基于卷積神經(jīng)網(wǎng)絡(luò)的搜索廣告點(diǎn)擊率預(yù)測(cè)的方法。（2）針對(duì)高維特征，提出了一種特征選擇策略，可以在計(jì)算能力受限的情況下使用CNN模型來解決廣告點(diǎn)擊預(yù)測(cè)問題，并取得較好效果。在未來的工作中，一方面要繼續(xù)研究更有效的特征來提高對(duì)點(diǎn)擊率的預(yù)測(cè)效果，另一方面也將嘗試對(duì)CNN模型的內(nèi)部細(xì)節(jié)進(jìn)行改進(jìn)，使之更適合我們的預(yù)測(cè)場(chǎng)景。

參考文獻(xiàn)：

[1] 霍曉駿，賀牛楊燕. 一種無位置偏見的廣告協(xié)同推薦算法[J]. 計(jì)算機(jī)工程， 2014， 40（12）： 39-44.

[2] BHARGAV K， AHMED A， PANDEY S， et al. Focused matrix factorization for audience selection in display advertising[C]// Data Engineering （ICDE）， 2013 IEEE 29th International Conference on， Brisbane ， Australia： IEEE， 2013：386-397.

[3] SHAN Lili， LEI Lin， DI Shao， et al. CTR Prediction for DSP with Improved Cube Factorization Model from Historical Bidding Log[M]// C K Loo， et al（Eds.）： Neural Information Processing. Switzerland：Springer，2014，8836：17-24.

[4] OLIVIER C， ZHANG Ya. A dynamic bayesian network click model for web search ranking[C]//Proceedings of the 18th international conference on World wide web. Madrid： ACM，2009：1-10.

[5] DEEPAYAN C， AGARWAL D， JOSIFOVSKI V. Contextual advertising by combining relevance with click feedback[C]//Proceedings of the 17th international conference on World Wide Web. Beijing： ACM，2008：417-426.

[6] WU Kuanwei， FERNG C S， HO C H， et al.， A two-stage ensemble of diverse models for advertisement ranking in KDD Cup 2012[J]. KDDCup， 2012.

[7] DAVE K S， VARMA V. Learning the click-through rate for rare/new ads from similar ads[C]// Proceedings of the 33rd international ACM SIGIR conference on Research and development in information retrieval， Geneva， Switzerland：ACM，2010.

[8] ZHANG Ying， JANSEN B J ， SPINK A. Identification of factors predicting clickthrough in Web searching using neural network analysis[J]. Journal of the American Society for Information Science and Technology， 2009， 60（3）： 557-570.

[9] 林古立.互聯(lián)網(wǎng)信息檢索中的多樣化排序研究及應(yīng)用[D].華南理工大學(xué)，2011.

篇7

關(guān)鍵詞：稀疏系數(shù)；超分辨率重建；在線字典學(xué)習(xí)；單圖

中圖分類號(hào)：TP391.9 文獻(xiàn)標(biāo)志碼：A

0引言

單幅圖像的超分辨率重建可以定義為在原始低分辨率單幅輸入圖像的基礎(chǔ)上增加更多細(xì)節(jié)和分辨能力從而生成一幅相應(yīng)高分辨率圖像的過程，總體上看可以按其任務(wù)歸為四類：1）預(yù)測(cè)模型法。通過預(yù)定的數(shù)學(xué)模型從低分輸入圖像生成高分圖像。加權(quán)平均等插值方法得到的像素強(qiáng)度值和相鄰像素局部相似，能生成較好的平滑區(qū)域，但邊緣等高頻區(qū)域產(chǎn)生大梯度時(shí)表現(xiàn)不佳。2）邊緣先驗(yàn)法。利用從邊緣特征所學(xué)習(xí)到的圖像先驗(yàn)信息重建高分圖像。邊緣是重要的原始圖像結(jié)構(gòu)，在視覺感知上起著決定性的作用。由于先驗(yàn)信息都由邊緣學(xué)習(xí)得來，重建圖像邊緣質(zhì)量高，銳度適當(dāng)且偽影較少；但邊緣先驗(yàn)對(duì)其他高頻結(jié)構(gòu)（如紋理）建模的有效性較差[1]。3）圖像統(tǒng)計(jì)法。利用各種圖像屬性作為先驗(yàn)信息重建高分圖像。重尾梯度分布、大量梯度的稀疏特性和全變分等方法用來減少運(yùn)算量或?qū)Φ头州斎雸D像進(jìn)行正則化，算法較復(fù)雜。4）圖像塊法。利用學(xué)習(xí)到的高分、低分圖像的映射函數(shù)恢復(fù)較好的圖像細(xì)節(jié)，效果較好但耗時(shí)較長。映射函數(shù)的學(xué)習(xí)方法有多種，如馬爾可夫隨機(jī)場(chǎng)、支持向量回歸、稀疏字典表示等[2]。

隨著機(jī)器學(xué)習(xí)和壓縮感知理論的引入，基于學(xué)習(xí)的超分算法在單圖超分應(yīng)用中越來越多。Yang等[3-4]提出了基于稀疏編碼和字典學(xué)習(xí)的稀疏編碼超分（Sparse Coding SuperResolution，SCSR）法，超分圖像邊緣銳度較好但偽影較明顯。Yang等[4-5]都用聯(lián)合字典訓(xùn)練生成過完備字典。Glasner等[6]提出了一種基于圖像自身冗余信息的樣本庫建立方法，插值產(chǎn)生樣本庫，但自適應(yīng)能力較差。Zeyde等[7]將高分字典和低分字典的訓(xùn)練分開進(jìn)行，對(duì)圖像塊進(jìn)行降維處理，引入神經(jīng)網(wǎng)絡(luò)近似并用偽逆式簡(jiǎn)化高分字典的訓(xùn)練，提高了超分速度。Marial等[8]提出的在線字典學(xué)習(xí)（Online Dictionary Learning，ODL）法，使字典學(xué)習(xí)不再局限于小規(guī)模、確定的訓(xùn)練樣本，提高了字典訓(xùn)練的精度，圖像復(fù)原應(yīng)用效果較好。Yeganli等[9]將基于ODL的超分辨率重建與其他算法作了比較，但提升效果有限。楊波等[10]在小波域中進(jìn)行雙稀疏編碼，重建效果較好。另外，許多學(xué)者[11]將重建和學(xué)習(xí)方法的優(yōu)點(diǎn)結(jié)合，提出了基于圖像金字塔的多級(jí)字典超分辨率重建算法。以SCSR法為代表的基于學(xué)習(xí)的超分算法能夠取得較好的單圖超分效果，若能有效抑制其邊緣偽影，增加紋理細(xì)節(jié)，超分效果將有較大幅度的提高。

4結(jié)語

利用稀疏編碼進(jìn)行超分辨率重建生成的目標(biāo)高分圖像邊緣銳度較好，但沿著邊緣區(qū)域同時(shí)會(huì)生成較明顯的偽影，且圖像紋理細(xì)節(jié)會(huì)產(chǎn)生輕微的扭曲。針對(duì)這些問題，本文算法合理地處理訓(xùn)練和重建兩個(gè)階段中稀疏系數(shù)的關(guān)系，通過設(shè)置不同的正則化參數(shù)，獨(dú)立地調(diào)整兩階段的稀疏系數(shù)，分開訓(xùn)練得到較好的高分字典和低分字典。此外，還在訓(xùn)練階段引入在線字典學(xué)習(xí)算法，通過外部訓(xùn)練圖像分開生成更精確的高分字典和低分字典，在消除偽影的同時(shí)，不僅能保持圖像邊緣的銳度，還能較好地恢復(fù)圖像的紋理細(xì)節(jié)。本文算法主要關(guān)注訓(xùn)練階段，后續(xù)研究中可以設(shè)計(jì)適合本文算法的重建模型，進(jìn)一步提高單幅圖像的超分辨率重建效果。

參考文獻(xiàn)：

[1]

YANG C Y， MA C， YANG M H， et al. Singleimage superresolution： a benchmark[C]// Proceedings of the 2014 European Conference on Computer Vision. Berlin： Springer， 2014：372-386.

[2]

FREEMAN W T， PASZTOR E C， JONES T R. Examplebased superresolution [J]. IEEE Computer Graphics and Applications， 2002， 22（2）： 56-65.

[3]

YANG J C， WRIGHT J， MA Y， et al. Image superresolution as sparse representation of raw image patches[C]// Proceedings of the 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2008： 1-8.

[4]

YANG J C， WRIGHT J， MA Y. Image superresolution via sparse representation [J]. IEEE Transactions on Image Processing， 2010， 19（11）：2861-2873.

[5]

HE L， QI H U， ZARETZKI R. Beta process joint dictionary learning for coupled feature spaces with application to single image superresolution [C]// Proceedings of the 2013 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2013： 345-352.

[6]

GLASNER D， BAGON S， IRANI M. Superresolution from a single image [C]// Proceedings of the IEEE 2009 International Conference on Computer Vision. Piscataway， NJ： IEEE， 2009： 349-356.

[7]

ZEYDE R， ELAD M， PROTTER M. On single image scaleup using sparserepresentations[C]// Proceedings of the 7th International Conference on Curves and Surfaces， LNCS 6920. Berlin： Springer， 2010：711-730.

[8]

MAIRAL J， BACH F， PONCE J， et al. Online learning for matrix factorization and sparse coding [J]. Journal of Machine Learning Research， 2010， 11（10）： 19-60.

[9]

YEGANLI F， OZKARAMANLI H. Improved online dictionary learning for sparse signal representation[C]// Proceedings of the 22nd Signal Processing and Communications Applications Conference. Piscataway， NJ： IEEE， 2014：1702-1705.

[10]

楊波， 吳紀(jì)桃， 謝曉振.小波域中雙稀疏的單幅圖像超分辨[J].中國圖象圖形學(xué)報(bào)， 2014， 19（11）：1570-1576.（YANG B， WU J T， XIE X Z. Single image superresolution in wavelet domain with double sparse [J]. Journal of Image and Graphics， 2014， 19（11）：1570-1576.）

[11]

ZHANG K， GAO X， TAO D， et al. Multiscale dictionary for single image superresolution[C]// Proceedings of the 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2012： 1114-1121.

[12]

YANG J， LIN Z， COHEN S. Fast image superresolution based on inplace example regression[C]// Proceedings of the 2013 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2013： 1059-1066.

[13]

SADEGHI M， BABAIEZADEH M， JUTTEN C. Dictionary learning for sparse representation： a novel approach [J]. IEEE Signal Processing Letters， 2013： 20（12）：1195-1198.

[14]

LEE H， BATTLE A， RAINA R， et al. Efficient sparse coding algorithms[EB/OL]. [20150510]. http：//machinelearning.wustl.edu/mlpapers/paper_files/NIPS2006_878.pdf.

[15]

EFRON B， TIBSHIRANI R. Least angle regression [J]. The Annals of Statistics， 2004， 32（2）：2004：407-451.

Background

This work is partially supported by the National Natural Science Foundation of China （61271256）， the Team Plan Program of the Outstanding Young Science and Technology Innovation of Colleges and Universities in Hubei Province （T201513）， the Natural Science Foundation of Hubei Province （2015CFB452）， the Research Project of Education Department in Hubei Province （B2015080）.

NI Hao， born in 1981， M. S.， lecturer. His research interests include machine learning， computer vision.

RUAN Ruolin， born in 1974， Ph. D.， professor. His research interests include video and audio coding， image processing.

篇8

2.基于混合高斯和均值濾波法的運(yùn)動(dòng)檢測(cè)方法鐘珞，劉劍，ZHONGLuo，LIUJian

3.電源監(jiān)控系統(tǒng)中的遠(yuǎn)程采集終端設(shè)計(jì)夏澤中，蘇宏良，朱玉璟，XIAZezhong，SUHongliang，ZHUYujing

4.一種面向服務(wù)的異構(gòu)系統(tǒng)間數(shù)據(jù)交換平臺(tái)設(shè)計(jì)孫璐，SUNLu

5.基于CAN總線的接觸網(wǎng)隔離開關(guān)監(jiān)控系統(tǒng)設(shè)計(jì)王小偉，余先濤，戴延浩，WANGXiaowei，YUXiantao，DAIYanhao

6.基于SQL*Loader的海量數(shù)據(jù)裝載方案優(yōu)化秦峰巍，胡家寶，崔龍衛(wèi)，QINFengwei，HUJiabao，CUILongwei

7.基于Netfilter的網(wǎng)絡(luò)地址轉(zhuǎn)換研究與實(shí)現(xiàn)鄭培群，蘇揚(yáng)，郭倩，ZHENGPeiqun，SUYang，GUOQian

8.采用ADuC7026的網(wǎng)絡(luò)分布式數(shù)據(jù)采集系統(tǒng)趙京，ZHAOJing

9.紡織廠生產(chǎn)監(jiān)控系統(tǒng)的數(shù)據(jù)采集和擬合方法邵景峰，李永剛，王進(jìn)富，任克儉，黨金房，李敏，SHAOJingfeng，LIYonggang，WANGJinfu，RENKejian，DANGJinfang，LIMin

10.夫瑯和費(fèi)衍射實(shí)驗(yàn)仿真平臺(tái)的構(gòu)建楊應(yīng)平，趙盾，胡昌奎，陳文杰，YANGYingping，ZHAODun，HUChangkui，CHENWenjie

11.一種周期材料電磁波特性實(shí)驗(yàn)研究鄭鈞宜，余昌文，章橋新，ZHENGJunyi，YUChangwen，ZHANGQiaoxin

12.小型低風(fēng)速風(fēng)力發(fā)電機(jī)葉片設(shè)計(jì)錢杰，張錦光，吳俊，QIANJie，ZHANGJinguang，WUJun

13.低溫環(huán)境下光纖光柵啁啾異?，F(xiàn)象研究周建華，張東生，付榮，ZHOUJianhua，ZHANGDongsheng，F(xiàn)URong

14.水庫冰凍期冰內(nèi)溫度的模擬閆慧榮，劉文濤，馮民權(quán)，閔濤，YANHuirong，LIUWentao，F(xiàn)ENGMinquan，MINTao

15.基于小波的浮筏振動(dòng)信號(hào)特征提取方法李萍，王春麟，LIPing，WANGChunlin

16.磁懸浮主動(dòng)隔振器漏磁分析與優(yōu)化黃海，宋春生，劉明堯，HUANGHai，SONGChunsheng，LIUMingyao

17.變剛度雙層隔振系統(tǒng)仿真分析姚俊輝，宋春生，YAOJunhui，SONGChunsheng

18.基于ANSYS層單元的翻新輪胎有限元仿真分析齊曉杰，于建國，QIXiaojie，YUJianguo

19.雙質(zhì)量飛輪傳動(dòng)軸系扭振模擬試驗(yàn)臺(tái)研究吳飛，毛恒，WUFei，MAOHeng

20.一類Liénard方程Poincaré分岔極限環(huán)的不存在性呂寶紅，L(U)Baohong

21.中國非金屬礦物材料信息資源庫系統(tǒng)設(shè)計(jì)楊琦峰，王俊，聶規(guī)劃，宋平，YANGQifeng，WANGJun，NIEGuihua，SONGPing

22.射頻感應(yīng)認(rèn)證技術(shù)在服務(wù)行業(yè)中的應(yīng)用王思捷，WANGSijie

23.企業(yè)協(xié)同知識(shí)創(chuàng)新系統(tǒng)的多級(jí)可拓評(píng)價(jià)研究李朝明，杜寶蒼，黃利萍，LIChaoming，DUBaocang，HUANGLiping

24.產(chǎn)業(yè)鏈視角下汽車產(chǎn)業(yè)創(chuàng)新服務(wù)平臺(tái)研究汪秀婷，陳天笑，WANGXiuting，CHENTianxiao

25.我國航運(yùn)企業(yè)信息化發(fā)展趨勢(shì)及戰(zhàn)略選擇何山，馬云涌，HEShan，MAYunyong

26.我國兩化融合水平區(qū)域差異分析黃體鴻，侯仁勇，陳天笑，HUANGTihong，HOURenyong，CHENTianxiao

27.云南省循環(huán)經(jīng)濟(jì)發(fā)展的生態(tài)效率測(cè)度研究蘇芳，閆曦，SUFang，YANXi

28.我國就業(yè)的影響因素及其效應(yīng)的動(dòng)態(tài)分析張應(yīng)碧，趙韞，ZHANGYingbi，ZHAOYun

29.我國服務(wù)貿(mào)易發(fā)展的現(xiàn)狀分析與對(duì)策研究胡琴，HUQin

30.奇點(diǎn)分離法在美式期權(quán)定價(jià)中的應(yīng)用王建華，董志華，WANGJianhua，DONGZhihua

31.基于強(qiáng)化緩沖算子的裝備修理價(jià)格預(yù)測(cè)謝力，魏汝祥，陸霞，王雷，XIELi，WEIRuxiang，LUXia，WANGLei

32.基于GARCH模型的WTI原油價(jià)格波動(dòng)性分析楊云飛，鮑玉昆，張金隆，YANGYunfei，BAOYukun，ZHANGJinlong

33.基于RNN模型的高科技企業(yè)經(jīng)營困境預(yù)測(cè)尹鵬，王宗軍，肖德云，薄純林，YINPeng，WANGZongjun，XIAODeyun，BOChunlin

34.創(chuàng)業(yè)者與管理者決策方式的比較陳震紅，董俊武，CHENZhenhong，DONGJunwu

35.金融產(chǎn)品創(chuàng)新鏈研究姚良，YAOLiang

36.基于復(fù)雜網(wǎng)絡(luò)的股票社團(tuán)化分析王娟，王衛(wèi)華，WANGJuan，WANGWeihua

37.中美上市公司內(nèi)部控制信息披露比較研究胡蕾，祝焰，HULei，ZHUYan

38.業(yè)主支付擔(dān)保的博弈論分析鄭梅華，張?jiān)撇?，ZHENGMeihua，ZHANGYunbo

39.汽車制造企業(yè)生產(chǎn)成本管理研究王秀梅，李明，WANGXiumei，LIMing

40.面向供應(yīng)鏈的ERP研究綜述徐俊，徐學(xué)軍，王旭陽，XUJun，XUXuejun，WANGXuyang

41.FMEA和價(jià)值工程方法在生產(chǎn)流程中的應(yīng)用計(jì)三有，王勇，JISanyou，WANGYong

42.服務(wù)供應(yīng)鏈中核心價(jià)值內(nèi)部客戶評(píng)價(jià)方法喻立，YULi

43.基于模糊神經(jīng)網(wǎng)絡(luò)的第三方物流項(xiàng)目風(fēng)險(xiǎn)預(yù)測(cè)王慧萍，WANGHuiping

1.基于ANSYS的儲(chǔ)熱室隔熱性能數(shù)值模擬程曉敏，梅麗君，吳興文，熊文，CHENGXiaomin，MEILijun，WUXingwen，XIONGWen

2.一種基于G.723.1的大容量自適應(yīng)信息隱藏算法王春輝，黃永峰，王衛(wèi)華，鄧北星，WANGChunhui，HUANGYongfeng，WANGWeihua，DENGBeixing

3.基于線陣CCD的在線亞像素邊緣測(cè)量系統(tǒng)雷波，盧紅，LEIBo，LUHong

4.基于S7-400PLC的水泥破碎控制系統(tǒng)設(shè)計(jì)肖峻，劉冰，劉艾明，XIAOJun，LIUBing，LIUAiming

5.基于Labview的緩沖材料動(dòng)態(tài)壓縮測(cè)試系統(tǒng)設(shè)計(jì)盧杰，焦麗娟，周廷美，LUJie，JIAOLijuan，ZHOUTingmei

6.一種新的無線傳感器網(wǎng)絡(luò)分布式節(jié)點(diǎn)定位方法賀遠(yuǎn)華，黎洪生，HEYuanhua，LIHongsheng

7.幾種應(yīng)用于人臉識(shí)別的光照預(yù)處理方法對(duì)比孟芳兵，吳雷，MENGFangbing，WULei

8.一種變步長LMS自適應(yīng)噪聲抵消算法研究李曉艷，聶明新，余文芳，LIXiaoyan，NIEMingxin，YUWenfang

9.一種改進(jìn)的協(xié)同過濾推薦算法劉旭東，陳德人，王惠敏，LIUXudong，CHENDeren，WANGHuimin

10.總變差正則化方法在條形碼信號(hào)復(fù)原中的應(yīng)用郭永琪，吳傳生，何進(jìn)榮，GUOYongqi，WUChuansheng，HEJinrong

11.基于同步模式的EXCEL與.NET數(shù)據(jù)交互金勇，蘭放，JINYong，LANFang

12.C語言可視化編程環(huán)境的設(shè)計(jì)與實(shí)現(xiàn)陳雪梅，韓潔瓊，CHENXuemei，HANJieqiong

13.基于均值平移的輸液可見異物檢測(cè)方法楊偉強(qiáng)，劉佐民，YANGWeiqiang，LIUZuomin

14.基于電機(jī)主動(dòng)同步原理的AMT設(shè)計(jì)吳森，周炳峰，樊榮，WUSen，ZHOUBingfeng，F(xiàn)ANRong

15.汽車制動(dòng)管路壓力波動(dòng)響應(yīng)特性仿真鄧紅星，王憲彬，DENGHongxing，WANGXianbin

16.一種低功耗一體化TPMS方案設(shè)計(jì)劉盛強(qiáng)，王善坡，LIUShengqiang，WANGShanpo

17.基于迂回方式的繼電保護(hù)信道重構(gòu)技術(shù)鮑曉慧，BAOXiaohui

18.基于FBG分布式傳感的簡(jiǎn)支板動(dòng)態(tài)應(yīng)變測(cè)量匡維，宋春生，KUANGWei，SONGChunsheng

19.不同型鋼截面定尺切斷設(shè)備的優(yōu)化選擇于彩敏，YUCaimin

20.二維離散數(shù)據(jù)的數(shù)值微分問題的積分算子方法朱華平，吳傳生，呂小紅，ZHUHuaping，WUChuansheng，LVXiaohong

21.鐵礦石生產(chǎn)運(yùn)輸管理系統(tǒng)的研究韓少軍，白俊江，王龍，HANShaojun，BAIJunjiang，WANGLong

22.文峪河水庫潰壩洪災(zāi)損失預(yù)測(cè)研究楊建明，馮民權(quán)，蘆綺玲，韓巧欠，YANGJianming，F(xiàn)ENGMinquan，LUQiling，HANQiaoqian

23.網(wǎng)絡(luò)信息資源管理?xiàng)瞽偅琘ANGQiong

24.沖壓廠生產(chǎn)計(jì)劃編排系統(tǒng)研究王秀梅，杜巧紅，WANGXiumei，DUQiaohong

25.基于RFID的供應(yīng)鏈管理信息系統(tǒng)集成廖燕，LIAOYan

26.移動(dòng)商務(wù)價(jià)值形成機(jī)制的多智能體模擬曾慶群，胡斌，ZENGQingqun，HUBin

27.基于技術(shù)的績(jī)效管理信息系統(tǒng)研究林慧，LINHui

28.長江淺險(xiǎn)航段通航環(huán)境危險(xiǎn)度分析楊亞東，YANGYadong

29.應(yīng)用模糊綜合評(píng)價(jià)法進(jìn)行城市布局的評(píng)判研究藍(lán)悅明，劉會(huì)會(huì)，王楠，LANYueming，LIUHuihui，WANGNan

30.競(jìng)爭(zhēng)與合作設(shè)施并存的最大覆蓋選址問題，馬云峰，WANGDan，MAYunfeng

31.我國交叉型乘用車市場(chǎng)研究鄒蔚，莫易敏，姚佐平，ZOUWei，MOYimin，YAOZuoping

32.構(gòu)建中國海外投資促進(jìn)體系研究綜述劉思施，馬麗娜，LIUSishi，MALina

33.新股詢價(jià)區(qū)間、價(jià)格調(diào)整與上市首日收益鄒斌，夏新平，ZOUBin，XIAXinping

34.美聯(lián)儲(chǔ)貨幣政策與房地產(chǎn)泡沫關(guān)系實(shí)證分析劉星，LIUXing

35.美國反傾銷問題的新進(jìn)展馬紅，張函，MAHong，ZHANGHan

36.基于最高限價(jià)的武器裝備價(jià)格規(guī)制模型研究黃煜，孫勝祥，任開成，HUANGYu，SUNShengxiang，RENKaicheng

37.基于定制成本的廠商生產(chǎn)戰(zhàn)略研究張子慧，張隱，張榮耀，ZHANGZihui，ZHANGYin，ZHANGRongyao

38.周期性補(bǔ)貨系統(tǒng)中多類顧客的庫存分配策略汪小京，劉志學(xué)，鄭，WANGXiaojing，LIUZhixue，ZHENGChangzheng

39.基于C2C模式下顧客忠誠影響因素的研究劉雁妮，周志民，任思穎，LIUYanni，ZHOUZhimin，RENSiyin

40.基于熵權(quán)的裝備研制技術(shù)成熟度評(píng)估方法謝梅芳，楊建軍，XIEMeifang，YANGJianjun

41.海事局人力資源結(jié)構(gòu)合理性度量研究羅帆，王慰，趙玉瑋，吳木林，LUOFan，WANGWei，ZHAOYuwei，WUMulin

42.基于委托關(guān)系的軟件企業(yè)經(jīng)營者精神激勵(lì)付文鋒，張金隆，李順國，F(xiàn)UWenfeng，ZHANGJinlong，LIShunguo

6.用于VR網(wǎng)上祭祀的智能虛擬化身Agent模型魏洪濤，陳煜

7.分布式煤礦水文監(jiān)測(cè)系統(tǒng)的數(shù)據(jù)集成研究李存榮，熊萍

8.基于形態(tài)學(xué)的嵌入式零樹小波圖像編碼算法石云，曾中偉，汪麗麗，張素文

9.一類具有隨機(jī)遠(yuǎn)程感染機(jī)制的SEIRS傳播模型李常菊，黃樟燦

10.面向BACnet協(xié)議的工控OPC服務(wù)器設(shè)計(jì)李春洋，周寧

11.基于還原保護(hù)的分布式病毒防御機(jī)制研究黃小龍，黃艾卿

12.遺傳算法求解巡回旅行商問題的最優(yōu)參數(shù)組合羅旭，肖俊，李輝鵬

13.甚高頻數(shù)據(jù)傳輸電臺(tái)的混頻電路設(shè)計(jì)姜鳳嬌，趙樹平，高艷萍，祝開艷，曹立杰

14.超磁致伸縮材料特性測(cè)量的實(shí)驗(yàn)設(shè)計(jì)高峰

15.一類非線性微分方程極限環(huán)的不存在性呂寶紅，龍品紅

16.BP神經(jīng)網(wǎng)絡(luò)在發(fā)動(dòng)機(jī)萬有特性中的應(yīng)用顏伏伍，王洪建，田韶鵬，袁智軍

17.基于OpenGL的虛擬鋪放機(jī)建模及參數(shù)化驅(qū)動(dòng)徐東亮，李東海

18.路面不平度的測(cè)量石鋒，段虎明，楊殿閣，張開斌，謝飛

19.液壓模塊式組合掛車轉(zhuǎn)向機(jī)構(gòu)的矩陣變換算法鄧小禾，馬力，喬媛媛

20.客車氣動(dòng)ABS控制電磁閥的性能分析與仿真涂鳴，李剛炎

21.含間隙的平面四桿機(jī)構(gòu)運(yùn)動(dòng)特性分析吳煥芹，程強(qiáng)，鐘詩清

22.一種新的齒輪失效數(shù)控演示臺(tái)及其應(yīng)用研究胡瑞，劉佐民，張一兵，王斌球

篇9

    論文摘要: 當(dāng)點(diǎn)擴(kuò)展函數(shù)未知或不確知的情況下, 從觀察到的退化圖像中恢復(fù)原始圖像的過程稱為圖像盲復(fù)原。近年來, 圖像盲復(fù)原算法得到了廣泛的研究。本文在介紹了盲圖像恢復(fù)算法的現(xiàn)狀的基礎(chǔ)上進(jìn)一步研究其的發(fā)展方向。

    一、引言

    圖像恢復(fù)是圖像處理中的一大領(lǐng)域,有著廣泛的應(yīng)用,正成為當(dāng)前研究的熱點(diǎn)。圖像恢復(fù)的主要目的是使退化圖像經(jīng)過一定的加工處理,去掉退化因素,以最大的保真度恢復(fù)成原來的圖像。傳統(tǒng)的圖像恢復(fù)假設(shè)圖像的降質(zhì)模型是己知的。而許多情況下,圖像的降質(zhì)模型未知或具有較少的先驗(yàn)知識(shí),必須進(jìn)行所謂的盲恢復(fù)。其重要性和艱巨性而成為一個(gè)研究熱點(diǎn)。目前所能獲取的觀測(cè)圖像是真實(shí)圖像經(jīng)過觀測(cè)系統(tǒng)成像的結(jié)果。由于觀測(cè)系統(tǒng)本身物理特性的限制,同時(shí)受觀測(cè)環(huán)境的影響,觀測(cè)圖像和真實(shí)圖像之間不可避免地存在著偏差和失真,稱觀測(cè)系統(tǒng)對(duì)真實(shí)圖像產(chǎn)生了降質(zhì)。圖像恢復(fù)的目的就是根據(jù)降質(zhì)的觀測(cè)圖像分析和計(jì)算得出真實(shí)圖像。

    二、圖像盲恢復(fù)算法的現(xiàn)狀

    總體來說, 圖像盲復(fù)原方法主要分為以下兩類: 一是首先利用真實(shí)圖像的特別特征估計(jì)PSF,然后借助估計(jì)得到的PSF,采用經(jīng)典的圖像復(fù)原方法進(jìn)行圖像的復(fù)原。這類方法將PSF的估計(jì)與圖像的復(fù)原過程分為2個(gè)不同的過程,因而具有較少計(jì)算量的特點(diǎn);二是PSF辨識(shí)和真實(shí)圖像估計(jì)相結(jié)合,同時(shí)辨識(shí)PSF和真實(shí)圖像。這類算法較為復(fù)雜,計(jì)算量較大。另外,對(duì)于點(diǎn)擴(kuò)展函數(shù)也考慮了空間變化的復(fù)雜情況。針對(duì)目前的盲復(fù)原算法的現(xiàn)狀,根據(jù)退化模型的特點(diǎn), 重新將算法分為空間不變的單通道盲復(fù)原算法、空間不變多通道盲復(fù)原算法和空間變化圖像盲復(fù)原算法3類。

    (一)單通道空間不變圖像盲復(fù)原算法

    在這類算法中, 最為常用的是參數(shù)法和迭代法。

    1)參數(shù)法。所謂參數(shù)法, 即模型參數(shù)法, 就是將PSF和真實(shí)圖像用某一類模型加以描述, 但模型的參數(shù)需要進(jìn)行辨識(shí)。在參數(shù)法中, 典型的有先驗(yàn)?zāi)：孀R(shí)法和ARMA 參數(shù)估計(jì)法, 前者先辨識(shí)PSF的模型參數(shù),后辨識(shí)真實(shí)圖像, 屬于第1 種類型的圖像盲復(fù)原算法, 因而計(jì)算量較小;后者同時(shí)辨識(shí)PSF和真實(shí)圖像模型參數(shù), 屬于第2種類型圖像盲復(fù)原算法。

    2)迭代法。所謂的迭代法, 不是通過建立模型而是通過算法的迭代過程, 加上有關(guān)真實(shí)圖像和PSF的約束來同時(shí)辨識(shí)PSF和真實(shí)圖像的方法。迭代法是單通道

    圖像盲復(fù)原算法中應(yīng)用最廣泛的一類算法, 它不需建立模型, 也不要求PSF 為最小相位系統(tǒng), 因而跟實(shí)際更為接近。在這類算法中, 迭代盲復(fù)原算法(IBD), 基于非負(fù)性和決策域的遞歸逆濾波器算法(NAR2R IF) ,基于高階統(tǒng)計(jì)特性的最小

    熵算法等最為典型。

    (二)多通道二維圖像盲復(fù)原

    多通道二維圖像盲復(fù)原, 這類方法將數(shù)字通訊領(lǐng)域應(yīng)用的一維多通道盲原分離算法擴(kuò)展到二維情況并用于圖像的盲恢復(fù)。這類算法中有兩種代數(shù)方法, 一種是先辨識(shí)模糊函數(shù), 再采用常規(guī)的恢復(fù)算法進(jìn)行復(fù)原;另一種是直接對(duì)逆濾波器進(jìn)行估計(jì)。此類算法的優(yōu)點(diǎn)在于不需對(duì)初始圖像進(jìn)行估計(jì), 也不存在穩(wěn)定性和收斂性問題,對(duì)圖像以及模糊函數(shù)的約束是松弛的,算法具有一般性。但是第1種算法要求采用復(fù)原算法具有收斂性;第2種算法對(duì)噪聲敏感。

    (三)空間改變的圖像盲復(fù)原方法

    在許多實(shí)際的應(yīng)用中, 模糊往往是空間變化的,但由于處理工作的難度, 目前的研究較少,基本有相關(guān)轉(zhuǎn)換恢復(fù)和直接法兩類。

    相關(guān)轉(zhuǎn)換恢復(fù)的基本思想是區(qū)域分割, 即將整幅圖像分為若干局部區(qū)域, 然后假設(shè)在各個(gè)局部區(qū)域模糊是空間不變的, 利用空間不變的圖像復(fù)原有關(guān)算法進(jìn)行復(fù)原。這類方法都是基于窗口的模糊辨識(shí)技術(shù), 圖像的估計(jì)取決于窗口的大小, 由于模糊參數(shù)是連續(xù)變化的, 在范圍較大時(shí)空間不變的假設(shè)是不成立的, 因而模糊的估計(jì)精度較差, 而且這種方法只能針對(duì)部分空間變化的模糊進(jìn)行處理, 缺乏通用性; 其次在區(qū)域的邊上存在振鈴現(xiàn)象。

    直接法的基本思想是直接對(duì)圖像進(jìn)行處理。如采用簡(jiǎn)化的二維遞推卡爾曼濾波器進(jìn)行圖像模型和模糊模型的直接轉(zhuǎn)換方法, 其缺點(diǎn)是只能針對(duì)有限的模型, 而且模型數(shù)增加, 計(jì)算量會(huì)顯著增大;采用共軛梯度迭代算法, 但只見到一個(gè)31×31 的文本圖像處理的結(jié)果報(bào)道,對(duì)于大圖像處理效果尚需進(jìn)一步的研究;將空間變化圖像系統(tǒng)建立成馬爾苛夫隨機(jī)模型,對(duì)復(fù)原過程,采用模擬退火算法進(jìn)行最大后驗(yàn)估計(jì)的方法,這種方法避免了圖像的窗口化, 并能克服模糊參數(shù)不連續(xù)性造成的影響,但這種方法只能局限于將模糊過程建立成單參數(shù)的馬爾苛夫隨機(jī)模型的情況,而且計(jì)算量也較大。

    三、圖像盲恢復(fù)的應(yīng)用前景

    (1)現(xiàn)有算法的改進(jìn)以及新的算法研究?，F(xiàn)有各種算法還存在許多不足,有必要對(duì)算法進(jìn)一步改進(jìn)。如IBD算法中, 如何選擇初始條件才能保證算法的收斂;如何選擇算法終止條件才能保證恢復(fù)的質(zhì)量; 如何選擇濾波器中的噪聲參數(shù)才能減少噪聲的影響。又如NAR2R IF算法中, 如何進(jìn)一步解決噪聲敏感問題,支持域的確定以及如何將算法擴(kuò)展到非均勻背景的情況等。提出新的算法更好地解決圖像盲復(fù)原問題, 也是今后研究的熱點(diǎn)。

    (2)基于非線性退化模型的圖像盲復(fù)原算法。在實(shí)際應(yīng)用中,嚴(yán)格來講,所有的退化模型都是非線性的。對(duì)模型采用線性化的方法進(jìn)行近似處理,雖然算法簡(jiǎn)單,但對(duì)非線性嚴(yán)重的情況處理效果并不理想?；诙囗?xiàng)式以及神經(jīng)網(wǎng)絡(luò)兩種參數(shù)模型處理非線性信號(hào)盲分離算法,算法擴(kuò)展到二維圖像情況需要進(jìn)一步研究。研究基于非線性退化模型的圖像盲復(fù)原算法也是下一步研究方向之一。

    (3)去噪處理算法研究。加性噪聲的存在,使圖像的復(fù)原問題變成了一個(gè)病態(tài)問題,而且由于一般假設(shè)只知道噪聲的統(tǒng)計(jì)特性,因此要從退化圖像中完全去除噪聲是不可能的。另外,由于噪聲的存在,恢復(fù)的效果并不理想,結(jié)合降噪的圖像盲恢復(fù)的算法研究有很現(xiàn)實(shí)的意義,這方面也進(jìn)行了部分工作。為克服噪聲的影響,一般采用先進(jìn)行降噪,后進(jìn)行復(fù)原;二是將降噪和復(fù)原同時(shí)進(jìn)行這兩類方法。目前,大多數(shù)算法中將噪聲描述成高斯噪聲進(jìn)行研究, 在實(shí)際應(yīng)用時(shí)有較大局限性。對(duì)于非高斯情況的研究采用基于噪聲的高階統(tǒng)計(jì)特性的去噪算法研究也是很重要的研究方向,也可采用其他類型的方法進(jìn)行降噪,利用自組織映射的非線性獨(dú)立組件分析方法進(jìn)行圖像降噪處理算法。

    (4)實(shí)時(shí)處理算法。算法的的復(fù)雜性是制約算法應(yīng)用的一個(gè)重要方面?？刹捎谜齽t化的離散周期Radon變換的方法將二維的卷積轉(zhuǎn)化為一維進(jìn)行處理,以提高算法的速度;也可采用神經(jīng)網(wǎng)絡(luò)的實(shí)時(shí)處理算法。算法的實(shí)時(shí)性是算法實(shí)際應(yīng)用的先決條件。

    (5)應(yīng)用研究。算法的應(yīng)用是推動(dòng)算法研究的動(dòng)力。雖然圖像盲復(fù)原算法在天文學(xué)、醫(yī)學(xué)、遙感等方面獲得了較大的應(yīng)用, 但將算法應(yīng)用到一般的工業(yè)圖像實(shí)時(shí)檢測(cè)、機(jī)器視覺、網(wǎng)絡(luò)環(huán)境下的圖像傳輸恢復(fù)、刑事偵破等方面還有大量的工作要做。

    參考文獻(xiàn):

    [1] 薛梅,楊綠溪.用于含噪二值圖像的改進(jìn)NAS-RIF圖像盲復(fù)原算[J].數(shù)據(jù)處理.2006.17.(2).

篇10

關(guān)鍵詞： 多機(jī)器人系統(tǒng)； 協(xié)同定位； 擴(kuò)展卡爾曼濾波； 粒子濾波

中圖分類號(hào)： TN710?34； TP332.3 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2013）23?0095?04

Multi?robots co?localization technique based on EKF and PF

TIAN Hong?bing1， FAN Guang?nan2， SONG Long2

（1. College of Computer and Communication， Lanzhou University of Technology， Lanzhou 730050， China；

2. College of Electrical and Information Engineering， Lanzhou University of Technology， Lanzhou 730050， China）

Abstract： The positioning capacity is a prerequisite to complete the tasks， no matter for single?robot or multi?robots systems. It is difficult for common location technique to meet the requirements of mobile robot groups in high co?localization accuracy and strong real?time. A hybrid location technique based on Extended Kalman Filter （EKF） and Particle Filter （PF） is proposed. The multi?robots are motion modeling， then the basic principle of robot co?localization based on EKF or PF and their advantages and disadvantages are discussed respectively. On this basis， another co?localization based on the combination of EKF and PF is proposed. The experiment result shows that this method is effectively in solving the contradiction between positioning accuracy and calculation under some condition. And when the initial condition is unknown or the errors is large， the multi?robots co?localization can also be rapidly and precisely.

Keywords： multi?robot system； co?operative localization； EKF； PF

0 引 言

隨著人工智能、計(jì)算機(jī)、傳感器等技術(shù)的不斷發(fā)展，移動(dòng)機(jī)器人的研究及應(yīng)用得到了前所未有的進(jìn)步。多機(jī)器人的群體協(xié)作由于具有比單一機(jī)器人系統(tǒng)更高的工作效率、魯棒性、定位精度等優(yōu)點(diǎn)而得到了廣泛的關(guān)注，其中多機(jī)器人的協(xié)同定位問題成為近年來機(jī)器人研究領(lǐng)域的一大熱點(diǎn)及難點(diǎn)。目前，機(jī)器人協(xié)同定位技術(shù)主要有：卡爾曼濾波、粒子濾波、最大似然估計(jì)、模糊邏輯、人工神經(jīng)網(wǎng)絡(luò)[1]。這些定位方法的基本思想是：如何融合內(nèi)部傳感器的測(cè)量信息和外部傳感器的觀測(cè)信息以減少過程誤差和傳感器的測(cè)量誤差，得到更精確的機(jī)器人位置信息[2]。它們都有一定的適應(yīng)范圍，單一方法很難滿足多機(jī)器人系統(tǒng)的復(fù)雜工作環(huán)境。針對(duì)初始狀態(tài)未知或存在較大測(cè)量誤差的情況，本文提出EKF和PF相結(jié)合的定位方法，即先用PF使初始條件收斂到EKF的初始誤差允許范圍，再用EKF進(jìn)行迭代濾波，以達(dá)到快速、精確協(xié)同定位的目的。

1 多機(jī)器人系統(tǒng)協(xié)同定位技術(shù)框架

多機(jī)器人系統(tǒng)的協(xié)同定位是指多機(jī)器人群體利用相互之間的觀測(cè)信息，在未知環(huán)境中互為路標(biāo)，并通過信息交換，共享各個(gè)機(jī)器人獲得的自身和環(huán)境測(cè)量信息，得到比單個(gè)機(jī)器人自身定位更精確的位姿估計(jì)[3]，其技術(shù)框架如圖1所示。

單個(gè)機(jī)器人通常會(huì)配備多個(gè)內(nèi)部和外部傳感器以獲取自身參數(shù)信息和周圍環(huán)境信息。從圖1可以看出，機(jī)器人的傳感器信息經(jīng)過濾波等預(yù)處理后，得到兩種不同性質(zhì)的定位信息：自身位姿信息和相對(duì)觀測(cè)信息。然后運(yùn)用EKF、PF等技術(shù)進(jìn)行第二級(jí)的融合，最終實(shí)現(xiàn)協(xié)同定位。

圖1 多機(jī)器人系統(tǒng)協(xié)同定位技術(shù)框架

2 機(jī)器人系統(tǒng)運(yùn)動(dòng)模型和觀測(cè)模型

為進(jìn)行機(jī)器人協(xié)同定位，首先需要建立機(jī)器人的運(yùn)動(dòng)模型和傳感器的觀測(cè)模型[3]。機(jī)器人的運(yùn)動(dòng)模型因其機(jī)動(dòng)性設(shè)計(jì)的變化而有所不同。不失一般性，下面以二維平面內(nèi)兩輪機(jī)器人為例，介紹機(jī)器人運(yùn)動(dòng)模型和觀測(cè)模型，并利用該模型進(jìn)行各算法分析。

2.1 運(yùn)動(dòng)模型

如圖2，圖3所示，假設(shè)機(jī)器人在圖中[A]點(diǎn)的位姿[（xk，yk，φk）]，運(yùn)動(dòng)到[B]點(diǎn)后的位姿變?yōu)閇（xk+1，yk+1，φk+1），][φ]是機(jī)器人前進(jìn)方向與[X]軸的夾角，[s1k，][s2k]是本次采樣期間機(jī)器人左右輪運(yùn)動(dòng)的距離，[d]為兩輪間距。移動(dòng)機(jī)器人的運(yùn)動(dòng)模型建立過程如下：

圖2 機(jī)器人運(yùn)動(dòng)的幾何模型

圖3 單個(gè)采樣周期內(nèi)機(jī)器人的運(yùn)動(dòng)形式

Step 1：以[A]點(diǎn)建立坐標(biāo)系，求[B]點(diǎn)位姿[（Δx，Δy，Δφ）]，有：

[Δx=-0.5（s1k+s2k）sin（Δφ2）Δy=0.5（s1k+s2k）cos（Δφ2）Δφ=2arcsin[（s1k-s2k）4d]] （1）

Step 2：將上一步得到的位姿變換到圖3坐標(biāo)系中，有：

[xk+1yk+1=xkyk+sinφksinφk-cosφksinφkΔxΔyφk+1=φk+Δφ≈φk+（s2k-s1k）2d] （2）

Step 3：將式（1）代入式（2），可得到機(jī)器人的運(yùn)動(dòng)方程如下：

[xk+1=xk+0.5（s1k+s2k）cos（φk+（s2k-s1k）4d）yk+1=yk+0.5（s1k+s2k）sin（φk+（s2k-s1k）4d）φk+1=φk+（s2k-s1k）2d] （3）

Step 4：令狀態(tài)變量[Xk=（xk，yk，φk）T，][Uk=（s1k，s2k）T，]則上述式（3）方程組可化為如下非線性函數(shù)形式：

[Xk+1=f（Xk，Uk）] （4）

2.2 觀測(cè)模型

圖4所示為某時(shí)刻機(jī)器人[i，j]進(jìn)行相對(duì)觀測(cè)的結(jié)果。其中[Dij]是相對(duì)距離，[α]是機(jī)器人[j]相對(duì)[i]的方向角，[β]是[i]相對(duì)[j]的方位角，統(tǒng)稱為觀測(cè)信息。相對(duì)觀測(cè)信息與機(jī)器人自身位姿信息的數(shù)量關(guān)系稱為觀測(cè)模型，其具體關(guān)系如下：

[Zi=h（Xi，Yj）?Dij=（xj-xi）2+（yj-yi）2α=arctan（yj-yi）（xj-xi）-φi] （5）

其中觀測(cè)變量[Zi]=[（Dij，α）T，]同理可得[Zj。]

圖4 相對(duì)觀測(cè)模型

3 擴(kuò)展卡爾曼濾波

3.1 基本原理

對(duì)于線性系統(tǒng)而言， 卡爾曼濾波器是一個(gè)統(tǒng)計(jì)意義上最優(yōu)的狀態(tài)估計(jì)。機(jī)器人的運(yùn)動(dòng)和觀測(cè)形式都是非線性的，所以可用擴(kuò)展卡爾曼濾波[4?5]進(jìn)行自身位姿信息和觀測(cè)信息的融合。EKF求解過程如下：

Step 1：線性化即求解各方程的雅克比矩陣。

[Φk=?f（Xk，Uk）?Xk] （6）

[Rk=?f（Xk，Uk）?Uk] （7）

[Hik=?h（Xik，Xjk）?Xik] （8）

Step 2：預(yù)測(cè)。

狀態(tài)預(yù)測(cè)：

[Xk+1=f（Xk|k，Uk）] （9）

方差預(yù)測(cè)：

[Pk+1|k=Φk?Pk|k?ΦTk+Rk?Q?ΦTk] （10）

觀測(cè)量預(yù)測(cè)：

[Z=h（X（i）k+1|k，X（j）k+1|k）] （11）

Step 3：更新濾波參數(shù)。

卡爾曼增益：

[K=Pk+1|k?Hik?（HTik?Pk+1|k?Hik+ρ）-1] （12）

狀態(tài)更新：

[Xk+1|k+1=Xk+1|k+K?（Z-Z）] （13）

方差更新：

[Pk+1|k+1=（1-K?HTik）?Pk+1|k] （14）

重復(fù)Step 2和Step 3直至估計(jì)值與真實(shí)值十分接近或相等。其中，[Q]和[ρ]分別為碼盤誤差和觀測(cè)誤差的方差，且初始狀態(tài)和協(xié)方差已知。

3.2 算法的優(yōu)缺點(diǎn)

擴(kuò)展卡爾曼濾波是一個(gè)不斷預(yù)測(cè)、修正的遞推過程，其在求解時(shí)不需存儲(chǔ)大量的觀測(cè)數(shù)據(jù)，只是利用新的觀測(cè)數(shù)據(jù)隨時(shí)更新濾波參數(shù)，因此其便于實(shí)時(shí)處理觀測(cè)結(jié)果。

由式（5）所示的觀測(cè)模型方程知，當(dāng)[ΔyΔx=][（yj-yi）（xj-xi）±∞]時(shí)，對(duì)應(yīng)[arctan（yj-yi）（xj-xi）][±π2。]這意味著盡管兩個(gè)機(jī)器人之間距離[Δx]非常小，由于定位誤差的影響，當(dāng)前時(shí)刻的[Δx]與前一時(shí)刻的[Δx]可能會(huì)發(fā)生符號(hào)的改變， 而[Δy]則較大或保持在一定的范圍，其符號(hào)不變，從而導(dǎo)致了相對(duì)方向角[α]的跳變， 使相對(duì)方位的預(yù)測(cè)出現(xiàn)較大的誤差，濾波出現(xiàn)發(fā)散情況，影響了定位的魯棒性和可靠性。

4 粒子濾波

4.1 基本原理

粒子濾波器[6?8]的主要思想是利用一組帶有權(quán)重的采樣來表示系統(tǒng)狀態(tài)的后驗(yàn)概率分布。粒子濾波器的結(jié)構(gòu)示意圖如圖5所示。

圖5 粒子濾波器PF的結(jié)構(gòu)示意圖

圖5中的重采樣是為了解決標(biāo)準(zhǔn)粒子濾波出現(xiàn)的粒子退化問題。重要性采樣所需重要性密度函數(shù)的選擇對(duì)粒子濾波至關(guān)重要。選取不同的重要性密度函數(shù)會(huì)產(chǎn)生不同的粒子濾波器如標(biāo)準(zhǔn)粒子濾波，高斯?斯密特、輔助、正則化等改進(jìn)粒子濾波算法。

4.2 算法的優(yōu)缺點(diǎn)

PF可以很好地表示非線性、非高斯模型，是解決及時(shí)定位和地圖構(gòu)建的有效手段，被認(rèn)為是實(shí)現(xiàn)真正全自主移動(dòng)機(jī)器人的關(guān)鍵 。

但是該算法仍然存在著一些問題，其中最主要的問題是依賴大量的樣本數(shù)據(jù)才能很好地近似系統(tǒng)的后驗(yàn)概率密度，計(jì)算量大、效率不高。

5 EKF?PF混合定位

5.1 理論準(zhǔn)備

綜上可知，基于EKF和PF的協(xié)同定位方法有各自優(yōu)勢(shì)，但也各有不足。因此提出了基于EKF和PF相結(jié)合的協(xié)同定位方法。該混合定位方法步驟如下：

Step 1：初始化及預(yù)處理。初始化工作主要有完成PF、EKF所需的參數(shù)設(shè)置，然后作濾波去噪、放縮、限幅等預(yù)處理操作。

Step 2：使用PF算法直至初始條件收斂到滿足EKF算法的初始誤差范圍。其中PF算法可根據(jù)情況選擇一定的改進(jìn)型粒子濾波算法。

Step 3：當(dāng)初始誤差滿足EKF要求后，啟用EKF濾波進(jìn)行狀態(tài)估計(jì)及更新，調(diào)整各機(jī)器人位姿，最終實(shí)現(xiàn)多機(jī)器人系統(tǒng)的協(xié)同定位。其中，EKF和PF的具體設(shè)計(jì)參照第3、4節(jié)。

理論上，上述混合定位方法可獲得EKF和PF兩者的優(yōu)勢(shì)，同時(shí)克服了兩者的不足，在精確定位的同時(shí)使運(yùn)算量減少，從而提高定位效率。

5.2 仿真結(jié)果與分析

為驗(yàn)證上述混合定位方法的優(yōu)越性，進(jìn)行以下仿真實(shí)驗(yàn)。選用了兩個(gè)雙輪機(jī)器人小車模型，其內(nèi)外部傳感器的數(shù)據(jù)采樣頻率為10 Hz和1 Hz，機(jī)器人小車寬0.7 m，以1 m/s的速度分別向東和向北運(yùn)動(dòng)，初始位姿分別為（5，0，0）、（0，5，[π2]）。分別采用上述三種算法進(jìn)行協(xié)同定位狀態(tài)估計(jì)。以單次實(shí)驗(yàn)數(shù)據(jù)為例，運(yùn)用Matlab軟件作出不同情況下兩機(jī)器人小車的運(yùn)動(dòng)軌跡及協(xié)同定位誤差[ρ]（偏離真實(shí)位置的距離）如圖6，圖7所示。

由仿真結(jié)果可以看出，這三種協(xié)同定位方法均能在一定程度上改善定位性能。單獨(dú)EKF算法在某些情況下會(huì)產(chǎn)生濾波發(fā)散；單獨(dú)PF算法雖最終能使估計(jì)值收斂到真實(shí)值，但所花時(shí)間較長，計(jì)算量較大；而基于EKF和PF的混合定位算法能更快、更接近機(jī)器人的真實(shí)運(yùn)動(dòng)，更好地實(shí)現(xiàn)協(xié)同定位。

圖6 兩個(gè)機(jī)器人的運(yùn)動(dòng)軌跡估計(jì)

圖7 機(jī)器人定位誤差對(duì)比

6 結(jié) 論

實(shí)驗(yàn)結(jié)果表明，基于EKF和PF的混合協(xié)同定位能得到比常用定位方法更精確的機(jī)器人定位信息，且速度更快。下一步將把上述算法運(yùn)用到實(shí)體機(jī)器人上，以測(cè)試其在多機(jī)器人協(xié)同定位中的實(shí)際效果。該技術(shù)對(duì)未來的多機(jī)器人環(huán)境檢測(cè)、編隊(duì)協(xié)作等研究有重要參考價(jià)值。

參考文獻(xiàn)

[1] 郭戈，胡征峰，董江輝.移動(dòng)機(jī)器人導(dǎo)航與定位技術(shù)[J].微計(jì)算機(jī)信息，2003（8）：10?11.

[2] 邵金鑫.基于多傳感器信息融合的多機(jī)器人協(xié)同定位技術(shù)研究[D].長沙：國防科技大學(xué)，2006.

[3] 劉顯榮.傳感器融合在多機(jī)器人合作定位中的應(yīng)用[J].科技通報(bào)，2005（2）：277?281.

[4] 付夢(mèng)印，鄧志紅，張繼偉.Kalman濾波理論及其在導(dǎo)航系統(tǒng)中的應(yīng)用[M].北京：科學(xué)出版社，2003.

[5] TESLI? L， ?KRJANC I， KLAN?AR G. EKF?based localization of a wheeled mobile robot in structured environment [J]. Journal of Intelligent and Robotic Systems， 2011， 62（2）： 187?203.

[6] 周翟和，劉建業(yè)，賴際舟.粒子濾波的改進(jìn)優(yōu)化算法在組合導(dǎo)航系統(tǒng)中的應(yīng)用[J].中國慣性技術(shù)學(xué)報(bào)，2010（6）：711?715.

[7] 張淼，胡建旺，周云峰，等.改進(jìn)粒子濾波算法的比較[J].電光與控制，2009（2）：30?32.

[8] 張弦.基于改進(jìn)粒子濾波算法的移動(dòng)機(jī)器人定位[D].北京：北京郵電大學(xué)，2010.

[9] 張?jiān)姽?，朱立新，趙義正.粒子濾波算法研究進(jìn)展與展望[J].自動(dòng)化技術(shù)與應(yīng)用，2010（6）：1?9.

[10] 王炎慶.基于卡爾曼濾波器的神經(jīng)元干細(xì)胞序列圖像中活躍細(xì)胞的追蹤[D].哈爾濱：哈爾濱工程大學(xué)，2010.

作者簡(jiǎn)介：田紅兵 男，1976年出生，湖北孝感人，碩士，工程師。主要研究方向?yàn)榍度胧较到y(tǒng)及計(jì)算機(jī)軟件應(yīng)用。