卷積神經(jīng)網(wǎng)絡(luò)的核心范文

時(shí)間:2024-04-08 18:04:48

導(dǎo)語:如何才能寫好一篇卷積神經(jīng)網(wǎng)絡(luò)的核心,這就需要搜集整理更多的資料和文獻(xiàn),歡迎閱讀由公務(wù)員之家整理的十篇范文,供你借鑒。

卷積神經(jīng)網(wǎng)絡(luò)的核心

篇1

關(guān)鍵詞:圖像分類;深度學(xué)習(xí);Caffe框架;卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào):TP18 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1009-3044(2016)35-0209-03

Research and Implementation of Image Classification Based on Convolution Neural Network

WANG Chao

(Information Engineering Institute,East China University of Technology, Nanchang 330013, China)

Abstract: The problem of image classification has been the core problem in computer vision. A good solution is developed by further study which can solve the problem of extracting image features in image classification. In order to learn image features efficiently, constructing the machine learning model with hidden layer as well as training a large number of image data will eventually promote the accuracy of image classification or prediction. This paper is intended as an in-depth Caffe learning framework to construct a small image data-base. The convolutional neural network provided by Caffe framework will make a training analysis of the data set and then extract the information of target image features. These can be used for the final prediction of the target image. Compared with the traditional image classification algorithm, the accuracy of the prediction will be greatly improved.

Key words: image classification; deep learning; Caffe framework; Convolutional Neural Network

S著計(jì)算機(jī)與互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,我們已經(jīng)進(jìn)入了一個(gè)以圖像構(gòu)建的世界。但是面臨有海量圖像信息卻找不到所需要的數(shù)據(jù)的困境,因而圖像分類技術(shù)應(yīng)運(yùn)而生。通過各種機(jī)器學(xué)習(xí)算法使計(jì)算機(jī)自動(dòng)將各類圖像進(jìn)行有效管理和分類,但是由于圖像內(nèi)容包含著大量復(fù)雜且難以描述的信息,圖像特征提取和相識(shí)度匹配技術(shù)也存在一定的難題,要使得計(jì)算機(jī)能夠像人類一樣進(jìn)行分類還是有很大的困難。

深度學(xué)習(xí)是近十年來人工智能領(lǐng)域取得的重要突破,在圖像識(shí)別中的應(yīng)用取得了巨大的進(jìn)步,傳統(tǒng)的機(jī)器學(xué)習(xí)模型屬于神經(jīng)網(wǎng)絡(luò)模型,神經(jīng)網(wǎng)絡(luò)有大量的參數(shù),經(jīng)常會(huì)出現(xiàn)過擬合問題,因而對(duì)目標(biāo)檢測(cè)準(zhǔn)確率上比較低。本文采用卷積神經(jīng)網(wǎng)絡(luò)框架,圖像特征是從大數(shù)據(jù)中自動(dòng)學(xué)習(xí)得到,而且神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)深由很多層組成,通過重復(fù)利用中間層的計(jì)算單元來減少參數(shù),在特征匯聚階段引入圖像中目標(biāo)的顯著信信息,增強(qiáng)了圖像的特征表達(dá)能力。通過在圖像層次稀疏表示中引入圖像顯著信息,加強(qiáng)了圖像特征的語義信息,得到圖像顯著特征表示,通過實(shí)驗(yàn)測(cè)試,效果比傳統(tǒng)的圖像分類算法預(yù)測(cè)的準(zhǔn)確度有明顯的提升。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類方法

1.1 人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network, ANN)是描述生物神經(jīng)網(wǎng)絡(luò)運(yùn)行機(jī)理和工作過程的抽象和簡化了的數(shù)學(xué)物理模型,使用路徑權(quán)值的有向圖來表示模型中的人工神經(jīng)元節(jié)點(diǎn)和神經(jīng)元之間的連接關(guān)系,之后通過硬件或軟件程序?qū)崿F(xiàn)上述有向圖的運(yùn)行[1]。目前最典型的人工神經(jīng)網(wǎng)絡(luò)算法包括:目前最典型的人工神經(jīng)網(wǎng)絡(luò)有BP網(wǎng)絡(luò) [2]Hopfield網(wǎng)絡(luò)[3]Boltzmann機(jī)[4]SOFM網(wǎng)絡(luò)[5]以及ART網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)[6],算法流程圖如圖1所示[7]。

1.2 卷積神經(jīng)網(wǎng)絡(luò)框架的架構(gòu)

Caffe是Convolutional Architecture for Fast Feature Embedding的縮寫[8],意為快速特征嵌入的卷積結(jié)構(gòu),包含最先進(jìn)的深度學(xué)習(xí)算法以及一系列的參考模型,圖2表示的是卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。Caffe深度學(xué)習(xí)框架主要依賴CUDA,IntelMKL,OpenCV,glog軟件以及caffe文件。本文使用的各個(gè)軟件版本說明,如表1所示。

Caffe深度學(xué)習(xí)框架提供了多個(gè)經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型,卷積神經(jīng)網(wǎng)絡(luò)是一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò),利用隱含層的卷積層和池采樣層是實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)特征提取功能,卷積神經(jīng)網(wǎng)絡(luò)模型通過采取梯度下降法最小化損失函數(shù)對(duì)網(wǎng)絡(luò)中的權(quán)重參數(shù)逐層反向調(diào)節(jié),通過頻繁的迭代訓(xùn)練來提高網(wǎng)絡(luò)的精度。卷積神經(jīng)網(wǎng)絡(luò)使用權(quán)值共享,這一結(jié)構(gòu)類似于生物神經(jīng)網(wǎng)絡(luò),從而使網(wǎng)絡(luò)的復(fù)雜程度明顯降低,并且權(quán)值的數(shù)量也有大幅度的減少,本文使用這些模型直接進(jìn)行訓(xùn)練,和傳統(tǒng)的圖像分類算法對(duì)比,性能有很大的提升,框架系統(tǒng)訓(xùn)練識(shí)別基本流程如圖3表示。

1.3 圖像分類特征提取

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)層次相比傳統(tǒng)的淺層的神經(jīng)網(wǎng)絡(luò)來說,要復(fù)雜得多,每兩層的神經(jīng)元使用了局部連接的方式進(jìn)行連接、神經(jīng)元共享連接權(quán)重以及時(shí)間或空間上使用降采樣充分利用數(shù)據(jù)本身的特征,因此決定了卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比維度大幅度降低,從而降低計(jì)算時(shí)間的復(fù)雜度。卷積神經(jīng)網(wǎng)絡(luò)主要分為兩個(gè)過程,分為卷積和采樣,分別的對(duì)上層數(shù)據(jù)進(jìn)行提取抽象和對(duì)數(shù)據(jù)進(jìn)行降維的作用。

本文以Caffe深度學(xué)習(xí)框架中的 CIFAR-10數(shù)據(jù)集的貓的網(wǎng)絡(luò)模型為例,如圖4所示,對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。CIFAR-10是一個(gè)標(biāo)準(zhǔn)圖像圖像訓(xùn)練集,由六萬張圖像組成,共有10類(分為飛機(jī),小汽車,鳥,貓,鹿,狗,青蛙,馬,船,卡車),每個(gè)圖片都是32×32像素的RGB彩色圖像。通過對(duì)數(shù)據(jù)進(jìn)行提取和降維的方法來提取圖像數(shù)據(jù)的特征。

2 實(shí)驗(yàn)分析

將貓的圖像訓(xùn)練集放在train的文件夾下,并統(tǒng)一修改成256×256像素大小,并對(duì)貓的圖像訓(xùn)練集進(jìn)行標(biāo)記,標(biāo)簽為1,運(yùn)行選擇cpu進(jìn)行訓(xùn)練,每進(jìn)行10次迭代進(jìn)行一次測(cè)試,測(cè)試間隔為10次,初始化學(xué)習(xí)率為0.001,每20次迭代顯示一次信息,最大迭代次數(shù)為200次,網(wǎng)絡(luò)訓(xùn)練的動(dòng)量為0.9,權(quán)重衰退為0.0005,5000次進(jìn)行一次當(dāng)前狀態(tài)的記錄,記錄顯示如下圖5所示,預(yù)測(cè)的準(zhǔn)度在98%以上。而相比傳統(tǒng)的圖像分類算法BP神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的收斂性慢,訓(xùn)練時(shí)間長的,網(wǎng)絡(luò)的學(xué)習(xí)和記憶具有不穩(wěn)定性,因而卷e神經(jīng)網(wǎng)絡(luò)框架在訓(xùn)練時(shí)間和預(yù)測(cè)準(zhǔn)度上具有非常大的優(yōu)勢(shì)。

3 結(jié)束語

本文使用Caffe深度學(xué)習(xí)框架,以CIFAR-10數(shù)據(jù)集中貓的網(wǎng)絡(luò)模型為例,構(gòu)建小型貓的數(shù)據(jù)集,提取貓的圖象特征信息,最后和目標(biāo)貓圖像進(jìn)行預(yù)測(cè),并和傳統(tǒng)的圖像分類算法進(jìn)行對(duì)比,預(yù)測(cè)的準(zhǔn)確率有很大的提升。

參考文獻(xiàn):

[1] 楊錚, 吳陳沭, 劉云浩. 位置計(jì)算: 無線網(wǎng)絡(luò)定位與可定位性[M]. 北京: 清華大學(xué)出版社, 2014.

[2] 丁士折. 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)[M]. 哈爾濱: 哈爾濱工程大學(xué)出版社, 2008.

[3] McClelland J L, Rumelhart D E, PDP Research Group. Parallel distributedprocessing[J]. Explorations in the microstructure of cognition, 1986, 2.

[4] Hopfield J J. Neural networks and physical systems with emergent collectivecomputational abilities[J]. Proceedings of the national academy of sciences, 1982, 79(8): 2554-2558.

[5] Ackley D H, Hinton G E, Sejnowski T J. A learning algorithm for boltzmannmachines[J]. Cognitive science, 1985, 9(1): 147-169.

[6] Kohonenmaps T. Self-Organized Formation of Topologically Correct Feature Maps[J]. Biological Cybernetics,1982, 43(1): 59-69.

篇2

關(guān)鍵詞:溫室;卷積神經(jīng)網(wǎng)絡(luò);自動(dòng)控制;自適應(yīng)

隨著現(xiàn)代化農(nóng)業(yè)生產(chǎn)技術(shù)的快速發(fā)展,作為農(nóng)業(yè)現(xiàn)代化重要標(biāo)志之一的溫室控制技術(shù)[1]也面臨著重大的技術(shù)改進(jìn)。如何提高溫室控制系統(tǒng)對(duì)溫室環(huán)境的高效、準(zhǔn)確控制,提高控制系統(tǒng)的智能化、網(wǎng)絡(luò)化[2]程度,降低系統(tǒng)成本是目前需要重點(diǎn)改進(jìn)的技術(shù)。針對(duì)目前溫室控制系統(tǒng)對(duì)溫室環(huán)境因子調(diào)節(jié)不夠準(zhǔn)確,控制系統(tǒng)成本高,智能化、網(wǎng)絡(luò)化程度低的不足,文章綜合考慮溫室環(huán)境因素之間的相互影響對(duì)溫室環(huán)境的影響,設(shè)計(jì)了一種應(yīng)用嵌入式加單片機(jī)控制的基于卷積神經(jīng)網(wǎng)絡(luò)的溫室智能監(jiān)控系統(tǒng)。

1 系統(tǒng)總體設(shè)計(jì)

基于卷積神經(jīng)網(wǎng)絡(luò)[3]的溫室智能大棚監(jiān)控系統(tǒng)由四種下位機(jī)數(shù)據(jù)采集單元、數(shù)據(jù)傳輸線路、以及系統(tǒng)上位機(jī)三大部分組成,如圖1所示。

在溫室環(huán)境中,溫度、濕度、光照強(qiáng)度、CO2濃度四個(gè)因素對(duì)作物的影響最大且很難合理有效的控制調(diào)節(jié)。文章研究以上四個(gè)環(huán)境因子之間的相互影響并對(duì)其進(jìn)行科學(xué)的調(diào)節(jié)控制。本系統(tǒng)采用多個(gè)傳感器[4]完成上述所需參數(shù)數(shù)據(jù)的采集。為了實(shí)時(shí)方便的監(jiān)控大棚內(nèi)各種環(huán)境參數(shù),系統(tǒng)備有數(shù)據(jù)信息顯示界面,由中央處理器通過顯示接口外接一個(gè)LCD液晶屏,把數(shù)據(jù)采集單元(變送器)采集到的環(huán)境參數(shù),經(jīng)過打包、處理,通過RS-485銜接串口傳送給中央處理器,以此顯示大棚內(nèi)環(huán)境參數(shù)的變化。中央處理器具備人機(jī)交互軟件,在接收多個(gè)變送器的數(shù)據(jù)后,可以顯示在用戶界面上,并且根據(jù)收集來的數(shù)據(jù)通過內(nèi)部的卷積神經(jīng)網(wǎng)絡(luò)程序來控制系統(tǒng)硬件驅(qū)動(dòng)進(jìn)行相應(yīng)的操作處理。通過觸摸屏上的按鍵可以對(duì)數(shù)據(jù)進(jìn)行管理,還可以設(shè)定溫度、濕度、光照以及CO2濃度的限值。路繼電器以及相應(yīng)的電路驅(qū)動(dòng)模塊控制相應(yīng)的設(shè)備來調(diào)節(jié)溫室內(nèi)的環(huán)境參數(shù)。

2 系統(tǒng)硬件組成

本系統(tǒng)硬件由四種變送器[5]、上位機(jī)ARM920T為核心的嵌入式控制器以及單片機(jī)控制系統(tǒng)組成。這里面變送器的功能是把傳感器收集來的信號(hào)(溫度、濕度等)轉(zhuǎn)變?yōu)榭杀豢刂破髯R(shí)別的電信號(hào),傳送給中央處理器。單片機(jī)系統(tǒng)通過串口連接各個(gè)驅(qū)動(dòng)模塊以及繼電器來控制大棚內(nèi)各個(gè)設(shè)備的狀態(tài)。上位機(jī)嵌入式控制器把單片機(jī)傳來的信息加工處理并且儲(chǔ)存在SQlite中,完成對(duì)環(huán)境參數(shù)數(shù)據(jù)的實(shí)時(shí)采集以及分析,并且根據(jù)內(nèi)部卷積自適應(yīng)控制程序操控驅(qū)動(dòng)模塊采取相應(yīng)的措施來維持溫室最佳環(huán)境。

2.1 空馕率度變送器

主要技術(shù)參數(shù):電源:5號(hào)電池,兩節(jié);功耗:工作電流,0.2mA,發(fā)射電流,15mA;溫度精度:±0.5℃;濕度精度:±4.5%;

2.2 光照度變送器

主要技術(shù)參數(shù):電源:取自“環(huán)境數(shù)據(jù)監(jiān)控器”;通訊:RS485,與“環(huán)境數(shù)據(jù)監(jiān)控器”相連;照度范圍:0-200000lux

2.3 CO2變送器

主要技術(shù)參數(shù):電源:取自“環(huán)境數(shù)據(jù)監(jiān)控器”;通訊:RS485,與“環(huán)境數(shù)據(jù)監(jiān)控器”相連;測(cè)量范圍:0-10000ppm

2.4 單片機(jī)控制系統(tǒng)和嵌入式控制器

此部分通過內(nèi)部設(shè)計(jì)好的程序控制溫室內(nèi)各種設(shè)備對(duì)種植環(huán)境參數(shù)“采集、存儲(chǔ)、監(jiān)測(cè)、分析、預(yù)警、控制”,是使系統(tǒng)能夠精確測(cè)量6種參數(shù)的保證,根據(jù)6種環(huán)境參數(shù)的變化,利用卷積程序智能控制設(shè)施環(huán)境中的相應(yīng)電器設(shè)備,滿足不同作物對(duì)環(huán)境條件的具體要求。

3 系統(tǒng)軟件設(shè)計(jì)

軟件系統(tǒng)由單片機(jī)控制系統(tǒng)和嵌入式控制系統(tǒng)構(gòu)成。

3.1 單片機(jī)控制系統(tǒng)

單片機(jī)控制系統(tǒng)部分主要功能是對(duì)天窗、遮陽網(wǎng)、噴淋裝置等進(jìn)行控制。

3.2 嵌入式控制系統(tǒng)

嵌入式控制系統(tǒng)的設(shè)計(jì)由動(dòng)態(tài)顯示模塊、控制模塊、數(shù)據(jù)庫模塊、通信模塊四個(gè)部分組成。通過動(dòng)態(tài)顯示模塊可以及時(shí)監(jiān)控各環(huán)境因子的變化;控制模塊可對(duì)整個(gè)系統(tǒng)進(jìn)行操控;數(shù)據(jù)庫模塊是為作物生長環(huán)境的設(shè)定而積累數(shù)據(jù),并且系統(tǒng)內(nèi)部卷積神經(jīng)網(wǎng)絡(luò)程序利用這些數(shù)據(jù)作為輸入來進(jìn)行壓縮卷積;通信模塊是實(shí)現(xiàn)上位機(jī)和單片機(jī)之間的通信。

4 結(jié)束語

基于卷積神經(jīng)網(wǎng)絡(luò)的溫室智能大棚監(jiān)控系統(tǒng),采用ARM加單片機(jī)的組合控制方式,雖然成本稍微較高,但避免了傳統(tǒng)溫室控制系統(tǒng)中對(duì)溫室環(huán)境參數(shù)調(diào)節(jié)不夠準(zhǔn)確、控制系統(tǒng)成本過高、智能化程度低、以及專家系統(tǒng)的參數(shù)決定不準(zhǔn)確等弊端設(shè)計(jì)等問題,集智能檢測(cè)、通信技術(shù)、卷積神經(jīng)網(wǎng)絡(luò)、自動(dòng)控制于一體,利用嵌入式技術(shù)進(jìn)行環(huán)境參數(shù)的自動(dòng)檢測(cè)和可靠傳遞,運(yùn)用神經(jīng)網(wǎng)絡(luò)算法對(duì)數(shù)據(jù)智能優(yōu)化,再利用單片機(jī)進(jìn)行自動(dòng)控制,為一套高性能的自適應(yīng)智能控制系統(tǒng)。

參考文獻(xiàn)

[1]王寶金.農(nóng)業(yè)專家系統(tǒng)應(yīng)用技術(shù)展望[J].計(jì)算機(jī)與農(nóng)業(yè),2002(05).

[2]白濤,吳智銘,楊根科,等.網(wǎng)絡(luò)化的控制系統(tǒng)[J].控制理論與應(yīng)用,2004(04).

[3]張振山,高子恒,范建領(lǐng).基于VB語言的神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)設(shè)計(jì)與應(yīng)用[J].計(jì)算機(jī)測(cè)量與控制,2008(08).

篇3

>> 用于腦運(yùn)作分析的前向網(wǎng)絡(luò)樣本重組樹生成算法研究 基于三角構(gòu)成規(guī)則的加權(quán)有向網(wǎng)絡(luò)拓?fù)渖伤惴?適用于網(wǎng)絡(luò)漸進(jìn)傳輸?shù)亩喾直媛是€生成算法 全排列生成算法比較分析 KenKen問題的生成算法研究 曲線生成算法的文獻(xiàn)綜述 基于列生成算法的集裝箱班輪運(yùn)輸網(wǎng)絡(luò)優(yōu)化 基于全卷積神經(jīng)網(wǎng)絡(luò)的圖像縮略圖生成算法 傳感器網(wǎng)絡(luò)中一種基于編碼的MAC生成算法 數(shù)據(jù)庫關(guān)鍵詞檢索中候選元組集連接樹生成算法的研究 基于分類隨機(jī)算法的試卷生成算法研究 分析基于列生成算法的動(dòng)車組檢修計(jì)劃優(yōu)化 AOS自相似業(yè)務(wù)流等時(shí)幀生成算法的Matlab仿真分析 關(guān)于傳統(tǒng)空間緩沖區(qū)生成算法的分析 基于Bresenham的直線快速生成算法 題庫系統(tǒng)中試卷生成算法的改進(jìn) 一種可用于腦神經(jīng)網(wǎng)絡(luò)分析的有向網(wǎng)絡(luò)分解算法 形式概念演化生成算法 MPI通信代碼自動(dòng)生成算法 一種啟發(fā)式雙代號(hào)網(wǎng)絡(luò)圖自動(dòng)生成算法 常見問題解答 當(dāng)前所在位置:l.(Xie Qin. Framework of Brain Information Processing[Z].[2013-10-21]. .)

[30]謝勤.WAP算法連續(xù)化及其應(yīng)用[C].畢業(yè)論文,2004.

[31]謝勤.一種可用于腦神經(jīng)網(wǎng)絡(luò)分析的有向網(wǎng)絡(luò)分解算法[J].數(shù)字化用戶,2014,3:113-116.(Xie Qin. An Arithmetic For Neural Network Analysis: From Directed Graph To FFN Trees [J].Digitization user,2014, 3:113-116.)

[32]謝勤.一種可用于腦神經(jīng)網(wǎng)絡(luò)分析的有向網(wǎng)絡(luò)分解算法[C].第八屆海內(nèi)外華人神經(jīng)科學(xué)家研討會(huì)論文集.北京:科學(xué)出版社,2014.(Xie Qin. An Arithmetic For Neural Network Analysis: From Directed Graph To FFN Trees [C]. Proceedings of Symposium for Chinese Neuroscientists Worldwide 2014. Beijing: Science Press. 2014.)

[33]謝勤.用于腦運(yùn)作分析的前向網(wǎng)絡(luò)樣本重組樹生成算法研究[C].電子技術(shù)與軟件工程,2016,4:258-264.(Xie Qin. FeedForward Network Sample Recombination Tree Generating Arithmetic(DG-FFN SR Trees Arithmetic) And Generation Of Sample Recombination Graph [J]. Electronic Technology & Software Engineering, 2016,4:258-264.)

(通訊作者:謝勤)

作者簡介

謝勤(1982-),男,A南理工大學(xué)碩士,中國神經(jīng)科學(xué)學(xué)會(huì)會(huì)員,工程師,近年在亞組委信息技術(shù)部完成核心信息系統(tǒng)――計(jì)時(shí)記分和成績處理系統(tǒng)項(xiàng)目實(shí)施管理方面的工作,其中計(jì)時(shí)記分系統(tǒng)投資一億。主要研究方向?yàn)橛?jì)算機(jī)科學(xué)與工程、人工智能、神經(jīng)生物學(xué)。

作者單位

1.廣州市科技和信息化局 廣東省廣州市 510000

2.第16屆亞運(yùn)會(huì)組委會(huì)信息技術(shù)部 廣東省廣州市 510000

3.廣州生產(chǎn)力促進(jìn)中心 廣東省廣州市 510000

4.廣州市科學(xué)技術(shù)信息研究所 廣東省廣州市 510000

5.廣州市科技創(chuàng)新委員會(huì) 廣東省廣州市 510000

篇4

關(guān)鍵詞:PCA算法;人臉識(shí)別;五級(jí)并行PCA模型;權(quán)重計(jì)算;均值濾波

中圖分類號(hào):TP311 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1009-3044(2016)19-0147-02

Research on Face Recognition System Based on Parallel PCA Algorithm

ZHAO Ya-peng

(College of Information Science and Engineering, Shandong University of Science and Technology, Qingdao 266590, China )

Abstract:In order to solve the problem of fast and accurate face recognition, a face recognition method based on parallel PCA algorithm is proposed. Using principal component analysis (PCA) method can reduce the dimension of features, easy to implement, training time is short, the design and implementation of a parallel algorithm for PCA, first of all according to the whole image to extract the 4 part of face images, then the whole image and 4 partial images at the same time by the same structure of the PCA model of learning, face feature vector extraction, the Euclidean distance for matching calculation of the test images and training images, finally through the test image with the five level parallel PCA model identification results are weighted decision, in order to achieve face recognition. Using the image data of the ORL face database , the simulation results in Matlab show that the method has a great degree of improvement in accuracy, the recognition speed is relatively fast, with a high degree of robustness.

Key words:PCA algorithm;Face recognition;Five level parallel PCA model;Weight calculation;Mean filter

1 概述

隨著智能終端設(shè)備(手機(jī)、Pad、門禁等)的不斷發(fā)展,身份識(shí)別已經(jīng)成為我們?nèi)粘I畹闹匾M成部分,身份驗(yàn)證技術(shù)被廣泛應(yīng)用于各個(gè)領(lǐng)域,特別是人們對(duì)于個(gè)人隱私信息的保護(hù),使得身份識(shí)別再次成為關(guān)注的焦點(diǎn)。人臉識(shí)別作為身份識(shí)別的重要手段之一,因其具有識(shí)別率高、采集性強(qiáng)、接受性高等特點(diǎn),在身份識(shí)別的各類方法中具有獨(dú)特的優(yōu)勢(shì),成為了目前比較熱門的研究領(lǐng)域。

目前,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks)是圖像識(shí)別領(lǐng)域最重要的研究熱點(diǎn),而且在語音識(shí)別領(lǐng)域也取得了不錯(cuò)的效果,但是卷積神經(jīng)網(wǎng)絡(luò)的整個(gè)訓(xùn)練過程比較費(fèi)時(shí),而且實(shí)現(xiàn)相對(duì)復(fù)雜,而基于PCA算法的人臉識(shí)別技術(shù)因其自身存在的許多缺陷,一直沒有被廣泛應(yīng)用,但該方法實(shí)現(xiàn)簡單、學(xué)習(xí)速度較快,因此,本文主要研究改進(jìn)的并行PCA算法,以彌補(bǔ)傳統(tǒng)PCA算法在人臉識(shí)別領(lǐng)域的不足。

本文提出的基于并行PCA算法的人臉識(shí)別技術(shù),首先對(duì)原始圖像進(jìn)行預(yù)處理,如灰度歸一化和中值濾波等操作,以消除圖像噪聲、光照等因素造成的影響,使得特征提取更加準(zhǔn)確可靠。然后,通過5級(jí)并行PCA模型獲取數(shù)據(jù)的不同特征矩陣,然后將訓(xùn)練圖像和測(cè)試圖像分別進(jìn)行子空間的投影,利用歐氏徑向基函數(shù)(Euclidean Radial Basis Function)進(jìn)行人臉的匹配,最后根據(jù)訓(xùn)練得到的權(quán)值向量進(jìn)行加權(quán)決策。本文通過ORL人臉數(shù)據(jù)庫的仿真實(shí)驗(yàn)證明,該算法的效果明顯好于PCA算法。

2 并行PCA算法

PCA(Principal Component Analysis)即主成分分析技術(shù),PCA是基于K-L變換的統(tǒng)計(jì)學(xué)分析方法,是多元分析中常用的方法,其基本思想是將高維數(shù)據(jù)投影到低維空間,主要過程在于特征值的計(jì)算和矩陣的降維。將PCA應(yīng)用于人臉識(shí)別時(shí),首先將圖像轉(zhuǎn)化成矩陣向量,然后進(jìn)行矩陣的奇異值分解(Singular Value Decomposition),將高維向量通過計(jì)算得到的特征向量矩陣投影到低維的向量空間,從而減少數(shù)據(jù)的計(jì)算量。

2.1 基于并行PCA算法的人臉識(shí)別流程

本文中提出的并行PCA算法,正是基于上述的PCA算法,通過建立5級(jí)的PCA算法模型同時(shí)進(jìn)行數(shù)據(jù)特征的學(xué)習(xí),使得最終的人臉識(shí)別準(zhǔn)確率得到進(jìn)一步的提高,具體的人臉識(shí)別流程如圖1所示。

2.2 并行PCA算法的實(shí)現(xiàn)的步驟

2.2.1 人臉圖像的預(yù)處理

首先,需要把ORL人臉數(shù)據(jù)數(shù)據(jù)庫的所有訓(xùn)練圖像大小進(jìn)行歸一化,并轉(zhuǎn)化為像素矩陣,矩陣大小記為,為矩陣的行數(shù),為矩陣的列數(shù)。之后利用均值濾波和灰度歸一化進(jìn)行圖像的去噪處理,以消除光線等問題對(duì)圖像造成的影響,以方便后期的特征提取等操作。

2.2.2 人臉圖像的PCA降維

根據(jù)PCA的原理,可以將每一張圖像看成是一個(gè)高維的向量,所有的圖像可以看成是這個(gè)高維空間中的一點(diǎn),PCA要做的就是找出另外一個(gè)盡可能多的反應(yīng)圖像特征的低維空間。

假如樣本由n張大小為p*q的人臉圖像組成,那么每一張圖像可以保存為一列向量,向量維數(shù)是p*q,真?zhèn)€樣本可以看成是一個(gè)行數(shù)為n,列數(shù)為p*q的矩陣記為矩陣A。

根據(jù)上述過程,首先求出矩陣A的協(xié)方差矩陣,然后求出協(xié)方差矩陣的特征值,選取前m個(gè)最大的特征值,然后求出對(duì)應(yīng)的特征向量,組成一個(gè)特征矩陣。通常所說的“特征臉”就是這些特征向量,而特種功能矩陣就是“特征臉”空間或者說子空間。然后可以將每一張圖片投影到該子空間,得到了每一張圖像的投影矩陣(l*m)。

2.2.3 人臉圖像的識(shí)別

對(duì)于待識(shí)別的圖像,也可以看成是一列向量,投影到子空間得到一個(gè)投影矩陣,然后一一求出這個(gè)投影矩陣與樣本圖像投影矩陣最相似的。然而有可能該人臉不是人臉庫中的,所以最相似的人臉也不一定是同一個(gè)人臉,還需要設(shè)置一個(gè)閾值來判斷待識(shí)別人臉是否是人臉庫中的。

人臉識(shí)別部分正是基于上述的PCA算法,在本文所提出的并行PCA模型中,是由5級(jí)的PCA模型同時(shí)進(jìn)行人臉識(shí)別這一操作,最后根據(jù)訓(xùn)練得到的權(quán)值向量進(jìn)行決策,通過使用多個(gè)PCA模型,從而使得整個(gè)識(shí)別過程的準(zhǔn)確率得到進(jìn)一步的提升。

3 系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)

3.1 系統(tǒng)總體設(shè)計(jì)

本文中所提出的基于并行PCA算法的人臉識(shí)別系統(tǒng),包括人臉圖像采集模塊、圖像預(yù)處理模塊、識(shí)別模塊。人臉圖像采集模塊主要是采集訓(xùn)練圖像數(shù)據(jù)和測(cè)試圖像數(shù)據(jù),并由原始圖像提取出4幅與之對(duì)應(yīng)的部分圖像;圖像預(yù)處理模塊主要就是進(jìn)行圖像歸一化和圖像的去噪工作,圖像的歸一化包括大小歸一化和灰度歸一化,可以使用比較常見的直方圖均衡化等技術(shù),而圖像的去噪可以使用中值濾波技術(shù),以去除比較常見的高斯噪聲等;人臉識(shí)別模塊是基于5級(jí)相互獨(dú)立的PCA模型進(jìn)行特征值的學(xué)習(xí)和比對(duì),而且通過訓(xùn)練得到的權(quán)值向量進(jìn)行最終的是臉識(shí)別決策。整個(gè)系統(tǒng)的實(shí)現(xiàn)是基于Matlab進(jìn)行仿真實(shí)驗(yàn)的,實(shí)驗(yàn)數(shù)據(jù)來自劍橋大學(xué)AT&T實(shí)驗(yàn)室創(chuàng)建的ORL人臉數(shù)據(jù)庫。

3.2系統(tǒng)功能模塊實(shí)現(xiàn)

3.2.1人臉圖像采集實(shí)現(xiàn)

圖像采集模塊主要就是將存儲(chǔ)在本地的圖像文件通過Matlab的imread函數(shù)讀入矩陣中,以方便后期的PCA操作,其核心語句為Image{t}=imread([[filepath,F(xiàn)ilDir(ii).name],'\',ImDir{ii}(jj).name]);

使用上述語句即可讀入訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)文件。

3.2.2 圖像預(yù)處理模塊

該模塊的主要任務(wù)就是利用中值濾波和直方圖均衡化進(jìn)行圖像的去噪工作,以消除不同光照和圖像噪聲的影響,提高準(zhǔn)確率。其核心代碼為:

S1=zeros(1,256);

for i=1:256

for j=1:i

S1(i)=GP(j)+S1(i);

end

end

S2=round((S1*256)+0.5);

for i=1:256

GPeq(i)=sum(GP(find(S2==i)));

end

3.2.3 識(shí)別模塊

圖像經(jīng)過之前的預(yù)處理之后,需要將圖像矩陣轉(zhuǎn)化為列向量,一幅圖像就是一列向量,整個(gè)訓(xùn)練圖像構(gòu)成了整個(gè)特征空間矩陣,測(cè)試圖像也會(huì)轉(zhuǎn)化為一列向量,之后會(huì)利用矩陣之間的運(yùn)算進(jìn)行圖像的分析計(jì)算。識(shí)別模塊的工作就是根據(jù)測(cè)試圖像和之前所有的訓(xùn)練數(shù)據(jù)進(jìn)行對(duì)比,查找到與之最相似的圖像,實(shí)驗(yàn)的結(jié)果如圖2所示。

4 結(jié)論

PCA算法作為傳統(tǒng)的人臉識(shí)別算法,因其自身存在的許多缺陷而沒能發(fā)揮較好的作用,但是其自身具有其他算法所不具有的特點(diǎn),本文設(shè)計(jì)的并行PCA算法雖然是基于PCA算法,但是借鑒了卷積神經(jīng)網(wǎng)絡(luò)的多層結(jié)構(gòu),而且使用加權(quán)操作進(jìn)行最終人臉識(shí)別的決策。基于ORL人臉數(shù)據(jù)庫的測(cè)試結(jié)果表明,該并行PCA算法的準(zhǔn)確率和魯棒性均得到了進(jìn)一步的提升,與其他的單獨(dú)PCA算法具有十分明顯的優(yōu)勢(shì)。

參考文獻(xiàn):

[1] 張利芳. 基于PCA算法的人臉識(shí)別系統(tǒng)研究[D].太原:中北大學(xué),2015.

[2] 楊海燕,蔣新華. 基于并行卷積神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)定位方法研究[J]. 計(jì)算機(jī)應(yīng)用研究, 2015, 32(8): 2517-2519.

[3] 楊穎嫻. 基于PCA算法和小波變換的人臉識(shí)別技術(shù)[J]. 微電子與計(jì)算機(jī), 2011, 28(1): 92-94.

[4] 段寶彬,韓立新. 改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)及在碎紙拼接中的應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用, 2014, 50(9): 176-181.

篇5

著名的人工智能圍棋程序AlphaGo在2016年3月與韓國頂尖圍棋高手李世h進(jìn)行人機(jī)大戰(zhàn),并以4:1的總比分獲勝。與李世h的對(duì)決讓世界看到了人工智能的無限潛力,而到了2016年歲末,AlphaGo的進(jìn)擊版更是通過名為Master(“大師”)的賬號(hào),在網(wǎng)絡(luò)上與中韓高手連番過招,以連贏60場(chǎng)的成績令人驚嘆。

在創(chuàng)造這一前所未有圍棋奇跡的背后,是一支充滿了智慧和活力、用數(shù)字構(gòu)建未來的團(tuán)隊(duì)――DeepMind。

在倫敦國王十字火車站旁邊一座不起眼的建筑里,藏著這樣一家潛力無限的公司DeepMind(深度思維),該公司努力將機(jī)器學(xué)習(xí)和人類系統(tǒng)神經(jīng)科學(xué)的先進(jìn)技術(shù)結(jié)合,發(fā)展人工智能深度學(xué)習(xí),建立強(qiáng)大的通用算法,將這種技術(shù)與游戲、醫(yī)療等多項(xiàng)實(shí)用產(chǎn)業(yè)結(jié)合。誰也不曾想到,一家成立于2010年的年輕初創(chuàng)公司會(huì)是世界兩大科技巨頭――谷歌和臉書競(jìng)相爭奪的寶物。最終谷歌獲勝,2014年,谷歌公司以4億英鎊的高價(jià)將DeepMind收歸麾下,該公司正式成為谷歌旗下人工智能領(lǐng)域探索的排頭兵。

谷歌和書已經(jīng)在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域走在世界最前沿了,那么,這家公司到底存在著怎樣的價(jià)值,吸引了這些行業(yè)巨頭的注意呢?

谷歌招攬的超強(qiáng)大腦

DeepMind可以說是一個(gè)智庫集合,集結(jié)了400余名優(yōu)秀的計(jì)算機(jī)科學(xué)家和神經(jīng)學(xué)專家。下面這些人物可謂是DeepMind 團(tuán)隊(duì)精英中的精英。

德米斯?哈薩比斯

身為DeepMind創(chuàng)始人之一,德米斯?哈薩比斯可以說是整個(gè)公司的核心人物。哈薩比斯1976年出生于英國倫敦,4歲開始下國際象棋,13歲時(shí)就已經(jīng)獲得國際象棋大師頭銜,15歲時(shí),他連跳兩級(jí),提前從高中畢業(yè)。1993年,17歲的哈薩比斯進(jìn)入劍橋大學(xué)學(xué)習(xí)計(jì)算機(jī)專業(yè),同年,他依靠自己開發(fā)的游戲獲得了某游戲設(shè)計(jì)比賽的亞軍,進(jìn)入頂尖游戲公司“牛蛙”實(shí)習(xí),并參與開發(fā)了在全球風(fēng)靡一時(shí)的虛擬游戲《主題公園》。

自1999年至2003年,哈薩比斯連續(xù)5年參加“國際智力奧運(yùn)會(huì)”,連奪5次冠軍,可謂是“地球上最聰明的男人”。2005年,29歲的哈薩比斯重新走進(jìn)學(xué)校,在英國倫敦大學(xué)攻讀神經(jīng)科學(xué)博士學(xué)位,潛心研究負(fù)責(zé)記憶、學(xué)習(xí)、空間導(dǎo)向的大腦海馬體。2011年,35歲的哈薩比斯結(jié)合自己游戲設(shè)計(jì)、計(jì)算機(jī)編程和神經(jīng)科學(xué)研究經(jīng)驗(yàn),成立DeepMind科技公司,專注研究模仿大腦的人工智能系統(tǒng)。

黃士杰

AlphaGo設(shè)計(jì)團(tuán)隊(duì)的另一位杰出人才是來自臺(tái)灣的黃士杰博士。黃士杰本科就讀于臺(tái)灣交通大學(xué),研究生和博士在臺(tái)灣師范大學(xué)研習(xí)。他從小熱愛圍棋,是個(gè)業(yè)余六段圍棋選手,在臺(tái)灣師范大學(xué)讀書時(shí)就曾經(jīng)在學(xué)校創(chuàng)辦圍棋社。大學(xué)期間,黃士杰醉心研究圍棋軟件開發(fā),他設(shè)計(jì)的軟件參加國際電腦奧林匹克競(jìng)賽,獲得19路電腦圍棋金牌,這個(gè)程序甚至擊敗了當(dāng)時(shí)圍棋人工智能領(lǐng)域公認(rèn)最強(qiáng)的程序“Zen”,在業(yè)內(nèi)引起極大的轟動(dòng)。隨后,他進(jìn)入加拿大阿爾伯塔大學(xué)繼續(xù)圍棋程序研究。在博士和博士后階段,他深入研究蒙特卡洛樹搜索技術(shù),后來將其運(yùn)用在AlphaGo的走棋程序當(dāng)中。

大衛(wèi)?西爾弗

大衛(wèi)?西爾弗是哈薩比斯在劍橋大學(xué)讀書期間認(rèn)識(shí)的朋友,計(jì)算機(jī)專業(yè)的他常年霸占著專業(yè)第一的寶座。在校期間,他還教會(huì)了哈薩比斯多種棋類游戲的玩法,包括圍棋。1998年,哈薩比斯創(chuàng)立游戲公司Elixir Studios,西爾弗作為聯(lián)合創(chuàng)始人之一,在這間公司擔(dān)任首席技術(shù)官和主程序設(shè)計(jì)師。2004年,他進(jìn)入加拿大阿爾伯塔大學(xué)攻讀博士學(xué)位,研究人工智能增強(qiáng)學(xué)習(xí)。2013年,西爾弗重新與哈薩比斯會(huì)合,加入DeepMind團(tuán)隊(duì),以增強(qiáng)學(xué)習(xí)技術(shù)助力AlphaGo的設(shè)計(jì)和程序優(yōu)化。

除了上面這些人,DeepMind中還有諸多學(xué)界執(zhí)牛耳者,在神經(jīng)科學(xué)、計(jì)算機(jī)科學(xué)、卷積神經(jīng)網(wǎng)絡(luò)研究等方面人才濟(jì)濟(jì)。DeepMind簡直就是一群超級(jí)極客組合而成的深度學(xué)習(xí)全明星戰(zhàn)隊(duì)。

“大師”是怎樣煉成的

DeepMind的AlphaGo在圍棋棋局上出盡風(fēng)頭,讓世界級(jí)的圍棋大師們?yōu)橹@嘆。圍棋規(guī)則看似簡單,但棋局變化卻相當(dāng)多,在很長的時(shí)間里,圍棋都被視為人工智能開發(fā)領(lǐng)域的一座難以攻克的圣杯。圍棋第一步361個(gè)點(diǎn),下第二步有360點(diǎn),如果要下到底,大概有10360種下法,即便運(yùn)算量驚人的計(jì)算機(jī)也很難找到最佳解法。

AlphaGo和傳統(tǒng)的計(jì)算機(jī)圍棋游戲完全不同,可以進(jìn)行深度學(xué)習(xí)。它并非只是按照棋局庫的固定章法來照本宣科,而是能夠進(jìn)行自我學(xué)習(xí)和提升,以現(xiàn)有數(shù)據(jù)庫為基礎(chǔ)主動(dòng)創(chuàng)造新棋路,甚至能夠走出讓專業(yè)棋手摸不著頭腦的步法。

DeepMind主攻人工智能的意識(shí),讓機(jī)器理解自己的任務(wù)的同時(shí),也能夠理解環(huán)境或別人在做什么,并據(jù)此作出反應(yīng),完成決定。首先,需要讓計(jì)算機(jī)“懂得”棋局的規(guī)則,程序員將圍棋以計(jì)算機(jī)語言描述出來。比如在19×19的棋盤上的361個(gè)交叉點(diǎn)進(jìn)行定義。

人類在下圍棋時(shí),除了謀篇布局,精妙計(jì)算之外,更重要的是基于棋手經(jīng)驗(yàn)的“直覺”在幫助棋手思考,為棋手指路。AlphaGo也運(yùn)用了這種方法,與深度學(xué)習(xí)結(jié)合,利用“策略網(wǎng)絡(luò)”與“價(jià)值網(wǎng)絡(luò)”優(yōu)化人工智能的走棋。策略網(wǎng)絡(luò)可以判斷出最佳棋路,就好像人類用直覺來下出好棋一樣。當(dāng)然,開發(fā)團(tuán)隊(duì)也會(huì)事先給AlphaGo閱讀各種不同的參考棋譜。至于“價(jià)值網(wǎng)絡(luò)”則能幫助計(jì)算機(jī)在搜尋一個(gè)點(diǎn)之后,判斷盤面局勢(shì)、優(yōu)勢(shì)大小。

所以,當(dāng)計(jì)算機(jī)懂得走棋的任務(wù)后,它可以再隨機(jī)選擇落點(diǎn)進(jìn)行走棋訓(xùn)練,對(duì)取勝率較高的落點(diǎn)展開深入研究,并通過觀察上百萬局棋譜來豐富計(jì)算機(jī)的走棋數(shù)據(jù)庫。綜合這些信息后,計(jì)算機(jī)能夠反復(fù)進(jìn)行左右互搏的對(duì)弈訓(xùn)練,強(qiáng)化學(xué)習(xí),自我精進(jìn)。而且,通過結(jié)合神經(jīng)科學(xué)的計(jì)算機(jī)深度學(xué)習(xí),利用蒙特卡洛樹搜索和卷積神經(jīng)網(wǎng)絡(luò)等技術(shù)手段,計(jì)算機(jī)可以改進(jìn)現(xiàn)有的經(jīng)驗(yàn),創(chuàng)造獨(dú)特的新經(jīng)驗(yàn),并將這些智慧結(jié)晶內(nèi)化,成為幾乎可以獨(dú)立“思考”的超級(jí)圍棋大師。

人工智能的“下半場(chǎng)”

篇6

在6月29日開幕的第21屆中國國際軟件博覽會(huì)(簡稱軟博會(huì))上,中國科學(xué)院院士梅宏的一場(chǎng)主題演講,引起了業(yè)界的普遍關(guān)注。梅宏院士在演講中強(qiáng)調(diào),“一切皆可編程,萬物皆可互聯(lián),人類進(jìn)入了軟件定義的時(shí)代?!边@個(gè)時(shí)代,從基礎(chǔ)設(shè)施的視角來看是“互聯(lián)網(wǎng)+”時(shí)代,從計(jì)算模式的視角來看是云計(jì)算時(shí)代,從信息應(yīng)用的視角來看是智能化時(shí)代……但從使能技術(shù)的視角來看就是軟件定義時(shí)代。軟件本身經(jīng)歷了軟硬件一體化階段(軟件作為硬件附加品存在)、產(chǎn)品化和產(chǎn)業(yè)化階段(獨(dú)立的產(chǎn)品和巨大的產(chǎn)業(yè)),到今天進(jìn)入了網(wǎng)絡(luò)化服務(wù)化時(shí)代,擴(kuò)展到互聯(lián)網(wǎng)環(huán)境,已經(jīng)滲透到了社會(huì)生活的方方面面。

在軟博會(huì)現(xiàn)場(chǎng),ofo展臺(tái)現(xiàn)場(chǎng)工作人員介紹,“ofo不僅是共享單車公司,更是軟件公司。”展會(huì)期間ofo不僅展示了新一代支持NB-IoT技術(shù)的智能鎖終端系統(tǒng),更亮出硬件系統(tǒng)背后的軟件實(shí)力:智能鎖返回的定位信息會(huì)在后臺(tái)形成熱力圖,系統(tǒng)記錄熱力圖實(shí)時(shí)變化,并運(yùn)用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)技術(shù)預(yù)測(cè)用戶的出行需求,從而驅(qū)動(dòng)單車供給最大限度接近用戶需求,提高用戶體驗(yàn)。共享單車是軟件改變城市交通的一個(gè)典型案例。近期無人駕駛正如火如荼,未來私人汽車和公共汽車都可能會(huì)退出歷史舞臺(tái),就像今天大家不會(huì)每家每戶購買自行車一樣,人們將不再購買小轎車,但將擁有更加高效、直達(dá)、個(gè)性、智能的出行服務(wù),這就是軟件驅(qū)動(dòng)的城市交通革命,也就是軟件定義城市的開始。

在工業(yè)轉(zhuǎn)型升級(jí)的關(guān)鍵階段,工業(yè)軟件、智能制造自然成為本屆軟博會(huì)的熱點(diǎn),不僅“軟件定義智能制造館”在展覽現(xiàn)場(chǎng)異常醒目,一場(chǎng)“軟件定義智能制造”的高峰論壇,專家們的精彩觀點(diǎn)更是引發(fā)業(yè)界普遍思考。工信部信息化與軟件服務(wù)業(yè)司副司長安筱鵬指出,軟件定義了產(chǎn)品和功能、企業(yè)的生產(chǎn)方式和企業(yè)的信息能力。就企業(yè)而言,重點(diǎn)在于提高企業(yè)資源優(yōu)化配置的效率,所以資源優(yōu)化是主要目標(biāo)。這就要求企業(yè)把工業(yè)互聯(lián)網(wǎng)平臺(tái)作為軟件定義制造業(yè)的關(guān)鍵,并實(shí)施三大工程:培育互聯(lián)網(wǎng)平臺(tái)、促進(jìn)更多中小企業(yè)業(yè)務(wù)系統(tǒng)遷移到互聯(lián)網(wǎng)平臺(tái)、實(shí)施資源回流,形成更多APP,讓工業(yè)互聯(lián)網(wǎng)平臺(tái)和基于平臺(tái)上的應(yīng)用形成一個(gè)雙向迭代的機(jī)制。專家們認(rèn)為,“軟件技術(shù)已成為新一輪工業(yè)革命的核心競(jìng)爭力!”據(jù)介紹,波音公司在波音787的研制中用了8000多種軟件,其中市面上可以買到的CAD等工業(yè)軟件不到1000種,剩下的7000多種是波音公司的私有軟件,飛機(jī)設(shè)計(jì)的知識(shí)、技術(shù)、方法就在這7000多種軟件里,這7000多種軟件市面上看不見,但這些軟件恰恰是波音公司的核心競(jìng)爭力。毫無疑問,工業(yè)“軟化”已經(jīng)成為不可阻擋的大趨勢(shì)。

步入軟件定義時(shí)代,我們?nèi)绾螒?yīng)對(duì)?也許梅宏院士給出的四條建議值得業(yè)界同仁認(rèn)真把握:一是深刻理解軟件定義時(shí)代的內(nèi)涵和本質(zhì),堅(jiān)持創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略,全面貫徹軟件定義理念;二是切實(shí)構(gòu)建自主可控的軟件產(chǎn)業(yè)體系,助力社會(huì)經(jīng)濟(jì)的轉(zhuǎn)型升級(jí);三是推進(jìn)開源軟件生態(tài)建設(shè),構(gòu)建產(chǎn)、學(xué)、研、用新體系;四是營造良好的社會(huì)環(huán)境,大力培育優(yōu)秀軟件人才。

篇7

關(guān)鍵詞:人工智能;引擎;大數(shù)據(jù);CPU;FPGA

DOI:10.3969/j.jssn.1005-5517-2017-2.006

1 2016年人工智能迎來了春天

2016年人工智能(A1)進(jìn)入了第三個(gè)。2016年3月9-15日,谷歌AlphaGo(阿爾法狗)以4:1的成績擊敗世界圍棋冠軍李世石職業(yè)九段,意義非常重大。因?yàn)檫^去機(jī)器主要做感知,現(xiàn)在出現(xiàn)了認(rèn)知,這是人工智能的關(guān)鍵所在。

8個(gè)月后,2016年12月29日~2017年1月4日,AlphaGo的升級(jí)版――谷歌Master(大師)在30秒快棋網(wǎng)測(cè)中,以60勝0負(fù)1和的成績,橫掃柯潔、古力、聶衛(wèi)平、樸廷桓、井山裕太等數(shù)十位中日韓世界冠軍與頂級(jí)高手。從此以后,也許人類以后就沒有和Master進(jìn)行圍棋比賽的機(jī)會(huì)了!除了圍棋,人工智能下一步將在國際象棋、中國象棋等棋類方面發(fā)展。

撲克牌方面,專家水平的人工智能首次戰(zhàn)勝一對(duì)一無限注德州撲克人類職業(yè)玩家,而且DeepStack讓機(jī)器擁有知覺。

人工智能還能玩游戲。其意義很重大,平時(shí)環(huán)境中很難得到一些數(shù)據(jù),因?yàn)橛螒蛳喈?dāng)于虛擬社會(huì),例如“星際爭霸2”是復(fù)雜的虛擬社會(huì),如果人工智能在這個(gè)虛擬社會(huì)中能戰(zhàn)勝人,這將是非常了不起的,未來可涉及到高級(jí)決策,在軍事上很有用處。2016年11月5日,谷歌DeepMind宣布與暴雪合作開發(fā)人工智能,挑戰(zhàn)實(shí)時(shí)戰(zhàn)略視頻游戲“星際爭霸2”。這件事情的意義非常重大。下一步可以用于軍事上的高級(jí)戰(zhàn)略決策。

無人駕駛方面,2016年11月15日,“在第三屆世界互聯(lián)網(wǎng)大會(huì)”期間,18輛百度“云驍”亮相烏鎮(zhèn)子夜路,在3.16公里的開放城區(qū)道路上自主行駛。2016年特斯拉Autopilot 2.0問世,該軟件只需要八千美元,就可讓軟件駕駛汽車。所有特斯拉新車將安裝“具有完全自動(dòng)駕駛功能”的該硬件系統(tǒng),并可通過OTA(空中下載技術(shù))進(jìn)行軟件升級(jí);自動(dòng)駕駛功能從L2(二級(jí),半無人駕駛)直接跳躍到L4/L5();2017年底之前,特斯拉車將以完全自動(dòng)駕駛模式從洛杉磯開往紐約。Uber提出在城區(qū)大范圍無人駕駛出租車試運(yùn)行,Uber 2016年9月14日在美國匹茲堡市推出城區(qū)大范圍無人駕駛出租車免費(fèi)載客服務(wù)并試運(yùn)行,先期已測(cè)試近2年,說明無人駕駛真正落地了。

為何無人駕駛很重要?因?yàn)槿斯ぶ悄苁菬o人駕駛的核心。除了百度、特斯拉、Uber,谷歌Waymo也在做自動(dòng)駕駛測(cè)試。此外,沃爾沃、福特、寶馬、百度、英特爾等全球約20多家企業(yè)公開宣布,4年以后的2021年將會(huì)是無人駕駛/自動(dòng)駕駛元年,部分5AE L4車將會(huì)實(shí)現(xiàn)量產(chǎn)。

計(jì)算機(jī)視覺

針對(duì)ImageNet ILSVRC測(cè)試比賽的1 000種物體識(shí)別,Deep CNN超過了人類的識(shí)別能力。人是5.1%(如圖1),2016年2月23日谷歌人工識(shí)別的評(píng)測(cè)是3.08%。ImageNetILSVRC中有1000種物體,例如猴子、馬、飛機(jī)、坦克等約1500萬張照片、包含2.2萬類種不同物體。深度學(xué)習(xí)一般能做到52層,極深度學(xué)習(xí)(very deep lea rning)現(xiàn)在已經(jīng)做到1000層。

在ILSVRC 2016國際評(píng)測(cè)中,包括視覺物體檢測(cè)、視覺物體定位、視頻物體檢測(cè)、場(chǎng)景分類、場(chǎng)景解析等性能均有提高。值得一提的是,在此次大會(huì)上,中國團(tuán)隊(duì)大放異彩,幾乎包攬了各個(gè)項(xiàng)目的冠軍(圖2)。

人工智能語義分割

基于全卷積神經(jīng)網(wǎng)絡(luò)FCN的路面/場(chǎng)景像素級(jí)語義分割取得重要進(jìn)展。為此,我們可以分割大部分道路。

人工智能唇語專家

看電視時(shí)把聲音關(guān)掉,靠嘴唇說話的變化來識(shí)別談話內(nèi)容,這種能力機(jī)器識(shí)別率已經(jīng)超過人類。例如2016年12月,英國牛津大學(xué)與谷歌DeepMind等研發(fā)的自動(dòng)唇讀系統(tǒng)LipNet,對(duì)GRID語料庫實(shí)現(xiàn)了95.2%的準(zhǔn)確率;對(duì)BBC電視節(jié)目嘉賓進(jìn)行唇語解讀,準(zhǔn)確率為46.8%,遠(yuǎn)遠(yuǎn)超過專業(yè)的人類唇語專家(僅為12.4%)。

人工智能人臉識(shí)別

人臉識(shí)別可以達(dá)到產(chǎn)品級(jí)別,例如支付寶的刷臉成功率超過了人類。如圖3,人的水平為97.40,百度為99.77。因此可以進(jìn)行產(chǎn)品體驗(yàn)。2017年1月6日,百度人工智能機(jī)器人“小度”利用其超強(qiáng)人類識(shí)別能力,以3:2險(xiǎn)勝人類最強(qiáng)大腦代表王峰。

語音識(shí)別

目前的社交新媒體和互動(dòng)平臺(tái)中,Al虛擬助手和Al聊天機(jī)器人正在崛起。一天,美國GIT(佐治亞理工大學(xué))的一個(gè)課堂上來了一位助教,教師講完課后說:“大家有問題就問助教吧”。這位助教原來是個(gè)會(huì)眨眼睛的機(jī)器人!這時(shí)學(xué)生們才知道每天網(wǎng)上給他們答疑解惑的是人工智能,此前學(xué)生們也感到很吃驚,這位助教非常敬業(yè),晚上還在發(fā)Email。

人工智能語音合成

指從文本聲音到真實(shí)聲音,可以自動(dòng)翻譯成英文。2016年9月19日,谷歌DeepMind推出WaveNet,實(shí)現(xiàn)文本到美式英語或中國普通話的真實(shí)感語音合成。

人工智能速記員

包括語音識(shí)別和NLP(自然語言處理)。2016年10月17日,微軟的語音識(shí)別系統(tǒng)實(shí)現(xiàn)了5.9%的詞錯(cuò)率(WER),媲美人類專業(yè)速記員,且錯(cuò)誤率更低;中國科大訊飛也有語音輸入法。

人工智能翻譯

中國人往往從小學(xué)到讀博士都在學(xué)英語?,F(xiàn)在,谷歌、微軟和百度等公司在做人工智能翻譯。以谷歌為例,2016年9月27日,谷歌的神經(jīng)機(jī)器翻譯系統(tǒng)(GNMT)實(shí)現(xiàn)了多語種翻譯,較之傳統(tǒng)方法,英譯西班牙翻譯錯(cuò)誤率下降了87%,英譯漢下降了58%,漢譯英下降了60%,已接近人工翻譯的水平。也許今后學(xué)外語沒那么重要了,人們可戴著耳機(jī),耳機(jī)能直接翻譯成各語言。

人工智能對(duì)抗訓(xùn)練

Goodfellow(2014)提出的生成式對(duì)抗網(wǎng)絡(luò)(GAN),為半監(jiān)督學(xué)習(xí)/舉一反三式的學(xué)習(xí)發(fā)展提供新思路,2016年發(fā)展迅速。目前是監(jiān)督式學(xué)習(xí),需要依靠大數(shù)據(jù),因此大數(shù)據(jù)需要非常完備。而人是舉一反三式的學(xué)習(xí)。例如人沒有見過飛機(jī),看過幾張照片就可以把世界上所有飛機(jī)都認(rèn)出;目前的大數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方式,是把世界上所有飛機(jī)照片都看過才行?,F(xiàn)在進(jìn)行舉一反三的半監(jiān)督或無監(jiān)督式學(xué)習(xí),思路是采用對(duì)抗的方法,一個(gè)網(wǎng)絡(luò)造假,另一網(wǎng)絡(luò)鑒別照片是真是假,通過對(duì)抗式的學(xué)習(xí)來共同進(jìn)步(如圖4)。

人工智能引擎

芯片三巨頭

英特爾、英偉達(dá)和高通全部轉(zhuǎn)到了人工智能上。為此英偉達(dá)的股票漲了幾倍。英特爾也在大搞人工智能。高通為了進(jìn)入人工智能領(lǐng)域,收購了恩智浦,恩智浦此前收購了飛思卡爾。

現(xiàn)在出現(xiàn)了基于超級(jí)GPU/TPU集群的離線訓(xùn)練,采用超級(jí)GPU/TPu集群服務(wù)器,例如英偉達(dá)的深度學(xué)習(xí)芯片Tesla P100及DGX-1深度學(xué)習(xí)計(jì)算機(jī),谷歌數(shù)據(jù)中心的TPU。

終端應(yīng)用采用GPU/FPGA-based DPU,例如英特爾Apollo Lake A3900的“智能互聯(lián)駕駛艙平臺(tái)”,高通驍龍的820A處理器。

通用人工智能與認(rèn)知智能

1997年,lBM的超級(jí)電腦程序“深藍(lán)”擊敗國際象棋大師加里?卡斯帕羅夫;2011年2月,IBM的自動(dòng)問答系統(tǒng)在美國最受歡迎的智力競(jìng)答電視節(jié)目“危險(xiǎn)邊緣”中戰(zhàn)勝了人類冠軍:IBM的沃森醫(yī)生在某些細(xì)分疾病領(lǐng)域已能提供頂級(jí)醫(yī)生的醫(yī)療診斷水平,例如胃癌診斷。

可見,1.AlphaGo和Master等已可橫掃人類圍棋職業(yè)頂尖高手,下一步,將能下中國象棋等所有棋類,此外還可以打牌、炒股等,即什么都可以干,是強(qiáng)人工智能。2.人工智能已成為無人駕駛汽車商業(yè)落地的關(guān)鍵。3.視覺物體識(shí)別、人臉識(shí)別、唇語識(shí)別等在許多國際公開評(píng)測(cè)中,達(dá)到或超過人類的水平;4.速記等語音識(shí)別已可媲美人類;5.包括神經(jīng)機(jī)器翻譯在內(nèi)的自然語言處理,性能也大幅度提升;6.生成式對(duì)抗網(wǎng)絡(luò)得到極大關(guān)注。

目前,發(fā)展通用人工智能成為普遍共識(shí)。

2 社會(huì)極大關(guān)注

未來,可能很多工作就會(huì)消失了。

人工智能引起社會(huì)的極大關(guān)注和熱議,人工智能發(fā)展很快;而且人工智能的學(xué)習(xí)速度快,很勤奮,未來可以達(dá)到人類所有的智能,這時(shí)到達(dá)了從強(qiáng)人工智能到超越人工智能的奇點(diǎn);人工智能有超越人類智能的可能;理論上,人工智能還可以永生。

這也引起了很多人們的擔(dān)憂。奇點(diǎn)到來、強(qiáng)人工智能、超人工智能、意識(shí)永生、人類滅絕等聳人聽聞的觀點(diǎn)出現(xiàn),引起包括霍金、蓋茨和馬斯克等在內(nèi)的世界名人對(duì)人工智能發(fā)展的擔(dān)憂。在每年的世界人工智能大會(huì)上,專門有一個(gè)論壇探討人工智能與法律、倫理及人類未來的會(huì)場(chǎng)。

現(xiàn)在,人工智能工業(yè)的OpenAI成立。

2016年全社會(huì)對(duì)人工智能的極大關(guān)注,可能是2016年AI的最大進(jìn)展!

在半監(jiān)督/無監(jiān)督學(xué)習(xí)、通用人工智能方面,人工智能具有舉一反三,并有常識(shí)、經(jīng)驗(yàn)、記憶、知識(shí)學(xué)習(xí)、推理、規(guī)劃、決策,甚至還有動(dòng)機(jī)。這最后一點(diǎn)有點(diǎn)恐怖,人是有意識(shí)和動(dòng)機(jī)的,機(jī)器做事也有動(dòng)機(jī),太可怕了。

智能學(xué)習(xí)進(jìn)步很快,AIpha Go八個(gè)月后就可以戰(zhàn)勝所有圍棋手,因?yàn)樗苊刻?4小時(shí)學(xué)習(xí)、不吃不喝地學(xué)習(xí),比人強(qiáng)多了。

因此,在經(jīng)歷了60年“三起兩落”的發(fā)展后,以深度學(xué)習(xí)為主要標(biāo)志的人工智能正迎來第3次偉大復(fù)興,這次引起社會(huì)尤其是產(chǎn)業(yè)界高強(qiáng)度的關(guān)注。因?yàn)樯鲜兰o(jì)60年代和80年代,人工智能沒有達(dá)到這樣的水平。

硅谷精神教父、預(yù)言家凱文?凱利說,未來人工智能會(huì)成為一種如同電力一樣的基礎(chǔ)服務(wù)。斯坦福大學(xué)推出了“人工智能百年研究”首份報(bào)告――《2030年的人工智能與生活》。

3人工智能上升為國家發(fā)展戰(zhàn)略

有人認(rèn)為第四次工業(yè)革命即將由人工智能與機(jī)器人等引爆。英國政府認(rèn)為,人工智能有望像19世紀(jì)的蒸汽機(jī)革命那樣徹底改變我們的生活,甚至人工智能給人類社會(huì)帶來的變革與影響,有可能遠(yuǎn)遠(yuǎn)超過蒸汽機(jī)、電力和互聯(lián)網(wǎng)帶來的前三次工業(yè)革命。

智能制造、無人駕駛汽車、消費(fèi)類智能機(jī)器人、虛擬助手、聊天機(jī)器人、智能金融、智能醫(yī)療、智能新聞寫作、智能律師、智慧城市等可能被人工智能代替。人工智能將無處不在,可望替換人類的部分腦力勞動(dòng),一些職業(yè)會(huì)被取代或補(bǔ)充,一些新的行業(yè)又會(huì)誕生,例如18世紀(jì)出現(xiàn)了紡織工人,之后汽車代替了馬車等。因此,我們將經(jīng)歷從“互聯(lián)網(wǎng)+”到“人工智能+”。

中國“互聯(lián)網(wǎng)+”與“中國制造2025”國家發(fā)展戰(zhàn)略的實(shí)施,對(duì)人工智能的巨大需求在迅速增長。未來2-5年,人工智能應(yīng)用與產(chǎn)業(yè)發(fā)展將迎來爆發(fā)期。

中國政府在《“互聯(lián)網(wǎng)+”人工智能3年行動(dòng)實(shí)施方案》提出:計(jì)劃在2018年形成千億級(jí)人工智能產(chǎn)業(yè)應(yīng)用規(guī)模。201 7年1月10日,科技部部長萬鋼稱,將編制完成人工智能專項(xiàng)規(guī)劃,加快推進(jìn)人工智能等重大項(xiàng)目的立項(xiàng)論證。

美國政府在2016年10月13日出臺(tái)了《為人工智能的未來做好準(zhǔn)備》的報(bào)告,提出了23條建議措施。同一天,美國政府又出臺(tái)了《國家人工智能研發(fā)戰(zhàn)略規(guī)劃》,提出了7大重點(diǎn)戰(zhàn)略方向。美國參議院于2016年11月30日召開了關(guān)于人工智能的首次國會(huì)聽證會(huì),主題是“人工智能的黎明”,認(rèn)為中國是對(duì)美國人工智能全球領(lǐng)導(dǎo)地位的一個(gè)真正威脅。在2016年12月20日美國白宮了《人工智能、自動(dòng)化與經(jīng)濟(jì)》報(bào)告,考察了人工智能驅(qū)動(dòng)的自動(dòng)化將會(huì)給經(jīng)濟(jì)帶來的影響,并提出了國家的三大應(yīng)對(duì)策略方向??梢?,奧巴馬把人工智能看作其政治遺產(chǎn)之一(注:另一個(gè)是Cyber空間)。

英國政府2016年12月了《人工智能:未來決策的機(jī)遇與影響》的報(bào)告,關(guān)注人工智能對(duì)社會(huì)創(chuàng)新與生產(chǎn)力的促進(jìn)作用,論述如何利用英國人工智能的獨(dú)特優(yōu)勢(shì),增強(qiáng)英國國力。

日本政府2017年開始,要讓人工智能與機(jī)器人推動(dòng)第四次工業(yè)革命。

4 我國對(duì)策

應(yīng)以深度卷積神經(jīng)網(wǎng)絡(luò)為核心,全面開展計(jì)算機(jī)視覺、語音識(shí)別和自然語言等人工智能產(chǎn)品的開發(fā)與大規(guī)模產(chǎn)業(yè)化應(yīng)用。這需要大數(shù)據(jù)、計(jì)算平臺(tái)/計(jì)算引擎、人工智能算法、應(yīng)用場(chǎng)景等飛速發(fā)展,另外還需要資源、資金、人才。在方法上,選定垂直細(xì)分領(lǐng)域最重要。

面向若干細(xì)分垂直領(lǐng)域,建立大數(shù)據(jù)中心。實(shí)現(xiàn)大數(shù)據(jù)采集、清洗、標(biāo)簽、存儲(chǔ)、管理與交易,建立大數(shù)據(jù)源公共基礎(chǔ)設(shè)施與垂直領(lǐng)域知識(shí)庫。專有大數(shù)據(jù)是人工智能產(chǎn)業(yè)制勝的關(guān)鍵和法寶。中國企業(yè)必須開始特別關(guān)注大數(shù)據(jù)的采集與利用。其重要性如同原油―樣,跨國企業(yè)視之為戰(zhàn)略資源!

強(qiáng)力開展人工智能芯片與硬件平臺(tái)的研發(fā)。包括基于FPGA的深度學(xué)習(xí)芯片;類腦芯片與憶阻器件;建立國家級(jí)人工智能超算中心。

篇8

關(guān)鍵詞:句子相似度計(jì)算;Word2Vector;編輯距離;Edit Distance

中圖分類號(hào):TP18 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1009-3044(2017)05-0146-02

1 背景

句子的相似度計(jì)算在自然語言處理中有著十分廣泛的運(yùn)用。例如,機(jī)器翻譯中相似性文檔的判斷和提取,在問答系統(tǒng)中相似性問題的匹配或者問題與答案之間的匹配判斷等。對(duì)于這個(gè)相似度的刻畫,主要分為幾個(gè)不同的等級(jí),具體為語法層面的相似度,語義層面的相似度,與語用層面的相似度。其計(jì)算難度也是層層遞進(jìn)。在具體的應(yīng)用中,只要能達(dá)到語義層面的判斷基本上就可以達(dá)到基本的需求了。目前對(duì)句子的語義層面的相似度計(jì)算方法主要有基于相同詞匯的方法,使用語義詞典的方法、使用編輯距離的方法,以及基于統(tǒng)計(jì)的方法等。其中,基于相同詞匯的方法比較簡單,但是其缺點(diǎn)也十分的明顯,就是對(duì)于句子中同義詞的判斷存在不足。相對(duì)于基于相同詞匯的方法,使用語義詞典可以很好的處理句子中同義詞的情形,但是語義詞典也存在著需要不斷地更新和維護(hù)詞典庫的缺點(diǎn),而且如果只是單一的使用語義詞典會(huì)缺乏對(duì)句子本身結(jié)構(gòu)的分析,對(duì)最后的計(jì)算結(jié)果也有較大的影響。編輯距離一般使用在對(duì)句子的快速模糊匹配上,由于其規(guī)定的編輯操作有限,而且對(duì)于同義詞的替換也缺乏判斷,因此最后的準(zhǔn)確率也不是很理想。本文基于編輯距離的方法,利用深度學(xué)習(xí)模型Word2Vector來增強(qiáng)其編輯操作的靈活程度,從而克服了單純使用編輯距離對(duì)句子的語義理解不足的缺點(diǎn)。本文的第一部分主要介紹了相關(guān)的算法和基礎(chǔ)知識(shí)。第二部分主要描述了基于Word2Vector與編輯距離的句子相似度計(jì)算方法,第三部分給出了測(cè)試結(jié)果以及對(duì)該方法的優(yōu)缺點(diǎn)討論,最后第四部分是結(jié)語。

編輯距離方法是指兩個(gè)句子間,由一個(gè)句子轉(zhuǎn)換到另一個(gè)句子所需的最少的編輯操作次數(shù)。這里的編輯操作共有“插入”、“刪除”和“替換”三種。例如:

我是中國人 -> 你是中國人 (把“我”替換為“你”)

我是中國人 -> 我愛中國人 (把“是”替換為“愛”)

我是中國人 -> 是中國人(把”我”刪除)

利用這種方法對(duì)兩個(gè)句子進(jìn)行相似度比較就像引言中分析的,其優(yōu)點(diǎn)是簡單,速度快。但是缺點(diǎn)也十分明顯,由于編輯操作缺乏一定的靈活性,使得其無法進(jìn)一步的判斷語義層面的含義,比如同義詞,同類、異類詞等,因此,該方法適合于句子間的模糊匹配。

2.2 Word2Vector

Word2Vector是一種將詞匯表示轉(zhuǎn)化為空間向量的技術(shù),主要利用了深度學(xué)習(xí)的思想對(duì)語料進(jìn)行訓(xùn)練,通過將句子進(jìn)行分詞,然后將每個(gè)詞匯映射成N維的向量,這樣可以將兩個(gè)詞匯的相似度比較轉(zhuǎn)化為對(duì)兩個(gè)向量的相似度比較,可以利用cosine 相似度、歐氏距離等數(shù)學(xué)工具對(duì)詞匯進(jìn)行語義分析,其采用了一個(gè)具有三層的神經(jīng)網(wǎng)絡(luò),并且根據(jù)詞頻用Huffman編碼技術(shù)將相似詞頻詞匯的隱藏層激活的內(nèi)容出于大致相同的位置,如果哪個(gè)詞匯出現(xiàn)的頻率很高,那么它激活的隱藏層的數(shù)目就很少,通過這樣處理可以使得計(jì)算的復(fù)雜度大幅度的降低。最后,通過Kmeans聚類方法,將相似的詞向量聚在一起,最后形成了Word2Vector的詞聚類模型。

Word2Vector的輸出結(jié)果可以利用在NLP的很多地方,比如聚類,查找一個(gè)詞的同義詞,或者進(jìn)行詞性的分析等。

3 基于Word2Vector與編輯距離的句子相似度計(jì)算方法

3.1 問題描述

3.3 按照Word2Vector的詞向量距離來定義編輯操作的系數(shù)

由Word2Vector訓(xùn)練好的模型會(huì)將各個(gè)詞匯生成一個(gè)與其相對(duì)應(yīng)的詞向量,計(jì)算兩個(gè)詞匯對(duì)應(yīng)的詞向量便可以知道這兩個(gè)詞匯的相似度。如果值為1,說明這兩個(gè)詞匯完全一致,如果為0,則表示完全沒有關(guān)系。

這里考慮一種情形,當(dāng)利用替換操作進(jìn)行兩個(gè)詞匯的替換時(shí),如果兩個(gè)詞匯意思是相近的,那么它的替換代價(jià)會(huì)相應(yīng)的低一點(diǎn),反之,則會(huì)相應(yīng)的高。舉個(gè)例子:

我愛故宮

我愛天安門

我愛蘋果

這三個(gè)句子我們可以知道1,2兩句更加的接近,因?yàn)樗淼亩际蔷包c(diǎn)。因此待匹配的句子1應(yīng)該會(huì)匹配上句子2。為了將詞語的相似度考慮進(jìn)去,這里引入Word2Vector的詞向量來改進(jìn)替換操作的系數(shù)。

假設(shè)兩個(gè)詞匯的向量距離為k,k∈[0,1]??紤]到k的值的大小與編輯距離的大小是相反的,這里將更新后的替換操作的系數(shù)設(shè)定為1/(1+k)。這樣更新后的替換操作會(huì)根據(jù)不同詞匯之間的距離發(fā)生變化,變化范圍在[0.5,1]之間。而且這個(gè)值的范圍不會(huì)打破編輯操作里面的平衡,即替換=插入+刪除。更新后的編輯距離公式L=a+1/(1+k)*b + c。

4 實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證改進(jìn)的編輯距離算法的有效性,本文自行構(gòu)造了實(shí)驗(yàn)所需的句子集合,本文所用的測(cè)試句子一共有400句。其中380句為來自各個(gè)不同領(lǐng)域類型的句子。比如,體育,娛樂,軍事,文化,科技,教育等。另外20句為沒有意義的干擾句。這里從380個(gè)句子中挑選100句作為參考句子,通過人工評(píng)價(jià),比較測(cè)試結(jié)果。這里評(píng)價(jià)按照結(jié)果的質(zhì)量分為3類:1、準(zhǔn)確,2、相關(guān),3、不相關(guān)。其中查準(zhǔn)率P的定義如下所示:

通過實(shí)驗(yàn)可以發(fā)現(xiàn),經(jīng)過改進(jìn)的編輯距離句子相似度匹配算法在準(zhǔn)確度上有了一定的提高和改進(jìn),其中原因便是調(diào)整后的編輯距離算法將同義詞近義詞等通過詞向量給計(jì)算出來。但是在實(shí)驗(yàn)中也發(fā)現(xiàn)了一個(gè)現(xiàn)象,就是相對(duì)來說判斷準(zhǔn)確的句子都是一些短小句,即長度不是很長的句子,而判斷不相關(guān)的句子明顯長度要更長一些。事實(shí)也是如此,當(dāng)句子的長度較長時(shí),通過分詞將一個(gè)句子分為一個(gè)個(gè)短的詞匯來利用詞向量來理解會(huì)破壞句子的整體含義。

5 結(jié)束語

本文通過利用Word2Vector模型將詞向量計(jì)算引入到編輯距離算法的編輯操作中,從而使得改進(jìn)后的編輯算法對(duì)句子具有一定的語義理解能力。通過實(shí)驗(yàn)也比較好的驗(yàn)證了此方法的有效性,尤其是對(duì)近義詞與同義詞的理解上有了很大的提升,而算法本身的時(shí)間復(fù)雜度相較于編輯距離算法則沒有改變多少。

另外,通過實(shí)驗(yàn)也發(fā)現(xiàn),此方法對(duì)短句子的效果非常的明顯,而對(duì)于一些長句則還是具有較大的誤差。從對(duì)句子本身的分析角度上看,還需要通過對(duì)句子進(jìn)行建模才可以達(dá)到比較好的理解匹配。

參考文獻(xiàn):

[1] 李彬, 劉挺, 秦兵, 等. 基于語義依存的漢語句子相似度計(jì)算[J]. 計(jì)算機(jī)應(yīng)用研究, 2003, 20(12): 15-17.

[2] 孔勝, 王宇. 基于句子相似度的文本主題句提取算法研究[J]. 情報(bào)學(xué)報(bào), 2011, 30(6): 605-609.

[3] 賈明靜, 董日壯, 段良濤. 問句相似度計(jì)算綜述[J]. 電腦知識(shí)與技術(shù): 學(xué)術(shù)交流, 2014 (11): 7434-7437.

[4] 賈熹濱, 李寧, 靳亞. 用于文本情感極性分析的動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)超限學(xué)習(xí)算法[J]. 北京工業(yè)大學(xué)學(xué)報(bào), 2017, 43(1): 28-35.

[5] Xu G, Cao Y, Zhang Y, et al. TRM: Computing Reputation Score by Mining Reviews[J]. 2015.

[6] 萬翔, 劉挺, 秦兵, 等. 基于改進(jìn)編輯距離的中文相似句子檢索[J]. 高技術(shù)通訊, 2004, 14(7): 15-19.

[7] 汪衛(wèi)明, 梁東鶯. 基于語義依存關(guān)系匹配的漢語句子相似度計(jì)算[J]. 深圳信息職業(yè)技術(shù)學(xué)院學(xué)報(bào), 2014 (1): 56-61.

[8] 裴婧, 包宏. 漢語句子相似度計(jì)算在 FAQ 中的應(yīng)用[J]. 計(jì)算機(jī)工程, 2009, 35(17): 46-48.

篇9

關(guān)鍵詞: 圖像處理; Canny算子; DSP優(yōu)化; 圖像快速分割

中圖分類號(hào): TN919?34 文獻(xiàn)標(biāo)識(shí)碼: A 文章編號(hào): 1004?373X(2014)06?0008?04

0 引 言

Canny算子屬于圖像處理和計(jì)算機(jī)視覺中的重要研究領(lǐng)域――邊緣檢測(cè)問題。邊緣檢測(cè)對(duì)后續(xù)的圖像分析和識(shí)別意義重大。例如,在鏡檢細(xì)胞圖像識(shí)別中,邊緣檢測(cè)就是要把從采集到的圖像中各種有形成分準(zhǔn)確分離出來,進(jìn)入后端進(jìn)行特征建模與識(shí)別,邊緣檢測(cè)是整個(gè)系統(tǒng)的關(guān)鍵和核心,承上啟下,好的檢測(cè)效果是系統(tǒng)實(shí)現(xiàn)前提[1],快速檢測(cè)是智能系統(tǒng)的內(nèi)在要求。

John F.Canny將邊緣檢測(cè)問題歸結(jié)為檢測(cè)圖像梯度函數(shù)的極大值問題,提出了邊緣檢測(cè)最優(yōu)算法的三個(gè)評(píng)價(jià)準(zhǔn)則,并基于該準(zhǔn)則開發(fā)了一種多級(jí)邊緣檢測(cè)算法。目前,Canny算子在生物醫(yī)學(xué),智能監(jiān)控,航空航天等領(lǐng)域應(yīng)用廣泛,并由學(xué)者和工程人員不斷加以改進(jìn)和優(yōu)化。例如韓慧妍等針對(duì)高斯濾波器的方差以及滯后閾值的選擇需要人工指定的問題,將形態(tài)學(xué)平滑和Otsu(最大類間方差法)方法引入Canny算子[2]。洪運(yùn)國針對(duì)間斷的邊緣問題,提出矩量保持法來求取最優(yōu)閾值等[3]。

眾多Canny的改進(jìn)都體現(xiàn)在算法思想上,并在Windows操作系統(tǒng)和通用PC中得到廣泛應(yīng)用,然而,在嵌入式平臺(tái)如DSP加以應(yīng)用時(shí),很少細(xì)致深入地研究實(shí)用有效的優(yōu)化方法使得Canny算子在DSP平臺(tái)高效率運(yùn)行。例如金澤安在其學(xué)位論文中,詳盡設(shè)計(jì)了基于DSP的紅細(xì)胞圖像處理系統(tǒng),但在圖像處理算法性能優(yōu)化方面只做了粗略的優(yōu)化方法介紹[4]。通過詳細(xì)分析Canny算子原理基礎(chǔ)上,結(jié)合DSP特性,將矢量化打包數(shù)據(jù)處理在高斯濾波過程加以應(yīng)用,提高運(yùn)算并行性,并在邊緣計(jì)算過程中,靈活地使用對(duì)齊和非對(duì)齊的寬存儲(chǔ)器訪問,推導(dǎo)出梯度和方向的等價(jià)計(jì)算公式,四鄰域、八鄰域的等價(jià)的連續(xù)點(diǎn)四領(lǐng)域、八鄰域模板。

1 Canny算法實(shí)現(xiàn)步驟

經(jīng)典著名的Canny準(zhǔn)則是指:

(1) 完全性。對(duì)邊緣檢測(cè)的錯(cuò)誤率盡可能低。

(2) 定位性。檢測(cè)結(jié)果和實(shí)際情況盡可能接近。

(3) 最小性。圖像中的邊緣應(yīng)該只被檢測(cè)一次[5]。

基于邊緣檢測(cè)效果的三準(zhǔn)則,結(jié)合原始Canny算子及改進(jìn)思想,實(shí)現(xiàn)了顯微細(xì)胞圖像Canny分割,算法思想和步驟如下描述:

Step 1:用二維高斯濾波模板進(jìn)行卷積以消除雜點(diǎn),采用的模板計(jì)算公式如下:

濾波過程即將原輸入圖像與高斯模板進(jìn)行卷積,濾波長度依據(jù)參數(shù)sigma而定,用公式表示如下:

Step 2:計(jì)算差分圖像。一般采用2×2鄰域范圍,原圖中每一點(diǎn)水平方向和垂直方向的差分計(jì)算公式如下:

式中IG為差分圖像的輸入,即二維高斯濾波后的結(jié)果;Δx為水平方向差分;Δy為垂直方向差分。

Step 3:計(jì)算弧度和梯度,公式如下:

Step 4:對(duì)梯度幅值進(jìn)行非最大值抑制。若某個(gè)像素的灰度值與其梯度方向上前后兩個(gè)像素的灰度值相比不是最大的,那個(gè)這個(gè)像素置為255(白點(diǎn)),即不是邊緣 。

Step 5:使用累計(jì)直方圖計(jì)算兩個(gè)閾值。凡是大于高閾值的一定作為邊緣,像素點(diǎn)置0;凡是小于低閾值的一定不是邊緣,像素點(diǎn)置255;若檢測(cè)結(jié)果位于兩者之間,檢測(cè)其鄰接像素中超過高閾值的邊緣像素:存在則為邊緣點(diǎn),否則非邊緣點(diǎn)[6]。

以上步驟結(jié)束,由輸入的原圖像得到一副二值邊緣圖。

2 Canny算子的DSP優(yōu)化

在DSP平臺(tái)編程實(shí)現(xiàn)和優(yōu)化Canny算子時(shí),需要根據(jù)特定處理器的特點(diǎn)來展開,主要參考數(shù)據(jù)總線寬度,核內(nèi)功能單元、寄存器等。

2.1 TMS320C6678特性和優(yōu)化概述

TMS320C6678在單芯片上集成8顆1.25 GHz C66X核,支持定點(diǎn)運(yùn)算,字寬一般為16位;支持浮點(diǎn)運(yùn)算,字寬可為32位、40位、48位、64位。每個(gè)核具有8個(gè)功能單元(.M1,.L1,.D1,.S1.,M2,.L2,.D2,.S2),2個(gè)寄存器組(A,B兩組64個(gè)寄存器)和2條數(shù)據(jù)通路。每個(gè)C66X核的.M單元在每個(gè)時(shí)鐘周期內(nèi)能夠執(zhí)行以下定點(diǎn)操作:4個(gè)32×32 b乘法,16個(gè)16×16 b乘法,4個(gè)16×32 b乘法,8個(gè)8×8 b乘法, 4個(gè)16×16 b乘法和加減運(yùn)算。.L和.S單元支持64 b操作數(shù)據(jù),如此可以容納多算術(shù)、邏輯和數(shù)據(jù)打包指令并行處理。還可以通過長型操作數(shù),最長可達(dá)128位,完成雙倍數(shù)據(jù)的轉(zhuǎn)換[7]。

在DSP平臺(tái)上,數(shù)據(jù)傳輸?shù)脑O(shè)計(jì)是圖像系統(tǒng)的關(guān)鍵環(huán)節(jié),CPU處理任務(wù)時(shí)的速度很大程度都受到外部存儲(chǔ)器的限制[8]。TMS320C6678片內(nèi)存儲(chǔ)器含寄存器、Cache、L2、共享存儲(chǔ)器,訪問速度快,然而容量卻非常有限,當(dāng)圖像數(shù)據(jù)量較大時(shí),無法將待分割的整幅圖像和一些中間結(jié)果置于片內(nèi)進(jìn)行處理。例如對(duì)800×600、24位BMP圖像數(shù)據(jù)處理,其大小為1.37 MB,考慮到C6678片內(nèi)存儲(chǔ)器的大小,分割的圖像數(shù)據(jù)和中間結(jié)果分布在DDR,因此,在任務(wù)處理過程中,CPU直接訪問外部存儲(chǔ)器接口的情況下,頻繁與外部存儲(chǔ)器發(fā)生數(shù)據(jù)交互大大影響程序的執(zhí)行效率。

針對(duì)以上問題,實(shí)現(xiàn)了基于矢量化打包數(shù)據(jù)處理實(shí)現(xiàn)預(yù)處理過程(高斯濾波)提高算法的并行能力,在分割過程(邊緣計(jì)算)中靈活運(yùn)用對(duì)齊和非對(duì)齊的寬存儲(chǔ)器訪問提高存儲(chǔ)器讀/寫效率,另外,還參考的一般的優(yōu)化方法,如避免跳轉(zhuǎn),展開不必要的循環(huán)等。

2.2 矢量化打包數(shù)據(jù)處理高斯濾波

高斯濾波是分割處理一個(gè)重要過程,在實(shí)現(xiàn)過程中,將輸入圖像與高斯模板進(jìn)行卷積,橫向?yàn)V波時(shí)的單個(gè)像素點(diǎn)的濾波的濾波結(jié)果示意圖如圖1所示,縱向過程與之類似。

采用乘累加容易實(shí)現(xiàn)高斯濾波,其偽代碼如下(橫向?yàn)槔?/p>

采用以上方式實(shí)現(xiàn)的高斯濾波,代碼包含三重循環(huán),代碼前后相關(guān)性大,不利于編譯器優(yōu)化,每計(jì)算出單點(diǎn)的濾波結(jié)果,需要訪存N(N為濾波器長度)。針對(duì)該過程,采用矢量化的打包數(shù)據(jù)處理對(duì)高斯濾波進(jìn)行優(yōu)化,其根本思想是利用TMS320C6678在一個(gè)時(shí)鐘周期內(nèi)能夠執(zhí)行多個(gè)乘法運(yùn)算,從而將濾波展開成多操作并行的代碼結(jié)構(gòu),另外,利用高斯模板的對(duì)稱結(jié)構(gòu),將兩次乘法運(yùn)算優(yōu)化為一次加法和乘法。具體實(shí)現(xiàn)步驟如下描述:

(1) 為更有效地讀取數(shù)據(jù),讀取和存儲(chǔ)必須向量化。待處理數(shù)據(jù)最好在內(nèi)存空間連續(xù)存儲(chǔ),若不連續(xù),采用額外的數(shù)據(jù)打包操作,準(zhǔn)備好數(shù)據(jù)。

(2) 在讀取數(shù)據(jù)時(shí),需要將一次并行處理的數(shù)據(jù)全部讀入,這一步需要采用寬存儲(chǔ)器對(duì)連續(xù)數(shù)據(jù)進(jìn)行訪問,具體寬度根據(jù)需要并行的操作、處理器并行操作的能力、處理器單次最大訪問寬度而定。

最后,將運(yùn)算相關(guān)的指令合并成intrinsic函數(shù)[9},以充分利用C66x的特性。intrinsics函數(shù)直接調(diào)用某些匯編語句,其前綴以下劃線表明,和普通函數(shù)調(diào)用方法相同。如_mpy2實(shí)現(xiàn)將輸入的兩個(gè)操作數(shù)的高低16位相乘,_swap4將操作數(shù)高低半字中的每一對(duì)字節(jié)分別做大端終結(jié)交換,_dopt2實(shí)現(xiàn)低16位乘積和高16位乘積相加[10]。實(shí)現(xiàn)的矢量化打包數(shù)據(jù)處理高斯濾波偽采用以上方法,分解了濾波長度帶來的第三重循環(huán),多次調(diào)用內(nèi)聯(lián)函數(shù),執(zhí)行效率高,充分利用C66x在一個(gè)周期內(nèi),完成多個(gè)16×16的乘法運(yùn)算的性能,單像素結(jié)果需要進(jìn)行7次乘累加的操作,可在一個(gè)周期內(nèi)并行完成,以上優(yōu)化思想和代碼結(jié)構(gòu)在DSP平臺(tái)運(yùn)行,極具優(yōu)勢(shì)。另外,進(jìn)行縱向?yàn)V波處理,由于輸入圖像在內(nèi)存一般采用按行優(yōu)先存儲(chǔ),需要采用額外的數(shù)據(jù)打包處理,其他過程類似。

2.3 寬存儲(chǔ)器訪問計(jì)算邊緣

寬長度存儲(chǔ)器訪問是指充分利用C6x系列DSP一次讀取32 位數(shù)的特性,并利用一個(gè)指令周期能讀取多個(gè)數(shù)據(jù)的特點(diǎn)在DSP處理過程中,盡可能多的將所需短字長操作數(shù)讀入,如一次讀入2×32 b,4×16 b,甚至8×8 b等,可成倍減少與外部存儲(chǔ)器發(fā)生交互,是DSP優(yōu)化過程中一個(gè)重要的優(yōu)化手段。在實(shí)現(xiàn)C6678 DSP平臺(tái)的Canny算法時(shí),不止是在高斯濾波的處理過程中,計(jì)算圖像梯度信息,進(jìn)行非最大抑制等過程中也同樣采用寬長度存儲(chǔ)器訪問,脫離傳統(tǒng)的按單位像素交互圖像數(shù)據(jù)的思維和編程方式,結(jié)合具體芯片的處理性能和應(yīng)用程序要求實(shí)現(xiàn)和優(yōu)化Canny算子,例如C6678甚至支持128 b的超長數(shù)據(jù),在訪問和保存中間圖像結(jié)果時(shí),具體采用的數(shù)據(jù)位寬需要結(jié)合系統(tǒng)對(duì)精度的要求,當(dāng)用16位來表示梯度信息,即C語言中的short類型,采用64 b寬存儲(chǔ)器訪問,便推導(dǎo)出梯度計(jì)算公式的等價(jià)公式如下:

采用寬存儲(chǔ)器非對(duì)齊數(shù)據(jù)訪問可以從DSP內(nèi)存中任意起始地址開始讀取和存儲(chǔ)2 B,4 B,8 B的數(shù)據(jù),分別使用(&)_mem2_(const),(&)_mem4_(const),(&)_mem8_(const)函數(shù)。如此,便可以將圖像處理領(lǐng)域中頻繁使用的四鄰域模板進(jìn)行推導(dǎo),處理具體任務(wù)時(shí),將四領(lǐng)域模板升級(jí)為連續(xù)四點(diǎn)四鄰區(qū),連續(xù)八點(diǎn)四鄰區(qū),其示意圖如圖3所示。

圖3(a)為四鄰域模板示意圖, (b)和(c)為分別采用4 B和8 B訪問時(shí),鄰域模板示意圖。對(duì)(b)和(c)圖像進(jìn)行處理的前提和依據(jù)是:連續(xù)4點(diǎn)的四鄰域在內(nèi)存存儲(chǔ)中也是連續(xù)的(不包含邊界),連續(xù)訪問的4點(diǎn),在物理位置上其相關(guān)鄰點(diǎn)也連續(xù)。如此,可成倍節(jié)省外部存儲(chǔ)器訪問操作時(shí)間。訪問(a)的四鄰域點(diǎn),需要4次仿存,采用推導(dǎo)出等價(jià)模板后,處理連續(xù)四點(diǎn)和八點(diǎn)只需4次訪問。在Canny邊緣計(jì)算過程中,需對(duì)輸入逐點(diǎn)遍歷,如計(jì)算梯度時(shí)遍歷整幅圖像灰度,非最大抑制時(shí)遍歷梯度和方向等,以上等價(jià)模板思想,當(dāng)需要處理圖像的八鄰域或在其他比較規(guī)整的膨脹和腐蝕模板同樣適應(yīng)。

3 硬件仿真結(jié)果

硬件平臺(tái)采用TMS320C6678LE評(píng)估板,開發(fā)軟件采用CCS V5.3,量化位數(shù)16位,對(duì)一副800×600的顯微細(xì)胞圖像進(jìn)行處理,分割效果良好,見圖4。此外,在優(yōu)化前后,分別對(duì)Canny算法步驟進(jìn)行分析和測(cè)試,耗時(shí)統(tǒng)計(jì)采用TSCL和TSCH寄存器,結(jié)果見表1,所統(tǒng)計(jì)的結(jié)果均是在勾選相同的編譯器優(yōu)化選項(xiàng)后的比對(duì)。

4 結(jié) 語

在DSP平臺(tái)中,采用以上思想進(jìn)行優(yōu)化后,對(duì)同樣的圖像進(jìn)行處理,相對(duì)于原算法,性能可以提高近3倍,在差分圖像計(jì)算時(shí),效果極為明顯。在DSP系統(tǒng)設(shè)計(jì)中,頻繁地直接外部存儲(chǔ)器接口訪問,是系統(tǒng)性能提升的瓶頸,優(yōu)化結(jié)果表明,采用數(shù)據(jù)打包處理和寬存儲(chǔ)器訪問方式能在一定程度上解決該問題,雖不能實(shí)現(xiàn)數(shù)量級(jí)的優(yōu)化,但研究的優(yōu)化方法同樣可以在工程中作為輔助的優(yōu)化策略,并且具有實(shí)際優(yōu)化效果。

圖4 分割前后的顯微細(xì)胞圖像

表1 耗時(shí)測(cè)試仿真結(jié)果 cycle

參考文獻(xiàn)

[1] 梁光明.體液細(xì)胞圖像有形成分智能識(shí)別關(guān)鍵技術(shù)研究[D].長沙:國防科技大學(xué),2008.

[2] 韓慧妍,韓燮.形態(tài)學(xué)和Otsu方法在Canny邊緣檢測(cè)算子中的應(yīng)用[J].微電子學(xué)與計(jì)算機(jī),2012,29(2):156?159.

[3] 洪運(yùn)國.基于改進(jìn)Canny 算子和神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別模型[J].計(jì)算機(jī)工程與應(yīng)用,2013,49(8):202?205.

[4] 金澤安.基于DSP紅細(xì)胞圖像處理技術(shù)[D].南京:南京理工大學(xué),2009.

[5] 孫興華,郭麗.數(shù)字圖像處理:編程框架、理論分析、實(shí)例應(yīng)用和源碼實(shí)現(xiàn)[M].北京:機(jī)械工業(yè)出版社,2012.

[6] 左飛,萬晉森,劉航.數(shù)字圖像處理原理與實(shí)踐:基于Visual C++開發(fā)[M].北京:電子工業(yè)出版社,2011.

[7] Texas Instruments. TMS320C66x DSP CPU and instruction set reference guide [M]. USA: TI, 2010.

[8] QURESHI Shehrzad. Embedded image processing on the TMS320C6000? DSP: examples in code composer studio and MATLAB [M]. [S.l.]: Springer Verlag, 2005.