導(dǎo)語：如何才能寫好一篇卷積神經(jīng)網(wǎng)絡(luò)情感分析，這就需要搜集整理更多的資料和文獻(xiàn)，歡迎閱讀由公務(wù)員之家整理的十篇范文，供你借鑒。

篇1

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；語言模型；分析

1 卷積神經(jīng)網(wǎng)絡(luò)語言模型

CNN語言模型基本結(jié)構(gòu)包括輸入層、卷積層、池化層及后續(xù)的分類層。輸入層是表示語言的矩陣，該矩陣可以是通過Google word2vec或GloVe預(yù)訓(xùn)練得到的詞嵌入表示，也可以是從原始數(shù)據(jù)重新訓(xùn)練的語言的向量表示。輸入層之后是通過線性濾波器對輸入矩陣進(jìn)行卷積操作的卷積層。在NLP問題中，輸入矩陣總是帶有固定順序的結(jié)構(gòu)，因為矩陣的每一行都表示離散的符號，例如單詞或者詞組等。因此，使用等寬的濾波器是非常合理的設(shè)置。在這種設(shè)置下，僅需要考慮濾波器的高度既可以實現(xiàn)不同尺寸的濾波器做卷積操作。由此可知，在處理NLP問題時，卷積神經(jīng)網(wǎng)絡(luò)的濾波器尺寸一般都是指濾波器的高度。

然后，將卷積層輸出的特征映射輸入池化層，通過池化函數(shù)為特征映射進(jìn)行降維并且減少了待估計參數(shù)規(guī)模。一般的，CNN池化操作采用1-max池化函數(shù)。該函數(shù)能夠?qū)⑤斎氲奶卣饔成浣y(tǒng)一生成維度相同的新映射。通過池化操作，可以將卷積層生成的特征連接成更抽象的高級特征，所得到的高級特征尺寸與輸入的句子不再存在直接關(guān)系。

最后，將得到的高級特征輸入softmax分類層進(jìn)行分類操作。在softmax層，可以選擇應(yīng)用dropout策略作為正則化手段，該方法是隨機(jī)地將向量中的一些值設(shè)置為0。另外還可以選擇增加l2范數(shù)約束，l2范數(shù)約束是指當(dāng)它超過該值時，將向量的l2范數(shù)縮放到指定閾值。在訓(xùn)練期間，要最小化的目標(biāo)是分類的交叉熵?fù)p失，要估計的參數(shù)包括濾波器的權(quán)重向量，激活函數(shù)中的偏置項以及softmax函數(shù)的權(quán)重向量。

2 卷積神經(jīng)網(wǎng)絡(luò)語言模型應(yīng)用分析

CNN語言模型已經(jīng)廣泛應(yīng)用于諸如文本分類，關(guān)系挖掘以及個性化推薦等NLP任務(wù)，下面將對這些應(yīng)用進(jìn)行具體的介紹與分析。

2.1 CNN在文本分類中的應(yīng)用分析

kim提出了利用CNN進(jìn)行句子分類的方法。該方法涉及了較小規(guī)模的參數(shù)，并采用靜態(tài)通道的CNN實現(xiàn)了效果很優(yōu)異的句子分類方法。通過對輸入向量的調(diào)整，進(jìn)一步提高了性能實現(xiàn)了包括情感極性分析以及話題分類的任務(wù)。在其基礎(chǔ)上為輸入的詞嵌入設(shè)計了兩種通道，一種是靜態(tài)通道，另一種是動態(tài)通道。在卷積層每一個濾波器都通過靜態(tài)與動態(tài)兩種通道進(jìn)行計算，然后將計算結(jié)果進(jìn)行拼接。在池化層采用dropout正則化策略，并對權(quán)值向量進(jìn)行l(wèi)2約束。最后將該算法應(yīng)用于MR、SST-1與SST-2、Subj、TREC、CR以及MPQA等數(shù)據(jù)集。MR數(shù)據(jù)集為電影評論數(shù)據(jù)集，內(nèi)容為一句話的電影評論，其分類包括積極情感極性與消極情感極性兩類。SST-1與SST-2數(shù)據(jù)集為斯坦福情感樹庫是MR數(shù)據(jù)集的擴(kuò)展，但該數(shù)據(jù)集已經(jīng)劃分好了訓(xùn)練集、驗證集及測試集并給出了細(xì)粒度的標(biāo)記，標(biāo)記包括非常積極、積極、中性、消極、非常消極等情感極性。Subj數(shù)據(jù)集為主觀性數(shù)據(jù)集，其分類任務(wù)是將句子分為主觀句與客觀句兩類。TREC數(shù)據(jù)集為問題數(shù)據(jù)集，其分類任務(wù)是將所有問題分為六類，例如關(guān)于數(shù)字、人物或位置等信息的問題。CR數(shù)據(jù)集為評論數(shù)據(jù)集，包括客戶對MP3、照相機(jī)等數(shù)碼產(chǎn)品的評論，其分類任務(wù)是將其分為積極評價與消極評價兩類。MPQA數(shù)據(jù)集是意見極性檢測任務(wù)數(shù)據(jù)集。通過實驗證明，該方法在這幾個典型數(shù)據(jù)集上都能取得非常優(yōu)異的效果。

2.2 CNN在關(guān)系挖掘中的應(yīng)用分析

Shen等人提出了一種新的潛在語義模型，以詞序列作為輸入，利用卷積-池化結(jié)構(gòu)為搜索查詢和Web文檔學(xué)習(xí)低維語義向量表示。為了在網(wǎng)絡(luò)查詢或網(wǎng)絡(luò)文本中捕捉上下文結(jié)構(gòu)，通過輸入單詞序列上下文時間窗口中的每個單詞來獲取詞匯級的n-gram語法特征，將這些特征聚合成句子級特征向量。最后，應(yīng)用非線性變換來提取高級語義信息以生成用于全文字符串的連續(xù)向量表示。該模型的不同之處在于，輸入層與卷積層之間加入了word-n-gram層與letter-trigram層，它們能夠?qū)⑤斎氲脑~序列轉(zhuǎn)變?yōu)閘etter-trigram表示向量。在卷積層通過上下文特征窗口發(fā)現(xiàn)相鄰單詞的位置特征，并變現(xiàn)為n-gram形式。然后通過max池化將word-n-gram特征合并為句子級的高級特征。在池化層之后增加了語義層來提取更高級的語義表示向量。

2.3 CNN在個性化推薦中的應(yīng)用分析

Weston等人提出了一種能夠利用標(biāo)簽（hashtag）有監(jiān)督的學(xué)習(xí)網(wǎng)絡(luò)帖子短文本特征表示的卷e嵌入模型（Convolutional Embedding Model）。該方法利用提出的CNN模型在55億詞的大數(shù)據(jù)文本上通過預(yù)標(biāo)注的100，000標(biāo)簽進(jìn)行訓(xùn)練。該方法除了標(biāo)簽預(yù)測任務(wù)本身能取得好的效果外，學(xué)習(xí)到的特征對于其它的文本表示任務(wù)也能起到非常有效的作用。該模型與其它的詞嵌入模型類似，輸入層為表示文本的矩陣，但是，在用查找表表示輸入文本的同時將標(biāo)簽也使用查找表來表示。對于給定的文檔利用10萬條最頻繁出現(xiàn)的標(biāo)簽通過評分函數(shù)對任何給定的主題標(biāo)簽進(jìn)行排序。

其中，econv（w）表示CNN的輸入文檔，elt（t）是候選標(biāo)簽t的詞嵌入表示。因此，通過對分?jǐn)?shù)f（w，t）進(jìn)行排序可以獲取所有候選主題標(biāo)簽中排序第一的話題進(jìn)行推薦。實驗數(shù)據(jù)集采用了兩個大規(guī)模語料集，均來自流行的社交網(wǎng)絡(luò)文本并帶有標(biāo)簽。第一個數(shù)據(jù)集稱作people數(shù)據(jù)集，包括搜集自社交網(wǎng)絡(luò)的2億1000萬條文本，共含有55億單詞。第二個數(shù)據(jù)集被稱作pages，包括3530萬條社交網(wǎng)絡(luò)文本，共含有16億單詞，內(nèi)容包括企業(yè)、名人、品牌或產(chǎn)品。

3 結(jié)束語

卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于語言模型已經(jīng)取得了非常大的發(fā)展，對于自然語言處理中的各項任務(wù)均取得了優(yōu)異的結(jié)果。本文通過對幾項典型工作的分析，探討了不同卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)在不同任務(wù)中的表現(xiàn)。通過綜合分析可以得出以下結(jié)論。首先，CNN的輸入采用原始數(shù)據(jù)訓(xùn)練的向量表示一般效果會優(yōu)于預(yù)訓(xùn)練的詞嵌入表示；其次，在卷積層濾波器的尺寸一般采用寬度與輸入矩陣寬度相等的設(shè)置；最后，為了優(yōu)化結(jié)果可以采用dropout正則化處理。

篇2

關(guān)鍵詞：人工智能；云計算；大數(shù)據(jù)

最近火熱的美劇《西部世界》里傳遞出很多關(guān)于人工智能的信息，在圍繞如何突破機(jī)器極限，形成自主意識方面，提出了富有科幻現(xiàn)實色彩的方法-冥想程序， 將意識形成描繪成了“走迷宮”的過程，同時在道德層面又一次將“人工智能是否能成為有別于人類的另一個物種”的問題呈現(xiàn)在廣大觀眾面前。

“人工智能”（AI）這一概念最早由馬文?明斯基和約翰?麥卡錫于1956年的“達(dá)特茅斯會議”上共同提出。1960年，麥卡錫在美國斯坦福大學(xué)建立了世界上第一個人工智能實驗室。經(jīng)過近幾年互聯(lián)網(wǎng)的飛速發(fā)展，AI對企業(yè)甚至是行業(yè)產(chǎn)生了巨大而又深遠(yuǎn)的影響。機(jī)器學(xué)習(xí)，尤其是深度學(xué)習(xí)技術(shù)成為人工智能發(fā)展的核心。越來越多的硬件供應(yīng)商專為深度學(xué)習(xí)和人工智能定制設(shè)計芯片。如IBM的人腦模擬芯片SyNAPSE（Systems of Neuromorphic Adaptive Plastic Scalable Electronics，自適應(yīng)塑料可伸縮電子神經(jīng)形態(tài)系統(tǒng)）芯片，含有100萬個可編程神經(jīng)元，2.56億個可編程突觸，每消耗一焦耳的能量，可進(jìn)行460億突觸運算。

云計算和大數(shù)據(jù)作為人工智能的基礎(chǔ)， 在工業(yè)制造等眾多場景中得到了廣泛應(yīng)用，比如很多工廠都在傳送帶上加裝了傳感器，將壓力、溫度、噪音和其他一些參數(shù)實時傳到云端，將工廠真正連上網(wǎng)絡(luò)，然后利用人工智能的算法對這些數(shù)據(jù)進(jìn)行比對，由此提前為工廠提供預(yù)警和遠(yuǎn)程檢測服務(wù)。這種將生產(chǎn)流程及產(chǎn)品通過物聯(lián)網(wǎng)連接到云端，然后利用算法進(jìn)行大數(shù)據(jù)分析的模式，將在更多的行業(yè)被廣泛應(yīng)用。

目前人工智能主要有10個應(yīng)用子領(lǐng)域，分別是機(jī)器學(xué)習(xí)、計算機(jī)視覺、智能機(jī)器人、虛擬個人助理、自然語音處理、實時語言翻譯、情感感知計算、手勢控制、推薦引擎及協(xié)同過濾、視頻內(nèi)容自動識別。各方向處于不同的發(fā)展階段，發(fā)展程度有高有低。但驅(qū)動發(fā)展的先決條件主要體現(xiàn)在感知能力、理解能力、學(xué)習(xí)能力、交互能力四個方面。

1 感知能力

目前人工智能的感知主要通過物聯(lián)網(wǎng)來實現(xiàn)，它提供了計算機(jī)感知和控制物理世界的接口與手段，能夠采集數(shù)據(jù)、記憶，分析、傳送數(shù)據(jù)，進(jìn)行交互、控制等。比如攝像頭和相機(jī)記錄了關(guān)于世界的大量圖像和視頻，麥克風(fēng)記錄了語音和聲音，各種傳感器將它們感受到的世界數(shù)字化。這些傳感器就如同人類的五官，是智能系統(tǒng)的數(shù)據(jù)輸入，是感知世界的方式。

2 理解能力

智能系統(tǒng)不同于人腦，沒有數(shù)以千億的神經(jīng)元，對事物問題的理解在現(xiàn)階段還很大程度上依賴于處理器的計算分析能力。近年來，基于GPU（圖形處理器）的大規(guī)模并行計算異軍突起，擁有遠(yuǎn)超CPU的并行計算能力。從處理器的計算方式來看，CPU計算使用基于x86指令集的串行架構(gòu)，適合盡可能快的完成一個計算任務(wù)。而GPU誕生之初是為了處理3D圖像中的上百萬個像素圖像，擁有更多的內(nèi)核去處理更多的計算任務(wù)。因此GPU具備了執(zhí)行大規(guī)模并行計算的能力。云計算的出現(xiàn)、GPU的大規(guī)模應(yīng)用使得集中化數(shù)據(jù)計算處理能力變得空前強(qiáng)大。

3 學(xué)習(xí)能力

學(xué)習(xí)能力的培養(yǎng)類似人類需要教材和訓(xùn)練。據(jù)統(tǒng)計，2015年全球產(chǎn)生的數(shù)據(jù)總量達(dá)到了十年前的20多倍，大數(shù)據(jù)的發(fā)展為人工智能的學(xué)習(xí)和發(fā)展提供了非常好的基礎(chǔ)。機(jī)器學(xué)習(xí)是人工智能的基礎(chǔ)，而大數(shù)據(jù)和以往的經(jīng)驗就是人工智能學(xué)習(xí)的書本，以此優(yōu)化計算機(jī)的處理性能。不可忽視的是近年來科技巨頭為了提前布局AI生態(tài)，紛紛開源平臺工具，極大地豐富了機(jī)器訓(xùn)練的素材和手段。如谷歌了新的機(jī)器學(xué)習(xí)平臺TensorFlow，所有用戶都能夠利用這一強(qiáng)大的機(jī)器學(xué)習(xí)平臺進(jìn)行研究，被稱為人工智能界的Android。IBM宣布通過Apache軟件基金會免費為外部程序員提供System ML人工智能工具的源代碼。微軟則開源了分布式機(jī)器學(xué)習(xí)工具包DMTK，能夠在較小的集群上以較高的效率完成大規(guī)模數(shù)據(jù)模型的訓(xùn)練，并于2016年7月推出了開源Project Malmo項目，用于人工智能訓(xùn)練。

4 交互能力