模式識別范文
時間:2023-04-11 17:29:37
導語:如何才能寫好一篇模式識別,這就需要搜集整理更多的資料和文獻,歡迎閱讀由公務員之家整理的十篇范文,供你借鑒。
篇1
關鍵詞:模糊模式 識別 計算機識別 應用 研究
中圖分類號:TP391.4 文獻標識碼:A 文章編號:1672-3791(2017)04(a)-0008-02
在計算機識別中,對模糊模式識別進行了有效的應用。在模糊集合當中,通常是對一個概念的內涵進行有效的描述。在這個過程中,將數(shù)學方法進行應用能夠對人的思維過程進行有效的模擬,將這項識別技術應用在計算機識別中,能夠有效地提高整個系統(tǒng)的可靠性。
1 關于模糊模式識別的概念
模糊模式識別技術是隨著計算機技術的不斷發(fā)展和成熟而逐漸發(fā)展起來的?,F(xiàn)階段,模糊模式識別技術已經成為一門比較系統(tǒng)的內容。關于模式識別,是近年來不斷發(fā)展的一項人工智能技術,這項技術既能夠對具體事物的識別,又能夠對抽象的事物進行有效的識別。而模糊模式識別技術則是識別技術與人的思維之間的一種結合,在模糊模式識別技術中,能對文字、音樂以及圖片等有效地識別,使得模式識別技術進入了新的發(fā)展階段。
2 模糊模式識別的建立
在建立模糊模式識別方法的過程中,可以將數(shù)學方法進行合理的應用。將X作為一個樣本的集合:X={x1,x2,x3……x(im-1),xim},在這個集合中,樣本xi的特性指標有m個,那么對xi的特性指標進行研究,得出來的矩陣如下:
在這個過程中,通過對數(shù)學方法進行引入,就有效地對模糊模式識別方法進行了建立,同時,在建立的過程中,還需要建立相應的訓練樣本集。
3 模糊模式識別的重要作用
在計算機識別技術發(fā)展的過程中,模糊模式識別已經得到了長足的發(fā)展。在模糊模式識別技術中,能夠對傳統(tǒng)的模式識別技術進行有效的補充,并對這個過程中產生的新事物進行有效的統(tǒng)計,也能夠對系統(tǒng)中出現(xiàn)的不確定的事物進行有效的識別與判斷。這樣識別技術實際上是以基礎數(shù)學作為基礎將數(shù)學理念引入其中,能夠對整個程序進行有效的簡化,也使得模式識別系統(tǒng)更加廣泛地在生產生活中進行應用。所以說,模糊模式識別系統(tǒng)的出現(xiàn),加強了計算機識別中對模式識別的有效應用,也將傳統(tǒng)的模式識別系統(tǒng)當中對事物的識別轉變成為對一些聲音和圖片的識別,加強了模式識別技術的實際應用。
4 計算機識別中應用模糊模式識別的研究
現(xiàn)階段,計算機技術已經得到了飛速的發(fā)展,計算機系統(tǒng)科學的相關理論也得到了發(fā)展。所以,在這個過程中,想要利用識別系統(tǒng)更好地認識抽象事物,就應該利用計算機識別技術對一些復雜的事物進行有效的分析與處理,這就需要對模糊模式識別系統(tǒng)進行有效的應用,進而達到相應的效果。
4.1 計算機數(shù)據(jù)識別應用模糊模式識別系統(tǒng)
在模糊模式識別體系中,實際上是對現(xiàn)實生活中的一些模糊現(xiàn)象進行有效的處理,這樣就能夠對實際生活中的問題進行合理的解決。在計算機識別的過程中,對模糊模式識別體系進行有效的應用,能夠對原有的利用人的思維模式對事物信息進行判斷的模式進行有效的改善,這樣就能夠避免判斷工作的片面性,使得計算機識別的結果變得更加精確。在這個過程中,利用模糊模式識別技術,能夠對人的思維過程進行一個有效的模擬,這樣就有效地提高了計算機的智力水平,也能夠對整個計算機識別系統(tǒng)的可靠性得到了提高。在一些事物的檢查判斷的過程中,使用人工檢查的方式盡管能收到顯著的效果,但是人工檢查的效率卻比較低,這樣就會對人造成嚴重的疲勞現(xiàn)象。利用模糊模式識別體系,能夠對檢查事物進行有效的識別,提高了計算機識別系統(tǒng)的可靠性。
4.2 計算機圖形識別應用模糊模式識別系統(tǒng)
關于模糊集理論是Zadeh在1965年提出的。這個理論的提出,讓人們對事物的統(tǒng)一值,有了一個顯著的認識,這也是一種新的刻畫事物的方法。這種方法對以往事物呈現(xiàn)方式進行了有效的改變,并提出了內涵數(shù)學模式和外延數(shù)學模式。在這個過程中,A類問題和B類問題的認知中,傳統(tǒng)的邏輯認為樣本不是屬于A,就是屬于B。不過,在模糊模式識別過程中,可能出現(xiàn)樣本不僅屬于A類問題也屬于B類問題。這種識別方法與一般的模式識別方法進行比較之后,能夠發(fā)現(xiàn),模糊模式識別方式在信息利用的過程中顯得更加充分,且這種算法也更加簡單,具有較強的推理性。
在計算機識別技術中,應用模糊模式識別的關鍵一環(huán),就是建立相應的隸屬度函數(shù)?,F(xiàn)階段,模糊模式識別中的隸屬度函數(shù)建立的方法有模糊分布方法和模糊統(tǒng)計方法兩種重要的類型。在建立隸屬度函數(shù)的過程中,需要遵循函數(shù)的客觀規(guī)律,保證函數(shù)的構建更加科學,并能夠利用模糊模式識別系統(tǒng)中所建立的隸屬度函數(shù),對計算機圖形識別中的各項問題進行有效的解決,并能夠收到顯著的效果。
4.3 計算機病毒識別應用模糊模式識別系統(tǒng)
4.3.1 提取計算機病毒特點
將模糊模式識別技術應用在計算機的病毒識別過程中,首先需要對病毒的特征進行有效的檢測。這個過程中,需要現(xiàn)將計算機的病毒樣本進行提取,并將提取的病毒樣本加入到計算機病毒庫中,并在病毒庫中進行搜索,進而找到與該病毒相似的病毒類型,針對病毒的類型及特點,開展檢測工作。在這個過程中,采用模糊模式識別技術,能夠完成對計算機內的可用文件的分析,并能夠對計算機的行為差異進行合理的分析,這樣就能夠收到良好的檢測病毒的重要目的。在病毒梯度的過程中,可以對win.ini的文件夾進行有效的修改,進而對病毒特征進行有效的提取。
4.3.2 計算機病毒檢測
在計算機病毒的識別過程中,對病毒特征進行識別之后,還應該對病毒進行有效的檢測。在檢測的過程中還可以對模糊模式識別技術進行有效的應用。在這個過程中,能夠利用相應的病毒檢測工具來對程序類型進行有效的歸納,并對樣本進行有效的劃分,這樣就能夠對具有相應的特征的程序類型進行有效的識別,進而達到對計算機的病毒檢測的重要目的。只有準確的檢測出計算機病毒的類型,才能夠采取措施進行殺毒。這個過程,很好的體現(xiàn)了模糊模式識別在計算機識別當中的重要作用,推動了計算機識別技術的有效l展與成熟。
5 結語
總之,隨著計算機信息技術的不斷發(fā)展,模糊模式識別技術會更加廣泛應用在社會生活當中。在計算機識別體系中,對模糊模式識別技術進行應用,能夠完成對計算機的數(shù)據(jù)識別、圖片識別以及病毒識別,這樣就能夠保證計算機穩(wěn)定工作,促進了信息智能化技術的進一步發(fā)展,也使得計算機識別技術得到了更加廣泛的應用。
參考文獻
[1] 段旭琴,丁照忠,段健,等.多級模糊模式識別模型在評價高爐噴吹混煤中的應用[J].煤炭學報,2011(10):1748-1752.
篇2
摘 要 該文在人工免疫系統(tǒng)和克隆選擇原理的基礎上,給出了clonalg算法,并對該算法的實現(xiàn)原理、參數(shù)選擇等進行了詳細研究;給出了利用該算法進行數(shù)字識別的實例。 關鍵詞 克隆選擇;人工免疫系統(tǒng);數(shù)字識別 1 引言 生物免疫系統(tǒng)是一個高度進化的生物系統(tǒng),它旨在區(qū)分外部有害抗原和自身組織,從而清除抗原并保持有機體的穩(wěn)定。從計算的角度來看,生物免疫系統(tǒng)是一個高度并行、分布、自適應和自組織的系統(tǒng),具有很強的學習、識別、記憶和特征提取的能力。人們希望從生物免疫系統(tǒng)的運行機制中獲取靈感,開發(fā)出面向應用的免疫系統(tǒng)模型——人工免疫系統(tǒng)(artificial immune system, ais),用于解決實際問題。目前,ais已發(fā)展成為計算智能研究的一個嶄新的分支。其應用領域逐漸擴展到了信息安全、模式識別、智能優(yōu)化、機器學習、數(shù)據(jù)挖掘、自動控制、故障診斷等諸多領域,顯示出ais強大的信息處理和問題求解能力以及廣闊的研究前景。 克隆選擇是一種常用的ais算法。本文主要探討該算法在數(shù)字識別中的應用。 克隆選擇原理最先由jerne提出,后由burnet給予完整闡述。其大致內容為:當淋巴細胞實現(xiàn)對抗原的識別(即抗體和抗原的親和度超過一定閥值)后,b細胞被激活并增殖復制產生b細胞克隆,隨后克隆細胞經歷變異過程,產生對抗原具有特異性的抗體。克隆選擇理論描述了獲得性免疫的基本特性,并且聲明只有成功識別抗原的免疫細胞才得以增殖。經歷變異后的免疫細胞分化為效應細胞(抗體)和記憶細胞兩種。 克隆選擇的主要特征是免疫細胞在抗原刺激下產生克隆增殖,隨后通過遺傳變異分化為多樣性效應細胞(抗體細胞)和記憶細胞??寺∵x擇對應著一個親合度成熟(affinity maturation)的過程,即對抗原親合度較低的個體在克隆選擇機制的作用下,經歷增殖復制和變異操作后,其親合度逐步提高而“成熟”的過程。因此親合度成熟本質上是一個達爾文式的選擇和變異的過程,克隆選擇原理是通過采用交叉、變異等遺傳算子和相應的群體控制機制實現(xiàn)的。 根據(jù)克隆選擇原理,decastro提出了克隆選擇算法(clonalg算法)模型,并在模式識別、組合優(yōu)化和多峰值函數(shù)優(yōu)化中得到了驗證。其算法的核心在于增殖復制算子和變異算子,前者與個體親合度成正比,保證群體親合度逐步增大,后者與個體的親合度成反比例關系,保留最佳個體并改進較差個體。 2 clonalg算法 clonalg算法是根據(jù)克隆選擇原理設計的免疫算法。解決問題時,一般把問題定義為抗原,而問題的解就是抗體集合。在特定的形態(tài)空間中,隨機產生的抗體試圖與抗原發(fā)生匹配,即嘗試解決問題。匹配度高的抗體有可能產生更好的解,被賦予更大的克隆概率參與下一次匹配。 抗體和抗原之間的距離d采用漢明距離,如式(1)所示。
抗體和抗原之間的親和力aff與它們的距離成反比,即aff=1/d。 免疫算法的實現(xiàn)步驟如下: 步驟1 初始化抗體集合,隨機產生n個抗體。 步驟2 計算抗體集合ab中所有抗體與抗原ag的親和力。 步驟3 選擇n個親和力最高的抗體,組成一個新的抗體集合。并將這n個抗體按照親和力升序排列。 步驟4 將選中的n個抗體按照對應的親和力進行克隆,產生新的集合c,親和力越高的抗體,克隆的數(shù)量就越多,總的數(shù)量計算公式如式(2)。 nc是總的克隆數(shù),式(2)右邊是一個和式,其中第i項代表抗體abi產生的克隆數(shù), 是預設的參數(shù)因子,n是抗體集合包含的元素個數(shù)。 步驟5 新的集合c按照基因重組概率進行基因重組,產生成熟的克隆集合c*。 步驟6 計算成熟克隆集合的親和力。 步驟7 從成熟克隆集合中選擇n個親和力最高的抗體作為記憶抗體的候選,親和力超過現(xiàn)有記憶抗體的候選抗體稱為新的記憶抗體。 步驟8 替換掉親和力最低的d個抗體,并用新的隨機抗體補充。 步驟9 如果抗體集合沒有達到匹配精度要求且進化代數(shù)小于最大進化代數(shù),則轉到步驟2,否則算法結束。
3 應用clonalg算法識別數(shù)字 模式識別技術是根據(jù)研究對象的特征和屬性,利用一定的分析算法,確定研究對象的歸屬和類別,并使結果盡可能符合真實。一般模式識別系統(tǒng)都包括問題描述、系統(tǒng)訓練和模式識別幾個部分。 本系統(tǒng)要解決的問題是識別0到9這十個數(shù)字。每個字符都用一個長度l=120的二進制串表示(每一個像素用一個二進制數(shù)表示)。原始字符(待識別的字符)(抗原)如圖1所示。
圖1 待識別的字符(抗原) 抗體指令集由10個抗體組成,即取n=10。每次選中5個親和力最高的抗體進行克隆,即n=5。參數(shù) =5。變異率初始值pm=0.05,并根據(jù)進化情況進行變化。最大進化代數(shù)gen=100,匹配精度取0,即要求完全匹配。 10個抗原(待識別數(shù)字)都達到了完全匹配,具體匹配情況如表1所示。 表1 數(shù)字0-9的完全匹配代數(shù) 抗原(待識別字符) 0 1 2 3 4 5 6 7 8 9 完全匹配代數(shù) 36 42 54 47 47 53 49 42 40 53 從表1可以看出,該算法的收斂速度是很快的。 由于篇幅所限,下面僅以數(shù)字“3”為例,觀察一下算法的實現(xiàn)過程。 圖2 識別數(shù)字“3”的過程 圖2中,第一排按照從左向右的次序:第1幅圖是原始字符,第2幅圖是隨機產生的抗體集,第3幅圖和第4幅圖分別是進化到第10代和第20代的抗體集。第二排按照從左向右的次序:第1幅圖,第2幅圖分別是進化到第30代,第40代的抗體集。最后一幅圖是進化到第47代的抗體集。進化過程中抗體與抗原的距離變化情況如表2所示。 表2 識別“3”時抗體與抗原的距離d的變化 進化代數(shù) 5 10 15 20 25 30 35 40 45 47 抗體與抗原的距離d 30 19 12 8 5 3 1 1 1 0 從表2可以看出,實際上進化到35代時,抗體與抗原的距離d=1,在大多數(shù)應用中,這已經可以很好地滿足要求了。 4 總結 從上面的討論可以看出,clonalg算法是一種高效、快速收斂的算法,非常適合應用于模式識別。 參考文獻 [1] 閻平凡等著,人工神經網絡與模擬進化計算,清華大學出版社,2000 [2] 陳慰峰著,醫(yī)學免疫學,人民出版社,2001 [3] 李濤著,計算機免疫學,電子工業(yè)出版社,2004
篇3
引言
當前對人工神經網絡ANN(Artificial Neutron Network)的研究熱潮源自Hopfield J.[1]和McclellandJ.等人于20世紀80年表的論文[2],[3]。Hopfield提出了激活函數(shù)為非線性的反饋網絡,并將其成功地運用于組合優(yōu)化問題;Mcclelland和Rumelhart用多層前饋網的反向傳播學習算法(Back Propagation)成功地解決了感知器不能解決的"異或"問題及其它的識別問題。他們的突破打消了此前人們由于簡單線性神經網絡感知功能的有限而產生的,使ANN成為了新的研究熱點。之后,新的網絡結構和新的學習算法層出不窮,目前常見的都已達到幾十種。在這些神經網絡中,徑向基函數(shù)RBF(Radial Basic Fuction)網絡由于具有強大的矢量分類功能和快速的計算能力,在非線性函數(shù)逼近等方面,特別是模式識別領域,獲得了廣泛的應用,從而成為當前神經網絡研究中的一個熱點[4]。
模式識別是人工智能經常遇到的問題之一。其主要的應用領域包括手寫字符識別、自然語言理解、語音信號識別、生物測量以及圖像識別等領域。這些領域的共同特點都是通過對對象進行特征矢量抽取,再按事先由學習樣本建立的有代表性的識別字典,把特征矢量分別與字典中的標準矢量匹配,根據(jù)不同的距離來完成對象的分類。以識別手寫數(shù)字為例,字典中有由學習樣本建立的10個標準矢量(代表0~0),把從識別對象中抽取的特征矢量分別與這10個標準矢量匹配,矢量間距離最短的就說明別對象與這個標準矢量的分類最接近,進而識別出其表示的數(shù)字。
模式識別過程中,產生一個具有代表性的、穩(wěn)定且有效的特征矢量分類匹配策略,是補償變形、提高識別率的有效途徑,如何確定分類器是識別系統(tǒng)成功的關鍵??梢哉f,模式識別的本質就是分類,就是把特片空間中一個特定的點(特征矢量)映射到一個適當?shù)哪J筋悇e中。傳統(tǒng)的模式識別分類都是基于串行處理的匹配策略:首先由學習樣本建立識別基元(字、詞、音、像素)的標準矢量識別字典,取取的特征矢量順序與字典中的標準矢量計算區(qū)別得分;最后根據(jù)概率做出決策,輸出識別結果。當模式類別很大時,識別速度會下降得很快,而近年來,用RBF網絡解決這方面的問題得到了很好的效果。
理論模型要求發(fā)展神經網絡型計算機來實現(xiàn),但迄今 為止,這方面的工作限于條件還主要集中在傳統(tǒng)計算機的軟件模擬實現(xiàn)上。大多數(shù)學者認為,要使人工神經網絡更快、更有效地解決更大規(guī)模的總是,關鍵在于其超大規(guī)模集成電路(V LSI)硬件的實現(xiàn),即把神經元和連接制作在一塊芯片上(多為CMOS)構成ANN。正是因為上述的原因,其中神經網絡的VLSI設計方法近年來發(fā)展很快,硬件實現(xiàn)已成為ANN的一個重要分支[5],[6]。
以下介紹IBM的專利硬件RBF神經網絡芯片技術ZISC(Zero Instruction Set Computer),并給出用ZISC設計和實現(xiàn)的一種模式識別系統(tǒng)。
1 用VLSI設計硬件神經網絡的方法
神經網絡的IC實現(xiàn)是比較困難的,設計者必須把神經系統(tǒng)模型的特性反映到受半導體工藝和IC設計規(guī)則制約的電路中去。用VLSI設計硬件神經網絡的方法主要分為數(shù)字技術、模擬技術和數(shù)模混合技術等,下面分別作簡要介紹。
(1)用模擬技術實現(xiàn)硬件神經網絡
模擬神經芯片通過單元器件的物理性質來進行計算,因而可以獲得很高的速度。神經元的核函數(shù)計算功能一般由乘法器或運算放大器來完成,而連接權值大多以電壓形式存儲在電容上或是以電荷形式存儲在浮點門上。利用模擬神經芯片不僅可以制造多層前向感知器那樣的傳統(tǒng)結構,還能從形態(tài)上進行如硅視網膜這樣的生物仿真設計,從而更有效地模擬生物學功能。
在解決實時感知類的問題中,模擬神經芯片扮演著主要的角色。因為這些問題不要求精確的數(shù)學計算,而主要是對大量的信息流進行集合和并行處理,這方面低精度的模擬技術從硅片面積、速度和功耗來看具有相當大的優(yōu)勢。但是模擬芯片的抗干擾性差,設計中需要考慮對環(huán)境因素變化引起的誤差進行補償,非常麻煩;它的另一個缺點是,制造一個突觸必須考慮權值存儲的復雜性,同時要求放大器在很寬的范圍內呈現(xiàn)線性[5],[6]。
(2)用數(shù)字技術實現(xiàn)硬件神經網絡
用高低電平來表示不同狀態(tài)的數(shù)字電路是信息工業(yè)中最常用的技術。數(shù)字神經芯片有非常成熟的生產工藝,它的權值一般存儲在RAM或EPROM等數(shù)字存儲器中,由乘法器和加法器實現(xiàn)神經元并行計算。對設計者來說,數(shù)字神經芯片可以以很高的計算精度(達到32位或者更高)實現(xiàn)神經元核函數(shù)。另外,用數(shù)字技術實現(xiàn)神經網絡時,通??梢圆捎脴藴蕟卧獛旎蚩删幊涕T陣列直接進行電路設計,這樣可以大大減少設計時間[5],[6]。
數(shù)字神經芯片不僅具有容錯性好、易于硬件實現(xiàn)及高精度、高速度的優(yōu)點。更重要的是有很多數(shù)字電路CAD的軟件可以作為設計工具使用。但要實現(xiàn)乘/加運算,需要大量的運算單元和存儲單元。因而對芯睡面積和功耗要求很高。為了適應大面積的數(shù)字電路的要求,現(xiàn)在很多數(shù)字神經芯片都采用了硅片集成技術(Wafer-Scale Integration)。
(3)用數(shù)?;旌霞夹g實現(xiàn)硬件神經網絡
出于上述種種考慮,許多研究人員提出并采用了各種數(shù)模混合神經芯片,具有數(shù)字及模擬工藝各息的優(yōu)點而避免各自的缺點,運算速率高,芯片面積小,抗噪聲能力強且易于設計。典型的數(shù)?;旌闲盘柼幚聿糠謩t全是模擬的。這種結構很容易與其它的數(shù)字系統(tǒng)接口以完成模塊化設計。近年來在各種數(shù)?;旌仙窠浶酒O計中,利用脈沖技術的數(shù)?;旌仙窠浶酒屠霉饣ミB技術的光電混合神經網絡芯片得到了廣泛的關系,它們代表神經網絡未來發(fā)展的方向。
盡管數(shù)?;旌仙窠浶酒蟹N種優(yōu)點,但它也存在著一些不足。比如,對于大多數(shù)數(shù)模混合神經芯片來說,訓練學習算法的實現(xiàn)往往需要一個附加的協(xié)處理器,這無疑會增加整個神經網絡系統(tǒng)的成本和復雜性[5],[6]。
2 RBF網絡原理和它的硬件實現(xiàn)
RBF網絡是一種有導師的三層前饋網絡。它最重要的特點是中間隱層神經元的基函數(shù)只對輸入剩激起局部反應,即只有當輸入落在輸入空間的 一個局部區(qū)域時,基函數(shù)才產生一個重要的非零響應;而在其它情況下基函數(shù)輸出很?。山茷榱悖?。網絡結構如圖1所示。
圖1(a)描述了隱層神經元的作用,其中X=(x1,x2,…,Xn)是輸入層的輸入矢量;C=(w1,w2,…,Wn)是該隱層神經元的中心矢量(每個隱層神經元的中心徉量存儲在其與輸入各種神經元之間的連接權中),σ代表寬度(半徑);而|| ||表示n維空間中矢量之間的距離(這里的距離不一定是數(shù)學意義上的歐幾里得距離,在不同的情況下可以有種種含義);f是隱層神經元的基函數(shù),目前用得比較多的是高斯分布函數(shù)。
RBF網絡每個輸出層結點的輸出為其與各隱層神經元輸出y的加權求和。按高斯分布函數(shù)的定義,隱層神經元的輸出y與輸入矢量x的函數(shù)關系應服從正態(tài)分布,即當X與中心矢量C的距離很矢時,y接近最大值;反之y值減小。如X與C的距離超過寬度σ(即遠離中心)時,輸出y可近似為零,相當于對輸出層沒有貢獻。這就實現(xiàn)了局部感知。
不難看出,RBF網絡用作矢量分類器時,輸入層神經元個數(shù)由矢量空間的維數(shù)決定,隱層神經元個數(shù)由模擬類別數(shù)決定,每個隱層神經元的中心矢量(與輸入層各神經元之間的連接權)都代表一種模式類別。輸入矢量與哪個隱層神經元的中心矢量距離近,哪個隱層神經元的基函數(shù)輸出就大,相應的模式類別對輸出層的貢獻就大;與哪個隱層神經元的中心矢量距離遠,哪個隱層神經元的基函數(shù)輸出就小,甚至不激活,輸出0,相應的模式類別當然就不會影響RBF網絡的輸出,矢量和模式類別的分類由此完成。
相對于網絡結構的簡單,RBF網絡權值的訓練方法要復雜一些。通常分為下面的兩個步驟。
①隱層和輸入層之間的權值采用無教師聚類方法訓練,最常用的是KNN法(K-Nearest-Neighbor)。它的基本思想是先設定訓練樣本的一個子集;再用模式分類算法LBG由這個子集形成N種類的模式,即把子集中的樣本歸類;然后,按順序處理子集外的訓練樣本:對任一樣本X,找出K個與X距離最近的矢量(隨便找,只要近就行),計算這K個矢量分別屬于N個模式種類的數(shù)目,哪個模式種類包含的最近矢量最多,X就屬于哪個模式種類。
將輸入的訓練樣本聚類后,每個模式種類中所有樣本矢量的平均值就代表該隱層神經元和輸入層之間的權值(中心矢量);而所有樣本矢量與中心矢量的平方差的平均值就代表寬度σ。這樣就做出了各個隱層神經元的全部參數(shù)。因為這種方法只要求輸入訓練樣本就可以進行分類,無須知道訓練樣本的理想輸出,因此被稱為無教師方法。
②輸出層和隱層之間的權值采用有教師聚類方法訓練。簡便實用的一種辦法是:在確定隱層和輸入層之間的權值之后,把訓練樣本矢量和其理想輸出代入RBF網絡,從而推出各個輸出層神經元和隱層之間的權值。
可以看出,需要分類的模式類別數(shù)的增加總可以通過不斷增加三層RBF網絡隱層神經元數(shù)來實現(xiàn),含義十分直觀。由于其學習過程為兩步,且每一步的學習算法都十分有效,所以它的學習速度很快。RBF網絡主要適用于解決已知的大規(guī)模分類問題,比如圖像目標跟蹤、面部和雙眼的生物圖像識別等。
對RBF網絡的硬件實現(xiàn)技術,目前存在著不同的觀點。但就有大規(guī)模分類和實時要求的模式識別問題而言,數(shù)字電路技術是最合適的選擇,原因有以下幾點:
①RBF網絡用于手寫字符識別、生物圖像識別、自然語言理解這樣的領域時,需要分類的模式類別數(shù)往往成千上萬,所以要求隱層神經元數(shù)極大,單片神經芯片很難完成。使用數(shù)字神經芯片,網絡的擴展十分容易,一般不需要外圍邏輯器件而只要電阻就可以完成;而用數(shù)字神經芯片由于精度高,理論上可以無限并行擴展,且性能不下降。
②一個實用的模式識別系統(tǒng),分類的模式往往會隨著樣本與環(huán)境的變化而變化,這就需要不斷調整權值。數(shù)字神經芯片的權值存在數(shù)字存儲器中,存儲和恢復都很方便。這樣用于模式識別系統(tǒng)的RBF網絡的權值易變性得到了保證。
③模式識別系統(tǒng)對特征矢量提取對象的預處理是比較困難的工作。預處理效果不好時,RBF網絡的輸入往往含有噪聲。數(shù)字神經芯片在抗干擾性方面與其它V LSI技術相比,顯然具有無可比擬的優(yōu)勢。
④模式識別的要求包括模糊匹配和精確匹配兩種。當用RBF網絡實現(xiàn)精確匹配時,模擬技術完成不了這個要求,此時,數(shù)字神經芯片是避免錯誤輸出的唯 一選擇。
3 ZISC技術及其在模式識別中的應用
雖然人們已經在神經網絡的硬件實現(xiàn)上做了大量的工作,并實現(xiàn)了許多不同的網絡結構和算法;但是RBF網絡的硬件實現(xiàn)工作卻了了無幾。這說明幅度當前的IC技術實現(xiàn)RBF網絡的功能對設計水平的要求是比較高的,因此,本文介紹的這種商業(yè)芯片ZISC就成為了模式識別系統(tǒng)的一種有價值的神經網絡硬件平臺。
無指令計算機ZISC是世界著名的IBM實驗室的一項創(chuàng)新性科研成果[7],它采用數(shù)字電路技術實現(xiàn)了RBF神經網絡及KNN學習算法的集成電路芯片。作為ZISC芯片的合作發(fā)明人與授權生產商,美國Silicon Rcognition公司專業(yè)從事ZISC技術推廣,其生產的ZISC036是一顆含有36個隱層神經元,專門用于各種模式識別矢量分類的集成電路。以下列出了它的一些主要特點與功能:
*使用RBF網絡模型,無須編程而只須給它訓練樣本,即能實現(xiàn)學習和自適應識別;
*全并行運算,模式分類速度與隱層神經元存儲的矢量數(shù)量完全無關;
*無須外圍邏輯電路即可實現(xiàn)多片ZISC036級連,模式分類數(shù)量及神經網絡規(guī)模沒有限制;
*輸入和存儲的矢量分量數(shù)目從1~64個可調(每個分量8位);
*超快速度,64個分量的特征矢量的識別在4.8ms內完成(主頻時鐘20MHz);
*用寄存器存儲神經網絡全局信息與神經元信息和權值;
*CMOS和TTL兼容的I/O,TQFP144封裝,5V標準電源供電。
不難看出,應用這種神經網絡芯片不需要操作系統(tǒng)和編程語言,主要的工作就是訓練它和讓它學習。因此,用它開發(fā)面向消費類的模式識別產品是一種簡單且實用可行的方法,可以大大地縮短研發(fā)周期。
本文給出了用六片ZISC036級連,通過印制電路板實現(xiàn)的通用模式識別系統(tǒng)。圖2為這個系統(tǒng)的總體框圖。
系統(tǒng)通過PCI總線接受待識別的模式原始數(shù)據(jù)。數(shù)字存儲在2個8MB高速DRAM區(qū)中。神經網絡控制器選用Xilinx Virtex FPGA,它的主要功能是完成對原始數(shù)據(jù)的特征矢量提取并輸入到ZISC036芯片陣列中??梢允褂脴藴实腇PGA開發(fā)工具生成不同的RBF文件,從而實現(xiàn)不同的特征矢量提取電路。ZISC036芯片陣列按照三描述的方法一個個順序接受矢理輸入,然后進行并行的學習和分類,識別結果作為輸出返回。只要修改FPGA中的特征矢量提取電路和界面程序,就可以實現(xiàn)圖像、話音等各種不同的模式識別程序,只要修改FPGA中的特征矢量提取電路和界面程序,就可以實現(xiàn)圖像、話音等各種不同的模式識別功能。這個通用模式識別系統(tǒng)的性能以傳統(tǒng)CPU或DSP的指標來衡量,相當于13.2GPS(每秒執(zhí)行132億條指令)。
用上述系統(tǒng)可以完成如圖像目標跟蹤、圖像識別、數(shù)據(jù)挖掘等許多實時性要求很高的模式識別和分類功能。以下用一個自適應圖像目標跟蹤的實驗作為例子,視頻圖片演示結果如圖3所示。
圖3的視頻圖片從一段AVI文件中捕獲。首先從初始的視頻幀中選定汽車的圖像,提取其紋理特征作為訓練樣本輸入到ZISC神經網絡。然后,ZISC神經網絡在后面接下來的視頻幀中搜索類似的圖像紋理模式并圈定跟蹤目標的坐標。如果發(fā)現(xiàn)所跟蹤目標的模式發(fā)生變化,ZISC神約網絡能夠自動學習新的特征并建立一個新的模式存入神經網絡。通過不斷地比較已存入神經網絡的模式和所跟蹤目標之間的區(qū)別,系統(tǒng)就能夠識別目標,從而在擁擠的背景和變化的環(huán)境下始終鎖定目標。實驗用視頻圖片為320×240像素,跟蹤目標掃描范圍為20×20像素。
篇4
關鍵詞: GIS局放信號 小波去噪 識別方法
GIS局放信號小波分析的原理建立在傅立葉分析的基礎之上,在頻域和時域這兩個方面進行了有效的調整,是對后者分析方法的有效提高。小波分析具有多分辨率的特點,在低頻段的區(qū)域內可以使用較高的頻率分辨率和較低的時間分辨率,而在高頻段的區(qū)域內則使用較低的頻率分辨率和較高的時間分辨,利用該識別模式實現(xiàn)GIS局放信號小波去噪的目的。
一、小波分析的基本原理
小波分析的基礎在于小波基原理的應用,世界上第一個小波基是由Strongberg J.O在1982年提出的。小波在變換特征上具有“變焦距”的特征,也就是上面所說的能夠根據(jù)其自身的特點結合實際環(huán)境的要求改變時頻窗口的大小,從而改變局部放電信號測試能力的準確度。當頻率越來越高的時候,小波的頻寬越來越窄,這種特性反應到局放測試中就變成了當噪聲頻率越高時,小波檢測在時間上的跨度上越窄,在空間的跨度上越長,從而可以抓住所檢測范圍的細小范圍,因此,小波在應用上有“數(shù)學顯微鏡”之美譽。
二、信號的小波分解特性
1.小波分解特性的重要性
GIS局放測試得到的信號是離散的,在利用小波原理進行分析的時候必須了解信號在小波原理下的分解特性,這樣才能更好地在實踐過程中利用小波分析達到GIS局放測試的去噪作用。經過大量的研究表明,在GIS局放過程中背景噪聲在所有檢測到信號中占了很多一部分,而且形式多種多樣,比如說有連續(xù)的周期性干擾、脈沖型干擾,還有更多白噪聲干擾等。目前來講,GIS局放信號中的去噪過程主要是指去除白噪聲對于信號檢測的干擾影響。 背景噪聲的干擾加大了局放信號檢測的難度。在分析信號的小波分解特性時,我們需要知道局部放電這一物理過程發(fā)生時間實際上非常短暫,而且在絕緣材料中的運動模式也非常雜亂無章,這正是局放信號檢測的難度所在。小波原理之所以在GIS局放檢測中有其獨特的魅力,正是因為其局放信號分解的獨特性。
2.基于離散小波分析原理的去噪作用
離散小波分析原理是小波分析手段中的重要組成部分,是GIS局放信號檢測去噪過程的重要手段。按照時間頻率和空間頻率的設定值產生的不同作用,離散小波分析可以簡單地分為三種類型。
(1)強制型消燥處理方式。從本質原因上來講,局部放電產生的原因主要有電介質分布不均勻、制造工藝中出現(xiàn)氣泡和雜志等。比如在絕緣材料的制作過程中由于不同電介質的膨脹系數(shù)不一樣,成品出現(xiàn)不同的密度,使部分區(qū)域承受的電壓不一樣。當電壓值超過其承受值的時候就導致了局部放電。介質的干擾作用越大,則局放越明顯。強制型消燥的處理方式就是人為地去除一些高頻率信號的影響,把頻段控制在某一區(qū)域進行檢測,這種方法雖然使觀測結果比較集中,但是容易丟失有用的信號。
(2)默認閾值型消燥處理方式。該方式利用檢測設備中自帶的數(shù)據(jù)庫,通過適當刷選,從而對局放信號進行消燥。該方式比強制型消燥方式更加科學,但是仍然有可能排除掉很多有參考價值的測試信號。
(3)待定值消燥型處理方式。這種方法結合了強制型和默認閾值型的消燥方式,通過在設備上設置多個參考點,用戶可以根據(jù)自身產品的特性,使用環(huán)境的要求等具體情況預先設定參考值的上下線范圍,在這一參考值范圍內設備根據(jù)自帶的數(shù)據(jù)庫自動進行信號的消燥作用。這種消燥方式更加科學化,但是對局放測試設備的操作提出了更高的要求。
三、小波去噪模式識別方式
局部放電過程在時間上是非常短暫的,同樣,其在空間上運動軌跡也是飄忽不定的,我們需要設定一個坐標性判斷其運動模式,才能進一步根據(jù)小波分析原理分析GIS局放測試信號的去噪識別方式。
我們以神經網絡的局放模式作為特定的例子,簡要地說明小波去噪模式的識別方式,該坐標系也是目前運用得最廣泛的一種。我們以神經網絡系統(tǒng)舉例說明小波去噪模式的識別主要是因為神經網絡系統(tǒng)是一個高度復雜的系統(tǒng),從單一的神經元結構分析其功能和結構是十分簡單,這好比在整個小波識別模式中的基本單元――小波基一樣。小波基在整個識別模式中是結構和功能最簡單的部分,也是我們分析小波去噪識別模式的基礎。
由此我們可以設想小波去噪識別系統(tǒng)是類似于神經網絡的復雜系統(tǒng),雖然其基本單位小波基的運行是十分簡單的,但整個網絡系統(tǒng)充滿著大量自學習和變化的因素,假設有一個未知信號進入到該系統(tǒng)中,小波去噪模式系統(tǒng)就會根據(jù)原有的映射關系,這些映射關系是在長期的自學習和變化中形成的,將該信號分配到一定的輸出狀態(tài)中,從而完成全部輸入信號的分配過程。那么在待定值消燥型原則的作用下,一定范疇內的信號在能被收集成為有效的采樣點,這一待定值的設定反映在該系統(tǒng)中就是有部分未知信號進入系統(tǒng)中時,即我們所說的背景噪聲,將成為無效值而被排除在采樣點之外。
四、結語
本文簡要地介紹了在小波原則下測試GIS局部放電信號的去噪原理和模式識別方式舉例,顯然在局放信號的檢測中頻寬的設定對局放信號檢測的精確性起著至關重要的作用,小波去噪的特性能夠有效地滿足GIS局放信號檢測的要求,應該得到我們足夠的重視。
參考文獻:
[1]胡明友,謝恒莖等.基于小波原則抑制局部放電監(jiān)測中平穩(wěn)性干擾的濾波研究.中國電機工程學報,2000.1,VOL20,(1).
[2]王曉芙等,電力設備局部放電測量中抗干擾研究的現(xiàn)狀和展望電網技術.電工技術學報,2000.6,VOL24,(6).
篇5
關鍵詞:策略 解題能力 提高
中學數(shù)學教學的目的,歸根結底在于培養(yǎng)學生的解題能力,提高數(shù)學解題能力是數(shù)學教學中一項十分重要的任務。提高學生解題能力始終貫穿于教學始終,我們必須把它放在十分重要的位置。那么,如何才能提高學生的解題能力,面對一個數(shù)學問題,采取什么解決方法是我們首先進行的思維。數(shù)學中許多問題可用固定的算法求解,但有更多的題目其算法是預先不知道的,需要運用某些策略來指導解決。策略在數(shù)學問題的解決中發(fā)揮著極為重要的作用,學生倘若沒有掌握一些解題策略或者所用解題策略不恰當,則常常導致無從下手或誤入歧途,這樣不僅不能解決問題,浪費學生的時間,還會打擊學生的學習積極性。
模式識別策略就是當你接觸到數(shù)學問題之后,首先要辨別題目的類型,以便與已有的知識、經驗發(fā)生聯(lián)系。也就是當我們面臨的是一道以前沒有接觸過的陌生題目時,要設法把它化為曾經解過的或比較熟悉的題目,以便充分利用已有的知識、經驗或解題模式,順利地解出原題。如果我們在教學過程有意識培養(yǎng)學生的模式識別策略意識,那會對學生的思維、數(shù)學解題水平有很大的幫助。使學生在平常學習中提高效率,在考試時穩(wěn)操勝券,對學生數(shù)學素質的提高起到事半功倍的作用。提高學生的模式識別策略意識常用的途徑有:
(一)回憶
解數(shù)學題,就其本身而言,要有明確的目的性——實現(xiàn)題目的要求,始終想著目標,圍繞目標,進行變換,要抓住條件,緊扣目標,廣泛聯(lián)想,要想解決問題,必須深刻熟練地掌握知識,對知識形成條件反射,看到問題條件和目標,就能聯(lián)想到與此有關的知識,這是分析問題的基礎。
在解決問題之前,我們應充分聯(lián)想和回憶與原有問題相同或相似的知識點和題型,充分利用相似問題中的方式、方法和結論,從而解決現(xiàn)有的問題,如
例1 已知sinα-2cosα=0,求3sin2α+3sinαcosα-2cos2α。
分析:聯(lián)想sin2α+ cos2α=1經常在求三角函數(shù)值的時候應用,把1用sin2α+ cos2α代換進行化簡變形。
例2 已知f(x)=2+log3x(1≤x≤9),求函數(shù)y=[f(x)]2+f(x2)的最大值和最小值并求出相應的x的值.
分析: 聯(lián)想二次函數(shù)配方求最值,換元求范圍,配方求出y的最大值和最小值。
要想在這一方面有所提高,平時做完練習后,要注重反思這一環(huán)節(jié),注意知識點的系統(tǒng)化和方法的優(yōu)化。要把解題的過程抽象形成思維模塊,注意方法的遷移和問題的拓展延伸。教師要不斷的指導,不斷的示范,幫助學生形成某類數(shù)學問題的心理操作模式,并將其表象印入頭腦中,并使學生內化為自己的意識,今后解題時自動運用。
(二)多角度分析 對于同一道數(shù)學題,常常可以不同的側面、不同的角度去認識,注意思維的廣闊性,多角度多側面地思考問題,若從一個方面看問題思路受阻,就應調整觀察分析問題的角度,從另一個側面思考問題,從不同的方向探索思路,“熟能生巧”,因此,根據(jù)自己的知識和經驗,適時調整分析問題的視角,有助于更好地把握題意,找到自己熟悉的解題方向。
例1 如果cos2θ+2msinθ-2m-2
分析:直接求解會感到無從下手,我們比較熟悉求三角函數(shù)式的取值范圍,解決這個問題我們轉換思路,就是不直接求常數(shù)m的取值范圍,轉而去求三角函數(shù)式的取值范圍,問題便可應刃而解。
例2 三個方程x2+4ax-4a+3=0,x2+(a-1)x+a2=0,x2+2ax-2a=0中,至少有一個方程有實數(shù)根,求實參數(shù)a的取值范圍。
分析:對于一個方程有實數(shù)根的條件,學生很熟悉,但三個方程至少有一個方程有實數(shù)根的條件,學生可能一時無法入手?;蛘咧苯忧竺總€方程有實數(shù)根的條件,然后去對這些條件進行處理,有些學生交并分不清,結果出錯,有些學生雖然知道求并集,但由于條件較多,很容易在求并集的時候出錯。我們轉換思路,不求三個方程至少一個方程有實數(shù)根的條件,轉而去求三個方程都沒有實數(shù)根的條件,然后求補集。問題即可解決。
在這一方面要想使學生有所提高,應該加強培養(yǎng)學生全方位、多角度地思考問題,找出解決問題的辦法,并加以推廣,并鼓勵學生探求某種方法或定理所使用的各種問題,擴大它的應用范圍。要求教師在課堂上創(chuàng)設一個寬松的思維環(huán)境,使學生在其中有主動學習的欲望,使學生成為自由的思維者。
(三)恰當構造輔助元素
數(shù)學中,同一素材的題目,常常可以有不同的表現(xiàn)形式;條件與結論(或問題)之間,也存在著多種聯(lián)系方式。因此,恰當構造輔助元素,有助于改變題目的形式,溝通條件與結論(或條件與問題)的內在聯(lián)系,把陌生題轉化為熟悉問題。
例 PA、PB、PC是空間從P引出的三條射線, 若∠APB=∠BPC=∠CPA=45°,求二面角B-PA-C的平面角的余弦值。
分析:在三條射線上截取PA=PB=PC,構造一個正三棱錐,問題即可解決。
在這一方面學生要想有所提高,要求教師在教學過程中,設計相應問題,對學生進行詳細的、具體的解題訓練。
(四)借助“形異質同”
有些數(shù)學問題,表面上看結構、條件毫不相干,卻具有內在的共同點,因此,從問題的個性中尋找共性,把不同的問題歸結為相同的問題。
例1 上一個n階臺階,每次可上一級或兩級,設上法的種數(shù)為f(n),試求f(n)關于n的函數(shù)解析式。
分析:有最后一次上一級和最后一次上兩級兩類上法,所以,f(n)= f(n-1)+f(n-2)
(2)一對小兔子一個月后是一對成熟的大兔子,再過一個月一對大兔子繁殖一對小兔子,現(xiàn)有一對成熟的兔子,問第n個月末,兔子最多有多少對?
分析:問題(2)看上去問題(1)毫不相干,但它們卻具有內在的共同點,即兩個問題有共同思維方法,即都要考慮前兩次的情形,都歸并到“斐波那契數(shù)列”上。
另外對已有定理公式的辨認,對已有解題規(guī)律,方法的辨析,與類似問題及較簡單的類比等均屬模式識別策略范疇。
解題有法而無定法。解題要靈活多變,講究策略,既要遵循常規(guī),更要突破常規(guī)。只有這樣,才能準確地迅速地找到解題的突破口,有效地提高解題能力。這正是:策略對了頭,學習有勁頭。
學習有勁頭,更上一層樓。
對于解題策略的教學,我們教師還應該意識到:盡管解題策略本身是離開具體內容的,但要學生掌握這些解題策略,并運用到平常解決數(shù)學問題中,僅僅給學生提供一般化的策略信息是不夠的。應對學生掌握的解題策略的運用情景與方法進行系統(tǒng)訓練,而且訓練要非常明確、詳細和具體,應結合具體內容,側重教會學生有關如何使用解題策略,在什么情況下使用這些策略,為什么要使用這些策略等方面的知識。
參考文獻:
1.《數(shù)學方法與解題研究》,李明振;上??萍冀逃霭嫔?。
篇6
Abstract: With the popularization of mobile applications, as the basis for recognition malicious behavior, behavior pattern analysis of mobile application terminal has become a hotspot of current research. This paper, starting from system environmental data, and by monitoring many aspects of system data to establish Hidden Markov Model, uses this model to take hidden Markov valuation calculation for the system environmental data generated by the subsequent behavior, so as to realize the recognition of subsequent behavior patterns. Meanwhile in the subsequent recognition process, the model has to be continuously optimized. Through experiments, it shows that the approach has some validity, in order to provide more possibilities for behavior pattern recognition of mobile application terminal.
關鍵詞:移動應用端;隱馬爾可夫模型;行為模式
Key words: mobile application terminal;Hidden Markov Models;behavior pattern
中圖分類號:TP311.5 文獻標識碼:A 文章編號:1006-4311(2016)19-0173-03
0 引言
在移動設備迅速普及的今天,開展移動安全性研究勢在必行。目前針對移動應用端惡意行為檢測的方式主要是對移動應用端的應用程序進行反編譯,分析其源碼是否存在于惡意行為代碼特征庫,以此作為評判標準。但隨著惡意行為代碼特征庫的不斷增加會導致系統(tǒng)開銷增大,檢測速度變慢。另外,隨著黑客們使用的代碼混淆技術的發(fā)展,也使之能夠逃避這種靜態(tài)分析手段[1]。
因為程序的運行會造成系統(tǒng)環(huán)境數(shù)據(jù)變化,所以系統(tǒng)環(huán)境數(shù)據(jù)可以反映系統(tǒng)運行情況。本文提出一種基于隱馬爾可夫模型的行為模式識別方式,通過對移動應用端系統(tǒng)運行環(huán)境的CPU使用率、內存使用率、進程數(shù)、服務數(shù)、流量數(shù)監(jiān)測獲得時間序列數(shù)據(jù),對特定行為進行隱馬爾科夫建模,以待測行為的時間序列與特定的模型之間相似度為評判標準,并在每次評判之后優(yōu)化模型[2]。該方法目的在于有效識別行為模式,對移動端惡意行為分析的后續(xù)研究提供前提,豐富了行為檢測的手段,具有一定的實用價值。
1 馬爾可夫模型介紹
2 隱馬爾可夫模型介紹
2.1 隱馬爾可夫模型
在馬爾可夫模型中,每一個狀態(tài)代表一個可觀察的事件。而在隱馬爾科夫模型中觀察到的事件是狀態(tài)的隨機函數(shù),因此隱馬爾科夫模型是一雙重隨機過程,其中狀態(tài)轉移過程是不可觀察的,而可觀察的事件的隨機過程是隱蔽的狀態(tài)轉換過程的隨機函數(shù)(一般隨機過程)[3]。對于一個隨機事件,有一觀察值序列:O=O1,O2,…Ot,該事件隱含著一個狀態(tài)序列:Q=q1,q2,…qt。
2.2 隱馬爾科夫模型使用前提
假設1:馬爾可夫性假設(狀態(tài)構成一階馬爾可夫鏈)P(qi|qi-1…q1)=P(qi|qi-1)
假設2:不動性假設(狀態(tài)與具體時間無關)P(qi+1|qi)=P(qj+1|qj),對任意i,j成立。
假設3:輸出獨立性假設(輸出僅與當前狀態(tài)有關)P(O1,…OT|q1,…,qT)=∏P(Ot|qt)
隱馬爾科夫模型在解決實際問題的過程中,需要事先知道從前一個狀態(tài)St-1,進入當前狀態(tài)St的概率P(St|St-1),也稱為轉移概率,和每個狀態(tài)St產生相應輸出符號Ot的概率P(Ot|St),也稱為發(fā)射概率。描述它的數(shù)學表達式為:λ={N,M,A,B,∏},下面對各個參數(shù)逐一描述:
N表示隱狀態(tài)S的個數(shù),其取值為{S1,S2,…,SN},
M表示顯狀態(tài)O的個數(shù),其取值為{O1,O2,…,ON},
2.3 隱馬爾科夫可以解決的三個問題
①評估問題:已知一個顯狀態(tài)序列O={O1,O2,…,ON},并且有確定的λ={N,M,A,B,∏}組成的HMM參數(shù),求發(fā)生此顯狀態(tài)的概率P(O|HMM)有效的解決算法是前向算法。
②解碼問題:在己知一個顯狀態(tài)序列O={O1,O2,…,ON},并且有確定的λ={N,M,A,B,∏}組成的HMM參數(shù),求解最有可能產生此顯狀態(tài)序列的隱狀態(tài)序列S。較為有效的解決方法是Viterbi算法。
③優(yōu)化問題:在己知一個顯狀態(tài)序列O={O1,O2,…,ON},通過對參數(shù)N,M,A,B,∏的修正,使得發(fā)生此顯狀態(tài)的概率P(O|HMM)最大,有效解決算法是Baum-Welsh算法[4,5]。
3 基于隱馬爾科夫的移動應用端行為模式識別
本文通過對移動應用端的下載,看視頻,打電話,聊微信、QQ,視頻通訊,網絡語音通訊,衛(wèi)星導航及混合行為下這8個特定行為進行監(jiān)控,抽樣出大量時間數(shù)據(jù)序列,對每一個時間序列進行歸一化處理,綜合多方面歸一化結果給出對應編碼序列,以此建立出不同行為的隱馬爾可夫模型,對于待識別的時間序列進行隱馬爾可夫模型的估值計算,即相似度計算。取相似度計算值最大所對應的隱馬爾科夫模型的行為模式作為待識別序列的行為模式判別結果。同時使用該待測序列對其所匹配的隱馬爾可夫模型進行優(yōu)化,以便提高之后識別準確率。
3.1 獲取時間序列
本文以Android平臺為例,獲取運行環(huán)境的CPU使用率、內存使用率、進程數(shù)、服務數(shù)、流量使用情況等五方面信息的時間序列。具體實現(xiàn)是在固定時間間隔,通過平臺API調用訪問和解析相關系統(tǒng)文件來獲取Android平臺運行環(huán)境的CPU使用率、內存使用率、進程數(shù)量、服務數(shù)量、流量數(shù)等信息[6,7]。
3.2 時間序列歸一化處理及綜合編碼
對每一個時間序列進行歸一化處理[8],使其平均分配在[0,1]上5個均分區(qū)間內(事實上均分區(qū)間數(shù)目越多越能反映真實的波動趨勢,但考慮到編碼復雜度,本文選擇歸一化區(qū)間為5個均等分)。并為其分配{1,2,3,4,5}的標識,由此可以得到每個時間序列的波動趨勢。同時為了綜合多方面信息考慮,可以對多類時間序列的歸一化標識進行編碼,本文研究了CPU、內存、進程數(shù)、服務數(shù)、流量數(shù)這5類序列,所以可以產生5×5=25種編碼,分別用{A,B,C…V,W,X}25個字母表示。以編碼的序列結果作為隱馬爾可夫模型輸入序列,然后以此建立出不同行為的隱馬爾可夫模型,對于待識別的時間序列進行隱馬爾可夫相似度計算。
3.3 隱馬爾可夫模型初始化及訓練
本文HMM模型初始參數(shù)設置為:λ={N,M,A,B,∏},其中,N=8(八個隱狀態(tài),即本文考慮的7個行為外加一個混合行為),M=25(可能出現(xiàn)的25種顯狀態(tài),即輸入的編碼序列所能看到的25個碼元狀態(tài)),根據(jù)對實驗數(shù)據(jù)各狀態(tài)轉換頻率占比的統(tǒng)計,可以設置A為:
而B由于是在25個顯狀態(tài)時背后所處的8個隱狀態(tài)概率,所以可以暫且設置元素為1/25=0.04的25階矩陣:
分別使用3.2節(jié)獲得的7種行為和1種在混合行為下所監(jiān)控得到的歸一化序列作為上述初始化模型的輸入值,分別訓練可以得到8個隱馬爾科夫模型,分別用Ⅰ、Ⅱ、Ⅲ、Ⅳ、Ⅴ、Ⅵ、Ⅶ、Ⅷ來表示。
3.4 行為模式識別
對于待識別的行為模式,依然是按照3.2節(jié)的方式產生隱馬爾科夫模型的輸入序列。計算該待測序列與3.3節(jié)訓練出的8個隱馬爾科夫模型之間的相似度,即2.3.1所述參數(shù)評估問題。取8個相似度中最大值所對應的隱馬爾科夫模型的行為模式作為該待測序列的識別結果。
為了每一次識別的準確性,本文還采取了隱馬爾可夫模型的優(yōu)化處理。具體方式:在每一次識別后,使用待測序列去更新其對應的隱馬爾科夫模型參數(shù),即2.3.3節(jié)所述模型優(yōu)化問題。圖1是隱馬爾科夫訓練模型的流程。
4 實驗以及結果
為了對本文方法的有效性驗證,依次在下載,看視頻,打電話,聊微信、QQ,視頻通訊,網絡語音通訊,衛(wèi)星導航及混合行為下這8個特定行為下分別抽樣2萬條長度為10個抽樣點的時間序列,共計16萬數(shù)據(jù)樣本。實驗將每個行為獲取的2萬條時間序列中前一萬條用于模型訓練,第一次實驗用前一萬條進行行為識別,第二次用后一萬條進行行為識別,取兩次實驗準確率的平均值作為最終準確率。同時使用相同的實驗樣本,依托支持向量機SVM模型對同樣的8個特定行為進行識別,將本文方法準確率與其結果作為比對,由表1可以看到本文方法除聊微信、QQ和混合行為模式判別的準確率低于SVM方法之外,其他行為模式識別都較SVM方法的準確率有明顯提高,所以本文提出的行為模式識別方式具有一定有效性。
5 小結
本文給出了一種基于隱馬爾科夫模型的行為模式識別方式,進行實驗,通過該方法和SVM方法結果比對可以看出該方法具有一定的有效性,但在聊微信、QQ和混合行為模式判別準確率上要低于SVM方法,這一點也是后續(xù)研究要解決的問題。由于本文旨在提出一種可行性辦法,所以實驗中對特的選取還有待進一步斟酌與研究。本文以Android平臺的監(jiān)控數(shù)據(jù)為例,但該方法同樣適用于其他操作系統(tǒng)的移動應用端行為模式識別中。
參考文獻:
[1]周正,劉毅,李建,等.計算機抗惡意代碼免疫模型[J].計算機工程,2008,34(17):7-9.
[2]曹凱,于善義,于少偉.基于多隱馬爾可夫模型的車輛機動行為識別與預測[J].信息與控制,2014,43(4):506-512.
[3]王相海,叢志環(huán),方玲玲,等.混合種群多樣性自適應遺傳操作的HMM訓練模型[J].計算機研究與發(fā)展,2014,51(8):1833-1844.
[4]張增銀,元昌安,胡建軍,等.基于GEP和Baum-Welch算法訓練HMM模型的研究[J].計算機工程與設計,2010,31(9):2027-2029.
[5]劉云冰.基于HMM的說話人識別中下溢問題的修正[J].微計算機信息,2006.
[6]Bose,A, Hu,X., Shin, K.G., Park,T. Behavioral detection of malware on mobile handsets. 2008.ACM.
篇7
摘要:選擇9個化學參數(shù)和合適的擴展系數(shù),對一批26個拮抗藥化合物的活性建立了廣義回歸神經網絡識別模式。選擇21個樣本為訓練集,5個樣本為預測集。結果表明,該種網絡具有設計簡單與收斂快的優(yōu)點,可用于小樣本問題的學習,獲得滿意的預測結果。
關鍵詞:廣義回歸神經網絡;模式識別;活性有機分子的結構
活性關系研究是藥物分子設計的重要手段。一般用線性回歸方法總結各種量子化學、結構化學參數(shù)與分子生物活性的關系,但當訓練集各分子的結構相差較大時,上述關系有時呈現(xiàn)強非線性。不少作者采用BP網絡進行藥物活性的模式識別研究,都取得相當?shù)某晒?。然而,由于BP神經網絡是基于梯度下降的誤差反向傳播算法進行學習的,所以網絡訓練速度通常很慢,而且很容易陷入局部極小點,盡管采用一些改進的快速學習算法可以較好地解決某些實際問題,但是在設計過程中往往都要經過反復的試湊和訓練過程,無法嚴格保證每次訓練時BP算法的收斂性和全局最優(yōu)性。此外,BP網絡隱層神經元的作用機理及其個數(shù)選擇已成為BP網絡研究中的一個難點問題[1,2]。為此,本研究采用廣義回歸神經網絡用于拮抗藥化合物活性的模式識別研究,結果滿意。
1廣義回歸神經網絡的基本結構與算法[3~6]
廣義回歸神經網絡(GRNN)是Donald F.Specht在1991年提出的一種新型神經網絡,其具體公式推導和理論可參見文獻。該種網絡建立在數(shù)理統(tǒng)計的基礎上,能夠根據(jù)樣本數(shù)據(jù)逼近其中隱含的映射關系,即使樣本數(shù)據(jù)稀少,網絡的輸出結果也能收斂于最優(yōu)回歸平面。目前,該神經網絡在在系統(tǒng)辯識和預測控制等方面得到了應用。
GRNN由一個徑向基網絡層和一個線性網絡層組成,網絡結構如圖1所示。
圖1廣義回歸神經網絡結構圖
a1i表示第一層輸出a1的第i個元素,W1表示第一層權值矩陣,P表示輸入向量,R表示輸入向量的維數(shù)。Q=K=輸入/目標矢量對的個數(shù)。網絡的第一層為徑向基隱含層,單元個數(shù)等于訓練樣本數(shù)Q,該層的權值函數(shù)為歐幾里德距離度量函數(shù)(用dist表示),其作用是計算網絡輸入與第一層的權值之間的距離,b1為隱含層閾值。符號“.”表示dist的輸出與閾值b1的元素與元素之間的乘積關系,并將結果形成凈輸入n1,傳送到傳遞函數(shù)。隱含層的傳遞函數(shù)為徑向基函數(shù),常用高斯函數(shù)Ri(x)=exp(-x-ci 2σ2i),式中, σi決定第i個隱含層位置處基函數(shù)的形狀。網絡的第二層為線性輸出層,其權函數(shù)為規(guī)范化點積函數(shù)(用nprod)表示,計算出網絡的向量n2,它的每個元素就是向量a1與權值矩陣W2每行元素的點積再除以向量a1各元素之和的值,并將結果n2送入線性傳遞函數(shù),計算網絡輸出。
GRNN連接權值的學習修正仍然使用BP算法,由于網絡隱含層節(jié)點中的作用函數(shù)(基函數(shù))采用高斯函數(shù),高斯函數(shù)為一種局部分布對中心徑向對稱衰減的非負非線性函數(shù),對輸入信號將在局部產生響應,即當輸入信號靠近基函數(shù)的中央范圍時,隱含層節(jié)點將產生較大的輸出,由此看出這種網絡具有局部逼近能力,這也是該網絡之所以學習速度更快的原因。此外,GRNN人為調節(jié)的參數(shù)少,網絡的學習全部依賴數(shù)據(jù)樣本,這個特點決定了網絡得以最大限度地避免人為主觀假定對預測結果的影響。
2拮抗藥化合物活性的預測
取文獻[7]所列的26個化合物為本工作的樣本集,數(shù)據(jù)見表1。表1文獻所列的26個化合物樣本列表將上述原始數(shù)據(jù)作歸一化處理,調用MATLAB語言工具箱中的函數(shù)newgrnn(P,T,SPREAD)進行廣義回歸神經網絡設計,計算結果如表2。
表2的計算結果表明,廣義回歸神經網絡對訓練樣本有很好的預測結果。在此基礎之上,嘗試從26個樣本中取出5個(表1中的5、10、15、20、25號樣本)作為預測集,其余21個樣本作為訓練集,訓練結果和預測結果分別列于表3和表4。表226個訓練樣本的計算結果 表45個預測樣本的計算結果
在調用net=newgrnn(P,T,SPREAD)函數(shù)進行網絡設計中,對上述計算當擴展系數(shù)SPREAD取0.1,0.2或0.3時,網絡預測效果好;當SPREAD大于0.3時,網絡預測效果開始變差。
3結論
上述結果表明,廣義回歸神經網絡具有設計簡單與收斂快的優(yōu)點,具有較好的預測和泛化能力,為復雜的、高度非線性問題的模式識別提供了可選手段。傳統(tǒng)的BP神經網絡在確定網絡連接權值時具有隨機性,其預測結果存在差異,不利于實際應用[8]。而廣義回歸神經網絡在選取輸入神經元數(shù)目之后,網絡的結構和連接權值也隨之確定,在訓練過程中不涉及隨機數(shù),而且需要的樣本量少。因此,廣義回歸神經網絡可作為藥物構效關系研究的有效手段。
參考文獻
1陳念貽,欽佩,陳瑞亮,等.模式識別方法在化學化工中的應用. 北京:科學出版社,2000,88~90.
2陳錦言,姚芳蓮,孫經武,等.人工神經網絡及其在化學領域中的應用. 計算機與應用化學,1999,16(2):111~114.
3Sprecht D F.A General Regression Neural Network.IEEE Trans Neural Network,1991,2:568~576.
4Sprecht D F. The General Regression Neural Network Rediscove
red. Neural Networks,1993,6:1033~1034.
5周昊,鄭立剛,樊建人,等. 廣義回歸神經網絡在煤灰熔點預測中的應用. 浙江大學學報(工學版),2004,38(11):1479~1482.
6趙闖,劉凱,李電生,等.基于廣義回歸神經網絡的貨運量預測. 鐵道學報,2004,26(1):12~15.
7Livinstone D J.Multivariate Data Display Using Neural Networks,Chapter 7 in "Neural Networks in QSAR and Drug Design",Edited by J Devillars,London:Academic Press,1996,157~176.
篇8
[關鍵詞]模糊貼近度;OWA加權;模式識別
doi:10.3969/j.issn.1673 - 0194.2017.12.060
[中圖分類號]F279.23 [文獻標識碼]A [文章編號]1673-0194(2017)12-0-03
模糊貼近度作為一種處理客觀研究對象不確定性的數(shù)學工具,在企業(yè)管理的控制、決策、推理等多個環(huán)節(jié)中有著廣泛的應用。本文主要研究模糊貼近度在工商企業(yè)管理領域進行模式識別的應用。當一個對象在諸多樣本標準中與某一樣本標準的貼近度最大,則認為這一對象歸屬這一樣本是合理的,這就是最大貼近度原則。趙沁平對模糊集合的貼近度進行了梳理和歸納。盧國祥提出了一種基于模糊信息的距離測度,即模糊對稱交互熵,指出模糊對稱交互熵可用于模式識別。本文的創(chuàng)新之處在于對模糊對稱交互熵進行深入研究,揭示其數(shù)值的形態(tài)特征,提出模糊對稱交互熵貼近度的概念和方法,同時,提出以下的論題:本文的任務不是羅列各種模式識別的方法,得出各種模式識別的結論,而是要在各種方法的基礎上,綜合出一種更為合理的結論。
1 模糊貼近度
常見的模糊貼近度用以下各式進行表示。
定義1:設離散論域X={x1,x2,x3,…,xn},?和為X上的模糊子集,∨和∧表示通常的格運算。
(1)最大最小貼近度
(1)
(2)算術平均最小貼近度
(2)
(3)幾何平均最小貼近度
(3)
(4)Hamming貼近度
(4)
2 模糊對稱交互熵貼近度
2.1 模糊對稱交互熵
盧國祥闡述了模糊對稱交互熵的定義。
定義2:設A=(μA(x1),μA(x2),…,μA(xn));B=(μB(x1),μB(x2),…,μB(xn))為兩個模糊向量。
對于某個xi,定義μA(xi)對μB(xi)的交互熵為:
于是兩個模糊集A對B的模糊交互熵(Fuzzy Cross Entropy,F(xiàn)CE)可定義為:
(5)
上述定義的模糊交互熵(FCE)只滿足非負性,但不滿足對稱性和三角不等式。所以對其進行改進,提出如下的模糊對稱交互熵定義。
定義3:設A=(μA(x1),μA(x2),…,μA(xn));B=(μB(x1),μB(x2),…,μB(xn))為兩個模糊向量。
F(A||B)和F(B||A)分別是A對B和B對A的模糊交互熵。由此對應A與B的模糊對稱交互熵(Fuzzy Symmetric Cross Entropy,F(xiàn)SCE)為:
D(A||B)=F(A||B)+F(B||A)(6)
文[2]中證明了模糊對稱交互熵具有非負性、對稱性,滿足三角不等式,因此構成兩個模糊向量的度量。這在某種意義上可以表現(xiàn)為兩個模糊向量之間的距離。當距離較大時,可以認為其較不“貼近”或“貼近”的度量較??;當距離較小時,可以認為其較“貼近”或“貼近”的度量較大。顯然,模糊對稱交互熵用于模式識別也是可行的,只是它的度量和貼近度的度量意義正好相反。為了使模糊對稱交互熵和貼近度在相同意義下用于模式識別,對兩者的數(shù)值特性進行比較是必要的。一個問題是模糊對稱交互熵的數(shù)值是不是和貼近度一樣滿足0≤σ≤1,下文進行一個具體的數(shù)值計算。
2.2 模糊對稱交互熵的數(shù)值討論
例1:設:A=(0.2,0.4,0.5,0.1);B=(0.2,0.3,0.5,0.2)
同樣可計算F(B||A)=0.066,于是D(A||B)=0.1254。
這一模糊對稱交互熵正好在[0,1],但是一般情況需要深入討論。從模糊對稱交互熵的計算公式可以看出,模糊對稱交互熵是關于兩個模糊向量的2n個隸屬度的多元函數(shù)。為了簡化討論,又不失一般性,這里僅對兩個一元互補模糊向量進行討論。
例2:設:
例3:設
從例2和例3可以看出,模糊對稱交互熵是超出[0,1]的。并且當A的隸屬度取值在0~0.5,隸屬度趨向于0時,F(xiàn)(A||B)是增加的,隸屬度趨向于0.5時,F(xiàn)(A||B)是減少的。
定理1:設模糊向量A=(1-x),B=(x);x∈[0,0.5]則:
(1)F(A||B)在所論區(qū)間上是遞減函數(shù);
(2);
(3);
證:(1)
求導數(shù)
故為遞減函數(shù)。
(2)
故,
(3)代入即可。
定理2:設模糊向量A=(1-x),B=(x);x∈[0,0.5]
則F(A||B)=F(B||A),于是D(A||B)=2F(A||B)=2F(B||A)證:
即得C明。
2.3 模糊對稱交互熵貼近度
有了上述簡明情況作為基礎,為了和貼近度有同樣的數(shù)值性質,現(xiàn)定義以下的模糊對稱交互熵的貼近度變換式是合適的。
定義4:設A=(μA(x1),μA(x2),…,μA(xn));B=(μB(x1),μB(x2),…,μB(xn))為兩個模糊向量。稱:
(7)
為模糊對稱交互熵貼近度,可記為FSCE貼近度,在本文中FSCE貼近度記為σ5(A,B)。
3 OWA加權平均
有了文中5種貼近度,可以進行5種模式識別。它們的差別表達了各種不同方法對對象和樣本之間相似狀況的各種不同視角的反映。人們似乎不必在意其間的所謂優(yōu)劣,轉而對其進行綜合處理是一種可行的方法。在處理時,可以采取抑制極端值,提升中間值的OWA加權平均方法。
3.1 三角模糊集及權重
設有模糊集合B=(b1,b2,…,bi,…,bn)
bi為第i位評分者的評分值。0≤bi≤1,i=1,2,…,n?,F(xiàn)在論域U=R上建立三角模糊集
(8)
顯然,這是一個三角模糊集以為軸的對稱分布的圖形。
如,n=5,則其分布為:
(0.2, 0.6, 1, 0.6, 0.2)(9)
由于權重wi必須滿足wi∈[0,1],
所以對(8)式進行歸一化處理,得基于三角模糊數(shù)的權重分布
(10)
由此,可得(9)式的權重分布為
(0.077 0,0.203 8,0.384 6,0.203 8,0.077 0)(11)
3.2 正態(tài)模糊集及權重
設有模糊集合B=(b1,b2,…,bi,…,bn)
bi為第i位評分者的評分值。0≤bi≤1,i=1,2,…,n現(xiàn)在論域U=R上建立正態(tài)模糊集:
(12)
其中
顯然,這是一個正態(tài)模糊集以為軸的對稱分布的圖形。
如,n=5,則其:
則其分布為:
(0.367 9,0.778 8,1,0.778 8,0.3679)(13)
對(12)式進行歸一化處理,得基于正態(tài)模糊數(shù)的權重分布:
(14)
其中,i=1,2,…,n
于是式(13)變換為:
(0.112 0,0.236 0,0.304 0,0.236 0,0.112 0) (15)
3.3 OWA加權平均
1989年美國學者Yager提出OWA算子
設F:RnR,如果
(16)
其中,(a1,a2,…,an)為模糊向量,w=(w1,w2,…,wn)T是權重向量,其是與F相關聯(lián),由F所決定的。顯然,,aj∈[0,1]wj∈[0,1],且(j=1,2,…,n)。(b1,b2,…,bn)是把(a1,a2,…,an)重新由大到小排列后得到的,其第j大的數(shù)記為bj,即bj=σ(j)。
上述的F稱為n維OWA算子。OWA算子的關鍵之處在于,要對(a1,a2,…,an)這一表示評語集的數(shù)組按大到小重新排列,而對第j大的數(shù)據(jù)bj賦予wj的權重。這里wj只與第j個位置相關,而這一位置放置的數(shù)據(jù)即為第j個大,或由大到小排列時居第j位。
第(16)式給出的加權是通常采用的(?,+)型加權。如果權重采用上述的三角模糊數(shù)型,或正態(tài)模糊數(shù)型,由于其中間位置取值較大,兩側對稱地取逐次遞減的較小的值。加權時,將使中間位置的數(shù)值得以提升,而兩側、較大、較小的值得以抑制,達到了減弱極端值在整體評價中的比重的作用。
例,在對某一指標評價中,有5位評分者,得到的評分向量為
(0.2,0.7,0.5,0.9,0.4)
按數(shù)值由大到小,重新排列后,得(0.9,0.7,0.5,0.4,0.2)
應用(11)式所示的權向量,應用OWA算子,所得的F值為:
(17)
bij為(a1j,a2j,a3j,a4j,a5j)依大到小,重新排列后第i大的值。即bij=σ(i)。
cj表示BcAj的OWA綜合加權平均貼近程度。用它于模式識別具有抑制極端值,提升中間值的作用,比較科學客觀。
5 應用實例
在工商企業(yè)管理領域有眾多需要進行模糊模式識別的領域,如產業(yè)集群發(fā)展模式的識別、并購中目標企業(yè)的評估、中小企業(yè)技術創(chuàng)新模式的選擇、新興商業(yè)模式的評測,以及市場營銷中難以通過準確量化進行衡量的質量判定問題等。本文試通過實例確立基于OWA加權平均的模糊貼近度在模式識別問題領域的數(shù)學應用模型。在管理學中常見的模式識別問題中,以A1、A2、A3、A4、A5、A6分別代表不同的標準模式;本實證研究選取各模式中最具代表性特征的Z1、Z2、Z3三個指標為測評指標;B表示待估樣本。依據(jù)專家打分取均值的方法,確立標準模式及待估樣本的指標數(shù)據(jù),并標準化到[0,1],從而建立模糊集合。如表2所示。
即σ5(A1,B)=0.6646
對于數(shù)據(jù)進行從大到小的排列,且采用式(11)賦予的權重,根據(jù)式(17)計算得:C1=0.7631×0.0770+0.7452×0.2038+0.69×0.3846
+0.6646×0.2038+0.5939×0.0770=0.6572
同理可求C2、C3、C4、C5、C6。
的計算結果看,樣本的OWA綜合加權平均貼近度C2最高,表示樣本與A2集合最為貼近,可以判定待估樣本為A2標準模式。表中的其他數(shù)據(jù)提供了樣本與其他標準貼近的不同情況的信息,也有價值。
6 結 語
模糊貼近度是模糊數(shù)學中的重要理論,在模糊數(shù)學以及模糊信息處理中具有重要的理論和實際意義。本文梳理了各種模糊貼近度,還在此基礎上提出了模糊對稱交互熵貼近度的概念和方法。并且運用OWA加權平均的方法,對5種模糊貼近度進行均衡處理,得出了較為合理的識別結果。
主要參考文獻
篇9
關鍵詞:復雜工業(yè)場景 場景識別 模式識別
中圖分類號:TP391 文獻標識碼:A 文章編號:1674-098X(2012)12(b)-00-01
近幾年來,對場景模式識別的研究越來越多,越來越細化。但是國內外的研究者都圍繞著對生活場景和醫(yī)用診斷等方面研究,忽略了重要的復雜工業(yè)領域。該文針對復雜工業(yè)場景模式識別的問題進行了探索與研究。
1 場景模式識別簡介
1.1 模式識別簡介
模式識別是對信號(圖像、視頻、聲音等)進行分析,對其中的物體對象或行為進行判別和解釋的過程。模式識別是人類的一項基本智能,在日常生活中,人們經常在進行“模式識別”。隨著20世紀40年代計算機的出現(xiàn)以及50年代人工智能的興起,人們當然也希望能用計算機來代替或擴展人類的部分腦力勞動。(計算機)模式識別在20世紀60年代初迅速發(fā)展并成為一門新學科。
在模式識別系統(tǒng)的研究中,模式分類是最重要的一個主題。它的中心任務就是找出某“類”事物的本質屬性, 即在一定的度量和觀測的基礎上把待識別的模式劃分到各自模式類中。
1.2 場景模式識別簡介
由于模式識別的對象是存在于感知信號中的物體和現(xiàn)象,那么它研究的內容還包括信號、圖像、視頻的處理、分割、形狀和運動分析等,以及面向應用(如文字識別、語音識別、生物認證、醫(yī)學圖像分析、遙感圖像分析等)的方法和系統(tǒng)研究。
場景模式識別,又叫做場景分類。它是根據(jù)視覺感知組織原理,找出圖像中存在的某些特定區(qū)域,這些區(qū)域可能是整幅圖像,也可能是圖像中的某個區(qū)域,其目標是根據(jù)給定的一組語義類別對圖像數(shù)據(jù)庫進行自動標注,如海岸、山脈、森林等。
2 復雜工業(yè)場景模式識別研究
在現(xiàn)代科技學術不斷發(fā)展的今天,怎樣讓計算機具有人的智能,是當前很多科研工作者研究的主要內容。盡管現(xiàn)有的場景分類已經囊括了海洋、山脈、森林、街道、建筑物等在內的生活場景,但是在復雜工業(yè)場景上的研究與應用至今還是空白。本研究主要是服務于室內外移動機器人,應用于復雜工業(yè)控制現(xiàn)場等不適宜人工操作的環(huán)境。以往的移動機器人在作業(yè)時,通常使用傳感器以及超聲波對場景進行識別分類。本研究則應用機器人視覺來對場景進行識別。與以前的識別方法相比,機器人視覺更直觀更穩(wěn)定更可靠。
復雜工業(yè)現(xiàn)場的設備與管道很多,不適宜工人長期駐守。本研究最終目的在于提高復雜工業(yè)現(xiàn)場的自動化程度。任何一個復雜工業(yè)現(xiàn)場都可以大致分為兩類,即室內場景與室外場景。室內場景即中央控制室,室外場景即現(xiàn)場設備與管道。這樣,移動機器人在復雜工業(yè)現(xiàn)場巡視時,便可依據(jù)這兩類來進行現(xiàn)場操作以及蔽障繞行等行為。
3 復雜工業(yè)場景模式識別研究流程圖
4 結語
篇10
中圖分類號:TG333.7 文獻標識碼:A 文章編號:1009-914X(2016)21-0016-01
1 統(tǒng)計模式識別問題簡介
統(tǒng)計模式識別問題可以看作是一個更廣義的問題的特例,就是基于數(shù)據(jù)的機器學習問題?;跀?shù)據(jù)的機器學習是現(xiàn)代智能技術中十分重要的一個方面,主要研究如何從一些觀測數(shù)據(jù)出發(fā)得出目前尚不能通過原理分析得到的規(guī)律,利用這些規(guī)律去分析客觀對象,對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進行預測?,F(xiàn)實世界中存在大量我們尚無法準確認識但卻可以進行觀測的事物,因此這種機器學習在從現(xiàn)代科學、技術到社會、經濟等各領域中都有著十分重要的應用。當我們把要研究的規(guī)律抽象成分類關系時,這種機器學習問題就是模式識別。
統(tǒng)計是我們面對數(shù)據(jù)而又缺乏理論模型時最基本的分析手段,傳統(tǒng)統(tǒng)計學所研究的是漸進理論,即當樣本數(shù)目趨向于無窮大時的極限特性,統(tǒng)計學中關于估計的一致性、無偏性和估計方差的界等,以及分類錯誤率諸多結論,都具有這種漸近特性。但實際應用中,這種前提條件卻往往得不到滿足,當問題處在高維空間時尤其如此,這實際上是包括模式識別和神經網絡等在內的現(xiàn)有機器學習理論和方法中的一個根本問題。
V.Vapnik等人早在20世紀60年代就開始研究有限樣本情況下的機器學習問題。由于當時這些研究尚不十分完善,在解決模式識別問題中往往趨于保守,且數(shù)學上比較艱澀, 90年代以前并沒有提出能夠將其理論付諸實現(xiàn)的較好的方法。加之當時正處在其他學習方法飛速發(fā)展的時期,因此這些研究一直沒有得到充分的重視。直到90年代中期,有限樣本情況下的機器學習理論研究逐漸成熟起來,形成了一個較完善的理論體系――統(tǒng)計學習理論(Statistical Learning Theory,簡稱SLT)。同時,神經網絡等較新興的機器學習方法的研究則遇到一些重要的困難,比如如何確定網絡結構的問題、過學習與欠學習問題、局部極小點問題等等。在這種情況下,試圖從更本質上研究機器學習問題的統(tǒng)計學習理論逐步得到重視。
為了解決有限樣本的機器學習問題,在過去二十多年里,發(fā)展了很多新的統(tǒng)計學方法,其中V.Vapnike等發(fā)展了專門研究小樣本統(tǒng)計估計和預測的統(tǒng)計學習理論以及結構風險最小化原則(Structural Risk Minimization,SRM)。
統(tǒng)計學習理論就是研究小樣本統(tǒng)計估計和預測的理論, 主要內容包括四個方面:
1) 經驗風險最小化原則下統(tǒng)計學習一致性的條件;
2) 在這些條件下關于統(tǒng)計學習方法推廣性的界的結論;
3) 在這些界的基礎上建立的小樣本歸納推理準則;
4) 實現(xiàn)新的準則的實際方法(算法)。
其中, 最有指導性的理論結果是推廣性的界,與此相關的一個核心概念是VC維。
2 VC維
模式識別方法中VC(Vapnik Chervonenk Dimension)維的直觀定義是:對一個指示函數(shù)集, 如果存在h 個樣本能夠被函數(shù)集中的函數(shù)按所有可能的2h種形式分開, 則稱函數(shù)集能夠把h 個樣本打散;函數(shù)集的VC維就是它能打散的最大樣本數(shù)目h。若對任意數(shù)目的樣本都有函數(shù)能將它們打散, 則函數(shù)集的VC維是無窮大。有界實函數(shù)的VC維可以通過用一定的閾值將它轉化成指示函數(shù)來定義。
VC維反映了函數(shù)集的學習能力,VC維越大則學習機器越復雜(容量越大)。 遺憾的是,目前尚沒有通用的關于任意函數(shù)集VC維計算的理論,只對一些特殊的函數(shù)集知道其VC維。比如在n維實數(shù)空間中線性分類器和線性實函數(shù)的VC維是n+1, 而上一節(jié)例子中的VC維則為無窮大。對于一些比較復雜的學習機器(如神經網絡),其VC維除了與函數(shù)集(神經網結構)有關外, 還受學習算法等的影響,其確定更加困難。對于給定的學習函數(shù)集, 如何(用理論或實驗的方法)計算其VC維是當前統(tǒng)計學習理論中有待研究的一個問題。
3 推廣性的界
統(tǒng)計學習理論系統(tǒng)地研究了對于各種類型的函數(shù)集,經驗風險和實際風險之間的關系,即推廣性的界。關于兩類分類問題,結論是:對指示函數(shù)集中的所有函數(shù)(包括使經驗風險最小的函數(shù)),經驗風險和真實風險之間以至少1-η的概率滿足如下關系:
上式右端第一項反映訓練樣本的擬合程度;第二項稱為Vapnik Chervonenkis置信范圍(又稱VC置信范圍),h是函數(shù)集的VC維。
式(1)表明,在有限訓練樣本下,學習機器的VC維越高(復雜性越高) 則置信范圍越大, 導致真實風險與經驗風險之間可能的差別越大。這就是為什么會出現(xiàn)過學習現(xiàn)象的原因。機器學習過程不但要使經驗風險最小,還要使VC維盡量小以縮小置信范圍,才能取得較小的實際風險,即對未來樣本有較好的推廣性。
4 結構風險最小化(SRM)原則
在傳統(tǒng)方法中,選擇學習模型和算法的過程就是調整置信范圍的過程,如果模型比較適合現(xiàn)有的的訓練樣本(相當于 n/h 值適當),則可以取得比較好的效果。但因為缺乏理論指導,這種選擇只能依賴先驗知識和經驗,造成了如神經網絡等方法對使用者“技巧”的過分依賴。
當 n/h 較大時,式(1)右邊的第二部分就較小,真實風險就接近經驗風險的取值。如果n/h 較小,那么一個小的經驗風險值并不能保證小的真實風險值。在這種情況下,要最小化真實風險值,就必須對不等式(1)右邊的兩項同時最小化。但是需要注意,不等式(1)右邊的第一項取決于函數(shù)集中的一個特定函數(shù),而第二項取決于整個函數(shù)集的VC維。因此要對風險的界,即式(1)的右邊的兩項同時最小化,我們必須使VC維成為一個可以控制的變量。
統(tǒng)計學習理論提出了一種新的策略,即把函數(shù)集構造為一個函數(shù)子集序列,使各個子集按照 VC 維的大?。ㄒ嗉处档拇笮。┡帕?,在每個子集中尋找最小經驗風險,在子集間折衷考慮經驗風險和置信范圍,取得真實風險的最小,如圖1所示。
于是有兩個思路:一是在每個子集中求最小經驗風險, 然后選擇使最小經驗風險和置信范圍之和最小的子集。這種方法比較費時, 當子集數(shù)目很大甚至是無窮時不可行。于是有第二種思路, 即設計函數(shù)集的某種結構使每個子集中都能取得最小的經驗風險(如使訓練誤差為0),然后只需選擇適當?shù)淖蛹怪眯欧秶钚?,這個子集中使經驗風險最小的函數(shù)就是最優(yōu)函數(shù)。支持向量機就是這種思想的具體實現(xiàn)。