摘要：隨著現(xiàn)代科技的快速發(fā)展，自動化和信息化成為技術(shù)應(yīng)用的主要特征，遙感技術(shù)作為大數(shù)據(jù)背景下獲取數(shù)據(jù)資源的重要途徑，其在社會經(jīng)濟發(fā)展中的應(yīng)用也越來越廣泛。隨著遙感技術(shù)的不斷創(chuàng)新，其獲取的數(shù)據(jù)在規(guī)模上不斷擴大，在類型上逐漸多元，而這必然會對大數(shù)據(jù)的自動分析與挖掘提出更高的要求?；诖耍疚膹倪b感大數(shù)據(jù)的內(nèi)容出發(fā)，對數(shù)據(jù)自動分析和挖掘技術(shù)進行簡要分析，以探索我國遙感大數(shù)據(jù)的發(fā)展方向。

關(guān)鍵詞：遙感大數(shù)據(jù)；自動分析；數(shù)據(jù)挖掘

1遙感大數(shù)據(jù)

近年來在計算機技術(shù)和網(wǎng)絡(luò)技術(shù)不斷深入發(fā)展的背景下，在虛擬空間中生成的數(shù)據(jù)規(guī)模也不斷擴大，社交平臺、搜索引擎、電商平臺、移動APP、安全監(jiān)控、衛(wèi)星檢測等系統(tǒng)都在不停地產(chǎn)生數(shù)據(jù)，據(jù)國際數(shù)據(jù)咨詢公司預(yù)測，到2020年全球數(shù)據(jù)總量將達(dá)到40ZB，這一龐大的數(shù)據(jù)規(guī)模是難以想象的，而其中蘊藏的應(yīng)用價值也是不可估量的。遙感大數(shù)據(jù)是大數(shù)據(jù)資源的重要構(gòu)成，隨著人類探索空間的拓展，利用衛(wèi)星技術(shù)實現(xiàn)對地觀測已經(jīng)成為資源探索、城市規(guī)劃、地形觀測等工作的必然要求，利用遙感衛(wèi)星技術(shù)實現(xiàn)對數(shù)據(jù)的生成與收集則是遙感大數(shù)據(jù)形成的關(guān)鍵。與普通的大數(shù)據(jù)特征一致，遙感大數(shù)據(jù)包括衛(wèi)星在對地觀測中形成的不同成像方式、不同波段和分辨率的數(shù)據(jù)信息，這些信息絕大部分并不具備單一的分析價值，但是在數(shù)據(jù)達(dá)到一定規(guī)模后，其分析價值也會呈基數(shù)增長。

從目前我國遙感大數(shù)據(jù)的自動分析與挖掘情況來看，其數(shù)據(jù)應(yīng)用技術(shù)的發(fā)展難以與數(shù)據(jù)生成規(guī)模相符。例如傳感器的設(shè)計依然停留在單一階段，缺乏對多元遙感數(shù)據(jù)的篩選與判斷，從數(shù)據(jù)到數(shù)據(jù)的傳播，使得大數(shù)據(jù)的知識內(nèi)容十分稀薄，同時不斷擴大的數(shù)據(jù)規(guī)模，浪費了一定的存儲空間，影響了數(shù)據(jù)的開發(fā)與運用。在大數(shù)據(jù)分析中，數(shù)據(jù)的應(yīng)用價值不僅僅在于規(guī)模大，還在于類型全，對于遙感大數(shù)據(jù)而言，高密度、多時相、全方位、多層次的數(shù)據(jù)類型能夠全面反映隱藏在數(shù)據(jù)背后的地理學(xué)、社會學(xué)、管理學(xué)等信息，而對這些深層次信息的挖掘，就是遙感大數(shù)據(jù)自動分析技術(shù)與挖掘技術(shù)突破瓶頸，實現(xiàn)科學(xué)研究應(yīng)用價值的關(guān)鍵。

2遙感大數(shù)據(jù)自動分析

摘要:海上監(jiān)測平臺通過傳感器網(wǎng)絡(luò)獲取大量的海洋環(huán)境數(shù)據(jù)和船舶航行數(shù)據(jù)，由于作業(yè)平臺的網(wǎng)絡(luò)不穩(wěn)定，數(shù)據(jù)來源廣、類型多，不便于管理，因此，設(shè)計合理的船舶數(shù)據(jù)平臺管理系統(tǒng)有重要意義。本研究充分結(jié)合物聯(lián)網(wǎng)技術(shù)和傳感器融合技術(shù)，對船舶大數(shù)據(jù)平臺的數(shù)據(jù)管理和數(shù)據(jù)挖掘進行了系統(tǒng)的研究，并設(shè)計了一種聚類數(shù)據(jù)挖掘算法和數(shù)據(jù)挖掘引擎。

關(guān)鍵詞：大數(shù)據(jù)臺；物聯(lián)網(wǎng)；傳感器融合；數(shù)據(jù)挖掘

海上船舶監(jiān)測平臺通過采集海域內(nèi)船舶航行信息和海上氣象信息，為海上交通管理和船舶導(dǎo)航提供關(guān)鍵信息。由于海上監(jiān)測平臺的工作環(huán)境惡劣，易受到臺風(fēng)、海浪等氣象環(huán)境的影響，且監(jiān)測平臺的數(shù)據(jù)采集量大，網(wǎng)絡(luò)傳輸不穩(wěn)定。因此，海上船舶監(jiān)測平臺的數(shù)據(jù)管理系統(tǒng)必須具有穩(wěn)定的網(wǎng)絡(luò)傳輸性能和數(shù)據(jù)存儲能力[1]。本文詳細(xì)介紹了海上船舶監(jiān)測平臺的數(shù)據(jù)采集網(wǎng)絡(luò)和數(shù)據(jù)管理系統(tǒng)，并基于物聯(lián)網(wǎng)技術(shù)設(shè)計了一種數(shù)據(jù)挖掘算法和數(shù)據(jù)挖掘引擎。

1船舶大數(shù)據(jù)平臺的數(shù)據(jù)采集網(wǎng)絡(luò)研究

近年來，隨著計算機技術(shù)和信息技術(shù)的高速發(fā)展，智能化設(shè)備、物聯(lián)網(wǎng)等技術(shù)在船舶工業(yè)的應(yīng)用越來越廣泛，船舶監(jiān)測平臺采集、分析和處理數(shù)據(jù)的能力越來越強，數(shù)據(jù)的規(guī)模和類型也呈指數(shù)式增長。在海上船舶監(jiān)測平臺上，為了獲得全面的海域內(nèi)船舶和航線信息，必須建立覆蓋范圍大的數(shù)據(jù)采集網(wǎng)絡(luò)，如圖1所示。數(shù)據(jù)采集網(wǎng)絡(luò)的節(jié)點分為傳感器節(jié)點、匯聚節(jié)點、管理節(jié)點等不同類型，信息的傳輸基于IEEE802.11協(xié)議。該數(shù)據(jù)采集網(wǎng)絡(luò)具有組網(wǎng)方便、功率損耗小、成本低等優(yōu)點，在該網(wǎng)絡(luò)的覆蓋范圍內(nèi)可以實現(xiàn)船舶航行速度、位置、氣象條件等信息的準(zhǔn)確采集。

2基于船舶大數(shù)據(jù)平臺的物聯(lián)網(wǎng)數(shù)據(jù)挖掘研究

［摘要］隨著保險數(shù)據(jù)規(guī)模的急劇增長，如何依靠數(shù)據(jù)治理策略，有效地降低保險大數(shù)據(jù)的維護成本，進而充分彰顯保險數(shù)據(jù)的實際價值，已成為保險領(lǐng)域的熱門研究話題。本文在對當(dāng)前保險行業(yè)數(shù)據(jù)系統(tǒng)缺陷分析的基礎(chǔ)上，給出了保險大數(shù)據(jù)環(huán)境下的數(shù)據(jù)治理框架范式。該框架范式包含了針對保險大數(shù)據(jù)的數(shù)據(jù)治理、數(shù)據(jù)監(jiān)控、數(shù)據(jù)應(yīng)用等方面，這對保險領(lǐng)域大數(shù)據(jù)治理體系的建立有著重要的理論意義和現(xiàn)實價值。在此基礎(chǔ)上，進一步分析了人工智能方法在該數(shù)據(jù)治理框架下的應(yīng)用前景。

［關(guān)鍵詞］大數(shù)據(jù)；保險領(lǐng)域；數(shù)據(jù)治理；數(shù)據(jù)質(zhì)量；人工智能

隨著移動互聯(lián)網(wǎng)等技術(shù)的迅猛發(fā)展，絕大多數(shù)保險企業(yè)都上線投入并運行了與自身管理相關(guān)的業(yè)務(wù)系統(tǒng)，這些線上保險業(yè)務(wù)系統(tǒng)在輔助保險人和后臺管理人員工作效率方面都取得了顯著的成效。然而，伴隨著數(shù)據(jù)規(guī)模的急劇增長，各類不完善數(shù)據(jù)（如不確定、不精確、沖突、不真實）的存在，使得保險企業(yè)對于商業(yè)保險數(shù)據(jù)的有效挖掘和深度分析舉步維艱。為此，針對保險大數(shù)據(jù)的治理理念應(yīng)運而生。保險企業(yè)能夠通過數(shù)據(jù)治理加強數(shù)據(jù)的管理，提升數(shù)據(jù)的質(zhì)量，充分地挖掘保險商業(yè)數(shù)據(jù)的價值［1］。

一、保險大數(shù)據(jù)治理的框架

伴隨著線上線下保險業(yè)務(wù)的飛速發(fā)展，保險企業(yè)所搜集的數(shù)據(jù)普遍存在著各級信息子系統(tǒng)間的數(shù)據(jù)規(guī)范和標(biāo)準(zhǔn)不一致等問題，致使內(nèi)部管控與監(jiān)管、外部服務(wù)與監(jiān)控間的協(xié)同性問題越來越突出，具體表現(xiàn)在如下幾方面：（1）缺乏一致的數(shù)據(jù)格式，進而導(dǎo)致保險企業(yè)系統(tǒng)內(nèi)部對各渠道獲取的數(shù)據(jù)難以形成一致的表述；（2）各地區(qū)保險業(yè)務(wù)數(shù)據(jù)本身的真實性、準(zhǔn)確性、可靠性等方面無法保障；（3）保險企業(yè)自身的數(shù)據(jù)治理系統(tǒng)不完備，難以實現(xiàn)對時序性保險數(shù)據(jù)質(zhì)量的有效監(jiān)控；（4）商業(yè)保險數(shù)據(jù)本身的隱私性、安全性難以有效保障［2］。為了有效解決這些問題，針對保險大數(shù)據(jù)的數(shù)據(jù)治理框架的提出顯得尤為迫切。保險大數(shù)據(jù)的治理系統(tǒng)本身就是一個匯集數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量提升和數(shù)據(jù)應(yīng)用為一體的系統(tǒng)。該系統(tǒng)能夠通過構(gòu)建有效的數(shù)據(jù)管理規(guī)范、方法與機制，使保險企業(yè)收集的業(yè)務(wù)數(shù)據(jù)等依據(jù)規(guī)范進行存儲，并通過相應(yīng)監(jiān)控手段進行調(diào)整與質(zhì)量提升，從而最大化程度地實現(xiàn)保險商業(yè)數(shù)據(jù)的價值。正因為數(shù)據(jù)治理對于保險行業(yè)的重要性，2018年5月，銀保監(jiān)會印發(fā)了《銀行業(yè)金融機構(gòu)數(shù)據(jù)治理指引的通知》（銀保監(jiān)發(fā)〔2018〕22號），從國家層面開啟了數(shù)據(jù)治理的發(fā)展新趨勢［3］。數(shù)據(jù)治理的概念越來越受到了國家、行業(yè)、企業(yè)的多方關(guān)注，目前已然成為大數(shù)據(jù)生態(tài)產(chǎn)業(yè)中的重要構(gòu)成因素。本文從實際應(yīng)用考慮，將大數(shù)據(jù)治理系統(tǒng)的主要構(gòu)成繪制于圖1所示。從圖1中可以看出，保險數(shù)據(jù)治理本身就是一個系統(tǒng)性問題，為了能夠更高效率地取得保險大數(shù)據(jù)的治理效果，保險數(shù)據(jù)治理的步驟應(yīng)當(dāng)按照四字方針執(zhí)行，即：管、梳、治、用。其中，“管”對應(yīng)的是保險數(shù)據(jù)治理最重要的任務(wù)——數(shù)據(jù)的管理；“梳”是數(shù)據(jù)的梳理；“治”是對保險數(shù)據(jù)進行質(zhì)量與安全性的全面監(jiān)控；“用”則是最高層級的治理，保險企業(yè)挖掘數(shù)據(jù)本身的價值，將其應(yīng)用于提升企業(yè)效益等等方面［4］。圖1數(shù)據(jù)治理框架

（一）數(shù)據(jù)管理

在人類生活和社會生產(chǎn)的各個行業(yè)中都需要運用到大數(shù)據(jù)，極大提高了人們的生活質(zhì)量和社會生產(chǎn)的效率[1]。但是當(dāng)今社會是技術(shù)更新日新月異的時代，為了促使大數(shù)據(jù)更好為人類提供服務(wù)以及促進其自身的不斷崛起，需要挖掘更加豐富、有效且多元化的數(shù)據(jù)信息內(nèi)容，才能滿足社會發(fā)展的需求，也能有效鞏固大數(shù)據(jù)在社會發(fā)展中的重要地位。

1相關(guān)概述

1.1大數(shù)據(jù)

大數(shù)據(jù)又被稱為巨量數(shù)據(jù)，其是在物聯(lián)網(wǎng)、云制造技術(shù)影響下產(chǎn)生的一種新型的信息處理模式，通過分析信息資產(chǎn)的變化規(guī)律，從而使信息處理具有更高的流程優(yōu)化能力和決策洞察能力。

1.2大數(shù)據(jù)崛起

大數(shù)據(jù)風(fēng)暴已影響到全世界的各個角落，在社會中的各個領(lǐng)域都需要通過數(shù)據(jù)分析各行業(yè)的運營情況，并根據(jù)數(shù)據(jù)分析結(jié)果作好相應(yīng)的決策與判斷，因此，大數(shù)據(jù)已在社會中得到廣泛使用并快速崛起。企業(yè)通過將所有的業(yè)務(wù)數(shù)據(jù)信息進行整合分析，形成高速、真實及多樣的管理模式，將能有效降低企業(yè)業(yè)務(wù)操作的資源損耗，同時還能有效提升企業(yè)工作的質(zhì)量和效率[2]。

近些年來，信息科技和網(wǎng)絡(luò)的通信技術(shù)已經(jīng)得到了飛速的發(fā)展，并且全國的信息基礎(chǔ)設(shè)施也得到了完善，在全球的數(shù)據(jù)已經(jīng)呈現(xiàn)出了極速增長的模式狀態(tài)。在此種情況下，傳統(tǒng)的數(shù)據(jù)處理方式已經(jīng)滿足不了現(xiàn)代化的處理需求，因此需要利用大數(shù)據(jù)的自動分析和數(shù)據(jù)挖掘來實現(xiàn)對數(shù)據(jù)的有效分享和利用。大數(shù)據(jù)科學(xué)已經(jīng)成為了一個橫跨信息科學(xué)、社會科學(xué)以及網(wǎng)絡(luò)科學(xué)的新型交叉學(xué)科，受到了學(xué)術(shù)界的廣泛關(guān)注。

一、遙感大數(shù)據(jù)的概述以及特征

在現(xiàn)代社會當(dāng)中，遙感大數(shù)據(jù)已經(jīng)成為了大數(shù)據(jù)的重要代表，成為了科學(xué)研究方面的重點研究方面，但是在現(xiàn)階段當(dāng)中還需要對其科學(xué)理論和方式進行不斷的深入研究。遙感大數(shù)據(jù)具有大數(shù)據(jù)的特征，并且也具有自身獨特的特征。在外部特征方面，首先具有海量的特征。遙感大數(shù)據(jù)的數(shù)據(jù)具有海量的特點，并且對著遙感技術(shù)的不斷發(fā)展，在現(xiàn)階段當(dāng)中的高分辨率和高動態(tài)的新型衛(wèi)星傳感器在單位時間之內(nèi)可以捕獲到更多的數(shù)據(jù)量；其次還具有數(shù)據(jù)異構(gòu)的特點，也就是說在數(shù)據(jù)生產(chǎn)過程當(dāng)中所依賴到的業(yè)務(wù)系統(tǒng)之間會呈現(xiàn)出的不同狀態(tài)，都需要由不同的數(shù)據(jù)中心來進行提供的，并且在邏輯結(jié)構(gòu)或者組織方式上也呈現(xiàn)出了不同的特點；另外，還具有數(shù)據(jù)多源的特點，集中體現(xiàn)在數(shù)據(jù)的來源和捕獲信息的手段方面，是可以擁有多種獲取形式的，包括全球的觀察網(wǎng)絡(luò)點接收到的實時信息，以及民眾手中的用戶端的個性化信息。在內(nèi)部特征方面，首先具有高維度性的特點，遙感大數(shù)據(jù)的數(shù)據(jù)類型呈現(xiàn)出了多樣化的特點，因此數(shù)據(jù)當(dāng)中的維度也變得越來越高，集中體現(xiàn)在了空間維度、時間維度以及光譜維度等。其次還具有多尺度性的特點，成為了遙感大數(shù)據(jù)的重要特點，也就是說在進行數(shù)據(jù)的獲取過程當(dāng)中，可以根據(jù)不同的遙感技術(shù)和相對應(yīng)的技術(shù)水平，來進行有效的劃分，在空間和時間上呈現(xiàn)出多尺度的特點。另外，還具有非平穩(wěn)性的特點，由于遙感大數(shù)據(jù)廣泛的獲取方式和物理意義，在信息理論的角度上來說，就屬于典型的非平穩(wěn)信號，呈現(xiàn)出分布參數(shù)或者規(guī)律隨時發(fā)生變化的特點。

二、遙感大數(shù)據(jù)的自動分析和數(shù)據(jù)挖掘

2.1 自動分析。首先，需要對遙感大數(shù)據(jù)的表達(dá)進行了解，在這個過程當(dāng)中需要抽取多元化的特征來進行表示，從而建立起遙感大數(shù)據(jù)的目標(biāo)一體化，在研究過程當(dāng)中主要包括對遙感大數(shù)據(jù)的多元離散特征的有效提取，形成在不同的傳感器當(dāng)中的提取方式和方法。還要對若干大數(shù)據(jù)的多元特征進行歸一化的表達(dá)，從而提升對大數(shù)據(jù)的處理能力和處理效率。其次就需要對遙感大數(shù)據(jù)進行相關(guān)的檢索，在檢索過程當(dāng)中，需要利用網(wǎng)絡(luò)化和集成化的方式進行檢索，制定出基礎(chǔ)設(shè)施的計劃，提升對其數(shù)據(jù)的訪問和檢索效率。并且針對海量的遙感大數(shù)據(jù)來會說，需要檢索出符合用戶需求和感興趣的內(nèi)容和數(shù)據(jù)，就需要對數(shù)據(jù)內(nèi)容進行比對，從而判斷出用戶所需要的內(nèi)容，從大量的數(shù)據(jù)當(dāng)中進行快速的檢索到目標(biāo)。在檢索的過程當(dāng)中，發(fā)展知識驅(qū)動的遙感大數(shù)據(jù)的檢索方式是最有效的方式之一，可以分為場景檢索服務(wù)、多源海量復(fù)雜場景數(shù)據(jù)的智能檢索以及信息數(shù)據(jù)的檢索等。另外，就是對遙感大數(shù)據(jù)的理解的，通過遙感大數(shù)據(jù)的科學(xué)，可以實現(xiàn)數(shù)據(jù)向知識的有效轉(zhuǎn)變，在這個過程當(dāng)中就需要根據(jù)遙感大數(shù)據(jù)本身的特征和數(shù)據(jù)檢索的方式來對數(shù)據(jù)內(nèi)容實現(xiàn)有效的提取。最后就是遙感大數(shù)據(jù)云的技術(shù)，可以將各種方式的遙感信息資源進行有效的整合，建立起遙感云服務(wù)的相關(guān)新型業(yè)務(wù)應(yīng)用和服務(wù)模式，可以將在天空當(dāng)中的傳感器所捕捉到的信息通過軟件的計算和整合來實現(xiàn)數(shù)據(jù)資源的有效存儲和處理，從而使得用戶可以在很快的時間之內(nèi)獲取到有效的服務(wù)。

2.2 數(shù)據(jù)挖掘。首先需要對遙感大數(shù)據(jù)的數(shù)據(jù)挖掘過程進行了解，包括數(shù)據(jù)的獲取、存儲以及處理和整合等，在整個過程當(dāng)中都具有大數(shù)據(jù)的特點。在進行捕獲數(shù)據(jù)的過程當(dāng)中可以從各種不同的傳感器當(dāng)中進行獲取，然后對數(shù)據(jù)進行采樣和過濾，之后就可以對采集到的數(shù)據(jù)進行處理和分析，最后將其數(shù)據(jù)用可視化的模式進行顯示，方便了客戶的使用和利用。其次，就是遙感大數(shù)據(jù)和廣義的遙感大數(shù)據(jù)的綜合挖掘的過程，利用此種方式，一方面可以與其他的數(shù)據(jù)方式形成良好的互補關(guān)系，另外一方面也可以對其數(shù)據(jù)當(dāng)中的變化規(guī)律以及其他信息進行更好的挖掘和采集。在廣義的遙感時空大數(shù)據(jù)當(dāng)中，存儲的費用是相當(dāng)昂貴的，并且在數(shù)據(jù)的分析能力方面也存在嚴(yán)重不足的現(xiàn)象，因此在現(xiàn)代社會的智慧城市的建設(shè)過程當(dāng)中發(fā)揮不了其巨大的作用，因此需要利用其他自動化的數(shù)據(jù)智能處理和挖掘的方式來對其空間地理分布的數(shù)據(jù)進行全新的挖掘和過濾。在時空分布的視頻數(shù)據(jù)挖掘過程當(dāng)中，在對智能數(shù)據(jù)進行處理和信息提取的同時，還要通過時空當(dāng)中所分布的視頻數(shù)據(jù)進行自動化的區(qū)分，來有效的區(qū)分正常和非正常的狀態(tài)。在對時空數(shù)據(jù)的挖掘過程當(dāng)中，主要可以從時空數(shù)據(jù)當(dāng)中進行提取出隱藏的有用的信息知識，利用各種綜合性的方式和方法，比如統(tǒng)計法、聚類法、歸納法以及云理論等。在遙感大數(shù)據(jù)的挖掘應(yīng)用方面，可以適用于地球各種尺度和方位的變化，還可以在很大程度上對未知的信息進行良好的篩選和挖掘，推動國家的科學(xué)技術(shù)的發(fā)展，實現(xiàn)社會的可持續(xù)化發(fā)展。

甲方：_________________

乙方：_________________

雙方經(jīng)平等協(xié)商同意，自愿簽訂本協(xié)議，共同遵守本協(xié)議所列條款。

1．保密的內(nèi)容和范圍

（1）涉及甲方具體的信息，包括甲方使用600s．net保存在乙方服務(wù)器上的數(shù)據(jù)。

（2）凡以直接、間接、口頭或書面等形式提供涉及保密內(nèi)容的行為均屬泄密。

在大數(shù)據(jù)背景下，許多傳統(tǒng)科學(xué)技術(shù)的發(fā)展達(dá)到了新的高度，同時也衍生出一些新興技術(shù)，這些推動著互聯(lián)網(wǎng)行業(yè)的前行。新技術(shù)的發(fā)展也伴隨著新問題的產(chǎn)生，現(xiàn)有的數(shù)據(jù)處理技術(shù)難以滿足大數(shù)據(jù)發(fā)展的需要，在數(shù)據(jù)保護等方面依舊存在著一定的風(fēng)險。因此，進一步完善大數(shù)據(jù)技術(shù)是當(dāng)下需要攻克的難題。本文主要進行了大數(shù)據(jù)的簡單引入，介紹數(shù)據(jù)挖掘技術(shù)及其應(yīng)用，分析了當(dāng)下的發(fā)展進度和面臨的困難。

1大數(shù)據(jù)的相關(guān)引入

1.1大數(shù)據(jù)的概念。大數(shù)據(jù)主要指傳統(tǒng)數(shù)據(jù)處理軟件無法處理的數(shù)據(jù)集，大數(shù)據(jù)有海量、多樣、高速和易變四大特點，通過大數(shù)據(jù)的使用，可以催生出新的信息處理形式，實現(xiàn)信息挖掘的有效性。大數(shù)據(jù)技術(shù)存在的意義不僅在于收集海量的信息，更在于專業(yè)化的處理和分析，將信息轉(zhuǎn)化為數(shù)據(jù)，從數(shù)據(jù)中提取有價值的知識。大數(shù)據(jù)分析與云計算關(guān)系密切，數(shù)據(jù)分析必須依托于云計算的分布式處理、分布式數(shù)據(jù)庫等。1.2大數(shù)據(jù)的特點。伴隨著越來越多的學(xué)者投入到對大數(shù)據(jù)的研究當(dāng)中，其特點也逐漸明晰，都廣泛的提及了這四個特點。（1）海量的數(shù)據(jù)規(guī)模，信息的數(shù)據(jù)體量明顯區(qū)別于以往的GB、TB等計量單位，在大數(shù)據(jù)領(lǐng)域主要指可以突破IZP的數(shù)量級。（2）快速的數(shù)據(jù)流轉(zhuǎn)，大數(shù)據(jù)作用的領(lǐng)域時刻處在數(shù)據(jù)更新的環(huán)境下，高效快速的分析數(shù)據(jù)是保證信息處理有效的前提。（3）多樣的數(shù)據(jù)類型，廣泛的數(shù)據(jù)來源催生出更加多樣的數(shù)據(jù)結(jié)構(gòu)。（4）價值低密度，也是大數(shù)據(jù)的核心特征，相較于傳統(tǒng)數(shù)據(jù)，大數(shù)據(jù)更加多變、模糊，給數(shù)據(jù)分析帶來困擾，從而難以從中高密度的取得有價值的信息。1.3大數(shù)據(jù)的結(jié)構(gòu)。大數(shù)據(jù)主要分為結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化三種數(shù)據(jù)結(jié)構(gòu)。結(jié)構(gòu)化一般指類似于數(shù)據(jù)庫的數(shù)據(jù)管理模式。半結(jié)構(gòu)化具有一定的結(jié)構(gòu)性，但相比結(jié)構(gòu)化來說更加靈活多變。目前非結(jié)構(gòu)化數(shù)據(jù)占據(jù)所有數(shù)據(jù)的70%-80%，原因在于互聯(lián)網(wǎng)上的信息內(nèi)容多種多樣，暫時無法找到有序的存儲歸類方法。1.4大數(shù)據(jù)技術(shù)大數(shù)據(jù)技術(shù)是指如何從各種類型的數(shù)據(jù)中，獲得有利用價值的信息，其中大數(shù)據(jù)技術(shù)包括數(shù)據(jù)收集、數(shù)據(jù)存取、數(shù)據(jù)架構(gòu)、數(shù)據(jù)處理、統(tǒng)計分析、數(shù)據(jù)挖掘、數(shù)據(jù)預(yù)測和結(jié)果呈現(xiàn)。在大數(shù)據(jù)的生命周期中，數(shù)據(jù)收集處于第一階段，主要來源有管理信息系統(tǒng)、Web信息系統(tǒng)等。根據(jù)數(shù)據(jù)結(jié)構(gòu)類型不同，大數(shù)據(jù)的存取采用三種不同的形式，這樣有利于其他技術(shù)的應(yīng)用。數(shù)據(jù)架構(gòu)源于谷歌提出的一種基于軟件的可靠文件存儲體系GFS（Google文件系統(tǒng)），相應(yīng)推出的還有MapReduce計算模型，二者共同解決了當(dāng)時的文件存儲和運算問題。而后隨著需求的不斷增多，有學(xué)者基于谷歌的研究，開發(fā)出可以滿足更多需求的Hadoop。

2數(shù)據(jù)挖掘技術(shù)

2.1數(shù)據(jù)挖掘技術(shù)以及云計算。如今全球每年都有數(shù)十億人使用著計算機等電子設(shè)備，并產(chǎn)生了龐大的數(shù)據(jù)，各行各業(yè)都已經(jīng)被數(shù)據(jù)所滲透，在大數(shù)據(jù)時代，數(shù)據(jù)挖掘已成為不可或缺的技術(shù)。數(shù)據(jù)挖掘通過統(tǒng)計、在線分析、情報檢索、機器學(xué)習(xí)、專家系統(tǒng)和模式識別等諸多方法來實現(xiàn)從海量數(shù)據(jù)中搜索隱藏于其中的信息這一過程。云計算是分布計算的其中一種，通常是指：通過網(wǎng)絡(luò)搜集共享計算資源，并以最低的管理代價和最精準(zhǔn)的計算方式獲取結(jié)果的新型IT運算模式。也就是說云計算技術(shù)將龐大的數(shù)據(jù)計算處理程序拆分為一個個小程序，再通過多個服務(wù)器分別計算、處理和分析，最后將結(jié)果匯總并返回給用戶。這項技術(shù)可以在短時間內(nèi)迅速完成海量的數(shù)據(jù)處理，從而為日益更新的互聯(lián)網(wǎng)服務(wù)。2.2數(shù)據(jù)挖掘的發(fā)展現(xiàn)狀。從最早的數(shù)據(jù)庫技術(shù)，到如今逐漸發(fā)展成熟的大數(shù)據(jù)技術(shù)，其目的都是實現(xiàn)數(shù)據(jù)的高效管理和有效利用。數(shù)據(jù)在我們身邊無處不在，數(shù)據(jù)的收集已經(jīng)不再是困擾我們的難題，如何將隱藏在數(shù)據(jù)背后的信息高效率的挖掘出來，才是我們需要探索的道路。如今數(shù)據(jù)挖掘技術(shù)已發(fā)展為：數(shù)據(jù)源提供數(shù)據(jù)，再將預(yù)處理的數(shù)據(jù)整合成適用的模式，由模式分析出這些數(shù)據(jù)中有用的知識。2.3數(shù)據(jù)挖掘中的經(jīng)典算法。2.3.1C4.5算法C4.5算法是在決策樹算法的基礎(chǔ)之上改進的，根據(jù)對目標(biāo)變量產(chǎn)生的效果的不同而構(gòu)建的分類規(guī)則，其原理是根據(jù)每次選擇一個特征或分裂點作為當(dāng)前節(jié)點的分類條件。C4.5算法繼承了決策樹算法的優(yōu)點：過程可見、操作簡便、準(zhǔn)確率高，可同時也有難以基于組合的形式發(fā)現(xiàn)規(guī)律。2.3.2K-Means算法即K均值聚類算法K均值聚類算法顧名思義是一種聚類算法，將n個對象根據(jù)屬性分為k個分割，計算出每個對象與各個種子聚類間的距離，然后將每類對象分配給最近的聚類中心，這樣每個聚類中心再不斷重復(fù)以上操作以達(dá)到某個終止條件。這種算法的優(yōu)點是容易實現(xiàn)，但在大規(guī)模數(shù)據(jù)的運用上效率較低，一般適用于數(shù)值型數(shù)據(jù)。

3最新數(shù)據(jù)挖掘技術(shù)及其應(yīng)用

摘要：大數(shù)據(jù)使現(xiàn)代化信息技術(shù)實現(xiàn)了高速發(fā)展,利用現(xiàn)代化信息技術(shù)建立狀態(tài)數(shù)據(jù)采集系統(tǒng)進行院校評估，是院校管理的發(fā)展方向。數(shù)據(jù)采集系統(tǒng)不應(yīng)只注重平臺服務(wù)而忽視了功能的挖掘與發(fā)揮。數(shù)據(jù)挖掘技術(shù)對高職狀態(tài)數(shù)據(jù)采集的應(yīng)用系統(tǒng)建設(shè)方法應(yīng)注重關(guān)聯(lián)規(guī)則方法和聚類分析方法的構(gòu)建與使用。

關(guān)鍵詞：數(shù)據(jù)挖掘技術(shù)；狀態(tài)數(shù)據(jù)；數(shù)據(jù)采集；應(yīng)用系統(tǒng)

數(shù)據(jù)采集應(yīng)用系統(tǒng)又被稱之為高職院校人才培養(yǎng)工作狀態(tài)數(shù)據(jù)采集應(yīng)用系統(tǒng)，該數(shù)據(jù)采集應(yīng)用系統(tǒng)在2008年得到教育部門批準(zhǔn)并公布實施，這使數(shù)據(jù)采集應(yīng)用系統(tǒng)成為高職院校進行方案評估的重要組成部分，并越來越受到各個高職院校的關(guān)注與重視。不過，由于數(shù)據(jù)采集應(yīng)用系統(tǒng)出現(xiàn)的時間較短，各個高職院校還沒有真正認(rèn)識到數(shù)據(jù)采集應(yīng)用系統(tǒng)的作用，對數(shù)據(jù)采集應(yīng)用系統(tǒng)的框架體系與邏輯關(guān)系的理解仍舊需要一段時間，對應(yīng)用系統(tǒng)中相關(guān)聯(lián)的數(shù)據(jù)進行聚合，使其成為一種能夠幫助學(xué)院進行教學(xué)決策與管理的價值信息，更需要探索一種新的數(shù)據(jù)分析方法，再加上高職院校只注重系統(tǒng)的服務(wù)評估功能而忽視了其他功能的挖掘與應(yīng)用，這就造成許多高職院校只是在填報時才會用到該系統(tǒng)，而在填報過后便成為了擺設(shè)，這使數(shù)據(jù)采集應(yīng)用系統(tǒng)的作用未得到真正發(fā)揮，利用率較低。為此，針對以上問題，通過數(shù)據(jù)挖掘技術(shù)對高職狀態(tài)數(shù)據(jù)采集應(yīng)用系統(tǒng)進行深化分析。

1數(shù)據(jù)挖掘技術(shù)

大數(shù)據(jù)具有增長速度快、海量、多樣、真實、價值密度低五大特點，從數(shù)據(jù)本身進行分析，所謂數(shù)據(jù)挖掘技術(shù)便是通過算法搜索，從海量的大數(shù)據(jù)中對價值密度低的價值數(shù)據(jù)進行挖掘與收集的過程。數(shù)據(jù)挖掘技術(shù)和計算機科學(xué)有著緊密的聯(lián)系，通過數(shù)據(jù)的統(tǒng)計、處理、機器學(xué)習(xí)、模式識別、情報檢索等諸多手段來達(dá)成價值數(shù)據(jù)挖掘目的。這些手段能使企業(yè)決策者根據(jù)價值數(shù)據(jù)來對策略進行調(diào)整，以此降低風(fēng)險，并做出正確決策。數(shù)據(jù)挖掘由三個階段構(gòu)成：數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘、結(jié)果表達(dá)。

2數(shù)據(jù)挖掘技術(shù)在高職狀態(tài)數(shù)據(jù)采集應(yīng)用系統(tǒng)中的深化基礎(chǔ)

[摘要]文章在介紹SQLServer2000下的數(shù)據(jù)庫數(shù)據(jù)導(dǎo)入導(dǎo)出方法的基礎(chǔ)上，著重討論了如何實現(xiàn)基于網(wǎng)頁的數(shù)據(jù)庫數(shù)據(jù)導(dǎo)入。

[關(guān)鍵詞]SQLServer2000；數(shù)據(jù)導(dǎo)入；DTS

1SQLServer2000常用的數(shù)據(jù)導(dǎo)入導(dǎo)出方法

1.1通過DTS的設(shè)計器進行導(dǎo)入或?qū)С?/p>

DTS的設(shè)計器功能強大，支持多任務(wù)，也是可視化界面，易于操作，但熟悉的人一般不多，如果只是進行SQLServer數(shù)據(jù)庫中部分表的移動，用這種方法最好，當(dāng)然，也可以進行全部表的移動。在SQLServerEnterpriseManager中，展開服務(wù)器左邊的＋，選擇數(shù)據(jù)庫，右擊，選擇Alltasks/ImportData...(或Alltasks/ExportData...)，進入向?qū)Ｊ?，然后按照提示一步一步進行就可以了，里面分得非常詳細(xì)，可以靈活的在不同數(shù)據(jù)源之間復(fù)制數(shù)據(jù)，非常的方便，而且還可以另存成DTS包，如果以后還有相同的復(fù)制任務(wù)，直接運行DTS包就行，省時省力。也可以直接打開DTS設(shè)計器，方法是展開服務(wù)器名稱下面的DataTransformationServices，選LocalPackages，在右邊的窗口中右擊，選NewPackage，就打開了DTS設(shè)計器。值得注意的是：如果源數(shù)據(jù)庫要拷貝的表有外鍵，注意移動的順序，有時要分批移動，否則外鍵主鍵，索引可能丟失，移動的時候選項旁邊的提示說的很明白，或者一次性的復(fù)制到目標(biāo)數(shù)據(jù)庫中，再重新建立外鍵，主鍵，索引。其實在建立數(shù)據(jù)庫時，建立外鍵，主鍵，索引的文件應(yīng)該和建表文件分開，而且用的數(shù)據(jù)文件也分開，并分別放在不同的驅(qū)動器上，有利于數(shù)據(jù)庫的優(yōu)化。

1.2利用Bcp工具

【摘要】在互聯(lián)網(wǎng)發(fā)展的早期，雖然每天也會產(chǎn)生很多新的數(shù)據(jù)，但是數(shù)據(jù)量相對而言還可以用人力分析的方法來處理，并且對于固定的某個站點和角度去切入的話，所需要處理的數(shù)據(jù)量就更少了。隨著互聯(lián)網(wǎng)的飛速發(fā)展，每天產(chǎn)生的全新數(shù)據(jù)越來越多，并且呈指數(shù)態(tài)勢上升，大量的數(shù)據(jù)中勢必蘊含著大量有價值的信息，如果能抽取出這些信息，那么對于企業(yè)的發(fā)展和社會的發(fā)展都將大有裨益，在這個背景之下，很多數(shù)據(jù)挖掘處理方法應(yīng)運而生。數(shù)據(jù)挖掘即使用計算機工具從海量的數(shù)據(jù)中挖掘出有價值的模式和規(guī)律，并用這些模式和規(guī)律去預(yù)測和指導(dǎo)未來的行為。在當(dāng)今的互聯(lián)網(wǎng)背景之下，最為常用的數(shù)據(jù)挖掘算法有頻繁模式挖掘、聚類分析、決策樹和貝葉斯網(wǎng)絡(luò)等，本文將從若干方面入手，條理系統(tǒng)地介紹一下各類數(shù)據(jù)挖掘算法的原理、使用方法以及適用范圍，力求為數(shù)據(jù)挖掘算法的應(yīng)用提供一個良好的參考和指導(dǎo)。

【關(guān)鍵詞】數(shù)據(jù)挖掘；頻繁模式挖掘；聚類分析

1導(dǎo)論

1.1背景問題.當(dāng)今互聯(lián)網(wǎng)上90%以上的數(shù)據(jù)都是在兩年內(nèi)產(chǎn)生的，并且每天產(chǎn)生的數(shù)據(jù)量仍然在以巨大的速度上升，在這樣的背景之下，對于海量的數(shù)據(jù)僅僅有接收和存儲的能力是不夠的，還需要對這些數(shù)據(jù)進行有效的處理，進而獲取能指導(dǎo)未來行為的規(guī)律和模式，并提高企業(yè)、社會、組織和機構(gòu)的效益以及效率。計算機處理數(shù)據(jù)的速度很快，但是從海量數(shù)據(jù)中挖掘規(guī)律并不是簡單的操作，因此需要有行之有效的數(shù)據(jù)挖掘算法來完成在數(shù)據(jù)中“沙里淘金”的過程，因此各種數(shù)據(jù)挖掘算法也就應(yīng)運而生了。1.2研究綜述.在數(shù)據(jù)挖掘領(lǐng)域中，涌現(xiàn)了一大批各式各樣的算法，其中應(yīng)用最為廣泛的是頻繁模式挖掘、聚類分析、決策樹和隨機森林、貝葉斯網(wǎng)絡(luò)這四類，其他算法很多是基于這四大類算法的改進和擴展。其中頻繁模式挖掘的作用是從大量的數(shù)據(jù)（事務(wù)集）中獲取某些項之間的相關(guān)模式，它可以用于指導(dǎo)項之間的關(guān)聯(lián)分析。聚類分析的作用是對于大量的數(shù)據(jù)進行聚類操作，通過查看哪些數(shù)據(jù)聚攏在一起來對數(shù)據(jù)進行分類和相關(guān)分析。決策樹是通過以數(shù)據(jù)中各個屬性為分類依據(jù)將數(shù)據(jù)不算分類，最終構(gòu)成一個樹的形態(tài)，用于對數(shù)據(jù)進行分類判別處理；隨機森林是使用多棵決策樹同時進行判別和分類，最終投票選出結(jié)果。貝葉斯網(wǎng)絡(luò)同樣是一種分類算法，在已知“執(zhí)因索果”的前提條件下，通過條件概率和貝葉斯概率公式，進行“執(zhí)果索因”的操作，是貝葉斯公式的成功運用。1.3本文介紹.本文從頻繁模式挖掘和聚類分析的角度出發(fā)，分別對這兩個算法進行介紹和分析。每一部分算法都分為三個部分，分別是算法介紹、算法過程以及算法分析。算法介紹部分主要是關(guān)于算法的主要思想，算法過程部分介紹了算法具體模型和執(zhí)行過程，在算法分析部分，本文從算法的優(yōu)缺點和應(yīng)用場景分別給出了解釋和說明。

2頻繁模式挖掘

2.1算法介紹.頻繁模式挖掘的目的是在大量的數(shù)據(jù)中獲取到頻繁出現(xiàn)的模式，這些模式以規(guī)則的形式出現(xiàn)，即X→Y的形式，其中X和Y都是項集，即若干項組成的集合，這個規(guī)則表示的含義是“若項集X出現(xiàn)，則項集Y也可能會出現(xiàn)”，那么如果要度量這個規(guī)則是否可用，需要從兩個方面入手，即這個規(guī)則足夠常見以及這個規(guī)則足夠可信。對于“足夠常見”的度量，有一個度量指標(biāo)叫做支持度，對于集合S來說，它的支持度表示為sup（s）={ti｜S奐ti，ti奐T}T，其中T是全體數(shù)據(jù)，以事務(wù)集的形式給出（即若干原始項集構(gòu)成的列表），ti是事務(wù)集中的一個事務(wù)（即一個原始項集）。一個集合的支持度越高，那么它就出現(xiàn)得越頻繁。對于“足夠可信”的度量，有一個度量指標(biāo)叫置信度，對于規(guī)則X→Y而言，它的置信度表示為conf（X→Y）=sup（X∪Y）sup（X），即集合X∪Y的支持度與集合X的支持度的比值。對于一個合格有用的規(guī)則而言，它的支持度和置信度要同時滿足一定的標(biāo)準(zhǔn)才可以被接受，因此對于頻繁模式挖掘需要另外設(shè)置兩個閾值，分別是最小支持度閾值min_sup和最小置信度閾值min_conf，只有指定的規(guī)則同時滿足這兩個閾值的情況下，才可以認(rèn)為該規(guī)則是可以被接受的。對于具體的問題，最小支持度閾值和最小置信度閾值往往不同。2.2算法過程.對于頻繁模式挖掘而言，算法的步驟一共分為兩個大部分，即頻繁模式的計算和頻繁規(guī)則的計算，下邊分別介紹這兩個部分：2.2.1頻繁模式的計算.頻繁模式也叫頻繁項集，即從給定的數(shù)據(jù)集中找到那些頻繁出現(xiàn)的項集。頻繁模式的計算方法很多，如Fk-1×F1、Fk-1×Fk-1和FPTree等，這里著重介紹Fk-1×F1方法，下邊是計算過程：（1）首先計算所有的1-頻繁項集，并放入1-頻繁項集的集合中；（2）對于當(dāng)前的輪次（初始值為1），求兩個集合Fk的笛卡爾積，然后求出結(jié)果中所有的頻繁項集，對于（k-頻繁項集，放入其所屬的集合中；（3）進入下一輪次，重復(fù)執(zhí)行2）的操作；（4）如果某一輪中沒有新的頻繁項集產(chǎn)生，則算法終止。2.2.2頻繁規(guī)則的計算.頻繁規(guī)則的計算是要基于頻繁模式的，簡證如下：對于集合X1奐X，X2奐X，X1∩X2=覫，X1∪X2=X，X1≠覫，X2≠覫而言，所有可能的規(guī)則X1→X2的支持度都是X本身的支持度sup（X），因此如果直接求規(guī)則會產(chǎn)生大量重復(fù)的計算，并且如果X不是頻繁項集，那么規(guī)則X1→X2肯定也不是我們需要的規(guī)則，因此欲求頻繁規(guī)則，則應(yīng)先求頻繁模式，再由頻繁模式導(dǎo)出規(guī)則。對于給定頻繁項集X，從中導(dǎo)出規(guī)則的算法過程如下：（1）對于中的每一項，都構(gòu)造出類似X-xi的規(guī)則形式，并挑選出其中的有效規(guī)則備用；（2）兩兩合并后件中只有一個元素不同的規(guī)則，然后形成一個新的規(guī)則，判斷其是否是有效的，如果是，則仍然放入規(guī)則集合中，留待以后計算；（3）重復(fù)以上過程直到?jīng)]有新的規(guī)則產(chǎn)生。2.3算法特點.對于頻繁模式挖掘而言，它適合求取大量的數(shù)據(jù)中某些事務(wù)之間的關(guān)聯(lián)，并且過程簡潔明了，非常易于編寫和修改擴展。但是同樣地，頻繁模式挖掘算法的理論時間復(fù)雜度是指數(shù)級的，雖然經(jīng)過重重優(yōu)化之后的實際表現(xiàn)不錯，但是整體仍然需要進行大量的計算，因此當(dāng)數(shù)據(jù)集特別大的時候，使用頻繁模式挖掘很難迅速準(zhǔn)確地得到期待的結(jié)果。