云計算數(shù)據(jù)挖掘論文

時間:2022-03-26 04:30:18

導(dǎo)語:云計算數(shù)據(jù)挖掘論文一文來源于網(wǎng)友上傳,不代表本站觀點,若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。

云計算數(shù)據(jù)挖掘論文

1云計算數(shù)據(jù)挖掘

1.1云計算

云計算是并行計算和分布計算以及網(wǎng)格計算的發(fā)展,是一種在海量數(shù)據(jù)大規(guī)模的集合中能動態(tài)處理各種服務(wù)器數(shù)據(jù)資源的一類計算平臺,在電子商務(wù)、商業(yè)金融、科研開發(fā)等領(lǐng)域能得到廣泛的應(yīng)用。它具有大規(guī)模、虛擬化、高效率、通用性、廉價等特點,能針對不同的用戶的不同需求,動態(tài)透明地提供其所需的虛擬化計算和資源儲存,并能及時動態(tài)回收當(dāng)前用戶暫不利用的數(shù)據(jù)資源以提供給其他用戶,而其廉價、通用的特點,使得一般用戶實現(xiàn)大規(guī)模的數(shù)據(jù)操作成為可能。目前來說,云計算的平臺已得到良好的發(fā)展,日益成熟,基于云計算的應(yīng)用已經(jīng)可以相當(dāng)方便的部署和操作其數(shù)據(jù)資源。

1.2數(shù)據(jù)挖掘

數(shù)據(jù)挖掘技術(shù)是現(xiàn)代知識發(fā)現(xiàn)領(lǐng)域的一個重要技術(shù),它是指一個從隨機的大量而不完整的模糊的實際數(shù)據(jù)中提取其中某些隱含著的具有潛在價值的實用知識與信息的過程。其具體技術(shù)有特征化、聚類、關(guān)聯(lián)和預(yù)測分析等等,涉及到的高級技術(shù)領(lǐng)域有統(tǒng)計學(xué)、機器學(xué)習(xí)、模式識別、人工智能等方面。

2基于云計算的數(shù)據(jù)挖掘平臺構(gòu)架

網(wǎng)絡(luò)云的發(fā)展給數(shù)據(jù)挖掘提出了新的問題和時代的挑戰(zhàn),同時,也為數(shù)據(jù)挖掘提供了新的計算平臺和發(fā)展機遇?;谠朴嬎愕臄?shù)據(jù)挖掘系統(tǒng)平臺的發(fā)現(xiàn),解決了傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)出現(xiàn)的時代滯慢、效率較低、功能落后、成本高昂等問題。云計算是一種商業(yè)計算模式,是網(wǎng)格計算與并行計算及分布式計算在一定程度上的商業(yè)實現(xiàn),其動態(tài)、可伸縮的計算基于云計算的數(shù)據(jù)挖掘平臺架構(gòu)及其關(guān)鍵技術(shù)探討文/張瑤劉輝云計算是一種在互聯(lián)網(wǎng)時代中應(yīng)運而生的新興的網(wǎng)絡(luò)技術(shù),具有高效率、高容量、動態(tài)處理的特點,在社會的商業(yè)領(lǐng)域和科研領(lǐng)域表現(xiàn)出了其相當(dāng)高的應(yīng)用價值。將云計算應(yīng)用于數(shù)據(jù)挖掘平臺的構(gòu)架之中后,將能在很大程度上為現(xiàn)代社會中越來越海量的數(shù)據(jù)挖掘提供一個高效率的技術(shù)平臺。本文將結(jié)合云計算和數(shù)據(jù)挖掘的基本概念和現(xiàn)代意義,對數(shù)據(jù)挖掘的平臺構(gòu)架和相應(yīng)的關(guān)鍵技術(shù)做出簡要的分析探討。摘要能力使得進行高效的海量數(shù)據(jù)挖掘的目標(biāo)不再遙遠。同時,云計算SaaS功能日益被理解和標(biāo)準(zhǔn)化,使得基于云計算SaaS化的數(shù)據(jù)挖掘有了理論和技術(shù)的指導(dǎo),并具有了企業(yè)化與大眾化的發(fā)展趨勢。

2.1數(shù)據(jù)挖掘平臺構(gòu)架

建立在關(guān)系型數(shù)據(jù)庫之上的傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)構(gòu)架在現(xiàn)時代數(shù)據(jù)急劇膨脹和分析需求漸增的發(fā)展下已經(jīng)難以應(yīng)付社會的數(shù)據(jù)處理問題。而云計算的分布式存儲與計算形式則接受了當(dāng)代的數(shù)據(jù)挖掘難題,促成了適應(yīng)時代的云計算數(shù)據(jù)挖掘平臺構(gòu)架的形成。其包含了面向組件的設(shè)計理念和分層設(shè)計的思想方法。其構(gòu)架自下向上總共分為3層,分別為底層的云計算支撐平臺層、中間的數(shù)據(jù)挖掘能力層和上層的數(shù)據(jù)挖掘云服務(wù)層。

2.2基于云計算的數(shù)據(jù)挖掘平臺構(gòu)架各層意義

云計算支撐平臺層:顧名思義,該平臺層是云計算數(shù)據(jù)挖掘平臺的基礎(chǔ)處理平臺,其主要具有的功能是對分布式文件存儲與數(shù)據(jù)庫提供資源存儲,以及實行對數(shù)據(jù)的有關(guān)處理和計算功能。數(shù)據(jù)挖掘能力層:該平臺結(jié)構(gòu)層主要是提供挖掘的基礎(chǔ)能力,是數(shù)據(jù)挖掘的核心支撐平臺,并對數(shù)據(jù)挖掘云服務(wù)層提供能力支撐。該平臺層包含了算法數(shù)據(jù)并行處理、調(diào)度引起和服務(wù)管理的框架,該平臺層可以提供系統(tǒng)內(nèi)部的數(shù)據(jù)挖掘處理和推薦算法庫,亦支持第三方的數(shù)據(jù)挖掘算法工具的進入。數(shù)據(jù)挖掘云服務(wù)層:數(shù)據(jù)挖掘云服務(wù)層的主要功能是對外提供數(shù)據(jù)挖掘操作的云服務(wù),同時也能提供基于結(jié)構(gòu)化查詢的語言語句訪問,提供相關(guān)的解析引擎,以便于自動調(diào)用云服務(wù)。對外數(shù)據(jù)挖掘云服務(wù)能力封裝的接口形式多樣,包含了基于簡單對象訪問協(xié)議下的Webservice、XML、HTTP以及本地應(yīng)用程序的編程接口等多種形式。另外,在必要的時候,云服務(wù)層的各個業(yè)務(wù)系統(tǒng)可以進行數(shù)據(jù)挖掘云服務(wù)的調(diào)用和組裝。

3基于云計算的數(shù)據(jù)挖掘平臺構(gòu)架的關(guān)鍵技術(shù)探討

基于云計算的數(shù)據(jù)挖掘平臺構(gòu)架的形成,離不開現(xiàn)代先進的科技技術(shù),其中幾項關(guān)鍵的技術(shù)應(yīng)用將在這里進行簡要的闡述:

3.1云計算技術(shù)

3.1.1分布式儲存技術(shù)

通過采用分布式存儲的方式來存儲數(shù)據(jù),是云計算技術(shù)保證數(shù)據(jù)處理高可靠性和經(jīng)濟性的重要保證。用可靠的軟件來彌補硬件的不足,是分布式存儲技術(shù)提供廉價而又海量的數(shù)據(jù)挖掘支持的重要途徑。

3.1.2虛擬化技術(shù)

在云計算的環(huán)境下,數(shù)據(jù)挖掘能實現(xiàn)對大量的可用的虛擬化技術(shù)的應(yīng)用、整合,發(fā)展出一套全面虛擬化的運行戰(zhàn)略。云計算和虛擬化的共同組合,使數(shù)據(jù)挖掘?qū)崿F(xiàn)了跨系統(tǒng)下的資源調(diào)度,將海量的來源數(shù)據(jù)進行IT資源匯合,動態(tài)地實現(xiàn)對用戶的虛擬化資源的供給,從而以高效率、海量動態(tài)的特點完成服務(wù)任務(wù)。

3.1.3并行云計算技術(shù)

并行云計算技術(shù)是一種對于高效執(zhí)行數(shù)據(jù)挖掘計算任務(wù)極其重要的技術(shù),并且它對云計算的某些技術(shù)細節(jié)做出了封裝,例如任務(wù)并行、任務(wù)調(diào)度、任務(wù)容錯和系統(tǒng)容錯以及數(shù)據(jù)分布等。該功能代替了用戶對這些細節(jié)的考慮,使得研發(fā)效率得到了提高。

3.2數(shù)據(jù)匯集調(diào)度中心

數(shù)據(jù)匯集調(diào)度中心的功能主要是完成對不同類型的數(shù)據(jù)進行匯集。它實現(xiàn)了對接入該云計算數(shù)據(jù)挖掘平臺的業(yè)務(wù)數(shù)據(jù)收集匯合,能夠解決與不同數(shù)據(jù)的相關(guān)規(guī)約問題,并能支持多樣的源數(shù)據(jù)格式。

3.3服務(wù)調(diào)度與管理技術(shù)

對于基于云計算的數(shù)據(jù)挖掘平臺,為了使不同業(yè)務(wù)系統(tǒng)能夠使用本計算平臺,必須要提供相應(yīng)的服務(wù)調(diào)度與管理功能。服務(wù)調(diào)度解決云服務(wù)下的并行互斥以及隔離等問題,以保證安全、可靠的平臺的云服務(wù)。服務(wù)管理功能要實現(xiàn)統(tǒng)一的服務(wù)注冊與服務(wù)暴露功能,并且支持接入第三方的數(shù)據(jù)挖掘,以更好地擴展平臺的服務(wù)能力。

4結(jié)束語

在時代的需求下,云計算技術(shù)的出現(xiàn)是并行計算技術(shù)、網(wǎng)絡(luò)技術(shù)和軟件技術(shù)不斷發(fā)展的必然產(chǎn)物。現(xiàn)代社會,云計算已經(jīng)體現(xiàn)了其在商業(yè)、電子和科研開發(fā)的高價值?;谠朴嬎愕臄?shù)據(jù)挖掘平臺,由于其強可靠性、高擴展性、高經(jīng)濟性、海量處理數(shù)據(jù)等優(yōu)點,會成為新一代數(shù)據(jù)挖掘技術(shù)上未來長期的技術(shù)平臺。

作者:張瑤劉輝單位:英利能源(中國)有限公司