導(dǎo)語：如何才能寫好一篇大數(shù)據(jù)技術(shù)，這就需要搜集整理更多的資料和文獻(xiàn)，歡迎閱讀由公務(wù)員之家整理的十篇范文，供你借鑒。

篇1

關(guān)鍵詞： 大數(shù)據(jù); 4V特征; Hadoop; 云計(jì)算

中圖分類號：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號：1006-8228（2015）01-13-02

Overview on big data technology

Yang Jing

（Department of Computer Science， Yunyang Teachers' College， Shiyan， Hubei 442000， China）

Abstract： Big data is a new technical wave after the network of things and cloud computing. To understand big data technology， the definition and 4V characteristics， the key technologies and main application fields are systematically analyzed in the paper. Through the introduction of the basic conception， characteristics， the main application fields with typical cases are summarized. The core technologies， key strategies of cloud computing， hadoop and data backup are analyzed. The potential information safety risks are pointed out. The countermeasures are given to provide some suggestions and references for wider application and study in the future.

Key words： big data; 4V characteristics; Hadoop; cloud computing

0 引言

物聯(lián)網(wǎng)、云計(jì)算等新興技術(shù)的迅速發(fā)展開啟了大數(shù)據(jù)時(shí)代的帷幕。大數(shù)據(jù)技術(shù)是指從各種各樣的海量數(shù)據(jù)中，快速獲取有價(jià)值信息的技術(shù)，大數(shù)據(jù)的核心問題就是大數(shù)據(jù)技術(shù)。目前所說的“大數(shù)據(jù)”不僅指數(shù)據(jù)本身的規(guī)模大，還包括采集數(shù)據(jù)的工具、平臺(tái)和數(shù)據(jù)分析系統(tǒng)復(fù)雜程度大。大數(shù)據(jù)的研發(fā)目的是發(fā)展大數(shù)據(jù)技術(shù)并將其應(yīng)用到相關(guān)領(lǐng)域，解決實(shí)際生產(chǎn)、生活中的各種問題，從而推動(dòng)信息技術(shù)健康地可持續(xù)發(fā)展。

1 大數(shù)據(jù)的定義及主要特征

與其他新興學(xué)科一樣，目前大數(shù)據(jù)沒有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)和定義。一般認(rèn)為：大數(shù)據(jù)是由大量異構(gòu)數(shù)據(jù)組成的數(shù)據(jù)集合，可以應(yīng)用合理的數(shù)學(xué)算法或工具從中找出有價(jià)值的信息，并為人們帶來經(jīng)濟(jì)及社會(huì)效益的一門新興學(xué)科。大數(shù)據(jù)又被稱為海量數(shù)據(jù)、大資料、巨量數(shù)據(jù)等，指的是所涉及的數(shù)據(jù)量規(guī)模巨大，以至于無法在合理時(shí)間內(nèi)通過人工攫取、管理、處理并整理成為人類所能解讀的信息。這些數(shù)據(jù)來自方方面面，比如社交網(wǎng)絡(luò)、傳感器采集、安防監(jiān)控視頻、購物交易記錄等。盡管尚無統(tǒng)一定義，但這些無比龐大的數(shù)據(jù)被稱為大數(shù)據(jù)。大數(shù)據(jù)具有如下4V特性[1]：

⑴ 體量Volume，是指數(shù)據(jù)存儲(chǔ)量大，計(jì)算量大;

⑵ 多樣Variety，是指大數(shù)據(jù)的異構(gòu)和多樣性，比如數(shù)據(jù)來源豐富，數(shù)據(jù)格式包括多種不同形式，如網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等;

⑶ 價(jià)值Value，是指大數(shù)據(jù)價(jià)值密度相對較低，信息海量，但是要挖掘出真正有價(jià)值的數(shù)據(jù)難度較大，浪里淘沙卻又彌足珍貴;

⑷ 速度Velocity，是指數(shù)據(jù)增長速度快，處理速度要求快。

2 大數(shù)據(jù)技術(shù)的應(yīng)用領(lǐng)域

通過對海量數(shù)據(jù)進(jìn)行采集、分析與處理，挖掘出潛藏在數(shù)據(jù)海洋里的稀疏但卻彌足珍貴的信息，大數(shù)據(jù)技術(shù)正在對經(jīng)濟(jì)建設(shè)、醫(yī)療教育、科學(xué)研究等領(lǐng)域產(chǎn)生著革命性的影響，其所帶來的巨大使用價(jià)值正逐漸被各行各業(yè)的人們所感知。

2.1 金融領(lǐng)域

大數(shù)據(jù)的火熱應(yīng)用突出體現(xiàn)在金融業(yè)，各大互聯(lián)網(wǎng)企業(yè)（谷歌、阿里巴巴等）紛紛掘金大數(shù)據(jù)，開創(chuàng)了新的互聯(lián)網(wǎng)金融模式。目前阿里巴巴的互聯(lián)網(wǎng)金融做得如火如荼：基金、小額信貸、余額寶和理財(cái)保險(xiǎn)產(chǎn)品等等，阿里巴巴之所以能夠做火金融服務(wù)，其主要原因就在于阿里的大數(shù)據(jù)，阿里巴巴的電商平臺(tái)存儲(chǔ)了大量微小企業(yè)客戶及數(shù)以億計(jì)的個(gè)人用戶行為信息、交易記錄、身份數(shù)據(jù)等，擁有最好、最全的數(shù)據(jù)以及最完整的產(chǎn)業(yè)鏈，做P2P及個(gè)人小額信貸，具有最大優(yōu)勢[2]。相反，傳統(tǒng)商業(yè)銀行早期就已推出的小額信貸業(yè)務(wù)，開展得并不十分順利。

2.2 市場營銷

今天的數(shù)字化營銷與傳統(tǒng)市場營銷最大的區(qū)別就在于精準(zhǔn)定位及個(gè)性化。如今企業(yè)與客戶的交流渠道發(fā)生了革命性的變化，從過去的電話及郵件，發(fā)展到今天的博客、論壇、社交媒體賬戶等，從這些五花八門的渠道里跟蹤客戶，將他們的每一次點(diǎn)擊、加好友、收藏、轉(zhuǎn)發(fā)、分享等行為納入到企業(yè)的銷售漏斗中并轉(zhuǎn)化成一項(xiàng)巨大的潛在價(jià)值，就是所謂的360度客戶視角。例如谷歌的銷售策略主要著眼于在線的免費(fèi)軟件，用戶使用這些軟件時(shí)，無形中就把個(gè)人的喜好、消費(fèi)習(xí)慣等重要信息提交給了谷歌，因此谷歌的產(chǎn)品線越豐富，他們對用戶的理解就越深入，其廣告定位就越精準(zhǔn)，廣告所攫取的價(jià)值就越高，這是正向的循環(huán)。

2.3 公眾服務(wù)

大數(shù)據(jù)的另一大應(yīng)用領(lǐng)域是公眾服務(wù)。如今數(shù)據(jù)挖掘已經(jīng)能夠預(yù)測海嘯、地震、疾病暴發(fā)，理解交通模型并改善醫(yī)療和教育等。例如，可采用神經(jīng)網(wǎng)絡(luò)和基于地震時(shí)間序列的支持向量機(jī)方法來預(yù)測地震的大概方位、時(shí)間、震級大小等重要信息，為通用地震模擬程序提供關(guān)鍵的數(shù)據(jù)，從而對地震進(jìn)行早期預(yù)警，以使防震抗災(zāi)部門可以提前做好應(yīng)對措施，避免大量的人員傷亡及財(cái)產(chǎn)損失;再如，將各個(gè)省市的城鎮(zhèn)醫(yī)療系統(tǒng)、新農(nóng)村合作醫(yī)療系統(tǒng)等全部整合起來，建立通用的電子病歷等基礎(chǔ)數(shù)據(jù)庫，實(shí)現(xiàn)醫(yī)院之間對病患信息的共享，提高患者就醫(yī)效率[3];電力管理系統(tǒng)通過記錄人們的用電行為信息（做飯、照明、取暖等），大數(shù)據(jù)智能電網(wǎng)就能實(shí)現(xiàn)優(yōu)化電的生產(chǎn)、分配及電網(wǎng)安全檢測與控制，包括大災(zāi)難預(yù)警與處理、供電與電力調(diào)度決策支持和更準(zhǔn)確的用電量預(yù)測等，并通過數(shù)據(jù)挖掘技術(shù)找出可行的節(jié)能降耗措施，以實(shí)現(xiàn)更科學(xué)的電力需求分配管理。

2.4 安防領(lǐng)域

安防領(lǐng)域中最重要的就是視頻監(jiān)控系統(tǒng)，從早期看得見到現(xiàn)在看得遠(yuǎn)、看得清，視頻監(jiān)控是典型的數(shù)據(jù)依賴型業(yè)務(wù)，依賴數(shù)據(jù)說話。尤其是高清、超高清監(jiān)控時(shí)代的到來，會(huì)產(chǎn)生巨量的視頻數(shù)據(jù)。這些巨量視頻監(jiān)控?cái)?shù)據(jù)中，多數(shù)是冗余無用的，只有少數(shù)是關(guān)鍵數(shù)據(jù)，如何剔除這些無用數(shù)據(jù)，一直是人們研究問題的焦點(diǎn)。在大數(shù)據(jù)技術(shù)的支撐下，通過對巨量視頻數(shù)據(jù)的分析與處理，可實(shí)現(xiàn)模糊查詢、精準(zhǔn)定位、快速檢索等，能夠?qū)Ω咔灞O(jiān)控視頻畫質(zhì)進(jìn)行細(xì)節(jié)分析，智能挖掘出類似行為及特征的數(shù)據(jù)，從而為業(yè)務(wù)分析和事件決策判斷提供精準(zhǔn)依據(jù)。

3 大數(shù)據(jù)處理關(guān)鍵技術(shù)

3.1 數(shù)據(jù)備份技術(shù)

在大數(shù)據(jù)時(shí)代，如何做好數(shù)據(jù)的安全備份至關(guān)重要。數(shù)據(jù)備份是數(shù)據(jù)容災(zāi)的前提，具體是指當(dāng)出現(xiàn)某種突發(fā)狀況導(dǎo)致存儲(chǔ)系統(tǒng)中的文件、數(shù)據(jù)、片段丟失或者嚴(yán)重?fù)p壞時(shí)，系統(tǒng)可準(zhǔn)確而快速地將數(shù)據(jù)進(jìn)行恢復(fù)的技術(shù)。數(shù)據(jù)容災(zāi)備份是為防止偶發(fā)事件而采取的一種數(shù)據(jù)保護(hù)手段，其核心工作是數(shù)據(jù)恢復(fù)，根本目的是數(shù)據(jù)資源再利用。

3.2 Hadoop

大數(shù)據(jù)時(shí)代對于數(shù)據(jù)分析、管理等都提出了更高層次的要求，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫和數(shù)據(jù)分析處理技術(shù)已經(jīng)不能滿足大數(shù)據(jù)橫向擴(kuò)展的需求。為了給大數(shù)據(jù)處理、分析提供一個(gè)性能更好、可靠性更高的平臺(tái)，Apache基金會(huì)開發(fā)了一個(gè)開源平臺(tái)Hadoop[4]，該平臺(tái)用Java語言編寫，可移植性強(qiáng)，現(xiàn)在Hadoop已經(jīng)發(fā)展為一個(gè)包括HDFS（分布式文件系統(tǒng) ）、HBase（分布式數(shù)據(jù)庫）等功能模塊在內(nèi)的完整生態(tài)系統(tǒng)，成為目前主流的大數(shù)據(jù)應(yīng)用平臺(tái)。

3.3 云計(jì)算

如果把各種各樣的大數(shù)據(jù)應(yīng)用比作在公路上行駛的各種汽車，那么支撐這些汽車快速運(yùn)行的高速公路就是云計(jì)算，云計(jì)算是大數(shù)據(jù)分析處理技術(shù)的核心。正是由于云計(jì)算在海量信息存儲(chǔ)、分析及管理方面的技術(shù)支持，大數(shù)據(jù)才有了如此廣闊的用武之地。谷歌的各種大數(shù)據(jù)處理技術(shù)和應(yīng)用平臺(tái)都是基于云計(jì)算，最典型的就是以UFS（UIT云存儲(chǔ)系統(tǒng)）、MapReduce（批處理技術(shù)）、BigTable（分布式數(shù)據(jù)庫）為代表的大數(shù)據(jù)處理技術(shù)以及在此基礎(chǔ)上產(chǎn)生的開源數(shù)據(jù)處理平臺(tái)Hadoop[5]。

4 大數(shù)據(jù)應(yīng)用帶來的信息安全隱患及應(yīng)對策略

大數(shù)據(jù)時(shí)代，海量數(shù)據(jù)通常存儲(chǔ)在大規(guī)模分布式的網(wǎng)絡(luò)節(jié)點(diǎn)中，管理相對分散，而且系統(tǒng)也無法控制用戶進(jìn)行數(shù)據(jù)交易的場所，因此很難辨別用戶的身份（合法及非法用戶），容易導(dǎo)致不合法用戶篡改或竊取信息;此外，大數(shù)據(jù)存儲(chǔ)系統(tǒng)中包含了海量的個(gè)人用戶隱私數(shù)據(jù)及各種行為的記錄信息，如何在大數(shù)據(jù)的挖掘利用中確定一個(gè)信息保護(hù)和開放的尺度， 是大數(shù)據(jù)面臨的又一難題。為了合理利用大數(shù)據(jù)并有效規(guī)避風(fēng)險(xiǎn)，我們提出以下四點(diǎn)建議：

⑴ 國家出臺(tái)相關(guān)政策，加強(qiáng)頂層設(shè)計(jì)，保障數(shù)據(jù)存儲(chǔ)安全;

⑵ 增強(qiáng)網(wǎng)絡(luò)安全防護(hù)能力，抵御網(wǎng)絡(luò)犯罪，確保網(wǎng)絡(luò)信息安全;

⑶ 提高警惕積極探索，加大個(gè)人隱私數(shù)據(jù)保護(hù)力度;

⑷ 深化云計(jì)算安全領(lǐng)域研究，保障云端數(shù)據(jù)安全。

5 結(jié)束語

在當(dāng)今信息知識爆炸的時(shí)代，大數(shù)據(jù)技術(shù)已經(jīng)被廣泛應(yīng)用于商業(yè)金融、電力醫(yī)療、教育科研等領(lǐng)域。隨著數(shù)據(jù)挖掘技術(shù)的不斷進(jìn)步，相關(guān)信息行業(yè)競相從規(guī)模龐大、結(jié)構(gòu)復(fù)雜的大數(shù)據(jù)海洋中攫取更多有價(jià)值的數(shù)據(jù)信息用于分析、解決現(xiàn)實(shí)生活中的各種實(shí)際問題，從而實(shí)現(xiàn)信息技術(shù)的快速健康發(fā)展。本文梳理了大數(shù)據(jù)的基本概念及4V特征，總結(jié)歸納了大數(shù)據(jù)技術(shù)的四大熱門應(yīng)用領(lǐng)域及三大核心處理技術(shù)，分析了大數(shù)據(jù)技術(shù)帶來的諸如信息竊取及篡改、個(gè)人隱私數(shù)據(jù)泄露等信息安全隱患，并提出了相應(yīng)的解決措施及建議。當(dāng)然，目前大數(shù)據(jù)技術(shù)的研究尚處在起步階段，還有許多深層次的問題亟待解決，如大數(shù)據(jù)的存儲(chǔ)管理是通過硬件的簡單升級還是通過系統(tǒng)的重新設(shè)計(jì)來解決，大數(shù)據(jù)4V特征中起關(guān)鍵作用的是什么，大數(shù)據(jù)技術(shù)的應(yīng)用前景是什么，等等。就目前來看，未來大數(shù)據(jù)技術(shù)的研究之路還很長，需要我們用更加敏銳的洞察力來分析和研究。

參考文獻(xiàn)：

[1] BARWICK H. The "four Vs" of big data. Implementing Information

Infrastructure Symposium[EB/OL]. [2012-10-02]. http：//.au/article/396198/iiis_four_vs_big_data/.

[2] 韋雪瓊，楊嘩，史超.大數(shù)據(jù)發(fā)展下的金融市場新生態(tài)[Jl.時(shí)代金融，

2012.7：173-174

[3] 張敬誼，佘盼，肖筱華.基于云計(jì)算的區(qū)域醫(yī)療信息化服務(wù)平臺(tái)的研

究[J].計(jì)算機(jī)科學(xué)，2013.40（10）：360-365

篇2

1、大數(shù)據(jù)技術(shù)是指大數(shù)據(jù)的應(yīng)用技術(shù)，涵蓋各類大數(shù)據(jù)平臺(tái)、大數(shù)據(jù)指數(shù)體系等大數(shù)據(jù)應(yīng)用技術(shù)。

2、大數(shù)據(jù)是指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

3、隨著云時(shí)代的來臨，大數(shù)據(jù)也吸引了越來越多的關(guān)注。分析師團(tuán)隊(duì)認(rèn)為，大數(shù)據(jù)通常用來形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時(shí)會(huì)花費(fèi)過多時(shí)間和金錢。

4、大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。

（來源：文章屋網(wǎng) ）

篇3

關(guān)鍵詞：大數(shù)據(jù)；計(jì)算機(jī)；數(shù)據(jù)備份；安全保障

中圖分類號：TP311

文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2017）10-0025-01

數(shù)據(jù)信息作為時(shí)代的信息管理標(biāo)志其安全性必須收到更大的重視，數(shù)據(jù)信息的安全存儲(chǔ)系統(tǒng)尤為重要，防止信息數(shù)據(jù)的丟失的管理備份系統(tǒng)更為重要。因此能夠?qū)?shù)據(jù)信息妥善管理，保證其正常工作的技術(shù)相當(dāng)重要，但當(dāng)數(shù)據(jù)真正丟失或不可避免地出現(xiàn)問題以后能夠盡快地將其找回或者是在有效的時(shí)間內(nèi)將其完整地恢復(fù)，以確保整個(gè)計(jì)算機(jī)系統(tǒng)能夠正常工作的技術(shù)更是必不可少的。

1.數(shù)據(jù)備份概念及其特點(diǎn)

數(shù)據(jù)備份指的是將計(jì)算機(jī)系統(tǒng)的所有數(shù)據(jù)或者是部分重要數(shù)據(jù)借助某一種或多種手段從計(jì)算機(jī)一個(gè)系統(tǒng)復(fù)制到另一個(gè)系統(tǒng)，或者是從本地計(jì)算機(jī)存儲(chǔ)系統(tǒng)中復(fù)制到其他的存儲(chǔ)系統(tǒng)中。其目的就是保障系統(tǒng)可用或者是數(shù)據(jù)安全。防止由于人為的失誤或者是系統(tǒng)故障問題亦或是自然災(zāi)害等方面的原因造成系統(tǒng)數(shù)據(jù)的安全性無法保障的問題。數(shù)據(jù)備份更重要的原因是數(shù)據(jù)信息的多重保存以備不時(shí)之需。

數(shù)據(jù)備份按照備份的實(shí)現(xiàn)方式可以分為單機(jī)和網(wǎng)絡(luò)兩種備份方式，傳統(tǒng)的備份就是單機(jī)備份針對計(jì)算機(jī)本身將數(shù)據(jù)進(jìn)行異地存儲(chǔ)，現(xiàn)代比較流行的就是網(wǎng)絡(luò)備份。這是針對整個(gè)網(wǎng)絡(luò)而言的，這種方式的備份較為復(fù)雜，是通過網(wǎng)絡(luò)備份軟件對存儲(chǔ)介質(zhì)和基礎(chǔ)硬件存儲(chǔ)設(shè)備的數(shù)據(jù)進(jìn)行保存和管理。由于網(wǎng)絡(luò)備份是在網(wǎng)絡(luò)中進(jìn)行數(shù)據(jù)備份的，因此也就不同于普通的傳統(tǒng)單機(jī)備份，是包含需要備份的文件數(shù)據(jù)和網(wǎng)絡(luò)系統(tǒng)中使用到的應(yīng)用程序以及系統(tǒng)參數(shù)和數(shù)據(jù)庫等內(nèi)容的。

數(shù)據(jù)備份的作用在于：一方面，在數(shù)據(jù)受到損害時(shí)對數(shù)據(jù)進(jìn)行還原和恢復(fù)；另一方面，數(shù)據(jù)信息的歷史性、長久保存，方便數(shù)據(jù)的歸檔。

2.數(shù)據(jù)備份存儲(chǔ)技術(shù)

備份換言之就是數(shù)據(jù)的再存儲(chǔ)，因此備份技術(shù)是存儲(chǔ)技術(shù)的重要內(nèi)容之一，但是數(shù)據(jù)備份存儲(chǔ)作為計(jì)算機(jī)系統(tǒng)技術(shù)與簡單的備份區(qū)別很大。計(jì)算機(jī)數(shù)據(jù)備份存儲(chǔ)技術(shù)時(shí)更為全面、完整、穩(wěn)定安全的數(shù)據(jù)信息的備份，是網(wǎng)絡(luò)系統(tǒng)高效數(shù)據(jù)存儲(chǔ)的，也是安全性較高的網(wǎng)絡(luò)備份。

文件存儲(chǔ)作為最基礎(chǔ)的數(shù)據(jù)類型是隨機(jī)存儲(chǔ)在硬盤上的數(shù)據(jù)片段和文檔資料，這些存儲(chǔ)的數(shù)據(jù)文檔、報(bào)表甚至是作為數(shù)據(jù)庫文件的應(yīng)用程序等等在存儲(chǔ)一定的量就會(huì)出現(xiàn)超出容量的情況因此對其的整合是必要的。這樣的整合是將存儲(chǔ)的各類數(shù)據(jù)或者是數(shù)據(jù)庫以一個(gè)順序和程序的形式出現(xiàn)，幫助人們解決備份存儲(chǔ)的空間問題，技術(shù)問題以及成本問題。更能將工作人員的連續(xù)數(shù)據(jù)維護(hù)和監(jiān)控從繁重的工作中解放出來。

3.保障計(jì)算機(jī)數(shù)據(jù)網(wǎng)絡(luò)備份的安全性策略

通過網(wǎng)絡(luò)傳輸?shù)膫浞輸?shù)據(jù)在傳輸過程和傳輸路徑方面必須確保數(shù)據(jù)的安全性。若不能保證數(shù)據(jù)的安全那么一些企業(yè)的關(guān)鍵數(shù)據(jù)和重要應(yīng)用程序就會(huì)受損，甚至是失去了備份的意義。因此相比單機(jī)備份而言網(wǎng)絡(luò)備份更要確保安全傳輸和安全存儲(chǔ)。

首先確保備份數(shù)據(jù)的機(jī)密性。數(shù)據(jù)信息的網(wǎng)絡(luò)備份不能被非法用戶隨意獲得，因此在數(shù)據(jù)備份過程和傳輸過程中必須防止數(shù)據(jù)的機(jī)密性被破壞。一般數(shù)據(jù)備份常用的方法是加密。必須保證是數(shù)據(jù)擁有者才能使用這些數(shù)據(jù)信息，關(guān)鍵的數(shù)據(jù)信息的加密工作相比更加嚴(yán)格。數(shù)據(jù)內(nèi)容不容有失，甚至是數(shù)據(jù)的相關(guān)名稱和代碼等也不能隨便被非法進(jìn)入系統(tǒng)的人獲得才是最能保障數(shù)據(jù)安全的方式。

此外，在數(shù)據(jù)網(wǎng)絡(luò)傳輸存儲(chǔ)之前一定要確認(rèn)接受信息一方的真實(shí)性，核實(shí)雙方信息是否匹配，一定要在雙方身份確認(rèn)之后才能對網(wǎng)絡(luò)的數(shù)據(jù)信息進(jìn)行發(fā)送和接受，這樣既避免了欺詐行為又確保了網(wǎng)絡(luò)中間不可信的因素存在使數(shù)據(jù)信息遭到破壞。

其次。確保備份數(shù)據(jù)的完整性。數(shù)據(jù)備份存儲(chǔ)不是一個(gè)簡單的過程，數(shù)據(jù)信息是通過設(shè)備和網(wǎng)絡(luò)之間傳輸來完成備份數(shù)據(jù)存儲(chǔ)的。這一個(gè)成必須要保障所傳輸?shù)男畔⑼暾乇簧蟼鞫疫@些數(shù)據(jù)信息不能被其他方攔截和篡改，以破壞備份數(shù)據(jù)信息的內(nèi)容和屬性等。此外在存儲(chǔ)時(shí)也要保障數(shù)據(jù)信息的正確無誤完整保存。

再次，備份存儲(chǔ)的數(shù)據(jù)可用性。數(shù)據(jù)存儲(chǔ)必須是可用的，而且是計(jì)算機(jī)資源用戶合理合法的使用。對于網(wǎng)絡(luò)備份系統(tǒng)的信息和信息用戶系統(tǒng)的信息是完全一致的，是可用的。備份數(shù)據(jù)資料必須在合法用戶需要時(shí)可以隨時(shí)安全使用。這是網(wǎng)絡(luò)數(shù)據(jù)備份存儲(chǔ)必須保證的。

篇4

【關(guān)鍵詞】云計(jì)算 大數(shù)據(jù) 云數(shù)據(jù)中心 安全體系

一、引言

大數(shù)據(jù)時(shí)代，原有的信息資源處理手段已經(jīng)不適應(yīng)迅速增大的數(shù)據(jù)量級。大數(shù)據(jù)依托網(wǎng)絡(luò)技術(shù)，采用數(shù)據(jù)挖掘、關(guān)聯(lián)分析等技術(shù)手段對分布式存儲(chǔ)的異構(gòu)海量數(shù)據(jù)進(jìn)行處理。無論是網(wǎng)絡(luò)環(huán)境、計(jì)算平臺(tái)、還是存儲(chǔ)載體，都分屬不同的信息系統(tǒng)。大數(shù)據(jù)進(jìn)一步加劇了網(wǎng)絡(luò)空間中防御與攻擊的不對稱性，大數(shù)據(jù)信息安全主要體現(xiàn)在處理系統(tǒng)、過程的安全，而傳統(tǒng)的信息安全防護(hù)措施多集中在“封堵查殺”層面，難以應(yīng)對大數(shù)據(jù)時(shí)代的信息安全挑戰(zhàn)。因此應(yīng)加快構(gòu)建多層次、高質(zhì)量的大數(shù)據(jù)縱深防御體系結(jié)構(gòu)。加強(qiáng)大數(shù)據(jù)信息安全保障能力，是解決大數(shù)據(jù)安全的唯一出路。

二、大數(shù)據(jù)安全挑戰(zhàn)

基于大數(shù)據(jù)環(huán)境下所帶來的安全挑戰(zhàn)包括：

1、應(yīng)用安全防護(hù)：大數(shù)據(jù)環(huán)境下的應(yīng)用防護(hù)風(fēng)險(xiǎn)，包括資源濫用、拒絕服務(wù)攻擊、不安全集成模塊或API接口及WEB安全；2、虛擬化環(huán)境安全：基于云計(jì)算和虛擬化技術(shù)的云計(jì)算數(shù)據(jù)中心為大數(shù)據(jù)提供了一個(gè)開放的環(huán)境，分布在不同地區(qū)的資源可以快速整合，動(dòng)態(tài)配置，實(shí)現(xiàn)數(shù)據(jù)集合的共建共享。網(wǎng)絡(luò)訪問便捷化和數(shù)據(jù)流的形成，為實(shí)現(xiàn)資源的快速彈性推送和個(gè)性化服務(wù)提供基礎(chǔ)。然而平臺(tái)的暴露，使得蘊(yùn)含著海量數(shù)據(jù)和潛在價(jià)值的大數(shù)據(jù)更容易吸引黑客的攻擊。虛擬化環(huán)境安全成為大數(shù)據(jù)安全的重要威脅。3、移動(dòng)接入安全：BYOD-移動(dòng)接入安全，包括身份假冒和信息劫持等。4、安全與大數(shù)據(jù)融合：惡意的內(nèi)部員工和數(shù)據(jù)隱私保護(hù)面臨威脅。

本文分別從上面四個(gè)方面來分析大數(shù)據(jù)安全技術(shù)體系的建設(shè)辦法，構(gòu)建大數(shù)據(jù)縱深防御體系結(jié)構(gòu)。

三、大數(shù)據(jù)安全技術(shù)體系

大數(shù)據(jù)應(yīng)用安全防護(hù)主要在應(yīng)用防護(hù)區(qū)部署虛擬化綜合安全設(shè)備，包括DDOS、防火墻、IPS和WEB防火墻（WAF）等，同時(shí)部署漏洞分析系統(tǒng)，進(jìn)行安全評估和滲透測試。

大數(shù)據(jù)虛擬化環(huán)境安全主要通過虛擬化防火墻TopVSP（Vgate、TAE、TD）和虛擬機(jī)管理器安全，即外部防火墻。實(shí)現(xiàn)虛擬化環(huán)境的性能優(yōu)化和安全策略遷移等。

移動(dòng)接入安全從下到上分為統(tǒng)一接入控制、數(shù)據(jù)安全及威脅防護(hù)和全生命周期設(shè)備管理三層。其中統(tǒng)一接入控制層在終端接入?yún)^(qū)使用身份認(rèn)證及授權(quán)和虛擬應(yīng)用及虛擬桌面，在網(wǎng)絡(luò)接入?yún)^(qū)使用VPN加密，在業(yè)務(wù)服務(wù)區(qū)使用遠(yuǎn)程鎖定、數(shù)據(jù)擦除、備份與恢復(fù)、GPS定位和自動(dòng)報(bào)警燈管理器后動(dòng)來實(shí)現(xiàn)。全生命周期設(shè)備管理包括資產(chǎn)接入、部署、運(yùn)行和銷毀全流程管理，資產(chǎn)接入包括資產(chǎn)的發(fā)現(xiàn)、注冊和初始化；資產(chǎn)部署主要包括安全基線制定和配置及策略執(zhí)行；資產(chǎn)運(yùn)行包括資產(chǎn)的掛失、鎖定、密碼重置、定位、備份與恢復(fù)、報(bào)警等；數(shù)據(jù)銷毀采用遠(yuǎn)程應(yīng)用卸載和數(shù)據(jù)擦除等技術(shù)。

基于大數(shù)據(jù)融合下的安全云，主要實(shí)現(xiàn)方式是通過安全檢測與大數(shù)據(jù)技術(shù)相融合，利用云計(jì)算能力及大數(shù)據(jù)處理機(jī)制實(shí)現(xiàn)信息訪問的審計(jì)、安全威脅智能的發(fā)現(xiàn)、隱私數(shù)據(jù)的保護(hù)。主要包括安全監(jiān)測與預(yù)警和安全審計(jì)及隱私保護(hù)兩方面內(nèi)容。安全檢測與預(yù)警主要是通過7×24監(jiān)控和運(yùn)維，對事件進(jìn)行收集、處理和存儲(chǔ)，繼而進(jìn)行關(guān)聯(lián)分析、威脅檢測、風(fēng)險(xiǎn)計(jì)算和風(fēng)險(xiǎn)分析，將分析的結(jié)果通過短信或者郵件通告，并形成相應(yīng)的工單、知識庫和相應(yīng)的報(bào)表進(jìn)行派發(fā)、流轉(zhuǎn)和處置。安全審計(jì)及隱私保護(hù)主要是為了避免內(nèi)部惡意員工導(dǎo)致的云數(shù)據(jù)中心信息泄露，主要通過云安全設(shè)計(jì)平臺(tái)實(shí)現(xiàn)大數(shù)據(jù)的審計(jì)和取證，主要的審計(jì)技術(shù)包括業(yè)務(wù)訪問審計(jì)、數(shù)據(jù)庫審計(jì)、安全運(yùn)維審計(jì)和數(shù)據(jù)隱私保護(hù)審計(jì)等。

篇5

關(guān)鍵詞：大數(shù)據(jù) 智能 數(shù)據(jù)分析

中圖分類號：F503 文獻(xiàn)標(biāo)識碼：A 文章編號：1674-098X（2014）04（a）-0021-01

對于數(shù)據(jù)分析來說，其主要的目的就是通過對數(shù)據(jù)的分析去發(fā)現(xiàn)問題或預(yù)測趨勢。從數(shù)據(jù)鉆取、大規(guī)模分析的技術(shù)手段、以及算法執(zhí)行上來說，大規(guī)模分析是和小規(guī)模數(shù)據(jù)在技術(shù)上是有很大差異的。想要探究大數(shù)據(jù)下的智能數(shù)據(jù)分析技術(shù)，首先要對數(shù)據(jù)分析這一概念進(jìn)行深入研究。

1 數(shù)據(jù)分析

數(shù)據(jù)分析的過程其實(shí)簡單的說就是做報(bào)告，做什么樣的報(bào)告反映什么樣的指標(biāo)。最開始的時(shí)候基本上是data processing。例如零售行業(yè)來說，最主要的指標(biāo)就是庫存、銷售同比增長情況、利潤同比增長情況、促銷率等等。對于不同的行業(yè)會(huì)有不同的相關(guān)的KPI需要跟蹤，所以報(bào)告的內(nèi)容也會(huì)有所側(cè)重，但是只要你一個(gè)行業(yè)做久了，熟悉了套路之后，基本上就是以同樣的方法開展。

對于數(shù)據(jù)分析，如果公司部門分的比較細(xì)的（例如可能有建模組），那么做數(shù)據(jù)分析可能永遠(yuǎn)都是做data processing了。對于模型的分析，需要你對業(yè)務(wù)有了深入的了解就可以建立一些模型出來（例如推薦模型）等等。

數(shù)據(jù)分析主要涉及的技能：

（1）數(shù)據(jù)庫的能力。越全面越好，如果不是理工科的，最起碼要會(huì)select那些簡單的查詢語句。

（2）EXCEL、PPT的能力。報(bào)告的呈現(xiàn)一般都是Excel+PPT的形式，最好VBA，這樣就可以將很多人工的工作轉(zhuǎn)化為自動(dòng)化的能力，提高工作效率，領(lǐng)導(dǎo)也對你刮目相看，自己也有更多空余的時(shí)間準(zhǔn)備其他方面的知識。

（3）市場分析能力。學(xué)會(huì)觀察市場的走向和關(guān)注的內(nèi)容，例如零售行業(yè)，現(xiàn)在大家都對CRM很熱衷，那相關(guān)的分析方法和方式是怎么樣的，你要自己去了解。從來不會(huì)有人手把手的將所有東西都告訴你，你必須自己學(xué)會(huì)去增長知識。

（4）一些會(huì)計(jì)的知識。因?yàn)橥ㄟ^以上分析，就是會(huì)計(jì)管理的一部分內(nèi)容，最后還是公司盈利問題。有興趣的也可以去看看戰(zhàn)略管理方面的，對于做數(shù)據(jù)分析也很有好處的說。

綜合來看，可以說數(shù)據(jù)分析=技術(shù)+市場+戰(zhàn)略。

2 如何培養(yǎng)數(shù)據(jù)分析能力

理論：

基礎(chǔ)的數(shù)據(jù)分析知識，至少知道如何做趨勢分析、比較分析和細(xì)分，不然拿到一份數(shù)據(jù)就無從下手；

（2）基礎(chǔ)的統(tǒng)計(jì)學(xué)知識，至少基礎(chǔ)的統(tǒng)計(jì)量要認(rèn)識，知道這些統(tǒng)計(jì)量的定義和適用條件，統(tǒng)計(jì)學(xué)方法可以讓分析過程更加嚴(yán)謹(jǐn)，結(jié)論更有說服力；

（3）對數(shù)據(jù)的興趣，以及其它的知識多多益善，讓分析過程有趣起來。

實(shí)踐：

（1）明確分析的目的。如果分析前沒有明確分析的最終目標(biāo)，很容易被數(shù)據(jù)繞進(jìn)去，最終自己都不知道自己得出的結(jié)論到底是用來干嘛的；

（2）多結(jié)合業(yè)務(wù)去看數(shù)據(jù)。數(shù)據(jù)從業(yè)務(wù)運(yùn)營中來，分析當(dāng)然要回歸到業(yè)務(wù)中去，多熟悉了解業(yè)務(wù)可以使數(shù)據(jù)看起來更加透徹；

（3）了解數(shù)據(jù)的定義和獲取。最好從數(shù)據(jù)最初是怎么獲取的開始了解，當(dāng)然指標(biāo)的統(tǒng)計(jì)邏輯和規(guī)則是必須熟記于心的，不然很容易就被數(shù)據(jù)給坑了；

（4）最后就是不斷地看數(shù)據(jù)、分析數(shù)據(jù)，這是個(gè)必經(jīng)的過程，往往一個(gè)工作經(jīng)驗(yàn)豐富的非數(shù)據(jù)分析的運(yùn)營人員要比剛進(jìn)來不久的數(shù)據(jù)分析師對數(shù)據(jù)的了解要深入得多，就是這個(gè)原因。

3 大數(shù)據(jù)

大數(shù)據(jù)就是通過統(tǒng)計(jì)分析計(jì)算機(jī)收集的數(shù)據(jù)，在人們可能不知道“為什么”的前提下，了解到事物的狀態(tài)、趨勢、結(jié)果等“是什么”。

對于大數(shù)據(jù)，一直來說，數(shù)據(jù)規(guī)模導(dǎo)致的存儲(chǔ)、運(yùn)算等技術(shù)問題從來不是最重要的瓶頸。瓶頸只在于前端數(shù)據(jù)的收集途徑，以及后端商業(yè)思想引領(lǐng)的模型和算法問題。早期的各類OLAP工具已經(jīng)足夠了，后來類似海杜普這樣的研究則徹底降低了分布式數(shù)據(jù)的架構(gòu)成本和門檻，就徹底將大數(shù)據(jù)帶入了一個(gè)普及的領(lǐng)域。

從技術(shù)層面說，大數(shù)據(jù)和以前的數(shù)據(jù)時(shí)代的最大差異在于，以前是數(shù)據(jù)找應(yīng)用/算法的過程（例如各大銀行的大集中項(xiàng)目，以及數(shù)據(jù)建倉），而大數(shù)據(jù)時(shí)代的重要技術(shù)特征之一，是應(yīng)用/算法去找數(shù)據(jù)的過程，因?yàn)閿?shù)據(jù)規(guī)模變成了技術(shù)上最大的挑戰(zhàn)。

大數(shù)據(jù)的特點(diǎn)：

（1）大數(shù)據(jù)不等同于數(shù)據(jù)大，我們處理問題是根據(jù)這個(gè)問題的所有數(shù)據(jù)而非樣本數(shù)據(jù)，即樣本就是總體；不是精確性而是混雜性；不是因果關(guān)系而是相關(guān)關(guān)系。

（2）大數(shù)據(jù)應(yīng)用的幾個(gè)可能：當(dāng)文字變成數(shù)據(jù)，此時(shí)人可以用之閱讀，機(jī)器可以用之分析；當(dāng)方位變成數(shù)據(jù)，商業(yè)廣告，疫情傳染監(jiān)控，雅安地震時(shí)的谷歌尋人；當(dāng)溝通變成數(shù)據(jù)，就成了社交圖譜。一切都可以量化，將世界看作可以理解的數(shù)據(jù)的海洋，為我們提供了一個(gè)從來未有過的審視現(xiàn)實(shí)的視角。

（3）數(shù)據(jù)創(chuàng)新的價(jià)值：數(shù)據(jù)的再利用。例如重組數(shù)據(jù)：隨著大數(shù)據(jù)出現(xiàn)，數(shù)據(jù)的總和比部分更有價(jià)值，重組總和和本身價(jià)值也比單個(gè)總和更大；可擴(kuò)展數(shù)據(jù)：在設(shè)計(jì)數(shù)據(jù)收集時(shí)就設(shè)計(jì)好了它的可擴(kuò)展性，可以增加數(shù)據(jù)的潛在價(jià)值；數(shù)據(jù)的折舊值：數(shù)據(jù)會(huì)無用，需淘汰更新；數(shù)據(jù)廢氣：比如語音識別，當(dāng)用戶指出語音識別程序誤解了他的意思，實(shí)際上就有效的訓(xùn)練了這個(gè)系統(tǒng)。

總之，大數(shù)據(jù)是因?yàn)閷λ姆治鍪褂?，才產(chǎn)生和體現(xiàn)它的價(jià)值，而不是因?yàn)槠溆玫搅送怀龅募夹g(shù)和算法才體現(xiàn)了它的價(jià)值。

4 大數(shù)據(jù)下的智能數(shù)據(jù)分析

在大數(shù)據(jù)的背景下，必須考慮數(shù)據(jù)之間的關(guān)聯(lián)性。一個(gè)單獨(dú)的數(shù)據(jù)是沒有意義的，實(shí)際中，選擇處在兩個(gè)極端的數(shù)據(jù)往往更容易找出它們之間的聯(lián)系，把它們放在一個(gè)框架中看才能發(fā)現(xiàn)問題。因此，可以用以下四種方法在大數(shù)據(jù)背景下進(jìn)行智能數(shù)據(jù)分析：

（1）從解決問題的角度出發(fā)收集數(shù)據(jù)；

（2）把收集的數(shù)據(jù)整理好，放入一個(gè)框架內(nèi)，并利用這個(gè)框架幫助決策者做出決定；

（3）評估決定與行動(dòng)的效果，這將告訴我們框架是否合理；

（4）如果有新的數(shù)據(jù)出現(xiàn)，我們將考察能否利用它對前面三步做出改進(jìn)，以及我們今天是否還需要收集更多種類的數(shù)據(jù)。

5 結(jié)語

數(shù)據(jù)分析的最終目的是幫助業(yè)務(wù)發(fā)現(xiàn)問題并解決問題，提升公司價(jià)值，而這些是從數(shù)據(jù)發(fā)覺的，而不是盲目下結(jié)論。每家公司都有自己業(yè)務(wù)生產(chǎn)的數(shù)據(jù)，通過數(shù)據(jù)分析、同比環(huán)比、漏斗分析及模型等，發(fā)現(xiàn)業(yè)務(wù)上存在的問題，幫助公司業(yè)務(wù)的優(yōu)化。

參考文獻(xiàn)

[1] 李貴兵，羅洪.大數(shù)據(jù)下的智能數(shù)據(jù)分析技術(shù)研究[J].科技資訊，2013（30）.

篇6

大數(shù)據(jù)時(shí)代實(shí)質(zhì)上指的是信息時(shí)代，因?yàn)榇髷?shù)據(jù)的大內(nèi)涵指向?yàn)橛?jì)算，數(shù)據(jù)則是指信息，也就是說，大數(shù)據(jù)從本質(zhì)上來說就是一種關(guān)于信息的處理技術(shù)，其以計(jì)算為主要特征。同時(shí)，在大數(shù)據(jù)時(shí)代的背景之下需要理解大數(shù)據(jù)與云計(jì)算之間的關(guān)聯(lián)性。因?yàn)樵跀?shù)據(jù)積累越來越多、處理需求越來越高的情況之下，只有依靠更為精密的計(jì)算器才能解決數(shù)據(jù)積累庫存的問題。下面就以此為前提具體分析大數(shù)據(jù)時(shí)代背景下的計(jì)算機(jī)信息處理技術(shù)。

關(guān)鍵詞：

大數(shù)據(jù)；計(jì)算機(jī)；信息處理技術(shù)

當(dāng)前，人類的認(rèn)識已確定了以“關(guān)系”作為解釋萬事萬物的基本事實(shí)，并且認(rèn)為在人類社會(huì)中，只有有效處理人與人、人與物之間的信息交流問題，令其實(shí)現(xiàn)快速化、精準(zhǔn)化的對接才能較好促進(jìn)人類社會(huì)的演進(jìn)與發(fā)展。因此，在這種較為進(jìn)步的理念基礎(chǔ)上，目前的計(jì)算機(jī)信息處理技術(shù)應(yīng)作為工具、方法、意圖而為人類走出困境及可持續(xù)發(fā)展發(fā)揮更大的作用。

1大數(shù)據(jù)特征及影響

大數(shù)據(jù)的特征主要體現(xiàn)在三大方面，分別是數(shù)據(jù)量、存儲(chǔ)空間、處理速度。因而在計(jì)算機(jī)處理信息時(shí)，需要鑒別區(qū)分?jǐn)?shù)據(jù)種類，如區(qū)分文字、圖片、視頻、網(wǎng)頁格局此類信息就有助于提高處理的便利性。根據(jù)現(xiàn)有社會(huì)結(jié)構(gòu)中起作用的企業(yè)集團(tuán)觀察，大數(shù)據(jù)的影響主要是令原來的制造生產(chǎn)“6+1”產(chǎn)業(yè)鏈轉(zhuǎn)變?yōu)椤?+1”。比如，傳統(tǒng)的制造業(yè)生產(chǎn)中要求根據(jù)產(chǎn)品設(shè)計(jì)、原料運(yùn)輸、生產(chǎn)加工、訂單處理、市場營銷、零售六大環(huán)節(jié)進(jìn)行按部就班地生產(chǎn)制造，而運(yùn)用大數(shù)據(jù)之后就可以較好打破這種產(chǎn)業(yè)鏈的“程序”，從而實(shí)現(xiàn)重新排列組合。比如，當(dāng)建立大數(shù)據(jù)平臺(tái)之后，就可以較好利用數(shù)據(jù)信息，網(wǎng)絡(luò)平臺(tái)首先以“訂單處理”作為主要切入口，然后壓縮其中的環(huán)節(jié)，提高生產(chǎn)效率，實(shí)現(xiàn)零庫存，最終實(shí)現(xiàn)訂單處理、生產(chǎn)設(shè)計(jì)、原料運(yùn)輸、生產(chǎn)加工的新型產(chǎn)業(yè)鏈閉環(huán)。也就是說，通過運(yùn)用大數(shù)據(jù)方法，能夠有效按照信息采集、數(shù)據(jù)分析、文字表述等步驟，較好實(shí)現(xiàn)以消費(fèi)者為主導(dǎo)的制造生產(chǎn)計(jì)劃，令市場經(jīng)濟(jì)環(huán)境下的企業(yè)運(yùn)作更具有計(jì)劃性、可控制性，既有利于資源的合理配置，也能夠?yàn)槠髽I(yè)的發(fā)展提供理性規(guī)劃選擇。

2計(jì)算機(jī)處理技術(shù)分析

計(jì)算機(jī)數(shù)據(jù)處理技術(shù)中包括以信息為主要處理對象的獲取、傳輸、加工、存儲(chǔ)、感知、安全、發(fā)展、問題。具體如下。

2.1獲取-加工-傳輸

計(jì)算機(jī)信息處理技術(shù)以互聯(lián)網(wǎng)作為基礎(chǔ)，由于它的交互屬性，因而在整體上要完成的是一種數(shù)據(jù)信息的傳達(dá)—處理—接收過程。其中處理部分是計(jì)算機(jī)信息處理技術(shù)發(fā)揮重要作用的領(lǐng)域。比如，以搜索為例，在引擎中消費(fèi)者或用戶往往需要通過“關(guān)鍵詞”檢索自己所需的“相關(guān)信息”，因此，計(jì)算機(jī)信息處理在這個(gè)方面就需要提前分類與處理信息。（1）從獲取信息的層面觀察，手段的合理性非常重要，其中要求設(shè)置一個(gè)具有實(shí)時(shí)性的監(jiān)控機(jī)制，以此達(dá)到及時(shí)存儲(chǔ)處理、垃圾處理，其目的在于提高軟件操作效率，有效實(shí)現(xiàn)數(shù)據(jù)處理的合理化。（2）從處理信息的角度觀察，其中的處理主要是以交互性為前提，從處理信息本身、用戶需求兩個(gè)方向考慮實(shí)施數(shù)據(jù)信息的“加工”，通常要求按照性質(zhì)、功能、學(xué)科、“熱冷”（使用頻率）等進(jìn)行科學(xué)分類，以此為使用者提供便利。（3）從傳輸?shù)慕嵌确治?，其主要是通過信息平成，其中的傳輸要求計(jì)算機(jī)處理技術(shù)為其提供安全性、可控制性。

2.2存儲(chǔ)-感知-安全

大數(shù)據(jù)的數(shù)量積累決定了在其在存儲(chǔ)方面的困難及占用空間的無限擴(kuò)展，因此，除了實(shí)時(shí)存儲(chǔ)、清除之外，最重要的是發(fā)展一種新的技術(shù)，令存儲(chǔ)能夠更為安全、高效集中。比如，DEEPWEB數(shù)據(jù)感知技術(shù)、安全技術(shù)就可以為其保駕護(hù)航。（1）時(shí)代背景決定了大數(shù)據(jù)積累庫存量的持續(xù)增長、快速增長，因此，在信息處理過程中要求以這種增速作為主要特征，運(yùn)用一系列技術(shù)手段，更為安全、快速地完成處理，具體要求提高處理效率。從存儲(chǔ)信息的手段實(shí)現(xiàn)觀察，應(yīng)以分類原則為基礎(chǔ)，盡量從結(jié)構(gòu)形式進(jìn)行數(shù)據(jù)的高效化存儲(chǔ)。（2）感知重點(diǎn)集中于DEEPWEB數(shù)據(jù)感知，其中主要的內(nèi)容指的是將其與獲取技術(shù)進(jìn)行結(jié)合，利用網(wǎng)絡(luò)深層空間技術(shù)實(shí)現(xiàn)數(shù)據(jù)信息抽取、分析，其處理過程以動(dòng)態(tài)化的數(shù)據(jù)訪問作為整理手段，集合效率較高。（3）在數(shù)據(jù)信息的安全技術(shù)處理層面觀察，要求從多個(gè)層面著手，包括重點(diǎn)數(shù)據(jù)的檢測、信息技術(shù)產(chǎn)品的開發(fā)、計(jì)算機(jī)信息安全體系的建構(gòu)等。根據(jù)現(xiàn)階段的安全防護(hù)要求分析，應(yīng)注重操作人員、計(jì)算機(jī)信息處理人員的共同努力，如操作者或用戶應(yīng)注重應(yīng)用時(shí)的安全性，降低危險(xiǎn)發(fā)生的可能性。計(jì)算機(jī)信息處理技術(shù)人員則應(yīng)盡量過濾、禁止危險(xiǎn)信息。

2.3發(fā)展-問題

信息技術(shù)推動(dòng)互聯(lián)網(wǎng)發(fā)展的過程中，顯著的特點(diǎn)在于易變性，因此，在實(shí)踐過程中要求計(jì)算機(jī)信息處理技術(shù)的主體能夠擁有一個(gè)動(dòng)態(tài)化的發(fā)展理念，始終站在發(fā)展的前沿為用戶的使用提供便利。下面先說明發(fā)展的基本方向?yàn)橄蛟朴?jì)算網(wǎng)絡(luò)轉(zhuǎn)化發(fā)展，然后指出當(dāng)前計(jì)算機(jī)信息處理技術(shù)分析中不可忽視的兩大難題。（1）計(jì)算機(jī)所處的網(wǎng)絡(luò)環(huán)境因其本身的屬性、局限性決定了它的硬件的使用范圍，同時(shí)要求實(shí)現(xiàn)計(jì)算機(jī)網(wǎng)絡(luò)向云計(jì)算機(jī)網(wǎng)絡(luò)的轉(zhuǎn)換，尤其是在當(dāng)前數(shù)據(jù)越來越多的情況下，其發(fā)展理念趨向于網(wǎng)絡(luò)數(shù)據(jù)、計(jì)算機(jī)硬件之間的分離，并以此達(dá)到轉(zhuǎn)化目的。（2）第一個(gè)問題是作為工具的“雙刃性”。計(jì)算機(jī)信息處理的基本面集中于網(wǎng)絡(luò)之中，而這種以“符號系統(tǒng)”構(gòu)建起來的語言編程往往由于工具使用主體的多元性而使作為工具的計(jì)算機(jī)信息處理技術(shù)具有“雙刃性”。第二個(gè)問題是數(shù)據(jù)信息的“無用化”。作為知識的數(shù)據(jù)信息第一次發(fā)生質(zhì)的飛躍是由于印刷術(shù)的推動(dòng)，最近一次根本性的轉(zhuǎn)變則主要是依賴于信息技術(shù)。當(dāng)前在大數(shù)據(jù)的時(shí)代背景之下，云計(jì)算的發(fā)展成為了必要條件，只有研發(fā)一系列計(jì)算軟件才能真正應(yīng)對當(dāng)前的大數(shù)據(jù)時(shí)代。在這個(gè)方面機(jī)器優(yōu)于人，但人類與信息處理之間脫離卻產(chǎn)生了一個(gè)重要的后果，即數(shù)據(jù)信息的無用化，比如，碎片化信息、海量集中信息中的選擇性決定了威廉姆斯所說的“傳播的控制性”，所以在這種情況下，數(shù)據(jù)信息作為一種處理對象、傳播對象，它更多是在一種選擇之中完成“單向供應(yīng)”。

3結(jié)語

大數(shù)據(jù)時(shí)代背景下的計(jì)算機(jī)信息處理技術(shù)相對復(fù)雜，專業(yè)化程度高、處理技術(shù)難度大，人腦處理的方式已很難適應(yīng)目前所面臨的大數(shù)據(jù)，因此，應(yīng)注重對于云計(jì)算網(wǎng)絡(luò)的研究、引入、運(yùn)用，以此實(shí)現(xiàn)大數(shù)據(jù)處理的“機(jī)器化”。根據(jù)現(xiàn)階段的發(fā)展?fàn)顩r觀察，建議在計(jì)算機(jī)信息處理技術(shù)方面增加技術(shù)研發(fā)投入，同時(shí)，盡量開發(fā)數(shù)據(jù)處理針對性較強(qiáng)的專業(yè)化軟件，較好應(yīng)對大數(shù)據(jù)時(shí)代，以及所帶來的挑戰(zhàn)。

參考文獻(xiàn)

[1]楊潔.辦公自動(dòng)化中計(jì)算機(jī)信息處理技術(shù)的應(yīng)用探析[J].科技資訊,2016(16).

[2]陳成業(yè).關(guān)于大數(shù)據(jù)與計(jì)算機(jī)信息處理技術(shù)的發(fā)展辨析[J].信息系統(tǒng)工程,2016(5).

篇7

關(guān)鍵詞：大數(shù)據(jù)技術(shù)；創(chuàng)新；社會(huì)管理機(jī)制

隨著云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等網(wǎng)絡(luò)產(chǎn)業(yè)的迅速發(fā)展，大數(shù)據(jù)技術(shù)已經(jīng)滲透進(jìn)了社會(huì)生活的各個(gè)領(lǐng)域，成為重要的社會(huì)生產(chǎn)因素，推動(dòng)著全球經(jīng)濟(jì)社會(huì)的迅速發(fā)展。①當(dāng)今時(shí)代，城市管理正朝著信息化、網(wǎng)絡(luò)化以及精細(xì)化方向邁進(jìn)。在這樣的發(fā)展新形勢下，在數(shù)據(jù)收集、處理、加工方面頗占優(yōu)勢的大數(shù)據(jù)技術(shù)便成為創(chuàng)新社會(huì)管理機(jī)制的重要手段。我們首先要掌握河北省社會(huì)治理中存在的問題，進(jìn)而將其與大數(shù)據(jù)技術(shù)相聯(lián)系，運(yùn)用大數(shù)據(jù)技術(shù)變革社會(huì)的管理方式，從而找到解決河北省社會(huì)現(xiàn)存問題的方法，推動(dòng)河北省社會(huì)又快又好發(fā)展。

一、大數(shù)據(jù)的內(nèi)涵

1.大數(shù)據(jù)的概念大數(shù)據(jù)，又被稱為巨量資料②，指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)通常是指以一種多元化的形式，通過眾多來源途徑搜集而來的龐大的數(shù)據(jù)組合，大數(shù)據(jù)通常具有實(shí)時(shí)性。大數(shù)據(jù)技術(shù)是位居數(shù)據(jù)分析前沿的現(xiàn)代化技術(shù)。2.大數(shù)據(jù)的特點(diǎn)在物聯(lián)網(wǎng)等各種網(wǎng)絡(luò)的迅速發(fā)展，智能終端、視頻監(jiān)控等網(wǎng)絡(luò)技術(shù)快速普及，數(shù)據(jù)呈現(xiàn)爆炸性增長的背景下，應(yīng)時(shí)代而產(chǎn)生的大數(shù)據(jù)表現(xiàn)出了四大顯著的特征。首先，大數(shù)據(jù)規(guī)模龐大。所謂大數(shù)據(jù)，最重要的特征是大，從TB級別，躍升到了PB級別。到現(xiàn)在為止，社會(huì)所生產(chǎn)的印刷材料的總量才幾百PB，從古至今所有人類所說過的話的總量大約才幾EB（1EB=1024PB）。從這些對比分析中，足以看出大數(shù)據(jù)所蘊(yùn)含的數(shù)據(jù)規(guī)模之大。其次是大數(shù)據(jù)處理的高速性。大數(shù)據(jù)有一個(gè)“一秒定律”，其含義是為了處理結(jié)果能夠及時(shí)有效，大數(shù)據(jù)必須要在1秒鐘內(nèi)形成所需要的答案，如若不能，處理結(jié)果則過期作廢。面對如此龐大的數(shù)據(jù)群，要在1秒內(nèi)獲取答案，這是堪比光速的運(yùn)算時(shí)速。第三是大數(shù)據(jù)種類的多樣性。大數(shù)據(jù)的種類非常多，包括各種視頻、圖片、地理位置信息等等。多樣性的數(shù)據(jù)類型，促使數(shù)據(jù)劃分為結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)是以文本為主的便于存儲(chǔ)的數(shù)據(jù)類型，而非結(jié)構(gòu)化數(shù)據(jù)則是與之相反的極不容易存儲(chǔ)的數(shù)據(jù)類型，如今社會(huì)非結(jié)構(gòu)化數(shù)據(jù)越來越多，數(shù)據(jù)多樣性的發(fā)展對數(shù)據(jù)的處理能力提出了更高的要求。第四是大數(shù)據(jù)的價(jià)值性。大數(shù)據(jù)的價(jià)值密度極低，以一段視頻為例，在整個(gè)視頻中，能夠使用的數(shù)據(jù)可能只有一兩秒。想要獲取大數(shù)據(jù)的價(jià)值就好像在沙地里尋找金子般困難，要從紛繁復(fù)雜數(shù)量龐大的數(shù)據(jù)中尋找非常稀少但卻極其珍貴的數(shù)據(jù)信息。

二、河北省社會(huì)管理中存在的問題及原因

1.河北省社會(huì)管理中存在的問題當(dāng)今社會(huì)飛速變化發(fā)展，但與之相對應(yīng)的社會(huì)管理機(jī)制卻處于滯后狀態(tài)。河北省社會(huì)管理機(jī)制存在著諸多問題，亟待解決，主要表現(xiàn)在以下幾個(gè)方面：首先是社會(huì)的各個(gè)管理部門之間的數(shù)據(jù)資源不能很好地做到共同分享，社會(huì)管理處于一種破碎化的管理狀態(tài)之下，各部門之間相互分割，單獨(dú)管理，缺乏溝通，進(jìn)而導(dǎo)致對相同數(shù)據(jù)進(jìn)行重復(fù)統(tǒng)計(jì)，極大地浪費(fèi)了政府進(jìn)行社會(huì)管理的成本。同時(shí)由于各部門之間缺乏溝通，致使民眾辦一件事要在各個(gè)部門之間來回穿梭，從而導(dǎo)致公共服務(wù)質(zhì)量水平低下。其次是河北省社會(huì)管理中存在著嚴(yán)重的越位、缺位現(xiàn)象。政府在社會(huì)管理中占據(jù)主導(dǎo)地位，實(shí)施著全能型政府的管理模式，忽視甚至阻礙社會(huì)組織和民眾在社會(huì)管理中的作用，最終也導(dǎo)致政府自身負(fù)擔(dān)過重，使社會(huì)服務(wù)效率低下。管得過寬分散了政府管理職責(zé)范圍之內(nèi)的事的精力，導(dǎo)致該處理之事管不好，多管之事也為難的局面。除此之外，河北省在社會(huì)管理中還存在著決策制定失誤，執(zhí)行行為受阻，社會(huì)監(jiān)測和預(yù)警體系不完善等問題。2.引發(fā)這些問題的原因首先從思想觀念方面而言，河北省在社會(huì)管理中管理理念滯后，在特色社會(huì)主義社會(huì)建設(shè)過程中仍未實(shí)現(xiàn)從管制理念到服務(wù)理念的轉(zhuǎn)變；在社會(huì)管理過程中，各類主體之間依舊沒有協(xié)同管理的觀念；在數(shù)據(jù)頻繁變換的今天，仍舊沒有改變靜態(tài)管理觀念。思想指引行為，管理理念落后進(jìn)而導(dǎo)致管理行為跟不上社會(huì)發(fā)展的步伐，社會(huì)發(fā)展所產(chǎn)生的問題得不到解決，反過來又阻礙了社會(huì)的管理。其次是在大數(shù)據(jù)時(shí)代下，在社會(huì)管理中缺乏對大數(shù)據(jù)的統(tǒng)籌機(jī)構(gòu)以及標(biāo)準(zhǔn)體系，從而導(dǎo)致數(shù)據(jù)資源無法實(shí)現(xiàn)共享、得到有效的利用。并且決策者忽視已有數(shù)據(jù)和民眾意愿，致使其所做的決策不能夠與時(shí)俱進(jìn)，符合民意，從而使得社會(huì)管理中民怨四起，嚴(yán)重制約了社會(huì)發(fā)展。第三是在社會(huì)管理中，數(shù)據(jù)管理技術(shù)的落后也是一個(gè)重要的因素，大數(shù)據(jù)極為重要的作用在于預(yù)測，只有通過預(yù)測才能未雨綢繆，從而提早做好防范，數(shù)據(jù)管理技術(shù)的落后阻礙了這一過程的實(shí)現(xiàn)，進(jìn)而影響了社會(huì)的管理。

三、利用大數(shù)據(jù)技術(shù)創(chuàng)新河北省社會(huì)管理機(jī)制的對策

篇8

[關(guān)鍵詞]大數(shù)據(jù)分析 批量處理計(jì)算 流式處理計(jì)算

中圖分類號：X734.2 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-914X（2016）10-0206-01

1 引言

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，物聯(lián)網(wǎng)技術(shù)、移動(dòng)互聯(lián)技術(shù)、社交媒體等技術(shù)及其應(yīng)用在是越來越多，全球的數(shù)據(jù)急劇膨脹，人類已經(jīng)步入了大數(shù)據(jù)的時(shí)代。大數(shù)據(jù)中包含著大量的隱含信息，需要從這些隱含的信息中提取有價(jià)值的大知識，這些大的知識將在更高的層面上、更廣闊的視角、更大范圍內(nèi)對用戶提供洞察力、決策力，為人類以及社會(huì)創(chuàng)造更大的利益以及價(jià)值。目前主流的大數(shù)據(jù)庫計(jì)算模式分為兩種，分別為批量式計(jì)算和流式計(jì)算兩種模式。

在批量計(jì)算模式中，首先是需要對海量數(shù)據(jù)進(jìn)行存儲(chǔ)，然后對這些存儲(chǔ)的靜態(tài)數(shù)據(jù)進(jìn)行集中起來進(jìn)行計(jì)算，目前的Hadoop就是一種非常典型的批量計(jì)算架構(gòu)；在流式計(jì)算模式中，無法確定數(shù)據(jù)的到來時(shí)刻以及數(shù)據(jù)的次序，也不用將數(shù)據(jù)全部進(jìn)行存儲(chǔ)起來進(jìn)行計(jì)算。而是當(dāng)這些流動(dòng)的數(shù)據(jù)到來之后直接在內(nèi)存中進(jìn)行實(shí)時(shí)性的處理，典型的Twitter、Storm、Yahoo的S4就是這種流式的數(shù)據(jù)計(jì)算模式。

2 應(yīng)用場景及數(shù)據(jù)特征

2.1 批量處理系統(tǒng)

對于批量處理系統(tǒng)來說，這類系統(tǒng)比較適合對于靜態(tài)數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，從海量信息中獲取具體的含義，得到很明智的決策，最終為領(lǐng)導(dǎo)提供輔助決策制定相應(yīng)的應(yīng)對措施來實(shí)現(xiàn)業(yè)務(wù)目標(biāo)。大數(shù)據(jù)中的批量處理系統(tǒng)適合先進(jìn)行存儲(chǔ)然后進(jìn)行計(jì)算，對于數(shù)據(jù)處理的實(shí)時(shí)性要求不是很高，但是對于數(shù)據(jù)的準(zhǔn)確性和全面性要求更高。

2.1.1 數(shù)據(jù)特征

對于批量數(shù)據(jù)來說，通常具備三個(gè)典型的特征，（1）數(shù)據(jù)量比較大，數(shù)據(jù)量從TB級別到PB級別，數(shù)據(jù)主要是以靜態(tài)的形式存儲(chǔ)在磁盤上，存儲(chǔ)的時(shí)間比較大，一般不進(jìn)行數(shù)據(jù)的更新數(shù)據(jù)，海量數(shù)據(jù)可以重復(fù)進(jìn)行使用，這種數(shù)據(jù)不容易移動(dòng)以及備份處理；（2）數(shù)據(jù)的精度比較高，存儲(chǔ)的這些數(shù)據(jù)一般是屬于企業(yè)中的一部分，是長時(shí)間積累下來的；（3）數(shù)據(jù)價(jià)值密度相對來說比較低。往往有價(jià)值的信息比較少，因此需要采用合理的分析算法對這些批量數(shù)據(jù)進(jìn)行信息抽取，同時(shí)處理批量數(shù)據(jù)比較耗時(shí)，一般不提供交互功能，當(dāng)提取結(jié)果與預(yù)期差別很大時(shí)，會(huì)浪費(fèi)很多時(shí)間。因此，批量處理系統(tǒng)比較適合相對比較成熟的作業(yè)。

2.1.2 代表性處理系統(tǒng)

對于批處理系統(tǒng)來說，比較典型的代表是由Google公司開發(fā)的文件系統(tǒng)GFS（google File System）和研發(fā)的MapReduce編程模型。雖然Google公司沒有對這兩項(xiàng)技術(shù)進(jìn)行源碼的公開，但是基于發(fā)表的兩篇文章，Nutch子項(xiàng)目中的Hadoop實(shí)現(xiàn)了開源的兩個(gè)產(chǎn)品：HDFS和MapReduce。Hadoop成為批量處理架構(gòu)中非常典型的一種架構(gòu)模式，HDFS負(fù)責(zé)對靜態(tài)的數(shù)據(jù)進(jìn)行存儲(chǔ)，通過MapReduce對這些靜態(tài)數(shù)據(jù)進(jìn)行計(jì)算邏輯的分配。Hadoop成為很多IT公司的大數(shù)據(jù)主流架構(gòu)，基于HDFS和MapReduce建立了很多項(xiàng)目。

MapReduce編程模型收到很多主流IT的歡迎，主要有幾個(gè)方面的原因：（1）MapReduce是一種沒有共享的大規(guī)模集群系統(tǒng)，這種集群系統(tǒng)具有很好的性價(jià)比和伸縮性；（2）MapReduce模型比較簡單，容易理解，便于使用。能夠不僅僅處理大規(guī)模的數(shù)據(jù)，而且能夠?qū)芏嗉?xì)節(jié)進(jìn)行隱藏（包括自動(dòng)并行化、負(fù)載均衡、災(zāi)備管理等），能夠很大程度上降低程序員的工作量。

2.2 流式處理系統(tǒng)

2.2.1 數(shù)據(jù)特征

一般情況下，對于流式數(shù)據(jù)來說，是一個(gè)無窮的數(shù)據(jù)序列信息，對于流式數(shù)據(jù)中的每個(gè)序列來說數(shù)據(jù)的來源是不同的，數(shù)據(jù)可能是結(jié)構(gòu)化或非結(jié)構(gòu)化，這些序列往往包含時(shí)間特征，或者有其他能夠表示有序的標(biāo)簽信息。從數(shù)據(jù)庫的角度來說，流式數(shù)據(jù)中的每個(gè)元素都可以看成是一個(gè)元祖。流式數(shù)據(jù)在不同的場景中能夠表現(xiàn)出不同的特征信息，比如表現(xiàn)流速的大小、元素特征的數(shù)量、數(shù)據(jù)格式不同等。

2.2.2 代表性處理系統(tǒng)

流式計(jì)算處理系統(tǒng)目前得到廣泛的應(yīng)用，包括Twitter的Storm，F(xiàn)acebook的Scribe，Linkedin的Samza等。本節(jié)主要是對Twitter的Storm進(jìn)行詳細(xì)的介紹。

Storm的主要特點(diǎn)是一種基于分布式的、可靠、容錯(cuò)性好的流式處理系統(tǒng)，被分配的流式處理作業(yè)能夠分發(fā)到不同的組件上，被分配的每個(gè)組件負(fù)責(zé)一項(xiàng)單一的、特定的處理任務(wù)。Storm集群中輸入流由Spout來進(jìn)行負(fù)責(zé)，Storm將流式數(shù)據(jù)分發(fā)給Blot的組件，Blot組件對其進(jìn)行處理。Storm可以進(jìn)行實(shí)時(shí)的數(shù)據(jù)處理以及對數(shù)據(jù)庫進(jìn)行更新，能夠被用于進(jìn)行持續(xù)的計(jì)算，對連續(xù)的數(shù)據(jù)流進(jìn)行查詢處理，在計(jì)算的過程中結(jié)果是以流的形式輸出給用戶。還可以用于進(jìn)行分布式的處理RPC。

3 大數(shù)據(jù)關(guān)鍵技術(shù)

3.1 大數(shù)據(jù)批量計(jì)算關(guān)鍵技術(shù)

在大數(shù)據(jù)批量計(jì)算中，系統(tǒng)架構(gòu)、分布式文件系統(tǒng)、分布式數(shù)據(jù)處理系統(tǒng)等關(guān)鍵技術(shù)成為制約其發(fā)展的關(guān)鍵技術(shù)。

（1）系統(tǒng)架構(gòu)

在進(jìn)行大數(shù)據(jù)處理的過程中，需要的關(guān)鍵技術(shù)主要是針對海量的數(shù)據(jù)進(jìn)行存儲(chǔ)以及分析計(jì)算，因此選擇合理的架構(gòu)對其進(jìn)行批量處理是其中的重點(diǎn)。

（2）分布式文件系統(tǒng)

在大數(shù)據(jù)應(yīng)用中，文件系統(tǒng)是其中非常重要的一個(gè)部分。對于海量的數(shù)據(jù)需要采取分布式存儲(chǔ)的方式存儲(chǔ)到磁盤上，方便后期的計(jì)算。

（3）分布式數(shù)據(jù)處理系統(tǒng)

對于分布到磁盤上的海量信息，如何選取合理的數(shù)據(jù)處理系統(tǒng)對其進(jìn)行處理分析是其中的一個(gè)非常重要的關(guān)鍵點(diǎn)。

3.2 大數(shù)據(jù)流式計(jì)算關(guān)鍵技術(shù)

對于流式計(jì)算中，理想中的大數(shù)據(jù)流式計(jì)算應(yīng)該具有比較低的延遲、高的吞吐量、保持持續(xù)運(yùn)行、可以伸縮等特征，這些離不開系統(tǒng)的架構(gòu)、海量數(shù)據(jù)的傳輸、編程的接口、高新技術(shù)等關(guān)鍵技術(shù)的合理設(shè)計(jì)與規(guī)劃。

（1）系統(tǒng)架構(gòu)設(shè)計(jì)

流式計(jì)算中的架構(gòu)指不同的各個(gè)子系統(tǒng)之間的一種重新組合的方式，對于流式處理計(jì)算中需要選擇特定的框架進(jìn)行流式計(jì)算。目前主流的流式計(jì)算系統(tǒng)中采用的架構(gòu)分為無中心節(jié)點(diǎn)的對稱系統(tǒng)架構(gòu)以及具備中心節(jié)點(diǎn)的主從式結(jié)構(gòu)。

（2）數(shù)據(jù)傳輸

數(shù)據(jù)傳輸主要是完成從有向任務(wù)圖到物理計(jì)算節(jié)點(diǎn)之間的部署，部署各個(gè)節(jié)點(diǎn)之間的數(shù)據(jù)傳輸方式。在流式計(jì)算系統(tǒng)中，為了能夠具備高的吞吐量、比較低的延遲，需要不斷的優(yōu)化從有向任務(wù)圖到物理計(jì)算節(jié)點(diǎn)之間的部署及其映射方式。目前主流的數(shù)據(jù)傳輸方式分為主動(dòng)推送方式和被動(dòng)拉取的方式。

（3）編程接口

在流式計(jì)算中，為了方便從有向任務(wù)圖到物理計(jì)算節(jié)點(diǎn)之間的部署，需要進(jìn)行編程實(shí)現(xiàn)任務(wù)圖中各個(gè)節(jié)點(diǎn)的相應(yīng)處理功能。需要編制大量的流式數(shù)據(jù)計(jì)算系來提供應(yīng)用編程的接口，方便的接口能夠方便用戶實(shí)現(xiàn)內(nèi)部的業(yè)務(wù)邏輯及處理，減少用戶的編程的工作量。

4 總結(jié)與展望

互聯(lián)網(wǎng)技術(shù)、云計(jì)算等高新技術(shù)的快速發(fā)展，多樣化的應(yīng)用不斷的增加，數(shù)據(jù)在各行各業(yè)中都成為非常重要的一個(gè)組成部分，如何在海量的信息中獲取有價(jià)值的信息是大數(shù)據(jù)需要完成的工作。本文根據(jù)大數(shù)據(jù)對數(shù)據(jù)處理的形式不同，介紹了批量處理系統(tǒng)和流式處理系統(tǒng)，并對大數(shù)據(jù)中的關(guān)鍵技術(shù)進(jìn)行了介紹。

參考文獻(xiàn)

[1] 劉智慧，張泉靈.大數(shù)據(jù)技術(shù)研究綜述[J].浙江大學(xué)學(xué)報(bào)：工學(xué)版，2014（06）：957-972.

篇9

一、大數(shù)據(jù)下環(huán)境審計(jì)的機(jī)會(huì)

（一）新型數(shù)據(jù)分析技術(shù)讓環(huán)境審計(jì)取證更簡便

單就資源環(huán)境審計(jì)檢查取證這方面來說，環(huán)境審計(jì)與傳統(tǒng)審計(jì)不同的是其審計(jì)程序和方法更著重于現(xiàn)場的核查，因?yàn)橹挥羞@樣才能更直觀的對資源環(huán)境狀況進(jìn)行了解。同時(shí)需要環(huán)境審計(jì)人員處理大量的圖片視頻信息，工作量大且對審計(jì)數(shù)據(jù)處理以及分析的時(shí)效性提出了極大要求。然而大數(shù)據(jù)的環(huán)境下云審計(jì)平臺(tái)的出讓審計(jì)隊(duì)伍不需要直接出現(xiàn)在資源環(huán)境審計(jì)對象所在地，審計(jì)人員能利用互聯(lián)網(wǎng)計(jì)算機(jī)對云端數(shù)據(jù)進(jìn)行處理和分析從而更好地實(shí)現(xiàn)勘察人員與審計(jì)人員的分工合作。另一面大數(shù)據(jù)技術(shù)不斷發(fā)展，其中的圖像識別和圖像分析技術(shù)能給環(huán)境審計(jì)人員的工作帶來極大的便利，電腦與人腦不同，其在觀看大量且極盡相似的圖片時(shí)不會(huì)感到疲憊，并且能夠找出肉眼不能識別出的細(xì)微差別并進(jìn)行分析。圖像識別和圖像分析技術(shù)日益成熟，讓處理大量環(huán)境圖片和視頻也變得非常的方便。隨著大數(shù)據(jù)多媒體傳輸技術(shù)更加成熟，環(huán)境審計(jì)工作者在某些特定情況可以采用視頻傳輸?shù)姆绞讲⑼ㄟ^計(jì)算機(jī)的處理能夠更大限度的了解到現(xiàn)場的氣候資源環(huán)境的情況，審計(jì)數(shù)據(jù)的處理也更加實(shí)時(shí)性。

從環(huán)境審計(jì)相關(guān)動(dòng)態(tài)數(shù)據(jù)計(jì)算方面來說，環(huán)境審計(jì)需要計(jì)算大量的審計(jì)環(huán)境績效指標(biāo)數(shù)據(jù)，與環(huán)境資源審計(jì)的一些相關(guān)數(shù)據(jù)通常是動(dòng)態(tài)的，需要采用大量采用定性分析與定量分析、延伸跟蹤等審計(jì)方法。在大數(shù)據(jù)環(huán)境下，計(jì)算相關(guān)環(huán)境審計(jì)績效指標(biāo)時(shí)能比普通計(jì)算方式提供更具有保證的實(shí)時(shí)性，準(zhǔn)確性和高效性。大數(shù)據(jù)技術(shù)能從海量分散并且實(shí)時(shí)變化的動(dòng)態(tài)環(huán)保數(shù)據(jù)中挖掘出有價(jià)值的信息快速通過分析并獲取當(dāng)前狀況，能保證環(huán)境審計(jì)數(shù)據(jù)的時(shí)效性。

（二）全數(shù)據(jù)模式讓環(huán)境審計(jì)數(shù)據(jù)分析的工作更精準(zhǔn)

在傳統(tǒng)環(huán)境審計(jì)工作中，由于數(shù)據(jù)的多而雜，我們一般會(huì)采用審計(jì)抽樣來分析，不可避免的就會(huì)有一定程度的抽樣風(fēng)險(xiǎn)會(huì)存在。而大數(shù)據(jù)的環(huán)境下，“樣本=總體”的全數(shù)據(jù)模式是分析與審計(jì)對象相 關(guān)的所有數(shù)據(jù)，這讓審計(jì)工作可以建立整體到局部的審計(jì)模式。在全數(shù)據(jù)模式下開展審計(jì)數(shù)據(jù)分析，不僅能夠規(guī)避了審計(jì)抽樣風(fēng)險(xiǎn)同時(shí)也能打破從局部推算整體的局限性，進(jìn)而也保證了更加精準(zhǔn)環(huán)境審計(jì)數(shù)據(jù)分析工作的結(jié)果；和傳統(tǒng)的的方法比起來，數(shù)據(jù)不需要進(jìn)行預(yù)處理，減少了大量的工作量同時(shí)也保證了數(shù)據(jù)的原始特征，從而使得開展數(shù)據(jù)分析工作能夠具有更全面、更接近真實(shí)的洞察力。（見圖1）

二、大數(shù)據(jù)下環(huán)境審計(jì)的挑戰(zhàn)

（一）大數(shù)據(jù)對環(huán)境審計(jì)人才的挑戰(zhàn)

與傳統(tǒng)審計(jì)不同之處在于環(huán)境審計(jì)的過程中會(huì)涉及到大量的環(huán)境檢測的技術(shù)指標(biāo)，而理解、掌握和運(yùn)用這些技術(shù)指標(biāo)需要一定的檢測裝備和高級專業(yè)技術(shù)人才，本就比傳統(tǒng)審計(jì)需要更多的復(fù)合性人才，而在大數(shù)據(jù)環(huán)境下，半結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)成為了環(huán)境審計(jì)工作中數(shù)據(jù)的重要形式，且傳統(tǒng)的環(huán)境審計(jì)工作中，審計(jì)人員所面對的是結(jié)構(gòu)性數(shù)據(jù)，其掌握的也只是對傳統(tǒng)的結(jié)構(gòu)性數(shù)據(jù)分析方法。這對審計(jì)人才隊(duì)伍的建設(shè)又提出了更高的要求，為了保證審計(jì)結(jié)論的客觀性和權(quán)威性，必須擁有更多復(fù)合型的審計(jì)人才，只有這樣才能減少大數(shù)據(jù)浪潮帶來的審計(jì)風(fēng)險(xiǎn)，才能保證環(huán)境審計(jì)工作能夠有效的搜集和鑒證。

（二）大數(shù)據(jù)對環(huán)境審計(jì)平臺(tái)的挑戰(zhàn)

1.構(gòu)建新審計(jì)信息平臺(tái)的風(fēng)險(xiǎn)

從大數(shù)據(jù)對環(huán)境審計(jì)平臺(tái)的沖擊來看，雖然當(dāng)環(huán)境審計(jì)具有良好的信息數(shù)據(jù)平臺(tái)時(shí)，公眾則可以接觸更多透明資料，同時(shí)政府部門則可以推動(dòng)自身政務(wù)工作的發(fā)展。但受到傳統(tǒng)資源環(huán)境審計(jì)觀念影響的審計(jì)工作人員，如何實(shí)現(xiàn)電子信息環(huán)境審計(jì)平臺(tái)的構(gòu)建與優(yōu)化，仍然是一個(gè)大問題，與此同時(shí)，云審計(jì)平臺(tái)的出現(xiàn)也要求環(huán)境設(shè)計(jì)工作對新的工作平臺(tái)重新作出適應(yīng)。

2.選擇大數(shù)據(jù)分析工具的風(fēng)險(xiǎn)

環(huán)境審計(jì)在開展審計(jì)數(shù)據(jù)分析時(shí)會(huì)涉及到大數(shù)據(jù)分析的運(yùn)算工具。但是，大數(shù)據(jù)分析平臺(tái)可供選擇的商家的數(shù)目多，環(huán)境審計(jì)單位如何選擇適合自己的大數(shù)據(jù)分析平臺(tái)非常重要，環(huán)境審計(jì)單位應(yīng)該結(jié)合自己的需求并分析被審計(jì)單位的情況，選擇適合自己的大數(shù)據(jù)分析平臺(tái)，可以預(yù)先對其進(jìn)行應(yīng)用測試，以選擇最佳的大數(shù)據(jù)分析平臺(tái)。因?yàn)槿绻坏┻x擇了不適用的平臺(tái)，不僅會(huì)對進(jìn)一步審計(jì)工作造成困難，還會(huì)造成較高的審計(jì)風(fēng)險(xiǎn)。

三、大數(shù)據(jù)下環(huán)境審計(jì)工作的建設(shè)

（一）加強(qiáng)環(huán)境審計(jì)人才隊(duì)伍建設(shè)

在大數(shù)據(jù)環(huán)境下，關(guān)于環(huán)境審計(jì)隊(duì)伍的建設(shè)，主要在于環(huán)境審計(jì)人員能否改變傳統(tǒng)的審計(jì)方式同時(shí)轉(zhuǎn)變自身傳統(tǒng)的審計(jì)意識。需要環(huán)境審計(jì)人員們能夠認(rèn)識到自己在大數(shù)據(jù)環(huán)境審計(jì)中扮演的角色，融入到新的審計(jì)環(huán)境中去，其次，在環(huán)境??計(jì)單位需要強(qiáng)化培訓(xùn)其工作人員，同時(shí)審計(jì)人員也得有不斷學(xué)習(xí)意識，重視自身專業(yè)素養(yǎng)，不斷提高自己的工作職務(wù)勝任能力，在發(fā)展自身職業(yè)素養(yǎng)的同時(shí)也需要了解大數(shù)據(jù)相關(guān)的一些技術(shù)，環(huán)境審計(jì)隊(duì)伍應(yīng)該配備一些專業(yè)環(huán)境審計(jì)專家、計(jì)算機(jī)專家等，也為環(huán)境審計(jì)人員提供專業(yè)幫助，從而提高環(huán)境審計(jì)的工作效率，降低審計(jì)風(fēng)險(xiǎn)。

（二）加強(qiáng)環(huán)境審計(jì)平臺(tái)的建設(shè)

作為大數(shù)據(jù)技術(shù)的載體―環(huán)境審計(jì)平臺(tái)。因此為了更好的在大數(shù)據(jù)環(huán)境下進(jìn)行環(huán)境審計(jì)，我們必須建立合適的審計(jì)信息平臺(tái)。首先，構(gòu)建一個(gè)完整，獨(dú)立而又統(tǒng)一的信息網(wǎng)絡(luò)組織，讓其與財(cái)務(wù)系統(tǒng)、審計(jì)系統(tǒng)、環(huán)境系統(tǒng)、計(jì)算機(jī)專家系統(tǒng)等相互鏈接，保證信息渠道的暢通。其次，可以構(gòu)建一個(gè)完整的環(huán)境審計(jì)信息數(shù)據(jù)庫，保存各地搜集的環(huán)境審計(jì)信息，形成一個(gè)完整、安全的環(huán)境審計(jì)信息系統(tǒng)，再次，我們需要根據(jù)自身情況，結(jié)合環(huán)境審計(jì)單位與被審計(jì)單位的審計(jì)目標(biāo)，選擇適合自己的大數(shù)據(jù)分析工具，大數(shù)據(jù)技術(shù)才能夠更好的給環(huán)境審計(jì)工作帶來便利。

篇10

【關(guān)鍵詞】電力信息技術(shù) 大數(shù)據(jù) 發(fā)展路徑

1 大數(shù)據(jù)時(shí)代背景下的電力信息行業(yè)發(fā)展情況

1.1 大數(shù)據(jù)發(fā)展面臨的背景

隨著大數(shù)據(jù)時(shí)代快速邁進(jìn)，商業(yè)市場格局整體發(fā)生變化，麥肯錫公司于2011年最先使用大數(shù)據(jù)分析和研究項(xiàng)目，逐漸引起全社會(huì)的廣泛關(guān)注，如今已成為大多數(shù)企業(yè)的主流趨勢。針對大數(shù)據(jù)的定義不是硬性的，數(shù)據(jù)的收集通常利用網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)，集中推送操作是有目的的進(jìn)行，大量隱藏?cái)?shù)據(jù)通過數(shù)據(jù)的整理和挖掘獲得，為企業(yè)經(jīng)營管理人員的決策及執(zhí)行提供了較大的方便。

1.2 大數(shù)據(jù)時(shí)代背景下電力行業(yè)發(fā)展面臨的機(jī)遇

電力產(chǎn)業(yè)主要從三方面收集相關(guān)數(shù)據(jù)：其一是電網(wǎng)運(yùn)行過程中的相關(guān)數(shù)據(jù)，以及電網(wǎng)監(jiān)測項(xiàng)目運(yùn)行過程中的相關(guān)數(shù)據(jù)，這些數(shù)據(jù)比較復(fù)雜，不僅有報(bào)表數(shù)據(jù)，還包括一些文本信息數(shù)據(jù)，以往人工數(shù)據(jù)收集方法早已跟不上時(shí)展的步伐，而信息化技術(shù)的應(yīng)用則能夠提升信息數(shù)據(jù)利用效率，提升信息分析能力。其二是電力企業(yè)的營銷類數(shù)據(jù)，為確保電網(wǎng)銷售流程的完整性，保證電網(wǎng)結(jié)構(gòu)良好運(yùn)行，既要提高數(shù)據(jù)基礎(chǔ)的穩(wěn)定性，也要確保電網(wǎng)運(yùn)行的穩(wěn)定性。其三是電網(wǎng)管理方面的相關(guān)數(shù)據(jù)，這些數(shù)據(jù)是所有數(shù)據(jù)中最復(fù)雜的一部分，包括很多視頻圖像與音頻數(shù)據(jù)，企業(yè)分析數(shù)據(jù)時(shí)，科學(xué)決策要實(shí)現(xiàn)最優(yōu)化，要使管控結(jié)構(gòu)具有一定的完整性，使管理數(shù)據(jù)的實(shí)效性價(jià)值得到有效提升。應(yīng)用電力信息技術(shù)不但能夠確保數(shù)據(jù)的完整性，也能夠進(jìn)一步提高企業(yè)的經(jīng)濟(jì)效益。

2 立足大數(shù)據(jù)時(shí)代背景電力信息技術(shù)的發(fā)展策略

2.1 通過大數(shù)據(jù)檢測和診斷電網(wǎng)的狀態(tài)

為實(shí)現(xiàn)管理項(xiàng)目安全有效的運(yùn)行，一般以大數(shù)據(jù)發(fā)展為前提，采用管控措施來推動(dòng)電力信息技術(shù)的運(yùn)行。該區(qū)域通過設(shè)備觀測電網(wǎng)數(shù)據(jù)的采集狀態(tài)，創(chuàng)建有效的運(yùn)行機(jī)制。以往設(shè)備運(yùn)行時(shí)，因機(jī)制分析機(jī)制過程單一和簡單，對全局的控制和考量比較欠缺。不過，將數(shù)據(jù)融合機(jī)制與電力信息技術(shù)相互整合之后，就能夠?qū)崿F(xiàn)整合分析電網(wǎng)的實(shí)時(shí)數(shù)據(jù)，研究設(shè)備的運(yùn)行信息數(shù)據(jù)，也可以甄別大量的異構(gòu)數(shù)據(jù)，使全景化觀測控制平臺(tái)更加健全和完善，可為觀測項(xiàng)目的創(chuàng)建提供有力的數(shù)據(jù)基礎(chǔ)。隨著大數(shù)據(jù)時(shí)代的到來，智能化電網(wǎng)的實(shí)現(xiàn)成為一種可能，下一步的發(fā)展目標(biāo)就是進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)的管控和監(jiān)測，有效數(shù)據(jù)庫創(chuàng)建之后，充分分析和對比相關(guān)數(shù)據(jù)。

2.2 通過大數(shù)據(jù)分析和研究電能的損耗

電網(wǎng)運(yùn)行時(shí)，通常利用計(jì)算機(jī)的相關(guān)功能分析系統(tǒng)的運(yùn)行效率，為使數(shù)據(jù)結(jié)構(gòu)更加完整，實(shí)現(xiàn)最小化的功率損耗，可優(yōu)化配置電源，參數(shù)及負(fù)荷，使企業(yè)的經(jīng)濟(jì)效益更高。創(chuàng)建損耗控制機(jī)制過程中，通過大數(shù)據(jù)的應(yīng)用，可以確保得到準(zhǔn)確的電能表統(tǒng)計(jì)分析結(jié)果數(shù)據(jù)，對電網(wǎng)的整體運(yùn)行起到輔作用，而且，電網(wǎng)的管理人員需要進(jìn)一步分析數(shù)據(jù)的完整度和準(zhǔn)確性。再者，為確保電力企業(yè)的實(shí)際發(fā)展進(jìn)程與統(tǒng)計(jì)結(jié)果相符，應(yīng)當(dāng)利用大數(shù)據(jù)計(jì)算損耗，并且標(biāo)注安裝環(huán)境和測量的誤差。我們重點(diǎn)要關(guān)注的是，進(jìn)行精確損耗計(jì)算時(shí)，電網(wǎng)管理人員應(yīng)當(dāng)利用大數(shù)據(jù)實(shí)現(xiàn)實(shí)時(shí)計(jì)算損耗，實(shí)現(xiàn)常規(guī)化運(yùn)行離線計(jì)算。要以云計(jì)算項(xiàng)目為基礎(chǔ)，使信息采集與數(shù)據(jù)更具完整性，充分應(yīng)用大數(shù)據(jù)收集元件的運(yùn)行參數(shù)。即通過大數(shù)據(jù)運(yùn)行機(jī)制可有效統(tǒng)計(jì)和控制系統(tǒng)的電能損耗，既要有效踐行無損要求，也要確保高效的計(jì)算速度。積極落實(shí)大數(shù)據(jù)控制措施，實(shí)現(xiàn)企業(yè)電力信息技術(shù)運(yùn)行的動(dòng)態(tài)化。

2.3 通過大數(shù)據(jù)有效控制和預(yù)測負(fù)荷

電力項(xiàng)目運(yùn)行時(shí)，管理人員應(yīng)當(dāng)分析和研究系統(tǒng)參數(shù)，因電能無法存儲(chǔ)，導(dǎo)致系統(tǒng)的負(fù)荷產(chǎn)生變化，整體系統(tǒng)不夠穩(wěn)定，當(dāng)系統(tǒng)的操作流程運(yùn)行時(shí)，管理人員應(yīng)當(dāng)有效控制發(fā)電容量，使最大化需求得到充分的滿足，以保證低谷控制結(jié)構(gòu)的完善。針對有可能被浪費(fèi)的電能，管理人員應(yīng)當(dāng)采取積極有效的管控方法，有效踐行時(shí)效性價(jià)值。再者，企業(yè)管理人員需要對發(fā)電量進(jìn)行合理化調(diào)控，既要提升經(jīng)濟(jì)效益和社會(huì)效益，也要降低企業(yè)電力的運(yùn)行成本。實(shí)現(xiàn)整體系統(tǒng)聚合分析機(jī)制的良好發(fā)展。總而言之，有效應(yīng)用大數(shù)據(jù)推送和收集技術(shù)，可以確保有效整合和分析大量的電力數(shù)據(jù)信息，使預(yù)測的準(zhǔn)確性大大提升，保證電網(wǎng)智能調(diào)峰結(jié)構(gòu)更加完整。

2.4 應(yīng)用大數(shù)據(jù)智能預(yù)警和分析電網(wǎng)

分析系統(tǒng)時(shí)，電網(wǎng)管理人員應(yīng)當(dāng)利用管控機(jī)制監(jiān)督電網(wǎng)的整體運(yùn)行情況，以確保創(chuàng)建的大數(shù)據(jù)參數(shù)結(jié)構(gòu)與實(shí)際需要相符。這些年，在應(yīng)用大數(shù)據(jù)運(yùn)行框架進(jìn)行分析和預(yù)警時(shí)，通常應(yīng)用預(yù)案處理機(jī)制實(shí)現(xiàn)，這個(gè)機(jī)制可以預(yù)判系統(tǒng)可能出現(xiàn)的問題，針對某些具體問題，還可創(chuàng)建完善的語境模式，既實(shí)現(xiàn)智能化網(wǎng)絡(luò)控制結(jié)構(gòu)的有效提升，也實(shí)現(xiàn)了全民網(wǎng)絡(luò)監(jiān)管水平的提升，為使電力信息技術(shù)項(xiàng)目參數(shù)的準(zhǔn)確度更高，管理人員應(yīng)當(dāng)充分應(yīng)用云計(jì)算技術(shù)及大數(shù)據(jù)技術(shù)，創(chuàng)建智能化分析機(jī)制，確保整體運(yùn)行框架更加完善和健全。

3 結(jié)語

綜上所述，在研究和分析電力信息技術(shù)及大數(shù)據(jù)技術(shù)時(shí)，不同的區(qū)域應(yīng)當(dāng)根據(jù)自身實(shí)際狀況，創(chuàng)建更加健全完善的管控C制，使數(shù)據(jù)的傳輸和推送更加完整，使運(yùn)行策略與設(shè)計(jì)框架得到進(jìn)一步優(yōu)化，實(shí)現(xiàn)標(biāo)準(zhǔn)化和規(guī)范化的數(shù)據(jù)，使共享機(jī)制的運(yùn)行效率得到提升，確保數(shù)據(jù)的質(zhì)量，進(jìn)一步推動(dòng)電力行業(yè)的數(shù)字化發(fā)展。

參考文獻(xiàn)

[1]杜玉輝，蔣姣麗.大數(shù)據(jù)背景：高速公路收費(fèi)系統(tǒng)數(shù)據(jù)的現(xiàn)狀、分析與展望[J].電腦知識與技術(shù)，2012（15）.

[2]王思寧.2009電力信息通信技術(shù)論壇成功舉辦[J].電力信息化，2009（12）.

[3]盧建昌，樊圍國.大數(shù)據(jù)時(shí)代下數(shù)據(jù)挖掘技術(shù)在電力企業(yè)中的應(yīng)用[J].廣東電力，2014（09）.