大數(shù)據(jù)時代的定義范文
時間:2024-01-03 17:39:28
導(dǎo)語:如何才能寫好一篇大數(shù)據(jù)時代的定義,這就需要搜集整理更多的資料和文獻,歡迎閱讀由公務(wù)員之家整理的十篇范文,供你借鑒。
篇1
【關(guān)鍵詞】大數(shù)據(jù); 管理決策; 影響; 企業(yè)
引言
隨著市場經(jīng)濟全球化,各國經(jīng)濟不斷融合,各國之間的市場經(jīng)濟間都存在著激烈的競爭,隨之帶來的是各企業(yè)之間的強力競爭。這不僅是企業(yè)間的經(jīng)濟競爭,更是企業(yè)管理者間的能力競爭。這就要求決策者根據(jù)當前市場形勢分析復(fù)雜的行業(yè)環(huán)境,做出正確的決策。大數(shù)據(jù)作為網(wǎng)絡(luò)時代背景下的一次企業(yè)技術(shù)革命改革,正確地理解大數(shù)據(jù)的意義及內(nèi)涵,有利于企業(yè)管理者針對企業(yè)特征,利用企業(yè)優(yōu)勢做出正確有效的管理決策,促進企業(yè)發(fā)展。
一、對大數(shù)據(jù)定義及其特征理解
1.大數(shù)據(jù)的定義。
對于大數(shù)據(jù)的理解,不同的機構(gòu)給出的定義略有不同,麥肯錫全球研究所指出:所謂大數(shù)據(jù),是數(shù)據(jù)規(guī)模龐大,遠遠超出傳統(tǒng)數(shù)據(jù)軟件對數(shù)據(jù)獲取、儲存、管理、分析等方面的要求的一種數(shù)據(jù)集合。據(jù)有四大特征分別為:數(shù)據(jù)規(guī)模海量、數(shù)據(jù)流轉(zhuǎn)快速、數(shù)據(jù)類型多樣、價值密度低。而專業(yè)研究機構(gòu)Gartner給出的定義則是:大數(shù)據(jù)是一種適應(yīng)海量、高增長率、多樣化信息資產(chǎn)的具有更強決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的處理模式。對于大數(shù)據(jù)的應(yīng)用,其意義不在于掌握龐大的數(shù)據(jù)信息,而是對海量數(shù)據(jù)進行專業(yè)化處理后理解分析,大數(shù)據(jù)更注重對信息的處理能及,及處理后帶來的實際化效益。如果對不同的大數(shù)據(jù)定義進行整理分析,可發(fā)現(xiàn),這些定義都是在大數(shù)據(jù)本身具有的特征上形成的,并且多在強調(diào)現(xiàn)有技術(shù)手段對海量數(shù)據(jù)進行處理的困難性。且這些定義所關(guān)注重點更多的為其價值性。所以,大部分學(xué)者認為大數(shù)據(jù)的意義并不在于數(shù)據(jù)本身,更多的是作為基礎(chǔ)性資源。企業(yè)采集、儲存、使用大數(shù)據(jù)的能力,才是大數(shù)據(jù)是否具有商業(yè)價值的關(guān)鍵。
2.大數(shù)據(jù)的特征。
目前各學(xué)術(shù)領(lǐng)域?qū)Υ髷?shù)據(jù)的理解很多樣化,對于定義還并沒有一個嚴格的說法。但不難看出,大數(shù)據(jù)首要特征就是其數(shù)據(jù)信息龐大,海量化。就一般情況來說,普通大數(shù)據(jù)集合最少以TB為儲存單位,更有甚者,大數(shù)據(jù)以PB為儲存單位。在經(jīng)濟飛速發(fā)展的今天,幾PB甚至十幾PB的大數(shù)據(jù)信息并不罕見。例如目前世界最大的連鎖零售超市,沃爾瑪公司。其數(shù)據(jù)信息早在2010年就達到了2500TB。其次大數(shù)據(jù)的特征就是其數(shù)據(jù)流轉(zhuǎn)快速。隨著社會經(jīng)濟發(fā)展,科學(xué)進步,數(shù)據(jù)信息的產(chǎn)生趨于海量化。隨著通訊技術(shù)和網(wǎng)絡(luò)的不斷發(fā)展,對巨型數(shù)據(jù)的處理上邁向高速化?;ヂ?lián)網(wǎng)、云計算等網(wǎng)絡(luò)的發(fā)展還有智能移動通訊設(shè)備的進步及普及,很大程度上促進加速了數(shù)據(jù)的產(chǎn)生與流轉(zhuǎn)。除此之外,大數(shù)據(jù)還具有多樣化的特征。在當今社會形勢下形成的數(shù)據(jù)信息領(lǐng)域,其數(shù)據(jù)樣式往往有多種形態(tài)存在。大數(shù)據(jù)的多樣化致使大數(shù)據(jù)主要成為兩大分類,即數(shù)據(jù)化結(jié)構(gòu)和非數(shù)據(jù)化結(jié)構(gòu)。所謂結(jié)構(gòu)化數(shù)據(jù),是在正常產(chǎn)業(yè)運行企業(yè)交易過程中產(chǎn)生的,結(jié)構(gòu)化數(shù)據(jù)的處理,根據(jù)特定的數(shù)據(jù)處理方式將數(shù)據(jù)處理后進行儲存記錄,以便于日后應(yīng)用及分析。而非結(jié)構(gòu)化數(shù)據(jù)是根據(jù)互聯(lián)網(wǎng)海量點擊量,和大量的圖片文字的傳輸和射頻識別技術(shù)的發(fā)展產(chǎn)生的。這類數(shù)據(jù)主要產(chǎn)生于人與人之間,人與機器之間,或機器與機器之間。
二、大數(shù)據(jù)影響企業(yè)管理決策
決策是一個企業(yè)是否正確發(fā)展的關(guān)鍵,一個決策的產(chǎn)生,要經(jīng)過資料收集,計劃制定等多個階段。一個企業(yè)的管理決策,涵蓋了企業(yè)發(fā)展的戰(zhàn)略性決策,又包括著戰(zhàn)略性決策如何具體實施的小的決策。這種和決策不僅在企業(yè)未來和環(huán)境方面進行預(yù)測,也對企業(yè)的內(nèi)部資源進行調(diào)配。決策作為一種極具動態(tài)性和復(fù)雜性的一種管理行為,面對著收集信息,對信息進行篩選,解決各類信息沖突的作用。日益成熟的大數(shù)據(jù)下,各種信息的劇烈碰撞對當前企業(yè)決策影響巨大。其影響不僅覆蓋企業(yè)決策的主體,也影響企業(yè)思維模式組織結(jié)構(gòu)等方面。
1.決策主體受大數(shù)據(jù)影響。
決策的產(chǎn)生受企業(yè)文化、組織、前景等多方面影響,但最終結(jié)果就其核心還歸根于決策的制定者。一個企業(yè)的決策主體主要分為兩類,一類是企業(yè)的高層管理者,其所處位置與擁有的權(quán)限能讓高層管理者在決策中發(fā)揮至關(guān)重要的作用。另一類是普通員工或者是交基層的管理者,對于這類決策主體來說,他們雖然沒有擁有絕對性的決策作用,但他們所創(chuàng)造的產(chǎn)品、服務(wù)、管理等更加基礎(chǔ),更貼近市場,符合社會需求。在普通員工創(chuàng)造服務(wù)產(chǎn)品的過程中,可以主動與客戶交流,引導(dǎo)其參與產(chǎn)品的設(shè)計,使產(chǎn)品更加符合客戶需求。并且在產(chǎn)品生產(chǎn)上市的過程中不斷與客戶交流,根據(jù)反饋信息對產(chǎn)品加以改進等,由此幫助企業(yè)快速正確發(fā)展。
在經(jīng)濟全球化,全球網(wǎng)絡(luò)化的時代,各產(chǎn)業(yè)之間的交叉越來越多,之間的界限也越來越模糊。大數(shù)據(jù)的出現(xiàn),使企業(yè)傳統(tǒng)模式的決策主體由高層管理者向基層管理者甚至普通工轉(zhuǎn)變,優(yōu)秀的表現(xiàn)突出的員工有機會參與企業(yè)決策,企業(yè)決策主體多樣化。另一方面,從企業(yè)決策的信息來源分析,網(wǎng)絡(luò)的快速發(fā)展,信息大爆炸時代致使普通民眾也可以為企業(yè)出謀劃策,成為企業(yè)決策的主體,這也表示企業(yè)決策主體普遍化,由企業(yè)高層精英像普通民眾發(fā)展。
2.企業(yè)決策權(quán)力受大數(shù)據(jù)的影響。
大數(shù)據(jù)下的企業(yè)決策,不僅在決策主體上發(fā)生了變化,在企業(yè)決策權(quán)的分配上,及決策權(quán)力的大小方面都有所改變。企業(yè)決策權(quán)力的配置方面主要發(fā)生以下幾點變化。企業(yè)各組織之間的決策權(quán)分配,組織與外部因地的決策權(quán)分配,還有就是組織內(nèi)部團隊之間的決策權(quán)分配。除此之外決策權(quán)力大小的分配上決定了企業(yè)決策權(quán)利集中制或是分散制。集中制的決策權(quán)說明企業(yè)高層掌握著企業(yè)大多數(shù)的決策權(quán)力,分散式的決策主要是只決策權(quán)部分下放到基層管理者手中,每個部門都具有一定程度的決策權(quán)利。
傳統(tǒng)的企業(yè)決策權(quán)力,更多的是集中制的決策形式,這種形式具有企業(yè)決策片面不全方位的弊端。網(wǎng)絡(luò)飛速發(fā)展,大數(shù)據(jù)化的情況下,企業(yè)不僅從專業(yè)渠道獲取數(shù)據(jù),數(shù)據(jù)的多樣化使得集中式的權(quán)力分配方式不能全面打開企業(yè)市場。而信息多元化的獲取,可以使基層管理者有一個全局性的視野,更好的對企業(yè)做出決策。故而類似金字塔形的至高權(quán)利分配方式趨于平均化。企業(yè)的權(quán)力配置順應(yīng)時展,普通員工具有決策權(quán)將是大數(shù)據(jù)背景下權(quán)力分配發(fā)展的主要方向。
3.管理決策思維方式受大數(shù)據(jù)的影響。
決策者的思維方式作為企業(yè)決策的一個重要組成因素,從根本上影響著一個決策的方向。決策時依據(jù)的數(shù)據(jù)方向不同,且不同的思維方式,會產(chǎn)生不同的決策結(jié)果。并且在決策的部分細節(jié)制定中,這種不同也會顯現(xiàn)出來。大數(shù)據(jù)時代背景下,決策就應(yīng)該全方位的應(yīng)用大數(shù)據(jù)所帶來的優(yōu)勢,系統(tǒng)的、全方位的、準確的收集信息,系統(tǒng)的利用數(shù)學(xué)建模等專業(yè)方式對大量數(shù)據(jù)進行分析,深度挖掘有關(guān)決策的各方面信息。傳統(tǒng)的決策方式更多的是利用決策主體的經(jīng)驗,直覺對當前市場發(fā)展形勢做出下一步規(guī)劃。然而大數(shù)據(jù)背景下,產(chǎn)生的新的決策模式將會改變中“感覺”上的決策。根據(jù)大數(shù)據(jù)提供的資料與分析,全方位科學(xué)的對企業(yè)下一步進行決策。
4.決策文化受大數(shù)據(jù)的影響。
人在成長過程中所受地域不同,文化環(huán)境不同,從而形成不同的情感傾向。決策主體在制定決策過程中,如確定目標、設(shè)計試試方案的同時都會潛意識的摻雜個人情感傾向。傳統(tǒng)的決策方法數(shù)據(jù)分析不如大數(shù)據(jù)時代下信息基礎(chǔ)龐大。主要取決于決策主體對企業(yè)內(nèi)外的測評與市場評估,主觀性較強,因決策本身存在一定的風險,故而管理者任何影響決策的文化背景都有可能給決策帶來不同的困難。大數(shù)據(jù)時代下,為了避免某些主觀因素產(chǎn)生的錯誤,利用日益成熟的大數(shù)據(jù)分析技術(shù),和龐大的數(shù)據(jù)體系帶來的信息,理性、準確、科學(xué)的為企業(yè)決策做出更為精準的判斷。更有學(xué)者指出,企業(yè)的決策者應(yīng)對相關(guān)關(guān)系加大關(guān)注度,而不是過分的在意因果關(guān)系。也僅是說決策者應(yīng)該將企業(yè)發(fā)展決策側(cè)重于充分利用現(xiàn)代科技技術(shù)與現(xiàn)有數(shù)據(jù)充分發(fā)揮自身價值,而不是過分關(guān)注企業(yè)決策者思維方向。
三、大數(shù)據(jù)在企業(yè)決策中產(chǎn)生的問題
大數(shù)據(jù)時代的臨近,給企業(yè)帶來了很多好處,但與此同時也有許多問題隨之產(chǎn)生。并且很多方面的因素都影響著管理數(shù)據(jù)和大數(shù)據(jù)之間的關(guān)系。首先在數(shù)據(jù)隱私性和知識產(chǎn)權(quán)方面,雖然大數(shù)據(jù)對各企業(yè)決策等方面都非常重要。隨著大數(shù)據(jù)的有點背人們?nèi)找嫱诰?,各類?shù)據(jù)的價值被人們?nèi)找骊P(guān)注,更多的數(shù)據(jù)趨于便捷化、數(shù)字化,且在各種企業(yè)中被重復(fù)利用。信息時代的數(shù)據(jù)可復(fù)制,反復(fù)利用,更大程度上存在數(shù)據(jù)外泄的情況,更有企業(yè)在收集數(shù)據(jù)時面臨知識產(chǎn)權(quán),隱私保密方面的問題,這將是企業(yè)大數(shù)據(jù)形式下需要克服的困難。其次,大數(shù)據(jù)的優(yōu)點不在于其數(shù)據(jù)龐大,更在于龐大的數(shù)據(jù)下經(jīng)過分析給企業(yè)帶來的價值。很多企業(yè)對數(shù)據(jù)分析不徹底,沒有深度挖掘大數(shù)據(jù)帶來的價值,使數(shù)據(jù)顯得雞肋,大有使之無味棄之可惜的意思。大數(shù)據(jù)還由于數(shù)據(jù)信息龐大,現(xiàn)有技術(shù)處理起來較困難的問題,所以運用大容量大速率的數(shù)據(jù)處理工具也成為企業(yè)決策成敗的關(guān)鍵因素。企業(yè)應(yīng)該著重致力于技術(shù)技能的發(fā)展創(chuàng)新,高效利用大數(shù)據(jù)給企業(yè)帶來的優(yōu)勢。
四、總結(jié)
在大數(shù)據(jù)的背景下,企業(yè)所面對的環(huán)境每時每秒都發(fā)生著變化。此種環(huán)境下企業(yè)若想在社會中站穩(wěn)腳跟,得到發(fā)展。就必須正視大數(shù)據(jù)對企業(yè)決策管理的產(chǎn)生的影響。合理運用大數(shù)據(jù),能使企業(yè)在決策管理等多方面做出正確選擇,為企業(yè)決策發(fā)展等提供了新思路和方向,提升企業(yè)的社會競爭力促使企業(yè)發(fā)展壯大。
參考文獻
[1]王兵,池云. 大數(shù)據(jù)對企業(yè)數(shù)據(jù)管理和管理決策的影響分析[J]. 通訊世界,2016,05:227.
[2]崔雙吉. 大數(shù)據(jù)視域下的企業(yè)管理決策影響探究[J]. 中國管理信息化,2016,06:61-62.
[3]丁先宏. 互聯(lián)網(wǎng)“大數(shù)據(jù)”視域下的企業(yè)人力資源管理的思考[J]. 現(xiàn)代經(jīng)濟信息,2016,07:55.
[4]閆巍. 網(wǎng)絡(luò)時代背景下大數(shù)據(jù)對企業(yè)管理決策的影響探究[J]. 時代金融,2016,17:110+116.
篇2
[關(guān)鍵詞]大數(shù)據(jù) 安全風險 保障策略
中圖分類號:TP309 文獻標識碼:A 文章編號:1009-914X(2015)05-0269-01
0 引言
近年來,隨著云計算、物聯(lián)網(wǎng)、移動網(wǎng)絡(luò)的快速發(fā)展,全球數(shù)據(jù)量出現(xiàn)了巨幅增長,這種數(shù)據(jù)量大到超出傳統(tǒng)數(shù)據(jù)處理方法所能捕獲和管理的能力,于是產(chǎn)生了“大數(shù)據(jù)”。一方面,通過數(shù)據(jù)挖掘和智能分析,決策者能從大數(shù)據(jù)中發(fā)現(xiàn)知識、規(guī)律和趨勢;另一方面,大數(shù)據(jù)的發(fā)展將進一步擴大信息開放程度,個人隱私或敏感信息的泄露時有發(fā)生。面對現(xiàn)階段大數(shù)據(jù)發(fā)展的特征和面臨的風險,如何保障大數(shù)據(jù)安全具有重要意義。
1 大數(shù)據(jù)的定義
當前,對于大數(shù)據(jù)尚無一個統(tǒng)一、明確的定義。按照維基百科的定義,大數(shù)據(jù)是指所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過目前現(xiàn)有數(shù)據(jù)庫管理工具,在合理時間內(nèi)達到管理、截取、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的信息。美國知名咨詢公司麥肯錫在專題研究報告中稱:大數(shù)據(jù)指的是大小超出常規(guī)的數(shù)據(jù)庫工具獲取、存儲、管理和分析能力的數(shù)據(jù)集。
2 大數(shù)據(jù)的特征
從定義可以提取出大數(shù)據(jù)“4V”的特征,即Volume(海量化)、Variety(多樣化)、Velocity(快速化)和Value(價值價值大)。
2.1 海量的數(shù)據(jù)規(guī)模(Volume)
大數(shù)據(jù)時代,各種移動設(shè)備、智能終端無時無刻不在產(chǎn)生數(shù)據(jù),PB級別將是常態(tài)。根據(jù)互聯(lián)網(wǎng)數(shù)據(jù)中心的預(yù)測,全球到2020年將總共擁有35ZB(10億個T)的數(shù)據(jù)量。如果把這些數(shù)據(jù)全部刻錄到容量為9GB的光盤上,其疊加的高度將達到233萬公里,相當于在地球與月球之間往返三次。
2.2 多樣的數(shù)據(jù)類型(Variety)
以往數(shù)據(jù)大都以二維結(jié)構(gòu)呈現(xiàn),但隨著互聯(lián)網(wǎng)、多媒體技術(shù)的高速發(fā)展,視頻、音頻、圖片、郵件、RFID、GPS和傳感器等產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)在快速增長。這些數(shù)據(jù)在編碼方式、數(shù)據(jù)格式、應(yīng)用特征等方面存在差異,多信息源并發(fā)形成大量的異構(gòu)數(shù)據(jù),不同結(jié)構(gòu)的數(shù)據(jù)處理和分析方式也有所區(qū)別。
2.3 極快的處理速度(Velocity)
數(shù)據(jù)的快速流動和處理是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)挖掘的顯著特征。大數(shù)據(jù)中存儲著大量的流數(shù)據(jù),這些數(shù)據(jù)在互聯(lián)網(wǎng)絡(luò)中不斷傳遞,必須對數(shù)據(jù)進行快速實時處理。如何把握數(shù)據(jù)的時效性,是大數(shù)據(jù)時代對數(shù)據(jù)管理提出的基本要求。
3 大數(shù)據(jù)面臨的安全風險
近年來,大數(shù)據(jù)發(fā)展帶來機遇和價值的同時,其安全風險也廣為人們所關(guān)注和擔憂,美國“棱鏡門”項目的曝光更加凸顯了這一問題。大數(shù)據(jù)的安全風險主要體現(xiàn)在以下幾個方面:
3.1 大數(shù)據(jù)極易受到網(wǎng)絡(luò)攻擊
在網(wǎng)絡(luò)空間中,大數(shù)據(jù)成為更容易被“發(fā)現(xiàn)”的大目標,承載著越來越多的關(guān)注度。一方面,大數(shù)據(jù)不僅意味著海量的數(shù)據(jù),也意味著更敏感、更有價值的數(shù)據(jù),這些數(shù)據(jù)會吸引更多的潛在攻擊者。另一方面,數(shù)據(jù)的大量聚集,使得黑客一次成功的攻擊能夠獲得更多的數(shù)據(jù),無形中降低了黑客的進攻成本,增加了“收益率”。
3.2 大數(shù)據(jù)加大隱私泄露風險
一方面,隨著社交網(wǎng)絡(luò)、電子商務(wù)的興起,人們之間的聯(lián)系越來越依賴網(wǎng)絡(luò),大量個人信息分散在不同的網(wǎng)絡(luò)位置,只要將相關(guān)數(shù)據(jù)聚集起來,就很容易分析出個人的隱私信息。另一方面,很多基于大數(shù)據(jù)的研究分析都未考慮到個體隱私問題,時常把敏感信息部署到公開的服務(wù)器上,加大了個人隱私泄漏的風險。
3.3 大數(shù)據(jù)成為高級可持續(xù)攻擊的載體
傳統(tǒng)的檢測是基于單個時間點和具體威脅特征進行的實時匹配檢測,而高級可持續(xù)攻擊(APT)是一個實施過程,不具有能夠被實時檢測出來的明顯特征,黑客可以利用大數(shù)據(jù)將攻擊隱藏起來。同時,大數(shù)據(jù)的價值低密度性,安全分析工具很難聚焦在價值點上,攻擊者可以將攻擊代碼隱藏在大數(shù)據(jù)中,讓其很難被發(fā)現(xiàn)。
4 大數(shù)據(jù)安全的保障策略
現(xiàn)階段大數(shù)據(jù)技術(shù)面臨許多安全風險,同時大數(shù)據(jù)也為數(shù)據(jù)安全的發(fā)展提供了新的機遇。對海量的數(shù)據(jù)進行分析能夠更好地監(jiān)控網(wǎng)絡(luò)異常行為,防范網(wǎng)絡(luò)詐騙和黑客入侵。異常的網(wǎng)絡(luò)行為都以數(shù)據(jù)的形式藏匿在大數(shù)據(jù)中,可以從存儲、應(yīng)用和管理等方面著手,有效應(yīng)對大數(shù)據(jù)的安全威脅。
4.1 大數(shù)據(jù)存儲的安全策略
有效解決大數(shù)據(jù)的安全存儲,有以下途徑:一是數(shù)據(jù)加密,大數(shù)據(jù)可以按照需要存儲在數(shù)據(jù)集的任何存儲空間,通過 SSL(Secure Sockets Layer安全套接層)加密,實現(xiàn)數(shù)據(jù)集的節(jié)點和應(yīng)用程序之間移動來保護大數(shù)據(jù)。二是分離密鑰和加密數(shù)據(jù),使數(shù)據(jù)使用和數(shù)據(jù)保管獨立開來,密鑰與被保護的數(shù)據(jù)相互隔離。三是使用過濾器,一旦發(fā)現(xiàn)數(shù)據(jù)離開用戶網(wǎng)絡(luò),就自動阻止數(shù)據(jù)的再次傳輸,以保證數(shù)據(jù)安全。四是數(shù)據(jù)備份,通過系統(tǒng)容災(zāi)、敏感信息集中管控等方式,最大程度地保證大數(shù)據(jù)在損壞情況下完整。
4.2 大數(shù)據(jù)應(yīng)用的安全策略
一是嚴密防范APT攻擊,針對APT安全攻擊隱蔽性強、長期潛伏、攻擊路徑和渠道不確定等特征,設(shè)計具備實時檢測能力與事后回溯能力的全流量審計方案,有效防范攜帶病毒的應(yīng)用程序。二是嚴格控制用戶訪問,根據(jù)大數(shù)據(jù)的密級程度和用戶需求不同,為大數(shù)據(jù)和用戶設(shè)定不同的訪問權(quán)限等級,并通過單點登錄嚴格控制用戶訪問,從而保證數(shù)據(jù)安全。三是安裝實時分析系統(tǒng),從大數(shù)據(jù)中第一時間挖掘出黑客攻擊、非法操作、潛在威脅等各類安全事件,并及時發(fā)出警告并做出回應(yīng)。
4.3 大數(shù)據(jù)管理的安全策略
安全技術(shù)防范措施固然重要,科學(xué)有效的管理策略也很關(guān)鍵。一是規(guī)范統(tǒng)一建設(shè),建設(shè)一套規(guī)范的運行機制、建設(shè)標準和共享平臺,實現(xiàn)各類信息系統(tǒng)網(wǎng)絡(luò)互連、數(shù)據(jù)集成和資源共享,確保其在統(tǒng)一的安全規(guī)范框架下運行。二是建立安全系統(tǒng),建立一個基于異構(gòu)數(shù)據(jù)為中心的安全系統(tǒng),既便于對大數(shù)據(jù)的使用進行控制,也能夠保證大數(shù)據(jù)的安全。三是樹立創(chuàng)新理念,大數(shù)據(jù)時代應(yīng)以創(chuàng)新理念融合大數(shù)據(jù)與云計算,積極尋找新的立足點和著力點,在數(shù)據(jù)挖掘、人工智能等技術(shù)應(yīng)用和融合創(chuàng)新方面實現(xiàn)突破。
5 結(jié)語
作為“未來的新石油”,大數(shù)據(jù)已成為繼云計算、物聯(lián)網(wǎng)之后信息技術(shù)領(lǐng)域的又一熱點,但其面臨的安全挑戰(zhàn)不容忽視。為了保障大數(shù)據(jù)的安全,促進信息科學(xué)技術(shù)的健康可持續(xù)發(fā)展,就必須著眼于現(xiàn)狀,提出并落實有效的保障策略,使其真正成為這個時代的驅(qū)動力量。
參考文獻
[1] 嚴霄鳳,張德馨.大數(shù)據(jù)研究[J].計算機技術(shù)與發(fā)展,2013(4).
篇3
【Abstract】The large data age has brought great changes to the accounting industry. This paper starts with the definition and characteristics of big data, and analyzes the advantages and disadvantages of big data for accounting industry in detail, and puts forward the corresponding countermeasures for the adverse effects. Big data is bound to become the key to economic development in the future, so this research is of great significance.
【關(guān)鍵詞】大數(shù)據(jù);會計;影響;對策
【Keywords】big data; accounting; influence; countermeasures
【中圖分類號】F275 【文獻標志碼】A 【文章編號】1673-1069(2017)06-0079-02
1 引言
隨著互聯(lián)網(wǎng)的不斷發(fā)展,大數(shù)據(jù)時代到來,財務(wù)會計領(lǐng)域也隨之發(fā)生了巨大變革,大數(shù)據(jù)給會計的工作帶來了許多機遇,同時也帶來了很多的挑戰(zhàn),本文從有利與不利兩個方面闡述大數(shù)據(jù)對會計的影響,并提出相應(yīng)的應(yīng)對措施。
2 大數(shù)據(jù)的定義及特點
在互聯(lián)網(wǎng)應(yīng)用的普及下,大數(shù)據(jù)逐漸進入人們的視野并很快被人們運用。對于大數(shù)據(jù),研究機構(gòu)Gartner給出了這樣的定義:大數(shù)是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。對于大數(shù)據(jù)的特點,IBM提出了5V理論,即Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實性)。大數(shù)據(jù)的意義其實不在于擁有龐大的數(shù)據(jù)庫信息,而是在于如何對巨量信息進行專業(yè)化的分析與處理,通過對數(shù)據(jù)進行加工從而使這些數(shù)據(jù)得以“增值”,為企業(yè)所用。
3 大數(shù)據(jù)對于會計的有利影響
3.1 有助于企業(yè)間數(shù)據(jù)共享
互聯(lián)網(wǎng)的發(fā)展促進了大數(shù)據(jù)的產(chǎn)生,大數(shù)據(jù)的產(chǎn)生則進一步促進企業(yè)間的信息分享,尤其對于集團公司而言。傳統(tǒng)會計環(huán)境下,會計工作都是紙質(zhì)化,對于大的集團公司而言,與旗下分公司或子公司的會計信息交流效率低下且易產(chǎn)生傳遞錯誤,而在大數(shù)據(jù)環(huán)境下,電子合同、電子發(fā)票等電子原始憑證可以減少信息處理中的錯誤,會計工作實現(xiàn)無紙化,同時對于大型集團公司而言,與旗下的分公司或子公司間聯(lián)網(wǎng)后,會計信息得以迅速傳遞,提高效率的同時也增加了會計信息的準確度,有助于企業(yè)進行進一步的合理決策。
3.2 有助于促進會計人員素質(zhì)的提升
傳統(tǒng)會計環(huán)境下,會計的職能往往在于簡單的核算與報表分析,為管理者、經(jīng)營者和決策者提供數(shù)據(jù)依據(jù)。然而,隨著大數(shù)據(jù)時代的到來和市場經(jīng)濟的不斷發(fā)展,簡單的數(shù)據(jù)分析已經(jīng)不能滿足會計信息使用者的需求,在大數(shù)據(jù)環(huán)境下,會計人員需要運用數(shù)據(jù)庫對企業(yè)的財務(wù)數(shù)據(jù)和其他部門的數(shù)據(jù)進行綜合分析,從不同的角度和深度挖掘可用信息,通過這些數(shù)據(jù)的隱藏信息了解企業(yè)的現(xiàn)在情況、并及時對企業(yè)的經(jīng)營成果進行客觀屬實的評價,有利于管理層進行及時專業(yè)化的決策。由此可以看出,大數(shù)據(jù)時代不再是要求會計進行簡單的機械性工作,而是要求會計能夠熟練運用各種數(shù)據(jù)模型并擁有一定的數(shù)據(jù)敏感度,熟練掌握計算機的應(yīng)用程序并適當擁有一些自己編程建造數(shù)據(jù)模型的能力,這不僅有助于企業(yè)信息處理的優(yōu)化、管理層決策的及時精準化,更有助于會計人員應(yīng)對如今電腦功能的不斷強大所帶來的失業(yè)風險[1]。
4 大數(shù)據(jù)對于會計的不利影響
4.1 會計理論的更新速度達不到大數(shù)據(jù)時代的要求
傳統(tǒng)的會計理論的基本假設(shè)包括會計主體假設(shè)、持續(xù)經(jīng)營假設(shè)、會計分期假設(shè)和貨幣計量假設(shè),在互聯(lián)網(wǎng)大數(shù)據(jù)環(huán)境下,企業(yè)經(jīng)營活動靈活性很強,互聯(lián)網(wǎng)提供不斷變化的信息數(shù)據(jù)和處理技術(shù),使財務(wù)靜態(tài)核算趨向動態(tài)核算,傳統(tǒng)的會計假設(shè)提供的財務(wù)報告越來越無法滿足使用者對信息及時性的需求。例如,對于傳統(tǒng)會計的貨幣計量假設(shè)而言,大數(shù)據(jù)環(huán)境下,互聯(lián)網(wǎng)經(jīng)濟活動靈活性強且范圍較廣,交易主體虛擬性強,在不斷發(fā)展的互聯(lián)網(wǎng)經(jīng)濟活動中,出現(xiàn)了多種網(wǎng)上支付平臺,第三方支付平臺具備了實體貨幣的職能,而電子貨幣的流通量取決于企業(yè)財務(wù)需求,所以互聯(lián)網(wǎng)經(jīng)濟活動產(chǎn)生的第三方支付平臺具有貨幣計量穩(wěn)定性低和風險高的特點,不符合貨幣計量穩(wěn)定性的要求。
篇4
【關(guān)鍵詞】 數(shù)據(jù) 數(shù)據(jù)特點 常用技術(shù) 數(shù)據(jù)意義
一、大數(shù)據(jù)概述
1.1大數(shù)據(jù)定義
隨著科技的發(fā)展,像云計算科技,軟件科技,物聯(lián)網(wǎng)科技等的興起和發(fā)展,數(shù)據(jù)正飛速發(fā)展,大數(shù)據(jù)時代已經(jīng)來臨了,并且在我們生活的方方面面占據(jù)著重要作用,然而,到目前大數(shù)據(jù)并沒有明確的定義。學(xué)術(shù)界的定義,即大數(shù)據(jù)是形式多樣的,大數(shù)據(jù)量的非結(jié)構(gòu)化數(shù)據(jù);比較有代表意義的定義還有大數(shù)據(jù)需滿足規(guī)模性,多樣性,高速性,即是3V定義;維基百科把大數(shù)據(jù)定義成,可以利用常用軟件來捕獲,管理以及進行數(shù)據(jù)處理時需花費大量的時間。
1.2大數(shù)據(jù)發(fā)展歷史
數(shù)據(jù)的研究一詞源于1944年,弗萊蒙特?雷德在《學(xué)者與研究型圖書館的未來》中首次提出對數(shù)據(jù)的研究,他發(fā)現(xiàn)管中的書籍量每16年就會翻倍,提出數(shù)據(jù)的研究,后來數(shù)據(jù)一詞不斷被提到。到了1997年《為外存模型可視化而應(yīng)用控制程序請求頁面調(diào)度》問世,在文中是這樣描寫的:“可視化對計算機系統(tǒng)提出了一個有趣的挑戰(zhàn):通常情況下數(shù)據(jù)集相當大,耗盡了主存儲器、本地磁盤、甚至是遠程磁盤的存儲容量。我們將這個問題稱為大數(shù)據(jù)?!边@是在美國的計算機學(xué)會數(shù)字圖書館中首篇用“大數(shù)據(jù)”這一術(shù)語。隨之大數(shù)據(jù)研究受到重視,迅速發(fā)展,每年世界所產(chǎn)生與復(fù)制的數(shù)字化數(shù)據(jù)總量不斷攀升。
21世紀之后,大數(shù)據(jù)的發(fā)展更是加快了步伐,互聯(lián)網(wǎng)數(shù)據(jù)中心對接下來10年的數(shù)據(jù)量進行了預(yù)計,表明到2006年,全世界將產(chǎn)生了161EB數(shù)據(jù),同時預(yù)計至接下來的四年,每年數(shù)據(jù)量將以六倍多的數(shù)量增加,達到988EB。近幾年,大數(shù)據(jù)更是分布于全球的各個方面。
1.3大數(shù)據(jù)特點
(1)數(shù)據(jù)量巨大。電子商務(wù),互聯(lián)網(wǎng)等每天都會產(chǎn)生大量的數(shù)據(jù),供用戶便捷地獲得信息,這些信息量是大量的,非人工能夠計算的。
(2)廣泛的異構(gòu)性。正如現(xiàn)在數(shù)據(jù)向半結(jié)構(gòu)化和非結(jié)構(gòu)化等融合結(jié)構(gòu)的轉(zhuǎn)化;數(shù)據(jù)源向具有時空特性的數(shù)據(jù)源的轉(zhuǎn)化都表明數(shù)據(jù)的廣泛異構(gòu)性。
(3)多種多樣,分布廣泛。隨著物聯(lián)網(wǎng),互聯(lián)網(wǎng)的發(fā)展,大數(shù)據(jù)的種類也隨之不斷發(fā)展。
(4)價值密度低。因數(shù)據(jù)量大,有用信息量一般很少,所以有價值的信息占據(jù)比重較低,即價值密度低。
二、大數(shù)據(jù)常用技術(shù)
2.1 Hadoop
Hadoop主要有HDFS和MapReduce構(gòu)成,是一個很成熟和完善的分布式計算系統(tǒng),可以用來解決數(shù)據(jù)存放以及一些有關(guān)的計算問題,Hadoop可以通過常用的一些硬件來構(gòu)建穩(wěn)定的,高效的,功能齊全的分布式集群計算系統(tǒng)。
2.2 NoSQL數(shù)據(jù)庫
NoSQL是來源于一個開源關(guān)系型數(shù)據(jù)庫的名字,可以理解為非關(guān)系型數(shù)據(jù)庫,但是始終沒有一個明確的定義。NoSQL為集群環(huán)境而設(shè)計,可用來解決越來越大的數(shù)據(jù)量,能夠大量,高效率的處理大數(shù)據(jù),它能夠形成容易編程,功能齊全,擴展性良好的系統(tǒng)。
2.3 Spark
Spark是一套分布式內(nèi)存迭代計算系統(tǒng),它通過Scala語言寫成,Spark構(gòu)建了以處理大數(shù)據(jù)為目的的一體化解決方案,使用者能夠用同樣的API來操作Spark的所有功能,同時Spark中的四個主要子框架能夠操作彼此的數(shù)據(jù)。
三、大數(shù)據(jù)的意義
大數(shù)據(jù)的研究可以提升中國在國際科學(xué)界的重要地位,捍衛(wèi)和加強國家網(wǎng)絡(luò)空間的數(shù)字。隨著信息技術(shù)的快速發(fā)展,互聯(lián)網(wǎng),物聯(lián)網(wǎng)等先進科技在全國各地普及并且占據(jù)重要作用,任何國家想要變得更強都離不開科技,國家層面的競爭力在很大一部分同樣反映在國家的網(wǎng)路數(shù)據(jù)的規(guī)模,對數(shù)據(jù)的分析能力和運用能力。
大數(shù)據(jù)和商業(yè)機遇緊密相連,可以促進經(jīng)濟發(fā)展。近些年網(wǎng)絡(luò)大數(shù)據(jù)在科學(xué)領(lǐng)域有重大突破,當然在技術(shù)方面同樣有巨大的提升,就目前我們在大數(shù)據(jù)領(lǐng)域的實力足以駕馭大數(shù)據(jù)涌現(xiàn)性、清理數(shù)據(jù)的復(fù)雜性,掌握大數(shù)據(jù)復(fù)雜性,當然我們也能夠從巨大的數(shù)據(jù)流中找出人們有用的、有針對性的信息和知識,最終能夠充分實現(xiàn)信息的價值。各行各業(yè)都有自己的數(shù)據(jù),通過對數(shù)據(jù)的統(tǒng)計,數(shù)據(jù)分析,提出應(yīng)對策略,提升行業(yè)用戶競爭力,從而帶動經(jīng)濟發(fā)展。
參 考 文 獻
[1]W絡(luò)信息的檢索與挖掘回顧[J]. 程學(xué)旗,郭嘉豐,靳小龍. 中文信息學(xué)報. 2011(06)
[2]數(shù)據(jù)質(zhì)量和數(shù)據(jù)清洗研究綜述[J]. 郭志懋,周傲英. 軟件學(xué)報. 2002(11)
[3]網(wǎng)絡(luò)大數(shù)據(jù):現(xiàn)狀與展望[J]. 王元卓,靳小龍,程學(xué)旗. 計算機學(xué)報. 2013(06)
篇5
1.1大數(shù)據(jù)的概念釋義
對于大數(shù)據(jù),維基百科給出了這樣的定義:大數(shù)據(jù)是指利用常用軟件工具捕獲、管理和處理數(shù)據(jù)所耗時間超過可容忍時間的數(shù)據(jù)集。由于對大數(shù)據(jù)的研究處于初步階段,人們目前尚沒有得到一個公認的定義,對于大數(shù)據(jù)的定義有許多,但它們都有一個共同特征,即根據(jù)大數(shù)據(jù)的特征來進行闡釋與歸納。
1.2大數(shù)據(jù)的基本特征
大數(shù)據(jù)特征可以總結(jié)為4個V,即Volume(規(guī)模巨大)、Variety(模態(tài)多樣)、Velocity(生成飛速)、Value(價值無限但密度也低)。首先大數(shù)據(jù)以計量單位P,甚至E或Z來計數(shù)。據(jù)IDC的一份研究報告顯示,自2012年以來10年里全球大數(shù)據(jù)將增加50倍。其次,大數(shù)據(jù)種類繁多,包含著結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù),而且近年半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)大幅度增長,占據(jù)了整個數(shù)據(jù)量的絕大部分。再次,人、機、物的高度融合使得數(shù)據(jù)爆炸式增長,日常生活是大數(shù)據(jù)飆升的主要來源。例如截止2014年淘寶網(wǎng)會員數(shù)量已超過5億,在線商品數(shù)達到10億件,淘寶網(wǎng)和天貓的交易總額超過1.5萬億。最后,數(shù)據(jù)復(fù)雜相關(guān)而又頻繁交互,從海量的數(shù)據(jù)中剝離出有用的信息就好比深海里淘金,稀疏而又珍貴,價值的密度很低也是大數(shù)據(jù)的一個重要特征。
2大數(shù)據(jù)的社會價值挖掘
2.1大數(shù)據(jù)為政府管理和科學(xué)決策提供數(shù)據(jù)信息支撐
在“全面深化改革,推進國家治理體系和治理能力現(xiàn)代化”的時代背景與要求下,大數(shù)據(jù)在政府管理中扮演著重要的角色,對于實現(xiàn)數(shù)據(jù)治國具有重要的現(xiàn)實意義。河北省目前正面臨著京津冀協(xié)同發(fā)展的重要戰(zhàn)略機遇,2016年11月在河北大學(xué)管理學(xué)院召開的“2016年京津冀信息資源管理高峰論壇”就是一次在大數(shù)據(jù)背景下,將大數(shù)據(jù)、信息資源建設(shè)運用于政府治理的研究論壇,是大數(shù)據(jù)與政府管理結(jié)合的大討論、大結(jié)合。這可以充分證明大數(shù)據(jù)對于政府治理和信息建設(shè)的重要性和現(xiàn)實意義。對它的研究可以有效提升科學(xué)決策水平,能夠有效地整合來自政治、經(jīng)濟、文化、法律,生態(tài)等各個領(lǐng)域的信息資源,為國家治理提供重要決策依據(jù)。
2.2大數(shù)據(jù)與新媒體的融合推動社會智能化
大數(shù)據(jù)與微信、微博等新興媒體的多元世界高度融合,可以突破時空的限制,促進政府與民眾之間良性互動,形成公眾參與政府管理的新格局,增強國家治理能力。另外,大數(shù)據(jù)在云計算的配合下,加快了智能醫(yī)療、智能教育、智能交通、智能物流發(fā)展的步伐,加速了我國的城鎮(zhèn)化、工業(yè)化、信息化、生態(tài)化建設(shè)進程,有效提高了社會服務(wù)效能,促進社會的智能化和信息化。
2.3大數(shù)據(jù)應(yīng)用廣泛性推動信息社會化
大數(shù)據(jù)在越來越多的行業(yè)中發(fā)揮著越來越大的作用,其應(yīng)用廣泛性已經(jīng)彰顯在方方面面,影響著人們生活和社會發(fā)展的各領(lǐng)域,逐步讓信息走向社會化。從經(jīng)濟領(lǐng)域來看大數(shù)據(jù)的應(yīng)用可以為經(jīng)濟發(fā)展提供較為準確的預(yù)測功能。在2008年的金融危機中,阿里平臺通過海量交易記錄預(yù)測出經(jīng)濟指數(shù)的下滑,提醒廣大的中小制造商提前做好準備,預(yù)防經(jīng)濟危機。大數(shù)據(jù)分析也成為了市場營銷的重要手段,不再需要抽取部分數(shù)據(jù),而是基于海量幾近完整的數(shù)據(jù)做出高度準確的預(yù)測,進行精準營銷。正如亞馬遜的最終期望那樣:“最成功的書籍推薦應(yīng)該只有一本書,就是用戶要買的下一本書”。在體育競技中運動健兒甚至可以運用數(shù)據(jù)取得成功,利用數(shù)據(jù)建模定量分析不同隊員特點,合理調(diào)整,科學(xué)組隊。2016年里約奧運會中,中國女排再次奪得世界冠軍,這成功離不開總教練郎平的正確指導(dǎo),也離不開袁靈犀的數(shù)據(jù)分析。賽中每個回合他都利用代碼將有價值的細節(jié)錄入系統(tǒng),實時提供技術(shù)分析數(shù)據(jù),幫助郎平做到知己知彼,及時調(diào)整隊員布局。
3大數(shù)據(jù)時代帶來的挑戰(zhàn)
大數(shù)據(jù)在造福人類社會的同時,也給人們帶來安諸多方面的挑戰(zhàn)。從理論研究視閾來看,大數(shù)據(jù)時代的到來對于社會進步尤其是科技發(fā)展產(chǎn)生巨大的支撐與推動作用,但從實際應(yīng)用研究的角度來說其根本挑戰(zhàn)在于其安全保密性、不確定性和預(yù)測涌現(xiàn)性對社會行為產(chǎn)生的威脅和隱患,這也影響著大數(shù)據(jù)的發(fā)展趨勢研究進展和應(yīng)用前景。大數(shù)據(jù)的研究需要一套全新的理論和方法來進行方向性的指導(dǎo),需要一個完備的新的理論體系來指導(dǎo)該學(xué)科的發(fā)展和研究。
3.1大數(shù)據(jù)的安全性存在信息泄露隱患
“棱鏡門”事件更加劇了人們對大數(shù)據(jù)安全的恐慌。即使經(jīng)過匿名處理,個人隱私仍會有泄露的風險。租賃商Netflix曾為提高電影推薦系統(tǒng)的準確度,公布了約50萬用戶的信息,這些信息與其它數(shù)據(jù)源結(jié)合時,部分用戶竟被識別出來。大數(shù)據(jù)帶來的新的安全問題也終將由大數(shù)據(jù)來解決,而今天對于大數(shù)據(jù)安全與隱私保護的相關(guān)研究處于初級階段,技術(shù)手段與法律法規(guī)相結(jié)合才是解決問題的根本之道。
3.2大數(shù)據(jù)的預(yù)測涌現(xiàn)性引起隱私恐慌
大數(shù)據(jù)在沒有全局控制和預(yù)先定義的情況下,通過對來自大量自發(fā)個體的語義進行互相融合和連接而形成語義,整個過程隨著數(shù)據(jù)的變化而持續(xù)演進,從而形成大數(shù)據(jù)的涌現(xiàn)語義,也可以稱之為預(yù)測涌現(xiàn)。大數(shù)據(jù)這種預(yù)測涌現(xiàn)性對人們行為進行預(yù)測也構(gòu)成了所面臨的威脅。一個較為典型的案例即是北美Target數(shù)據(jù)營銷事件,銷售商通過分析歷史記錄,捕捉用戶懷孕的事實,并向其推薦嬰幼兒優(yōu)惠券,引起了《大數(shù)據(jù)功力:比父親更了解女兒沖進大賣場》的深刻反思。
3.3大數(shù)據(jù)的不確定性影響社會穩(wěn)定
原始數(shù)據(jù)的不準確以及數(shù)據(jù)采集處理粒度、應(yīng)用需求與數(shù)據(jù)集成與展示等因素使得數(shù)據(jù)在不用維度、不同尺度上都有不同程度的不確定性。也就是說,這些本身帶有不確定性的數(shù)據(jù)并非可以說明事實,因為可能數(shù)據(jù)本身就是虛假的。存在需要核實、考證與分析,不確定性的數(shù)據(jù)一旦進入公眾社圈就會引發(fā)一系列社會問題,危害社會穩(wěn)定。諸如在點評網(wǎng)站中的虛假評論有目的地誘導(dǎo)民眾接受并傳播某種思想或服務(wù)的例子不勝枚舉。
4關(guān)于大數(shù)據(jù)未來發(fā)展的展望與對策設(shè)計
4.1完善大數(shù)據(jù)的頂層設(shè)計,建立良性大數(shù)據(jù)生態(tài)系統(tǒng)
國家應(yīng)在宏觀層面上做出全面系統(tǒng)的長期規(guī)劃和短期目標。國家應(yīng)在大數(shù)據(jù)人才培養(yǎng),平臺構(gòu)建以及行業(yè)應(yīng)用方面提供人財物多方面深層次的資源支持,同時給予積極的政策引導(dǎo),鼓勵創(chuàng)新,同社會各界建立起良性的大數(shù)據(jù)生態(tài)系統(tǒng)。2015年8月國務(wù)院出臺了《促進大數(shù)據(jù)發(fā)展行動綱要》,契合當下,放眼未來,內(nèi)容全面涉及范圍廣,而要保證其貫徹落實,更要及時跟進,制定配套制度予以配合,做到及時反饋、及時糾正;同時在新的國際背景下也應(yīng)注重信息基礎(chǔ)設(shè)施建設(shè),提升信息作戰(zhàn)能力,加強國家信息安全,贏得新科技競爭中的戰(zhàn)略制高點。
4.2加強政企合作,搭建準確高效的大數(shù)據(jù)合作平臺
大數(shù)據(jù)企業(yè)應(yīng)積極主動加強與政府之間的戰(zhàn)略合作。大數(shù)據(jù)的數(shù)據(jù)源以企業(yè)為主,政府利用企業(yè)數(shù)據(jù)可以完善補充統(tǒng)計數(shù)據(jù),提高統(tǒng)計信息質(zhì)量,為社會治理謀求最大利益;企業(yè)則可以根據(jù)更為準確的大數(shù)據(jù)把握市場信息,占據(jù)市場份額,贏得發(fā)展機遇,政企合作是當代在大數(shù)據(jù)背景下一個必然選擇。2013年國家統(tǒng)計局與阿里、百度等11家企業(yè)一同啟動國家統(tǒng)計局大數(shù)據(jù)合作平臺便是政企合作的一個縮影。
4.3深化大數(shù)據(jù)基礎(chǔ)理論研究,提升數(shù)據(jù)收集與分析能力
注重大數(shù)據(jù)基礎(chǔ)理論研究,提高數(shù)據(jù)收集與分析能力,是解決大數(shù)據(jù)信息安全的關(guān)鍵途徑。數(shù)據(jù)是分析的基礎(chǔ),只有全面而真實的數(shù)據(jù)才會產(chǎn)生價值,片面的數(shù)據(jù)分析出的結(jié)果往往有較大的偏差;深度發(fā)展大數(shù)據(jù)分析能力,包括:大數(shù)據(jù)認證技術(shù)、威脅發(fā)現(xiàn)技術(shù)、水印技術(shù)、網(wǎng)絡(luò)匿名保護技術(shù)等等,這些技術(shù)在部分領(lǐng)域已有所應(yīng)用,但同時存在反應(yīng)速度慢、缺乏安全性、用戶負擔重等某些方面的不足,只有克服相關(guān)技術(shù)的不足,才能更好的解決大數(shù)據(jù)信息安全問題。
5結(jié)語
大數(shù)據(jù)既是時代快速發(fā)展的產(chǎn)物,也是推動時代飛速發(fā)展的強大驅(qū)動力。它給社會發(fā)展帶來了機遇,也帶來了前所未有的挑戰(zhàn)。迎接這項挑戰(zhàn)不只是政府,企業(yè)或其他組織的責任,而是時代賦予我們整個社會每位公民的責任。大數(shù)據(jù)沒有那么神秘,真正擁有力量的也不是數(shù)據(jù)本身,而是擁有數(shù)據(jù)掌握技術(shù)的我們。今后應(yīng)不斷加強大數(shù)據(jù)理論研究,完善學(xué)科發(fā)展方向和體系,為大數(shù)據(jù)學(xué)科建設(shè)與發(fā)展提供理論支撐和技術(shù)支持,持續(xù)切實加強政企合作,搭建大數(shù)據(jù)合作平臺,建立良性大數(shù)據(jù)生態(tài)系統(tǒng),使大數(shù)據(jù)真正推動科技繁榮、社會發(fā)展、人類進步。
作者:郁肖亞 鞏建宇 單位:河北大學(xué)管理學(xué)院
參考文獻
[1]李國杰.大數(shù)據(jù)研究的科學(xué)價值[J].中國計算機學(xué)會通訊,2012,8(9):8-15.
[2]BigData.Nature[Z].2008,455(7209):1-136.
[3]BigData.ERCIMNews[Z].2012,(89).
[4]宗威,吳鋒.大數(shù)據(jù)時代下數(shù)據(jù)質(zhì)量的挑戰(zhàn)[J].西安交通大學(xué)學(xué)報,2013,(09).
[5]孟小峰,慈祥.大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J].計算機研究與發(fā)展,2013,50(1):146-169.
[6]李國杰,程學(xué)旗.大數(shù)據(jù)研究:未來科技及經(jīng)濟社會發(fā)展的重大戰(zhàn)略領(lǐng)域[J].中國科學(xué)院院刊,2012,27(6):647-657.
[7]馮鵬志.對象、主題與特色—關(guān)于我國“科學(xué)、技術(shù)與社會”(STS)學(xué)科發(fā)展的幾點思考[J].學(xué)術(shù)界,2002,(6).
[8]覃雄派,王會舉,杜小勇.大數(shù)據(jù)分析—RDBMS與MapReduce的競爭與共生[J].軟件學(xué)報,2012,23(1):32-45.
[9]樊偉紅,李晨暉,張興旺.圖書館需要怎樣的大數(shù)據(jù)?[J].圖書館雜志,2012,(11):63-68,77.
[10]鄔賀銓.大數(shù)據(jù)時代的機遇與挑戰(zhàn)[J].求是,2013,(2).
篇6
溫開華
(國家電子計算機質(zhì)量監(jiān)督檢驗中心 100083)
[摘 要]毫無疑問,我們身處信息化時代,而信息技術(shù)的深度應(yīng)用使得大數(shù)據(jù)在各個領(lǐng)域中大展身手,如科學(xué)、商業(yè)、教育、文化等領(lǐng)域。同時,隨著大數(shù)據(jù)在
軍事領(lǐng)域應(yīng)用的橫縱向發(fā)展,戰(zhàn)爭已步入大數(shù)據(jù)時代。在信息化戰(zhàn)場上,
“除了上帝,任何人都必須用數(shù)據(jù)說話”?,F(xiàn)實告訴我們,只有在大數(shù)據(jù)的挖掘和應(yīng)用方面掌
握優(yōu)勢的一方,才能有效提高對戰(zhàn)場的控制力,從而在戰(zhàn)場上立于不敗之地。這些都告訴我們,軍隊要打贏信息化戰(zhàn)爭,決勝于千里之外必備必須與大數(shù)據(jù)深度融
合。
一、大數(shù)據(jù)
(1 )定義
針對大數(shù)據(jù),并沒有統(tǒng)一的定義,業(yè)內(nèi)比較普遍認同的定義:大數(shù)據(jù)指的是
數(shù)據(jù)存儲規(guī)模遠遠超過傳統(tǒng)數(shù)據(jù)庫軟件處理能力的海量數(shù)據(jù)集合。提出這一概
念主要針對的是信息化社會數(shù)據(jù)“爆炸式”增長,數(shù)據(jù)存儲量巨大。
(2 )特點“4 V ”
1、大量(volume)存儲大;計算量大
2、多樣(Variety)來源多;格式多
3、快速(velocity)數(shù)據(jù)增長速度快;處理速度要求變化快
4、價值(value)
(3 )大數(shù)據(jù)與云計算
大數(shù)據(jù)不同于云計算,云計算的本質(zhì)是數(shù)據(jù)處理技術(shù)。大數(shù)據(jù)是未被發(fā)掘
的無形資產(chǎn),而云計算則為大數(shù)據(jù)資產(chǎn)提供存儲、訪問、計算和分析。
(4 )數(shù)據(jù)來源
互聯(lián)網(wǎng)企業(yè);物聯(lián)網(wǎng)、商品終端、移動設(shè)備、個人定位、傳感器采集;移動、聯(lián)
通、電信等通信運營商以及相關(guān)互聯(lián)網(wǎng)運營商等。
二、信息化戰(zhàn)爭
(1 )定義
信息戰(zhàn),又叫決策指揮控制戰(zhàn)。信息戰(zhàn)旨在以信息為戰(zhàn)爭中的主要武器,通
過打擊敵方的網(wǎng)絡(luò)識別系統(tǒng)和計算機信息系統(tǒng),從而干擾、阻止或改變敵方?jīng)Q
策指揮者的決定,進而使敵方喪失作戰(zhàn)能力或放棄敵對行為。
(2 )出現(xiàn)
信息化戰(zhàn)爭理念的出現(xiàn)是以計算機技術(shù)為核心的第三次技術(shù)革命作為基
礎(chǔ)的,并產(chǎn)生于1980-1983年。隨后1991年的海灣戰(zhàn)爭,信息化的武器裝備,如
偵查衛(wèi)星、全球定位系統(tǒng)(GPS)等,開始在戰(zhàn)爭中發(fā)揮著重大作用,信息化戰(zhàn)爭
初露端倪。
(3 )發(fā)展
科索沃戰(zhàn)爭(1999)是全球范圍內(nèi)第一場真正的信息化戰(zhàn)爭。阿富汗戰(zhàn)爭
(2001)實現(xiàn)了信息化的全面連通,每一個戰(zhàn)斗分隊都是由指揮官在后方通過網(wǎng)
絡(luò)監(jiān)視大屏幕進行決策指揮的。伊拉克戰(zhàn)爭(2003)信息化水平很高,基本上實
現(xiàn)了戰(zhàn)爭直播。
三、大數(shù)據(jù)對信息化戰(zhàn)爭的影響
通過以上介紹,我們對大數(shù)據(jù)和信息化戰(zhàn)爭有了初步的了解。大數(shù)據(jù)應(yīng)用
在現(xiàn)在戰(zhàn)爭中,可以提高戰(zhàn)爭的信息化水平,而對于現(xiàn)代戰(zhàn)爭而言,信息化水平
就是決定戰(zhàn)爭勝利與否的關(guān)鍵所在。但同時我們需要注意的是,對于信息化戰(zhàn)
爭而言,數(shù)據(jù)量巨大的特征也是顯而易見的。如阿富汗戰(zhàn)爭期間,美軍為打擊一
小股恐怖分子,其部署在太空、空中和地面的全方位情報偵察監(jiān)視系統(tǒng),24小時
內(nèi)產(chǎn)生的數(shù)據(jù)就有53TB(1TB=1024GB)面對如此巨大的數(shù)據(jù),指揮員和部隊
會陷入數(shù)據(jù)的海洋中無所適從。所以,認識信息化戰(zhàn)爭對大數(shù)據(jù)存儲與分析的
要求從而提出相應(yīng)的解決對策十分有必要。
四、信息化戰(zhàn)爭對大數(shù)據(jù)存儲與分析的要求
在信息化戰(zhàn)爭中,多維一體協(xié)同作戰(zhàn)成為作戰(zhàn)的基本樣式。在每一次戰(zhàn)爭
中都會產(chǎn)生海量的數(shù)據(jù)。在這樣的背景下,信息化戰(zhàn)爭對數(shù)據(jù)存儲與分析產(chǎn)生
了許多具體的要求。
(1 )輔助決策的要求
在信息化戰(zhàn)爭條件下的戰(zhàn)略決策,以及如何提高戰(zhàn)略決策水平,對海量數(shù)
據(jù)的處理和分析進提出了很高的要求。
(2 )支持信息查詢功能的要求
信息化戰(zhàn)爭需要廣泛搜集敵方兵種、數(shù)量、戰(zhàn)術(shù)、作戰(zhàn)特點、等各
種海量數(shù)據(jù),并且整理編輯成文字資料、圖片資料和音像資料,建立計算機數(shù)據(jù)
資料庫,為各個指揮中心提供查詢和參考。
(3 )支持內(nèi)部擴容的要求
大數(shù)據(jù)時代的數(shù)據(jù)量是呈幾何指數(shù)關(guān)系遞增的,如何保證數(shù)據(jù)處理系統(tǒng)的
正常高效運行從而有效支持信息化戰(zhàn)爭是急需解決的核心難題。而傳統(tǒng)的物理
服務(wù)器存儲方式具有擴展性差,資源利用率低,可維護性差,靈活性差且造價昂
貴的特點。這些都不利于構(gòu)建大數(shù)據(jù)對于信息化戰(zhàn)爭的支撐。
(4 )支持數(shù)據(jù)安全的要求
數(shù)據(jù)安全即在信息化戰(zhàn)爭條件下確保數(shù)據(jù)源是真實的、已方的。這里主要
的問題包括三個:身份識別,數(shù)據(jù)識別和防止敵方信息對抗。身份識別即身份認
證問題,指的是防止敵方利用偽身份進行滲透。數(shù)據(jù)識別指的是數(shù)據(jù)源和數(shù)據(jù)
的真假辨別。防止敵方信息對抗指的是防止敵方竊聽,干擾和向系統(tǒng)注入虛假
數(shù)據(jù)。信息化戰(zhàn)爭對數(shù)據(jù)信息安全要求體現(xiàn)在對信息使用者訪問權(quán)限的控制以
及對信息使用者身份的識別。
五、提高大數(shù)據(jù)存儲與分析能力的幾個對策
隨著信息化戰(zhàn)爭的橫縱發(fā)展,使得信息化戰(zhàn)爭對數(shù)據(jù)存儲與分析產(chǎn)生了許
多具體的要求,針對上述問題,國內(nèi)外已經(jīng)進行了相關(guān)研究,并且取得了一定的
成果。下面主要介紹一下解決上述問題的相關(guān)技術(shù)。
(1)Hadoop大數(shù)據(jù)處理技術(shù)
Hadoop是一個基于Java的分布式密集數(shù)據(jù)處理和數(shù)據(jù)分析的軟件框架。
該框架在很大程度上受Google在2004年白皮書中闡述的MapReduce的技術(shù)啟
發(fā)。MapReduce是Hadoop中的一個軟件框架,通過MapReduce并行處理技術(shù)
可以提高大數(shù)據(jù)的處理速度。
(2 )內(nèi)存計算
內(nèi)存計算,就是計算機中央處理器(CPU)直接從內(nèi)存中讀取數(shù)據(jù)(傳統(tǒng)的
數(shù)據(jù)讀取是從硬盤中),并對讀取到數(shù)據(jù)進行計算、分析和應(yīng)用。服務(wù)器在處理
數(shù)據(jù)時,CPU 首先會從緩存中找數(shù)據(jù),如果緩存中找不到,再從內(nèi)存中找,內(nèi)
存中沒有,再從硬盤上讀取。通過研究表明,如果讓查詢在內(nèi)存中進行,而不用
讀取硬盤,就會大大提升處理性能。但是,我們需要大幅提高內(nèi)存的讀寫速度。
(3 )云計算
云計算能夠動態(tài)地擴展計算機應(yīng)用基礎(chǔ)設(shè)施,是近年來最有代表性的網(wǎng)絡(luò)
分析與計算技術(shù)。云計算通過將大量計算分布在大量的分布式計算機上,進而
實現(xiàn)有效地分析和處理海量數(shù)據(jù)的目的。
六、結(jié)語
在信息化時代,數(shù)據(jù)成為軍隊在戰(zhàn)爭中是否能夠克敵制勝最為關(guān)鍵的因
素。隨著大數(shù)據(jù)時代的到來,深刻理解大數(shù)據(jù)的內(nèi)涵及其對信息化戰(zhàn)爭的影響,
在大數(shù)據(jù)中探索戰(zhàn)爭深層原理,掌握以數(shù)據(jù)為中心的信息化戰(zhàn)爭方法,才能在
戰(zhàn)場上掌握主動并立于不敗之地。
參考文獻
[1] 陳潤華主編.大學(xué)軍事教程.清華大學(xué)出版社出版,2008年第二版.
篇7
關(guān)鍵詞:大數(shù)據(jù);時代特征;研發(fā)大數(shù)據(jù);分析平臺;具體策略
中圖分類號:TP391 文獻標識碼:A 文章編號:1009-3044(2016)27-0003-02
正是互聯(lián)網(wǎng)技術(shù)的應(yīng)用,為整個社會發(fā)展轉(zhuǎn)型奠定了重要基礎(chǔ)。尤其是在大數(shù)據(jù)應(yīng)用日益成熟的今天,完善構(gòu)建大數(shù)據(jù)分析平臺,結(jié)合大數(shù)據(jù)分析的具體功能屬性和應(yīng)用價值,從而實現(xiàn)企業(yè)經(jīng)營發(fā)展與大數(shù)據(jù)應(yīng)用的體系性融入。當然,想要用好大數(shù)據(jù)平臺,就必須了解大數(shù)據(jù)平臺有哪些應(yīng)用特征,同時也要了解其具體應(yīng)用要求和內(nèi)涵,從而適應(yīng)大數(shù)據(jù)時代特征,為企業(yè)發(fā)展提供科學(xué)決策。
1 大數(shù)據(jù)時代特征分析
大數(shù)據(jù)時代的到來,標志著人類對計算機互聯(lián)網(wǎng)技術(shù)的應(yīng)用實現(xiàn)了實質(zhì)性進步,與以往時代所不同的是,大數(shù)據(jù)時代具有自身特征,其主要表現(xiàn)為:首先,其整體數(shù)據(jù)量極大,與以往信息時代不同的是,大數(shù)據(jù)應(yīng)用的前提就是收集龐大的數(shù)據(jù)信息,因此,其存儲數(shù)據(jù)的計算量遠超過了當前的計量,其基本上使用的都是P/E/Z做計量單位,起碼存儲在1000T以上,甚至高達10億T。
其次,其特征主要表現(xiàn)為種類繁多、內(nèi)容多樣。尤其是整個大數(shù)據(jù)體系中不僅包含了各個行業(yè)的信息,同時其收集形式也極為多樣,從文字、圖片到音頻、視頻等等,基本上囊括了整個時代的各個信息鏈條和內(nèi)涵。正是數(shù)據(jù)信息的多樣化和多元化決定了我們可以通過使用大數(shù)據(jù)實現(xiàn)對整個數(shù)據(jù)資源的體系化認知,同時這也從根本上提升了我們對數(shù)據(jù)的處理和應(yīng)用能力,使得整個數(shù)據(jù)分析更有參考價值和意義。
此外,隨著當前大數(shù)據(jù)應(yīng)用不斷成熟,如今數(shù)據(jù)價值密度相對較低,尤其是在物聯(lián)網(wǎng)廣泛應(yīng)用影響下,信息感知應(yīng)用極為廣泛。雖然當前大數(shù)據(jù)時代,整個數(shù)據(jù)量大,但是有價值的數(shù)據(jù)較少,其整體價值密度不大,因此如何才能有效完善數(shù)據(jù)篩選,優(yōu)化其價值應(yīng)用,就是當前利用大數(shù)據(jù)平臺過程中所不可忽視的內(nèi)容。
最后,我們應(yīng)該認識到大數(shù)據(jù)時代的重要特征還表現(xiàn)為數(shù)據(jù)處理深度快,且對數(shù)據(jù)處理有較高的時效性要求。正是高速的數(shù)據(jù)處理速度和處理時間要求,決定了當前大數(shù)據(jù)開發(fā)應(yīng)用不同于傳統(tǒng)數(shù)據(jù)篩選應(yīng)用。但是我們應(yīng)該辯證看待大數(shù)據(jù)平臺的優(yōu)缺點,尤其是當前我們所具備的技術(shù)和設(shè)施已經(jīng)無法滿足海量信息數(shù)據(jù)的處理,可以說正是快速發(fā)展的時代要求決定了我們必須優(yōu)化信息數(shù)據(jù)利用方式,構(gòu)建完善的數(shù)據(jù)應(yīng)用平臺和機制。
2 當前大數(shù)據(jù)分析平臺應(yīng)用內(nèi)涵及具體狀況分析
想要對大數(shù)據(jù)分析平臺應(yīng)用要求進行體系化認知,就必須清楚大數(shù)據(jù)分析的定義內(nèi)涵、應(yīng)用過程中存在的問題和不足以及其具體的解決對策。只有對其形成體系化了解,才能從根本上服務(wù)大數(shù)據(jù)分析平臺建設(shè)、應(yīng)用。
2.1 大數(shù)據(jù)分析的定義
結(jié)合大數(shù)據(jù)結(jié)構(gòu)復(fù)雜,數(shù)據(jù)更新速度快、價值密度低、整體數(shù)據(jù)量大等一系列特點,當前我們在應(yīng)用大數(shù)據(jù)時,存在較大難度,而全面應(yīng)用大數(shù)據(jù)的關(guān)鍵就是實施大數(shù)據(jù)分析,通過完善大數(shù)據(jù)分析的具體定義認知,從而構(gòu)建合理的大數(shù)據(jù)分析平臺。實際上,大數(shù)據(jù)分析指的是在數(shù)據(jù)密集的環(huán)境下,通過使用科學(xué)分析的方法,對數(shù)據(jù)應(yīng)用進行重新思考,并完善構(gòu)建全新數(shù)據(jù)分析應(yīng)用模式。大數(shù)據(jù)分析認為其分析應(yīng)用過程并非技術(shù)上的應(yīng)用,而是一種具體的使用策略,其核心內(nèi)涵指的是通過使用一種相對以往更有效分析方式來管理、獲取海量數(shù)據(jù)的方式,并且在這一過程中獲取有價值的信息。結(jié)合當前大數(shù)據(jù)應(yīng)用實際狀況,我們可以認為,大數(shù)據(jù)分析指的是:依據(jù)數(shù)據(jù)生成理論,通過構(gòu)建大數(shù)據(jù)分析模型,從而結(jié)合集成化大數(shù)據(jù)分析平臺,使用云計算技術(shù)完善分析數(shù)據(jù)資源,并且最終探究出大數(shù)據(jù)模式背后規(guī)律的過程。
2.2 大數(shù)據(jù)分析方法闡述
目前大數(shù)據(jù)分析的重要內(nèi)容是可視化分析,通過集成交互可視化和自動化分析,從而提升大數(shù)據(jù)分析方法的應(yīng)用效果。從大數(shù)據(jù)分析系統(tǒng)架構(gòu)層面看,整個大數(shù)據(jù)分析具有9層架構(gòu)體系,尤其是其中的復(fù)雜結(jié)構(gòu)處理技術(shù)、平臺應(yīng)用標準規(guī)范和虛擬化接入技術(shù)以及其知識服務(wù)交易模型和大數(shù)據(jù)知識服務(wù)質(zhì)量評價體系等共同組成了大數(shù)據(jù)分析服務(wù)的關(guān)鍵技術(shù)應(yīng)用機制。在傳統(tǒng)數(shù)據(jù)分析過程中,其更多針對的是原始數(shù)據(jù)進行抽樣、過濾,并結(jié)合數(shù)據(jù)樣本分析,從而探究其中存在的具體規(guī)律和特點。因此,其中最重要的特點在于通過使用復(fù)雜算法能夠從體系化的數(shù)據(jù)中尋找到更多有價值的數(shù)據(jù)信息。在當前計算水平和存儲能力大大提升過程中,大數(shù)據(jù)分析所面臨的對象是整個動態(tài)變化的數(shù)據(jù)群體,而不是客觀不變的數(shù)據(jù)樣本,因此其大數(shù)據(jù)分析的應(yīng)用重點從高效解決收集到的信息入手,只有提升數(shù)據(jù)運算的準確性,才能夠沒滿足大數(shù)據(jù)分析的應(yīng)用要求。
2.3 大數(shù)據(jù)分析過程中存在的問題闡述
正是因為當前大數(shù)據(jù)時代的迅猛發(fā)展,整個大數(shù)據(jù)分析過程中存在著一系列問題和不足,其大大制約了大數(shù)據(jù)分析的應(yīng)用效果,其問題集中反映為:首先,想要實現(xiàn)精準的大數(shù)據(jù)分析,需要解決其大數(shù)據(jù)存儲問題,與以往相比,大數(shù)據(jù)時代,其整體數(shù)據(jù)存儲遠遠超過了傳統(tǒng)數(shù)據(jù)時代,而想要實現(xiàn)其數(shù)據(jù)分析目的,就必須完善數(shù)據(jù)存儲。而目前在大數(shù)據(jù)時代,整個數(shù)據(jù)存儲并不是靜態(tài)的,而是動態(tài)發(fā)展的,因此只有探索完善適應(yīng)大數(shù)據(jù)存儲的具體機制,才能實現(xiàn)其最終目的。其次,大數(shù)據(jù)質(zhì)量不高,分析利用難度大。因此,需要探究增強數(shù)據(jù)可用性的方法。此外,大數(shù)據(jù)分析的核心在與數(shù)據(jù)建模。但是當前由于建模水平較差,暫時很難結(jié)合大數(shù)據(jù)時代特征,完善建模應(yīng)用。最后,缺乏專業(yè)的大數(shù)據(jù)分析工具。在傳統(tǒng)數(shù)據(jù)分析過程中,經(jīng)常使用SPSS等軟件進行數(shù)據(jù)分析,但是在大數(shù)據(jù)時代,缺乏能夠完善有效的數(shù)據(jù)分析工具。因此,結(jié)合大數(shù)據(jù)時代特征,構(gòu)建大數(shù)據(jù)分析平臺,對于整個大數(shù)據(jù)時代應(yīng)用發(fā)展來說,極為必要。
3 構(gòu)建研發(fā)大數(shù)據(jù)分析平臺的具體策略
在大數(shù)據(jù)分析過程中,最需要探究的就是其分析方法。分析方法的好壞直接關(guān)系到大數(shù)據(jù)分析應(yīng)用的具體結(jié)果是否合理有效,同時也關(guān)系到其數(shù)據(jù)分析結(jié)果是否切實有用。而不同類型的大數(shù)據(jù)則需要截然不同的分析方法。而在構(gòu)建大數(shù)據(jù)分析平臺過程中,需要從以下方面入手:
首先,要結(jié)合大數(shù)據(jù)分析應(yīng)用的具體要求,完善數(shù)據(jù)存儲技術(shù)。當前增速驚人的大數(shù)據(jù)決定了我們想要實現(xiàn)大數(shù)據(jù)分析目的,就必須探索完善的數(shù)據(jù)存儲方式。通過應(yīng)用云存儲技術(shù),能夠確保其存儲容量以及數(shù)據(jù)整體的可用性和安全性等等,從而解決大數(shù)據(jù)分析平臺的數(shù)據(jù)存儲問題。而通過提升大數(shù)據(jù)分析存儲技術(shù),必然也能夠有效提升其具體應(yīng)用技術(shù)。同時優(yōu)化數(shù)據(jù)存儲,能夠有效提升大數(shù)據(jù)的應(yīng)用效果,實現(xiàn)大數(shù)據(jù)分析的良好效果。
其次,大數(shù)據(jù)分析是大數(shù)據(jù)應(yīng)用的核心,而實施大數(shù)據(jù)分析模式則需要針對當前類型多樣、迅速增長的信息數(shù)據(jù)進行分析,并且通過合理分析,從龐大的數(shù)據(jù)體系中尋找到有價值的信息內(nèi)涵,進而為整個決策活動提供相關(guān)依據(jù)的模式。在大數(shù)據(jù)分析過程中,數(shù)據(jù)庫、知識庫和模擬庫是整個數(shù)據(jù)分析模型構(gòu)建的主要要素,通過在構(gòu)建現(xiàn)有知識庫和數(shù)據(jù)庫模型基礎(chǔ)上,進行數(shù)據(jù)分析,其得到相應(yīng)結(jié)果,一方面優(yōu)化模型構(gòu)造,另一方面也實現(xiàn)對數(shù)據(jù)的具體應(yīng)用。通過優(yōu)化數(shù)據(jù)模型應(yīng)用,能夠有效提升大數(shù)據(jù)分析能力和應(yīng)用實效。
最后,大數(shù)據(jù)分析系統(tǒng)作為當前數(shù)據(jù)平臺應(yīng)用的核心,其主要應(yīng)用功能在于為數(shù)據(jù)挖掘應(yīng)用提供完善基礎(chǔ),同時使用分布式存儲法和并行計算體系,通過使用多重分布計算,從而實現(xiàn)對各類信息資源進行有效計算和分析,通過提供關(guān)聯(lián)、分類、預(yù)算等一系列方法,結(jié)合各種數(shù)據(jù)挖掘分析機制的應(yīng)用,從而實現(xiàn)整個大數(shù)據(jù)平臺價值效用的體系化發(fā)揮。
4 結(jié)語
在當前互聯(lián)網(wǎng)技術(shù)對各行各業(yè)發(fā)展的具體影響推動下,通過使用大數(shù)據(jù)技術(shù),能夠為各行業(yè)發(fā)展奠定重要基礎(chǔ),尤其是大數(shù)據(jù)分析的科學(xué)性,能夠為企業(yè)發(fā)展提供重要決策依據(jù)。而對各企業(yè)來說,尋找大數(shù)據(jù)應(yīng)用與企業(yè)自身經(jīng)營的結(jié)合點,則能夠從根本上提升大數(shù)據(jù)應(yīng)用效率。而想要構(gòu)建符合實際經(jīng)營需要的大數(shù)據(jù)分析平臺,就必須從大數(shù)據(jù)時代特征分析入手,通過具體了解和體系化融入,從而實現(xiàn)大數(shù)據(jù)分析平臺的具體研發(fā)。而構(gòu)建大數(shù)據(jù)分析平臺將從根本上發(fā)揮大數(shù)據(jù)技術(shù)優(yōu)勢。
參考文獻:
[1] 馬新莉.面向服務(wù)的大數(shù)據(jù)分析平臺解決方案[J].科技創(chuàng)業(yè),2013(10):72-74.
[2] 韓晶晶.大數(shù)據(jù)時代下數(shù)據(jù)分析理念的辨析[J].管理信息,2014(5):33-35.
篇8
隨著云計算的來臨,大數(shù)據(jù)(Big date)受到越來越多的關(guān)注。此概念最早由美國提出,研究機構(gòu)Gartner給出了定義,即“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。維基百科將大數(shù)據(jù)定義為無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合?!吨婆_》的分析師團隊認為,大數(shù)據(jù)通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。
二、大數(shù)據(jù)的特征
大數(shù)據(jù)的特征有很多詞語可以用來表示,2001年DougLaney最先提出“3V”模型,包括數(shù)量(Volume)、速度(Velocity)和種類(Variety)。IBM將其特征定義為4V,即規(guī)模性(Volume)、高速性(Velocity)、多樣性(Variety)和價值性(Value)。
1.規(guī)模性(Volume)
數(shù)據(jù)巨大的數(shù)據(jù)量以及其規(guī)模的完整性,非結(jié)構(gòu)化數(shù)據(jù)規(guī)模比結(jié)構(gòu)化數(shù)據(jù)增長快,數(shù)據(jù)的存儲量和產(chǎn)生量巨大,數(shù)據(jù)具有完整性。
2.高速性(Velocity)
實時分析產(chǎn)生的數(shù)據(jù)流以及大數(shù)據(jù)?,F(xiàn)實中對數(shù)據(jù)的實時性要求較高,能夠在第一時間抓到事件發(fā)生的信息。當有大量數(shù)據(jù)輸入或必須做出反應(yīng)時能夠迅速對數(shù)據(jù)進行分析。
3.多樣性(Variety)
多樣性指有多種途徑來源的關(guān)系型和非關(guān)系型數(shù)據(jù)。有很多不同的形式,除了簡單的文本分析外,還可以對機器數(shù)據(jù)、圖像、視頻、點擊流以及其他任何可用的信息進行分析。利用大數(shù)據(jù)多樣性的原理就是:保留一切對你有用的你需要的信息,丟棄那些你不需要的信息。發(fā)現(xiàn)那些有關(guān)聯(lián)的數(shù)據(jù),加以收集、分析、加工,使其變成可以利用的信息。
4.價值性(Value)
大量不相關(guān)數(shù)據(jù)的提純,體現(xiàn)大數(shù)據(jù)運用的真實意義所在。價值具有不確定性、稀缺性、多樣性。正如稻草堆中尋找一根針,運用大數(shù)據(jù)技術(shù),就能輕易的尋找到。
三、大數(shù)據(jù)對企業(yè)管理的影響
1.大數(shù)據(jù)對企業(yè)管理思想的影響
大數(shù)據(jù)時代的來臨改變了企業(yè)的內(nèi)外部環(huán)境,引起了企業(yè)的變革與發(fā)展。企業(yè)越來越智能化,管理實現(xiàn)了信息化。企業(yè)中的數(shù)據(jù)收集、傳輸利用需要現(xiàn)代管理思想的支撐。
大數(shù)據(jù)環(huán)境下的企業(yè)管理應(yīng)當以人為本,在實踐的基礎(chǔ)上運用現(xiàn)代信息化技術(shù),采用柔性管理,將數(shù)據(jù)當做附加資產(chǎn)來看待。企業(yè)運營離不開數(shù)據(jù)的支撐,企業(yè)管理當中如果不能夠深刻認識到大數(shù)據(jù)的重要性,僅僅以公司短期盈利作為目標,是缺乏戰(zhàn)略性的思考。有效的利用數(shù)據(jù)分析結(jié)果,提前進行預(yù)測,抓住市場先機、顧客需求,就能主動贏得市場,才能在企業(yè)管理與銷售業(yè)績上創(chuàng)造出更大的財富。
2.大數(shù)據(jù)對企業(yè)管理決策的影響
大數(shù)據(jù)背景下數(shù)據(jù)的分析利用是企業(yè)決策的關(guān)鍵。首先,大數(shù)據(jù)的決策需要大市場的數(shù)據(jù)?;谠朴嬎愕拇髷?shù)據(jù)環(huán)境影響到企業(yè)信息收集方式、決策方案選擇、決策方案制定和評估等決策實施過程,對企業(yè)的管理決策產(chǎn)生影響。大數(shù)據(jù)決策的特點體現(xiàn)在數(shù)據(jù)驅(qū)動型決策,大數(shù)據(jù)環(huán)境下的管理決策對于企業(yè)不僅是一門技術(shù),更是一種全新的決策方式、業(yè)務(wù)模式,企業(yè)必須適應(yīng)大數(shù)據(jù)環(huán)境對管理決策的新挑戰(zhàn)。
其次,大數(shù)據(jù)對決策者和決策組織提出了更高的要求。大數(shù)據(jù)時代改變了過去依靠經(jīng)驗、管理理論和思想的決策方式。管理決策層根據(jù)大數(shù)據(jù)分析結(jié)果發(fā)現(xiàn)和解決問題、預(yù)測機遇與挑戰(zhàn)、規(guī)避風險。這就要求決策層具有較高的決策水平。由于大數(shù)據(jù)背景下需要企業(yè)全員的參與,動態(tài)變動環(huán)境下,決策權(quán)力更加分散才有利于企業(yè)做出正確的決策。這就要求企業(yè)的組織更加趨于扁平化。
3.大數(shù)據(jù)對企業(yè)人力資源管理的影響
人力資源是企業(yè)中最寶貴的資源,是企業(yè)創(chuàng)造核心競爭力的基礎(chǔ)?;诖髷?shù)據(jù)技術(shù),企業(yè)將大大提高人力資源管理的效率和質(zhì)量。有效的加快人力資源工作從過去的經(jīng)驗管理模式向戰(zhàn)略管理模式的轉(zhuǎn)變。
公司從員工招聘到績效考核與培訓(xùn),積累了大量的各類非線性數(shù)據(jù),這些數(shù)據(jù)都是無形的資產(chǎn),利用大數(shù)據(jù)技術(shù),將這些數(shù)據(jù)進行整合分析利用,能夠為企業(yè)帶來巨大貢獻。首先,在員工招聘上,只需將單位用人要求與員工各項能力數(shù)據(jù)相匹配,結(jié)合人力資源招聘的經(jīng)驗,便可輕松選出符合要求的員工。其次,在績效考核上,進行標準化管理,將員工日常的各類數(shù)據(jù)進行分析,設(shè)定等級標準,即可得出客觀公正的考核結(jié)果。這大大排除了績效管理的主觀性與不全面性。最后,根據(jù)大數(shù)據(jù)的分析結(jié)果,針對不同員工區(qū)別培訓(xùn),更有效率的提高了培訓(xùn)水平。
4.大數(shù)據(jù)對企業(yè)財務(wù)管理的影響
大數(shù)據(jù)使財務(wù)管理的模式和工作理念顛覆性的改變。首先,財務(wù)管理更加穩(wěn)健。公司將各類財務(wù)數(shù)據(jù)在大數(shù)據(jù)技術(shù)下進行發(fā)掘,提純出更多有用的財務(wù)信息,及早的發(fā)現(xiàn)財務(wù)風險,為管理決策者提供重要的決策依據(jù),做出正確的決斷。其次,財務(wù)數(shù)據(jù)的處理更加及時高效。財務(wù)數(shù)據(jù)在企業(yè)日常運營當中舉足輕重,企業(yè)的各項交易都依賴于財務(wù)數(shù)據(jù)的分析,企業(yè)基于大數(shù)據(jù),通過對財務(wù)數(shù)據(jù)的分析和處理,能夠改進財務(wù)管理工作的運行模式,并且是有效率的,企業(yè)資金資本運作成本降低和壓縮了,利潤相應(yīng)提高了。企業(yè)資源最豐富的積累,最基礎(chǔ)的財務(wù)數(shù)據(jù),通過大數(shù)據(jù)技術(shù)進行對財務(wù)數(shù)據(jù),整理和分析,實現(xiàn)了企業(yè)價值增值。
篇9
關(guān)鍵詞:大數(shù)據(jù);信息問題;企業(yè)債券;數(shù)據(jù)挖掘
中圖分類號:F830.91 文獻標識碼:A 文章編號:1001-828X(2015)003-000-01
一、引言
目前在資本市場中主要存在兩大融資方式,一是股票融資,二是債券融資。根據(jù)國家統(tǒng)計局統(tǒng)計,2012年中國股票成交額314667.41億元,債券發(fā)行額37366.00億元。雖然說債券融資方式與股票融資方式相比,具有更大的靈活性,但從數(shù)據(jù)上來看,企業(yè)債券市值遠小于股市市值。造成這情況的原因之一就是中國的債券市場存在嚴重的信息問題。
相比較以前,由于網(wǎng)絡(luò)和計算機等技術(shù)的局限性致使債券市場的信息閉塞流通性差,致使債券市場發(fā)展緩慢。如今隨著大數(shù)據(jù)時代的到來,給債券市場帶來了巨大的潛力和機會。
對大數(shù)據(jù)的廣泛關(guān)注,主要是來源于維克多的一本《大數(shù)據(jù)時代》。那么什么是大數(shù)據(jù)?縱觀各個行業(yè)各個領(lǐng)域,都有對大數(shù)據(jù)的不同定義,在這些定義中,比較有代表性的是3V定義,即認為大數(shù)據(jù)需滿足3個特點:規(guī)模性、多樣性和高速性。雖然大數(shù)據(jù)的定義針對不同的領(lǐng)域和對象概念不完全相同,但是這并不影響我們實際的操作與研究。
二、大數(shù)據(jù)下債券信用風險評估的信息提取
傳統(tǒng)的信息不確定和不對稱的問題,使得投資人對企業(yè)價值評估不準確,進而要求高的風險溢價。從根本上講,債券市場同股票市場一樣,受宏觀經(jīng)濟面如貨幣政策、市場信心等市場信息因素的影響。Galai以宏觀市場的定價行為作為衡量信息不對稱的程度,說明了信息不對稱情況下,存在信用利差進而影響企業(yè)債券估價。Moerman通過研究發(fā)現(xiàn),二級市場中買賣價差與債券的利率利差存在正相關(guān)關(guān)系,買賣價差與債券的期限呈現(xiàn)正相關(guān)的關(guān)系。從宏觀角度講,能夠影響企業(yè)債券價值的因素有市場利率、票面利率、交易量、債券剩余期限、通貨膨脹率等。以大數(shù)據(jù)的視角可以將這些因素統(tǒng)歸于“利率”,因為宏觀經(jīng)濟的各種指標最終都會以利率的形勢表現(xiàn)出來。
另外,從微觀風險信息的角度出發(fā),內(nèi)部的經(jīng)營問題也可能會迫使企業(yè)在債券到期無力償還,導(dǎo)致投資者面臨違約風險。Duffie以不完全的會計信息作為指標,提出會計信息不完整會使投資者錯誤的評估公司的實際價值,結(jié)果是要求公司產(chǎn)生高的風險溢價。Hong(2000)認為公司歷史越悠久就能越好的提供更多的有價值的信息,從而降低了這種信息不確定性,降低風險溢價。微觀層面影響的企業(yè)債券價值的信息,其實是對企業(yè)的運營狀況、財務(wù)狀況等的一個反應(yīng),都體現(xiàn)對公司“信用”的評級。
以“利率”和“信用”為給定關(guān)鍵字后,利用大數(shù)據(jù)搜索技術(shù),從而找到更多企業(yè)信息,對企業(yè)債券評估具有很高的價值,運用數(shù)據(jù)挖掘技術(shù)有可以從大量的信息中提出影響企業(yè)價值的因素,這樣可以有效的解決以往的信息不確定和信息不對稱的問題。
三、大數(shù)據(jù)挖掘技術(shù)在債券信用風險估計中的應(yīng)用
大數(shù)據(jù)下,我們面對的是多種多樣紛繁復(fù)雜的數(shù)據(jù),關(guān)于企業(yè)的信息有些是我們需要的,但是很大一部分是無關(guān)聯(lián)的數(shù)據(jù),所以采取新型的數(shù)據(jù)挖掘技術(shù),找到哪些因素能夠影響企業(yè)價值才是最關(guān)鍵的。數(shù)據(jù)挖掘就是大量的數(shù)據(jù)中,找到其中隱含的、我們看不見的、有價值的信息。數(shù)據(jù)挖掘技術(shù)有很多種,比較常見的有關(guān)聯(lián)規(guī)則、神經(jīng)網(wǎng)絡(luò)、決策樹等方法。這些方法中很多可以運用到債券估價模型上。
在當下流行的關(guān)聯(lián)分析算法中,比較有影響力的是Apriori算法。該算法通過多次循環(huán)提取,盡可能減小候選集的規(guī)模,最終形成強關(guān)聯(lián)集合。這種關(guān)聯(lián)規(guī)則可以應(yīng)用到對影響企業(yè)債券信息的初期處理之中,找出哪些因素能夠?qū)瘍r值有影響,通過關(guān)聯(lián)規(guī)則可以實現(xiàn)數(shù)據(jù)的初期整合,刪除無影響的信息。
決策樹是一種預(yù)測分類方法,其目的是對數(shù)據(jù)集訓(xùn)集進行分類,找出有價值的,隱含的信息。J.R.Quinlan提出的ID3算法根據(jù)信息增益最大化為主要屬性設(shè)置決策樹的節(jié)點,然后在各支樹上采用遞歸算法建立分支樹。決策樹可以用于對企業(yè)價值信息進行分類估價,建立信用風險模型。通過決策樹對信息的分類,達到評價企業(yè)信用風險等級評價的目的。
神經(jīng)網(wǎng)絡(luò)算法是模擬人體細胞間的神經(jīng)元,通過訓(xùn)練實現(xiàn)分級、聚合等多種數(shù)據(jù)挖掘目標。神經(jīng)網(wǎng)絡(luò)技術(shù)在債券市場的研究也日趨成熟,Coasts講神經(jīng)網(wǎng)絡(luò)應(yīng)用于公司財務(wù)狀況評價,發(fā)現(xiàn)利用神經(jīng)網(wǎng)絡(luò)預(yù)測正確率在93%。所以,利用神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘可以根據(jù)提取、篩選、分類后的數(shù)據(jù)進行債券價格的預(yù)測。
通過以上3種數(shù)據(jù)挖掘技術(shù)在債券市場上的應(yīng)用,可以很好的分析企業(yè)價值信息。關(guān)聯(lián)分析可以對找出相關(guān)信息,決策樹可以對信息進行分類,神經(jīng)網(wǎng)絡(luò)可以對債券價值做一個很好的預(yù)測。
四、總結(jié)
本文首先分析了債券市場上的信息問題給企業(yè)債券風險評估帶來的不良影響。針對時代背景,對大數(shù)據(jù)時代做了一個概念性的認識。通過對以往文獻的研究,找出一些能夠影響企業(yè)債券價值信息的因素,從宏觀和微觀兩個方面來對這些因素進行分析和歸類。然后用大數(shù)據(jù)挖掘技術(shù)在債券市場上的信息挖掘的應(yīng)用,關(guān)聯(lián)分析可以對找出相關(guān)信息,決策樹可以對信息進行分類,神經(jīng)網(wǎng)絡(luò)可以對債券價值做一個很好的預(yù)測。經(jīng)過研究數(shù)據(jù)挖掘技術(shù)在債券估計中有著很好的前景。
參考文獻:
[1]Copeland,T.,and Galai,D.Information Effects on the Bid-AskSpread[J].The Journal of Finance,1983(38):1457-1469.
篇10
人是創(chuàng)造大數(shù)據(jù)的主體。我國企業(yè)身居世界人口最多的國家,創(chuàng)造大數(shù)據(jù)的速度正在接近或超過發(fā)達國家。我國至今有5.64億網(wǎng)民、4.2億手機用戶。他們的各類活動通過互聯(lián)網(wǎng)或通訊手段不斷地輸送給企業(yè)海量的數(shù)據(jù)。在大數(shù)據(jù)背景下,我國企業(yè)應(yīng)盡快地將已有的企業(yè)管理決策模式改變?yōu)椤皵?shù)據(jù)驅(qū)動的決策管理”。
人們熟知的企業(yè)決策管理是指企業(yè)在特定條件下,從決策目標的確定、信息收集、建立多個決策方案、尋找優(yōu)化方案、執(zhí)行方案及反饋控制等6個環(huán)節(jié)的活動管理。這個定義中“信息收集”與大數(shù)據(jù)密切相關(guān)。對于如何達到高水平的企業(yè)決策管理境界,管理學(xué)者有不同的解釋。比如,美國密歇根大學(xué)的弗蘭克 ? 耶茨(Frank Yates)認為成功的企業(yè)決策需要有10個關(guān)鍵的步驟:需求(need)、模式(mode)、投入(investment)、選擇(options)、可能性(possibility)、判定(judgment)、價值(value)、交換(trade offs)、接受度(acceptability)、執(zhí)行(implementation)。根據(jù)上述的企業(yè)決策管理定義,耶茨的理念大致地分化為“需求”屬于“決策目標的確定”的范疇;“投入”與企業(yè)特定條件,諸如物資資源和成本有關(guān);“可能性”、“接受度”和“價值”與“反饋控制”和企業(yè)特定條件,諸如投資者和市場反應(yīng)有關(guān);“交換”和“判定”則是“尋找優(yōu)化方案”;“執(zhí)行”與“執(zhí)行方案”是一致的。如此分析看來,耶茨的模型忽略了現(xiàn)代企業(yè)最重要的基礎(chǔ)――大數(shù)據(jù)!它引起了企業(yè)決策根本性的改變。
如何提倡大數(shù)據(jù)背景下的新的企業(yè)決策管理模式呢?筆者認為,答案之一是將已知的企業(yè)決策管理修正為“數(shù)據(jù)驅(qū)動的企業(yè)決策管理”(Data-Driven Enterprise Decision Management)。要建立這樣一個新的企業(yè)決策管理方法,首先要對大數(shù)據(jù)有一定的了解。
大數(shù)據(jù)展示了4個“V”的特征:即體量大(volume)、狀態(tài)多(variety)、生成快(velocity)和含有高價值(value)。其中前3個“V”都給數(shù)據(jù)收集與預(yù)處理帶來了高難度。如何快捷地將大數(shù)據(jù)從非結(jié)構(gòu)化或半結(jié)構(gòu)化(諸如音像、圖片、文字等)狀態(tài)轉(zhuǎn)化為類似結(jié)構(gòu)化的多維數(shù)據(jù)表格以便計算機能高效地處理和清洗,是每個企業(yè)面臨的巨大挑戰(zhàn)。至今還沒有能統(tǒng)一處理大數(shù)據(jù)前3個“V”的標準技術(shù)。大數(shù)據(jù)的第4個“V”(value)表示大數(shù)據(jù)在其低密度的價值中含有巨大的看不見的高價值。尋找大數(shù)據(jù)的高價值必須像從金礦中淘金一樣要進行數(shù)據(jù)挖掘。
其實,過去十幾年的數(shù)據(jù)挖掘的方法和技術(shù)就可以用于企業(yè)決策的重新制定。其中最重要的方法之一是1999年歐盟起草的稱為“跨行業(yè)數(shù)據(jù)挖掘過程標準”(cross-industry standard process for data mining,CRISP-DM)。這個標準已普遍被許多數(shù)據(jù)分析軟件公司采用,例如SPSS,NCR等運用于其高級數(shù)據(jù)挖掘工具的開發(fā)中。我們可以將CRISP-DM的6個階段(見圖1)運用于企業(yè)決策管理的6個環(huán)節(jié)中,從而建立數(shù)據(jù)驅(qū)動的企業(yè)決策管理模式(如圖2)。