【摘要】繼電保護(hù)狀態(tài)評價是保障繼電保護(hù)工作的重要手段。其中繼電保護(hù)信息具備大數(shù)據(jù)的特性，然而在實(shí)踐活動中，受到數(shù)據(jù)傳輸不暢通、數(shù)據(jù)源不一致以及缺乏科學(xué)合理分析等因素的影響，繼電保護(hù)狀態(tài)評價難以在線上進(jìn)行工作。結(jié)合在線評價過程中產(chǎn)生的問題，對其進(jìn)行定向分析，在保障在線評價質(zhì)量的前提下，不僅節(jié)省了數(shù)據(jù)傳送時間還有評價時間，還為輸變電環(huán)節(jié)提供了可靠性參考依據(jù)。本文就繼電保護(hù)狀態(tài)評價的大數(shù)據(jù)分析方法進(jìn)行探討，并提出建議。

【關(guān)鍵詞】繼電保護(hù)；狀態(tài)評價；大數(shù)據(jù)

目前，隨著電網(wǎng)安全性逐步被人們所重視，信息數(shù)據(jù)在保障電網(wǎng)安全性的過程中起到至關(guān)重要的作用。科學(xué)合理的利用電力系統(tǒng)運(yùn)行數(shù)據(jù)，對繼電保護(hù)系統(tǒng)運(yùn)行狀態(tài)進(jìn)行在線分析，并給出合理的評價結(jié)果，這也是降低繼電保護(hù)裝置運(yùn)行風(fēng)險的重要手段之一。傳統(tǒng)的機(jī)電保護(hù)狀態(tài)分析通常是采用歷史數(shù)據(jù)進(jìn)行分析研究，然后得出不合理的結(jié)果，將這一結(jié)果投入到運(yùn)行中的繼電保護(hù)系統(tǒng)中，很難真正意義上降低運(yùn)行風(fēng)險，更別談?wù)页鲞\(yùn)行故障隱患和薄弱環(huán)節(jié)了。

1繼電保護(hù)系統(tǒng)運(yùn)行狀態(tài)評價的大數(shù)據(jù)

分析法的特點(diǎn)在過去，繼電保護(hù)裝置在進(jìn)行狀態(tài)評價工作時，往往將繼電保護(hù)裝置置于一個隱蔽的系統(tǒng)內(nèi)，其傳輸命令較為單一，只有輸入與輸出兩項操作。換言之，一旦電力系統(tǒng)發(fā)生故障或者故障結(jié)束后，對已經(jīng)發(fā)生故障的元件進(jìn)行事后數(shù)據(jù)記錄分析，從而反映該故障元件是否是真的發(fā)生了故障，這一過程并不能真正意義上正確、合理的對故障元件做出正確的判斷。因此，借助信息化大數(shù)據(jù)平臺，創(chuàng)建電力系統(tǒng)機(jī)電保護(hù)狀態(tài)信息化基站，設(shè)置一個主機(jī)，若干個子機(jī)，主機(jī)發(fā)出指令，各個子機(jī)收到指令后進(jìn)行數(shù)據(jù)采集、分析以及總結(jié)等工作，最后向主機(jī)輸送數(shù)據(jù)包，這一大數(shù)據(jù)分析法的數(shù)據(jù)分為兩類：（1）周期性數(shù)據(jù)；（2）事件驅(qū)動數(shù)據(jù)。采用大數(shù)據(jù)分析法對繼電保護(hù)運(yùn)行狀態(tài)進(jìn)行評價具有較高的精確性、合理性、科學(xué)性以及靈敏性等優(yōu)勢，這是傳統(tǒng)評價方法所不能比的。

2用于繼電保護(hù)運(yùn)行狀態(tài)評價的大數(shù)據(jù)要求

摘要：本文利用索倫國家基準(zhǔn)氣候站1993年~2017年逐月輻照度資料，使用統(tǒng)計學(xué)分析方法對索倫太陽輻照度數(shù)據(jù)變化規(guī)律進(jìn)行分析，研究輻照度質(zhì)量控制方法，提高觀測系統(tǒng)的精準(zhǔn)度，為農(nóng)業(yè)生產(chǎn)、太陽能開發(fā)利用和決策服務(wù)提供及時、準(zhǔn)確的服務(wù)。

關(guān)鍵詞：輻射數(shù)據(jù)；質(zhì)量控制方法；索倫

索倫國家基準(zhǔn)氣候站太陽輻射觀測業(yè)務(wù)積累了27年觀測數(shù)據(jù)，為了保證歷史資料數(shù)據(jù)的準(zhǔn)確性，便于開展應(yīng)用服務(wù)，有必要對索倫太陽輻射數(shù)據(jù)進(jìn)行分析及質(zhì)量控制方法研究。為農(nóng)業(yè)生產(chǎn)、太陽能開發(fā)利用和決策服務(wù)提供及時、準(zhǔn)確的服務(wù)。

1研究資料和方法

本文利用索倫國家基準(zhǔn)氣候站1993年~2017年逐月輻照度資料，使用統(tǒng)計學(xué)分析方法對索倫太陽輻照度數(shù)據(jù)變化規(guī)律進(jìn)行分析，并研究了輻照度質(zhì)量控制方法。季節(jié)劃分采用常規(guī)的劃分標(biāo)準(zhǔn)：春季3~5月，夏季6~8月，秋季9~11月，冬季12月到次年2月。

2索倫太陽輻射數(shù)據(jù)分析

隨著電力體制改革的深入，供電系統(tǒng)的營銷管理也逐步從粗放型向集約型轉(zhuǎn)變。而只有通過管理手段的創(chuàng)新，采用多維數(shù)據(jù)分析的一體化管理，才能實(shí)現(xiàn)電力部門真正意義上的集約型管理。目前，諸如自動化調(diào)度系統(tǒng)、售電自動化系統(tǒng)、用戶自助服務(wù)系統(tǒng)等的建立，實(shí)現(xiàn)了電力業(yè)務(wù)的產(chǎn)、輸、配、售信息一體化，既促進(jìn)了供電系統(tǒng)業(yè)務(wù)的高效化，也積累了大量的業(yè)務(wù)數(shù)據(jù)。如何有效地利用這些現(xiàn)有的業(yè)務(wù)數(shù)據(jù)，將業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)化成管理數(shù)據(jù)，為供電系統(tǒng)電力營銷工作提供服務(wù)，提高企業(yè)管理水平，是目前供電企業(yè)信息化所面臨的主要問題之一?；贠LAP的多維數(shù)據(jù)聯(lián)機(jī)分析處理工具BusinessObjects是一種自適應(yīng)、基于服務(wù)的商務(wù)智能應(yīng)用開發(fā)平臺，根據(jù)實(shí)際應(yīng)用需求，可集成多個BusinessObjects套件產(chǎn)品如：CrystalRe-portsXI、WebIntelligence、PerformanceMan-ager等。該平臺在報表歸類、數(shù)據(jù)查詢、企業(yè)績效等實(shí)際應(yīng)用中，提供了全方位、便捷化的多維數(shù)據(jù)分析服務(wù)，能滿足用戶的信息需求。

1多維數(shù)據(jù)分析技術(shù)

多維數(shù)據(jù)分析技術(shù)是一種建立在OLAP基礎(chǔ)上的高效數(shù)據(jù)分析方法，能有效地將企業(yè)數(shù)據(jù)由業(yè)務(wù)型向管理型轉(zhuǎn)化，是企業(yè)提高經(jīng)營管理水平的有效方法。OLAP通過多維的方式對數(shù)據(jù)進(jìn)行分析、查詢和報表，它不同于傳統(tǒng)的OTLP應(yīng)用。OTLP應(yīng)用主要是完成用戶的事務(wù)處理，通常要進(jìn)行大量的更新操作，對響應(yīng)時間要求比較高。而OLAP主要是對用戶分析、輔助領(lǐng)導(dǎo)決策，可以進(jìn)行大量的查詢操作，對時間的要求不太嚴(yán)格。其典型的應(yīng)用有對銀行信用卡風(fēng)險的分析與預(yù)測、公司市場營銷策略的制度建設(shè)等。多維數(shù)據(jù)分析技術(shù)的核心是“維”，即用戶根據(jù)經(jīng)營管理信息需求，從多個現(xiàn)實(shí)世界角度觀察數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行相應(yīng)處理，從而獲得有用信息的方法。多維數(shù)據(jù)分析基本分析操作有鉆取、切片、切塊、旋轉(zhuǎn)，它讓用戶能同步快速、高效靈活地掌握從總體到局部的企業(yè)經(jīng)營情況，將企業(yè)運(yùn)營的隱藏信息直觀呈現(xiàn)給用戶。根據(jù)多維數(shù)據(jù)分析技術(shù)的基本定義及原理，在供電系統(tǒng)電力營銷中運(yùn)用BusinessObjects平臺進(jìn)行的多維數(shù)據(jù)分析，有如下特點(diǎn)：

（1）多維性：這是多維數(shù)據(jù)分析技術(shù)標(biāo)志性特點(diǎn)，可以從分析維中分支出時間維、地區(qū)維、類別維等多個維度面。如對售電量的展現(xiàn)，可以從時間維中的年、季、月、周、日時間層次上查看。

（2）可析性：從不同角度對數(shù)據(jù)進(jìn)行平均值、差距值、數(shù)排序、匯總、記錄限定等處理，提供給用戶強(qiáng)大的數(shù)據(jù)匯總、即時查詢等數(shù)據(jù)分析能力。

（3）同步性：體現(xiàn)了用戶對信息在時間上的要求。包含對多維數(shù)據(jù)分析結(jié)果同步快速獲得的要求，而且使多維數(shù)據(jù)分析能實(shí)時、適時地接收用戶數(shù)據(jù)。

摘要：文章主要從移動數(shù)據(jù)和無線網(wǎng)絡(luò)方面進(jìn)行分析，指出移動通信中存在的問題，將大數(shù)據(jù)分析與移動通信之間的關(guān)系進(jìn)行剖析，改進(jìn)大數(shù)據(jù)在移動通信中的優(yōu)化方式，促進(jìn)通信行業(yè)的發(fā)展與進(jìn)步。

關(guān)鍵詞：大數(shù)據(jù)；移動通信網(wǎng)絡(luò)；優(yōu)化

我國對于通信網(wǎng)絡(luò)要求隨著技術(shù)的發(fā)展逐漸提升，這與國家政策存在一定的聯(lián)系，也是國家政策發(fā)展的需要。特別是4G牌照的發(fā)放，使移動通信網(wǎng)絡(luò)得到全面的進(jìn)步，對于通信行業(yè)來講是巨大的進(jìn)步。但是在發(fā)展中也遇到一定的問題，主要表現(xiàn)是移動網(wǎng)絡(luò)在運(yùn)行優(yōu)化中的技術(shù)也需要得到全面提升，才能保持運(yùn)行的穩(wěn)定性，這樣才能更好地滿足群眾的使用要求。這就需要通過大數(shù)據(jù)分析手段，對移動通信的發(fā)展方向以及需求進(jìn)行分析，找出更加妥善的處理方法，制定更加全面的方針，提升移動網(wǎng)絡(luò)的使用質(zhì)量，促進(jìn)技術(shù)的發(fā)展與進(jìn)步[1]。

1大數(shù)據(jù)分析概述

大數(shù)據(jù)處理技術(shù)就是在大數(shù)據(jù)分析的基礎(chǔ)上產(chǎn)生和發(fā)展起來的，在掌握大數(shù)據(jù)的基礎(chǔ)上，通過數(shù)據(jù)存儲、數(shù)據(jù)處理以及數(shù)據(jù)分析等不同的技術(shù)，將數(shù)據(jù)進(jìn)行相互之間的協(xié)調(diào)創(chuàng)新，使得數(shù)據(jù)在處理中更加的快捷高效，實(shí)現(xiàn)數(shù)據(jù)處理的全面進(jìn)步。大數(shù)據(jù)分析以龐大的數(shù)據(jù)信息作為基礎(chǔ)，這些數(shù)據(jù)信息的取得可以是任何的平臺以及網(wǎng)絡(luò)軟件系統(tǒng)中的數(shù)據(jù)，技術(shù)人員對這些數(shù)據(jù)進(jìn)行收集分析，進(jìn)而篩選需要的數(shù)據(jù)信息，為企業(yè)的發(fā)展提供依據(jù)，幫助企業(yè)更加準(zhǔn)確地找尋數(shù)據(jù)源，提升信息處理質(zhì)量和效率[2]。與傳統(tǒng)的數(shù)據(jù)信息處理方法比較，大數(shù)據(jù)在數(shù)據(jù)收集方法上更加快捷，數(shù)據(jù)的處理質(zhì)量和效率得到顯著的提升，掌握了更加科學(xué)的數(shù)據(jù)處理方法。

2移動通信網(wǎng)絡(luò)技術(shù)

摘要：本文基于新聞傳播人才數(shù)據(jù)分析能力培養(yǎng)實(shí)踐，提出面向問題解決的數(shù)據(jù)分析能力培養(yǎng)路徑。在此基礎(chǔ)上系統(tǒng)化構(gòu)建指向培養(yǎng)路徑實(shí)現(xiàn)的數(shù)據(jù)分析能力培養(yǎng)體系，該體系包含課程、實(shí)訓(xùn)、師資三個子體系。

關(guān)鍵詞：大數(shù)據(jù)時代；新聞傳播；數(shù)據(jù)分析；培養(yǎng)路徑；培養(yǎng)體系

大數(shù)據(jù)時代高校人才培養(yǎng)面臨新挑戰(zhàn)，受技術(shù)發(fā)展影響深刻的新聞傳播專業(yè)更是如此。新聞傳播教育融入大數(shù)據(jù)內(nèi)容迫在眉睫，然而現(xiàn)實(shí)培養(yǎng)效果不盡如人意。分析其原因是當(dāng)前培養(yǎng)方式主要停留在課程層面，通過直接在傳統(tǒng)課程體系中加入一門或幾門數(shù)據(jù)類課程實(shí)現(xiàn)，課程設(shè)置缺乏理論依據(jù)，課程之間缺乏邏輯關(guān)聯(lián)。數(shù)據(jù)分析能力獨(dú)立于新聞傳播傳統(tǒng)核心能力培養(yǎng)之外，需在專業(yè)內(nèi)生需求驅(qū)動下，系統(tǒng)化設(shè)計培養(yǎng)路徑與培養(yǎng)體系，設(shè)計過程需充分考慮專業(yè)特點(diǎn)。

新聞傳播人才數(shù)據(jù)分析能力培養(yǎng)路徑

大數(shù)據(jù)時代新聞傳播生態(tài)面臨重大調(diào)整的同時也深度參與時代形態(tài)塑造，因此數(shù)據(jù)分析能力培養(yǎng)目標(biāo)指向：深刻理解大數(shù)據(jù)內(nèi)涵，既能利用數(shù)據(jù)分析方法支持新聞傳播領(lǐng)域需求，也能清楚認(rèn)識新聞大數(shù)據(jù)在解決其他領(lǐng)域問題上的潛能。培養(yǎng)路徑設(shè)計亦圍繞該目標(biāo)實(shí)現(xiàn)，主要內(nèi)容包括：（一）強(qiáng)化數(shù)據(jù)分析思維培養(yǎng)，弱化技術(shù)細(xì)節(jié)傳授。數(shù)據(jù)分析能力分為兩個層面：數(shù)據(jù)分析思維能力與數(shù)據(jù)分析技術(shù)能力。前者包括：理解分析方法背后數(shù)學(xué)邏輯，明晰方法適用問題類型，能正確解釋分析結(jié)果；后者包括：根據(jù)數(shù)據(jù)分析方法特點(diǎn)能利用可視化軟件或編寫程序?qū)崿F(xiàn)數(shù)據(jù)分析過程。因此，數(shù)據(jù)分析能力培養(yǎng)方式細(xì)化為三種：數(shù)據(jù)分析思維與技術(shù)并重培養(yǎng)；重技術(shù)實(shí)現(xiàn)，弱分析思維培養(yǎng)；重分析思維，弱技術(shù)細(xì)節(jié)培養(yǎng)。毋庸置疑，思維與技術(shù)并重培養(yǎng)最為全面，但在加重學(xué)習(xí)負(fù)擔(dān)的同時不可避免地會壓縮其他能力培養(yǎng)空間。正如哥倫比亞大學(xué)教授James?W.Carey所言“新聞學(xué)的學(xué)術(shù)來源應(yīng)該根植于人文科學(xué)和人文類的社會科學(xué)中，新聞應(yīng)該與政治、文學(xué)、哲學(xué)、藝術(shù)、歷史聯(lián)系”[1]，并重式培養(yǎng)不免舍本逐末，影響人才整體培養(yǎng)目標(biāo)實(shí)現(xiàn)。得益于集成軟件的可視化操作以及新一代編程語言豐富的可調(diào)用程序“包”，數(shù)據(jù)分析技術(shù)實(shí)現(xiàn)難度降低，為“重技術(shù)實(shí)現(xiàn)”培養(yǎng)方式創(chuàng)造條件。但集成操作在封裝數(shù)據(jù)分析過程的同時也導(dǎo)致學(xué)生對方法內(nèi)涵及其背后邏輯理解不透，缺乏舉一反三的能力，更無法融合知識背景對分析結(jié)果進(jìn)行深度解讀。另一方面，計算機(jī)性能提升促進(jìn)數(shù)據(jù)分析方法快速迭代，從技術(shù)角度培養(yǎng)學(xué)生，容易導(dǎo)致教學(xué)內(nèi)容滯后或在該能力培養(yǎng)上投入過多時間。因此，筆者傾向“重分析思維，弱技術(shù)細(xì)節(jié)”?培養(yǎng)模式。該模式重點(diǎn)講授數(shù)據(jù)分析方法原理，適用問題場景以及對分析結(jié)果進(jìn)行有效解釋。在原理講授上可根據(jù)內(nèi)容難易程度采用不同方式，例如對于基于單一數(shù)學(xué)公式的可直接補(bǔ)充數(shù)學(xué)知識；對于涉及復(fù)雜數(shù)學(xué)原理的，可采用通俗的符合現(xiàn)實(shí)邏輯的語言來講述。無論采用何種講授方式，其目的就是讓學(xué)生真正理解數(shù)據(jù)分析方法內(nèi)涵，切實(shí)具備將方法應(yīng)用到現(xiàn)實(shí)問題解決的能力。（二）開展信息素養(yǎng)教育，提高信息檢索與連接學(xué)習(xí)能力。采用“重思維，弱技術(shù)”培養(yǎng)方式必然存在兩個弊端：一是學(xué)生技術(shù)實(shí)現(xiàn)能力不足；二是無法及時跟進(jìn)技術(shù)前沿?？偨Y(jié)教學(xué)實(shí)踐，筆者認(rèn)為開展信息素養(yǎng)教育是解決這兩個問題的關(guān)鍵?！靶畔⑺仞B(yǎng)”概念由美國信息產(chǎn)業(yè)協(xié)會提出，根據(jù)Doyle在《信息素養(yǎng)全美論壇的終結(jié)報告》中下的定義可知：理解信息在問題解決上的重要性，描述面向信息需求的問題，利用工具獲取目標(biāo)信息，選擇有效信息并將其準(zhǔn)確運(yùn)用到問題解決上是開展信息素養(yǎng)教育的目的[2]，也正是克服“重思維，弱技術(shù)”培養(yǎng)方式下人才技術(shù)短板的關(guān)鍵。首先，針對技術(shù)實(shí)現(xiàn)能力不足問題，可通過與有技術(shù)優(yōu)勢的專業(yè)人員合作來彌補(bǔ)。識別合作對象是開展合作的前提，當(dāng)前數(shù)據(jù)分析方法種類繁多，在解決現(xiàn)實(shí)問題時需要與有不同技術(shù)專長的對象合作。因此僅依靠人際網(wǎng)絡(luò)很難全面識別，需運(yùn)用信息檢索技術(shù)，多渠道獲取信息才能更全面定位潛在合作對象并與之建立關(guān)聯(lián)。另外，不同專業(yè)人員的思維習(xí)慣以及對問題的理解存在差異，這種差異將影響合作效果。為提高溝通效率，除加強(qiáng)本專業(yè)學(xué)生溝通技巧外，關(guān)鍵在于提高學(xué)生對信息處理需求進(jìn)行準(zhǔn)確的、符合專業(yè)邏輯的描述的能力，而這正是信息素養(yǎng)教育內(nèi)容之一。其次，針對無法及時跟進(jìn)技術(shù)前沿問題，除了需要授課教師及時更新授課內(nèi)容，保證課程緊跟技術(shù)前沿，更為重要的是培養(yǎng)學(xué)生連接學(xué)習(xí)能力。連接主義學(xué)習(xí)理論認(rèn)為數(shù)字時代的學(xué)習(xí)可以看作在特定時間訪問與使用所需信息的過程，與之對應(yīng)，連接學(xué)習(xí)能力就是在學(xué)習(xí)需求驅(qū)動下獲取與利用分布廣泛的信息的能力[3]?[4]。信息素養(yǎng)教育正是該能力的養(yǎng)成途徑之一。（三）深化人文社會學(xué)科教育，促進(jìn)深厚人文素養(yǎng)養(yǎng)成，提高數(shù)據(jù)分析結(jié)果的深度解讀能力。上述兩條路徑培養(yǎng)學(xué)生適應(yīng)大數(shù)據(jù)時代發(fā)展的能力，但在發(fā)揮新聞傳播專業(yè)優(yōu)勢方面效果有限。本節(jié)將探討新聞傳播專業(yè)在數(shù)據(jù)分析流程中的優(yōu)勢以及如何強(qiáng)化這種優(yōu)勢。面向問題解決的新聞傳播人才數(shù)據(jù)分析流程可劃分為：問題解析、數(shù)據(jù)分析結(jié)果獲取、數(shù)據(jù)分析結(jié)果解讀三個階段。問題解析階段任務(wù)包括：判斷問題是否可采用數(shù)據(jù)分析方式解決，如可行需要采集那些數(shù)據(jù)、選擇那些數(shù)據(jù)分析方法，該階段考驗學(xué)生的數(shù)據(jù)分析思維。數(shù)據(jù)分析結(jié)果獲取階段任務(wù)包括：確定數(shù)據(jù)獲取渠道并明確采集需求；定位專業(yè)人員并與之建立關(guān)聯(lián)；通過與專業(yè)人員合作獲取數(shù)據(jù)分析結(jié)果，該階段需要學(xué)生具備堅實(shí)的信息素養(yǎng)。數(shù)據(jù)分析結(jié)果解讀階段任務(wù)包括：準(zhǔn)確理解數(shù)據(jù)分析結(jié)果，融合背景知識對結(jié)果進(jìn)行深度解讀，形成可供閱讀的分析報告，該階段需要學(xué)生具備深厚的人文素養(yǎng)。近年來，數(shù)據(jù)分析結(jié)果解讀在分析流程中的重要性日益凸顯，深厚的人文素養(yǎng)是開展深度解讀的前提，而這正是新聞傳播專業(yè)學(xué)生的優(yōu)勢所在。一方面，新聞傳播專業(yè)重視人文主義教育，與文學(xué)、歷史學(xué)、哲學(xué)等不斷交融，培養(yǎng)學(xué)生人文情懷、獨(dú)立思考能力與批判精神[5]。更有學(xué)者呼吁在當(dāng)前環(huán)境下更要加強(qiáng)文史哲教育，夯實(shí)新聞傳播人才的人文基礎(chǔ)[6]。另一方面，新聞傳播學(xué)科內(nèi)在基因強(qiáng)調(diào)與法學(xué)、經(jīng)濟(jì)學(xué)、政治學(xué)等社會學(xué)科交叉，培養(yǎng)學(xué)生跨界能力[7]。由此可知，數(shù)據(jù)分析過程中凸顯新聞傳播專業(yè)優(yōu)勢的關(guān)鍵在于深化人文社會學(xué)科教育，促進(jìn)學(xué)生深厚人文素養(yǎng)養(yǎng)成，提高數(shù)據(jù)分析結(jié)果深度解讀及對解讀結(jié)果準(zhǔn)確描述的能力。

新聞傳播人才數(shù)據(jù)分析能力培養(yǎng)體系

摘要：在企業(yè)管理中，財務(wù)管理是非常重要的工作。財務(wù)管理質(zhì)量的提高，可以使得企業(yè)領(lǐng)導(dǎo)對企業(yè)的經(jīng)營狀況全面分析并充分了解，基于此作出經(jīng)營決策?，F(xiàn)代企業(yè)財務(wù)管理中應(yīng)用統(tǒng)計數(shù)據(jù)分析的方法處理數(shù)據(jù)，從中還可以提取出有價值的數(shù)據(jù)信息，可以為企業(yè)的財務(wù)管理提供參考，這也是企業(yè)發(fā)展的重要保障。本文針對數(shù)據(jù)分析在企業(yè)財務(wù)管理中的作用展開研究。

關(guān)鍵詞：數(shù)據(jù)分析;企業(yè);財務(wù)管理;作用

當(dāng)前的市場經(jīng)濟(jì)環(huán)境中，競爭日益激烈，企業(yè)認(rèn)識到財務(wù)管理的重要性，給予了高度重視。企業(yè)要提高競爭力，就要將財物數(shù)據(jù)信息充分利用起來。在企業(yè)的財務(wù)管理工作中，統(tǒng)計數(shù)據(jù)是基礎(chǔ)性工作，不僅對于數(shù)據(jù)信息要予以處理，還要從數(shù)據(jù)中挖掘出有價值的信息。但是，從傳統(tǒng)的財務(wù)管理模式的角度而言，企業(yè)如果沒有在財務(wù)管理上與時俱進(jìn)，而是依然采用傳統(tǒng)的模式，使得財務(wù)數(shù)據(jù)信息不能夠有效利用，必然會對企業(yè)的發(fā)展產(chǎn)生一定的影響。將統(tǒng)計數(shù)據(jù)分析作為一種手段，對于財務(wù)管理中產(chǎn)生的數(shù)據(jù)進(jìn)行處理，發(fā)揮統(tǒng)計學(xué)原理的作用，對于財務(wù)數(shù)據(jù)信息之間的內(nèi)在關(guān)聯(lián)性進(jìn)行研究，所獲得的結(jié)果可以為企業(yè)的決策提供參考，對財務(wù)管理工作科學(xué)高效地展開也可以起到一定的促進(jìn)作用。

1現(xiàn)代企業(yè)財務(wù)管理中對統(tǒng)計數(shù)據(jù)分析的應(yīng)用

1.1采用統(tǒng)計數(shù)據(jù)分析企業(yè)產(chǎn)品的銷售利潤。處于當(dāng)前的市場經(jīng)濟(jì)環(huán)境中，企業(yè)的產(chǎn)品要獲得較高的經(jīng)濟(jì)利潤，就需要提高企業(yè)經(jīng)濟(jì)效益。企業(yè)在發(fā)展的進(jìn)程中，要提高市場競爭優(yōu)勢，在當(dāng)前的市場中穩(wěn)定的發(fā)展，就要使得生產(chǎn)的產(chǎn)品市場為導(dǎo)向，滿足市場的需求。在企業(yè)的管理工作中，財務(wù)管理是重要的內(nèi)容。企業(yè)的產(chǎn)品銷售中要獲得較高的利潤，采用統(tǒng)計數(shù)據(jù)分析的方法是非常必要的。根據(jù)統(tǒng)計數(shù)據(jù)信息實(shí)時企業(yè)財務(wù)管理，使得管理工作建立在統(tǒng)計數(shù)據(jù)分析的基礎(chǔ)上，為企業(yè)的決策提供參考，企業(yè)產(chǎn)品的盈利能力也可以根據(jù)統(tǒng)計數(shù)據(jù)作出判斷。根據(jù)統(tǒng)計數(shù)據(jù)分析結(jié)果還可以制定產(chǎn)品銷售策略，確保企業(yè)的資金高效利用。1.2采用統(tǒng)計數(shù)據(jù)分析企業(yè)經(jīng)費(fèi)。財務(wù)管理工作需要一定的資金，資金是否到位對企業(yè)各項工作的展開具有一定的影響?，F(xiàn)代企業(yè)在進(jìn)行財務(wù)管理中所要實(shí)現(xiàn)的目標(biāo)就是在最低成本的情況下獲得最高的經(jīng)濟(jì)效益。通過財務(wù)管理活動對成本有效控制，提高資金的利用率，同時企業(yè)的各項管理費(fèi)用得到有效控制，包括員工的工資、福利以及各種招待費(fèi)等都合理控制，可以實(shí)現(xiàn)企業(yè)的利益最大化。在具體的工作中采用統(tǒng)計數(shù)據(jù)分析的方法，可以獲得一定的成本管理成效。在企業(yè)資金的運(yùn)行過程中，按照相關(guān)的規(guī)范對資金合理控制，可以避免資金浪費(fèi)。1.3采用統(tǒng)計數(shù)據(jù)分析企業(yè)利潤總額。衡量企業(yè)經(jīng)濟(jì)效益中，利潤是重要的指標(biāo)?？偫麧櫧痤~中所涵蓋的內(nèi)容主要包括產(chǎn)品銷售中所獲得的利潤、企業(yè)營業(yè)外凈收入等。企業(yè)的經(jīng)營中所獲得的利潤就是企業(yè)在經(jīng)營的過程中，在收入的金額中扣除折舊、營業(yè)稅以及成本消費(fèi)等的剩余費(fèi)用。營業(yè)外收入中，所涵蓋的收入包括非流動資產(chǎn)處置所獲得的收益、無形銷售所獲得的收益、非貨幣性資產(chǎn)交換所獲得的收益、債務(wù)重組所獲得的利潤、政府提供的補(bǔ)貼、罰款中所獲得的收入、以及獲得的捐款等。在企業(yè)運(yùn)營的過程中，在各種因素的影響下，企業(yè)的利潤就會出現(xiàn)不穩(wěn)定狀態(tài)，很有可能導(dǎo)致企業(yè)沒有達(dá)到預(yù)期的利潤目標(biāo)。在分析企業(yè)總利潤的過程中采用統(tǒng)計數(shù)據(jù)分析的方法，可以準(zhǔn)確的評估企業(yè)所獲得的利潤。所以，對于企業(yè)的資金使用合理控制，有助于提高愜意的經(jīng)濟(jì)利潤。

2現(xiàn)代企業(yè)財務(wù)管理中提高統(tǒng)計數(shù)據(jù)分析效率的有效策略

摘要：數(shù)據(jù)分析是現(xiàn)代會計專業(yè)人才必須掌握的一項基本能力，學(xué)生數(shù)據(jù)分析能力的培養(yǎng)在會計專業(yè)教學(xué)中占有重要地位。文章首先對會計專業(yè)教學(xué)中的數(shù)據(jù)分析能力培養(yǎng)要求進(jìn)行分析，進(jìn)而采用案例研究法，探討數(shù)據(jù)分析的重要性。在此基礎(chǔ)上，對會計專業(yè)教學(xué)改革提出幾點(diǎn)建議，以期促進(jìn)其教學(xué)水平的提高。

關(guān)鍵詞：數(shù)據(jù)分析；會計專業(yè)教學(xué)；重要性

一、會計專業(yè)教學(xué)中的數(shù)據(jù)分析能力培養(yǎng)要求

在會計電算化改革趨勢下，數(shù)據(jù)分析的重要性越來越顯著，許多傳統(tǒng)會計工作已經(jīng)被人工智能所取代。在教學(xué)過程中，也需要明確學(xué)生的數(shù)據(jù)分析能力培養(yǎng)要求，從而適應(yīng)時展趨勢，提升學(xué)生未來的崗位勝任力。目前計算機(jī)軟硬件技術(shù)已經(jīng)在會計行業(yè)數(shù)據(jù)分析中得到了廣泛應(yīng)用。以Stata軟件為例，在培養(yǎng)學(xué)生數(shù)據(jù)分析能力的過程中，可以利用其統(tǒng)計分析、數(shù)據(jù)管理、回歸分析等功能，幫助學(xué)生形成現(xiàn)代化會計工作的基本能力[1]。

二、會計專業(yè)教學(xué)中數(shù)據(jù)分析的重要性

1.回歸分析的重要性。回歸分析是會計行業(yè)數(shù)據(jù)統(tǒng)計常用的方法，主要對兩個變量的因果關(guān)系進(jìn)行檢驗。在大數(shù)據(jù)的應(yīng)用下，回歸分析方法也被應(yīng)用于檢驗兩變量的相關(guān)關(guān)系。在其應(yīng)用過程中，首先要建立回歸方程模型，然后利用最小二乘法等對變量系數(shù)進(jìn)行估計，再利用統(tǒng)計學(xué)知識分析變量間相關(guān)關(guān)系的顯著性，從而為企業(yè)財務(wù)決策提供支持。比如MM理論中提出，公司價值和公司資本結(jié)構(gòu)無關(guān)，但利用回歸分析法證實(shí)，公司價值與公司資本結(jié)構(gòu)之間存在某種二次函數(shù)關(guān)系。還有學(xué)者利用回歸分析方法證實(shí)企業(yè)績效和企業(yè)借貸成本也具有相關(guān)關(guān)系，企業(yè)績效越好，企業(yè)的借貸成本越低。這些回歸分析結(jié)果對于企業(yè)財務(wù)管理具有重要的參考價值。在會計專業(yè)教學(xué)過程中，可以利用Stata軟件快速完成數(shù)據(jù)回歸分析工作，通過“reg/*reg”指令輸入因變量、自變量和控制變量，由軟件直接給出回歸分析結(jié)果，從而提高會計專業(yè)工作效率[2]。2.盈余管理的重要性。盈余管理也是企業(yè)財務(wù)管理中的重要工作，但盈余管理容易成為公司管理層的自利工具，需要對企業(yè)盈余管理程度進(jìn)行有效識別，這對于投資者、監(jiān)管部門具有重要意義。在度量盈余管理的過程中，通常采用改進(jìn)的Jones模型，按行業(yè)同年度回歸分析，得出模型殘差，反映公司盈余管理水平。如果殘差為正值，說明公司采取的是正向盈余管理措施，可能調(diào)高公司業(yè)績。相反則代表公司采取負(fù)向盈余管理措施，可能調(diào)低公司業(yè)績。在會計專業(yè)教學(xué)過程中，同樣需要引導(dǎo)學(xué)生掌握利用軟件實(shí)現(xiàn)盈余管理的能力。在Stata軟件中，盈余管理殘差計算是通過循環(huán)命令實(shí)現(xiàn)的，分別進(jìn)行年度循環(huán)和行業(yè)循環(huán)，然后在statsby命令下進(jìn)行分類變量循環(huán)，最終計算出相應(yīng)的殘差，通過該數(shù)據(jù)反映公司盈余管理水平，幫助投資者了解公司實(shí)際經(jīng)營狀況。3.事件分析的重要性。會計專業(yè)教學(xué)中的數(shù)據(jù)分析也包含事件分析研究，根據(jù)市場效率假說，所有股票漲跌的影響因素都能夠即時反應(yīng)在股票變化趨勢上。Fama在此基礎(chǔ)上提出弱勢效率、強(qiáng)勢效率和半強(qiáng)勢效率的市場概念，可以通過開展相關(guān)事件數(shù)據(jù)分析工作，判斷股票變化趨勢。目前事件分析研究已經(jīng)成為檢驗市場有效性的重要工具。在其應(yīng)用過程中，主要是通過檢驗?zāi)硞€事件發(fā)生后的股票價格變化，得到異常報酬率，判斷該事件的信息含量。采用這種數(shù)據(jù)分析方法，可以幫助投資者正確認(rèn)識事件的影響，包括公司并購行為、回購行為、定向增發(fā)股票和訴訟行為等。

摘要：大數(shù)據(jù)時代，數(shù)據(jù)分析各環(huán)節(jié)的變化對統(tǒng)計學(xué)專業(yè)人才培養(yǎng)模式的變革起到了催化作用.數(shù)據(jù)挖掘作為拓展和提升大數(shù)據(jù)分析方法與思路的應(yīng)用型課程，被廣泛納入統(tǒng)計學(xué)本科專業(yè)人才培養(yǎng)方案.本文對大數(shù)據(jù)時代數(shù)據(jù)分析師的職業(yè)需求進(jìn)行了調(diào)研，在此基礎(chǔ)上提出了基于R語言的項目式數(shù)據(jù)挖掘?qū)嶒灲虒W(xué)模式.教學(xué)實(shí)踐結(jié)果表明，通過項目式學(xué)習(xí)，可以讓學(xué)生在掌握理論知識的基礎(chǔ)上，進(jìn)一步提升分析問題和解決實(shí)際問題的能力，進(jìn)一步適應(yīng)大數(shù)據(jù)時代數(shù)據(jù)分析師的職業(yè)要求.

關(guān)鍵詞：統(tǒng)計學(xué)；數(shù)據(jù)挖掘；實(shí)驗教學(xué)；數(shù)據(jù)分析師；項目式學(xué)習(xí)

1引言

2016年美國統(tǒng)計協(xié)會(AmericanStatisticalAsociation)對統(tǒng)計學(xué)的內(nèi)涵給出一個較為簡潔的說明，將統(tǒng)計學(xué)定義為：“thescienceoflearningfromdata”，即從數(shù)據(jù)中學(xué)習(xí)的科學(xué)[1].該定義實(shí)際上與數(shù)據(jù)科學(xué)（DataScience）的內(nèi)涵如出一轍.筆者以為ASA之所以對統(tǒng)計學(xué)做出這樣的內(nèi)涵解釋，實(shí)際上表明在大數(shù)據(jù)浪潮中，統(tǒng)計學(xué)正走在變革的道路上.大數(shù)據(jù)時代，數(shù)據(jù)的產(chǎn)生、收集、分析與應(yīng)用等環(huán)節(jié)都發(fā)生著深刻的變化.互聯(lián)網(wǎng)技術(shù)的高速發(fā)展使每個人成為數(shù)據(jù)的生產(chǎn)者，數(shù)據(jù)生產(chǎn)已經(jīng)突破了時間、地點(diǎn)的限制，數(shù)據(jù)量也由抽樣數(shù)據(jù)向大數(shù)據(jù)轉(zhuǎn)化；數(shù)據(jù)的存儲類型由紙和筆記載的關(guān)系型結(jié)構(gòu)化數(shù)據(jù)向半結(jié)構(gòu)、非結(jié)構(gòu)和異構(gòu)的網(wǎng)絡(luò)數(shù)據(jù)類型轉(zhuǎn)化；數(shù)據(jù)的采集由根據(jù)統(tǒng)計分析目的的調(diào)查式收集向基于大數(shù)據(jù)技術(shù)的自動化采集方法轉(zhuǎn)化；數(shù)據(jù)的分析由傳統(tǒng)的驗證型分析方法向探索型分析方法轉(zhuǎn)化；數(shù)據(jù)的應(yīng)用由輔助管理決策向引導(dǎo)變革轉(zhuǎn)化.以上變化正在重塑數(shù)據(jù)分析流程，而數(shù)據(jù)分析模式的變革必然引起教育模式的改革.事實(shí)上，在大數(shù)據(jù)洪流的沖擊下，統(tǒng)計學(xué)專業(yè)的人才培養(yǎng)模式已經(jīng)悄然發(fā)生變化.當(dāng)前，統(tǒng)計學(xué)專業(yè)融合大數(shù)據(jù)、計算機(jī)、人工智能等相關(guān)學(xué)科知識，引導(dǎo)學(xué)生認(rèn)識和掌握數(shù)據(jù)處理的新技術(shù)，推動交叉學(xué)科應(yīng)用型人才的培養(yǎng)，已經(jīng)成為共識.其中，在統(tǒng)計學(xué)專業(yè)課程體系中引入數(shù)據(jù)挖掘課程就是典型的代表.數(shù)據(jù)挖掘技術(shù)在一定程度上彌補(bǔ)了傳統(tǒng)統(tǒng)計分析方法的不足，可以進(jìn)一步增強(qiáng)學(xué)生探索性數(shù)據(jù)分析的能力，更加適應(yīng)大數(shù)據(jù)時代的需求.與統(tǒng)計學(xué)強(qiáng)調(diào)推斷理論和方法不同，數(shù)據(jù)挖掘強(qiáng)調(diào)經(jīng)驗，著重于從數(shù)據(jù)中挖掘有用的模式和價值，只要能夠有效地解決問題，方法和模型本身并不重要.因而，筆者認(rèn)為數(shù)據(jù)挖掘課程能夠拓展統(tǒng)計學(xué)專業(yè)學(xué)生數(shù)據(jù)分析的思路和方法，進(jìn)一步加深對數(shù)據(jù)分析內(nèi)涵的理解.由此，本文致力于探索大數(shù)據(jù)背景下統(tǒng)計學(xué)專業(yè)數(shù)據(jù)挖掘?qū)嶒炚n程教學(xué)模式，以提升統(tǒng)計學(xué)人才實(shí)踐應(yīng)用能力，使其不斷適應(yīng)大數(shù)據(jù)分析的需求.

2大數(shù)據(jù)時代市場對應(yīng)用型統(tǒng)計人才的新需求

數(shù)據(jù)分析師是統(tǒng)計學(xué)專業(yè)大學(xué)生畢業(yè)后的主要職業(yè)選擇之一.數(shù)據(jù)分析師是指在不同行業(yè)中，專門從事數(shù)據(jù)搜集、整理、分析，并依據(jù)數(shù)據(jù)做出行業(yè)或市場研究、評估和預(yù)測的專業(yè)人員；是以實(shí)際數(shù)據(jù)為依據(jù)，對項目現(xiàn)狀及遠(yuǎn)期進(jìn)行統(tǒng)計、分析、預(yù)測并轉(zhuǎn)化為決策信息的專業(yè)人才[2].為了客觀分析大數(shù)據(jù)時代應(yīng)用型統(tǒng)計人才需具備的知識、能力和技術(shù)，本文通過智聯(lián)招聘網(wǎng)對企業(yè)公布的數(shù)據(jù)分析師職位招聘信息進(jìn)行了調(diào)研，這些招聘信息都是面向應(yīng)屆本科畢業(yè)生的，具有較強(qiáng)的針對性，調(diào)研時間為2018年8月3日.本文調(diào)研了七家上市公司[3]，有國企事業(yè)單位、互聯(lián)網(wǎng)公司、金融公司、網(wǎng)絡(luò)游戲公司、網(wǎng)絡(luò)媒體公司等，各公司對數(shù)據(jù)分析師的崗位職責(zé)、知識要求、能力要求和技術(shù)要求見表1所示.從數(shù)據(jù)分析師的崗位職責(zé)來看，不同類型的企業(yè)雖然具體要求不同，但是核心職責(zé)是相同的，主要有三個方面：負(fù)責(zé)業(yè)務(wù)部門的數(shù)據(jù)需求分析，也就是通過調(diào)研了解業(yè)務(wù)部門的需求，確定數(shù)據(jù)分析對象和目的；構(gòu)建業(yè)務(wù)數(shù)據(jù)分析指標(biāo)體系，即如何開展數(shù)據(jù)分析工作，確定數(shù)據(jù)采集、處理和分析及結(jié)果解讀等環(huán)節(jié)的指標(biāo)、方法、模型及數(shù)據(jù)分析工具等；為業(yè)務(wù)部門提供數(shù)據(jù)決策支持，包括撰寫調(diào)研報告、數(shù)據(jù)分析報告及設(shè)計數(shù)據(jù)產(chǎn)品和開發(fā)數(shù)據(jù)分析工具等等.從崗位職責(zé)的核心要素來看，數(shù)據(jù)分析師是非常契合統(tǒng)計學(xué)專業(yè)的人才培養(yǎng)目標(biāo)的，從調(diào)研到設(shè)計到分析到結(jié)果解讀，是數(shù)據(jù)分析的一個完整流程.但是，也可以看出很多企業(yè)在數(shù)據(jù)分析中特別強(qiáng)調(diào)了數(shù)據(jù)挖掘方法，如北京計算機(jī)技術(shù)及應(yīng)用研究所強(qiáng)調(diào)用戶行為挖掘和個性化推薦、金融界強(qiáng)調(diào)用戶行為數(shù)據(jù)和網(wǎng)絡(luò)日志數(shù)據(jù)挖掘，而這些都不是傳統(tǒng)統(tǒng)計學(xué)分析方法的范疇.從知識要求來看，大部分企業(yè)都要求數(shù)據(jù)分析師具有統(tǒng)計學(xué)專業(yè)背景，但互聯(lián)網(wǎng)公司特別強(qiáng)調(diào)統(tǒng)計學(xué)、數(shù)學(xué)和計算機(jī)的交叉和融合.實(shí)際上，數(shù)據(jù)分析師作為復(fù)合型人才，除了掌握必要的統(tǒng)計分析理論和方法外，數(shù)學(xué)建模和編程能力都是必不可少的.從能力要求來看，較強(qiáng)的數(shù)據(jù)敏感度和清晰的邏輯思維能力是核心要素.其次，從業(yè)務(wù)來看，數(shù)據(jù)分析師需要同不同的部門打交道，溝通協(xié)調(diào)能力和團(tuán)隊協(xié)作能力也是必不可少的.從技術(shù)要求來看，大部分企業(yè)都要求數(shù)據(jù)分析師至少要掌握一種統(tǒng)計分析軟件，如SPSS或MATLAB；至少要熟悉一種編程語言，如Python或R；至少要掌握一種數(shù)據(jù)庫技術(shù)，如MySql/Oracle/SQLServer等，最簡單的是excel.在高校及商業(yè)統(tǒng)計分析領(lǐng)域，R語言是當(dāng)前最受歡迎的統(tǒng)計編程語言之一.綜合以上分析可以得出，統(tǒng)計學(xué)專業(yè)的學(xué)生要想成為出色的數(shù)據(jù)分析師，除了具備堅實(shí)的統(tǒng)計學(xué)理論和方法外，還需要具備良好的計算機(jī)能力，如數(shù)據(jù)庫技術(shù)和編程能力.更重要的是，數(shù)據(jù)挖掘方法與技術(shù)作為大數(shù)據(jù)技術(shù)的基礎(chǔ)已經(jīng)成為數(shù)據(jù)分析師必備的技能，也是企業(yè)招聘時重點(diǎn)關(guān)注的技術(shù).

1安全大數(shù)據(jù)分析

大數(shù)據(jù)分析技術(shù)給信息安全領(lǐng)域帶來了全新的解決方案，但是如同其它領(lǐng)域一樣，大數(shù)據(jù)的功效并非簡單地采集數(shù)據(jù)，而是需要資源的投入，系統(tǒng)的建設(shè)，科學(xué)的分析。Gartner在2013年的報告中指出，大數(shù)據(jù)技術(shù)作為未來信息架構(gòu)發(fā)展的十大趨勢之首，具有數(shù)據(jù)量大、種類繁多、速度快、價值密度低等特點(diǎn)。將大數(shù)據(jù)技術(shù)應(yīng)用與信息安全領(lǐng)域可實(shí)現(xiàn)容量大、成本低、效率高的安全分析能力。

1.1信息安全分析引入大數(shù)據(jù)的必要性

大數(shù)據(jù)具有“4V”的特點(diǎn)：Volume、Variety、Velocity和Value，可實(shí)現(xiàn)大容量、低成本、高效率的信息安全分析能力，能夠滿足安全數(shù)據(jù)的處理和分析要求，將大數(shù)據(jù)應(yīng)用于信息安全領(lǐng)域能夠有效的識別各種攻擊行為或安全事件，具有重大的研究意義和實(shí)用價值。隨著企業(yè)規(guī)模的增大和安全設(shè)備的增加，信息安全分析的數(shù)據(jù)量呈指數(shù)級增長。數(shù)據(jù)源豐富、數(shù)據(jù)種類多、數(shù)據(jù)分析維度廣；同時，數(shù)據(jù)生成的速度更快，對信息安全分析應(yīng)答能力要求也相應(yīng)增長。傳統(tǒng)信息安全分析主要基于流量和日志兩大類數(shù)據(jù)，并與資產(chǎn)、業(yè)務(wù)行為、外部情報等進(jìn)行關(guān)聯(lián)分析?；诹髁康陌踩治鰬?yīng)用主要包括惡意代碼檢測、僵木蠕檢測、異常流量、Web安全分析等；基于日志的安全分析應(yīng)用主要包括安全審計、主機(jī)入侵檢測等。將大數(shù)據(jù)分析技術(shù)引入到信息安全分析中，就是將分散的安全數(shù)據(jù)整合起來，通過高效的采集、存儲、檢索和分析，利用多階段、多層面的關(guān)聯(lián)分析以及異常行為分類預(yù)測模型，有效的發(fā)現(xiàn)APT攻擊、數(shù)據(jù)泄露、DDoS攻擊、騷擾詐騙、垃圾信息等，提升安全防御的主動性。而且，大數(shù)據(jù)分析涉及的數(shù)據(jù)更加全面，主要包括應(yīng)用場景自身產(chǎn)生的數(shù)據(jù)、通過某種活動或內(nèi)容“創(chuàng)建”出來的數(shù)據(jù)、相關(guān)背景數(shù)據(jù)及上下文關(guān)聯(lián)數(shù)據(jù)等。如何高效合理的處理和分析這些數(shù)據(jù)是安全大數(shù)據(jù)技術(shù)應(yīng)當(dāng)研究的問題。

1.2安全大數(shù)據(jù)分析方法

安全大數(shù)據(jù)分析的核心思想是基于網(wǎng)絡(luò)異常行為分析，通過對海量數(shù)據(jù)處理及學(xué)習(xí)建模，從海量數(shù)據(jù)中找出異常行為和相關(guān)特征；針對不同安全場景設(shè)計針對性的關(guān)聯(lián)分析方法，發(fā)揮大數(shù)據(jù)存儲和分析的優(yōu)勢，從豐富的數(shù)據(jù)源中進(jìn)行深度挖掘，進(jìn)而挖掘出安全問題。安全大數(shù)據(jù)分析主要包括安全數(shù)據(jù)采集、存儲、檢索和安全數(shù)據(jù)的智能分析。（1）安全數(shù)據(jù)采集、存儲和檢索：基于大數(shù)據(jù)采集、存儲、檢索等技術(shù)，可以從根本上提升安全數(shù)據(jù)分析的效率。采集多種類型的數(shù)據(jù)，如業(yè)務(wù)數(shù)據(jù)、流量數(shù)據(jù)、安全設(shè)備日志數(shù)據(jù)及輿情數(shù)據(jù)等。針對不同的數(shù)據(jù)采用特定的采集方式，提升采集效率。針對日志信息可采用Chukwa、Flume、Scribe等工具；針對流量數(shù)據(jù)可采用流量景象方法，并使用Storm和Spark技術(shù)對數(shù)據(jù)進(jìn)行存儲和分析；針對格式固定的業(yè)務(wù)數(shù)據(jù)，可使用HBase、GBase等列式存儲機(jī)制，通過MapReduce和Hive等分析方法，可以實(shí)時的對數(shù)據(jù)進(jìn)行檢索，大大提升數(shù)據(jù)處理效率。（2）安全數(shù)據(jù)的智能分析：并行存儲和NoSQL數(shù)據(jù)庫提升了數(shù)據(jù)分析和查詢的效率，從海量數(shù)據(jù)中精確地挖掘安全問題還需要智能化的分析工具，主要包括ETL（如預(yù)處理）、統(tǒng)計建模工具（如回歸分析、時間序列預(yù)測、多元統(tǒng)計分析理論）、機(jī)器學(xué)習(xí)工具（如貝葉斯網(wǎng)絡(luò)、邏輯回歸、決策樹、隨機(jī)森利）、社交網(wǎng)絡(luò)工具（如關(guān)聯(lián)分析、隱馬爾可夫模型、條件隨機(jī)場）等。常用的大數(shù)據(jù)分析思路有先驗分析方法、分類預(yù)測分析方法、概率圖模型、關(guān)聯(lián)分析方法等?？墒褂肕ahout和MLlib等分析工具對數(shù)據(jù)進(jìn)行挖掘分析。綜上，一個完備的安全大數(shù)據(jù)分析平臺應(yīng)自下而上分為數(shù)據(jù)采集層、大數(shù)據(jù)存儲層、數(shù)據(jù)挖掘分析層、可視化展示層。主要通過數(shù)據(jù)流、日志、業(yè)務(wù)數(shù)據(jù)、情報信息等多源異構(gòu)數(shù)據(jù)進(jìn)行分布式融合分析，針對不同場景搭建分析模型，最終實(shí)現(xiàn)信息安全的可管可控，展現(xiàn)整體安全態(tài)勢。

1大數(shù)據(jù)處理流程

基本的大數(shù)據(jù)的處理流程可以分成數(shù)據(jù)采集、數(shù)據(jù)處理與集成、數(shù)據(jù)分析和數(shù)據(jù)解釋4個階段。首先獲取數(shù)據(jù)源的數(shù)據(jù)，因為在數(shù)據(jù)源端的數(shù)據(jù)包含各種各樣的結(jié)構(gòu)，需要使用某種方法將其進(jìn)行預(yù)處理，使數(shù)據(jù)成為某種可以用一種算法分析的統(tǒng)一數(shù)據(jù)格式，接著需要找到這種數(shù)據(jù)分析的算法，將預(yù)處理過的數(shù)據(jù)進(jìn)行算法特定的分析，并將分析的結(jié)果用可視化等手段呈現(xiàn)至用戶端。

1.1數(shù)據(jù)采集

大數(shù)據(jù)的采集是整個流程的基礎(chǔ)，隨著互聯(lián)網(wǎng)技術(shù)和應(yīng)用的發(fā)展以及各種終端設(shè)備的普及，使得數(shù)據(jù)的生產(chǎn)者范圍越來越大，數(shù)據(jù)的產(chǎn)量也越來越多，數(shù)據(jù)之間的關(guān)聯(lián)也越來越復(fù)雜，這也是大數(shù)據(jù)中“大”的體現(xiàn)，所以需要提高數(shù)據(jù)采集速度和精度要求。

1.2數(shù)據(jù)處理與集成

數(shù)據(jù)的處理與集成主要是對前一步采集到的大量數(shù)據(jù)進(jìn)行適當(dāng)?shù)念A(yù)處理，包括格式化、去噪以及進(jìn)一步集成存儲。因為數(shù)據(jù)采集步驟采集到的數(shù)據(jù)各種各樣，其數(shù)據(jù)結(jié)構(gòu)也并不統(tǒng)一，不利于之后的數(shù)據(jù)分析，而且，一些數(shù)據(jù)屬于無效數(shù)據(jù)，需要去除，否則會影響數(shù)據(jù)分析的精度和可靠性，所以，需要將數(shù)據(jù)統(tǒng)一格式并且去除無效數(shù)據(jù)。通常會設(shè)計一些過濾器來完成這一任務(wù)。