導(dǎo)語：大數(shù)據(jù)時資統(tǒng)計數(shù)據(jù)處理探究一文來源于網(wǎng)友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

【摘要】當(dāng)前隨著國際競爭日益激烈，新形勢下各行各業(yè)發(fā)展都面臨著諸多的挑戰(zhàn)，市場環(huán)境具有不可預(yù)測性，統(tǒng)計數(shù)據(jù)信息變得更加重要。大數(shù)據(jù)時代的到來為統(tǒng)計工作提供了強大的技術(shù)支持，與此同時數(shù)據(jù)更新速度不斷加快，數(shù)據(jù)類型日益多樣化，處理難度也越來越大，增加了統(tǒng)計工作難度。本文著重研究了投資統(tǒng)計大數(shù)據(jù)相關(guān)的處理關(guān)鍵技術(shù)，以供參考。

【關(guān)鍵詞】投資統(tǒng)計;大數(shù)據(jù);處理;關(guān)鍵技術(shù);分析

大數(shù)據(jù)時代背景下，促使信息生成、傳播效率不斷提升，越來越多的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的出現(xiàn)，增加了統(tǒng)計工作難度。統(tǒng)計數(shù)據(jù)在投資領(lǐng)域具有重要的參考價值，如果不能保證統(tǒng)計數(shù)據(jù)的權(quán)威性，統(tǒng)計信息不對稱，將會影響投資決策的成敗。加強投資統(tǒng)計大數(shù)據(jù)處理關(guān)鍵技術(shù)分析，有助于積累更多的統(tǒng)計數(shù)據(jù)處理經(jīng)驗，從而引導(dǎo)相關(guān)行業(yè)領(lǐng)域的人士提高投資決策的科學(xué)性，獲得更大的收益。

一、加強投資統(tǒng)計大數(shù)據(jù)關(guān)鍵處理技術(shù)研究的重要意義

大數(shù)據(jù)時代背景下數(shù)據(jù)類型日益多元化，數(shù)據(jù)具有應(yīng)用價值大、數(shù)量多、速度更新快的特點，這對于投資統(tǒng)計數(shù)據(jù)處理技術(shù)也提出了新的挑戰(zhàn)。投資統(tǒng)計是指搜集、整理、分析和應(yīng)用的數(shù)據(jù)，目前國家金融體制改革進程有序推進，為了更好地提高投資統(tǒng)計的科學(xué)性和準確性，就需要結(jié)合實際形勢，深入研究投資統(tǒng)計大數(shù)據(jù)關(guān)鍵處理技術(shù)，這樣才能對海量的數(shù)據(jù)進行實時動態(tài)多元化處理，全面有效分析統(tǒng)計數(shù)據(jù)背后的規(guī)律，提高投資統(tǒng)計數(shù)據(jù)處理水平，進而為國家有關(guān)部門和行業(yè)決策提供基本參考支持，也有助于推動國家整體金融市場良性有序發(fā)展。

二、投資統(tǒng)計大數(shù)據(jù)基本特征分析

在投資系統(tǒng)中數(shù)據(jù)通?？梢苑殖扇N類型，主要涉及項目投資管理數(shù)據(jù)、聯(lián)網(wǎng)直報房地產(chǎn)投資數(shù)據(jù)、規(guī)下投資抽樣數(shù)據(jù)。此外還可以根據(jù)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)將投資系統(tǒng)數(shù)據(jù)分成結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)兩大類型，前者主要是通過統(tǒng)計系統(tǒng)企業(yè)的原始數(shù)據(jù)應(yīng)用二維表形式展現(xiàn)的數(shù)據(jù)，后者主要是指不能以二維表形式來展現(xiàn)的數(shù)據(jù)，其中包含文本、音頻、視頻、圖片等多種類型的數(shù)據(jù)樣式。投資統(tǒng)計大數(shù)據(jù)可以借助遙感技術(shù)、地理信息系統(tǒng)技術(shù)等進行動態(tài)監(jiān)測，實時掌握相關(guān)的數(shù)據(jù)，進而與投資統(tǒng)計業(yè)務(wù)進行關(guān)聯(lián)性研究。一方面既要對投資統(tǒng)計系統(tǒng)運行情況進行定位，每月定期生成相關(guān)的投資統(tǒng)計數(shù)據(jù)，另一方面又要借助PDA設(shè)備等及時搜集對投資統(tǒng)計項目樣本點的變動情況進行動態(tài)采集，此外還要對投資統(tǒng)計系統(tǒng)運行中的與重大項目投資進度相關(guān)的以及與住建、發(fā)改、稅務(wù)、工商等相關(guān)部門相關(guān)聯(lián)的數(shù)據(jù)進行共享分析和比對，進而提高投資統(tǒng)計數(shù)據(jù)綜合管理效能。投資統(tǒng)計大數(shù)據(jù)具有典型的獨特的特征，主要體現(xiàn)在以下幾個方面:1．?dāng)?shù)據(jù)量日益龐大。大數(shù)據(jù)時代的到來信息的生成、變化速度越來越快，投資統(tǒng)計數(shù)據(jù)逐漸從TB級升級到PB級。2．?dāng)?shù)據(jù)類型日益多樣化。目前各級有關(guān)部門對投資統(tǒng)計數(shù)據(jù)的關(guān)注度越來越高，需求越來越準，所以需要對統(tǒng)計數(shù)據(jù)進行全方位的分析和研究，才能更好地滿足現(xiàn)實要求，提高投資數(shù)據(jù)綜合利用價值。3．投資統(tǒng)計數(shù)據(jù)利用度不高。投資統(tǒng)計數(shù)據(jù)的采集是一個動態(tài)的過程，收集的數(shù)據(jù)量非常大，通過運用相關(guān)的監(jiān)測技術(shù)可以對重大投資項目過程相關(guān)的數(shù)據(jù)進行監(jiān)測，雖然數(shù)據(jù)收集的很多，但是很多數(shù)據(jù)往往都屬于正常范圍，只有少量的有用的數(shù)據(jù)出現(xiàn)異常，這些對于投資項目影響較大，所以需要對這些數(shù)據(jù)進行進一步的精細化處理，檢驗數(shù)據(jù)是否正確、真實和有效，所以可利用的具有價值的數(shù)據(jù)往往所占的比重較小。4．投資統(tǒng)計數(shù)據(jù)處理效率要求不斷提高。新時期投資統(tǒng)計數(shù)據(jù)變化越來越快，所以對數(shù)據(jù)投資的速度要求也越來越高，需要借助新型計算機、云技術(shù)等在短時間內(nèi)快速完成數(shù)據(jù)處理和分析，才能更好地體現(xiàn)投資統(tǒng)計數(shù)據(jù)的價值，更好地發(fā)揮應(yīng)有的功能。

三、投資統(tǒng)計大數(shù)據(jù)處理關(guān)鍵技術(shù)具體分析

投資統(tǒng)計大數(shù)據(jù)處理，需要加強技術(shù)攻關(guān)，從數(shù)據(jù)采集、傳輸、存儲到處理分析等各個環(huán)節(jié)都需要應(yīng)有很多的技術(shù)和方法，才能確保環(huán)環(huán)相扣，不斷提高投資統(tǒng)計效率和質(zhì)量，具體每個環(huán)節(jié)涉及到的關(guān)鍵技術(shù)主要有:1．大數(shù)據(jù)采集技術(shù)。數(shù)據(jù)采集是投資統(tǒng)計管理體系中最基礎(chǔ)的部分和單元，通過借助相關(guān)的技術(shù)對各類數(shù)據(jù)端口進行采集，才能確保數(shù)據(jù)的完整性。大數(shù)據(jù)的采集通常會涉及到很多數(shù)據(jù)庫同時接收相關(guān)的數(shù)據(jù)，采集的難點在于數(shù)據(jù)并發(fā)高，同時會有大量的數(shù)據(jù)訪問和操作，所以需要在數(shù)據(jù)采集端口有完善的采集技術(shù)來進行支持，才能承載數(shù)據(jù)運載負荷，保證數(shù)據(jù)盡可能全面有效地采集，采集技術(shù)目前主要是借助Google文件系統(tǒng)GFS技術(shù)，對空間范圍內(nèi)的各類數(shù)據(jù)進行收集、整理，動態(tài)監(jiān)控數(shù)據(jù)的變化情況，并可以實現(xiàn)在橫向和縱向領(lǐng)域內(nèi)的動態(tài)管控。目前在投資統(tǒng)計大數(shù)據(jù)采集階段，需要不斷加強技術(shù)攻關(guān)，未來信息的重要性更加凸顯，只有不斷提高數(shù)據(jù)采集能力，才能最大限度地發(fā)揮統(tǒng)計數(shù)據(jù)應(yīng)有的參考價值，從源頭上第一時間掌握相關(guān)的數(shù)據(jù)資源，提高最大化開發(fā)利用效能。2．大數(shù)據(jù)傳輸、存儲技術(shù)。目前投資統(tǒng)計系統(tǒng)應(yīng)用的數(shù)據(jù)聯(lián)網(wǎng)直報系統(tǒng)，通過構(gòu)建統(tǒng)一規(guī)范的數(shù)據(jù)聯(lián)網(wǎng)直報平臺，進而實現(xiàn)數(shù)據(jù)的動態(tài)傳輸和存儲，確保各類原始數(shù)據(jù)能夠及時生成并傳送至相應(yīng)平臺進行共享。隨著投資統(tǒng)計數(shù)據(jù)量不斷擴大，需要對數(shù)據(jù)存儲和傳輸系統(tǒng)進行不斷升級，否則會帶來一些隱患，降低處理效率，這就應(yīng)用到大數(shù)據(jù)傳輸與存儲技術(shù)，通常的處理手段是進行數(shù)據(jù)壓縮，從而降低數(shù)據(jù)存儲空間，實現(xiàn)數(shù)據(jù)的快速傳輸。需要借助投資統(tǒng)計數(shù)據(jù)傳輸處理技術(shù)，構(gòu)建批量處理模型，解決系統(tǒng)資源占用空間較大、資源不能有效利用的問題，目前常用的處理技術(shù)是MapReduce批處理模型，可以實現(xiàn)在常規(guī)計算機平臺上的聯(lián)機處置，還可以進行輸入數(shù)據(jù)分割，進而實現(xiàn)計算機集群的統(tǒng)一調(diào)度，確保各個數(shù)據(jù)處理端口能夠保持聯(lián)通。數(shù)據(jù)從采集到傳輸，再到存儲，同樣需要依靠相應(yīng)的關(guān)鍵技術(shù)來進行保存處理，目前比較普遍的存儲方式是分布式保存方式，這種保存方式比較可靠、安全，但是也會帶來一系列的問題，比如有些數(shù)據(jù)時刻在發(fā)生變化，時刻都在不斷產(chǎn)生，這對于數(shù)據(jù)存儲來說增加了難度，需要有相應(yīng)的技術(shù)對不同端口接收來的數(shù)據(jù)進行處理，尤其是對于那些非結(jié)構(gòu)化數(shù)據(jù)，處理難度較大，占用時間長，需要進行快速分類和集約化處理并建立實施分類存儲機制，所以需要應(yīng)用到投資遙感監(jiān)測處理技術(shù)，針對容量較大的文件和容量較小的文件目前可以分別應(yīng)用GFS的分布式文件系統(tǒng)、Haystack系統(tǒng)來解決存儲問題。3．大數(shù)據(jù)實時處理技術(shù)。投資統(tǒng)計大數(shù)據(jù)，除了進行采集和存儲傳輸以外，還要進行實時動態(tài)處理，處理能力直接決定了數(shù)據(jù)的應(yīng)用價值。目前常用的實時處理技術(shù)是云計算系統(tǒng)，該系統(tǒng)可以滿足常規(guī)的投資統(tǒng)計處理服務(wù)，但是在聯(lián)網(wǎng)直報高峰期，系統(tǒng)也會出現(xiàn)處理差錯，降低處理效率和處理的準確性。由于投資統(tǒng)計數(shù)類型多樣，計算過程比較復(fù)雜，數(shù)據(jù)轉(zhuǎn)化等方面也存在一些銜接的問題，統(tǒng)計指標屬性不完整、數(shù)據(jù)錯誤異常等情況處理等過程，都影響數(shù)據(jù)分析，所以需要構(gòu)建更加開放的分布式處理系統(tǒng)，才能實現(xiàn)大規(guī)模處理，目前開發(fā)的Sector廣域網(wǎng)分布式系統(tǒng)，可以針對不同數(shù)據(jù)進行大規(guī)模集中處理、分割和轉(zhuǎn)交。4．大數(shù)據(jù)分析技術(shù)。在投資統(tǒng)計大數(shù)據(jù)處理分析方面，目前常用的技術(shù)是Bigtable分布式、按列存儲、多維表結(jié)構(gòu)的實時分布式數(shù)據(jù)庫，可以應(yīng)用SQL語言對數(shù)據(jù)進行集中分析處理，還可以引入LOD技術(shù)實現(xiàn)可視化分析，該技術(shù)與常規(guī)的數(shù)據(jù)處理技術(shù)不同，可以針對不同類型的大數(shù)據(jù)，構(gòu)建數(shù)據(jù)采集環(huán)境，通過構(gòu)建平值法、平滑法、預(yù)測法和頻率統(tǒng)計法等統(tǒng)計數(shù)據(jù)相關(guān)模型實現(xiàn)數(shù)據(jù)的深度對比分析。

總之，投資統(tǒng)計大數(shù)據(jù)處理關(guān)鍵技術(shù)，對投資統(tǒng)計工作起到了強有力的支撐作用，未來隨著投資環(huán)境更加復(fù)雜，投資統(tǒng)計數(shù)據(jù)處理技術(shù)也將進一步升級，為持續(xù)提升投資統(tǒng)計效能提供更大的支持。

【參考文獻】

［1］陳鵬，逯元堂，朱建華，張箏．中國現(xiàn)行環(huán)保投資統(tǒng)計口徑優(yōu)化研究［J］．生態(tài)經(jīng)濟，2017(07)

［2］廖加澤．投資統(tǒng)計大數(shù)據(jù)處理關(guān)鍵技術(shù)［J］．電子技術(shù)與軟件工程，2015(08)

［3］羅文晉．基于門限模型的量化投資統(tǒng)計套利策略研究［J］．廣東財經(jīng)大學(xué)，2016(11)

作者:林瑞振 單位:福建省泉州市泉港區(qū)統(tǒng)計局