導(dǎo)語：大數(shù)據(jù)技術(shù)中心建設(shè)規(guī)劃探討一文來源于網(wǎng)友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

[近幾年來互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)技術(shù)的發(fā)展非常迅速，整個社會生產(chǎn)生活中的數(shù)據(jù)規(guī)模在急劇的膨脹。針對海量的數(shù)據(jù)進行有效的采集、存儲、處理、分析已經(jīng)逐漸成為了當今信息社會發(fā)展的主要趨勢。大數(shù)據(jù)技術(shù)能夠?qū)崿F(xiàn)對海量數(shù)據(jù)全生命周期內(nèi)的存儲以及處理，因此必須要針對大數(shù)據(jù)的處理方法以及處理能力進行不斷的挖掘。但是建立基于大數(shù)據(jù)技術(shù)的新處理方法是一件非常復(fù)雜的事情。必須要建立起具有較強開放性并實現(xiàn)軟硬件有效結(jié)合的綜合性體系構(gòu)架。

1總體規(guī)劃

1.1設(shè)計原則。在實際建設(shè)大數(shù)據(jù)技術(shù)的云數(shù)據(jù)中心時，必須要摒棄傳統(tǒng)模式下，建設(shè)數(shù)據(jù)中心的弊端，要充分綜合整合化、標準化、模塊化、虛擬化、自動化以及面向服務(wù)的整體建設(shè)思路[1]。1.1.1需求導(dǎo)向原則。要充分結(jié)合信息發(fā)展的總體規(guī)劃來進行數(shù)據(jù)資源中心系統(tǒng)軟硬件支撐平臺的建設(shè)，鑒于此，就必須要對短時間內(nèi)需要完成的信息系統(tǒng)對軟硬件功能以及實際性能的需求進行充分綜合，以實際需求作為基本原則，并實現(xiàn)按照需求來進行整體分配，統(tǒng)一規(guī)劃。1.1.2整合共享原則。要針對傳統(tǒng)建設(shè)數(shù)據(jù)中心過程中存在的分散性、重復(fù)性建設(shè)問題進行有效改善，進一步提升數(shù)據(jù)資源的利用效率，這樣才能充分滿足當前信息資源整合不斷變化的需求，也能夠?qū)?shù)據(jù)信息管理的難度復(fù)雜程度降低到最低，也能夠?qū)崿F(xiàn)對IT總擁有成本的有效控制。1.1.3服務(wù)高效原則在實際針對數(shù)據(jù)資源中心軟硬件支撐平臺進行建設(shè)以及管理的過程中，其不同的生命周期階段實際服務(wù)的內(nèi)容具有較大差異性，必須要針對數(shù)據(jù)資源中心建立起統(tǒng)一的基礎(chǔ)設(shè)施運維管理體系，并實現(xiàn)對服務(wù)流程的進一步規(guī)范，對相關(guān)操作規(guī)程進行進一步明確，這樣才能有效提升服務(wù)效率。1.2總體構(gòu)架。充分結(jié)合云計算、大數(shù)據(jù)等先進技術(shù)來構(gòu)建起面向生產(chǎn)運行服務(wù)的數(shù)據(jù)中心系統(tǒng)以及數(shù)據(jù)平臺。其中要將基礎(chǔ)設(shè)施、數(shù)據(jù)資源、大數(shù)據(jù)、云計算平臺、業(yè)務(wù)應(yīng)用、安全防護等幾個部分包括在內(nèi)。大數(shù)據(jù)及云計算平臺的主要作用是將各個生產(chǎn)環(huán)節(jié)以及各項業(yè)務(wù)所輸出的數(shù)據(jù)進行采集和存儲。在此基礎(chǔ)上針對數(shù)據(jù)進行篩選、多維度分析處理，來完成整個原始數(shù)據(jù)的初步處理[2]。充分利用數(shù)據(jù)平臺的數(shù)據(jù)挖掘以及分析能力對采集數(shù)據(jù)進行深度挖掘，并將最終的分析結(jié)果利用數(shù)據(jù)分析門戶傳輸?shù)接脩艚K端實現(xiàn)應(yīng)用。整個數(shù)據(jù)中心能夠為用戶提供全方位的資源管理和監(jiān)控服務(wù)，而且能夠充分借助3D仿真以及2D拓撲等多種方式為用戶提供全方位的系統(tǒng)管理服務(wù)。通過安全防護功能能夠讓整個系統(tǒng)實現(xiàn)安全運行，與此同時，在數(shù)據(jù)中心建立的基礎(chǔ)上，能夠為用戶提供一個基于大數(shù)據(jù)以及云計算的運算、開發(fā)以及管理平臺。在此平臺基礎(chǔ)上，用戶就能夠從應(yīng)用與業(yè)務(wù)、系統(tǒng)與平臺、硬件與資源等多個方向?qū)崿F(xiàn)進一步拓展，這樣就能夠為用戶提供能夠?qū)崿F(xiàn)靈活配置的計算、網(wǎng)絡(luò)、存儲等資源服務(wù)。

2基礎(chǔ)設(shè)施

在未來的系統(tǒng)研發(fā)以及運行過程中基礎(chǔ)設(shè)施是非常重要的一個平臺，充分利用基礎(chǔ)設(shè)施能夠為系統(tǒng)研發(fā)提供平臺以及設(shè)備托管服務(wù)；而且也能夠為業(yè)務(wù)、系統(tǒng)的開發(fā)提供具備更高性能的計算、網(wǎng)絡(luò)以及存儲環(huán)境，這樣就能夠為后期進行大數(shù)據(jù)開發(fā)提供先進的技術(shù)支撐。整個數(shù)據(jù)中心可以嚴格的劃分為存儲區(qū)、計算區(qū)、網(wǎng)絡(luò)區(qū)等，在充分綜合演示匯報、系統(tǒng)運維以及安全系統(tǒng)等各項基本功能之外就能夠讓數(shù)據(jù)中心處理平臺更加完善。

3大數(shù)據(jù)平臺

大數(shù)據(jù)平臺的主要作用就是為用戶提供大數(shù)據(jù)的相關(guān)存儲管理以分析處理功能。不同類型的大數(shù)據(jù)在經(jīng)過數(shù)據(jù)信息交互服務(wù)之后進入到信息交換區(qū)中。信息交換區(qū)接受數(shù)據(jù)之后就可以將相關(guān)的數(shù)據(jù)進行采集，并將其推送到相關(guān)的業(yè)務(wù)系統(tǒng)中。3.1數(shù)據(jù)存儲分類。業(yè)務(wù)應(yīng)用大數(shù)據(jù)格式主要可以分為非結(jié)構(gòu)化以及結(jié)構(gòu)化兩種數(shù)據(jù)類型。其中非結(jié)構(gòu)化數(shù)據(jù)主要采取的是分布式存儲模式，針對其容錯存儲主要采取的是網(wǎng)絡(luò)編碼方式，這樣就能夠讓容錯存儲的代價得到最大程度控制；而結(jié)構(gòu)化數(shù)據(jù)再充分結(jié)合相關(guān)核心業(yè)務(wù)的數(shù)據(jù)庫實際業(yè)務(wù)需求基礎(chǔ)上實現(xiàn)了分類管理。針對后期階段研判以及在進行大數(shù)據(jù)分析和挖掘過程中實際需要的各項數(shù)據(jù)都是在分布式數(shù)據(jù)庫中進行存儲；而針對各項核心業(yè)務(wù)實際需求的數(shù)據(jù)主要是通過數(shù)據(jù)清晰轉(zhuǎn)換之后將其在相應(yīng)的業(yè)務(wù)數(shù)據(jù)庫中進行存儲。3.2部署方案。管理節(jié)點：針對安裝了集群的管理系統(tǒng)，可以為系統(tǒng)提供統(tǒng)一的入口，同時還要針對部署在集群中的所有節(jié)點以及相應(yīng)的服務(wù)進行集中的管理?？刂乒?jié)點：主要的作用是針對監(jiān)控數(shù)據(jù)的節(jié)點完成數(shù)據(jù)相關(guān)的存儲、接收、發(fā)送等相關(guān)的進程，并針對控制節(jié)點完成相應(yīng)的公共功能。數(shù)據(jù)節(jié)點：針對相應(yīng)的管理節(jié)點發(fā)出相應(yīng)指令，并將相關(guān)的任務(wù)狀態(tài)進行上報，對數(shù)據(jù)進行合理的存儲，針對數(shù)據(jù)節(jié)點相應(yīng)的公共功能進行嚴格執(zhí)行。33分布式并行處理。在分布式并行處理中主要包括了數(shù)據(jù)清洗標準化、數(shù)據(jù)關(guān)聯(lián)融合以及數(shù)據(jù)深度分析等多個模塊[3]。在實際針對不同模塊進行設(shè)計的過程中要充分結(jié)合實際業(yè)務(wù)動態(tài)變化的實際需求來具體定制相關(guān)的功能邏輯。分布式并行處理能夠為整個系統(tǒng)提供比較前沿的并行計算框架，而且也能夠很好的支持高性能的分析計算，而且也能夠在數(shù)據(jù)中心中部署計算量相對較大的相關(guān)任務(wù)，也能夠同時提供一些具備批量計算處理的框架、3.4內(nèi)存分析引擎。其能夠為充分利用內(nèi)存計算來提供一種高校的查詢引擎，但是基礎(chǔ)上就能夠?qū)崿F(xiàn)快速分析和查詢，在一些對實時性要求比較高的場合具有較強的適應(yīng)性。與此同時還能夠為系統(tǒng)提供SQL查詢接口，這樣充分利用SQL語句，就能夠?qū)崿F(xiàn)數(shù)據(jù)新建、數(shù)據(jù)插入、數(shù)據(jù)查詢以及數(shù)據(jù)刪除等相關(guān)操作。3.5組網(wǎng)方案。首先將整個網(wǎng)絡(luò)劃分為業(yè)務(wù)以及管理平面，針對這兩個不同的平面主要采取的是物理隔離的方式來進行部署，要充分保證業(yè)務(wù)、管理等兩個網(wǎng)絡(luò)的安全習(xí)慣。這對整個網(wǎng)絡(luò)的主要節(jié)點還要必須要設(shè)置能夠支持外部管理網(wǎng)絡(luò)的IP地址，這樣用戶就可以充分利用外部的管理網(wǎng)絡(luò)來實現(xiàn)對整個網(wǎng)絡(luò)的集群管理。組網(wǎng)設(shè)計如果采取的是平面組網(wǎng)方式的時候，整個集群中的每一個節(jié)點分別接入到管理以及業(yè)務(wù)平面中，還要這對每一個節(jié)點有針對性的準備相應(yīng)的管理以及業(yè)務(wù)IP地址，針對每一個IP地址主要采用了2個網(wǎng)絡(luò)接口的配置Bond，并針對不同的IP地址還要接入相應(yīng)的交接機。3.6硬盤分區(qū)原則。如果實際建設(shè)的集群節(jié)點實際的規(guī)模相對比較達的時候，就很可能會是哦IO實際的負載高很逗，針對管理節(jié)點的元數(shù)據(jù)可以合理的采用的分盤模式。如果在元數(shù)據(jù)分區(qū)中實際部署多塊磁盤的時候，要優(yōu)先針對Zookeeper中所有的數(shù)據(jù)目錄專門的配置相應(yīng)的Zookeeper數(shù)據(jù)存在磁盤，或者還可以針對數(shù)據(jù)目錄配置相應(yīng)的ssd存儲。3.7實時流處理。在該模塊中主要包括了研判模型建立及數(shù)據(jù)分析。根據(jù)研判模型必須要充分保證其定義模型滿足相關(guān)的擴展性，而且也能夠針對后期新業(yè)務(wù)開展中實際研判需求進行動態(tài)擴展。與此同時還能夠支持針對數(shù)據(jù)的實時分析處理以及持久化處理。

4結(jié)語

目前我國正在不斷強化各個省市的大數(shù)據(jù)基地布局，而且大數(shù)據(jù)項目的建設(shè)也在不斷加速。而大數(shù)據(jù)產(chǎn)業(yè)的快速發(fā)展不僅需要基礎(chǔ)建設(shè)的支撐，與此同時還需要在人才、技術(shù)、標準的各個方面實現(xiàn)多方位支持。大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展目前還面臨著較大的挑戰(zhàn)。

【參考文獻】

[1]牛正光.大數(shù)據(jù)對政府治理現(xiàn)代化的影響研究[D].北京：中國農(nóng)業(yè)大學(xué),2017.

[2]趙一鵬.基于大數(shù)據(jù)技術(shù)的電力物資需求分析系統(tǒng)的設(shè)計與實現(xiàn)[D].北京：中國科學(xué)院大學(xué)(中國科學(xué)院沈陽計算技術(shù)研究所),2017.

[3]楊靖雯.大數(shù)據(jù)戰(zhàn)略下邊疆政府治理的技術(shù)變革研究[D].昆明：云南師范大學(xué),2017.

作者:許金元 單位:湖南機電職業(yè)技術(shù)學(xué)院