導(dǎo)語(yǔ)：大數(shù)據(jù)技術(shù)中心建設(shè)規(guī)劃探討一文來(lái)源于網(wǎng)友上傳，不代表本站觀點(diǎn)，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

[近幾年來(lái)互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)技術(shù)的發(fā)展非常迅速，整個(gè)社會(huì)生產(chǎn)生活中的數(shù)據(jù)規(guī)模在急劇的膨脹。針對(duì)海量的數(shù)據(jù)進(jìn)行有效的采集、存儲(chǔ)、處理、分析已經(jīng)逐漸成為了當(dāng)今信息社會(huì)發(fā)展的主要趨勢(shì)。大數(shù)據(jù)技術(shù)能夠?qū)崿F(xiàn)對(duì)海量數(shù)據(jù)全生命周期內(nèi)的存儲(chǔ)以及處理，因此必須要針對(duì)大數(shù)據(jù)的處理方法以及處理能力進(jìn)行不斷的挖掘。但是建立基于大數(shù)據(jù)技術(shù)的新處理方法是一件非常復(fù)雜的事情。必須要建立起具有較強(qiáng)開放性并實(shí)現(xiàn)軟硬件有效結(jié)合的綜合性體系構(gòu)架。

1總體規(guī)劃

1.1設(shè)計(jì)原則。在實(shí)際建設(shè)大數(shù)據(jù)技術(shù)的云數(shù)據(jù)中心時(shí)，必須要摒棄傳統(tǒng)模式下，建設(shè)數(shù)據(jù)中心的弊端，要充分綜合整合化、標(biāo)準(zhǔn)化、模塊化、虛擬化、自動(dòng)化以及面向服務(wù)的整體建設(shè)思路[1]。1.1.1需求導(dǎo)向原則。要充分結(jié)合信息發(fā)展的總體規(guī)劃來(lái)進(jìn)行數(shù)據(jù)資源中心系統(tǒng)軟硬件支撐平臺(tái)的建設(shè)，鑒于此，就必須要對(duì)短時(shí)間內(nèi)需要完成的信息系統(tǒng)對(duì)軟硬件功能以及實(shí)際性能的需求進(jìn)行充分綜合，以實(shí)際需求作為基本原則，并實(shí)現(xiàn)按照需求來(lái)進(jìn)行整體分配，統(tǒng)一規(guī)劃。1.1.2整合共享原則。要針對(duì)傳統(tǒng)建設(shè)數(shù)據(jù)中心過(guò)程中存在的分散性、重復(fù)性建設(shè)問(wèn)題進(jìn)行有效改善，進(jìn)一步提升數(shù)據(jù)資源的利用效率，這樣才能充分滿足當(dāng)前信息資源整合不斷變化的需求，也能夠?qū)?shù)據(jù)信息管理的難度復(fù)雜程度降低到最低，也能夠?qū)崿F(xiàn)對(duì)IT總擁有成本的有效控制。1.1.3服務(wù)高效原則在實(shí)際針對(duì)數(shù)據(jù)資源中心軟硬件支撐平臺(tái)進(jìn)行建設(shè)以及管理的過(guò)程中，其不同的生命周期階段實(shí)際服務(wù)的內(nèi)容具有較大差異性，必須要針對(duì)數(shù)據(jù)資源中心建立起統(tǒng)一的基礎(chǔ)設(shè)施運(yùn)維管理體系，并實(shí)現(xiàn)對(duì)服務(wù)流程的進(jìn)一步規(guī)范，對(duì)相關(guān)操作規(guī)程進(jìn)行進(jìn)一步明確，這樣才能有效提升服務(wù)效率。1.2總體構(gòu)架。充分結(jié)合云計(jì)算、大數(shù)據(jù)等先進(jìn)技術(shù)來(lái)構(gòu)建起面向生產(chǎn)運(yùn)行服務(wù)的數(shù)據(jù)中心系統(tǒng)以及數(shù)據(jù)平臺(tái)。其中要將基礎(chǔ)設(shè)施、數(shù)據(jù)資源、大數(shù)據(jù)、云計(jì)算平臺(tái)、業(yè)務(wù)應(yīng)用、安全防護(hù)等幾個(gè)部分包括在內(nèi)。大數(shù)據(jù)及云計(jì)算平臺(tái)的主要作用是將各個(gè)生產(chǎn)環(huán)節(jié)以及各項(xiàng)業(yè)務(wù)所輸出的數(shù)據(jù)進(jìn)行采集和存儲(chǔ)。在此基礎(chǔ)上針對(duì)數(shù)據(jù)進(jìn)行篩選、多維度分析處理，來(lái)完成整個(gè)原始數(shù)據(jù)的初步處理[2]。充分利用數(shù)據(jù)平臺(tái)的數(shù)據(jù)挖掘以及分析能力對(duì)采集數(shù)據(jù)進(jìn)行深度挖掘，并將最終的分析結(jié)果利用數(shù)據(jù)分析門戶傳輸?shù)接脩艚K端實(shí)現(xiàn)應(yīng)用。整個(gè)數(shù)據(jù)中心能夠?yàn)橛脩籼峁┤轿坏馁Y源管理和監(jiān)控服務(wù)，而且能夠充分借助3D仿真以及2D拓?fù)涞榷喾N方式為用戶提供全方位的系統(tǒng)管理服務(wù)。通過(guò)安全防護(hù)功能能夠讓整個(gè)系統(tǒng)實(shí)現(xiàn)安全運(yùn)行，與此同時(shí)，在數(shù)據(jù)中心建立的基礎(chǔ)上，能夠?yàn)橛脩籼峁┮粋€(gè)基于大數(shù)據(jù)以及云計(jì)算的運(yùn)算、開發(fā)以及管理平臺(tái)。在此平臺(tái)基礎(chǔ)上，用戶就能夠從應(yīng)用與業(yè)務(wù)、系統(tǒng)與平臺(tái)、硬件與資源等多個(gè)方向?qū)崿F(xiàn)進(jìn)一步拓展，這樣就能夠?yàn)橛脩籼峁┠軌驅(qū)崿F(xiàn)靈活配置的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)等資源服務(wù)。

2基礎(chǔ)設(shè)施

在未來(lái)的系統(tǒng)研發(fā)以及運(yùn)行過(guò)程中基礎(chǔ)設(shè)施是非常重要的一個(gè)平臺(tái)，充分利用基礎(chǔ)設(shè)施能夠?yàn)橄到y(tǒng)研發(fā)提供平臺(tái)以及設(shè)備托管服務(wù)；而且也能夠?yàn)闃I(yè)務(wù)、系統(tǒng)的開發(fā)提供具備更高性能的計(jì)算、網(wǎng)絡(luò)以及存儲(chǔ)環(huán)境，這樣就能夠?yàn)楹笃谶M(jìn)行大數(shù)據(jù)開發(fā)提供先進(jìn)的技術(shù)支撐。整個(gè)數(shù)據(jù)中心可以嚴(yán)格的劃分為存儲(chǔ)區(qū)、計(jì)算區(qū)、網(wǎng)絡(luò)區(qū)等，在充分綜合演示匯報(bào)、系統(tǒng)運(yùn)維以及安全系統(tǒng)等各項(xiàng)基本功能之外就能夠讓數(shù)據(jù)中心處理平臺(tái)更加完善。

3大數(shù)據(jù)平臺(tái)

大數(shù)據(jù)平臺(tái)的主要作用就是為用戶提供大數(shù)據(jù)的相關(guān)存儲(chǔ)管理以分析處理功能。不同類型的大數(shù)據(jù)在經(jīng)過(guò)數(shù)據(jù)信息交互服務(wù)之后進(jìn)入到信息交換區(qū)中。信息交換區(qū)接受數(shù)據(jù)之后就可以將相關(guān)的數(shù)據(jù)進(jìn)行采集，并將其推送到相關(guān)的業(yè)務(wù)系統(tǒng)中。3.1數(shù)據(jù)存儲(chǔ)分類。業(yè)務(wù)應(yīng)用大數(shù)據(jù)格式主要可以分為非結(jié)構(gòu)化以及結(jié)構(gòu)化兩種數(shù)據(jù)類型。其中非結(jié)構(gòu)化數(shù)據(jù)主要采取的是分布式存儲(chǔ)模式，針對(duì)其容錯(cuò)存儲(chǔ)主要采取的是網(wǎng)絡(luò)編碼方式，這樣就能夠讓容錯(cuò)存儲(chǔ)的代價(jià)得到最大程度控制；而結(jié)構(gòu)化數(shù)據(jù)再充分結(jié)合相關(guān)核心業(yè)務(wù)的數(shù)據(jù)庫(kù)實(shí)際業(yè)務(wù)需求基礎(chǔ)上實(shí)現(xiàn)了分類管理。針對(duì)后期階段研判以及在進(jìn)行大數(shù)據(jù)分析和挖掘過(guò)程中實(shí)際需要的各項(xiàng)數(shù)據(jù)都是在分布式數(shù)據(jù)庫(kù)中進(jìn)行存儲(chǔ)；而針對(duì)各項(xiàng)核心業(yè)務(wù)實(shí)際需求的數(shù)據(jù)主要是通過(guò)數(shù)據(jù)清晰轉(zhuǎn)換之后將其在相應(yīng)的業(yè)務(wù)數(shù)據(jù)庫(kù)中進(jìn)行存儲(chǔ)。3.2部署方案。管理節(jié)點(diǎn)：針對(duì)安裝了集群的管理系統(tǒng)，可以為系統(tǒng)提供統(tǒng)一的入口，同時(shí)還要針對(duì)部署在集群中的所有節(jié)點(diǎn)以及相應(yīng)的服務(wù)進(jìn)行集中的管理。控制節(jié)點(diǎn)：主要的作用是針對(duì)監(jiān)控?cái)?shù)據(jù)的節(jié)點(diǎn)完成數(shù)據(jù)相關(guān)的存儲(chǔ)、接收、發(fā)送等相關(guān)的進(jìn)程，并針對(duì)控制節(jié)點(diǎn)完成相應(yīng)的公共功能。數(shù)據(jù)節(jié)點(diǎn)：針對(duì)相應(yīng)的管理節(jié)點(diǎn)發(fā)出相應(yīng)指令，并將相關(guān)的任務(wù)狀態(tài)進(jìn)行上報(bào)，對(duì)數(shù)據(jù)進(jìn)行合理的存儲(chǔ)，針對(duì)數(shù)據(jù)節(jié)點(diǎn)相應(yīng)的公共功能進(jìn)行嚴(yán)格執(zhí)行。33分布式并行處理。在分布式并行處理中主要包括了數(shù)據(jù)清洗標(biāo)準(zhǔn)化、數(shù)據(jù)關(guān)聯(lián)融合以及數(shù)據(jù)深度分析等多個(gè)模塊[3]。在實(shí)際針對(duì)不同模塊進(jìn)行設(shè)計(jì)的過(guò)程中要充分結(jié)合實(shí)際業(yè)務(wù)動(dòng)態(tài)變化的實(shí)際需求來(lái)具體定制相關(guān)的功能邏輯。分布式并行處理能夠?yàn)檎麄€(gè)系統(tǒng)提供比較前沿的并行計(jì)算框架，而且也能夠很好的支持高性能的分析計(jì)算，而且也能夠在數(shù)據(jù)中心中部署計(jì)算量相對(duì)較大的相關(guān)任務(wù)，也能夠同時(shí)提供一些具備批量計(jì)算處理的框架、3.4內(nèi)存分析引擎。其能夠?yàn)槌浞掷脙?nèi)存計(jì)算來(lái)提供一種高校的查詢引擎，但是基礎(chǔ)上就能夠?qū)崿F(xiàn)快速分析和查詢，在一些對(duì)實(shí)時(shí)性要求比較高的場(chǎng)合具有較強(qiáng)的適應(yīng)性。與此同時(shí)還能夠?yàn)橄到y(tǒng)提供SQL查詢接口，這樣充分利用SQL語(yǔ)句，就能夠?qū)崿F(xiàn)數(shù)據(jù)新建、數(shù)據(jù)插入、數(shù)據(jù)查詢以及數(shù)據(jù)刪除等相關(guān)操作。3.5組網(wǎng)方案。首先將整個(gè)網(wǎng)絡(luò)劃分為業(yè)務(wù)以及管理平面，針對(duì)這兩個(gè)不同的平面主要采取的是物理隔離的方式來(lái)進(jìn)行部署，要充分保證業(yè)務(wù)、管理等兩個(gè)網(wǎng)絡(luò)的安全習(xí)慣。這對(duì)整個(gè)網(wǎng)絡(luò)的主要節(jié)點(diǎn)還要必須要設(shè)置能夠支持外部管理網(wǎng)絡(luò)的IP地址，這樣用戶就可以充分利用外部的管理網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)對(duì)整個(gè)網(wǎng)絡(luò)的集群管理。組網(wǎng)設(shè)計(jì)如果采取的是平面組網(wǎng)方式的時(shí)候，整個(gè)集群中的每一個(gè)節(jié)點(diǎn)分別接入到管理以及業(yè)務(wù)平面中，還要這對(duì)每一個(gè)節(jié)點(diǎn)有針對(duì)性的準(zhǔn)備相應(yīng)的管理以及業(yè)務(wù)IP地址，針對(duì)每一個(gè)IP地址主要采用了2個(gè)網(wǎng)絡(luò)接口的配置Bond，并針對(duì)不同的IP地址還要接入相應(yīng)的交接機(jī)。3.6硬盤分區(qū)原則。如果實(shí)際建設(shè)的集群節(jié)點(diǎn)實(shí)際的規(guī)模相對(duì)比較達(dá)的時(shí)候，就很可能會(huì)是哦IO實(shí)際的負(fù)載高很逗，針對(duì)管理節(jié)點(diǎn)的元數(shù)據(jù)可以合理的采用的分盤模式。如果在元數(shù)據(jù)分區(qū)中實(shí)際部署多塊磁盤的時(shí)候，要優(yōu)先針對(duì)Zookeeper中所有的數(shù)據(jù)目錄專門的配置相應(yīng)的Zookeeper數(shù)據(jù)存在磁盤，或者還可以針對(duì)數(shù)據(jù)目錄配置相應(yīng)的ssd存儲(chǔ)。3.7實(shí)時(shí)流處理。在該模塊中主要包括了研判模型建立及數(shù)據(jù)分析。根據(jù)研判模型必須要充分保證其定義模型滿足相關(guān)的擴(kuò)展性，而且也能夠針對(duì)后期新業(yè)務(wù)開展中實(shí)際研判需求進(jìn)行動(dòng)態(tài)擴(kuò)展。與此同時(shí)還能夠支持針對(duì)數(shù)據(jù)的實(shí)時(shí)分析處理以及持久化處理。

4結(jié)語(yǔ)

目前我國(guó)正在不斷強(qiáng)化各個(gè)省市的大數(shù)據(jù)基地布局，而且大數(shù)據(jù)項(xiàng)目的建設(shè)也在不斷加速。而大數(shù)據(jù)產(chǎn)業(yè)的快速發(fā)展不僅需要基礎(chǔ)建設(shè)的支撐，與此同時(shí)還需要在人才、技術(shù)、標(biāo)準(zhǔn)的各個(gè)方面實(shí)現(xiàn)多方位支持。大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展目前還面臨著較大的挑戰(zhàn)。

【參考文獻(xiàn)】

[1]牛正光.大數(shù)據(jù)對(duì)政府治理現(xiàn)代化的影響研究[D].北京：中國(guó)農(nóng)業(yè)大學(xué),2017.

[2]趙一鵬.基于大數(shù)據(jù)技術(shù)的電力物資需求分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京：中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院沈陽(yáng)計(jì)算技術(shù)研究所),2017.

[3]楊靖雯.大數(shù)據(jù)戰(zhàn)略下邊疆政府治理的技術(shù)變革研究[D].昆明：云南師范大學(xué),2017.

作者:許金元 單位:湖南機(jī)電職業(yè)技術(shù)學(xué)院