導語：高校數(shù)據(jù)中臺建設(shè)方案設(shè)計探討一文來源于網(wǎng)友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

摘要：高校數(shù)據(jù)呈現(xiàn)多元化狀態(tài)，應用場景不斷被多樣化、碎片化、即時化的輕量級微服務解耦，業(yè)務部門要求實現(xiàn)跨平臺、跨部門協(xié)同辦公，提供高效的數(shù)據(jù)挖掘、分析與決策服務。傳統(tǒng)數(shù)據(jù)中臺無論從數(shù)據(jù)質(zhì)量、體量還是供給方式上均不能滿足需求。針對存在的問題，設(shè)計了新型的數(shù)據(jù)中臺方案，提出構(gòu)建采集數(shù)據(jù)、治理數(shù)據(jù)、發(fā)布數(shù)據(jù)、管理數(shù)據(jù)、分析數(shù)據(jù)五類能力，形成數(shù)據(jù)標準、數(shù)據(jù)資產(chǎn)、知識庫、數(shù)據(jù)處理和分析、制度規(guī)范五個體系，為解決數(shù)據(jù)的管、通、統(tǒng)三類核心問題和實現(xiàn)數(shù)據(jù)的全生命周期治理提供了一種新的解決思路。研究成果在一定程度上豐富了智慧校園研究內(nèi)容，也可為高校信息化建設(shè)提供一定的理論參考和方法借鑒。

關(guān)鍵詞：數(shù)據(jù)中臺；數(shù)據(jù)治理；數(shù)據(jù)倉庫；數(shù)據(jù)服務；數(shù)據(jù)挖掘

隨著智慧校園的不斷發(fā)展，高校數(shù)據(jù)呈現(xiàn)多元化的狀態(tài)，各業(yè)務部門對數(shù)據(jù)的需求從原來單純的業(yè)務管理轉(zhuǎn)向數(shù)據(jù)分析決策與判斷，原來面向單一部門內(nèi)部的管理轉(zhuǎn)向跨部門的流程服務，對實現(xiàn)數(shù)據(jù)互通、流程跨部門推進的需求越發(fā)突出［1－2］。此外，在大數(shù)據(jù)背景下，數(shù)據(jù)隱私與安全越發(fā)重要［3］。因此，傳統(tǒng)數(shù)據(jù)倉庫、數(shù)據(jù)共享中心無論從數(shù)據(jù)體量、數(shù)據(jù)質(zhì)量還是供給模式上均已不能滿足高校當下對數(shù)據(jù)深層次挖掘、分析利用的需求，嚴重阻礙和限制了智慧校園的推進。鑒于此，本文有針對性地提出了高校數(shù)據(jù)中臺建設(shè)方案，解決數(shù)據(jù)管、通、統(tǒng)問題，形成從數(shù)據(jù)采集、清洗、治理、存儲、使用、管理等環(huán)節(jié)的閉環(huán)，降低數(shù)據(jù)使用門檻，實現(xiàn)數(shù)據(jù)真正為教學、科研、管理、服務而服務。

1數(shù)據(jù)中臺建設(shè)現(xiàn)狀

數(shù)據(jù)中臺是一個體系，也是一種解決方案，可以被定義為一個集數(shù)據(jù)采集、融合、清洗治理、組織管理、智能分析為一體，將數(shù)據(jù)以服務方式提供給前臺應用，以提升業(yè)務運行效率、持續(xù)促進業(yè)務創(chuàng)新為目標的整體平臺［4］。數(shù)據(jù)中臺的概念最早由阿里巴巴公司于2015年提出，2018年各大互聯(lián)網(wǎng)公司紛紛提出中臺戰(zhàn)略并隨之進行組織架構(gòu)的調(diào)整，將“中臺”的概念推向了高潮［5］。目前，國內(nèi)對數(shù)據(jù)中臺的研究趨于成熟，在互聯(lián)網(wǎng)、金融、電力、媒體等行業(yè)得到廣泛應用［6－8］。高校由于受到自身業(yè)務需求的限制，應用案例相對較少，但也取得了可觀的成績，如西安電子科技大學數(shù)據(jù)開放平臺、南京理工大學大數(shù)據(jù)分析平臺等。高等職業(yè)類院校起步較晚，但是發(fā)展迅猛，特別是自2018年推進整改工作以來，基本都已完成數(shù)據(jù)融合平臺和大數(shù)據(jù)分析平臺建設(shè)，形成了較為科學、規(guī)范的數(shù)據(jù)標準體系，實現(xiàn)了數(shù)據(jù)的初步治理與沉淀，構(gòu)建了數(shù)據(jù)倉庫和共享數(shù)據(jù)中心，初步具備了數(shù)據(jù)中臺的規(guī)模。相比于國內(nèi)，國外尚未推出數(shù)據(jù)中臺的概念，但是針對數(shù)據(jù)標準體系、數(shù)據(jù)治理、數(shù)據(jù)處理、數(shù)據(jù)服務等方面的研究相對成熟，廣泛地應用于高校教學、科研、管理和服務。

2傳統(tǒng)數(shù)據(jù)中臺建設(shè)模式及存在問題

高校是數(shù)據(jù)產(chǎn)生、擁有和使用的主體，面對繁雜、異構(gòu)、字段內(nèi)容缺失、難以關(guān)聯(lián)和分析等數(shù)據(jù)問題，進行了一系列數(shù)據(jù)融合、智慧校園基礎(chǔ)平臺、大數(shù)據(jù)分析與決策系統(tǒng)等項目建設(shè)。采用微服務架構(gòu)，純B／S模式，建成了一站式網(wǎng)上服務大廳、統(tǒng)一身份認證系統(tǒng)、主數(shù)據(jù)平臺、數(shù)據(jù)交換平臺ODI、API服務總線、大數(shù)據(jù)分析與決策系統(tǒng)。確定了數(shù)據(jù)源和目標，構(gòu)建了較為原始的集數(shù)據(jù)采集、轉(zhuǎn)換、清洗治理、存儲、管理、使用、展示為一體的數(shù)據(jù)中臺體系，基本上實現(xiàn)了信息標準化、服務一站化、業(yè)務流程化、數(shù)據(jù)模型化。但是，隨著智慧校園的不斷推進，應用場景不斷被多樣化、碎片化、即時化，往往需要針對某一簡單場景快速上線和應用，各職能部門需要實現(xiàn)跨平臺、跨部門協(xié)同辦公，對數(shù)據(jù)的使用需求和分析決策需求越發(fā)明顯。此外，移動化的普及對使用習慣的改變也催生了移動化辦公的轉(zhuǎn)變。這些不斷產(chǎn)生和變化的需求對智慧校園體系提出更高的要求。而反觀現(xiàn)有數(shù)據(jù)中臺體系顯然不能滿足需求，由于種種原因并沒有實現(xiàn)平臺價值的充分利用，存在諸多問題，歸納總結(jié)如下。1）數(shù)據(jù)中心黑盒運行，技術(shù)要求高，部門要數(shù)據(jù)，操作復雜。2）數(shù)據(jù)維度缺少，只考慮數(shù)據(jù)交換，數(shù)據(jù)價值未充分利用。只有結(jié)構(gòu)化數(shù)據(jù)，忽視了非結(jié)構(gòu)化數(shù)據(jù)。3）數(shù)據(jù)資源分散，師生重復填表。大量線下數(shù)據(jù)無法流動共享，數(shù)據(jù)來源缺乏權(quán)威。4）數(shù)據(jù)質(zhì)量缺乏保障，難以為領(lǐng)導決策提供可信數(shù)據(jù)支撐，難以支持數(shù)據(jù)統(tǒng)計、分析，難以支持復雜的跨部門業(yè)務協(xié)作。

3高校數(shù)據(jù)中臺方案設(shè)計

數(shù)據(jù)中臺不是一個跨時代的全新理念，其建設(shè)基礎(chǔ)依然是數(shù)據(jù)倉庫和數(shù)據(jù)中心。為此，本文針對傳統(tǒng)數(shù)據(jù)中臺存在的問題，采用大平臺、微服務的智慧校園架構(gòu)，提出更優(yōu)的高校數(shù)據(jù)中臺解決方案。目的在于實現(xiàn)全局數(shù)據(jù)服務能力統(tǒng)一供給，充分支撐智慧校園體系中的各類信息化服務綜合應用和數(shù)據(jù)分析挖掘的需求。同時為解決數(shù)據(jù)的管、通、統(tǒng)3類核心問題提供理論依據(jù)和方法借鑒。其設(shè)計方案如圖1所示。圖1數(shù)據(jù)中臺體系·02·1）數(shù)據(jù)源層涵蓋高校常見的各類數(shù)據(jù)源，包括關(guān)系型DB、文本文件、syslog日志、二進制日志等數(shù)據(jù)，實現(xiàn)線上業(yè)務數(shù)據(jù)、線下業(yè)務數(shù)據(jù)、智能設(shè)備數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)的全量提取，在物理層面形成一個大的數(shù)據(jù)集。2）數(shù)據(jù)采集、處理層以需求為驅(qū)動，以數(shù)據(jù)多樣性的全域思想為指導，統(tǒng)一業(yè)務系統(tǒng)集成通道，確定人事、科研、學工、教學等數(shù)據(jù)唯一源頭，制定相應規(guī)范制度，確保數(shù)據(jù)來源唯一性。遵循并完善現(xiàn)行數(shù)據(jù)編碼體系，基于Hadoop生態(tài)體系，采集和治理全業(yè)務、多終端、多形態(tài)的數(shù)據(jù)，解決各類數(shù)據(jù)在邏輯層面的統(tǒng)一。3）數(shù)據(jù)倉庫平臺層對異構(gòu)數(shù)據(jù)先進行分類存儲、分類治理、源頭治理，溯源數(shù)據(jù)血緣關(guān)系、質(zhì)量關(guān)系，統(tǒng)一數(shù)據(jù)格式，再實現(xiàn)數(shù)據(jù)統(tǒng)一存儲，在物理層面形成一個大的數(shù)據(jù)倉庫。對于原有數(shù)據(jù)，抽取、清洗、治理后直接引入數(shù)據(jù)倉庫。4）數(shù)據(jù)治理輸出層構(gòu)建統(tǒng)一數(shù)據(jù)治理體系，涵蓋數(shù)據(jù)標準構(gòu)建、不同類別數(shù)據(jù)集成、數(shù)據(jù)質(zhì)量檢測規(guī)則和評分體系、以及配套的數(shù)據(jù)管理規(guī)范制度等內(nèi)容，實現(xiàn)數(shù)據(jù)的全生命周期治理，使得數(shù)據(jù)治理真正成為一個不斷循環(huán)和迭代的過程。5）數(shù)據(jù)應用層構(gòu)建統(tǒng)一數(shù)據(jù)開放平臺，通過統(tǒng)一服務總線API接口供應數(shù)據(jù)。程序通過API調(diào)用直接訪問到數(shù)據(jù)源中的數(shù)據(jù)，無需本地再建數(shù)據(jù)庫，實現(xiàn)輕量級架構(gòu)。同時，將不同來源、不同架構(gòu)的數(shù)據(jù)進行統(tǒng)一的API封裝，屏蔽多數(shù)據(jù)源、多物理表、多查詢渠道、多出口供給的復雜性，實現(xiàn)數(shù)據(jù)與程序的松耦合架構(gòu)，從而實現(xiàn)簡單應用場景的快速開發(fā)與上線。此外，構(gòu)建數(shù)據(jù)庫體系和知識庫體系，真正降低數(shù)據(jù)使用門檻，為廣大師生、各業(yè)務部門、各級領(lǐng)導提供數(shù)據(jù)化、智能化的智慧校園服務。

4預期成效

本設(shè)計方案在傳統(tǒng)數(shù)據(jù)中臺體系基礎(chǔ)上，構(gòu)建了新的更優(yōu)的數(shù)據(jù)中臺體系，落地后應實現(xiàn)5類能力和5種體系，分別是構(gòu)建采集數(shù)據(jù)、治理數(shù)據(jù)、發(fā)布數(shù)據(jù)、管理數(shù)據(jù)、分析數(shù)據(jù)5類能力；形成數(shù)據(jù)標準、數(shù)據(jù)資產(chǎn)、知識庫、數(shù)據(jù)處理和分析、制度規(guī)范5個體系。

5總結(jié)

以智慧校園建設(shè)為背景，分析了傳統(tǒng)數(shù)據(jù)中臺建設(shè)現(xiàn)狀與建設(shè)模式，針對存在的問題，提出新型的數(shù)據(jù)中臺解決方案，為解決數(shù)據(jù)的管、通、統(tǒng)3類核心問題和實現(xiàn)數(shù)據(jù)的全生命周期治理提供了一種新的解決思路。同時，智慧校園建設(shè)應構(gòu)建采集數(shù)據(jù)、治理數(shù)據(jù)、發(fā)布數(shù)據(jù)、管理數(shù)據(jù)、分析數(shù)據(jù)5類能力，形成數(shù)據(jù)標準、數(shù)據(jù)資產(chǎn)、知識庫、數(shù)據(jù)處理和分析、制度規(guī)范5個體系。降低數(shù)據(jù)使用門檻，為廣大師生、各業(yè)務部門、各級領(lǐng)導提供數(shù)據(jù)化、智能化的智慧校園服務。隨著5G網(wǎng)絡、物聯(lián)網(wǎng)絡、大數(shù)據(jù)、人工智能等技術(shù)的不斷發(fā)展、普及及應用，數(shù)據(jù)中臺將會朝著數(shù)據(jù)更多樣、底層更智能、上層使用更簡單、應用更豐富的方向發(fā)展，在不久的將來，必將迎來各行各業(yè)依托數(shù)據(jù)中臺進行數(shù)字化轉(zhuǎn)型和構(gòu)建數(shù)據(jù)智能應用的熱潮，而蓬勃發(fā)展的相關(guān)技術(shù)也將為數(shù)據(jù)中臺功能的完善與升級提供更多的可能性。

參考文獻

［1］李巍巍．數(shù)據(jù)中臺技術(shù)在業(yè)務系統(tǒng)中的應用研究［J］．現(xiàn)代信息科技，2019，3（21）：108－110．

［2］畢強，朱亞玲．元數(shù)據(jù)標準及其互操作研究［J］．情報理論與實踐，2007，（5）：666－670．

［3］CAIYH，LIY，QIUCY，etal．MedicalImageRe－trievalBasedonConvolutionalNeuralNetworkandSupervisedHashing［J］．IEEEAccess，2019，（7）：51877－51885．

［4］蘇萌，賈喜順，杜曉夢，等．數(shù)據(jù)中臺技術(shù)相關(guān)進展及發(fā)展趨勢［J］．數(shù)據(jù)與計算發(fā)展前沿，2019，1（5）：116－126．

［5］鄧中華．大數(shù)據(jù)大創(chuàng)新：阿里巴巴云上數(shù)據(jù)中臺之道［M］．北京：電子工業(yè)出版社，2018：4－33．

［6］孫建平．大數(shù)據(jù)服務賦能農(nóng)業(yè)銀行數(shù)字化轉(zhuǎn)型［J］．農(nóng)銀學刊，2019（2）：4－7．

［7］林鴻，方學民，袁葆，等．電力物聯(lián)網(wǎng)多渠道客戶服務中臺戰(zhàn)略研究與設(shè)計［J］．供用電，2019，36（6）：39－45．

［8］韓嫕，展祎萌，李義彪．電力物聯(lián)網(wǎng)多渠道客戶服務中臺戰(zhàn)略研究與設(shè)計［J］．現(xiàn)代電視技術(shù)，2019（6）：90－93．

［9］辛慧娟，肖軍．基于NB－IoT技術(shù)的多傳感器數(shù)據(jù)采集系統(tǒng)設(shè)計［J］．微型電腦應用，2020，36（12）：35－37．

［10］王曉晗．基于Hadoop技術(shù)的遠程教學智慧云平臺設(shè)計［J］．微型電腦應用，2021，37（11）：90－93.

作者：呂忠亭 崔巍 劉洋 張婕 單位：延安職業(yè)技術(shù)學院 延安大學 物理與電子信息學院