智慧校園數(shù)據(jù)集成共享平臺探討

時間:2022-08-17 08:50:24

導語:智慧校園數(shù)據(jù)集成共享平臺探討一文來源于網(wǎng)友上傳,不代表本站觀點,若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。

智慧校園數(shù)據(jù)集成共享平臺探討

摘要:為了解決高校各業(yè)務系統(tǒng)在信息化建設過程中,由于建設時間和空間上的差異,出現(xiàn)的“信息孤島”現(xiàn)象和數(shù)據(jù)離散、異構等問題,提出一種基于ODI的智慧校園數(shù)據(jù)集成共享平臺。平臺通過利用Oracle的ETL工具ODI,對各業(yè)務系統(tǒng)數(shù)據(jù)進行集成,并將集成后的數(shù)據(jù)共享給統(tǒng)一身份認證平臺以及網(wǎng)上辦事大廳和校園移動App中的各種應用與服務。通過平臺的構建和應用表明,業(yè)務系統(tǒng)的主要數(shù)據(jù)得到了治理和標準化,數(shù)據(jù)的交換和共享率也得到了很多大提升。

關鍵詞:智慧校園;數(shù)據(jù)集成;數(shù)據(jù)共享;統(tǒng)一身份認證;網(wǎng)上辦事大廳;ODI

1背景

高校信息化建設隨著云計算、物聯(lián)網(wǎng)、大數(shù)據(jù)、智能感知等新興信息技術的不斷發(fā)展已經(jīng)步入智慧校園建設階段,而高校在信息化發(fā)展的過程中,由于缺乏有效合理的規(guī)劃和協(xié)調,各業(yè)務部門根據(jù)自己的需求建設了眾多業(yè)務系統(tǒng),出現(xiàn)了“信息孤島”現(xiàn)象,形成了數(shù)據(jù)類型和數(shù)據(jù)訪問方式多樣,數(shù)據(jù)標準不統(tǒng)一等問題,并且隨著時間的發(fā)展累積了大量的業(yè)務和數(shù)據(jù)資源,冗余數(shù)據(jù)和垃圾數(shù)據(jù)都普遍存在于業(yè)務系統(tǒng)中[1-4]。這些問題嚴重阻礙了智慧校園建設的進程,導致在數(shù)據(jù)層面,數(shù)據(jù)私有化,數(shù)據(jù)流動性不強,數(shù)據(jù)質量不高,各業(yè)務系統(tǒng)產生的數(shù)據(jù)無法交換、共享,無法發(fā)揮大數(shù)據(jù)的作用;業(yè)務層面,校內業(yè)務系統(tǒng)相互隔離,各應用之間的融合度不高[4-5],師生辦理業(yè)務跑路多、不方便。為了解決上述問題,數(shù)據(jù)的集成和共享勢在必行,數(shù)據(jù)集成是把不同來源、格式、特點、性質的數(shù)據(jù)在邏輯上或物理上有機地集中,從而為用戶提供全面的數(shù)據(jù)共享,數(shù)據(jù)只有通過共享,才能保證數(shù)據(jù)的一致,減少冗余,提高利用率[6],實現(xiàn)數(shù)據(jù)的流動和業(yè)務的融合。本文提出一種基于ODI(OracleDataInte⁃grator)的智慧校園數(shù)據(jù)集成共享平臺,利用Oracle的ETL(Ex⁃tract-Transform-Load)工具ODI對各業(yè)務系統(tǒng)產生的源數(shù)據(jù)進行抽取、清洗和轉換后,將數(shù)據(jù)共享給統(tǒng)一身份認證平臺以及網(wǎng)上辦事大廳和校園移動App中的各業(yè)務系統(tǒng)、表單流程和服務,實現(xiàn)數(shù)據(jù)的交換、共享和流動;師生通過統(tǒng)一身份認證訪問網(wǎng)上辦事大廳和校園移動App中的各種業(yè)務和服務,實現(xiàn)單點登錄和業(yè)務的融合。

2智慧校園數(shù)據(jù)集成共享平臺架構

針對智慧校園建設充分整合信息資源和應用資源的需求,本文提出的智慧校園數(shù)據(jù)集成共享平臺主要包括數(shù)據(jù)源層、數(shù)據(jù)處理層、數(shù)據(jù)存儲與管理層和數(shù)據(jù)應用與服務層,如圖1所示。數(shù)據(jù)源層,主要是作為數(shù)據(jù)源的各業(yè)務系統(tǒng)的數(shù)據(jù),包括結構化和非結構化的數(shù)據(jù),利用ETL工具抽取到數(shù)據(jù)處理層。數(shù)據(jù)處理層根據(jù)國家規(guī)范標準和學校標準,對抽取過來的源數(shù)據(jù)進行清洗和轉換后,存儲到數(shù)據(jù)中心。數(shù)據(jù)存儲與管理層主要是對數(shù)據(jù)的存儲和管理。其中,元數(shù)據(jù)管理的目的是在建立元數(shù)據(jù)標準的基礎上,統(tǒng)一進行數(shù)據(jù)抽取、清洗和轉換,以實現(xiàn)對各業(yè)務系統(tǒng)數(shù)據(jù)的整合[3]。主數(shù)據(jù)是全校范圍統(tǒng)一標準和規(guī)范的數(shù)據(jù),以解決異構系統(tǒng)之間關鍵數(shù)據(jù)的不一致、不正確、不完整等問題。數(shù)據(jù)中心則以數(shù)據(jù)庫的形式存儲集成后的數(shù)據(jù),主要用于各業(yè)務系統(tǒng)的數(shù)據(jù)共享、綜合查詢以及數(shù)據(jù)分析與挖掘等。數(shù)據(jù)應用與服務層是應用和服務集中展示層,網(wǎng)上辦事大廳和校園移動App將各種應用、工作流流程、綜合化查詢、表單制作和服務集成到同一平臺,并作為進入應用和服務的唯一門戶。師生通過統(tǒng)一身份認證平臺對身份的合法認證之后進入網(wǎng)上辦事大廳和校園移動App,便可在該平臺根據(jù)角色的不同快速找到符合角色的服務。

3基于ODI的數(shù)據(jù)集成和共享

智慧校園數(shù)據(jù)集成共享平臺首要面臨異構數(shù)據(jù)的集成問題,平臺選用Oracle的ETL工具ODI,目前已經(jīng)有很多高校在智慧校園建設過程中采用ODI作為數(shù)據(jù)集成的工具。ODI是基于元數(shù)據(jù)管理的,支持異構數(shù)據(jù)庫之間以批量、實時、同步、異步方式實現(xiàn)平臺間數(shù)據(jù)的移動和轉換[2],ODI之所以能適應很多不同的數(shù)據(jù)源,靈活、高效和可擴展的完成數(shù)據(jù)抽取、轉換和裝載過程,是基于其知識模塊(KM,KnowledgeMudules)體系[7],用戶不僅可以直接使用現(xiàn)有的知識模塊完成數(shù)據(jù)的獲取工作,也可以在知識模塊上做各種定制,也可以完全自己開發(fā)這些知識模塊。ODI知識模塊包括六大類,如表1所示。學校各業(yè)務系統(tǒng)以虛擬視圖的方式提供數(shù)據(jù),提供的是經(jīng)過篩選的虛擬視圖,是主數(shù)據(jù)平臺需要的數(shù)據(jù)字段集合。ODI利用知識模塊抽取篩選出來字段所對應的全部數(shù)據(jù),并對這些數(shù)據(jù)按照事先設定好的數(shù)據(jù)清洗與轉換規(guī)則對抽取的數(shù)據(jù)進行清洗和轉換[8]。數(shù)據(jù)清洗是個反復的過程,是對數(shù)據(jù)進行審查和校驗,過濾不合規(guī)數(shù)據(jù)、刪除重復數(shù)據(jù)、糾正錯誤數(shù)據(jù)、完成格式轉換,并進行清洗前后的數(shù)據(jù)一致性檢查,保證清洗結果集的質量,最終形成統(tǒng)一格式的標準數(shù)據(jù),存儲到數(shù)據(jù)中心,完成數(shù)據(jù)的集成。數(shù)據(jù)中心再以中間表的形式將業(yè)務系統(tǒng)需要的數(shù)據(jù)下發(fā)至中間表,各業(yè)務系統(tǒng)通過接口對中間表進行數(shù)據(jù)的讀取,完成數(shù)據(jù)的共享。在數(shù)據(jù)集成與共享過程中,業(yè)務系統(tǒng)數(shù)據(jù)庫并沒有與數(shù)據(jù)中心發(fā)生直接的數(shù)據(jù)交互,從而保護了底層源數(shù)據(jù),使整個數(shù)據(jù)集成共享平臺處于低耦合、易擴展、易維護的狀態(tài)[2,7,9]。數(shù)據(jù)集成和共享數(shù)據(jù)流向圖,如圖2所示。

4智慧校園數(shù)據(jù)集成共享平臺實現(xiàn)

4.1云計算與虛擬化

云計算和虛擬化是智慧校園建設過程中的關鍵技術,云計算平臺是一種動態(tài)擴展的計算模式,通過網(wǎng)絡將虛擬化的資源作為服務提供,用戶可以隨時、隨地、按需的訪問共享資源池[10],而虛擬化技術是將云計算平臺的基礎設施和各類物理資源(如CPU、內存、網(wǎng)絡等)動態(tài)地匯聚起來,形成多租戶共享的資源池,這些資源以網(wǎng)絡服務的方式按需提供給用戶[11]。數(shù)據(jù)集成共享平臺的ODI服務器和主數(shù)據(jù)管理平臺,以虛擬化的方式部署在云計算平臺上,由云計算平臺集中管理,實現(xiàn)系統(tǒng)的動態(tài)可伸縮性、高可用性、負載均衡,并提高資源的利用率,配置信息如表2所示。

4.2數(shù)據(jù)存儲

數(shù)據(jù)中心存儲全校統(tǒng)一規(guī)范的標準數(shù)據(jù),又是各業(yè)務系統(tǒng)和服務需要的基礎數(shù)據(jù)和主題數(shù)據(jù)的來源,具有重要的現(xiàn)實意義,所以采用物理服務器+OracleRAC(OracleRealApplicationCluster)集群數(shù)據(jù)庫+共享存儲的方案,在兩臺物理服務器上分別安裝Oraclelinux6.9和Oracle12cRAC,并掛載共享存儲,獨立的物理服務器在數(shù)據(jù)安全性方面具有明顯優(yōu)勢,數(shù)據(jù)丟失風險較小,并將數(shù)據(jù)備份放置在兩臺物理服務器上,實現(xiàn)雙機熱備。集群根據(jù)設定的調整策略,實現(xiàn)負載均衡,兩個集群節(jié)點都能夠訪問共享存儲讀寫數(shù)據(jù),當集群中某個節(jié)點出現(xiàn)故障,業(yè)務自動切換到正常節(jié)點上,保證業(yè)務對外服務不間斷,也可以根據(jù)業(yè)務繁忙程度,隨時添加和刪除集群節(jié)點。

4.3平臺應用

基于ODI的智慧校園數(shù)據(jù)集成共享平臺已經(jīng)上線將近兩年的時間,主要業(yè)務系統(tǒng)數(shù)據(jù)得到了治理和標準化,數(shù)據(jù)質量得到了很大的提升,具體集成情況如圖3和表3所示。集成后形成基礎數(shù)據(jù)和主題業(yè)務數(shù)據(jù),通過網(wǎng)上辦事大廳和校園移動App中90多個業(yè)務和服務的應用,得到了有效的交流和共享,圖4顯示了網(wǎng)上辦事大廳和移動App中集成的所有業(yè)務數(shù)量。師生基礎數(shù)據(jù)與統(tǒng)一身份認證平臺,以及接入網(wǎng)上辦事大廳和校園移動App中的各業(yè)務系統(tǒng)的對接,解決了“信息孤島”現(xiàn)象,并實現(xiàn)了用戶的單點登錄,用戶通過統(tǒng)一身份認證之后,無需再次登錄就可以進入已接入的第三方系統(tǒng)。師生在網(wǎng)上辦事大廳和校園移動App中可以查詢各種相關主題化數(shù)據(jù),比如學生成績、課表、繳費數(shù)據(jù)、科研數(shù)據(jù)等等。師生在線上填寫各種業(yè)務相關表單流程,無需往返多個部門線下辦理,線上全程跟蹤業(yè)務辦理進度,線上提醒和催辦相關人員盡快辦理業(yè)務,電腦端和移動端均可操作、辦理,給全校師生工作、學習、生活提供來了極大的便利,同時整合了校內事務、簡化、優(yōu)化了事務審批流程。

5結束語

本文提出的基于ODI的智慧校園數(shù)據(jù)集成共享平臺,通過實踐已初見成效,主要數(shù)據(jù)集成后進行了有效交換、共享,業(yè)務實現(xiàn)了一定程度的融合,同時與統(tǒng)一身份認證平臺相結合,在網(wǎng)上辦事大廳為全校師生提供了各種智慧服務。但是智慧校園建設是一項長期復雜的工程,智慧校園的“智慧”要更加深入的實現(xiàn),數(shù)據(jù)的持續(xù)治理、數(shù)據(jù)質量進一步的提升、集成更加豐富的數(shù)據(jù)以及挖掘更多的數(shù)據(jù)價值,都將是未來數(shù)據(jù)集成共享平臺持續(xù)建設的核心任務。

參考文獻:

[1]劉寶妹,陳美玲,白興瑞.智慧校園共享數(shù)據(jù)中心建設研究[J].中國教育信息化,2020(7):70-73.

[2]蒲芳,劉琳瑯,徐萍,等.數(shù)字化校園中一卡通數(shù)據(jù)集成的研究與應用[J].華中師范大學學報(自然科學版),2017,51(S1):13-16,20.

[3]吳信東,董丙冰,堵新政,等.數(shù)據(jù)治理技術[J].軟件學報,2019,30(9):2830-2856.

[4]張穎.大數(shù)據(jù)背景下高?!耙徽臼健狈漳P偷奶剿骱蛯嵺`[J].計算機應用與軟件,2019,36(7):128-132.

[5]冀翠萍.智慧校園業(yè)務應用融合的探索與實踐[J].現(xiàn)代教育技術,2018,28(1):66-72.

[6]仇建斌.智慧校園數(shù)據(jù)管理交換平臺研究與建設[J].計算機時代,2019(4):107-110.

作者:徐小梅 單位:蘭州交通大學 網(wǎng)絡信息中心