導(dǎo)語(yǔ)：大數(shù)據(jù)技術(shù)社區(qū)教育平臺(tái)建設(shè)探析一文來(lái)源于網(wǎng)友上傳，不代表本站觀點(diǎn)，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

【摘要】社區(qū)教育平臺(tái)建設(shè)是社區(qū)教育的主要手段，隨著不斷發(fā)展，系統(tǒng)建設(shè)中隱含的問(wèn)題逐漸顯現(xiàn)。大數(shù)據(jù)平臺(tái)是通過(guò)分布式文件系統(tǒng)、管理系統(tǒng)以及分布式數(shù)據(jù)庫(kù)系統(tǒng)等一系列關(guān)鍵技術(shù)建設(shè)的網(wǎng)絡(luò)平臺(tái)，大數(shù)據(jù)技術(shù)所具備的超強(qiáng)的數(shù)據(jù)收集、存儲(chǔ)、分析能力能為社區(qū)教育平臺(tái)的建設(shè)提供新的思路，能為社區(qū)教育的發(fā)展提供先進(jìn)的技術(shù)支持。

【關(guān)鍵詞】社區(qū)教育；大數(shù)據(jù)；分布式數(shù)據(jù)庫(kù)Hadoop

1引言

社區(qū)教育數(shù)字化平臺(tái)是社區(qū)教育的主要手段，它滿足了社區(qū)居民大部分的教育訴求。隨著社區(qū)教育平臺(tái)的發(fā)展和用戶的激增，各種應(yīng)用數(shù)據(jù)無(wú)所不在，與用戶學(xué)習(xí)行為相關(guān)的數(shù)據(jù)量急速增長(zhǎng)，社區(qū)教育平臺(tái)進(jìn)入了“大數(shù)據(jù)”時(shí)代。然而，由于諸多因素造成了這些數(shù)據(jù)沒(méi)有得到充分的重視和運(yùn)用，喪失了對(duì)學(xué)習(xí)者的深度了解，摒棄了平臺(tái)自身發(fā)展的優(yōu)勢(shì)，社區(qū)教育平臺(tái)的發(fā)展正面臨著大數(shù)據(jù)的挑戰(zhàn)。

2社區(qū)教育平臺(tái)建設(shè)現(xiàn)狀

以河北省為例，社區(qū)教育平臺(tái)建設(shè)至今已五年之久，發(fā)展迅速、運(yùn)行效果良好、硬件基礎(chǔ)比較完善、管理模式具體、推廣頗具深度；目前十一家地市的社區(qū)教育平臺(tái)半數(shù)以上具備了PC版和移動(dòng)版同時(shí)運(yùn)維的能力，豐富的學(xué)習(xí)資源覆蓋范圍廣闊、知識(shí)結(jié)構(gòu)權(quán)威、學(xué)習(xí)方式快捷，為廣大學(xué)習(xí)者提供了一個(gè)良好的學(xué)習(xí)和交流的平臺(tái)，得到了多方用戶的稱(chēng)贊。但是，隨著時(shí)間的推移，各平臺(tái)出現(xiàn)了諸多類(lèi)似的問(wèn)題，比如用戶上網(wǎng)行為不能及時(shí)管理，教學(xué)資源推送不能滿足用戶需求，大都與龐大的數(shù)據(jù)記錄有關(guān)，這些問(wèn)題是平臺(tái)進(jìn)一步發(fā)展的瓶頸，是不得不解決的首要問(wèn)題。2.1平臺(tái)缺少信息收集和分析處理功能。社區(qū)教育的主要特征是教育對(duì)象具有廣泛性，不同的受眾群體具有不同的教育訴求，這就需要社區(qū)教育平臺(tái)提供不同的教育方式和內(nèi)容，以滿足廣泛的興趣需求和學(xué)習(xí)特點(diǎn)；目前平臺(tái)對(duì)每名用戶的學(xué)習(xí)行為和受教數(shù)據(jù)都沒(méi)有綜合收集和儲(chǔ)存，無(wú)法通過(guò)這些具有個(gè)性化的日志資料分析學(xué)習(xí)傾向和需求，平臺(tái)建設(shè)大多主觀提供課程資源，甚至造成供需脫節(jié)，達(dá)不到平臺(tái)建設(shè)的預(yù)期目標(biāo)。2.2平臺(tái)缺乏統(tǒng)一規(guī)劃，信息存儲(chǔ)不規(guī)范。目前，各平臺(tái)都是獨(dú)立運(yùn)行，使得海量信息離散分布，并且信息的存儲(chǔ)互不兼容，大量三分屏、單視頻、PPT等資源閑置，幾乎沒(méi)有一個(gè)可執(zhí)行的資源標(biāo)準(zhǔn)，無(wú)法形成聚合數(shù)據(jù)庫(kù)。離散信息一方面造成重復(fù)的資源建設(shè)和信息冗余，另一方面限制了共享，不利于資源傳播。2.3對(duì)于平臺(tái)使用的關(guān)鍵技術(shù)，絕大多數(shù)沿用傳統(tǒng)。CMS管理系統(tǒng)的結(jié)構(gòu)，沒(méi)有任何一個(gè)系統(tǒng)能夠?qū)ζ脚_(tái)運(yùn)行過(guò)程中的數(shù)據(jù)全面存儲(chǔ)、自動(dòng)分析以為管理者提供決策和建設(shè)的依據(jù)，而作為社區(qū)教育平臺(tái)運(yùn)行過(guò)程中產(chǎn)生的大數(shù)據(jù)恰恰是平臺(tái)運(yùn)行的寶貴資源，對(duì)于受眾對(duì)象和管理者都是不可忽視的。大量資源無(wú)人問(wèn)津，系統(tǒng)點(diǎn)擊深度低、缺乏粘合度，閉門(mén)造車(chē)開(kāi)發(fā)出來(lái)的系統(tǒng)完全成了開(kāi)發(fā)者自?shī)首詷?lè)的工具，學(xué)習(xí)者的真實(shí)需求不能滿足，甚至有系統(tǒng)還在沾沾自喜于網(wǎng)站的點(diǎn)擊率，殊不知這樣的數(shù)據(jù)沒(méi)有任何意義；從SEO角度看，各系統(tǒng)甚至沒(méi)有個(gè)基本的分析系統(tǒng)，盡管系統(tǒng)滿足了上千人同時(shí)在線，卻對(duì)這些在線行為不能做出基礎(chǔ)的收集、整理和分析。出現(xiàn)供需嚴(yán)重脫節(jié)現(xiàn)象的主要原因一是開(kāi)發(fā)者沒(méi)有做細(xì)致的需求分析，二是平臺(tái)架構(gòu)存在嚴(yán)重缺陷，而解決這些問(wèn)題的重要手段就是在系統(tǒng)開(kāi)發(fā)上充分利用大數(shù)據(jù)技術(shù)。

3基于大數(shù)據(jù)技術(shù)的平臺(tái)架構(gòu)和關(guān)鍵技術(shù)

大數(shù)據(jù)技術(shù)，就是從多種類(lèi)型的數(shù)據(jù)中，快速獲取有價(jià)值信息的能力，它是數(shù)據(jù)分析的前沿技術(shù)。與傳統(tǒng)數(shù)據(jù)相比，大數(shù)據(jù)有幾個(gè)特點(diǎn)：第一，數(shù)據(jù)體量巨大，為進(jìn)一步的分析提供了充分的數(shù)據(jù)資料；第二，數(shù)據(jù)類(lèi)型繁多，包含文字、圖片、音頻、視頻、地理位置信息等；第三，處理速度快，可從海量數(shù)據(jù)中極速獲取高價(jià)值信息，這也和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同；第四，數(shù)據(jù)可實(shí)現(xiàn)再利用和重復(fù)利用，以低成本或零成本對(duì)研究對(duì)象進(jìn)行縱向歷史比對(duì)和橫向現(xiàn)實(shí)比對(duì)；第五，只要合理利用數(shù)據(jù)并對(duì)其進(jìn)行正確的分析，將會(huì)帶來(lái)意想不到的高價(jià)值回報(bào)。3.1大數(shù)據(jù)系統(tǒng)的架構(gòu)。一個(gè)常規(guī)的大數(shù)據(jù)分析平臺(tái)，必須能夠做到可持續(xù)、可迭代開(kāi)發(fā)的功能，可存儲(chǔ)所有種類(lèi)的數(shù)據(jù)，可進(jìn)行各種需求分析，可實(shí)現(xiàn)大眾化使用；同時(shí)，一個(gè)大數(shù)據(jù)分析平臺(tái)還應(yīng)該可以接入不同的開(kāi)發(fā)工具，并且實(shí)現(xiàn)數(shù)據(jù)分析的圖形化，可以在不同時(shí)間、空間等維度進(jìn)行查詢。大數(shù)據(jù)處理系統(tǒng)不管結(jié)構(gòu)如何復(fù)雜，采用的技術(shù)千差萬(wàn)別，但是總體上可以分為幾個(gè)重要邏輯部分，它們分別是管理子系統(tǒng)、數(shù)據(jù)加載系統(tǒng)、計(jì)算子系統(tǒng)、二次開(kāi)發(fā)界面、直觀的圖形、報(bào)表和自定義分析工具、提供多種服務(wù)的對(duì)外接口。大數(shù)據(jù)系統(tǒng)涉及到的人工協(xié)議和交互中，大致分為系統(tǒng)協(xié)調(diào)者、系統(tǒng)提供者、大數(shù)據(jù)應(yīng)用提供者、大數(shù)據(jù)框架提供者、數(shù)據(jù)消費(fèi)者，這五個(gè)角色的活動(dòng)都要受到安全和隱私角色的影響，通過(guò)不同的技術(shù)手段和安全措施，構(gòu)筑大數(shù)據(jù)系統(tǒng)全方位、立體的安全防護(hù)體系。3.2大數(shù)據(jù)系統(tǒng)關(guān)鍵技術(shù)。大數(shù)據(jù)環(huán)境下的關(guān)鍵技術(shù)主要是針對(duì)不同格式的海量數(shù)據(jù)存儲(chǔ)和海量數(shù)據(jù)的運(yùn)算及分析，這其中包括數(shù)據(jù)收集、預(yù)處理，分布式文件存儲(chǔ)、文檔存儲(chǔ)、列式存儲(chǔ)等，另外還包括數(shù)據(jù)分析挖掘、數(shù)據(jù)共享、數(shù)據(jù)呈現(xiàn)。數(shù)據(jù)呈現(xiàn)是大數(shù)據(jù)應(yīng)用的直接方式，通過(guò)一系列數(shù)據(jù)處理，最終由用戶通過(guò)簡(jiǎn)單明了的界面服務(wù)平臺(tái)形成可視化的圖形報(bào)告或者是數(shù)據(jù)報(bào)表、數(shù)據(jù)檢索、數(shù)據(jù)渲染等。大數(shù)據(jù)收集需要從不同的數(shù)據(jù)源實(shí)時(shí)或者及時(shí)的手機(jī)不同類(lèi)型的數(shù)據(jù)并傳送到存儲(chǔ)系統(tǒng)或者預(yù)處理系統(tǒng)進(jìn)行后續(xù)處理，數(shù)據(jù)收集一般可分為設(shè)備數(shù)據(jù)收集和web數(shù)據(jù)爬取兩種。數(shù)據(jù)預(yù)處理有助于提升數(shù)據(jù)質(zhì)量、減少噪聲數(shù)據(jù)、防止數(shù)據(jù)缺失和數(shù)據(jù)沖突的影響，是后續(xù)數(shù)據(jù)處理分析和可視化過(guò)程更加簡(jiǎn)潔有效。分布式存儲(chǔ)訪問(wèn)方式是大數(shù)據(jù)存儲(chǔ)的關(guān)鍵技術(shù)，它具有成本低、效率高、容錯(cuò)好等特點(diǎn)，在很短時(shí)間內(nèi)磁盤(pán)、磁帶等存儲(chǔ)介質(zhì)將成為大數(shù)據(jù)分布式存儲(chǔ)的主要媒體。與分布式存儲(chǔ)相關(guān)的就是分布式數(shù)據(jù)處理技術(shù)，它由Hadoop數(shù)據(jù)庫(kù)提供基礎(chǔ)框架，采用分布式內(nèi)存計(jì)算和流計(jì)算方式，成為各個(gè)行業(yè)比較成熟的大數(shù)據(jù)處理方式。大數(shù)據(jù)分析技術(shù)包括對(duì)已有數(shù)據(jù)信息的分布統(tǒng)計(jì)分析技術(shù)，以及未知數(shù)據(jù)信息的分布式挖掘和深度學(xué)習(xí)技術(shù)。數(shù)據(jù)可視化運(yùn)用圖形學(xué)和圖像處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)化為圖形或圖像在屏幕上顯示出來(lái)，并進(jìn)行交互處理，為金融、通信、商業(yè)、教育、醫(yī)療提供決策依據(jù)，這已經(jīng)成為數(shù)據(jù)可視化的新熱點(diǎn)。

4應(yīng)用好大數(shù)據(jù)技術(shù)有效提升社區(qū)教育平臺(tái)性能

大數(shù)據(jù)經(jīng)過(guò)科學(xué)分析后，能夠具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力；大數(shù)據(jù)時(shí)代的到來(lái)能夠改變?nèi)祟?lèi)看待和使用數(shù)據(jù)的方式，改變已有的教育模式。針對(duì)社區(qū)教育領(lǐng)域，大數(shù)據(jù)更有其獨(dú)特的優(yōu)勢(shì)，采用大數(shù)據(jù)技術(shù)的社區(qū)教育平臺(tái)功能更加完備，使用體驗(yàn)更加人性化，目前比較成熟的大數(shù)據(jù)分析平臺(tái)有IBM的InfoSphere、Oracle推廣的BigDataAppliance和Sybase常用的IQ系統(tǒng)以及使用較為廣泛的微軟公司的Hadoop系統(tǒng)，在這些技術(shù)平臺(tái)的支撐下社區(qū)教育平臺(tái)建設(shè)將揭開(kāi)新的一頁(yè)。下面以Hadoop為例介紹如何使用大數(shù)據(jù)技術(shù)為社區(qū)教育平臺(tái)服務(wù)。Hadoop是一個(gè)實(shí)現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，是一種可靠、高校、可伸縮的數(shù)據(jù)處理方式，它以并行計(jì)算的方式假設(shè)PB級(jí)的計(jì)算元素和存儲(chǔ)失敗，從而形成多個(gè)工作數(shù)據(jù)做副本，確保能夠針對(duì)失敗節(jié)點(diǎn)做重新分步處理，Hadoop還依賴(lài)于社區(qū)服務(wù)器以形成低成本運(yùn)算模式，而MapReduce正是谷歌提出的云計(jì)算的核心計(jì)算模式。Hadoop系統(tǒng)=HDFS（文件系統(tǒng)）+HBase（數(shù)據(jù)庫(kù)）+MapReduce（數(shù)據(jù)處理）+Others。通過(guò)下圖來(lái)看一看海量數(shù)據(jù)架構(gòu)是如何通過(guò)大數(shù)據(jù)運(yùn)作處理機(jī)制來(lái)實(shí)現(xiàn)可視化的。從上至下分別是：數(shù)據(jù)源、計(jì)算層、存儲(chǔ)層、查詢層、產(chǎn)品層。數(shù)據(jù)源存放著平臺(tái)所有行為數(shù)據(jù)，通過(guò)DataX，DbSync和Timetunel準(zhǔn)實(shí)時(shí)的傳輸?shù)紿adoop集群，在這里系統(tǒng)對(duì)每天產(chǎn)生的數(shù)據(jù)產(chǎn)品進(jìn)行不同的MapReduce計(jì)算，下一層是分布式存儲(chǔ)集群輔助系統(tǒng)，我們可以采用基于MySQL的MyFox，還可以采用基于HadoopHbase技術(shù)的叫做NoSQL的存儲(chǔ)集群，MyFox一個(gè)重要的功能就是為數(shù)據(jù)產(chǎn)品提供查詢功能，每個(gè)產(chǎn)品具有唯一一個(gè)URL來(lái)獲取想要的數(shù)據(jù)，這里應(yīng)用的是最常見(jiàn)的HTTP協(xié)議，每一個(gè)數(shù)據(jù)產(chǎn)品就是一個(gè)大數(shù)據(jù)應(yīng)用，它們?yōu)閿?shù)據(jù)消費(fèi)者提供直觀的操作界面，呈現(xiàn)圖形化數(shù)據(jù)。

5結(jié)語(yǔ)

應(yīng)用了大數(shù)據(jù)技術(shù)的社區(qū)教育平臺(tái)不僅能推送個(gè)性化教學(xué)資源，滿足學(xué)習(xí)需求，在功能體驗(yàn)上，除了具備搜索排序體驗(yàn)，LBS定位功能，資源多樣化以及交互功能外，還要實(shí)現(xiàn)資源利用最大化，學(xué)習(xí)行為自主化，學(xué)習(xí)形式交互化等等，但也不是萬(wàn)能的，不是能夠?qū)崿F(xiàn)所有的需求和目標(biāo)，比如大數(shù)據(jù)技術(shù)不擅長(zhǎng)社會(huì)關(guān)系分析、不擅長(zhǎng)上下文情景分析、產(chǎn)生過(guò)多的發(fā)現(xiàn)、不擅長(zhǎng)處理真正的巨型問(wèn)題、數(shù)據(jù)分析的結(jié)論往往基于大眾偏好，甚至有時(shí)原始數(shù)據(jù)往往會(huì)被扭曲，造成樣本缺乏代表性、相關(guān)性誤差較大、過(guò)于故事化等等；當(dāng)然還有一個(gè)重要的問(wèn)題，就是大數(shù)據(jù)與隱私，大數(shù)據(jù)中包含著每個(gè)人的小數(shù)據(jù)，這些數(shù)據(jù)經(jīng)過(guò)進(jìn)一步分析既能知道你的愛(ài)好，也能知道你的下意識(shí)行為傾向，如果據(jù)此來(lái)判斷一個(gè)人的未來(lái)，是否會(huì)重演大片“少數(shù)派報(bào)告”的場(chǎng)景，我們現(xiàn)在還不得而知。

【參考文獻(xiàn)】

[1]韋書(shū)令，文夢(mèng)丹，鄧孟紅.大數(shù)據(jù)視野下社區(qū)數(shù)字化學(xué)習(xí)平臺(tái)的應(yīng)用策略研究[N].廣西廣播電視大學(xué)學(xué)報(bào)，2018-05-25.

[2]曾浩宇.基于LBS社區(qū)系統(tǒng)的大規(guī)模數(shù)據(jù)集協(xié)同處理系統(tǒng)的設(shè)計(jì)與研究[D].北京郵電大學(xué)，2014-12-27.

[3]盧昀.云計(jì)算社區(qū)教育應(yīng)用探討[J].教育信息技術(shù)，2015-10-20.

[4]黃俊健，白偉華，梁莉筠.智慧協(xié)同校外教育云服務(wù)平臺(tái)的研究與建設(shè)[N].科技創(chuàng)新導(dǎo)報(bào).

[5]吳文峻.面向智慧教育的學(xué)數(shù)據(jù)分析技術(shù)[J].電化教育研究，2017-06-01.

[6]羅治情，官波，陳娉婷，吳亞玲，沈祥成.“三農(nóng)”數(shù)據(jù)云平臺(tái)設(shè)計(jì)研究[J].江蘇農(nóng)業(yè)科學(xué)，2018-09-25.

作者:張輝 李俊梅 單位:衡水廣播電視大學(xué)