云計算電力大數(shù)據分析技術

時間:2022-11-06 05:24:54

導語:云計算電力大數(shù)據分析技術一文來源于網友上傳,不代表本站觀點,若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。

云計算電力大數(shù)據分析技術

摘要:本文以電力大數(shù)據分析技術為核心,分析了現(xiàn)代電力大數(shù)據的主要特征,提出基于云計算電力大數(shù)據分析技術的應用途徑,旨在推動電力行業(yè)的持續(xù)發(fā)展,并為相關研究人員提供一定的借鑒和幫助。

關鍵詞:云計算;電力大數(shù)據;分析技術;應用

0引言

我國電力輸送網絡主要以智能電網為核心,把現(xiàn)代化控制技術應用到電網管理中,借助計算機網絡系統(tǒng),實現(xiàn)發(fā)電、輸電、用電、調度等環(huán)節(jié)的數(shù)據采集、分析和處理,為電力企業(yè)各項管理決策提供信息依據,優(yōu)化各個系統(tǒng)運行環(huán)節(jié),提高供電效率,保證智能電網運行的安全性和穩(wěn)定性,進而滿足用戶的多元化用電需求。由此可見電力數(shù)據無論是智能電網運行還是在電力企業(yè)經營管理中都占據重要的地位,在此背景下,探究基于云計算的電力數(shù)據分析技術具有重要的現(xiàn)實意義。

1現(xiàn)代電力大數(shù)據的主要特征

(一)數(shù)量化

隨著智能電網的普及范圍逐漸擴大,搭建面積也在增加,各個網絡節(jié)點設備數(shù)量也在增多,形成了龐大的數(shù)據資源體系。這些龐大而繁雜的數(shù)據,給數(shù)據搜集工作和數(shù)據分析工作帶來了一定的難度。對此,相關管理部門要進行大量的數(shù)據分析。目前,我國電力大數(shù)據級別由TB上升到PB級別,假設某地區(qū)電力客戶為2200萬戶,全部設置現(xiàn)代智能電表,每15分鐘搜集一條數(shù)據,該地區(qū)每天就會產生21億條電力數(shù)據,可見電力數(shù)據的龐大性,這也就賦予現(xiàn)代電力大數(shù)據的數(shù)量化特征。

(二)多元化

現(xiàn)代電力大數(shù)據的多元化主要體現(xiàn)在數(shù)據種類的多元化,由于先進技術和相關設備的投入使用,使得計算機數(shù)據由傳統(tǒng)單一化結構性數(shù)據發(fā)展為現(xiàn)代各類數(shù)據并存的數(shù)據體系,包含非結構性數(shù)據和結構性數(shù)據,其中非結構性數(shù)據的數(shù)量比例在日益提升,賦予現(xiàn)代電力大數(shù)據多元化特征。現(xiàn)代電力大數(shù)據多元化特征,也表示傳統(tǒng)的數(shù)據分析方式無法適應數(shù)據變化,需要對數(shù)據分析技術進行創(chuàng)新和改革,進而達到最佳的應用效果。

(三)高速化

現(xiàn)代電力大數(shù)據無論是從數(shù)據采集方面還是從數(shù)據分析方面上看,都具備高速化特征,以高速狀態(tài)迅速完成,這主要是由用戶終端數(shù)量的不斷增加所決定的,要求國內電網內大數(shù)據分析設備能夠滿足每秒數(shù)十萬次的計算和分析。

2基于云計算的電力大數(shù)據分析技術

電力數(shù)據除了傳統(tǒng)數(shù)據中心的數(shù)據之外,還包括一些無法處理的文件,例如誒之文件、監(jiān)控視頻以及故障照片等,數(shù)據結構種類不單一,對大數(shù)據分析技術有很高的要求,而基于云計算的電力大數(shù)據分析技術很好地解決了這一問題,具體分析技術如下所示:

(一)多維索引技術

傳統(tǒng)Hive系統(tǒng)索引功能過于單一,無法實現(xiàn)電力大數(shù)據搜索的具體化與細致化,造成CPU資源的浪費,降低了電力大數(shù)據分析效率。電力大數(shù)據具備多維區(qū)間查詢特征,各個維度查詢較為固定。例如浙江省電力系統(tǒng),是一種以單位代碼與時間代碼為標準的索引方式,結合實際情況,采用各個維度輔助的形式開展電力大數(shù)據多維索引,自動過濾干擾數(shù)據和無用數(shù)據,有效提高了大數(shù)據索引效率與利用效率。當前,多維索引技術應用范圍較廣,形成以多維索引技術為核心的分布式多維索引系統(tǒng),依托于Hive命令,通過HQL解析器,實現(xiàn)代碼解析,使得可索引的維度區(qū)間更加豐富,還可以根據實際需求,把索引數(shù)據放置到Hadoop分析系統(tǒng)中綜合處理。

(二)翻譯工具

傳統(tǒng)Hive系統(tǒng)運行中,利用HQL索引語言進行數(shù)據分析,HQL索引語言屬于SQL的分支,但二者間的語法差異較大?,F(xiàn)代化電力大數(shù)據中含有很多SQL語言儲存信息,這就是傳統(tǒng)Hive系統(tǒng)無法滿足數(shù)據分析要求,在數(shù)據存儲和數(shù)據分析上效率較低。在基于云計算的環(huán)境下,電力數(shù)據的SQL語言會直接翻譯為HQL語言,但是這一手動翻譯方式由于處理內容較大,會消耗大量的時間,人工翻譯的錯誤率也很高。對此,為了提高翻譯效率,要應用自動化翻譯工具,自動分析SQL語句中的語言數(shù)據,一旦滿足設定的翻譯條件,就會形成多個HQL語段,對這一語段進行分析和處理,不僅避免了人工翻譯的錯漏,還降低時間消耗量,提高翻譯效率和系統(tǒng)分析效率。

(三)混合存儲技術

在傳統(tǒng)Hive系統(tǒng)運行中,無法為數(shù)據更新與刪除提供支持,只能依靠重寫來實現(xiàn)間接性數(shù)據更新。由于現(xiàn)代電力大數(shù)據分析中,智能電網每天需要處理的數(shù)據容量較大,無論是數(shù)據更新還是數(shù)據刪除,都需要快速處理,效率要求較高,而且每個操作數(shù)據比例小,若繼續(xù)使用重新方式進行數(shù)據更新,會造成大量數(shù)據資源的占用,降低系統(tǒng)的整體運行效率。對此,應用混合儲存技術,借助主表與附表的輔助與支持,記錄實時更新數(shù)據與不需要實時更新的數(shù)據,根據運行要求進行數(shù)據處理,進而提高數(shù)據分析處理的有效性,保證資源利用效率的最大化。

(四)分層次處理技術

在云計算技術的支持下,引入分層次數(shù)據技術進行綜合數(shù)據分析處理,在智能電網中,形成電力信息搜集、儲存、應用等功能為一體的結構化管理系統(tǒng),結合電力供應情況,建設大數(shù)據管理系統(tǒng)分支化管理體系,加強電力供應系統(tǒng)間的關聯(lián)性和獨立性,保證電力系統(tǒng)資源在各個電力供應系統(tǒng)中的流轉和共享,提高資源利用效率。同時,借助云計算SQL系統(tǒng),保證電力大數(shù)據分析計算的同步性,有效提高電力大數(shù)據分析處理效果和效率,實現(xiàn)智能電網的電力大數(shù)據層次化分析管理。

3基于云計算的電力大數(shù)據分析技術應用效益分析

早在2013年,浙江省首次提出基于云計算電力大數(shù)據分析技術,并嘗試性應用在電網供電運行中,使得浙江省成為我國電力大數(shù)據分析技術應用的核心地區(qū),借助前置群分析與緩沖,分析和處理電力大數(shù)據,幫助用戶索引各類數(shù)據。特別是在云計算平臺的支持下,各類數(shù)據在數(shù)據庫中儲存,借助以太網來實現(xiàn)實時連接與同步更新,提高電力大數(shù)據的準確性,運行速度快,大大提高了電力大數(shù)據分析的綜合水平。

(一)提高處理速率

在應用基于云計算的電力大數(shù)據分析技術后,以計算機內部數(shù)據處理系統(tǒng)為主,輔助虛擬數(shù)據挖掘技術,促進計算系統(tǒng)的完善和優(yōu)化,提高虛擬空間的利用效率,形成以云計算為基礎的電力大數(shù)據分析處理平臺,提高電力大數(shù)據處理速率,將整體數(shù)據劃分成各個層次的數(shù)據,同步處理,解決由于數(shù)據龐大而造成分析處理效率低的問題,進而提高了電力大數(shù)據分析處理的綜合速率。

(二)強化系統(tǒng)兼容性

在應用基于云計算的電力大數(shù)據分析技術后,有效提高了電力大數(shù)據分析系統(tǒng)的兼容性,利用分布式處理系統(tǒng),實現(xiàn)各類電力大數(shù)據信息的控制,多種電力大數(shù)據分析系統(tǒng)協(xié)同處理,對信息管理資源進行綜合探索,應用效益較為明顯。

(三)擴展數(shù)據儲存空間

電力資源是社會發(fā)展的動力,而大容量大力資源提高了電力系統(tǒng)建設難度。在應用基于云計算的電力大數(shù)據分析技術后,通過多維索引技術、翻譯技術、混合存儲技術、分層次處理技術,增加了虛擬空間的利用率,并在云計算技術的支持下,實現(xiàn)虛擬空間的進一步擴展,提高電力大數(shù)據分析處理的高效性和完整性,達到最佳的應用效益。

4結束語

本文通過對基于云計算的電力大數(shù)據分析技術的分析,明確了現(xiàn)代電力大數(shù)據的主要特征,以此為依據,應用多維索引技術、翻譯工具、混合存儲技術、分層次處理技術,特別是在云計算平臺的支持下,各類數(shù)據在數(shù)據庫中儲存,借助以太網來實現(xiàn)實時連接與同步更新,提高電力大數(shù)據分析的準確性、高效性和完整性,達到最佳的應用效益。

參考文獻

[1]吳凱峰,劉萬濤,李彥虎,等基于云計算的電力大數(shù)據分析技術與應用[J].中國電力,2015,48(2):111116

[2]張棟基于云計算的電力大數(shù)據分析技術與應用[J].企業(yè)技術開發(fā)月刊,2015,48(7):7878

[3]王玎,余秀麗,劉曉峻基于云計算的電力大數(shù)據分析技術與應用[J].移動信息,2015(12):0007900079

[4]黃蕾,陶銳基于云計算的電力大數(shù)據分析技術與應用[J].數(shù)字技術與應用,2017(2):117117

作者:王小龍 單位:國網遼寧省電力有限公司營口供電公司