導語：大數(shù)據(jù)挖掘在煤炭企業(yè)安全管理中的運用一文來源于網(wǎng)友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

摘要：從大數(shù)據(jù)環(huán)境下煤礦企業(yè)安全管理面臨的挑戰(zhàn)出發(fā)，應用大數(shù)據(jù)挖掘技術構建了煤炭企業(yè)安全管理體系結構。實現(xiàn)了數(shù)據(jù)的集中分析和深度挖掘，提升了信息利用的深度和廣度，是對大數(shù)據(jù)時代煤炭企業(yè)安全管理的有效探索。

關鍵詞：大數(shù)據(jù)挖掘；安全管理；煤炭企業(yè)；信息

煤炭企業(yè)安全管理在煤炭生產(chǎn)中占有重要地位。然而，煤礦安全事故涉及多參數(shù)、多目標、海量復雜的信息，如何及時、準確、有效地識別影響煤炭安全生產(chǎn)事故隱患、提升煤炭企業(yè)安全管理是當前研究和關注的熱點之一。伴隨大數(shù)據(jù)時代的到來，大數(shù)據(jù)挖掘逐漸滲透到各個領域，各行業(yè)紛紛加快大數(shù)據(jù)的應用規(guī)模，提升企業(yè)的競爭力。在此背景下，煤炭企業(yè)安全管理也應將關注點轉向大數(shù)據(jù)，提升信息利用的深度和廣度，對大數(shù)據(jù)時代煤炭企業(yè)安全管理進行創(chuàng)新式探索。

1大數(shù)據(jù)挖掘概述

（1）大數(shù)據(jù)大數(shù)據(jù)是指數(shù)據(jù)量超過傳統(tǒng)數(shù)據(jù)庫系統(tǒng)處理能力、數(shù)據(jù)規(guī)模和傳輸速度要求很高的復雜數(shù)據(jù)的集合。大數(shù)據(jù)的特點可概括為4個V，即Volume（體量大）、Variety（多樣化）、Velocity（生成快）、Value（價值大）。大容量是指需要進行分析處理的數(shù)據(jù)量非常浩大，使用傳統(tǒng)的數(shù)據(jù)處理工具往往不能在合理的時間內處理成預測趨勢和指導決策的信息；多樣化是指大數(shù)據(jù)包括來自不同領域、不同設備、不同平臺的各種類型數(shù)據(jù)；快速化是指對數(shù)據(jù)獲取、處理、分析和應用快速；高價值則是指挖掘出的知識對預測趨勢有重要作用，是指導決策的重要依據(jù)。大數(shù)據(jù)的特點表明，大數(shù)據(jù)有助于發(fā)現(xiàn)新事物、預測事物發(fā)展趨勢，也決定了原有的數(shù)據(jù)處理方式已不能適應大數(shù)據(jù)挖掘的要求，需要新的處理技術來有效地組織和使用大數(shù)據(jù)。（2）大數(shù)據(jù)挖掘技術大數(shù)據(jù)挖掘目標是將大容量數(shù)據(jù)轉換為有用的知識和信息，其關鍵技術主要包括數(shù)據(jù)采集、數(shù)據(jù)預處理、海量數(shù)據(jù)存儲、數(shù)據(jù)分析及挖掘和數(shù)據(jù)的呈現(xiàn)與應用。大數(shù)據(jù)的采集、預處理與存儲技術大數(shù)據(jù)的采集技術既包括通過數(shù)據(jù)傳感設備、智能識別終端及資源接入系統(tǒng)等實現(xiàn)對海量數(shù)據(jù)的識別、接入、傳輸、監(jiān)控、初步處理，又包括提供大數(shù)據(jù)的一些平臺，如數(shù)據(jù)庫、ERP系統(tǒng)等。預處理技術主要包括數(shù)據(jù)清理、集成及變換。數(shù)據(jù)清理可去掉噪聲數(shù)據(jù)及異常數(shù)據(jù)，糾正數(shù)據(jù)中的不一致，可以采用傳統(tǒng)數(shù)理統(tǒng)計方法實現(xiàn)。數(shù)據(jù)集成從來自不同數(shù)據(jù)源的數(shù)據(jù)中提取出關系和實體，經(jīng)過分類、關聯(lián)或聚類后采用統(tǒng)一的結構來合并成一致的數(shù)據(jù)存儲。數(shù)據(jù)變換可以將不同度量下的數(shù)據(jù)歸一化，使得數(shù)據(jù)的應用有意義。大數(shù)據(jù)存儲的關鍵技術是分布式文件存儲系統(tǒng)。該系統(tǒng)由若干個分布集群組成，1個分布式集群一般由1個主服務器和大量的塊服務器構成，許多用戶可以同時訪問。大數(shù)據(jù)的分析技術目前大數(shù)據(jù)的分析方法主要有并行計算、實時計算或流式計算。并行計算是指同時使用多個計算資源完成運算。其基本思想是將問題進行分解，由若干個獨立的處理器完成各自的任務，以達到協(xié)同處理的目的。已涌現(xiàn)出大量挖掘算法能運行于并行架構上，如非平凡策略、基于核函數(shù)的挖掘算法、傳統(tǒng)的數(shù)理統(tǒng)計方法和并行結構相結合算法等。實時計算處理通過建立新的概要數(shù)據(jù)結構以近似表達數(shù)據(jù)流，并使用傳統(tǒng)的挖掘算法對概要數(shù)據(jù)結構進行分析，獲得近似的數(shù)據(jù)挖掘結果。獲得概要數(shù)據(jù)結構方法有直方圖、哈希技術、隨機抽樣、小波變換等。目前應用廣泛的實時計算或流式計算方法大多是采用二層框架的模式，在線部分計算數(shù)據(jù)概要信息，離線部分進行數(shù)據(jù)挖掘。

2大數(shù)據(jù)環(huán)境下煤礦企業(yè)安全管理面臨的挑戰(zhàn)

（1）數(shù)據(jù)存儲和預處理能力難以滿足大數(shù)據(jù)量要求龐大的數(shù)據(jù)量的存儲和預處理不能通過簡單地升級原有服務器的方法來解決，要有具有可擴展性和容錯能力的數(shù)據(jù)存儲框架和預處理平臺。（2）復雜的數(shù)據(jù)類型對數(shù)據(jù)融合提出了挑戰(zhàn)安全事故的發(fā)生是多種因素共同作用的結果，需要分析多方面數(shù)據(jù)：一方面要獲取更多的數(shù)據(jù)，對比不同環(huán)境下哪些變化與事故的發(fā)生相關；另一方面要進行歷史數(shù)據(jù)對比。目前，雖然在時間上采樣率不斷提高，但是在空間上監(jiān)控監(jiān)測數(shù)據(jù)還很不完備。同時，各個系統(tǒng)數(shù)據(jù)標準不一致，難以在縱向和橫向上實現(xiàn)數(shù)據(jù)的融合。（3）數(shù)據(jù)的處理難以滿足高實時性要求廣泛分布的遠程站點高速、連續(xù)地產(chǎn)生異構的數(shù)據(jù)，要求實時完成對新到達數(shù)據(jù)點的處理。這就要求大數(shù)據(jù)挖掘系統(tǒng)能動態(tài)適應業(yè)務分析需求，快速響應復雜的查詢，具備實時的分析處理能力，而傳統(tǒng)的數(shù)據(jù)處理技術只能處理小規(guī)模的數(shù)據(jù)流。（4）大數(shù)據(jù)挖掘結果需要有效的可視化手段大數(shù)據(jù)挖掘的最終目的是將信息呈現(xiàn)給用戶。目前我國煤炭企業(yè)既懂各領域專業(yè)知識，又懂數(shù)理統(tǒng)計，還懂業(yè)務流程、信息技術的復合型人才極其匱乏，安全管理人員往往無法正確理解抽象的數(shù)據(jù)挖掘結果所蘊含的信息。

3基于大數(shù)據(jù)挖掘的煤炭企業(yè)安全管理體系

（1）數(shù)據(jù)采集層數(shù)據(jù)采集層實現(xiàn)了大數(shù)據(jù)收集工作。通過各類傳感器、視頻監(jiān)測系統(tǒng)、智能終端、生產(chǎn)過程控制、操作臺、自動記錄系統(tǒng)等技術設備和平臺，數(shù)據(jù)采集層收集大量異構數(shù)據(jù)，為數(shù)據(jù)挖掘的后續(xù)工作做好準備。（2）數(shù)據(jù)預處理層數(shù)據(jù)預處理層需要完成對數(shù)據(jù)的清洗、集成和變換。異常數(shù)據(jù)可以采取移動平均線或自回歸模型等數(shù)據(jù)分析方法得到估計值進行替換；噪聲數(shù)據(jù)要使用濾波或小波消噪等處理方法；缺失數(shù)據(jù)可采用平滑處理方法補齊。預處理后的數(shù)據(jù)存儲在以云計算技術為基礎的存儲框架（數(shù)據(jù)倉庫）中，在數(shù)據(jù)挖掘之前使用。（3）數(shù)據(jù)挖掘層經(jīng)過預處理層處理的數(shù)據(jù)，通過OLAP技術來進行初級分析，以支撐復雜的深度挖掘過程。鑒于煤礦安全事故預警對數(shù)據(jù)實時性要求很高，可以將相關大數(shù)據(jù)分為實時性數(shù)據(jù)和非實時性數(shù)據(jù)，采用流處理和批處理相結合的方式進行挖掘。對于非實時性數(shù)據(jù)，采用基于分布式文件系統(tǒng)如NoSQL數(shù)據(jù)庫和云計算平臺如Hadoop來進行數(shù)據(jù)處理。對于如瓦斯?jié)舛?、瓦斯涌出量等實時監(jiān)測數(shù)據(jù)，可以在云平臺前面設置若干前置機用于實時接收數(shù)據(jù)，同時通過實時或流式計算技術，將全部數(shù)據(jù)概要表示并通過內存進行計算。

（4）數(shù)據(jù)展示層可視化數(shù)據(jù)展示層主要包括3個部分：通過數(shù)據(jù)可視化軟件來表達數(shù)據(jù)中的復雜信息;將可視化結果根據(jù)不同內容和需求呈現(xiàn)在移動終端、PC和各類信息系統(tǒng)上；用戶通過操作界面與數(shù)據(jù)交互，并對其進行進一步的分析。

4結語

煤炭企業(yè)安全管理涉及眾多因素及分析方法，數(shù)據(jù)越多，分析范圍越大，決策越有科學性。因此，需要廣泛拓展數(shù)據(jù)資源，獲取豐富的信息，需要利用大數(shù)據(jù)挖掘技術來挖掘與煤炭企業(yè)安全管理的所有關聯(lián)，在效率、質量和空間等諸多方面滿足安全管理要求。隨著國家層面對信息化和安全事故的重視，在煤炭企業(yè)安全管理領域利用大數(shù)據(jù)挖掘技術和大數(shù)據(jù)思維來實現(xiàn)數(shù)據(jù)集中分析和深度挖掘將是未來發(fā)展方向。

作者:李颯 單位:遼寧石油化工大學經(jīng)濟管理學院

參考文獻：

［1］肖樂樂，魏久傳，牛超，等．中國煤礦事故相關性因素分析研究［J］．煤炭技術，2015，34（1）：349-351．

［2］廖建新．大數(shù)據(jù)技術的應用現(xiàn)狀與展望［J］．電信科學，2015，31（7）：7－18．

［3］孟小峰，慈祥．大數(shù)據(jù)管理：概念、技術與挑戰(zhàn)［J］．計算機研究與發(fā)展，2013，50（1）：146-169．

［4］于富東．大數(shù)據(jù)平臺的關鍵技術及組網(wǎng)方案［J］．電信科學，2015，31（7）：164-169．

［5］宋亞奇，周國亮，朱永利．智能電網(wǎng)大數(shù)據(jù)處理技術現(xiàn)狀與挑戰(zhàn)［J］．電網(wǎng)技術，2013，37（4）：927-935．