導(dǎo)語：大數(shù)據(jù)關(guān)鍵技術(shù)在物流企業(yè)的應(yīng)用一文來源于網(wǎng)友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

摘要：物流企業(yè)在開展物流業(yè)務(wù)時會產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)若能被有效利用，將為物流企業(yè)提效增值。物流企業(yè)越來越重視大數(shù)據(jù)所帶來的商業(yè)價值，并被物流企業(yè)視為戰(zhàn)略性資源。文章分析物流企業(yè)應(yīng)用大數(shù)據(jù)技術(shù)的價值，列舉了物流企業(yè)常用的大數(shù)據(jù)關(guān)鍵技術(shù)。

關(guān)鍵詞：大數(shù)據(jù)；大數(shù)據(jù)技術(shù)；物流

互聯(lián)網(wǎng)技術(shù)出現(xiàn)之前，物流企業(yè)主要使用一些單機版的應(yīng)用軟件來處理業(yè)務(wù)，這種應(yīng)用系統(tǒng)都比較孤立，所產(chǎn)生的數(shù)據(jù)主要是在人機交互時產(chǎn)生的，大多是物流業(yè)務(wù)數(shù)據(jù)，這些數(shù)據(jù)大多是結(jié)構(gòu)化的，并且增長速度緩慢。互聯(lián)網(wǎng)技術(shù)出現(xiàn)后迅猛發(fā)展，尤其是移動互聯(lián)網(wǎng)技術(shù)的發(fā)展，由此步入了大數(shù)據(jù)時代，物流數(shù)據(jù)的容量上發(fā)生了變化，數(shù)據(jù)來源也發(fā)生了質(zhì)的變化，除了人機交互會產(chǎn)生數(shù)據(jù)，設(shè)備、服務(wù)器、應(yīng)用系統(tǒng)都會產(chǎn)生數(shù)據(jù)，這些數(shù)據(jù)包括了用戶行為數(shù)據(jù)、定位數(shù)據(jù)、圖片、視頻等等，它們呈現(xiàn)幾何級增長，并以非結(jié)構(gòu)、半結(jié)構(gòu)化為主，這給數(shù)據(jù)處理技術(shù)帶來了挑戰(zhàn)。

1大數(shù)據(jù)與大數(shù)據(jù)技術(shù)

大數(shù)據(jù)也稱為海量數(shù)據(jù)，具有數(shù)據(jù)容量巨大，數(shù)據(jù)類型復(fù)雜，價值密度低等特性。大數(shù)據(jù)技術(shù)是依托云計算、云存儲和虛擬化等技術(shù)，從海量的、種類繁雜的數(shù)據(jù)當(dāng)中，采用分布式計算架構(gòu)，讓用戶在最短時間內(nèi)獲取有用的信息技術(shù)。大數(shù)據(jù)技術(shù)是對各類數(shù)據(jù)進行整理、分析、比對，對數(shù)據(jù)進行深度挖掘，這包括了提取非結(jié)構(gòu)化數(shù)據(jù)的特征，檢索、理解半結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容等。大數(shù)據(jù)技術(shù)現(xiàn)已成為信息時代的一大新興產(chǎn)業(yè)，并引起了社會各界的高度關(guān)注，成為大數(shù)據(jù)采集、存儲、處理和呈現(xiàn)的有力工具，主要運用在大數(shù)據(jù)采集、大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)存儲及管理、大數(shù)據(jù)分析及挖掘、大數(shù)據(jù)展現(xiàn)和應(yīng)用（大數(shù)據(jù)可視化、大數(shù)據(jù)檢索、大數(shù)據(jù)安全等）等方面[1]。

2物流企業(yè)應(yīng)用大數(shù)據(jù)技術(shù)的價值分析

物流各個環(huán)節(jié)，如運輸、倉儲、裝卸、搬運、包裝及流通加工等，會產(chǎn)生大量的數(shù)據(jù)。物流大數(shù)據(jù)，是指物流活動過程中，開展如供給、需求等物流服務(wù)時產(chǎn)生的各種相關(guān)數(shù)據(jù)，而這些數(shù)據(jù)是海量的、無序的。如今，物流企業(yè)越來越重視大數(shù)據(jù)所帶來的商業(yè)價值，并被物流企業(yè)視為戰(zhàn)略性資源。物流大數(shù)據(jù)本身不存在價值，但通過對物流大數(shù)據(jù)分析并應(yīng)用，就能體現(xiàn)出其價值所在。掌握大數(shù)據(jù)，挖掘大數(shù)據(jù)，應(yīng)用大數(shù)據(jù)技術(shù)，能夠產(chǎn)生大量的商業(yè)價值，這一觀點已經(jīng)被整個物流行業(yè)所認同。2.1有利于物流企業(yè)提高管理效率。長期以來，物流管理上還是存在很多問題，例如倉儲運輸中空間利用不科學(xué)、安全性差、燃油效率低下、周轉(zhuǎn)時間隨路徑而浮動等。物流企業(yè)對數(shù)據(jù)處理的水平比較低。原有的傳統(tǒng)的數(shù)據(jù)處理方式如數(shù)據(jù)收集、加工、存儲和傳輸已經(jīng)不適應(yīng)物流企業(yè)對數(shù)據(jù)管理的需求。而大數(shù)據(jù)技術(shù)可以有效地解決這些問題，它能更好地收集、整合、分析和處理數(shù)據(jù)，數(shù)據(jù)融合性更好，零亂雜散的數(shù)據(jù)變得系統(tǒng)和有序，以提升物流數(shù)據(jù)的價值。例如實現(xiàn)合理布局倉儲運輸?shù)目臻g，能最優(yōu)和最短選擇好物流運輸行程路徑。2.2有利于物流企業(yè)做出正確的決策。物流企業(yè)的決策主要包括三個方面，即合作與競爭的決策、供需匹配的決策、資源配置的決策。傳統(tǒng)的物流決策是根據(jù)個人經(jīng)驗，結(jié)合市場調(diào)研而制定的，這種決策方式已不能適應(yīng)如今的信息化時代。實際上，單憑市場調(diào)研、個人經(jīng)驗是無法預(yù)測物流市場的需求變化，真實的、海量的物流市場原始數(shù)據(jù)才是做出科學(xué)決策的依據(jù)。物流企業(yè)通過運用大數(shù)據(jù)技術(shù)對市場的原始數(shù)據(jù)進行收集、分析、處理，可以全面地、深層次地了解到合作者（或者競爭對手）的真實情況，從而做出合作（或競爭）的判斷；對特定區(qū)域、特定時期的物流供需情況進行分析，從而做出合理的配送管理決策；實時監(jiān)測市場變化，從動態(tài)性和隨機性的數(shù)據(jù)中提取當(dāng)前的物流需求信息，同時對已配置和將要配置的資源進行優(yōu)化，做出合理的資源配置決策，從而實現(xiàn)對物流資源的合理利用[2]。2.3有利于建立良好的客戶關(guān)系。傳統(tǒng)的客戶關(guān)系數(shù)據(jù)一般來源于企業(yè)的客戶管理系統(tǒng)，或是日常的積累，信息接收方式單一，這樣的數(shù)據(jù)容量有限，更新滯后，客戶的需求得不到實時跟蹤，也達不到及時滿足。隨著互聯(lián)網(wǎng)等信息技術(shù)的發(fā)展，客戶對物流的評價與反饋、需求等信息可能會出現(xiàn)在QQ簽名、微信朋友圈，微博日志里，呈現(xiàn)的形式也是多種多樣，可能是文字，可能是圖片，也可能是語音，還可能是視頻。物流企業(yè)運用大數(shù)據(jù)技術(shù)可以從這些大量的數(shù)據(jù)源中篩選、提取有用的信息，并對這些數(shù)據(jù)進行加工、處理、整合，形成有利于物流企業(yè)進行客戶管理的數(shù)據(jù)，從而有效減少了客戶投訴，服務(wù)變被動為主動，通過對新老用戶的大數(shù)據(jù)挖掘和分析，可以滿足客戶需求，增強客戶信用度，培養(yǎng)客戶粘性，減少客戶流失。

3物流企業(yè)應(yīng)用大數(shù)據(jù)關(guān)鍵技術(shù)的狀況

按照對大數(shù)據(jù)的處理流程來說，物流企業(yè)主要應(yīng)用的大數(shù)據(jù)關(guān)鍵技術(shù)包括了大數(shù)據(jù)采集技術(shù)、大數(shù)據(jù)前期處理技術(shù)、大數(shù)據(jù)存儲技術(shù)和大數(shù)據(jù)分析挖掘技術(shù)。3.1大數(shù)據(jù)采集技術(shù)在物流企業(yè)中的應(yīng)用。物流企業(yè)經(jīng)常遇到這樣的問題：大量用戶并發(fā)訪問和操作，產(chǎn)生了海量的數(shù)據(jù)，包括了RFID射頻數(shù)據(jù)、海量網(wǎng)絡(luò)數(shù)據(jù)、移動互聯(lián)網(wǎng)數(shù)據(jù)等，而這些海量數(shù)據(jù)呈現(xiàn)的方式不同，有結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的，在數(shù)據(jù)采集上存在困難。為此，這可以采用如下大數(shù)據(jù)采集技術(shù)來解決。1）數(shù)據(jù)庫采集。使用MySQL和Oracle等工具來管理數(shù)據(jù)，同時利用Sqoop和結(jié)構(gòu)化數(shù)據(jù)庫間的ETL工具，開源的Kettle和Talend也集成大數(shù)據(jù)內(nèi)容，和hdfs、hbase及其它主流數(shù)據(jù)庫之間實現(xiàn)數(shù)據(jù)同步。2）移動互聯(lián)網(wǎng)數(shù)據(jù)采集。借助網(wǎng)絡(luò)爬蟲或網(wǎng)站公開API等方式，實現(xiàn)有效地對移動互聯(lián)網(wǎng)數(shù)據(jù)的采集。主要方式是從網(wǎng)絡(luò)上獲取數(shù)據(jù)和信息，有效提取移動互聯(lián)網(wǎng)上大數(shù)據(jù)，使移動互聯(lián)網(wǎng)非結(jié)構(gòu)化數(shù)據(jù)，半結(jié)構(gòu)化數(shù)據(jù)通過加工，變?yōu)榻Y(jié)構(gòu)化的有序數(shù)據(jù)，并將其存儲為統(tǒng)一的本地數(shù)據(jù)文件。3）數(shù)據(jù)文件采集。進行實時的文件采集和處理有多種方式。Flume是Cloudera公司提供的一個日志采集、聚合和傳輸?shù)南到y(tǒng)，具有高可用性，高可靠性等特點。ELK是Elastic-search、Logstash、Kibana三者的組合技術(shù)，能實現(xiàn)日志數(shù)據(jù)處理，通過模板配置，以實現(xiàn)文件采集[3]。3.2大數(shù)據(jù)前期處理技術(shù)在物流企業(yè)中的應(yīng)用。采集物流原始數(shù)據(jù)后，必須對其進行前期處理，客戶和貨物數(shù)據(jù)的前期處理工作尤為重要。物流數(shù)據(jù)前期處理主要涉及到對物流原始數(shù)據(jù)的清理、填補、集成、合并、規(guī)格化和一致性等，使雜亂無章的數(shù)據(jù)有序化，經(jīng)處理后的數(shù)據(jù)結(jié)構(gòu)相對單一，以便于處理，為后期物流數(shù)據(jù)分析創(chuàng)造條件。1）物流數(shù)據(jù)清理。ETL和Potter'sWheel是物流數(shù)據(jù)清理的主要工具。ETL和Potter'sWheel能有效實現(xiàn)對組內(nèi)的數(shù)據(jù)處理，如物流大數(shù)據(jù)平滑處理、聚類、計算機人工檢查和回歸等方法，并且能去除噪音，以解決數(shù)據(jù)遺漏問題。2）物流數(shù)據(jù)集成。原始物流數(shù)據(jù)是雜亂和零散的，通過物流數(shù)據(jù)集成可以將其結(jié)構(gòu)化、有序化。具體做法是將物流數(shù)據(jù)源中的數(shù)據(jù)進行合并，以存放到一個結(jié)構(gòu)統(tǒng)一的數(shù)據(jù)庫中。數(shù)據(jù)冗余、模式匹配、數(shù)據(jù)值沖突檢測與處理是必須解決的問題。3）物流數(shù)據(jù)變換。物流數(shù)據(jù)轉(zhuǎn)換分為兩種，即數(shù)據(jù)格式及名稱的統(tǒng)一和數(shù)據(jù)處理。其中，數(shù)據(jù)格式及名稱的統(tǒng)一包括了對數(shù)據(jù)粒度轉(zhuǎn)數(shù)據(jù)格式、計量單位、商務(wù)計算和標(biāo)準(zhǔn)命名等；數(shù)據(jù)處理是通過數(shù)據(jù)庫字段分割計算或組合，以解決數(shù)據(jù)冗余問題。3.3大數(shù)據(jù)存儲技術(shù)在物流企業(yè)中的應(yīng)用。MPP架構(gòu)的數(shù)據(jù)庫集群、Hadoop技術(shù)擴展和封裝、大數(shù)據(jù)一體機是最典型的三種大數(shù)據(jù)存儲技術(shù)。1）采用數(shù)據(jù)庫集群MPP架構(gòu)。MPP(MassivelyParallelProcessing，即大規(guī)模并行處理)，MPP是將任務(wù)并行的分散到多個服務(wù)器和節(jié)點上，再匯總在每個節(jié)點上計算完成后的結(jié)果，形成最終結(jié)果。主要面向物流行業(yè)大數(shù)據(jù)，采用MPP架構(gòu)來建立數(shù)據(jù)庫集群，采用SharedNothing架構(gòu)，利用多種大數(shù)據(jù)處理技術(shù)，如粗粒度索引、列存儲等，然后結(jié)合分布式計算，以完成對分析類應(yīng)用的支撐。2）利用Hadoop技術(shù)進行擴展和封裝。Hadoop是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)。HDFS和MapReduce是Hadoop的核心的設(shè)計，它們分別提供了存儲和計算的支持，其中，HDFS為海量的物流數(shù)據(jù)的存儲提供支持，而MapReduce則為海量的物流數(shù)據(jù)的計算提供支持。通過擴展和封裝的Hadoop技術(shù)來實現(xiàn)對物流大數(shù)據(jù)存儲、分析的支撐。3）大數(shù)據(jù)一體機。大數(shù)據(jù)一體機是物流大數(shù)據(jù)分析處理的理想產(chǎn)品，是硬件和軟件結(jié)合的產(chǎn)品。硬件包括服務(wù)器、存儲設(shè)備等；軟件是由數(shù)據(jù)庫管理系統(tǒng)和用于數(shù)據(jù)查詢、處理、分析的軟件組成的。大數(shù)據(jù)一體機性能好，處理能力強，且具有良好的穩(wěn)定性和縱向擴展性。3.4大數(shù)據(jù)分析挖掘技術(shù)在物流企業(yè)中的應(yīng)用。以物流車貨匹配平臺為例，車輛在進行物流運輸過程中，會產(chǎn)生海量大數(shù)據(jù)，如車輛特征、發(fā)車時間、停車時間、行駛距離、地理位置等。通過統(tǒng)計、分析這些數(shù)據(jù)，可以發(fā)現(xiàn)貨運車輛的行為特征，獲取區(qū)域物流的流量分布，甚至掌握社會經(jīng)濟發(fā)展動態(tài)的信息。這為物流企業(yè)開展車輛調(diào)度提供了可靠的理論依據(jù)和技術(shù)支持，能使物流企業(yè)在時間、成本、路線方面做出科學(xué)決策，從而提高了物流企業(yè)貨運效率。1）物流數(shù)據(jù)可視化分析。數(shù)據(jù)可視化的直觀和有效方式是將數(shù)據(jù)圖形化。物流數(shù)據(jù)種類繁雜、數(shù)據(jù)結(jié)構(gòu)不統(tǒng)一，物流企業(yè)借助可視化數(shù)據(jù)分析平臺，對數(shù)據(jù)進行關(guān)聯(lián)分析，構(gòu)建物流數(shù)據(jù)分析圖表，使數(shù)據(jù)在展示方面簡單明了、清晰直觀，更易于接受。2）數(shù)據(jù)挖掘算法。數(shù)據(jù)分析與數(shù)據(jù)挖掘算法息息相關(guān)。數(shù)據(jù)挖掘算法的基礎(chǔ)是數(shù)據(jù)挖掘模型。物流企業(yè)可以通過數(shù)據(jù)收集分析和整理，創(chuàng)建挖掘模型的最佳參數(shù)，將這些參數(shù)應(yīng)用于整個數(shù)據(jù)模型以便提取可行模式和詳細統(tǒng)計信息[4]。3）預(yù)測性分析?？蛻粜枨?、物流行業(yè)發(fā)展趨勢的預(yù)測對物流企業(yè)而言是很重要的。大數(shù)據(jù)分析主要是統(tǒng)計分析、預(yù)測建模、數(shù)據(jù)挖掘、實體分析、實時評分、文本分析和機器學(xué)習(xí)等，從雜亂的數(shù)據(jù)中找出有規(guī)律性的特征，以預(yù)測其發(fā)展的趨勢和方式，為物流企業(yè)的決策提供決策。4）語義引擎。對已有的數(shù)據(jù)進行語義解釋即是語義引擎。其實質(zhì)是將現(xiàn)有結(jié)構(gòu)化或者非結(jié)構(gòu)化的數(shù)據(jù)庫進行語義注解。它直接的應(yīng)用是可以將人們從復(fù)雜的搜索條目中解放出來，讓用戶能更有效地使用信息。用戶能更快、更準(zhǔn)、更全地獲得所需信息，以提高用戶的互聯(lián)網(wǎng)體驗。

參考文獻：

[1]馬建光，姜巍.大數(shù)據(jù)的概念、特征及其應(yīng)用[J].國防科技，2013，34(2)：10-17.

[2]彭小圣，鄧迪元，程時杰，等.面向智能電網(wǎng)應(yīng)用的電力大數(shù)據(jù)關(guān)鍵技術(shù)[J].中國電機工程學(xué)報，2015，35(3)：503-511.

[3]MPP(大規(guī)模并行處理)簡介[EB/OL].https://blog.csdn.net/qq_42189083/article/details/80610092,2018-06-07.

[4]javastart.這才是真正的物流大數(shù)據(jù)挖掘思路[EB/OL].https://blog.csdn.net/javastart/article/details/50895409,2016-07-07.

作者:單位:湖南財經(jīng)工業(yè)職業(yè)技術(shù)學(xué)院