數(shù)據(jù)倉庫技術(shù)論文

時(shí)間:2022-09-09 08:14:00

導(dǎo)語:數(shù)據(jù)倉庫技術(shù)論文一文來源于網(wǎng)友上傳,不代表本站觀點(diǎn),若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。

數(shù)據(jù)倉庫技術(shù)論文

摘要:隨著計(jì)算機(jī)科學(xué)技術(shù)的發(fā)展,數(shù)據(jù)庫技術(shù)已經(jīng)日益成熟,與此同時(shí),數(shù)據(jù)倉庫技術(shù)也在飛速發(fā)展,它已被應(yīng)用于企業(yè)管理、決策支持、市場(chǎng)分析等多個(gè)方面。本文首先介紹了數(shù)據(jù)倉庫技術(shù),之后介紹了數(shù)據(jù)倉庫技術(shù)在商場(chǎng)(超市)中的應(yīng)用。

關(guān)鍵字:數(shù)據(jù)倉庫商場(chǎng)(超市)計(jì)算機(jī)

一、前言

隨著計(jì)算機(jī)技術(shù)的發(fā)展,越來越多的企業(yè)逐漸建立了各種各樣的應(yīng)用子系統(tǒng),如銷售系統(tǒng)、庫存系統(tǒng)、財(cái)務(wù)系統(tǒng)、人事系統(tǒng)等。它們能夠較好地滿足企業(yè)OLTP(OnlineTransactionProcessing,聯(lián)機(jī)事務(wù)處理)的應(yīng)用需求。

但隨著市場(chǎng)競(jìng)爭(zhēng)的日益激烈,企業(yè)需要利用現(xiàn)有的數(shù)據(jù),進(jìn)行分析和推理,為企業(yè)的決策提供依據(jù)。當(dāng)這種分析處理只涉及到很少的數(shù)據(jù)庫表時(shí)是可行的。當(dāng)數(shù)據(jù)量迅速地增長(zhǎng)而且查詢要求不斷復(fù)雜化時(shí),這種建立在OLTP基礎(chǔ)上的DSS就不能很好地滿足決策的需求。另外從大量的歷史數(shù)據(jù)中獲取信息,要求系統(tǒng)保存大量的歷史數(shù)據(jù)。如果系統(tǒng)在進(jìn)行事務(wù)處理時(shí)還要進(jìn)行復(fù)雜的分析處理。這樣對(duì)于頻繁操作性處理的數(shù)據(jù)庫系統(tǒng)而言,將會(huì)不堪重負(fù)。因此,需要重新組織數(shù)據(jù),使其使于進(jìn)行復(fù)雜分析。為適應(yīng)這一需求,應(yīng)運(yùn)而生的就是數(shù)據(jù)倉庫技術(shù)。

商場(chǎng)(超市)關(guān)系到大眾生活水平的提高,它為大眾生活提供了便利,同時(shí)由于商場(chǎng)(超市)貨物、員工的復(fù)雜性,使得市場(chǎng)、人事管理、物品供需關(guān)系、設(shè)備管理顯得更為復(fù)雜,所以商場(chǎng)(超市)更應(yīng)該象其他企業(yè)一樣,應(yīng)用數(shù)據(jù)倉庫技術(shù)完善自己的市場(chǎng)、管理、供需關(guān)系等等。

二、數(shù)據(jù)倉庫技術(shù)概述

1.數(shù)據(jù)倉庫的概念

“數(shù)據(jù)倉庫是一個(gè)用以更好地支持企業(yè)或組織的決策分析處理的、面向主題的、集成的、不可更新的、隨時(shí)間不斷變化的數(shù)據(jù)集合”。面向主題、集成性、不可更新和隨時(shí)間變化性是其基本特征??梢哉f,數(shù)據(jù)倉庫是一種解決問題的方案,是用來更好地提取和管理并最終利用信息資源的辦法?!八詡鹘y(tǒng)的數(shù)據(jù)庫技術(shù)作為存儲(chǔ)數(shù)據(jù)和管理資源的基本手段,以統(tǒng)計(jì)分析技術(shù)作為分析數(shù)據(jù)和提取信息的有效手段,以人工智能技術(shù)作為挖掘知識(shí)和發(fā)現(xiàn)規(guī)律的科學(xué)途徑”。數(shù)據(jù)倉庫主要是面向聯(lián)機(jī)分析處理和決策分析的,而不面向事務(wù)處理。數(shù)據(jù)倉庫將信息按主題形式加以組織,來揭示信息的內(nèi)在聯(lián)系和事物的規(guī)律及事物之間的聯(lián)系。對(duì)原有數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)進(jìn)行重新組織、按需求綜合以后,就得到數(shù)據(jù)倉庫中數(shù)據(jù)。因此,數(shù)據(jù)倉庫中的數(shù)據(jù)是高度集成的,反映的是一段相當(dāng)長(zhǎng)的時(shí)間內(nèi)歷史數(shù)據(jù)的內(nèi)容,是不同時(shí)點(diǎn)的數(shù)據(jù)庫快照的集合。數(shù)據(jù)倉庫中的數(shù)據(jù)是不可更新的,就應(yīng)用而言,卻并非其中的數(shù)據(jù)一成不變,恰恰相反,數(shù)據(jù)倉庫中的數(shù)據(jù)由于不斷增加新的數(shù)據(jù)內(nèi)容,定期刷新和添加,并剔除已經(jīng)過時(shí)的數(shù)據(jù)內(nèi)容,所以說,其數(shù)據(jù)內(nèi)容是隨時(shí)間而不斷變化的。

2.數(shù)據(jù)倉庫中數(shù)據(jù)的組織結(jié)構(gòu)

數(shù)據(jù)倉庫中的數(shù)據(jù)可分為兩類,(1)按照數(shù)據(jù)的綜合程度(稱之為粒度)分為四個(gè)等級(jí):早期細(xì)節(jié)級(jí)、當(dāng)前細(xì)節(jié)級(jí)、輕度綜合級(jí)、高度綜合級(jí)?!霸獢?shù)據(jù)經(jīng)過綜合后,首先進(jìn)入當(dāng)前細(xì)節(jié)級(jí),并根據(jù)具體需要進(jìn)行進(jìn)一步的綜合從而進(jìn)入輕度綜合級(jí)乃至高度綜合級(jí),老化的數(shù)據(jù)將進(jìn)入早期細(xì)節(jié)級(jí)”。(2)元數(shù)據(jù)(metadata)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)”,它能有效地管理數(shù)據(jù)倉庫,對(duì)元數(shù)據(jù)可從構(gòu)建時(shí)間元數(shù)據(jù)、使用元數(shù)據(jù)、控制元數(shù)據(jù)三個(gè)角度分類分析。數(shù)據(jù)倉庫中的數(shù)據(jù)就是通過粒度劃分和分割進(jìn)行有效地存儲(chǔ)的。

3.相關(guān)的信息開發(fā)工具

要滿足用戶全面、系統(tǒng)、多層次信息需求的目標(biāo),必須借助于數(shù)據(jù)倉庫并建立數(shù)據(jù)倉庫系統(tǒng)才能實(shí)現(xiàn)?!皵?shù)據(jù)倉庫系統(tǒng)是以數(shù)據(jù)倉庫為基礎(chǔ),通過查詢工具和分析工具,完成對(duì)信息的提取,滿足用戶的各種需求”。因此,進(jìn)行復(fù)雜數(shù)據(jù)分析、提供管理決策還必須引入相應(yīng)的數(shù)據(jù)倉庫工具層?!皵?shù)據(jù)倉庫系統(tǒng)是多種技術(shù)的綜合體,由數(shù)據(jù)倉庫、數(shù)據(jù)倉庫管理系統(tǒng)、數(shù)據(jù)倉庫工具三個(gè)部分組成”。數(shù)據(jù)倉庫工具層包括:多維分析工具、數(shù)據(jù)挖掘工具以及可視化工具。多維分析工具主要指聯(lián)機(jī)分析處理(OLAP,On-lineAnalyticalProcessing),“OLAP是針對(duì)特定問題的聯(lián)機(jī)數(shù)據(jù)訪問和分析”。目前,這類產(chǎn)品己經(jīng)有很多了,如BrioQuery,GQL,Impromptu,PowerPlay,Commander,InformationAdvantage等等。數(shù)據(jù)挖掘(DM,DataMining)是一種決策支持過程,它主要基于AI、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)等技術(shù),高度自動(dòng)化地分析原有數(shù)據(jù),做出歸納型的推理,從中挖掘出潛在的信息用于決策。

三、數(shù)據(jù)倉庫技術(shù)在商場(chǎng)(超市)中的應(yīng)用

1.設(shè)備管理

數(shù)據(jù)倉庫化是商場(chǎng)(超市)范圍內(nèi)數(shù)據(jù)的處理過程它將商場(chǎng)(超市)內(nèi)分散的原始操作數(shù)據(jù)和來自外部的數(shù)據(jù)匯集和整理在一起,為商場(chǎng)(超市)提供完整、及時(shí)、準(zhǔn)確和明了的決策信息,有效地服務(wù)于商場(chǎng)(超市)的全方位決策。作為一個(gè)決策支持環(huán)境,DW(DataWarhouse)收集存儲(chǔ)了各種不同數(shù)據(jù)源中的數(shù)據(jù)。通過數(shù)據(jù)的組織給決策支持者提供分布在整個(gè)商場(chǎng)(超市)內(nèi)部跨平臺(tái)的數(shù)據(jù)。在對(duì)設(shè)備管理數(shù)據(jù)倉庫的開發(fā)過程中,首先根據(jù)商場(chǎng)(超市)對(duì)設(shè)備管理的具體要求和設(shè)想,確定數(shù)據(jù)倉庫開發(fā)的目標(biāo),規(guī)劃系統(tǒng)的數(shù)據(jù)范圍和功能制定工作計(jì)劃;然后分階段建立元數(shù)據(jù)模型,主題區(qū)數(shù)據(jù)模型,開發(fā)數(shù)據(jù)倉庫邏輯模型;再根據(jù)邏輯模型設(shè)計(jì)多維數(shù)據(jù)結(jié)構(gòu)維表,在對(duì)源數(shù)據(jù)進(jìn)行分析的基礎(chǔ)上,用數(shù)據(jù)轉(zhuǎn)換程序(DTS)將其轉(zhuǎn)入數(shù)據(jù)倉庫中,最后是對(duì)數(shù)據(jù)倉庫的使用和維護(hù),添刪數(shù)據(jù),擴(kuò)展功能等。

2.財(cái)務(wù)決策支持

典型的財(cái)務(wù)決策問題有:投資決策、籌資決策、成本決策、銷售決策等。

財(cái)務(wù)決策支持系統(tǒng)需要的信息是通過日常業(yè)務(wù)數(shù)據(jù)所體現(xiàn)的整體趨勢(shì),或隨時(shí)間變化而表現(xiàn)出來的變化趨勢(shì),必須對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行分類、析取、歸納、加工等處理才能得到這些信息。對(duì)數(shù)據(jù)信息的這些要求決定了財(cái)務(wù)決策支持系統(tǒng)的數(shù)據(jù)庫有別于普通的業(yè)務(wù)數(shù)據(jù)庫,因此,必須為企業(yè)建立數(shù)據(jù)倉庫以適應(yīng)決策支持系統(tǒng)的要求。

財(cái)務(wù)決策支持系統(tǒng)具有三個(gè)功能:決策、管理和核算。核算,即會(huì)計(jì)功能。在會(huì)計(jì)層,它完成會(huì)計(jì)原始數(shù)據(jù)的收集、記帳、算帳和報(bào)帳的業(yè)務(wù)處理后輸出會(huì)計(jì)信息,同時(shí)將會(huì)計(jì)基礎(chǔ)信息傳輸?shù)焦芾韺印9芾?,即管理信息功能。在管理層,進(jìn)行會(huì)計(jì)基礎(chǔ)信息的分析,并將分析結(jié)果輸出的同時(shí),再送給決策層。決策,即根據(jù)會(huì)計(jì)分析信息和其它管理信息進(jìn)行預(yù)測(cè)、判斷和決策,然后將決策方案下達(dá)到管理層。在管理層進(jìn)行指標(biāo)分解,編制財(cái)務(wù)計(jì)劃,再下達(dá)到核算層,并對(duì)核算層的執(zhí)行過程進(jìn)行控制。

3.管理決策支持

在商場(chǎng)(超市)管理決策支持系統(tǒng)的構(gòu)架方案中,OLTP應(yīng)用系統(tǒng)中的數(shù)據(jù)庫,可分為不同的類型,它是DSS的數(shù)據(jù)來源。大量不同事務(wù)的、可靠的、歷史性的數(shù)據(jù)是建立DW的基礎(chǔ)。OLTP從DW中的可集成數(shù)據(jù)出發(fā),構(gòu)建面向分析的多維數(shù)據(jù)模型,自動(dòng)地發(fā)現(xiàn)數(shù)據(jù)中的潛在模式,并以這些模式為基礎(chǔ)自動(dòng)做出預(yù)測(cè)。DM中挖掘的知識(shí)可以直接用于指導(dǎo)OLAP的分析處理,而OLAP分析得出的新知識(shí)又可以補(bǔ)充到系統(tǒng)的知識(shí)庫中。傳統(tǒng)的DSS往往獨(dú)立地設(shè)計(jì)并實(shí)現(xiàn),將數(shù)據(jù)庫、模型庫和知識(shí)庫,缺乏內(nèi)在的統(tǒng)一性。而數(shù)據(jù)倉庫、聯(lián)機(jī)分析和數(shù)據(jù)挖掘組成的新的DSS,將三庫有力地結(jié)合在一個(gè)多維的數(shù)據(jù)庫中,利用多維分析工具,通過可視化工具將分析結(jié)果呈現(xiàn)給用戶。

4.其他應(yīng)用

4.1提高市場(chǎng)競(jìng)爭(zhēng)力,提升客戶服務(wù)水平。通過建立數(shù)據(jù)倉庫,為客戶資料的統(tǒng)計(jì)分析提供基本的信息源和輔助工具,已成為各個(gè)企業(yè)包括商場(chǎng)提高市場(chǎng)競(jìng)爭(zhēng)能力和客戶服務(wù)水平的關(guān)鍵。

4.2提高管理水平,降低成本,提高效率。隨著市場(chǎng)經(jīng)濟(jì)競(jìng)爭(zhēng)的發(fā)展和反壟斷經(jīng)營(yíng)的推進(jìn),商場(chǎng)(超市)逐漸向規(guī)模化、集約化方向發(fā)展,各個(gè)公司迫切要求提高其自身的管理水平。數(shù)據(jù)倉庫的建立可使企業(yè)更

加及時(shí)、準(zhǔn)確地掌握自身的經(jīng)營(yíng)狀況、資金情況、利潤(rùn)情況、客戶群分布等重要信息。

雖然數(shù)據(jù)倉庫技術(shù)在各個(gè)行業(yè)包括商場(chǎng)(超市)中的應(yīng)用已日漸成熟,但作為商場(chǎng)(超市)不必要模仿其他行業(yè),應(yīng)該根據(jù)自己行業(yè)的特點(diǎn)有針對(duì)性地應(yīng)用數(shù)據(jù)倉庫技術(shù),凸顯自己的行業(yè)優(yōu)勢(shì)。

參考文獻(xiàn):

吳峨,即建軍.財(cái)務(wù)管理決策支持系統(tǒng)的研究。信息系統(tǒng)工程,1995

孫林,張培衢.財(cái)務(wù)數(shù)據(jù)倉庫系統(tǒng)的分析設(shè)計(jì)與實(shí)現(xiàn)。河南師范大學(xué)學(xué)報(bào)(自然科學(xué)版).2000

李海剛.基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘及其在決策系統(tǒng)中的應(yīng)用[J].現(xiàn)代計(jì)算機(jī).2001

李德勇.基于證券交易數(shù)據(jù)的數(shù)據(jù)倉庫的建立及運(yùn)用[J].電腦與信息技術(shù),2001

李靜.創(chuàng)建企業(yè)級(jí)數(shù)據(jù)倉庫的關(guān)鍵技術(shù)[J].計(jì)算機(jī)應(yīng)用研究.2002