大數(shù)據(jù)遷移方案范文
時(shí)間:2023-06-05 17:59:05
導(dǎo)語(yǔ):如何才能寫好一篇大數(shù)據(jù)遷移方案,這就需要搜集整理更多的資料和文獻(xiàn),歡迎閱讀由公務(wù)員之家整理的十篇范文,供你借鑒。
篇1
作為大賽獨(dú)家贊助商的領(lǐng)導(dǎo),IBM大中華區(qū)副總裁兼大中華區(qū)軟件集團(tuán)總經(jīng)理胡世忠表示:“在大數(shù)據(jù)的時(shí)代,DB2引領(lǐng)著下一代數(shù)據(jù)庫(kù)技術(shù)的發(fā)展方向,已經(jīng)成為客戶的首要選擇。越來(lái)越多的全球知名企業(yè)正在將他們的數(shù)據(jù)庫(kù)遷移到IBM的DB2平臺(tái)上來(lái)。IBM還在去年5月在中國(guó)成立了數(shù)據(jù)庫(kù)遷移中心,幫助客戶實(shí)現(xiàn)無(wú)縫遷移,實(shí)現(xiàn)從業(yè)務(wù)價(jià)值評(píng)估到后續(xù)技術(shù)的全方位支持。此外,IBM一如既往地密切關(guān)注廣大技術(shù)開發(fā)者的需求,2011年IBM和全球200多所大學(xué)合作開展了業(yè)務(wù)分析方面的課程,同時(shí)舉辦了1200場(chǎng)現(xiàn)場(chǎng)和在線的大數(shù)據(jù)技能訓(xùn)練營(yíng)?!贝舜蜠B2遷移之星大賽正是IBM對(duì)中國(guó)市場(chǎng)和廣大軟件技術(shù)開發(fā)者的承諾。未來(lái),IBM將與中國(guó)廣大的客戶、合作伙伴、技術(shù)開發(fā)者繼續(xù)攜手合作,共創(chuàng)未來(lái)。
應(yīng)對(duì)需求
呼喚杰出技術(shù)人才
IDC預(yù)計(jì),2012年全球存儲(chǔ)的信息數(shù)據(jù)總量將增長(zhǎng)到2.7ZB,比2011年增長(zhǎng)了48%,值得關(guān)注的是,這些數(shù)據(jù)中90%是非結(jié)構(gòu)化數(shù)據(jù)。中國(guó)電子信息產(chǎn)業(yè)發(fā)展研究院副院長(zhǎng)、中國(guó)計(jì)算機(jī)行業(yè)協(xié)會(huì)常務(wù)副會(huì)長(zhǎng)、中國(guó)計(jì)算機(jī)報(bào)社社長(zhǎng)盧山表示:“未來(lái),大數(shù)據(jù)將會(huì)成為產(chǎn)業(yè)發(fā)展變化的關(guān)鍵點(diǎn)?!彼Y(jié)合大賽將DB2三個(gè)字母做了全新的解釋:“D代表Data,在未來(lái)十年甚至在可以預(yù)見的未來(lái),無(wú)論非結(jié)構(gòu)化數(shù)據(jù)還是結(jié)構(gòu)化數(shù)據(jù),通過(guò)挖掘和再生產(chǎn)都將會(huì)變成信息社會(huì)一個(gè)重要的組成部分;B代表Business,只有完整的商業(yè)模式才能把數(shù)據(jù)變成價(jià)值,為整個(gè)信息社會(huì)反復(fù)利用;2代表中國(guó)軟件和信息服務(wù)業(yè)人才在‘十一五’末期到‘十二五’末期的翻倍變化,預(yù)計(jì)從300萬(wàn)增長(zhǎng)到超過(guò)600萬(wàn)?!?/p>
大數(shù)據(jù)時(shí)代,企業(yè)的數(shù)據(jù)量不僅在以前所未有的速度增長(zhǎng),數(shù)據(jù)的復(fù)雜度也突破了原有的關(guān)系數(shù)據(jù)范疇,給企業(yè)的信息管理增加了難度。中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)名譽(yù)理事長(zhǎng)陳正清表示:“我們非常高興地看到IBM已經(jīng)看到企業(yè)在數(shù)據(jù)管理方面的困境,并提出了解決方案。IBM的系列產(chǎn)品很好地融合了數(shù)據(jù)庫(kù)管理系統(tǒng)、中間件平臺(tái)以及最新的云計(jì)算技術(shù),幫助企業(yè)在海量信息中抓取商業(yè)價(jià)值。而本次大賽也涌現(xiàn)出了很多數(shù)據(jù)庫(kù)領(lǐng)域的技術(shù)精英,他們能夠針對(duì)眾多企業(yè)面臨的困難提供很好的解決方案,并在實(shí)踐中得到驗(yàn)證?!?/p>
大數(shù)據(jù)變革呼喚著越來(lái)越多的軟件工程師脫穎而出,也正是在這樣的一個(gè)大的背景下,主辦方在IBM的支持下組織了IBM DB2遷移之星大賽。中國(guó)軟件行業(yè)協(xié)會(huì)數(shù)據(jù)庫(kù)與應(yīng)用軟件分會(huì)理事長(zhǎng)唐世渭表示:“讓數(shù)據(jù)獲得更大價(jià)值的關(guān)鍵在于人才,而這也正是此次大賽的目的之一――促進(jìn)包括像DB2數(shù)據(jù)庫(kù)工程師在內(nèi)的高端信息人才的成長(zhǎng)和發(fā)展,推動(dòng)我國(guó)信息管理技術(shù)的持續(xù)創(chuàng)新。這次大賽對(duì)促進(jìn)我國(guó)數(shù)據(jù)庫(kù)應(yīng)用事業(yè)的發(fā)展和相關(guān)人才的成長(zhǎng)具有積極的意義和重要的作用?!?/p>
王者勝出
十強(qiáng)獎(jiǎng)項(xiàng)各有歸屬
2011 IBM DB2遷移之星大賽為中國(guó)企業(yè)程序員和數(shù)據(jù)庫(kù)管理員們一個(gè)展現(xiàn)自己、表現(xiàn)自我的舞臺(tái)。通過(guò)舉辦本次賽事,能夠推動(dòng)數(shù)據(jù)庫(kù)工程師和數(shù)據(jù)庫(kù)管理員甚至數(shù)據(jù)庫(kù)產(chǎn)業(yè)重新理解新的計(jì)算理念,推廣新技術(shù),推動(dòng)各方共同進(jìn)步。而本次大賽選拔出的一批大優(yōu)秀的數(shù)據(jù)庫(kù)工程師也將在未來(lái)逐步發(fā)展成為這個(gè)產(chǎn)業(yè)的技術(shù)帶頭人和產(chǎn)業(yè)帶頭人。
據(jù)悉,本次大賽歷時(shí)半年,參賽選手達(dá)到2163名,覆蓋金融、電信、政府、制造、醫(yī)療、零售等行業(yè)的數(shù)據(jù)庫(kù)工程師和管理員以及獨(dú)立軟件開發(fā)商、系統(tǒng)集成商中的技術(shù)精英。經(jīng)過(guò)嚴(yán)格的初賽、復(fù)賽,最終有十支隊(duì)伍闖入決賽。這十支隊(duì)伍分別來(lái)自有實(shí)際數(shù)據(jù)庫(kù)遷移經(jīng)驗(yàn)的行業(yè)用戶,以及系統(tǒng)集成商、獨(dú)立軟件開發(fā)商。進(jìn)入決賽的團(tuán)隊(duì)都將獲得豐厚的獎(jiǎng)金,冠亞季軍團(tuán)隊(duì)還將獲得去美國(guó)參觀考察的機(jī)會(huì)。
經(jīng)過(guò)3月14日一整天決賽的激烈角逐,在2011 IBM DB2遷移之星大賽頒獎(jiǎng)典禮現(xiàn)場(chǎng),各項(xiàng)獎(jiǎng)項(xiàng)最終揭曉。大賽評(píng)委會(huì)主席、原中國(guó)軟件行業(yè)協(xié)會(huì)理事長(zhǎng)陳沖為冠軍團(tuán)隊(duì)開獎(jiǎng),最終,冠軍團(tuán)隊(duì)由來(lái)自北京普遠(yuǎn)天成、北京速通和杭州新世紀(jì)的四名技術(shù)精英共同組成的飛天隊(duì)獲得。亞軍由招商銀行五名技術(shù)精英組成的金葵花隊(duì)獲得,季軍則由中信銀行兩名技術(shù)精英組成的中信數(shù)據(jù)庫(kù)隊(duì)獲得。其余七支隊(duì)伍獲得了優(yōu)秀團(tuán)隊(duì)獎(jiǎng)。
迎接挑戰(zhàn)
實(shí)現(xiàn)數(shù)據(jù)庫(kù)平臺(tái)遷移
據(jù)悉,DB2數(shù)據(jù)庫(kù)工程師大賽已經(jīng)舉辦三屆,從第一屆大賽以尋找杰出數(shù)據(jù)庫(kù)工程師為主題,到本屆大賽以數(shù)據(jù)庫(kù)遷移為主題,體現(xiàn)了DB2在大數(shù)據(jù)時(shí)代的進(jìn)取心:用DB2可以平滑地取代其他數(shù)據(jù)庫(kù)引擎。
然而,遷移是一項(xiàng)系統(tǒng)工程,遷移風(fēng)險(xiǎn)的評(píng)估、遷移割接、遷移前的模擬演練、對(duì)不同數(shù)據(jù)庫(kù)特性的熟悉程度,都影響到遷移實(shí)施的成功與否。這就需要遷移后的平臺(tái)能夠具有豐富的遷移支持功能和獨(dú)特的商業(yè)價(jià)值。IBM副總裁兼DB2數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)開發(fā)總經(jīng)理Judy Huber表示:“IBM的DB2產(chǎn)品有許多獨(dú)特的價(jià)值優(yōu)勢(shì),包括低運(yùn)營(yíng)成本、卓越的系統(tǒng)性能、無(wú)限延展性以及高可用性等。特別值得一提的是,選擇DB2能夠使用戶非常便捷地從其他的數(shù)據(jù)庫(kù)技術(shù)遷移到DB2平臺(tái),同時(shí)可以大大簡(jiǎn)化應(yīng)用開發(fā)。DB2能夠幫助全球的客戶在遷移策略中以最小的風(fēng)險(xiǎn)利用DB2各種價(jià)值優(yōu)勢(shì),有效支持客戶的多元化戰(zhàn)略,充分利用IBM全信息生命周期系列產(chǎn)品的優(yōu)勢(shì),以及數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)的優(yōu)勢(shì)?!睘榱藨?yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn),IBM推出針對(duì)大數(shù)據(jù)的全面解決方案,突破了傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)和單一的數(shù)據(jù)管理體系,實(shí)現(xiàn)更為經(jīng)濟(jì)高效的大數(shù)據(jù)管理,并為企業(yè)提供重要的業(yè)務(wù)分析和洞察。
IBM軟件集團(tuán)大中華區(qū)數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)銷售總監(jiān)陳文玉則分享了DB2應(yīng)用的成功案例,她表示:“DB2的特性讓用戶可以輕松地從其他系統(tǒng)快速地遷移過(guò)來(lái),而不需要改變太多系統(tǒng)的設(shè)置。這也是這次比賽的精神,它向大家證明從其他數(shù)據(jù)庫(kù)到DB2的遷移工作是非常容易的。越來(lái)越多的全球知名客戶已經(jīng)從其他數(shù)據(jù)庫(kù)遷移到DB2的平臺(tái)上來(lái)?!北热缈煽诳蓸?lè)瓶裝公司通過(guò)將數(shù)據(jù)庫(kù)遷移到DB2,由于采用DB2深度壓縮技術(shù)存儲(chǔ)需求降低了30%,整體供應(yīng)鏈效率提升65%。
可以說(shuō),IBM的大數(shù)據(jù)解決方案提供了大數(shù)據(jù)領(lǐng)域最全面的技術(shù)和產(chǎn)品組合,實(shí)現(xiàn)了針對(duì)大數(shù)據(jù)管理的企業(yè)級(jí)的可靠性和適應(yīng)性實(shí)施分析。在大數(shù)據(jù)的時(shí)代DB2引領(lǐng)著下一代數(shù)據(jù)庫(kù)技術(shù)的發(fā)展方向,在大容量數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、數(shù)據(jù)壓縮、兼容性、數(shù)據(jù)分析,在這些領(lǐng)域DB2已經(jīng)成為擁有著明顯的優(yōu)勢(shì)。
冠軍團(tuán)隊(duì):飛天隊(duì)
賽后,來(lái)自北京普遠(yuǎn)天成的隊(duì)長(zhǎng)徐明偉認(rèn)為這次決賽的題目非常具有實(shí)戰(zhàn)性?!拔覀兊膱F(tuán)隊(duì)在運(yùn)營(yíng)商方面的經(jīng)驗(yàn)比較多,對(duì)數(shù)據(jù)庫(kù)的維護(hù)、性能調(diào)優(yōu)、擴(kuò)容以及培訓(xùn)參與方面都有所涉及。”他表示,“團(tuán)隊(duì)成員分工密切,優(yōu)勢(shì)互補(bǔ)。基于不同的DB2版本,我們參與過(guò)很多數(shù)據(jù)庫(kù)遷移項(xiàng)目,這是很有幫助的?!?/p>
徐明偉認(rèn)為DB2目前的版本在功能方面實(shí)現(xiàn)了極大的擴(kuò)展,大部分功能已經(jīng)能夠?qū)崿F(xiàn)與Oracle的兼容,有一些功能實(shí)際上已經(jīng)完全相同,只是在名稱上有所區(qū)別。在關(guān)鍵業(yè)務(wù)方面,結(jié)合power的一體化策略使得DB2能夠更好地發(fā)揮整體性能,針對(duì)全天候的業(yè)務(wù)環(huán)境和需求,DB2在穩(wěn)定性方面確實(shí)做得很好。
在談到希望DB2改進(jìn)的方面時(shí),來(lái)自杭州新世紀(jì)的隊(duì)員麥志斌表示:“希望DB2在開發(fā)工具上能做的更好,注意到實(shí)際應(yīng)用中包括鎖、排序、參數(shù)優(yōu)化等在內(nèi)的一些細(xì)節(jié)性的問(wèn)題。如果能加以改進(jìn),DB2的適用性會(huì)進(jìn)一步擴(kuò)展,基于DB2的開發(fā)應(yīng)用也會(huì)更加方便、高效?!彪S著DB2版本的不斷更新,功能越來(lái)越多,會(huì)有更多成功的應(yīng)用和案例出現(xiàn),飛天隊(duì)看好DB2的發(fā)展前景。
最終飛天隊(duì)獲得了本次決賽的冠軍。隊(duì)長(zhǎng)徐明偉表示,這是團(tuán)隊(duì)的力量。隊(duì)員管偉來(lái)自北京速通、麥志斌、陳艷來(lái)自另外兩家不同的公司,他們?cè)跀?shù)據(jù)庫(kù)遷移方面都有豐富的經(jīng)驗(yàn)。希望以后還能參加這樣的比賽。
亞軍團(tuán)隊(duì):金葵花隊(duì)
在比賽過(guò)程中,每次跟金葵花隊(duì)溝通,都能感受到他們對(duì)本次大賽的認(rèn)真態(tài)度和對(duì)數(shù)據(jù)庫(kù)遷移技術(shù)的激情。隊(duì)長(zhǎng)楊盛告訴記者,他們團(tuán)隊(duì)的成員各有所長(zhǎng),配合默契,“團(tuán)隊(duì)成員楊盛、隆、林耘毅、莫淡先、王漢福分別負(fù)責(zé)開發(fā)、架構(gòu)設(shè)計(jì)、數(shù)據(jù)庫(kù)等不同方面。遇到了問(wèn)題,就在一起討論,展開頭腦風(fēng)暴。盡管沒能獲得冠軍,有點(diǎn)小遺憾,但獲得亞軍也非常高興。感謝IBM和主辦方能給予我們這個(gè)展示自我的平臺(tái)?!?/p>
隊(duì)員莫淡先稱,決賽時(shí),評(píng)委的問(wèn)題都一針見血,非常到位。專家們提出,銀行數(shù)據(jù)庫(kù)業(yè)務(wù)的維護(hù)和開發(fā),招商銀行的工作應(yīng)該實(shí)現(xiàn)標(biāo)準(zhǔn)化,讓他們非常受啟發(fā)。因?yàn)榇饲?,他們也在這方面進(jìn)行嘗試,但是進(jìn)展不明顯,原因是數(shù)據(jù)庫(kù)遷移涉及運(yùn)維、開發(fā)、廠商支持等各個(gè)方面,要做一項(xiàng)遷移的工程,所有的部門都要參與其中,所以比較復(fù)雜。而降低遷移的復(fù)雜性,推廣遷移的方式方法和成功案例,也正是舉辦此次DB2遷移之星大賽的目的之一。
決賽期間,通過(guò)跟其他選手交流,了解到了國(guó)內(nèi)頂尖水平的選手都在做些什么,“不再埋頭苦干了”。隊(duì)長(zhǎng)楊盛建議主辦方多舉辦一些類似活動(dòng),讓更多選手參與進(jìn)來(lái),給更多DB2愛好者和數(shù)據(jù)庫(kù)工程師提供切磋的機(jī)會(huì)。
季軍團(tuán)隊(duì):中信數(shù)據(jù)庫(kù)隊(duì)
中信數(shù)據(jù)庫(kù)隊(duì)隊(duì)長(zhǎng)唐志剛在參加決賽時(shí)自信滿滿。他表示,2011年中信銀行剛完成一個(gè)遷移案例,是從Oracle到DB2的遷移。在實(shí)際的應(yīng)用中,會(huì)使用不同平臺(tái)和類型的數(shù)據(jù)庫(kù)。目前中信銀行的主流數(shù)據(jù)庫(kù)應(yīng)用是DB2。在銀行的交易系統(tǒng)中,可能的高并發(fā)請(qǐng)求對(duì)于數(shù)據(jù)庫(kù)的穩(wěn)定性和可用性要求非常高。IBM在軟硬件結(jié)合方面做得非常好,DB2數(shù)據(jù)庫(kù)應(yīng)用與小型機(jī)的結(jié)合很緊密,在性能方面能夠提供契合銀行應(yīng)用實(shí)際的強(qiáng)大支持。
在談到數(shù)據(jù)庫(kù)開發(fā)應(yīng)用時(shí),唐志剛認(rèn)為,DB2在核心性能方面很優(yōu)秀,開發(fā)工具的管理和界面只是一個(gè)形式。如果能夠提供更加友好和人性化的界面,在開發(fā)層面會(huì)有一定的好處,開發(fā)者的使用會(huì)更加方便,在開發(fā)速度方面也會(huì)有所提升。
唐志剛和隊(duì)員王清鋒表示:“DB2的設(shè)計(jì)理念是非常前端的,未來(lái)DB2 應(yīng)在Purescale集群技術(shù)方面進(jìn)一步完善,產(chǎn)品應(yīng)該進(jìn)一步擴(kuò)展,提供更加開放的數(shù)據(jù)平臺(tái)。在文檔的共享方面希望開放一些底層的內(nèi)容,也希望DB2能向更多的行業(yè)領(lǐng)域擴(kuò)展??傮w來(lái)講,IBM的技術(shù)理念是非常先進(jìn)的,已經(jīng)在適應(yīng)云計(jì)算、大數(shù)據(jù)等潮流的數(shù)據(jù)庫(kù)發(fā)展模式方面開展了很多積極的探索,看好DB2以后的發(fā)展?!?/p>
SuperwinningTeam
SuperwinningTeam是第一支進(jìn)行決賽的參賽隊(duì)伍。賽后,來(lái)自北京人大金倉(cāng)的隊(duì)長(zhǎng)華表示:“這次決賽,我們?cè)陬}目的準(zhǔn)備上還是比較充分的,遺憾的是在PPT的展示和講解的方式上控制得不太好,在時(shí)間的控制方面也沒有做好,關(guān)注的技術(shù)細(xì)節(jié)太多,一些核心的內(nèi)容沒有在規(guī)定的時(shí)間內(nèi)展示出來(lái)?!?/p>
在談到DB2的應(yīng)用感受時(shí),華認(rèn)為,DB2目前在數(shù)據(jù)倉(cāng)庫(kù)整合方面已經(jīng)做得很好,在數(shù)據(jù)庫(kù)應(yīng)用性方面與Oracle相比也已經(jīng)差別不大,只是有一些功能在名稱上有所不同,在一些應(yīng)用特性上DB2已經(jīng)超過(guò)了Oracle。對(duì)于未來(lái)DB2的發(fā)展,來(lái)自AVG的隊(duì)員高睿峰表示希望在資料共享以及聯(lián)機(jī)幫助方面有所改進(jìn),目前的資料和文檔范圍太廣泛,如果能進(jìn)行有針對(duì)性的整合,會(huì)更便于大家了解和使用。
信總軟件DB2遷移隊(duì)
決賽的幾天里,信總軟件DB2遷移隊(duì)的隊(duì)長(zhǎng)柏征和來(lái)自濟(jì)南市歷城區(qū)農(nóng)業(yè)局的隊(duì)員王艷一直非常謙虛。決賽結(jié)束接受采訪時(shí),他語(yǔ)帶感慨地告訴本報(bào)記者,此行收獲非常大。從專家的點(diǎn)評(píng)中,他感受到“自己欠缺的知識(shí)還有很多”。“以前,我們都是為了完成項(xiàng)目查閱一些資料,獲取資料的形式是‘快餐式’的,只要能解決問(wèn)題即可。”柏征稱,通過(guò)此次比賽,“我們感覺到了理論的重要性,實(shí)踐必須要有理論作支撐,然后再到實(shí)踐中去驗(yàn)證”。
信總軟件DB2遷移隊(duì)的遷移方案來(lái)自于單位實(shí)踐。目前,信總軟件DB2遷移隊(duì)隊(duì)長(zhǎng)柏征所在的單位山東信總計(jì)算機(jī)軟件開發(fā)有限公司的IT系統(tǒng)中,小型機(jī)、數(shù)據(jù)庫(kù)和應(yīng)用產(chǎn)品,都選擇的是IBM。因此,柏征對(duì)DB2的應(yīng)用開發(fā)比較了解。但由于單位非常忙,既要做開發(fā),又要做數(shù)據(jù)庫(kù),甚至還得負(fù)責(zé)維護(hù),柏征稱他沒有時(shí)間對(duì)這些產(chǎn)品進(jìn)行深入研究。由于技術(shù)人員缺乏,平時(shí)遇到問(wèn)題,很難像其他參賽團(tuán)隊(duì)那樣,可以討論問(wèn)題,可以溝通解決方案,只能靠自己。所以,“我們很希望能夠跟其他選手多多溝通,非常珍惜這次跟專家、選手面對(duì)面交流的機(jī)會(huì)”。
CPIC_DB隊(duì)
CPIC_DB隊(duì)的隊(duì)長(zhǎng)段家生看起來(lái)非常內(nèi)向,沉默寡言,但是當(dāng)談到數(shù)據(jù)庫(kù)技術(shù),談到比賽以及能夠和這么多專家面對(duì)面,段家生的話匣子一下子打開了,講起來(lái)滔滔不絕。他告訴記者,盡管單位數(shù)據(jù)的量并不是很大,但是DB2的每一個(gè)版本,他都應(yīng)用過(guò)。決賽中,他和他的團(tuán)隊(duì)對(duì)遷移方案進(jìn)行了詳細(xì)的測(cè)試,并且希望IBM后續(xù)的DB2版本能幫助他們加快遷移的速度。
段家生還告訴記者,從加快數(shù)據(jù)庫(kù)用戶從Orcale到DB2的遷移速度的角度看,他們希望IBM能夠共享出來(lái)更多資料供開發(fā)者和數(shù)據(jù)庫(kù)愛好者下載,在不涉及信息泄露的情況下,希望能有針對(duì)用戶的更多、更細(xì)節(jié)的問(wèn)題說(shuō)明。比如,一張遷移列表,數(shù)據(jù)類型是什么,會(huì)碰到什么問(wèn)題,該如何解決等,通過(guò)這種分享,幫助用戶建立一個(gè)知識(shí)庫(kù)。
能夠跟專家和其他選手進(jìn)行交流,是隊(duì)員劉朝此行最高興的事情。他告訴記者:“我希望能夠聊一些一線用戶對(duì)數(shù)據(jù)庫(kù)本身的要求,例如對(duì)大容量、可用性的需求等,希望能夠聽聽專家的意見?!?/p>
SeniorVision隊(duì)
SeniorVision隊(duì)隊(duì)長(zhǎng)王翔表示,在實(shí)際的工作中涉及到數(shù)據(jù)庫(kù)遷移的實(shí)例還是比較多的。這次比賽的感覺明顯與前兩屆不一樣,選擇一個(gè)固定行業(yè)進(jìn)行常用的數(shù)據(jù)庫(kù)配置,對(duì)于選手的要求更高?!皼Q賽案例設(shè)計(jì)得非常好。對(duì)于我們來(lái)說(shuō),可以將以前工作中的數(shù)據(jù)遷移經(jīng)驗(yàn)做一個(gè)總結(jié):如何以一種可重復(fù)的、模塊化的方式進(jìn)行數(shù)據(jù)遷移,不僅僅局限于表層的數(shù)據(jù)遷移,同時(shí)還能對(duì)不同類型數(shù)據(jù)庫(kù)的特性有更好的理解,在這方面收獲很大?!?基于開放式的環(huán)境,DB2的pure xml功能對(duì)于大規(guī)模的數(shù)據(jù)交換能夠提供很好的支持。
在談到對(duì)未來(lái)DB2大賽的期待時(shí),王翔和隊(duì)員皇甫鑫霖、趙玉霞表示,希望大賽能沿用現(xiàn)在的思路,不要從純技術(shù)的角度考量,而是更多地與企業(yè)業(yè)務(wù)需求相結(jié)合,此外還希望在行業(yè)的領(lǐng)域方面能打破限制,更加擴(kuò)寬一些。
啟明3隊(duì)
啟明3隊(duì)的成員都是共事多年的同事,配合非常默契。在比賽前,他們堅(jiān)信這是他們獲勝最有利的籌碼,并且一定能夠沖進(jìn)三甲。但是,從決賽賽場(chǎng)出來(lái),隊(duì)長(zhǎng)劉文斌很久都沒能回過(guò)神來(lái),始終沉浸在比賽中。他告訴本報(bào)記者,因?yàn)楸容^緊張,所以一些問(wèn)題沒有回答得很好,評(píng)委的反應(yīng)不是很熱烈,感覺有點(diǎn)遺憾,對(duì)于回答情況的好壞,他們心里也沒底。
不過(guò),劉文斌和隊(duì)員楊立影、鄭偉稱,這次比賽的北京之行,“主要是非常希望能有機(jī)會(huì)跟其他選手交流。在整個(gè)比賽中,通過(guò)論壇關(guān)注其他技術(shù)開發(fā)人員的關(guān)注點(diǎn),真是開闊了眼界”。另外,在工作中,啟明3隊(duì)隊(duì)員都曾經(jīng)應(yīng)用過(guò)DB2,比賽中,更感受到了它在穩(wěn)定性方面的表現(xiàn)非常突出,并具有資源配置的靈活性。通過(guò)這次比賽,他們重新學(xué)習(xí)了數(shù)據(jù)庫(kù)相關(guān)知識(shí),知識(shí)面得到了擴(kuò)充。劉文斌稱:“我們感受到這個(gè)行業(yè)發(fā)展的迅速,有許多先進(jìn)的DB2技術(shù)將越來(lái)越多地應(yīng)用到我們以后的實(shí)踐中去?!?/p>
Zolinn隊(duì)
賽后,隊(duì)員張春林表示,題目在設(shè)計(jì)上非常貼合實(shí)際。從應(yīng)用層面看,DB2在數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)上有很大的優(yōu)勢(shì),其架構(gòu)更適合于大規(guī)模的數(shù)據(jù)處理。在實(shí)際應(yīng)用中,有一些用戶使用的是混合的數(shù)據(jù)庫(kù)環(huán)境,這可能是出于平衡的考慮,不希望將數(shù)據(jù)庫(kù)應(yīng)用限制在一個(gè)平臺(tái)上,因此從實(shí)際操作的角度看,基于不同數(shù)據(jù)庫(kù)的遷移案例也非常多。DB2在運(yùn)維管理上有一些獨(dú)到的特點(diǎn),它的壓縮功能能夠減少磁盤空間的占用。在實(shí)際的測(cè)試過(guò)程中,DB2對(duì)CPU等資源的消耗相比于其他數(shù)據(jù)庫(kù)也有優(yōu)勢(shì)。從管理角度看,DB2提供的工具比較多,用戶在實(shí)際使用上有一點(diǎn)不太適應(yīng)。工具的重合度比較高。如果能整合工具,修改界面風(fēng)格,用戶的體驗(yàn)會(huì)更好。在事務(wù)處理性能,包括可視化的監(jiān)控等方面,希望DB2提供一些基于內(nèi)核的改進(jìn),這些方面有改進(jìn)和提高的余地。
隊(duì)長(zhǎng)李寧寧認(rèn)為,DB2的purescale機(jī)制具有更高的可靠性,是一個(gè)比較高端的應(yīng)用方向和思路,適合于大規(guī)模的數(shù)據(jù)處理。未來(lái)希望IBM能更加開放,為開源、大數(shù)據(jù)等趨勢(shì)提供更多適應(yīng)性的方案。
DataBaser隊(duì)
篇2
隨著大數(shù)據(jù)在醫(yī)療與生命科學(xué)研究過(guò)程中的廣泛應(yīng)用和不斷擴(kuò)展,其數(shù)量之大和種類之多令人難以置信。比如,一個(gè)CT圖像含有大約150MB的數(shù)據(jù),而一個(gè)基因組序列文件大小約為750MB, 一個(gè)標(biāo)準(zhǔn)的病理圖則大得多,接近5 GB。如果將這些數(shù)據(jù)量乘以人口數(shù)量和平均壽命,僅一個(gè)社區(qū)醫(yī)院或一個(gè)中等規(guī)模制藥企業(yè)就可以生成和累積達(dá)數(shù)個(gè)TB甚至數(shù)個(gè)PB級(jí)的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
在中國(guó),2010年,國(guó)家公布的“十二五”規(guī)劃中指出要重點(diǎn)建設(shè)國(guó)家級(jí)、省級(jí)和地市級(jí)三級(jí)衛(wèi)生信息平臺(tái),建設(shè)電子檔案和電子病歷兩個(gè)基礎(chǔ)數(shù)據(jù)庫(kù)等諸項(xiàng)目標(biāo),也就是推進(jìn)醫(yī)療信息化的“3521”工程。
過(guò)去由于缺少統(tǒng)一的電子病歷系統(tǒng)(EMR)標(biāo)準(zhǔn),中國(guó)的電子病歷系統(tǒng)發(fā)展比較緩慢,醫(yī)院之間不能實(shí)現(xiàn)病患信息共享,醫(yī)療服務(wù)水平也因此受到影響。
為改善這一現(xiàn)狀,國(guó)家會(huì)逐漸加大對(duì)電子病歷的投入。適應(yīng)這一趨勢(shì),各級(jí)醫(yī)院也將加大在數(shù)據(jù)中心、IT外包等領(lǐng)域的投入。而隨著醫(yī)療信息數(shù)據(jù)的幾何倍數(shù)增長(zhǎng),醫(yī)院信息存儲(chǔ)將越來(lái)越受到重視,醫(yī)療信息中心的關(guān)注點(diǎn)也將由傳統(tǒng)計(jì)算領(lǐng)域轉(zhuǎn)移到存儲(chǔ)領(lǐng)域上來(lái)。
有弊就有利
對(duì)于許多醫(yī)療和生命科學(xué)機(jī)構(gòu)而言,努力控制大數(shù)據(jù)造成的呈螺旋上漲的成本、復(fù)雜性和風(fēng)險(xiǎn)已經(jīng)成為一個(gè)至關(guān)重要的問(wèn)題。然而,從另一個(gè)角度來(lái)看,醫(yī)療大數(shù)據(jù)能夠帶來(lái)的收益要遠(yuǎn)遠(yuǎn)超出管理它們的成本,如開放新的具有醫(yī)療價(jià)值的信息源,提高診斷準(zhǔn)確性和速度,預(yù)測(cè)疾病和健康形態(tài),以及取得生命科學(xué)創(chuàng)新的不同見解。美國(guó)管理咨詢公司麥肯錫全球研究院(MGI)預(yù)測(cè),如果美國(guó)的醫(yī)療行業(yè)能夠有效利用不斷增長(zhǎng)的大數(shù)據(jù)來(lái)提高效率和質(zhì)量,那么每年可創(chuàng)造超過(guò)3000億美元的額外價(jià)值。而且,在歐洲的發(fā)達(dá)國(guó)家中,僅在提高運(yùn)行效率一項(xiàng)上,政府行政管理部門就可以利用大數(shù)據(jù)節(jié)省1000億歐元以上的費(fèi)用。
任何事物都有兩面性。醫(yī)療大數(shù)據(jù)的確對(duì)數(shù)據(jù)管理、存儲(chǔ)、分布和保護(hù)等諸多方面形成挑戰(zhàn)。但是,對(duì)于大多數(shù)成功的醫(yī)療機(jī)構(gòu)來(lái)說(shuō),利用大數(shù)據(jù)已經(jīng)成為提高生產(chǎn)力、改進(jìn)護(hù)理水平、增強(qiáng)競(jìng)爭(zhēng)力、加快增長(zhǎng)和創(chuàng)新的關(guān)鍵策略。那么,我們?cè)撊绾卧趦煞矫孢M(jìn)行平衡,實(shí)現(xiàn)可觀的效果和利潤(rùn)呢?
答案存在于數(shù)據(jù)經(jīng)濟(jì)學(xué)中,即如何使從數(shù)據(jù)中獲取價(jià)值的成本低于數(shù)據(jù)能產(chǎn)生的效益。如果我們能夠有效地將數(shù)據(jù)存儲(chǔ)、處理和保護(hù)成本降至極低,然后利用尖端技術(shù)將數(shù)據(jù)轉(zhuǎn)化成支持臨床需要與業(yè)務(wù)增長(zhǎng)的可執(zhí)行信息,我們就能實(shí)現(xiàn)極高的數(shù)據(jù)經(jīng)濟(jì)效益。
醫(yī)療大數(shù)據(jù)的挑戰(zhàn)
然而,如何有效地將大數(shù)據(jù)存儲(chǔ)成本降至最低,是企業(yè)和IT領(lǐng)導(dǎo)者,尤其是內(nèi)容驅(qū)動(dòng)的醫(yī)療和生命科學(xué)企業(yè)面臨的根本性挑戰(zhàn)。因?yàn)槌藬?shù)據(jù)數(shù)量和形態(tài)的迅速增加,醫(yī)療數(shù)據(jù)還需要越來(lái)越長(zhǎng)的保留期?;颊叩牟v可能需要保存70或80年,甚至更長(zhǎng)。許多情況下,病歷還必須以原始格式永久保存,以滿足法規(guī)遵從的要求。同樣,生命科學(xué)研究機(jī)構(gòu)有選擇性地選擇價(jià)值足以保留和維護(hù)數(shù)十年的數(shù)據(jù),以期為新研究提供依據(jù)。
另外,許多醫(yī)療與生命科學(xué)研究機(jī)構(gòu)在竭力應(yīng)對(duì)資源緊張、持續(xù)的業(yè)務(wù)增長(zhǎng)和新醫(yī)療技術(shù)帶來(lái)的挑戰(zhàn)。不斷變化的外部環(huán)境常常造成醫(yī)療機(jī)構(gòu)存儲(chǔ)架構(gòu)的無(wú)序擴(kuò)張,多種系統(tǒng)和工具并存,使得管理變得更加復(fù)雜。
事實(shí)上,存儲(chǔ)消費(fèi)速度加快,存儲(chǔ)資產(chǎn)未得到充分利用,對(duì)空間的持續(xù)需求以及動(dòng)力和冷卻成本的增加,都推動(dòng)了總體擁有成本的不斷攀升。而且,一旦存儲(chǔ)系統(tǒng)的安全性出現(xiàn)問(wèn)題,導(dǎo)致醫(yī)療數(shù)據(jù)丟失,醫(yī)院會(huì)面臨更嚴(yán)重的局面。對(duì)于研究機(jī)構(gòu)來(lái)說(shuō),數(shù)據(jù)存取是創(chuàng)新和競(jìng)爭(zhēng)力的核心。這樣看來(lái),文件數(shù)據(jù)不斷增長(zhǎng)導(dǎo)致的管理成本提升被認(rèn)為是當(dāng)今全球著名公司面臨的五大難題之一,這種結(jié)論就不足為奇了。
醫(yī)療行業(yè)大數(shù)據(jù)理想基礎(chǔ)架構(gòu)
要實(shí)現(xiàn)高額數(shù)據(jù)經(jīng)濟(jì)效益,關(guān)鍵是能夠?qū)ΠńY(jié)構(gòu)性數(shù)據(jù)和非結(jié)構(gòu)性數(shù)據(jù)在內(nèi)的所有醫(yī)療大數(shù)據(jù)進(jìn)行集成,實(shí)現(xiàn)集中管理和更好的資源配置。
為了整合醫(yī)院不同部門或不同生命科學(xué)系統(tǒng)的大數(shù)據(jù),實(shí)現(xiàn)充分的信息搜索和共享,理想的存儲(chǔ)架構(gòu)必須是一個(gè)適用于塊數(shù)據(jù)、文件和內(nèi)容的集成系統(tǒng),并且擁有強(qiáng)大的容量、性能和吞吐量,在處理、移動(dòng)和訪問(wèn)多個(gè)大型數(shù)據(jù)集和大量數(shù)據(jù)(數(shù)量常常達(dá)到數(shù)個(gè)TB甚至是PB)時(shí)能夠保持運(yùn)行的一致性。為了盡量降低存儲(chǔ)成本并滿足臨床業(yè)務(wù)需要,理想的存儲(chǔ)架構(gòu)還必須支持臨床創(chuàng)新的數(shù)據(jù)互操作性,必須能夠?qū)崿F(xiàn)智能分層,根據(jù)訪問(wèn)頻率、臨床價(jià)值和實(shí)際存儲(chǔ)成本自動(dòng)完成數(shù)據(jù)分布。這種動(dòng)態(tài)分層功能有助于進(jìn)一步提高容量利用和資源配置水平,從而全面優(yōu)化存儲(chǔ)資源的成本效率。
此外,醫(yī)療與生命科學(xué)研究機(jī)構(gòu)要求大量的存儲(chǔ)空間和動(dòng)態(tài)擴(kuò)展能力,以便處理不斷增長(zhǎng)但無(wú)法預(yù)測(cè)的數(shù)據(jù)和圖像,以達(dá)到高水平的合規(guī)性要求,保證遵從關(guān)于數(shù)據(jù)長(zhǎng)期保留、完整性和數(shù)據(jù)保護(hù)的政策。最重要的是,一個(gè)適當(dāng)?shù)拇鎯?chǔ)系統(tǒng)必須具有內(nèi)容感知能力,能夠?qū)?shù)據(jù)轉(zhuǎn)化為可執(zhí)行信息。
內(nèi)容感知是指動(dòng)態(tài)地進(jìn)行信息分類并為非結(jié)構(gòu)化數(shù)據(jù)文件分配策略,將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為有價(jià)值的信息,從而能夠采用最佳方式,更快進(jìn)行決策并保護(hù)公司敏感數(shù)據(jù)。
HDS文件和內(nèi)容解決方案
HDS文件和內(nèi)容解決方案由Hitachi Content Platform、Hitachi NAS Platform、Hitachi Data Discovery Suite 以及Hitachi Data Ingestor組成,可以滿足在醫(yī)療和生命科學(xué)研究領(lǐng)域中存儲(chǔ)、管理、保護(hù)和搜索各類數(shù)據(jù)嚴(yán)苛的要求,無(wú)論這些數(shù)據(jù)是PDF文件、醫(yī)學(xué)影像還是病患人口數(shù)據(jù)。另外,Hitachi Clinical Repository(HCR)為管理業(yè)務(wù)和健康數(shù)據(jù)、固定內(nèi)容和圖像,應(yīng)對(duì)DICOM/HL7數(shù)據(jù)讀取、數(shù)據(jù)整合、數(shù)據(jù)挖掘和數(shù)據(jù)分布這些獨(dú)特挑戰(zhàn)而設(shè)計(jì)的。它由Hitachi Content Platform(HCP)和DICOM/HL7網(wǎng)關(guān)組成,可基于HDS平臺(tái)、客戶解決方案或合作伙伴的應(yīng)用平臺(tái)使用。這些解決方案所具有的獨(dú)特功能包括:
集成存儲(chǔ) ——文件、內(nèi)容和塊服務(wù)在單一管理界面中融合。通過(guò)跨平臺(tái)創(chuàng)建存儲(chǔ)池和利用虛擬化,客戶可以簡(jiǎn)化管理,提高利用水平,并恢復(fù)或延長(zhǎng)現(xiàn)有資產(chǎn)的使用壽命。
智能分層——?jiǎng)討B(tài)分層存儲(chǔ)架構(gòu)通過(guò)預(yù)定義存儲(chǔ)層、數(shù)據(jù)索引和制定自動(dòng)將數(shù)據(jù)遷移到對(duì)應(yīng)層的策略,管理基于文件的數(shù)據(jù)(如PDF文件或醫(yī)學(xué)影像)。通過(guò)自動(dòng)將活躍數(shù)據(jù)遷移到適當(dāng)?shù)钠脚_(tái),你可以優(yōu)化磁盤要求(例如在低成本的SATA硬盤里存儲(chǔ)更多數(shù)據(jù),同時(shí)減少在費(fèi)用高昂的光纖通道、SAS或固態(tài)硬盤(SSD)上存儲(chǔ)數(shù)據(jù))。這一策略根據(jù)精確的業(yè)務(wù)運(yùn)行需求管理內(nèi)容,不僅使文件和內(nèi)容存儲(chǔ)更有效、更加智能化,還提高了整個(gè)存儲(chǔ)系統(tǒng)的成本效率。
存儲(chǔ)優(yōu)化——?jiǎng)討B(tài)分層使閑置容量可以輕松得到再利用,重新確定現(xiàn)有資產(chǎn)用途以延長(zhǎng)使用壽命,并自動(dòng)將非活躍數(shù)據(jù)遷移到具有復(fù)制功能的內(nèi)容倉(cāng)庫(kù)。這使容量效率和利用率達(dá)到極大化,同時(shí)可以減少備份卷,并且能夠優(yōu)化存儲(chǔ)資產(chǎn)的投資回報(bào)率。
內(nèi)容感知搜索———本地自動(dòng)感知能力可以識(shí)別所存儲(chǔ)數(shù)據(jù)的相關(guān)性。對(duì)使用單一接口的多種資源還可以進(jìn)行聯(lián)合查詢,以便搜索數(shù)據(jù)并提供索引。內(nèi)容感知搜索實(shí)現(xiàn)了文件和內(nèi)容服務(wù)的真正同化,以滿足法律監(jiān)管和企業(yè)要求,并可以管理內(nèi)容引發(fā)的遷移和其他整體數(shù)據(jù)活動(dòng)。
低成本存儲(chǔ)———通過(guò)集中建立存儲(chǔ)池、跨系統(tǒng)智能擴(kuò)展和利用動(dòng)態(tài)分層自動(dòng)完成數(shù)據(jù)遷移,減少管理節(jié)點(diǎn),提高存儲(chǔ)資產(chǎn)的使用經(jīng)濟(jì)效率,也降低了對(duì)硬件的要求。管理、備份、容量規(guī)劃、動(dòng)力和冷卻成本隨之降低,這些使固定資本(CAPEX)和運(yùn)營(yíng)成本(OPEX)都大大降低。事實(shí)上,已經(jīng)有數(shù)據(jù)證明,HDS文件和內(nèi)容解決方案可以極大地降低管理成本和備份成本。
邊緣到核心存儲(chǔ)———中心醫(yī)院還可以選擇為偏遠(yuǎn)的醫(yī)療中心提供無(wú)縫的邊緣到核心的數(shù)據(jù)訪問(wèn)支持,增強(qiáng)臨床醫(yī)師間的協(xié)作,通過(guò)進(jìn)行有效控制來(lái)實(shí)現(xiàn)免備份存儲(chǔ)。
HDS文件和內(nèi)容解決方案——旨在幫助相關(guān)機(jī)構(gòu)管控好大數(shù)據(jù)環(huán)境,利用統(tǒng)一、可擴(kuò)展的管理平臺(tái)簡(jiǎn)化大數(shù)據(jù)存儲(chǔ)的復(fù)雜性,整合資源促進(jìn)利用,調(diào)動(dòng)數(shù)據(jù)以滿足業(yè)務(wù)需求,改進(jìn)數(shù)據(jù)保護(hù)以提高合規(guī)性水平并降低風(fēng)險(xiǎn)。
篇3
想象一下在線零售商,當(dāng)購(gòu)物者在自己的移動(dòng)設(shè)備上瀏覽頁(yè)面時(shí),他們可以通過(guò)限時(shí)搶購(gòu)以及推薦類似的產(chǎn)品來(lái)替代售罄產(chǎn)品的方式來(lái)實(shí)現(xiàn)快速銷售;他們還能夠?qū)崟r(shí)跟蹤正在銷售的產(chǎn)品,通過(guò)讓顧客看到哪些產(chǎn)品是真正可供購(gòu)買的,從而為顧客提供了更好的客戶體驗(yàn)。
這些技術(shù)的好處顯而易見,那么,為什么現(xiàn)實(shí)中真正能把信息實(shí)時(shí)轉(zhuǎn)化為業(yè)務(wù)優(yōu)勢(shì)的企業(yè)并不多?因?yàn)榇髷?shù)據(jù)環(huán)境是非常復(fù)雜的,企業(yè)面臨來(lái)自多個(gè)實(shí)例、多種工具和傳統(tǒng)數(shù)據(jù)庫(kù)的挑戰(zhàn)。所有這些都將增加復(fù)雜性和成本,并難以持續(xù)獲取他們所需要的數(shù)據(jù)。
內(nèi)存計(jì)算就是其中之一,內(nèi)存計(jì)算正在迅速改變企業(yè)處理數(shù)據(jù)的方式。它使用直連內(nèi)存來(lái)代替磁盤存儲(chǔ)數(shù)據(jù),這意味著在復(fù)雜海量的數(shù)據(jù)集上查詢數(shù)據(jù)的過(guò)程中, CPU指令更少、查找速度更快,性能也大幅提高。過(guò)去,處理這些數(shù)據(jù)需要花費(fèi)數(shù)小時(shí)或數(shù)天,而今只需幾分鐘甚至幾秒鐘。業(yè)務(wù)負(fù)責(zé)人可以基于實(shí)時(shí)信息更快地做出決策,IT部門能夠快速地提供分析和洞察,而不會(huì)影響其當(dāng)前的日常運(yùn)營(yíng)。數(shù)據(jù)庫(kù)管理人員花費(fèi)更少的時(shí)間來(lái)遷移和管理數(shù)據(jù),并擁有更多的時(shí)間對(duì)其進(jìn)行分析。
例如,SAP HANA利用內(nèi)存計(jì)算技術(shù)的優(yōu)勢(shì)來(lái)實(shí)現(xiàn)實(shí)時(shí)訪問(wèn)數(shù)據(jù)。它還提供了一個(gè)跨越企業(yè)中整個(gè)SAP環(huán)境的通用平臺(tái),以簡(jiǎn)化數(shù)據(jù)存儲(chǔ)、管理和分析。企業(yè)可以從SAP環(huán)境中獲取更快的實(shí)時(shí)洞察并做出更好的業(yè)務(wù)決策。
雖然很多企業(yè)希望以這種方式改變IT,但要想實(shí)現(xiàn)更快的數(shù)據(jù)分析、一個(gè)更可擴(kuò)展的數(shù)據(jù)倉(cāng)庫(kù)和把所有業(yè)務(wù)應(yīng)用遷移到一個(gè)底層數(shù)據(jù)庫(kù)的能力,還有很長(zhǎng)的路要走。因?yàn)槠髽I(yè)IT環(huán)境很可能充滿了復(fù)雜和彼此孤立的傳統(tǒng)數(shù)據(jù)庫(kù)。為了實(shí)現(xiàn)業(yè)務(wù)目標(biāo),它所需要的不僅僅是內(nèi)存計(jì)算軟件。
至關(guān)重要的是,企業(yè)的IT基礎(chǔ)架構(gòu)必須正確匹配所選擇的內(nèi)存數(shù)據(jù)管理軟件。這就是為什么越來(lái)越多的IT經(jīng)理和管理人員都在數(shù)據(jù)中心和數(shù)據(jù)管理平臺(tái)方面進(jìn)行長(zhǎng)期的戰(zhàn)略性風(fēng)險(xiǎn)投資。企業(yè)需要制定正確的戰(zhàn)略和交付模式,并找到適當(dāng)?shù)暮献骰锇?,以在部署過(guò)程中最大限度地降低風(fēng)險(xiǎn)和對(duì)數(shù)據(jù)中心的破壞,并隨著數(shù)據(jù)增長(zhǎng)而擴(kuò)大規(guī)模,同時(shí)保持高性能。
以下是企業(yè)在制定戰(zhàn)略遷移計(jì)劃時(shí)三個(gè)要考慮的問(wèn)題。
問(wèn)題1 :服務(wù)水平
該解決方案能夠提供關(guān)鍵業(yè)務(wù)的功能和端到端的服務(wù)和支持嗎 ?
當(dāng)企業(yè)要遷移到更高級(jí)的工作負(fù)載時(shí),一般是因?yàn)橛懈呒?jí)的關(guān)鍵業(yè)務(wù)需求,通常是要求在高端Unix系統(tǒng)上才能看到的性能,包括容錯(cuò)架構(gòu)、極高的I/O帶寬、自愈分析和自動(dòng)化。要確保系統(tǒng)達(dá)到這樣的性能要求,以最大限度地降低停機(jī)時(shí)間并盡快進(jìn)行災(zāi)難恢復(fù)。例如,硬分區(qū)技術(shù)顯著地提高了系統(tǒng)的可靠性和靈活性。每個(gè)硬分區(qū)都有自己獨(dú)立的CPU、內(nèi)存和I/O資源,它們都是構(gòu)成該分區(qū)刀片的一部分。它們通過(guò)一個(gè)容錯(cuò)交叉開關(guān)被綁定在一起。因此,該系統(tǒng)中任何一個(gè)部件的故障不會(huì)影響系統(tǒng)的其余部分。在靈活性方面,這些分區(qū)使您能夠在一個(gè)系統(tǒng)上運(yùn)行CRM、ERP和數(shù)據(jù)倉(cāng)庫(kù)等解決方案――這是打造 “實(shí)時(shí)”企業(yè)的關(guān)鍵一步。
即使擁有內(nèi)置的關(guān)鍵業(yè)務(wù)性能,企業(yè)也最好為系統(tǒng)添加實(shí)現(xiàn)快速部署、順利遷移和業(yè)務(wù)連續(xù)性的端到端的服務(wù)。數(shù)據(jù)管理需要7×24全天候的支持,以便能夠主動(dòng)預(yù)防問(wèn)題、最大限度地提高系統(tǒng)性能,并提升解決問(wèn)題的速度。
問(wèn)題2:性能和規(guī)模
該解決方案能夠滿足我的需求嗎?
為了充分利用企業(yè)的內(nèi)存數(shù)據(jù)管理環(huán)境,還需要能夠滿足高性能和高可用性等內(nèi)存計(jì)算需求的、專為應(yīng)用而優(yōu)化的系統(tǒng)。這些系統(tǒng)應(yīng)該具有可擴(kuò)展的架構(gòu)設(shè)計(jì),輕松實(shí)現(xiàn)可擴(kuò)展性,以保護(hù)企業(yè)目前的投資并根據(jù)未來(lái)的需求進(jìn)行擴(kuò)展。行業(yè)標(biāo)準(zhǔn)是可擴(kuò)展到6TB。但如果您想真正發(fā)揮HANA的性能,例如在您的最大的商業(yè)應(yīng)用環(huán)境中,不超過(guò)4TB或6TB的內(nèi)存計(jì)算并不能滿足您的需求。通常許多大型系統(tǒng)是在20TB或30TB的數(shù)據(jù)庫(kù)上運(yùn)行的。當(dāng)企業(yè)開啟大數(shù)據(jù)之旅時(shí),請(qǐng)確保您擁有足夠的可擴(kuò)展性來(lái)應(yīng)對(duì)數(shù)據(jù)倉(cāng)庫(kù)環(huán)境。
另外,請(qǐng)記住,不同內(nèi)存之間也是有很大區(qū)別的。有些廠商把內(nèi)存硬塞到硬件之中,造成可用內(nèi)存的極大消耗。請(qǐng)確保系統(tǒng)擁有能夠容納更高RAM的高級(jí)芯片。這樣一來(lái),您將能夠高效地使用擴(kuò)展的存儲(chǔ)空間,并維持較高的性能。
問(wèn)題3:安全投資
該解決方案將會(huì)允許我的內(nèi)存數(shù)據(jù)管理環(huán)境在整個(gè)公司里成長(zhǎng)和加強(qiáng)嗎?
讓我們面對(duì)現(xiàn)實(shí)吧!把企業(yè)業(yè)務(wù)應(yīng)用遷移到內(nèi)存數(shù)據(jù)管理環(huán)境既不容易,也不便宜。但是,與繼續(xù)運(yùn)行反應(yīng)緩慢和彼此孤立的數(shù)據(jù)庫(kù)相比,它更具有成本效益。它必將更快地為企業(yè)創(chuàng)造價(jià)值。
但是,我們還要注意另外一方面。擁有一個(gè)值得信賴、經(jīng)驗(yàn)豐富的合作伙伴會(huì)增加成功率。我們需要一個(gè)在部署這類環(huán)境方面擁有豐富經(jīng)驗(yàn)的供應(yīng)商;需要一個(gè)與SAP、微軟或其他大數(shù)據(jù)軟件廠商擁有穩(wěn)固合作關(guān)系的廠商;需要一個(gè)已經(jīng)通過(guò)認(rèn)證的平臺(tái)和業(yè)已證明的基準(zhǔn)性能,這個(gè)系統(tǒng)還要擁有企業(yè)所選擇的供應(yīng)商預(yù)認(rèn)證的組件。你希望能看到部署和實(shí)現(xiàn)內(nèi)存數(shù)據(jù)管理環(huán)境的多種交付模式 (如內(nèi)部部署、云服務(wù)和托管解決方案),以確定哪種模式最適合企業(yè)業(yè)務(wù)需求。
篇4
高端磁盤陣列2.6倍性能提升 11月6日,在成都首發(fā)的高端企業(yè)級(jí)磁盤陣列 DS8700,標(biāo)志著DS8000家族的又一個(gè)飛躍。最新的DS8700采用了POWER6芯片,不但可實(shí)現(xiàn)2.6倍的性能提升,同時(shí)也是業(yè)內(nèi)首款配備了LPAR 技術(shù)的存儲(chǔ)系統(tǒng),實(shí)現(xiàn)存儲(chǔ)資源動(dòng)態(tài)調(diào)配,其容量可擴(kuò)展至PB級(jí),成為用戶從容迎接海量數(shù)據(jù)時(shí)代、架構(gòu)智慧信息架構(gòu)的重要?jiǎng)菽堋?/p>
“業(yè)務(wù)無(wú)中斷”、“全應(yīng)用導(dǎo)向”災(zāi)備 區(qū)別于局部災(zāi)備能力,IBM系統(tǒng)與科技部大中華區(qū)系統(tǒng)存儲(chǔ)部總經(jīng)理侯淼表示,IBM將災(zāi)備作為整合價(jià)值發(fā)力點(diǎn),從用戶的需求和IT基礎(chǔ)架構(gòu)出發(fā),整合存儲(chǔ)、計(jì)算、數(shù)據(jù)庫(kù)、應(yīng)用、網(wǎng)絡(luò)等各個(gè)層次,定制“全應(yīng)用導(dǎo)向整合災(zāi)備方案”。與此同時(shí),還為用戶提供多種業(yè)務(wù)連續(xù)性解決方案Live Demo――光纖鏈路兩地三中心方案容災(zāi)、異構(gòu)平臺(tái)容災(zāi)、本地高可用容災(zāi)、分支機(jī)構(gòu)容災(zāi)解決方案、數(shù)據(jù)級(jí)容災(zāi)、異地 IP 容災(zāi)等多種解決方案,從而讓用戶獲得“業(yè)務(wù)無(wú)中斷”、“全應(yīng)用導(dǎo)向”整合災(zāi)備理念的實(shí)景體驗(yàn)。
企業(yè)存儲(chǔ)私有云直入“云”端”最新推出的“IBM 智慧業(yè)務(wù)存儲(chǔ)云”是一款企業(yè)級(jí)私有云解決方案,不但可以高性能支持 PB 級(jí)數(shù)據(jù)存儲(chǔ),還全面支持標(biāo)準(zhǔn)文件協(xié)議,開拓了真正意義上的橫向擴(kuò)展集群模型,幫用戶實(shí)現(xiàn)“無(wú)論信息存儲(chǔ)何處,均可滿足對(duì)云內(nèi)信息的無(wú)縫訪問(wèn)。”
“智能分級(jí)存儲(chǔ)”與“混合工作負(fù)載自動(dòng)化” 通過(guò)配置固態(tài)硬盤與業(yè)界領(lǐng)先的邏輯子卷的自動(dòng)化管理,IBM將信息根據(jù)策略自動(dòng)分置在不同的存儲(chǔ)介質(zhì),自動(dòng)化分級(jí)存儲(chǔ)、遷移熱點(diǎn)數(shù)據(jù),自動(dòng)化分配不同性質(zhì)的存取壓力,讓業(yè)務(wù)響應(yīng)時(shí)間提高 3倍,從而實(shí)現(xiàn)“智能分級(jí)存儲(chǔ)”與“混合工作負(fù)載自動(dòng)化”創(chuàng)新性解決方案,讓用戶大規(guī)模降低存儲(chǔ)成本。
篇5
關(guān)鍵詞:大數(shù)據(jù)平臺(tái);電網(wǎng)統(tǒng)一數(shù)據(jù)中心;全業(yè)務(wù);數(shù)據(jù)分析域
中圖分類號(hào):TP311 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1009-3044(2016)34-0015-03
稻莘治鲇蚴僑業(yè)務(wù)、全類型、全時(shí)間維度電網(wǎng)數(shù)據(jù)的匯集中心,是為電網(wǎng)公司各類分析決策類應(yīng)用提供完備的數(shù)據(jù)資源、高效的分析計(jì)算能力及統(tǒng)一的運(yùn)行環(huán)境,改變過(guò)去分析型應(yīng)用數(shù)據(jù)反復(fù)提取、冗余存儲(chǔ)的局面,實(shí)現(xiàn)“搬數(shù)據(jù)”向“搬計(jì)算”的轉(zhuǎn)變,支撐企業(yè)級(jí)數(shù)據(jù)分析應(yīng)用的全面開展。
1 電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域平臺(tái)的作用
基于大數(shù)據(jù)平臺(tái)的電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域主要完成ERP、生產(chǎn)、營(yíng)銷、調(diào)度等核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)的提取清洗、實(shí)時(shí)采集類、分析決策類相關(guān)應(yīng)用遷移遷移改造;完成統(tǒng)一數(shù)據(jù)模型及主數(shù)據(jù)標(biāo)準(zhǔn)驗(yàn)證;完成統(tǒng)一分析服務(wù)建設(shè)等工作,建成全業(yè)務(wù)統(tǒng)一數(shù)據(jù)分析域。
2 電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域平臺(tái)接入的業(yè)務(wù)數(shù)據(jù)
2.1內(nèi)部業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入
基于電網(wǎng)公司總部數(shù)據(jù)字典統(tǒng)一梳理成果,以業(yè)務(wù)系統(tǒng)實(shí)際情況,結(jié)合統(tǒng)一數(shù)據(jù)分析服務(wù)、采集監(jiān)測(cè)與分析決策等問(wèn)題,遵循統(tǒng)一數(shù)據(jù)集成接口規(guī)范,統(tǒng)一數(shù)據(jù)模型(SG-CIM3.0、數(shù)據(jù)倉(cāng)庫(kù)模型),梳理ERP、財(cái)務(wù)管控、營(yíng)銷業(yè)務(wù)、營(yíng)銷稽查監(jiān)控系統(tǒng)、營(yíng)銷檔案管理、營(yíng)銷移動(dòng)作業(yè)、一體化繳費(fèi)接入管理、PMS2.0、OMS、電能質(zhì)量在線監(jiān)測(cè)、資產(chǎn)全壽命、省級(jí)計(jì)量中心生產(chǎn)調(diào)度、供電電壓自動(dòng)采集、科技與信息化項(xiàng)目管理、項(xiàng)目過(guò)程管理、電力市場(chǎng)交易、IMS、TMS、電動(dòng)汽車智能、干部管理、信息客戶服務(wù)管理、應(yīng)急預(yù)案管理、車輛調(diào)度管理、經(jīng)濟(jì)法律、輸變電GPMS、雙流雙控等業(yè)務(wù)系統(tǒng),全量接入數(shù)據(jù)分析域,對(duì)于不符合SG-CIM3.0及主數(shù)據(jù)標(biāo)準(zhǔn)的相關(guān)業(yè)務(wù)數(shù)據(jù)進(jìn)行清洗轉(zhuǎn)換,完成數(shù)據(jù)流轉(zhuǎn)至數(shù)據(jù)倉(cāng)庫(kù)的接口開發(fā),為各類分析應(yīng)用的實(shí)現(xiàn)提供完備的數(shù)據(jù)資源。
2.2外部數(shù)據(jù)統(tǒng)一采集
基于大數(shù)據(jù)平臺(tái),根據(jù)大數(shù)據(jù)分析應(yīng)用業(yè)務(wù),完成經(jīng)濟(jì)、氣象、征信等外部數(shù)據(jù)采集。
3 電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域平臺(tái)分析服務(wù)功能設(shè)計(jì)
3.1統(tǒng)一分析服務(wù)
基于統(tǒng)一分析服務(wù)功能,開展低電壓實(shí)時(shí)監(jiān)測(cè)、負(fù)荷預(yù)測(cè)及防竊電分析、配網(wǎng)故障量監(jiān)測(cè)分析、臨時(shí)用電超期未辦理合規(guī)性監(jiān)測(cè)場(chǎng)景四個(gè)應(yīng)用建設(shè)。
3.1.1配電網(wǎng)低電壓實(shí)時(shí)監(jiān)測(cè)
配網(wǎng)低電壓監(jiān)測(cè)主要針對(duì)目前電網(wǎng)設(shè)備發(fā)生低電壓的程度,從低電壓臺(tái)區(qū)和低電壓用戶兩個(gè)方面監(jiān)測(cè)低電壓的場(chǎng)景研發(fā)。運(yùn)用數(shù)據(jù)分析域上多源異構(gòu)數(shù)據(jù)集成等數(shù)據(jù)存儲(chǔ)技術(shù),實(shí)時(shí)計(jì)算技術(shù),統(tǒng)計(jì)分析出低電壓的區(qū)域分布情況、涉及臺(tái)區(qū)情況、低電壓出現(xiàn)頻率等,及時(shí)將發(fā)現(xiàn)的問(wèn)題通知到相關(guān)部門,由相關(guān)部門對(duì)低電壓臺(tái)區(qū)或用戶進(jìn)行現(xiàn)場(chǎng)核實(shí),查找出詳細(xì)原因,提出改造措施,消除低電壓情況。
3.1.2用戶側(cè)負(fù)荷預(yù)測(cè)及竊電行為分析場(chǎng)景
用戶側(cè)負(fù)荷預(yù)測(cè)及竊電行為分析功能可以提取客戶信息、用電量信息、用電負(fù)荷、事件異常等數(shù)據(jù),從用電概況、負(fù)荷預(yù)測(cè)分析、負(fù)荷特性分析、防竊電預(yù)警分析等方面,選取相關(guān)性最高的影響因素,利用數(shù)據(jù)挖掘算法構(gòu)建負(fù)荷預(yù)測(cè)模型、負(fù)荷特性分析模型、防竊電預(yù)警模型。
3.1.3配網(wǎng)設(shè)備狀態(tài)監(jiān)測(cè)分析場(chǎng)景
通過(guò)提取設(shè)備臺(tái)賬、用電負(fù)荷、用戶檔案等數(shù)據(jù),從配變?cè)O(shè)備基本概況、配變故障量預(yù)測(cè)分析及配變重過(guò)載的深化研究等方面,選取相關(guān)性最高的影響因素,利用數(shù)據(jù)挖掘算法構(gòu)建故障量預(yù)測(cè)模型、農(nóng)網(wǎng)配變重過(guò)載預(yù)測(cè)模型、迎峰度冬重過(guò)載預(yù)測(cè)模型實(shí)現(xiàn)配網(wǎng)設(shè)備狀態(tài)監(jiān)測(cè)分析場(chǎng)景。
3.1.4臨時(shí)用電超期未辦理合規(guī)性監(jiān)測(cè)
通過(guò)提取臨時(shí)用電數(shù)據(jù),從“退費(fèi)條件后是否按時(shí)退費(fèi)給用戶”和“轉(zhuǎn)收入條件后是否按時(shí)進(jìn)行轉(zhuǎn)收入”兩個(gè)維度,按單位、按月、按異動(dòng)項(xiàng)目類型,總體展示臨時(shí)接電用戶目前總體情況及明細(xì)數(shù)據(jù),并通過(guò)提醒、告警等方式監(jiān)測(cè)各單位未及時(shí)退費(fèi)項(xiàng)目、未及時(shí)轉(zhuǎn)收入項(xiàng)目的情況,提醒相關(guān)人員及時(shí)處理,避免造成的合同糾紛或企業(yè)損失,有效提升公司臨時(shí)用電業(yè)務(wù)合法性、合規(guī)性。
3.2采集監(jiān)測(cè)與分析決策類應(yīng)用遷移改造
3.2.1用電信息采集系統(tǒng)遷移改造
采用分布式消息隊(duì)列+分布式流計(jì)算方式,完成用電信息采集數(shù)據(jù)訪問(wèn)接口的設(shè)計(jì)開發(fā),實(shí)時(shí)同步用電信息采集數(shù)據(jù),并基于大數(shù)據(jù)平臺(tái),實(shí)現(xiàn)實(shí)時(shí)采集數(shù)據(jù)的統(tǒng)一對(duì)外共享,為用電信息采集系統(tǒng)前端應(yīng)用及營(yíng)銷業(yè)務(wù)、生產(chǎn)管理等系統(tǒng),提供統(tǒng)一、高效的采集數(shù)據(jù)訪問(wèn)服提升用電信息采集數(shù)據(jù)的共享服務(wù)能力。
3.2.2輸變電在線監(jiān)測(cè)系統(tǒng)遷移改造
通過(guò)輸變電狀態(tài)監(jiān)測(cè)數(shù)據(jù)在線計(jì)算、離線計(jì)算等程序設(shè)計(jì)研發(fā),同時(shí)完成數(shù)據(jù)訪問(wèn)接口的設(shè)計(jì)研發(fā),實(shí)現(xiàn)輸變電狀態(tài)監(jiān)測(cè)信息的采集和在線處理,為輸變電設(shè)備狀態(tài)監(jiān)測(cè)提供靈活可擴(kuò)展的數(shù)據(jù)存儲(chǔ)和分析能力,實(shí)現(xiàn)通過(guò)大數(shù)據(jù)平臺(tái),統(tǒng)一對(duì)外提供高效的輸變電設(shè)備狀態(tài)采集數(shù)據(jù)服務(wù)。
3.2.3同期線損系統(tǒng)遷移改造
基于數(shù)據(jù)分析域,通過(guò)分析線損系統(tǒng)現(xiàn)有大數(shù)據(jù)計(jì)算框架與大數(shù)據(jù)平臺(tái)技術(shù)路線的差異,開展同期線損系統(tǒng)中電量與線損大數(shù)據(jù)計(jì)算區(qū)功能融入大數(shù)據(jù)平臺(tái)的研究及開發(fā),將線損系統(tǒng)Cassandra存儲(chǔ)改為HBase存儲(chǔ),對(duì)已實(shí)現(xiàn)的電量與線損分布式計(jì)算服務(wù)和提供的電量與線損結(jié)果查詢服務(wù)接口進(jìn)行改造,完成同期線損遷移改造方案、存儲(chǔ)模型設(shè)計(jì),實(shí)現(xiàn)線損相關(guān)存儲(chǔ)、計(jì)算組件的遷移改造及數(shù)據(jù)遷移。
3.2.4配電網(wǎng)運(yùn)營(yíng)分析應(yīng)用遷移改造
利用大數(shù)據(jù)平臺(tái),結(jié)合用電信息采集數(shù)據(jù)遷移,完成配電網(wǎng)運(yùn)營(yíng)分析應(yīng)用優(yōu)化改造,優(yōu)化并提升數(shù)據(jù)提取、傳輸以及單體設(shè)備計(jì)算能力。結(jié)合配電網(wǎng)運(yùn)營(yíng)分析應(yīng)用的數(shù)據(jù)模型成果,基于大數(shù)據(jù)平成數(shù)據(jù)緩沖表、接口表/中間表、計(jì)算結(jié)果表的模型設(shè)計(jì)。根據(jù)PMS、營(yíng)銷、調(diào)度等數(shù)據(jù)接入需求,基于大數(shù)據(jù)平臺(tái),完成PMS2.0、營(yíng)銷業(yè)務(wù)系統(tǒng)檔案數(shù)據(jù)定期同步接口開發(fā),完成調(diào)度數(shù)據(jù)采集及解析程序開發(fā)。
3.3統(tǒng)一數(shù)據(jù)模型與主數(shù)據(jù)標(biāo)準(zhǔn)驗(yàn)證
基于統(tǒng)一數(shù)據(jù)模型設(shè)計(jì)成果,在數(shù)據(jù)分析域上驗(yàn)證數(shù)據(jù)倉(cāng)庫(kù)模型。結(jié)合數(shù)據(jù)提取清洗及統(tǒng)一分析服務(wù)建設(shè)需求,開展人員組織、財(cái)務(wù)、物資、項(xiàng)目、電網(wǎng)、資產(chǎn)、客戶等主題域的數(shù)據(jù)模型的差異性比對(duì),對(duì)數(shù)據(jù)倉(cāng)庫(kù)模型進(jìn)行完善及優(yōu)化。將數(shù)據(jù)倉(cāng)庫(kù)模型部署至數(shù)據(jù)分析域中,并按不同業(yè)務(wù)域模型規(guī)范將ODS的數(shù)據(jù)存放至數(shù)據(jù)倉(cāng)庫(kù)中,支撐分析應(yīng)用場(chǎng)景建設(shè)。
4 電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域平臺(tái)技術(shù)架構(gòu)
根據(jù)統(tǒng)一數(shù)據(jù)中心總體架構(gòu)設(shè)計(jì),數(shù)據(jù)分析域是全業(yè)務(wù)、全類型、全時(shí)間維度數(shù)據(jù)的匯集中心,是為各類分析決策類應(yīng)用提供完備的數(shù)據(jù)資源、高效的分析計(jì)算能力及統(tǒng)一的運(yùn)行環(huán)境,改變過(guò)去分析型應(yīng)用數(shù)據(jù)反復(fù)提取、冗余存儲(chǔ)的局面,實(shí)現(xiàn)“搬數(shù)據(jù)”向“搬計(jì)算”的轉(zhuǎn)變,支撐企業(yè)級(jí)數(shù)據(jù)分析應(yīng)用的全面開展。
根據(jù)統(tǒng)一數(shù)據(jù)中心數(shù)據(jù)分析域總體架構(gòu)要求,結(jié)合電力數(shù)據(jù)中心、大數(shù)據(jù)平臺(tái)的實(shí)際建設(shè)情況,設(shè)計(jì)電力數(shù)據(jù)分析域系統(tǒng)架構(gòu),包括數(shù)據(jù)接入、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、統(tǒng)一分析服務(wù)、系統(tǒng)管理等5個(gè)層次。
平臺(tái)通過(guò)分布式消息隊(duì)列、ETL、Sqoop、API等各種技術(shù)手段,提取結(jié)構(gòu)化非實(shí)時(shí)數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)、外部數(shù)據(jù),對(duì)各類數(shù)據(jù)按照統(tǒng)一數(shù)據(jù)規(guī)范進(jìn)行標(biāo)準(zhǔn)化及關(guān)聯(lián),并按不同時(shí)效性的計(jì)算及應(yīng)用需求,分類進(jìn)行數(shù)據(jù)存儲(chǔ)、流轉(zhuǎn)及管理。
5 電網(wǎng)全業(yè)務(wù)數(shù)據(jù)分析域平臺(tái)采用的開發(fā)技術(shù)
數(shù)據(jù)分析域的數(shù)據(jù)抽方面取采用大數(shù)據(jù)平臺(tái)數(shù)據(jù)加載工具(基于Sqoop優(yōu)化封裝)+文件導(dǎo)入方式。業(yè)務(wù)系統(tǒng)存量數(shù)據(jù)接入ODS區(qū),涉及業(yè)務(wù)系統(tǒng)數(shù)據(jù)提取至緩沖區(qū)、緩沖區(qū)數(shù)據(jù)提取至統(tǒng)一視圖區(qū)。
大數(shù)據(jù)平臺(tái)數(shù)據(jù)加載組件,基于Sqoop工具優(yōu)化封裝,支持關(guān)系型數(shù)據(jù)庫(kù)與大數(shù)據(jù)平臺(tái)中的分布式數(shù)據(jù)庫(kù)之間的數(shù)據(jù)提取。對(duì)于ODS數(shù)據(jù)加載至數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)集市,采用大數(shù)據(jù)平臺(tái)中的數(shù)據(jù)加載組件(基于Sqoop優(yōu)化封裝)。對(duì)于ODS緩沖區(qū)、ODS視圖區(qū)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市之間的數(shù)據(jù)清洗轉(zhuǎn)換,采用大數(shù)據(jù)平臺(tái)數(shù)據(jù)提取組件(基于Kettle優(yōu)化封裝)實(shí)現(xiàn)。提取工具(基于Kettle優(yōu)化封裝)基礎(chǔ)功能包括數(shù)據(jù)獲取、數(shù)據(jù)清洗轉(zhuǎn)換、數(shù)據(jù)加載、任務(wù)管理等,支持內(nèi)部所有異構(gòu)系統(tǒng)、多數(shù)據(jù)類型、不同數(shù)據(jù)提取方式的數(shù)據(jù)采集,對(duì)多種數(shù)據(jù)庫(kù)、套裝軟件、封閉式主機(jī)、EAI軟件、文本等數(shù)據(jù)批量提取,實(shí)現(xiàn)對(duì)數(shù)據(jù)高效提取、傳輸和分發(fā),滿足對(duì)數(shù)據(jù)提取和數(shù)據(jù)清洗功能。
電信息等實(shí)時(shí)類數(shù)據(jù)采集,采用大數(shù)據(jù)平臺(tái)消息隊(duì)列組件(基于Kafka優(yōu)化封裝)+流計(jì)算組件(基于Storm優(yōu)化封裝),實(shí)現(xiàn)生產(chǎn)實(shí)時(shí)數(shù)據(jù)的高效采集、計(jì)算和存儲(chǔ)。消息隊(duì)列組件(基于Kafka優(yōu)化封裝)用于接收來(lái)自前端不同實(shí)時(shí)源的數(shù)據(jù),后端則采用流計(jì)算組件(基于Storm優(yōu)化封裝)技術(shù)對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行保存及分析。
外部數(shù)據(jù)采集主要有3種模式,一是線下手工采集,然后文件導(dǎo)入大數(shù)據(jù)平臺(tái);二是通過(guò)外部接口采集;三是通過(guò)數(shù)據(jù)爬取程序采集。
數(shù)據(jù)倉(cāng)庫(kù)存采用基于Hadoop HIVE+Impala組件優(yōu)化封裝的分布式數(shù)據(jù)倉(cāng)庫(kù),存放按業(yè)務(wù)主題進(jìn)行劃分、歸類的歷史數(shù)據(jù)。數(shù)據(jù)集市的數(shù)據(jù)由數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)經(jīng)過(guò)轉(zhuǎn)換后形成,直接支撐前端的應(yīng)用需求。數(shù)據(jù)集市,采用基于開源PostgreSQL優(yōu)化封裝的分布式關(guān)系型數(shù)據(jù)庫(kù)。在數(shù)據(jù)集市應(yīng)用中,對(duì)于實(shí)時(shí)性要求不高的結(jié)果數(shù)據(jù)查詢,將通過(guò)訪問(wèn)PostgreSQL實(shí)現(xiàn);對(duì)于實(shí)時(shí)性要求高的即時(shí)查詢應(yīng)用,則直接通過(guò)Impala訪問(wèn)HIVE的明細(xì)數(shù)據(jù)。
面向海量規(guī)模的實(shí)時(shí)采集類數(shù)據(jù),采用基于Hadoop Hbase優(yōu)化封裝,Hbase是基于Hadoop的NoSQL大數(shù)據(jù)平臺(tái)分布式列式數(shù)據(jù)庫(kù)作為存儲(chǔ)媒介。為大數(shù)據(jù)提供實(shí)時(shí)的讀/寫操作,能夠利用HDFS的分布式處理模式,并通過(guò)MapReduce獲取強(qiáng)大的離線處理或批量處理能力,同時(shí)能夠融合key/value存儲(chǔ)模式,以實(shí)現(xiàn)實(shí)時(shí)查詢能力。熱點(diǎn)數(shù)據(jù)存儲(chǔ)在基于Redis優(yōu)化封裝的大數(shù)據(jù)平臺(tái)內(nèi)存數(shù)據(jù)庫(kù)中,以供快速讀取、應(yīng)用。
分析服務(wù),采用大數(shù)據(jù)平臺(tái)自助式分析工具。大數(shù)據(jù)平臺(tái)自助式分析工具提供易用、快速、靈活的可視化設(shè)計(jì)器和豐富多樣化的可視化控件,結(jié)合數(shù)據(jù)建模的數(shù)據(jù)主題和數(shù)據(jù)挖掘的業(yè)務(wù)挖掘模型,業(yè)務(wù)人員可自定義配置分析界面。
數(shù)據(jù)分析域的系統(tǒng)管理,采用數(shù)據(jù)管理服務(wù)平臺(tái)實(shí)現(xiàn),根據(jù)各類擴(kuò)展需求,對(duì)數(shù)據(jù)管理服務(wù)平臺(tái)進(jìn)行增強(qiáng)開發(fā),以適應(yīng)統(tǒng)一數(shù)據(jù)中心分析域的系統(tǒng)管理要求。
6 結(jié)束語(yǔ)
通過(guò)對(duì)大數(shù)據(jù)技術(shù)的研究和應(yīng)用,開發(fā)部署電網(wǎng)統(tǒng)一數(shù)據(jù)中心全業(yè)務(wù)數(shù)據(jù)分析域平臺(tái),能夠有效支撐電網(wǎng)配、變、過(guò)載、預(yù)警、分析等場(chǎng)景應(yīng)用,為數(shù)據(jù)分析人員提供數(shù)據(jù)挖掘模型構(gòu)建能力,滿足電網(wǎng)各類業(yè)務(wù)應(yīng)用的大數(shù)據(jù)分析、挖掘需求。
參考文獻(xiàn):
[1] 波,陳乾,眭建新.基于大數(shù)據(jù)技術(shù)的電網(wǎng)運(yùn)營(yíng)分析決策系統(tǒng)研究[J].電力信息與通信技術(shù),2015,13(8):128-131.
[2] 王忻.基于大數(shù)據(jù)技術(shù)的電力公司運(yùn)營(yíng)系統(tǒng)研究[J].商,2016(4):214-214.
[3] 趙云山,劉煥煥.大數(shù)據(jù)技術(shù)在電力行業(yè)的應(yīng)用研究[J].電力行業(yè)信息化年會(huì),2013(30):57-62.
[4] 段軍紅,張乃丹,趙博,閆曉斌.電力大數(shù)據(jù)基礎(chǔ)體系架構(gòu)與應(yīng)用研究[J].電力信息與通信技術(shù),2015,13(2):92-95.
[5] 刁柏青,步萬(wàn)峰.構(gòu)建集中統(tǒng)一的電網(wǎng)集團(tuán)數(shù)據(jù)中心[J].電力信息與通信技術(shù),2004,2(10):57-59.
[6] 姚強(qiáng),楊志武.基于集中數(shù)據(jù)中心的統(tǒng)一數(shù)據(jù)平臺(tái)建設(shè)分析[J].內(nèi)蒙古電力技術(shù),2010,28(3):3-5.
篇6
今年是葉成輝提出的EMC中國(guó)第二個(gè)五年計(jì)劃的具有轉(zhuǎn)折性意義的一年,EMC不僅要鞏固第二平臺(tái)這個(gè)主戰(zhàn)場(chǎng),而且要向第三平臺(tái)這個(gè)新市場(chǎng)進(jìn)行平滑轉(zhuǎn)型,即從傳統(tǒng)數(shù)據(jù)中心市場(chǎng)過(guò)渡到軟件定義的數(shù)據(jù)中心市場(chǎng)。如何在轉(zhuǎn)型中繼續(xù)保持增長(zhǎng)?EMC不僅需要更多勇氣,而且需要更多智慧和技巧。
增長(zhǎng),還是增長(zhǎng)
2012年,IDC提出了“第三平臺(tái)”概念。第三平臺(tái)建立在移動(dòng)設(shè)備、云服務(wù)、社交網(wǎng)絡(luò)和大數(shù)據(jù)分析的基礎(chǔ)之上,代表了ICT的發(fā)展方向。與以大型機(jī)為代表的第一平臺(tái)、以客戶機(jī)/服務(wù)器為核心的第二平臺(tái)相比,第三平臺(tái)帶來(lái)了顛覆性的變革,企業(yè)、數(shù)據(jù)中心、IT應(yīng)用與管理都將被軟件重新定義。在這場(chǎng)變革的洪流之中,葉成輝表示,EMC也要重新定義(Redefine)自己。
EMC目前正處于從第二平臺(tái)向第三平臺(tái)轉(zhuǎn)型的過(guò)程之中。其實(shí),第二平臺(tái)與第三平臺(tái)之間的界線并不是那么絕對(duì),不是說(shuō)第二平臺(tái)關(guān)注的是結(jié)構(gòu)化數(shù)據(jù),而第三平臺(tái)關(guān)注的是非結(jié)構(gòu)化數(shù)據(jù)。未來(lái),像特斯拉智能汽車、工業(yè)互聯(lián)網(wǎng)、可穿戴設(shè)備等這樣的新應(yīng)用會(huì)越來(lái)越多,并部署在第三平臺(tái)之上,但仍然會(huì)有很多應(yīng)用部署在第二平臺(tái)之上。EMC的獨(dú)特能力體現(xiàn)在,它可以通過(guò)軟件定義的方式,在同一個(gè)控制層面管理第二平臺(tái)和第三平臺(tái)兩種架構(gòu)。
葉成輝表示,轉(zhuǎn)型需要一個(gè)過(guò)程,而且第二平臺(tái)和第三平臺(tái)將在很長(zhǎng)一段時(shí)間內(nèi)并存。在中國(guó),這一轉(zhuǎn)型的過(guò)程可能會(huì)比美國(guó)長(zhǎng)。2014年,EMC在中國(guó)市場(chǎng)上的發(fā)展思路可以概括為“鞏固和擴(kuò)大傳統(tǒng)數(shù)據(jù)中心市場(chǎng)份額,引領(lǐng)數(shù)據(jù)中心向云計(jì)算、大數(shù)據(jù)轉(zhuǎn)型”。
2013年亮眼的業(yè)績(jī)證明,EMC在轉(zhuǎn)向第三平臺(tái)的過(guò)程中已經(jīng)開了個(gè)好頭。葉成輝將EMC在中國(guó)市場(chǎng)上的成功經(jīng)驗(yàn)歸納為以下七個(gè)方面。
第一,EMC公司整體發(fā)展方向清晰,戰(zhàn)略正確。在提供信息基礎(chǔ)架構(gòu)解決方案的基礎(chǔ)上,EMC通過(guò)與VMware、Pivotal、RSA之間形成的穩(wěn)定“聯(lián)邦”,可以為客戶提供符合云計(jì)算、大數(shù)據(jù)需求的解決方案,形成了差異化的競(jìng)爭(zhēng)優(yōu)勢(shì)。
第二,U2VL,即Unix平臺(tái)向Virtual Linux平臺(tái)的遷移已經(jīng)成為大勢(shì)所趨,“x86服務(wù)器+虛擬化”的云計(jì)算模式的興起讓EMC獲得了更大增長(zhǎng)空間。
第三,數(shù)據(jù)中心架構(gòu)改變,服務(wù)器的采購(gòu)比重下降,而存儲(chǔ)的花費(fèi)上升,已占到數(shù)據(jù)中心設(shè)備采購(gòu)量的50%。這對(duì)于EMC最核心的存儲(chǔ)業(yè)務(wù)來(lái)說(shuō)無(wú)疑是一個(gè)利好因素。
第四,在本地化方面,EMC提前布局,與聯(lián)想、富通、長(zhǎng)虹佳華、神州數(shù)碼等多個(gè)本地品牌合作。目前,EMC在中國(guó)的OEM合作伙伴已經(jīng)有7家,它們對(duì)于EMC中國(guó)業(yè)績(jī)的提升貢獻(xiàn)頗多。
第五,由于外部環(huán)境、企業(yè)自身調(diào)整等原因,EMC的主要競(jìng)爭(zhēng)對(duì)手業(yè)績(jī)下滑,這在客觀上給EMC的逆增長(zhǎng)提供了可能。
第六,EMC不斷加大在中國(guó)二、三線市場(chǎng)的拓展力度。2006年,EMC在中國(guó)還只有北京、上海、廣州、深圳四個(gè)分公司。從2007年到現(xiàn)在,EMC在中國(guó)的分公司又增加了15個(gè),同時(shí)來(lái)自二、三線市場(chǎng)的收入比例正逐年提高。
第七,EMC總部不斷加大對(duì)中國(guó)市場(chǎng)的投資力度,比如EMC在中國(guó)建立的卓越中心、解決方案中心蓬勃發(fā)展,不僅為中國(guó)客戶提供了技術(shù)和解決方案方面的支持,而且很多新產(chǎn)品都是在中國(guó)本地研發(fā)的。
轉(zhuǎn)型要平滑
葉成輝表示:“EMC在第二平臺(tái)市場(chǎng)上一直保持著領(lǐng)先地位。在外部存儲(chǔ)、存儲(chǔ)軟件、企業(yè)級(jí)閃存、備份、融合架構(gòu)等細(xì)分市場(chǎng)上,EMC的市場(chǎng)占有率都保持第一?!钡菑牡诙脚_(tái)轉(zhuǎn)戰(zhàn)第三平臺(tái),EMC還有許多新的戰(zhàn)役要打,比如對(duì)象存儲(chǔ)、軟件定義的存儲(chǔ)、下一代文件協(xié)作、第三平臺(tái)開發(fā)工具和分析工具等,都將是EMC重要的突破點(diǎn)。
從第二平臺(tái)到第三平臺(tái),這中間需要一座橋梁。對(duì)于EMC來(lái)說(shuō),這座橋梁就是由EMC、VMware、RSA和Pivotal組成的“聯(lián)邦”。EMC可以提供軟件定義的存儲(chǔ),VMware專注于軟件定義的數(shù)據(jù)中心,Pivotal則關(guān)注軟件定義的企業(yè),RSA提供了貫穿整個(gè)軟件定義架構(gòu)的安全保障。這個(gè)“聯(lián)邦”的穩(wěn)定、協(xié)調(diào)發(fā)展對(duì)于EMC在第三平臺(tái)上取得成功至關(guān)重要。
EMC公司CEO喬·圖斯曾幾次推遲退休時(shí)間,一個(gè)很重要的原因就是他要繼續(xù)鞏固這個(gè)“聯(lián)邦”。未來(lái),這個(gè)獨(dú)特的“聯(lián)邦”如何制定和執(zhí)行統(tǒng)一的戰(zhàn)略;如何找到一種最適合的運(yùn)營(yíng)模式,既保持各公司的獨(dú)立,又能相互協(xié)作;如何實(shí)現(xiàn)高度的共識(shí)……這些都是喬·圖斯肩負(fù)的歷史使命。
為了更好地實(shí)現(xiàn)向第三平臺(tái)的轉(zhuǎn)型,EMC加強(qiáng)了收購(gòu)和自主創(chuàng)新,比如收購(gòu)了閃存廠商XtreamIO,了軟件定義的存儲(chǔ)平臺(tái)ViPR,加強(qiáng)了融合解決方案的推廣等。從IDC公布的數(shù)據(jù)看,EMC VSPEX和VCE Vblock都占據(jù)了各自細(xì)分市場(chǎng)的幾乎半壁江山?!拔磥?lái)EMC的收購(gòu)重點(diǎn)將集中在第三平臺(tái)領(lǐng)域,而軟件定義存儲(chǔ)、大數(shù)據(jù)、云架構(gòu)咨詢服務(wù)、融合解決方案等將是推廣的重點(diǎn)?!比~成輝透露說(shuō),“在今年5月舉行的EMC World大會(huì)上,我們將更多第三平臺(tái)的產(chǎn)品?!?/p>
葉成輝認(rèn)為,2014年中國(guó)IT市場(chǎng)將回暖,特別是云計(jì)算、大數(shù)據(jù)市場(chǎng)的增長(zhǎng)將更加快速。IDC預(yù)測(cè),中國(guó)公有云市場(chǎng)規(guī)模將于2017年達(dá)到26.49億美元,而中國(guó)企業(yè)級(jí)移動(dòng)應(yīng)用市場(chǎng)也將在2015年達(dá)到建設(shè)的高峰期。這讓葉成輝有信心帶領(lǐng)中國(guó)團(tuán)隊(duì)從第二平臺(tái)向第三平臺(tái)進(jìn)行平滑過(guò)渡。
從一個(gè)存儲(chǔ)硬件廠商慢慢轉(zhuǎn)變?yōu)樾畔⒒A(chǔ)架構(gòu)解決方案提供商,到今天,EMC順應(yīng)第三平臺(tái)的發(fā)展趨勢(shì),積極地向云計(jì)算、大數(shù)據(jù)廠商轉(zhuǎn)型。葉成輝表示:“EMC從第二平臺(tái)走向第三平臺(tái)不可能一蹴而就,也不意味著EMC將放棄存儲(chǔ)等原來(lái)的核心業(yè)務(wù),相反會(huì)在原來(lái)的基礎(chǔ)之上面向云計(jì)算、大數(shù)據(jù)進(jìn)行更大膽的創(chuàng)新,提供新的、更全面的解決方案?!?/p>
存儲(chǔ)市場(chǎng)復(fù)蘇
不僅IDC預(yù)測(cè)從2014年起存儲(chǔ)市場(chǎng)將反彈,葉成輝也十分肯定地認(rèn)為,2014年存儲(chǔ)市場(chǎng)將重新回歸增長(zhǎng)的主旋律。去年,在云計(jì)算、大數(shù)據(jù)、移動(dòng)互聯(lián)等新思潮的不斷沖擊下,IT市場(chǎng)乃至整個(gè)社會(huì)生活都發(fā)生了巨變,而許多企業(yè)的管理者和決策者在還沒有看清楚未來(lái)云計(jì)算、大數(shù)據(jù)的發(fā)展方向時(shí),不敢貿(mào)然行動(dòng),因此在IT投資和建設(shè)方面采取了“維穩(wěn)”的策略。
篇7
美團(tuán)的數(shù)據(jù)夢(mèng)想
美團(tuán)云(Meituan Open Services, MOS)是美團(tuán)推出的公有云平臺(tái),致力于為千萬(wàn)用戶提供最穩(wěn)定、可靠、高效的基礎(chǔ)設(shè)施云服務(wù)以及大數(shù)據(jù)解決方案。2013年5月,美團(tuán)云正式對(duì)外開放計(jì)算資源。公有云推出初期就引發(fā)了行業(yè)內(nèi)巨大的關(guān)注,資源很快售罄。同年7月,美團(tuán)全業(yè)務(wù)實(shí)現(xiàn)向云平臺(tái)的完整遷移和部署。美團(tuán)云目前全面支撐美團(tuán)業(yè)務(wù),網(wǎng)絡(luò)流量已經(jīng)達(dá)到了500T/天,承載超過(guò)兩億用戶的高并發(fā)訪問(wèn)量,支持Web端和App端多業(yè)務(wù)類型,美團(tuán)云的穩(wěn)定性、可信性,經(jīng)過(guò)了大規(guī)模商業(yè)實(shí)踐的驗(yàn)證。
2015年3月,美團(tuán)云獲得IDC牌照,8月對(duì)外開放首個(gè)高品質(zhì)的自建機(jī)房。同時(shí),可信云服務(wù)大會(huì)上,美團(tuán)云正式通過(guò)可信云服務(wù)認(rèn)證,在各項(xiàng)云服務(wù)指標(biāo)的完備性和規(guī)范性方面得到了業(yè)內(nèi)的認(rèn)可,并憑借各項(xiàng)優(yōu)勢(shì)獨(dú)攬“電商云服務(wù)獎(jiǎng)”。目前,美團(tuán)云的服務(wù)范圍覆蓋O2O生活服務(wù)提供商、在線教育、知名電商、互聯(lián)網(wǎng)金融、智能硬件、新媒體、汽車等。隨著獲得了可信云服務(wù)認(rèn)證,美團(tuán)云也將繼續(xù)依靠強(qiáng)大的技術(shù)團(tuán)隊(duì),不斷優(yōu)化產(chǎn)品,注重用戶體驗(yàn),為更多企業(yè)級(jí)用戶提供最優(yōu)的底層架構(gòu)以及穩(wěn)定的網(wǎng)絡(luò)服務(wù)。
據(jù)悉,截止到目前,美團(tuán)的年度活躍買家數(shù)達(dá)1.3億,合作商家超過(guò)160萬(wàn)戶,預(yù)計(jì)2015年全年交易額將超過(guò)1000億元。
美團(tuán)龐大的數(shù)據(jù)量驅(qū)動(dòng)了美團(tuán)云大數(shù)據(jù)分析服務(wù)的“大夢(mèng)想”。美團(tuán)云CTO李爽談到,美團(tuán)云軟硬一體的解決方案完全基于開源Hadoop解決方案,降低上手成本,萬(wàn)兆網(wǎng)絡(luò)互聯(lián)、支持Native Client和Rest API。此外,李爽還介紹了美團(tuán)云經(jīng)典BI產(chǎn)品:客戶洞察和在線推薦??蛻舳床焱ㄟ^(guò)觀察、了解客戶,將采集到的客戶數(shù)據(jù)轉(zhuǎn)化為所需的信息。在線推薦則是在線推薦篩選目標(biāo)客戶,生成靜態(tài)名單、營(yíng)銷信息和接觸信息。同時(shí),他還舉例了中傳與美團(tuán)攜手同闖“互聯(lián)網(wǎng)+”的例子。最后,李爽總結(jié)了美團(tuán)在大數(shù)據(jù)方面的經(jīng)驗(yàn),并展示了美團(tuán)云的數(shù)據(jù)平臺(tái)、業(yè)務(wù)架構(gòu)和分析平臺(tái)。 “美團(tuán)云致力為千萬(wàn)用戶提供穩(wěn)定的公有云服務(wù)及大數(shù)據(jù)解決方案,通過(guò)打造更加穩(wěn)定、高效和創(chuàng)新活力的新一代公有云平臺(tái),我們很高興和華為在云數(shù)據(jù)中心網(wǎng)絡(luò)領(lǐng)域展開全面和良好的合作,并將雙方的創(chuàng)新成果成功商用。我們期待這些創(chuàng)新能提升網(wǎng)絡(luò)運(yùn)營(yíng)效率,進(jìn)一步提升用戶體驗(yàn),為我們的客戶創(chuàng)造更多價(jià)值!”目前,美團(tuán)云正在和更多的企業(yè)合作,拓展大數(shù)據(jù)解決方案?!?/p>
攜手華為 深耕云計(jì)算網(wǎng)絡(luò)
隨著美團(tuán)網(wǎng)云化業(yè)務(wù)的爆發(fā)式增長(zhǎng),網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大,如何構(gòu)建適應(yīng)未來(lái)業(yè)務(wù)增長(zhǎng)的云計(jì)算網(wǎng)絡(luò)?如何持續(xù)提升業(yè)務(wù)上線效率,縮短上線周期?如何簡(jiǎn)化網(wǎng)絡(luò)運(yùn)維,降低運(yùn)維成本,同時(shí)釋放服務(wù)器能力?如何保證美團(tuán)在線業(yè)務(wù)安全永續(xù)運(yùn)營(yíng)等幾大問(wèn)題,成為美團(tuán)網(wǎng)建設(shè)的核心訴求。
“華為與美團(tuán)在云數(shù)據(jù)中心網(wǎng)絡(luò)領(lǐng)域有著深入且良好的合作,本次美團(tuán)云成功部署華為敏捷數(shù)據(jù)中心SDN方案,有效地支撐其戰(zhàn)略及業(yè)務(wù)的發(fā)展需求,在業(yè)界也具有重要的里程碑意義?!?華為交換機(jī)與企業(yè)通信產(chǎn)品線總裁劉少偉表示,“作為全球領(lǐng)先的信息與通信解決方案供應(yīng)商,華為圍繞客戶的需求持續(xù)創(chuàng)新,與合作伙伴開放合作,在企業(yè)網(wǎng)絡(luò)領(lǐng)域?yàn)榭蛻籼峁┯懈?jìng)爭(zhēng)力的解決方案和服務(wù),持續(xù)提升客戶體驗(yàn),為客戶創(chuàng)造最大價(jià)值?!?/p>
同時(shí),華為企業(yè)BG網(wǎng)絡(luò)產(chǎn)品總工Mark Wu表示:“此次美團(tuán)云部署的華為CE12800數(shù)據(jù)中心交換機(jī)以及敏捷控制器Agile Controller,旨在為客戶打造彈性、簡(jiǎn)單、開放的云數(shù)據(jù)中心網(wǎng)絡(luò),讓網(wǎng)絡(luò)更敏捷地為業(yè)務(wù)服務(wù),幫助美團(tuán)云連接云計(jì)算未來(lái)。”
詳細(xì)解讀SDN商用網(wǎng)絡(luò)
為了構(gòu)建適應(yīng)未來(lái)業(yè)務(wù)發(fā)展的云計(jì)算網(wǎng)絡(luò),實(shí)現(xiàn)美團(tuán)云 “穩(wěn)定提升價(jià)值”的理念目標(biāo),美團(tuán)與華為在SDN領(lǐng)域展開戰(zhàn)略合作,攜手共建面向云數(shù)據(jù)中心的SDN商用網(wǎng)絡(luò)。
■SDN實(shí)現(xiàn)租戶網(wǎng)絡(luò)自動(dòng)化,加速美團(tuán)云業(yè)務(wù)部署
華為敏捷控制器Agile Controller兼容ODL開放架構(gòu),通過(guò)3類接口、40個(gè)API和美團(tuán)云深度對(duì)接,協(xié)同美團(tuán)云平臺(tái)實(shí)現(xiàn)業(yè)務(wù)快速發(fā)放,實(shí)現(xiàn)了租戶網(wǎng)絡(luò)自動(dòng)化,加速美團(tuán)云業(yè)務(wù)部署。
■硬件VXLAN構(gòu)建多租戶網(wǎng)絡(luò),服務(wù)器性能提升2倍
美團(tuán)云部署華為基于硬件VXLAN方案,把支持租戶的數(shù)量由4K擴(kuò)充到16M,以適應(yīng)業(yè)務(wù)爆發(fā)式增長(zhǎng);同時(shí)通過(guò)CloudEngine交換機(jī)采用硬件VXLAN構(gòu)建多租戶網(wǎng)絡(luò),實(shí)現(xiàn)租戶間的隔離,服務(wù)器性能提升2倍;另外,硬件VXLAN方式支持異構(gòu)多虛擬計(jì)算平臺(tái),相對(duì)軟件方式有很好的兼容性。
■端到端業(yè)務(wù)路徑可視,實(shí)現(xiàn)租戶網(wǎng)絡(luò)精細(xì)化運(yùn)維
華為Agile Controller敏捷控制器與CloudEngine交換機(jī)配合,打破overlay網(wǎng)絡(luò)中虛擬網(wǎng)絡(luò)的運(yùn)維黑盒,由Agile Controller構(gòu)造下發(fā)探測(cè)報(bào)文,網(wǎng)絡(luò)轉(zhuǎn)發(fā)節(jié)點(diǎn)逐跳上送路徑信息,實(shí)現(xiàn)VM層面的轉(zhuǎn)發(fā)路徑可視,物理和虛擬網(wǎng)絡(luò)統(tǒng)一運(yùn)維。
■業(yè)界最佳的“雙”平面擴(kuò)展能力,支撐業(yè)務(wù)爆發(fā)性增長(zhǎng)
在控制面,華為Agile Controller敏捷控制器支持業(yè)界最大的1:64彈性集群,支持業(yè)務(wù)無(wú)損升級(jí);在轉(zhuǎn)發(fā)面,全球最高性能的CE12800數(shù)據(jù)中心核心交換機(jī),支持160Tbps交換容量,單線卡支持3.6Tbps的交換能力,是業(yè)界水平的3倍;線卡支持100ms超大緩存,滿足大數(shù)據(jù)業(yè)務(wù)需求;整機(jī)支持平滑演進(jìn),滿足美團(tuán)云數(shù)據(jù)中心5-10年業(yè)務(wù)發(fā)展需求。
■業(yè)界最強(qiáng)的抗攻擊防護(hù)方案,保護(hù)業(yè)務(wù)可用性
篇8
浪潮AS10000
在數(shù)字圖書館的應(yīng)用
傳統(tǒng)圖書館作為信息擁有者與提供者的圖書文獻(xiàn)機(jī)構(gòu),面臨著自動(dòng)化、數(shù)字化、網(wǎng)絡(luò)化的挑戰(zhàn),需要不斷地調(diào)整收藏結(jié)構(gòu)和服務(wù)方式來(lái)適應(yīng)信息社會(huì)的需求。全面實(shí)現(xiàn)海量電子圖書資料存儲(chǔ)、分布式信息存取和共享的數(shù)字圖書館應(yīng)運(yùn)而生。
數(shù)字圖書館是用數(shù)字技術(shù)處理和存儲(chǔ)各種圖文并茂文獻(xiàn)的圖書館,實(shí)質(zhì)上是一種多媒體制作的分布式信息系統(tǒng)。它把各種不同載體、不同地理位置的信息資源用數(shù)字技術(shù)存儲(chǔ),以便于跨越區(qū)域、面向?qū)ο蟮木W(wǎng)絡(luò)查詢和傳播。它涉及信息資源加工、存儲(chǔ)、檢索、傳輸和利用的全過(guò)程。通俗地說(shuō),數(shù)字圖書館就是虛擬的、沒有圍墻的圖書館,是基于網(wǎng)絡(luò)環(huán)境下共建共享的可擴(kuò)展的知識(shí)網(wǎng)絡(luò)系統(tǒng),是超大規(guī)模的、分布式的、便于使用的、沒有時(shí)空限制的、可以實(shí)現(xiàn)跨庫(kù)無(wú)縫鏈接與智能檢索的知識(shí)中心。
數(shù)字圖書館需要大量的磁、光、電等新型存儲(chǔ)媒介來(lái)存儲(chǔ)文本、圖像、聲音、動(dòng)畫、影視作品等文獻(xiàn)信息資源的數(shù)字化信息。海量數(shù)據(jù)信息的存儲(chǔ)和管理是數(shù)字圖書館的顯著特征之一。明確存儲(chǔ)需求是規(guī)劃存儲(chǔ)方案的前提,數(shù)字圖書館數(shù)據(jù)信息資源的種類、數(shù)量、性質(zhì)及用戶利用的方式、用戶的多少等,對(duì)分析存儲(chǔ)系統(tǒng)的容量、性能、傳輸速度、可靠性等方面的要求起決定性的作用。
數(shù)字圖書館具有系統(tǒng)用戶數(shù)量龐大,并發(fā)存取海量數(shù)據(jù)及業(yè)務(wù)類型多的特點(diǎn)。如何在復(fù)雜、多變的環(huán)境中提高基礎(chǔ)設(shè)施資源的利用率和數(shù)據(jù)庫(kù)用戶訪問(wèn)效率,確保安全、高效、準(zhǔn)確、全面地存取數(shù)據(jù),是圖書館存儲(chǔ)方案設(shè)計(jì)考慮的重點(diǎn)因素。
多種數(shù)據(jù)信息資源對(duì)重要性、安全性、再生性、讀寫性能、更新升級(jí)特性及保存時(shí)效性等有不同的要求。大文件的連續(xù)讀寫、要求帶寬性能高。小文件隨機(jī)讀寫,要求處理器的I/O性能,如數(shù)字期刊、數(shù)字圖書等,這里資源訪問(wèn)頻率很高,下載流量也比較大,對(duì)存儲(chǔ)系統(tǒng)的IOPS要求很高。而采用關(guān)系型或非關(guān)系型數(shù)據(jù)庫(kù)形式存儲(chǔ)的數(shù)據(jù)庫(kù)資源,是基于塊級(jí)的存儲(chǔ),對(duì)這類資源的訪問(wèn)頻率很高,需要頻繁地傳輸數(shù)據(jù)塊,因此,也要求存儲(chǔ)系統(tǒng)有較高的讀寫帶寬。對(duì)于多媒體資源的訪問(wèn)頻率雖然不高,但讀寫數(shù)據(jù)流量非常大,也需要很好的傳輸性能。一個(gè)數(shù)字圖書館的數(shù)據(jù)信息種類繁多,形式復(fù)雜多樣,數(shù)據(jù)的重要性程度不一,數(shù)據(jù)訪問(wèn)方式各異,因此數(shù)據(jù)信息的管理難度很高。數(shù)字圖書館的服務(wù)是全天候不間斷的服務(wù),尤其對(duì)那些關(guān)鍵數(shù)據(jù)的安全穩(wěn)定性有相當(dāng)高的要求,因此建立一個(gè)滿足存儲(chǔ)需求、運(yùn)行穩(wěn)定可靠的存儲(chǔ)系統(tǒng)是數(shù)字圖書館建設(shè)的基本要求。
本方案基于浪潮海量存儲(chǔ)系統(tǒng)AS10000構(gòu)建數(shù)字圖書館業(yè)務(wù)系統(tǒng)。保存關(guān)鍵數(shù)據(jù)的圖書館自動(dòng)化管理服務(wù)器和數(shù)據(jù)量增長(zhǎng)較快的應(yīng)用服務(wù)器,如鏡像數(shù)據(jù)服務(wù)器、電子圖書服務(wù)器、VOD服務(wù)器、FTP服務(wù)器、資源數(shù)據(jù)庫(kù)服務(wù)器等將其接入FC-SAN體系,在保證高速I/O通信帶寬的前提下由AS10000提供海量的數(shù)據(jù)存儲(chǔ)空間。
浪潮AS10000產(chǎn)品是國(guó)內(nèi)率先研制成功的多控制器和全交換體系結(jié)構(gòu)的存儲(chǔ)系統(tǒng),使我國(guó)在高端存儲(chǔ)領(lǐng)域?qū)崿F(xiàn)從無(wú)到有的零突破,這一創(chuàng)新成果打破了國(guó)外廠商長(zhǎng)期以來(lái)在高端存儲(chǔ)系統(tǒng)方面的市場(chǎng)和技術(shù)壟斷地位。AS10000存儲(chǔ)系統(tǒng)采用scale-out橫向擴(kuò)展的存儲(chǔ)架構(gòu),有效保證了存儲(chǔ)系統(tǒng)對(duì)于容量、性能的橫向擴(kuò)展需求,其最大容量支持64PB海量存儲(chǔ)空間;其海量的存儲(chǔ)空間、大規(guī)模部署能力,提供了超高的并發(fā)訪問(wèn)能力,聚合帶寬達(dá)到60GB/s,可同時(shí)支持6000并發(fā)訪問(wèn),滿足數(shù)字圖書館的復(fù)雜應(yīng)用需求。
AS10000產(chǎn)品作為一個(gè)款高端存儲(chǔ)系統(tǒng),其所支持的應(yīng)用系統(tǒng)要求具備更高的數(shù)據(jù)可靠性以及存儲(chǔ)設(shè)備的可用性,必須在存儲(chǔ)系統(tǒng)的內(nèi)部實(shí)現(xiàn)更多的可靠性設(shè)計(jì)。為此研究并實(shí)現(xiàn)了部件和交換組件的冗余容錯(cuò)技術(shù),實(shí)現(xiàn)了對(duì)控制器、磁盤、風(fēng)扇等物理部件在線維護(hù)的支持,采用了多層級(jí)的心跳協(xié)議、故障監(jiān)測(cè)、故障判斷、故障隔離,實(shí)現(xiàn)了對(duì)多控制器之間服務(wù)自動(dòng)切換的支持,從而在處理和存儲(chǔ)的控制器層面保證了系統(tǒng)可靠性、可用性、可擴(kuò)展性,滿足了數(shù)字圖書館的可靠性需求。
浪潮AS8000實(shí)現(xiàn)統(tǒng)一管理
隨著信息技術(shù)的不斷發(fā)展,云計(jì)算、大數(shù)據(jù)、虛擬化等技術(shù)改變了傳統(tǒng)IT的應(yīng)用模式,基于虛擬化技術(shù)的存儲(chǔ)系統(tǒng)逐漸成為前端復(fù)雜應(yīng)用的支撐平臺(tái)。如何保障數(shù)據(jù)安全,并且將遷移對(duì)主機(jī)業(yè)務(wù)的影響降到最低是我們?cè)跀?shù)據(jù)遷移過(guò)程中不得不考慮的問(wèn)題。
數(shù)據(jù)遷移的方案多種多樣,主要包括以下三種。
(1)基于主機(jī)的數(shù)據(jù)遷移:這種數(shù)據(jù)遷移模式不依賴于存儲(chǔ)設(shè)備品牌、架構(gòu),但與操作系統(tǒng)、應(yīng)用相關(guān),需要在系統(tǒng)和應(yīng)用層面作大量工作,如果采用第三方軟件,一般需要購(gòu)買license。除此之外,該種方案會(huì)大大占用主機(jī)資源,影響業(yè)務(wù)的正常運(yùn)轉(zhuǎn)。
(2)基于存儲(chǔ)設(shè)備自身功能的數(shù)據(jù)遷移:要求遷移的源存儲(chǔ)和目的存儲(chǔ)為同一廠商的同構(gòu)存儲(chǔ),需要購(gòu)買數(shù)據(jù)復(fù)制license,所以該方案局限性大。
(3)磁帶備份/恢復(fù):備份/恢復(fù)的數(shù)據(jù)不但速率慢,需要停機(jī)時(shí)間長(zhǎng),而且在系統(tǒng)和應(yīng)用層面的工作量大、可靠性低,該方案適用于小數(shù)據(jù)量的移植。
以上遷移方案雖然能夠達(dá)到最終目的,但是綜合考慮遷移過(guò)程復(fù)雜性、耗費(fèi)時(shí)間、對(duì)業(yè)務(wù)影響程度等問(wèn)題,顯然已經(jīng)不再是我們的首選?;诖鎯?chǔ)虛擬化技術(shù)來(lái)實(shí)現(xiàn)數(shù)據(jù)遷移將會(huì)帶來(lái)更多驚喜。
具有虛擬化功能的存儲(chǔ)系統(tǒng),在實(shí)現(xiàn)后端存儲(chǔ)統(tǒng)一池化管理的基礎(chǔ)上,還可提供透明管理的功能,再結(jié)合卷鏡像功能,實(shí)現(xiàn)在不影響業(yè)務(wù)正常運(yùn)行的情況下,無(wú)縫將數(shù)據(jù)遷移到虛擬化存儲(chǔ)設(shè)備中。
篇9
華為IT云計(jì)算產(chǎn)品線總裁任志鵬在云計(jì)算大會(huì)上公布了一組令人振奮的數(shù)據(jù):截至2013年6月底,華為云計(jì)算已經(jīng)服務(wù)于全球40多個(gè)國(guó)家和地區(qū)的超過(guò)250家客戶,覆蓋政府及公共事業(yè)、電信、能源、金融、媒資、制造等眾多行業(yè)。華為FusionCloud云計(jì)算解決方案成了華為“融合”戰(zhàn)略落地的一面旗幟。任志鵬表示:“雖然我們能夠?yàn)橛脩籼峁┒说蕉说脑朴?jì)算解決方案,但我們始終堅(jiān)守一個(gè)底線:數(shù)據(jù)中心基礎(chǔ)架構(gòu)?!?/p>
向大數(shù)據(jù)領(lǐng)域延展
華為FusionCloud能實(shí)現(xiàn)異構(gòu)硬件資源池的融合,將計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)融合在一起,并且針對(duì)企業(yè)IT的不同場(chǎng)景,提供彈性、自動(dòng)化的基礎(chǔ)設(shè)施。華為FusionCloud主要包括三個(gè)產(chǎn)品:華為云操作系統(tǒng)FusionSphere,它可以提供完整的水平整合和云化企業(yè)異構(gòu)IT基礎(chǔ)設(shè)施的能力,提升企業(yè)IT效率和業(yè)務(wù)敏捷度;華為FusionCube是將計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)融為一體的一體機(jī)解決方案,大幅縮短業(yè)務(wù)上線時(shí)間,并成倍提升系統(tǒng)的性能;華為FusionAccess是一款桌面云軟件,它與FusionSphere以及華為的IT硬件組成了桌面云解決方案。
在本次云計(jì)算大會(huì)上,華為了企業(yè)級(jí)大數(shù)據(jù)分析平臺(tái)FusionInsight 1.0,將華為云計(jì)算的觸角延伸至大數(shù)據(jù)領(lǐng)域。FusionInsight 1.0實(shí)際上就是一個(gè)Hadoop的商業(yè)發(fā)行版。據(jù)任志鵬介紹,F(xiàn)usionInsight是業(yè)內(nèi)首個(gè)能夠支持1000km異地容災(zāi)的大數(shù)據(jù)分析平臺(tái),通過(guò)對(duì)企業(yè)內(nèi)部和外部的海量信息進(jìn)行實(shí)時(shí)和非實(shí)時(shí)的分析挖掘,可幫助企業(yè)發(fā)現(xiàn)新的價(jià)值點(diǎn)和商機(jī)?;贔usionInsight 1.0,華為已經(jīng)開發(fā)出針對(duì)金融和電信客戶的解決方案,針對(duì)其他行業(yè)的解決方案正在研發(fā)之中。
鍛造云操作系統(tǒng)
FusionSphere云操作系統(tǒng)是華為FusionCloud云計(jì)算解決方案的基礎(chǔ)與核心。據(jù)任志鵬透露,全球已有超過(guò)50萬(wàn)個(gè)虛擬機(jī)(VM)運(yùn)行在華為FusionSphere平臺(tái)之上。華為FusionSphere除了具有高可靠、高性能等特征以外,其最大的特色就是開放性,比如FusionSphere可以管理不同廠商的虛擬機(jī)。
在本次云計(jì)算大會(huì)上,華為宣布FusionSphere已升級(jí)至3.0版。在FusionSphere的研發(fā)上,華為與英特爾展開了深入合作,比如在性能方面,F(xiàn)usionSphere通過(guò)英特爾NUMA技術(shù)實(shí)現(xiàn)了虛擬機(jī)內(nèi)存訪問(wèn)效率及虛擬機(jī)性能的有效提升,在SPECvirt_sc2010測(cè)試中獲得了4687分的優(yōu)異成績(jī);在可靠性方面,華為與英特爾合作開發(fā)的COLO方案作為FusionSphere的Fault Tolerance (容錯(cuò))技術(shù),可支持單核和多核CPU的虛擬機(jī)熱備,同時(shí)減少主備同步的開銷及性能開銷,提升了系統(tǒng)的可靠性及恢復(fù)能力;在兼容性方面,華為利用英特爾FlexMigrate技術(shù)可以在同廠商不同型號(hào)的CPU之間實(shí)現(xiàn)虛擬機(jī)的異構(gòu)熱遷移。
在本次云計(jì)算大會(huì)上,華為推出了FusionCube 2.0。任志鵬表示:“FusionCube 2.0是將計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、管理深度融合的云基礎(chǔ)設(shè)施一體機(jī),它大大縮短了部署時(shí)間,采用分布式存儲(chǔ)技術(shù),可以有效消除I/O性能瓶頸,其處理能力超傳統(tǒng)小型機(jī)10倍,堪稱最佳的小型機(jī)替換平臺(tái)?!?/p>
篇10
這三家看似毫無(wú)關(guān)聯(lián)的廠商,卻被英特爾投資聯(lián)系到了一起,他們惟一的共同點(diǎn)是云計(jì)算。
2014年2月18日,作為英特爾公司的全球投資與收購(gòu)兼并機(jī)構(gòu),英特爾投資高調(diào)宣布,注資上海一鋪信息科技有限公司,并與天津中科藍(lán)鯨信息技術(shù)有限公司及無(wú)錫華云數(shù)據(jù)技術(shù)服務(wù)有限公司簽署注資協(xié)議。
“英特爾投資希望通過(guò)這些新投資項(xiàng)目,進(jìn)一步推動(dòng)本土云計(jì)算及大數(shù)據(jù)的技術(shù)與商業(yè)創(chuàng)新?!庇⑻貭柾顿Y中國(guó)區(qū)董事總經(jīng)理許盛淵表示,在2014年,英特爾投資的重點(diǎn)將圍繞云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動(dòng)計(jì)算及可穿戴設(shè)備等領(lǐng)域――這無(wú)疑為無(wú)數(shù)初創(chuàng)企業(yè)帶來(lái)了福音。
深入生態(tài)鏈
近年來(lái),無(wú)論是行業(yè)還是資本市場(chǎng)都非常關(guān)注云計(jì)算企業(yè)。在IDC預(yù)測(cè)的2014年9大賺錢科技趨勢(shì)中,云計(jì)算仍然榜上有名。根據(jù)IDC預(yù)計(jì),2014年全球云計(jì)算開支將達(dá)到1000億美元,相比2013年增幅超過(guò)25%;大數(shù)據(jù)技術(shù)和服務(wù)也將在2014年實(shí)現(xiàn)30%的高速增長(zhǎng),總額超過(guò)140億美元。
高增長(zhǎng)前景和廣闊的市場(chǎng),使各種新興云計(jì)算企業(yè)成為英特爾、微軟這等大佬競(jìng)相爭(zhēng)搶的對(duì)象,無(wú)論是英特爾云計(jì)算創(chuàng)新中心,還是微軟云加速器,都意在扶植各自的中國(guó)創(chuàng)新生態(tài)鏈。而英特爾投資便充當(dāng)了英特爾公司的耳和眼。
進(jìn)入中國(guó)15年,英特爾投資已經(jīng)向超過(guò)110家中國(guó)公司投資了超過(guò)6.7億美金,不僅有力推動(dòng)了本土市場(chǎng)的成長(zhǎng),也在完善生態(tài)系統(tǒng)建設(shè)、助推產(chǎn)業(yè)變革中扮演了推動(dòng)者的角色。2013年,英特爾投資被多家機(jī)構(gòu)評(píng)為的全球第一機(jī)構(gòu)投資者(Corporate VC),而在國(guó)內(nèi)的風(fēng)險(xiǎn)投資基金中,英特爾投資也名列前茅。
在許盛淵看來(lái),中科藍(lán)鯨和華云數(shù)據(jù)都是云計(jì)算領(lǐng)域的優(yōu)先代表,在云計(jì)算行業(yè)中扮演著重要的角色,而上海一鋪科技在大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)以及移動(dòng)互聯(lián)網(wǎng)銷售解決方案領(lǐng)域有著豐富的經(jīng)驗(yàn)?!俺速Y金的支持,我們也會(huì)找其他的方法幫助被投資公司的發(fā)展,例如技術(shù)和市場(chǎng)的支持。”許盛淵說(shuō)。而英特爾中國(guó)云計(jì)算創(chuàng)新中心就是最好的資源。
2013年4月,英特爾全球首個(gè)云計(jì)算創(chuàng)新中心落戶中國(guó)北京。在這里,英特爾工程師將幫助合作伙伴驗(yàn)證和優(yōu)化其解決方案,與軟硬件開發(fā)商合作伙伴一起加速云計(jì)算、大數(shù)據(jù)解決方案相關(guān)的創(chuàng)新和實(shí)施進(jìn)程?!叭绻麑⒃朴?jì)算企業(yè)比喻成造車的,我們則打造了一條最高科技的賽道。云計(jì)算創(chuàng)新中心整合了基于英特爾架構(gòu)的最先進(jìn)IT技術(shù)和解決方案,代表了英特爾乃至整個(gè)行業(yè)的最高技術(shù)水平?!庇⑻貭栔袊?guó)數(shù)據(jù)中心及云計(jì)算業(yè)務(wù)產(chǎn)品市場(chǎng)總監(jiān)賀曉東介紹。
拉動(dòng)市場(chǎng)需求
借助于云與大數(shù)據(jù)的生態(tài)系統(tǒng),英特爾近幾年在數(shù)據(jù)中心領(lǐng)域?qū)崿F(xiàn)了跨越式的高速增長(zhǎng)。根據(jù)英特爾公司2013年度財(cái)報(bào)顯示,其2013全年收入達(dá)527億美元,其中凈收入96億美元。這很大一部分歸功于英特爾芯片所覆蓋的廣泛計(jì)算平臺(tái)。
IDC數(shù)據(jù)顯示,大數(shù)據(jù)技術(shù)和服務(wù)市場(chǎng)的規(guī)模將于2017年達(dá)到324億美元,這一增長(zhǎng)的主要驅(qū)動(dòng)力便來(lái)自于構(gòu)成物聯(lián)網(wǎng)的聯(lián)網(wǎng)設(shè)備所產(chǎn)生的海量數(shù)據(jù)。據(jù)估計(jì),到2020年,聯(lián)網(wǎng)設(shè)備的數(shù)量將會(huì)增加到300億臺(tái)。
有數(shù)據(jù)、有計(jì)算的地方就有英特爾。作為貫穿大數(shù)據(jù)裂變各個(gè)環(huán)節(jié)的廠商,無(wú)論是數(shù)據(jù)產(chǎn)生和采集的設(shè)備、數(shù)據(jù)分析和處理的過(guò)程,以及數(shù)據(jù)應(yīng)用的場(chǎng)景,為了適應(yīng)對(duì)計(jì)算能力越來(lái)越高的要求,英特爾也在做著轉(zhuǎn)變。
上海一鋪、中科藍(lán)鯨和華云數(shù)據(jù)這三家公司之間的聯(lián)系,不僅是云計(jì)算、大數(shù)據(jù),他們可能會(huì)發(fā)生更深層次的化學(xué)作用。而在被英特爾投資相中的其他公司中,也不乏很多相互之間能夠產(chǎn)生合力的企業(yè),他們甚至可以構(gòu)成一個(gè)完整的產(chǎn)業(yè)鏈。
“大數(shù)據(jù)和云計(jì)算都是個(gè)很龐大的范疇,不是每一個(gè)點(diǎn)都需要英特爾自己來(lái)做,我們需要合作伙伴來(lái)幫我們產(chǎn)品化,幫我們找客戶。而英特爾投資的任務(wù),就是拉動(dòng)市場(chǎng)對(duì)公司的核心業(yè)務(wù)的需求?!痹谠S盛淵看來(lái),在中國(guó),打造生態(tài)圈是英特爾投資達(dá)到使命的最快路徑。
由于云計(jì)算與大數(shù)據(jù)的火熱,每天幾乎有大量貼著大數(shù)據(jù)標(biāo)簽的公司找上門來(lái),如何從中淘到你所需要的那一個(gè),是許盛淵和其他投資經(jīng)理的最大挑戰(zhàn)。