大數(shù)據(jù)平臺(tái)解決方案范文
時(shí)間:2023-03-20 18:17:38
導(dǎo)語(yǔ):如何才能寫好一篇大數(shù)據(jù)平臺(tái)解決方案,這就需要搜集整理更多的資料和文獻(xiàn),歡迎閱讀由公務(wù)員之家整理的十篇范文,供你借鑒。
篇1
EMC Isilon:橫向擴(kuò)展 性能突出
大數(shù)據(jù)存儲(chǔ)不是一類單獨(dú)的產(chǎn)品,它有很多實(shí)現(xiàn)方式。EMC Isilon存儲(chǔ)事業(yè)部總經(jīng)理?xiàng)钐m江概括說(shuō),大數(shù)據(jù)存儲(chǔ)應(yīng)該具有以下一些特性:海量數(shù)據(jù)存儲(chǔ)能力,可輕松管理PB級(jí)乃至數(shù)十PB的存儲(chǔ)容量;具有全局命名空間,所有應(yīng)用可以看到統(tǒng)一的文件系統(tǒng)視圖;支持標(biāo)準(zhǔn)接口,應(yīng)用無(wú)需修改可直接運(yùn)行,并提供API接口進(jìn)行面向?qū)ο蟮墓芾恚蛔x寫性能優(yōu)異,聚合帶寬高達(dá)數(shù)GB乃至數(shù)十GB;易于管理維護(hù),無(wú)需中斷業(yè)務(wù)即可輕松實(shí)現(xiàn)動(dòng)態(tài)擴(kuò)展;基于開(kāi)放架構(gòu),可以運(yùn)行于任何開(kāi)放架構(gòu)的硬件之上;具有多級(jí)數(shù)據(jù)冗余,支持硬件與軟件冗余保護(hù),數(shù)據(jù)具有高可靠性;采用多級(jí)存儲(chǔ)備份,可靈活支持SSD、SAS、SATA和磁帶庫(kù)的統(tǒng)一管理。
通過(guò)與中國(guó)用戶的接觸,楊蘭江認(rèn)為,當(dāng)前中國(guó)用戶最迫切需要了解的是大數(shù)據(jù)存儲(chǔ)有哪些分類,而在大數(shù)據(jù)應(yīng)用方面面臨的最大障礙就是如何在眾多平臺(tái)中找到適合自己的解決方案。
EMC針對(duì)不同的應(yīng)用需求可以提供不同的解決方案:對(duì)于能源、媒體、生命科學(xué)、醫(yī)療影像、GIS、視頻監(jiān)控、HPC應(yīng)用、某些歸檔應(yīng)用等,EMC會(huì)首推以Isilon存儲(chǔ)為核心的大數(shù)據(jù)存儲(chǔ)解決方案;對(duì)于虛擬化以及具有很多小文件的應(yīng)用,EMC將首推以VNX、XtremIO為核心的大數(shù)據(jù)存儲(chǔ)解決方案;對(duì)于大數(shù)據(jù)分析一類的應(yīng)用需求,EMC會(huì)綜合考慮客戶的具體需求,推薦Pivotal、Isilon等一體化的解決方案。在此,具體介紹一下EMC用于大數(shù)據(jù)的橫向擴(kuò)展NAS解決方案——EMC Isilon,其設(shè)計(jì)目標(biāo)是簡(jiǎn)化對(duì)大數(shù)據(jù)存儲(chǔ)基礎(chǔ)架構(gòu)的管理,為大數(shù)據(jù)提供靈活的可擴(kuò)展平臺(tái),進(jìn)一步提高大數(shù)據(jù)存儲(chǔ)的效率,降低成本。
EMC Isilon存儲(chǔ)解決方案主要包括三部分:EMC Isilon平臺(tái)節(jié)點(diǎn)和加速器,可從單個(gè)文件系統(tǒng)進(jìn)行大數(shù)據(jù)存儲(chǔ),從而服務(wù)于 I/O 密集型應(yīng)用程序、存儲(chǔ)和近線歸檔;EMC Isilon基礎(chǔ)架構(gòu)軟件是一個(gè)強(qiáng)大的工具,可幫助用戶在大數(shù)據(jù)環(huán)境中保護(hù)數(shù)據(jù)、控制成本并優(yōu)化存儲(chǔ)資源和系統(tǒng)性能;EMC Isilon OneFS操作系統(tǒng)可在集群中跨節(jié)點(diǎn)智能地整合文件系統(tǒng)、卷管理器和數(shù)據(jù)保護(hù)功能。
楊蘭江表示,企業(yè)用戶選擇EMC Isilon的理由可以歸納為以下幾點(diǎn)。第一,簡(jiǎn)化管理,增強(qiáng)易用性。與傳統(tǒng)NAS相比,無(wú)論未來(lái)存儲(chǔ)容量、性能增加到何種程度,EMC Isilon的安裝、管理和擴(kuò)展都會(huì)保持其簡(jiǎn)單性。第二,強(qiáng)大的可擴(kuò)展性。EMC Isilon可以滿足非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和分析需求,單個(gè)文件系統(tǒng)和卷中每個(gè)集群的容量為18TB~15PB。第三,更高的處理效率,更低的成本。EMC Isilon在單個(gè)共享存儲(chǔ)池中的利用率超過(guò)80%,而EMC Isilon SmartPools軟件可進(jìn)一步優(yōu)化資源,提供自動(dòng)存儲(chǔ)分層,保證存儲(chǔ)的高性能、經(jīng)濟(jì)性。第四,靈活的互操作性。EMC Isilon支持眾多行業(yè)標(biāo)準(zhǔn),簡(jiǎn)化工作流。它還提供了API可以向客戶和ISV提供OneFS控制接口,提供Isilon集群的自動(dòng)化、協(xié)調(diào)和資源調(diào)配能力。
EMC Isilon大數(shù)據(jù)存儲(chǔ)解決方案已經(jīng)在醫(yī)療、制造、高校和科研機(jī)構(gòu)中有了許多成功應(yīng)用。
方案點(diǎn)評(píng)
EMC Isilon是一個(gè)強(qiáng)大但簡(jiǎn)單的橫向擴(kuò)展NAS方案,適用于希望投資數(shù)據(jù)管理而不是單純存儲(chǔ)的企業(yè)。當(dāng)初,EMC將收購(gòu)來(lái)的分布式數(shù)據(jù)倉(cāng)庫(kù)軟件廠商Greenplum的軟件與Isilon存儲(chǔ)組合成了EMC最早的大數(shù)據(jù)解決方案。用戶既可以分開(kāi)選擇Greenplum軟件或Isilon存儲(chǔ),也可以選擇由Greenplum軟件和Isilon存儲(chǔ)組成的一體機(jī)解決方案?,F(xiàn)在,Greenplum軟件雖然已歸Pivotal公司,但EMC是Pivotal的經(jīng)銷商與合作伙伴,Greenplum與Isilon存儲(chǔ)的組合方案并不會(huì)因此受到影響。
HDS UCP:統(tǒng)一平臺(tái) 應(yīng)用優(yōu)化
HDS中國(guó)區(qū)解決方案與專業(yè)服務(wù)事業(yè)部總監(jiān)陳戈認(rèn)為,大數(shù)據(jù)存儲(chǔ)應(yīng)該是一個(gè)解決方案:“大數(shù)據(jù)解決方案是由基礎(chǔ)架構(gòu)的各部件組成的,包含數(shù)據(jù)存儲(chǔ)、計(jì)算和分析,而存儲(chǔ)是此架構(gòu)中的一部分?!?/p>
大數(shù)據(jù)的存儲(chǔ)類型與傳統(tǒng)的存儲(chǔ)類型有一定區(qū)別:在大數(shù)據(jù)存儲(chǔ)中,更多的應(yīng)用是一次寫、多次讀,讀得更多是大數(shù)據(jù)存儲(chǔ)的一個(gè)特點(diǎn),而在傳統(tǒng)的數(shù)據(jù)存儲(chǔ)中,讀寫是隨機(jī)的,由于每個(gè)應(yīng)用不同,其讀寫的比例也是隨機(jī)的;大數(shù)據(jù)存儲(chǔ)需要具有橫向的可擴(kuò)展性,并可支持多種接口、多種數(shù)據(jù)訪問(wèn)協(xié)議,便于不同數(shù)據(jù)進(jìn)入這個(gè)大數(shù)據(jù)平臺(tái)。
談到中國(guó)用戶在大數(shù)據(jù)存儲(chǔ)應(yīng)用中最迫切的需求是什么,陳戈認(rèn)為,中國(guó)用戶最迫切的需求是如何逐步實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用,即用戶從現(xiàn)有的模式如何過(guò)渡到大數(shù)據(jù),如何更好地利用大數(shù)據(jù)進(jìn)行經(jīng)營(yíng)分析。
大數(shù)據(jù)的經(jīng)典定義可以歸納為四個(gè)“V”,但企業(yè)不可能一步到位實(shí)現(xiàn)四個(gè)“V”,這需要一個(gè)循序漸進(jìn)的過(guò)程。海量的、多種類型的數(shù)據(jù)是一次性全部載入到大數(shù)據(jù)中,還是通過(guò)現(xiàn)有的平臺(tái)進(jìn)行數(shù)據(jù)初選,再導(dǎo)入到大數(shù)據(jù)平臺(tái)中,是兩種不同的實(shí)現(xiàn)途徑?!跋韧ㄟ^(guò)現(xiàn)有平臺(tái)進(jìn)行數(shù)據(jù)初選,再導(dǎo)入到大數(shù)據(jù)平臺(tái),這種方式更適合于客戶逐漸實(shí)現(xiàn)大數(shù)據(jù),可以縮短用戶實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用的時(shí)間?!标惛瓯硎荆按髷?shù)據(jù)主要是非結(jié)構(gòu)化數(shù)據(jù)。用戶可以使用基于對(duì)象數(shù)據(jù)存儲(chǔ)的HCP,利用其獨(dú)特的元數(shù)據(jù)采集和智能工具,對(duì)非結(jié)構(gòu)化文件數(shù)據(jù)進(jìn)行管理,實(shí)現(xiàn)智能的自動(dòng)化,這有助于對(duì)數(shù)據(jù)進(jìn)行深度分析,幫助客戶從單一系統(tǒng)中存儲(chǔ)、共享、同步、保護(hù)、保存、分析和檢索文件數(shù)據(jù),減少垃圾數(shù)據(jù),進(jìn)而為大數(shù)據(jù)分析建立一個(gè)良好的基礎(chǔ)?!?/p>
談到用戶在大數(shù)據(jù)應(yīng)用中遇到的主要障礙,陳戈表示,一方面,應(yīng)用軟件本身的智能程度是否能滿足行業(yè)應(yīng)用需求,應(yīng)用軟件是否已經(jīng)成型,大數(shù)據(jù)人才是否具備等,是讓大數(shù)據(jù)應(yīng)用落地的關(guān)鍵;另一方面,如何抽取數(shù)據(jù),放在大數(shù)據(jù)平臺(tái)中進(jìn)行相應(yīng)的計(jì)算是另一個(gè)關(guān)鍵問(wèn)題。
HDS可為所有數(shù)據(jù)提供單一、可擴(kuò)展的虛擬化集成平臺(tái)。HDS推出了“三步”云戰(zhàn)略,從基礎(chǔ)架構(gòu)、內(nèi)容和信息三個(gè)層面幫助客戶解決目前所遇到的問(wèn)題。具體來(lái)看,通過(guò)“基礎(chǔ)架構(gòu)云”,HDS可以幫助客戶進(jìn)行虛擬化和集成管理,實(shí)現(xiàn)數(shù)據(jù)中心的整合;在第二層的“內(nèi)容云”當(dāng)中,HDS可以按需提供內(nèi)容,更可以不受應(yīng)用限制地進(jìn)行數(shù)據(jù)搜索和集成;在第三層的“信息云”中,針對(duì)所有數(shù)據(jù)類型,HDS在其存儲(chǔ)平臺(tái)中融入了分析功能,使客戶可以從數(shù)據(jù)信息中獲取洞察力。
HDS提供的UCP for SAP HANA集成了基于大量數(shù)據(jù)集的創(chuàng)新和內(nèi)存分析技術(shù),并提供實(shí)時(shí)的洞察力,從而使當(dāng)前的信息驅(qū)動(dòng)型企業(yè)可以加快其商業(yè)決策的速度。陳戈介紹說(shuō),UCP for SAP HANA解決方案結(jié)合了HDS刀片服務(wù)器技術(shù)、企業(yè)級(jí)存儲(chǔ)系統(tǒng)和業(yè)內(nèi)領(lǐng)先的網(wǎng)絡(luò)組件,在這樣一個(gè)集成的、高性能的硬件平臺(tái)上可以快速交付SAP下一代內(nèi)存計(jì)算技術(shù)。全球已有超過(guò)200家客戶在使用HDS和SAP的大數(shù)據(jù)解決方案。
方案點(diǎn)評(píng)
其實(shí),HDS的“三步”云戰(zhàn)略也可以看成是其大數(shù)據(jù)戰(zhàn)略。HDS借助以UCP為核心的大數(shù)據(jù)平臺(tái),可以幫助企業(yè)用戶構(gòu)建從基礎(chǔ)架構(gòu)到內(nèi)容歸檔和搜索,直至信息提取和分析的全面、高效的大數(shù)據(jù)解決方案。HDS的“信息云”直接與大數(shù)據(jù)相關(guān)。UCP是一個(gè)集成了計(jì)算、存儲(chǔ)與網(wǎng)絡(luò)的一體化平臺(tái),它既可以提供像一體機(jī)一樣的整合性、簡(jiǎn)單性,又可以提供靈活的選擇,連接第三方的設(shè)備組件。HDS還通過(guò)與包括SAP在內(nèi)的眾多大數(shù)據(jù)分析類的合作伙伴合作,針對(duì)行業(yè)定制優(yōu)質(zhì)的大數(shù)據(jù)解決方案。
HP StoreAll :快速部署 極速搜索
中國(guó)惠普有限公司企業(yè)集團(tuán)存儲(chǔ)產(chǎn)品部存儲(chǔ)架構(gòu)師張楠向記者表示,大數(shù)據(jù)存儲(chǔ)是一套解決方案,應(yīng)該能夠?qū)Υ髷?shù)據(jù)的Volume、Velocity、Variety和Value四個(gè)方面提供全面的支持。
第一,大數(shù)據(jù)存儲(chǔ)要支持海量級(jí)的數(shù)據(jù)存儲(chǔ),比如具有PB級(jí)的存儲(chǔ)能力。第二,大數(shù)據(jù)存儲(chǔ)要支持更高的存儲(chǔ)速度,支持10Gb甚至更高的網(wǎng)絡(luò)連接。第三,大數(shù)據(jù)存儲(chǔ)要支持?jǐn)?shù)據(jù)的多樣性,如圖片、文本、視頻、音頻等。第四,大數(shù)據(jù)最重要的是價(jià)值的體現(xiàn),而為了實(shí)現(xiàn)這一點(diǎn),存儲(chǔ)本身應(yīng)該具備快速、智能的數(shù)據(jù)檢索能力。“在存儲(chǔ)的最底層提供最直接、快捷的數(shù)據(jù)檢索。這一過(guò)程簡(jiǎn)單說(shuō)就是,將上層的數(shù)據(jù)挖掘工作下移,充分利用存儲(chǔ)強(qiáng)大的處理能力和數(shù)據(jù)識(shí)別能力?!睆堥e例說(shuō),“比如,在秒級(jí)的單位內(nèi)對(duì)數(shù)據(jù)進(jìn)行極速的搜索, 從幾千萬(wàn)甚至上億個(gè)文件中找到目標(biāo)數(shù)據(jù)?!?/p>
另外,模糊查詢能力也是大數(shù)據(jù)存儲(chǔ)不可缺少的功能。智能的模糊查詢將為大數(shù)據(jù)平臺(tái)提供更加便捷的存儲(chǔ)服務(wù)能力,使得存儲(chǔ)更像一臺(tái)智能的高速計(jì)算設(shè)備。
目前,很多中國(guó)用戶在存儲(chǔ)廠商的引導(dǎo)下,片面追求存儲(chǔ)的大容量和高性能,而忽略了大數(shù)據(jù)存儲(chǔ)本身應(yīng)該提供的其他額外屬性。中國(guó)用戶在實(shí)施大數(shù)據(jù)的過(guò)程中經(jīng)常遇到的障礙有以下兩方面:第一,無(wú)法將存儲(chǔ)與大數(shù)據(jù)平臺(tái)進(jìn)行對(duì)接;第二,無(wú)法充分利用大數(shù)據(jù)存儲(chǔ)的價(jià)值,也很難將其運(yùn)用到實(shí)際的業(yè)務(wù)中。張楠表示,究其原因,主要在于有些大數(shù)據(jù)存儲(chǔ)產(chǎn)品沒(méi)有開(kāi)放的接口協(xié)議,或沒(méi)有針對(duì)用戶的大數(shù)據(jù)場(chǎng)景進(jìn)行特別優(yōu)化,也沒(méi)有用戶容易接受的易用的管理方式等。
惠普在大數(shù)據(jù)方面可以提供軟硬結(jié)合的解決方案?;萜赵谑召?gòu)Autonomy公司之后,將其軟件與惠普的硬件平臺(tái)進(jìn)行了整合, 形成了一套完整的大數(shù)據(jù)解決方案。張楠介紹說(shuō),在存儲(chǔ)方面,惠普擁有像StoreAll這樣的大數(shù)據(jù)存儲(chǔ)平臺(tái)。借助HP StoreAll硬件平臺(tái),用戶除了可以實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)和高速數(shù)據(jù)訪問(wèn)以外,還能實(shí)現(xiàn)高級(jí)的數(shù)據(jù)檢索功能,對(duì)特殊文件進(jìn)行快速定位。同時(shí),結(jié)合HP Autonomy軟件的特性,惠普還引入了模糊查詢、智能語(yǔ)義庫(kù)等概念,可以幫助企業(yè)用戶通過(guò)存儲(chǔ)底層為上層業(yè)務(wù)帶來(lái)所需的大數(shù)據(jù)業(yè)務(wù)價(jià)值。
如今,閃存不僅在大數(shù)據(jù)領(lǐng)域,而且在Tier 1存儲(chǔ)市場(chǎng)同樣占據(jù)著十分重要的地位。對(duì)于大數(shù)據(jù)平臺(tái)來(lái)說(shuō),閃存可用來(lái)提升存儲(chǔ)的存取速度,降低I/O的響應(yīng)時(shí)間等。針對(duì)那些I/O壓力十分明確的大數(shù)據(jù)平臺(tái), SSD可以發(fā)揮其效果, 提升存儲(chǔ)的整體性能。但是,SSD并不是萬(wàn)能的。因?yàn)榇蟛糠值臄?shù)據(jù)都是非結(jié)構(gòu)化的,而非結(jié)構(gòu)化數(shù)據(jù)對(duì)I/O的響應(yīng)要求遠(yuǎn)遠(yuǎn)沒(méi)有對(duì)帶寬的需求大,所以,讓用戶花數(shù)倍的價(jià)格購(gòu)買SSD存儲(chǔ)在目前來(lái)看還是比較困難的。從目前情況看,引入閃存的大數(shù)據(jù)解決方案還不是很普遍。
方案點(diǎn)評(píng)
惠普在大數(shù)據(jù)方面收購(gòu)了兩個(gè)軟件公司Vertica與Autonomy,然后將它們的軟件與原有的硬件平臺(tái)進(jìn)行整合,針對(duì)結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)都可以提供針對(duì)性的解決方案。惠普在將大數(shù)據(jù)軟件與存儲(chǔ)硬件結(jié)合上也進(jìn)行了嘗試,其中一個(gè)成功的例子就是HP StoreAll大數(shù)據(jù)存儲(chǔ)平臺(tái)。HP StoreAll具有以下特點(diǎn):橫向擴(kuò)展,最大可以擴(kuò)展到16TB;集成HP Autonomy搜索引擎,可以快速搜索,實(shí)現(xiàn)實(shí)時(shí)大數(shù)據(jù)的價(jià)值;內(nèi)置對(duì)OpenStack的支持,可快速部署;支持文件和對(duì)象類型的數(shù)據(jù)存儲(chǔ)。
NetApp:統(tǒng)一架構(gòu) 無(wú)限擴(kuò)展
如今,企業(yè)若想獲得成功,就必須想方設(shè)法應(yīng)對(duì)具有前所未有的復(fù)雜性、高性能的海量數(shù)據(jù),并盡可能地管理這些數(shù)據(jù),從中發(fā)掘更大的商業(yè)價(jià)值。
對(duì)于國(guó)內(nèi)用戶來(lái)說(shuō),無(wú)論企業(yè)的規(guī)模和數(shù)據(jù)量大小如何,運(yùn)用大數(shù)據(jù)的關(guān)鍵在于,企業(yè)是否把大數(shù)據(jù)作為一個(gè)真正的工具,去體現(xiàn)企業(yè)的差異化,從而提升競(jìng)爭(zhēng)力。隨著越來(lái)越智慧的企業(yè)信息化的發(fā)展,IT不再是束縛企業(yè)發(fā)展的瓶頸,而是真正地融入了企業(yè)自身的業(yè)務(wù)中。越來(lái)越多的公司將大數(shù)據(jù)成功地運(yùn)用于企業(yè)的商業(yè)模式。例如,在歐美,很多企業(yè)已經(jīng)著手將大量資源投放在大數(shù)據(jù)領(lǐng)域。反觀國(guó)內(nèi),在金融領(lǐng)域,有為數(shù)不少的企業(yè)通過(guò)大數(shù)據(jù)的分析工具來(lái)分析金融的走勢(shì),實(shí)現(xiàn)風(fēng)險(xiǎn)管理,進(jìn)行信用卡的追蹤等。此外,像零售、制造、電信等行業(yè)也已在嘗試?yán)么髷?shù)據(jù)分析工具為企業(yè)營(yíng)銷和決策提供支撐。
無(wú)論企業(yè)現(xiàn)在是否正在使用大數(shù)據(jù)工具,企業(yè)都應(yīng)全面地考慮自身未來(lái)發(fā)展的需求,選擇一個(gè)廠家的平臺(tái)與之共同發(fā)展,這可以有效避免因數(shù)據(jù)和應(yīng)用遷移帶來(lái)的麻煩。
在大數(shù)據(jù)方面,NetApp能夠幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)管理,應(yīng)對(duì)業(yè)務(wù)挑戰(zhàn)的極限,將以數(shù)據(jù)為導(dǎo)向的洞察轉(zhuǎn)化為有效行動(dòng)。若想將數(shù)據(jù)轉(zhuǎn)化為商機(jī),僅僅提升管理能力是不夠的,需要徹底轉(zhuǎn)變數(shù)據(jù)和業(yè)務(wù)之間的聯(lián)系模式。NetApp可以幫助企業(yè)用戶持續(xù)管理數(shù)據(jù),迅速把握意料之外的新商機(jī),永久保存所有數(shù)據(jù),并在靈活、開(kāi)放的存儲(chǔ)平臺(tái)之上打造屬于企業(yè)自己的大數(shù)據(jù)解決方案。
NetApp提供了可高效處理、分析、管理和訪問(wèn)大規(guī)模數(shù)據(jù)的大數(shù)據(jù)解決方案。NetApp的解決方案組合可劃分為分析、帶寬和內(nèi)容三個(gè)主要用例,這被稱之為大數(shù)據(jù)的“ABC”基本要素。
具體來(lái)看,分析(Analysis)是指針對(duì)極大數(shù)據(jù)集的高效分析。NetApp分析解決方案就是幫助用戶深入了解和利用數(shù)字世界,將數(shù)據(jù)轉(zhuǎn)化為高質(zhì)量的信息,以及提供關(guān)于業(yè)務(wù)的更深入見(jiàn)解,從而幫助企業(yè)做出更好的決策。
帶寬(Bandwidth)是指適用于數(shù)據(jù)密集型工作負(fù)載的性能。此類解決方案著重于為速度非常快的工作負(fù)載提供更高的性能。高帶寬應(yīng)用包括高性能計(jì)算(能以極快的速度執(zhí)行復(fù)雜的分析)、用于監(jiān)控和任務(wù)規(guī)劃的高性能視頻流、媒體和娛樂(lè)領(lǐng)域中的視頻剪輯和播放。
內(nèi)容(Content)是指無(wú)限的安全數(shù)據(jù)存儲(chǔ)。此類解決方案著重于滿足可擴(kuò)展的安全數(shù)據(jù)存儲(chǔ)需求。內(nèi)容解決方案必須支持存儲(chǔ)的無(wú)限擴(kuò)展能力,以便企業(yè)可以根據(jù)需要存儲(chǔ)任意多的數(shù)據(jù),并能在需要時(shí)找到所需的數(shù)據(jù)。
NetApp致力于通過(guò)一系列解決方案來(lái)提供高性能的運(yùn)算和大數(shù)據(jù)的應(yīng)用。2013年11月,NetApp再次更新了E系列家族產(chǎn)品,推出E2700和E5500。該系列產(chǎn)品采用可輕松擴(kuò)展的設(shè)計(jì),適用于要求99.999%的可靠性且穩(wěn)定、高性能的工作負(fù)載。
用戶在采購(gòu)大數(shù)據(jù)存儲(chǔ)產(chǎn)品時(shí),需要注意以下五個(gè)方面的問(wèn)題:大數(shù)據(jù)存儲(chǔ)必須具有向上擴(kuò)展與向外擴(kuò)展的能力;架構(gòu)必須是針對(duì)工作負(fù)載進(jìn)行優(yōu)化的,具有實(shí)時(shí)處理能力;具有整合的數(shù)據(jù)保護(hù)功能;保證7×24小時(shí)運(yùn)行不中斷,可在線進(jìn)行容量擴(kuò)展,實(shí)施數(shù)據(jù)遷移等;可以實(shí)現(xiàn)服務(wù)的自動(dòng)化。
方案點(diǎn)評(píng)
NetApp的技術(shù)優(yōu)勢(shì)集中體現(xiàn)在其統(tǒng)一存儲(chǔ)平臺(tái)上,從入門級(jí)產(chǎn)品到企業(yè)級(jí)產(chǎn)品,全部基于同一個(gè)體系架構(gòu)和操作系統(tǒng),不僅部署和使用方便,而且升級(jí)和擴(kuò)展非常簡(jiǎn)單。當(dāng)初,NetApp收購(gòu)LSI Engenio,其中一個(gè)重要的原因就是為了大數(shù)據(jù)。2013年,NetApp不斷更新E系列產(chǎn)品線,推出E2700和E5500等。E5500可以支持高IOPS混合工作負(fù)載和數(shù)據(jù)庫(kù)、高性能文件系統(tǒng)和帶寬密集型流等應(yīng)用,可確保數(shù)據(jù)的高可用性、完整性和安全性。
曙光XData:高度集成 貼近行業(yè)
關(guān)于大數(shù)據(jù)存儲(chǔ),目前業(yè)界沒(méi)有一個(gè)通用的定義。曙光信息產(chǎn)業(yè)股份有限公司總裁助理兼存儲(chǔ)產(chǎn)品線產(chǎn)品總監(jiān)惠潤(rùn)海從曙光大數(shù)據(jù)平臺(tái)和解決方案角度,概括出大數(shù)據(jù)存儲(chǔ)的主要特征。
首先,大數(shù)據(jù)存儲(chǔ)必須支持全類型數(shù)據(jù), 包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)數(shù)據(jù),實(shí)現(xiàn)統(tǒng)一數(shù)據(jù)支持。
其次,存儲(chǔ)性能上,一方面,大數(shù)據(jù)存儲(chǔ)要支持海量數(shù)據(jù),并且要在保證數(shù)據(jù)可靠性的基礎(chǔ)之上,實(shí)現(xiàn)容量與性能的線性擴(kuò)展;另一方面,為了實(shí)現(xiàn)大數(shù)據(jù)的價(jià)值,批處理和實(shí)時(shí)處理兩種措施都需要高性能的數(shù)據(jù)訪問(wèn)獲取能力。
最后,在系統(tǒng)達(dá)到一定規(guī)模之后,系統(tǒng)的易用性和可管理性也是不可或缺的。
從應(yīng)用角度來(lái)說(shuō),目前中國(guó)用戶在大數(shù)據(jù)存儲(chǔ)應(yīng)用中最迫切的需求,是如何真正實(shí)現(xiàn)用戶數(shù)據(jù)的價(jià)值,如何驅(qū)動(dòng)業(yè)務(wù)發(fā)展,實(shí)現(xiàn)決策和運(yùn)營(yíng)?!皬南到y(tǒng)構(gòu)建層面說(shuō),要實(shí)現(xiàn)數(shù)據(jù)高性價(jià)比的存儲(chǔ)和管理,同時(shí)滿足數(shù)據(jù)服務(wù)的相關(guān)需求。”惠潤(rùn)海表示。
針對(duì)用戶對(duì)大數(shù)據(jù)存儲(chǔ)的需求, 曙光推出了像大數(shù)據(jù)一體機(jī)這樣的全類型數(shù)據(jù)分析型產(chǎn)品,同時(shí)還基于該產(chǎn)品構(gòu)建了基于行業(yè)的解決方案,以幫助用戶實(shí)現(xiàn)大數(shù)據(jù)落地。
“除此之外, 我們還提供了大數(shù)據(jù)統(tǒng)一數(shù)據(jù)中心解決方案, 涵蓋了像主攻事物處理的DS900、DS800,以及針對(duì)文件存儲(chǔ)的Parastor等存儲(chǔ)產(chǎn)品。我們基于這些存儲(chǔ)產(chǎn)品構(gòu)建了大數(shù)據(jù)運(yùn)營(yíng)管理平臺(tái)?!被轁?rùn)海介紹說(shuō),“曙光的優(yōu)勢(shì)不僅在于可以提供全面的產(chǎn)品支撐,更重要的是能夠提供數(shù)據(jù)生命周期過(guò)程服務(wù)支持。目前,我們提供的免費(fèi)維保期限為5年。”
曙光開(kāi)發(fā)了針對(duì)不同行業(yè)和應(yīng)用場(chǎng)景的大數(shù)據(jù)存儲(chǔ)解決方案。以金融行業(yè)為例,目前國(guó)內(nèi)四大行的應(yīng)用系統(tǒng)每年產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)量已達(dá)到PB級(jí),結(jié)構(gòu)化數(shù)據(jù)也以百TB計(jì)。面對(duì)如此大量的數(shù)據(jù),如何存儲(chǔ)、管理、利用和盤活它們呢?惠潤(rùn)海認(rèn)為,只有通過(guò)商業(yè)智能和高級(jí)分析應(yīng)用解決方案才能將數(shù)據(jù)的價(jià)值最大程度地發(fā)揮出來(lái)。
針對(duì)金融行業(yè)用戶的需求,曙光開(kāi)發(fā)的XData大數(shù)據(jù)解決方案利用優(yōu)化的大數(shù)據(jù)處理技術(shù),對(duì)文件管理、歷史數(shù)據(jù)查詢和數(shù)據(jù)分析類應(yīng)用等進(jìn)行深入研究,為數(shù)據(jù)爆炸式增長(zhǎng)帶來(lái)的海量數(shù)據(jù)存儲(chǔ)及分析應(yīng)用提供高可靠的解決方案。
曙光金融行業(yè)XData大數(shù)據(jù)解決方案采用曙光自主研發(fā)的SN-MPP并行數(shù)據(jù)庫(kù),同時(shí)結(jié)合大數(shù)據(jù)處理事實(shí)標(biāo)準(zhǔn)Hadoop,并充分考慮了多方面的數(shù)據(jù)收集,加入ETL工具和連接驅(qū)動(dòng)器,提供了類SQL的接口,還和現(xiàn)有金融業(yè)務(wù)系統(tǒng)進(jìn)行對(duì)接。
針對(duì)金融行業(yè)歷史數(shù)據(jù),XData大數(shù)據(jù)解決方案在方案設(shè)計(jì)上主要考慮了數(shù)據(jù)的安全性、歷史數(shù)據(jù)高效導(dǎo)入、快速訪問(wèn)與分析報(bào)表。曙光金融行業(yè)大數(shù)據(jù)解決方案立足于基礎(chǔ)平臺(tái)建設(shè),同時(shí)切實(shí)貼合金融行業(yè)用戶需求,提供了優(yōu)質(zhì)的軟硬一體化解決方案,為用戶一攬子解決了部署、業(yè)務(wù)移植開(kāi)發(fā)等技術(shù)難題,幫助用戶跨過(guò)應(yīng)用門檻。
篇2
這正是白宮網(wǎng)站的《大數(shù)據(jù)研究和發(fā)展倡議》所追求的——“通過(guò)收集、處理龐大而復(fù)雜的數(shù)據(jù)信息,獲得知識(shí)和洞見(jiàn),提升能力,加快科學(xué)、工程領(lǐng)域的創(chuàng)新步伐,轉(zhuǎn)變教育和學(xué)習(xí)模式”。
各行各業(yè)都能用得上大數(shù)據(jù),只是對(duì)大數(shù)據(jù)重要性的意識(shí)程度不同:凱捷咨詢(Capgemini)的調(diào)研結(jié)果顯示,76%能源和自然資源行業(yè)的高管相信公司是數(shù)據(jù)驅(qū)動(dòng)的,在醫(yī)療醫(yī)藥行業(yè)和生物科技行業(yè)這個(gè)數(shù)字為75%,在金融行業(yè)為73%。包括英特爾在內(nèi)的有能力提供大數(shù)據(jù)解決方案的IT廠商正在努力讓各行各業(yè)的企業(yè)切實(shí)感受到大數(shù)據(jù)的魔力。
能否置身事外?
隨著網(wǎng)絡(luò)應(yīng)用和多媒體應(yīng)用的興起,互聯(lián)網(wǎng)成為大數(shù)據(jù)的主要來(lái)源。隨之而產(chǎn)生的網(wǎng)絡(luò)營(yíng)銷調(diào)整圍繞大數(shù)據(jù)而展開(kāi)。淘寶是國(guó)內(nèi)公認(rèn)的對(duì)用戶數(shù)據(jù)利用得較好的公司——淘寶網(wǎng)利用大數(shù)據(jù)統(tǒng)計(jì)分析得到諸如“歐洲杯的球隊(duì)勝負(fù)如何影響各隊(duì)球衣的銷量?花露水的最佳搭配是電蚊拍還是痱子粉?”等問(wèn)題的有趣結(jié)果,并以此為依據(jù)來(lái)更好地調(diào)整營(yíng)銷戰(zhàn)略。
近日,阿里巴巴集團(tuán)宣布,將在集團(tuán)管理層面設(shè)立首席數(shù)據(jù)官崗位(Chief Data Officer),負(fù)責(zé)全面推進(jìn)阿里巴巴集團(tuán)成為“數(shù)據(jù)分享平臺(tái)”的戰(zhàn)略。這直接證明了大數(shù)據(jù)對(duì)于互聯(lián)網(wǎng)企業(yè)的意義。
別的行業(yè)能不能對(duì)大數(shù)據(jù)冷眼旁觀呢?賽迪智庫(kù)軟件與信息服務(wù)業(yè)研究所研究員安暉認(rèn)為,雖然目前大數(shù)據(jù)的主要來(lái)源是互聯(lián)網(wǎng),但許多以信息流作為核心競(jìng)爭(zhēng)力,如金融、電信、零售等行業(yè)的機(jī)構(gòu)或企業(yè),其數(shù)據(jù)量也不容低估。例如,美國(guó)國(guó)家海洋和大氣管理局(NOAA)數(shù)據(jù)中心存儲(chǔ)的數(shù)據(jù)超過(guò)20PB,沃爾瑪數(shù)據(jù)中心的存儲(chǔ)能力超過(guò)4PB,eBay分析平臺(tái)每天處理的數(shù)據(jù)量高達(dá)100PB。并且,由于這些機(jī)構(gòu)和企業(yè)所存儲(chǔ)的數(shù)據(jù)更加有針對(duì)性,其數(shù)據(jù)的價(jià)值密度更高,進(jìn)行大數(shù)據(jù)處理的意義更強(qiáng),運(yùn)用大數(shù)據(jù)的需求也更為迫切。
安暉以數(shù)個(gè)典型行業(yè)為例來(lái)說(shuō)明大數(shù)據(jù)能帶來(lái)什么好處——電信行業(yè)可以從龐大的數(shù)據(jù)中分析出不同群體的差異化需求,實(shí)現(xiàn)套餐制定等精準(zhǔn)營(yíng)銷;制造行業(yè)可以通過(guò)整合來(lái)自研發(fā)、工程和制造部門的數(shù)據(jù)以實(shí)行并行工程,顯著縮短產(chǎn)品上市時(shí)間并提高質(zhì)量;交通行業(yè)可以通過(guò)整合和處理相關(guān)數(shù)據(jù),實(shí)現(xiàn)智能交通(管理)與高效物流調(diào)度。
賽迪顧問(wèn)軟件與信息服務(wù)業(yè)研究中心研究總監(jiān)胡小鵬認(rèn)為,金融行業(yè)中證券、信用卡、電子支付等數(shù)據(jù)規(guī)模龐大,具有使用對(duì)象多樣化、信息可靠性、實(shí)時(shí)性、保密性要求高等特點(diǎn);電信行業(yè)中大數(shù)據(jù)主要體現(xiàn)為電信業(yè)務(wù)系統(tǒng)產(chǎn)業(yè)的計(jì)費(fèi)賬務(wù)數(shù)據(jù)和用戶信息(包括客戶資料、客戶服務(wù)數(shù)據(jù)等),不僅數(shù)據(jù)量大,而且保存時(shí)間長(zhǎng);能源行業(yè)大數(shù)據(jù)主要集中在石油勘探以及電力生產(chǎn)、經(jīng)營(yíng)、管理等數(shù)據(jù),具有數(shù)據(jù)量大、分散、類型復(fù)雜等特點(diǎn)。其中,在金融行業(yè),利用大數(shù)據(jù)的挖掘和分析改善用戶體驗(yàn)、監(jiān)督欺詐行為、驗(yàn)證合規(guī)性、服務(wù)創(chuàng)新等,從而助力金融智能決策,提升競(jìng)爭(zhēng)力;而對(duì)于電力行業(yè),大數(shù)據(jù)分析有利于電網(wǎng)安全高效運(yùn)行(安全檢測(cè)與控制、災(zāi)難預(yù)警與處理、供電與電力調(diào)度決策支持和負(fù)荷預(yù)測(cè))、電力營(yíng)銷(用戶用電行為分析)、集團(tuán)集中管控與精細(xì)化管理等。
大數(shù)據(jù)這場(chǎng)盛宴上,哪個(gè)行業(yè)也不愿意沒(méi)有一席之地。
誰(shuí)能站出來(lái)?
大數(shù)據(jù)的熱度可以由英特爾、IBM、EMC、惠普等廠商紛紛推出面向大數(shù)據(jù)的一體化產(chǎn)品和解決方案直接反映出來(lái)。
然而,一個(gè)不能逃避的現(xiàn)實(shí)是,雖然越來(lái)越多的行業(yè)用戶嘗試應(yīng)用大數(shù)據(jù)的解決方案,但是大多數(shù)行業(yè)用戶對(duì)于大數(shù)據(jù)的認(rèn)知仍然比較有限。面對(duì)林林總總的不同廠商提供的大數(shù)據(jù)解決方案,用戶分不清這些解決方案的差異在哪里,也就不會(huì)真正了解哪種解決方案適合自己。
有用戶反映,大數(shù)據(jù)解決方案容易給人的錯(cuò)覺(jué)是該解決方案就是把數(shù)據(jù)分布存儲(chǔ),再并行處理。即使采用國(guó)外廠商的工具,這些工具成熟度不是特別高,導(dǎo)致解決實(shí)際問(wèn)題的時(shí)間過(guò)長(zhǎng)。
英特爾相關(guān)專家表示,從總體上看,中國(guó)大數(shù)據(jù)市場(chǎng)發(fā)展迅速,特征明顯,相關(guān)技術(shù)和應(yīng)用可改進(jìn)和提升的空間巨大。而且大數(shù)據(jù)要落地,必須實(shí)現(xiàn)包括芯片商、軟件企業(yè)等在內(nèi)的IT基礎(chǔ)設(shè)施與服務(wù)層平臺(tái)的開(kāi)放。
英特爾在硬件上的領(lǐng)先無(wú)需多言。在軟件層面,考慮到Hadoop的開(kāi)源特性,很多廠商都有機(jī)會(huì)在Hadoop的基礎(chǔ)上推出產(chǎn)品,但行業(yè)解決方案提供商面臨的一個(gè)苦惱是,他們不得不進(jìn)行底層開(kāi)發(fā)。實(shí)際上,底層解決方案是有很多共性的。對(duì)行業(yè)解決方案提供商來(lái)說(shuō),如果有一個(gè)由可靠廠商優(yōu)化過(guò)的平臺(tái)再好不過(guò)了。利用這個(gè)平臺(tái),行業(yè)解決方案提供商可以拋開(kāi)重復(fù)的、無(wú)意義的勞動(dòng),將注意力和精力更加集中在行業(yè)特點(diǎn)上,進(jìn)而開(kāi)發(fā)出滿足行業(yè)所需的實(shí)打?qū)嵉男袠I(yè)解決方案。在這種情況下,英特爾適時(shí)地推出了英特爾Hadoop發(fā)行版,打造一個(gè)優(yōu)秀的、高價(jià)值的底層平臺(tái)。
對(duì)于如何從大數(shù)據(jù)中發(fā)掘價(jià)值,英特爾指出,這需要在IT基礎(chǔ)設(shè)施與服務(wù)層、數(shù)據(jù)組織與管理層、數(shù)據(jù)分析與發(fā)現(xiàn)層、決策支持與IT服務(wù)層全面引入新的技術(shù),特別是在堪稱大數(shù)據(jù)應(yīng)用“載體”的IT基礎(chǔ)設(shè)施與服務(wù)層,采用基于開(kāi)放架構(gòu)的平臺(tái)將是最佳選擇。
O‘Reilly Strata和Open Source Convention大會(huì)委員會(huì)主席Edd Dumbill曾指出,使大數(shù)據(jù)真正變得強(qiáng)大的方式之一就是讓上層程序員可以將精力放在數(shù)據(jù)而非底層Hadoop設(shè)施的抽象特征上。他們編寫更簡(jiǎn)短的程序,能夠更清晰地表達(dá)出對(duì)數(shù)據(jù)所做的處理。這些將有助于為非程序員創(chuàng)建更好的工具。
延伸到企業(yè)層面,“行業(yè)解決方案提供商需要穩(wěn)定性和可用性都足夠好的平臺(tái)。在這樣的平臺(tái)上,行業(yè)解決方案提供商可以從不必要的重復(fù)性勞動(dòng)中解放出來(lái),從而把更多的精力放在提供差異化特色方案和服務(wù)上?!庇⑻貭杹喬邪l(fā)有限公司總經(jīng)理、英特爾軟件與服務(wù)事業(yè)部中國(guó)區(qū)總經(jīng)理何京翔的看法類似。進(jìn)而,他解讀了英特爾Hadoop發(fā)行版的優(yōu)勢(shì):“英特爾Hadoop發(fā)行版的優(yōu)勢(shì)在于:處理接近于實(shí)時(shí);能在英特爾平臺(tái)上實(shí)現(xiàn)最優(yōu)化的性能,比非英特爾發(fā)行版有成倍的增長(zhǎng);通過(guò)和電信、智能城市、醫(yī)療等行業(yè)客戶的合作,英特爾Hadoop還做了更進(jìn)一步的優(yōu)化?!?/p>
除了提供平臺(tái),英特爾(中國(guó))行業(yè)合作與解決方案部中國(guó)區(qū)總監(jiān)凌琦強(qiáng)調(diào),英特爾還會(huì)把大數(shù)據(jù)解決方案的研究和服務(wù)作為投資部門的重點(diǎn)。英特爾的風(fēng)險(xiǎn)投資部門也對(duì)大數(shù)據(jù)中所涉及的關(guān)鍵平臺(tái)、關(guān)鍵應(yīng)用、提供商,給予關(guān)注。
行業(yè)側(cè)重點(diǎn)
英特爾硬件平臺(tái)的特點(diǎn)讓其可以用“通吃”來(lái)形容,行業(yè)特色則由軟件來(lái)體現(xiàn)。
正如英特爾Hadoop發(fā)行版白皮書(shū)所指出的,它“為企業(yè)應(yīng)用而優(yōu)化”,其擁有的增強(qiáng)高可靠性、增強(qiáng)分布式文件系統(tǒng)HDFS擴(kuò)展性(使集群的I/O吞吐量能夠隨著節(jié)點(diǎn)數(shù)量的增加而線性增加)、動(dòng)態(tài)調(diào)整數(shù)據(jù)復(fù)制策略(提高熱點(diǎn)數(shù)據(jù)的并發(fā)訪問(wèn)能力)、改進(jìn)分布式計(jì)算框架調(diào)度算法(避免并行任務(wù)退化成串行執(zhí)行)、增加Hadoop集群監(jiān)控管理、優(yōu)化HBase查詢、實(shí)現(xiàn)細(xì)粒度的HBase合并調(diào)度控制(避免合并風(fēng)暴)、創(chuàng)建異地HBase大表、均衡負(fù)載等相對(duì)開(kāi)源Hadoop和其他Hadoop發(fā)行版的核心優(yōu)勢(shì)在多個(gè)行業(yè)中均不可或缺。
篇3
日前,在戴爾公司召開(kāi)的2012年高層客戶峰會(huì)上,戴爾亞太及日本地區(qū)總裁、全球新興市場(chǎng)董事長(zhǎng)閔毅達(dá)(Amit Midha)表示,IT市場(chǎng)目前呈現(xiàn)出五大趨勢(shì):IT系統(tǒng)簡(jiǎn)化、虛擬化與云計(jì)算逐步普及、數(shù)據(jù)大爆炸、新興市場(chǎng)發(fā)展、IT消費(fèi)化。因此,他認(rèn)為,推動(dòng)部署虛擬化、降低IT系統(tǒng)運(yùn)營(yíng)成本、管理快速增加的復(fù)雜數(shù)據(jù)、管理工作人員所使用的各種IT設(shè)備,這些都成為企業(yè)面臨的挑戰(zhàn)。戴爾近年來(lái)同樣通過(guò)轉(zhuǎn)型,努力提高全面服務(wù)于客戶的能力,為用戶提供端到端的解決方案。
收購(gòu)加速能力提升
在IT界,一直以來(lái)都不乏通過(guò)對(duì)具有先進(jìn)技術(shù)的公司的收購(gòu),來(lái)迅速提升本公司能力的案例,對(duì)于以往以PC等終端設(shè)備見(jiàn)長(zhǎng)的戴爾來(lái)說(shuō),要想轉(zhuǎn)型進(jìn)軍企業(yè)級(jí)市場(chǎng),收購(gòu)無(wú)疑是一條快速實(shí)現(xiàn)目標(biāo)的捷徑。從2008年開(kāi)始,戴爾就將目光投向了在存儲(chǔ)、網(wǎng)絡(luò)、安全、軟件、服務(wù)等領(lǐng)域有特色的廠商,開(kāi)始了有計(jì)劃、有步驟的收購(gòu)行動(dòng)。
至今,戴爾已經(jīng)收購(gòu)了20多家廠商,其中不少很成功的收購(gòu)為業(yè)界所津津樂(lè)道。例如對(duì)存儲(chǔ)廠商EqualLogic的收購(gòu),兩年時(shí)間就使其業(yè)績(jī)達(dá)到10億美元,而用戶數(shù)增加了8倍;2010年年底收購(gòu)的智能存儲(chǔ)廠商Compellent,使戴爾的存儲(chǔ)解決方案上了一個(gè)臺(tái)階,Compellent的“流動(dòng)數(shù)據(jù)”理念現(xiàn)在已經(jīng)成為戴爾存儲(chǔ)的設(shè)計(jì)理念;對(duì)咨詢服務(wù)廠商佩羅的收購(gòu)更是填補(bǔ)了戴爾企業(yè)級(jí)咨詢服務(wù)的空白,使戴爾的解決方案成為名副其實(shí)的“端到端”,并有效地帶動(dòng)了戴爾其他產(chǎn)品線的銷售。
正是這一次次的收購(gòu),使戴爾迅速轉(zhuǎn)型,業(yè)績(jī)不斷提升,在當(dāng)今云計(jì)算和大數(shù)據(jù)時(shí)代,也有了更多的話語(yǔ)權(quán)。戴爾全球企業(yè)解決方案事業(yè)部副總裁Cheryl Cook認(rèn)為,戴爾在大數(shù)據(jù)方面擁有創(chuàng)新性的解決方案,不僅可以為用戶節(jié)省大筆資金,同時(shí)可提供極高的價(jià)值。她認(rèn)為,大數(shù)據(jù)從開(kāi)始到成熟分為5個(gè)階段,即從混亂、保留、優(yōu)化到簡(jiǎn)單分析、復(fù)雜分析。在這5個(gè)階段里,戴爾針對(duì)前3個(gè)階段,可提供大數(shù)據(jù)保留解決方案;而對(duì)于后兩個(gè)階段,戴爾則擁有大數(shù)據(jù)分析解決方案。Cheryl Cook認(rèn)為,戴爾創(chuàng)新性的解決方案可處理成熟度模型范圍內(nèi)的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化內(nèi)容,她特別說(shuō)道,戴爾將利用Hadoop,并與從事Hadoop開(kāi)發(fā)的Cloudera公司合作,為用戶提供大數(shù)據(jù)分析解決方案;而在大數(shù)據(jù)保留解決方案中,戴爾將充分發(fā)揮在存儲(chǔ)方面的優(yōu)勢(shì),通過(guò)存儲(chǔ)虛擬化和整合、應(yīng)用程序優(yōu)化、數(shù)據(jù)保護(hù)、災(zāi)難恢復(fù)以及數(shù)據(jù)保留和管理等技術(shù),為“流動(dòng)的數(shù)據(jù)”提供存儲(chǔ)和保護(hù)。
深諳用戶需求
在戴爾2012年高層客戶峰會(huì)上,戴爾服務(wù)部首席創(chuàng)新官James Stikeleather就“IT的未來(lái)”進(jìn)行了演講,他認(rèn)為,企業(yè)IT未來(lái)將面臨著來(lái)自IT價(jià)值、所有權(quán)和角色等方面的五大根本性變化,這些變化包括:信息超越流程、IT嵌入在業(yè)務(wù)服務(wù)之中、外部化的服務(wù)交付、企業(yè)合作伙伴的責(zé)任更大、減弱的獨(dú)立IT角色。
作為IT解決方案供應(yīng)商,戴爾同樣也是一家企業(yè),James Stikeleather認(rèn)為,在當(dāng)今這個(gè)轉(zhuǎn)型的時(shí)代,戴爾已經(jīng)成功地轉(zhuǎn)型成為高效企業(yè),它將戰(zhàn)略性支出從2008年占IT預(yù)算的20%提高到今天的52%。這期間,戴爾的IT經(jīng)過(guò)了標(biāo)準(zhǔn)化、簡(jiǎn)化、自動(dòng)化,并最終實(shí)現(xiàn)云,比如將97%的系統(tǒng)遷移到x86平臺(tái);大力推進(jìn)虛擬化,從而減少了6000臺(tái)服務(wù)器;僅用一個(gè)控制臺(tái)就可管理13萬(wàn)臺(tái)服務(wù)器和客戶端;運(yùn)用云平臺(tái)聆聽(tīng)客戶的聲音、信息和進(jìn)行交互。這些舉措使戴爾更加了解用戶,更有針對(duì)性地為用戶提供適合的解決方案,真正解決用戶的問(wèn)題。
閔毅達(dá)介紹說(shuō),戴爾目前針對(duì)不同行業(yè)推出了不同的解決方案,尤其在金融、教育、醫(yī)療、制造業(yè)等行業(yè)中更是擁有大量的用戶,并與用戶一起合作開(kāi)發(fā)和培養(yǎng)人才。在會(huì)上,戴爾與教育部教育管理信息中心針對(duì)教育信息化建設(shè)和管理人才技術(shù)培訓(xùn)及試點(diǎn)合作簽訂了備忘錄,與北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所簽署了戴爾虛擬集成系統(tǒng)(VIS)聯(lián)合實(shí)驗(yàn)室項(xiàng)目備忘錄,還與中國(guó)東方航空就長(zhǎng)期發(fā)展簽署了合作備忘錄。
篇4
一體化方案確保信息回報(bào)
一項(xiàng)由惠普主導(dǎo)的調(diào)查表明,亞太地區(qū)60%的受訪企業(yè)表示今年將把至少10%的IT創(chuàng)新預(yù)算用于大數(shù)據(jù),而在中國(guó)這一數(shù)字為56%。三分之一的亞太地區(qū)和中國(guó)受訪企業(yè)還堅(jiān)信,大數(shù)據(jù)是其最大的差異化競(jìng)爭(zhēng)優(yōu)勢(shì)。然而,調(diào)查卻發(fā)現(xiàn),近一半的亞太地區(qū)受訪企業(yè)所實(shí)施的大數(shù)據(jù)計(jì)劃都失敗了,而在中國(guó),這一數(shù)字為55%。很顯然,大數(shù)據(jù)中蘊(yùn)含著巨大的商業(yè)價(jià)值,然而駕馭大數(shù)據(jù)不是一件容易的事,并不是所有企業(yè)都具備像Google一樣“玩轉(zhuǎn)”數(shù)據(jù)的基因與技術(shù)儲(chǔ)備。許多行業(yè)除了需要做好大數(shù)據(jù)思維上的轉(zhuǎn)變之外,還需要有不同工具來(lái)進(jìn)行大數(shù)據(jù)的處理與分析。
通過(guò)對(duì)收購(gòu)的Vertica、Autonomy、ArcSight等產(chǎn)品進(jìn)行優(yōu)化整合,惠普在融入Hadoop等大數(shù)據(jù)技術(shù)的基礎(chǔ)上打造了大數(shù)據(jù)分析平臺(tái)HAVEn?!癏AVEn平臺(tái)提供了大量的應(yīng)用開(kāi)發(fā)接口(API),惠普希望通過(guò)HAVEn與合作伙伴共同打造一套完整的大數(shù)據(jù)分析生態(tài)系統(tǒng),讓更多應(yīng)用解決方案落地到行業(yè)。它可以充分利用惠普的分析軟件、硬件和服務(wù),創(chuàng)建新一代為大數(shù)據(jù)準(zhǔn)備的分析應(yīng)用和解決方案?!?惠普公司軟件集團(tuán)大中華區(qū)總經(jīng)理于志偉表示,“同時(shí),HAVEn平臺(tái)還支持各種主流硬件平臺(tái),為客戶提供最佳的投資回報(bào)(Return On Investment)與信息回報(bào)(Return On Information)?!?/p>
不只是軟件平臺(tái)
“HAVEn”這個(gè)名字實(shí)際上來(lái)源于其各個(gè)組件的首字母,即Hadoop(HDFS)、Autonomy、Vertica、Enterprise Security以及nApp(行業(yè)解決方案)??梢钥闯觯琀AVEn平臺(tái)實(shí)際上是一個(gè)惠普大數(shù)據(jù)產(chǎn)品的組合。實(shí)際上,HAVEn解決方案中除了包含此前提到的四方面內(nèi)容外,還支持Hadoop這樣通用的技術(shù),而且是“雙向集成”。同時(shí)HAVEn并不是一個(gè)孤立的軟件產(chǎn)品,而是更多軟、硬件產(chǎn)品的服務(wù)能力的體現(xiàn)。“HAVEn不只是一個(gè)軟件平臺(tái),更是一個(gè)生態(tài)環(huán)境。”于志偉表示。
篇5
【關(guān)鍵詞】大數(shù)據(jù) 體系架構(gòu) 國(guó)產(chǎn)化 自主可控
1 前言
在全球已經(jīng)全面進(jìn)入信息時(shí)代的今天,數(shù)據(jù)已經(jīng)成為與水、石油、天然氣同等重要的國(guó)家戰(zhàn)略資源。IDC報(bào)告指出,截止2011年底,全球的數(shù)據(jù)量已達(dá)到了1.8萬(wàn)億GB,未來(lái)十年還將增長(zhǎng)50倍,迅速積累的海量數(shù)據(jù)蘊(yùn)含著重大的商業(yè)價(jià)值和社會(huì)價(jià)值。作為云計(jì)算領(lǐng)域的重要延伸,大數(shù)據(jù)在行業(yè)內(nèi)的熱度在不斷升溫。2012年我國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模為4.5億元,同比增長(zhǎng)40.6%。IDC預(yù)計(jì),全球大數(shù)據(jù)2016年將達(dá)238億美元,中國(guó)市場(chǎng)規(guī)模未來(lái)5年將增長(zhǎng)近7倍。
大數(shù)據(jù)技術(shù)最近幾年在迅速發(fā)展,國(guó)內(nèi)外的廠商和組織已經(jīng)推出了多種大數(shù)據(jù)解決方案。在金融領(lǐng)域,已經(jīng)利用大數(shù)據(jù)技術(shù)解決詐騙檢驗(yàn)、IT風(fēng)險(xiǎn)管理和自助服務(wù)等問(wèn)題,未來(lái)大數(shù)據(jù)技術(shù)將會(huì)起到越來(lái)越重要的作用。目前國(guó)內(nèi)外很多金融機(jī)構(gòu)如摩根大通、花旗銀行,以及風(fēng)電、太陽(yáng)能發(fā)電、石化企業(yè)等制造業(yè)企業(yè)也開(kāi)始采用大數(shù)據(jù)的解決方案進(jìn)行設(shè)備監(jiān)控、優(yōu)化和故障預(yù)防[1]。
由于國(guó)內(nèi)外針對(duì)商業(yè)機(jī)構(gòu)系統(tǒng)頻頻發(fā)生的安全事件,國(guó)內(nèi)各行業(yè)的信息化目前正在向基于國(guó)產(chǎn)軟硬件和自主可控方向發(fā)展,大數(shù)據(jù)也是目前國(guó)內(nèi)各行業(yè)重點(diǎn)關(guān)注的技術(shù)。很多廠商和企業(yè)紛紛進(jìn)行技術(shù)研究、方案準(zhǔn)備和內(nèi)部測(cè)試,并逐步開(kāi)始在歷史數(shù)據(jù)查詢、分析,非結(jié)構(gòu)化數(shù)據(jù)檢索等方向上開(kāi)始使用[2]。從最近幾年的趨勢(shì)來(lái)看,安全、自主可控的大數(shù)據(jù)解決方案在大數(shù)據(jù)的行業(yè)領(lǐng)域有非常大的市場(chǎng)需求。
國(guó)內(nèi)的很多關(guān)鍵行業(yè)應(yīng)用,如金融信息系統(tǒng)的許多關(guān)鍵設(shè)備都沒(méi)有采用國(guó)產(chǎn)產(chǎn)品,導(dǎo)致無(wú)法準(zhǔn)確判斷其安全隱患,這使得我國(guó)信息化建設(shè)的安全底數(shù)不清。迫切需要國(guó)內(nèi)IT企業(yè)和行業(yè)共同研發(fā)自主可控、自主知識(shí)產(chǎn)權(quán)的信息系統(tǒng)、信息環(huán)境和信息安全產(chǎn)品。針對(duì)這種狀況國(guó)家銀監(jiān)會(huì)提出了“自主可控,持續(xù)發(fā)展,科技創(chuàng)新”的三大戰(zhàn)略[3],國(guó)產(chǎn)的信息化產(chǎn)品,在金融領(lǐng)域的應(yīng)用已經(jīng)開(kāi)始了破冰之旅,事實(shí)也已經(jīng)開(kāi)始證明,自主可控的軟硬件產(chǎn)品,在關(guān)鍵行業(yè)領(lǐng)域的應(yīng)用是可行的,但是缺乏完整的經(jīng)過(guò)驗(yàn)證的整體解決方案和實(shí)際案例,無(wú)法復(fù)制和推廣。
本文基于國(guó)產(chǎn)軟硬件產(chǎn)品進(jìn)行自主可控的大數(shù)據(jù)體系架構(gòu)研究要打破國(guó)外技術(shù)依賴,掌握技術(shù)命脈。針對(duì)現(xiàn)有行業(yè)關(guān)鍵系統(tǒng)多數(shù)是直接引用國(guó)外成熟技術(shù),關(guān)鍵、復(fù)雜、核心的應(yīng)用系統(tǒng)大多是建立在非自主產(chǎn)品上,形成了對(duì)國(guó)外的技術(shù)嚴(yán)重依賴的現(xiàn)狀,本文的研究將可以在大數(shù)據(jù)領(lǐng)域打破國(guó)外技術(shù)的壟斷,形成有競(jìng)爭(zhēng)力的國(guó)產(chǎn)解決方案。
2 主要研究?jī)?nèi)容
本文主要研究面向行業(yè)應(yīng)用、基于自主可控基礎(chǔ)軟硬件產(chǎn)品的大數(shù)據(jù)體系架構(gòu),研究?jī)?nèi)容主要包括:
2.1 行業(yè)大數(shù)據(jù)應(yīng)用的需求分析
2.1.1 面向多源異構(gòu)業(yè)務(wù)數(shù)據(jù)的采集和管理需求
在客戶信息為例,行業(yè)內(nèi)的集團(tuán)企業(yè)經(jīng)常會(huì)面臨急需解決的數(shù)據(jù)集成問(wèn)題,企業(yè)存在大分散的客戶信息資源,并由各系統(tǒng)自主采集和維護(hù),沒(méi)有良好的共享體系,客戶信息、訂單信息等異構(gòu)的存在不同數(shù)據(jù)源中,沒(méi)有橫跨多個(gè)業(yè)務(wù)領(lǐng)域的客戶信息的統(tǒng)一管理和分發(fā)體系。因此,要求統(tǒng)一建設(shè)行業(yè)信息大數(shù)據(jù)管理系統(tǒng),是一套為所有在線業(yè)務(wù)服務(wù)的、整合的行業(yè)信息大數(shù)據(jù)管理與分析系統(tǒng),并具有行業(yè)先進(jìn)水平的大數(shù)據(jù)管理和分析能力,以滿足企業(yè)形成市場(chǎng)競(jìng)爭(zhēng)優(yōu)勢(shì)的要求。
2.1.2 針對(duì)海量異構(gòu)大數(shù)據(jù)的高性能存儲(chǔ)需求
通過(guò)調(diào)研發(fā)現(xiàn)很多大型企業(yè)的信息系統(tǒng)已經(jīng)積累了大量的業(yè)務(wù)數(shù)據(jù),而且隨著業(yè)務(wù)拓展的需求,大數(shù)據(jù)分析的數(shù)據(jù)源已經(jīng)不僅局限于企業(yè)內(nèi)部,如對(duì)客戶流失分析或者產(chǎn)品銷售趨勢(shì)預(yù)測(cè),就還需要互聯(lián)網(wǎng)社交網(wǎng)絡(luò)或者電商消費(fèi)信息等。這些多源、異構(gòu)、海量的數(shù)據(jù)對(duì)于大數(shù)據(jù)平臺(tái)的存儲(chǔ)提出了極高的要求。以某大型企業(yè)集團(tuán)的客戶和生產(chǎn)經(jīng)營(yíng)信息為例,數(shù)據(jù)規(guī)模已經(jīng)達(dá)到上百TB容量,且相關(guān)數(shù)據(jù)量,特別是生產(chǎn)線的傳感器數(shù)據(jù)和用戶行為等數(shù)據(jù)還在持續(xù)大幅增長(zhǎng)。
2.1.3 多樣性大數(shù)據(jù)分析和處理需求
大數(shù)據(jù)分析系統(tǒng)不但集成了多個(gè)系統(tǒng)的數(shù)據(jù)源,未來(lái)大數(shù)據(jù)分析應(yīng)用系統(tǒng)也會(huì)被多個(gè)部門,多個(gè)業(yè)務(wù)中使用,而且不同的部門和不同業(yè)務(wù)對(duì)大數(shù)據(jù)分析處理 的響應(yīng)時(shí)間、數(shù)據(jù)量、結(jié)果準(zhǔn)確程度以及具體的分析算法都會(huì)有很大差異。因此需要完整的對(duì)這些分析和處理需求進(jìn)行分析,以便于設(shè)計(jì)滿足當(dāng)前和潛在需求的大數(shù)據(jù)分析處理架構(gòu)。
2.1.4 行業(yè)大數(shù)據(jù)的安全監(jiān)控和隱私保護(hù)需求
面向行業(yè)和企業(yè)的大數(shù)據(jù)平臺(tái)都將集成來(lái)自于不同數(shù)據(jù)源的數(shù)據(jù),其中有很多數(shù)據(jù)會(huì)涉及商業(yè)秘密和個(gè)人隱私等安全問(wèn)題,所以這些數(shù)據(jù)在大數(shù)據(jù)平臺(tái)中應(yīng)該被合理的授權(quán)使用,并有完善的安全監(jiān)控和隱私保護(hù)措施,以避免引起數(shù)據(jù)泄密或者隱私糾紛。
2.1.5 行業(yè)大數(shù)據(jù)平臺(tái)的業(yè)務(wù)應(yīng)用和可視化展現(xiàn)的需求
大數(shù)據(jù)分析的結(jié)果是更好的支持業(yè)務(wù)推廣和運(yùn)營(yíng)決策,所以企業(yè)大數(shù)據(jù)分析還是要和現(xiàn)有的業(yè)務(wù)應(yīng)用緊密結(jié)合,并且以簡(jiǎn)單友好的操作,以及可視化的方式直觀的展現(xiàn)分析結(jié)果,這樣才能被各部門和各級(jí)別的人員使用好大數(shù)據(jù)系統(tǒng)。
篇6
5月5日,亞信數(shù)據(jù)推出了OCDP的最新版本4.0。亞信數(shù)據(jù)橘云產(chǎn)品線總經(jīng)理朱軍表示:“新產(chǎn)品的還在其次,我們現(xiàn)在更關(guān)注的是打造大數(shù)據(jù)生態(tài)圈,充分釋放開(kāi)源大數(shù)據(jù)技術(shù)的能力,讓各類合作伙伴在以O(shè)CDP為核心的數(shù)據(jù)操作平臺(tái)之上開(kāi)發(fā)垂直應(yīng)用,讓大數(shù)據(jù)解決方案變得更加簡(jiǎn)單、易用?!焙魬?yīng)亞信集團(tuán)的整體戰(zhàn)略,亞信數(shù)據(jù)要打造以大數(shù)據(jù)為核心的PaaS,走出有自己特色的大數(shù)據(jù)發(fā)展之路。
充分釋放開(kāi)源技術(shù)的能力
Hadoop商業(yè)發(fā)行版何其多,亞信數(shù)據(jù)OCDP到底有何過(guò)人之處?簡(jiǎn)單說(shuō),亞信數(shù)據(jù)OCDP的基礎(chǔ)還是那些開(kāi)源技術(shù)組件,不過(guò)OCDP是針對(duì)企業(yè)級(jí)用戶的需求設(shè)計(jì)的,并在局部功能上進(jìn)行了增強(qiáng)??傊瑏?lái)自開(kāi)源,優(yōu)于開(kāi)源,高于開(kāi)源。如果非要給OCDP找個(gè)對(duì)標(biāo)的產(chǎn)品,它與Hortonworks有幾分相似。
產(chǎn)品的更新?lián)Q代只是一方面,為了更好地推動(dòng)大數(shù)據(jù)應(yīng)用,亞信數(shù)據(jù)于2015年加入了大數(shù)據(jù)ODPi國(guó)際組織。它不僅僅是一個(gè)技術(shù)組織,更是一個(gè)大數(shù)據(jù)企業(yè)聯(lián)盟,包括Hortonworks、IBM、Pivotal、SAS等在內(nèi)的國(guó)際知名的大數(shù)據(jù)企業(yè)都參與其中。亞信數(shù)據(jù)此舉,既可以讓自己在大數(shù)據(jù)方面具有開(kāi)放性和國(guó)際化眼光,同時(shí)也能將國(guó)際先進(jìn)的理念、技術(shù)與中國(guó)用戶的需求和自身的實(shí)踐經(jīng)驗(yàn)相結(jié)合,更好地服務(wù)于企業(yè)級(jí)大數(shù)據(jù)應(yīng)用。朱軍表示,亞信數(shù)據(jù)的大數(shù)據(jù)產(chǎn)品定位其實(shí)很簡(jiǎn)單:在技術(shù)上,充分利用開(kāi)源技術(shù),保持國(guó)際領(lǐng)先;在產(chǎn)品化方面,結(jié)合中國(guó)行業(yè)應(yīng)用的特點(diǎn),不斷增強(qiáng)底層技術(shù),率先在運(yùn)營(yíng)商、金融、公安、政府等領(lǐng)域?qū)崿F(xiàn)突破。
OCDP為企業(yè)級(jí)用戶在大數(shù)據(jù)中心搭建統(tǒng)一的分布式操作平臺(tái),實(shí)現(xiàn)統(tǒng)一的資源分配、應(yīng)用管理和數(shù)據(jù)治理,并支持并發(fā)多用戶在OCDP基礎(chǔ)上采用敏捷方式整合大數(shù)據(jù)分析應(yīng)用的開(kāi)發(fā)與運(yùn)維。OCDP意在敏捷開(kāi)發(fā)和智能運(yùn)維,它為企業(yè)提高業(yè)務(wù)創(chuàng)新效率、改善數(shù)據(jù)中心資源利用率提供了堅(jiān)實(shí)的系統(tǒng)支撐平臺(tái),同時(shí)為企業(yè)的開(kāi)源節(jié)流提供了有效的產(chǎn)品和技術(shù)保障。
朱軍告訴記者:“市場(chǎng)上的Hadoop商業(yè)發(fā)行版80%的功能是通用、相似的。為了保持領(lǐng)先性和差異化,有些廠商在通用功能上又加入了自研的技術(shù)。而OCDP始終堅(jiān)持走開(kāi)放和國(guó)際化的道路,100%開(kāi)源,保證了透明性,將開(kāi)源技術(shù)的價(jià)值釋放出來(lái),并在此基礎(chǔ)上針對(duì)企業(yè)用戶的需求,增強(qiáng)了產(chǎn)品本身的性能,簡(jiǎn)化了應(yīng)用?!?/p>
其實(shí),企業(yè)用戶并不關(guān)心具體的技術(shù)細(xì)節(jié),他們只是希望能夠利用新技術(shù)解決實(shí)際的應(yīng)用問(wèn)題。開(kāi)源軟件的一個(gè)好處是,所有人都可以為開(kāi)源軟件做貢獻(xiàn),使得開(kāi)源軟件的價(jià)值能夠充分釋放。像亞信數(shù)據(jù)這樣的企業(yè),可以在開(kāi)源技術(shù)的基礎(chǔ)上,面對(duì)垂直行業(yè)增加差異化的功能。朱軍介紹說(shuō):“OCDP既能滿足運(yùn)營(yíng)商的需求,也可以支持商業(yè)企業(yè)的應(yīng)用,并且充分保證系統(tǒng)的穩(wěn)定和安全。在提供80%的通用功能的基礎(chǔ)上,我們會(huì)針對(duì)不同行業(yè)客戶的個(gè)性化需求,增強(qiáng)相應(yīng)的能力。比如,公安行業(yè)對(duì)圖形圖像存儲(chǔ)的要求很高,我們會(huì)針對(duì)此提供定制化的解決方案,尤其是充分發(fā)揮硬件的性能優(yōu)勢(shì)?!?/p>
大數(shù)據(jù)不是技術(shù)驅(qū)動(dòng)的
目前,在眾多大數(shù)據(jù)產(chǎn)品中,用戶選擇Hadoop的比例較高。但是在不同的行業(yè),人們對(duì)大數(shù)據(jù)的需求不同,因此如何應(yīng)用Hadoop也會(huì)有差異。
朱軍介紹說(shuō),國(guó)內(nèi)在大數(shù)據(jù)應(yīng)用方面走得比較靠前的是運(yùn)營(yíng)商,以及金融、保險(xiǎn)行業(yè)的客戶。在大數(shù)據(jù)上升為國(guó)家戰(zhàn)略后,政府、公安等行業(yè)的客戶也對(duì)大數(shù)據(jù)有了更深刻的認(rèn)識(shí),開(kāi)始有意識(shí)地應(yīng)用大數(shù)據(jù)手段解決業(yè)務(wù)問(wèn)題。
運(yùn)營(yíng)商、金融客戶對(duì)大數(shù)據(jù)有明確的、自發(fā)的需求,它們希望將開(kāi)源技術(shù)與Hadoop的能力充分釋放出來(lái),實(shí)現(xiàn)實(shí)時(shí)的數(shù)據(jù)處理和分析。在其他很多行業(yè),比如農(nóng)業(yè)、水利、物聯(lián)網(wǎng)等,大數(shù)據(jù)還是一個(gè)待挖掘的金礦,如何收集、使用數(shù)據(jù),數(shù)據(jù)能夠?yàn)檫@些行業(yè)的用戶帶來(lái)什么樣的價(jià)值,以及如何將數(shù)據(jù)轉(zhuǎn)化為資產(chǎn),通過(guò)深入分析和挖掘,找到新的價(jià)值點(diǎn),還需要像亞信數(shù)據(jù)這樣有經(jīng)驗(yàn)的廠商幫助用戶一起分析,提高認(rèn)知度。朱軍表示:“我們的數(shù)據(jù)操作平臺(tái)側(cè)重計(jì)算、存儲(chǔ)和分析能力的提升。而亞信現(xiàn)有的數(shù)據(jù)資產(chǎn)管理軟件,可以有效促進(jìn)用戶對(duì)數(shù)據(jù)的理解和分析。當(dāng)用戶一旦明白了如何應(yīng)用數(shù)據(jù)后,不管采用什么樣的技術(shù)手段,都可以很快切入,找到數(shù)據(jù)價(jià)值所在?!?/p>
大數(shù)據(jù)市場(chǎng)并不是單純由技術(shù)驅(qū)動(dòng)的,對(duì)于廠商來(lái)說(shuō),必須找到適合大數(shù)據(jù)的應(yīng)用場(chǎng)景,然后針對(duì)用戶的具體需求提供定制化、差異化的解決方案。亞信數(shù)據(jù)就是這樣做的。朱軍對(duì)自己的技術(shù)團(tuán)隊(duì)和產(chǎn)品都十分有信心。去年,亞信數(shù)據(jù)做了一個(gè)開(kāi)源項(xiàng)目,圍繞資源調(diào)度策略平臺(tái)YARN做了增強(qiáng),同時(shí)使用Docker容器實(shí)現(xiàn)了應(yīng)用隔離?!斑@些技術(shù)和產(chǎn)品上的優(yōu)化,目的是讓企業(yè)用戶的大數(shù)據(jù)應(yīng)用變得更加簡(jiǎn)單,讓用戶更放心。今年,我們還計(jì)劃利用大數(shù)據(jù)技術(shù)監(jiān)控大數(shù)據(jù)集群的運(yùn)維情況,比如系統(tǒng)資源的利用率是否合理,如何進(jìn)行優(yōu)化和調(diào)配等?!敝燔娊榻B說(shuō)。
提供一站式的大數(shù)據(jù)解決方案是亞信數(shù)據(jù)的獨(dú)特優(yōu)勢(shì)。以O(shè)CDP為核心,整合亞信集團(tuán)其他業(yè)務(wù)部門的產(chǎn)品,比如數(shù)據(jù)資產(chǎn)管理軟件,以及Hadoop一體機(jī)等,亞信數(shù)據(jù)可以提供覆蓋數(shù)據(jù)采集到梳理、開(kāi)發(fā)整個(gè)過(guò)程的整體解決方案,為客戶提供一站式的大數(shù)據(jù)服務(wù)。用戶根本不用操心大數(shù)據(jù)系統(tǒng)的安裝、部署和調(diào)試,直接拿來(lái)就可以使用。
從底層的硬件,到數(shù)據(jù)操作平臺(tái),再到上層的大數(shù)據(jù)應(yīng)用,這是一個(gè)完整的生態(tài)鏈,同時(shí)也是一個(gè)完整的大數(shù)據(jù)應(yīng)用體系。朱軍告訴記者,現(xiàn)在越來(lái)越多的企業(yè)級(jí)用戶開(kāi)始構(gòu)建完整的大數(shù)據(jù)系統(tǒng)。舉例來(lái)說(shuō),運(yùn)營(yíng)商開(kāi)始想方設(shè)法將以前“煙囪式”的集群整合起來(lái),制定統(tǒng)一的大數(shù)據(jù)規(guī)劃。一個(gè)完整的大數(shù)據(jù)體系包含多個(gè)層次,要自下而上逐層構(gòu)建、夯實(shí)。在這個(gè)過(guò)程中,用戶要特別注意保證整體架構(gòu)的可伸縮性,為以后逐步增加更多應(yīng)用做好準(zhǔn)備。
大數(shù)據(jù)PaaS平臺(tái)
隨著大數(shù)據(jù)應(yīng)用逐漸走向深入,人們對(duì)大數(shù)據(jù)又有了更加深刻的認(rèn)識(shí),而不僅僅是一個(gè)“大”字?!拔覀儾](méi)有刻意強(qiáng)調(diào)大數(shù)據(jù)的‘大’,而是大力倡導(dǎo)數(shù)據(jù)操作平臺(tái)的概念。從某種程度上說(shuō),數(shù)據(jù)操作平臺(tái)相當(dāng)于一個(gè)操作系統(tǒng),可為數(shù)據(jù)共享和運(yùn)營(yíng)提供支持,從而改變了傳統(tǒng)的大數(shù)據(jù)運(yùn)營(yíng)模式?!敝燔娊忉屨f(shuō)。
既然OCDP是一個(gè)大數(shù)據(jù)平臺(tái),那么它就應(yīng)該有新的商業(yè)模式和打法。亞信數(shù)據(jù)早就有了準(zhǔn)備,推出了相關(guān)的合作伙伴計(jì)劃,希望吸引更多的垂直應(yīng)用廠商,基于OCDP打造面向不同行業(yè)應(yīng)用的解決方案,或者一體機(jī)。在本次OCDP新版本會(huì)上,亞信數(shù)據(jù)和合作伙伴一起展示了基于OCDP構(gòu)建的智慧醫(yī)療、智慧旅游等解決方案,以及亞信數(shù)據(jù)Hadoop一體機(jī)解決方案。另外,亞信數(shù)據(jù)還深挖亞信集團(tuán)內(nèi)部潛力,將兄弟部門的BI產(chǎn)品與OCDP相結(jié)合,提供一些新型的服務(wù),比如利用運(yùn)營(yíng)商的位置信息提供實(shí)時(shí)營(yíng)銷服務(wù)等?!拔覀儗W⒂诘讓拥拇髷?shù)據(jù)平臺(tái),保證平臺(tái)的質(zhì)量、穩(wěn)定性和安全性,以滿足企業(yè)用戶的嚴(yán)苛需求,同時(shí)提供行之有效的運(yùn)維支持。這樣做的目的是為了讓合作伙伴更放心地選擇我們的產(chǎn)品,在我們的大數(shù)據(jù)平臺(tái)之上充分展現(xiàn)他們的價(jià)值,共同為客戶創(chuàng)造新的應(yīng)用價(jià)值?!敝燔姳硎?。
為了更好地實(shí)現(xiàn)上述目標(biāo),亞信數(shù)據(jù)在研發(fā)方面下了大力氣,計(jì)劃將現(xiàn)有的研發(fā)團(tuán)隊(duì)擴(kuò)展到百人左右的規(guī)模,并以西安、北京兩地為研發(fā)基地,主要的產(chǎn)品研發(fā)集中在西安,北京主要保留一些高端的技術(shù)人才。
篇7
若論存儲(chǔ)新產(chǎn)品的數(shù)量,今年的云計(jì)算大會(huì)不如去年,這主要是因?yàn)槿A為存儲(chǔ)已經(jīng)擁有了比較齊全的存儲(chǔ)產(chǎn)品線,現(xiàn)在只是在原有基礎(chǔ)上的豐富和優(yōu)化。不過(guò)從華為存儲(chǔ)旗幟鮮明地進(jìn)入企業(yè)級(jí)市場(chǎng)后,“存以智用,融以致遠(yuǎn)”的華為融合存儲(chǔ)戰(zhàn)略就從未動(dòng)搖過(guò),而且“智”、“融”的特色越來(lái)越突出。
高端存儲(chǔ)一年考
傳統(tǒng)上,高端存儲(chǔ)市場(chǎng)一直是國(guó)外廠商的天下,中國(guó)存儲(chǔ)廠商通常會(huì)從中低端存儲(chǔ)起步,然后慢慢向高端市場(chǎng)滲透。華為存儲(chǔ)從進(jìn)軍企業(yè)級(jí)市場(chǎng)那天就把高端存儲(chǔ)當(dāng)成了奮斗的目標(biāo),不斷在技術(shù)上推陳出新,并且在一些重點(diǎn)行業(yè)領(lǐng)域?qū)崿F(xiàn)了突破。華為IT存儲(chǔ)產(chǎn)品線總裁范瑞琦在云計(jì)算大會(huì)上告訴記者:“我們的高端存儲(chǔ)產(chǎn)品正式面市雖然只有一年多,但已經(jīng)在運(yùn)營(yíng)商、公安、金融、稅務(wù)、電力、大企業(yè)、政府、社保、醫(yī)療、交通、石油等20余個(gè)重點(diǎn)行業(yè)實(shí)現(xiàn)了突破,累計(jì)銷售超過(guò)70套?!?/p>
Gartner的報(bào)告顯示,2013年第一季度,華為存儲(chǔ)取得了中國(guó)區(qū)出貨量第一,全球收入排名第九的好成績(jī)。據(jù)范瑞琦透露,在第二季度中,華為存儲(chǔ)依舊保持了強(qiáng)勁增長(zhǎng)的態(tài)勢(shì)。華為存儲(chǔ)整體實(shí)力增強(qiáng)的同時(shí),其在一些重點(diǎn)產(chǎn)品線上,比如高端HVS存儲(chǔ)、大數(shù)據(jù)存儲(chǔ)N9000等也實(shí)現(xiàn)了突破。
在本次云計(jì)算大會(huì)上,IDC與華為聯(lián)合了《企業(yè)高端存儲(chǔ)安全可信白皮書(shū)》。IDC在白皮書(shū)中建議,企業(yè)在選擇存儲(chǔ)系統(tǒng)時(shí),應(yīng)重點(diǎn)關(guān)注存儲(chǔ)系統(tǒng)在硬件架構(gòu)、數(shù)據(jù)存儲(chǔ)、業(yè)務(wù)應(yīng)用三個(gè)層面的可靠性。華為高端存儲(chǔ)領(lǐng)域經(jīng)理趙海龍表示:“安全可信、彈性高效是華為高端存儲(chǔ)設(shè)計(jì)的核心理念。從Smart Matrix全冗余系統(tǒng)架構(gòu)設(shè)計(jì)到基于全虛擬化設(shè)計(jì)理念的XVE存儲(chǔ)操作平臺(tái),再到革命性的RAID 2.0+兩層虛擬化數(shù)據(jù)管理模式、自檢測(cè)自修復(fù)端到端的數(shù)據(jù)保護(hù)機(jī)制等?!?/p>
在本次云計(jì)算大會(huì)召開(kāi)之前,很多業(yè)內(nèi)的記者都在猜測(cè),本次大會(huì)上最重要的存儲(chǔ)產(chǎn)品是什么?大家一致認(rèn)為是全閃存陣列。果不其然,范瑞琦在大會(huì)上正式了華為首款全閃存高端存儲(chǔ)OceanStor 18800F。它具有百萬(wàn)級(jí)IOPS、微秒級(jí)的穩(wěn)定時(shí)延和“0”硬盤失效率三大特性,此外還具備出色的抗震、抗腐蝕等性能。不過(guò),記者在解決方案展示區(qū)沒(méi)有看到OceanStor 18800F的實(shí)物,商業(yè)化的產(chǎn)品據(jù)說(shuō)明年才能上市。
大數(shù)據(jù)存儲(chǔ)追求高效
媒資是華為大數(shù)據(jù)存儲(chǔ)解決方案最先落地的行業(yè)之一。在本次云計(jì)算大會(huì)上,華為宣布將與中央電視臺(tái)共同研發(fā)深度節(jié)能的大容量存儲(chǔ)設(shè)備,據(jù)稱可以比傳統(tǒng)設(shè)備節(jié)省能耗60%~80%。
隨著數(shù)字化技術(shù)的不斷完善以及高清電視、IMAX/3D電影、移動(dòng)新媒體市場(chǎng)的快速增長(zhǎng),媒體的生產(chǎn)者必須及時(shí)提供高清化、多樣化的媒體節(jié)目,而傳統(tǒng)以磁帶設(shè)備為核心的媒資存儲(chǔ)平臺(tái)已經(jīng)不能滿足需求。華為可以為媒體提供以N9000系列存儲(chǔ)為核心的大數(shù)據(jù)存儲(chǔ)架構(gòu)。N9000集海量數(shù)據(jù)的存儲(chǔ)、歸檔和分析于一體,具有極強(qiáng)的橫向擴(kuò)展能力,可支持超大單一文件系統(tǒng)(最大為40PB),實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)與共享。
華為存儲(chǔ)的媒資解決方案順應(yīng)傳統(tǒng)電視媒體向全媒體演進(jìn)的趨勢(shì),以開(kāi)放、融合的ICT基礎(chǔ)架構(gòu)為核心,全面兼容業(yè)內(nèi)主流的上層應(yīng)用系統(tǒng),可提供全臺(tái)網(wǎng)、高清制作、無(wú)帶化媒資庫(kù)、媒體云、網(wǎng)絡(luò)互聯(lián)及協(xié)同辦公等業(yè)務(wù)支持。華為存儲(chǔ)秉承“被集成”的策略,與業(yè)內(nèi)許多知名的媒體應(yīng)用提供商合作。
篇8
隨著移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、4K大視頻、大數(shù)據(jù)、物聯(lián)網(wǎng)等新業(yè)務(wù)的迅猛發(fā)展,爆發(fā)式的數(shù)據(jù)流量增長(zhǎng)和海量的設(shè)備連接對(duì)通信網(wǎng)絡(luò)提出了更高的要求,傳統(tǒng)的剛性、煙囪式網(wǎng)絡(luò)已難以為繼,運(yùn)營(yíng)商需要打造更加敏捷、智能、開(kāi)放的新一代網(wǎng)絡(luò)架構(gòu),用來(lái)承載未來(lái)更加多樣化、智能化的業(yè)務(wù)應(yīng)用。隨著IT和CT的深度融合,由此而產(chǎn)生的云計(jì)算、SDN/NFV等新技術(shù),為運(yùn)營(yíng)商的網(wǎng)絡(luò)與業(yè)務(wù)轉(zhuǎn)型帶來(lái)了巨大的機(jī)遇。
作為國(guó)際知名信息通信網(wǎng)絡(luò)產(chǎn)品與解決方案提供商,烽火通信近年來(lái)積極探索并加速ICT轉(zhuǎn)型,立足于光通信,業(yè)務(wù)深入拓展至信息技術(shù)與通信技術(shù)融合而生的廣泛領(lǐng)域,如云計(jì)算、智慧城市、4K融合視訊、SDN/NFV等,客戶遍布國(guó)內(nèi)、國(guó)際和信息化三大市場(chǎng),為客戶提供領(lǐng)先的端到端信息通信網(wǎng)絡(luò)產(chǎn)品和解決方案。
在12月27日舉行的2016中國(guó)通信產(chǎn)業(yè)大會(huì)暨第十一屆中國(guó)通信技術(shù)年會(huì)上,烽火通信NFV產(chǎn)品線市場(chǎng)總監(jiān)鄭發(fā)金向《通信產(chǎn)業(yè)報(bào)》(網(wǎng))記者詳細(xì)介紹了烽火通信面向ICT轉(zhuǎn)型的云、網(wǎng)、端產(chǎn)業(yè)布局和基于SDN/NFV的FitNet戰(zhàn)略。
深化ICT轉(zhuǎn)型 全面布局云、網(wǎng)、端
近年來(lái),隨著“寬帶中國(guó)”、“智慧城市”、“互聯(lián)網(wǎng)+”、“中國(guó)制造2025”等國(guó)家戰(zhàn)略的實(shí)施和推進(jìn),光通信、4G網(wǎng)絡(luò)、數(shù)據(jù)中心等經(jīng)歷了較快的發(fā)展階段,大數(shù)據(jù)、云計(jì)算、SDN/NFV、物聯(lián)網(wǎng)等新技術(shù)有望迎來(lái)新的發(fā)展機(jī)遇。烽火通信基于穩(wěn)健增長(zhǎng)的光通信、光纖光纜等傳統(tǒng)網(wǎng)絡(luò)業(yè)務(wù),業(yè)務(wù)領(lǐng)域逐漸向云和端進(jìn)行擴(kuò)展,已經(jīng)取得了令人矚目的成績(jī)。烽火通信在武漢、南京、西安、成都、長(zhǎng)春、珠海等地部署產(chǎn)業(yè)基地,深化ICT轉(zhuǎn)型進(jìn)行產(chǎn)業(yè)布局和新技術(shù)研究開(kāi)發(fā)。
云:烽火通信積極布局云計(jì)算、智慧城市等業(yè)務(wù),借力“智慧湖北”建設(shè)的重要發(fā)展契機(jī)推動(dòng)大數(shù)據(jù)業(yè)務(wù)的開(kāi)展,在原有烽火集成、烽火網(wǎng)絡(luò)、烽火星空、南京數(shù)據(jù)中心等業(yè)務(wù)范圍基礎(chǔ)上,積極構(gòu)建“大集成”框架,并成立智慧地鐵公司、教育資源平臺(tái)運(yùn)營(yíng)公司、武漢光谷智慧科技有限公司、湖北省楚天云有限公司等,并了“智慧城市解決方案暨FitCloud云網(wǎng)一體化技術(shù)戰(zhàn)略”,全自主開(kāi)發(fā)的“大數(shù)據(jù)平臺(tái)+應(yīng)用開(kāi)發(fā)+數(shù)據(jù)分析”產(chǎn)業(yè)鏈正逐步形成。烽火通信在南京投資建設(shè)的云計(jì)算中心一期項(xiàng)目順利進(jìn)行,自主研發(fā)的FitCloud云計(jì)算平臺(tái)現(xiàn)已成功應(yīng)用在湖北省教育云、湖北省政務(wù)云(楚天云)中。
網(wǎng):伴隨全球加快邁向信息社會(huì),光通信產(chǎn)業(yè)成為最具潛力、增長(zhǎng)速度最快的領(lǐng)域之一,大容量、高帶寬仍是未來(lái)光網(wǎng)絡(luò)發(fā)展的基本需求。烽火通信立足于光通信,目前已擁有光通信O備、數(shù)據(jù)通信設(shè)備、SDN/NFV、關(guān)鍵芯片等全系列網(wǎng)絡(luò)產(chǎn)品和解決方案。烽火通信光通信系統(tǒng)、光纖光纜的綜合競(jìng)爭(zhēng)力均排名世界前五,數(shù)通市場(chǎng)排名世界前七。在SDN/NFV新技術(shù)方面,烽火通信不斷加大研發(fā)投入,目前有從接入到核心的全系列SDN產(chǎn)品,包括SPTN、SIPRAN、SDON、光與IP協(xié)同SDN控制器等,并已在多個(gè)項(xiàng)目中成功應(yīng)用;在NFV方面,積極布局X86服務(wù)器NFVI基礎(chǔ)設(shè)施,在虛擬化、VNFs、MANO等方面不斷加強(qiáng)產(chǎn)品方案的研究開(kāi)發(fā)。
端:烽火通信終端產(chǎn)品從無(wú)到有,經(jīng)過(guò)幾年的沉淀與積累,現(xiàn)已擁有寬帶終端、智能網(wǎng)關(guān)、OTT盒子、無(wú)線路由等全系列終端產(chǎn)品,銷售額裂變式地增長(zhǎng),全球累計(jì)出貨超過(guò)1200萬(wàn)臺(tái),全線產(chǎn)品大規(guī)模應(yīng)用于亞歐拉美市場(chǎng),樹(shù)立了全球知名的終端品牌形象。2016年4月,烽火通信了全新一代4K融合視訊平臺(tái)及CDN解決方案,助力運(yùn)營(yíng)商做大做強(qiáng)視頻業(yè)務(wù)和提供基礎(chǔ)服務(wù)保障的同時(shí),也在不斷地挖掘新的商業(yè)價(jià)值。
網(wǎng)絡(luò)云化 推出FitNet解決方案
從語(yǔ)音時(shí)代,到數(shù)據(jù)時(shí)代,再到未來(lái)的智能化時(shí)代,通信網(wǎng)絡(luò)也經(jīng)歷了數(shù)字化、IP化和IT化的階段。隨著IT和CT技術(shù)的深度融合,國(guó)內(nèi)外運(yùn)營(yíng)商紛紛提出了網(wǎng)絡(luò)轉(zhuǎn)型計(jì)劃,如AT&T提出了Domain2.0計(jì)劃,中國(guó)聯(lián)通提出了CUBE-Net 2.0新一代網(wǎng)絡(luò)架構(gòu),中國(guó)移動(dòng)提出了NovoNet 2020未來(lái)網(wǎng)絡(luò),中國(guó)電信提出了CT-Net 2025計(jì)劃。在此背景下,烽火通信提出了FitNet網(wǎng)絡(luò)解決方案,以SDN、NFV、云計(jì)算等技術(shù)為基礎(chǔ),以DC為中心重構(gòu)未來(lái)網(wǎng)絡(luò),不斷豐富產(chǎn)品方案,助力運(yùn)營(yíng)商未來(lái)網(wǎng)絡(luò)和業(yè)務(wù)轉(zhuǎn)型。
FitNet是烽火通信面向ICT轉(zhuǎn)型,基于光與IP融合、云網(wǎng)一體化以及SDN/NFV等新技術(shù),面向運(yùn)營(yíng)商、行業(yè)用戶推出的泛在、超寬、極簡(jiǎn)、隨需、開(kāi)放的網(wǎng)絡(luò)整體解決方案。烽火通信FitNet解決方案通過(guò)SDN實(shí)現(xiàn)網(wǎng)絡(luò)靈活控制、業(yè)務(wù)自動(dòng)部署,通過(guò)NFV實(shí)現(xiàn)網(wǎng)絡(luò)軟硬件解耦,硬件平臺(tái)標(biāo)準(zhǔn)化、網(wǎng)絡(luò)功能虛擬化,廣泛應(yīng)用于政企承載、園區(qū)網(wǎng)、廣域網(wǎng)、數(shù)據(jù)中心等業(yè)務(wù)場(chǎng)景,實(shí)現(xiàn)業(yè)務(wù)隨需部署,資源全局調(diào)度,容量彈性伸縮,架構(gòu)靈活調(diào)整,能力全面開(kāi)放,為客戶提供最佳的網(wǎng)絡(luò)解決方案和業(yè)務(wù)體驗(yàn)。
烽火通信FitNet解決方案有以下幾個(gè)特點(diǎn):1.極簡(jiǎn)網(wǎng)絡(luò)架構(gòu),以DC為中心,實(shí)現(xiàn)光與IP融合、云和網(wǎng)融合、網(wǎng)絡(luò)與數(shù)據(jù)融合、CT與IT融合。2.泛在連接,超寬管道,全網(wǎng)SDN智能控制,網(wǎng)元功能虛擬化部署,實(shí)現(xiàn)資源池化、彈性部署、按需使用、自助服務(wù)。3.運(yùn)營(yíng)級(jí)品質(zhì),電信級(jí)可靠性,以用戶為導(dǎo)向,開(kāi)放式設(shè)計(jì),傳統(tǒng)網(wǎng)絡(luò)平滑演進(jìn),異廠家兼容互通,合作共贏。FitNet戰(zhàn)略體現(xiàn)了烽火通信對(duì)云計(jì)算、大數(shù)據(jù)時(shí)代ICT融合架構(gòu)演進(jìn)的深入思考,是烽火通信整體實(shí)力的集中呈現(xiàn)。
深耕SDN/NFV 重構(gòu)未來(lái)網(wǎng)絡(luò)
根據(jù)Infonetics預(yù)測(cè),到2018年,全球SDN市場(chǎng)規(guī)模將達(dá)180億美元。HIS預(yù)測(cè),到2019年,全球NFV軟硬件及服務(wù)市場(chǎng)達(dá)116億美元。2016年4月中國(guó)SDN/NFV大會(huì)《NFV產(chǎn)業(yè)發(fā)展白皮書(shū)》,指出未來(lái)五年,SDN/NFV國(guó)內(nèi)市場(chǎng)規(guī)模接近2500億元。SDN/NFV市場(chǎng)將會(huì)逐漸覆蓋數(shù)據(jù)中心組網(wǎng)、DCI互聯(lián)、光網(wǎng)絡(luò)、接入網(wǎng)、移動(dòng)核心網(wǎng)、IMS等領(lǐng)域。
目前烽火通信擁有從接入、匯聚到核心的全系列SDN產(chǎn)品和解決方案,如SPTN、SD-UTN、SIPRAN、SDON、SD-WAN等,同時(shí)自主研發(fā)了全系列“光+IP”協(xié)同控制器、數(shù)據(jù)中心SDN交換機(jī)等產(chǎn)品,通過(guò)開(kāi)放標(biāo)準(zhǔn)的API接口,實(shí)現(xiàn)了跨域、跨網(wǎng)、跨廠商互通,并實(shí)現(xiàn)了傳統(tǒng)網(wǎng)絡(luò)平滑升級(jí),控制器與網(wǎng)管完美融合。烽火通信在SDN國(guó)際標(biāo)準(zhǔn)領(lǐng)域取得重大突破,主導(dǎo)制定的G.7711標(biāo)準(zhǔn)已獲得ITU正式批準(zhǔn)。
篇9
自從VMware在2013年的全球用戶大會(huì)上推出vSphere Big Data Extention(BDE)以來(lái),大數(shù)據(jù)這匹駿馬越來(lái)越受到大家的追捧。當(dāng)然BDE主要針對(duì)是Hadoop的大數(shù)據(jù)應(yīng)用,其實(shí)大數(shù)據(jù)不僅僅是Hadoop,即使只算Hadoop也還有不同的版本。但是無(wú)論Hadoop的哪個(gè)版本或者哪個(gè)大數(shù)據(jù)平臺(tái),都蜂擁開(kāi)始追隨云計(jì)算,就像好馬配好鞍一樣重要,那怎樣的云計(jì)算平臺(tái)才是大數(shù)據(jù)的好鞍呢?運(yùn)行環(huán)境平臺(tái):多租戶、資源供應(yīng)和管理。
在過(guò)去幾個(gè)月的客戶溝通中,我學(xué)習(xí)了運(yùn)行大數(shù)據(jù)的多種不同平臺(tái),包括Twitter使用的Mesos、Fedex使用的虛擬化和Yahoo使用的Yarn。而不同的云計(jì)算平臺(tái)特性能解決大數(shù)據(jù)應(yīng)用的不同問(wèn)題。比如:Yarn的目標(biāo)是支持Hadoop上的非M-R應(yīng)用。而Twitter使用的Mesos則可以支持混合的負(fù)載,并且會(huì)利用操作系統(tǒng)的虛擬化。由于企業(yè)的大數(shù)據(jù)應(yīng)用場(chǎng)景往往是多樣的,所以需要選擇一種平臺(tái)適合不同的應(yīng)用場(chǎng)景,這包括:
部署新的大數(shù)據(jù)應(yīng)用極其簡(jiǎn)單:可以通過(guò)自動(dòng)化和自助服務(wù)來(lái)完成;
可以支持多種不同的負(fù)載:也就是能運(yùn)行多種大數(shù)據(jù)應(yīng)用,不僅僅限于Map-Reduce,還可支持一些Hadoop生態(tài)圈應(yīng)用、SQL服務(wù)和其他通用應(yīng)用;
可靠的安全隔離:如果需要將某些敏感信息隔離,該平臺(tái)有能力確保數(shù)據(jù)集和環(huán)境安全;
安全的資源隔離:為了能夠提供足夠的資源來(lái)滿足整體SLA要求,可以將吵鬧的鄰居隔離來(lái)確保性能;
多版本支持能力:能運(yùn)行多個(gè)不同版本的運(yùn)行環(huán)境,滿足不同用戶、開(kāi)發(fā)者要求;
企業(yè)級(jí)的可用性:確保整個(gè)系統(tǒng)的強(qiáng)壯性,提供企業(yè)等級(jí)的可用性。
網(wǎng)絡(luò)的挑戰(zhàn)
對(duì)網(wǎng)絡(luò)而言,挑戰(zhàn)和機(jī)遇并存。今天兩層核心聚合交換網(wǎng)絡(luò)不能跨機(jī)架提供足夠的帶寬。機(jī)架內(nèi)的帶寬應(yīng)該沒(méi)有問(wèn)題,經(jīng)??梢赃_(dá)到每秒幾百Gbit,但機(jī)架間的帶寬往往十分有限,為此往往需要優(yōu)化流量到本地,也就是數(shù)據(jù)和計(jì)算完全整合的模式。幸運(yùn)的是,新的網(wǎng)絡(luò)拓?fù)?,包括CLOS和主干加分支設(shè)計(jì)都提供了很好的解決方案。使用這些新型的網(wǎng)絡(luò)拓?fù)?,可以在整個(gè)集群延時(shí)基本恒定的情況下確保足夠的帶寬,無(wú)論是機(jī)架內(nèi)還是機(jī)架間都不會(huì)有帶寬問(wèn)題。
存儲(chǔ)平臺(tái)的選擇
隨著存儲(chǔ)技術(shù)的不斷發(fā)展,大數(shù)據(jù)的存儲(chǔ)選擇越來(lái)越豐富。當(dāng)然Hadoop的HDFS處于最核心圈,但其他的存儲(chǔ)平臺(tái)也可以提供跟Hadoop類似、即插即用的兼容能力,并且提供了某些獨(dú)特的價(jià)值。幾個(gè)主要的存儲(chǔ)選項(xiàng)如下:
傳統(tǒng)的SAN或者NAS:這應(yīng)該算是支撐大數(shù)據(jù)應(yīng)用的最佳存儲(chǔ)選項(xiàng),因?yàn)槟壳按罅康臄?shù)據(jù)中心都可以提供這樣的存儲(chǔ)選項(xiàng),并且也包括了各種存儲(chǔ)服務(wù),例如:快照、歸檔、復(fù)制等;
服務(wù)器內(nèi)置磁盤構(gòu)建的軟件定義存儲(chǔ):這方面HDFS是主要的代表,其他的選項(xiàng)包括CEPH、Gluster和MAPR,他們都可以建立文件系統(tǒng),滿足大數(shù)據(jù)的應(yīng)用;
橫向擴(kuò)展存儲(chǔ)方案:很多獨(dú)具特色的新興公司提供了可以替代HDFS橫向擴(kuò)展存儲(chǔ),很好解決了成本和帶寬問(wèn)題。比如Isilon的橫向擴(kuò)展存儲(chǔ)方案,提供了3到144個(gè)節(jié)點(diǎn)的解決方案,可以擴(kuò)展到15PB、每秒85GB吞吐能力,成為橫向擴(kuò)展存儲(chǔ)的典型代表。
篇10
關(guān)鍵詞: 智能數(shù)據(jù)平臺(tái) 產(chǎn)學(xué)研 整合思路
一、社會(huì)治理智能數(shù)據(jù)平臺(tái)的構(gòu)建思路
隨著信息化時(shí)代的到來(lái),人們對(duì)大數(shù)據(jù)的研究開(kāi)始日漸加深。研究者開(kāi)始越來(lái)越多地強(qiáng)調(diào)對(duì)大數(shù)據(jù)的深層次挖掘,其中這種挖掘使得研究者能有越來(lái)越多探討和發(fā)現(xiàn)原來(lái)所不存在的事物之間的相關(guān)關(guān)系??梢哉f(shuō),大數(shù)據(jù)的出現(xiàn),是“長(zhǎng)尾理論”和“黑天鵝”理論的雙重驗(yàn)證――原本被統(tǒng)計(jì)學(xué)剔除在外的小概率事件納入其中。但是,值得深思的是,目前對(duì)大數(shù)據(jù)的研究仍然過(guò)多地集中在理論層面,缺乏實(shí)踐性的探討,更缺乏深層次的具有統(tǒng)籌規(guī)劃方案能力的全方位的探測(cè)。因此,在高校研究和社會(huì)治理層面,這種非計(jì)算機(jī)科學(xué)的社會(huì)應(yīng)用,如果能夠行之有效地將大數(shù)據(jù)概念引入實(shí)踐化,就成了擺在社會(huì)科學(xué)研究者眼前的重中之重。特別是構(gòu)建一套完整智能數(shù)據(jù)平臺(tái),幫助社會(huì)科學(xué)研究者在數(shù)據(jù)收集、數(shù)據(jù)分析和同用戶反饋交流中起到平臺(tái)作用,進(jìn)而實(shí)現(xiàn)生產(chǎn)、教學(xué)和科研三位一體的布局戰(zhàn)略。
智能數(shù)據(jù)平臺(tái)所實(shí)現(xiàn)的這三個(gè)功能既是獨(dú)立的又是相輔相成的。說(shuō)這三者是獨(dú)立的,原因在于這三個(gè)功能個(gè)各司其職地完成了相對(duì)較為獨(dú)立的任務(wù)。其中,智能數(shù)據(jù)平臺(tái)的生產(chǎn)功能為用戶滿足商業(yè)、政府、NGO等社會(huì)組織數(shù)據(jù)收集、數(shù)據(jù)分析及滿足市民在各種生活情境中對(duì)信息的精確獲取功能。智能數(shù)據(jù)平臺(tái)的教學(xué)功能為以學(xué)生為主體,深入細(xì)致地挖掘智能數(shù)據(jù)平臺(tái)中生活情境中可能存在的需求。而科研功能則在通過(guò)完成軟件的生產(chǎn)和教學(xué)功能的同時(shí),進(jìn)一步拓展了軟件的價(jià)值。其中,科研的方向可以有二:第一,科研人員可以根據(jù)特定情境下智能數(shù)據(jù)平臺(tái)收集到的數(shù)據(jù)進(jìn)行深入加工和挖掘,在獲得深層次變量關(guān)系的同時(shí),完成滿足社會(huì)需求的科研論文和項(xiàng)目。此外,圍繞智能數(shù)據(jù)平臺(tái)的功能拓展,也是一項(xiàng)重要的科研功能。三者雖然擁有各自的功能,但是在另外一個(gè)層面三者之間也存在不可分離的關(guān)聯(lián)。其中生產(chǎn)功能以需求為導(dǎo)向?yàn)橹悄芷脚_(tái)的建設(shè)提出了方向,這種方向性的指引保證教學(xué)過(guò)程中能以社會(huì)情景、社會(huì)組織和社會(huì)人的需求為方向進(jìn)行知識(shí)傳授。這種以生產(chǎn)為導(dǎo)向的知識(shí)傳授正是現(xiàn)代應(yīng)用型技術(shù)人才培養(yǎng)的需要。最后,在教學(xué)中,由于學(xué)生教師以智能數(shù)據(jù)平臺(tái)為工具的社會(huì)需求解決方案設(shè)計(jì),能夠進(jìn)一步保證教師的科研有明確的方向性和應(yīng)用性。這種應(yīng)用型將會(huì)進(jìn)一步影響智能數(shù)據(jù)分析平臺(tái)的生產(chǎn)和教師的教學(xué)。可以說(shuō)智能平臺(tái)的構(gòu)建是能夠真正地從滿足社會(huì)需求方面出發(fā)培養(yǎng)應(yīng)用應(yīng)用技能性人才,提高教師科研能力較好的解決方案。
二、圍繞智能數(shù)據(jù)平臺(tái)建設(shè)的產(chǎn)學(xué)研示例探討
圍繞智能數(shù)據(jù)平臺(tái)出發(fā)制訂產(chǎn)學(xué)研三位一體的發(fā)展方案不僅能夠有效地拓展應(yīng)用型技術(shù)人才培養(yǎng)的思路,而且能夠提高實(shí)際教學(xué)質(zhì)量,使得教師從原本簡(jiǎn)單的知識(shí)講解轉(zhuǎn)換到和學(xué)生一起尋找具體社會(huì)問(wèn)題的解決方案。例如,在傳統(tǒng)的社會(huì)工作類專業(yè)中,一般都會(huì)部署發(fā)展社會(huì)學(xué)、西方社會(huì)學(xué)、社會(huì)組織管理、社會(huì)調(diào)查研究方法和數(shù)據(jù)分析技術(shù)這5門課程。按照傳統(tǒng)意義的劃分來(lái)看,這5門課程分別對(duì)應(yīng)了社會(huì)理論和研究方法的課程。從傳統(tǒng)課程的講解體系上來(lái)看,這5門課程都是自成一體的,依照教學(xué)大綱對(duì)應(yīng)著不同的細(xì)致知識(shí)點(diǎn)。但是從構(gòu)建智能數(shù)據(jù)平臺(tái)建設(shè)為核心的產(chǎn)學(xué)研研究中,這5門課程便可以有效整合成為一個(gè)整體。特別是在以社會(huì)情景需求為專題突破口的前提下,這5門課程更是成為統(tǒng)一專題服務(wù)的工具,它們以不同的視角指向了同一目標(biāo)。例如,以“如何了解市民的心理健康程度,保障社會(huì)安全”的社會(huì)需求為例,教師可以在西方社會(huì)學(xué)和發(fā)展社會(huì)學(xué)這兩門課程中向?qū)W生引出該主題,同時(shí)要求運(yùn)用這兩門課程的知識(shí),明確能夠解決需求的社會(huì)理論。學(xué)生在理論的確定過(guò)程中,通過(guò)與教師和其他同學(xué)的討論明確了理論的本質(zhì)和解決問(wèn)題的思路,此后將依據(jù)理論界定出關(guān)鍵概念和研究主題與研究假設(shè)。在社會(huì)組織管理課程中,學(xué)生將依據(jù)研究主題和假設(shè),明確社會(huì)需求可能解決的突破點(diǎn)――選擇和那些具體的社會(huì)組織進(jìn)行合作與探討,從數(shù)據(jù)收集和分析的角度科學(xué)化地提出一整套解決方案。在未來(lái)的社會(huì)調(diào)查研究方法和數(shù)據(jù)分析技術(shù)中,研究者將可以通過(guò)已確定研究主題、假設(shè)和社會(huì)組織的具體情況進(jìn)行概念操作化和問(wèn)卷設(shè)計(jì),并將問(wèn)卷、測(cè)量或其他形式的數(shù)據(jù)收集方式置入智能數(shù)據(jù)平臺(tái)中。在數(shù)據(jù)分析技術(shù)課程中,學(xué)生將按照已經(jīng)設(shè)定好的研究方案運(yùn)用智能數(shù)據(jù)分析平臺(tái)對(duì)分析數(shù)據(jù)并輸出報(bào)告。最終,這些報(bào)告和數(shù)據(jù)結(jié)果將有針對(duì)性地提交給對(duì)應(yīng)的社會(huì)管理組織,在實(shí)踐中評(píng)估其對(duì)社會(huì)需求的解決程度。
參考文獻(xiàn):
[1]陳陽(yáng),張梅.大數(shù)據(jù)基礎(chǔ)上抽樣調(diào)查在社會(huì)治理中的應(yīng)用探討[J].理論界,2015,11:151-155.
[2]陳陽(yáng),魏玉東.大數(shù)據(jù)影響下的政府社會(huì)經(jīng)濟(jì)調(diào)查動(dòng)向探尋[J].遼寧經(jīng)濟(jì),2015,01:76-77.