在數(shù)據(jù)為王的時(shí)代，數(shù)據(jù)挖掘能力已成為衡量企業(yè)競(jìng)爭(zhēng)力的重要指標(biāo)之一。如何利用好通用大數(shù)據(jù)平臺(tái)Hadoop，如何選擇一款適合企業(yè)業(yè)務(wù)的Hadoop發(fā)行版也毫無(wú)疑問(wèn)成為了企業(yè)的必備技能。在這個(gè)成本高昂的探索過(guò)程中，大數(shù)據(jù)行業(yè)內(nèi)各個(gè)頂級(jí)盛會(huì)無(wú)疑就成為了各個(gè)機(jī)構(gòu)一個(gè)重要的認(rèn)知和學(xué)習(xí)途徑。在這里，我們一起走進(jìn)Hadoop Summit 2014。

2014年Hadoop峰會(huì)于6月3日至5日在美國(guó)圣何塞舉行，會(huì)議匯聚了Hortonworks、Cloudera、MapR、Gartner、微軟、AT&T、Teradata、Red Hat、Yahoo!、SAP等眾多知名機(jī)構(gòu)，從技術(shù)與實(shí)踐的角度描繪了圍繞大數(shù)據(jù)處理的整個(gè)Hadoop生態(tài)圈。

Hadoop市場(chǎng)態(tài)勢(shì)

Allied Market Research調(diào)查報(bào)告顯示，2013至2020，全球Hadoop市場(chǎng)份額將以58.2%的復(fù)合年增 長(zhǎng)率，從20億美元增長(zhǎng)至502億美元，增長(zhǎng)幅度超25倍。其中大數(shù)據(jù)分析需求是整個(gè)Hadoop市場(chǎng)的主要驅(qū)動(dòng)力，也吸引了眾多IT淘金者參與。縱觀本 次Hadoop峰會(huì)，筆者盤(pán)點(diǎn)了3個(gè)代表性事件，這里給大家分享。

1. IT傳統(tǒng)巨頭和新貴聯(lián)合，Hadoop生態(tài)圈烽火再燃

微軟SQL Server市場(chǎng)推廣總經(jīng)理Eron Kelly與Hortonworks戰(zhàn)略營(yíng)銷(xiāo)副總裁John Kreisa宣布了微軟與Hortonworks的合作關(guān)系，并表示微軟將與Hortonworks一起打造用戶熟悉的Hadoop數(shù)據(jù)處理工具。

Kelly表示，在數(shù)據(jù)解決方案不停演變的過(guò)程中，微軟一直追求著利用Windows工具實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)，旨在降低解決方案中的專(zhuān)有特性。在專(zhuān)有與Hadoop之間，微軟選擇了Hadoop并與Hortonworks合作。

Kreisa同樣贊成了微軟期望使用Excel就可以處理大數(shù)據(jù)的愿景，愿意與微軟一起將Hadoop這項(xiàng)技術(shù)帶入主流的IT市場(chǎng)。

2.傳統(tǒng)行業(yè)駐足，Hadoop生態(tài)圈活力倍增

Hadoop峰會(huì)期間，Hortonworks主持召開(kāi)了一個(gè)分析師會(huì)議，旨在聽(tīng)取他們的實(shí)踐經(jīng)驗(yàn)，在這個(gè)會(huì)議上，讓他們驚訝的是一些老牌公司已經(jīng)擁抱了Hadoop。

• British Gas是一個(gè)250年歷史的老牌公司，他們正在給百萬(wàn)家庭安裝智能電表
• TrueCar也在積極擁抱Hadoop，雖然他們并沒(méi)有任何Hadoop使用經(jīng)驗(yàn)和傳統(tǒng)
• 取代技術(shù)層面，Sprint的Hadoop之旅開(kāi)始于業(yè)務(wù)和分析師，他們一起負(fù)責(zé)收集大量數(shù)據(jù)，找出可能的藝術(shù)

Hortonworks戰(zhàn)略副總裁Shaun Connelly指出，時(shí)代在變遷，市場(chǎng)在變化，在許多年前你根本不會(huì)想到IBM、Cisc、Sprint等公司會(huì)簽署支持開(kāi)源平臺(tái)的協(xié)議。Hadoop的真正價(jià)值在于實(shí)踐以及將它作為推進(jìn)業(yè)務(wù)本身變革的工具，就像從British Gas朋友描述的愿景來(lái)猜測(cè)，你根本不可能想到這是一個(gè)燃?xì)夤尽?/p>

Hadoop生態(tài)圈的衍變

就像Hortonworks戰(zhàn)略副總裁Shaun所說(shuō)，時(shí)代在變遷，市場(chǎng)在變化，在企業(yè)業(yè)務(wù)需求的刺激下，Hadoop生態(tài)圈也在不停的衍變，這里我們主要從Hadoop Summit 2014大會(huì)上展現(xiàn)的3個(gè)大變化入手。

1.  從技術(shù)到應(yīng)用，消除特定類(lèi)型人才的依賴

歷經(jīng)數(shù)年的發(fā)展，各大解決方案供應(yīng)商已開(kāi)始關(guān)注非技術(shù)人員的使用體驗(yàn)及挖掘數(shù)據(jù)的有效性。Pentaho公司指出，如今數(shù)據(jù)科學(xué)家需要把80%多的工作時(shí)間用在錯(cuò)誤過(guò)濾、解決一致性以及兼容性處理上，當(dāng)下已經(jīng)有眾多解決方案提供商開(kāi)始關(guān)注這個(gè)點(diǎn)，比如Pentaho和Talent。

除下進(jìn)一步提高平臺(tái)的生產(chǎn)力，消除技術(shù)方案對(duì)于特定類(lèi)型人才的高度依賴也是亟待解決的問(wèn)題之一，而Actian和Altoscale正是致力于此的兩家公司。前者致力于降低數(shù)據(jù)科學(xué)家在提取價(jià)值過(guò)程中所占的比重，后者則是致力解決非技術(shù)人員使用平臺(tái)的難度。

2.  安全挑戰(zhàn)，跨數(shù)據(jù)中心的數(shù)據(jù)傳輸

Hadoop的發(fā)展一直受貨幣化、多競(jìng)爭(zhēng)對(duì)手、技術(shù)差距、安全等眾多因素掣肘，數(shù)據(jù)安全無(wú)疑是最重要的一環(huán)。為了提供一個(gè)安全的數(shù)據(jù)傳輸環(huán)境，各個(gè)公司可謂是絞盡腦汁——Hortonworks收購(gòu)安全初創(chuàng)公司XA Secure，Cloudera捕獲Gazzang。

WANdisco CTO Jagane Sundar指出，隨著機(jī)構(gòu)建立更多的數(shù)據(jù)中心，跨數(shù)據(jù)中心的數(shù)據(jù)傳輸已成為必然趨勢(shì)，在高可用性保證之上，各個(gè)機(jī)構(gòu)還需要切實(shí)的保障用戶數(shù)據(jù)安全，WANdisco通過(guò)單HDFS和單點(diǎn)認(rèn)證解決。

3. 成果為王，敏捷、用戶體驗(yàn)必不可少

Teradata公司軟件業(yè)務(wù)高級(jí)副總裁Oliver Ratzesberger表示，企業(yè)需要掌握新型市場(chǎng)與新型客戶的實(shí)際需求，如果無(wú)法真正從數(shù)據(jù)及分析中獲取價(jià)值，所有的努力都是無(wú)用功。他認(rèn)為，在價(jià)值 提取的過(guò)程中，敏捷是重中之重，如果無(wú)法在最短的時(shí)間內(nèi)得到切實(shí)、有效的信息，平臺(tái)將會(huì)被用戶拋棄。在被問(wèn)及敏捷基礎(chǔ)設(shè)施打造時(shí)，Oliver表示， CIO是敏捷化的發(fā)起者，CMO，CEO，甚至董事會(huì)的決策至關(guān)重要。

頂級(jí)碰撞：Hortonworks vs. Cloudera

在會(huì)議上，WANdisco CTO Jagane曾指出，雖然Cloudera和Hortonworks是這個(gè)市場(chǎng)上兩個(gè)最強(qiáng)大的玩家，但是關(guān)注點(diǎn)的不同，注定這個(gè)領(lǐng)域會(huì)有兩個(gè)最大的贏家。 其中Cloudera更關(guān)注企業(yè)本身，而Hortonworks更關(guān)注開(kāi)源。同時(shí)，受歡迎的發(fā)行版也絕對(duì)不止是這兩家公司，上百公司的創(chuàng)新無(wú)疑讓 Hadoop生態(tài)圈更加繁榮。

然而在市場(chǎng)的成熟、競(jìng)爭(zhēng)白熱化的當(dāng)下，情況卻并非如此。在Hadoop Summit上，Cloudera收購(gòu)一家專(zhuān)注于Hadoop安全事務(wù)的企業(yè)Gazzang無(wú)疑就是一次針尖對(duì)麥芒的戰(zhàn)略。

Wikibon分析師Jeff Kelly指出，兩個(gè)收購(gòu)直指Hadoop業(yè)務(wù)重點(diǎn)所在，也就企業(yè)級(jí)需求的滿足。一旦Hadoop運(yùn)行在敏感數(shù)據(jù)環(huán)境中，安全上所做的任何舉措都有可能是成敗的關(guān)鍵，而他們這么做只是為了抵消優(yōu)勢(shì)。

Kelly還表示，雖然未來(lái)有著502億美元的市場(chǎng)，但是新的大數(shù)據(jù)市場(chǎng)同樣極為殘酷，兩家公司最后的結(jié)局必然以收購(gòu)或被收購(gòu)結(jié)束。而在這個(gè)過(guò)程中，雙方持有的資金，與各個(gè)領(lǐng)域巨頭的合作將左右結(jié)果的發(fā)展。

寫(xiě)在最后

在這個(gè)多金的市場(chǎng)，各個(gè)解決方案提供商可謂是“八仙過(guò)海，各顯神通”，白熱化的競(jìng)爭(zhēng)確實(shí)描繪出了一個(gè)令人興奮的積極態(tài)勢(shì)，然而如果這個(gè)市場(chǎng)可以容納多個(gè)巨頭，那么更關(guān)注市場(chǎng)的需求和用戶的體驗(yàn)，未來(lái)似乎更加令人向往。

By