7777精品伊人久久久大香线蕉,99久久免费看,18禁黄网站禁片国产免费观看

阿里為什么要拿下Flink？新思路、新布局

來源：騰訊網(wǎng) 　2019-01-11 14:12:56

如果這不是因?yàn)榘⒗镄履晗M(fèi)的第一個大單，更多人知道Flink或許還會晚一點(diǎn)。據(jù)歐洲外媒Deutsche Startups報(bào)道，阿里巴巴集團(tuán)以1.033億美元(9000萬歐元)的價格收購了總部位于柏林的初創(chuàng)公司Data Artisans。此消息之后得到了多家媒體從阿里處的證實(shí)。

由于Data Artisans擁有著一種代表當(dāng)今大數(shù)據(jù)流處理引擎的前沿技術(shù)，讓阿里這一收購舉動引起了相關(guān)業(yè)界不小的反響。尤其是，在阿里集團(tuán)剛剛進(jìn)行一次大規(guī)模組織架構(gòu)調(diào)整后，需要依靠更加智能化的云計(jì)算技術(shù)融合到阿里系更為多元化的發(fā)展格局中，收購Data Artisans不失為面向新戰(zhàn)略的一次有力布局。

阿里的Flink血液

不熟悉的Data Artisans的讀者，會很容易錯過那些因標(biāo)題為“阿里巴巴收購德國數(shù)據(jù)公司”這種平淡表述下的很多信息。即使那約1億美元的收購額表述，在有著近4000多億美元體量的的阿里賣賣賣的歷程中，對比之前收購餓了么的95億美元、36.7億美元拿下優(yōu)酷土豆等等，也實(shí)在是難入法眼。

但其實(shí)，Data Artisans手里握著一項(xiàng)當(dāng)今大數(shù)據(jù)流處理引擎為數(shù)不多的前沿技術(shù)，叫做Flink。Flink核心是一個流式的數(shù)據(jù)流執(zhí)行引擎，其針對數(shù)據(jù)流的分布式計(jì)算提供了數(shù)據(jù)分布、數(shù)據(jù)通信以及容錯機(jī)制等功能。企業(yè)依托Flink技術(shù)體系建立的大數(shù)據(jù)流處理引擎解決方案，可以更合理更快速地獲得計(jì)算結(jié)果投入到企業(yè)決策。Data Artisans在2015年初將Flink貢獻(xiàn)給Apache社區(qū)并成為該社區(qū)的頂級項(xiàng)目，Data Artisans此后持有多個并行流的data Artisans Platform成為Flink的商業(yè)版本。

據(jù)Data Artisans官網(wǎng)介紹，其dA平臺由Apache Flink和dA Application Manager組成，“包括與容器編排、持續(xù)集成/持續(xù)交付(CI/CD)、日志記錄、度量指標(biāo)和狀態(tài)存儲整合的隨時可用的功能，為公司客戶提供了單一視圖，以便了解所有的數(shù)據(jù)流處理應(yīng)用。”其客戶包括阿里巴巴、荷蘭國際集團(tuán)(ING)、Netflix、優(yōu)步、Lyft、、eBay、yelp、華為和Capital One等。

在Data Artisans的客戶名單里我們輕而易舉的發(fā)現(xiàn)了阿里，其中他每年雙十一時讓我們在阿里總部盯著的那個大屏幕上顯示實(shí)時成交數(shù)字，其背后就是依賴Flink技術(shù)。那塊屏幕顯示的數(shù)字，需要通過巨大的網(wǎng)絡(luò)流量匯總各個地方的報(bào)表、數(shù)據(jù)庫等的數(shù)據(jù)，并需要在毫秒級別的時間延遲之內(nèi)進(jìn)行計(jì)算，并將計(jì)算結(jié)果匯總為單一的視圖，即我們可以通過一塊屏幕觀察到的結(jié)果，這樣的技術(shù)實(shí)現(xiàn)正是大數(shù)據(jù)流處理引擎技術(shù)在當(dāng)今成為AI時代頂梁柱的核心原因。

如果說Flink建立的技術(shù)體系對AI時代是強(qiáng)需求，對阿里就是核心需求。為此，阿里在Flink引入內(nèi)部團(tuán)隊(duì)后打造了Blink。據(jù)透露，目前阿里巴巴所有的業(yè)務(wù)，包括阿里巴巴所有子公司都采用了基于Flink搭建的實(shí)時計(jì)算平臺。另外，阿里巴巴集團(tuán)副總裁周靖人之前宣布，阿里巴巴內(nèi)部 Flink 版本 Blink 將于 2019 年 1 月正式開源，這就意味著阿里未來將會主要以Blink的身份來投入Flink 的社區(qū)貢獻(xiàn)了。

阿里巴巴集團(tuán)副總裁周靖人

可以說，一路下來，對Flink的投入，阿里已經(jīng)證明了自己在大數(shù)據(jù)計(jì)算領(lǐng)域的戰(zhàn)略眼光。

首先，阿里較早地看到了業(yè)務(wù)發(fā)展需要在大數(shù)據(jù)時代里需求解決方案。有著十年服務(wù)中國企業(yè)云計(jì)算從業(yè)歷史的阿里，已經(jīng)在第一線看到了大數(shù)據(jù)量爆發(fā)帶給企業(yè)的業(yè)務(wù)壓力，需要有高吞吐、低延遲的大數(shù)據(jù)計(jì)算解決方案服務(wù)自己的大規(guī)模數(shù)據(jù)業(yè)務(wù)場景。早在2004的時候，谷歌自己就放棄了自己創(chuàng)立的大數(shù)據(jù)離線計(jì)算鼻祖，PB規(guī)模數(shù)據(jù)同時計(jì)算是MapReduce難以逾越的瓶頸。此后Spark發(fā)展至今，用批處理方式將大數(shù)據(jù)計(jì)算帶入分鐘級的反應(yīng)延遲。如今，流式主導(dǎo)的分布式計(jì)算正在主導(dǎo)大數(shù)據(jù)計(jì)算引擎將企業(yè)帶入近乎實(shí)時數(shù)據(jù)環(huán)境。為此，阿里巴巴計(jì)算平臺事業(yè)部資深技術(shù)專家莫問在云棲大會上指出，2014年Flink憑借高吞吐、低延遲等其它高級功能而在開源大數(shù)據(jù)引擎界展露頭角，在2015年則將Flink引入團(tuán)隊(duì)研發(fā)，期望將來可服務(wù)于自己的超大規(guī)模數(shù)據(jù)業(yè)務(wù)場景。

第二，阿里認(rèn)識到Flink的開源技術(shù)基因與自己業(yè)務(wù)融合的落地空間。作為Apache的頂級大數(shù)據(jù)流式計(jì)算引擎，F(xiàn)link并不孤獨(dú)。這兩年谷歌支持的Beam、DataTorrent支持Apache Apex都成了開源在這領(lǐng)域里的佼佼者。同時，來自twitter的Storm、LinkedIn的Samza也憑借獨(dú)特的優(yōu)勢各領(lǐng)風(fēng)騷。對此，阿里看到了其可以在Flink上發(fā)展的“非共識”空間，莫問認(rèn)為用戶需要有一套統(tǒng)一的大數(shù)據(jù)引擎技術(shù)，只需要根據(jù)自己的業(yè)務(wù)邏輯開發(fā)一套代碼，在各種不同的場景下，不管是全量數(shù)據(jù)還是增量數(shù)據(jù)，亦或者實(shí)時處理，一套方案即可全部支持。“這就是阿里選擇Flink的背景和初衷。”莫問表示。

第三，將Flink引入阿里全線業(yè)務(wù)，從而用場景優(yōu)勢拓展了Flink技術(shù)棧前進(jìn)空間。Flink最高成就顯然是以其在阿里的應(yīng)用為布局的。關(guān)于Flink在阿里巴巴的大規(guī)模應(yīng)用，莫問披露，F(xiàn)link最初上線阿里巴巴只有數(shù)百臺服務(wù)器，目前規(guī)模已達(dá)上萬臺，此等規(guī)模在全球范圍內(nèi)也是屈指可數(shù);基于Flink，內(nèi)部積累起來的狀態(tài)數(shù)據(jù)已經(jīng)是PB級別規(guī)模;如今每天在Flink的計(jì)算平臺上，處理的數(shù)據(jù)已經(jīng)超過萬億條;在峰值期間可以承擔(dān)每秒超過4.72億次的訪問，最典型的應(yīng)用場景是阿里巴巴雙11大屏。

Flink技術(shù)支持了阿里雙十一購物節(jié)大屏顯示的海量實(shí)時計(jì)算結(jié)果

第四，阿里將Flink帶到前沿戰(zhàn)場，創(chuàng)新聚焦在真正變革上。在阿里著手改造Flink之前，F(xiàn)link針對“一套統(tǒng)一的大數(shù)據(jù)引擎技術(shù)”已經(jīng)初露端倪。大數(shù)據(jù)計(jì)算引擎在批處理與流式計(jì)算之間，最大的不在于數(shù)據(jù)進(jìn)入計(jì)算引擎后，駐留緩存的時間方式的不同，批處理取決于駐慢緩存空間之后落地長期存儲，而流式計(jì)算旨在規(guī)定的時間或是容量內(nèi)會將數(shù)據(jù)發(fā)送到下一節(jié)點(diǎn)。Flink較同期方案，如Spark、Storm等，優(yōu)勢就在于可以同時兼顧兩種方案計(jì)算于一套計(jì)算引擎，但無法“統(tǒng)一”為一個堆棧。為此，阿里巴巴在Flink上提出了新的統(tǒng)一API架構(gòu)，采用DAG(有限無環(huán)圖)API。“整個拓?fù)涫强梢匀诤吓鹘y(tǒng)一的語義表達(dá)，整個計(jì)算無需區(qū)分是流計(jì)算還是批計(jì)算，只需要表達(dá)自己的需求。”

Flink的未來，已經(jīng)決定這阿里的技術(shù)基因走向。莫問在云棲大會上提出了Flink的未來三個方向：首先，讓Flink在更多的場景下落地，成為一種主流的批計(jì)算引擎。然后進(jìn)一步在流和批之間進(jìn)行無縫的切換，流和批的界限越來越模糊。其次，讓Flink的生態(tài)上有更多語言的支持，不僅僅是Java，Scala語言，甚至是機(jī)器學(xué)習(xí)下用的Python，Go語言。還有，完善上層Flink的Machine Learning算法庫，同時Flink往上層也會向成熟的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)場景集成。

不難看出，F(xiàn)link的技術(shù)優(yōu)勢讓阿里看到了符合自己大規(guī)模業(yè)務(wù)場景支持的預(yù)期，未來深度學(xué)習(xí)場景的構(gòu)建需要從現(xiàn)有批流融合，發(fā)展為更加開放和智能的落地場景，不斷拓展Flink的生態(tài)。

阿里需要拓寬技術(shù)護(hù)城河

Flink項(xiàng)目是大數(shù)據(jù)處理領(lǐng)域最近冉冉升起的一顆新星。有關(guān)其技術(shù)優(yōu)勢我們在《程序員》雜志的《深入理解Flink核心技術(shù)》，以及阿里團(tuán)隊(duì)發(fā)表在其云棲社區(qū)的兩篇文章《Flink已經(jīng)足夠強(qiáng)大了嗎?阿里巴巴說:還不夠》和《阿里巴巴為什么選擇Apache Flink?》中已經(jīng)有了非常詳盡的解讀。

總結(jié)來看，F(xiàn)link在2015年之前穩(wěn)定性、安全性方面廣受質(zhì)疑，阿里投入研發(fā)后，通過架構(gòu)變革、創(chuàng)新中間業(yè)務(wù)層、整合計(jì)算流程、開發(fā)融合適配接口等等，F(xiàn)link可以說迎來脫胎換骨的巨大發(fā)展優(yōu)勢。

完成對Data Artisans的收購，阿里無疑可以進(jìn)一步整合Flink的整個生態(tài)資源，作出更有利于Flink發(fā)展的規(guī)劃。不過，隨著Flink的一些競爭對手也陸續(xù)實(shí)現(xiàn)了阿里在技術(shù)上的領(lǐng)先優(yōu)勢，F(xiàn)link在帶給阿里未來強(qiáng)化大數(shù)據(jù)事實(shí)計(jì)算領(lǐng)先地位上，也充滿諸多未知數(shù)。

首先，收購前Flink有獨(dú)立供應(yīng)商Data Artisans支持，開源貢獻(xiàn)使其技術(shù)發(fā)展路線容易符合更廣大用戶的預(yù)期。收購后阿里對Flink發(fā)展的擁有絕對權(quán)，其對社區(qū)貢獻(xiàn)的參與積極性或相對減弱。

我們看到，這幾年Samza在LinkedIn開源后缺乏重量級用戶的加持而發(fā)展的舉步維艱。早在2014年成為頂級Apache流處理框架項(xiàng)目的它，在久前才進(jìn)入自己的1.0階段，而此時Flink已經(jīng)歷多次迭代到了1.8版本。LinkedIn的Sam Samza團(tuán)隊(duì)負(fù)責(zé)人Samarth Shetty為此在Samza 1.0的發(fā)布會上表示，當(dāng)他們第一次找尋流處理時，現(xiàn)有的流處理框架很少能夠處理他們在LinkedIn上的規(guī)模或技術(shù)問題，“例如，我們必須在Samza中構(gòu)建增量檢查點(diǎn)和主機(jī)關(guān)聯(lián)性等功能。當(dāng)時在Apache Flink等框架中無法使用這些功能。”顯然，阿里在Apache Flink社區(qū)貢獻(xiàn)已經(jīng)改變了這一局面。如今，阿里掌控Flink一家獨(dú)大，對于平衡Flink的商業(yè)版和社區(qū)之間的貢獻(xiàn)，或許會有新的變化。

再者，當(dāng)下大數(shù)據(jù)流式計(jì)算技術(shù)突破競爭過于聚焦，阿里的技術(shù)護(hù)城河還需要有新的突破。例如，即使阿里當(dāng)前得益于自己已經(jīng)在YARN上實(shí)現(xiàn)了API的連接得以將其運(yùn)行在資源管理器上，Samza則直接作為庫嵌入到應(yīng)用程序中并在任何資源管理器上運(yùn)行，從而讓計(jì)算引擎相對底層服務(wù)更加透明。除此之外，SQL支持現(xiàn)在成為流媒體的主戰(zhàn)場，Kafka和Spark都有了，致力于支持用SQL創(chuàng)建交互式shell。

第三，隨著大數(shù)據(jù)流式計(jì)算可以提供更快的數(shù)據(jù)決策，用戶針對傳統(tǒng)批處理模式正在加速向?qū)崟r數(shù)據(jù)場景遷移，為此流式計(jì)算技術(shù)在做好創(chuàng)新架構(gòu)突破的同時也要注意對傳統(tǒng)數(shù)據(jù)資產(chǎn)的有效銜接。諸如，F(xiàn)link已經(jīng)在其分布式的流式計(jì)算框架中實(shí)現(xiàn)了事物的ACID操作，有效解決的事物的分布式存儲環(huán)境的緩存一致性和分布式鎖的概念。Data Artisans聯(lián)合創(chuàng)始人兼首席執(zhí)行官Kostas Tzoumas表示，他們正為這一技術(shù)申請專利，“我們允許公司擺脫他們真正昂貴和復(fù)雜的Oracle數(shù)據(jù)庫，這些數(shù)據(jù)庫目前為他們提供ACID交易，并轉(zhuǎn)向允許您擴(kuò)展的新技術(shù)，允許您實(shí)施自定義代碼，”他同時表示：“但存在一些明顯的局限性，例如Flink與Oracle數(shù)據(jù)庫不兼容API。”

在這方面，Spark因?yàn)槲茨芗皶r支持Spark結(jié)構(gòu)流和高級會話處理的新API，從而讓Netflix的高級數(shù)據(jù)工程師Arora決定Netflix批量作業(yè)遷移選擇了Apache Flink的流式操作。

第四，阿里在獲得Flink商業(yè)所有權(quán)后，需要更為清晰且落地的Flink商業(yè)規(guī)劃。在這方面，Apex似乎是個很好的例子。DataTorrent將其RTS平臺的核心處理引擎在兩年前開放給Apache，當(dāng)時其已經(jīng)可以利用YARN實(shí)現(xiàn)按需規(guī)模伸縮且通過HDFS實(shí)現(xiàn)容錯能力。那是的Flink依舊顯得稚嫩呢。不過在隨后的發(fā)展中，DataTorrent表越來越激進(jìn)，諸如DataTorrent首席執(zhí)行官Guy Churchward宣布DataTorrent標(biāo)記的主要新功能包括通過與Druid集成擴(kuò)展支持SQL和分析，通過Python和PMML實(shí)現(xiàn)更多機(jī)器學(xué)習(xí)和AI功能，通過與Drools集成支持復(fù)雜事件處理規(guī)則，以及存儲和重放以記錄和重放來自一個時間點(diǎn)等諸多功能，從平臺方向到應(yīng)用軟件的創(chuàng)新讓DataTorrent的發(fā)展陷入一種混亂。在2018年2月，在Guy Churchward宣布其將提供流媒體數(shù)據(jù)應(yīng)用程序來實(shí)現(xiàn)顛覆性技術(shù)和顛覆性商業(yè)模式的90天后，DataTorrent破產(chǎn)了。顯然，由于流式計(jì)算和批處理在當(dāng)下依然有著較為明確的作用場景，阿里極力致力于批流一體化的實(shí)現(xiàn)還需要有明確的場景支撐才會更有說服力。

第五，作為阿里云最為有利的兩個競爭對手，Amazon或是微軟早已經(jīng)實(shí)現(xiàn)托管的高速實(shí)時流分析服務(wù)，顯然阿里云的流式計(jì)算堆棧Flink還需進(jìn)一步完善。例如Amazon Kinesis可以從前端的應(yīng)用服務(wù)器(例如Web服務(wù)器)或者移動的客戶端(手機(jī)等移動設(shè)備或者IoT設(shè)備)直接注入流式數(shù)據(jù)，數(shù)據(jù)可以通過EMR進(jìn)行流式處理和計(jì)算(例如基于Spark Stream的EMR計(jì)算框架)，并將數(shù)據(jù)存儲于Amazon DynamoDB或者對象存儲S3之上。

根據(jù)MarketInsightsReports的數(shù)據(jù)，預(yù)計(jì)到2025年全球流媒體分析市場將達(dá)到477.5億美元，從2017年到2025年將增長34.98%。而在IDC在一份新白皮書中表示，到2025年，將近30%的所謂“全球數(shù)據(jù)球”將成為實(shí)時信息。而當(dāng)下，大數(shù)據(jù)、AI、物理網(wǎng)正在加速推動流式計(jì)算集成到機(jī)器學(xué)習(xí)、人工智能框架中。阿里巴巴基于 Flink 搭建的平臺于 2016 年正式上線，并從阿里巴巴的搜索和推薦這兩大場景開始實(shí)現(xiàn)。目前阿里巴巴所有的業(yè)務(wù)，包括阿里巴巴所有子公司都采用了基于 Flink 搭建的實(shí)時計(jì)算平臺。可以相信，接下來， Flink將在阿里豐富的場景下，有著更快的發(fā)展。

去年的時候，馬云在談到傳位于CEO張勇的時候，馬云期望張勇可以帶給阿里更多技術(shù)基因，讓整個阿里在人們心中的定位更多有技術(shù)商業(yè)化的色彩。

對此，一直對這方面技術(shù)和投資動態(tài)有深入研究的國科嘉和基金執(zhí)行董事吳一洲認(rèn)為，這次并購是阿里在技術(shù)上的一個認(rèn)真的思考和布局，批流結(jié)合有其特定場景，公有云或者私有云都可以打包 flink 作為批/流平臺，能看出阿里對技術(shù)儲備的戰(zhàn)略意圖。同時，吳一洲也認(rèn)為，這次并購更深遠(yuǎn)的影響可能在于，之前公有云廠商薅開源羊毛，若持續(xù)吸收控制開源平臺，那么未來開源軟件在公有云上的授權(quán)策略可能會發(fā)生變化。第三，再看遠(yuǎn)一點(diǎn)，她認(rèn)為很可能是大平臺儲備技術(shù)籌碼的開始，對未來云服務(wù)的生態(tài)和格局會帶來影響。

推薦DIY文章