美國西部時(shí)間 5 月 2 日下午 7 點(diǎn)，Twitter 公司在舊金山總部舉行了一次技術(shù)發(fā)布會(huì)兼 Meetup。會(huì)上，Twitter 計(jì)算平臺(tái)（Twitter Computing Platform）產(chǎn)品與技術(shù)負(fù)責(zé)人 David McLaughlin 正式宣布，Twitter 的基礎(chǔ)而設(shè)施將從 Mesos 全面轉(zhuǎn)向 Kubernetes。

Mesos項(xiàng)目發(fā)布于是2009年，而Twitter公司則是 Mesos 項(xiàng)目的早期支持者和使用者之一。作為世界上最成功的社交媒體巨頭之一，Twitter 公司以其龐大的生產(chǎn)集群規(guī)模（萬級(jí)別節(jié)點(diǎn)）而備受關(guān)注。在 2011 年，Twitter 公司開始在Mesos 項(xiàng)目的基礎(chǔ)上開發(fā)了 Aurora 項(xiàng)?以便同時(shí)管理其內(nèi)部的在線和離線業(yè)務(wù)，逐步成為 Mesos 社區(qū)的代言人。

可是，在持續(xù)投入 Mesos 項(xiàng)目近 10 年之后，為什么現(xiàn)在的 Twitter 公司又會(huì)突然宣布全面轉(zhuǎn)向 Kubernetes 體系呢？在這個(gè)令人矚目的決定背后， 又是什么樣的架構(gòu)和設(shè)計(jì)能夠支撐 Twitter 的基礎(chǔ)設(shè)施來一次 360 度的“華麗轉(zhuǎn)身”呢？

云時(shí)代，Twitter基礎(chǔ)設(shè)施面臨的新挑戰(zhàn)

Twitter 公司創(chuàng)始于 2006 年。時(shí)至今日，全世界每天都有至少 5 億條推文產(chǎn)生。在過去十余年飛速成長和海量數(shù)據(jù)的挑戰(zhàn)下，Twitter 的基礎(chǔ)設(shè)施架構(gòu)的演進(jìn)過程，一直以來都是全世界技術(shù)公司眼中標(biāo)桿案例。這其中，像 Mesos 這樣優(yōu)秀的老牌調(diào)度框架、 以及像 Aurora 這樣啟發(fā)自 Google Borg 配置管理的編排引擎，可謂功不可沒。

事實(shí)上，在互聯(lián)網(wǎng)級(jí)別的技術(shù)場景下，依托頂級(jí)工程師和成熟技術(shù)自建基礎(chǔ)設(shè)施，一直以來都是一線非云互聯(lián)網(wǎng)廠商的架構(gòu)首選。也正是在這個(gè)過程中，相對成熟并且工作層次較低的 Mesos 項(xiàng)目，收獲到了大量的規(guī)模級(jí)生產(chǎn)環(huán)境部署案例。

不過，隨著云計(jì)算的普及和 Kubernetes 這樣以“云”為核心的容器化基礎(chǔ)設(shè)施項(xiàng)目的迅速崛起，這種傳統(tǒng)的互聯(lián)網(wǎng)基礎(chǔ)技術(shù)架構(gòu)選型方法，正在逐步暴露出很多前所未有的問題。在本次發(fā)布會(huì)上， David 就以 Twitter 公司當(dāng)前面臨的挑戰(zhàn)為例，對這些問題作出了簡明扼要的總結(jié)：

存儲(chǔ)系統(tǒng)的多樣化與專業(yè)化，使傳統(tǒng)基礎(chǔ)設(shè)施復(fù)雜度急劇上升。相比于傳統(tǒng)技術(shù)架構(gòu)對存儲(chǔ)系統(tǒng)的單一假設(shè)（比如一套 Ceph 打天下），云時(shí)代的軟件架構(gòu)為用戶的存儲(chǔ)選擇帶來了爆發(fā)性的增長。僅以阿里云為例，它在公有云上能夠?yàn)橛脩籼峁┑母鞣N類型的存儲(chǔ)服務(wù)就多達(dá) 10 余中，而其中的細(xì)分方案，更是數(shù)不勝數(shù)。而隨著互聯(lián)網(wǎng)公司的基礎(chǔ)架構(gòu)和軟件規(guī)模的不斷擴(kuò)張和發(fā)展，互聯(lián)網(wǎng)軟件本身對存儲(chǔ)的需求也更加細(xì)化和專業(yè)。比如，在 Twitter，這其中，Local Persistent Volume 這種“非典型”的存儲(chǔ)訴求，就逐漸在平衡性能與成本的過程中成為了一種主流方案。而作為 CSI（Container Storage Inerface）的提出者，Kubernetes 社區(qū)不僅擁有著最完善里的 Local PV 機(jī)制，還能夠憑借標(biāo)準(zhǔn)接口和 PV、PVC 體系，完全為用戶抹平其它數(shù)十種不同存儲(chǔ)服務(wù)的對接問題。這在互聯(lián)網(wǎng)軟件架構(gòu)日趨復(fù)雜和面向多云的發(fā)展趨勢中，無疑是至關(guān)重要的。

Mesos 和 Aurora 體系與“云原生”始終漸行漸遠(yuǎn)。 云時(shí)代一個(gè)重要的技術(shù)發(fā)展趨勢，就是軟件的生命周期會(huì)逐步向“生在云上、長在云上”的形態(tài)靠攏。這也就意味著作為支撐著軟件的核心基礎(chǔ)設(shè)施項(xiàng)目，也必然要向“發(fā)揮云的最大價(jià)值”的方向不斷演進(jìn)。遺憾的是，Mesos 以及 Aurora 項(xiàng)目或許是由于發(fā)布較早，始終沒能夠?qū)ⅰ霸啤弊兂烧麄€(gè)基礎(chǔ)設(shè)施體系中的“一等公民”。而相比之下，Kubernetes 體系從發(fā)布伊始就不斷倡導(dǎo)的“聲明式 API”、“容器設(shè)計(jì)模式”、“控制器模型”等各項(xiàng)理念，其實(shí)都是為了幫助用戶能夠在云上以“可擴(kuò)展、可復(fù)制、高度自動(dòng)化”方式開發(fā)、交付和運(yùn)維軟件所作出的重要努力。在今天，這些頂層架構(gòu)設(shè)計(jì)與各種最佳實(shí)踐，就被廣大開發(fā)者們冠名為“云原生”。這也成為了 Kubernetes 項(xiàng)目與其它競爭對手相比最大的不同。

傳統(tǒng)的多云、多集群管理成本居高不下，并在可預(yù)見的未來內(nèi)迅速攀升。在傳統(tǒng)的互聯(lián)網(wǎng)架構(gòu)當(dāng)中，自建數(shù)據(jù)中心和基礎(chǔ)設(shè)施體系是整個(gè)軟件系統(tǒng)的第一假設(shè)。而“云”所扮演的角色，更像是在流量突發(fā)時(shí)應(yīng)付峰值的資源“備胎”。在這種以“云”為輔助角色的指導(dǎo)思想下，多云和多集群很難成為整個(gè)架構(gòu)的重中之重。這就使得多云和多集群的能力，成為了底層資源對接層的職責(zé)，而與更重要的應(yīng)用開發(fā)、交付和運(yùn)維體系失去了直接關(guān)聯(lián)。這種方案短期內(nèi)固然可以奏效，但長期的維護(hù)和迭代的成本卻很容易因?yàn)樯蠈討?yīng)用本身的千變?nèi)f化的形態(tài)與高速迭代而超出把控。此外，這種設(shè)計(jì)的另一個(gè)極端，就是讓整體基礎(chǔ)設(shè)施走向“多活”的技術(shù)深淵：這實(shí)際上已經(jīng)遠(yuǎn)遠(yuǎn)超出了 90% 以上的互聯(lián)網(wǎng)公司的技術(shù)能力。在云原生體系開始普及之后，“每朵云上都有無數(shù)個(gè) Kubernetes 集群”逐漸成為了應(yīng)用基礎(chǔ)設(shè)施能夠依賴的新常態(tài)。這就為多云和多集群的管理提供了一種全新的、突破性的思路：只要我的軟件選擇面向 Kubernetes 來進(jìn)行架構(gòu)、設(shè)計(jì)和實(shí)現(xiàn)，那么“多云、多集群”，就自然而然的成為了我的應(yīng)用基礎(chǔ)設(shè)施的默認(rèn)能力。在 Twitter 的業(yè)務(wù)越來越多的需要多云、多集群環(huán)境中交付的趨勢下， Kubernetes 這種從根本上幫助應(yīng)用迅速向多云交付的“捷徑”，成為了 Twitter 選擇變更自身技術(shù)體系另一個(gè)重要原因。
作為不斷在快速發(fā)展和迭代的互聯(lián)網(wǎng)公司，高壓力和快節(jié)奏背景下的企業(yè)往往無暇顧及基礎(chǔ)設(shè)施架構(gòu)的標(biāo)準(zhǔn)化與兼容性問題。這同樣也是 Twitter 公司面臨的主要問題之一。所以，在這次轉(zhuǎn)型過程當(dāng)中，“Kubernetes Native”則成為了一個(gè)被反復(fù)強(qiáng)調(diào)的關(guān)鍵詞。

大規(guī)模生產(chǎn)環(huán)境的" Kubernetes Native "技術(shù)路徑

作為不斷在快速發(fā)展和迭代的互聯(lián)網(wǎng)公司，高壓力和快節(jié)奏背景下的企業(yè)往往無暇顧及基礎(chǔ)設(shè)施架構(gòu)的標(biāo)準(zhǔn)化與兼容性問題。這同樣也是 Twitter 公司面臨的主要問題之一。所以，在這次轉(zhuǎn)型過程當(dāng)中，“Kubernetes Native”則成為了一個(gè)被反復(fù)強(qiáng)調(diào)的關(guān)鍵詞。在發(fā)布會(huì)上，Twitter 公司公布了選擇 Kubernetes Native 方向的諸多評(píng)估依據(jù)。

良好的開源技術(shù)與開源生態(tài)；

全世界所有的公有云都提供 Kubernetes 服務(wù)，不必?fù)?dān)心廠商鎖定；

原生具備有狀態(tài)業(yè)務(wù)（Stateful Application）的管理語義；

項(xiàng)目本身快速迭代，具有很強(qiáng)創(chuàng)新能力和先進(jìn)性；

具備標(biāo)準(zhǔn)的存儲(chǔ)對接接口，幫助 Twitter 無縫遷移各種現(xiàn)有存儲(chǔ)服務(wù)；

最終，Twitter 公司用一句話總結(jié)了這次評(píng)估的結(jié)果：

“我們認(rèn)為，使用 Kubernetes 項(xiàng)目作為 Twitter 公司基礎(chǔ)設(shè)施向前演進(jìn)的核心依賴，將會(huì)是一個(gè)正確的選擇”。

而在這條演進(jìn)路徑上，Twitter 也公布了多項(xiàng)具體的技術(shù)舉措，比如：

開發(fā) Twitter 專屬的有狀態(tài)應(yīng)用管理控制器（TwitterSet）；

開發(fā)滿足 Twitter 場景的節(jié)點(diǎn)控制器（NodeController）；

自定義 Service Discovery 組件以便同 Twitter 自己的流量管理服務(wù)對接；

編寫兼容 Aurora 語義的作業(yè)管理控制器以便將現(xiàn)有的 Aurora 上的業(yè)務(wù)進(jìn)行遷移；

開發(fā)更豐富的應(yīng)用發(fā)布策略和實(shí)例穩(wěn)定性支持；

改造 Aurora 的 DSL 以對接 Kubernetes，集成現(xiàn)有的 CI/CD 系統(tǒng)。

David 表示：“Twitter 公司基礎(chǔ)設(shè)施的巨大規(guī)模一直不是一個(gè)秘密，但至少在今天，規(guī)模不再是我們的首要擔(dān)心，我們能看到像阿里巴巴這樣的社區(qū)領(lǐng)導(dǎo)者正在將更大規(guī)模的 K8s 集群推向了生產(chǎn)環(huán)境”。

David McLaughlin 宣布整個(gè)遷移計(jì)劃將從現(xiàn)在開始一直持續(xù)到 2020 年。屆時(shí)，整個(gè) Twitter 的技術(shù)棧都會(huì)運(yùn)行在以 Kubernetes 為基礎(chǔ)的容器化基礎(chǔ)設(shè)施之上，并且呈現(xiàn)“內(nèi)部 K8s 集群 + 公有云 K8s 服務(wù)”的多集群組合形態(tài)。

David 最后再對 Twitter 的未來進(jìn)行總結(jié)時(shí)強(qiáng)調(diào)：在 2020 年，Twitter 自己的軟件棧會(huì)以“一部分運(yùn)行在自有 K8s 集群，另一部分運(yùn)行在 公共云上”的多集群形態(tài)進(jìn)行開發(fā)和交付。顯然，在思考“如何通過云來讓自身的基礎(chǔ)設(shè)施能力價(jià)值最大化，然后讓公司專注于更具價(jià)值的核心業(yè)務(wù)”這件事情上，Twitter 已經(jīng)得到了一個(gè)相對清晰而富有遠(yuǎn)見的答案。更重要的是，這個(gè)選擇，很可能會(huì)使公司與于得以擁抱 Kubernetes 的 Twitter 工程師們實(shí)現(xiàn)真正意義上的共贏。

世界級(jí)互聯(lián)網(wǎng)公司加持的規(guī)模化云原生技術(shù)

不難看到，Twitter 公司這次走向 Kubernetes Native背后的技術(shù)本質(zhì)，其實(shí)是在最大程度的利用 Kubernetes 項(xiàng)目本身的核心概念與可擴(kuò)展能力取得規(guī)模化定制性需求與社區(qū)標(biāo)準(zhǔn)之間的平衡。

這同樣也是阿里巴巴正在社區(qū)倡導(dǎo)的一條關(guān)鍵途徑。從 2018 年開始，阿里巴巴聯(lián)合了 Google， Facebook，Twitter，LinkedIn，Uber，Netflix，Pinterest 等一大批頂級(jí)互聯(lián)網(wǎng)公司，在美國硅谷開展起了月度 Web-Scale Meetup，以分享自身實(shí)際落地實(shí)踐的方式，為更多互聯(lián)網(wǎng)場景中的社區(qū)“觀望者”樹立信心。本次發(fā)布會(huì)上，Twitter 公司也邀請了來自阿里云容器平臺(tái)團(tuán)隊(duì)的工程師李響、張磊、何劍等作為專題演講嘉賓。同時(shí)應(yīng)邀出席發(fā)布會(huì)的嘉賓還有 Google 公司 Kubernetes 團(tuán)隊(duì)工程技術(shù)經(jīng)理 Jago Macleod 。

發(fā)布會(huì)上，阿里云容器平臺(tái)團(tuán)隊(duì)也透露了下個(gè)月即將開源的、其內(nèi)部錘煉已久的Kubernetes 高級(jí)作業(yè)管理集合（Kubernetes Workloads Advanced）：Kruise 項(xiàng)目。Kruise 會(huì)充分利用 Kubernetes 的“聲明式 API” 和“控制器模型”，為用戶提供互聯(lián)網(wǎng)場景下“賴以生存”的容器化應(yīng)用“原地升級(jí)”能力，以及更加精細(xì)化的業(yè)務(wù)發(fā)布策略。Twitter、Pinterest 以及 Netflix 等世界級(jí)團(tuán)隊(duì)，都會(huì)加入到這個(gè)創(chuàng)新性的“云原生作業(yè)管理”項(xiàng)目的合作當(dāng)中。

除此之外，Kubernetes 本身在規(guī)模化與性能提升上的不斷演進(jìn)，也是能夠讓 Twitter 公司最終從“觀望者”變成“實(shí)踐者”的另一個(gè)技術(shù)因素。對此，Google Kubernetes 項(xiàng)目工程技術(shù)經(jīng)理 Jago Macleod 在演講中專門介紹了 Google 公司與阿里巴巴在這個(gè)領(lǐng)域上正在進(jìn)行的攻關(guān)與合作。在最近的一次嘗試中，雙方的工程師正在一起為 K8s 里海量的 WATCH 操作添加“書簽（Bookmark）”，這將使得這些 WATCH 操作的建立者在重啟之后只需要對“書簽”之外的少數(shù)歷史變化進(jìn)行追溯。在特定情況下，K8s APIServer 的性能會(huì)被提高 40 倍以上。

Kubernetes，以應(yīng)用為中心的“高速公路”

除了技術(shù)和架構(gòu)演進(jìn)上的考量之外，這次Twitter 公司向 Kubernetes 的“華麗轉(zhuǎn)身”，還有一個(gè)至關(guān)重要的非技術(shù)因素。

Twitter 公司的快速成長，催生出了其標(biāo)桿式的基礎(chǔ)軟件團(tuán)隊(duì)，但也反映出了一個(gè)不得不引起重視的問題：隨著互聯(lián)網(wǎng)業(yè)務(wù)的快速發(fā)展，公司的基礎(chǔ)軟件團(tuán)隊(duì)很快就開始超過它應(yīng)有的規(guī)模邊界，而相應(yīng)的投入產(chǎn)出比卻停滯不前。

所以，正如 David 在一開始提到的那樣，過去互聯(lián)網(wǎng)企業(yè)中“自研（In-house）”為主的基礎(chǔ)軟件開發(fā)和架構(gòu)思路，正在伴隨著云計(jì)算和云原生理念的普及發(fā)生微妙的變化。憑借像 Kubernetes 這樣的平臺(tái)級(jí)項(xiàng)目標(biāo)準(zhǔn)，互聯(lián)網(wǎng)公司已經(jīng)能夠以較小的代價(jià)將自身的基礎(chǔ)設(shè)施向云遷移。更重要的是，由于 Kubernetes 這個(gè)標(biāo)準(zhǔn)層的存在，這種“遷移”本身并不會(huì)像 Netflix 與 AWS 那樣形成根深蒂固的廠商鎖定關(guān)系，反而會(huì)在保留大部分“自研”好處的同時(shí)徹底發(fā)揮出“云”本身的價(jià)值和多集群管理的能力。這種變革帶來的優(yōu)勢，會(huì)在一個(gè)互聯(lián)網(wǎng)公司里的 “AWS 工程師”都變成“K8s 工程師”之后變得尤為凸顯。

不難看到，Kubernetes 項(xiàng)目正在以應(yīng)用為中心，連通“云”、“應(yīng)用開發(fā)者”與“基礎(chǔ)軟件團(tuán)隊(duì)”。這種“高速公路”般的溝通、連接與交付能力，也正是像 Twitter 這樣快速迭代的互聯(lián)網(wǎng)公司思考自己基礎(chǔ)設(shè)施架構(gòu)未來演進(jìn)方向的重要參考。而這種轉(zhuǎn)變，也使得 Twitter 這樣一個(gè)業(yè)務(wù)迅速增長的商業(yè)組織始終維持一個(gè)數(shù)十人的基礎(chǔ)軟件團(tuán)隊(duì)成為了現(xiàn)實(shí)。

寫在最后

從最早Mesos“代言人”到如今的全面轉(zhuǎn)向“Kubernetes Native”，Twitter的舉動(dòng)再一次佐證了‘Kuberentes已經(jīng)成為容器編排事實(shí)標(biāo)準(zhǔn)’這一斷言。更為重要的是，Twitter這次全面擁抱云原生，也有望能夠?yàn)闃I(yè)界大規(guī)模生產(chǎn)級(jí)云原生技術(shù)落地的提供一個(gè)經(jīng)典學(xué)習(xí)范本。

阿里巴巴從去年開始在云原生生態(tài)中投入了大量技術(shù)力量，正在逐步成為Facebook，Twitter，LinkedIn，Uber，Netflix，Pinterest等眾多世界級(jí)互聯(lián)網(wǎng)公司眼中規(guī)模化云原生技術(shù)落地的一位重要引領(lǐng)者。而伴隨著云計(jì)算的進(jìn)一步普及，傳統(tǒng)的互聯(lián)網(wǎng)基礎(chǔ)技術(shù)架構(gòu)暴露出很多前所未有的問題，以及像Kubernetes這樣以“云”為核心的容器化基礎(chǔ)設(shè)施項(xiàng)目的迅速崛起，都在促使越來越多的世界級(jí)企業(yè)開始思考如何借助“云”以及云原生技術(shù)來擁抱開源生態(tài)和開放的技術(shù)標(biāo)準(zhǔn)，準(zhǔn)備迎接一個(gè)具備強(qiáng)勁的迭代能力的、面向“云”的數(shù)字未來。

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的Twitter 宣布抛弃 Mesos，全面转向Kubernetes的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。