內(nèi)容來源：2017 年 11 月 25 日，當當網(wǎng)數(shù)字業(yè)務(wù)事業(yè)部技術(shù)總監(jiān)李志偉在“Kubernetes Meetup | 北京站”進行《Kubernetes容器云的互聯(lián)網(wǎng)企業(yè)實踐》演講分享。IT 大咖說（微信id：itdakashuo）作為獨家視頻合作方，經(jīng)主辦方和講者審閱授權(quán)發(fā)布。

閱讀字數(shù)：3488 | 9分鐘閱讀

嘉賓演講視頻及PPT回顧：t.cn/R1dGfA5

摘要

本次演講主要分享了在Kubernetes領(lǐng)域的實踐和經(jīng)驗，分別介紹了將原應(yīng)用遷移到Kubernetes的前期準備以及遷移過程中使用的規(guī)范。

現(xiàn)有平臺面臨的挑戰(zhàn)

不同企業(yè)開始往容器方向發(fā)展的初衷是不一樣的，有些企業(yè)是因為沒有運維工程師或運維團隊，而想要借助某個平臺實現(xiàn)運維自動化。

有些企業(yè)可能是由于計算資源的利用率比較低。雖然一些大型的互聯(lián)網(wǎng)公司都是動輒擁有成千上萬臺服務(wù)器，但實際上以我個人的經(jīng)歷來看計算資源的利用率都不高，這里有很多歷史的原因，其中之一就是為了獲得更好的隔離性，而實現(xiàn)隔離最好的辦法就是采用從物理機到基于虛擬的私有云技術(shù)。

對于有著比較長歷史的公司，應(yīng)用部署往往會和本地的運行環(huán)境強相關(guān)，使得遷移變得非常困難，這時也需要有一個好的解決方案來解耦。另外業(yè)務(wù)總量的繁多，也會帶來管理的復(fù)雜度的提高。

為什么選擇Kubernetes

上面提到的這些問題在我們的生產(chǎn)實踐中都有不同程度的遇到，雖然有很多的解決方案，但是我們最終還是選擇了Kubernetes。

Kubernetes首要解決了計算資源利用率低下的問題，得益于此我們的服務(wù)器數(shù)量減少了一半。容器化解決了計算資源利用率問題。

業(yè)務(wù)容器鏡像一次構(gòu)建，就能夠運行在多種環(huán)境上，這種方式減少了對運行環(huán)境的以來，給運維平臺帶來了足夠的靈活性，解決了服務(wù)商鎖定的問題，我們當時考慮的是如果某個IDC服務(wù)商不滿足服務(wù)要求如何做到快速遷移，一般來說大批量的服務(wù)遷移代價非常高，需要很長時間，容器化之后業(yè)務(wù)遷移時間只需要30分鐘左右。

通過Kubernetes的架構(gòu)設(shè)計思想我們還可以規(guī)范網(wǎng)站系統(tǒng)的架構(gòu)設(shè)計。最后還有一點就是它實現(xiàn)了運維自動化。

向容器云平臺遷移前的準備工作

要想向容器云遷移，企業(yè)內(nèi)部需要一定的運維能力，如果企業(yè)的規(guī)模還不夠大，也可以考慮一些國內(nèi)的容器云服務(wù)提供商。下面來說下我們自己所做的一些準備工作。

首先自然是搭建Kubernetes集群，私有Docker鏡像倉庫構(gòu)建采用的是harbor，然后是獨立出來的集群監(jiān)控，CI/CD基礎(chǔ)設(shè)置使用的是Jenkins和helm，分布式存儲解決方案用的是Glusterfs。

業(yè)務(wù)遷移中使用的規(guī)范

從2015年底1.0版到之后的1.2、1.3版Kubernetes中的問題還是比較多的，企業(yè)要使用它是需要一定勇氣的。但現(xiàn)在基本上趨于成熟，對于大部分應(yīng)用不用太多的改造也可以跑的很好。

即使是這樣，也不是所有的應(yīng)用都可以遷移到容器云中，如果應(yīng)用能夠很好的符合云原生的設(shè)計原則當然可以遷移進來，但是大部分的應(yīng)用并不是按照這樣的設(shè)計原則設(shè)計的。這個時候最好的辦法是先將業(yè)務(wù)遷移進來，然后再逐步演進成微服務(wù)架構(gòu)。

在這個過程中我們剛開始其實也沒有任何規(guī)范，之后才陸續(xù)制定了相關(guān)規(guī)范，下面來具體看下遷移規(guī)范。

容器鏡像封裝的基本原則

早期很多系統(tǒng)架構(gòu)師都將Docker當做輕量級的虛擬機在使用，但這并不是最佳實踐，要想正確的使用Docker需要符合以下基本原則：

- 盡可能設(shè)計成無狀態(tài)服務(wù)，它帶來的好處就是能夠非常容易的做水平擴展

- 盡可能消除不必要的運行環(huán)境依賴，如果容器內(nèi)業(yè)務(wù)依賴太多水平擴展就會變的非常困難，在傳統(tǒng)的部署形式下，無論是虛擬機部署還是物理機部署都經(jīng)常會產(chǎn)生各種各樣沒必要的依賴，對于有一定歷史的企業(yè)這個問題就會非常嚴重

- 需要持久化的數(shù)據(jù)寫入到分布式存儲卷

- 盡可能保證業(yè)務(wù)單一性，這樣能夠讓分布式應(yīng)用很容易擴展，同樣它也是微服務(wù)架構(gòu)中的設(shè)計原則

- 控制輸出到stdout和stderr的日志寫入量

- 配置與容器鏡像內(nèi)容分離

- 容器中使用K8S內(nèi)部dns代替ip地址配置形式

- 日志采用集中化處理方案（EFk）

- 采用獨立的容器處理定時任務(wù)

NameSpace的使用

由于考慮到測試環(huán)境和staging等運行環(huán)境的資源利用率并不高，所以就想在一個集群內(nèi)部同時運行開發(fā)、測試、staging、生產(chǎn)環(huán)境。通過NameSpace實現(xiàn)不同運行環(huán)境的隔離，同時應(yīng)用軟件在不同的運行環(huán)境之間也不會產(chǎn)生命名沖突。

Service的命名規(guī)范

在v1.5版之前Service的命名不能超過24個字符，v1.5版之后最多63個字符。另外還需要滿足正則regex[a-z]([-a-z0-9]*[a-z0-9])?的要求，這意味著首字母必須是a-z的字母，末字母不能是-，其他部分可以是字母數(shù)字和-符號。一般來說命名方式都是使用“業(yè)務(wù)名-應(yīng)用服務(wù)器類型-其他標識”的形式，如book-tomcat-n1、book-mysql-m1等。

應(yīng)用健康檢查規(guī)范

應(yīng)用健康檢查規(guī)范是實現(xiàn)自動化運維的重要組成部分，也是系統(tǒng)故障自動發(fā)現(xiàn)和自我恢復(fù)的重要手段。目前有兩種健康檢查方式，分別是進程級和業(yè)務(wù)級。

進程級健康檢查是Kubernetes本身具備的，它用來檢驗容器進程是否存活，是默認開啟的。

業(yè)務(wù)級的健康檢查由我們自己實現(xiàn)，它有三點要求，一是必須要檢查自身核心業(yè)務(wù)是否正常，二是健康檢查程序執(zhí)行時間要小于健康檢查周期，三是健康檢查程序消耗資源要合理控制，避免出現(xiàn)服務(wù)抖動。

健康檢查程序在不同環(huán)境下有著不同的實現(xiàn)：

web服務(wù)下采用HTTPGET方式進行健康檢查，需要實現(xiàn)一個“/healthz”URL，這個URL對應(yīng)的程序需要檢查所有核心服務(wù)是否正常，健康檢查程序還應(yīng)該在異常情況下輸出每一個檢查項的狀態(tài)明細。

其他網(wǎng)絡(luò)服務(wù)下可以采用探查容器指定端口狀態(tài)來判斷容器健康狀態(tài)。

非網(wǎng)絡(luò)服務(wù)下需要在容器內(nèi)部執(zhí)行特定命令，根據(jù)退出碼判斷容器健康狀態(tài)。

Yaml中Image tag配置規(guī)范

部署容器鏡像時應(yīng)該避免使用latest tag形式，否則一旦出現(xiàn)問題就難以跟蹤到當前運行的Image版本，也難以進行回滾操作。所以建議每個容器Image的tag應(yīng)該用版本號來標識。

使用ConfigMap實現(xiàn)應(yīng)用平滑遷移

早期的1.0版本配置信息都是寫在配置文件中的，要做遷移就需要改很多東西，當時就只有幾種方法可以傳遞配置信息，其中一種是通過環(huán)境變量傳遞，然后內(nèi)部還要有一個對應(yīng)機制進行轉(zhuǎn)化，這其實是非常麻煩的過程。但是現(xiàn)在有了ConfigMap之后，就只需要將原先的配置文件導入到ConfigMap中就行了。

遷移中遇到的其他問題

關(guān)于CI/CD

我們在做遷移的時候采用的是Jenkins來實現(xiàn)CI/CD的，然后通過Helm來實現(xiàn)軟件包管理，Helm是Kubernetes的官方子項目，作為企業(yè)內(nèi)部的應(yīng)用管理是非常方便的，它使得開發(fā)者不用再去關(guān)注Kubernetes本身而只需要專注于應(yīng)用開發(fā)就夠了。

時區(qū)的配置問題

從官方下載的鏡像都會有默認時區(qū)，一般我們使用的時候都需要更改時區(qū)，更改時區(qū)的方式有多種，這里簡單說兩種。一是將容器鏡像的/etc/loacltime根據(jù)需要設(shè)置為對應(yīng)的時區(qū)，二是采用配置文件中的volume掛載宿主機對應(yīng)的localtime文件的方式。推薦采用第二種方式。

外部網(wǎng)絡(luò)訪問Service

在沒有Ingress的時候我們是使用內(nèi)建Nginx容器來轉(zhuǎn)發(fā)集群內(nèi)部服務(wù)，現(xiàn)在則是通過Ingress轉(zhuǎn)發(fā)集群內(nèi)部服務(wù)，Ingress通過NodePort方式暴露給外網(wǎng)。

最佳組合

上圖展示的是Kubernetes的最佳組合，它以DevOps作為基礎(chǔ)，上層是k8s加上Containers，頂層構(gòu)筑的是微服務(wù)應(yīng)用。這樣的組合帶來的不僅是一個容器云，更多的是改變了研發(fā)流程和組織結(jié)構(gòu)，這主要是受微服務(wù)的架構(gòu)思想影響。

過去完成一個應(yīng)用的版本發(fā)布可能要多人協(xié)同，一旦有緊急發(fā)布的時候就會發(fā)現(xiàn)這其實是非常笨重的。但是如果是基于微服務(wù)架構(gòu)做的應(yīng)用，往往一到兩個人就可以維護一個微服務(wù)，他們自己就可以決定這個微服務(wù)是否獨立部署上線。

關(guān)于微服務(wù)和Kubernetes還有一個優(yōu)勢必須要強調(diào)，配合CI/CD開發(fā)人員終于可以不再考慮部署環(huán)境的細節(jié)了。

總結(jié)

以上是生活随笔為你收集整理的Kubernetes容器云的互联网企业实践的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。