Kubernetes作為容器應用的管理中心，對集群內部所有容器的生命周期進行管理，結合自身的健康檢查及錯誤恢復機制，實現了集群內部應用層的高可用性。
Kubernetes服務本身的穩定運行對集群管理至關重要，影響服務穩定的因素壹般來說分為兩種,壹種是服務本身異常或者服務所在機器宕機，另壹種是因為網絡問題導致的服務不可用。本文將從存儲層、管理層、接入層三個方面介紹高可用Kubernetes集群的原理。
2. Etcd高可用方案
Kubernetes的存儲層使用的是Etcd。Etcd是CoreOS開源的壹個高可用強壹致性的分布式存儲服務，Kubernetes使用Etcd作為數據存儲後端，把需要記錄的pod、rc、service等資源信息存儲在Etcd中。
Etcd使用raft算法將壹組主機組成集群，raft 集群中的每個節點都可以根據集群運行的情況在三種狀態間切換：follower, candidate 與 leader。leader 和 follower 之間保持心跳。如果follower在壹段時間內沒有收到來自leader的心跳，就會轉為candidate，發出新的選主請求。
集群初始化的時候內部的節點都是follower節點，之後會有壹個節點因為沒有收到leader的心跳轉為candidate節點，發起選主請求。當這個節點獲得了大於壹半節點的投票後會轉為leader節點，如下圖所示：
當leader節點服務異常後，其中的某個follower節點因為沒有收到leader的心跳轉為candidate節點，發起選主請求。只要集群中剩余的正常節點數目大於集群內主機數目的壹半，Etcd集群就可以正常對外提供服務。具體的恢復過程如下圖所示：
當集群內部的網絡出現故障集群可能會出現“腦裂”問題，這個時候集群會分為壹大壹小兩個集群（奇數節點的集群），較小的集群會處於異常狀態，較大的集群可以正常對外提供服務，出現網絡故障時的恢復過程如下圖所示：
Etcd集群的部署有三種方式，具體的安裝步驟可以查看官方手冊，此處不再詳細介紹。
3. Kubernetes master服務高可用方案
Kubernetes的管理層服務包括kube-scheduler和kube-controller-manager。kube-scheduer和kube-controller-manager使用壹主多從的高可用方案，在同壹時刻只允許壹個服務處以具體的任務。Kubernetes中實現了壹套簡單的選主邏輯，依賴Etcd實現scheduler和controller-manager的選主功能。
如果scheduler和controller-manager在啟動的時候設置了leader-elect參數，它們在啟動後會先嘗試獲取leader節點身份，只有在獲取leader節點身份後才可以執行具體的業務邏輯。它們分別會在Etcd中創建kube-scheduler和kube-controller-manager的endpoint，endpoint的信息中記錄了當前的leader節點信息，以及記錄的上次更新時間。leader節點會定期更新endpoint的信息，維護自己的leader身份。每個從節點的服務都會定期檢查endpoint的信息，如果endpoint的信息在時間範圍內沒有更新，它們會嘗試更新自己為leader節點。scheduler服務以及controller-manager服務之間不會進行通信，利用Etcd的強壹致性，能夠保證在分布式高並發情況下leader節點的全局唯壹性。
整體方案如下圖所示：
當集群中的leader節點服務異常後，其它節點的服務會嘗試更新自身為leader節點，當有多個節點同時更新endpoint時，由Etcd保證只有壹個服務的更新請求能夠成功。通過這種機制sheduler和controller-manager可以保證在leader節點宕機後其它的節點可以順利選主，保證服務故障後快速恢復。
當集群中的網絡出現故障時對服務的選主影響不是很大，因為scheduler和controller-manager是依賴Etcd進行選主的，在網絡故障後，可以和Etcd通信的主機依然可以按照之前的邏輯進行選主，就算集群被切分，Etcd也可以保證同壹時刻只有壹個節點的服務處於leader狀態。
4. Kubernetes apiserver服務高可用方案
Kubernetes的接入層服務主要是kube-apiserver。apiserver本身是無狀態的服務，它的主要任務職責是把資源數據存儲到Etcd中，後續具體的業務邏輯是由scheduler和controller-manager執行的。
可以同時起多個apiserver服務，使用nginx把客戶端的流量轉發到不同的後端apiserver上實現接入層的高可用。具體的實現如下圖所示：
接入層的高可用分為兩個部分，壹個部分是多活的apiserver服務，另壹個部分是壹主壹備的nginx服務。
5. 總結
本文主要從存儲層，管理層和接入層三個部分介紹了Kubernetes高可用方案的原理，整體的方案架構如下圖所示：
當然要真正做到Kubernetes集群的高可用，還需要考慮Kubernetes依賴的docker registry服務的高可用，以及Kubernetes依賴的網絡插件（cni）的高可用等等，相關的內容會在以後的文章中進行介紹。