【狂神说Java】Double/Zookeeper初识
1什么是分布式系統(tǒng)？
??在《分布式系統(tǒng)原理與范型》一書中有如下定義：“分布式系統(tǒng)是若干獨(dú)立計(jì)算機(jī)的集合，這些計(jì)算機(jī)對于用戶來說就像單個(gè)相關(guān)系統(tǒng)”；
??分布式系統(tǒng)是由一組通過網(wǎng)絡(luò)進(jìn)行通信、為了完成共同的任務(wù)而協(xié)調(diào)工作的計(jì)算機(jī)節(jié)點(diǎn)組成的系統(tǒng)。分布式系統(tǒng)的出現(xiàn)是為了用廉價(jià)的、普通的機(jī)器完成單個(gè)計(jì)算機(jī)無法完成的計(jì)算、存儲任務(wù)。其目的是利用更多的機(jī)器，處理更多的數(shù)據(jù)。
分布式系統(tǒng)（distributed system）是建立在網(wǎng)絡(luò)之上的軟件系統(tǒng)。
??首先需要明確的是，只有當(dāng)單個(gè)節(jié)點(diǎn)的處理能力無法滿足日益增長的計(jì)算、存儲任務(wù)的時(shí)候，且硬件的提升（加內(nèi)存、加磁盤、使用更好的CPU）高昂到得不償失的時(shí)候，應(yīng)用程序也不能進(jìn)一步優(yōu)化的時(shí)候，我們才需要考慮分布式系統(tǒng)。因?yàn)?#xff0c;分布式系統(tǒng)要解決的問題本身就是和單機(jī)系統(tǒng)一樣的，而由于分布式系統(tǒng)多節(jié)點(diǎn)、通過網(wǎng)絡(luò)通信的拓?fù)浣Y(jié)構(gòu)，會引入很多單機(jī)系統(tǒng)沒有的問題，為了解決這些問題又會引入更多的機(jī)制、協(xié)議，帶來更多的問題。。。
Dubbo文檔
隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)站應(yīng)用的規(guī)模不斷擴(kuò)大，常規(guī)的垂直應(yīng)用架構(gòu)已無法應(yīng)對，分布式服務(wù)架構(gòu)以及流動計(jì)算架構(gòu)勢在必行，急需一個(gè)治理系統(tǒng)確保架構(gòu)有條不紊的演進(jìn)。
在Dubbo的官網(wǎng)文檔有這樣一張圖
單一應(yīng)用架構(gòu)
??當(dāng)網(wǎng)站流量很小時(shí)，只需一個(gè)應(yīng)用，將所有功能都部署在一起，以減少部署節(jié)點(diǎn)和成本。此時(shí)，用于簡化增刪改查工作量的數(shù)據(jù)訪問框架(ORM)是關(guān)鍵。
適用于小型網(wǎng)站，小型管理系統(tǒng)，將所有功能都部署到一個(gè)功能里，簡單易用。
缺點(diǎn)：
??1、性能擴(kuò)展比較難
??2、協(xié)同開發(fā)問題
??3、不利于升級維護(hù)
垂直應(yīng)用架構(gòu)
??當(dāng)訪問量逐漸增大，單一應(yīng)用增加機(jī)器帶來的加速度越來越小，將應(yīng)用拆成互不相干的幾個(gè)應(yīng)用，以提升效率。此時(shí)，用于加速前端頁面開發(fā)的Web框架(MVC)是關(guān)鍵。
??通過切分業(yè)務(wù)來實(shí)現(xiàn)各個(gè)模塊獨(dú)立部署，降低了維護(hù)和部署的難度，團(tuán)隊(duì)各司其職更易管理，性能擴(kuò)展也更方便，更有針對性。
缺點(diǎn)：公用模塊無法重復(fù)利用，開發(fā)性的浪費(fèi)
分布式服務(wù)架構(gòu)
??當(dāng)垂直應(yīng)用越來越多，應(yīng)用之間交互不可避免，將核心業(yè)務(wù)抽取出來，作為獨(dú)立的服務(wù)，逐漸形成穩(wěn)定的服務(wù)中心，使前端應(yīng)用能更快速的響應(yīng)多變的市場需求。此時(shí)，用于提高業(yè)務(wù)復(fù)用及整合的分布式服務(wù)框架(RPC)是關(guān)鍵。
流動計(jì)算架構(gòu)
??當(dāng)服務(wù)越來越多，容量的評估，小服務(wù)資源的浪費(fèi)等問題逐漸顯現(xiàn)，此時(shí)需增加一個(gè)調(diào)度中心基于訪問壓力實(shí)時(shí)管理集群容量，提高集群利用率。此時(shí)，用于提高機(jī)器利用率的資源調(diào)度和治理中心(SOA)[ Service Oriented Architecture]是關(guān)鍵。
2什么是RPC?
http: 通信協(xié)議
rpc：通信協(xié)議
??RPC【Remote Procedure Call】是指遠(yuǎn)程過程調(diào)用，是一種進(jìn)程間通信方式，他是一種技術(shù)的思想，而不是規(guī)范。它允許程序調(diào)用另一個(gè)地址空間（通常是共享網(wǎng)絡(luò)的另一臺機(jī)器上）的過程或函數(shù)，而不用程序員顯式編碼這個(gè)遠(yuǎn)程調(diào)用的細(xì)節(jié)。即程序員無論是調(diào)用本地的還是遠(yuǎn)程的函數(shù)，本質(zhì)上編寫的調(diào)用代碼基本相同。
??也就是說兩臺服務(wù)器A，B，一個(gè)應(yīng)用部署在A服務(wù)器上，想要調(diào)用B服務(wù)器上應(yīng)用提供的函數(shù)/方法，由于不在一個(gè)內(nèi)存空間，不能直接調(diào)用，需要通過網(wǎng)絡(luò)來表達(dá)調(diào)用的語義和傳達(dá)調(diào)用的數(shù)據(jù)。為什么要用RPC呢？就是無法在一個(gè)進(jìn)程內(nèi)，甚至一個(gè)計(jì)算機(jī)內(nèi)通過本地調(diào)用的方式完成的需求，比如不同的系統(tǒng)間的通訊，甚至不同的組織間的通訊，由于計(jì)算能力需要橫向擴(kuò)展，需要在多臺機(jī)器組成的集群上部署應(yīng)用。RPC就是要像調(diào)用本地的函數(shù)一樣去調(diào)遠(yuǎn)程函數(shù)；
RPC基本原理
步驟解析：
RPC兩個(gè)核心模塊：通訊，序列化。
3如何給老婆解釋什么是RPC
4什么是Dubbo
??是一個(gè)Jar包
??Apache Dubbo 是一款高性能、輕量級的開源Java RPC框架，它提供了三大核心能力：面向接口的遠(yuǎn)程方法調(diào)用，智能容錯(cuò)和負(fù)載均衡，以及服務(wù)自動注冊和發(fā)現(xiàn)。
dubbo官網(wǎng) http://dubbo.apache.org/zh-cn/index.html??1.了解Dubbo的特性
??2.查看官方文檔
dubbo基本概念
??專業(yè)的事，交給專業(yè)的人來做~不靠譜！
??服務(wù)提供者（Provider）：暴露服務(wù)的服務(wù)提供方，服務(wù)提供者在啟動時(shí)，向注冊中心注冊自己提供的服務(wù)。
??服務(wù)消費(fèi)者（Consumer）：調(diào)用遠(yuǎn)程服務(wù)的服務(wù)消費(fèi)方，服務(wù)消費(fèi)者在啟動時(shí)，向注冊中心訂閱自己所需的服務(wù)，服務(wù)消費(fèi)者，從提供者地址列表中，基于軟負(fù)載均衡算法，選一臺提供者進(jìn)行調(diào)用，如果調(diào)用失敗，再選另一臺調(diào)用。
??注冊中心（Registry）：注冊中心返回服務(wù)提供者地址列表給消費(fèi)者，如果有變更，注冊中心將基于長連接推送變更數(shù)據(jù)給消費(fèi)者
??監(jiān)控中心（Monitor）：服務(wù)消費(fèi)者和提供者，在內(nèi)存中累計(jì)調(diào)用次數(shù)和調(diào)用時(shí)間，定時(shí)每分鐘發(fā)送一次統(tǒng)計(jì)數(shù)據(jù)到監(jiān)控中心
調(diào)用關(guān)系說明
5什么是zookeeper
產(chǎn)生背景
??當(dāng)今是個(gè)分布式、集群、云計(jì)算等名詞滿天飛的時(shí)代。造成這種局面的一個(gè)重要因素就是，單一機(jī)器的處理能力已經(jīng)不能滿足我們的需求，不得不采用由多臺機(jī)器組成的服務(wù)集群。服務(wù)集群對外提供服務(wù)的過程中，可以分解處理壓力，在一定程度上打破性能瓶頸，并提高服務(wù)的可用性（不會因?yàn)橐慌_機(jī)器宕機(jī)而造成服務(wù)不可用）。
??上圖中有三臺機(jī)器，每臺機(jī)器跑同樣的一個(gè)應(yīng)用程序。然后我們將這三臺機(jī)器通過網(wǎng)絡(luò)將其連接起來，構(gòu)成一個(gè)系統(tǒng)來為用戶提供服務(wù)，對用戶來說這個(gè)系統(tǒng)的架構(gòu)是透明的，他感覺不到這個(gè)系統(tǒng)是一個(gè)什么樣的架構(gòu)。那么我們就可以把這種系統(tǒng)稱作一個(gè)分布式系統(tǒng)。
那么，問題來了：
??1.程序的運(yùn)行往往依賴很多配置文件，比如數(shù)據(jù)庫地址、黑名單控制、服務(wù)地址列表等，而且有些配置信息需要頻繁地進(jìn)行動態(tài)變更，這時(shí)候怎么保證所有機(jī)器共享的配置信息保持一致？
??2.如果有一臺機(jī)器掛掉了，其他機(jī)器如何感知到這一變化并接管任務(wù)？如果用戶激增，需要增加機(jī)器來緩解壓力，如何做到不重啟集群而完成機(jī)器的添加？
??3.用戶數(shù)量增加或者減少，會出現(xiàn)有的機(jī)器資源使用率繁忙，有的卻空閑，如何讓每臺機(jī)器感知到其他機(jī)器的負(fù)載狀態(tài)從而實(shí)現(xiàn)負(fù)載均衡？
??4.在一臺機(jī)器上要多個(gè)進(jìn)程或者多個(gè)線程操作同一資源比較簡單，因?yàn)榭梢杂写罅康臓顟B(tài)信息或者日志信息提供保證，比如兩個(gè)A和B進(jìn)程同時(shí)寫一個(gè)文件，加鎖就可以實(shí)現(xiàn)。但是分布式系統(tǒng)怎么辦？需要一個(gè)三方的分配鎖的機(jī)制，幾百臺worker都對同一個(gè)網(wǎng)絡(luò)中的文件寫操作，怎么協(xié)同？還有怎么保證高效的運(yùn)行？
??除了上面列舉的幾種，還有很多細(xì)思極恐的問題，分布式系統(tǒng)到底有多然人抓狂，可以想想你第一次接觸多線程的感覺;
計(jì)劃中的多線程
現(xiàn)實(shí)中的多線程
分布式系統(tǒng)可以看作多線程的N級加強(qiáng)版……
ZooKeeper的前世今生
??分布式系統(tǒng)的很多難題，都是由于缺少協(xié)調(diào)機(jī)制造成的。
??目前，在分布式協(xié)調(diào)技術(shù)方面做得比較好的就是Google的Chubby還有Apache的ZooKeeper。有人會問既然有了Chubby為什么還要弄一個(gè)ZooKeeper，難道Chubby做得不夠好嗎？主要是Chubby是非開源的，Google自家用。后來雅虎模仿Chubby開發(fā)出了ZooKeeper，也實(shí)現(xiàn)了類似的分布式鎖的功能，并且將ZooKeeper作為一種開源的程序捐獻(xiàn)給了Apache，那么這樣就可以使用ZooKeeper所提供鎖服務(wù)。而且在分布式領(lǐng)域久經(jīng)考驗(yàn)，它的可靠性，可用性都是經(jīng)過理論和實(shí)踐的驗(yàn)證的。
??至于這個(gè)神器為什么叫ZooKeeper，與外國人一貫的幽默精神有關(guān)。
??眾所周知，外國人喜歡給用一個(gè)動物作為吉祥物，在IT界也不例外。比如，負(fù)責(zé)大數(shù)據(jù)工作的Hadoop是一個(gè)黃色的大象；負(fù)責(zé)數(shù)據(jù)倉庫的Hive是一個(gè)虛擬蜂巢；負(fù)責(zé)數(shù)據(jù)分析的Apache Pig是一頭聰明的豬；負(fù)責(zé)管理web容器的tomcat是一只雄貓……那好，負(fù)責(zé)分布式協(xié)調(diào)工作的角色就叫ZooKeeper（動物園飼養(yǎng)員）吧。
ZooKeeper能干什么
官方說辭是：
??ZooKeeper 分布式服務(wù)框架是Apache Hadoop 的一個(gè)子項(xiàng)目，它主要是用來解決分布式應(yīng)用中經(jīng)常遇到的一些數(shù)據(jù)管理問題，如：統(tǒng)一命名服務(wù)、狀態(tài)同步服務(wù)、集群管理、分布式應(yīng)用配置項(xiàng)的管理等。簡化分布式應(yīng)用協(xié)調(diào)及其管理的難度，提供高性能的分布式服務(wù)。ZooKeeper的目標(biāo)就是封裝好復(fù)雜 易出錯(cuò)的關(guān)鍵服務(wù)，將簡單易用的接口和性能高效、功能穩(wěn)定的系統(tǒng)提供給用戶。
ZooKeeper在一致性、可用性、容錯(cuò)性的保證，也是ZooKeeper的成功之處，它獲得的一切成功都與它采用的協(xié)議——Zab協(xié)議是密不可分的。
??為了實(shí)現(xiàn)前面提到的各種服務(wù)，比如分布式鎖、配置維護(hù)、組服務(wù)等，ZooKeeper設(shè)計(jì)了一種新的數(shù)據(jù)結(jié)構(gòu)——Znode，然后在該數(shù)據(jù)結(jié)構(gòu)的基礎(chǔ)上定義了一些原語，也就是一些關(guān)于該數(shù)據(jù)結(jié)構(gòu)的一些操作。有了這些數(shù)據(jù)結(jié)構(gòu)和原語還不夠，因?yàn)閆ooKeeper工作在分布式環(huán)境下，服務(wù)是通過消息以網(wǎng)絡(luò)的形式發(fā)送給分布式應(yīng)用程序，所以還需要一個(gè)通知機(jī)制——Watcher機(jī)制。總結(jié)一下，ZooKeeper所提供的服務(wù)主要是通過：數(shù)據(jù)結(jié)構(gòu) + 原語 + watcher機(jī)制，三個(gè)部分來實(shí)現(xiàn)的。
6安裝dubbo-admin
??是一個(gè)監(jiān)控管理后臺~查看我們注冊了哪些服務(wù)，哪些服務(wù)被消費(fèi)了
??dubbo本身并不是一個(gè)服務(wù)軟件。它其實(shí)就是一個(gè)jar包，能夠幫你的java程序連接到zookeeper，并利用zookeeper消費(fèi)、提供服務(wù)。
??但是為了讓用戶更好的管理監(jiān)控眾多的dubbo服務(wù)，官方提供了一個(gè)可視化的監(jiān)控程序dubbo-admin，不過這個(gè)監(jiān)控即使不裝也不影響使用。
這里來安裝一下：
下載dubbo-admin
地址 ：https://github.com/apache/dubbo-admin/tree/master
解壓進(jìn)入目錄
修改 dubbo-admin\src\main\resources \application.properties 指定zookeeper地址
在項(xiàng)目目錄下打包dubbo-admin
清除并打包
打包完成
啟動jar 包
記得啟動zookeeper
訪問
http://localhost:7001/用戶名和密碼都是root
總結(jié)
以上是生活随笔為你收集整理的【狂神说Java】Double/Zookeeper初识的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 计算机基础知识-数制
- 下一篇： 南邮CTF部分篇章WP