服务器负载不高 响应慢_京东面试官问我什么是负载均衡,兄弟们我这样说对嘛?...
一、什么是負載均衡
Load balancing,即負載均衡,是一種計算機技術,用來在多個計算機(計算機集群)、網(wǎng)絡連接、CPU、磁盤驅(qū)動器或其他資源中分配負載,以達到最優(yōu)化資源使用、最大化吞吐率、最小化響應時間、同時避免過載的目的。它將負載(工作任務,訪問請求)進行平衡、分攤到多個操作單元(服務器,組件)上進行執(zhí)行。是解決高性能,單點故障(高可用),擴展性(水平伸縮)的終極解決方案,具體模式如下圖:
二、負載均衡的分類
首先我們來看看OSI七層模型
數(shù)據(jù)在網(wǎng)絡中傳輸,是離不開各層協(xié)議的。我們可以很明確的一點是,負載均衡是要在網(wǎng)絡傳輸中做文章的。而要在網(wǎng)絡傳輸過程搞事情,那么這七層模型就勢必躲不開。
大致可以分為以下幾種,其中最常用的是四層和七層負載均衡:
二層負載均衡
負載均衡服務器對外依然提供一個VIP(虛IP),集群中不同的機器采用相同IP地址,但是機器的MAC地址不一樣。當負載均衡服務器接受到請求之后,通過改寫報文的目標MAC地址的方式將請求轉(zhuǎn)發(fā)到目標機器實現(xiàn)負載均衡。
三層負載均衡
和二層負載均衡類似,負載均衡服務器對外依然提供一個VIP(虛IP),但是集群中不同的機器采用不同的IP地址。當負載均衡服務器接受到請求之后,根據(jù)不同的負載均衡算法,通過IP將請求轉(zhuǎn)發(fā)至不同的真實服務器。
四層負載均衡
四層負載均衡工作在OSI模型的傳輸層,由于在傳輸層,只有TCP/UDP協(xié)議,這兩種協(xié)議中除了包含源IP、目標IP以外,還包含源端口號及目的端口號。四層負載均衡服務器在接受到客戶端請求后,以后通過修改數(shù)據(jù)包的地址信息(IP+端口號)將流量轉(zhuǎn)發(fā)到應用服務器。
七層負載均衡
七層負載均衡工作在OSI模型的應用層,應用層協(xié)議較多,常用http、radius、dns等。七層負載就可以基于這些協(xié)議來負載。這些應用層協(xié)議中會包含很多有意義的內(nèi)容。比如同一個Web服務器的負載均衡,除了根據(jù)IP加端口進行負載外,還可根據(jù)七層的URL、瀏覽器類別、語言來決定是否要進行負載均衡。
三、常用的負載策略
負載均衡服務器在決定將請求轉(zhuǎn)發(fā)到具體哪臺真實服務器的時候,是通過負載均衡算法來實現(xiàn)的。負載均衡算法,是一個負載均衡服務器的核心。
就好像在交通堵塞時,交警在十字路口指揮一樣,他會根據(jù)當前情況指揮不同的車輛往不同的方向走,有時即便你不想走也不得不走。
負載均衡算法可以分為兩類:靜態(tài)負載均衡算法和動態(tài)負載均衡算法。
(1)靜態(tài)負載均衡算法包括:輪詢,比率,優(yōu)先權,算法分配
01輪詢(Round Robin):順序循環(huán)將請求一次順序循環(huán)地連接每個服務器。當其中某個服務器發(fā)生第2到第7 層的故障,BIG-IP 就把其從順序循環(huán)隊列中拿出,不參加下一次的輪詢,直到其恢復正常。
02比率(Ratio):給每個服務器分配一個加權值為比例,根椐這個比例,把用戶的請求分配到每個服務器。當其中某個服務器發(fā)生第二到第7 層的故障,BIG-IP 就把其從服務器隊列中拿出,不參加下一次的用戶請求的分配, 直到其恢復正常。
03優(yōu)先權(Priority):給所有服務器分組,給每個組定義優(yōu)先權,BIG-IP 用戶的請求,分配給優(yōu)先級最高的服務器組(在同一組內(nèi),采用輪詢或比率算法,分配用戶的請求);當最高優(yōu)先級中所有服務器出現(xiàn)故障,BIG-IP 才將請求送給次優(yōu)先級的服務器組。這種方式,實際為用戶提供一種熱備份的方式。
04算法分配:一般采用散列算法,通過客戶端帶來的某個標識經(jīng)過一個標準化的散列函數(shù)進行打散分攤。
(2)動態(tài)負載均衡算法包括: 最少連接數(shù),最快響應速度,觀察方法,預測法,動態(tài)性能分配,動態(tài)服務器補充,服務質(zhì)量,服務類型,規(guī)則模式。
01最少的連接方式(Least Connection):傳遞新的連接給那些進行最少連接處理的服務器。當其中某個服務器發(fā)生第二到第7 層的故障,BIG-IP 就把其從服務器隊列中拿出,不參加下一次的用戶請求的分配, 直到其恢復正常。
02最快模式(Fastest):傳遞連接給那些響應最快的服務器。當其中某個服務器發(fā)生第二到第7 層的故障,BIG-IP 就把其從服務器隊列中拿出,不參加下一次的用戶請求的分配,直到其恢復正常。
03觀察模式(Observed):連接數(shù)目和響應時間以這兩項的最佳平衡為依據(jù)為新的請求選擇服務器。當其中某個服務器發(fā)生第二到第7 層的故障,BIG-IP就把其從服務器隊列中拿出,不參加下一次的用戶請求的分配,直到其恢復正常。
04預測模式(Predictive):BIG-IP利用收集到的服務器當前的性能指標,進行預測分析,選擇一臺服務器在下一個時間片內(nèi),其性能將達到最佳的服務器相應用戶的請求。(被BIG-IP 進行檢測)
05動態(tài)性能分配(Dynamic Ratio-APM):BIG-IP 收集到的應用程序和應用服務器的各項性能參數(shù),動態(tài)調(diào)整流量分配。
06動態(tài)服務器補充(Dynamic Server Act.):當主服務器群中因故障導致數(shù)量減少時,動態(tài)地將備份服務器補充至主服務器群。
07服務質(zhì)量(QoS):按不同的優(yōu)先級對數(shù)據(jù)流進行分配。
08服務類型(ToS):按不同的服務類型(在Type of Field中標識)負載均衡對數(shù)據(jù)流進行分配。
09規(guī)則模式:針對不同的數(shù)據(jù)流設置導向規(guī)則,用戶可自行。
常用算法的場景和優(yōu)缺點:
四、常用工具
市面上有很多開源的負載均衡的工具或軟件,基本都是基于前面提到的方案實現(xiàn)的,大多數(shù)是工作在第七層和第四層的。Nginx/LVS/HAProxy是目前使用最廣泛的三種負載均衡軟件。
LVS :LVS主要用來做四層負載均衡
LVS(Linux Virtual Server),也就是Linux虛擬服務器, 是一個由章文嵩博士發(fā)起的自由軟件項目。使用LVS技術要達到的目標是:通過LVS提供的負載均衡技術和Linux操作系統(tǒng)實現(xiàn)一個高性能、高可用的服務器群集,它具有良好可靠性、可擴展性和可操作性。從而以低廉的成本實現(xiàn)最優(yōu)的服務性能。
Nginx :Nginx主要用來做七層負載均衡
Nginx是一個網(wǎng)頁服務器,它能反向代理HTTP, HTTPS, SMTP, POP3, IMAP的協(xié)議鏈接,以及一個負載均衡器和一個HTTP緩存。。
HAProxy :HAProxy主要用來做七層負載均衡
HAProxy是一個使用C語言編寫的自由及開放源代碼軟件,其提供高可用性、負載均衡,以及基于TCP和HTTP的應用程序代理。
五、健康探測
不管是什么樣的策略,難免會遇到機器故障或者程序故障的情況。所以要確保負載均衡能更好的起到效果,還需要結(jié)合一些「健康探測」機制。定時的去探測服務端是不是還能連上,響應是不是超出預期的慢。如果節(jié)點屬于“不可用”的狀態(tài)的話,需要將這個節(jié)點臨時從待選取列表中移除,以提高可用性。一般常用的「健康探測」方式有3種。
01 HTTP探測:使用Get/Post的方式請求服務端的某個固定的URL,判斷返回的內(nèi)容是否符合預期。一般使用Http狀態(tài)碼、response中的內(nèi)容來判斷。
02 TCP探測:基于Tcp的三次握手機制來探測指定的IP + 端口。最佳實踐可以借鑒阿里云的SLB機制。
03 UDP探測:可能有部分應用使用的UDP協(xié)議。在此協(xié)議下可以通過報文來進行探測指定的IP + 端口。結(jié)果的判定方式是:在服務端沒有返回任何信息的情況下,默認正常狀態(tài)。否則會返回一個ICMP的報錯信息。
歡迎小伙伴在下方評論,探討問題!
總結(jié)
以上是生活随笔為你收集整理的服务器负载不高 响应慢_京东面试官问我什么是负载均衡,兄弟们我这样说对嘛?...的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ssm插入数据时候栈溢出_程序员算法与数
- 下一篇: python日期加减源码_Python