nginx 转发慢_学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)...
本文主要幫助大家熟悉 Nginx 有哪些應(yīng)用場景、Nginx 特點和架構(gòu)模型以及相關(guān)流程、Nginx 定制化開發(fā)的幾種模塊分類。
本文將圍繞如下幾個部分進行講解:
- Nginx 簡介及特點
- Nginx 應(yīng)用場景
- Nginx 框架模型介紹
- Nginx 內(nèi)部流程介紹
- Nginx 自定義模塊開發(fā)介紹
- Nginx 核心時間點模塊介紹
- Nginx 分流模塊介紹
- Nginx 動態(tài) upstream 模塊介紹
- Nginx query_upstrem 模塊介紹
- Nginx query_conf 模塊介紹
- Nginx 共享內(nèi)存支持 Redis 協(xié)議模塊介紹
- Nginx 日志回放壓測工具介紹
Nginx 簡介以及特點
Nginx (engine x) 是一個高性能的 Web 服務(wù)器和反向代理服務(wù)器,也是一個 IMAP/POP3/SMTP 服務(wù)器:
- 它由俄羅斯程序員 Igor Sysoev 于 2002 年開始開發(fā)。
- Nginx 是增長最快的 Web 服務(wù)器,市場份額已達 33.3%。
- 全球使用量排名第二,2011 年成立商業(yè)公司。
Nginx 社區(qū)分支:
- Openresty:作者 @agentzh(章宜春)開發(fā)的,最大特點是引入了 ngx_lua 模塊,支持使用 Lua 開發(fā)插件,并且集合了很多豐富的模塊,以及 Lua 庫。
- Tengine:主要是淘寶團隊開發(fā)。特點是融入了因淘寶自身的一些業(yè)務(wù)帶來的新功能。
- Nginx 官方版本,更新迭代比較快,并且提供免費版本和商業(yè)版本。
Nginx 源碼結(jié)構(gòu)(代碼量大約 11 萬行 C 代碼):
- 源代碼目錄結(jié)構(gòu) Core(主干和基礎(chǔ)設(shè)置)
- Event(事件驅(qū)動模型和不同的 IO 復(fù)用模塊)
- HTTP(HTTP 服務(wù)器和模塊)
- Mail(郵件代理服務(wù)器和模塊)
- OS(操作系統(tǒng)相關(guān)的實現(xiàn))
- Misc(雜項)
Nginx 特點如下:
- 反向代理,負載均衡器
- 高可靠性、單 Master 多 Worker 模式
- 高可擴展性、高度模塊化
- 非阻塞
- 事件驅(qū)動
- 低內(nèi)存消耗
- 熱部署
Nginx 應(yīng)用場景
Nginx 的應(yīng)用場景如下:
- 靜態(tài)文件服務(wù)器
- 反向代理,負載均衡
- 安全防御
- 智能路由(企業(yè)級灰度測試、地圖 POI 一鍵切流)
- 灰度發(fā)布
- 靜態(tài)化
- 消息推送
- 圖片實時壓縮
- 防盜鏈
Nginx 框架模型介紹
進程組件角色:
- Master 進程:監(jiān)視工作進程的狀態(tài);當工作進程死掉后重啟一個新的;處理信號和通知工作進程。
- Worker 進程:處理客戶端請求,從主進程處獲得信號做相應(yīng)的事情。
- Cache Loader 進程:加載緩存索引文件信息,然后退出。
- Cache Manager進程:管理磁盤的緩存大小,超過預(yù)定值大小后最少使用數(shù)據(jù)將被刪除。
Nginx 的框架模型如下圖:
框架模型流程如下圖:
Nginx 內(nèi)部流程介紹
Nginx 框架模型流程如下圖:
Master 初始化流程,如下圖:
Worker 初始化:
Worker 初始化流程圖如下:
靜態(tài)文件請求 IO 流程如下圖:
HTTP 請求流程如下圖:
HTTP 請求 11 個階段,如下圖所示:
upstream模塊:
- 訪問第三方 Server 服務(wù)器
- 底層 HTTP 通信非常完善
- 異步非阻塞
- 上下游內(nèi)存零拷貝,節(jié)省內(nèi)存
- 支持自定義模塊開發(fā)
upstream 框架流程,如下圖:
upstream 內(nèi)部流程,如下圖:
反向代理流程,如下圖:
Nginx 定制化模塊開發(fā)
Nginx 的模塊化設(shè)計特點如下:
- 高度抽象的模塊接口
- 模塊接口非常簡單,具有很高的靈活性
- 配置模塊的設(shè)計
- 核心模塊接口的簡單化
- 多層次、多類別的模塊設(shè)計
內(nèi)部核心模塊:
Handler 模塊:接受來自客戶端的請求并構(gòu)建響應(yīng)頭和響應(yīng)體。
Filter 模塊:過濾(filter)模塊是過濾響應(yīng)頭和內(nèi)容的模塊,可以對回復(fù)的頭和內(nèi)容進行處理。它的處理時間在獲取回復(fù)內(nèi)容之后,向用戶發(fā)送響應(yīng)之前。
Upstream 模塊:使 Nginx 跨越單機的限制,完成網(wǎng)絡(luò)數(shù)據(jù)的接收、處理和轉(zhuǎn)發(fā),純異步的訪問后端服務(wù)。
Load_Balance:負載均衡模塊,實現(xiàn)特定的算法,在眾多的后端服務(wù)器中,選擇一個服務(wù)器出來作為某個請求的轉(zhuǎn)發(fā)服務(wù)器。
ngx_lua 模塊:
- 腳本語言
- 內(nèi)存開銷小
- 運行速度快
- 強大的 Lua 協(xié)程
- 非阻塞
- 業(yè)務(wù)邏輯以自然邏輯書寫
定制化開發(fā) Demo
Handler 模塊:
- 編寫 config 文件
- 編寫模塊產(chǎn)生內(nèi)容響應(yīng)信息
Nginx 核心時間點模塊介紹
解決接入層故障定位慢的問題,幫助 OP 快速判定問題根因,優(yōu)先自證清白,提高接入層高效的生產(chǎn)力。
Nginx 分流模塊介紹
Nginx 分流模塊特點如下:
- 實現(xiàn)非常靈活的動態(tài)的修改策略從而進行切流量。
- 實現(xiàn)平滑無損的方式進行流量的切換。
- 通過秒級切換流量可以縮小影響范圍,從而減少損失。
- 按照某一城市或者某個特征,秒級進行切換流量或者禁用流量。
- 容忍單機房級別容量故障,縮短了單機房故障的止損時間。
- 快速的將流量隔離或者流量抽樣。
- 高效的灰度測試,提高生產(chǎn)力。
Nginx 動態(tài) upstream 模塊介紹
讓接入層可以適配動態(tài)調(diào)度的云環(huán)境,實現(xiàn)服務(wù)的平滑上下線、彈性擴/縮容。
從而提高接入層高效的生產(chǎn)力以及穩(wěn)定性,保證業(yè)務(wù)流量的平滑無損。
Nginx query_upstream 模塊介紹
鏈路追蹤,梳理接口到后端鏈路的情況。查詢 location 接口對應(yīng) upstream server 信息。
Nginx query_conf 模塊介紹
獲取 Nginx 配置文件格式化為 json 格式信息:
Nginx 共享內(nèi)存支持 Redis 協(xié)議模塊介紹
根據(jù)配置文件來動態(tài)的添加共享內(nèi)存:
https://github.com/lidaohang/ngx_shm_dictngx_shm_dict:共享內(nèi)存核心模塊(紅黑樹,隊列)
ngx_shm_dict_manager:添加定時器事件,定時的清除共享內(nèi)存中過期的 Key,添加讀事件,支持 Redis 協(xié)議,通過 redis-cli get,set,del,ttl
ngx_shm_dict_view:共享內(nèi)存查看
Nginx 日志回放壓測工具
解析日志進行回放壓測,模擬后端服務(wù)器慢等各種異常情況 :
https://github.com/lidaohang/playback-testing方案說明:
- 客戶端解析 access.log 構(gòu)建請求的 host,port,url,body。
- 把后端響應(yīng)時間,后端響應(yīng)狀態(tài)碼,后端響應(yīng)大小放入 header 頭中。
- 后端服務(wù)器獲取相應(yīng)的 header,進行模擬響應(yīng) body 大小,響應(yīng)狀態(tài)碼,響應(yīng)時間。
使用方式:
- 拷貝需要測試的 access.log 的日志到 logs 文件夾里面。
- 搭建需要測試的 Nginx 服務(wù)器,并且配置 upstream 指向后端服務(wù)器端口
- 啟動后端服務(wù)器實例
- 進行壓測
以上有不足的地方可以指出討論,覺得不錯的朋友希望能得到您的轉(zhuǎn)發(fā)支持,同時可以持續(xù)關(guān)注我,每天分享Linux C/C++后臺開發(fā)干貨內(nèi)容!
蟹蟹!
與50位技術(shù)專家面對面20年技術(shù)見證,附贈技術(shù)全景圖總結(jié)
以上是生活随笔為你收集整理的nginx 转发慢_学习Nginx的正确姿势,多图详解助你更上一层楼!(干货收藏篇)...的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python rpc微服务框架_grpc
- 下一篇: python的groupby中函数详解_