nginx日志格式、参数及切分
2019獨角獸企業重金招聘Python工程師標準>>>
日志格式
nginx服務器日志相關指令主要有兩條,一條是log_format,用來設置日志格式,另外一條是access_log,用來指定日志文件的存放路徑、格式和緩存大小,一般在nginx的配置文件中日記配置(/usr/local/nginx/conf/nginx.conf)。
log_format 格式
log_format???? ? name( 格式名字)? 格式樣式(即想要得到什么樣的日志內容)
nginx的log_format有很多可選的參數用于指示服務器的活動狀態,默認的是:
log_format? access? '$remote_addr - $remote_user [$time_local] "$request" '? ? '$status $body_bytes_sent "$http_referer" '? ? '"$http_user_agent" "$http_x_forwarded_for"';
想要記錄更詳細的信息需要自己設置log_format,具體可設置的參數格式。
用access_log指令日志文件存放路徑;
用了log_format 指令設置了日志格式之后,需要用access_log指令指定日志文件的存放路徑;
access_log???????path(存放路徑) ???????format (自定義日志名稱)
示例:
#access_log ? ? ? ? ? ? logs/access.log ? ? ? ? ? ?? main;
我們用log_format 定義了一個mylogformat的日志 我們可以寫成這樣
access_log ? ? ? ? ? ? logs/access.log ? ? ? ? mylogformat ;
如果不想啟用日志 :
access_log off ;
在定義日志目錄中要注意的是,nginx進程設置的用戶和組必須有對該路徑 創建文件的權限,假設nginx的usr指令設置的用戶名 和用戶組都是www,而logs 目錄的用戶名和組是root,那么日志文件將無法被創建;
參數說明
$args #請求中的參數值 $query_string #同 $args $arg_NAME #GET請求中NAME的值 $is_args #如果請求中有參數,值為"?",否則為空字符串 $uri #請求中的當前URI(不帶請求參數,參數位于$args),可以不同于瀏覽器傳遞的$request_uri的值,它可以通過內部重定向,或者使用index指令進行修改,$uri不包含主機名,如"/foo/bar.html"。 $document_uri #同 $uri $document_root #當前請求的文檔根目錄或別名 $host #優先級:HTTP請求行的主機名>"HOST"請求頭字段>符合請求的服務器名.請求中的主機頭字段,如果請求中的主機頭不可用,則為服務器處理請求的服務器名稱 $hostname #主機名 $https #如果開啟了SSL安全模式,值為"on",否則為空字符串。 $binary_remote_addr #客戶端地址的二進制形式,固定長度為4個字節 $body_bytes_sent #傳輸給客戶端的字節數,響應頭不計算在內;這個變量和Apache的mod_log_config模塊中的"%B"參數保持兼容 $bytes_sent #傳輸給客戶端的字節數 $connection #TCP連接的序列號 $connection_requests #TCP連接當前的請求數量 $content_length #"Content-Length" 請求頭字段 $content_type #"Content-Type" 請求頭字段 $cookie_name #cookie名稱 $limit_rate #用于設置響應的速度限制 $msec #當前的Unix時間戳 $nginx_version #nginx版本 $pid #工作進程的PID $pipe #如果請求來自管道通信,值為"p",否則為"." $proxy_protocol_addr #獲取代理訪問服務器的客戶端地址,如果是直接訪問,該值為空字符串 $realpath_root #當前請求的文檔根目錄或別名的真實路徑,會將所有符號連接轉換為真實路徑 $remote_addr #客戶端地址 $remote_port #客戶端端口 $remote_user #用于HTTP基礎認證服務的用戶名 $request #代表客戶端的請求地址 $request_body #客戶端的請求主體:此變量可在location中使用,將請求主體通過proxy_pass,fastcgi_pass,uwsgi_pass和scgi_pass傳遞給下一級的代理服務器 $request_body_file #將客戶端請求主體保存在臨時文件中。文件處理結束后,此文件需刪除。如果需要之一開啟此功能,需要設置client_body_in_file_only。如果將次文件傳 遞給后端的代理服務器,需要禁用request body,即設置proxy_pass_request_body off,fastcgi_pass_request_body off,uwsgi_pass_request_body off,or scgi_pass_request_body off $request_completion #如果請求成功,值為"OK",如果請求未完成或者請求不是一個范圍請求的最后一部分,則為空 $request_filename #當前連接請求的文件路徑,由root或alias指令與URI請求生成 $request_length #請求的長度 (包括請求的地址,http請求頭和請求主體) $request_method #HTTP請求方法,通常為"GET"或"POST" $request_time #處理客戶端請求使用的時間,單位為秒,精度毫秒; 從讀入客戶端的第一個字節開始,直到把最后一個字符發送給客戶端后進行日志寫入為止。 $request_uri #這個變量等于包含一些客戶端請求參數的原始URI,它無法修改,請查看$uri更改或重寫URI,不包含主機名,例如:"/cnphp/test.php?arg=freemouse" $scheme #請求使用的Web協議,"http" 或 "https" $server_addr #服務器端地址,需要注意的是:為了避免訪問linux系統內核,應將ip地址提前設置在配置文件中 $server_name #服務器名 $server_port #服務器端口 $server_protocol #服務器的HTTP版本,通常為 "HTTP/1.0" 或 "HTTP/1.1" $status #HTTP響應代碼 $time_iso8601 #服務器時間的ISO 8610格式 $time_local #服務器時間(LOG Format 格式) $cookie_NAME #客戶端請求Header頭中的cookie變量,前綴"$cookie_"加上cookie名稱的變量,該變量的值即為cookie名稱的值 $http_NAME #匹配任意請求頭字段;變量名中的后半部分NAME可以替換成任意請求頭字段,如在配置文件中需要獲取http請求頭:"Accept-Language",$http_accept_language即可 $http_cookie $http_host #請求地址,即瀏覽器中你輸入的地址(IP或域名) $http_referer #url跳轉來源,用來記錄從那個頁面鏈接訪問過來的 $http_user_agent #用戶終端瀏覽器等信息 $http_x_forwarded_for $sent_http_NAME #可以設置任意http響應頭字段;變量名中的后半部分NAME可以替換成任意響應頭字段,如需要設置響應頭Content-length,$sent_http_content_length即可 $sent_http_cache_control $sent_http_connection $sent_http_content_type $sent_http_keep_alive $sent_http_last_modified $sent_http_location $sent_http_transfer_encoding正確設置nginx中remote_addr和x_forwarded_for參數
什么是remote_addr:
remote_addr代表客戶端的IP,但它的值不是由客戶端提供的,而是服務端根據客戶端的ip指定的,當你的瀏覽器訪問某個網站時,假設中間沒有任何代理,那么網站的web服務器(Nginx,Apache等)就會把remote_addr設為你的機器IP,如果你用了某個代理,那么你的瀏覽器會先訪問這個代理,然后再由這個代理轉發到網站,這樣web服務器就會把remote_addr設為這臺代理機器的IP
什么是x_forwarded_for:
正如上面所述,當你使用了代理時,web服務器就不知道你的真實IP了,為了避免這個情況,代理服務器通常會增加一個叫做x_forwarded_for的頭信息,把連接它的客戶端IP(即你的上網機器IP)加到這個頭信息里,這樣就能保證網站的web服務器能獲取到真實IP
使用HAProxy做反向代理時:
通常網站為了支撐更大的訪問量,會增加很多web服務器,并在這些服務器前面增加一個反向代理(如HAProxy),它可以把負載均勻的分布到這些機器上。你的瀏覽器訪問的首先是這臺反向代理,它再把你的請求轉發到后面的web服務器,這就使得web服務器會把remote_addr設為這臺反向代理的IP,為了能讓你的程序獲取到真實的客戶端IP,你需要給HAProxy增加以下配置
? ?option forwardfor
它的作用就像上面說的,增加一個x_forwarded_for的頭信息,把客戶端的ip添加進去,否則的話經測試為空值
如上面的日志格式所示:$http_x_forwarded_for 是客戶端真實的IP地址,$remote_addr是前端Haproxy的IP地址
或者:
當Nginx處在HAProxy后面時,就會把remote_addr設為HAProxy的IP,這個值其實是毫無意義的,你可以通過nginx的realip模塊,讓它使用x_forwarded_for里的值。使用這個模塊需要重新編譯Nginx,增加--with-http_realip_module參數
./configure ?--user=www --group=www --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module \ ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?--with-http_realip_module --http-log-path=/data/logs/nginx/access.log --error-log-path=/data/logs/nginx/error.log
? ? ?set_real_ip_from 10.1.10.0/24;
? ? ?real_ip_header X-Forwarded-For;
上面的兩行配置就是把從10.1.10這一網段過來的請求全部使用X-Forwarded-For里的頭信息作為remote_addr,這樣此時remote_addr就是客戶端真實的IP地址
--------------------------------------------------------------
X-Forwarded-For 和 X-Real-IP 獲取客戶端的ip的區別:
一般來說,X-Forwarded-For是用于記錄代理信息的,每經過一級代理(匿名代理除外),代理服務器都會把這次請求的來源IP追加在X-Forwarded-For中 來自4.4.4.4的一個請求,header包含這樣一行 X-Forwarded-For: 1.1.1.1, 2.2.2.2, 3.3.3.3 代表 請求由1.1.1.1發出,經過三層代理,第一層是2.2.2.2,第二層是3.3.3.3,而本次請求的來源IP 4.4.4.4是第三層代理 而X-Real-IP,一般只記錄真實發出請求的客戶端IP,上面的例子,如果配置了X-Read-IP,將會是 X-Real-IP: 1.1.1.1 所以 ,如果只有一層代理,這兩個頭的值就是一樣的?
日志切割及刪除
1、通過crontab執行定時腳本
編輯vi /home/crontab/cut_nginx_log.sh
#!/bin/sh logs_path="/usr/local/nginx/logs/" DAYS=30(保留一個月) mv ${logs_path}bbs_access.log? ${logs_path}nginx_logs/bbs_logs/bbs_access_$(date -d "yesterday" +"%Y%m%d").log mv ${logs_path}sns_access.log? ${logs_path}nginx_logs/sns_logs/sns_access_$(date -d "yesterday" +"%Y%m%d").log kill -USR1 `cat /usr/local/nginx/logs/nginx.pid` find ${logs_path}nginx_logs/bbs_logs/? -name "bbs_access_*" -type f -mtime +$DAYS -exec rm {} \; find ${logs_path}nginx_logs/sns_logs/? -name "sns_access_*" -type f -mtime +$DAYS -exec rm {} \; ({}就是前面找到的文件名稱,\; 的原因是因為find命令要以一個”;“作結尾,但為了不讓”;“被shell誤解所以加了一個轉義字符"\")給腳本執行權限然后配置crontab
0 0 * * * root /home/crontab/cut_nginx_log.sh? #表示每天凌晨執行2、Linux系統自帶的命令logrotate對Nginx日志進行切割
Nginx安裝目錄:/usr/local/nginx/
Nginx日志目錄:/usr/local/nginx/logs/、/usr/local/nginx/logs/nginx_logs/
添加nginx日志切割腳本
cd ?/etc/logrotate.d ?#進入目錄
vi ? /etc/logrotate.d/nginx ? #編輯腳本
:wq! ?#保存退出
備注:logrotate相關參數說明
missingok:忽略錯誤,如“日志文件無法找到”的錯誤提示。
dateext:切換后的日志文件會附加上一個短橫線和YYYYMMDD格式的日期,沒有這個配置項會附加一個小數點加一個數字序號
notifempty:如果日志文件為空,不執行切割。
daily:按天切割日志。可用值月:monthly 周:weekly 年:yearly
rotate 7:保留最近7天的日志記錄
sharedscripts:只為整個日志組運行一次的腳本
postrotate和endscript:里面指定的命令將被執行。
compress::在輪循任務完成后,已輪循的歸檔將使用gzip進行壓縮。
delaycompress::總是與compress選項一起用,delaycompress選項指示logrotate不要將最近的歸檔壓縮,壓縮將在下一次輪循周期進行。這在你或任何軟件仍然需要讀取最新歸檔時很有用。
create 644 root root: 以指定的權限創建全新的日志文件,同時logrotate也會重命名原始日志文件。
轉載于:https://my.oschina.net/u/2000675/blog/900496
總結
以上是生活随笔為你收集整理的nginx日志格式、参数及切分的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ceph中pool的管理
- 下一篇: java基础之包