nginx日志格式、参数及切分
2019獨角獸企業重金招聘Python工程師標準>>>
日志格式
nginx服務器日志相關指令主要有兩條，一條是log_format，用來設置日志格式，另外一條是access_log，用來指定日志文件的存放路徑、格式和緩存大小，一般在nginx的配置文件中日記配置(/usr/local/nginx/conf/nginx.conf)。
log_format 格式
log_format???? ? name（ 格式名字）? 格式樣式（即想要得到什么樣的日志內容）
nginx的log_format有很多可選的參數用于指示服務器的活動狀態，默認的是：
log_format? access? '$remote_addr - $remote_user [$time_local] "$request" '? ? '$status $body_bytes_sent "$http_referer" '? ? '"$http_user_agent" "$http_x_forwarded_for"';
想要記錄更詳細的信息需要自己設置log_format，具體可設置的參數格式。
用access_log指令日志文件存放路徑；
用了log_format 指令設置了日志格式之后，需要用access_log指令指定日志文件的存放路徑；
access_log???????path(存放路徑) ???????format (自定義日志名稱)
示例:
#access_log ? ? ? ? ? ? logs/access.log ? ? ? ? ? ?? main;
我們用log_format 定義了一個mylogformat的日志 我們可以寫成這樣
access_log ? ? ? ? ? ? logs/access.log ? ? ? ? mylogformat ;
如果不想啟用日志 :
access_log off ;
在定義日志目錄中要注意的是，nginx進程設置的用戶和組必須有對該路徑 創建文件的權限，假設nginx的usr指令設置的用戶名 和用戶組都是www，而logs 目錄的用戶名和組是root，那么日志文件將無法被創建；
參數說明
$args #請求中的參數值 $query_string #同 $args $arg_NAME #GET請求中NAME的值 $is_args #如果請求中有參數，值為"?"，否則為空字符串 $uri #請求中的當前URI(不帶請求參數，參數位于$args)，可以不同于瀏覽器傳遞的$request_uri的值，它可以通過內部重定向，或者使用index指令進行修改，$uri不包含主機名，如"/foo/bar.html"。 $document_uri #同 $uri $document_root #當前請求的文檔根目錄或別名 $host #優先級：HTTP請求行的主機名>"HOST"請求頭字段>符合請求的服務器名.請求中的主機頭字段，如果請求中的主機頭不可用，則為服務器處理請求的服務器名稱 $hostname #主機名 $https #如果開啟了SSL安全模式，值為"on"，否則為空字符串。 $binary_remote_addr #客戶端地址的二進制形式，固定長度為4個字節 $body_bytes_sent #傳輸給客戶端的字節數，響應頭不計算在內；這個變量和Apache的mod_log_config模塊中的"%B"參數保持兼容 $bytes_sent #傳輸給客戶端的字節數 $connection #TCP連接的序列號 $connection_requests #TCP連接當前的請求數量 $content_length #"Content-Length" 請求頭字段 $content_type #"Content-Type" 請求頭字段 $cookie_name #cookie名稱 $limit_rate #用于設置響應的速度限制 $msec #當前的Unix時間戳 $nginx_version #nginx版本 $pid #工作進程的PID $pipe #如果請求來自管道通信，值為"p"，否則為"." $proxy_protocol_addr #獲取代理訪問服務器的客戶端地址，如果是直接訪問，該值為空字符串 $realpath_root #當前請求的文檔根目錄或別名的真實路徑，會將所有符號連接轉換為真實路徑 $remote_addr #客戶端地址 $remote_port #客戶端端口 $remote_user #用于HTTP基礎認證服務的用戶名 $request #代表客戶端的請求地址 $request_body #客戶端的請求主體：此變量可在location中使用，將請求主體通過proxy_pass，fastcgi_pass，uwsgi_pass和scgi_pass傳遞給下一級的代理服務器 $request_body_file #將客戶端請求主體保存在臨時文件中。文件處理結束后，此文件需刪除。如果需要之一開啟此功能，需要設置client_body_in_file_only。如果將次文件傳 遞給后端的代理服務器，需要禁用request body，即設置proxy_pass_request_body off，fastcgi_pass_request_body off，uwsgi_pass_request_body off，or scgi_pass_request_body off $request_completion #如果請求成功，值為"OK"，如果請求未完成或者請求不是一個范圍請求的最后一部分，則為空 $request_filename #當前連接請求的文件路徑，由root或alias指令與URI請求生成 $request_length #請求的長度 (包括請求的地址，http請求頭和請求主體) $request_method #HTTP請求方法，通常為"GET"或"POST" $request_time #處理客戶端請求使用的時間,單位為秒，精度毫秒； 從讀入客戶端的第一個字節開始，直到把最后一個字符發送給客戶端后進行日志寫入為止。 $request_uri #這個變量等于包含一些客戶端請求參數的原始URI，它無法修改，請查看$uri更改或重寫URI，不包含主機名，例如："/cnphp/test.php?arg=freemouse" $scheme #請求使用的Web協議，"http" 或 "https" $server_addr #服務器端地址，需要注意的是：為了避免訪問linux系統內核，應將ip地址提前設置在配置文件中 $server_name #服務器名 $server_port #服務器端口 $server_protocol #服務器的HTTP版本，通常為 "HTTP/1.0" 或 "HTTP/1.1" $status #HTTP響應代碼 $time_iso8601 #服務器時間的ISO 8610格式 $time_local #服務器時間（LOG Format 格式） $cookie_NAME #客戶端請求Header頭中的cookie變量，前綴"$cookie_"加上cookie名稱的變量，該變量的值即為cookie名稱的值 $http_NAME #匹配任意請求頭字段；變量名中的后半部分NAME可以替換成任意請求頭字段，如在配置文件中需要獲取http請求頭："Accept-Language"，$http_accept_language即可 $http_cookie $http_host #請求地址，即瀏覽器中你輸入的地址（IP或域名） $http_referer #url跳轉來源,用來記錄從那個頁面鏈接訪問過來的 $http_user_agent #用戶終端瀏覽器等信息 $http_x_forwarded_for $sent_http_NAME #可以設置任意http響應頭字段；變量名中的后半部分NAME可以替換成任意響應頭字段，如需要設置響應頭Content-length，$sent_http_content_length即可 $sent_http_cache_control $sent_http_connection $sent_http_content_type $sent_http_keep_alive $sent_http_last_modified $sent_http_location $sent_http_transfer_encoding正確設置nginx中remote_addr和x_forwarded_for參數
什么是remote_addr：
remote_addr代表客戶端的IP，但它的值不是由客戶端提供的，而是服務端根據客戶端的ip指定的，當你的瀏覽器訪問某個網站時，假設中間沒有任何代理，那么網站的web服務器（Nginx，Apache等）就會把remote_addr設為你的機器IP，如果你用了某個代理，那么你的瀏覽器會先訪問這個代理，然后再由這個代理轉發到網站，這樣web服務器就會把remote_addr設為這臺代理機器的IP
什么是x_forwarded_for：
正如上面所述，當你使用了代理時，web服務器就不知道你的真實IP了，為了避免這個情況，代理服務器通常會增加一個叫做x_forwarded_for的頭信息，把連接它的客戶端IP（即你的上網機器IP）加到這個頭信息里，這樣就能保證網站的web服務器能獲取到真實IP
使用HAProxy做反向代理時：
通常網站為了支撐更大的訪問量，會增加很多web服務器，并在這些服務器前面增加一個反向代理（如HAProxy），它可以把負載均勻的分布到這些機器上。你的瀏覽器訪問的首先是這臺反向代理，它再把你的請求轉發到后面的web服務器，這就使得web服務器會把remote_addr設為這臺反向代理的IP，為了能讓你的程序獲取到真實的客戶端IP，你需要給HAProxy增加以下配置
? ?option forwardfor
它的作用就像上面說的，增加一個x_forwarded_for的頭信息，把客戶端的ip添加進去，否則的話經測試為空值
如上面的日志格式所示：$http_x_forwarded_for 是客戶端真實的IP地址，$remote_addr是前端Haproxy的IP地址
或者：
當Nginx處在HAProxy后面時，就會把remote_addr設為HAProxy的IP，這個值其實是毫無意義的，你可以通過nginx的realip模塊，讓它使用x_forwarded_for里的值。使用這個模塊需要重新編譯Nginx，增加--with-http_realip_module參數
./configure ?--user=www --group=www --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module \ ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?--with-http_realip_module --http-log-path=/data/logs/nginx/access.log --error-log-path=/data/logs/nginx/error.log
? ? ?set_real_ip_from 10.1.10.0/24;
? ? ?real_ip_header X-Forwarded-For;
上面的兩行配置就是把從10.1.10這一網段過來的請求全部使用X-Forwarded-For里的頭信息作為remote_addr，這樣此時remote_addr就是客戶端真實的IP地址
--------------------------------------------------------------
X-Forwarded-For 和 X-Real-IP 獲取客戶端的ip的區別：
一般來說，X-Forwarded-For是用于記錄代理信息的，每經過一級代理(匿名代理除外)，代理服務器都會把這次請求的來源IP追加在X-Forwarded-For中 來自4.4.4.4的一個請求，header包含這樣一行 X-Forwarded-For: 1.1.1.1, 2.2.2.2, 3.3.3.3 代表 請求由1.1.1.1發出，經過三層代理，第一層是2.2.2.2，第二層是3.3.3.3，而本次請求的來源IP 4.4.4.4是第三層代理 而X-Real-IP，一般只記錄真實發出請求的客戶端IP，上面的例子，如果配置了X-Read-IP，將會是 X-Real-IP: 1.1.1.1 所以 ，如果只有一層代理，這兩個頭的值就是一樣的?
日志切割及刪除
1、通過crontab執行定時腳本
編輯vi /home/crontab/cut_nginx_log.sh
#!/bin/sh logs_path="/usr/local/nginx/logs/" DAYS=30（保留一個月） mv ${logs_path}bbs_access.log? ${logs_path}nginx_logs/bbs_logs/bbs_access_$(date -d "yesterday" +"%Y%m%d").log mv ${logs_path}sns_access.log? ${logs_path}nginx_logs/sns_logs/sns_access_$(date -d "yesterday" +"%Y%m%d").log kill -USR1 `cat /usr/local/nginx/logs/nginx.pid` find ${logs_path}nginx_logs/bbs_logs/? -name "bbs_access_*" -type f -mtime +$DAYS -exec rm {} \; find ${logs_path}nginx_logs/sns_logs/? -name "sns_access_*" -type f -mtime +$DAYS -exec rm {} \; （{}就是前面找到的文件名稱，\; 的原因是因為find命令要以一個”;“作結尾，但為了不讓”;“被shell誤解所以加了一個轉義字符"\"）給腳本執行權限然后配置crontab
0 0 * * * root /home/crontab/cut_nginx_log.sh? #表示每天凌晨執行2、Linux系統自帶的命令logrotate對Nginx日志進行切割
Nginx安裝目錄：/usr/local/nginx/
Nginx日志目錄：/usr/local/nginx/logs/、/usr/local/nginx/logs/nginx_logs/
添加nginx日志切割腳本
cd ?/etc/logrotate.d ?#進入目錄
vi ? /etc/logrotate.d/nginx ? #編輯腳本
:wq! ?#保存退出
備注：logrotate相關參數說明
missingok：忽略錯誤，如“日志文件無法找到”的錯誤提示。
dateext：切換后的日志文件會附加上一個短橫線和YYYYMMDD格式的日期，沒有這個配置項會附加一個小數點加一個數字序號
notifempty：如果日志文件為空，不執行切割。
daily:按天切割日志。可用值月：monthly 周：weekly 年：yearly
rotate 7：保留最近7天的日志記錄
sharedscripts：只為整個日志組運行一次的腳本
postrotate和endscript：里面指定的命令將被執行。
compress:：在輪循任務完成后，已輪循的歸檔將使用gzip進行壓縮。
delaycompress:：總是與compress選項一起用，delaycompress選項指示logrotate不要將最近的歸檔壓縮，壓縮將在下一次輪循周期進行。這在你或任何軟件仍然需要讀取最新歸檔時很有用。
create 644 root root: 以指定的權限創建全新的日志文件，同時logrotate也會重命名原始日志文件。
轉載于:https://my.oschina.net/u/2000675/blog/900496
總結
以上是生活随笔為你收集整理的nginx日志格式、参数及切分的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： ceph中pool的管理
- 下一篇： java基础之包