shell学习（4）- awk
簡介
awk是一個強大的文本分析工具，相對于grep的查找，sed的編輯，awk在其對數據分析并生成報告時，顯得尤為強大。簡單來說awk就是把文件逐行的讀入，以空格為默認分隔符將每行切片，切開的部分再進行各種分析處理。
awk有3個不同版本: awk、nawk和gawk，未作特別說明，一般指gawk，gawk 是 AWK 的 GNU 版本。
awk其名稱得自于它的創始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首個字母。實際上 AWK 的確擁有自己的語言： AWK 程序設計語言 ， 三位創建者已將它正式定義為“樣式掃描和處理語言”。它允許您創建簡短的程序，這些程序讀取輸入文件、為數據排序、處理數據、對輸入執行計算以及生成報 表，還有無數其他的功能
使用方法
awk'{pattern + action}' {filenames}
awk ：對于文件中一行行的獨處來執行操作?
?
調用方法
1.命令行方式
awk [-F ?field-separator] ?'commands' ?input-file(s)
其中，commands 是真正awk命令，[-F域分隔符]是可選的。 input-file(s) 是待處理的文件。
在awk中，文件的每一行中，由域分隔符分開的每一項稱為一個域。通常，在不指名-F域分隔符的情況下，默認的域分隔符是空格。
2.shell腳本方式
將所有的awk命令插入一個文件，并使awk程序可執行，然后awk命令解釋器作為腳本的首行，一遍通過鍵入腳本名稱來調用。
相當于shell腳本首行的：#!/bin/sh
可以換成：#!/bin/awk
3.將所有的awk命令插入一個單獨文件，然后調用：
awk -f awk-script-file input-file(s)
其中，-f選項加載awk-script-file中的awk腳本，input-file(s)跟上面的是一樣的。
?
工作流程
awk的工作流程師這樣的，讀入有'\n'換行符分割的一條記錄，然后將記錄按指定的域分隔符劃分域，填充域， $0則表示所有域,$1表示第一個域,$n表示第n個域。 默認域分隔符是"空白鍵" 或 "[tab]鍵",所以$1表示登錄用戶，$3表示登錄用戶ip,以此類推
1.基本用法
只顯示最近登錄的5個賬號
[root@www ~]$ last -n 5 | awk'{print $1}' root root root dmtsai root只顯示／etc/passwd的賬戶
[root@www ~]$ cat /etc/passwd |awk -F ':''{print $1}' root daemon bin sys如果只是顯示/etc/passwd的賬戶和賬戶對應的shell,而賬戶與shell之間以tab鍵分割
[root@www ~]$ cat /etc/passwd |awk -F ':''{print $1"\t"$7}' root /bin/bash daemon /bin/sh bin /bin/sh sys /bin/sh搜索/etc/passwd有root關鍵字的所有行
[root@www ~]$ cat /etc/passwd | awk -F':' '/root/' root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin找／etc/passwd 以root開頭的
[yangjiao@www ~]$ cat /etc/passwd | awk -F':' '/^root/' root:x:0:0:root:/root:/bin/bash2.內置變量
| ARGC?? | 命令行參數個數 | NF???? | ?瀏覽記錄的域個數 |
| AGRV?? | 命令行參數排列 | NR?? | 已讀的記錄數??? |
| ENVIRON?? | 支持隊列中系統環境變量的使用 | OFS?? | 輸出域分隔符 |
| FILENAME?? | awk瀏覽的文件名?? | ORS? | 輸出記錄分隔符 |
| FNR?? | 瀏覽文件的記錄數?? | RS?? | 控制記錄分隔符 |
| FS?? | 設置輸入域分隔符，同- F選項 | NF???? | ?瀏覽記錄的域個數 |
打印每一行的行數
[root@www ~]$ ls -l | awk '{print NR " " $1}' 1 total 2 drwx------ 3 drwx------+ 4 drwx------+ 5 drwx------+ 6 drwx------@ 7 drwx------+ 8 drwx------+ 9 drwx------+ 10 drwxr-xr-x+再理解如下應該比較簡單了
[root@www ~]$awk -F ':' '{printf("filename:%s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash filename:/etc/passwd,linenumber:2,columns:7,linecontent:daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin filename:/etc/passwd,linenumber:3,columns:7,linecontent:bin:x:2:2:bin:/bin:/usr/sbin/nologin filename:/etc/passwd,linenumber:4,columns:7,linecontent:sys:x:3:3:sys:/dev:/usr/sbin/nologin filename:/etc/passwd,linenumber:5,columns:7,linecontent:sync:x:4:65534:sync:/bin:/bin/sync filename:/etc/passwd,linenumber:6,columns:7,linecontent:games:x:5:60:games:/usr/games:/usr/sbin/nologin3.數組和計算
因為awk中數組的下標可以是數字和字母，數組的下標通常被稱為關鍵字(key)。值和關鍵字都存儲在內部的一張針對key/value應用hash的表格里。由于hash不是順序存儲，因此在顯示數組內容時會發現，它們并不是按照你預料的順序顯示出來的。數組和變量一樣，都是在使用時自動創建的，awk也同樣會自動判斷其存儲的是數字還是字符串。一般而言，awk中的數組用來從記錄中收集信息，可以用于計算總和、統計單詞以及跟蹤模板被匹配的次數等等。
?
[root@www ~]$ awk -F ':''BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd0 root 1 daemon 2 bin 3 sys 4 sync5 games
準備測試文件
[root@www ~]$ cat test.txt 5555 4444 2222 3333 7777 8888[root@www ~]awk '{name[x++]=$1};END{for(i=0;i<NR;i++) print i, name[i]}' test.txt
0 5555
1 4444
2 2222
3 3333
4 7777
5 8888
求和
[root@www ~]$awk '{sum+=$1} END {print "sum=",sum}' test.txt sum= 32219求平均值
[root@www ~]$ awk '{sum+=$1} END {print "avg=",sum/NR}' test.txt avg= 5369.83求最大值
[root@www ~]$ awk 'BEGIN {max=0} {if($1>max) max=$1 fi} END {print "MAX=",max}' test.txt MAX= 8888[root@www ~]$ awk 'BEGIN{max=0;print "max="max} {max=($1>max)?$1:max; print $1, "Now max is" max}' test.txt max=0 5555 Now max is5555 4444 Now max is5555 2222 Now max is5555 3333 Now max is5555 7777 Now max is7777 8888 Now max is8888?
求最小值
[root@www ~]$ awk 'BEGIN{min=9999999}{if($1<min) min=$1} END {print "MIN=",min}' test.txt MIN= 2222統計某個文件夾下的文件占用的字節數
[root@www ~]$ls -l | awk 'BEGIN{size=0;} {size=size+$5} END {print "size is", size}' size is 77298144.條件操作符
? ? <、<=、==、!=、>=、~匹配正則表達式、!~不匹配正則表達式
????匹配:awk '{if ($4~/ASIMA/) print $0}' temp?表示如果第四個域包含ASIMA，就打印整條
????精確匹配:awk '$3=="48" {print $0}' temp????只打印第3域等于"48"的記錄
????不匹配:? awk '$0 !~ /ASIMA/' temp??????打印整條不包含ASIMA的記錄
????不等于:? awk '$1 != "asima"' temp
????小于:??? awk '{if ($1<$2) print $1 "is smaller"}' temp
????設置大小寫: awk '/[Gg]reen/' temp??????打印整條包含Green，或者green的記錄
????任意字符: awk '$1 ~/^...a/' temp????打印第1域中第四個字符是a的記錄，符號’^’代表行首，符合’.’代表任意字符
????或關系匹配: awk '$0~/(abc)|(efg)/' temp???使用|時，語句需要括起來
????AND與關系:? awk '{if ( $1=="a" && $2=="b" ) print $0}' temp
????OR或關系:?? awk '{if ($1=="a" || $1=="b") print $0}' temp
awk有三種循環: while循環；for循環；special for循環。$ awk '{ i = 1; while ( i <= NF ) { print NF,$i; i++}}' test。變量的初始值為1，若i小于可等于NF(記錄中域的個數),則執行打印語句，且i增加1。直到i的值大于NF.$ awk '{for (i = 1; i<NF; i++) print NF,$i}' test。作用同上。bread continue 語句。break用于在滿足條件的情況下跳出循環；continue用于在滿足條件的情況下忽略后面的語句，直接返回循環的頂端。如：{for ( x=3; x<=NF; x++) if ($x<0){print "Bottomed out!"; break}} {for ( x=3; x<=NF; x++)if ($x==0){print "Get next item"; continue}}next 語句從輸入文件中讀取一行，然后從頭開始執行awk腳本。如：{if ($1 ~/test/){next}else {print} }exit 語句用于結束awk程序，但不會略過END塊。退出狀態為0代表成功，非零值表示出錯。? ??
if 語句 格式：{if (expression){statement; statement; ...}} $ awk '{if ($1 <$2) print $2 "too high"}' test。如果第一個域小于第二個域則打印。$ awk '{if ($1 < $2) {count++; print "ok"}}' test.如果第一個域小于第二個域，則count加一，并打印ok。if/else語句，用于雙重判斷
格式：{if (expression){statement; statement; ...}else{statement; statement; ...}}? ?$ awk '{if ($1 > 100) print $1 "bad" ; else print "ok"}' test。如果$1大于100則打印$1 bad,否則打印ok。
? ? $ awk '{if ($1 > 100){ count++; print $1} else {count--; print $2}' test。如果$1大于100，則count加一，并打印$1，否則count減一，并打印$1。
[root@www ~]$awk 'BEGIN {BASE="7000"} {if($1<BASE) print $0}' test.txt 5555 4444 2222 3333 [root@www ~]$ awk '{total+=$1};END{print total}' test.txt 322195.BEGIN和END模塊
BEGIN模塊后緊跟著動作塊，這個動作塊在awk處理任何輸入文件之前執行。所以它可以在沒有任何輸入的情況下進行測試。它通常用來改變內建變量的值，如OFS,RS和FS等，以及打印標題
END不匹配任何的輸入文件，但是執行動作塊中的所有動作，它在整個輸入文件處理完成后被執行。如$ awk 'END{print "The number of records is" NR}' test，上式將打印所有被處理的記錄數。
?
6.舉個例子
有a.txt如下
"北京" =>1 "上海" =>2 "天津"=>3 "重慶"=>4 "河北省"=>5 "山西省"=>6 "內蒙古"=>7 "遼寧省"=>8 "吉林省"=>9 "黑龍江省"=>10現把key和value互換并去掉空格，用如下命令，或者先去掉空格，用下邊第二條命令
cat a.txt | awk -F'=>' '{printf("%s=>%s\n",$2,$1)}' | sed 's/\s\+//g' > b.txt? cat a.txt | sed 's/\s\+//g' | awk -F'=>' '{printf("%s => %s\n",$2,$1)}' > b.txt
修改完后的b.txt如下
1=>"北京" 2=>"上海" 3=>"天津" 4=>"重慶" 5=>"河北省" 6=>"山西省" 7=>"內蒙古" 8=>"遼寧省" 9=>"吉林省" 10=>"黑龍江省"
?
參考文檔：https://www.cnblogs.com/losbyday/p/5854707.html
? ? ? ? ? ? ? ?https://www.cnblogs.com/losbyday/p/5854725.html
? ? ? ? ? ? ??https://www.cnblogs.com/bugingcode/p/8287914.html
? ? ? ? ? ? ? https://www.cnblogs.com/emanlee/p/3327576.html
轉載于:https://www.cnblogs.com/kumufengchun/p/10156469.html
總結
以上是生活随笔為你收集整理的shell学习（4）- awk的全部內容，希望文章能夠幫你解決所遇到的問題。
