linux命令之awk命令
awk是一種編程語言,用于在linux/unix下對文本和數據進行處理。數據可以來自標準輸入(stdin)、一個或多個文件,或其它命令的輸出。它支持用戶自定義函數和動態正則表達式等先進功能,是linux/unix下的一個強大編程工具。它在命令行中使用,但更多是作為腳本來使用。awk有很多內建的功能,比如數組、函數等,這是它和C語言的相同之處,靈活性是awk最大的優勢。
awk命令格式和選項
語法形式
awk [options] 'script' var=value file(s) awk [options] -f scriptfile var=value file(s)常用命令選項
- -F?fs ??fs指定輸入分隔符,fs可以是字符串或正則表達式,如-F:
- -v?var=value ??賦值一個用戶定義變量,將外部變量傳遞給awk
- -f?scripfile ?從腳本文件中讀取awk命令
- -m[fr]?val ??對val值設置內在限制,-mf選項限制分配給val的最大塊數目;-mr選項限制記錄的最大數目。這兩個功能是Bell實驗室版awk的擴展功能,在標準awk中不適用。
awk模式和操作
awk腳本是由模式和操作組成的。
模式
模式可以是以下任意一個:
- /正則表達式/:使用通配符的擴展集。
- 關系表達式:使用運算符進行操作,可以是字符串或數字的比較測試。
- 模式匹配表達式:用運算符~(匹配)和~!(不匹配)。
- BEGIN語句塊、pattern語句塊、END語句塊:參見awk的工作原理
操作
操作由一個或多個命令、函數、表達式組成,之間由換行符或分號隔開,并位于大括號內,主要部分是:
- 變量或數組賦值
- 輸出命令
- 內置函數
- 控制流語句
awk腳本基本結構
awk 'BEGIN{ print "start" } pattern{ commands } END{ print "end" }' file一個awk腳本通常由:BEGIN語句塊、能夠使用模式匹配的通用語句塊、END語句塊3部分組成,這三個部分是可選的。任意一個部分都可以不出現在腳本中,腳本通常是被單引號或雙引號中,例如:
awk 'BEGIN{ i=0 } { i++ } END{ print i }' filename awk "BEGIN{ i=0 } { i++ } END{ print i }" filenameawk的工作原理
awk 'BEGIN{ commands } pattern{ commands } END{ commands }'- 第一步:執行BEGIN{ commands }語句塊中的語句;
- 第二步:從文件或標準輸入(stdin)讀取一行,然后執行pattern{ commands }語句塊,它逐行掃描文件,從第一行到最后一行重復這個過程,直到文件全部被讀取完畢。
- 第三步:當讀至輸入流末尾時,執行END{ commands }語句塊。
BEGIN語句塊在awk開始從輸入流中讀取行之前被執行,這是一個可選的語句塊,比如變量初始化、打印輸出表格的表頭等語句通常可以寫在BEGIN語句塊中。
END語句塊在awk從輸入流中讀取完所有的行之后即被執行,比如打印所有行的分析結果這類信息匯總都是在END語句塊中完成,它也是一個可選語句塊。
pattern語句塊中的通用命令是最重要的部分,它也是可選的。如果沒有提供pattern語句塊,則默認執行{ print },即打印每一個讀取到的行,awk讀取的每一行都會執行該語句塊。
示例
echo -e "A line 1nA line 2" | awk 'BEGIN{ print "Start" } { print } END{ print "End" }' Start A line 1 A line 2 End當使用不帶參數的print時,它就打印當前行,當print的參數是以逗號進行分隔時,打印時則以空格作為定界符。在awk的print語句塊中雙引號是被當作拼接符使用,例如:
echo | awk '{ var1="v1"; var2="v2"; var3="v3"; print var1,var2,var3; }' v1 v2 v3雙引號拼接使用:
echo | awk '{ var1="v1"; var2="v2"; var3="v3"; print var1"="var2"="var3; }' v1=v2=v3{ }類似一個循環體,會對文件中的每一行進行迭代,通常變量初始化語句(如:i=0)以及打印文件頭部的語句放入BEGIN語句塊中,將打印的結果等語句放在END語句塊中。
awk內置變量(預定義變量)
說明:[A][N][P][G]表示第一個支持變量的工具,[A]=awk、[N]=nawk、[P]=POSIXawk、[G]=gawk
$n 當前記錄的第n個字段,比如n為1表示第一個字段,n為2表示第二個字段。 $0 這個變量包含執行過程中當前行的文本內容。 [N] ARGC 命令行參數的數目。 [G] ARGIND 命令行中當前文件的位置(從0開始算)。 [N] ARGV 包含命令行參數的數組。 [G] CONVFMT 數字轉換格式(默認值為%.6g)。 [P] ENVIRON 環境變量關聯數組。 [N] ERRNO 最后一個系統錯誤的描述。 [G] FIELDWIDTHS 字段寬度列表(用空格鍵分隔)。 [A] FILENAME 當前輸入文件的名。 [P] FNR 同NR,但相對于當前文件。 [A] FS 字段分隔符(默認是任何空格)。 [G] IGNORECASE 如果為真,則進行忽略大小寫的匹配。 [A] NF 表示字段數,在執行過程中對應于當前的字段數。 [A] NR 表示記錄數,在執行過程中對應于當前的行號。 [A] OFMT 數字的輸出格式(默認值是%.6g)。 [A] OFS 輸出字段分隔符(默認值是一個空格)。 [A] ORS 輸出記錄分隔符(默認值是一個換行符)。 [A] RS 記錄分隔符(默認是一個換行符)。 [N] RSTART 由match函數所匹配的字符串的第一個位置。 [N] RLENGTH 由match函數所匹配的字符串的長度。 [N] SUBSEP 數組下標分隔符(默認值是34)。示例
echo -e "line1 f2 f3nline2 f4 f5nline3 f6 f7" | awk '{print "Line No:"NR", No of fields:"NF, "$0="$0, "$1="$1, "$2="$2, "$3="$3}' Line No:1, No of fields:3 $0=line1 f2 f3 $1=line1 $2=f2 $3=f3 Line No:2, No of fields:3 $0=line2 f4 f5 $1=line2 $2=f4 $3=f5 Line No:3, No of fields:3 $0=line3 f6 f7 $1=line3 $2=f6 $3=f7使用print $NF可以打印出一行中的最后一個字段,使用$(NF-1)則是打印倒數第二個字段,其他以此類推:
echo -e "line1 f2 f3n line2 f4 f5" | awk '{print $NF}' f3 f5 echo -e "line1 f2 f3n line2 f4 f5" | awk '{print $(NF-1)}' f2 f4打印每一行的第二和第三個字段:
awk '{ print $2,$3 }' filename統計文件中的行數:
awk 'END{ print NR }' filename以上命令只使用了END語句塊,在讀入每一行的時,awk會將NR更新為對應的行號,當到達最后一行NR的值就是最后一行的行號,所以END語句塊中的NR就是文件的行數。
一個每一行中第一個字段值累加的例子:
seq 5 | awk 'BEGIN{ sum=0; print "總和:" } { print $1"+"; sum+=$1 } END{ print "等于"; print sum }' 總和: 1+ 2+ 3+ 4+ 5+ 等于 15將外部變量值傳遞給awk
借助-v選項,可以將外部值(并非來自stdin)傳遞給awk:
VAR=10000 echo | awk -v VARIABLE=$VAR '{ print VARIABLE }'另一種傳遞外部變量方法:
var1="aaa" var2="bbb" echo | awk '{ print v1,v2 }' v1=$var1 v2=$var2當輸入來自于文件時使用:
awk '{ print v1,v2 }' v1=$var1 v2=$var2 filename以上方法中,變量之間用空格分隔作為awk的命令行參數跟隨在BEGIN、{}和END語句塊之后。
awk運算與判斷
作為一種程序設計語言所應具有的特點之一,awk支持多種運算,這些運算與C語言提供的基本相同。awk還提供了一系列內置的運算函數(如log、sqr、cos、sin等)和一些用于對字符串進行操作(運算)的函數(如length、substr等等)。這些函數的引用大大的提高了awk的運算功能。作為對條件轉移指令的一部分,關系判斷是每種程序設計語言都具備的功能,awk也不例外,awk中允許進行多種測試,作為樣式匹配,還提供了模式匹配表達式~(匹配)和~!(不匹配)。作為對測試的一種擴充,awk也支持用邏輯運算符。
算術運算符
| + - | 加,減 |
| * / & | 乘,除與求余 |
| + - ! | 一元加,減和邏輯非 |
| ^ *** | 求冪 |
| ++ -- | 增加或減少,作為前綴或后綴 |
例:
awk 'BEGIN{a="b";print a++,++a;}' 0 2注意:所有用作算術運算符進行操作,操作數自動轉為數值,所有非數值都變為0
賦值運算符
| = += -= *= /= %= ^= **= | 賦值語句 |
例:
a+=5; 等價于:a=a+5; 其它同類邏輯運算符
| || | 邏輯或 |
| && | 邏輯與 |
例:
awk 'BEGIN{a=1;b=2;print (a>5 && b<=2),(a>5 || b<=2);}' 0 1正則運算符
| ~ ~! | 匹配正則表達式和不匹配正則表達式 |
例:
awk 'BEGIN{a="100testa";if(a ~ /^100*/){print "ok";}}' ok關系運算符
| < <= > >= != == | 關系運算符 |
例:
awk 'BEGIN{a=11;if(a >= 9){print "ok";}}' ok注意:> < 可以作為字符串比較,也可以用作數值比較,關鍵看操作數如果是字符串就會轉換為字符串比較。兩個都為數字才轉為數值比較。字符串比較:按照ASCII碼順序比較。
其它運算符
| $ | 字段引用 |
| 空格 | 字符串連接符 |
| ?: | C條件表達式 |
| in | 數組中是否存在某鍵值 |
例:
awk 'BEGIN{a="b";print a=="b"?"ok":"err";}' ok awk 'BEGIN{a="b";arr[0]="b";arr[1]="c";print (a in arr);}' 0 awk 'BEGIN{a="b";arr[0]="b";arr["b"]="c";print (a in arr);}' 1運算級優先級表
級別越高越優先
awk高級輸入輸出
讀取下一條記錄
awk中next語句使用:在循環逐行匹配,如果遇到next,就會跳過當前行,直接忽略下面語句。而進行下一行匹配。net語句一般用于多行合并:
cat text.txt a b c d eawk 'NR%2==1{next}{print NR,$0;}' text.txt 2 b 4 d當記錄行號除以2余1,就跳過當前行。下面的print NR,$0也不會執行。下一行開始,程序有開始判斷NR%2值。這個時候記錄行號是:2?,就會執行下面語句塊:'print NR,$0'
分析發現需要將包含有“web”行進行跳過,然后需要將內容與下面行合并為一行:
cat text.txt web01[192.168.2.100] httpd ok tomcat ok sendmail ok web02[192.168.2.101] httpd ok postfix ok web03[192.168.2.102] mysqld ok httpd ok 0 awk '/^web/{T=$0;next;}{print T":t"$0;}' test.txt web01[192.168.2.100]: httpd ok web01[192.168.2.100]: tomcat ok web01[192.168.2.100]: sendmail ok web02[192.168.2.101]: httpd ok web02[192.168.2.101]: postfix ok web03[192.168.2.102]: mysqld ok web03[192.168.2.102]: httpd ok簡單地讀取一條記錄
awk getline用法:輸出重定向需用到getline函數。getline從標準輸入、管道或者當前正在處理的文件之外的其他輸入文件獲得輸入。它負責從輸入獲得下一行的內容,并給NF,NR和FNR等內建變量賦值。如果得到一條記錄,getline函數返回1,如果到達文件的末尾就返回0,如果出現錯誤,例如打開文件失敗,就返回-1。
getline語法:getline var,變量var包含了特定行的內容。
awk getline從整體上來說,用法說明:
- 當其左右無重定向符|或<時:getline作用于當前文件,讀入當前文件的第一行給其后跟的變量var或$0(無變量),應該注意到,由于awk在處理getline之前已經讀入了一行,所以getline得到的返回結果是隔行的。
- 當其左右有重定向符|或<時:getline則作用于定向輸入文件,由于該文件是剛打開,并沒有被awk讀入一行,只是getline讀入,那么getline返回的是該文件的第一行,而不是隔行。
示例:
執行linux的date命令,并通過管道輸出給getline,然后再把輸出賦值給自定義變量out,并打印它:
awk 'BEGIN{ "date" | getline out; print out }' test執行shell的date命令,并通過管道輸出給getline,然后getline從管道中讀取并將輸入賦值給out,split函數把變量out轉化成數組mon,然后打印數組mon的第二個元素:
awk 'BEGIN{ "date" | getline out; split(out,mon); print mon[2] }' test命令ls的輸出傳遞給geline作為輸入,循環使getline從ls的輸出中讀取一行,并把它打印到屏幕。這里沒有輸入文件,因為BEGIN塊在打開輸入文件前執行,所以可以忽略輸入文件。
awk 'BEGIN{ while( "ls" | getline) print }'關閉文件
awk中允許在程序中關閉一個輸入或輸出文件,方法是使用awk的close語句。
close("filename")filename可以是getline打開的文件,也可以是stdin,包含文件名的變量或者getline使用的確切命令。或一個輸出文件,可以是stdout,包含文件名的變量或使用管道的確切命令。
輸出到一個文件
awk中允許用如下方式將結果輸出到一個文件:
echo | awk '{printf("hello word!n") > "datafile"}' 或 echo | awk '{printf("hello word!n") >> "datafile"}'設置字段定界符
默認的字段定界符是空格,可以使用-F "定界符"?明確指定一個定界符:
awk -F: '{ print $NF }' /etc/passwd 或 awk 'BEGIN{ FS=":" } { print $NF }' /etc/passwd在BEGIN語句塊中則可以用OFS=“定界符”設置輸出字段的定界符。
流程控制語句
在linux awk的while、do-while和for語句中允許使用break,continue語句來控制流程走向,也允許使用exit這樣的語句來退出。break中斷當前正在執行的循環并跳到循環外執行下一條語句。if 是流程選擇用法。awk中,流程控制語句,語法結構,與c語言類型。有了這些語句,其實很多shell程序都可以交給awk,而且性能是非常快的。下面是各個語句用法。
條件判斷語句
if(表達式)語句1 else語句2格式中語句1可以是多個語句,為了方便判斷和閱讀,最好將多個語句用{}括起來。awk分枝結構允許嵌套,其格式為:
if(表達式){語句1} else if(表達式){語句2} else{語句3}示例:
awk 'BEGIN{ test=100; if(test>90){print "very good";}else if(test>60){print "good";}else{print "no pass";} }'very good每條命令語句后面可以用;分號結尾。
循環語句
while語句
while(表達式){語句}示例:
awk 'BEGIN{ test=100; total=0; while(i<=test){total+=i;i++; } print total; }' 5050for循環
for循環有兩種格式:
格式1:
for(變量 in 數組){語句}示例:
awk 'BEGIN{ for(k in ENVIRON){print k"="ENVIRON[k]; }}' TERM=linux G_BROKEN_FILENAMES=1 SHLVL=1 pwd=/root/text ... logname=root HOME=/root SSH_CLIENT=192.168.1.21 53087 22注:ENVIRON是awk常量,是子典型數組。
格式2:
for(變量;條件;表達式){語句}示例:
awk 'BEGIN{ total=0; for(i=0;i<=100;i++){total+=i; } print total; }' 5050do循環
do {語句} while(條件)例子:
awk 'BEGIN{ total=0; i=0; do {total+=i;i++;} while(i<=100)print total; }' 5050其他語句
- break?當 break 語句用于 while 或 for 語句時,導致退出程序循環。
- continue?當 continue 語句用于 while 或 for 語句時,使程序循環移動到下一個迭代。
- next?能能夠導致讀入下一個輸入行,并返回到腳本的頂部。這可以避免對當前輸入行執行其他的操作過程。
- exit?語句使主輸入循環退出并將控制轉移到END,如果END存在的話。如果沒有定義END規則,或在END中應用exit語句,則終止腳本的執行。
數組應用
數組是awk的靈魂,處理文本中最不能少的就是它的數組處理。因為數組索引(下標)可以是數字和字符串在awk中數組叫做關聯數組(associative arrays)。awk 中的數組不必提前聲明,也不必聲明大小。數組元素用0或空字符串來初始化,這根據上下文而定。
數組的定義
數字做數組索引(下標):
Array[1]="sun" Array[2]="kai"字符串做數組索引(下標):
Array["first"]="www" Array["last"]="name" Array["birth"]="1987"使用中print Array[1]會打印出sun;使用print Array[2]會打印出kai;使用print["birth"]會得到1987。
讀取數組的值
{ for(item in array) {print array[item]}; } #輸出的順序是隨機的 { for(i=1;i<=len;i++) {print array[i]}; } #Len是數組的長度數組相關函數
得到數組長度:
awk 'BEGIN{info="it is a test";lens=split(info,tA," ");print length(tA),lens;}' 4 4length返回字符串以及數組長度,split進行分割字符串為數組,也會返回分割得到數組長度。
awk 'BEGIN{info="it is a test";split(info,tA," ");print asort(tA);}' 4asort對數組進行排序,返回數組長度。
輸出數組內容(無序,有序輸出):
awk 'BEGIN{info="it is a test";split(info,tA," ");for(k in tA){print k,tA[k];}}' 4 test 1 it 2 is 3 afor…in輸出,因為數組是關聯數組,默認是無序的。所以通過for…in得到是無序的數組。如果需要得到有序數組,需要通過下標獲得。
awk 'BEGIN{info="it is a test";tlen=split(info,tA," ");for(k=1;k<=tlen;k++){print k,tA[k];}}' 1 it 2 is 3 a 4 test注意:數組下標是從1開始,與C數組不一樣。
判斷鍵值存在以及刪除鍵值:
#錯誤的判斷方法: awk 'BEGIN{tB["a"]="a1";tB["b"]="b1";if(tB["c"]!="1"){print "no found";};for(k in tB){print k,tB[k];}}' no found a a1 b b1 c以上出現奇怪問題,tB[“c”]沒有定義,但是循環時候,發現已經存在該鍵值,它的值為空,這里需要注意,awk數組是關聯數組,只要通過數組引用它的key,就會自動創建改序列。
#正確判斷方法: awk 'BEGIN{tB["a"]="a1";tB["b"]="b1";if( "c" in tB){print "ok";};for(k in tB){print k,tB[k];}}' a a1 b b1if(key in array)通過這種方法判斷數組中是否包含key鍵值。
#刪除鍵值: [chengmo@localhost ~]$ awk 'BEGIN{tB["a"]="a1";tB["b"]="b1";delete tB["a"];for(k in tB){print k,tB[k];}}' b b1delete array[key]可以刪除,對應數組key的,序列值。
二維、多維數組使用
awk的多維數組在本質上是一維數組,更確切一點,awk在存儲上并不支持多維數組。awk提供了邏輯上模擬二維數組的訪問方式。例如,array[2,4]=1這樣的訪問是允許的。awk使用一個特殊的字符串SUBSEP(�34)作為分割字段,在上面的例子中,關聯數組array存儲的鍵值實際上是2�344。
類似一維數組的成員測試,多維數組可以使用if ( (i,j) in array)這樣的語法,但是下標必須放置在圓括號中。類似一維數組的循環訪問,多維數組使用for ( item in array )這樣的語法遍歷數組。與一維數組不同的是,多維數組必須使用split()函數來訪問單獨的下標分量。
awk 'BEGIN{ for(i=1;i<=9;i++){for(j=1;j<=9;j++){tarr[i,j]=i*j; print i,"*",j,"=",tarr[i,j];} } }' 1 * 1 = 1 1 * 2 = 2 1 * 3 = 3 1 * 4 = 4 1 * 5 = 5 1 * 6 = 6 ... 9 * 6 = 54 9 * 7 = 63 9 * 8 = 72 9 * 9 = 81可以通過array[k,k2]引用獲得數組內容。
另一種方法:
awk 'BEGIN{ for(i=1;i<=9;i++){for(j=1;j<=9;j++){tarr[i,j]=i*j;} } for(m in tarr){split(m,tarr2,SUBSEP); print tarr2[1],"*",tarr2[2],"=",tarr[m]; } }'內置函數
awk內置函數,主要分以下3種類似:算數函數、字符串函數、其它一般函數、時間函數。
算術函數
| atan2( y, x ) | 返回 y/x 的反正切。 |
| cos( x ) | 返回 x 的余弦;x 是弧度。 |
| sin( x ) | 返回 x 的正弦;x 是弧度。 |
| exp( x ) | 返回 x 冪函數。 |
| log( x ) | 返回 x 的自然對數。 |
| sqrt( x ) | 返回 x 平方根。 |
| int( x ) | 返回 x 的截斷至整數的值。 |
| rand( ) | 返回任意數字 n,其中 0 <= n < 1。 |
| srand( [expr] ) | 將 rand 函數的種子值設置為 Expr 參數的值,或如果省略 Expr 參數則使用某天的時間。返回先前的種子值。 |
舉例說明:
awk 'BEGIN{OFMT="%.3f";fs=sin(1);fe=exp(10);fl=log(10);fi=int(3.1415);print fs,fe,fl,fi;}' 0.841 22026.466 2.303 3OFMT 設置輸出數據格式是保留3位小數。
獲得隨機數:
awk 'BEGIN{srand();fr=int(100*rand());print fr;}' 78 awk 'BEGIN{srand();fr=int(100*rand());print fr;}' 31 awk 'BEGIN{srand();fr=int(100*rand());print fr;}' 41字符串函數
| gsub( Ere, Repl, [ In ] ) | 除了正則表達式所有具體值被替代這點,它和 sub 函數完全一樣地執行。 |
| sub( Ere, Repl, [ In ] ) | 用 Repl 參數指定的字符串替換 In 參數指定的字符串中的由 Ere 參數指定的擴展正則表達式的第一個具體值。sub 函數返回替換的數量。出現在 Repl 參數指定的字符串中的 &(和符號)由 In 參數指定的與 Ere 參數的指定的擴展正則表達式匹配的字符串替換。如果未指定 In 參數,缺省值是整個記錄($0 記錄變量)。 |
| index( String1, String2 ) | 在由 String1 參數指定的字符串(其中有出現 String2 指定的參數)中,返回位置,從 1 開始編號。如果 String2 參數不在 String1 參數中出現,則返回 0(零)。 |
| length [(String)] | 返回 String 參數指定的字符串的長度(字符形式)。如果未給出 String 參數,則返回整個記錄的長度($0 記錄變量)。 |
| blength [(String)] | 返回 String 參數指定的字符串的長度(以字節為單位)。如果未給出 String 參數,則返回整個記錄的長度($0 記錄變量)。 |
| substr( String, M, [ N ] ) | 返回具有 N 參數指定的字符數量子串。子串從 String 參數指定的字符串取得,其字符以 M 參數指定的位置開始。M 參數指定為將 String 參數中的第一個字符作為編號 1。如果未指定 N 參數,則子串的長度將是 M 參數指定的位置到 String 參數的末尾 的長度。 |
| match( String, Ere ) | 在 String 參數指定的字符串(Ere 參數指定的擴展正則表達式出現在其中)中返回位置(字符形式),從 1 開始編號,或如果 Ere 參數不出現,則返回 0(零)。RSTART 特殊變量設置為返回值。RLENGTH 特殊變量設置為匹配的字符串的長度,或如果未找到任何匹配,則設置為 -1(負一)。 |
| split( String, A, [Ere] ) | 將 String 參數指定的參數分割為數組元素 A[1], A[2], . . ., A[n],并返回 n 變量的值。此分隔可以通過 Ere 參數指定的擴展正則表達式進行,或用當前字段分隔符(FS 特殊變量)來進行(如果沒有給出 Ere 參數)。除非上下文指明特定的元素還應具有一個數字值,否則 A 數組中的元素用字符串值來創建。 |
| tolower( String ) | 返回 String 參數指定的字符串,字符串中每個大寫字符將更改為小寫。大寫和小寫的映射由當前語言環境的 LC_CTYPE 范疇定義。 |
| toupper( String ) | 返回 String 參數指定的字符串,字符串中每個小寫字符將更改為大寫。大寫和小寫的映射由當前語言環境的 LC_CTYPE 范疇定義。 |
| sprintf(Format, Expr, Expr, . . . ) | 根據 Format 參數指定的 printf 子例程格式字符串來格式化 Expr 參數指定的表達式并返回最后生成的字符串。 |
注:Ere都可以是正則表達式。
gsub,sub使用
awk 'BEGIN{info="this is a test2010test!";gsub(/[0-9]+/,"!",info);print info}' this is a test!test!在 info中查找滿足正則表達式,/[0-9]+/?用””替換,并且替換后的值,賦值給info 未給info值,默認是$0
查找字符串(index使用)
awk 'BEGIN{info="this is a test2010test!";print index(info,"test")?"ok":"no found";}' ok未找到,返回0
正則表達式匹配查找(match使用)
awk 'BEGIN{info="this is a test2010test!";print match(info,/[0-9]+/)?"ok":"no found";}' ok截取字符串(substr使用)
[wangsl@centos5 ~]$ awk 'BEGIN{info="this is a test2010test!";print substr(info,4,10);}' s is a tes從第 4個 字符開始,截取10個長度字符串
字符串分割(split使用)
awk 'BEGIN{info="this is a test";split(info,tA," ");print length(tA);for(k in tA){print k,tA[k];}}' 4 4 test 1 this 2 is 3 a分割info,動態創建數組tA,這里比較有意思,awk for …in循環,是一個無序的循環。 并不是從數組下標1…n ,因此使用時候需要注意。
格式化字符串輸出(sprintf使用)
格式化字符串格式:
其中格式化字符串包括兩部分內容:一部分是正常字符,這些字符將按原樣輸出; 另一部分是格式化規定字符,以"%"開始,后跟一個或幾個規定字符,用來確定輸出內容格式。
| %d | 十進制有符號整數 |
| %u | 十進制無符號整數 |
| %f | 浮點數 |
| %s | 字符串 |
| %c | 單個字符 |
| %p | 指針的值 |
| %e | 指數形式的浮點數 |
| %x | %X 無符號以十六進制表示的整數 |
| %o | 無符號以八進制表示的整數 |
| %g | 自動選擇合適的表示法 |
一般函數
| close( Expression ) | 用同一個帶字符串值的 Expression 參數來關閉由 print 或 printf 語句打開的或調用 getline 函數打開的文件或管道。如果文件或管道成功關閉,則返回 0;其它情況下返回非零值。如果打算寫一個文件,并稍后在同一個程序中讀取文件,則 close 語句是必需的。 |
| system(command) | 執行 Command 參數指定的命令,并返回退出狀態。等同于 system 子例程。 |
| Expression | getline [ Variable ] | 從來自 Expression 參數指定的命令的輸出中通過管道傳送的流中讀取一個輸入記錄,并將該記錄的值指定給 Variable 參數指定的變量。如果當前未打開將 Expression 參數的值作為其命令名稱的流,則創建流。創建的流等同于調用 popen 子例程,此時 Command 參數取 Expression 參數的值且 Mode 參數設置為一個是 r 的值。只要流保留打開且 Expression 參數求得同一個字符串,則對 getline 函數的每次后續調用讀取另一個記錄。如果未指定 Variable 參數,則 $0 記錄變量和 NF 特殊變量設置為從流讀取的記錄。 |
| getline [ Variable ] < Expression | 從 Expression 參數指定的文件讀取輸入的下一個記錄,并將 Variable 參數指定的變量設置為該記錄的值。只要流保留打開且 Expression 參數對同一個字符串求值,則對 getline 函數的每次后續調用讀取另一個記錄。如果未指定 Variable 參數,則 $0 記錄變量和 NF 特殊變量設置為從流讀取的記錄。 |
| getline [ Variable ] | 將 Variable 參數指定的變量設置為從當前輸入文件讀取的下一個輸入記錄。如果未指定 Variable 參數,則 $0 記錄變量設置為該記錄的值,還將設置 NF、NR 和 FNR 特殊變量。 |
打開外部文件(close用法)
awk 'BEGIN{while("cat /etc/passwd"|getline){print $0;};close("/etc/passwd");}' root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin逐行讀取外部文件(getline使用方法)
awk 'BEGIN{while(getline < "/etc/passwd"){print $0;};close("/etc/passwd");}' root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin awk 'BEGIN{print "Enter your name:";getline name;print name;}' Enter your name: chengmo chengmo?調用外部應用程序(system使用方法)
awk 'BEGIN{b=system("ls -al");print b;}' total 42092 drwxr-xr-x 14 chengmo chengmo 4096 09-30 17:47 . drwxr-xr-x 95 root root 4096 10-08 14:01 ..b返回值,是執行結果。
時間函數
| 函數名 | 說明 |
| mktime( YYYY MM?dd?HH MM?ss[ DST]) | 生成時間格式 |
| strftime([format [, timestamp]]) | 格式化時間輸出,將時間戳轉為時間字符串 具體格式,見下表. |
| systime() | 得到時間戳,返回從1970年1月1日開始到當前時間(不計閏年)的整秒數 |
建指定時間(mktime使用)
awk 'BEGIN{tstamp=mktime("2001 01 01 12 12 12");print strftime("%c",tstamp);}' 2001年01月01日 星期一 12時12分12秒 awk 'BEGIN{tstamp1=mktime("2001 01 01 12 12 12");tstamp2=mktime("2001 02 01 0 0 0");print tstamp2-tstamp1;}' 2634468求2個時間段中間時間差,介紹了strftime使用方法
awk 'BEGIN{tstamp1=mktime("2001 01 01 12 12 12");tstamp2=systime();print tstamp2-tstamp1;}' 308201392strftime日期和時間格式說明符
| %a | 星期幾的縮寫(Sun) |
| %A | 星期幾的完整寫法(Sunday) |
| %b | 月名的縮寫(Oct) |
| %B | 月名的完整寫法(October) |
| %c | 本地日期和時間 |
| %d | 十進制日期 |
| %D | 日期 08/20/99 |
| %e | 日期,如果只有一位會補上一個空格 |
| %H | 用十進制表示24小時格式的小時 |
| %I | 用十進制表示12小時格式的小時 |
| %j | 從1月1日起一年中的第幾天 |
| %m | 十進制表示的月份 |
| %M | 十進制表示的分鐘 |
| %p | 12小時表示法(AM/PM) |
| %S | 十進制表示的秒 |
| %U | 十進制表示的一年中的第幾個星期(星期天作為一個星期的開始) |
| %w | 十進制表示的星期幾(星期天是0) |
| %W | 十進制表示的一年中的第幾個星期(星期一作為一個星期的開始) |
| %x | 重新設置本地日期(08/20/99) |
| %X | 重新設置本地時間(12:00:00) |
| %y | 兩位數字表示的年(99) |
| %Y | 當前月份 |
| %Z | 時區(PDT) |
| %% | 百分號(%) |
轉載于:https://www.cnblogs.com/yihr/p/9665196.html
總結
以上是生活随笔為你收集整理的linux命令之awk命令的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ansible+powershell D
- 下一篇: sql常用函数