linux中正则表达式、find、xargs、grep以及sed等命令的用法
查找目錄下的所有文件中是否含有某個字符串?
find .|xargs grep -ri "IBM"?
查找目錄下的所有文件中是否含有某個字符串,并且只打印出文件名?
find .|xargs grep -ri "IBM" -l?
1.正則表達式??
??(1)正則表達式一般用來描述文本模式的特殊用法,由普通字符(例如字符a-z)以及特殊字符(稱為元字符,如/、*、?等)組成。?
??(2)基本元字符集及其含義?
???? ^ :只匹配行首。???如^a 匹配以a開頭的行abc,a2e,a12,aaa,......?
???? $ :只匹配行尾。???如^a 匹配以a結尾的行bca,12a,aaa,.......?
???? * :匹配0個或多個此單字符。 如(a)* 匹配 空,a,aa,aaa,....?
???? [] :只匹配[]內字符。可以是一個單字符,也可以是字符序列,用","將里面要匹配的不同字符串分開。也可以使用-來表示[]內字符序列的范圍,如[1-5]表示[12345]?
???? \ :只用來屏蔽一個元字符的特殊含義。 如\*,\',\",\|,\+,\^,\. 等?
???? .:(點)只匹配任意單字符。?
???? pattern\{n\}:只用來匹配前面pattern出現的次數.n為次數。如a\{2\}匹配aa.?
???? pattern\{n,\}:含義同上,但次數最少為n.如a\{2,\}匹配aa,aaa,aaaa,.....?
???? pattern\{n,m\}:含義同上,但次數在n和m之間。如a\{2,4\}匹配aa,aaa,aaaa三個?
??(3)舉例說明:?
???? ^$ :匹配空行?
???? ^.$ :匹配包含一個字符的行?
????\*\.pas :匹配以*.pas結尾的所有字符或文件?
????[0123456789]或[0-9] :假定要匹配任意一個數字?
????[a-z] :任意小寫字母?
????[A-Za-z] :任意大小寫字母?
????[S,s] :匹配大小寫S?
????[0-9]\{3\}\.[0-9]\{3\}\.[0-9]\{3\}\.[0-9]\{3\} :匹配IP地址 [0-9]\{3\}三個0-9組成的字符串;\. :匹配點(注意這里點是特殊的字符,所以要用"\"來屏蔽其含義)?
2.find介紹 ?
(1)查找具有某些特征文件的命令,可遍歷當前目錄甚至于整個文件系統來查看某些文件或目錄,其遍歷大的文件系統時一般放在后臺執行。?
(2)find命令的一般形式?
??????find pathname -options [-print -exec -ok]?
??????-pathname :find命令所查找的目錄路徑。如用"."來表示當前的目錄,用/來表示系統根目錄?
??????-print :find命令將匹配的文件輸出到標準輸出?
??????-exec: find命令對匹配的文件執行該參數所給出的shell命令,相應的命令形式為?
????????'command'{} \; (注意{}和\之間的空格)?
??????-ok 和 -exec的作用相同,只不過以一種更為安全的模式來執行該參數所給出的shell命令,在執行每一個命令之前,都會給出提示,讓用戶來確定是否執行。?
????options有如下幾種:?
????-name :按照文件名查找文件?
????-perm :按照文件權限來查找文件?
????-user :按照文件屬主來查找文件?
????-group :按照文件所屬的組來查找文件?
????-mtime -n +n 按照文件的更改時間來查找文件,-n表示文件更改時間距現在n天以內,+n表示文件更改時間距現在n天以前。find命令還有-atime 和-ctime選項,但它們都和-mtime選項相似。?
????-size n[c]查找文件長度為n塊的文件,帶有c時表示文件長度以字節計。?
????-nogroup 查找無有效所屬組的文件,即該文件所屬的組在/etc/groups中不存在?
????-newer file1 !file2查找更改時間比文件file1新但比文件file2舊的文件?
????-depth 先查找指定目錄有無匹配文件,若無則再在子目錄中查找?
????-type 查找某一類型的文件,如?
??????b :塊設備文件?
??????d:目錄?
??????e:字符設備文件?
??????p;管道文件?
??????l:符號鏈接文件?
??????f:普通文件?
(3)find命令舉例?
??????find -name "*.txt" -print 查找txt結尾的文件并輸出到屏幕上?
??????find /cmd ".sh" -print 查找/cmd目錄下所有sh文件,并輸出?
??????find . -perm 755 -print 查找當前目錄下權限為755的文件,并輸出?
??????find `pwd` -user root -print 查找當前目錄下屬主為root的文件,并輸出?
??????find ./ -group sunwill -print 查找當前目錄下所屬主是sunwill的文件?
??????find /var -mtime -5 -print 查找/var目錄下更改時間為5天內的所有文件?
??????find /var -mtime +5 -print 查找/var目錄下更改時間為5天以前的所有文件?
??????find /var -newer "myfile1" ! -newer "myfile2" -print 查找/var目錄下比myfile1新,但是比myfile2舊的所有文件。?
??????find /var -type d -print 查找/var目錄下所有目錄?
??????find /var -type l -print 查找/var目錄下所有的符號鏈接文件。?
??????find . -size +1000000c -print 查找當前目錄下大于1000000字節的文件?
??????find / -name "con.file" -depth -print 查找根目錄下有無"con.file",若無則在其子目錄中查找?
??????find . -type f -exec ls -l {} \; 查找當前目錄下是否有普通文件,若有則執行ls -l?
(4)xargs命令?
??????在 使用find命令的-exec選項處理匹配到的文件時,find命令將所有匹配到的文件一起傳遞給exec。不幸的是,有些系統對能夠傳遞給exec的命 令長度有限制,這樣find命令運行幾分鐘之后就算出現溢出錯誤。錯誤信息通常是“參數列太長”或“參數列溢出”。這就是xargs的用處所在,特別是與 find命令一起使用,exec會發起多個進程,而xargs會多個,只有一個?
??????find ./ -perm -7 -print | xargs chmod o-w 查找權限為7的文件并傳遞給chmod處理?
3.grep介紹?
(1)grep 的一般格式為 grep [options] 基本正則表達式 [文件]?
??????字符串參數最好采用是雙引號括,一是以防被誤解為shell命令,二是可以用來查找多個單詞組成的字符串?
??????-c:只輸出匹配行的記數?
??????-i:不區分大小寫(只適用于單個字符)?
??????-h:查詢多個文件時不顯示文件名?
??????-H:只顯示文件名?
??????-l:查詢多文件時只輸出包含匹配字符的文件名?
??????-n:只顯示匹配行及其行號?
??????-s:不顯示不存在或無匹配文本的錯誤信息。?
??????-v:顯示不包含匹配文本的所有行。?
(2)舉例說明:?
??????grep ^[^210] myfile 匹配myfile中以非2、1、0開頭的行?
??????grep "[5-8][6-9][0-3]" myfile 匹配myfile中第一位為5|6|7|8,第二位6|7|8|9,第三位為0|1|2|3的三個字符的行?
??????grep "4\{2,4\}" myfile 匹配myfile中含有44,444或4444的行?
??????grep "\?" myfile匹配myfile中含有任意字符的行?
(3)grep命令類名?
??????[[:upper:]]???表示[A-Z]?
??????[[:alnum:]]???表示[0-9a-zA-Z]?
??????[[:lower:]]???表示[a-z]?
??????[[:space:]]???表示空格或者tab鍵?
??????[[:digit:]]???表示[0-9]?
??????[[:alpha:]]???表示[a-zA-Z]?
????如:grep "5[[:digit:]][[:digit:]]" myfile 匹配myfile中含有5開頭接下去兩位都是數字的行。?
4.awk介紹?
可以從文件或字符串中基于指定規則瀏覽和抽取信息,是一種自解釋的變成語言。?
(1)awk命令行方式 awk [-F filed-spearator] 'command' input-files?
????awk腳本:所有awk命令插入一個文件,并使awk程序可執行,然后用awk命令解釋器作為腳本的首行,以便通過鍵入腳本名稱來調用它。awk腳本是由各種操作和模式組成。?
????模式部分決定動作語句何時觸發及觸發事件。(BEGIN,END)?
????動作對數據進行處理,放在{}內指明(print)?
(2)分隔符、域和記錄?
????awk執行時,其瀏覽域標記為$1,$2,...$n.這種方法成為域標識。$0為所有域。?
(3)舉例說明:?
??????awk '{print $0}' test.txt |tee test.out 輸出test.txt中所有行$0表示所有域?
??????awk -F : '{print $1} test.txt |tee test.out'???同上。。只是分隔符為":"?
??????awk 'BEGIN {print "IPDate\n"}{print $1 "\t" $4} END{print "end-of-report"}' test.txt?
??????開始時打印“IPDate”結束時打印“end-of-report”中間打印主體信息,比如總共匹配三條信息,則輸出如??? 下:???
IPDate?
1 first?
2 second?
3 third?
end-of-report?
? 4)匹配操作符 ~ 匹配,!~ 不匹配?
??????cat test.txt |awk '$0~/210.34.0.13/' 匹配test.txt中為210.34.0.13的行?
??????awk '$0!~/210.34.0.13' test.txt?????匹配test.txt中不是210.34.0.13的行?
??????awk '{if($1=="210.34.0.13") print $0}' test.txt 匹配 test.txt中第一個域為210.34.0.13的行。
5.sed介紹 ????sed不與初始化文件打交道,它操作的只是一個拷貝,然后所有的改動如果沒有重定向到一個文件,將輸出到屏幕。sed是一種很重要的文本過濾工具,使用一行命令或者使用管道與grep與awk相結合。是一種非交互性文本流編輯。?
(1)調用sed的三種方式?
??????使用sed命令行格式為:sed [options] sed命令 輸入文件?
??????使用sed腳本文件格式為:sed[options] -f sed腳本文件 輸入文件?
??????sed腳本文件[options] 輸入文件?
??????--不管是使用shell命令行方式或腳本文件方式,如果沒有指定輸入文件,sed從標準輸入中接受輸入,一般是鍵盤或重定向結果。?
(2)sed 命令的options如下?
????????-n:不打印?
????????-c:下一命令是編輯命令?
????????-f:如果正在調用sed腳本文件?
(3)sed在文件中查詢文本的方式?
??????????--使用行號,可以是一個簡單的數字,或是一個行號的范圍?
??????????--使用正則表達式?
(4)讀取文本的方式?
??????????x???????x為一行號?
??????????x,y???????表示行號范圍從x到y?
??????????/pattern/?????查詢包含模式的行?
??????????/pattern/pattern/ 查詢包含兩個模式的行?
??????????pattern/,x???在給定的行號上查詢包含模式的行?
??????????x,/pattern/???通過行號和模式查詢匹配行?
??????????x,y!???????查詢不包含指定行號x和y的行?
(5)基本sed編輯命令?
????????????p???打印匹配行?
????????????d???刪除匹配行?
????????????=???顯示文件行號?
????????????a\???在定位行號后附加新文本信息?
????????????i\???在定位行號后插入新文本信息?
????????????c\???用新文本替換定位文本?
????????????s?????使用替換模式替換相應模式?
????????????r?????從另一個文件中讀文件?
????????????w???寫文本到一個文件?
????????????q?????第一個模式匹配完成后推出或立即退出?
????????????l?????顯示與八禁止ASCII代碼等價的控制字符?
????????????{}???在定位行執行的命令組?
????????????n?????從另一個文件中讀文本下一行,并附加在下一行?
????????????g?????將模式2粘貼到/pattern n/?
????????????y?????傳送字符?
?(6)舉例說明:?
??????????sed -n '2p' test.txt 打印第二行的信息(注意:-n是不打印不匹配的信息,若沒加-n,則打印文件的所有信息而不是匹配信息)?
??????????sed -n '1,4p' test.txt 打印第一行到第四行的信息?
??????????sed -n '/los/p' test.txt模式匹配los,并打印出來?
??????????sed -n '2,/los/p' test.txt 從第二行開始。。知道匹配第一個los?
??????????sed -n '/^$/p' test.txt 匹配空行?
??????????sed -n -e '/^$/p' -e '/^$/=' test.txt 打印空行及行號?
??????????sed -n '/good/a\morning' test.txt 在匹配到的good后面附加morning?
??????????sed -n '/good/i\morning' test.txt 在匹配到的good前面插入morning?
??????????sed -n '/good/c\morning' test.txt 將匹配到的good替換成morning?
??????????sed '1,2d' test.txt 刪除第1和2行?
??????????sed 's/good/good morning/g' test.txt 匹配good并替換成goodmorning?
??????????send 's/good/& hello /p' test.txt 匹配到good就在其后面加上hello?
??????????send 's/good/ hello &/p' test.txt 匹配到good就在其前面加上hello?
6.合并與分割(sort,uniq,join,cut,paste,split) ??
(1)sot命令?
????????sort [options] files 許多不同的域按不同的列順序排序?
??????????-c測試文件是否已經排序?
??????????-m 合并兩個排序文件?
??????????-u 刪除所有同樣行?
??????????-o 存儲sort結果的輸出文件名?
??????????-t 域分隔符,用非空格或tab開始排序?
??????????+n :n 為列號,使用此列號開始排序?
??????????-n 指定排序是域上的數字分類項?
??????????-r 比較求逆?
????????sort -c test.txt 測試文件是否分類過?
????????sort -u test.txt 排序并合并一樣的行?
????????sort -r test.txt 以相反的順序排列?
????????sort -t "/" +2 test.txt 以"/"分隔,第二個域開始分類?
(2)uniq命令?
??????????uniq [options ] files 從一個文本文件中去除或禁止重復行?
??????????-u 只顯示不重復行?
??????????-d 只顯示有重復數據行,每種重復行只顯示其中一行?
??????????-c 打印每一重復行出現次數?
??????????-f :n為數字,前n個域被忽略?
??????????uniq -f 2 test.txt 忽略前2個域?
(3)join 命令?
??????????join [options] file1 file2 用來將來自兩個分類文本文件的行連在一起?
??????????-an,n為一數字,用于連接時從文件n中顯示不匹配行?
??????????-onm ,連接域,n為文件號,m為域號?
??????????-jnm,n為文件號,m為域號,使用其他域作連接域?
??????????-t ,域分隔符。用來設置非空格或tab鍵的域分隔符。?
(4)split命令?
??????????split -output_file_size intput_filename output_filename?
??????????用來將大文件分割成小文件。?
????????????-b n,每個分割文件的大小n?
????????????-C n,每個分割文件一行最多n字節?
????????????-l n,每個分割文件的行數?
????????????-n,同-l n?
????????????split -10 test.txt 將test.txt分割成10行的小文件?
(5)cut 命令?
??????????cut -c n1-n2 filename 顯示每行從開頭算起 n1 到 n2 的文字。?
??????????cut -c 3-5 test.txt 顯示test.txt中每行從第3到第5個字符
總結
以上是生活随笔為你收集整理的linux中正则表达式、find、xargs、grep以及sed等命令的用法的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: linux 的重定向、管道、xargs
- 下一篇: linux xargs命令的使用及其与e