python- re模块(正则表达式)
講正題之前我們先來看一個例子:https://reg.jd.com/reg/person?ReturnUrl=https%3A//www.jd.com/
這是京東的注冊頁面,打開頁面我們就看到這些要求輸入個人信息的提示。
假如我們隨意的在手機號碼這一欄輸入一個11111111111,它會提示我們格式有誤。
這個功能是怎么實現的呢?
假如現在你用python寫一段代碼,類似:
你怎么判斷這個phone_number是合法的呢?
根據手機號碼一共11位并且是只以13、14、15、18開頭的數字這些特點,我們用python寫了如下代碼: 1 while True: 2 phone_number = input('please input your phone number : ') 3 if len(phone_number) == 11 \ 4 and phone_number.isdigit()\ 5 and (phone_number.startswith('13') \ 6 or phone_number.startswith('14') \ 7 or phone_number.startswith('15') \ 8 or phone_number.startswith('18')): 9 print('是合法的手機號碼') 10 else: 11 print('不是合法的手機號碼') 12 13 判斷手機號碼是否合法1 判斷手機號碼是否合法1 1 import re 2 phone_number = input('please input your phone number : ') 3 if re.match('^(13|14|15|18)[0-9]{9}$',phone_number): 4 print('是合法的手機號碼') 5 else: 6 print('不是合法的手機號碼') 正則寫法對比上面的兩種寫法,此時此刻,我要問你你喜歡哪種方法呀?你肯定還是會說第一種,為什么呢?因為第一種不用學呀!
但是如果現在有一個文件,我讓你從整個文件里匹配出所有的手機號碼。你用python給我寫個試試?
但是學了今天的技能之后,分分鐘幫你搞定!
今天我們要學習python里的re模塊和正則表達式,學會了這個就可以幫我們解決剛剛的疑問。正則表達式不僅在python領域,在整個編程屆都占有舉足輕重的地位。
不管以后你是不是去做python開發,只要你是一個程序員就應該了解正則表達式的基本使用。如果未來你要在爬蟲領域發展,你就更應該好好學習這方面的知識。 但是你要知道,re模塊本質上和正則表達式沒有一毛錢的關系。re模塊和正則表達式的關系 類似于 time模塊和時間的關系 你沒有學習python之前,也不知道有一個time模塊,但是你已經認識時間了 12:30就表示中午十二點半(這個時間可好,一般這會兒就該下課了)。 時間有自己的格式,年月日時分秒,12個月,365天......已經成為了一種規則。你也早就牢記于心了。time模塊只不過是python提供給我們的可以方便我們操作時間的一個工具而已正則表達式和re模塊正則表達式本身也和python沒有什么關系,就是匹配字符串內容的一種規則。
官方定義:正則表達式是對字符串操作的一種邏輯公式,就是用事先定義好的一些特定字符、及這些特定字符的組合,組成一個“規則字符串”,這個“規則字符串”用來表達對字符串的一種過濾邏輯。正則表達式
一說規則我已經知道你很暈了,現在就讓我們先來看一些實際的應用。在線測試工具?http://tool.chinaz.com/regex/
首先你要知道的是,談到正則,就只和字符串相關了。在我給你提供的工具中,你輸入的每一個字都是一個字符串。其次,如果在一個位置的一個值,不會出現什么變化,那么是不需要規則的。
比如你要用"1"去匹配"1",或者用"2"去匹配"2",直接就可以匹配上。這連python的字符串操作都可以輕松做到。
那么在之后我們更多要考慮的是在同一個位置上可以出現的字符的范圍。 字符組 : [字符組] 在同一個位置可能出現的各種字符組成了一個字符組,在正則表達式中用[]表示 字符分為很多類,比如數字、字母、標點等等。 假如你現在要求一個位置"只能出現一個數字",那么這個位置上的字符只能是0、1、2...9這10個數之一。
字符:
量詞:
?注意:前面的*,+,?等都是貪婪匹配,也就是盡可能匹配,后面加?號使其變成惰性匹配
?
?
分組 ()與 或 |[^]
?身份證號碼是一個長度為15或18個字符的字符串,如果是15位則全部??數字組成,首位不能為0;如果是18位,則前17位全部是數字,末位可能是數字或x,下面我們嘗試用正則來表示:
?
轉義符 \
在正則表達式中,有很多有特殊意義的是元字符,比如\d和\s等,如果要在正則中匹配正常的"\d"而不是"數字"就需要對"\"進行轉義,變成'\\'。
在python中,無論是正則表達式,還是待匹配的內容,都是以字符串的形式出現的,在字符串中\也有特殊的含義,本身還需要轉義。所以如果匹配一次"\d",字符串中要寫成'\\d',那么正則里就要寫成"\\\\d",這樣就太麻煩了。這個時候我們就用到了r'\d'這個概念,此時的正則是r'\\d'就可以了。
?
貪婪匹配
貪婪匹配:在滿足匹配時,匹配盡可能長的字符串,默認情況下,采用貪婪匹配
幾個常用的非貪婪匹配Pattern:
*? 重復任意次,但盡可能少重復 +? 重復1次或更多次,但盡可能少重復 ?? 重復0次或1次,但盡可能少重復 {n,m}? 重復n到m次,但盡可能少重復 {n,}? 重復n次以上,但盡可能少重復.*?的用法
. 是任意字符 * 是取 0 至 無限長度 ? 是非貪婪模式。 何在一起就是 取盡量少的任意字符,一般不會這么單獨寫,他大多用在: .*?x就是取前面任意長度的字符,直到一個x出現re模塊下的常用方法
1 import re 2 3 ret = re.findall('a', 'eva egon yuan') # 返回所有滿足匹配條件的結果,放在列表里 4 print(ret) #結果 : ['a', 'a'] 5 6 ret = re.search('a', 'eva egon yuan').group() 7 print(ret) #結果 : 'a' 8 # 函數會在字符串內查找模式匹配,只到找到第一個匹配然后返回一個包含匹配信息的對象,該對象可以 9 # 通過調用group()方法得到匹配的字符串,如果字符串沒有匹配,則返回None。 10 11 ret = re.match('a', 'abc').group() # 同search,不過盡在字符串開始處進行匹配 12 print(ret) 13 #結果 : 'a' 14 15 ret = re.split('[ab]', 'abcd') # 先按'a'分割得到''和'bcd',在對''和'bcd'分別按'b'分割 16 print(ret) # ['', '', 'cd'] 17 18 ret = re.sub('\d', 'H', 'eva3egon4yuan4', 1)#將數字替換成'H',參數1表示只替換1個 19 print(ret) #evaHegon4yuan4 20 21 ret = re.subn('\d', 'H', 'eva3egon4yuan4')#將數字替換成'H',返回元組(替換的結果,替換了多少次) 22 print(ret) 23 24 obj = re.compile('\d{3}') #將正則表達式編譯成為一個 正則表達式對象,規則要匹配的是3個數字 25 ret = obj.search('abc123eeee') #正則表達式對象調用search,參數為待匹配的字符串 26 print(ret.group()) #結果 : 123 27 28 import re 29 ret = re.finditer('\d', 'ds3sy4784a') #finditer返回一個存放匹配結果的迭代器 30 print(ret) # <callable_iterator object at 0x10195f940> 31 print(next(ret).group()) #查看第一個結果 32 print(next(ret).group()) #查看第二個結果 33 print([i.group() for i in ret]) #查看剩余的左右結果 View Code注意:
1 findall的優先級查詢:
1 import re 2 3 ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com') 4 print(ret) # ['oldboy'] 這是因為findall會優先把匹配結果組里內容返回,如果想要匹配結果,取消權限即可 5 6 ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com') 7 print(ret) # ['www.oldboy.com']2 split的優先級查詢
1 ret=re.split("\d+","eva3egon4yuan") 2 print(ret) #結果 : ['eva', 'egon', 'yuan'] 3 4 ret=re.split("(\d+)","eva3egon4yuan") 5 print(ret) #結果 : ['eva', '3', 'egon', '4', 'yuan'] 6 7 #在匹配部分加上()之后所切出的結果是不同的, 8 #沒有()的沒有保留所匹配的項,但是有()的卻能夠保留了匹配的項, 9 #這個在某些需要保留匹配部分的使用過程是非常重要的。綜合練習與擴展
1、匹配標簽
1 import re 2 3 4 ret = re.search("<(?P<tag_name>\w+)>\w+</(?P=tag_name)>","<h1>hello</h1>") 5 #還可以在分組中利用?<name>的形式給分組起名字 6 #獲取的匹配結果可以直接用group('名字')拿到對應的值 7 print(ret.group('tag_name')) #結果 :h1 8 print(ret.group()) #結果 :<h1>hello</h1> 9 10 ret = re.search(r"<(\w+)>\w+</\1>","<h1>hello</h1>") 11 #如果不給組起名字,也可以用\序號來找到對應的組,表示要找的內容和前面的組內容一致 12 #獲取的匹配結果可以直接用group(序號)拿到對應的值 13 print(ret.group(1)) 14 print(ret.group()) #結果 :<h1>hello</h1> View Code2、匹配整數
1 import re 2 3 ret=re.findall(r"\d+","1-2*(60+(-40.35/5)-(-4*3))") 4 print(ret) #['1', '2', '60', '40', '35', '5', '4', '3'] 5 ret=re.findall(r"-?\d+\.\d*|(-?\d+)","1-2*(60+(-40.35/5)-(-4*3))") 6 print(ret) #['1', '-2', '60', '', '5', '-4', '3'] 7 ret.remove("") 8 print(ret) #['1', '-2', '60', '5', '-4', '3'] View Code3、數字匹配
1 1、 匹配一段文本中的每行的郵箱 2 http://blog.csdn.net/make164492212/article/details/51656638 3 4 2、 匹配一段文本中的每行的時間字符串,比如:‘1990-07-12’; 5 6 分別取出1年的12個月(^(0?[1-9]|1[0-2])$)、 7 一個月的31天:^((0?[1-9])|((1|2)[0-9])|30|31)$ 8 9 3、 匹配qq號。(騰訊QQ號從10000開始) [1,9][0,9]{4,} 10 11 4、 匹配一個浮點數。 ^(-?\d+)(\.\d+)?$ 或者 -?\d+\.?\d* 12 13 5、 匹配漢字。 ^[\u4e00-\u9fa5]{0,}$ 14 15 6、 匹配出所有整數 View Code4、爬蟲練習
1 import requests 2 3 import re 4 import json 5 6 def getPage(url): 7 8 response=requests.get(url) 9 return response.text 10 11 def parsePage(s): 12 13 com=re.compile('<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>' 14 '.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)評價</span>',re.S) 15 16 ret=com.finditer(s) 17 for i in ret: 18 yield { 19 "id":i.group("id"), 20 "title":i.group("title"), 21 "rating_num":i.group("rating_num"), 22 "comment_num":i.group("comment_num"), 23 } 24 25 def main(num): 26 27 url='https://movie.douban.com/top250?start=%s&filter='%num 28 response_html=getPage(url) 29 ret=parsePage(response_html) 30 print(ret) 31 f=open("move_info7","a",encoding="utf8") 32 33 for obj in ret: 34 print(obj) 35 data=json.dumps(obj,ensure_ascii=False) 36 f.write(data+"\n") 37 38 if __name__ == '__main__': 39 count=0 40 for i in range(10): 41 main(count) 42 count+=25 View Code 1 import re 2 import json 3 from urllib.request import urlopen 4 5 def getPage(url): 6 response = urlopen(url) 7 return response.read().decode('utf-8') 8 9 def parsePage(s): 10 com = re.compile( 11 '<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>' 12 '.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)評價</span>', re.S) 13 14 ret = com.finditer(s) 15 for i in ret: 16 yield { 17 "id": i.group("id"), 18 "title": i.group("title"), 19 "rating_num": i.group("rating_num"), 20 "comment_num": i.group("comment_num"), 21 } 22 23 24 def main(num): 25 url = 'https://movie.douban.com/top250?start=%s&filter=' % num 26 response_html = getPage(url) 27 ret = parsePage(response_html) 28 print(ret) 29 f = open("move_info7", "a", encoding="utf8") 30 31 for obj in ret: 32 print(obj) 33 data = str(obj) 34 f.write(data + "\n") 35 36 count = 0 37 for i in range(10): 38 main(count) 39 count += 25 40 41 簡化版 簡化版flags有很多可選值:
re.I(IGNORECASE)忽略大小寫,括號內是完整的寫法 re.M(MULTILINE)多行模式,改變^和$的行為 re.S(DOTALL)點可以匹配任意字符,包括換行符 re.L(LOCALE)做本地化識別的匹配,表示特殊字符集 \w, \W, \b, \B, \s, \S 依賴于當前環境,不推薦使用 re.U(UNICODE) 使用\w \W \s \S \d \D使用取決于unicode定義的字符屬性。在python3中默認使用該flag re.X(VERBOSE)冗長模式,該模式下pattern字符串可以是多行的,忽略空白字符,并可以添加注釋作業:
實現能計算類似 1 - 2 * ( (60-30 +(-40/5) * (9-2*5/3 + 7 /3*99/4*2998 +10 * 568/14 )) - (-4*3)/ (16-3*2) )等類似公式的計算器程序
?
轉載于:https://www.cnblogs.com/liuye1990/p/9314123.html
總結
以上是生活随笔為你收集整理的python- re模块(正则表达式)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Python re模块,正则表达式
- 下一篇: 背景差法目标识别python_运动目标检