AI基础：正则表达式
本文來源：https://github.com/ziishaned/learn-regex
作者：Zeeshan Ahmad
導(dǎo)語
正則表達(dá)式是一組由字母和符號(hào)組成的特殊文本，它可以用來從文本中找出滿足你想要的格式的句子。本集講解正則表達(dá)式。
我正在編寫AI基礎(chǔ)系列，目前已經(jīng)發(fā)布：
AI 基礎(chǔ)：簡(jiǎn)易數(shù)學(xué)入門
AI 基礎(chǔ)：Python開發(fā)環(huán)境設(shè)置和小技巧
AI 基礎(chǔ)：Python 簡(jiǎn)易入門
AI 基礎(chǔ)：Numpy 簡(jiǎn)易入門
AI 基礎(chǔ)：Pandas 簡(jiǎn)易入門
AI 基礎(chǔ)：Scipy(科學(xué)計(jì)算庫(kù)) 簡(jiǎn)易入門
AI基礎(chǔ)：數(shù)據(jù)可視化簡(jiǎn)易入門（matplotlib和seaborn）
AI基礎(chǔ)：機(jī)器學(xué)習(xí)庫(kù)Scikit-learn的使用
AI基礎(chǔ)：機(jī)器學(xué)習(xí)簡(jiǎn)易入門
AI基礎(chǔ)：機(jī)器學(xué)習(xí)的損失函數(shù)
AI基礎(chǔ)：機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的練習(xí)數(shù)據(jù)
AI基礎(chǔ)：特征工程-類別特征
AI基礎(chǔ)：特征工程-數(shù)字特征處理
AI基礎(chǔ)：自然語言處理基礎(chǔ)之序列模型
AI基礎(chǔ)：特征工程-文本特征處理
AI基礎(chǔ)：詞嵌入基礎(chǔ)和Word2Vec
AI基礎(chǔ)：圖解Transformer
AI基礎(chǔ)：一文看懂BERT
AI基礎(chǔ)：入門人工智能必看的論文
AI基礎(chǔ)：走進(jìn)深度學(xué)習(xí)
AI基礎(chǔ)：優(yōu)化算法
AI基礎(chǔ)：卷積神經(jīng)網(wǎng)絡(luò)
AI基礎(chǔ)：經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)
AI基礎(chǔ)：深度學(xué)習(xí)論文閱讀路線（127篇經(jīng)典論文下載）
AI基礎(chǔ)：數(shù)據(jù)增強(qiáng)方法綜述
AI基礎(chǔ)：論文寫作工具
后續(xù)持續(xù)更新
舉例
一個(gè)正則表達(dá)式是一種從左到右匹配主體字符串的模式。“Regular expression”這個(gè)詞比較拗口，我們常使用縮寫的術(shù)語“regex”或“regexp”。正則表達(dá)式可以從一個(gè)基礎(chǔ)字符串中根據(jù)一定的匹配模式替換文本中的字符串、驗(yàn)證表單、提取字符串等等。
想象你正在寫一個(gè)應(yīng)用，然后你想設(shè)定一個(gè)用戶命名的規(guī)則，讓用戶名包含字符、數(shù)字、下劃線和連字符，以及限制字符的個(gè)數(shù)，好讓名字看起來沒那么丑。我們使用以下正則表達(dá)式來驗(yàn)證一個(gè)用戶名：
以上的正則表達(dá)式可以接受 john_doe、jo-hn_doe、john12_as。但不匹配Jo，因?yàn)樗舜髮懙淖帜付姨塘恕?/p>
目錄
1. 基本匹配
2. 元字符
2.8.1 ^ 號(hào)
2.8.2 $ 號(hào)
2.3.1 * 號(hào)
2.3.2 + 號(hào)
2.3.3 ? 號(hào)
2.2.1 否定字符集
2.1 點(diǎn)運(yùn)算符 .
2.2 字符集
2.3 重復(fù)次數(shù)
2.4 {} 號(hào)
2.5 (...) 特征標(biāo)群
2.6 | 或運(yùn)算符
2.7 轉(zhuǎn)碼特殊字符
2.8 錨點(diǎn)
3. 簡(jiǎn)寫字符集
4. 零寬度斷言(前后預(yù)查)
4.1 ?=... 正先行斷言
4.2 ?!... 負(fù)先行斷言
4.3 ?<= ... 正后發(fā)斷言
4.4 ?<!... 負(fù)后發(fā)斷言
5. 標(biāo)志
5.1 忽略大小寫（Case Insensitive）
5.2 全局搜索（Global search）
5.3 多行修飾符（Multiline）
額外補(bǔ)充
貢獻(xiàn)
1. 基本匹配
正則表達(dá)式其實(shí)就是在執(zhí)行搜索時(shí)的格式，它由一些字母和數(shù)字組合而成。例如：一個(gè)正則表達(dá)式 the，它表示一個(gè)規(guī)則：由字母t開始，接著是h，再接著是e。
"the" => The fat cat sat on the mat.在線練習(xí):(https://regex101.com/r/dmRygT/1)
正則表達(dá)式123匹配字符串123。它逐個(gè)字符的與輸入的正則表達(dá)式做比較。
正則表達(dá)式是大小寫敏感的，所以The不會(huì)匹配the。
"The" => The fat cat sat on the mat.在線練習(xí):(https://regex101.com/r/1paXsy/1)
2. 元字符
正則表達(dá)式主要依賴于元字符。元字符不代表他們本身的字面意思，他們都有特殊的含義。一些元字符寫在方括號(hào)中的時(shí)候有一些特殊的意思。以下是一些元字符的介紹：
| . | 句號(hào)匹配任意單個(gè)字符除了換行符。 |
| [ ] | 字符種類。匹配方括號(hào)內(nèi)的任意字符。 |
| [^ ] | 否定的字符種類。匹配除了方括號(hào)里的任意字符 |
| * | 匹配>=0個(gè)重復(fù)的在*號(hào)之前的字符。 |
| + | 匹配>=1個(gè)重復(fù)的+號(hào)前的字符。 |
| ? | 標(biāo)記?之前的字符為可選. |
| {n,m} | 匹配num個(gè)大括號(hào)之間的字符 (n <= num <= m). |
| (xyz) | 字符集，匹配與 xyz 完全相等的字符串. |
| | | 或運(yùn)算符，匹配符號(hào)前或后的字符. |
| \ | 轉(zhuǎn)義字符,用于匹配一些保留的字符 [ ] ( ) { } . * + ? ^ $ \ | |
| ^ | 從開始行開始匹配. |
| $ | 從末端開始匹配. |
2.1 點(diǎn)運(yùn)算符 .
.是元字符中最簡(jiǎn)單的例子。.匹配任意單個(gè)字符，但不匹配換行符。例如，表達(dá)式.ar匹配一個(gè)任意字符后面跟著是a和r的字符串。
".ar" => The car parked in the garage.在線練習(xí):(https://regex101.com/r/xc9GkU/1)
2.2 字符集
字符集也叫做字符類。方括號(hào)用來指定一個(gè)字符集。在方括號(hào)中使用連字符來指定字符集的范圍。在方括號(hào)中的字符集不關(guān)心順序。例如，表達(dá)式[Tt]he 匹配 the 和 The。
"[Tt]he" => The car parked in the garage.在線練習(xí):(https://regex101.com/r/2ITLQ4/1)
方括號(hào)的句號(hào)就表示句號(hào)。表達(dá)式 ar[.] 匹配 ar.字符串
"ar[.]" => A garage is a good place to park a car.在線練習(xí):(https://regex101.com/r/wL3xtE/1)
2.2.1 否定字符集
一般來說 ^ 表示一個(gè)字符串的開頭，但它用在一個(gè)方括號(hào)的開頭的時(shí)候，它表示這個(gè)字符集是否定的。例如，表達(dá)式[^c]ar 匹配一個(gè)后面跟著ar的除了c的任意字符。
"[^c]ar" => The car parked in the garage.在線練習(xí):(https://regex101.com/r/nNNlq3/1)
2.3 重復(fù)次數(shù)
后面跟著元字符 +，* or ? 的，用來指定匹配子模式的次數(shù)。這些元字符在不同的情況下有著不同的意思。
2.3.1 * 號(hào)
*號(hào)匹配 在*之前的字符出現(xiàn)大于等于0次。例如，表達(dá)式 a* 匹配0或更多個(gè)以a開頭的字符。表達(dá)式[a-z]* 匹配一個(gè)行中所有以小寫字母開頭的字符串。
"[a-z]*" => The car parked in the garage #21.在線練習(xí):(https://regex101.com/r/7m8me5/1)
*字符和.字符搭配可以匹配所有的字符.*。*和表示匹配空格的符號(hào)\s連起來用，如表達(dá)式\s*cat\s*匹配0或更多個(gè)空格開頭和0或更多個(gè)空格結(jié)尾的cat字符串。
"\s*cat\s*" => The fat cat sat on the concatenation.在線練習(xí):(https://regex101.com/r/gGrwuz/1)
2.3.2 + 號(hào)
+號(hào)匹配+號(hào)之前的字符出現(xiàn) >=1 次。例如表達(dá)式c.+t 匹配以首字母c開頭以t結(jié)尾，中間跟著至少一個(gè)字符的字符串。
"c.+t" => The fat cat sat on the mat.在線練習(xí):(https://regex101.com/r/Dzf9Aa/1)
2.3.3 ? 號(hào)
在正則表達(dá)式中元字符 ? 標(biāo)記在符號(hào)前面的字符為可選，即出現(xiàn) 0 或 1 次。例如，表達(dá)式 [T]?he 匹配字符串 he 和 The。
"[T]he" => The car is parked in the garage.在線練習(xí):(https://regex101.com/r/cIg9zm/1)
"[T]?he" => The car is parked in the garage.在線練習(xí):(https://regex101.com/r/kPpO2x/1)
2.4 {} 號(hào)
在正則表達(dá)式中 {} 是一個(gè)量詞，常用來一個(gè)或一組字符可以重復(fù)出現(xiàn)的次數(shù)。例如， 表達(dá)式 [0-9]{2,3} 匹配最少 2 位最多 3 位 0~9 的數(shù)字。
"[0-9]{2,3}" => The number was 9.9997 but we rounded it off to 10.0.在線練習(xí):(https://regex101.com/r/juM86s/1)
我們可以省略第二個(gè)參數(shù)。例如，[0-9]{2,} 匹配至少兩位 0~9 的數(shù)字。
"[0-9]{2,}" => The number was 9.9997 but we rounded it off to 10.0.在線練習(xí):(https://regex101.com/r/Gdy4w5/1)
如果逗號(hào)也省略掉則表示重復(fù)固定的次數(shù)。例如，[0-9]{3} 匹配3位數(shù)字
"[0-9]{3}" => The number was 9.9997 but we rounded it off to 10.0.在線練習(xí):(https://regex101.com/r/Sivu30/1)
2.5 (...) 特征標(biāo)群
特征標(biāo)群是一組寫在 (...) 中的子模式。例如之前說的 {} 是用來表示前面一個(gè)字符出現(xiàn)指定次數(shù)。但如果在 {} 前加入特征標(biāo)群則表示整個(gè)標(biāo)群內(nèi)的字符重復(fù) N 次。例如，表達(dá)式 (ab)* 匹配連續(xù)出現(xiàn) 0 或更多個(gè) ab。
我們還可以在 () 中用或字符 | 表示或。例如，(c|g|p)ar 匹配 car 或 gar 或 par.
"(c|g|p)ar" => The car is parked in the garage.在線練習(xí):(https://regex101.com/r/tUxrBG/1)
2.6 | 或運(yùn)算符
或運(yùn)算符就表示或，用作判斷條件。
例如 (T|t)he|car 匹配 (T|t)he 或 car。
"(T|t)he|car" => The car is parked in the garage.在線練習(xí):(https://regex101.com/r/fBXyX0/1)
2.7 轉(zhuǎn)碼特殊字符
反斜線 \ 在表達(dá)式中用于轉(zhuǎn)碼緊跟其后的字符。用于指定 { } [ ] / \ + * . $ ^ | ? 這些特殊字符。如果想要匹配這些特殊字符則要在其前面加上反斜線 \。
例如 . 是用來匹配除換行符外的所有字符的。如果想要匹配句子中的 . 則要寫成 \. 以下這個(gè)例子 \.?是選擇性匹配.
"(f|c|m)at\.?" => The fat cat sat on the mat.在線練習(xí):(https://regex101.com/r/DOc5Nu/1)
2.8 錨點(diǎn)
在正則表達(dá)式中，想要匹配指定開頭或結(jié)尾的字符串就要使用到錨點(diǎn)。^ 指定開頭，$ 指定結(jié)尾。
2.8.1 ^ 號(hào)
^ 用來檢查匹配的字符串是否在所匹配字符串的開頭。
例如，在 abc 中使用表達(dá)式 ^a 會(huì)得到結(jié)果 a。但如果使用 ^b 將匹配不到任何結(jié)果。因?yàn)樵谧址?abc 中并不是以 b 開頭。
例如，^(T|t)he 匹配以 The 或 the 開頭的字符串。
"(T|t)he" => The car is parked in the garage.在線練習(xí):(https://regex101.com/r/5ljjgB/1)
"^(T|t)he" => The car is parked in the garage.在線練習(xí):(https://regex101.com/r/jXrKne/1)
2.8.2 $ 號(hào)
同理于 ^ 號(hào)，$ 號(hào)用來匹配字符是否是最后一個(gè)。
例如，(at\.)$ 匹配以 at. 結(jié)尾的字符串。
"(at\.)" => The fat cat. sat. on the mat.在線練習(xí):(https://regex101.com/r/y4Au4D/1)
"(at\.)$" => The fat cat. sat. on the mat.在線練習(xí):(https://regex101.com/r/t0AkOd/1)
3. 簡(jiǎn)寫字符集
正則表達(dá)式提供一些常用的字符集簡(jiǎn)寫。如下:
| . | 除換行符外的所有字符 |
| \w | 匹配所有字母數(shù)字，等同于 [a-zA-Z0-9_] |
| \W | 匹配所有非字母數(shù)字，即符號(hào)，等同于：[^\w] |
| \d | 匹配數(shù)字：[0-9] |
| \D | 匹配非數(shù)字：[^\d] |
| \s | 匹配所有空格字符，等同于：[\t\n\f\r\p{Z}] |
| \S | 匹配所有非空格字符：[^\s] |
| \f | 匹配一個(gè)換頁(yè)符 |
| \n | 匹配一個(gè)換行符 |
| \r | 匹配一個(gè)回車符 |
| \t | 匹配一個(gè)制表符 |
| \v | 匹配一個(gè)垂直制表符 |
| \p | 匹配 CR/LF（等同于 \r\n），用來匹配 DOS 行終止符 |
4. 零寬度斷言（前后預(yù)查）
先行斷言和后發(fā)斷言都屬于非捕獲簇（不捕獲文本 ，也不針對(duì)組合計(jì)進(jìn)行計(jì)數(shù)）。先行斷言用于判斷所匹配的格式是否在另一個(gè)確定的格式之前，匹配結(jié)果不包含該確定格式（僅作為約束）。
例如，我們想要獲得所有跟在 $ 符號(hào)后的數(shù)字，我們可以使用正后發(fā)斷言 (?<=\$)[0-9\.]*。這個(gè)表達(dá)式匹配 $ 開頭，之后跟著 0,1,2,3,4,5,6,7,8,9,. 這些字符可以出現(xiàn)大于等于 0 次。
零寬度斷言如下：
| ?= | 正先行斷言-存在 |
| ?! | 負(fù)先行斷言-排除 |
| ?<= | 正后發(fā)斷言-存在 |
| ?<! | 負(fù)后發(fā)斷言-排除 |
4.1 ?=... 正先行斷言
?=... 正先行斷言，表示第一部分表達(dá)式之后必須跟著 ?=...定義的表達(dá)式。
返回結(jié)果只包含滿足匹配條件的第一部分表達(dá)式。定義一個(gè)正先行斷言要使用 ()。在括號(hào)內(nèi)部使用一個(gè)問號(hào)和等號(hào)：(?=...)。
正先行斷言的內(nèi)容寫在括號(hào)中的等號(hào)后面。例如，表達(dá)式 (T|t)he(?=\sfat) 匹配 The 和 the，在括號(hào)中我們又定義了正先行斷言 (?=\sfat) ，即 The 和 the 后面緊跟著 (空格)fat。
"(T|t)he(?=\sfat)" => The fat cat sat on the mat.在線練習(xí):(https://regex101.com/r/IDDARt/1)
4.2 ?!... 負(fù)先行斷言
負(fù)先行斷言 ?! 用于篩選所有匹配結(jié)果，篩選條件為 其后不跟隨著斷言中定義的格式。正先行斷言 ?定義和 負(fù)先行斷言 一樣，區(qū)別就是 = 替換成 ! 也就是 (?!...)。
表達(dá)式 (T|t)he(?!\sfat) 匹配 The 和 the，且其后不跟著 (空格)fat。
"(T|t)he(?!\sfat)" => The fat cat sat on the mat.在線練習(xí):(https://regex101.com/r/V32Npg/1)
4.3 ?<= ... 正后發(fā)斷言
正后發(fā)斷言 記作(?<=...) 用于篩選所有匹配結(jié)果，篩選條件為 其前跟隨著斷言中定義的格式。例如，表達(dá)式 (?<=(T|t)he\s)(fat|mat) 匹配 fat 和 mat，且其前跟著 The 或 the。
"(?<=(T|t)he\s)(fat|mat)" => The fat cat sat on the mat.在線練習(xí):(https://regex101.com/r/avH165/1)
4.4 ?<!... 負(fù)后發(fā)斷言
負(fù)后發(fā)斷言 記作 (?<!...) 用于篩選所有匹配結(jié)果，篩選條件為 其前不跟隨著斷言中定義的格式。例如，表達(dá)式 (?<!(T|t)he\s)(cat) 匹配 cat，且其前不跟著 The 或 the。
"(?<!(T|t)he\s)(cat)" => The cat sat on cat.在線練習(xí):(https://regex101.com/r/8Efx5G/1)
5. 標(biāo)志
標(biāo)志也叫模式修正符，因?yàn)樗梢杂脕硇薷谋磉_(dá)式的搜索結(jié)果。這些標(biāo)志可以任意的組合使用，它也是整個(gè)正則表達(dá)式的一部分。
| i | 忽略大小寫。 |
| g | 全局搜索。 |
| m | 多行修飾符：錨點(diǎn)元字符 ^ $ 工作范圍在每行的起始。 |
5.1 忽略大小寫（Case Insensitive）
修飾語 i 用于忽略大小寫。例如，表達(dá)式 /The/gi 表示在全局搜索 The，在后面的 i 將其條件修改為忽略大小寫，則變成搜索 the 和 The，g 表示全局搜索。
"The" => The fat cat sat on the mat.在線練習(xí):(https://regex101.com/r/dpQyf9/1)
"/The/gi" => The fat cat sat on the mat.在線練習(xí):(https://regex101.com/r/ahfiuh/1)
5.2 全局搜索（Global search）
修飾符 g 常用于執(zhí)行一個(gè)全局搜索匹配，即（不僅僅返回第一個(gè)匹配的，而是返回全部）。例如，表達(dá)式 /.(at)/g 表示搜索 任意字符（除了換行）+ at，并返回全部結(jié)果。
"/.(at)/" => The fat cat sat on the mat.在線練習(xí):(https://regex101.com/r/jnk6gM/1)
"/.(at)/g" => The fat cat sat on the mat.在線練習(xí):(https://regex101.com/r/dO1nef/1)
5.3 多行修飾符（Multiline）
多行修飾符 m 常用于執(zhí)行一個(gè)多行匹配。
像之前介紹的 (^,$) 用于檢查格式是否是在待檢測(cè)字符串的開頭或結(jié)尾。但我們?nèi)绻胍诿啃械拈_頭和結(jié)尾生效，我們需要用到多行修飾符 m。
例如，表達(dá)式 /at(.)?$/gm 表示小寫字符 a 后跟小寫字符 t ，末尾可選除換行符外任意字符。根據(jù) m 修飾符，現(xiàn)在表達(dá)式匹配每行的結(jié)尾。
"/.at(.)?$/" => The fatcat saton the mat.在線練習(xí):(https://regex101.com/r/hoGMkP/1)
"/.at(.)?$/gm" => The fatcat saton the mat.在線練習(xí):(https://regex101.com/r/E88WE2/1)
6. 貪婪匹配與惰性匹配（Greedy vs lazy matching）
正則表達(dá)式默認(rèn)采用貪婪匹配模式，在該模式下意味著會(huì)匹配盡可能長(zhǎng)的子串。我們可以使用 ? 將貪婪匹配模式轉(zhuǎn)化為惰性匹配模式。
"/(.*at)/" => The fat cat sat on the mat.在線練習(xí):(https://regex101.com/r/AyAdgJ/1)
"/(.*?at)/" => The fat cat sat on the mat.在線練習(xí):(https://regex101.com/r/AyAdgJ/2)
貢獻(xiàn)
?ziishaned@gmail.com
往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)在線手冊(cè)深度學(xué)習(xí)在線手冊(cè)AI基礎(chǔ)下載（pdf更新到25集）備注：加入本站微信群或者qq群，請(qǐng)回復(fù)“加群”獲取一折本站知識(shí)星球優(yōu)惠券，請(qǐng)回復(fù)“知識(shí)星球”喜歡文章，點(diǎn)個(gè)在看
總結(jié)
以上是生活随笔為你收集整理的AI基础：正则表达式的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： BERT, ELMo, GPT-2: 这
- 下一篇： 抗击肺炎：新冠肺炎疫情数据可视化及疫情预