任務(wù)3：論文代碼統(tǒng)計(jì)

3.1 任務(wù)說(shuō)明

• 任務(wù)主題：論文代碼統(tǒng)計(jì)，統(tǒng)計(jì)所有論文出現(xiàn)代碼的相關(guān)統(tǒng)計(jì)；
• 任務(wù)內(nèi)容：使用正則表達(dá)式統(tǒng)計(jì)代碼連接、頁(yè)數(shù)和圖表數(shù)據(jù)；
• 任務(wù)成果：學(xué)習(xí)正則表達(dá)式統(tǒng)計(jì)；

3.2 數(shù)據(jù)處理步驟

在原始arxiv數(shù)據(jù)集中作者經(jīng)常會(huì)在論文的comments或abstract字段中給出具體的代碼鏈接，所以我們需要從這些字段里面找出代碼的鏈接。

• 確定數(shù)據(jù)出現(xiàn)的位置；
• 使用正則表達(dá)式完成匹配；
• 完成相關(guān)的統(tǒng)計(jì)；

3.3 正則表達(dá)式

正則表達(dá)式(regular expression)描述了一種字符串匹配的模式（pattern），可以用來(lái)檢查一個(gè)串是否含有某種子串、將匹配的子串替換或者從某個(gè)串中取出符合某個(gè)條件的子串等。

3.3.1 普通字符：大寫(xiě)和小寫(xiě)字母、所有數(shù)字、所有標(biāo)點(diǎn)符號(hào)和一些其他符號(hào)

字符描述

[ABC]	匹配 […] 中的所有字符，例如 [aeiou] 匹配字符串 “google runoob taobao” 中所有的 e o u a 字母。
[^ABC]	匹配除了 […] 中字符的所有字符，例如 [^aeiou] 匹配字符串 “google runoob taobao” 中除了 e o u a 字母的所有字母。
[A-Z]	[A-Z] 表示一個(gè)區(qū)間，匹配所有大寫(xiě)字母，[a-z] 表示所有小寫(xiě)字母。
.	匹配除換行符（\n、\r）之外的任何單個(gè)字符，相等于 [^\n\r]。
[\s\S]	匹配所有。\s 是匹配所有空白符，包括換行，\S 非空白符，包括換行。
\w	匹配字母、數(shù)字、下劃線。等價(jià)于 [A-Za-z0-9_]

3.3.2 特殊字符：有特殊含義的字符

特別字符描述

( )	標(biāo)記一個(gè)子表達(dá)式的開(kāi)始和結(jié)束位置。子表達(dá)式可以獲取供以后使用。要匹配這些字符，請(qǐng)使用 ( 和 )。
*	匹配前面的子表達(dá)式零次或多次。要匹配 * 字符，請(qǐng)使用 *。
+	匹配前面的子表達(dá)式一次或多次。要匹配 + 字符，請(qǐng)使用 +。
.	匹配除換行符 \n 之外的任何單字符。要匹配 . ，請(qǐng)使用 . 。
[	標(biāo)記一個(gè)中括號(hào)表達(dá)式的開(kāi)始。要匹配 [，請(qǐng)使用 [。
?	匹配前面的子表達(dá)式零次或一次，或指明一個(gè)非貪婪限定符。要匹配 ? 字符，請(qǐng)使用 ?。
\	將下一個(gè)字符標(biāo)記為或特殊字符、或原義字符、或向后引用、或八進(jìn)制轉(zhuǎn)義符。例如， ‘n’ 匹配字符 ‘n’。’\n’ 匹配換行符。序列 ‘\’ 匹配 “”，而 ‘(’ 則匹配 “(”。
^	匹配輸入字符串的開(kāi)始位置，除非在方括號(hào)表達(dá)式中使用，當(dāng)該符號(hào)在方括號(hào)表達(dá)式中使用時(shí)，表示不接受該方括號(hào)表達(dá)式中的字符集合。要匹配 ^ 字符本身，請(qǐng)使用 ^。
{	標(biāo)記限定符表達(dá)式的開(kāi)始。要匹配 {，請(qǐng)使用 {。
|	指明兩項(xiàng)之間的一個(gè)選擇。要匹配 |，請(qǐng)使用 |。

3.3.3 限定符

字符描述

*	匹配前面的子表達(dá)式零次或多次。例如，zo* 能匹配 “z” 以及 “zoo”。* 等價(jià)于{0,}。
+	匹配前面的子表達(dá)式一次或多次。例如，‘zo+’ 能匹配 “zo” 以及 “zoo”，但不能匹配 “z”。+ 等價(jià)于 {1,}。
?	匹配前面的子表達(dá)式零次或一次。例如，“do(es)?” 可以匹配 “do” 、 “does” 中的 “does” 、 “doxy” 中的 “do” 。? 等價(jià)于 {0,1}。
{n}	n 是一個(gè)非負(fù)整數(shù)。匹配確定的 n 次。例如，‘o{2}’ 不能匹配 “Bob” 中的 ‘o’，但是能匹配 “food” 中的兩個(gè) o。
{n,}	n 是一個(gè)非負(fù)整數(shù)。至少匹配n 次。例如，‘o{2,}’ 不能匹配 “Bob” 中的 ‘o’，但能匹配 “foooood” 中的所有 o。‘o{1,}’ 等價(jià)于 ‘o+’。‘o{0,}’ 則等價(jià)于 ‘o*’。
{n,m}	m 和 n 均為非負(fù)整數(shù)，其中n <= m。最少匹配 n 次且最多匹配 m 次。例如，“o{1,3}” 將匹配 “fooooood” 中的前三個(gè) o。‘o{0,1}’ 等價(jià)于 ‘o?’。請(qǐng)注意在逗號(hào)和兩個(gè)數(shù)之間不能有空格。

3.4 具體代碼實(shí)現(xiàn)以及講解

首先我們來(lái)統(tǒng)計(jì)論文頁(yè)數(shù)，也就是在comments字段中抽取pages和figures和個(gè)數(shù)，首先完成字段讀取。

data = [] #初始化 #使用with語(yǔ)句優(yōu)勢(shì)：1.自動(dòng)關(guān)閉文件句柄；2.自動(dòng)顯示（處理）文件讀取數(shù)據(jù)異常 with open("arxiv-metadata-oai-snapshot.json", 'r') as f: for idx, line in enumerate(f): d = json.loads(line)d = {'abstract': d['abstract'], 'categories': d['categories'], 'comments': d['comments']}data.append(d)data = pd.DataFrame(data) #將list變?yōu)閐ataframe格式，方便使用pandas進(jìn)行分析

對(duì)pages進(jìn)行抽取：

# 使用正則表達(dá)式匹配，XX pages data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* pages', str(x)))# 篩選出有pages的論文 data = data[data['pages'].apply(len) > 0]# 由于匹配得到的是一個(gè)list，如['19 pages']，需要進(jìn)行轉(zhuǎn)換 data['pages'] = data['pages'].apply(lambda x: float(x[0].replace(' pages', '')))

對(duì)pages進(jìn)行統(tǒng)計(jì)：

data['pages'].describe().astype(int)

統(tǒng)計(jì)結(jié)果如下：論文平均的頁(yè)數(shù)為17頁(yè)，75%的論文在22頁(yè)以?xún)?nèi)，最長(zhǎng)的論文有11232頁(yè)。

count 1089180 mean 17 std 22 min 1 25% 8 50% 13 75% 22 max 11232 Name: pages, dtype: int64

接下來(lái)按照分類(lèi)統(tǒng)計(jì)論文頁(yè)數(shù)，選取了論文的第一個(gè)類(lèi)別的主要類(lèi)別：

# 選擇主要類(lèi)別 data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0]) data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])# 每類(lèi)論文的平均頁(yè)數(shù) plt.figure(figsize=(12, 6)) data.groupby(['categories'])['pages'].mean().plot(kind='bar')

接下來(lái)對(duì)論文圖表個(gè)數(shù)進(jìn)行抽取：

data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures', str(x))) data = data[data['figures'].apply(len) > 0] data['figures'] = data['figures'].apply(lambda x: float(x[0].replace(' figures', '')))

最后我們對(duì)論文的代碼鏈接進(jìn)行提取，為了簡(jiǎn)化任務(wù)我們只抽取github鏈接：

# 篩選包含github的論文 data_with_code = data[(data.comments.str.contains('github')==True)|(data.abstract.str.contains('github')==True) ] data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')# 使用正則表達(dá)式匹配論文 pattern = '[a-zA-z]+://github[^\s]*' data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(len)

并對(duì)論文按照類(lèi)別進(jìn)行繪圖：

data_with_code = data_with_code[data_with_code['code_flag'] == 1] plt.figure(figsize=(12, 6)) data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')

總結(jié)

以上是生活随笔為你收集整理的【算法竞赛学习】学术前沿趋势-论文代码统计的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。