中文自然語言處理開放平臺

由中國科學院計算技術研究所·數字化室＆軟件室創立一個研究自然語言處理的一個平臺，里面包含有大量的訓練測試語料。?
語料庫：???http://www.nlp.org.cn/docs/doclist.php?cat_id=9&type=15?
文本語料庫：???http://www.nlp.org.cn/docs/doclist.php?cat_id=16&type=15

sogou文本分類語料庫

文本分類語料庫來源于Sohu新聞網站保存的大量經過編輯手工整理與分類的新聞語料與對應的分類信息。其分類體系包括幾十個分類節點，網頁規模約為十萬篇文檔。??
地址：???http://www.sogou.com/labs/dl/c.html

中文Web信息檢索論壇

中文Web信息檢索論壇(Chinese Web Information Retrieval Forum，簡稱CWIRF)是由北京大學網絡實驗室從2004年6月起建立并維護的以大規模中文Web信息為測試集的信息檢索研究論壇。

CWT(Chinese Web Test collection, 中文Web測試集)：

ComPaper10th?
Computer Paper collection with more than 10 thousand papers?
CWT70th?
? ? ?Chinese Web Test collection with 70 thousand pages?
? ? ?CWT70th順序讀取程序?
CWT200g?
? ? ?Chinese Web Test collection with 200 GB web pages.?
? ? ?CWT20g_of_200g?
? ? ?CWT200g樣例下載?
? ? ?CWT200g順序讀取程序

CWT相關工具? ???

中文網頁分類訓練集

CCT2006??
2006年3月中文網頁分類訓練集CCT2006, 編號YQ-CCT-2006-03. 根據常見的新聞類別而設定的分類體系，從新聞網站上抓取得到對應 類別的新聞網頁作為訓練集頁面。它包括960個訓練網頁和240個測試網頁， 分布在8個類別中。???下載?
CCT2002-v1.1??

2002年中文網頁分類訓練集CCT2002-v1.1, 編號YQ-WEBBENCH-V1.1,???說明?。 是在CCT2002-v1.0 的基礎上對類別進行了部分修正. 是2002年秋天北京大學網絡與分布式實驗室天網小組通過動員不同專業的幾十個學生， 人工選取形成了一個全新的基于層次模型的大規模中文網頁樣本集。 它包括11678個訓練網頁實例和3630個測試網頁實例，分布在11個大類別中。???下載

-----------------------

一、語料庫鏈接

下面提供一些網上能下載到的中文的好語料，供研究人員學習使用。
(1).中科院自動化所的中英文新聞語料庫?http://www.datatang.com/data/13484
中文新聞分類語料庫從鳳凰、新浪、網易、騰訊等版面搜集。英語新聞分類語料庫為Reuters-21578的ModApte版本。

(2).搜狗的中文新聞語料庫?http://www.sogou.com/labs/dl/c.html
包括搜狐的大量新聞語料與對應的分類信息。有不同大小的版本可以下載。

(3).李榮陸老師的中文語料庫?http://www.datatang.com/data/11968
壓縮后有240M大小

(4).譚松波老師的中文文本分類語料?http://www.datatang.com/data/11970
不僅包含大的分類，例如經濟、運動等等，每個大類下面還包含具體的小類，例如運動包含籃球、足球等等。能夠作為層次分類的語料庫，非常實用。這個網址免積分(譚松波老師的主頁)：http://www.searchforum.org.cn/tansongbo/corpus1.php
?

(5).網易分類文本數據?http://www.datatang.com/data/11965
包含運動、汽車等六大類的4000條文本數據。
?

(6).中文文本分類語料?http://www.datatang.com/data/11963
包含Arts、Literature等類別的語料文本。
?

(7).更全的搜狗文本分類語料?http://www.sogou.com/labs/dl/c.html
搜狗實驗室發布的文本分類語料，有不同大小的數據版本供免費下載
?

(8).2002年中文網頁分類訓練集http://www.datatang.com/data/15021
2002年秋天北京大學網絡與分布式實驗室天網小組通過動員不同專業的幾十個學生，人工選取形成了一個全新的基于層次模型的大規模中文網頁樣本集。它包括11678個訓練網頁實例和3630個測試網頁實例，分布在11個大類別中。

————————————————————————————————————————————————

二、有效的分詞工具

將預料庫進行分詞并去掉停用詞，可以使用的分詞工具有：
StandardAnalyzer（中英文）、ChineseAnalyzer（中文）、CJKAnalyzer（中英文）、IKAnalyzer（中英文，兼容韓文，日文）、paoding（中文）、MMAnalyzer（中英文）、MMSeg4j（中英文）、imdict（中英文）、NLTK（中英文）、Jieba（中英文），這幾種分詞工具的區別，可以參加：http://blog.csdn.net/wauwa/article/details/7865526。

“無意中發現了一個巨牛的人工智能教程，忍不住分享一下給大家。教程不僅是零基礎，通俗易懂，而且非常風趣幽默，像看小說一樣！覺得太牛了，所以分享給大家。點這里可以跳轉到教程。”

?

總結

以上是生活随笔為你收集整理的中文语料库有哪些的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。