當前位置：首頁 > 人工智能 > pytorch >内容正文

pytorch

机器学习，深度学习，免费数据集汇总

發布時間：2023/12/10 pytorch 30 豆豆

生活随笔收集整理的這篇文章主要介紹了机器学习，深度学习，免费数据集汇总小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

【第一波】

目前系統整理了一些網上開放的免費科研數據集，以下是分類列表以及下載地址，供高校和科研機構免費下載和使用。

金融

美國勞工部統計局官方發布數據
上證A股日線數據，1999.12.09 至 2016.06.08，前復權，1095支股票
深證A股日線數據，1999.12.09 至 2016.06.08，前復權，1766支股票
深證創業板日線數據，1999.12.09 至 2016.06.08，前復權，510支股票
MT4平臺外匯交易歷史數據
Forex平臺外匯交易歷史數據
幾組外匯交易逐筆（Ticks）數據
美國股票新聞數據【Kaggle數據】
美國醫療保險市場數據【Kaggle數據】
美國金融客戶投訴數據【Kaggle數據】
Lending Club 網貸違約數據【Kaggle數據】
信用卡欺詐數據【Kaggle 數據】
某個金融產品實時交易數據【Kaggle數據】
美國股票數據XBRL【Kaggle數據】
紐約股票交易所數據【Kaggle數據】

交通

2013年紐約出租車行駛數據
Udacity自動駕駛數據
紐約 Uber 接客數據【Kaggle數據】
英國車禍數據（2005-2015）【Kaagle數據】
芝加哥汽車超速數據【Kaggle數據】

商業

Amazon 食品評論數據【Kaggle數據】
Amazon 無鎖手機評論數據【Kaggle數據】
美國視頻游戲銷售和評價數據【Kaggle數據】
Kaggle 各項競賽情況數據【Kaggle數據】

推薦系統

Netflix 電影評價數據
MovieLens 20m 電影推薦數據集
WikiLens
Jester
HetRec2011
Book Crossing
Large Movie Review

醫療健康

人識別物體時大腦核磁共振影像數據
人理解單詞時大腦核磁共振影像數據
心臟病心房圖像及標注數據
細胞病理識別
FIRE 視網膜眼底病變圖像數據
食物營養成分數據【Kaggle數據】
EGG 大腦電波形狀數據【Kaggle數據】

圖像數據

綜合圖像

Visual Genome 圖像數據
Visual7w 圖像數據
COCO 圖像數據
SUFR 圖像數據
ILSVRC 2014 訓練數據（ImageNet的一部分）
PASCAL Visual Object Classes 2012 圖像數據
PASCAL Visual Object Classes 2011 圖像數據
PASCAL Visual Object Classes 2010 圖像數據
80 Million Tiny Image 圖像數據【數據太大僅有介紹】
ImageNet【數據太大僅有介紹】

場景圖像

Street Scences 圖像數據
Places2 場景圖像數據
UCF Google Street View 圖像數據
SUN 場景圖像數據
The Celebrity in Places 圖像數據

Web標簽圖像

HARRISON 社交標簽圖像
NUS-WIDE 標簽圖像
Visual Synset 標簽圖像
Animals With Attributes 標簽圖像

人形輪廓圖像

MPII Human Shape人體輪廓數據
Biwi Kinect Head Pose 頭部姿勢數據
上半身人像數據
INRIA Person 數據集

視覺文字識別圖像

Street View House Number 門牌號圖像數據
MNIST 手寫數字識別圖像數據
3D MNIST 數字識別圖像數據【Kaggle數據】
MediaTeam Document 文檔影印和內容數據

特定一類事物圖像

著名的貓圖像標注數據
Caltech-UCSD Birds200 鳥類圖像數據
Stanford Car 汽車圖像數據
Cars 汽車圖像數據
MIT Cars 汽車圖像數據
Stanford Cars 汽車圖像數據
Food-101 美食圖像數據
17_Category_Flower 圖像數據
102_Category_Flower 圖像數據
UCI Folio Leaf 圖像數據
Labeled Fishes in the Wild 魚類圖像
美國 Yelp 點評網站酒店照片
CMU-Oxford Sculpture 塑像雕像圖像
Oxford-IIIT Pet 寵物圖像數據

材質紋理圖像

CURET 紋理材質圖像數據
ETHZ Synthesizability 紋理圖像數據
KTH-TIPS 紋理材質圖像數據
Describable Textures 紋理圖像數據

物體分類圖像

COIL-20 圖像數據
COIL-100 圖像數據
Caltech-101 圖像數據
Caltech-256 圖像數據
CIFAR-10 圖像數據
CIFAR-100 圖像數據
STL-10 圖像數據
LabelMe_12_50k圖像數據
NORB v1.0 圖像數據
NEC Toy Animal 圖像數據
iCubWorld 圖像分類數據
Multi-class 圖像分類數據
GRAZ 圖像分類數據

人臉圖像

IMDB-WIKI 500k+ 人臉圖像、年齡性別數據
Labeled Faces in the Wild 人臉數據
Extended Yale Face Database B 人臉數據
Bao Face 人臉數據
DC-IGN 論文人臉數據
300 Face in Wild 圖像數據
BioID Face 人臉數據
CMU Frontal Face Images
FDDB_Face Detection Data Set and Benchmark
NIST Mugshot Identification Database
Faces in the Wild 人臉數據
CelebA 名人人臉圖像數據
VGG Face 人臉圖像數據

姿勢動作圖像

HMDB_a large human motion database
Human Actions and Scenes Dataset

指紋識別

NIST FIGS 指紋識別數據

其它圖像數據

Visual Question Answering 圖像數據

視頻數據

綜合視頻

DAVIS_Densely Annotated Video Segmentation 數據
YouTube-8M 視頻數據集【數據太大僅有介紹】
YouTube 網站視頻備份【數據太大僅有介紹】

人類動作視頻

Microsoft Research Action 人類動作視頻數據
UCF50 Action Recognition 動作識別數據
UCF101 Action Recognition 動作識別數據
UT-Interaction 人類動作視頻數據
UCF iPhone 運動中傳感器數據
UCF YouTube 人類動作視頻數據
UCF Sport 人類動作視頻數據
UCF-ARG 人類動作視頻數據
HMDB 人類動作視頻
HOLLYWOOD2 人類行為動作視頻數據
Recognition of human actions 動作視頻數據
Motion Capture 動作捕捉視頻數據
SBU Kinect Interaction 肢體動作視頻數據

行人檢測視頻

UCSD Pedestrian 行人視頻數據
Caltech Pedestrian 行人視頻數據
ETH 行人視頻數據
INRIA 行人視頻數據
TudBrussels 行人視頻數據
Daimler 行人視頻數據

密集人群視頻

Crowd Counting 高密度人群圖像
Crowd Segmentation 高密度人群視頻數據
Tracking in High Density Crowds 高密度人群視頻

其它視頻

Fire Detection 視頻數據

音頻數據

綜合音頻

Google Audioset 音頻數據【數據太大僅有介紹】

語音識別

Sinhala TTS 英語語音識別
TIMIT 美式英語語音識別數據
LibriSpeech ASR corpus 語音數據
Room Impulse Response and Noise 語音數據
ALFFA 非洲語音數據

自然語言處理

RCV1英語新聞數據
20news 英語新聞數據
First Quora Release Question Pairs
JRC Names各國語言專有實體名稱
Multi-Domain Sentiment V2.0
LETOR 信息檢索數據
Yale Youtube Vedio Text
斯坦福問答數據【Kaggle數據】
美國假新聞數據【Kaggle數據】
NIPS會議文章信息數據（1987-2016）【Kaggle數據】
2016年美國總統選舉辯論數據【Kaggle數據】

社會數據

希拉里郵件門泄露郵件
波士頓 Airbnb 公開數據【Kaggle數據】
世界各國經濟發展數據【Kaagle數據】?
世界大學排名芝加哥犯罪數據（2001-2017）【Kaagle數據】
世界范圍顯著地震數據（1965-2016）【Kaagle數據】
美國嬰兒姓名數據【Kaagle數據】
全世界鯊魚襲擊人類數據【Kaagle數據】
1908年以來空難數據【Kaagle數據】
2016年美國總統大選數據【Kaagle數據】
2013年美國社區統計數據【Kaagle數據】
歐洲足球運動員賽事表現數據【Kaagle數據】
美國環境污染數據【Kaagle數據】
美國H1-B簽證申請數據【Kaggle數據】
IMDB五千部電影數據【Kaggle數據】
2015年航班延誤和取消數據【Kaggle數據】
兇殺案報告數據【Kaggle數據】
人力資源分析數據【Kaggle數據】
某人基因序列數據【Kaggle數據】
美國費城犯罪數據【Kaggle數據】
安然公司郵件數據【Kaggle數據】
歷史棒球數據【Kaggle數據】
美聯航 Twitter 用戶評論數據【Kaggle數據】
波士頓 Airbnb 公開數據【Kaggle數據】

處理后的科研和競賽數據

NIPS 2003 屬性選擇競賽數據http://dataju.cn/Dataju/web/datasetInstanceDetail/370
臺灣大學林智仁教授處理為 LibSVM 格式的分類建模數據?http://dataju.cn/Dataju/web/datasetInstanceDetail/296
Large-scale 分類建模數據http://dataju.cn/Dataju/web/datasetInstanceDetail/297
幾個UCI 中 large-scale 分類建模數據http://dataju.cn/Dataju/web/datasetInstanceDetail/298
Social Computing http://dataju.cn/Dataju/web/datasetInstanceDetail/299
Data Repository 社交網絡數據http://dataju.cn/Dataju/web/datasetInstanceDetail/300
貓和狗分類識別競賽數據【Kaggle競賽】http://dataju.cn/Dataju/web/datasetInstanceDetail/318
DSTL 衛星圖像識別競賽數據【Kaggle競賽】http://dataju.cn/Dataju/web/datasetInstanceDetail/328
根據手機應用軟件使用行為預測用戶性別年齡競賽數據【Kaggle競賽】?http://dataju.cn/Dataju/web/datasetInstanceDetail/332
人臉關鍵點標定競賽數據【Kaggle競賽】?http://dataju.cn/Dataju/web/datasetInstanceDetail/331
Kaggle競賽數據合輯（部分競賽數據）http://dataju.cn/Dataju/web/datasetInstanceDetail/368

【第二波】

ImageNet挑戰賽中超越人類的計算機視覺系統
微軟亞洲研究院視覺計算組基于深度卷積神經網絡（CNN）的計算機視覺系統，在ImageNet 1000挑戰中首次超越了人類進行對象識別分類的能力。他們的系統在ImageNet 2012分類數據集中的錯誤率已降低至4.94%。
這個數據集包含約120萬張訓練圖像、5萬張驗證圖像和10萬張測試圖像，分為1000個不同的類別。
該研究團隊由微軟亞洲研究院研究員孫劍、何愷明以及來自西安交通大學和中國科學技術大學的實習生張祥雨和任少卿組成。

百度網盤里有Imagenet數據下載(有140G以上)：鏈接：http://pan.baidu.com/s/1pJT8kLd?密碼：12kx

======================================
公開的海量數據集 Public Research-Quality Datasets

海量數據（又稱大數據）已經成為各大互聯網企業面臨的最大問題，如何處理海量數據，提供更好的解決方案，是目前相當熱門的一個話題。類似MapReduce、 Hadoop等架構的普遍推廣，大家都在構建自己的大數據處理，大數據分析平臺。

相應之下，目前對于海量數據處理人才的需求也在不斷增多，此類人才可謂炙手可熱！越來越多的開發者把目光轉移到海量數據的處理上。但是不是所有人都能真正接觸到，或者有機會去處理海量數據的，所以就需要一些公開的海量數據集來研究。

在Quora上有人就問到，如何獲取海量數據集。此問題得到了很多人的關注。具體可以看看回答，數據集的種類多種多樣，有化學分析，基因遺傳等等，從中你肯定能得到自己想要個數據集。?
Where can I get large datasets open to the public?

首先說說幾個收集數據集的網站：?
1、Public Data Sets on Amazon Web Services (AWS)?
http://aws.amazon.com/datasets?
Amazon從2008年開始就為開發者提供幾十TB的開發數據。

2、Yahoo! Webscope?
http://webscope.sandbox.yahoo.com/index.php

3、Konect is a collection of network datasets?
http://konect.uni-koblenz.de/

4、Stanford Large Network Dataset Collection?
http://snap.stanford.edu/data/index.html

再就是說說幾個跟互聯網有關的數據集：?
1、Dataset for "Statistics and Social Network of YouTube Videos"?
http://netsg.cs.sfu.ca/youtubedata/

2、1998 World Cup Web Site Access Logs?
http://ita.ee.lbl.gov/html/contrib/WorldCup.html?
這個是1998年世界杯期間的數據集。從1998/04/26 到 1998/07/26 的92天中，發生了 1,352,804,107次請求。

3、Page view statistics for Wikimedia projects?
http://dammit.lt/wikistats/

4、AOL Search Query Logs - RP?
http://www.researchpipeline.com/mediawiki/index.php?title=AOL_Search_Query_Logs

5、livedoor gourmet?
http://blog.livedoor.jp/techblog/archives/65836960.html

海量圖像數據集：?
1、ImageNet?
http://www.image-net.org/?
包含1400萬的圖像。

2、Tiny Images Dataset?
http://horatio.cs.nyu.edu/mit/tiny/data/index.html?
包含8000萬的32x32圖像。

3、 MirFlickr1M?
http://press.liacs.nl/mirflickr/?
Flickr中的100萬的圖像集。

4、 CoPhIR?
http://cophir.isti.cnr.it/whatis.html?
Flickr中的1億600萬的圖像

5、SBU captioned photo dataset?
http://dsl1.cewit.stonybrook.edu/~vicente/sbucaptions/?
Flickr中的100萬的圖像集。

6、Large-Scale Image Annotation using Visual Synset(ICCV 2011)?
http://cpl.cc.gatech.edu/projects/VisualSynset/?
包含2億圖像

7、NUS-WIDE?
http://lms.comp.nus.edu.sg/research/NUS-WIDE.htm?
Flickr中的27萬的圖像集。

8、SUN dataset?
http://people.csail.mit.edu/jxiao/SUN/?
包含13萬的圖像

9、MSRA-MM?
http://research.microsoft.com/en-us/projects/msrammdata/?
包含100萬的圖像，23000視頻

10、TRECVID?
http://trecvid.nist.gov/

Stack Overflow Dump Files?
7.3G stackoverflow.com-Posts.7z?
573.1K stackoverflow.com-Tags.7z?
153.0M stackoverflow.com-Users.7z?
2.2G stackoverflow.com-Comments.7z

截止目前好像還沒有國內的企業或者組織開放自己的數據集。希望也能有企業開發自己的數據集給研究人員使用，從而推動海量數據處理在國內的發展！

2014/07/07 雅虎發布超大Flickr數據集 1億的圖片+視頻?
http://yahoolabs.tumblr.com/post/89783581601/one-hundred-million-creative-commons-flickr-images-for

============================================
數據挖掘數據集下載資源

1、氣候監測數據集?http://cdiac.ornl.gov/ftp/ndp026b

2、幾個實用的測試數據集下載的網站
http://www.fs.fed.us/fire/fuelman/
http://www.cs.toronto.edu/~roweis/data.html
http://kdd.ics.uci.edu/summary.task.type.html
http://www-2.cs.cmu.edu/afs/cs.cmu.edu/project/theo-20/www/data/
http://www-2.cs.cmu.edu/afs/cs.cmu.edu/project/theo-11/www/wwkb/
http://www.phys.uni.torun.pl/~duch/software.html
在下面的網址可以找到reuters數據集：http://www.research.att.com/~lewis/reuters21578.html
該網址有各種數據集：http://kdd.ics.uci.edu/summary.data.type.html
進行文本分類，還有一個數據集是可以用的，即rainbow的數據集
http://www-2.cs.cmu.edu/afs/cs/project/theo-11/www/naive-bayes.html

3、UCI收集的機器學習數據集
ftp://pami.sjtu.edu.cn/
http://www.ics.uci.edu/~mlearn//MLRepository.htm

4、statlib
http://liama.ia.ac.cn/SCILAB/scilabindexgb.htm
http://lib.stat.cmu.edu/

5、關于基金的數據挖掘的網站
http://www.gotofund.com/index.asp

http://lans.ece.utexas.edu/~strehl/

6、進行文本分類&WEB
http://www-2.cs.cmu.edu/afs/cs/project/theo-11/www/naive-bayes.html

http://www.w3.org/TR/WD-logfile-960221.html
http://www.w3.org/Daemon/User/Config/Logging.html#AccessLog
http://www.w3.org/1998/11/05/WC-workshop/Papers/bala2.html
http://www-2.cs.cmu.edu/afs/cs.cmu.edu/project/theo-11/www/wwkb/
http://www.web-caching.com/traces-logs.html
http://www-2.cs.cmu.edu/webkb
http://www.cs.auc.dk/research/DP/tdb/TimeCenter/TimeCenterPublications/TR-75.pdf
http://www.cs.cornell.edu/projects/kddcup/index.html

7、時間序列數據的網址
http://www.stat.wisc.edu/~reinsel/bjr-data/

8、apriori算法的測試數據
http://www.almaden.ibm.com/cs/quest/syndata.html

9、數據生成器的鏈接
http://www.cse.cuhk.edu.hk/~kdd/data_collection.html
http://www.almaden.ibm.com/cs/quest/syndata.html
10、關聯：
http://flow.dl.sourceforge.net/sourceforge/weka/regression-datasets.jar
http://www.almaden.ibm.com/software/quest/Resources/datasets/syndata.html#assocSynData

11、WEKA：
http://flow.dl.sourceforge.net/sourceforge/weka/regression-datasets.jar
1。A jarfile containing 37 classification problems, originally obtained from the UCI repository
http://prdownloads.sourceforge.net/weka/datasets-UCI.jar
2。A jarfile containing 37 regression problems, obtained from various sources
http://prdownloads.sourceforge.net/weka/datasets-numeric.jar
3。A jarfile containing 30 regression datasets collected by Luis Torgo
http://prdownloads.sourceforge.net/weka/regression-datasets.jar

12、癌癥基因：
http://www.broad.mit.edu/cgi-bin/cancer/datasets.cgi

13、金融數據：
http://lisp.vse.cz/pkdd99/Challenge/chall.htm

14、一個很好的資源網址為：http://kdd.ics.uci.edu/，里面包含的數據資源按應用領域劃分的。

============================================================================================

1、Public Data Sets on Amazon Web Services (AWS)?
http://aws.amazon.com/datasets?
Amazon從2008年開始就為開發者提供幾十TB的開發數據。