【机器学习PAI实践十】深度学习Caffe框架实现图像分类的模型训练
背景
我們在之前的文章中介紹過如何通過PAI內(nèi)置的TensorFlow框架實驗基于Cifar10的圖像分類,文章鏈接:https://yq.aliyun.com/articles/72841。使用Tensorflow做深度學習做深度學習的網(wǎng)絡(luò)搭建和訓練需要通過PYTHON代碼才能使用,對于不太會寫代碼的同學還是有一定的使用門檻的。本文將介紹另一個深度學習框架Caffe,通過Caffe只需要填寫一些配置文件就可以實現(xiàn)圖像分類的模型訓練。
關(guān)于PAI的深度學習功能開通,請務(wù)必提前閱讀https://help.aliyun.com/document_detail/49571.html
文末提供了相關(guān)下載鏈接。
數(shù)據(jù)介紹
本文使用的數(shù)據(jù)是開源數(shù)據(jù)集cifar10,這份數(shù)據(jù)是一份對包含6萬張像素為32*32的彩色圖片,這6萬張圖片被分成10個類別,分別是飛機、汽車、鳥、毛、鹿、狗、青蛙、馬、船、卡車。數(shù)據(jù)集截圖:
目前這份數(shù)據(jù)已經(jīng)內(nèi)置在PAI提供的公共數(shù)據(jù)集中,以jpg格式存儲。任何PAI的用戶都可以在深度學習組件的數(shù)據(jù)源OSS路徑中直接輸入,
* 測試數(shù)據(jù): oss://dl-images.oss-cn-shanghai-internal.aliyuncs.com/cifar10/caffe/images/cifar10_test_image_list.txt
* 訓練數(shù)據(jù):oss://dl-images.oss-cn-shanghai-internal.aliyuncs.com/cifar10/caffe/images/cifar10_train_image_list.txt
如圖:
格式轉(zhuǎn)換
目前PAI上的Caffe框架只支持特定的格式,所以需要首先將jpg格式的圖片進行格式轉(zhuǎn)換。
經(jīng)過格式轉(zhuǎn)換,可以在自己的OSS路徑下生成如下文件,訓練數(shù)據(jù)和測試數(shù)據(jù)各一份。
需要記錄對應(yīng)的OSS路徑用于net文件的填寫,假設(shè)路徑名分別是:
訓練數(shù)據(jù)data_file_list.txt:bucket/cifar/train/data_file_list.txt
訓練數(shù)據(jù)data_mean.binaryproto:bucket/cifar/train/data_mean.binaryproto
測試數(shù)據(jù)data_file_list.txt:bucket/cifar/test/data_file_list.txt
測試數(shù)據(jù)data_mean.binaryproto:bucket/cifar/test/data_mean.binaryproto
Caffe配置文件
Net文件編寫,對應(yīng)上文格式轉(zhuǎn)換生成的路徑:
Solver文件編寫:
運行
將編輯好的Solver文件和Net文件全部傳到OSS上,拖動caffe訓練組件如圖,在Sovler文件路徑上選擇OSS上提交的Solver文件,運行即可。
生成的圖片分類model文件可以在OSS對應(yīng)路徑下查看,可以用以下模型進行圖片分類
日志查看可以參照本文開頭提供的“Tensorflow實現(xiàn)圖像分類”。
其它
代碼下載:http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/attach/52239/cn_zh/1496736657170/Caffe_cifar10.zip?spm=5176.doc52239.2.2.tMrTgQ&file=Caffe_cifar10.zip
免費體驗:阿里云數(shù)加機器學習平臺
作者微信公眾號(與作者討論):
總結(jié)
以上是生活随笔為你收集整理的【机器学习PAI实践十】深度学习Caffe框架实现图像分类的模型训练的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【机器学习PAI实践九】如何通过机器学习
- 下一篇: 云端TensorFlow读取数据IO的高