Ubuntu16.04 安装配置Caffe
Caffe已經是第三次安裝配置了,為什么是第三次呢?因為我實在是低估了深度學習對于硬件的要求。第一次我在自己筆記本上配置的單核,CPU only ...? 結果是,樣例數據跑了4小時,這還怎么玩?第二次在臺式機上,因為臺式機比較low,I5處理器4核,沒有NVIDIA的GPU。我把別人訓練好的模型下載下來,然后自己測試,發現真的成功了,心里小激動~ 然而,當我自己訓練模型時,我訓練7天.....? 關鍵是7天了還在跑.....?
心想,我這個窮逼難道要自己掏錢買個服務器?那怎么可能。還好,老師人非常好,給我找了個服務器~? 現在終于是勞資大顯身手的時候了。
整個配置過程很長啊,坑多,沒有linux基礎的就別來了,你會崩潰的。我參考了好幾個帖子,基本上每個帖子都有或多或少的問題,文章結尾的時候,我會留下前輩們的文章地址,算是對他們的尊敬和對我幫助的感謝。好,下面切入正題!
電腦配置:
系統:Ubuntu16.04?? GPU:NVIDIA Corporation GM107GL [Quadro K620] (提示:在linux下可以通過?lspci | grep -i vga?查看)
安裝過程
1.安裝相關依賴項
1 sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler 2 sudo apt-get install --no-install-recommends libboost-all-dev 3 sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev 4 sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev2.安裝NVIDIA驅動
(1)查詢NVIDIA驅動
首先去官網?http://www.nvidia.com/Download/index.aspx?lang=en-us?查看適合自己顯卡的驅動并下載:
驅動文件后綴名應當是以.run結尾的。我們要把這個文件移動到家目錄下,原因是下面我們要切換到文字界面下,如果放到~/下載 下面,我們沒有辦法進入下載這個目錄(沒有中文輸入法,且中文全部是亂碼)
?????????????????
??????????????????????? 圖1 輸入顯卡型號???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 圖2? 顯卡驅動搜索結果
我的顯卡型號是Quadro K620,系統是linux 64位,按照要求選擇后點擊search. 圖2是搜索結果,點擊下載就好了。
我下載后的驅動文件是:NVIDIA-Linux-x86_64-375.20.run
(2)安裝驅動
在終端下輸入:?sudo gedit /etc/modprobe.d/blacklist.conf??
輸入密碼后在最后一行加上?blacklist nouveau?.? 這里是將Ubuntu自帶的顯卡驅動加入黑名單。
在終端輸入:?sudo update-initramfs -u ?
重啟電腦~
這里要尤其注意,安裝顯卡驅動要先切換到文字界面,(按Ctrl+Alt+F1~F6).所以,啟動電腦后,先進入文字界面。
然后,輸入命令?sudo service lightdm stop?
現在可以安裝驅動了,先進入家目錄?cd ~?,然后:?sudo ./NVIDIA-Linux-x86_64-375.20.run,按照提示一步步來~?
完成后,再次重啟電腦。
安裝完成之后輸入以下指令進行驗證:?sudo nvidia-smi?,若列出了GPU的信息列表則表示驅動安裝成功。如下圖:
3.安裝CUDA
CUDA是NVIDIA的編程語言平臺,想使用GPU就必須要使用cuda。 (1)下載CUDA 首先在官網上(https://developer.nvidia.com/cuda-downloads)下載CUDA:?(2)?下載完成后執行以下命令:
1 sudo chmod 777 cuda_8.0.44_linux.run 2 sudo ./cuda_8.0.44_linux.run注意:執行后會有一系列提示讓你確認,但是注意,有個讓你選擇是否安裝nvidia367驅動時,一定要選擇否:
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 367.48?
因為前面我們已經安裝了更加新的nvidia367,所以這里不要選擇安裝。其余的都直接默認或者選擇是即可。
(3)環境變量配置
打開~/.bashrc文件:?sudo gedit ~/.bashrc?
將以下內容寫入到~/.bashrc尾部:
(4)測試CUDA的samples
1 cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery 2 make 3 sudo ./deviceQuery如果顯示一些關于GPU的信息,則說明安裝成功。
?4.配置cuDNN
cuDNN是GPU加速計算深層神經網絡的庫。
首先去官網?https://developer.nvidia.com/rdp/cudnn-download?下載cuDNN,需要注冊一個賬號才能下載。下載版本號如下圖:
下載cuDNN5.1之后進行解壓:
sudo tar -zxvf ./cudnn-8.0-linux-x64-v5.1.tgz進入cuDNN5.1解壓之后的include目錄,在命令行進行如下操作:
cd cuda/include sudo cp cudnn.h /usr/local/cuda/include ?#復制頭文件再將進入lib64目錄下的動態文件進行復制和鏈接:
cd .. cd lib64 sudo cp lib* /usr/local/cuda/lib64/ #復制動態鏈接庫 cd /usr/local/cuda/lib64/sudo rm -rf libcudnn.so libcudnn.so.5 #刪除原有動態文件 sudo ln -s libcudnn.so.5.0.5 libcudnn.so.5 #生成軟銜接 sudo ln -s libcudnn.so.5 libcudnn.so #生成軟鏈接
?5.安裝opencv3.1
從官網(http://opencv.org/downloads.html)下載Opencv,并將其解壓到你要安裝的位置,假設解壓到了/home/opencv。
安裝前準備,創建編譯文件夾:
cd ~/opencv mkdir build cd build配置:
1 sudo apt install cmake 2 sudo cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..編譯:
sudo make -j8-j8表示并行計算,根據自己電腦的配置進行設置,配置比較低的電腦可以將數字改小或不使用,直接輸make。
可能出現問題:
這是因為opecv3.0與cuda8.0不兼容導致的。解決辦法:修改 ~/opencv/modules/cudalegacy/src/graphcuts.cpp文件內容,如圖:其中,?#if !defined (HAVE_CUDA) || defined (CUDA_DISABLER)||(CUDART_VERSION>=8000) 是我們修改的。
以上只是將opencv編譯成功,還沒將opencv安裝,需要運行下面指令進行安裝:
6.配置caffe
(1)使用Git直接下載Caffe非常簡單,或者去https://github.com/BVLC/caffe下載。由于我習慣去github上找代碼,所以就直接去下載的源碼。
下載完成后,會在家目錄下的下載里找到caffe-master.zip,用unzip命令解壓到家目錄下,然后重命名為caffe.
(2)因為make指令只能make Makefile.config文件,而Makefile.config.example是caffe給出的makefile例子,因此,首先將Makefile.config.example的內容復制到Makefile.config:?sudo cp Makefile.config.example Makefile.config?
(3) 打開并修改配置文件:
?sudo gedit Makefile.config #打開Makefile.config文件?根據個人情況修改文件:
a.若使用cudnn,則
將
#USE_CUDNN := 1
修改成:
USE_CUDNN := 1
b.若使用的opencv版本是3的,則
將
#OPENCV_VERSION := 3
修改為:
OPENCV_VERSION := 3
c.若要使用python來編寫layer,則
將????? ?#WITH_PYTHON_LAYER := 1 ?
修改為?WITH_PYTHON_LAYER := 1?
d.重要的一項 :
將?# Whatever else you find you need goes here.?下面的
修改為:
1 INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial 2 LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial這是因為ubuntu16.04的文件包含位置發生了變化,尤其是需要用到的hdf5的位置,所以需要更改這一路徑.
(4)修改makefile文件
打開makefile文件,做如下修改:
將:
替換為:
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)(5)編輯/usr/local/cuda/include/host_config.h
將其中的第115行注釋掉:
將
(6)編譯
make all -j8 #-j根據自己電腦配置決定
編譯過程中可能會出現如下錯誤:
錯誤內容1:
"fatal error: hdf5.h: 沒有那個文件或目錄"
解決辦法:
step1:在Makefile.config文件的第85行,添加/usr/include/hdf5/serial/ 到 INCLUDE_DIRS,也就是把下面第一行代碼改為第二行代碼。
將:
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
替換為:
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/
stept2:在Makefile文件的第173行,把 hdf5_hl 和hdf5修改為hdf5_serial_hl 和 hdf5_serial,也就是把下面第一行代碼改為第二行代碼。
將:
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5
改為:
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial
錯誤內容2:
"libcudnn.so.5 cannot open shared object file: No such file or directory"
解決辦法是將一些文件復制到/usr/local/lib文件夾下:
#注意自己CUDA的版本號!
?(8)測試
sudo make runtest如果運行之后出現下圖,說明caffe配置成功。
?到此caffe配置完畢!
?MNIST數據集測試
配置caffe完成后,我們可以利用MNIST數據集對caffe進行測試,過程如下:
?
1.將終端定位到Caffe根目錄
cd ~/caffe
?
2.下載MNIST數據庫并解壓縮
./data/mnist/get_mnist.sh
?
3.將其轉換成Lmdb數據庫格式
./examples/mnist/create_mnist.sh
?
4.訓練網絡
./examples/mnist/train_lenet.sh
訓練的時候可以看到損失與精度數值,如下圖:
可以看到最終訓練精度是0.9914。
?
轉載于:https://www.cnblogs.com/xuanxufeng/p/6150593.html
與50位技術專家面對面20年技術見證,附贈技術全景圖總結
以上是生活随笔為你收集整理的Ubuntu16.04 安装配置Caffe的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: JSP的getRequestDispat
- 下一篇: .NET、C#和ASP.NET,ASP.