Ubuntu16.04 Caffe 编译安装步骤记录
歷時一周終于在 ubuntu16.04 系統(tǒng)成功安裝 caffe 并編譯,網(wǎng)上有很多教程,但是某些步驟并沒有講解詳盡,導致配置過程總是出現(xiàn)各種各樣匪夷所思的問題,尤其對于新手而言更是欲哭無淚,在我飽受折磨后決定把安裝步驟記錄下來,盡量詳盡清楚明白,避免后來小白重蹈覆轍。
安裝硬件: intel i5 + NVIDIA 740 M
安裝流程細分為如下10個步驟,細化步驟粒度更易避免出錯:
1、安裝依賴包
2、禁用 nouveau
3、配置環(huán)境變量
4、下載 CUDA 8.0
5、安裝 CUDA 8.0
6、驗證 CUDA 8.0 是否安裝成功
7、安裝 cudnn
8、安裝 opencv3.1
9、安裝 caffe
10、安裝 pycaffe notebook 接口環(huán)境
第1步 安裝依賴包
安裝后續(xù)步驟或環(huán)境必需的依賴包,依次輸入以下命令:
sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compilersudo apt-get install --no-install-recommends libboost-all-devsudo apt-get install libopenblas-dev liblapack-dev libatlas-base-devsudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-devsudo apt-get install git cmake build-essential有一定幾率安裝失敗而導致后續(xù)步驟出現(xiàn)問題,所以要確保以上依賴包都已安裝成功,驗證方法就是重新運行安裝命令,如驗證 git cmake build-essential是否安裝成功共則再次運行以下命令:
sudo apt-get install git cmake build-essential界面提示如下則說明已成功安裝依賴包,否則繼續(xù)安裝直到安裝成功。
yhao@yhao-X550VB:~$ sudo apt-get install git cmake build-essential 正在讀取軟件包列表... 完成 正在分析軟件包的依賴關(guān)系樹 正在讀取狀態(tài)信息... 完成 build-essential 已經(jīng)是最新版 (12.1ubuntu2)。 cmake 已經(jīng)是最新版 (3.5.1-1ubuntu3)。 git 已經(jīng)是最新版 (1:2.7.4-0ubuntu1.1)。 下列軟件包是自動安裝的并且現(xiàn)在不需要了:lib32gcc1 libc6-i386 使用'sudo apt autoremove'來卸載它(它們)。 升級了 0 個軟件包,新安裝了 0 個軟件包,要卸載 0 個軟件包,有 94 個軟件包未被升級。第2步 禁用 nouveau
安裝好依賴包后需要禁用 nouveau,只有在禁用掉 nouveau 后才能順利安裝 NVIDIA 顯卡驅(qū)動,禁用方法就是在 /etc/modprobe.d/blacklist-nouveau.conf 文件中添加一條禁用命令,首先需要打開該文件,通過以下命令打開:
sudo gedit /etc/modprobe.d/blacklist-nouveau.conf打開后發(fā)現(xiàn)該文件中沒有任何內(nèi)容,寫入:
blacklist nouveau option nouveau modeset=0保存時命令窗口可能會出現(xiàn)以下提示:
** (gedit:4243): WARNING **: Set document metadata failed: 不支持設(shè)置屬性 metadata::gedit-position無視此提示~,保存后關(guān)閉文件,注意此時還需執(zhí)行以下命令使禁用 nouveau 真正生效:
sudo update-initramfs -u第3步 配置環(huán)境變量
同樣使用 gedit 命令打開配置文件:
sudo gedit ~/.bashrc打開后在文件最后加入以下兩行內(nèi)容:
export LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATHexport LD_LIBRARY_PATH=/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH保存退出。
第4步 下載 CUDA 8.0
進入 https://developer.nvidia.com/cuda-downloads ,依次選擇 CUDA 類型然后下載即可。
第5步 安裝 CUDA 8.0
第四步下載的1.4G的 CUDA中包含有 nvidia 顯卡驅(qū)動,故此步驟 CUDA 的安裝包括了 nvidia 顯卡驅(qū)動的安裝,此時注意你是否已經(jīng)安裝過 nvidia 顯卡驅(qū)動,若無法保證已安裝的 nvidia 顯卡驅(qū)動一定正確,那就卸載掉之前安裝的 nvidia 顯卡驅(qū)動(卸載方法鏈接),然后開始安裝 CUDA 8.0;若可以保證已安裝正確的 nvidia 顯卡驅(qū)動,則直接開始安裝 CUDA 8.0,在安裝過程中選擇不再安裝 nvidia 顯卡驅(qū)動。
為了方便開始安裝過程的路徑查找,把下載的 CUDA 安裝文件移動到 HOME 路徑下,然后通過 Ctrl + Alt + F1 進入文本模式,輸入帳號密碼登錄,通過 Ctrl + Alt + F7 可返回圖形化模式,在文本模式登錄后首先關(guān)閉桌面服務(wù):
sudo service lightdm stop然后通過 Ctrl + Alt + F7 發(fā)現(xiàn)已無法成功返回圖形化模式,說明桌面服務(wù)已成功關(guān)閉,注意此步對接下來的 nvidia 驅(qū)動安裝尤為重要,必需確保桌面服務(wù)已關(guān)閉。
Ctrl + Alt + F1 進入文本模式,然后運行 CUDA 安裝文件進行安裝,之前我們已經(jīng)把 CUDA 安裝文件移動至 HOME,直接通過 sh 命令運行安裝文件即可:
sudo sh cuda_8.0.61_375.26_linux.run --no-opengl-libs其中 cuda_8.0.61_375.26_linux.run 是我的 CUDA 安裝文件名,而你需替換為自己的 CUDA 安裝文件名,若此時忘記可直接通過 ls 文件查看文件名,這也是我建議把 CUDA 安裝文件移動到 HOME 下的另一個原因。
執(zhí)行此命令約1分鐘后會出現(xiàn) 0%信息,此時長按回車鍵讓此百分比增長,直到100%,然后按照提示操作即可,先輸入 accept ,然后讓選擇是否安裝 nvidia 驅(qū)動,這里的選擇對應(yīng)第5步開頭,若未安裝則輸入 “y”,若確保已安裝正確驅(qū)動則輸入“n”。
剩下的選擇則都輸入“y”確認安裝或確認默認路徑安裝,開始安裝,此時若出現(xiàn)安裝失敗提示則可能為未關(guān)閉桌面服務(wù)或在已安裝 nvidia 驅(qū)動的情況下重復再次安裝 nvidia 驅(qū)動,安裝完成后輸入重啟命令重啟:
reboot重啟后登錄進入系統(tǒng),配置 CUDA 環(huán)境變量,與第3步相同,使用 gedit 命令打開配置文件:
sudo gedit ~/.bashrc在該文件最后加入以下兩行并保存:
export PATH=/usr/local/cuda-8.0/bin:$PATHexport LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH使該配置生效:
source ~/.bashrc第6步 驗證 CUDA 8.0 是否安裝成功
分別執(zhí)行以下命令:
cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuerysudo make./deviceQuery若看到類似以下信息則說明 cuda 已安裝成功:
./deviceQuery Starting...CUDA Device Query (Runtime API) version (CUDART static linking)Detected 1 CUDA Capable device(s)Device 0: "GeForce GT 740M"CUDA Driver Version / Runtime Version 8.0 / 8.0CUDA Capability Major/Minor version number: 3.5Total amount of global memory: 2004 MBytes (2100953088 bytes)( 2) Multiprocessors, (192) CUDA Cores/MP: 384 CUDA CoresGPU Max Clock rate: 1032 MHz (1.03 GHz)Memory Clock rate: 800 MhzMemory Bus Width: 64-bitL2 Cache Size: 524288 bytesMaximum Texture Dimension Size (x,y,z) 1D=(65536), 2D=(65536, 65536), 3D=(4096, 4096, 4096)Maximum Layered 1D Texture Size, (num) layers 1D=(16384), 2048 layersMaximum Layered 2D Texture Size, (num) layers 2D=(16384, 16384), 2048 layersTotal amount of constant memory: 65536 bytesTotal amount of shared memory per block: 49152 bytesTotal number of registers available per block: 65536Warp size: 32Maximum number of threads per multiprocessor: 2048Maximum number of threads per block: 1024Max dimension size of a thread block (x,y,z): (1024, 1024, 64)Max dimension size of a grid size (x,y,z): (2147483647, 65535, 65535)Maximum memory pitch: 2147483647 bytesTexture alignment: 512 bytesConcurrent copy and kernel execution: Yes with 1 copy engine(s)Run time limit on kernels: NoIntegrated GPU sharing Host Memory: NoSupport host page-locked memory mapping: YesAlignment requirement for Surfaces: YesDevice has ECC support: DisabledDevice supports Unified Addressing (UVA): YesDevice PCI Domain ID / Bus ID / location ID: 0 / 1 / 0Compute Mode:< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 8.0, CUDA Runtime Version = 8.0, NumDevs = 1, Device0 = GeForce GT 740M Result = PASS第7步 安裝 cudnn
登錄官網(wǎng):https://developer.nvidia.com/rdp/cudnn-download ,下載對應(yīng) cuda 版本且 linux 系統(tǒng)的 cudnn 壓縮包,注意官網(wǎng)下載 cudnn 需要注冊帳號并登錄,不想注冊的可從我的網(wǎng)盤下載:https://pan.baidu.com/s/1c2xPVzy
下載完成后解壓,得到一個 cudn 文件夾,該文件夾下include 和 lib64 兩個文件夾,命令行進入 cudn/include 路徑下,然后進行以下操作:
sudo cp cudnn.h /usr/local/cuda/include/ #復制頭文件然后命令行進入 cudn/lib64 路徑下,運行以下命令:
sudo cp lib* /usr/local/cuda/lib64/ #復制動態(tài)鏈接庫 cd /usr/local/cuda/lib64/sudo rm -rf libcudnn.so libcudnn.so.5 #刪除原有動態(tài)文件 sudo ln -s libcudnn.so.5.1.10 libcudnn.so.5 #生成軟銜接 sudo ln -s libcudnn.so.5 libcudnn.so #生成軟鏈接這里需要注意第三行命令,網(wǎng)上有人的第三行命令為:
sudo ln -s libcudnn.so.5.1.5 libcudnn.so.5 #生成軟銜接起初我執(zhí)行的也是上條鏈接 libcudnn.so.5.1.5 的命令,但是后面編譯caffe時出錯,報錯內(nèi)容為 /usr/bin/ld: 找不到 -lcudnn,所以這里需要先查看一下自己應(yīng)該鏈接的是 libcudnn.so.5.1.10 還是 libcudnn.so.5.1.5 ,查看方法為下:
locate libcudnn.so我執(zhí)行完后顯示如下:
yhao@yhao-X550VB:~$ locate libcudnn.so /home/yhao/.local/share/Trash/files/libcudnn.so /home/yhao/.local/share/Trash/files/libcudnn.so.5 /home/yhao/.local/share/Trash/files/libcudnn.so.5.1.10 /home/yhao/.local/share/Trash/files/cuda/lib64/libcudnn.so /home/yhao/.local/share/Trash/files/cuda/lib64/libcudnn.so.5 /home/yhao/.local/share/Trash/files/cuda/lib64/libcudnn.so.5.1.10 /home/yhao/.local/share/Trash/info/libcudnn.so.5.1.10.trashinfo /home/yhao/.local/share/Trash/info/libcudnn.so.5.trashinfo /home/yhao/.local/share/Trash/info/libcudnn.so.trashinfo /home/yhao/cuda/lib64/libcudnn.so /home/yhao/cuda/lib64/libcudnn.so.5 /home/yhao/cuda/lib64/libcudnn.so.5.1.10 /usr/local/lib/libcudnn.so /usr/local/lib/libcudnn.so.5可以看到我的文件是 libcudnn.so.5.1.10 ,并沒有 libcudnn.so.5.1.5,所以第三行命令我鏈接的是 libcudnn.so.5.1.10 ,這里第三行鏈接命令視你的查看結(jié)果而定。
安裝完成后可用 nvcc -V 命令驗證是否安裝成功,若出現(xiàn)以下信息則表示安裝成功:
yhao@yhao-X550VB:~$ nvcc -V nvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2016 NVIDIA Corporation Built on Tue_Jan_10_13:22:03_CST_2017 Cuda compilation tools, release 8.0, V8.0.61第8步 安裝 opencv3.1
進入官網(wǎng) : http://opencv.org/releases.html , 選擇 3.1.0 版本的 source , 下載 opencv-3.1.0.zip
解壓到你要安裝的位置,命令行進入已解壓的文件夾 opencv-3.1.0 目錄下,執(zhí)行:
mkdir build # 創(chuàng)建編譯的文件目錄cd buildcmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..make -j8 #編譯在執(zhí)行 make -j8 命令編譯到 92% 時可能會出現(xiàn)以下錯誤:
modules/cudalegacy/src/graphcuts.cpp:120:54: error: ‘NppiGraphcutState’ has not been declared typedef NppStatus (*init_func_t)(NppiSize oSize, NppiGraphcutState** ppState, Npp8u* pDeviceMem);這是由于opecv3.1與cuda8.0不兼容導致的。解決辦法:
修改 /opencv-3.1.0/modules/cudalegacy/src/graphcuts.cpp 文件內(nèi)容,如圖:
編譯成功后安裝:
sudo make install #安裝安裝完成后通過查看 opencv 版本驗證是否安裝成功:
pkg-config --modversion opencv第9步 安裝 caffe
首先在你要安裝的路徑下 clone :
git clone https://github.com/BVLC/caffe.git進入 caffe ,將 Makefile.config.example 文件復制一份并更名為 Makefile.config ,也可以在 caffe 目錄下直接調(diào)用以下命令完成復制操作 :
sudo cp Makefile.config.example Makefile.config復制一份的原因是編譯 caffe 時需要的是 Makefile.config 文件,而Makefile.config.example 只是caffe 給出的配置文件例子,不能用來編譯 caffe。
然后修改 Makefile.config 文件,在 caffe 目錄下打開該文件:
sudo gedit Makefile.config修改 Makefile.config 文件內(nèi)容:
1.應(yīng)用 cudnn
將 #USE_CUDNN := 1 修改成: USE_CUDNN := 12.應(yīng)用 opencv 版本
將 #OPENCV_VERSION := 3 修改為: OPENCV_VERSION := 33.使用 python 接口
將 #WITH_PYTHON_LAYER := 1 修改為 WITH_PYTHON_LAYER := 14.修改 python 路徑
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib 修改為: INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial這里貼出?我的Makefile.config文件?方便大家參考
然后修改 caffe 目錄下的 Makefile 文件:
將: NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS) 替換為: NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS) 將: LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5 改為: LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial然后修改 /usr/local/cuda/include/host_config.h 文件 :
將 #error-- unsupported GNU version! gcc versions later than 4.9 are not supported! 改為 //#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!OK ,可以開始編譯了,在 caffe 目錄下執(zhí)行 :
make all -j8這是如果之前的配置或安裝出錯,那么編譯就會出現(xiàn)各種各樣的問題,所以前面的步驟一定要細心。
編譯成功后可運行測試:
sudo make runtest -j8如果顯示結(jié)果為上圖所示,則表示 caffe 已經(jīng)成功安裝。
10、安裝 pycaffe notebook 接口環(huán)境
在上一步成功安裝 caffe 之后,就可以通過 caffe 去做訓練數(shù)據(jù)集或者預測各種相關(guān)的事了,只不過需要在命令行下通過 caffe 命令進行操作,而這一步 pycaffe 的安裝以及 notebook 環(huán)境配置只是為了更方便的去使用 caffe ,實際上大多數(shù)都是通過 python 來操作 caffe 的,而 notebook 使用瀏覽器作為界面,可以更方便的編寫和執(zhí)行 python 代碼。
首先編譯 pycaffe :
cd caffesudo make pycaffe -j8以下是我編譯 pycaffe 時出現(xiàn)的錯誤:
python/caffe/_caffe.cpp:10:31: fatal error: numpy/arrayobject.h: 沒有那個文件或目錄解決方法:
sudo apt-get install python-numpy此外也可能是由于 Makefile.config 文件中 python 路徑設(shè)置錯誤出現(xiàn)的錯誤,可根據(jù)上一步檢查一下,也可能出現(xiàn)別的錯誤,百度谷歌之~
編譯 pycaffe 成功后,驗證一下是否可以在 python 中導入 caffe 包,首先進入 python 環(huán)境:
python然后導入 caffe :
>>> import caffe若不報錯則表示 caffe 的 python 接口已正確編譯,但是應(yīng)該不會那么順利,以下是我導入 caffe 時出現(xiàn)的錯誤:
錯誤1:
File "<stdin>", line 1, in <module> ImportError: No module named caffe解決方法:
sudo echo export PYTHONPATH="~/caffe/python" >> ~/.bashrcsource ~/.bashrc錯誤2:
ImportError: No module named skimage.io解決方法:
pip install -U scikit-image #若沒有安裝pip: sudo apt install python-pipok,最后一步,配置notebook環(huán)境
首先要安裝python接口依賴庫,在caffe根目錄的python文件夾下,有一個requirements.txt的清單文件,上面列出了需要的依賴庫,按照這個清單安裝就可以了。
在安裝scipy庫的時候,需要fortran編譯器(gfortran),如果沒有這個編譯器就會報錯,因此,我們可以先安裝一下。
首先進入 caffe/python 目錄下,執(zhí)行安裝代碼:
sudo apt-get install gfortranfor req in $(cat requirements.txt); do sudo pip install $req; done安裝完成以后執(zhí)行:
sudo pip install -r requirements.txt就會看到,安裝成功的,都會顯示Requirement already satisfied, 沒有安裝成功的,會繼續(xù)安裝。
然后安裝 jupyter :
sudo pip install jupyter- 安裝完成后運行 notebook :
就會在瀏覽器中打開notebook, 點擊右上角的New-python2, 就可以新建一個網(wǎng)頁一樣的文件,擴展名為ipynb。在這個網(wǎng)頁上,我們就可以像在命令行下面一樣運行python代碼了。輸入代碼后,按shift+enter運行,更多的快捷鍵,可點擊上方的help-Keyboard shortcuts查看,或者先按esc退出編輯狀態(tài),再按h鍵查看。
為心儀公司折騰DL許久然而并無緣~
加油。
參考文章:
http://www.cnblogs.com/denny402/p/5088399.html
http://blog.csdn.net/sunpeng19960715/article/details/54835148
總結(jié)
以上是生活随笔為你收集整理的Ubuntu16.04 Caffe 编译安装步骤记录的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: laravel支付宝sdk接入
- 下一篇: windows10 vscode 构建最