numpy pytorch 接口对应_用树莓派4b构建深度学习应用(四)PyTorch篇
前言
上回我們安裝了OpenCV 4.4,相信對源碼編譯庫文件有了一定的了解,這篇我們進一步在樹莓派上編譯并安裝 Pytorch 的最新版本。PyTorch 1.6 的新特性
PyTorch 1.6 版本增加了許多新的 API、用于性能改進和性能分析的工具、以及對基于分布式數(shù)據(jù)并行(Distributed Data Parallel, DDP)和基于遠程過程調(diào)用(Remote Procedure Call, RPC)的分布式訓(xùn)練的重大更新。部分更新亮點包括:
- 原生支持自動混合精度訓(xùn)練(AMP, automatic mixed-precision training),只需增加幾行新代碼就可以提高大型模型訓(xùn)練50-60% 的速度。
- 為 tensor-aware 增加對 TensorPipe 的原生支持
- 在前端 API 增加了對 complex tensor 的支持
- 新的分析工具提供了張量級的內(nèi)存消耗信息
- 針對分布式數(shù)據(jù)并行訓(xùn)練和遠程過程調(diào)用的多項改進和新功能
增加交換內(nèi)存(可選)
編譯 torch 需要花費大量的內(nèi)存,在低于 2g 或以下內(nèi)存的樹莓派上,可以通過增加虛擬內(nèi)存來防止OOM,4g 或 8g 的版本的樹莓派可跳過這步。
1. 修改配置文件
sudo nano /etc/dphys-swapfil設(shè)置 4g 的交換內(nèi)存,文件內(nèi)容如下:
# /etc/dphys-swapfile - user settings for dphys-swapfile package # author Neil Franklin, last modification 2010.05.05 # copyright ETH Zuerich Physics Departement # use under either modified/non-advertising BSD or GPL license# this file is sourced with . so full normal sh syntax applies# the default settings are added as commented out CONF_*=* lines # where we want the swapfile to be, this is the default #CONF_SWAPFILE=/var/swap# set size to absolute value, leaving empty (default) then uses computed value # you most likely don't want this, unless you have an special disk situation CONF_SWAPSIZE=4096保存退出,重啟服務(wù)生效。
sudo service dphys-swapfile restart查看一下 swap 是否已調(diào)整。
swapon -sPyTorch 安裝環(huán)境依賴
1. 安裝依賴
首先安裝一些編譯需要的依賴庫:
sudo apt-get install libopenblas-dev cython3 libatlas-base-dev m4 libblas-dev cmake sudo apt-get install python3-dev python3-yaml python3-setuptools python3-wheel python3-pillow python3-numpy2. 切換虛擬環(huán)境
deactivate # 退出之前 OpenCV 的虛擬環(huán)境 # 創(chuàng)建新的虛擬環(huán)境 virtualenv -p python3 ~/my_envs/pytorch source ~/my_envs/pytorch/bin/activate編譯安裝 PyTorch
1. 設(shè)置配置項
export NO_CUDA=1 export NO_DISTRIBUTED=1 export NO_MKLDNN=1 export NO_NNPACK=1 export NO_QNNPACK=12. 安裝庫文件
pip3 install numpy pyyamlTip: 務(wù)必確認一下虛擬環(huán)境下,已經(jīng)安裝了numpy。沒有numpy的話也能成功編譯,但是編譯出來的PyTorch 不支持numpy。PyTorch was compiled without NumPy support。3. 下載源碼及支持庫
git clone https://github.com/pytorch/pytorch.git cd pytorch # 查詢所要編譯的版本 git branch -a git tag git checkout v1.6.0 git submodule update --init --recursive git submodule update --remote third_party/protobuf4. 生成whl安裝包
python3 setup.py bdist_wheel接下來就是歷時 5 個多小時漫長的編譯過程了,如果說之前編譯 OpenCV 只是去喝杯咖啡就能回來繼續(xù),那編譯 PyTorch 的時間都夠去好好睡上一覺了
順便安裝一個CPU 溫度和使用率工具s-tui,來監(jiān)測一下系統(tǒng)狀態(tài)。
sudo pip install s-tui --ignore-installed sudo s-tui持續(xù)滿負荷狀態(tài):
5. 安裝 PyTorch
cd dist pip3 install ./torch-1.6.0a0+b31f58d-cp37-cp37m-linux_armv7l.whl看到如下信息,就代表安裝成功了。
編譯安裝 Torchvision
1. 下載源碼
git clone https://github.com/pytorch/vision.git2. 選擇對應(yīng)版本
pytorch 1.6 對應(yīng)的 torchvision 是 0.7 的版本,checkout 出來,并安裝 PIL 支持。
pip3 install pillow cd vision git checkout v0.7.0-rc4 git submodule update --init --recursive python3 setup.py bdist_wheelTip: 編譯如遇到以上錯誤信息,是由于源碼中有兩處變量類型錯誤,需要用 size_t 強制類型轉(zhuǎn)換一下。修改對應(yīng)的 seekable_buffer.cpp 和 util.cpp 文件即可。3. 安裝 TorchVision
cd dist pip3 install ./torchvision-0.7.0a0+78ed10c-cp37-cp37m-linux_armv7l.whl搞定!
運行 yolo v5
1. 克隆 yolov5 源碼
git clone https://github.com/ultralytics/yolov52. 軟鏈接到 OpenCV
cd ~/my_envs/pytorch/lib/python3.7/site-packages ln -s /usr/local/lib/python3.7/site-packages/cv2 cv2Tip: 若要刪除軟鏈接,用 rm -rf ./cv2 即可,要注意的是千萬別在最后添加 /。3. 安裝依賴庫
pip install tqdm pip install matplotlib pip install scipy4. 圖像推理
測試用最小的模型 yolov5s 對兩張圖片進行目標(biāo)檢測,識別率還不錯,但速度一般,一張 3.8 秒,一張 2.8 秒,大約 0.3fps,后續(xù)我們可以對比一下openvino 加速的效果。
cd yolov5 python3 detect.py --source ./inference/images/ --weights weights/yolov5s.pt --conf 0.5到這里,樹莓派里的 pytorch1.6 已經(jīng)可以正常工作了。
資料下載
若想跳過冗長的編譯過程,可以直接下載whl,然后用 pip install 進行安裝即可。基于 python 3.7 的版本,除了 pytorch 1.6 + torchvision 0.7,我還編譯了最新的 pytorch 1.7 + torchvision 0.8(安裝時要注意版本匹配)。
下一篇預(yù)告
我們將開始安裝 Tensorflow 的開發(fā)環(huán)境, 并運行一下 tensorflow lite, 看一下裸板樹莓派推理的極限速度, 敬請期待...歡迎掃碼關(guān)注,更多分享總結(jié)
以上是生活随笔為你收集整理的numpy pytorch 接口对应_用树莓派4b构建深度学习应用(四)PyTorch篇的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: router vue 动态改变url_V
- 下一篇: 能用来写安卓吗_石粉能否用来制砂生产?能