生活随笔
收集整理的這篇文章主要介紹了
用GPUDirect RDMA技术做的代码测试
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
用GPUDirect RDMA技術做的代碼測試
[復制鏈接]
| sisiy | 電梯直達 樓主 發表于 2015-7-13 21:06:28|只看該作者 要應用GPUDirect RDMA技術，首先要有足夠的硬件支持。包括infiniband的HCA卡（Mellanox ConnectX-3及以后產品），GPU卡（K20及以后產品）。
其次，除了應用GPU必備的Nvidia Driver、Nvidia CUDA toolkit，應用infiniband必備的MLNX_OFED驅動外，還要額外安裝一個plug module to enable GPUDirect RMDA組件。
具體可參見附件中Mellanox的manual，內有驅動下載地址以及安裝示例。
在此,對一些安裝細節做一些說明（以 CentOS 6.5+openMPI為例）： 1、 linux系統內核查詢指令：? ?? ???uname –a 2、 CentOS版本號:? ?? ?? ?? ?? ?? ?? ?? ?cat /etc/redhat-release 3、 HCA卡型號：? ?? ?? ?? ?? ?? ?? ?? ?? ?? ???lspci |grep mellanox –i 4、 現有infiniband驅動：? ?? ?? ?? ?? ? ofed_info|head -1 5、 Cuda版本：? ?? ?? ?? ?? ?? ?? ?? ?? ?? ???nvcc -V 6、 Nvidia_peer包安裝：? ?? ?? ?? ??? 先安裝rpm-build包----------yum install rpm-build; 下載nvidia_perr_memory安裝包并解壓; 進入解壓后的目錄，運行rpmbuild –rebuild nvidia_peer_memory-1.0-0.src.rpm; cd ~/rpmbuild/RPMS/x86_64; rpm –ivh nvidia_peer_memory-1.0-0.x86_64.rpm; 運行lsmod |grep nv_peer_mem檢查是否安裝成功 運行server nv_peer_mem start 開啟模塊
7、openMPI-1.8.1安裝：? ?? ?? ?? ? 下載并解壓openmpi-1.8.1或以后版本；
以如下編譯選項安裝： ./configure –prefix=要安裝的目錄 –with-openib –with-cuda=cuda所在目錄 –with-cuda-include=cuda所在目錄/include –with-cuda-libpath=cuda所在目錄/lib64 –enable-oreerun-prefix-by-default –disable-io-romio –enable-picky Make;make install
至此，軟件安裝已完成。軟件實例代碼以及編譯選項見附件。 運行時請使用 mpirun –app appfile 形式。 appfile文件寫法如下： -H 第一臺機器的IB_INTERFACE??-np 1 –mca btl openib,self,sm ./b.out -H 第二臺機器的IB_INTERFACE??-np 1 –mca btl openib,self,sm ./b.out
測試結果見附件。測試中第一列是以K為單位的數據量，第二行為RMDA方法的時間，第三行為傳統方法的時間。 |
|
總結
以上是生活随笔為你收集整理的用GPUDirect RDMA技术做的代码测试的全部內容，希望文章能夠幫你解決所遇到的問題。
如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。
