ib网卡命令_infiniband网卡安装、使用总结
最近多次安裝、使用infiniband網(wǎng)卡，每次都要到處尋找相關(guān)資料，所以決定做此總結(jié)，方便查找。
1. 基礎(chǔ)知識(shí)
首先，得了解什么是RDMA，貼幾個(gè)資料：
然后得了解如何實(shí)現(xiàn)，這兩個(gè)可以有個(gè)初步了解：
編程過(guò)程，真正有用的還是官方的手冊(cè)：
mellanox官方社區(qū)能找到很多你需要的東西：
也下了個(gè)中文版，但我感覺英文版看著更好。
RDMA編程入門可參考的項(xiàng)目：
2. 驅(qū)動(dòng)安裝
下載驅(qū)動(dòng)，進(jìn)入網(wǎng)站選擇相應(yīng)系統(tǒng)和軟件版本，archive versions這里可以下載舊版本驅(qū)動(dòng)
ubuntu16.04平臺(tái)5.0-2.1.8.0的下載鏈接為：
wget http://content.mellanox.com/ofed/MLNX_OFED-5.0-2.1.8.0/MLNX_OFED_LINUX-5.0-2.1.8.0-ubuntu16.04-x86_64.iso
其它平臺(tái)和版本的驅(qū)動(dòng)，可以自己修改。
掛載或解壓，如果下載的iso則掛載，若是tgz就解壓，下面是掛載命令：
sudo mount -o ro,loop MLNX_OFED_LINUX-5.0-2.1.8.0-ubuntu16.04-x86_64.iso /mnt
安裝
cd /mnt
sudo ./mlnxofedinstall
可能會(huì)提示你安裝一堆東西，復(fù)制，安裝就可以了。
安裝成功截圖：
執(zhí)行以下命令：
sudo /etc/init.d/openibd restart
sudo /etc/init.d/opensmd restart
查看網(wǎng)卡狀態(tài)：
sudo hca_self_test.ofed
沒有 failed 就對(duì)了。
一些其它查看網(wǎng)卡信息的命令：
ibstat
ibstatus
ibv_devinfo
ibv_devices#查看本主機(jī)的infiniband設(shè)備
ibnodes#查看網(wǎng)絡(luò)中的infiniband設(shè)備
配置ip
ubuntu執(zhí)行：
sudo vim /etc/network/interfaces
在文件中添加如下內(nèi)容：
auto enp1s0
iface enp1s0 inet static
address 172.16.0.104
netmask 255.255.255.0
broadcast 172.16.0.255
enp1s0是網(wǎng)卡名稱，通過(guò)ifconfig查看，address是要給infiniband網(wǎng)卡配置的ip地址。
重啟網(wǎng)絡(luò)服務(wù)：
sudo service networking restart
centos執(zhí)行：
sudo vim /etc/sysconfig/network-scripts/ifcfg-ib0
添加如下內(nèi)容：
DEVICE=ib0
BOOTPROTO=static
IPADDR=172.16.0.104
NETMASK=255.255.255.0
BROADCAST=172.16.0.255
NETWORK=172.16.0.0
ONBOOT=yes
重啟網(wǎng)口：
sudo ifdown ib0
sudo ifup ib0
3. 性能測(cè)試
服務(wù)端運(yùn)行：
ib_send_bw -a -c UD -d mlx4_0 -i 1
注意，參數(shù) -i 指定端口，在一個(gè)網(wǎng)卡有多個(gè)網(wǎng)口的時(shí)候，需要指定測(cè)試的端口，具體哪個(gè)端口，通過(guò) ibstatus 可以看到。
客戶端運(yùn)行：
ib_send_bw -a -c UD -d mlx4_0 -i 1 172.16.0.102
最后面的ip地址是服務(wù)端infiniband網(wǎng)卡的ip地址。
其他測(cè)試項(xiàng)
ib_atomic_bw ib_atomic_lat ib_read_bw ib_read_lat ib_send_bw ib_send_lat ib_write_bw ib_write_lat
bw表示測(cè)試帶寬，lat表示測(cè)試延遲，參數(shù)同上，可以i通過(guò) --help 查看。
4. 其他問(wèn)題
更換網(wǎng)卡工作模式：
有些網(wǎng)卡，當(dāng)你安裝好驅(qū)動(dòng)后，通過(guò) ibstatus 命令，會(huì)出現(xiàn)下面的情況：
可以看到，該網(wǎng)卡現(xiàn)在處于 Ethernet 的工作模式，如果想要切換成infiniband模式，參考如下鏈接：
查看當(dāng)前工作模式：
sudo /sbin/connectx_port_config -s
輸入以下命令切換工作模式：
sudo /sbin/connectx_port_config
如果提示如圖，說(shuō)明不支持infiniband模式，否則，就切換成功了，再次使用一下命令可以驗(yàn)證：
sudo /sbin/connectx_port_config -s
不能切換到infiniband工作模式，并不代表不支持RDMA，處于Ethernet模式的網(wǎng)卡使用 RoCE 協(xié)議工作。
RDMA 協(xié)議：底層可以是以太網(wǎng)( RoCE 或者 iWARP )或者 Infiniband
有些網(wǎng)卡只支持Ethernet(RoCE)，不支持Infiniband模式，也就是想從Ethernet切換到Infiniband模式時(shí)不能成功，這個(gè)要提前了解好。我目前了解到的，Connectx-3只支持Ethernet模式。
總結(jié)
以上是生活随笔為你收集整理的ib网卡命令_infiniband网卡安装、使用总结的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 半口种植牙多少钱
- 下一篇： c++ 原子操作 赋值_原子操作原理