通過Mellanox ConnectX NIC使用XDP加速

Accelerating with XDP over Mellanox ConnectX NICs

XDP（eXpress Data Path）是Linux內(nèi)核網(wǎng)絡(luò)堆棧中的可編程數(shù)據(jù)路徑。為BPF提供了一個框架，可以在運行時實現(xiàn)高性能的包處理。XDP與Linux網(wǎng)絡(luò)堆棧協(xié)同工作，不是內(nèi)核旁路。
由于XDP運行在內(nèi)核網(wǎng)絡(luò)驅(qū)動程序中，可以從網(wǎng)卡的RX環(huán)讀取以太網(wǎng)幀并立即采取運行。XDP通過在驅(qū)動程序中實現(xiàn)的RX鉤子插入eBPF基礎(chǔ)架構(gòu)。XDP是EBPF的一個應(yīng)用程序，可以使用返回碼觸發(fā)操作、修改包內(nèi)容和推/拉頭文件信息。

XDP有各種各樣的用例，比如包過濾、包轉(zhuǎn)發(fā)、負(fù)載平衡、DDOS緩解等等。一個常見的用例是XDP_DROP，指示驅(qū)動程序丟棄數(shù)據(jù)包。這可以通過運行自定義BPF程序來解析在驅(qū)動程序中接收到的傳入數(shù)據(jù)包來完成。這個程序返回一個決策判斷或返回碼（XDP_DROP），其中數(shù)據(jù)包在驅(qū)動程序級被丟棄，而不會浪費任何進(jìn)一步的資源。Ethtool計數(shù)器可用于驗證XDP程序的操作。

Running XDP_DROP

XDP程序一進(jìn)入網(wǎng)絡(luò)驅(qū)動程序就運行，從而提高了網(wǎng)絡(luò)性能。還提高了CPU利用率。Mellanox ConnectX NIC系列允許NIC硬件準(zhǔn)備元數(shù)據(jù)。此元數(shù)據(jù)可用于對使用XDP的應(yīng)用程序執(zhí)行硬件加速。

下面是一個如何使用Mellanox ConnectX-5運行XDP_DROP的示例。

檢查當(dāng)前內(nèi)核是否支持bpf和xdp：

sysctl net/core/bpf_jit_enable

如果找不到，請編譯并運行啟用了BPF的內(nèi)核。可以使用任何大于5.0的上游內(nèi)核。
啟用以下kconfig標(biāo)志：

· BPF BPF_SYSCALL

· BPF_JIT

· HAVE_BPF_JIT

· BPF_EVENTS

創(chuàng)新啟動新的kernel.

Install clang and llvm:

yum install -y llvm clang libcap-devel

按照以下方法編譯

cd make samples/bpf/

這將編譯所有可用的XDP應(yīng)用程序。編譯完成后，將看到/sample/bpf下的所有XDP應(yīng)用程序（圖1）。

Figure 1. XDP applications under /sample/bpf.

在前面的安裝中，現(xiàn)在可以運行XDP應(yīng)用程序了。可以在兩種模式下運行：
驅(qū)動程序路徑必須在驅(qū)動程序中具有實現(xiàn)。以頁面分辨率工作，不創(chuàng)建SKB。性能明顯提高。Mellanox NIC支持此模式。

通用路徑適用于任何網(wǎng)絡(luò)設(shè)備。與SKBs合作，但性能更差。

在驅(qū)動程序路徑中運行XDP_DROP。XDP_DROP是在Linux中丟棄數(shù)據(jù)包最簡單、最快的方法之一。在這里，指示驅(qū)動程序在驅(qū)動程序的最早Rx階段丟棄數(shù)據(jù)包。這意味著數(shù)據(jù)包被回收回剛剛到達(dá)的RX環(huán)隊列中。

位于<linux\u source>/samples/bpf/implements XDP Drop的xdp1應(yīng)用程序。

選擇選擇的流量生成器。使用Cisco TRex。

在RX端，使用以下命令在驅(qū)動程序路徑中啟動xdp1：

<PATH_TO_LINUX_SOURCE>/samples/bpf/xdp1 -N # -N can be omitted

可以使用應(yīng)用程序輸出，同時ethtool計數(shù)器顯示XDP丟棄率：

ethtool -S | grep -iE rx[0-9]*_xdp_drop

Figure 2. Verify XDP drop counter using ethtool counters.

總結(jié)

以上是生活随笔為你收集整理的通过Mellanox ConnectX NIC使用XDP加速的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。