去年第四季度開始，XSKY團隊[3]開始研究英特爾向社區開源的SPDK。福叔在學習之中發現，就像軟件定義網絡(SDN)和網絡功能虛擬化(NFV)中的性能利器DPDK，SPDK也極有機會給SDS領域帶來革命性的影響。如果朋友們不知道DPDK是干什么的，沒有關系，我將在以后抽時間給大家分享下DPDK的學習心得，以及我們把它用在存儲領域的一些想法，今天先看看SPDK。(這篇文章的圖和大部分內容來自英特爾官方網站公開的技術資料[1][2]，加上自己的理解，原英文部分內容的著作權歸英特爾公司所有……)

技術背景

固態硬盤正在迅速擴展它在數據中心中的份額，相較于傳統存儲介質，新的閃存介質具有性能，耗電，機架空間等等方面的優勢。隨著更新的閃存介質投入市場(如3D NAND)，這些優勢還在不斷擴大。

用戶在集成新一代的NVMe設備，如英特爾P3700這樣的“性能怪獸”時，會碰到很大的挑戰。因為NVMe硬盤的吞吐量和時延表現太好了(2GB/s左右的讀寫帶寬，45萬的每秒隨機讀和17萬的每秒隨機寫，20μm級別的時延)——就IOPS而言，比傳統SAS或SATA溫氏磁盤快上千倍，也比之前的SATA SSD快5~10倍。一般存儲軟件的表現，相對于NVMe來說，在整個IO事務中消耗的時間百分比就顯得太多了。換言之，存儲軟件協議棧的性能和效率在存儲整體系統中的地位就顯得越來越關鍵了。舉個類似的例子，我們從北京乘飛機到美國三藩，按照現在的飛行速度，在天上需要13個小時。這種情況下，你安檢的時間，過海關的時間，候機的時間，加起來3個小時，相對于總共的13+3=16個小時也不算長。設想現在飛機的飛行速度提高了100倍，從首都機場T3起飛后，不到10分鐘的飛行時間，就可在加州落地，這時3個小時的地面手續就顯得很沒有效率了。存儲系統中軟硬件的協作關系，以及網絡、數據庫等其他計算機領域都有類似的情況或命題。我們可以把NVMe看做一個硬件進步推動軟件革新需求的例子，隨著后續比它更快的存儲介質投入市場，這種推動力將更為急迫。

為幫助存儲OEM和軟件定義存儲開發商充分利用好新的硬件，英特爾開發了SPDK(Storage Performance Development Kit)，包含一套驅動程序，以及一整套端到端的存儲參考架構。SPDK的目標是能夠把硬件平臺的計算、網絡、存儲的最新性能進展充分發揮出來。自芯片而上進行設計優化，SPDK已展示出超高的性能指標。在僅僅幾個CPU核參與下，配上一定數量的NVMe硬盤，并沒使用任何附加的offload硬件(如FPGA)，使用SPDK的存儲系統能輕松達到數百萬IOPS。英特爾計劃將基于Linux的整個SPDK參考架構源代碼免費提供，其中，用戶空間的NVMe驅動源代碼部分已經通過01.org[2]向社區開放，SPDK中的其他部分組件也將在2016年逐步開源。

軟件架構概覽

SPDK是如何工作的?它超高的性能實際上來自于兩項核心技術：第一個是用戶態運行，第二個是輪詢模式驅動。下面，讓我們分析一下各自細節。

首先，將設備驅動代碼運行在用戶態，是和運行在“內核態”相對而言的。把設備驅動移出內核空間避免了內核上下文切換與中斷處理，從而節省了大量的CPU負擔，允許更多的指令周期用在實際處理數據存儲的工作上。無論存儲算法復雜還是簡單，也無論進行去重(deduplication)，加密(encryption)，壓縮(compression)，還是簡單的塊讀寫，更少的指令周期浪費意味著更好的整體性能。

其次，傳統的中斷式IO處理模式，采用的是被動的派發式工作，有IO需要處理時就請求一個中斷，CPU收到中斷后才進行資源調度來處理IO。舉一個出租車的例子做類比，傳統磁盤設備的IO任務就像出租車乘客，CPU資源被調度用來處理IO中斷就像出租車。當磁盤速度遠慢于CPU時，CPU中斷處理資源充沛，中斷機制是能對這些IO任務應對自如的。這就好比是非高峰時段，出租車供大于求，路上總是有空車在掃馬路，乘客隨時都能叫到車。然而，在高峰時段，比如周五傍晚在鬧市區叫車(不用滴滴或者專車)，常常是看到一輛車溜溜的近前來，而后卻發現后座已經有乘客了。需要等待多久，往往是不可預知的。相信你一定見過在路邊滯留，招手攔車的人群。同樣，當硬盤速度上千倍的提高后，將隨之產生大量IO中斷，Linux內核的中斷驅動式IO處理(Interrupt Driven IO Process)就顯得效率不高了。

操作系統的世界里，除了中斷式IO處理的方式(即上面提到的被動的派發式工作)，還有一種IO處理方式叫做定點輪詢(polling)。還是用出租車的例子，試想在機場外出租車排隊接客是怎么工作的——有一個或者多個專門的出租車道，排著一隊隊等候的出租車，當乘客從航站樓中一涌而出時，一輛輛出租車能夠用少于十來秒的時間高效的接走一位乘客，后面的車緊接著跟上處理下一位客人。

PMD就是按照類似的機制工作的，SPDK中其他所有的組件也是按照這個理念設計的。專門的計算資源(特定的CPU核)用來主導存儲設備的輪詢式處理——就像專門的出租車道和車流用來處理乘客任務，數據包和塊得到迅速派發，等待時間最小化，從而達到低延時、更一致的延時(抖動變少)、更好的吞吐量的效果。

那么，輪詢模式驅動是否在所有的情況下都是最高效的處理IO的方式呢?答案是“也不盡然”。設想一下，如果航站樓里沒有什么旅客出來，乘車的人稀稀拉拉的時候，我們可以看到出租車候車區等候派工的車輛長龍，這些等待的車子完全可以到市區去掃活兒，做些更有意義的事情。同樣的道理，對于低速的SATA HDD，PMD的處理機制不但給IO性能帶來的提升不明顯，反而浪費了CPU資源。

這就是為什么我們在學習計算機課程時，老師會講所謂“中斷驅動IO處理”是比其他大部分IO處理機制更好的調度方式。因為在那個年代，CPU的速度遠大于磁盤等存儲設備，CPU也沒有很多核或線程交給操作系統用來做更特殊的事情。無論如何，是終端驅動處理還是輪詢驅動處理，取決于系統硬件的搭配方式，不同的條件會匹配不同的優化策略。

SPDK中包含了多個子組件，通過用戶態處理機制和輪詢驅動模式相互聯系。每個子組件都是為了解決整個存儲系統中的某一部分瓶頸問題而存在的。當然，用戶可以選擇只將這些子組件單獨拆出來，用到非SPDK的框架中，去優化他們自己的存儲處理堆棧。舉例來說，SPDK中有個組件叫用戶態網絡服務(UNS，UserSpace Network Services)庫，這是一個Linux內核TCP/IP協議棧的替代品，能夠突破通用TCP/IP協議棧的種種性能限制瓶頸。通過使用用戶態的，輪詢方式的TCP/IP協議棧，SPDK能夠在更少的CPU指令周期條件下處理TCP/IP數據包排序和計算，達到極高的IOPS性能。

SPDK中大概有三類子組件：網絡前端、處理框架、后端。

網絡前端子組件包括DPDK網卡驅動和上面提到的用戶態網絡服務(UNS)。DPDK在網卡側提供了一個高性能的發包收包處理框架，在數據從網卡到操作系統用戶態之間提供了一條快速通道。UNS代碼則接續這一部分處理，“crack”了TCP/IP數據包的標準處理方式，并形成iSCSI命令。

從這個環節開始，“處理框架”部分拿到了數據包內容，將iSCSI命令轉換為SCSI塊級命令。然而，在它將這些命令發到“后端”驅動之前，SPDK提供了一套API框架，讓廠商能夠插入自己定義的處理邏輯(架構圖中綠色的方框)。通過這種機制，存儲廠商可在這里實現例如緩存、去重、壓縮、加密、RAID計算，或擦除碼(Erasure Coding)計算等功能，使這些功能包含在SPDK的處理流程中。在SPDK的開源軟件包里，會有這些功能的實現樣例——雖然不建議用戶直接在為生產環境準備的產品代碼里照搬。

最后，數據到達了“后端”驅動層，在這里SPDK和物理塊設備交互(讀和寫操作)。如前所述，SPDK提供了用戶態的PMD，支持NVMe設備、Linux AIO設備(傳統spinning硬盤)、RAMDISK設備，以及利用到英特爾I/O加速技術的新設備(CBDMA=3D XPoint?)。這一系列后端設備驅動涵蓋了不同性能的存儲分層，保證SPDK幾乎與每種存儲應用形成關聯。事實上，英特爾在2015年9月首先開源的SPDK部分就主要包含支持NVMe的用戶態輪詢模式驅動。

當然，SPDK并不適用于所有的存儲架構，這里是官方給出的一些Q&A，幫助存儲開發人員迅速找到這項技術的定位：

Q：SPDK包是基于Linux的嗎?

A：SPDK僅僅在Linux平臺上得到測試和支持。

Q：SPDK的IO路徑是運行在用戶態嗎?

A：SPDK能將IO路徑從網卡到硬盤排他化的運行在用戶態，提高整體性能和效率。

Q：SPDK的系統架構中的線程模型包含無鎖化的PMD嗎?

A：事實上，PMD連續的在它所占用的物理線程上運行(在沒有IO時并不休眠或放棄處理器資源)，因此PMD有自己的線程模型，可以認為是無鎖的。

Q：SPDK中使用了與DPDK相似的機制處理網絡數據包流量嗎?

A：SPDK包含了對DPDK的支持框架，因此熟悉DPDK的開發人員能發現SPDK很容易集成。

Q：SPDK的源代碼使用什么開源許可，是否禁止代碼再分發?

A：SPDK的一部分源代碼是BSD許可的，例如NVMe和CBDMA用戶態驅動。其他部分以Intel License許可開源(UNS和用戶態iSCSI Target)。但這樣的安排也許在將來會改變。無論如何，SPDK的所有源代碼都將向社區免費提供。

本文轉自d1net（轉載）

總結

以上是生活随笔為你收集整理的SPDK，软件定义存储的催化剂的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。