ARM 虚拟化技术简介
一. 虛擬化技術(shù)
二. 虛擬化技術(shù)的比較
? ? ? ??2.1?全虛擬化和二進(jìn)制重寫（Pure virtualization and binary rewriting）
? ? ? ??2.2 半虛擬化( Para-virtualization)
? ? ? ??2.3 虛擬化環(huán)境中的虛擬內(nèi)存（Virtual memory in virtualization environment）
三. ARM介紹
? ? ? ??3.1 ARM總體介紹
? ? ? ??3.2 ARM協(xié)處理器介紹
? ? ? ??3.3 處理器模式和TrustZone
? ? ? ??3.4 中斷控制器
? ? ? ??3.5 ARM架構(gòu)的虛擬化問(wèn)題（Virtualization Issues with the ARM Architecture）
? ? ? ??3.6 ARM對(duì)虛擬化的硬件支持
? ? ? ??3.7 中斷控制
一. 虛擬化技術(shù)
? ? 虛擬化是一個(gè)概念，單從這個(gè)概念的角度來(lái)看，只要是用某一種物品去模擬另一種物品都可以稱為虛擬化，甚至于有些飯店用豆腐做出肉的味道，我認(rèn)為這也可以稱為一種虛擬化。
? ??但是這里我們主要討論的是計(jì)算機(jī)領(lǐng)域的虛擬化，我們這樣定義虛擬化“虛擬化是將單一物理設(shè)備模擬為相互隔離的多個(gè)虛擬設(shè)備，同時(shí)保證這些虛擬設(shè)備的高效性”。
? ? ??這個(gè)概念的定義里還包含了對(duì)虛擬化的要求，也就是這里的隔離性（isolated）和有效性（efficient）。我們常說(shuō)的hypervisor，有些書也把它稱為 VMM（virtual machine monitor）則是一個(gè)直接運(yùn)行在物理硬件上的軟件，它的功能就是管理物理硬件，以便在不同的虛擬機(jī)之間共享這些物理資源（cpu，內(nèi)存，外設(shè)等等），既然 hypervisor 直接給物理外設(shè)打交道，那它當(dāng)然需要運(yùn)行在特權(quán)模式了，在過(guò)去沒(méi)有 virtualization extesion 的情況下，guest os 和 guest application只能都運(yùn)行在de-privileged?模式，如下圖所示。
? ? Popek 和 Goldberg 有一篇虛擬化的經(jīng)典論文，把需要在特權(quán)模式下執(zhí)行的指令分成了兩類：
- sensitive instructions（敏感指令）：操作特權(quán)資源的指令，包括修改虛擬機(jī)的運(yùn)行模式或者下面物理機(jī)的狀態(tài)；讀寫時(shí)鐘、中斷等寄存器；訪問(wèn)存儲(chǔ)保護(hù)系統(tǒng)、地址重定位系統(tǒng)及所有的I/O指令。
- privileged instructions（特權(quán)指令）：系統(tǒng)中有一些操作和管理關(guān)鍵系統(tǒng)資源的指令，這些指令只有在最高特權(quán)級(jí)上能夠正確運(yùn)行。如果在非最高特權(quán)級(jí)上運(yùn)行，特權(quán)指令會(huì)引發(fā)一個(gè)異常，處理器會(huì)陷入到最高特權(quán)級(jí)，交由系統(tǒng)軟件處理了。
? ? Popek和Goldberg提出構(gòu)建hypervisor的要求：敏感指令是特權(quán)指令的子集。這種標(biāo)準(zhǔn)現(xiàn)在被稱為classically virtualized（經(jīng)典可虛擬化模型），雖然在不滿足這個(gè)要求的情況下也可以做虛擬化（二進(jìn)制翻譯技術(shù)，后面會(huì)介紹），但是如果滿足這個(gè)要求，實(shí)現(xiàn)起來(lái)會(huì)容易很多。下面介紹現(xiàn)有的虛擬化技術(shù)：
? ? ? 虛擬化場(chǎng)景下，要求將 GuestOS 內(nèi)核的特權(quán)解除，從原來(lái)的 0 降低到1或者3。這部分特權(quán)指令在Guest OS中發(fā)生的時(shí)候，就會(huì)產(chǎn)生 Trap，被VMM捕獲，從而由VMM完成。這就是虛擬的本質(zhì)方法，特權(quán)解除和陷入模擬(Privilege deprivileging/Trap-and-Emulation)。
? ? ??虛擬化場(chǎng)景中敏感指令必須被VMM捕獲并完成。對(duì)于一般 RISC 處理器，如 MIPS，PowerPC 以及SPARC，敏感指令肯定是特權(quán)指令，但是x86 例外，x86絕大多數(shù)的敏感指令是特權(quán)指令，但是由于部分敏感指令不是特權(quán)指令，執(zhí)行這些指令的時(shí)候不會(huì)自動(dòng)trap被VMM捕獲。
?
-
Pure virtualization（完全虛擬化）：
? ? ? ? ?完全虛擬化要求硬件架構(gòu)是可虛擬化的（符合經(jīng)典可虛擬化模型），當(dāng)?捕獲（trap）?進(jìn)入 hypervisor 后，由 hypervisor 去模擬敏感指令的執(zhí)行，這項(xiàng)技術(shù)也被稱為陷入模式（trap-and-emulate ） 。當(dāng)一個(gè) guest os 想要去訪問(wèn)特權(quán)資源（物理外設(shè)），就會(huì)產(chǎn)生一個(gè) trap 喚醒 hypervisor，hypervisor 去模擬這個(gè)訪問(wèn)，然后返回到 guest os 的下一條指令去繼續(xù)執(zhí)行。
? ? ? ? 其主要采用優(yōu)先級(jí)壓縮技術(shù)（Ring Compression）和?二進(jìn)制代碼翻譯技術(shù)（Binary Translation）。優(yōu)先級(jí)壓縮技術(shù)讓 VMM 和Guest運(yùn)行在不同的特權(quán)級(jí)下。
? ? ? ??對(duì)x86架構(gòu)而言，即VMM運(yùn)行在最高特權(quán)級(jí)別Ring 0下，Guest OS運(yùn)行在Ring 1下，用戶應(yīng)用運(yùn)行在Ring 3下。因此，Guest OS的核心指令無(wú)法直接下達(dá)到計(jì)算機(jī)系統(tǒng)硬件執(zhí)行，而是需要經(jīng)過(guò)VMM的捕獲和模擬執(zhí)行（部分難以虛擬化的指令需要通過(guò)二進(jìn)制翻譯【Binary Translation】技術(shù)進(jìn)行轉(zhuǎn)換）。如下圖所示。 -
Binary rewriting（二進(jìn)制重寫）：
二進(jìn)制重寫就是當(dāng)硬件架構(gòu)不可虛擬化（不符合經(jīng)典可虛擬化模型）采用的方法。
它可以分為靜態(tài)的和動(dòng)態(tài)的，
1.?靜態(tài)的二進(jìn)制重寫是通過(guò)掃描ELF文件，把所有的敏感指令替換成一個(gè) trap 指令（系統(tǒng)調(diào)用指令），或者用一些非敏感指令去仿真執(zhí)行這條敏感指令;
2. 動(dòng)態(tài)的二進(jìn)制重寫對(duì)敏感指令的處理和靜態(tài)的類似，只不過(guò)它是在運(yùn)行時(shí)去逐條分析指令，其實(shí)這種方法更不好，因?yàn)椴还苁遣皇敲舾兄噶?#xff0c;都需要逐條分析才能確定，非常耗時(shí)。
? ? ? ??靜態(tài)方法在運(yùn)行時(shí)的性能要好過(guò)動(dòng)態(tài)方法，但是經(jīng)常出現(xiàn)一些莫名其妙的錯(cuò)誤，因?yàn)檫\(yùn)行時(shí)狀態(tài)非常復(fù)雜，靜態(tài)修改很難預(yù)料到所有情況。上述過(guò)程如下圖所示。
??????? -
para-virtualization（類虛擬化）：
? ? ? ??這種虛擬化方法，很多書都把它譯為半虛擬化，其實(shí)這種譯法是不準(zhǔn)確的，半虛擬化（partial-virtualization）是一個(gè)早已存在的技術(shù)，它只虛擬化部分外設(shè)來(lái)滿足某些專門的軟件的執(zhí)行環(huán)境，但是不能運(yùn)行所有可能運(yùn)行在物理機(jī)上的軟件。
? ? ? ? 如果讀者對(duì)此有疑問(wèn)，請(qǐng)參閱《系統(tǒng)虛擬化：原理與實(shí)現(xiàn)》，intel開(kāi)源技術(shù)中心和復(fù)旦大學(xué)并行處理研究所著，書中1.3節(jié)對(duì)此有討論。其實(shí)想解釋清楚這部分內(nèi)容是很難的，還要理解各種各樣的虛擬化漏洞。
? ? ? ?簡(jiǎn)單來(lái)說(shuō)，類虛擬化通過(guò)修改 guest os 的源碼（API級(jí)），使得 guest os 避免這些難以虛擬化的指令（虛擬化漏洞）。? ? ? ? ?操作系統(tǒng)通常會(huì)使用到處理器提供的全部功能，例如特權(quán)級(jí)別、地址空間和控制寄存器等。類虛擬化首先要解決的問(wèn)題就是如何陷入VMM。典型的做法是修改 guest os 的相關(guān)代碼，讓 os主動(dòng)讓出特權(quán)級(jí)別，而運(yùn)行在次一級(jí)特權(quán)上。
? ? ? ?這樣，當(dāng) guest os 試圖去執(zhí)行特權(quán)指令時(shí)，保護(hù)異常被觸發(fā)，從而提供截獲點(diǎn)供 VMM 來(lái)模擬（也可以采用 hypercall的方式,下面介紹）。既然內(nèi)核代碼已經(jīng)需要修改，類虛擬化還可以進(jìn)一步優(yōu)化 I/O。也就是說(shuō)，類虛擬化不是去模擬真實(shí)世界中的設(shè)備，因?yàn)樘嗟募拇嫫髂M會(huì)降低性能。相反，類虛擬化可以自定義出高度優(yōu)化的 I/O協(xié)議，這種I/O協(xié)議完全基于事物，可以達(dá)到近乎物理機(jī)的速度。
? ? ? ??其實(shí)OKL4用的類虛擬化就是修改hypervisor提供給guest os的API（不同于底層硬件），同時(shí)修改guest os的源碼，把那些敏感指令換成hypercall（calls into hypervisor）。下圖展示的是，對(duì)于pure virtualization，硬件和hypervisor的API是相同的，但是對(duì)于para-virtualization是不同的。
二. 虛擬化技術(shù)的比較
2.1?全虛擬化和二進(jìn)制重寫（Pure virtualization and binary rewriting）
? ? ? ? 全虛擬化和二進(jìn)制重寫都是不修改機(jī)器的 API 的，所以任何 guest os 都可以直接運(yùn)行在虛擬化環(huán)境。但是，由于所有的特權(quán)指令都會(huì)導(dǎo)致 trap，所以在虛擬環(huán)境下特權(quán)指令的執(zhí)行開(kāi)銷要遠(yuǎn)遠(yuǎn)高于在?本地（native）環(huán)境下。
? ? ? ??以前，x86 和 ARM 都不符合 經(jīng)典虛擬化(classically virtualized) 時(shí)，VMWare 采用 binary rewriting 在x86架構(gòu)上實(shí)現(xiàn)虛擬化，經(jīng)過(guò)優(yōu)化后的性能開(kāi)銷小于10%，但是這項(xiàng)技術(shù)十分復(fù)雜。
? ? ? ??由于實(shí)現(xiàn)起來(lái)的復(fù)雜，就會(huì)增加運(yùn)行在特權(quán)模式下的代碼，這會(huì)增加受攻擊（attack surface ）和 hypervisor出現(xiàn) bug 的幾率，所以會(huì)降低整個(gè)系統(tǒng)的安全性和隔離性。
2.2 半虛擬化( Para-virtualization)
? ? ? ? 半虛擬化Para-virtualization雖然是一個(gè)新詞，在2002年中的Denali virtual machine monitor被提出來(lái)。但是這種設(shè)計(jì)理念早在 1970 的 IBM 的 CMS 系統(tǒng)就出現(xiàn)了，當(dāng)時(shí)使用 DIAG指令調(diào)用到hypervisor里去，并且一直到現(xiàn)在還有很多研究機(jī)構(gòu)在使用這種理念，如Mach，Xen和L4。
? ? ? ? 半虛擬化相比于全虛擬化可以提供更好的性能，因?yàn)樗苯邮褂酶鞣N API 而不是通過(guò) trap->decode->hardware emulation 的過(guò)程來(lái)實(shí)現(xiàn)仿真。
? ? ? ??當(dāng)然，它的缺點(diǎn)我也在之前的博客中提到過(guò)，那就是必須修改源碼，讓guest os使用新的 API，這不僅是一項(xiàng)繁重的任務(wù)，同時(shí)對(duì)于一些非開(kāi)源的操作系統(tǒng)，我們必須采用其他方法，除非這些非開(kāi)源操作系統(tǒng)的廠商愿意與我們合作。
2.3 虛擬化環(huán)境中的虛擬內(nèi)存（Virtual memory in virtualization environment）
? ? ? ? 為什么要把內(nèi)存管理部分單獨(dú)拿出來(lái)討論一下呢？因?yàn)檫@部分很復(fù)雜，其實(shí)之前我們討論的內(nèi)容主要都是cpu運(yùn)行的問(wèn)題，比如各種指令和各種模式之間的切換。關(guān)于內(nèi)存，我們先討論沒(méi)有引入 guest os時(shí)的虛擬內(nèi)存管理，然后再討論引入guest os之后的變化。
? ? ? ? 虛擬內(nèi)存管理涉及的內(nèi)容很多，這里不討論各種內(nèi)存分配算法，如何降低缺頁(yè)率等等，只分析虛擬地址如何轉(zhuǎn)換成物理地址。我們知道，ARM架構(gòu)是通過(guò) MMU+TLB 來(lái)完成從VA（virtual address，虛擬地址）到 PA（physical address，物理地址）的轉(zhuǎn)換，對(duì)于頁(yè)表的訪問(wèn)實(shí)際上是由硬件自動(dòng)完成的（如果不缺頁(yè)的話）。
? ? ? ??但是加入了虛擬化之后，這個(gè)轉(zhuǎn)換就復(fù)雜了，guest page table 不完成從 va 到 pa 的轉(zhuǎn)換，只是負(fù)責(zé)從 guest va 到 guest pa的轉(zhuǎn)換，而由hypervisor完成由guest pa到實(shí)際物理地址的轉(zhuǎn)換，這個(gè)轉(zhuǎn)換過(guò)程如下圖所示。
? ? ? ? 這個(gè)圖表現(xiàn)的很清晰，但是想實(shí)現(xiàn)是非常難的，因?yàn)橹挥幸粋€(gè)頁(yè)表基址寄存器，所以硬件無(wú)法識(shí)別是從guest va到guest pa的轉(zhuǎn)換還是va到pa的轉(zhuǎn)換，在沒(méi)有硬件支持的情況下，只能通過(guò)影子頁(yè)表才能實(shí)現(xiàn)
? ? ? ??影子頁(yè)表的原理也是把兩步轉(zhuǎn)換（guest va->guest pa->pa）轉(zhuǎn)換為一步，中間的同步用hash來(lái)做。
? ? ? ??影子頁(yè)表在構(gòu)建的時(shí)候，每次對(duì)guest page table的訪問(wèn)都需要trap，由hypervisor把guest pa轉(zhuǎn)換成實(shí)際物理地址。
? ? ? ??如果讀者想了解這一塊內(nèi)容，我建議深入學(xué)習(xí)一下KVM以前關(guān)于影子頁(yè)表的實(shí)現(xiàn)（由于x86的硬件支持，目前KVM已經(jīng)放棄影子頁(yè)表），這里我們沒(méi)辦法深入探討影子頁(yè)表，但了解它大致是怎么一回事兒之后，我們可以分析以下它的性能。
? ? ? ??首先，它的性能一定非常不好，因?yàn)槊看螌?duì)guest page table的訪問(wèn)都需要trap，而且每次guest page table的修改還需要同步到影子頁(yè)表上面，雖然用hash的方式能提速，但是相比于native環(huán)境性能差距比較大（NOVA做過(guò)一個(gè)實(shí)驗(yàn)，光訪問(wèn)頁(yè)表的性能損失大約是23%），而且實(shí)現(xiàn)起來(lái)非常復(fù)雜。
? ? ? ??Intel和ARM對(duì)這一部分都提供了硬件支持，由硬件來(lái)完成這里提到的兩級(jí)頁(yè)表轉(zhuǎn)換。其實(shí)根據(jù)程序運(yùn)行時(shí)的局部性原理，如果每次訪問(wèn)都能TLB hit的話，這種二級(jí)頁(yè)表轉(zhuǎn)換和一級(jí)頁(yè)表轉(zhuǎn)換差別不大，但是當(dāng)TLB miss的時(shí)候，需要訪問(wèn)two stage的頁(yè)表訪問(wèn)的性能還是差別比較大的，盡管這部分由硬件來(lái)做。舉個(gè)例子，比如KVM在Linux-64位的情況下，是4級(jí)頁(yè)表轉(zhuǎn)換，從va到pa需要訪問(wèn)5次頁(yè)表，那么引入 two stage 之后，就需要 5*5=25次訪問(wèn)頁(yè)表，讀者可以思考一下這里為什么是相乘的關(guān)系。
三. ARM介紹
? ? ? ? 我們首先介紹 ARM 架構(gòu)里的各個(gè)部分，介紹它們的目的是為了理解當(dāng) arm 引入 virtualization extension 之后對(duì)它們的影響。
3.1 ARM總體介紹
? ? ? ? arm是一種精簡(jiǎn)指令集（reduced instruction set computer，RISC）架構(gòu)，精簡(jiǎn)（reduced）的意思是每條匯編指令獨(dú)自完成所有的工作，而與之相對(duì)的復(fù)雜指令集則不是，它的一條匯編指令可能會(huì)翻譯成好幾條機(jī)器指令。
? ? ? ??大部分精簡(jiǎn)指令集的指令都在單個(gè)時(shí)鐘周期內(nèi)完成，它采用一種讀取和存儲(chǔ)分開(kāi)的架構(gòu)（load-store architecture），數(shù)據(jù)處理指令和I/O指令是分開(kāi)的，數(shù)據(jù)處理指令是操作一個(gè)寄存器的值，和復(fù)雜指令集不同，關(guān)于復(fù)雜指令集的對(duì)應(yīng)操作讀者請(qǐng)自行查閱資料。
? ? ? ??現(xiàn)在arm已經(jīng)推出v8架構(gòu)，關(guān)于 v8 架構(gòu)我還不太熟，所以這里以 v7 作為介紹（后續(xù)有時(shí)間我會(huì)研究下v8，在這里進(jìn)行補(bǔ)充）。v7架構(gòu)包含16個(gè)32bit的通用寄存器，還有一些寄存器是和特定的處理器模式相關(guān)的，還有各種協(xié)處理器的寄存器，這些寄存器將會(huì)在后面展開(kāi)敘述。
3.2 ARM協(xié)處理器介紹
? ? ? ? ARM協(xié)處理器是ARM架構(gòu)的重要擴(kuò)展，ARM架構(gòu)允許最多16個(gè)協(xié)處理器，其中cp15被保留完成各種控制。cp15作用非常強(qiáng)大，它控制整個(gè)系統(tǒng)配置，cache和TLB的管理，MMU的控制和系統(tǒng)性能監(jiān)控，我們這里主要討論cp15的內(nèi)存管理功能。
? ? ? ? 當(dāng)cpu想要訪問(wèn)一個(gè)虛擬地址的時(shí)候，它首先去TLB里面查這個(gè)虛擬地址和ASID，都匹配的話就可以直接返回物理地址，cpu通過(guò)物理地址去訪問(wèn)物理內(nèi)存就行了。如果TLB miss，MMU就會(huì)去訪問(wèn)頁(yè)表，然后找到這個(gè)虛擬地址對(duì)應(yīng)的物理地址，把這個(gè)虛擬地址、當(dāng)前進(jìn)程的PID、物理地址加入到TLB中去，然后返回物理地址給cpu去訪問(wèn)內(nèi)存。這里面涉及的很多細(xì)節(jié)這里不討論了，建議讀者去參看ARM官方介紹。
3.3 處理器模式和TrustZone
? ? ? ? ARM v7包含8種處理器模式（在v8已經(jīng)變成4種exception level了，從EL0到El3），其中包含1種非特權(quán)模式和7種特權(quán)模式：
- 特權(quán)模式：FIQ、IRQ、supervisor、monitor、abort、undefined、system；
- 非特權(quán)模式：user。
顯然，除了應(yīng)用程序運(yùn)行在user模式以外，其他全部運(yùn)行在特權(quán)模式。ARM的virtualization extension需要處理器支持TrustZone extension，我們來(lái)看一下TrustZone是什么。TrustZone將處理器的執(zhí)行狀態(tài)分為兩個(gè)世界：
- secure world：用于運(yùn)行可信軟件；
- non-secure world：用于運(yùn)行不可信軟件。
? ? ? ? 這里的兩個(gè)世界和處理器模式是重疊的，軟件可以在任何模式、任何世界上運(yùn)行。那么secure world和non-secure world的區(qū)別在哪呢？這里的secure又從何而來(lái)？是這樣的，secure world有自己獨(dú)有的內(nèi)存和外設(shè)，這部分內(nèi)容只有運(yùn)行在secure world的軟件可以訪問(wèn)，運(yùn)行在non-secure world的軟件是不可以訪問(wèn)的。這里引入了一個(gè)新的處理器模式，monitor mode，它運(yùn)行在secure world，被用于做雙系統(tǒng)（secure and non-secure world）之間的切換，如下圖所示。
我們可以基于TrustZone去做虛擬化，因?yàn)樗軌蚋綦x內(nèi)存、中斷并且確保non-secure world的特權(quán)軟件也不可能訪問(wèn)或者修改運(yùn)行在secure world的軟件的配置信息。然后這樣做的缺陷是，在non-secure world只能運(yùn)行一個(gè)guest os，在secure world運(yùn)行一個(gè)hypervisor。Green Hill的INTEGRITY就是這樣做的，感興趣的讀者可以去Google一下。
3.4 中斷控制器
GIC（generic interrupt controller）是ARM里的中斷控制器，現(xiàn)在也已經(jīng)支持virtualization extension。GIC可以分為兩部分：
- Distributor（分發(fā)器）：分發(fā)器負(fù)責(zé)接收中斷，設(shè)置這個(gè)中斷是否enable和它的優(yōu)先級(jí)，之后把它送到對(duì)應(yīng)的cpu interface上去。
- CPU interface（中斷接口）：這部分負(fù)責(zé)屏蔽低優(yōu)先級(jí)中斷(相對(duì)于正在處理的中斷的優(yōu)先級(jí))，讓高優(yōu)先級(jí)的中斷搶占cpu。
當(dāng)外設(shè)產(chǎn)生中斷的時(shí)候，這個(gè)中斷首先發(fā)送給Distributor，Distributor將這個(gè)中斷發(fā)送給對(duì)應(yīng)的cpu interface。當(dāng)cpu interface接受到這個(gè)中斷的時(shí)候，它會(huì)檢查這個(gè)中斷是否enable，如果enable再去比較這個(gè)中斷的優(yōu)先級(jí)和當(dāng)前正在處理的中斷的優(yōu)先級(jí)，進(jìn)而決定處理器是否立即處理這個(gè)中斷。
3.5 ARM架構(gòu)的虛擬化問(wèn)題（Virtualization Issues with the ARM Architecture）
? ? ? ? 標(biāo)準(zhǔn)的ARM架構(gòu)是不符合可虛擬化模型的，有很多敏感指令在非特權(quán)模式下執(zhí)行卻不會(huì)產(chǎn)生trap。比如CPS指令，這條指令的作用是改變處理器狀態(tài)，當(dāng)這條指令在用戶態(tài)執(zhí)行時(shí)不會(huì)產(chǎn)生trap，甚至沒(méi)有任何效果，可以認(rèn)為是簡(jiǎn)單的跳過(guò)。
? ? ? ??即使所有的敏感指令都會(huì)產(chǎn)生trap，在ARM架構(gòu)上用上述的trap-and-emulate技術(shù)也是很困難的，因?yàn)锳RM的敏感指令非常多，只要和特權(quán)資源交互的指令都是敏感指令，比如虛擬內(nèi)存子系統(tǒng)，中斷控制子系統(tǒng)和協(xié)處理器，用上述方式的話開(kāi)銷太大，對(duì)系統(tǒng)性能有很大沖擊。比如，arm-v7架構(gòu)不支持頁(yè)表訪問(wèn)的虛擬化，那么就需要影子頁(yè)表，每次訪問(wèn)guest pa都需要trap，同樣地，中斷控制器也需要被仿真，當(dāng)中斷很頻繁的時(shí)候（timer tick），這種仿真的開(kāi)銷也是非常大的，為了克服這種種弊端，ARM推出了virtualization extension。
3.6 ARM對(duì)虛擬化的硬件支持
? ? ? ? 在討論arm新增加的virtualization extension之前，我們知道對(duì)硬件虛擬化的支持主要有intel的VT-x和AMD的AMD-V，它們兩個(gè)十分類似，所以這里我們只介紹VT-x，看看它對(duì)虛擬化做了怎樣的支持（為后面做對(duì)比）。
- 將cpu的模式分為hypervisor（VMX root operation）和guest（VMX non-root operation）。
- 可以配置一些敏感指令和事件，讓它們產(chǎn)生或者不產(chǎn)生trap。
- （新增）提供擴(kuò)展頁(yè)表（EPT，extended page table），通過(guò)這個(gè)頁(yè)表在硬件上完成second-stage of translation，其實(shí)就是常說(shuō)的二級(jí)頁(yè)表翻譯。
- （新增）在TLB上新增加了VM tag去標(biāo)識(shí)每一個(gè)虛擬機(jī)，這樣可以避免每次VM-entry和VM-exit時(shí)的TLB flush操作（其實(shí)還增加了VPID，去標(biāo)識(shí)VM里虛擬進(jìn)程的進(jìn)程id）。
- （新增）在Intel的 VT-d里增加了對(duì)DMA操作的支持，而且是一種安全的DMA（具體怎么實(shí)現(xiàn)的安全讀者可以自己分析下）。
接下來(lái)我們看看ARM對(duì)虛擬化的支持，這里討論的虛擬化支持主要是針對(duì)v7架構(gòu)，并且需要實(shí)現(xiàn)上文提到的TrustZone。利用硬件擴(kuò)展實(shí)現(xiàn)pure virtualization的總體架構(gòu)如下圖所示：
- hypervisor運(yùn)行在non-secure world里的hyp mode，這個(gè)hyp mode使hypervisor可以管理non-secure world里其他所有的模式（user mode和kernel mode）里運(yùn)行的軟件。
- guest os運(yùn)行在non-secure world的特權(quán)模式（kernel mode），guest application運(yùn)行在non-secure world的user mode。
上述內(nèi)容是對(duì)虛擬化擴(kuò)展的一個(gè)總體介紹，具體來(lái)說(shuō)，ARM新增了以下幾個(gè)feature：
- hyp mode:hyp mode是運(yùn)行在non-secure world的最高特權(quán)級(jí)模式，如上圖所示。它負(fù)責(zé)管理guest os，hypervisor運(yùn)行在這個(gè)新的模式里。這個(gè)模式將hypervisor和運(yùn)行中的guest os分開(kāi)，guest os運(yùn)行在non-secure的kernel mode。
- Second-stage of translation：由hypervisor負(fù)責(zé)把所有的gust pa轉(zhuǎn)換成實(shí)際物理地址，其實(shí)就是從物理上支持兩級(jí)頁(yè)表轉(zhuǎn)換，而不需要使用影子頁(yè)表。
- 中斷控制：這部分后面展開(kāi)敘述。
- 仿真支持：當(dāng)trap進(jìn)hypervisor時(shí)，硬件向hypervisor提供一些額外的信息，消除了hypervisor取指令然后decode的開(kāi)銷。因?yàn)閷?duì)外設(shè)的模擬需要采用trap-and-emulate技術(shù)，削減這項(xiàng)技術(shù)的開(kāi)銷可以有效的提升性能。
- trap配置：不是所有的敏感指令或特權(quán)操作都需要trap進(jìn)hypervisor進(jìn)行處理，我們可以配置指令或操作是否trap，這樣可以減少不必要的trap，從而減少開(kāi)銷，提升性能。
讀者可以自行對(duì)比Intel和ARM對(duì)虛擬化支持的相同點(diǎn)和不同點(diǎn)，分析他們?yōu)槭裁催@樣做。接下來(lái)展開(kāi)敘述上文提到的中斷控制部分。
3.7 中斷控制
? ? ? ? ARM創(chuàng)建了一個(gè)新的硬件模塊，virtual CPU interface，類比我們前面在介紹GIC時(shí)提到過(guò)的CPU interface，這個(gè)硬件模塊可以直接被map到guest os里，從而避免使用trap-and-emulate去仿真CPU interface，guest os可以直接操作這個(gè)virtual CPU interface，例如開(kāi)、關(guān)中斷。當(dāng)然關(guān)于GIC的另一個(gè)部分，Distributor，我們?nèi)匀恍枰ㄟ^(guò)trap-and-emulate去仿真，但是它對(duì)性能的影響不大，因?yàn)樗皇窃诔跏蓟臅r(shí)候負(fù)責(zé)enable中斷，之后就不再修改了。
當(dāng)中斷到來(lái)時(shí)，所有的中斷都首先被送到hypervisor里進(jìn)行處理，由hypervisor通過(guò)virtual CPU interface發(fā)送給當(dāng)前正在執(zhí)行的guest os。虛擬中斷可以和物理中斷進(jìn)行映射，這樣guest os就可以直接操作物理中斷而不需要通過(guò)hypervisor了。下圖所示是一個(gè)中斷處理流程：
這里面還涉及一個(gè)硬件擴(kuò)展，論文上把它稱為“priority drop”。正常情況下，當(dāng)一個(gè)中斷正在處理的時(shí)候，低優(yōu)先級(jí)的中斷是不能夠搶占處理器的，但是在虛擬化環(huán)境卻不是這樣，比方說(shuō)有兩個(gè)guest os，我們暫且稱之為os1和os2，假設(shè)os1正在處理一個(gè)高優(yōu)先級(jí)中斷，這時(shí)又有一個(gè)中斷是給os2處理的，這個(gè)中斷的優(yōu)先級(jí)低于os1的中斷的優(yōu)先級(jí)，但是它們應(yīng)該互不影響才對(duì)。ARM加入這個(gè)硬件擴(kuò)展就是為了處理上述問(wèn)題，每個(gè)guest os都有自己的優(yōu)先級(jí)屏蔽策略，互不影響。
總結(jié)
以上是生活随笔為你收集整理的ARM 虚拟化技术简介的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： Linux系统中df与du命令查看分区大
- 下一篇： RASP技术攻防之基础篇