對于Intel的硬件輔助虛擬化方案而言，核心的兩大技術(shù)分別是VT-x和VT-d。其中VT-x中主要引入了non-root模式(VMCS)以及EPT頁表等技術(shù)，主要關(guān)注于vCPU的虛擬化和內(nèi)存虛擬化。而VT-d的引入則是重點關(guān)注設(shè)備直通(passthrough)方面（即IO虛擬化）。
VT-x中在non-root模式下，MMU直接使用EPT page table來完成GPA->HVA->HPA的兩級翻譯， VT-d中在non-root模式下，則由IOMMU來使用Context Table和IOMMU page table完成設(shè)備DMA請求過程中的HPA->HVA->GPA的翻譯． 二者極為相似，唯一的不同之處在于CPU訪問內(nèi)存（直通設(shè)備IO Memory）是通過MMU查找EPT頁表完成地址翻譯， 而直通設(shè)備訪問內(nèi)存的請求則是通過IOMMU查找IOMMU頁表來完成地址翻譯的。本文重點來探索一下Intel IOMMU的工作機制。
硬件結(jié)構(gòu)
先看下一個典型的X86物理服務(wù)器視圖：
在多路服務(wù)器上我們可以有多個DMAR Unit（這里可以直接理解為多個IOMMU硬件）， 每個DMAR會負(fù)責(zé)處理其下掛載設(shè)備的DMA請求進行地址翻譯。例如上圖中， PCIE Root Port (dev:fun) (14:0)下面掛載的所有設(shè)備的DMA請求由DMAR #1負(fù)責(zé)處理， PCIE Root Port (dev:fun) (14:1)下面掛載的所有設(shè)備的DMA請求由DMAR #2負(fù)責(zé)處理， 而DMAR #3下掛載的是一個Root-Complex集成設(shè)備[29:0]，這個設(shè)備的DMA請求被DMAR #3承包， DMAR #4的情況比較復(fù)雜，它負(fù)責(zé)處理Root-Complex集成設(shè)備[30:0]以及I/OxAPIC設(shè)備的DMA請求。這些和IOMMU相關(guān)的硬件拓?fù)湫畔⑿枰狟IOS通過ACPI表呈現(xiàn)給OS，這樣OS才能正確驅(qū)動IOMMU硬件工作。
關(guān)于硬件拓?fù)湫畔⒊尸F(xiàn)，這里有幾個概念需要了解一下：
-
DRHD: DMA Remapping Hardware Unit Definition 用來描述DMAR Unit(IOMMU)的基本信息
-
RMRR: Reserved Memory Region Reporting 用來描述那些保留的物理地址，這段地址空間不被重映射
-
ATSR: Root Port ATS Capability 僅限于有Device-TLB的情形，Root Port需要向OS報告支持ATS的能力
-
RHSA: Remapping Hardware Static Affinity Remapping親和性，在有NUMA的系統(tǒng)下可以提升DMA Remapping的性能
BIOS通過在ACPI表中提供一套DMA Remapping Reporting Structure 信息來表述物理服務(wù)器上的IOMMU拓?fù)湫畔ⅲ?這樣OS在加載IOMMU驅(qū)動的時候就知道如何建立映射關(guān)系了。
附：我們可以使用一些工具將ACPI表相關(guān)信息Dump出來查看
數(shù)據(jù)結(jié)構(gòu)
Intel IOMMU Driver的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)可以描述為（點擊鏈接查看原圖）：
按照自上而下的視圖來看，首先是IOMMU硬件層面， struct dmar_drhd_unit數(shù)據(jù)結(jié)構(gòu)從系統(tǒng)BIOS角度去描述了一個IOMMU硬件：
-
list 用來把所有的DRHD串在一個鏈表中便于維護
-
acpi_dmar_head *hdr 指向IOMMU設(shè)備的ACPI表信息
-
device_cnt 表示當(dāng)前IOMMU管理的設(shè)備數(shù)量
-
include_all 表示該IOMMU是否管理平臺上所有的設(shè)備（單IOMMU的物理物理服務(wù)器）
-
reg_base_addr 表示IOMMU的寄存器基地址
-
intel_iommu *iommu 指針指向struct intel_iommu數(shù)據(jù)結(jié)構(gòu)
-
struct intel_iommu 進一步詳細(xì)描述了IOMMU的所以相關(guān)信息
-
cap和ecap 記錄IOMMU硬件的Capability和Extended Capability信息
-
root_entry 指向了此IOMMU的Root Entry Table
-
ir_table 指向了IOMMU的Interrupt Remapping Table（中斷重映射表）
-
struct iommu_device iommu 從linux設(shè)備驅(qū)動的角度描述這個IOMMU并用來綁定sysfs
-
struct dmar_domain ***domains 比較關(guān)鍵，它記錄了這個IOMMU下面管理的所有dmar_domain信息
在虛擬化場景下多個設(shè)備可以直通給同一個虛擬機，他們共享一個IOMMU Page Table， 這種映射關(guān)系就是通過DMAR Domain來表述的， 也就是說多個直通設(shè)備可以加入到一個DMAR Domain中， 他們之間使用同一套頁表完成地址DMA 請求的地址翻譯。那我們接著往下走，來看DMAR Domain：
-
struct dmar_domain 數(shù)據(jù)結(jié)構(gòu)用來描述DMAR Domain這種映射關(guān)系的
-
struct list_head devices 鏈表記錄了這個Domain中的所有設(shè)備
-
struct iova_domain iovad 數(shù)據(jù)結(jié)構(gòu)用一個紅黑樹來記錄iova->hpa的地址翻譯關(guān)系
-
struct dma_pte *pgd 這個指針指向了IOMMU頁表的基地址是IOMMU頁表的入口
-
bool has_iotlb_device 表示這個Domain里是否有具備IO-TLB的設(shè)備
-
struct iommu_domain domain 主要包含了iommu_ops *ops指針，記錄了一堆與domain相關(guān)的操作
Intel IOMMU初始化
首先探測平臺環(huán)境上是否有IOMMU硬件：IOMMU_INIT_POST(detect_intel_iommu)， detect_intel_iommu函數(shù)中調(diào)用dmar_table_detect函數(shù)從ACPI表中查詢DMAR相關(guān)內(nèi)容：
如果查詢到信息就validate_drhd_cb驗證DRHD的有效性設(shè)置iommu_detected = 1， 如果查詢不到DMAR信息那么認(rèn)為沒有IOMMU硬件，跳過后續(xù)初始化流程。
接著pci_iommu_init中調(diào)用x86_init.iommu.iommu_init()來初始化Intel IOMMU，主要的流程為：
在dmar_table_init函數(shù)中我們完成了DMA Remapping相關(guān)的ACPI表解析流程，這個parse_dmar_table的函數(shù)實現(xiàn)非常精妙，不禁讓人感嘆！它將每種Remapping Structure Types的解析函數(shù)封裝成dmar_res_callback，然后調(diào)用dmar_walk_dmar_table通過一個for循環(huán)擼一遍就完成了全部的解析，代碼精簡思路清晰、一氣呵成。
dmar_dev_scope_init函數(shù)負(fù)責(zé)完成IOMMU的Device Scope解析。dmar_acpi_insert_dev_scope中多層的遍歷，建立了IOMMU和設(shè)備之間的映射關(guān)系。
init_dmars函數(shù)最后再對描述IOMMU的intel_iommu結(jié)構(gòu)進行初始化，主要的流程包括：
這里不再展開，但每個點都值得探索一下，例如：
-
IOMMU中斷是用來做什么的？
-
iommu_prepare_identity_map 是在做什么？
-
一個IOMMU最多支持多少個DMAR Domain？
-
qeueue invalidation是用來做什么的？
可以多問自己一些問題帶著問題去看代碼，從代碼中找到答案，從更深層次去分析問題，理解特性。
參考文獻
-
https://software.intel.com/sites/default/files/managed/c5/15/vt-directed-io-spec.pdf
-
https://elixir.bootlin.com/linux/v4.16.12/source/drivers/iommu/intel-iommu.c
本文轉(zhuǎn)載自：
https://kernelgo.org/intel_iommu.html
免責(zé)聲明：本文內(nèi)容由21ic獲得授權(quán)后發(fā)布，版權(quán)歸原作者所有，本平臺僅提供信息存儲服務(wù)。文章僅代表作者個人觀點，不代表本平臺立場，如有問題，請聯(lián)系我們，謝謝！
下載文檔
