有DPU了，為什么英特爾還要出IPU？
[導讀]出品?21ic中國電子網(wǎng)付斌網(wǎng)站：21ic.com數(shù)據(jù)量跨越式增長時代下，許多額外的工作涌入云數(shù)據(jù)中心服務器，而其中存在并非應用級的處理，僅僅是將數(shù)據(jù)包進行傳輸處理。這些工作會擠占CPU資源，將大量CPU處理能力耗費在應用之外。因此，SmartNIC（智能設備）就誕生了，為了卸載...
出品?21ic中國電子網(wǎng) 付斌
網(wǎng)站：21ic.com
數(shù)據(jù)量跨越式增長時代下，許多額外的工作涌入云數(shù)據(jù)中心服務器，而其中存在并非應用級的處理，僅僅是將數(shù)據(jù)包進行傳輸處理。這些工作會擠占CPU資源，將大量CPU處理能力耗費在應用之外。因此，SmartNIC（智能設備）就誕生了，為了卸載被擠占的網(wǎng)絡、存儲和計算資源。
一些廠商堅定站隊FPGA，將FPGA的SmartNIC做到了一體化，一張卡實現(xiàn)網(wǎng)絡、存儲和計算加速融合。一些廠商則另立新“牌坊”，定義DPU（數(shù)據(jù)處理芯片），解決服務器數(shù)據(jù)交換效率低、數(shù)據(jù)傳輸可靠性低、數(shù)據(jù)中心模型執(zhí)行效率低、I/O切換效率低、服務器架構(gòu)不靈活以及網(wǎng)絡不安全的問題。
在已有SmartNIC和DPU市場現(xiàn)狀上，英特爾則定義這種技術(shù)為IPU（Infrastructure Processing Unit，基礎設施芯片），“在大多數(shù)情況下，IPU從財務角度來說對于云服務提供商極具吸引力”，Guido Appenzeller英特爾公司數(shù)據(jù)平臺事業(yè)部首席技術(shù)官如是說。
為什么偏偏是IPU
在介紹IPU之前仍需探求根源，既然業(yè)界已經(jīng)存在了SmartNIC，英特爾為什么要做IPU？Guido告訴記者，從術(shù)語上來看， IPU相比SmartNIC具有本地控制平面。這意味著，IPU在本質(zhì)上是可以控制CPU的，當CPU想在網(wǎng)絡上發(fā)送數(shù)據(jù)包時，IPU將確保此數(shù)據(jù)包位于特定的虛擬覆蓋網(wǎng)絡上，由IPU控制PCI總線，將虛擬設備展示給CPU。SmartNIC更偏向卸載，一切都由CPU編程，CPU將會管理這一切的加速流程。
另外，一些企業(yè)命名DPU，為什么英特爾要叫IPU？根據(jù)Guido的分析，二者最終的目的是相同的，但IPU的作用是處理基礎設施功能，這是與眾不同之處，而DPU的命名將范圍縮小到“數(shù)據(jù)”這一范圍，反而并不是非常準確的描述。
實際上，英特爾的IPU不僅在命名上更加清晰，在整體產(chǎn)品線上也非常清晰，非常貼合英特爾自身的IDM優(yōu)勢。
英特爾官方將IPU定義為一種可編程網(wǎng)絡設備，旨在使云和通信服務提供商減少在中央處理器（CPU）方面的開銷，并充分釋放性能價值，它能夠?qū)?shù)據(jù)中心內(nèi)的基礎設施功能進行安全加速，從而使系統(tǒng)級資源的管理更加智能。利用IPU，客戶能夠部署安全穩(wěn)定且可編程的解決方案，從而更好地利用資源，平衡數(shù)據(jù)處理與存儲的工作負載。
換言之，過去軟件都在相同的芯片上運行，現(xiàn)在把不同任務分開到IPU和CPU兩種芯片上運行。Guido為記者舉了一個非常易懂的例子：“這有點像家和酒店的區(qū)別，在家中，客廳、廚房、餐桌都在一個大區(qū)域內(nèi)，可以方便地從一個地方移步到另一個地方。但在酒店中，客房和餐廳是分開的，客房內(nèi)沒有廚房，而作為客人的也不會進入廚房。我在餐廳吃飯，而廚師在廚房中工作。酒店客人和工作人員是分開的。數(shù)據(jù)中心也是這樣的發(fā)展趨勢，運行租戶工作負載的芯片和運行云服務提供商的軟件的芯片正在逐步分離?！?/span>
而具體從優(yōu)勢上來說，IPU擁有三大優(yōu)點：
1、IPU充當服務器的控制面。這意味著它運行的是云服務提供商的軟件，可以保護、控制CPU或?qū)⑵溥M行隔離。
2、IPU針對基礎設施功能進行了優(yōu)化，效率極高。
3、可以過渡到無磁盤架構(gòu)?！癐PU非常聰明的地方在于，存儲服務器和服務器上的工作負載之間的實際存儲流量是在高速路徑上進行的，這意味著不會涉及IPU或CPU上的任何CPU內(nèi)核”，Guido這樣為記者介紹。
IPU的兩種實現(xiàn)形式
英特爾是業(yè)界唯一擁有CPU、獨立GPU、ASIC、FPGA、各種加速器的企業(yè)，因此從實現(xiàn)來說，英特爾也非常貼合自己的優(yōu)勢，分成了兩類。一類是ASIC IPU，另一類是基于FPGA IPU。在2021年的架構(gòu)日上，英特爾發(fā)布了全新的IPU架構(gòu)產(chǎn)品，也包含了一款非IPU的智能網(wǎng)卡。
1、ASIC IPU
據(jù)Guido介紹，MountEvans是英特爾的首個ASIC IPU。MountEvans是與一家頂級云服務提供商共同設計和開發(fā)的，它融合了多代FPGA SmartNIC的經(jīng)驗。
Guido為記者介紹了這款產(chǎn)品的強大之處，Moutn Evans支持200Gb/s的吞吐量，能夠最多四個至強主機連接起來。英特爾意識到云對性能的需求，將推動存儲、消息處理和高性能計算等很多應用遷移到基于RDMA的協(xié)議上，通過實現(xiàn)ROCEv2以及我早前提到的全新可靠傳輸技術(shù)，英特爾可以輕松完成這種遷移。另外，Mount.Evans提供InlineIPSec，以保護網(wǎng)絡上發(fā)送的每一個數(shù)據(jù)包。
尤為引起注意的是，其上的計算復合體是基于ARM Neoverse架構(gòu)的N1 Ares內(nèi)核。這16個高頻率內(nèi)核附帶由三個LPDDR4控制器支持的大型系統(tǒng)級緩存。這個計算復合體與網(wǎng)絡子系統(tǒng)密切結(jié)合，使得網(wǎng)絡子系統(tǒng)加速器能夠把系統(tǒng)級緩存用作最后一級緩存，以及提供兩者之間高帶寬、低時延連接；并能夠靈活地整合硬件和軟件數(shù)據(jù)包處理。
當然，這一IPU還吸收了至強處理器的優(yōu)勢，Lookaside加密與壓縮引擎源作為英特爾的QuickAssist技術(shù)，IPU針對使用模式對其進行了修改，其中包括對Zstandard壓縮算法的支持。
2、FPGA IPU
據(jù)Guido介紹，OakSpringsCanyon是一個IPU參考平臺，基于英特爾?至強D處理器（Intel?Xeon-D）和擁有業(yè)界領先的功率、效率、性能的英特爾?Agilex?FPGA構(gòu)建。Guido非常自豪地為記者說：“我們對這款產(chǎn)品非常有信心，它適用于超大規(guī)模云部署?！?/span>
具體來說，Oaks Springs Canyon是一個基于FPGA的IPU，其中采用了英特爾的Agilex FPGA和Xeon-D片上系統(tǒng)。值得一提的是，Agilex FPGA擁有業(yè)界領先的功率、效率和性能，搭配至強服務器，提供卸載2x100G工作負載所需的性能以及專為x86優(yōu)化的豐富軟件生態(tài)系統(tǒng)。
Oak Springs Canyon采用了英特爾?開放式FPGA開發(fā)堆棧(英特爾?OFS)，這是一個可擴展、開源軟硬件基礎設施堆棧。Oak Springs Canyon能夠滿足新興云服務提供商對于部署100GB工作負載的需求。
3、SmartNIC
除了IPU，英特爾還發(fā)布了一個非IPU的產(chǎn)品，稱之為智能網(wǎng)卡。即英特爾N6000加速開發(fā)平臺，代號為“Arrow Creek”，這款產(chǎn)品也是基于FPGA的。
Guido為記者介紹，Arrow Creek沒有CPU，是一個基于Agilex FPGA和e810 100GB以太網(wǎng)控制器的加速開發(fā)平臺，并不能用作IPU。這款產(chǎn)品更多地用于通信服務場景。
IPU未來將走向何方
從產(chǎn)品中，能夠看到英特爾將產(chǎn)品分為ASIC和FPGA兩類。根據(jù)Guido的解釋，F(xiàn)PGA對比ASIC有各自的優(yōu)劣勢。
“如果FPGA帶來最大的靈活性。如果你希望實施一個特別的算法，就可以用FPGA。這對于很多云來說很重要，因為目前排名前八的云全都使用不同的專有存儲協(xié)議。如果是只有您使用的專有協(xié)議，那么選擇FPGA是合理的，因為專用芯片很明顯不支持這種做法。而FPGA的一個劣勢是，它們很難編程。因此，您需要一個相當強大的團隊。吞吐量、功耗在一定程度上受到限制。我們認為，隨著帶寬變高，趨勢是使用更專用的ASIC IPU”，他這樣為記者分析。
簡言之，想要最高的靈活性就使用FPGA IPU，想要更高的帶寬并且擁有專用的協(xié)議就使用ASIC IPU。不過Guido認為，絕大多數(shù)云未來會更加偏向使用ASIC IPU。
業(yè)界擁有一些廠商在整合IPU和GPU以及其他器件，Guido認為，目前不確定英特爾會不會這么做。他表示，對于英特爾來說，特別是在云上，云服務提供商最感興趣的是同類最佳的單用途設備，所以可能選擇IPU來搭配圖形加速器，也可選擇IPU搭配AI加速器，或者選擇IPU搭配CPU，但基本上專用的系統(tǒng)。所以未來可能將是IPU和其他種類加速器結(jié)合的趨勢。
從整體市場來看，Guido表示，IPU或是DPU已成為一些創(chuàng)業(yè)公司的熱門方向，有幾家創(chuàng)業(yè)公司正在開發(fā)該領域的技術(shù)，且擁有許多有趣的技術(shù)和有趣的產(chǎn)品，這對所有廠商來說都是非常有益的。同樣，英特爾也對自身所處的市場地位非常滿意，他認為這將是一個大市場。從長遠來看，云端的幾乎每個服務器都會有類似IPU的東西。
“這顯然是一個很大的市場。漸漸地，這不再是一個初創(chuàng)市場，而是一個由大公司主導的市場”，Guido如是說。
▍
網(wǎng)站：21ic.com
數(shù)據(jù)量跨越式增長時代下，許多額外的工作涌入云數(shù)據(jù)中心服務器，而其中存在并非應用級的處理，僅僅是將數(shù)據(jù)包進行傳輸處理。這些工作會擠占CPU資源，將大量CPU處理能力耗費在應用之外。因此，SmartNIC（智能設備）就誕生了，為了卸載被擠占的網(wǎng)絡、存儲和計算資源。
一些廠商堅定站隊FPGA，將FPGA的SmartNIC做到了一體化，一張卡實現(xiàn)網(wǎng)絡、存儲和計算加速融合。一些廠商則另立新“牌坊”，定義DPU（數(shù)據(jù)處理芯片），解決服務器數(shù)據(jù)交換效率低、數(shù)據(jù)傳輸可靠性低、數(shù)據(jù)中心模型執(zhí)行效率低、I/O切換效率低、服務器架構(gòu)不靈活以及網(wǎng)絡不安全的問題。
在已有SmartNIC和DPU市場現(xiàn)狀上，英特爾則定義這種技術(shù)為IPU（Infrastructure Processing Unit，基礎設施芯片），“在大多數(shù)情況下，IPU從財務角度來說對于云服務提供商極具吸引力”，Guido Appenzeller英特爾公司數(shù)據(jù)平臺事業(yè)部首席技術(shù)官如是說。
為什么偏偏是IPU
在介紹IPU之前仍需探求根源，既然業(yè)界已經(jīng)存在了SmartNIC，英特爾為什么要做IPU？Guido告訴記者，從術(shù)語上來看， IPU相比SmartNIC具有本地控制平面。這意味著，IPU在本質(zhì)上是可以控制CPU的，當CPU想在網(wǎng)絡上發(fā)送數(shù)據(jù)包時，IPU將確保此數(shù)據(jù)包位于特定的虛擬覆蓋網(wǎng)絡上，由IPU控制PCI總線，將虛擬設備展示給CPU。SmartNIC更偏向卸載，一切都由CPU編程，CPU將會管理這一切的加速流程。
另外，一些企業(yè)命名DPU，為什么英特爾要叫IPU？根據(jù)Guido的分析，二者最終的目的是相同的，但IPU的作用是處理基礎設施功能，這是與眾不同之處，而DPU的命名將范圍縮小到“數(shù)據(jù)”這一范圍，反而并不是非常準確的描述。
實際上，英特爾的IPU不僅在命名上更加清晰，在整體產(chǎn)品線上也非常清晰，非常貼合英特爾自身的IDM優(yōu)勢。
英特爾官方將IPU定義為一種可編程網(wǎng)絡設備，旨在使云和通信服務提供商減少在中央處理器（CPU）方面的開銷，并充分釋放性能價值，它能夠?qū)?shù)據(jù)中心內(nèi)的基礎設施功能進行安全加速，從而使系統(tǒng)級資源的管理更加智能。利用IPU，客戶能夠部署安全穩(wěn)定且可編程的解決方案，從而更好地利用資源，平衡數(shù)據(jù)處理與存儲的工作負載。
換言之，過去軟件都在相同的芯片上運行，現(xiàn)在把不同任務分開到IPU和CPU兩種芯片上運行。Guido為記者舉了一個非常易懂的例子：“這有點像家和酒店的區(qū)別，在家中，客廳、廚房、餐桌都在一個大區(qū)域內(nèi)，可以方便地從一個地方移步到另一個地方。但在酒店中，客房和餐廳是分開的，客房內(nèi)沒有廚房，而作為客人的也不會進入廚房。我在餐廳吃飯，而廚師在廚房中工作。酒店客人和工作人員是分開的。數(shù)據(jù)中心也是這樣的發(fā)展趨勢，運行租戶工作負載的芯片和運行云服務提供商的軟件的芯片正在逐步分離?！?/span>
而具體從優(yōu)勢上來說，IPU擁有三大優(yōu)點：
1、IPU充當服務器的控制面。這意味著它運行的是云服務提供商的軟件，可以保護、控制CPU或?qū)⑵溥M行隔離。
2、IPU針對基礎設施功能進行了優(yōu)化，效率極高。
3、可以過渡到無磁盤架構(gòu)?！癐PU非常聰明的地方在于，存儲服務器和服務器上的工作負載之間的實際存儲流量是在高速路徑上進行的，這意味著不會涉及IPU或CPU上的任何CPU內(nèi)核”，Guido這樣為記者介紹。
IPU的兩種實現(xiàn)形式
英特爾是業(yè)界唯一擁有CPU、獨立GPU、ASIC、FPGA、各種加速器的企業(yè)，因此從實現(xiàn)來說，英特爾也非常貼合自己的優(yōu)勢，分成了兩類。一類是ASIC IPU，另一類是基于FPGA IPU。在2021年的架構(gòu)日上，英特爾發(fā)布了全新的IPU架構(gòu)產(chǎn)品，也包含了一款非IPU的智能網(wǎng)卡。
1、ASIC IPU
據(jù)Guido介紹，MountEvans是英特爾的首個ASIC IPU。MountEvans是與一家頂級云服務提供商共同設計和開發(fā)的，它融合了多代FPGA SmartNIC的經(jīng)驗。
Guido為記者介紹了這款產(chǎn)品的強大之處，Moutn Evans支持200Gb/s的吞吐量，能夠最多四個至強主機連接起來。英特爾意識到云對性能的需求，將推動存儲、消息處理和高性能計算等很多應用遷移到基于RDMA的協(xié)議上，通過實現(xiàn)ROCEv2以及我早前提到的全新可靠傳輸技術(shù)，英特爾可以輕松完成這種遷移。另外，Mount.Evans提供InlineIPSec，以保護網(wǎng)絡上發(fā)送的每一個數(shù)據(jù)包。
尤為引起注意的是，其上的計算復合體是基于ARM Neoverse架構(gòu)的N1 Ares內(nèi)核。這16個高頻率內(nèi)核附帶由三個LPDDR4控制器支持的大型系統(tǒng)級緩存。這個計算復合體與網(wǎng)絡子系統(tǒng)密切結(jié)合，使得網(wǎng)絡子系統(tǒng)加速器能夠把系統(tǒng)級緩存用作最后一級緩存，以及提供兩者之間高帶寬、低時延連接；并能夠靈活地整合硬件和軟件數(shù)據(jù)包處理。
當然，這一IPU還吸收了至強處理器的優(yōu)勢，Lookaside加密與壓縮引擎源作為英特爾的QuickAssist技術(shù)，IPU針對使用模式對其進行了修改，其中包括對Zstandard壓縮算法的支持。
2、FPGA IPU
據(jù)Guido介紹，OakSpringsCanyon是一個IPU參考平臺，基于英特爾?至強D處理器（Intel?Xeon-D）和擁有業(yè)界領先的功率、效率、性能的英特爾?Agilex?FPGA構(gòu)建。Guido非常自豪地為記者說：“我們對這款產(chǎn)品非常有信心，它適用于超大規(guī)模云部署?！?/span>
具體來說，Oaks Springs Canyon是一個基于FPGA的IPU，其中采用了英特爾的Agilex FPGA和Xeon-D片上系統(tǒng)。值得一提的是，Agilex FPGA擁有業(yè)界領先的功率、效率和性能，搭配至強服務器，提供卸載2x100G工作負載所需的性能以及專為x86優(yōu)化的豐富軟件生態(tài)系統(tǒng)。
Oak Springs Canyon采用了英特爾?開放式FPGA開發(fā)堆棧(英特爾?OFS)，這是一個可擴展、開源軟硬件基礎設施堆棧。Oak Springs Canyon能夠滿足新興云服務提供商對于部署100GB工作負載的需求。
3、SmartNIC
除了IPU，英特爾還發(fā)布了一個非IPU的產(chǎn)品，稱之為智能網(wǎng)卡。即英特爾N6000加速開發(fā)平臺，代號為“Arrow Creek”，這款產(chǎn)品也是基于FPGA的。
Guido為記者介紹，Arrow Creek沒有CPU，是一個基于Agilex FPGA和e810 100GB以太網(wǎng)控制器的加速開發(fā)平臺，并不能用作IPU。這款產(chǎn)品更多地用于通信服務場景。
IPU未來將走向何方
從產(chǎn)品中，能夠看到英特爾將產(chǎn)品分為ASIC和FPGA兩類。根據(jù)Guido的解釋，F(xiàn)PGA對比ASIC有各自的優(yōu)劣勢。
“如果FPGA帶來最大的靈活性。如果你希望實施一個特別的算法，就可以用FPGA。這對于很多云來說很重要，因為目前排名前八的云全都使用不同的專有存儲協(xié)議。如果是只有您使用的專有協(xié)議，那么選擇FPGA是合理的，因為專用芯片很明顯不支持這種做法。而FPGA的一個劣勢是，它們很難編程。因此，您需要一個相當強大的團隊。吞吐量、功耗在一定程度上受到限制。我們認為，隨著帶寬變高，趨勢是使用更專用的ASIC IPU”，他這樣為記者分析。
簡言之，想要最高的靈活性就使用FPGA IPU，想要更高的帶寬并且擁有專用的協(xié)議就使用ASIC IPU。不過Guido認為，絕大多數(shù)云未來會更加偏向使用ASIC IPU。
業(yè)界擁有一些廠商在整合IPU和GPU以及其他器件，Guido認為，目前不確定英特爾會不會這么做。他表示，對于英特爾來說，特別是在云上，云服務提供商最感興趣的是同類最佳的單用途設備，所以可能選擇IPU來搭配圖形加速器，也可選擇IPU搭配AI加速器，或者選擇IPU搭配CPU，但基本上專用的系統(tǒng)。所以未來可能將是IPU和其他種類加速器結(jié)合的趨勢。
從整體市場來看，Guido表示，IPU或是DPU已成為一些創(chuàng)業(yè)公司的熱門方向，有幾家創(chuàng)業(yè)公司正在開發(fā)該領域的技術(shù)，且擁有許多有趣的技術(shù)和有趣的產(chǎn)品，這對所有廠商來說都是非常有益的。同樣，英特爾也對自身所處的市場地位非常滿意，他認為這將是一個大市場。從長遠來看，云端的幾乎每個服務器都會有類似IPU的東西。
“這顯然是一個很大的市場。漸漸地，這不再是一個初創(chuàng)市場，而是一個由大公司主導的市場”，Guido如是說。
▍
下載文檔
