MathWorks于2018年4月11日宣布 ，MATLAB 現(xiàn)在可通過 GPU Coder 實現(xiàn)與 NVIDIA TensorRT 集成。這可以幫助工程師和科學(xué)家們在 MATLAB 中開發(fā)新的人工智能和深度學(xué)習(xí)模型，且可確保性能和效率滿足數(shù)據(jù)中心、嵌入式應(yīng)用和汽車應(yīng)用不斷增長的需求。

MATLAB 提供了一個完整的工作流程來快速訓(xùn)練、驗證和部署深度學(xué)習(xí)模型。工程師可以使用 GPU 資源，而無需額外編程操作，因此可以專注于應(yīng)用本身而不是性能調(diào)優(yōu)。NVIDIA TensorRT 與 GPU Coder 的全新集成使得可以在 MATLAB 中開發(fā)深度學(xué)習(xí)模型，然后以高吞吐量低延遲的方式部署在 NVIDIA GPU 上運行。內(nèi)部基準測試顯示，MATLAB 生成的CUDA代碼與 TensorRT 結(jié)合，在部署 Alexnet模型進行深度學(xué)習(xí)推理時，性能比 TensorFlow 高 5 倍;在部署 VGG-16 模型進行深度學(xué)習(xí)推理時，性能比 TensorFlow 高 1.25 倍。*

“不斷發(fā)展的圖像、語音、傳感器和物聯(lián)網(wǎng) (IoT) 技術(shù)促使團隊以更好的性能和效率研究人工智能解決方案。此外，深度學(xué)習(xí)模型變得越來越復(fù)雜。所有這些都給工程師們帶來了巨大的壓力，” MathWorks 總監(jiān) David Rich 說。“現(xiàn)在，團隊可以使用 MATLAB 訓(xùn)練深度學(xué)習(xí)模型，NVIDIA GPU 可以將實時推理部署到從云端到數(shù)據(jù)中心到嵌入式邊界設(shè)備等各種環(huán)境中。”

* 所有基準測試均在一臺使用 NVIDIA TITAN Xp GPU、64GB RAM 的 Linux 12 core Intel® Xeon® E5-1650 v3 電腦上運行，使用的軟件包括帶 GPU Coder 的 MATLAB R2018a、TensorRT 3.0.1、TensorFlow 1.6.0、CUDA 9.0 和 cuDNN 7。

對比 NVIDIA GPU 上的 TensorFlow，該集成使深度學(xué)習(xí)推理速度快 5 倍。