日前，在蘇州舉行的英偉達(dá)GPU技術(shù)大會(huì)(GTC China 2018)上，英偉達(dá)CEO黃仁勛介紹了兩個(gè)多月前推出的全新NVIDIA T4 CLOUD GPU加速超大規(guī)模集群。

黃仁勛表示，T4 GPU只是一個(gè)開始?；?Turing Tensor Core GPU的T4是全新的適用于超大規(guī)模集群的GPU，支持多精度計(jì)算。

與P4不同，T4在訓(xùn)練和推理方面都很出色，F(xiàn)P32，F(xiàn)P16TC，INT8TC，INT4TC可以混合匹配，以實(shí)現(xiàn)最高的性能和精度，理論性能從65 TFLOPS到230 TOPS。而且T4還擁有著70W的適用于超大規(guī)模集群的理想功耗。

黃仁勛還介紹了一款新的開源軟件——TRT，支持單個(gè)GPU上運(yùn)行多種模型。其推理服務(wù)器是容器化的，可以再Kubernetes上運(yùn)行。TRT5這推理優(yōu)化工具，支持Tensor Core和豐富的模型類型，例如CNN、RNN、MLP和許多其他模型。

黃仁勛表示目前T4已經(jīng)達(dá)到了英偉達(dá)所有服務(wù)器GPU的最快采用率，超過50款服務(wù)器設(shè)計(jì)正在進(jìn)行中，且每一個(gè)重要的OEM都正將T4服務(wù)器推向市場(chǎng)。

另外他還宣布H3C、華為、浪潮及其商用機(jī)器、聯(lián)想、QCT和曙光都正在制造T4服務(wù)器，而百度云，科大訊飛，京東云和騰訊云將在云端提供T4。