TensorFlow Lite（TFLite）現(xiàn)在支持在 Android 設(shè)備上使用 OpenCL 進(jìn)行 GPU 推理，這一改進(jìn)使得 TFLite 性能比使用現(xiàn)有 OpenGL 后端提高了約 2 倍。

TensorFlow Lite 團(tuán)隊(duì)介紹了目前其使用 OpenCL 在移動(dòng) GPU 推理上所取得的進(jìn)展，并宣布正式推出基于 OpenCL 的 Android 移動(dòng) GPU 推理引擎，該引擎在大小合理的神經(jīng)網(wǎng)絡(luò)上可比現(xiàn)有的 OpenGL 后端提供高達(dá) 2 倍的性能提升。

OpenGL ES 3.1 中添加了計(jì)算著色器，但其向后兼容的 API 設(shè)計(jì)決策限制了發(fā)揮 GPU 的全部潛能。另一方面，OpenCL 從一開始就是為使用各種加速器進(jìn)行計(jì)算而設(shè)計(jì)的，因此與移動(dòng) GPU 推理領(lǐng)域更加相關(guān)。因此，TFLite 團(tuán)隊(duì)研究了基于 OpenCL 的推理引擎，引入了一些功能，使得能夠優(yōu)化移動(dòng) GPU 推理引擎。

相比之下，新的移動(dòng) GPU 推理引擎有以下要點(diǎn)：

性能分析：與 OpenGL 相比，優(yōu)化 OpenCL 后端要容易得多，因?yàn)?OpenCL 提供了良好的分析功能與高通 Adreno 很好的支持。使用這些概要分析 API，能夠非常精確地測量每個(gè)內(nèi)核調(diào)度的性能。

優(yōu)化工作組大小：高通 Adreno GPU 上的 TFLite GPU 性能對工作組大小非常敏感，選擇正確的工作組大小可以提高性能，反之亦然。借助上述 OpenCL 中的性能分析功能，能夠?qū)崿F(xiàn)針對工作組大小的優(yōu)化器，這使平均速度提高了 50％。

原生 16 位精度浮點(diǎn)（FP16）：OpenCL 原生支持 FP16，并要求加速器指定數(shù)據(jù)類型的可用性。作為正式規(guī)范的一部分，即使是某些較舊的 GPU，例如 2012 年推出的 Adreno 305，也可以發(fā)揮其全部功能。

恒定內(nèi)存（constant memory）：OpenCL 具有恒定內(nèi)存的概念。高通增加了一個(gè)物理內(nèi)存能力，使其非常適合與 OpenCL 的恒定內(nèi)存一起使用。對于某些特殊情況，例如在神經(jīng)網(wǎng)絡(luò)開始或末尾非常薄的層，這被證明是非常有效的。Adreno 上的 OpenCL 通過與該物理恒定內(nèi)存和上述原生 FP16 支持的協(xié)同作用，能夠大大超越 OpenGL 的性能。

TFLite 具體展示了在 CPU（大內(nèi)核上的單線程）使用現(xiàn)有 OpenGL 后端的 GPU 以及使用新的 OpenCL 后端的 GPU 上的性能對比。

上圖分別說明了在兩個(gè)著名的神經(jīng)網(wǎng)絡(luò) MNASNet 1.3 和 SSD MobileNet v3（大型）上使用 OpenCL 的特定 Android 設(shè)備上推理引擎的性能?？梢钥吹?，新的 OpenCL 后端的速度大約是 OpenGL 后端的兩倍，并且 OpenCL 在較大的網(wǎng)絡(luò)上的性能甚至更好。

此外，因?yàn)?OpenCL 本身不屬于 Android 的一部分，某些用戶可能無法使用。為了簡化開發(fā)，TFLite GPU 委托添加了一些修改，首先在運(yùn)行時(shí)檢查 OpenCL 的可用性，如果可用，將使用新的 OpenCL 后端，否則將退回到現(xiàn)有的 OpenGL 后端。實(shí)際上，OpenCL 后端自 2019 年中期以來一直存在于 TensorFlow 存儲庫中，并且通過 TFLite GPU delegate v2 無縫集成。