據行業(yè)調研機構數據，邊緣人工智能市場從2023年的191億美元起，將以25.9%的年復合增長率迅速擴展至2032年，達到1436億美元市場規(guī)模。不同于大火的ChatGPT，邊緣AI是將人工智能算法部署在接近數據源的邊緣設備上，如物聯網設備、智能手機及嵌入式系統等。與依賴云計算的人工智能相比，邊緣AI通過在本地處理數據，減少了向中央服務器頻繁傳輸數據的需求。這種方式帶來了包括更低的延遲、降低的帶寬消耗、提升的隱私保護以及更高的操作效率等多方面優(yōu)勢。

然而對于嵌入式設備開發(fā)者而言，要實現邊緣AI在端側的部署，需要解決一系列的問題，包括模型算法的優(yōu)化、成本體積的設計目標和滿足系統功耗的標準等。某些AI算法方面的挑戰(zhàn)是傳統嵌入式工程師前所未有的，因此要從零開始學習的將會耗費大量的時間；而且在端側的設備的計算平臺多種多樣，數據種類更為豐富；因此要實現邊緣AI的大規(guī)模部署和應用，是業(yè)界正在努力的方向。而ST推出的NanoEdge AI套件，結合ST的傳感器和計算硬件，將算法、軟件、各種硬件平臺都整合在一起，實現了一個全鏈條的開發(fā)及系統優(yōu)化體驗，能夠讓工程師更輕易地在端側設備上實現邊緣人工智能的“自主性”，并且方便其后續(xù)進行模型的維護、遷移和升級。

硬件是邊緣AI部署的基石，ST提供先進且靈活的算力配置

硬件無疑是邊緣AI部署的基石，傳感器負責前端數據的采集，然后MCU/MPU/SoC/FPGA等負責進行數據的計算和處理。據Matteo MARAVITA（意法半導體亞太區(qū)人工智能技術創(chuàng)新中心和智能手機技術創(chuàng)新中心高級經理）分享，工程師要實現邊緣AI面臨著一系列的來自資源受限的硬件方面的挑戰(zhàn)，包括考慮整體的性能、安全性和較低功耗等。而在這一方面，ST從10年前就已經開始進行一些基礎研究。

2018年ST就發(fā)布了STM32 Cube AI 庫；2019年推出了集成了機器學習內核（MLC）的AI傳感器，隨后加入了TinyML聯盟；2020年ST開始在車規(guī)微控制器中部署邊緣AI，并隨后推出了支持ST Linux的邊緣AI；2021年ST推出了autoML；2022年推出了新的集成硬件加速器的 MEMS傳感器，能夠在傳感器內運行較小的深度學習網絡；而在去年，ST不斷改進軟件生態(tài)系統，發(fā)布了STM 32開發(fā)者云模型庫，并更新了 Stellar 系列車規(guī)MCU工具。

可以看到歷經了10年的技術積累和探索，ST不斷積極探索在傳感器和MCU硬件部署AI的最優(yōu)路徑，并且實現了專用的AI Core的IP技術積累。Matteo MARAVITA表示，MLPer是唯一提供MCU的AI基準測試的網上平臺，而在MLPer Tiny基準測試的提交中，基于STM32的項目數量排名第一，占比達到了73%。這表明STM32已經成為了邊緣AI部署的事實硬件平臺，并且一直在支持客戶在消費電子、工業(yè)和汽車等領域更廣泛的人工智能創(chuàng)新。

在AI算力方面，ST提供了先進的算力，而且提供了靈活的產品形態(tài)供客戶選擇，包括已經發(fā)布的ISPU傳感器，以及即將發(fā)布的集成了AI加速器的STM32N6和STM32MP2等。這覆蓋了從非?；A的端側應用、到中端的嵌入式應用和高階的支持Linux的嵌入式應用，所有的嵌入式應用都可以通過通過STM32具有AI加速器的產品來實現AI賦能。

根據發(fā)布會現場的線上演示，在STM32N6上就可以運行多對象識別跟蹤的AI算法，可以達到每秒18幀的運行效果，適用于路口的交通信號燈的交通管理等應用方向。能夠在一個32位的MCU上實現如此效果，正是得益于其中集成的AI專用加速器。據悉，主要的AI算法運行都是在AI加速器中進行，而STM32N6的CPU內核的負載不到5%。

軟件是邊緣AI部署的關鍵，ST EdgeAI Suit提供全鏈條的開發(fā)和優(yōu)化

在端側部署AI的好處不言而喻，而對于端側設備的開發(fā)者而言，實際的挑戰(zhàn)更多來自于AI算法、模型和軟件等多方面，不同類型的工程師面臨著的挑戰(zhàn)也有所不同。Matteo MARAVITA表示：“嵌入式軟件工程師更關注邊緣 AI的實現以及如何將其集成到整個系統中，因此，這類工程師可能從可靠的示例項目開始開發(fā)，根據特定應用情況修改參考設計。而機器學習工程師/AI工程師/數據科學家則主要關注機器學習模型的開發(fā)，不僅要關注機器學習模型的數據集，還需要關注根據被選目標硬件設備的特點優(yōu)化學習模型。硬件工程師則需要一個簡單的對標測試工具，在不同的硬件平臺或不同的部件號上測試數據科學家提供的高級算法，并在性能、功耗、尺寸、價格等方面找到最佳折衷方案?！?

如何滿足不同類型開發(fā)者的不同需求？ST Edge AI 開發(fā)套件給出了答案。

據了解，ST Edge AI開發(fā)套件集成了邊緣人工智能開發(fā)過程所需的所有工具和模塊，從創(chuàng)建模型庫用例、收集數據集到將模型部署到指定硬件，全程覆蓋?？蛻艨梢岳肁utoML工具直接從數據著手創(chuàng)建模型，亦可導入自行或通過第三方開發(fā)的模型，進行基準測試并在硬件上部署。該套件旨在支持包括MEMS傳感器、微控制器、MPU微處理器和汽車微控制器在內的多種硬件產品。此外，ST Edge AI套件還提供豐富的開發(fā)資源，如文檔、教程和社區(qū)訪問權限等，幫助用戶深入理解和使用。

值得一提的是，ST Edge AI開發(fā)套件對于關鍵客戶的外部人工智能開發(fā)系統還具有非常好的兼容性，支持深度學習框架TensorFlow Lite 、 Keras 、 PyTorch等訓練的機器學習模型；此外該套件還提供了與英偉達(NVIDIA)工具包的兼容性；包括與亞馬遜云科技（AWS）和微軟Azure 等云服務的無縫連接；同時還兼容MATLAB等仿真工具。

該AI開發(fā)套件的核心在于一個被稱為“ST Edge AI Core”的部分，這一部分可以看作是一個創(chuàng)新的統一嵌入式人工智能解決方案優(yōu)化器。該優(yōu)化器用統一的命令行界面，實現了從客戶自主模型輸入到最終優(yōu)化模型生成和驗證。透過“ST Edge AI Core”，就可以將AI模型，轉換成可以在ST的各種硬件平臺上優(yōu)化運行的專用模型。

“目前邊緣人工智能并沒有一個統一通用的開發(fā)方法，但我們認為， 在開發(fā)邊緣人工智能解決方案的過程中，為開發(fā)者提供指引和信息是非常重要的?！盡atteo解釋到，“因此ST Edge AI 套件考慮到了這個因素。這套工具可以幫助用戶根據自己的 知識和資源找到最佳的方法和工具。我們還將考慮融合和統一各種工具的用戶體驗，以簡化人工智能庫的設計流程?！?

結語

邊緣人工智能的實現涉及到三個基本 要素：安全性，連接性、自主性，而其中自主性是AI能力的體現，也是邊緣AI有別于其他傳統的物聯網的關鍵。而通過ST Edge AI套件，就可以幫助各種不同類型的開發(fā)者實現覆蓋全硬件平臺的全鏈條開發(fā)體驗，更輕松地實現邊緣人工智能的“自主性”。