2022年11月30日，ChatGPT正式上線。以其為代表的生成式AI顛覆了人們對(duì)于生產(chǎn)力的認(rèn)知，而此后整個(gè)2023年，科技巨頭紛紛強(qiáng)勢(shì)入局，各種大語(yǔ)言模型也蜂擁而至。經(jīng)過(guò)了一年的沉淀，從底層大模型、到基礎(chǔ)設(shè)施、再到消費(fèi)端應(yīng)用，生成式AI的生態(tài)已經(jīng)初步建立。

隨著2024年伊始，我們看到生成式AI并不僅僅局限于一個(gè)聊天工具，而是逐步深入到了各個(gè)垂直領(lǐng)域，開(kāi)始重塑千行百業(yè)。機(jī)器人就是生成式AI能夠下沉并發(fā)揮作用的一個(gè)重要方向，通過(guò)兩者結(jié)合，機(jī)器人可以加速機(jī)器學(xué)習(xí)的速度并增強(qiáng)人機(jī)交互的能力，創(chuàng)造出更緊密的人機(jī)協(xié)作型機(jī)器人。

一家名為Marketresearch.biz的機(jī)構(gòu)預(yù)測(cè)，生成式AI機(jī)器人這一市場(chǎng)在2022 年的估值會(huì)達(dá)到152.29 億美元，2032年該市場(chǎng)將飆升至驚人的8.56億美元，預(yù)測(cè)期內(nèi)的年復(fù)合年增長(zhǎng)率（CAGR）將達(dá)到驚人的34.2%。如此巨大的市場(chǎng)規(guī)模和增長(zhǎng)前景，讓機(jī)器人公司開(kāi)始思考，如何能夠快速實(shí)現(xiàn)生成式AI在機(jī)器人端的部署？

要知道，大模型的背后是基礎(chǔ)設(shè)施提供的算力支持，而生成式AI和機(jī)器人這兩者之間的結(jié)合，離不開(kāi)NVIDIA提供的Isaac平臺(tái)。在CES 2024上，NVIDIA嵌入式和邊緣計(jì)算副總裁Deepu Talla發(fā)表了關(guān)于融合AI與機(jī)器人技術(shù)的演講。他在演講中提到，“由 AI 驅(qū)動(dòng)的自主機(jī)器人越來(lái)越多地應(yīng)用于提高效率、降低成本和解決勞動(dòng)力短缺問(wèn)題?！?

生成式AI和LLM將如何賦能機(jī)器人發(fā)展？

生成式AI和LLM對(duì)機(jī)器人的賦能有兩種方式，一是提高機(jī)器人工程師的工作效率，二是讓機(jī)器人本身變得更加智能。要提高機(jī)器人工程師的工作效率，則意味著基于LLM構(gòu)建的工具將幫助工程師在更短的時(shí)間內(nèi)完成更大規(guī)模的任務(wù)，包括構(gòu)建、測(cè)試和培訓(xùn)機(jī)器人等。而要讓機(jī)器人本身變得更加智能咋意味著機(jī)器人自身可以更好地了解自己的環(huán)境，并且有更好的能力在這些環(huán)境中執(zhí)行更復(fù)雜的技能，這涉及到了各種多模態(tài)數(shù)據(jù)的輸入、區(qū)分和融合，以及對(duì)于人類(lèi)發(fā)出的語(yǔ)義的精準(zhǔn)高效處理等。

首先，如何幫助機(jī)器人工程師來(lái)加速機(jī)器人開(kāi)發(fā)？例如，對(duì)于一名機(jī)器學(xué)習(xí)工程師而言，他可能并不具備非常強(qiáng)的3D場(chǎng)景生成的能力，因此如何快速構(gòu)建完整準(zhǔn)備的3D場(chǎng)景并喂給模型進(jìn)行機(jī)器學(xué)習(xí)，最終部署到機(jī)器人上，就變成了一個(gè)非常耗時(shí)的過(guò)程。而如果其一旦擁有了LLM和NVIDIA Omniverse中提供的其他新工具，他就可以化身為一個(gè)技術(shù)藝術(shù)家，輕松創(chuàng)建復(fù)雜機(jī)器人工作單元或整個(gè)倉(cāng)庫(kù)仿真。

據(jù)Talla介紹，借助 NVIDIA Picasso等生成式 AI 工具，用戶(hù)可以根據(jù)簡(jiǎn)單的文字提示來(lái)生成逼真的 3D 資產(chǎn)，并將其添加到數(shù)字場(chǎng)景中，以實(shí)現(xiàn)動(dòng)態(tài)、全面的機(jī)器人訓(xùn)練環(huán)境。這一功能還可擴(kuò)展到在 Omniverse 中創(chuàng)建多樣化且符合物理學(xué)的場(chǎng)景，從而加強(qiáng)機(jī)器人的測(cè)試和訓(xùn)練，保證機(jī)器人在現(xiàn)實(shí)世界中的適用性。

第二，如何讓機(jī)器人自己變得越來(lái)越聰明？因?yàn)橐蕾?lài)于在極大的數(shù)據(jù)集上的相同基礎(chǔ)特質(zhì)進(jìn)行訓(xùn)練，因此生成式AI模型能夠變得越來(lái)越聰明，而這也將會(huì)是機(jī)器人的未來(lái)，可以幫助機(jī)器人改善其感知和規(guī)劃能力。例如某些協(xié)作機(jī)器人（cobot），現(xiàn)在可以直接在端側(cè)利用LLM來(lái)實(shí)現(xiàn)人類(lèi)自然語(yǔ)言的理解，將其翻譯成在該環(huán)境中操縱機(jī)器人的機(jī)器語(yǔ)言。

將生成式AI與機(jī)器人的結(jié)合，已經(jīng)成為了機(jī)器人發(fā)展的技術(shù)風(fēng)向標(biāo)，多家領(lǐng)先的機(jī)器人公司都基于NVIDIA的平臺(tái)開(kāi)始了創(chuàng)新：Agility Robotics、NTT 和其他公司正在將生成式 AI 整合到他們的機(jī)器人中，以幫助理解文本或語(yǔ)音命令。追覓科技的機(jī)器人吸塵器，正在由生成式 AI 模型創(chuàng)建的模擬生活空間中接受訓(xùn)練。同時(shí)，Electric Sheep 也正在開(kāi)發(fā)一種自動(dòng)割草的全球范式。

雙計(jì)算機(jī)模型，加速機(jī)器人AI開(kāi)發(fā)和應(yīng)用

要實(shí)現(xiàn)機(jī)器人AI開(kāi)發(fā)和應(yīng)用的加速，僅僅靠一臺(tái)計(jì)算機(jī)是不夠的。NVIDIA的Isaac平臺(tái)，是通過(guò)一種雙計(jì)算機(jī)模型的方式，來(lái)幫助AI部署到機(jī)器人中。

據(jù)Talla介紹，第一臺(tái)計(jì)算機(jī)被稱(chēng)為“AI 工廠”，是創(chuàng)建和不斷改進(jìn) AI 模型的核心。AI 工廠中使用了 NVIDIA 數(shù)據(jù)中心計(jì)算基礎(chǔ)設(shè)施以及NVIDIA AI和NVIDIA Omniverse平臺(tái)，可以仿真和訓(xùn)練AI模型。第二臺(tái)計(jì)算機(jī)代表機(jī)器人的運(yùn)行環(huán)境。運(yùn)行環(huán)境根據(jù)應(yīng)用的不同而有所變化，比如可以是云或數(shù)據(jù)中心；對(duì)于半導(dǎo)體制造中的缺陷檢測(cè)等任務(wù)則是本地服務(wù)器；配備多個(gè)傳感器和攝像頭的自主機(jī)器也可能成為運(yùn)行環(huán)境。

在AI 工廠里， 所有的人工智能算法、人工智能模型都可以在這里進(jìn)行訓(xùn)練、模擬和測(cè)試。而在機(jī)器人計(jì)算機(jī)上，人工智能將來(lái)自傳感器的數(shù)據(jù)進(jìn)行處理， 幫助機(jī)器人規(guī)劃和導(dǎo)航、或幫助它們理解物理世界環(huán)境，幫助機(jī)器人理解人類(lèi)并與人類(lèi)更緊密地協(xié)作。

透過(guò)雙計(jì)算機(jī)模型，NVIDIA Isaac加速了智能機(jī)器人的設(shè)計(jì)、模擬、測(cè)試和部署。以下是NVIDIA Isaac的一些主要特點(diǎn)和組成部分：

· 模擬與實(shí)時(shí)測(cè)試：NVIDIA Isaac 提供了一個(gè)高度逼真的3D模擬環(huán)境，稱(chēng)為Isaac Sim。這個(gè)環(huán)境允許開(kāi)發(fā)者在一個(gè)虛擬世界中模擬他們的機(jī)器人，進(jìn)行實(shí)時(shí)測(cè)試和調(diào)試。這種模擬技術(shù)特別有用，因?yàn)樗梢栽跈C(jī)器人實(shí)際構(gòu)建或部署之前，識(shí)別并解決潛在的問(wèn)題。

· 機(jī)器學(xué)習(xí)和AI：該平臺(tái)包含了一系列機(jī)器學(xué)習(xí)和人工智能的工具，使開(kāi)發(fā)者能夠訓(xùn)練和實(shí)現(xiàn)復(fù)雜的AI模型。這些模型可以讓機(jī)器人進(jìn)行自主決策、對(duì)象識(shí)別、路徑規(guī)劃等。

· 硬件兼容性：NVIDIA Isaac 與多種硬件設(shè)備兼容，包括NVIDIA自己的Jetson平臺(tái)。Jetson是一種小型、功耗低的AI計(jì)算設(shè)備，適合在邊緣計(jì)算環(huán)境中使用，如機(jī)器人和嵌入式系統(tǒng)。

· 軟件開(kāi)發(fā)套件（SDK）：NVIDIA為開(kāi)發(fā)者提供了一個(gè)包含各種庫(kù)和API的軟件開(kāi)發(fā)套件，以便于集成和開(kāi)發(fā)。

· NVIDIA Omniverse集成：Isaac Sim是集成在NVIDIA Omniverse平臺(tái)中的，這是一個(gè)用于3D設(shè)計(jì)和虛擬協(xié)作的平臺(tái)，它提供了強(qiáng)大的實(shí)時(shí)物理和光線追蹤功能。

通過(guò)這些工具和資源，NVIDIA Isaac加速了AI機(jī)器人從概念到實(shí)際部署的過(guò)程，該平臺(tái)特別適合那些需要進(jìn)行復(fù)雜任務(wù)和自主決策的機(jī)器人的開(kāi)發(fā)，如服務(wù)機(jī)器人、自動(dòng)引導(dǎo)車(chē)輛（AGV）和其他自動(dòng)化解決方案。

據(jù)悉，NVIDIA Isaac和Jetson平臺(tái)已經(jīng)被超過(guò)120萬(wàn)名開(kāi)發(fā)人員和10,000 名客戶(hù)以及合作伙伴所使用。

結(jié)語(yǔ)

從生成式AI的一開(kāi)始，NVIDIA 就一直是處在這場(chǎng)變革的核心。十年前，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛親手將第一臺(tái) NVIDIA DGX AI 超級(jí)計(jì)算機(jī)交付給 OpenAI。如今，得益于 OpenAI 的 ChatGPT，生成式 AI 已成為當(dāng)代發(fā)展最快的技術(shù)之一。

而這一切才剛剛開(kāi)始。Talla 預(yù)測(cè)，生成式 AI 的影響將超越文本和圖像生成，進(jìn)入到家庭和辦公室、農(nóng)場(chǎng)和工廠、醫(yī)院和實(shí)驗(yàn)室中。其關(guān)鍵在于，類(lèi)似于人類(lèi)大腦語(yǔ)言中心的大語(yǔ)言模型（LLM），使機(jī)器人能夠更自然地理解和響應(yīng)人類(lèi)指令。這些機(jī)器能夠不斷地向人類(lèi)、彼此和周?chē)氖澜鐚W(xué)習(xí)。Talla 表示：“鑒于這些特性，生成式 AI 非常適合用于機(jī)器人技術(shù)?！?

當(dāng)生成式AI的浪潮來(lái)襲，無(wú)數(shù)垂直領(lǐng)域的產(chǎn)品形態(tài)、服務(wù)業(yè)態(tài)都將會(huì)被重塑。而對(duì)于這些傳統(tǒng)領(lǐng)域的客戶(hù)而言，從零開(kāi)始去學(xué)習(xí)如何構(gòu)建AI模型、應(yīng)用AI能力、部署生成式AI將會(huì)是一個(gè)極大的投入。對(duì)于機(jī)器人領(lǐng)域的客戶(hù)而言，其優(yōu)勢(shì)在于對(duì)于自己業(yè)務(wù)領(lǐng)域的各種機(jī)器人場(chǎng)景的理解，而不是如何去從零構(gòu)建一個(gè)生成式AI的機(jī)器人平臺(tái)。對(duì)此而言，選擇NVIDIA Isaac和Jetson平臺(tái)將會(huì)大大加速其生成式AI機(jī)器人的研發(fā)和面世，從而快速掌握生成式AI的能力，在本輪AI浪潮中贏得先機(jī)。