?Sim2Real?是“Simulation to Reality”的縮寫，意思是“從模擬到現(xiàn)實”，主要應用于機器學習等領域。為增進大家對?Sim2Real的認識，本文將對?Sim2Real主流觀點以及?Sim2Real的進展予以介紹。如果你對?Sim2Real具有興趣，不妨和小編一起來繼續(xù)往下閱讀哦。

賈奎教授認為，要實現(xiàn)高通用性的具身智能，核心是需要海量的帶有物理世界屬性的數(shù)據(jù)。有別于語言、圖像等可以從網(wǎng)絡上大量獲取以形成通用能力的數(shù)據(jù)，三維數(shù)據(jù)，尤其是機器人在物理空間中的操作數(shù)據(jù)，需要經(jīng)過精確標定，且采集過程中存在難度大、周期長、成本高等問題。因此，通過基于3D生成式AI的 Sim2Real 仿真成為解決高通用性具身智能數(shù)據(jù)需求的最高效路徑。

而基于 Sim2Real AI 實現(xiàn)高通用性具身智能的門檻極高，至少需要具備底層可控的具身屬性物理仿真、高效大模型訓練與持續(xù)學習、有效應對合成與真實數(shù)據(jù)域差別、低成本海量數(shù)字資產(chǎn)等能力，才能實現(xiàn) Sim2Real 方式的真正落地。

賈奎教授表示，基于在 Sim2Real 具身智能領域擁有的深厚技術和產(chǎn)品積累，跨維智能已構建起一套完整的底層技術到產(chǎn)品再到業(yè)務的邏輯框架。其中自主研發(fā)的DexVerse? 具身智能引擎，通過3D 生成式AI 與仿真技術，模擬真實世界中的豐富場景和任務，有效解決了傳統(tǒng)方法中三維數(shù)據(jù)獲取難、標定要求高的問題，能夠支持大規(guī)模仿真，并可自動化完成從數(shù)據(jù)標注到模型訓練的全過程。過程中不僅加速了數(shù)據(jù)生成，還確保了模型的魯棒性和泛化能力。

突破性進展：機器人“修煉”加速萬倍，僅需1.5m參數(shù)！

Jim Fan團隊的最新研究成果令人震驚：機器人通過在虛擬“道場”中進行為期一年的訓練，卻僅在現(xiàn)實世界中花費了50分鐘！更令人難以置信的是，訓練結果無需任何微調，即可直接應用于現(xiàn)實世界。這是否預示著未來人們可以在虛擬世界中體驗一萬年的人生？

這一突破的關鍵在于一個僅有1.5M參數(shù)的超小型模型。相比之下，谷歌的Gato擁有11.8億參數(shù)，Meta的TACO擁有2.5億參數(shù)，OpenAI的CLIPort擁有4億參數(shù)。如此巨大的參數(shù)差異，凸顯了Jim Fan團隊模型的效率和創(chuàng)新性?！安⒎撬谢A模型都需要龐大的參數(shù)量，”Jim Fan強調，小巧的模型同樣可以高效運作。

這款名為HOVER的多模式策略蒸餾框架，由英偉達GEAR團隊研發(fā)，Jim Fan和朱玉可共同領導。HOVER實現(xiàn)了機器人訓練的通用性。以往，機器人完成不同任務需要依賴特定的控制策略，例如導航任務需要速度或位置跟蹤，桌面任務則需要上半身關節(jié)角度跟蹤。這種“專精”模式限制了機器人的通用能力。

HOVER的創(chuàng)新之處在于將全身運動模仿作為所有任務的共同抽象，讓機器人通過學習通用的運動技能來掌握全身控制模式。這如同人類潛意識的運作機制，大腦會進行一系列計算以迅速反應。HOVER模仿這種機制，實現(xiàn)了多種控制模式的整合和自然銜接。

HOVER支持多種高級運動指令輸入，并可在英偉達Isaac平臺上訓練各種人形機器人，實現(xiàn)了機器人訓練的跨平臺通用性。這打破了以往機器人訓練的封閉性和低效性，讓不同團隊的機器人能夠協(xié)同進化。

Jim Fan的遠大目標早已顯露，“2024年將是機器人、游戲AI和模擬的一年。”GEAR團隊致力于解決機器人基礎模型、游戲基礎模型和生成式模擬這三大問題。黃仁勛也指出，“下一波AI浪潮將是物理性的AI”，而具身智能正是關鍵。

Sim2Real（模擬到現(xiàn)實）是具身智能領域的核心挑戰(zhàn)，Jim Fan的研究正是聚焦于此。他的同門師兄蘇昊也致力于Sim2Real，但選擇從真實世界的數(shù)據(jù)入手，并創(chuàng)建了Hillbot，利用3D生成式AI技術和SAPIEN模擬器，高效生成訓練數(shù)據(jù)，提升機器人訓練速度。

Sim2Real面臨“現(xiàn)實鴻溝”的挑戰(zhàn)，但Jim Fan和蘇昊團隊的研究，以及其他團隊在數(shù)據(jù)合成、模擬平臺和多任務泛化方面的努力，都在不斷縮小這一差距。 “數(shù)字表親”概念的提出也為解決模擬與現(xiàn)實差異提供了新的思路。 未來，更強大的世界模型和更通用的機器人開發(fā)環(huán)境將成為Sim2Real的關鍵。

以上便是此次帶來的Sim2Real相關內容，通過本文，希望大家對Sim2Real已經(jīng)具備一定的了解。如果你喜歡本文，不妨持續(xù)關注我們網(wǎng)站哦，將于后期帶來更多精彩內容。最后，十分感謝大家的閱讀，have a nice day!