NVIDIA 利用全新開源模型與仿真庫加速機器人研發(fā)進程

時間：2025-09-30 09:12:40

關鍵字： NVIDIA 開源模型仿真庫機器人

手機看文章

掃描二維碼
隨時隨地手機看文章

[導讀]由 NVIDIA、Google DeepMind 以及 Disney Research 聯(lián)合開發(fā)的開源物理引擎 Newton，現(xiàn)可在 NVIDIA Isaac Lab 中使用。這一物理引擎將助力科研人員及開發(fā)者打造功能更強大、適應性更強的機器人。

新聞摘要：

· 由 NVIDIA、Google DeepMind 以及 Disney Research 聯(lián)合開發(fā)的開源物理引擎 Newton，現(xiàn)可在 NVIDIA Isaac Lab 中使用。這一物理引擎將助力科研人員及開發(fā)者打造功能更強大、適應性更強的機器人。

· 全新的 NVIDIA Isaac GR00T 開源基礎模型將為機器人賦予接近人類的推理能力，使其能夠拆解復雜指令，并借助已有知識與常識執(zhí)行任務。

· 借助全新的 NVIDIA Cosmos 世界基礎模型，開發(fā)者可以生成多樣化數(shù)據(jù)，從而大規(guī)模加速物理 AI 模型的訓練。

· 來自斯坦福大學、蘇黎世聯(lián)邦理工學院、新加坡國立大學等頂尖高校的全球科研人員，正借助 NVIDIA 的加速計算技術及軟件推進機器人研究工作。

· 包括 Agility Robotics、Boston Dynamics、Disney Research、Figure AI、Franka Robotics、Hexagon、Skild AI、Solomon 以及Techman Robot 在內的領先機器人公司，正在采用 NVIDIA Isaac 與 Omniverse 技術。

NVIDIA 今日在機器人學習大會（CoRL）上宣布，開源物理引擎現(xiàn)已可以通過NVIDIA Isaac? Lab獲取，同時推出的還有用于機器人技能的開源推理視覺語言動作模型NVIDIA Isaac GR00T N1.6，以及全新 AI 基礎設施。上述技術為開發(fā)者和研究人員提供了開源的機器人加速平臺，該平臺能夠加快迭代周期、統(tǒng)一測試標準、整合訓練與機器人端推理，并助力機器人安全可靠地將技能從仿真環(huán)境遷移到現(xiàn)實世界。

NVIDIA Omniverse 與仿真技術副總裁 Rev Lebaredian 表示：“人形機器人是物理 AI 的下一個前沿領域，需要在不可預測的世界中進行推理，適應環(huán)境并安全行動。通過最新升級，開發(fā)者可以擁有將機器人從研發(fā)階段帶入日常生活的三大核心工具，包括充當機器人‘大腦’的 Isaac GR00T，負責對機器人‘身體’運作進行仿真的物理引擎 Newton，以及作為機器人‘訓練基地’的 NVIDIA Omniverse?！?

物理引擎 Newton 開創(chuàng)機器人物理仿真新標準

機器人在仿真環(huán)境中的學習速度更快、安全性更高，但人形機器人關節(jié)結構、平衡控制和動作模式非常復雜，現(xiàn)有物理引擎的性能已經難以滿足。全球超過 25 萬機器人開發(fā)者亟需精準的物理仿真技術，以確保在仿真環(huán)境中教會機器人技能，同時安全可靠地遷移到現(xiàn)實世界。

今天 NVIDIA 宣布，由、GPU 加速的開源物理引擎 Newton 已發(fā)布測試版本。該物理引擎由 Google DeepMind、Disney Research 與 NVIDIA 聯(lián)合開發(fā)，基于NVIDIA Warp和OpenUSD框架構建，現(xiàn)已開放使用。

憑借Newton靈活的設計，以及兼容多種物理求解器的能力，開發(fā)者現(xiàn)在可以對非常復雜的機器人動作進行仿真，例如在雪地或碎石路面行走、操控杯子和水果等，并且能夠成功地將這些動作部署到現(xiàn)實場景中。

包括蘇黎世聯(lián)邦理工學院機器人系統(tǒng)實驗室、慕尼黑工業(yè)大學及北京大學在內的眾多知名高校，以及機器人技術公司光輪智能，仿真引擎公司 Style3D已經率先使用 Newton。

Cosmos Reason 為全新開源模型 Isaac GR00T N1.6 提升機器人推理能力

為了在物理世界中執(zhí)行類似人類的任務，人形機器人必須能夠理解模糊指令，并應對各種以前未見過的復雜情況。

最新發(fā)布的開源機器人基礎模型 NVIDIA Isaac GR00T N1.6，即將在 Hugging Face 平臺上線。這一模型將集成NVIDIA Cosmos? ReasonCosmos Reason 1 rId18 NVIDIA NIM?提供，NVIDIA NIM是一款易于使用的 AI 模型部署微服務。

借助 NVIDIA Isaac GR00T N1.6，人形機器人可以同時完成移動和物體操控動作，其軀干和手臂擁有更大的活動自由度，能夠完成各種高難度任務，比如推開較重的房門。

開發(fā)者還可以利用 Hugging Face 平臺上的開源NVIDIA rId20，對 NVIDIA Isaac GR00T N 系列模型進行后訓練。該數(shù)據(jù)集包含數(shù)千條合成及來自真實世界的軌跡數(shù)據(jù)，目前下載量已超過 480 萬次。

AeiROBOT、Franka Robotics、LG Electronics、光輪智能、Mentee Robotics、Neura Robotics、Solomon、Techman Robot 和 UCR 等領先機器人制造商，正評估采用Isaac GR00T N rId21來打造通用機器人。

面向物理 AI 開發(fā)的全新 Cosmos 世界基礎模型

NVIDIA 宣布了開源Cosmos rId22的全新更新。該模型的下載量已超過300 萬次，開發(fā)者可通過文本、圖像和視頻提示，生成多樣化數(shù)據(jù)，從而大規(guī)模加速物理 AI 模型的訓練。

即將推出的 Cosmos Predict 2.5 將三款 Cosmos 世界基礎模型進行整合，集成為一個功能強大的模型，大幅降低了復雜度，節(jié)省開發(fā)時間并提高效率。它支持更長時長的視頻生成（最長可創(chuàng)建 30 秒視頻），同時提供多視角攝像頭輸出，以實現(xiàn)更豐富的世界仿真效果。

即將推出的 Cosmos Transfer 2.5 相比上一代模型，其生成結果速度更快、質量更高，而模型大小僅為上一代模型的 1/3.5。該模型能夠根據(jù)真實的 3D 仿真場景和空間控制輸入，比如深度信息、分割數(shù)據(jù)、邊緣信息和高分辨率地圖等，生成逼真的合成數(shù)據(jù)。

訓練機器人抓取技能的新工作流

教會機器人抓取物體是機器人領域最具挑戰(zhàn)性的任務之一。這不僅涉及機械臂的移動，還需要將抽象的指令轉化為精準的動作，機器人必須通過反復試錯才能掌握這項技能。

基于NVIDIA Omniverse?構建的開發(fā)者預覽版新增了靈巧抓取工作流。該工作流通過自動化課程體系，在虛擬環(huán)境中對擁有多手指的機器人和機械臂進行訓練，從簡單任務開始，逐步提升難度。此工作流會調整重力、摩擦力、物體重量等參數(shù)，訓練機器人在不可預測的環(huán)境中也能掌握技能。

Boston Dynamics的 Atlas 機器人借助這一工作流學習抓取技能，其操控能力得到了顯著提升。

包括 Agility Robotics、Boston Dynamics、Figure AI、Hexagon、Skild AI、Solomon 以及Techman Robot 在內的領先的機器人公司，已經采用 NVIDIA Isaac 和 Omniverse 技術。

在仿真環(huán)境中評估機器人的習得技能

讓機器人掌握一項新技能（如拿起杯子或穿過房間）非常困難，在實體機器人上測試這些技能不僅耗時且成本高昂。

仿真技術為解決這一問題提供了途徑，它能夠在無數(shù)場景、任務和環(huán)境中測試機器人習得的技能。但即便在仿真環(huán)境中，開發(fā)者構建的測試場景往往零散且簡單化，無法真實反映現(xiàn)實世界的復雜情況。在完美且簡單的仿真環(huán)境中學會導航的機器人，一旦面臨現(xiàn)實世界的復雜狀況就會失敗。

為了讓開發(fā)者無需從零構建系統(tǒng)，即可在仿真環(huán)境中開展復雜、大規(guī)模的評估，NVIDIA 與光輪智能聯(lián)合開發(fā)了 NVIDIA Isaac Lab Arena——這是一個用于大規(guī)模實驗和標準化測試的開源策略評估框架，該框架即將推出。

全新 NVIDIA AI 基礎設施，為機器人工作負載提供全面支持

為了讓開發(fā)者充分利用這些先進的技術和軟件庫，NVIDIA 推出了專為高要求工作負載設計的 AI 基礎設施，包括：

· NVIDIA GB200 NVL72：這是一款集成了 36 個NVIDIA Grace? CPU和 72 個NVIDIA Blackwell GPU的機架式系統(tǒng)。各大云服務提供商已開始采用該系統(tǒng)，以加速 AI 訓練和推理過程，包括復雜推理和物理 AI 任務。

· NVIDIA RTX PRO?服務器：為機器人開發(fā)的各類工作負載（包括訓練、合成數(shù)據(jù)生成、機器人學習和仿真）提供統(tǒng)一架構。RAI Institute 已采用 RTX PRO 服務器。

· NVIDIA Jetson Thor?：搭載 Blackwell GPU，能夠支持機器人運行多個 AI 工作流，實現(xiàn)實時智能交互，帶來機器人端實時推理功能。這一突破對于高性能物理 AI 工作負載以及人形機器人等應用具有重要意義。包括 Figure AI、銀河通用、Google DeepMind、Mentee Robotics、Meta、Skild AI 以及宇樹科技在內的合作伙伴已采用 Jetson Thor。