?多模傳感器模塊集成二維成像、三維深度檢測(cè)和類(lèi)人運(yùn)動(dòng)感知技術(shù)

?英偉達(dá) Holoscan Sensor Bridge確保傳感器與 Jetson 平臺(tái)實(shí)現(xiàn)即插即用千兆級(jí)互聯(lián)

?全面支持 NVIDIA Isaac 開(kāi)放式機(jī)器人開(kāi)發(fā)平臺(tái)

2026 年3月26日，中國(guó) – 意法半導(dǎo)體和 Leopard Imaging® 公司聯(lián)合推出了一款面向人形機(jī)器人和其他高級(jí)機(jī)器人系統(tǒng)的一體化多模視覺(jué)模塊。新模塊整合意法半導(dǎo)體的圖像傳感器、三維深度傳感器和運(yùn)動(dòng)傳感器與英偉達(dá)的Holoscan Sensor Bridge技術(shù)，與英偉達(dá)的NVIDIA Jetson邊緣人工智能計(jì)算平臺(tái)和 NVIDIA Isaac開(kāi)放式機(jī)器人開(kāi)發(fā)平臺(tái)原生集成，有助于簡(jiǎn)化并加快人形機(jī)器人的視覺(jué)系統(tǒng)設(shè)計(jì)，同時(shí)滿(mǎn)足尺寸、重量和功耗限制等方面的要求。

意法半導(dǎo)體模擬、功率、MEMS和傳感器產(chǎn)品部市場(chǎng)與應(yīng)用副總裁Marco Angelici表示：“人形機(jī)器人技術(shù)正從研究項(xiàng)目和演示階段走向?qū)嶋H應(yīng)用，為設(shè)備制造廠、汽車(chē)工廠、物流倉(cāng)儲(chǔ)中心、零售和客戶(hù)服務(wù)等眾多行業(yè)帶來(lái)強(qiáng)大的新型機(jī)器，在實(shí)際應(yīng)用中扮演各種不同的角色。通過(guò)與Leopard Imaging合作，我們正在將市場(chǎng)領(lǐng)先的ST傳感器和執(zhí)行器無(wú)縫集成到英偉達(dá)機(jī)器人生態(tài)系統(tǒng)，加快具有類(lèi)人感知能力的物理AI應(yīng)用的部署?！?

Leopard Imaging首席執(zhí)行官Bill Pu表示：“通過(guò)在英偉達(dá)生態(tài)內(nèi)直接使用ST傳感器和執(zhí)行器，我們可以對(duì)HSB接口上的人形機(jī)器人視覺(jué)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化采集記錄，并簡(jiǎn)化整個(gè)過(guò)程。多模視覺(jué)感知模塊與Isaac工具配合使用，可以加快模型的學(xué)習(xí)速度，并快速?gòu)浐戏抡娴秸鏅C(jī)的差異。”

新模塊以英偉達(dá) Holoscan Sensor Bridge為引擎，通過(guò)以太網(wǎng)與 NVIDIA Jetson傳感器數(shù)據(jù)實(shí)時(shí)采集平臺(tái)無(wú)縫集成，深度融入NVIDIA Isaac 開(kāi)放式機(jī)器人開(kāi)發(fā)平臺(tái)，為開(kāi)發(fā)者提供開(kāi)放式AI 模型、仿真框架和軟件庫(kù)。新模塊包含構(gòu)建系統(tǒng)和應(yīng)用程序編程接口 (API)、移動(dòng)機(jī)器人專(zhuān)用AI 算法、應(yīng)用代碼示例和域隨機(jī)化，以及包含傳感器模型的仿真環(huán)境。

作為英偉達(dá)機(jī)器人和邊緣人工智能的重要合作伙伴，意法半導(dǎo)體將持續(xù)不斷地把傳感器、驅(qū)動(dòng)器、執(zhí)行器、控制器和開(kāi)發(fā)工具加入英偉達(dá)機(jī)器人生態(tài)系統(tǒng)，包括高保真模型和概念驗(yàn)證模塊。

技術(shù)資料

Leopard Imaging Systems 的視覺(jué)模塊包含：

關(guān)于視覺(jué)感知， ST VB1940 車(chē)規(guī)級(jí)510萬(wàn)像素RGB-IR影像傳感器具有卷簾快門(mén)和全局快門(mén)兩種模式。意法半導(dǎo)體還發(fā)布了面向大眾市場(chǎng)和工業(yè)市場(chǎng)的Vx5943/Vx1943影像傳感器，這款產(chǎn)品屬于意法半導(dǎo)體BrightSense系列，提供單色和 RGB-IR兩類(lèi)傳感器，交付形式分為裸片和封裝芯片。

關(guān)于運(yùn)動(dòng)感知，LSM6DSV16X六軸慣性測(cè)量單元 (IMU) 集成了意法半導(dǎo)體機(jī)器學(xué)習(xí)核心 (MLC)，適用于邊緣人工智能、低功耗傳感器融合(SFLP)和用戶(hù)界面Qvar靜電感測(cè)功能。

關(guān)于3D 深度感知，VL53L9CX 是意法半導(dǎo)體FlightSense 產(chǎn)品系列中的最新一款dToF一體化激光雷達(dá)模塊，3D深度感知精準(zhǔn)，測(cè)距長(zhǎng)達(dá) 9 米，能夠測(cè)量54x42個(gè)區(qū)域(接近 2,300個(gè)測(cè)距區(qū))，視場(chǎng)角為54°x42°，角度分辨率為1°，在100 fps速率下，可以測(cè)量近/遠(yuǎn)距離的小目標(biāo)物。