本文介紹了輕量級實時6D姿態(tài)生成和抓取規(guī)劃工具包GraspGen。它將主成分分析(PCA)與tensorrt加速的YOLOv8-Seg推理相結(jié)合，可以在桌面pc和Jetson嵌入式平臺上實現(xiàn)快速的對象分割，姿態(tài)估計和抓取規(guī)劃。

GraspGen集成了PiPER機(jī)械臂，支持完整的正/逆運動學(xué)、姿態(tài)控制、夾具控制等。

關(guān)鍵特性

?用于實時操作的TensorRT加速YOLOv8-Seg推理

?基于PCA的6D姿態(tài)生成

?正、逆運動學(xué)支持

?實時姿態(tài)控制和抓手控制

?模塊化ROS接口

?運行在桌面和Jetson平臺

?兼容PiPER機(jī)械臂生態(tài)系統(tǒng)

標(biāo)簽

PiPER機(jī)械臂，YoloV8-Seg模型，TensorRT，正逆運動學(xué)，姿態(tài)控制，夾具控制

環(huán)境配置

支持雙平臺部署：Desktop Platform和Jetson Platform

Desktop Platform

?Ubuntu20.04

?ROS noetic

?NVIDIA驅(qū)動程序版本470.256.02

?CUDA版本11.4

?cuDNN 8.4.1

?TensorRT 8.6.1.6

?OpenCV 4.5.3

1. 安裝NVIDIA圖形驅(qū)動程序

2. 安裝CUDA Toolkit 11.4

首先，從NVIDIA官方網(wǎng)站下載CUDA運行文件

?執(zhí)行安裝命令

?在安裝過程中取消選中第一個選項“Driver”，因為我們已經(jīng)在步驟1中安裝了圖形驅(qū)動程序

3. 添加環(huán)境變量

4. 驗證CUDA安裝，執(zhí)行如下命令查看CUDA信息：

5. 安裝cuDNN

從NVIDIA官網(wǎng)下載TensorRT tar文件，解壓縮并復(fù)制

解壓完成后，執(zhí)行以下命令將cuDNN拷貝到CUDA安裝目錄下

6. 安裝TensorRT，從NVIDIA官網(wǎng)下載TensorRT tar文件，解壓縮并拷貝

提取完成后，執(zhí)行以下命令將TensorRT移動到/usr/local目錄

驗證TensorRT安裝

7. 安裝帶有CUDA加速的OpenCV

從官網(wǎng)下載OpenCV 4.5.3，解壓縮后進(jìn)入目錄

安裝OpenCV依賴項

從GitHub下載opencv_contrib并將其放在OpenCV目錄中(或其他目錄;修改相應(yīng)的CMake路徑)

預(yù)編譯與CMake(注意：更新OPENCV_EXTRA_MODULES_PATH到您的opencv_contrib模塊路徑)

編譯和安裝(這可能需要一些時間;要有耐心)

向系統(tǒng)環(huán)境中添加OpenCV庫

將打開一個空白文件;在文件末尾添加/usr/local/lib

更新系統(tǒng)動態(tài)鏈接器緩存

配置環(huán)境變量(編輯/etc/bash.bashrc)

激活環(huán)境變量，驗證OpenCV版本

8. 安裝依賴ROS包

Jetson Orin

1. DownloadSDKManagerJetPack是5.1.5

2. 選擇只刷新系統(tǒng)或所有組件(如果只刷新系統(tǒng)，您可以稍后手動安裝依賴項)

3. 如果只安裝了系統(tǒng)，則手動安裝依賴項;如果所有組件都是通過SDKManager安裝的，請?zhí)^!

4. 安裝CUDA和配置環(huán)境變量

5. 安裝cuDNN

6. 安裝TensorRT

7. 安裝依賴ROS包

克隆和編譯

將項目克隆到本地工作區(qū)

運行指令

1. 啟動Piper_kinematics逆運動學(xué)節(jié)點

或者用一個命令啟動兩個節(jié)點

2. 啟動Piper驅(qū)動節(jié)點并將交互式標(biāo)記拖到目標(biāo)位置

將交互標(biāo)記拖動到目標(biāo)位置，驅(qū)動機(jī)械臂移動到目標(biāo)位置

3. 啟動GraspGen節(jié)點

4. 在相機(jī)前放置一個物體以查看檢測結(jié)果

5. 添加可視化插件來查看AABB邊界框和抓取姿勢

添加可視化插件后，可以看到對象自動生成的AABB包圍框和通過主成分分析優(yōu)化的抓取姿態(tài)

6. 執(zhí)行抓抓任務(wù)

在GraspGen節(jié)點終端按小寫“s”鍵，啟動抓取任務(wù)

本文編譯自hackster.io