如何使用輕量級實(shí)時(shí)6D姿態(tài)生成和抓取規(guī)劃工具包GraspGen
本文介紹了輕量級實(shí)時(shí)6D姿態(tài)生成和抓取規(guī)劃工具包GraspGen。它將主成分分析(PCA)與tensorrt加速的YOLOv8-Seg推理相結(jié)合，可以在桌面pc和Jetson嵌入式平臺上實(shí)現(xiàn)快速的對象分割，姿態(tài)估計(jì)和抓取規(guī)劃。
GraspGen集成了PiPER機(jī)械臂，支持完整的正/逆運(yùn)動學(xué)、姿態(tài)控制、夾具控制等。
關(guān)鍵特性
?用于實(shí)時(shí)操作的TensorRT加速YOLOv8-Seg推理
?基于PCA的6D姿態(tài)生成
?正、逆運(yùn)動學(xué)支持
?實(shí)時(shí)姿態(tài)控制和抓手控制
?模塊化ROS接口
?運(yùn)行在桌面和Jetson平臺
?兼容PiPER機(jī)械臂生態(tài)系統(tǒng)
標(biāo)簽
PiPER機(jī)械臂，YoloV8-Seg模型，TensorRT，正逆運(yùn)動學(xué)，姿態(tài)控制，夾具控制
環(huán)境配置
支持雙平臺部署：Desktop Platform和Jetson Platform
Desktop Platform
?Ubuntu20.04
?ROS noetic
?NVIDIA驅(qū)動程序版本470.256.02
?CUDA版本11.4
?cuDNN 8.4.1
?TensorRT 8.6.1.6
?OpenCV 4.5.3
1. 安裝NVIDIA圖形驅(qū)動程序
2. 安裝CUDA Toolkit 11.4
首先，從NVIDIA官方網(wǎng)站下載CUDA運(yùn)行文件
?執(zhí)行安裝命令
?在安裝過程中取消選中第一個(gè)選項(xiàng)“Driver”，因?yàn)槲覀円呀?jīng)在步驟1中安裝了圖形驅(qū)動程序
3. 添加環(huán)境變量
4. 驗(yàn)證CUDA安裝，執(zhí)行如下命令查看CUDA信息：
5. 安裝cuDNN
從NVIDIA官網(wǎng)下載TensorRT tar文件，解壓縮并復(fù)制
解壓完成后，執(zhí)行以下命令將cuDNN拷貝到CUDA安裝目錄下
6. 安裝TensorRT，從NVIDIA官網(wǎng)下載TensorRT tar文件，解壓縮并拷貝
提取完成后，執(zhí)行以下命令將TensorRT移動到/usr/local目錄
驗(yàn)證TensorRT安裝
7. 安裝帶有CUDA加速的OpenCV
從官網(wǎng)下載OpenCV 4.5.3，解壓縮后進(jìn)入目錄
安裝OpenCV依賴項(xiàng)
從GitHub下載opencv_contrib并將其放在OpenCV目錄中(或其他目錄;修改相應(yīng)的CMake路徑)
預(yù)編譯與CMake(注意：更新OPENCV_EXTRA_MODULES_PATH到您的opencv_contrib模塊路徑)
編譯和安裝(這可能需要一些時(shí)間;要有耐心)
向系統(tǒng)環(huán)境中添加OpenCV庫
將打開一個(gè)空白文件;在文件末尾添加/usr/local/lib
更新系統(tǒng)動態(tài)鏈接器緩存
配置環(huán)境變量(編輯/etc/bash.bashrc)
激活環(huán)境變量，驗(yàn)證OpenCV版本
8. 安裝依賴ROS包
Jetson Orin
1. DownloadSDKManagerJetPack是5.1.5
2. 選擇只刷新系統(tǒng)或所有組件(如果只刷新系統(tǒng)，您可以稍后手動安裝依賴項(xiàng))
3. 如果只安裝了系統(tǒng)，則手動安裝依賴項(xiàng);如果所有組件都是通過SDKManager安裝的，請?zhí)^!
4. 安裝CUDA和配置環(huán)境變量
5. 安裝cuDNN
6. 安裝TensorRT
7. 安裝依賴ROS包
克隆和編譯
將項(xiàng)目克隆到本地工作區(qū)
運(yùn)行指令
1. 啟動Piper_kinematics逆運(yùn)動學(xué)節(jié)點(diǎn)
或者用一個(gè)命令啟動兩個(gè)節(jié)點(diǎn)
2. 啟動Piper驅(qū)動節(jié)點(diǎn)并將交互式標(biāo)記拖到目標(biāo)位置
將交互標(biāo)記拖動到目標(biāo)位置，驅(qū)動機(jī)械臂移動到目標(biāo)位置
3. 啟動GraspGen節(jié)點(diǎn)
4. 在相機(jī)前放置一個(gè)物體以查看檢測結(jié)果
5. 添加可視化插件來查看AABB邊界框和抓取姿勢
添加可視化插件后，可以看到對象自動生成的AABB包圍框和通過主成分分析優(yōu)化的抓取姿態(tài)
6. 執(zhí)行抓抓任務(wù)
在GraspGen節(jié)點(diǎn)終端按小寫“s”鍵，啟動抓取任務(wù)
本文編譯自hackster.io
下載文檔
