在當(dāng)今制造業(yè)轉(zhuǎn)型升級的浪潮中，工廠自動化正以前所未有的速度發(fā)展，而計算機視覺作為其中的關(guān)鍵一環(huán)，賦予了機器“看”和理解周圍環(huán)境的能力，可幫助工廠提高生產(chǎn)效率，優(yōu)化產(chǎn)品質(zhì)量，降低總成本，為制造業(yè)帶來了諸多變革。

計算機視覺在工廠自動化中的應(yīng)用主要包括四個應(yīng)用場景：

◆ 質(zhì)量檢測：精準(zhǔn)識別產(chǎn)品表面的微小缺陷，如劃痕、裂紋等，有效提升產(chǎn)品質(zhì)量，降低次品率。

◆ 機器人技術(shù)與自動化：支持引導(dǎo)系統(tǒng)和拾取與放置功能，提升生產(chǎn)效率。

◆ 過程控制：實現(xiàn)對生產(chǎn)過程的實時監(jiān)控及分揀和分級，提高可控性。

◆ 提升安全性：降低風(fēng)險和確保合規(guī)，保障工廠安全運行。

隨著人工智能和深度學(xué)習(xí)算法的融入，計算機視覺的性能將得到進(jìn)一步提升，能夠處理更復(fù)雜的任務(wù)，為工廠自動化提供更強大的支持。

為滿足工廠自動化計算機視覺應(yīng)用的發(fā)展需求，意法半導(dǎo)體憑借深厚的技術(shù)積累與敏銳的市場洞察力，精心打造出一款基于STM32N6和STM32MP257的手勢識別與控制系統(tǒng)。該系統(tǒng)主要由三大部分構(gòu)成：基于STM32N6的手勢識別與數(shù)據(jù)采集的感知部分，基于STM32MP257的數(shù)據(jù)轉(zhuǎn)換與處理任務(wù)的PLC部分，基于STM32G431實現(xiàn)運動控制與手勢跟隨的靈巧手部分。接下來，就讓我們深入探索這套系統(tǒng)的精妙之處。

感知部分：手勢識別與數(shù)據(jù)采集

系統(tǒng)的“眼睛”是攝像頭，它像不知疲倦的觀察者，實時采集手部視頻。而負(fù)責(zé)處理這些視頻的“智慧大腦”，則是STM32N6微控制器。它集成了意法半導(dǎo)體強大的Neural-ART加速器神經(jīng)處理單元（NPU），在視覺數(shù)據(jù)處理方面有著卓越的計算能力，為手勢識別的高效與精準(zhǔn)提供了堅實保障。

手勢識別技術(shù)采用的是Google提供的MediaPipe Hand Landmarker技術(shù)。其核心是深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）訓(xùn)練出的掌部檢測與手部關(guān)鍵點檢測兩個模型，二者協(xié)同合作。掌部檢測模型率先在圖像中精準(zhǔn)定位手部區(qū)域，并裁剪出手掌圖像；接著，手部關(guān)鍵點檢測模型在裁剪后的圖像上大展身手，迅速提取出21個關(guān)鍵點的xyz坐標(biāo)（z軸代表相對深度信息）。

STM32N6憑借出色的計算能力，能讓手勢識別達(dá)到每秒超過30幀的高識別速率，真正實現(xiàn)實時處理。而且，借助ST的X-CUBE-AI軟件擴(kuò)展包及ST提供的完整AI生態(tài)系統(tǒng)，該模型能輕松部署到STM32N6平臺，無需復(fù)雜優(yōu)化即可高效運行。最后，STM32N6通過485總線，將計算得出的21個關(guān)鍵點坐標(biāo)數(shù)據(jù)發(fā)送給PLC，為后續(xù)控制提供精確的輸入。

數(shù)據(jù)轉(zhuǎn)換與處理：關(guān)節(jié)角度計算與控制

數(shù)據(jù)處理的關(guān)鍵環(huán)節(jié)由基于STM32MP257的PLC承擔(dān)。STM32MP257是一款專為工業(yè)自動化打造的高性能工業(yè)級MPU，采用雙核Cortex-A35處理器和單核Cortex-M33組成的異構(gòu)架構(gòu)，擁有強大的計算和實時處理能力。豐富的通信接口、圖形加速、AI加速以及多種安全功能，使其在工業(yè)自動化、機器人控制和智能邊緣計算等領(lǐng)域大顯身手。

這款PLC的一大亮點是集成了CODESYS軟件平臺。它在自動化控制系統(tǒng)中應(yīng)用廣泛，開發(fā)者可以通過它輕松創(chuàng)建、調(diào)試和部署控制程序，極大縮短開發(fā)周期。

在本系統(tǒng)里，PLC借助CODESYS平臺完成多項關(guān)鍵任務(wù)：

◆ 關(guān)節(jié)角度計算：根據(jù)視覺系統(tǒng)傳來的21個關(guān)鍵點坐標(biāo)，精確計算每個手指三個關(guān)節(jié)的角度數(shù)據(jù)，并轉(zhuǎn)化為與機械手電機目標(biāo)位置的映射關(guān)系；

◆ 數(shù)據(jù)處理與轉(zhuǎn)換：對關(guān)節(jié)角度數(shù)據(jù)進(jìn)行坐標(biāo)轉(zhuǎn)換、目標(biāo)位置設(shè)定等處理，生成最終的控制幀；

◆ 實時通信與控制：通過標(biāo)準(zhǔn)CAN協(xié)議，將計算出的目標(biāo)位置實時發(fā)送給機械手電機驅(qū)動系統(tǒng)，確保運動精確執(zhí)行。

在本系統(tǒng)里，基于STM32MP257的PLC僅承擔(dān)數(shù)據(jù)轉(zhuǎn)換與傳輸?shù)墓δ?，但它的功能非常豐富，包括支持EtherCAT、Modbus TCP/RTU、Ethernet等常用的通信協(xié)議和邏輯控制功能，能靈活適應(yīng)不同工業(yè)環(huán)境，連接和控制各種設(shè)備，保障系統(tǒng)在多樣化場景中穩(wěn)定運行，同時STM32MP257也是異構(gòu)架構(gòu)，這意味著用戶將具備更多升級空間。

此外，ST還提供了基于STM32MP135的PLC方案。它與STM32MP257在整體結(jié)構(gòu)上相似，主頻與網(wǎng)口數(shù)量稍差，但性價比較高。在實際工業(yè)自動化場景中用戶可以根據(jù)自身實際需求和預(yù)算，靈活選擇合適的PLC方案，為系統(tǒng)的優(yōu)化和拓展提供了便利。

靈巧手部分：運動控制與手勢跟隨

本系統(tǒng)選用睿研RY-H1靈巧手進(jìn)行跟隨演示，它就像一位訓(xùn)練有素的“模仿大師”。這款機械手有15個自由度和20個運動關(guān)節(jié)，內(nèi)置15個高速精密空心杯電機，創(chuàng)新的直線驅(qū)動設(shè)計讓它高度仿生，動作協(xié)調(diào)自然，擬人度極高。而且，它無需觸覺傳感器就能自適應(yīng)各種物體形態(tài)，抓取精準(zhǔn)度令人贊嘆。

RY-H1機械手搭載獨家專利的力位混合智能控制算法，由STM32G431 MCU實現(xiàn)高精度、高速控制，能模擬人手完成猜拳、握筆、握雞蛋、摘草莓、遞名片等復(fù)雜動作。它通過接收PLC傳來的目標(biāo)位置數(shù)據(jù)進(jìn)行插補控制，與手勢識別系統(tǒng)完美協(xié)同，精準(zhǔn)跟隨手勢運動。

系統(tǒng)優(yōu)勢與應(yīng)用前景

這套手勢識別與控制系統(tǒng)融合了先進(jìn)的視覺識別技術(shù)和高效的工業(yè)控制方案。STM32N6的NPU提供強大AI計算能力，實時識別手掌并提取手部關(guān)鍵點數(shù)據(jù)；PLC通過CODESYS平臺和多種通信協(xié)議，實現(xiàn)數(shù)據(jù)高效傳輸和精確控制。二者配合默契，將手勢精準(zhǔn)轉(zhuǎn)化為機械手運動，整個過程高效又可靠。

從實際應(yīng)用來看，它可以顯著提升高危場景（如輻射、化工廠）的作業(yè)安全性及裝配線的柔性控制能力。此外，本系統(tǒng)采用低功耗、高響應(yīng)的嵌入式部署方式，將邊緣計算實際落地，為工業(yè)自動化帶來了新的解決方案，有廣闊的發(fā)展前景。