自動(dòng)跌倒檢測系統(tǒng)可以成為安全管理的重要資產(chǎn)，特別是對于老年人護(hù)理設(shè)施和醫(yī)院，以及生活在家中有行動(dòng)需要的人。使用人工智能攝像頭和邊緣處理提供了一個(gè)強(qiáng)大的、非侵入性的、具有隱私意識的實(shí)時(shí)解決方案，可以快速安裝在任何地方。

該項(xiàng)目采用計(jì)算機(jī)視覺骨骼關(guān)鍵點(diǎn)檢測技術(shù)與樹莓派AI相機(jī)集成，提供輕量級的邊緣計(jì)算跌倒檢測解決方案。

項(xiàng)目概述

?目的：實(shí)時(shí)監(jiān)測人體姿勢，檢測跌倒的發(fā)生。

?技術(shù):

?人體關(guān)鍵點(diǎn)檢測：使用HigherHRNet模型來識別人體關(guān)鍵點(diǎn)(頭、膝蓋、腳等)。

?姿勢分析：使用幾何計(jì)算來分析人體姿勢的特征(例如，檢測到的關(guān)鍵點(diǎn)之間的角度，例如頭到膝蓋到腳)。

?邊緣計(jì)算：結(jié)合樹莓派和樹莓派AI相機(jī)，執(zhí)行設(shè)備上的實(shí)時(shí)推理和圖像處理。

下面的圖片展示了該系統(tǒng)是如何檢測一個(gè)人是站立還是跌倒的。

技術(shù)的利用

1. 關(guān)鍵點(diǎn)檢測

該系統(tǒng)使用HigherHRNet模型檢測圖像中的人體關(guān)鍵點(diǎn)，并以COCO格式輸出人體關(guān)鍵點(diǎn)。HigherHRNet是一個(gè)高分辨率、高效、準(zhǔn)確的網(wǎng)絡(luò)，可以捕獲人體姿勢的豐富細(xì)節(jié)。

主要步驟如下：

?使用邊緣設(shè)備捕獲實(shí)時(shí)視頻流。

?對每一幀圖像進(jìn)行人體檢測，提取人體關(guān)鍵點(diǎn)坐標(biāo)。

2. 關(guān)鍵點(diǎn)的處理

為簡化計(jì)算，按以下規(guī)則處理關(guān)鍵點(diǎn)：

頭:

?在COCO格式中選擇頭部的5個(gè)關(guān)鍵點(diǎn)(眼、鼻、口、耳)，滿足效度條件(得分>0)。

?計(jì)算這5個(gè)點(diǎn)的平均值，得到最終的頭部坐標(biāo)。

膝蓋和腳的穴位：

?分別計(jì)算左右膝蓋和左右腳關(guān)鍵點(diǎn)的平均值，得到整體的左右膝蓋點(diǎn)和左右腳點(diǎn)。

?取左右膝蓋點(diǎn)的平均值作為整體膝蓋點(diǎn)，取左右腳點(diǎn)的平均值作為整體腳點(diǎn)。

3. 態(tài)勢分析

通過幾何計(jì)算分析人體姿勢：

?計(jì)算從頭到膝蓋的線和從膝蓋到腳的線之間的角度。

?設(shè)置閾值。

?根據(jù)角度判斷人是否處于墮落狀態(tài)。

?如果角度超過預(yù)設(shè)的閾值范圍，則判斷為跌落。

設(shè)置項(xiàng)目

先決條件

硬件環(huán)境

?處理器：Raspberry Pi(推薦Raspberry Pi 4 Model B或更新版本)

?邊緣設(shè)備模塊：樹莓派AI Camera，安裝在樹莓派上

?網(wǎng)絡(luò)連接：需要連接到internet才能下載模型和依賴項(xiàng)。

軟件環(huán)境

?Python 3.11(預(yù)安裝在Raspberry Pi上)

?Python 3 - OpenCV 4.6(通過APT安裝)

?Python 3 - Munkres(通過APT安裝)

安裝與使用

?安裝依賴關(guān)系:

注意：如果您有沖突的軟件包，請確保卸載它們或使用正確的版本。

?下載HigherHRNet模型：如果您已經(jīng)通過APT安裝了imx500-all，則可以跳過此步驟。從樹莓派Repo下載模型文件。

?運(yùn)行系統(tǒng)：確保你在應(yīng)用程序的源目錄下，然后運(yùn)行：

?主要參數(shù)說明：

?——model: RPK模型的位置。如果您通過APT安裝imx500-all，則不需要更改它。

?——detect - Threshold：人類檢測器的閾值。通常不需要更改，在[0,1]的范圍內(nèi)。

?—Fall -threshold：跌落判斷閾值。建議設(shè)置為45，取值范圍為[0,100]。通常，這并不需要更改，但可能需要根據(jù)邊緣設(shè)備的視角進(jìn)行調(diào)整。

優(yōu)化改進(jìn)

模型性能優(yōu)化：

由于樹莓派模型動(dòng)物園中的模型沒有針對此場景進(jìn)行優(yōu)化，因此性能可能不足?？紤]使用包含人類正在下降的圖像的數(shù)據(jù)集來訓(xùn)練模型，以獲得更好的結(jié)果。

參考文獻(xiàn)

?高級hrnet官方文檔

?COCO數(shù)據(jù)集關(guān)鍵點(diǎn)定義

?IMX500姿態(tài)估計(jì)

本文編譯自hackster.io