自動跌倒檢測系統(tǒng)可以成為安全管理的重要資產，特別是對于老年人護理設施和醫(yī)院，以及生活在家中有行動需要的人。使用人工智能攝像頭和邊緣處理提供了一個強大的、非侵入性的、具有隱私意識的實時解決方案，可以快速安裝在任何地方。

該項目采用計算機視覺骨骼關鍵點檢測技術與樹莓派AI相機集成，提供輕量級的邊緣計算跌倒檢測解決方案。

項目概述

?目的：實時監(jiān)測人體姿勢，檢測跌倒的發(fā)生。

?技術:

?人體關鍵點檢測：使用HigherHRNet模型來識別人體關鍵點(頭、膝蓋、腳等)。

?姿勢分析：使用幾何計算來分析人體姿勢的特征(例如，檢測到的關鍵點之間的角度，例如頭到膝蓋到腳)。

?邊緣計算：結合樹莓派和樹莓派AI相機，執(zhí)行設備上的實時推理和圖像處理。

下面的圖片展示了該系統(tǒng)是如何檢測一個人是站立還是跌倒的。

技術的利用

1. 關鍵點檢測

該系統(tǒng)使用HigherHRNet模型檢測圖像中的人體關鍵點，并以COCO格式輸出人體關鍵點。HigherHRNet是一個高分辨率、高效、準確的網絡，可以捕獲人體姿勢的豐富細節(jié)。

主要步驟如下：

?使用邊緣設備捕獲實時視頻流。

?對每一幀圖像進行人體檢測，提取人體關鍵點坐標。

2. 關鍵點的處理

為簡化計算，按以下規(guī)則處理關鍵點：

頭:

?在COCO格式中選擇頭部的5個關鍵點(眼、鼻、口、耳)，滿足效度條件(得分>0)。

?計算這5個點的平均值，得到最終的頭部坐標。

膝蓋和腳的穴位：

?分別計算左右膝蓋和左右腳關鍵點的平均值，得到整體的左右膝蓋點和左右腳點。

?取左右膝蓋點的平均值作為整體膝蓋點，取左右腳點的平均值作為整體腳點。

3. 態(tài)勢分析

通過幾何計算分析人體姿勢：

?計算從頭到膝蓋的線和從膝蓋到腳的線之間的角度。

?設置閾值。

?根據(jù)角度判斷人是否處于墮落狀態(tài)。

?如果角度超過預設的閾值范圍，則判斷為跌落。

設置項目

先決條件

硬件環(huán)境

?處理器：Raspberry Pi(推薦Raspberry Pi 4 Model B或更新版本)

?邊緣設備模塊：樹莓派AI Camera，安裝在樹莓派上

?網絡連接：需要連接到internet才能下載模型和依賴項。

軟件環(huán)境

?Python 3.11(預安裝在Raspberry Pi上)

?Python 3 - OpenCV 4.6(通過APT安裝)

?Python 3 - Munkres(通過APT安裝)

安裝與使用

?安裝依賴關系:

注意：如果您有沖突的軟件包，請確保卸載它們或使用正確的版本。

?下載HigherHRNet模型：如果您已經通過APT安裝了imx500-all，則可以跳過此步驟。從樹莓派Repo下載模型文件。

?運行系統(tǒng)：確保你在應用程序的源目錄下，然后運行：

?主要參數(shù)說明：

?——model: RPK模型的位置。如果您通過APT安裝imx500-all，則不需要更改它。

?——detect - Threshold：人類檢測器的閾值。通常不需要更改，在[0,1]的范圍內。

?—Fall -threshold：跌落判斷閾值。建議設置為45，取值范圍為[0,100]。通常，這并不需要更改，但可能需要根據(jù)邊緣設備的視角進行調整。

優(yōu)化改進

模型性能優(yōu)化：

由于樹莓派模型動物園中的模型沒有針對此場景進行優(yōu)化，因此性能可能不足?？紤]使用包含人類正在下降的圖像的數(shù)據(jù)集來訓練模型，以獲得更好的結果。

參考文獻

?高級hrnet官方文檔

?COCO數(shù)據(jù)集關鍵點定義

?IMX500姿態(tài)估計

本文編譯自hackster.io