1. 介紹

在像宗教活動(dòng)、音樂(lè)會(huì)、節(jié)日、體育場(chǎng)和校園人群這樣的大型人群聚會(huì)中，通常會(huì)吸引成千上萬(wàn)的人。管理這些動(dòng)態(tài)環(huán)境具有挑戰(zhàn)性，在識(shí)別過(guò)度擁擠方面的延誤可能導(dǎo)致混亂、安全風(fēng)險(xiǎn)或危及生命的事件。

為了解決這個(gè)問(wèn)題，我們開(kāi)發(fā)了一個(gè)實(shí)時(shí)AIoT人群監(jiān)控和疏散系統(tǒng)，該系統(tǒng)結(jié)合了基于人工智能的視頻分析，物聯(lián)網(wǎng)傳感器，oneM2M互操作性和5G連接，以監(jiān)控人群密度，預(yù)測(cè)風(fēng)險(xiǎn)，并使用LED矩陣顯示器，儀表板和移動(dòng)應(yīng)用程序安全引導(dǎo)人們。

該解決方案可確保在緊急情況下更快地響應(yīng)，更安全的公共空間和清晰的通信，使其成為大型活動(dòng)，公共基礎(chǔ)設(shè)施和智慧城市環(huán)境的理想選擇。

2. 系統(tǒng)概述

該系統(tǒng)通過(guò)5G攝像頭和物聯(lián)網(wǎng)傳感器持續(xù)監(jiān)控室內(nèi)或室外區(qū)域。邊緣的人工智能可以識(shí)別人群密度、不尋常的人類(lèi)活動(dòng)以及空氣質(zhì)量差等環(huán)境風(fēng)險(xiǎn)。這些洞察通過(guò)oneM2M中間件安全流動(dòng)，從而確?；ゲ僮餍院蛯?shí)時(shí)事件交付。

集中式后端處理事件，識(shí)別不安全狀況，并在顯示器、移動(dòng)應(yīng)用程序和儀表板上觸發(fā)疏散消息或重定向。

3. 系統(tǒng)架構(gòu)

3.1 Edge設(shè)備(樹(shù)莓派)

-接收來(lái)自5G/IP攝像機(jī)的視頻流

-運(yùn)行AI模型(TensorFlow)

?人檢測(cè)

?人群密度估計(jì)

?活動(dòng)識(shí)別(跌倒、徘徊、奔跑)

·僅向oneM2M發(fā)送必要的元數(shù)據(jù)(計(jì)數(shù)、密度、時(shí)間戳)

·通過(guò)避免原始視頻傳輸減少帶寬

3.2 oneM2M中間件(ctOP-城市物聯(lián)網(wǎng)運(yùn)營(yíng)平臺(tái))

·作為物聯(lián)網(wǎng)統(tǒng)一通信層

·標(biāo)準(zhǔn)化設(shè)備與后端的數(shù)據(jù)交換

·使用發(fā)布-訂閱機(jī)制進(jìn)行實(shí)時(shí)更新

·確保安全性、可擴(kuò)展性和跨設(shè)備互操作性

·適合具有多個(gè)物聯(lián)網(wǎng)系統(tǒng)的大型智慧城市環(huán)境

3.3后端服務(wù)器(FastAPI)

·從oneM2M接收實(shí)時(shí)事件

·存儲(chǔ)在PostgreSQL中

·運(yùn)行以下業(yè)務(wù)邏輯：

o閾值分析

o危險(xiǎn)檢測(cè)

o預(yù)測(cè)分析

·向LED顯示屏和儀表板發(fā)送警報(bào)

·為移動(dòng)和web應(yīng)用程序提供api

3.4 LED矩陣顯示模塊

·從后端接收即時(shí)HTTP命令

·顯示如下消息：

o“房間已滿-轉(zhuǎn)到2號(hào)房間”

o“AQI 125 -不安全，請(qǐng)撤離”

o“人群密度高-請(qǐng)往A出口走”

·保證人群的快速溝通

3.5儀表板和移動(dòng)應(yīng)用程序

·顯示現(xiàn)場(chǎng)人群密度、視頻提要、警報(bào)和預(yù)測(cè)。

·供管理員、安全團(tuán)隊(duì)和事件管理員使用

·允許遠(yuǎn)程監(jiān)控和決策

·使用React (web)和Flutter(移動(dòng))構(gòu)建

4. 使用的關(guān)鍵部件：

硬件

?Raspberri-Pi 5

?ESP8266 / ESP32

?發(fā)光二極管矩陣顯示

?壓電式

?AHT10-(溫度及濕度)

?Noise-Sensor

?RTC-Module

?SMPS-Power供應(yīng)

?5克/ IP攝像機(jī)

軟件與技術(shù)

?Python3

?FastAPI

?TensorFlow

?Scikit-learn

?Arduino c++

?oneM2M api (Mobius / CTOP)

?PostgreSQL

?顫振(移動(dòng))

?React.js(儀表板)

5. AI處理與優(yōu)化：

AI模型針對(duì)邊緣部署進(jìn)行了優(yōu)化：

?低功耗的量化模型

?實(shí)時(shí)推理跟蹤和密度分類(lèi)

?高效的元數(shù)據(jù)提取

用于預(yù)測(cè)分析和異常檢測(cè)的服務(wù)器端ML

這種邊緣+云的混合架構(gòu)確保了高性能和可靠性。

6. oneM2M平臺(tái)上的人群監(jiān)控

系統(tǒng)充分利用oneM2M架構(gòu)：

好處

?全球物聯(lián)網(wǎng)互操作性

?安全數(shù)據(jù)交換

?標(biāo)準(zhǔn)化資源結(jié)構(gòu)

?基于訂閱的事件通知

?與智慧城市生態(tài)系統(tǒng)融合

數(shù)據(jù)結(jié)構(gòu)包括

?時(shí)間戳

?人們數(shù)

?人群密度

?活動(dòng)檢測(cè)(跌倒、奔跑、徘徊)

?空氣質(zhì)素指標(biāo)

7. 端到端操作流程

步驟1 -視頻捕獲

5G攝像頭將視頻發(fā)送到邊緣設(shè)備。

步驟2 -邊緣處理

樹(shù)莓派檢測(cè)：

?人們數(shù)

?濃度水平

?人類(lèi)活動(dòng)

?環(huán)境異常

將事件作為oneM2M內(nèi)容實(shí)例發(fā)布。

步驟3—oneM2M中間件

?存儲(chǔ)事件數(shù)據(jù)

?通過(guò)HTTP POST向后端發(fā)送事件通知

步驟4 -后端處理

?解析通知

?在PostgreSQL中存儲(chǔ)數(shù)據(jù)

?檢查警報(bào)閾值

?向LED顯示屏發(fā)送命令

?更新儀表板與實(shí)時(shí)警報(bào)

步驟5 -用戶體驗(yàn)

管理員看到的:

?實(shí)時(shí)視頻饋送

?人群的水平

?警報(bào)

?預(yù)測(cè)

LED顯示屏為公眾即時(shí)更新。

8. 通信協(xié)議:

?HTTP

?RTSP

?oneM2M api用于標(biāo)準(zhǔn)化的物聯(lián)網(wǎng)互操作性

?5G和Wi-Fi用于攝像頭連接

9. 使用的關(guān)鍵技術(shù)：

Python 3：用于AI/ML建模、樹(shù)莓派和后端服務(wù)器的主要編程語(yǔ)言。Python的簡(jiǎn)單性和對(duì)庫(kù)的廣泛支持使其成為管理邊緣設(shè)備和后端服務(wù)器之間交互的理想選擇。

Arduino c++：用于編程ESP32用于LED矩陣顯示器顯示報(bào)警

基于oneM2M的ctOP(城市物聯(lián)網(wǎng)操作平臺(tái))api：用于將數(shù)據(jù)集成和廣播到更廣泛的多設(shè)備和智慧城市基礎(chǔ)設(shè)施中。

Flutter：開(kāi)發(fā)用于人群監(jiān)控儀表板的android應(yīng)用程序。

React：用于開(kāi)發(fā)前端儀表板的React.js框架。

Scikit-learn：用于訓(xùn)練預(yù)測(cè)性人群監(jiān)控模型的Scikit-learn庫(kù)。

張量流：TensorFlow用于在邊緣設(shè)備上運(yùn)行模型，用于人群監(jiān)控，檢測(cè)人數(shù)，人群密度，檢測(cè)人群的活動(dòng)。

Postgres數(shù)據(jù)庫(kù)：Postgres數(shù)據(jù)庫(kù)是一個(gè)可靠的關(guān)系數(shù)據(jù)庫(kù)，用于管理結(jié)構(gòu)化事件元數(shù)據(jù)、節(jié)點(diǎn)配置和歷史日志。

10. AI處理與優(yōu)化：

人工智能組件經(jīng)過(guò)優(yōu)化，可在邊緣硬件上高效運(yùn)行。用于人員檢測(cè)和密度估計(jì)的模型被量化和加速，以滿足資源有限的設(shè)備(如樹(shù)莓派或Jetson Nano)的性能約束。上游只傳輸時(shí)間戳、邊界計(jì)數(shù)、密度等高值元數(shù)據(jù)，減少帶寬消耗。后端還可以承載更重的ML模型，用于異常檢測(cè)或人群流量預(yù)測(cè)，利用更強(qiáng)大的計(jì)算資源。這種混合邊緣云AI策略確保了邊緣的速度，同時(shí)支持在后端進(jìn)行更深入的分析。

11. oneM2M平臺(tái)的人群監(jiān)控：

人群監(jiān)控系統(tǒng)建立在oneM2M標(biāo)準(zhǔn)之上，oneM2M標(biāo)準(zhǔn)是一種廣泛采用的開(kāi)源CSE實(shí)現(xiàn)，用于大規(guī)模物聯(lián)網(wǎng)部署。為了確保設(shè)備的無(wú)縫互操作性和標(biāo)準(zhǔn)化的數(shù)據(jù)交換，系統(tǒng)利用了城市物聯(lián)網(wǎng)操作平臺(tái)(ctOP)，該平臺(tái)直接構(gòu)建在Mobius上，為管理物聯(lián)網(wǎng)節(jié)點(diǎn)、訂閱和數(shù)據(jù)流提供了統(tǒng)一的框架。ctOP作為中間件，將運(yùn)行基于人工智能的人群分析的邊緣設(shè)備與后端服務(wù)連接起來(lái)，通過(guò)定義良好的oneM2M資源實(shí)現(xiàn)結(jié)構(gòu)化通信。通過(guò)采用Mobius 4和ctOP，該平臺(tái)實(shí)現(xiàn)了強(qiáng)大的可擴(kuò)展性、安全的消息路由和可靠的實(shí)時(shí)事件交付，使其成為校園、公共空間和智慧城市環(huán)境中高頻人群監(jiān)控的理想基礎(chǔ)。

12. 驗(yàn)證過(guò)程:

系統(tǒng)內(nèi)的身份驗(yàn)證旨在確保對(duì)數(shù)據(jù)和功能的安全訪問(wèn)。管理員通過(guò)使用JWT (JSON Web Tokens)實(shí)現(xiàn)的基于令牌的身份驗(yàn)證機(jī)制登錄。當(dāng)用戶輸入有效憑據(jù)時(shí)，后端根據(jù)數(shù)據(jù)庫(kù)中存儲(chǔ)的記錄驗(yàn)證它們，并發(fā)出一個(gè)簽名令牌，該令牌對(duì)用戶的身份和權(quán)限進(jìn)行編碼。這個(gè)令牌必須伴隨對(duì)受保護(hù)API路由的每個(gè)后續(xù)請(qǐng)求，確保只有授權(quán)用戶可以查看實(shí)時(shí)視頻饋送、修改節(jié)點(diǎn)配置或訪問(wèn)敏感分析。

未經(jīng)身份驗(yàn)證的用戶:

未經(jīng)身份驗(yàn)證的用戶將有有限的訪問(wèn)網(wǎng)絡(luò)儀表板和完全訪問(wèn)移動(dòng)應(yīng)用程序

認(rèn)證用戶(管理員)：

通過(guò)身份驗(yàn)證的用戶將有權(quán)查看正在與儀表板和預(yù)測(cè)分析一起處理的實(shí)時(shí)視頻提要。

oneM2M平臺(tái)的數(shù)據(jù)結(jié)構(gòu)與容器

圖中顯示了基于oneM2M的Mobius資源樹(shù)中人群監(jiān)控應(yīng)用實(shí)體(AE)的層次結(jié)構(gòu)。

人群監(jiān)控容器(附圖)

·時(shí)間戳

·人數(shù)統(tǒng)計(jì)

·人群密度

·游蕩檢測(cè)

·墜落檢測(cè)

·運(yùn)行檢測(cè)

13. 利用oneM2M平臺(tái)，本系統(tǒng)實(shí)現(xiàn)了：

標(biāo)準(zhǔn)化的物聯(lián)網(wǎng)互操作性：

oneM2M為物聯(lián)網(wǎng)設(shè)備和數(shù)據(jù)互操作性提供了一個(gè)全球標(biāo)準(zhǔn)。Mobius 4作為一個(gè)onem2m兼容的公共服務(wù)實(shí)體(CSE)，可以在這個(gè)系統(tǒng)中無(wú)縫集成各種設(shè)備(邊緣節(jié)點(diǎn)、傳感器、顯示器)和應(yīng)用程序(后端、儀表板)。

訂閱及通知機(jī)制：

后端訂閱Mobius中的相關(guān)容器(例如，人群指標(biāo))。當(dāng)邊緣設(shè)備發(fā)布一個(gè)新的內(nèi)容實(shí)例(事件)時(shí)，Mobius 4會(huì)自動(dòng)向后端訂閱端點(diǎn)推送一個(gè)通知，從而實(shí)現(xiàn)實(shí)時(shí)的、事件驅(qū)動(dòng)的處理。

安全與訪問(wèn)控制：

Mobius支持訪問(wèn)控制策略、身份驗(yàn)證和安全傳輸，確保只有授權(quán)的設(shè)備和應(yīng)用程序才能讀寫(xiě)資源或接收通知。

與智慧城市生態(tài)系統(tǒng)的融合：

通過(guò)使用oneM2M，該系統(tǒng)可以與其他智能城市解決方案(交通、照明、應(yīng)急響應(yīng))互操作，這些解決方案也使用標(biāo)準(zhǔn)的、面向未來(lái)的部署。

14. 詳細(xì)的工作流程和用戶體驗(yàn)

視頻捕獲和邊緣處理

5G攝像機(jī)連續(xù)捕捉監(jiān)控區(qū)域的視頻流。

邊緣設(shè)備(樹(shù)莓派/Jetson)接收這些流，運(yùn)行AI模型來(lái)檢測(cè)人，計(jì)算人群密度，并實(shí)時(shí)對(duì)人類(lèi)活動(dòng)識(shí)別進(jìn)行分類(lèi)。

當(dāng)檢測(cè)到新的事件(例如，人數(shù)計(jì)數(shù)或密度變化)時(shí)，邊緣設(shè)備將其作為內(nèi)容實(shí)例發(fā)布到oneM2M CSE。

oneM2M中間件

CSE接收事件并將其存儲(chǔ)在合適的容器中。

后端服務(wù)器訂閱了此容器。當(dāng)新事件到達(dá)時(shí)，oneM2M通過(guò)HTTP POST自動(dòng)向后端訂閱端點(diǎn)發(fā)送通知(m2m:sgn)。

后端處理

FastAPI后端解析通知，提取事件數(shù)據(jù)，并將其保存到Postgres數(shù)據(jù)庫(kù)中。

如果超過(guò)了人群，后端將向房間顯示設(shè)備發(fā)送HTTP GET/POST以顯示實(shí)時(shí)警報(bào)。

后端還更新警報(bào)、通知，并為儀表板提供預(yù)測(cè)端點(diǎn)。

用戶體驗(yàn)(儀表板和警報(bào))

用戶和管理員訪問(wèn)web儀表板或移動(dòng)應(yīng)用程序。

管理員可以查看視頻直播。

儀表板從后端獲取實(shí)時(shí)和歷史數(shù)據(jù)，可視化人群級(jí)別，并顯示警報(bào)。

當(dāng)房間客滿時(shí)，顯示設(shè)備會(huì)顯示一條消息，儀表板會(huì)實(shí)時(shí)突出顯示警報(bào)。

用戶還可以使用機(jī)器學(xué)習(xí)端點(diǎn)請(qǐng)求對(duì)未來(lái)時(shí)間的人群預(yù)測(cè)。

15. 結(jié)論

這個(gè)基于人工智能的系統(tǒng)有一個(gè)明確的目的：保證人們的安全。通過(guò)將人工智能、物聯(lián)網(wǎng)、oneM2M和5G結(jié)合在一起，它創(chuàng)造了一種智能可靠的方式來(lái)實(shí)時(shí)監(jiān)控人群，并在關(guān)鍵時(shí)刻引導(dǎo)他們。該系統(tǒng)不僅能收集數(shù)據(jù)，還能理解正在發(fā)生的事情，立即做出反應(yīng)，并清晰地溝通，讓人們能夠安全、自信地移動(dòng)。

這個(gè)解決方案的強(qiáng)大之處在于它的可擴(kuò)展性。無(wú)論是繁忙的校園、大型公共活動(dòng)、擁擠的市場(chǎng)，還是整個(gè)智慧城市，該系統(tǒng)都能無(wú)縫適應(yīng)。它支持更快的決策，減少風(fēng)險(xiǎn)，并加強(qiáng)應(yīng)急工作。

簡(jiǎn)而言之，這項(xiàng)技術(shù)有助于確保每次或大或小的聚會(huì)都保持安全、有組織和受到保護(hù)。

本文編譯自hackster.io