本發(fā)明涉及安全監(jiān)測(cè)，具體為一種基于多模態(tài)數(shù)據(jù)的消防員生理安全監(jiān)測(cè)系統(tǒng)。
背景技術(shù)：
1、消防火災(zāi)事故一直以來都是嚴(yán)重威脅人們生命健康和財(cái)產(chǎn)安全，威脅社會(huì)發(fā)展的重大危險(xiǎn)災(zāi)難之一，近年來，隨著經(jīng)濟(jì)社會(huì)的多維全面發(fā)展，城市人口迅速擴(kuò)張，一座座宏偉的城市建筑拔地而起，城市景觀愈加密集迷人，人們對(duì)戶外自然景觀的追求需求不斷擴(kuò)張，在這種高速發(fā)展的趨勢(shì)下，森林景觀一旦起火，困于火災(zāi)擴(kuò)散速度快、火場(chǎng)情況復(fù)雜和滅火難度大等問題，消防救火對(duì)及時(shí)、迅速和準(zhǔn)確地信息感知的要求上升了新高度。
2、通過對(duì)近些年我國(guó)消防員傷亡情況展開統(tǒng)計(jì)分析發(fā)現(xiàn)，在2005年-2013年期間，在滅火救援中消防員發(fā)生傷亡事故共計(jì)70起，大約平均每年有27位消防員發(fā)生傷亡，并且近年來發(fā)生傷亡的人數(shù)呈逐年增長(zhǎng)的趨勢(shì)，與此同時(shí)，統(tǒng)計(jì)結(jié)果還表明，從事滅火救援工作不足四年的新消防員發(fā)生傷亡的人數(shù)最多，是總?cè)藬?shù)的64.71％。由此可見，從事滅火救援工作的時(shí)間越短，那么消防員發(fā)生死亡的概率越大，而且發(fā)生死亡的情況也更加嚴(yán)重，所以工作經(jīng)驗(yàn)與救援能力是影響到消防官兵傷亡事故發(fā)生的一個(gè)重要因素。
3、現(xiàn)有的消防員生理監(jiān)測(cè)及輔助技術(shù)只能單一的監(jiān)測(cè)消防員的生理狀態(tài)或火場(chǎng)數(shù)據(jù)，無法對(duì)目前的火場(chǎng)情況以及消防員的勝利情況進(jìn)行火場(chǎng)火勢(shì)的預(yù)測(cè)和消防員的安全預(yù)警，面對(duì)擴(kuò)散速度快、火場(chǎng)情況復(fù)雜和滅火難度大等情況很難起到對(duì)消防員安全預(yù)警以及指揮的目的。
技術(shù)實(shí)現(xiàn)思路
1、(一)解決的技術(shù)問題
2、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于多模態(tài)數(shù)據(jù)的消防員生理安全監(jiān)測(cè)系統(tǒng)，通過集成生理數(shù)據(jù)、運(yùn)動(dòng)數(shù)據(jù)和環(huán)境數(shù)據(jù)的實(shí)時(shí)采集與分析，該系統(tǒng)不僅能夠全面監(jiān)測(cè)消防員的生理狀態(tài)，還能實(shí)時(shí)評(píng)估火場(chǎng)環(huán)境的變化，這種多模態(tài)數(shù)據(jù)融合的方法使得系統(tǒng)能夠更準(zhǔn)確地進(jìn)行火勢(shì)預(yù)測(cè)和消防員安全預(yù)警，特別是在面對(duì)快速擴(kuò)散、復(fù)雜火場(chǎng)和高難度滅火情境時(shí)，提供了更為精準(zhǔn)和及時(shí)的警報(bào)反饋，通過生成消防員的警覺度評(píng)分、注意力分配評(píng)分和操作反應(yīng)時(shí)間，系統(tǒng)可有效提升消防員的安全意識(shí)，增強(qiáng)其應(yīng)對(duì)突發(fā)情況的能力，從而顯著提高滅火行動(dòng)的安全性和效率。
3、(二)技術(shù)方案
4、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于多模態(tài)數(shù)據(jù)的消防員生理安全監(jiān)測(cè)系統(tǒng)，包括數(shù)據(jù)采集模塊、數(shù)據(jù)預(yù)處理模塊、特征提取模塊、數(shù)據(jù)融合模塊、狀態(tài)評(píng)估模塊以及警報(bào)反饋模塊；
5、所述數(shù)據(jù)采集模塊通過傳感器和高幀率相機(jī)在消防員執(zhí)行任務(wù)時(shí)實(shí)時(shí)收集消防員生理數(shù)據(jù)、消防員運(yùn)動(dòng)數(shù)據(jù)以及消防員所處環(huán)境數(shù)據(jù)，消防員生理數(shù)據(jù)包括心電圖、脈搏、皮膚溫度和血氧飽和度，消防員運(yùn)動(dòng)數(shù)據(jù)通過姿態(tài)傳感器記錄消防員的運(yùn)動(dòng)狀態(tài)，并通過頭眼運(yùn)動(dòng)視線跟蹤和面部表情分析獲取其心理狀態(tài)，消防員所處環(huán)境數(shù)據(jù)則通過可見光、近紅外和中遠(yuǎn)紅外圖像監(jiān)測(cè)火場(chǎng)環(huán)境的變化；
6、所述數(shù)據(jù)預(yù)處理模塊對(duì)數(shù)據(jù)采集模塊獲取的數(shù)據(jù)進(jìn)行濾波去除噪聲，并進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化處理后，依據(jù)時(shí)間戳將不同傳感器的數(shù)據(jù)進(jìn)行對(duì)齊發(fā)送至特征提取模塊；
7、所述特征提取模塊從預(yù)處理后的數(shù)據(jù)中提取關(guān)鍵特征，包括生理心率變化率、脈搏波形特征、加速度、運(yùn)動(dòng)姿態(tài)變化特征、注視點(diǎn)的位置特征、表情持續(xù)時(shí)間以及面部情感變化特征；
8、所述數(shù)據(jù)融合模塊將來自不同模態(tài)的數(shù)據(jù)進(jìn)行綜合處理，利用加權(quán)平均，將提取的特征融合成一個(gè)統(tǒng)一的數(shù)據(jù)集發(fā)送至狀態(tài)評(píng)估模塊；
9、所述狀態(tài)評(píng)估模塊依據(jù)融合后的數(shù)據(jù)，生成消防員警覺度評(píng)分、消防員注意力分配評(píng)分和消防員操作反應(yīng)時(shí)間，用于實(shí)時(shí)評(píng)估消防員的生理狀態(tài)和潛在安全風(fēng)險(xiǎn)；
10、所述警報(bào)反饋模塊根據(jù)狀態(tài)評(píng)估模塊的輸出，通過震動(dòng)裝置向消防員發(fā)送實(shí)時(shí)警報(bào)。
11、優(yōu)選的，所述數(shù)據(jù)濾波去除噪聲的公式如下所示：
12、
13、公式中，h(f)表示濾波器的傳遞函數(shù)，f表示輸入信號(hào)的頻率，fc表示截止頻率，j表示虛數(shù)單位。
14、優(yōu)選的，所述數(shù)據(jù)對(duì)齊的公式如下所示：
15、
16、公式中，daligned(t)表示在時(shí)間t對(duì)齊后的數(shù)據(jù)值，d1(t)表示在時(shí)間t的第一個(gè)傳感器的數(shù)據(jù)值，t1、t2分別為第一個(gè)和第二個(gè)傳感器的時(shí)間戳，d2(t2)表示在時(shí)間t2的第二個(gè)傳感器的數(shù)據(jù)值。
17、優(yōu)選的，所述計(jì)算生理心率變化率的公式如下所示：
18、hrv＝σ(rr)
19、公式中，hrv表示心率變異性，σ表示標(biāo)準(zhǔn)差函數(shù)，rr表示心電圖中相鄰心跳之間的時(shí)間間隔。
20、優(yōu)選的，所述提取脈搏波形特征的公式如下所示：
21、pfeature＝tpeak-ttrough
22、公式中，pfeature表示脈搏波形特征，tpeak表示脈搏波的波峰時(shí)間，ttrough表示脈搏波的波谷時(shí)間。
23、優(yōu)選的，所述計(jì)算加速度的公式如下所示：
24、
25、公式中，a(t)表示在時(shí)間t的加速度，v(t)表示在時(shí)間t的速度，δt表示時(shí)間間隔。
26、優(yōu)選的，所述提取運(yùn)動(dòng)姿態(tài)變化特征的公式如下所示：
27、δθ＝θcurrent-θprevious
28、公式中，δθ表示當(dāng)前與之前姿態(tài)的角度變化，θcurrent表示當(dāng)前姿態(tài)角度，θprevious表示之前姿態(tài)角度。
29、優(yōu)選的，所述提取注視點(diǎn)的位置特征的公式如下所示：
30、
31、公式中，gazeavg表示平均注視點(diǎn)位置，n表示注視次數(shù)，gazei表示第i次注視點(diǎn)的位置，i表示計(jì)數(shù)下標(biāo)。
32、優(yōu)選的，所述計(jì)算持續(xù)時(shí)間的公式如下所示：
33、duration＝tend-tstart
34、公式中，duration表示持續(xù)時(shí)間，tend表示結(jié)束時(shí)間，tstart表示開始時(shí)間。
35、優(yōu)選的，所述提取面部情感變化特征的公式如下所示：
36、emotionfeature＝p(emotion1),p(emotion2),...,p(emotionn)
37、公式中，emotionfeature表示情感特征向量，p(emotioni)表示第i種情感的概率。
38、與現(xiàn)有技術(shù)相比，本發(fā)明提供了一種基于多模態(tài)數(shù)據(jù)的消防員生理安全監(jiān)測(cè)系統(tǒng)，具備以下有益效果：
39、本發(fā)明通過集成生理數(shù)據(jù)、運(yùn)動(dòng)數(shù)據(jù)和環(huán)境數(shù)據(jù)的實(shí)時(shí)采集與分析，該系統(tǒng)不僅能夠全面監(jiān)測(cè)消防員的生理狀態(tài)，還能實(shí)時(shí)評(píng)估火場(chǎng)環(huán)境的變化，這種多模態(tài)數(shù)據(jù)融合的方法使得系統(tǒng)能夠更準(zhǔn)確地進(jìn)行火勢(shì)預(yù)測(cè)和消防員安全預(yù)警，特別是在面對(duì)快速擴(kuò)散、復(fù)雜火場(chǎng)和高難度滅火情境時(shí)，提供了更為精準(zhǔn)和及時(shí)的警報(bào)反饋，通過生成消防員的警覺度評(píng)分、注意力分配評(píng)分和操作反應(yīng)時(shí)間，系統(tǒng)可有效提升消防員的安全意識(shí)，增強(qiáng)其應(yīng)對(duì)突發(fā)情況的能力，從而顯著提高滅火行動(dòng)的安全性和效率。
1.一種基于多模態(tài)數(shù)據(jù)的消防員生理安全監(jiān)測(cè)系統(tǒng)，其特征在于：包括數(shù)據(jù)采集模塊、數(shù)據(jù)預(yù)處理模塊、特征提取模塊、數(shù)據(jù)融合模塊、狀態(tài)評(píng)估模塊以及警報(bào)反饋模塊；
2.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)數(shù)據(jù)的消防員生理安全監(jiān)測(cè)系統(tǒng)，其特征在于：所述數(shù)據(jù)濾波去除噪聲的公式如下所示：
3.根據(jù)權(quán)利要求2所述的一種基于多模態(tài)數(shù)據(jù)的消防員生理安全監(jiān)測(cè)系統(tǒng)，其特征在于：所述數(shù)據(jù)對(duì)齊的公式如下所示：
4.根據(jù)權(quán)利要求3所述的一種基于多模態(tài)數(shù)據(jù)的消防員生理安全監(jiān)測(cè)系統(tǒng)，其特征在于：所述計(jì)算生理心率變化率的公式如下所示：
5.根據(jù)權(quán)利要求4所述的一種基于多模態(tài)數(shù)據(jù)的消防員生理安全監(jiān)測(cè)系統(tǒng)，其特征在于：所述提取脈搏波形特征的公式如下所示：
6.根據(jù)權(quán)利要求5所述的一種基于多模態(tài)數(shù)據(jù)的消防員生理安全監(jiān)測(cè)系統(tǒng)，其特征在于：所述計(jì)算加速度的公式如下所示：
7.根據(jù)權(quán)利要求6所述的一種基于多模態(tài)數(shù)據(jù)的消防員生理安全監(jiān)測(cè)系統(tǒng)，其特征在于：所述提取運(yùn)動(dòng)姿態(tài)變化特征的公式如下所示：
8.根據(jù)權(quán)利要求7所述的一種基于多模態(tài)數(shù)據(jù)的消防員生理安全監(jiān)測(cè)系統(tǒng)，其特征在于：所述提取注視點(diǎn)的位置特征的公式如下所示：
9.根據(jù)權(quán)利要求8所述的一種基于多模態(tài)數(shù)據(jù)的消防員生理安全監(jiān)測(cè)系統(tǒng)，其特征在于：所述計(jì)算持續(xù)時(shí)間的公式如下所示：
10.根據(jù)權(quán)利要求9所述的一種基于多模態(tài)數(shù)據(jù)的消防員生理安全監(jiān)測(cè)系統(tǒng)，其特征在于：所述提取面部情感變化特征的公式如下所示：