本技術(shù)涉及人工智能,更具體地說,涉及一種多模態(tài)的肉牛行為識(shí)別方法及系統(tǒng)。
背景技術(shù):
1、傳統(tǒng)的肉牛養(yǎng)殖管理方法通過養(yǎng)殖人員定期巡視牛舍,通過肉眼觀察肉牛的外觀、采食情況、行為表現(xiàn)等,以此來判斷肉牛的健康狀況和生長(zhǎng)狀態(tài)。這種方式存在諸多弊端,其效率低下,耗費(fèi)大量的人力和時(shí)間成本。而且人工觀察難以做到實(shí)時(shí)、持續(xù)的監(jiān)控,容易出現(xiàn)疏漏,無法及時(shí)捕捉肉牛的異常行為或突發(fā)健康問題,并作出相應(yīng)措施。
2、隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展,yolov8?作為一種先進(jìn)的目標(biāo)檢測(cè)算法,能夠?qū)θ馀pB(yǎng)殖場(chǎng)景中的圖像或視頻數(shù)據(jù)進(jìn)行高效處理,識(shí)別肉牛個(gè)體、其姿態(tài)以及各種行為動(dòng)作。這為養(yǎng)殖者及時(shí)掌握肉牛的日?;顒?dòng)規(guī)律和健康狀況提供了直觀且準(zhǔn)確的依據(jù),有助于實(shí)現(xiàn)精細(xì)化的養(yǎng)殖管理。然而,yolov8?引入了更多的技術(shù)手段和網(wǎng)絡(luò)結(jié)構(gòu),如特征金字塔網(wǎng)絡(luò)、注意力機(jī)制等,導(dǎo)致模型尺寸相對(duì)較大,這意味著需要更多的存儲(chǔ)空間來保存模型參數(shù),并且在模型加載和推理過程中,會(huì)占用較多的內(nèi)存資源,對(duì)于資源受限的設(shè)備來說,可能會(huì)帶來一定的運(yùn)行壓力,并且對(duì)于細(xì)節(jié)的檢測(cè)效果相對(duì)較差,容易出現(xiàn)漏檢或誤檢,而且計(jì)算機(jī)視覺技術(shù)僅僅依賴于視覺信息,在某些復(fù)雜情況下,可能會(huì)因信息的單一性而產(chǎn)生誤判或無法全面準(zhǔn)確地評(píng)估肉牛的真實(shí)狀態(tài)。
3、因此,目前,在肉牛養(yǎng)殖環(huán)境中,牛舍內(nèi)部場(chǎng)景復(fù)雜,存在諸多干擾因素,牛舍內(nèi)光線條件多變,從明亮的采光區(qū)域到陰暗的角落都有,且一天中不同時(shí)段光線強(qiáng)度差異大,牛舍內(nèi)存在大量的設(shè)施設(shè)備,如欄桿、食槽、水槽等,這些物體與肉牛在視覺上可能形成遮擋或混淆,導(dǎo)致?yolov8?的識(shí)別精度構(gòu)成了顯著挑戰(zhàn),增加了目標(biāo)檢測(cè)的難度,容易出現(xiàn)誤判或漏判情況,導(dǎo)致做出的一系列錯(cuò)誤措施,造成更大成本的損失。
4、中國(guó)專利申請(qǐng),申請(qǐng)?zhí)朿n202411190892.6,公開日2024年12月6日,公開了一種基于傳感器數(shù)據(jù)和視頻數(shù)據(jù)融合的牛只數(shù)字孿生行為感知建模新方法及其系統(tǒng)。步驟1:獲取牛只的傳感器數(shù)據(jù)與牛只的視頻數(shù)據(jù);步驟2:基于步驟1獲取的牛只的數(shù)據(jù)進(jìn)行數(shù)據(jù)集的建立,將步驟1牛只的傳感器數(shù)據(jù)與牛只的視頻數(shù)據(jù)在開始時(shí)間相同的情況下進(jìn)行時(shí)間長(zhǎng)度的統(tǒng)一;步驟3:基于步驟2統(tǒng)一時(shí)長(zhǎng)后的牛只的傳感器數(shù)據(jù)與牛只的視頻數(shù)據(jù)進(jìn)行數(shù)據(jù)融合;步驟4:對(duì)步驟3融合后的數(shù)據(jù)進(jìn)行訓(xùn)練;步驟5:對(duì)步驟4訓(xùn)練后的數(shù)據(jù)進(jìn)行指標(biāo)評(píng)價(jià)。但是該方案僅采用視頻數(shù)據(jù)進(jìn)行視覺分析,在復(fù)雜光照和遮擋情況下識(shí)別精度有限。
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)現(xiàn)有技術(shù)中單一的視覺模型難以適應(yīng)復(fù)雜環(huán)境下牛只相似姿態(tài)行為的識(shí)別,本技術(shù)提供一種多模態(tài)的肉牛行為識(shí)別方法及系統(tǒng),改進(jìn)yolov8算法,采用通道縮減不均等分組方法重構(gòu)骨干網(wǎng)絡(luò),結(jié)合c-nbottleneck模塊和錐形多尺度降維特征提取算法,強(qiáng)化對(duì)牛只行為特征的視覺識(shí)別能力,并結(jié)合運(yùn)動(dòng)傳感分析和位置定位分析等,提高了牛只行為類型的識(shí)別精度。
2、本說明書實(shí)施例的一個(gè)方面提供一種多模態(tài)管理牛只的方法,包括:使用改進(jìn)的yolov8目標(biāo)檢測(cè)算法對(duì)牛只進(jìn)行視覺分析,獲取牛只包含進(jìn)食、臥趴、站立、運(yùn)動(dòng)和發(fā)情行為,作為第一行為;采集牛只運(yùn)動(dòng)數(shù)據(jù),通過特征分析識(shí)別走步或奔跑行為,作為第二行為;獲取牛只位置數(shù)據(jù),通過比對(duì)牛只位置與預(yù)設(shè)功能區(qū)域坐標(biāo),識(shí)別牛只飼草、飲水或靜止行為,作為第三行為;對(duì)第一行為、第二行為和第三行為進(jìn)行融合,得到牛只的最終行為類型;根據(jù)牛只的最終行為類型,調(diào)節(jié)牛舍環(huán)境參數(shù);牛舍環(huán)境參數(shù)包括燈光亮度、風(fēng)扇運(yùn)行參數(shù)和紫外線消毒參數(shù)。
3、進(jìn)一步的,使用改進(jìn)的yolov8目標(biāo)檢測(cè)算法對(duì)牛只進(jìn)行視覺分析,包括:采用通道縮減不均等分組方法優(yōu)化yolov8目標(biāo)檢測(cè)算法的骨干網(wǎng)絡(luò);根據(jù)優(yōu)化后的骨干網(wǎng)絡(luò),構(gòu)建c-nbottleneck網(wǎng)絡(luò),并利用c-nbottleneck網(wǎng)絡(luò)替換yolov8目標(biāo)檢測(cè)算法的骨干網(wǎng)絡(luò)中c2f模塊中的bottleneck組件;在替換后的yolov8目標(biāo)檢測(cè)算法中添加錐形多尺度降維特征提取算法,通過通道注意力機(jī)制和空間注意力機(jī)制,得到增強(qiáng)的特征圖;得到最終改進(jìn)的yolov8目標(biāo)檢測(cè)算法;利用最終改進(jìn)的yolov8目標(biāo)檢測(cè)算法,對(duì)牛只圖像進(jìn)行分析,識(shí)別牛只行為。
4、進(jìn)一步的,采用通道縮減不均等分組方法優(yōu)化yolov8目標(biāo)檢測(cè)算法的骨干網(wǎng)絡(luò),包括:定義通道縮減不均等分組卷積操作;利用定義的通道縮減不均等分組卷積操作替換骨干網(wǎng)絡(luò)中除第一層卷積外的所有卷積操作,得到優(yōu)化后的骨干網(wǎng)絡(luò);
5、進(jìn)一步的,定義通道縮減不均等分組卷積操作,包括:對(duì)輸入特征圖進(jìn)行初步卷積操作,得到中間特征圖;將中間特征圖的通道維度分為n組,當(dāng)通道維度不能被n整除時(shí),設(shè)置前n-1組每組通道數(shù)相等,最后一組包含剩余通道;將卷積核按照與中間特征圖相同的分組策略分成n組;每組特征圖分別使用對(duì)應(yīng)組的卷積核進(jìn)行卷積操作;將各組卷積結(jié)果與中間特征圖沿通道維度拼接,得到卷積輸出特征圖。
6、進(jìn)一步的,根據(jù)優(yōu)化后的骨干網(wǎng)絡(luò),構(gòu)建c-nbottleneck網(wǎng)絡(luò),包括:獲取優(yōu)化后的骨干網(wǎng)絡(luò)輸出的特征圖,作為第一特征圖;利用silu激活函數(shù)對(duì)第一特征圖進(jìn)行非線性變換;利用優(yōu)化后的骨干網(wǎng)絡(luò)對(duì)非線性變換后的第一特征圖進(jìn)行卷積處理,得到第二特征圖;對(duì)第二特征圖進(jìn)行歸一化處理;將歸一化處理后的第二特征圖與第一特征圖進(jìn)行殘差連接,生成c-nbottleneck網(wǎng)絡(luò)。
7、進(jìn)一步的,在替換后的yolov8目標(biāo)檢測(cè)算法中添加錐形多尺度降維特征提取算法,通過通道注意力機(jī)制和空間注意力機(jī)制,得到增強(qiáng)的特征圖,包括:獲取替換后的yolov8目標(biāo)檢測(cè)算法輸出的特征圖f;根據(jù)特征圖f,通過基于通道注意力機(jī)制的通道縮減不均等分組卷積,得到通道加權(quán)特征圖;根據(jù)通道加權(quán)特征圖,通過基于空間注意力機(jī)制的通道縮減不均等分組卷積,得到空間加權(quán)特征圖;根據(jù)空間加權(quán)特征圖和特征圖f,通過深度分離卷積操作,得到增強(qiáng)的特征圖。
8、進(jìn)一步的,根據(jù)特征圖f,通過基于通道注意力機(jī)制的通道縮減不均等分組卷積,得到通道加權(quán)特征圖,包括:采用卷積核大小為n1*n1的通道縮減不均等分組方法對(duì)特征圖f進(jìn)行卷積處理,得到中間特征圖;對(duì)中間特征圖進(jìn)行全局平均池化操作,得到通道描述符;通過全連接層對(duì)通道描述符進(jìn)行非線性變換,得到通道權(quán)重;根據(jù)通道權(quán)重和特征圖f,得到通道加權(quán)特征圖。
9、進(jìn)一步的,根據(jù)通道加權(quán)特征圖,通過基于空間注意力機(jī)制的通道縮減不均等分組卷積,得到空間加權(quán)特征圖,包括:采用卷積核大小為n2*n2的通道縮減不均等分組方法對(duì)通道加權(quán)特征圖進(jìn)行卷積處理,得到空間注意力特征圖;對(duì)空間注意力特征圖進(jìn)行全局平均池化操作,得到空間特征描述符;通過全連接層對(duì)空間特征描述符進(jìn)行非線性變換,得到空間注意力權(quán)重;
10、根據(jù)空間注意力權(quán)重和通道加權(quán)特征圖,得到空間加權(quán)特征圖。
11、本說明書實(shí)施例的另一個(gè)方面還提供一種多模態(tài)的肉牛行為識(shí)別系統(tǒng),采集牛只運(yùn)動(dòng)數(shù)據(jù),通過特征分析識(shí)別走步或奔跑行為,作為第二行為,包括:通過加速度計(jì)采用牛只的加速度數(shù)據(jù);通過磁力計(jì)采集牛只的磁場(chǎng)強(qiáng)度數(shù)據(jù);采用快速傅里葉變換對(duì)加速度數(shù)據(jù)進(jìn)行處理,得到頻域特征;對(duì)磁場(chǎng)強(qiáng)度數(shù)據(jù)進(jìn)行時(shí)域分析和頻譜分析,得到磁場(chǎng)特征;采用局部線性嵌入算法對(duì)頻域特征和磁場(chǎng)特征進(jìn)行非線性降維融合,得到融合后的特征向量;利用支持向量機(jī)svm對(duì)融合后的特征向量進(jìn)行分類,得到第二行為。
12、進(jìn)一步的,獲取牛只位置數(shù)據(jù),通過比對(duì)牛只位置與預(yù)設(shè)功能區(qū)域坐標(biāo),識(shí)別牛只飼草、飲水或靜止行為,作為第三行為,包括:在牛舍布置多個(gè)uwb基站,為每頭牛配備uwb標(biāo)簽;采用雙向飛行時(shí)間算法策略u(píng)wb標(biāo)簽到uwb基站的距離;通過至少三個(gè)基站的距離數(shù)據(jù),采用三角測(cè)量法計(jì)算牛只的二維坐標(biāo),作為牛只位置數(shù)據(jù);根據(jù)牛只位置數(shù)據(jù)和牛舍功能區(qū)劃分,判斷牛只是否處于預(yù)設(shè)功能區(qū)域,所述預(yù)設(shè)功能區(qū)域包含飼草區(qū)和飲水區(qū)。
13、相比于現(xiàn)有技術(shù),本技術(shù)的優(yōu)點(diǎn)在于:
14、改進(jìn)的yolov8算法通過通道縮減不均等分組和c-nbottleneck模塊,提高了對(duì)進(jìn)食與站立、臥趴與休息等相似姿態(tài)行為的區(qū)分能力,同時(shí),錐形多尺度降維特征提取算法結(jié)合注意力機(jī)制,強(qiáng)化了模型對(duì)牛只核心行為特征的提取能力,使系統(tǒng)在光線變化、部分遮擋等復(fù)雜環(huán)境條件下仍能保持穩(wěn)定識(shí)別性能。此外,視覺分析提供形態(tài)特征但受環(huán)境影響大,運(yùn)動(dòng)傳感提供動(dòng)態(tài)特征但難以區(qū)分靜態(tài)行為細(xì)節(jié),位置定位提供空間語義但缺乏姿態(tài)信息。三種模態(tài)聯(lián)合工作,實(shí)現(xiàn)了信息互補(bǔ)和交叉驗(yàn)證。因此,本技術(shù)顯著提高了復(fù)雜環(huán)境下牛只相似姿態(tài)行為的識(shí)別精度。