本技術(shù)涉及人工智能中的圖像處理，特別是涉及一種圖片數(shù)據(jù)預(yù)處理方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品。

背景技術(shù)：

1、在進(jìn)行圖片中目標(biāo)對(duì)象的檢測(cè)和識(shí)別時(shí)，圖像本身質(zhì)量的好壞和數(shù)據(jù)量的大小會(huì)直接影響到后續(xù)模型架構(gòu)的設(shè)計(jì)、損失函數(shù)的選擇、優(yōu)化算法的實(shí)現(xiàn)以及識(shí)別效果的精度等等。因此在進(jìn)行檢測(cè)或識(shí)別操作之前，需要對(duì)圖片進(jìn)行恰當(dāng)?shù)念A(yù)處理操作。圖片預(yù)處理主要是為了能夠消除掉圖片中的一些噪點(diǎn)信息，增強(qiáng)有效信息的可讀性，能夠更大限度地優(yōu)化數(shù)據(jù)信息，為后續(xù)圖片中目標(biāo)對(duì)象的檢測(cè)提供優(yōu)質(zhì)條件?，F(xiàn)有數(shù)據(jù)預(yù)處理技術(shù)一般都是檢查數(shù)據(jù)中的異常，根據(jù)業(yè)務(wù)需求進(jìn)行數(shù)據(jù)去噪，去除無(wú)用信息或者非法信息，然后把圖文數(shù)據(jù)（文字?jǐn)?shù)據(jù)為圖片數(shù)據(jù)的標(biāo)簽）全部交給模型進(jìn)行訓(xùn)練。新的業(yè)務(wù)需求出現(xiàn)后，開(kāi)發(fā)人員需要根據(jù)新的業(yè)務(wù)邏輯再進(jìn)行數(shù)據(jù)預(yù)處理，再把圖文數(shù)據(jù)作為輸入進(jìn)行模型訓(xùn)練，模型內(nèi)部進(jìn)行向量化把圖文數(shù)據(jù)變?yōu)樘卣飨蛄繑?shù)據(jù)。這樣的流程增加了數(shù)據(jù)預(yù)處理的時(shí)間成本。并且大量的圖文數(shù)據(jù)中包含著與業(yè)務(wù)需求無(wú)關(guān)的數(shù)據(jù)，這些無(wú)關(guān)的數(shù)據(jù)，會(huì)進(jìn)一步增加模型的訓(xùn)練成本和空間復(fù)雜度。在調(diào)整模型的算法或者想進(jìn)行算法參數(shù)調(diào)整的時(shí)候，這一預(yù)處理過(guò)程又會(huì)重復(fù)。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)的目的是提供一種圖片數(shù)據(jù)預(yù)處理方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品，將圖片數(shù)據(jù)直接以特征向量的形式存儲(chǔ)于向量數(shù)據(jù)庫(kù)中，在用于模型訓(xùn)練時(shí)，不僅能避免重復(fù)的操作流程，還能降低模型訓(xùn)練的時(shí)間復(fù)雜度和空間復(fù)雜度，減少同等條件下模型訓(xùn)練和調(diào)參過(guò)程中需要的硬件資源。

2、為實(shí)現(xiàn)上述目的，本技術(shù)提供了如下方案。

3、第一方面，本技術(shù)提供了一種圖片數(shù)據(jù)預(yù)處理方法，包括：

4、根據(jù)目標(biāo)檢測(cè)模型的任務(wù)目標(biāo)獲取對(duì)應(yīng)的圖片數(shù)據(jù)集；所述目標(biāo)檢測(cè)模型的任務(wù)目標(biāo)包括人物對(duì)象檢測(cè)、動(dòng)物對(duì)象檢測(cè)、車輛對(duì)象檢測(cè)、病灶區(qū)域檢測(cè)、障礙物檢測(cè)、產(chǎn)品缺陷檢測(cè)、異常物品檢測(cè)和病蟲(chóng)害區(qū)域檢測(cè)；對(duì)應(yīng)的圖片數(shù)據(jù)集包括人物圖片數(shù)據(jù)集、動(dòng)物圖片數(shù)據(jù)集、車輛圖片數(shù)據(jù)集、病灶圖片數(shù)據(jù)集、障礙物圖片數(shù)據(jù)集、產(chǎn)品圖片數(shù)據(jù)集、物品圖片數(shù)據(jù)集和農(nóng)作物圖片數(shù)據(jù)集；

5、按照待檢測(cè)的目標(biāo)種類對(duì)圖片數(shù)據(jù)集中的各類圖片數(shù)據(jù)進(jìn)行分類和篩選，得到目標(biāo)種類數(shù)據(jù)集；

6、對(duì)目標(biāo)種類數(shù)據(jù)集中各個(gè)目標(biāo)種類的圖片數(shù)據(jù)進(jìn)行數(shù)據(jù)均衡處理，得到均衡后數(shù)據(jù)集；

7、對(duì)均衡后數(shù)據(jù)集中的每張圖片數(shù)據(jù)進(jìn)行特征維度優(yōu)化處理，得到優(yōu)化后的特征向量；

8、將優(yōu)化后的特征向量存入向量數(shù)據(jù)庫(kù)，供目標(biāo)檢測(cè)模型訓(xùn)練使用。

9、可選地，所述按照待檢測(cè)的目標(biāo)種類對(duì)圖片數(shù)據(jù)集中的各類圖片數(shù)據(jù)進(jìn)行分類和篩選，得到目標(biāo)種類數(shù)據(jù)集，具體包括：

10、通過(guò)clip模型計(jì)算圖片數(shù)據(jù)集中的每張圖片數(shù)據(jù)與每個(gè)目標(biāo)種類的相似度，保留相似度大于相似度閾值的圖片數(shù)據(jù)，構(gòu)成目標(biāo)種類數(shù)據(jù)集。

11、可選地，所述對(duì)目標(biāo)種類數(shù)據(jù)集中各個(gè)目標(biāo)種類的圖片數(shù)據(jù)進(jìn)行數(shù)據(jù)均衡處理，得到均衡后數(shù)據(jù)集，具體包括：

12、判斷目標(biāo)種類數(shù)據(jù)集中各個(gè)目標(biāo)種類的圖片數(shù)據(jù)中，任意兩個(gè)目標(biāo)種類之間的圖片數(shù)據(jù)比例是否均衡；

13、若比例均衡，則將每個(gè)目標(biāo)種類的圖片數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮，壓縮至同一分類數(shù)量nmax；其中nmax為數(shù)據(jù)壓縮后占比最大的目標(biāo)種類所包含的圖片數(shù)量；

14、若比例不均衡，則對(duì)占比較小的目標(biāo)種類的圖片數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，對(duì)占比較大的目標(biāo)種類的圖片數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮，將各個(gè)目標(biāo)種類的圖片數(shù)據(jù)增強(qiáng)或壓縮至同一分類數(shù)量nmax。

15、可選地，所述對(duì)均衡后數(shù)據(jù)集中的每張圖片數(shù)據(jù)進(jìn)行特征維度優(yōu)化處理，得到優(yōu)化后的特征向量，具體包括：

16、對(duì)均衡后數(shù)據(jù)集中的每張圖片數(shù)據(jù)進(jìn)行分塊處理，將每張圖片數(shù)據(jù)分割成m行×n列的多個(gè)圖片塊；m和n均為大于1的整數(shù)；

17、對(duì)每個(gè)圖片塊進(jìn)行塊級(jí)分類，將包含目標(biāo)對(duì)象的圖片塊標(biāo)記為1，將不包含目標(biāo)對(duì)象的圖片塊標(biāo)記為0，得到帶標(biāo)簽的圖片塊；

18、基于每個(gè)圖片塊所帶標(biāo)簽，對(duì)每張圖片數(shù)據(jù)分割成的多個(gè)圖片塊進(jìn)行篩選和重組，得到優(yōu)化后的特征向量。

19、可選地，所述基于每個(gè)圖片塊所帶標(biāo)簽，對(duì)每張圖片數(shù)據(jù)分割成的多個(gè)圖片塊進(jìn)行篩選和重組，得到優(yōu)化后的特征向量，具體包括：

20、遍歷每張圖片數(shù)據(jù)分割成的m行×n列的多個(gè)圖片塊，以每一行為單位，將標(biāo)簽為1的圖片塊保留，將標(biāo)簽為0的圖片塊丟棄；

21、將所有標(biāo)簽為1的圖片塊重組為1×x維度的特征矩陣，每一行圖片塊重組成功后添加序列起始位置標(biāo)記[b]，最后一行圖片塊重組結(jié)束后添加序列結(jié)束位置標(biāo)記[e]，得到優(yōu)化后的特征向量；其中x為每張圖片數(shù)據(jù)中標(biāo)簽為1的圖片塊數(shù)量。

22、可選地，所述將優(yōu)化后的特征向量存入向量數(shù)據(jù)庫(kù)，供目標(biāo)檢測(cè)模型訓(xùn)練使用，具體包括：

23、將優(yōu)化后的特征向量作為特征數(shù)據(jù)集，存入向量數(shù)據(jù)庫(kù)中；

24、進(jìn)行目標(biāo)檢測(cè)模型訓(xùn)練時(shí)，將特征數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，用于對(duì)目標(biāo)檢測(cè)模型進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試。

25、第二方面，本技術(shù)提供了一種圖片數(shù)據(jù)預(yù)處理裝置，包括：

26、圖片數(shù)據(jù)集獲取模塊，用于根據(jù)目標(biāo)檢測(cè)模型的任務(wù)目標(biāo)獲取對(duì)應(yīng)的圖片數(shù)據(jù)集；所述目標(biāo)檢測(cè)模型的任務(wù)目標(biāo)包括人物對(duì)象檢測(cè)、動(dòng)物對(duì)象檢測(cè)、車輛對(duì)象檢測(cè)、病灶區(qū)域檢測(cè)、障礙物檢測(cè)、產(chǎn)品缺陷檢測(cè)、異常物品檢測(cè)和病蟲(chóng)害區(qū)域檢測(cè)；對(duì)應(yīng)的圖片數(shù)據(jù)集包括人物圖片數(shù)據(jù)集、動(dòng)物圖片數(shù)據(jù)集、車輛圖片數(shù)據(jù)集、病灶圖片數(shù)據(jù)集、障礙物圖片數(shù)據(jù)集、產(chǎn)品圖片數(shù)據(jù)集、物品圖片數(shù)據(jù)集和農(nóng)作物圖片數(shù)據(jù)集；

27、圖片分類篩選模塊，用于按照待檢測(cè)的目標(biāo)種類對(duì)圖片數(shù)據(jù)集中的各類圖片數(shù)據(jù)進(jìn)行分類和篩選，得到目標(biāo)種類數(shù)據(jù)集；

28、數(shù)據(jù)均衡處理模塊，用于對(duì)目標(biāo)種類數(shù)據(jù)集中各個(gè)目標(biāo)種類的圖片數(shù)據(jù)進(jìn)行數(shù)據(jù)均衡處理，得到均衡后數(shù)據(jù)集；

29、特征維度優(yōu)化模塊，用于對(duì)均衡后數(shù)據(jù)集中的每張圖片數(shù)據(jù)進(jìn)行特征維度優(yōu)化處理，得到優(yōu)化后的特征向量；

30、特征向量存儲(chǔ)模塊，用于將優(yōu)化后的特征向量存入向量數(shù)據(jù)庫(kù)，供目標(biāo)檢測(cè)模型訓(xùn)練使用。

31、第三方面，本技術(shù)提供了一種計(jì)算機(jī)設(shè)備，包括：存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)所述圖片數(shù)據(jù)預(yù)處理方法。

32、第四方面，本技術(shù)提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述圖片數(shù)據(jù)預(yù)處理方法。

33、第五方面，本技術(shù)提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述圖片數(shù)據(jù)預(yù)處理方法。

34、根據(jù)本技術(shù)提供的具體實(shí)施例，本技術(shù)公開(kāi)了以下技術(shù)效果。

35、本技術(shù)提供的一種圖片數(shù)據(jù)預(yù)處理方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品，一方面根據(jù)目標(biāo)檢測(cè)模型的任務(wù)目標(biāo)和待檢測(cè)的目標(biāo)種類自動(dòng)篩選目標(biāo)種類數(shù)據(jù)集并均衡種類占比，另一方面進(jìn)行了圖片數(shù)據(jù)的特征維度優(yōu)化處理，實(shí)現(xiàn)了特征降維。使用本技術(shù)方法預(yù)處理后的圖片數(shù)據(jù)，直接以特征向量的形式存儲(chǔ)于向量數(shù)據(jù)庫(kù)中，這樣在用于目標(biāo)檢測(cè)模型訓(xùn)練時(shí)，不僅避免了重復(fù)的操作流程，又降低了模型的時(shí)間復(fù)雜度以及空間復(fù)雜度，降低了同等條件下模型的訓(xùn)練時(shí)間，減少了訓(xùn)練、調(diào)參過(guò)程中需要的硬件資源，從而有效減少了模型訓(xùn)練成本。