本發(fā)明涉及美妝產(chǎn)品研發(fā)，更具體的說是涉及一種多模態(tài)數(shù)據(jù)質(zhì)量評估與自動清洗的硬件加速系統(tǒng)。

背景技術：

1、在美妝行業(yè)中，人工智能ai技術正逐漸被廣泛應用于產(chǎn)品研發(fā)、測試等多個環(huán)節(jié)。例如基于產(chǎn)品的成分、工藝，以及對應產(chǎn)品的實驗數(shù)據(jù)，建立并訓練人工智能模型，從而從而輔助研發(fā)人員進行美妝產(chǎn)品的研發(fā)，利用訓練模型和目標的性能，尋找合適的成分參數(shù)等。

2、但是，人工智能模型的訓練依賴高質(zhì)量的訓練數(shù)據(jù)，數(shù)據(jù)質(zhì)量直接影響人工智能模型的訓練效果，對后續(xù)輔助研發(fā)的效果具有至關重要的作用。通過實驗獲得的數(shù)據(jù)中存在多種模態(tài)的數(shù)據(jù)，不同的數(shù)據(jù)會存在不同的問題，例如采集的微觀圖像可能存在過曝、噪點、模糊等，聲波檢測數(shù)據(jù)中存在缺失，檢測的性能參數(shù)也可能存在明顯的偏差、錯誤、缺失等。而存在問題的訓練數(shù)據(jù)，一方面會因數(shù)據(jù)的偏差或錯誤，導致訓練的模型在訓練是學習到錯誤的信息，降低模型的準確性；另一方面，也會因數(shù)據(jù)的大量缺失，導致訓練的模型無法全面的學習和分析美妝成分與效果之間的復雜關系。

3、因此，如何對模型訓練的多模態(tài)數(shù)據(jù)進行質(zhì)量評估并清洗，從而高訓練數(shù)據(jù)質(zhì)量是本領域技術人員亟需解決的問題。

技術實現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種多模態(tài)數(shù)據(jù)質(zhì)量評估與自動清洗的硬件加速系統(tǒng)，分別確認多模態(tài)數(shù)據(jù)中的圖像數(shù)據(jù)、序列數(shù)據(jù)、點值數(shù)據(jù)的誤差，并綜合計算評分確定數(shù)據(jù)質(zhì)量，進而根據(jù)數(shù)據(jù)質(zhì)量進行數(shù)據(jù)清洗。

2、為了實現(xiàn)上述目的，本發(fā)明提供如下技術方案：

3、本發(fā)明公開了一種多模態(tài)數(shù)據(jù)質(zhì)量評估與自動清洗的硬件加速系統(tǒng)，包括：多模態(tài)數(shù)據(jù)采集模塊、存儲模塊、硬件加速模塊、數(shù)據(jù)輸出模塊；

4、所述多模態(tài)數(shù)據(jù)采集模塊，采集美妝產(chǎn)品試驗過程的多模態(tài)數(shù)據(jù)，并存儲至所述存儲模塊；所述多模態(tài)數(shù)據(jù)包括數(shù)據(jù)編號以及與所述數(shù)據(jù)編號對應的圖像數(shù)據(jù)、序列數(shù)據(jù)和點值數(shù)據(jù)；

5、所述硬件加速模塊包括數(shù)據(jù)質(zhì)量評估單元和數(shù)據(jù)自動清洗單元；

6、所述數(shù)據(jù)質(zhì)量評估單元識別所述圖像數(shù)據(jù)中各圖像錯誤類型和等級，識別所述序列數(shù)據(jù)中存在噪聲或缺失的序列部分，識別所述點值數(shù)據(jù)中的異常值和缺失值；所述數(shù)據(jù)質(zhì)量評估單元，根據(jù)識別出的所述錯誤類型和等級、所述存在噪聲或缺失的序列部分、所述異常值和缺失值，計算所述數(shù)據(jù)編號對應的多模態(tài)數(shù)據(jù)的數(shù)據(jù)質(zhì)量；

7、所述數(shù)據(jù)自動清洗單元，根據(jù)各多模態(tài)數(shù)據(jù)的所述數(shù)據(jù)質(zhì)量進行自動數(shù)據(jù)清洗，并通過所述存儲模塊和所述數(shù)據(jù)輸出模塊，將數(shù)據(jù)清洗后的多模態(tài)數(shù)據(jù)存儲和輸出。

8、優(yōu)選的，利用訓練好的神經(jīng)網(wǎng)絡模型識別所述圖像數(shù)據(jù)中錯誤類型和等級，所述神經(jīng)網(wǎng)絡模型包括依次連接的輸入層、多通道卷積模塊、全連接模塊和輸出層；待識別的圖像數(shù)據(jù)由所述輸入層輸入，并通過所述多通道卷積模塊進行計算得到圖像數(shù)據(jù)的灰度特征向量、信息熵特征向量和高斯特征向量，所述全連接模塊基于所述灰度特征向量、所述信息熵特征向量和所述高斯特征向量進行非線性映射，得到各圖像的分類和分級結(jié)果并通過所述輸出層輸出。

9、優(yōu)選的，所述輸入層將待識別圖像轉(zhuǎn)換為灰度圖并分別輸出至所述多通道卷積模塊的各通道；所述多通道卷模塊包括灰度卷積通道、信息熵卷積通道、高斯卷積通道，三個卷積通道中均包括依次連接的第一卷積層、第一池化層、第一卷積層、第二池化層、第三卷積層以及展平層，通過卷積層進行卷積計算得到特征圖，并通過池化層對特征圖進行降維，最后通過展平層將第三卷積層計算得到的二維特征圖展平為一維的特征向量。

10、優(yōu)選的，所述灰度卷積通道中卷積層的計算公式為：

11、

12、其中，ok(x,y)表示灰度卷積通道中第k層卷積后特征圖在(x,y)位置的特征值，i(x+i,y+j)表示輸入圖像或特征圖在(x+i,y+j)位置的特征值，⊙表示卷積，k(i,j)表示第k層卷積核(i,j)位置的權重，k表示第k層卷積核的大??；

13、所述信息熵卷積通道中卷積層的計算公式為：

14、

15、其中，o′k(x,y)表示信息熵卷積通道中第k層卷積后特征圖在(x,y)位置的特征值；h表示灰度值最大值；表示以(x,y)為中心k′為半徑的區(qū)域內(nèi)，所有像素點中灰度值為h的概率；

16、所述高斯卷積通道中卷積層的計算公式為：

17、

18、其中，o′k′(x,y)表示高斯卷積通道中第k層卷積后特征圖在(x,y)位置的特征值；表示以(x,y)為中心，以k″為卷積核大小，統(tǒng)計卷積核內(nèi)輸入圖像或特征圖全部特征值后計算得到的高斯函數(shù)；ix,y表示輸入圖像或特征圖在(x,y)位置的特征值。

19、優(yōu)選的，所述信息熵卷積通道和所述高斯卷積通道中，第一卷積層和第二卷積層后均連接有歸一化層，對特征圖中的各特征值進行歸一化，并映射到[0,255]的分布空間。

20、優(yōu)選的，所述識別所述序列數(shù)據(jù)中存在噪聲或缺失的序列部分，具體包括：通過設定大小的滑窗在所述序列數(shù)據(jù)上滑動，計算每一次滑動后窗口內(nèi)數(shù)據(jù)的均值和方差，當均值小于設定閾值，則將此時滑窗對應的數(shù)據(jù)序列部分標記為缺失；當方差大于設定閾值，則將此時滑窗對應的數(shù)據(jù)序列部分標記為缺失噪聲。

21、優(yōu)選的，所述識別所述點值數(shù)據(jù)中的異常值和缺失值，具體包括：逐一檢測數(shù)據(jù)編號對應的點值數(shù)據(jù)中，各類數(shù)據(jù)是否存在缺失值并標記；對點值數(shù)據(jù)中的同類數(shù)據(jù)進行統(tǒng)計并計算均值和標準差，根據(jù)均值、標準差以及設定的異常系數(shù)，確定異常數(shù)據(jù)上限閾值和下限閾值，當一個數(shù)據(jù)大于上限閾值或小于下限閾值時，則判定為異常數(shù)據(jù)；上限閾值u和下限閾值l的公式為：l＝μ-κσ；u＝μ+κσ；其中，μ為均值，σ為標準差，κ為異常系數(shù)。

22、優(yōu)選的，所述計算所述數(shù)據(jù)編號對應的多模態(tài)數(shù)據(jù)的數(shù)據(jù)質(zhì)量，具體包括：分別計算所述多模態(tài)數(shù)據(jù)中的圖像數(shù)據(jù)、序列數(shù)據(jù)和點值數(shù)據(jù)的得分，并根據(jù)對應的權值計算多模態(tài)數(shù)據(jù)最終的數(shù)據(jù)質(zhì)量指數(shù)，表示多模態(tài)數(shù)據(jù)的數(shù)據(jù)質(zhì)量，公式為：

23、s＝wimage×simage+wsequence×ssequence+wpoint×spoint；

24、其中，wimage、wsequence和wpoint分別表示圖像數(shù)據(jù)得分權重、序列數(shù)據(jù)得分權重和點值數(shù)據(jù)得分權重，simage、ssequence和spoint分別為圖像數(shù)據(jù)得分、序列數(shù)據(jù)得分和點值數(shù)據(jù)得分，具體公式為：

25、

26、

27、其中，nimage表示圖像數(shù)據(jù)總數(shù)，表示圖像數(shù)據(jù)中存在第m類錯誤類型，第n個等級的圖像數(shù)量；表示圖像數(shù)據(jù)中存在第m類錯誤類型，第n個等級的圖像的系數(shù)；m＝1,2,3分別對應過曝、噪點、模糊三種錯誤類型，n＝1,2,3分別對應低、中、高三個等級；lsequence表示序列數(shù)據(jù)總長度，lmiss表示存在噪聲和缺失的長度；npoint表示點值數(shù)據(jù)總量，nmiss表示缺失異常點值數(shù)量。

28、優(yōu)選的，所述自動數(shù)據(jù)清洗包括：判斷所述數(shù)據(jù)質(zhì)量指數(shù)是否大于設定閾值，對于小于設定閾值的多模態(tài)數(shù)據(jù)直接刪除；然后對剩余的多模態(tài)數(shù)據(jù)中：圖像數(shù)據(jù)進行自適應直方圖均衡處理、中值濾波或者維納濾波；序列數(shù)據(jù)進行平滑濾波或相似序列填充；點值數(shù)據(jù)首先進行異常值刪除，再基于同類型的點值數(shù)據(jù)進行均值填充。

29、優(yōu)選的，所述硬件加速模塊在數(shù)據(jù)處理中利用gpu或fpga進行硬件加速。

30、經(jīng)由上述的技術方案可知，與現(xiàn)有技術相比，本發(fā)明公開提供了多模態(tài)數(shù)據(jù)質(zhì)量評估與自動清洗的硬件加速系統(tǒng)。通過分別對圖像數(shù)據(jù)、序列數(shù)據(jù)和點值數(shù)據(jù)進行細致的誤差識別，能夠全面且精準地評估多模態(tài)數(shù)據(jù)的質(zhì)量。并質(zhì)量僅存在一些小問題的數(shù)據(jù)，通過針對性的數(shù)據(jù)清洗操作，從而在確保數(shù)據(jù)質(zhì)量的同時提高了數(shù)據(jù)的數(shù)量，使得數(shù)據(jù)能夠更好地用于人工智能模型的訓練，使得模型學習到的數(shù)據(jù)特征更加準確，進而降低模型誤差。在數(shù)據(jù)處理中利用gpu或fpga進行硬件加速，大大提高了數(shù)據(jù)質(zhì)量評估和清洗的速度。本發(fā)明能夠?qū)γ缞y研發(fā)過程中模型訓練用的多模態(tài)數(shù)據(jù)進行質(zhì)量評估并清洗，從而高訓練數(shù)據(jù)質(zhì)量以及模型的準確性。