本公開的實施例涉及一種構(gòu)建方法及裝置、數(shù)據(jù)處理方法及裝置、電子設(shè)備和存儲介質(zhì)。

背景技術(shù)：

1、隨著大數(shù)據(jù)技術(shù)的普及，企業(yè)數(shù)據(jù)量呈指數(shù)級增長，這些數(shù)據(jù)分散于不同的數(shù)據(jù)庫、數(shù)據(jù)倉庫甚至是分布式文件系統(tǒng)中。傳統(tǒng)的數(shù)據(jù)管理手段在面對如此多海量且異構(gòu)的數(shù)據(jù)時，效率低下，難以確保數(shù)據(jù)質(zhì)量，在面對多個數(shù)據(jù)來源系統(tǒng)時，難以對齊業(yè)務(wù)口徑。在整合和匯聚數(shù)據(jù)時需要復雜的數(shù)據(jù)開發(fā)和集成流程，通過構(gòu)建數(shù)倉、建設(shè)多層級數(shù)據(jù)體系、附加數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等一系列平臺進行人工的數(shù)據(jù)治理，復雜的數(shù)據(jù)開發(fā)和治理需要耗費大量的數(shù)據(jù)開發(fā)人員和時間周期。在數(shù)據(jù)應(yīng)用階段，仍需要專業(yè)數(shù)據(jù)分析師進行業(yè)務(wù)數(shù)據(jù)梳理、指標定義、可視化分析。

技術(shù)實現(xiàn)思路

1、本公開的至少一實施例提供了一種知識圖譜的構(gòu)建方法，包括：獲取業(yè)務(wù)的數(shù)據(jù)集合，其中，所述數(shù)據(jù)集合包括至少一種類型的數(shù)據(jù)源以及所述至少一種類型的數(shù)據(jù)源對應(yīng)的多個元數(shù)據(jù)內(nèi)容；基于所述數(shù)據(jù)集合和預(yù)先訓練得到的數(shù)據(jù)處理模型，得到所述業(yè)務(wù)的語義知識庫，所述語義知識庫包括多個業(yè)務(wù)術(shù)語；對所述數(shù)據(jù)集合進行分析得到分析結(jié)果；根據(jù)所述分析結(jié)果，確定所述多個元數(shù)據(jù)內(nèi)容和所述多個業(yè)務(wù)術(shù)語之間的映射關(guān)系；以及基于所述語義知識庫和所述映射關(guān)系，生成所述多個業(yè)務(wù)術(shù)語的知識圖譜。

2、例如，在本公開一實施例提供的構(gòu)建方法中，還包括：監(jiān)控所述數(shù)據(jù)集合，響應(yīng)于獲取到所述數(shù)據(jù)源的多個元數(shù)據(jù)內(nèi)容發(fā)生變化，利用訓練引擎和變化后的多個元數(shù)據(jù)內(nèi)容重新訓練所述數(shù)據(jù)處理模型，并且更新所述語義知識庫。

3、本公開的至少一實施例提供了一種數(shù)據(jù)處理方法，包括：獲取數(shù)據(jù)處理請求；基于所述數(shù)據(jù)處理請求，查詢知識圖譜得到查詢信息；以及基于所述查詢信息，獲取用于響應(yīng)所述數(shù)據(jù)處理請求的響應(yīng)數(shù)據(jù)，所述知識圖譜是根據(jù)如下操作構(gòu)建的：獲取業(yè)務(wù)的數(shù)據(jù)集合，所述數(shù)據(jù)集合包括至少一種類型的數(shù)據(jù)源以及所述至少一種類型的數(shù)據(jù)源對應(yīng)的多個元數(shù)據(jù)內(nèi)容；基于所述數(shù)據(jù)集合和預(yù)先訓練得到的數(shù)據(jù)處理模型，得到所述業(yè)務(wù)的語義知識庫，所述語義知識庫包括多個業(yè)務(wù)術(shù)語；對所述數(shù)據(jù)集合進行分析得到分析結(jié)果；根據(jù)所述分析結(jié)果，確定所述多個元數(shù)據(jù)內(nèi)容和所述多個業(yè)務(wù)術(shù)語之間的映射關(guān)系；以及基于所述語義知識庫和所述映射關(guān)系，生成所述多個業(yè)務(wù)術(shù)語的知識圖譜。

4、例如，在本公開一實施例提供的數(shù)據(jù)處理方法中，還包括：基于數(shù)據(jù)集合和數(shù)據(jù)處理模型得到向量庫，所述向量庫包括所述多個元數(shù)據(jù)內(nèi)容各自的向量，基于所述數(shù)據(jù)處理請求，查詢知識圖譜得到查詢信息，包括：基于所述數(shù)據(jù)處理請求，查詢所述知識圖譜和所述向量庫，得到所述查詢信息。

5、例如，在本公開一實施例提供的數(shù)據(jù)處理方法中，基于所述數(shù)據(jù)處理請求，查詢所述知識圖譜和所述向量庫，得到所述查詢信息，包括：基于所述數(shù)據(jù)處理請求，查詢所述知識圖譜，得到所述響應(yīng)數(shù)據(jù)的目標業(yè)務(wù)術(shù)語；基于所述映射關(guān)系，確定所述目標業(yè)務(wù)術(shù)語對應(yīng)的目標元數(shù)據(jù)內(nèi)容；以及基于所述目標元數(shù)據(jù)內(nèi)容和所述向量庫，確定所述查詢信息。

6、例如，在本公開一實施例提供的數(shù)據(jù)處理方法中，查詢信息包括：所述響應(yīng)數(shù)據(jù)所在的數(shù)據(jù)庫、數(shù)據(jù)表以及字段。

7、例如，在本公開一實施例提供的數(shù)據(jù)處理方法中，基于所述查詢信息，獲取用于響應(yīng)所述數(shù)據(jù)處理請求的響應(yīng)數(shù)據(jù)，包括：基于所述查詢信息，利用語言模型構(gòu)建所述查詢信息的數(shù)據(jù)庫查詢語句；以及利用所述數(shù)據(jù)庫查詢語句查詢所述至少一種類型的數(shù)據(jù)源得到所述響應(yīng)數(shù)據(jù)。

8、例如，在本公開一實施例提供的數(shù)據(jù)處理方法中，還包括：利用語言模型對所述響應(yīng)數(shù)據(jù)進行分析，生成響應(yīng)報告。

9、例如，在本公開一實施例提供的數(shù)據(jù)處理方法中，還包括：監(jiān)控所述數(shù)據(jù)集合，響應(yīng)于獲取到所述數(shù)據(jù)源的多個元數(shù)據(jù)內(nèi)容發(fā)生變化，利用訓練引擎和變化后的多個元數(shù)據(jù)內(nèi)容重新訓練所述數(shù)據(jù)處理模型，并且更新所述語義知識庫。

10、例如，在本公開一實施例提供的數(shù)據(jù)處理方法中，還包括：基于所述語義知識庫，生成業(yè)務(wù)術(shù)語表。

11、本公開的至少一實施例提供了一種知識圖譜的構(gòu)建裝置，包括：數(shù)據(jù)源獲取單元，配置為獲取業(yè)務(wù)的數(shù)據(jù)集合，數(shù)據(jù)集合包括至少一種類型的數(shù)據(jù)源以及所述至少一種類型數(shù)據(jù)源的多個元數(shù)據(jù)內(nèi)容；語義知識庫生成單元，配置為基于所述數(shù)據(jù)集合和預(yù)先訓練得到的數(shù)據(jù)處理模型，得到所述業(yè)務(wù)的語義知識庫，其中，所述語義知識庫包括多個業(yè)務(wù)術(shù)語；元數(shù)據(jù)內(nèi)容分析單元，配置為對所述數(shù)據(jù)集合進行分析得到分析結(jié)果；確定單元，配置為根據(jù)所述分析結(jié)果，確定所述多個元數(shù)據(jù)內(nèi)容和所述多個業(yè)務(wù)術(shù)語之間的映射關(guān)系；以及知識圖譜生成單元，配置為基于所述語義知識庫和所述映射關(guān)系，生成所述多個業(yè)務(wù)術(shù)語的知識圖譜。

12、本公開的至少一實施例提供了一種數(shù)據(jù)處理裝置，包括：請求獲取單元，配置為獲取數(shù)據(jù)處理請求；查詢單元，配置為基于所述數(shù)據(jù)處理請求，查詢知識圖譜得到查詢信息；以及響應(yīng)數(shù)據(jù)獲取單元，配置為基于所述查詢信息，獲取用于響應(yīng)所述數(shù)據(jù)處理請求的響應(yīng)數(shù)據(jù)，所述知識圖譜是根據(jù)本公開任一實施例提供的方法構(gòu)建的。

13、本公開的至少一實施例提供了一種電子設(shè)備，包括：處理器；以及存儲器，包括一個或多個計算機程序指令；其中，所述一個或多個計算機程序指令被所述處理器運行時執(zhí)行根據(jù)本公開任一實施例提供的方法。

14、本公開的至少一實施例提供了一種計算機可讀存儲介質(zhì)，非暫時性地存儲計算機可讀指令，其中，當計算機可讀指令由處理器執(zhí)行時實現(xiàn)本公開任一實施例提供的方法。

技術(shù)特征：

1.一種知識圖譜的構(gòu)建方法，包括：

2.根據(jù)權(quán)利要求1所述的構(gòu)建方法，還包括：

3.一種數(shù)據(jù)處理方法，包括：

4.根據(jù)權(quán)利要求3所述的方法，還包括：

5.根據(jù)權(quán)利要求4所述的方法，其中，基于所述數(shù)據(jù)處理請求，查詢所述知識圖譜和所述向量庫，得到所述查詢信息，包括：

6.根據(jù)權(quán)利要求5所述的方法，其中，所述查詢信息包括：所述響應(yīng)數(shù)據(jù)所在的數(shù)據(jù)庫、數(shù)據(jù)表以及字段。

7.?根據(jù)權(quán)利要求4所述的方法，其中，基于所述查詢信息，獲取用于響應(yīng)所述數(shù)據(jù)處理請求的所述響應(yīng)數(shù)據(jù)，包括：

8.根據(jù)權(quán)利要求3所述的方法，還包括：

9.根據(jù)權(quán)利要求3所述的方法，還包括：

10.根據(jù)權(quán)利要求3所述的方法，還包括：

11.根據(jù)權(quán)利要求3所述的方法，還包括：展示所述知識圖譜于用戶界面。

12.一種知識圖譜的構(gòu)建裝置，包括：

13.一種數(shù)據(jù)處理裝置，包括：

14.?一種電子設(shè)備，包括：

15.一種計算機可讀存儲介質(zhì)，非暫時性地存儲計算機可讀指令，其中，當所述計算機可讀指令由處理器執(zhí)行時實現(xiàn)權(quán)利要求1~11中任一項所述的方法。

技術(shù)總結(jié)
本公開的實施例涉及一種知識圖譜的構(gòu)建方法、數(shù)據(jù)處理方法、裝置、電子設(shè)備和存儲介質(zhì)。該知識圖譜的構(gòu)建方法，包括：獲取業(yè)務(wù)的數(shù)據(jù)集合，數(shù)據(jù)集合包括至少一種類型的數(shù)據(jù)源以及至少一種類型的數(shù)據(jù)源對應(yīng)的多個元數(shù)據(jù)內(nèi)容；基于數(shù)據(jù)集合和預(yù)先訓練得到的數(shù)據(jù)處理模型，得到業(yè)務(wù)的語義知識庫，語義知識庫包括多個業(yè)務(wù)術(shù)語；對數(shù)據(jù)集合進行分析得到分析結(jié)果；根據(jù)分析結(jié)果，確定多個元數(shù)據(jù)內(nèi)容和多個業(yè)務(wù)術(shù)語之間的映射關(guān)系；以及基于語義知識庫和映射關(guān)系，生成多個業(yè)務(wù)術(shù)語的知識圖譜。該方法能夠?qū)⒃獢?shù)據(jù)內(nèi)容結(jié)構(gòu)和業(yè)務(wù)術(shù)語統(tǒng)一，減少業(yè)務(wù)理解和元數(shù)據(jù)內(nèi)容定義之前的差異，并可以減少算力硬件成本和時間成本。

技術(shù)研發(fā)人員：夏啟斌
受保護的技術(shù)使用者：北京中兵數(shù)字科技集團有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/6/26