本公開大體上涉及計算機網(wǎng)絡(luò)，并且更具體地，涉及計算機網(wǎng)絡(luò)和網(wǎng)絡(luò)系統(tǒng)的基于機器學(xué)習(xí)的診斷。
背景技術(shù)：
1、無線接入網(wǎng)絡(luò)利用無線接入點(ap)的網(wǎng)絡(luò)，這些無線接入點是物理電子設(shè)備，這些物理電子設(shè)備使得其他設(shè)備能夠使用各種無線聯(lián)網(wǎng)協(xié)議和技術(shù)(諸如符合ieee?802.11標(biāo)準(zhǔn)(即“wifi”)、藍(lán)牙/藍(lán)牙低功耗(ble)、網(wǎng)格聯(lián)網(wǎng)協(xié)議(諸如zigbee)中的一個或多個的無線局域聯(lián)網(wǎng)協(xié)議或其他無線聯(lián)網(wǎng)技術(shù))，來無線地連接到有線網(wǎng)絡(luò)。許多不同類型的設(shè)備(諸如膝上型計算機、智能電話、平板計算機、可穿戴式設(shè)備、電器和物聯(lián)網(wǎng)(iot)設(shè)備)并入了無線通信技術(shù)，并且可以被配置為在設(shè)備處于兼容的無線接入點的范圍內(nèi)時連接到無線接入點，以便接入有線網(wǎng)絡(luò)。
2、無線接入網(wǎng)絡(luò)和一般的計算機網(wǎng)絡(luò)是復(fù)雜的系統(tǒng)，這些系統(tǒng)可能經(jīng)歷瞬態(tài)和/或永久性問題。一些問題可能導(dǎo)致明顯的系統(tǒng)性能下降，而其他問題可能自行解決，而不會顯著地影響如用戶所感知的系統(tǒng)級性能。一些問題在高負(fù)載下可能被預(yù)期且接受，并且一旦負(fù)載減弱，自我修復(fù)機制(諸如重試等)可能使問題消失。
技術(shù)實現(xiàn)思路
1、大體上，本公開描述了使得虛擬網(wǎng)絡(luò)助理(vna)能夠執(zhí)行主動分析和關(guān)聯(lián)引擎(pace)的技術(shù)，該主動分析和關(guān)聯(lián)引擎被配置為動態(tài)地構(gòu)建和應(yīng)用無監(jiān)督的基于機器學(xué)習(xí)(“基于ml”)的模型以用于減少或最小化在網(wǎng)絡(luò)診斷上所花費的資源。如本文中所描述，技術(shù)使得主動分析和關(guān)聯(lián)引擎能夠?qū)o監(jiān)督的基于ml的模型應(yīng)用于收集到的網(wǎng)絡(luò)事件數(shù)據(jù)，以確定網(wǎng)絡(luò)事件數(shù)據(jù)是否表示可以自我校正的預(yù)期瞬態(tài)的網(wǎng)絡(luò)誤差或需要被虛擬網(wǎng)絡(luò)助理進(jìn)一步分析的異常行為，以便支持對網(wǎng)絡(luò)系統(tǒng)中的底層故障的解決。
2、此外，這些技術(shù)通過利用被劃分為時間序列子組的滑動窗口的實時網(wǎng)絡(luò)數(shù)據(jù)以用于動態(tài)計算針對在定義的時間段內(nèi)的各種類型的網(wǎng)絡(luò)事件的預(yù)期范圍(最小/最大預(yù)期發(fā)生)來實現(xiàn)對無監(jiān)督的基于ml的網(wǎng)絡(luò)模型的自適應(yīng)閉環(huán)調(diào)諧。由vna應(yīng)用的基于ml的模型被訓(xùn)練，以基于作為訓(xùn)練數(shù)據(jù)的實際網(wǎng)絡(luò)事件數(shù)據(jù)預(yù)測針對網(wǎng)絡(luò)事件的發(fā)生級別，該實際網(wǎng)絡(luò)事件數(shù)據(jù)使用針對不同類型的網(wǎng)絡(luò)事件的動態(tài)地確定的預(yù)期范圍被增強。網(wǎng)絡(luò)管理系統(tǒng)(nms)的pace將(多個)基于ml的模型應(yīng)用于從網(wǎng)絡(luò)系統(tǒng)所接收到的網(wǎng)絡(luò)事件數(shù)據(jù)(不包括最近觀察時間幀)，且操作以預(yù)測針對各種類型的網(wǎng)絡(luò)事件的被預(yù)期在當(dāng)前觀察時間幀期間被看見的發(fā)生級別以及針對每種類型網(wǎng)絡(luò)事件的估計(預(yù)測)最小和最大閾值，即針對每種類型的網(wǎng)絡(luò)事件的發(fā)生次數(shù)的預(yù)測容限范圍。在確定當(dāng)前觀察期內(nèi)對網(wǎng)絡(luò)事件數(shù)據(jù)的真實觀察偏離超出了由該時期內(nèi)由模型估計(預(yù)測)的最小和/或最大閾值設(shè)置的范圍后，主動分析和關(guān)聯(lián)引擎將那些網(wǎng)絡(luò)事件標(biāo)記為指示異常行為，從而觸發(fā)更詳細(xì)的根本原因分析。
3、本公開的技術(shù)提供了一個或多個技術(shù)優(yōu)點和實際應(yīng)用。例如，技術(shù)實現(xiàn)自動化虛擬網(wǎng)絡(luò)助理，這些自動化虛擬網(wǎng)絡(luò)助理可以確定哪些網(wǎng)絡(luò)問題應(yīng)該被分析和哪些問題應(yīng)該被視為瞬態(tài)問題，這些瞬態(tài)問題可以被自行解決且因此無需花費附加的計算資源而被忽略。
4、為確保復(fù)雜的計算機網(wǎng)絡(luò)滿足其用戶群體的需求，網(wǎng)絡(luò)管理者尋求快速解決系統(tǒng)操作期間可能出現(xiàn)的任何問題。另一方面，分析網(wǎng)絡(luò)且試圖找出每一個問題的根本原因會導(dǎo)致計算資源的浪費，這是因為系統(tǒng)會在網(wǎng)絡(luò)分析器的結(jié)果變得可用之前或緊接之后例如通過重試機制過度分析已經(jīng)被整流的問題的根本原因。
5、進(jìn)一步地，為了實現(xiàn)某些技術(shù)效率，技術(shù)實現(xiàn)基于無監(jiān)督的基于ml的模型的自動化虛擬網(wǎng)絡(luò)助理，從而減少和/或消除將每個消息流和統(tǒng)計加標(biāo)簽為表示“良好/正?！毕⒘骰颉皦牡?失敗”消息流的耗時工作。
6、在一個示例中，本公開涉及一種方法，其包括：接收指示網(wǎng)絡(luò)的操作行為的網(wǎng)絡(luò)事件數(shù)據(jù)，其中網(wǎng)絡(luò)事件數(shù)據(jù)定義一種或多種事件類型的一系列網(wǎng)絡(luò)事件；針對每種事件類型且基于網(wǎng)絡(luò)事件數(shù)據(jù)動態(tài)地確定對應(yīng)最小(min)和最大(max)閾值，這些閾值定義針對網(wǎng)絡(luò)事件的預(yù)期發(fā)生范圍。方法還包括：基于網(wǎng)絡(luò)事件數(shù)據(jù)和針對每種事件類型的動態(tài)地確定的最小閾值和最大閾值構(gòu)建無監(jiān)督機器學(xué)習(xí)模型，而不需要對網(wǎng)絡(luò)事件數(shù)據(jù)的網(wǎng)絡(luò)事件中的每個網(wǎng)絡(luò)事件進(jìn)行標(biāo)記；以及在構(gòu)建無監(jiān)督機器學(xué)習(xí)模型之后，使用該機器學(xué)習(xí)模型處理附加網(wǎng)絡(luò)事件數(shù)據(jù)，以針對事件類型中的每種事件類型確定網(wǎng)絡(luò)事件的預(yù)測發(fā)生計數(shù)。方法還包括基于預(yù)測發(fā)生計數(shù)和針對每種事件類型的動態(tài)地確定的最小閾值和最大閾值將網(wǎng)絡(luò)事件中的一個或多個網(wǎng)絡(luò)事件標(biāo)識為指示異常網(wǎng)絡(luò)行為。
7、在另一示例中，本公開涉及一種管理無線網(wǎng)絡(luò)中的一個或多個接入點(ap)設(shè)備的網(wǎng)絡(luò)管理系統(tǒng)(nms)。nms包括存儲器，該存儲器存儲從ap設(shè)備接收到的網(wǎng)絡(luò)事件數(shù)據(jù)，其中該網(wǎng)絡(luò)事件數(shù)據(jù)指示無線網(wǎng)絡(luò)的操作行為，并且其中網(wǎng)絡(luò)事件數(shù)據(jù)定義隨時間變化的一種或多種事件類型的一系列網(wǎng)絡(luò)事件。nms被配置為將無監(jiān)督機器學(xué)習(xí)模型應(yīng)用于網(wǎng)絡(luò)事件數(shù)據(jù)，以針對觀察時間段中的最近一個觀察時間段確定以下各項：(i)針對事件類型中的每種事件類型的網(wǎng)絡(luò)事件的預(yù)測發(fā)生計數(shù)，以及(ii)針對每種事件類型的估計最小(min)閾值和估計最大(max)閾值，其中min閾值和max閾值定義針對對應(yīng)事件類型的網(wǎng)絡(luò)事件的預(yù)期發(fā)生范圍；以及基于估計最小閾值和估計最大閾值以及針對觀察時間段中的最近一個觀察時間段的實際網(wǎng)絡(luò)事件數(shù)據(jù)，將網(wǎng)絡(luò)事件中的一個或多個網(wǎng)絡(luò)事件標(biāo)識為指示異常網(wǎng)絡(luò)行為。
1.一種網(wǎng)絡(luò)管理系統(tǒng)，包括：
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述無監(jiān)督機器學(xué)習(xí)模型已經(jīng)使用未標(biāo)記的訓(xùn)練數(shù)據(jù)被訓(xùn)練，所述未標(biāo)記的訓(xùn)練數(shù)據(jù)包括網(wǎng)絡(luò)事件數(shù)據(jù)，所述網(wǎng)絡(luò)事件數(shù)據(jù)在具有不同時間原點的多個重疊時間窗期間被觀察到，并且利用針對所述一種或多種事件類型的網(wǎng)絡(luò)事件的閾值發(fā)生范圍被增強。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述一個或多個處理器還被配置為基于在具有不同時間原點的所述多個重疊時間窗期間被觀察到的所述網(wǎng)絡(luò)事件數(shù)據(jù)來確定定義針對所述一種或多種事件類型的網(wǎng)絡(luò)事件的所述閾值發(fā)生范圍的最小閾值和最大閾值。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中為了確定所述最小閾值和所述最大閾值，所述一個或多個處理器還被配置為：
5.根據(jù)權(quán)利要求1至4中的任一項所述的系統(tǒng)，其中所述一個或多個處理器還被配置為：
6.一種用于網(wǎng)絡(luò)管理的方法，包括：
7.根據(jù)權(quán)利要求6所述的方法，其中所述無監(jiān)督機器學(xué)習(xí)模型已經(jīng)使用未標(biāo)記的訓(xùn)練數(shù)據(jù)被訓(xùn)練，所述未標(biāo)記的訓(xùn)練數(shù)據(jù)包括網(wǎng)絡(luò)事件數(shù)據(jù)，所述網(wǎng)絡(luò)事件數(shù)據(jù)在具有不同時間原點的多個重疊時間窗期間被觀察到，并且利用針對所述一種或多種事件類型的網(wǎng)絡(luò)事件的閾值發(fā)生范圍被增強。
8.根據(jù)權(quán)利要求7所述的方法，還包括基于在具有不同時間原點的所述多個重疊時間窗期間被觀察到的所述網(wǎng)絡(luò)事件數(shù)據(jù)來確定定義針對所述一種或多種事件類型的網(wǎng)絡(luò)事件的所述閾值發(fā)生范圍的最小閾值和最大閾值。
9.根據(jù)權(quán)利要求8所述的方法，其中確定所述最小閾值和所述最大閾值還包括：
10.根據(jù)權(quán)利要求6至9中的任一項所述的方法，還包括：
11.一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)利用指令而被編碼，所述指令用于使得一個或多個可編程處理器：
12.根據(jù)權(quán)利要求11所述的計算機可讀介質(zhì)，其中所述無監(jiān)督機器學(xué)習(xí)模型已經(jīng)使用未標(biāo)記的訓(xùn)練數(shù)據(jù)被訓(xùn)練，所述未標(biāo)記的訓(xùn)練數(shù)據(jù)包括網(wǎng)絡(luò)事件數(shù)據(jù)，所述網(wǎng)絡(luò)事件數(shù)據(jù)在具有不同時間原點的多個重疊時間窗期間被觀察到，并且利用針對所述一種或多種事件類型的網(wǎng)絡(luò)事件的閾值發(fā)生范圍被增強。
13.根據(jù)權(quán)利要求12所述的計算機可讀介質(zhì)，其中所述指令還使得所述一個或多個可編程處理器基于在具有不同時間原點的所述多個重疊時間窗期間被觀察到的所述網(wǎng)絡(luò)事件數(shù)據(jù)來確定定義針對所述一種或多種事件類型的網(wǎng)絡(luò)事件的所述閾值發(fā)生范圍的最小閾值和最大閾值。
14.根據(jù)權(quán)利要求11所述的計算機可讀介質(zhì)，其中為了確定所述最小閾值和所述最大閾值，所述指令還使得所述一個或多個可編程處理器：
15.根據(jù)權(quán)利要求11至14中的任一項所述的計算機可讀介質(zhì)，其中所述指令還使得所述一個或多個可編程處理器：