數(shù)據(jù)管理方法及數(shù)據(jù)管理系統(tǒng)與流程

本發(fā)明涉及計算機技術(shù)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)管理方法和一種數(shù)據(jù)管理系統(tǒng)。

背景技術(shù)：

LogStash是一款輕量級的日志搜集處理框架，是一個數(shù)據(jù)管道，可以方便的把分散的、多樣化的、多種類型的日志搜集起來，包括流式日志數(shù)據(jù)，然后傳輸?shù)街付ǖ奈恢?，比如某個服務器或者文件。LogStash主要包含三個部分：Inputs(輸入)、Fillters(過濾)及Outputs(輸出)，Inputs是指日志數(shù)據(jù)傳輸?shù)絃ogstash中，F(xiàn)illters是指在LogStash把收集到的日志數(shù)據(jù)進行過濾，Outputs是LogStash處理管道的最末端組件，處理數(shù)據(jù)的輸出，通常在對流式數(shù)據(jù)收集后，沒有對其任何處理，直接輸出到某個位置，無法滿足用戶對數(shù)據(jù)的處理需求，對此目前還沒有有效的解決方案。

技術(shù)實現(xiàn)要素：

本發(fā)明正是基于上述技術(shù)問題至少之一，提出了一種新的數(shù)據(jù)管理方案，能夠?qū)Λ@取到的流式數(shù)據(jù)進行關(guān)聯(lián)分析，以滿足用戶對數(shù)據(jù)的處理需求。

有鑒于此，本發(fā)明提出了一種數(shù)據(jù)管理方法，包括：監(jiān)測是否獲取到目標流式數(shù)據(jù)；在確定獲取到所述目標流式數(shù)據(jù)時，對所述目標流式數(shù)據(jù)的內(nèi)容進行上下文關(guān)聯(lián)分析，以得到關(guān)聯(lián)結(jié)果；輸出所述關(guān)聯(lián)結(jié)果。

在該技術(shù)方案中，通過監(jiān)測是否獲取到目標流式數(shù)據(jù)，在確定獲取到目標流式數(shù)據(jù)時，對目標流式數(shù)據(jù)的內(nèi)容進行上下文關(guān)聯(lián)分析，以便于對流式數(shù)據(jù)進行橫向拓展，滿足用戶對數(shù)據(jù)的處理需求。

在上述技術(shù)方案中，優(yōu)選地，在所述對所述目標流式數(shù)據(jù)的內(nèi)容進行上下文關(guān)聯(lián)分析的步驟之前，還包括：創(chuàng)建至少一個時間窗口，以及配置每個所述時間窗口對應的關(guān)聯(lián)信息；所述對所述目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析的步驟，具體包括：根據(jù)每個所述時間窗口對應的關(guān)聯(lián)信息，對流經(jīng)每個所述時間窗口的目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析。

在該技術(shù)方案中，通過設(shè)置時間窗口，對流經(jīng)時間窗口的目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析，提高了對目標流式數(shù)據(jù)的處理效率。

在上述任一項技術(shù)方案中，優(yōu)選地，所述根據(jù)每個所述時間窗口對應的關(guān)聯(lián)信息，對流經(jīng)每個所述時間窗口的目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析的步驟，具體包括：根據(jù)每個所述時間窗口對應的關(guān)聯(lián)信息，基于正則表達式匹配方式對流經(jīng)每個所述時間窗口的目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析。

在該技術(shù)方案中，在對目標流式數(shù)據(jù)的處理過程中，具體可采用正則表達式匹配方法來對流經(jīng)每個時間窗口的目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析，確保了對目標流式數(shù)據(jù)分析結(jié)果的準確性。其中，正則表達式可基于預定義的一些特定字符及這些特定字符的組合以對待處理數(shù)據(jù)進行過濾匹配，其具有靈活性、邏輯性及功能性強等優(yōu)勢。

在上述任一項技術(shù)方案中，優(yōu)選地，還包括：在接收到設(shè)置任一所述時間窗口的指令時，對任一所述時間窗口和任一所述時間窗口對應的關(guān)聯(lián)信息進行設(shè)置。

在該技術(shù)方案中，用戶可根據(jù)實際需求來對時間窗口及其對應的關(guān)聯(lián)信息進行設(shè)置，以滿足不同用戶需求，提升了用戶的使用體驗。

在上述任一項技術(shù)方案中，優(yōu)選地，在所述確定獲取到所述目標流式數(shù)據(jù)的步驟之后，以及在所述對所述目標流式數(shù)據(jù)的內(nèi)容進行上下文關(guān)聯(lián)分析的步驟之前還包括：對所述目標流式數(shù)據(jù)進行過濾處理。

在上述任一項技術(shù)方案中，優(yōu)選地，所述目標流式數(shù)據(jù)包括流式日志數(shù)據(jù)。

根據(jù)本發(fā)明的第二方面，提出了一種數(shù)據(jù)管理系統(tǒng)，包括：監(jiān)測單元，用于監(jiān)測是否獲取到目標流式數(shù)據(jù)；處理單元，用于在確定獲取到所述目標流式數(shù)據(jù)時，對所述目標流式數(shù)據(jù)的內(nèi)容進行上下文關(guān)聯(lián)分析，以得到關(guān)聯(lián)結(jié)果；輸出單元，用于輸出所述關(guān)聯(lián)結(jié)果。

在該技術(shù)方案中，通過監(jiān)測是否獲取到目標流式數(shù)據(jù)，在確定獲取到目標流式數(shù)據(jù)時，對目標流式數(shù)據(jù)的內(nèi)容進行上下文關(guān)聯(lián)分析，以便于對流式數(shù)據(jù)進行橫向拓展，滿足用戶對數(shù)據(jù)的處理需求。

在上述技術(shù)方案中，優(yōu)選地，還包括：創(chuàng)建單元，用于創(chuàng)建至少一個時間窗口，以及配置每個所述時間窗口對應的關(guān)聯(lián)信息；所述處理單元具體用于：根據(jù)每個所述時間窗口對應的關(guān)聯(lián)信息，對流經(jīng)每個所述時間窗口的目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析。

在該技術(shù)方案中，通過設(shè)置時間窗口，對流經(jīng)時間窗口的目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析，提高了對目標流式數(shù)據(jù)的處理效率。

在上述技術(shù)方案中，優(yōu)選地，所述處理單元具體用于：根據(jù)每個所述時間窗口對應的關(guān)聯(lián)信息，基于正則表達式匹配方式對流經(jīng)每個所述時間窗口的目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析。

在該技術(shù)方案中，在對目標流式數(shù)據(jù)的處理過程中，具體可采用正則表達式匹配方法來對流經(jīng)每個時間窗口的目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析，確保了對目標流式數(shù)據(jù)分析結(jié)果的準確性。其中，正則表達式可基于預定義的一些特定字符及這些特定字符的組合以對待處理數(shù)據(jù)進行過濾匹配，其具有靈活性、邏輯性及功能性強等優(yōu)勢。

在上述任一項技術(shù)方案中，優(yōu)選地，還包括：設(shè)置單元，用于在接收到設(shè)置任一所述時間窗口的指令時，對任一所述時間窗口和任一所述時間窗口對應的關(guān)聯(lián)信息進行設(shè)置。

在該技術(shù)方案中，用戶可根據(jù)實際需求來對時間窗口及其對應的關(guān)聯(lián)信息進行設(shè)置，以滿足不同用戶需求，提升了用戶的使用體驗。

在上述任一項技術(shù)方案中，優(yōu)選地，所述處理單元還用于：在對所述目標流式數(shù)據(jù)的內(nèi)容進行上下文關(guān)聯(lián)分析之前，對所述目標流式數(shù)據(jù)進行過濾處理。

在上述任一項技術(shù)方案中，優(yōu)選地，所述目標流式數(shù)據(jù)包括流式日志數(shù)據(jù)。

通過以上技術(shù)方案，能夠?qū)Λ@取到的流式數(shù)據(jù)進行關(guān)聯(lián)分析，以滿足用戶對數(shù)據(jù)的處理需求。

附圖說明

圖1示出了根據(jù)本發(fā)明的第一個實施例的數(shù)據(jù)管理方法的示意流程圖；

圖2示出了根據(jù)本發(fā)明的實施例的數(shù)據(jù)管理系統(tǒng)的示意框圖；

圖3示出了根據(jù)本發(fā)明的第二個實施例的數(shù)據(jù)管理方法的示意流程圖；

圖4示出了根據(jù)本發(fā)明的第三個實施例的數(shù)據(jù)管理方法的示意流程圖。

具體實施方式

為了能夠更清楚地理解本發(fā)明的上述目的、特征和優(yōu)點，下面結(jié)合附圖和具體實施方式對本發(fā)明進行進一步的詳細描述。需要說明的是，在不沖突的情況下，本申請的實施例及實施例中的特征可以相互組合。

在下面的描述中闡述了很多具體細節(jié)以便于充分理解本發(fā)明，但是，本發(fā)明還可以采用其他不同于在此描述的其他方式來實施，因此，本發(fā)明的保護范圍并不受下面公開的具體實施例的限制。

圖1示出了根據(jù)本發(fā)明的第一個實施例的數(shù)據(jù)管理方法的示意流程圖。

如圖1所示，根據(jù)本發(fā)明的第一個實施例的數(shù)據(jù)管理方法，包括：

步驟102，監(jiān)測是否獲取到目標流式數(shù)據(jù)。

步驟104，在確定獲取到所述目標流式數(shù)據(jù)時，對所述目標流式數(shù)據(jù)的內(nèi)容進行上下文關(guān)聯(lián)分析，以得到關(guān)聯(lián)結(jié)果。

步驟106，輸出所述關(guān)聯(lián)結(jié)果。

在該技術(shù)方案中，通過監(jiān)測是否獲取到目標流式數(shù)據(jù)，在確定獲取到目標流式數(shù)據(jù)時，對目標流式數(shù)據(jù)的內(nèi)容進行上下文關(guān)聯(lián)分析，以便于對流式數(shù)據(jù)進行橫向拓展，滿足用戶對數(shù)據(jù)的處理需求。

在上述技術(shù)方案中，優(yōu)選地，在所述對所述目標流式數(shù)據(jù)的內(nèi)容進行上下文關(guān)聯(lián)分析的步驟之前，還包括：創(chuàng)建至少一個時間窗口，以及配置每個所述時間窗口對應的關(guān)聯(lián)信息；所述對所述目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析的步驟，具體包括：根據(jù)每個所述時間窗口對應的關(guān)聯(lián)信息，對流經(jīng)每個所述時間窗口的目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析。

在該技術(shù)方案中，通過設(shè)置時間窗口，對流經(jīng)時間窗口的目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析，提高了對目標流式數(shù)據(jù)的處理效率。

在上述任一項技術(shù)方案中，優(yōu)選地，所述根據(jù)每個所述時間窗口對應的關(guān)聯(lián)信息，對流經(jīng)每個所述時間窗口的目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析的步驟，具體包括：根據(jù)每個所述時間窗口對應的關(guān)聯(lián)信息，基于正則表達式匹配方式對流經(jīng)每個所述時間窗口的目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析。

在該技術(shù)方案中，在對目標流式數(shù)據(jù)的處理過程中，具體可采用正則表達式匹配方法來對流經(jīng)每個時間窗口的目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析，確保了對目標流式數(shù)據(jù)分析結(jié)果的準確性。其中，正則表達式可基于預定義的一些特定字符及這些特定字符的組合以對待處理數(shù)據(jù)進行過濾匹配，其具有靈活性、邏輯性及功能性強等優(yōu)勢。

在上述任一項技術(shù)方案中，優(yōu)選地，還包括：在接收到設(shè)置任一所述時間窗口的指令時，對任一所述時間窗口和任一所述時間窗口對應的關(guān)聯(lián)信息進行設(shè)置。

在該技術(shù)方案中，用戶可根據(jù)實際需求來對時間窗口及其對應的關(guān)聯(lián)信息進行設(shè)置，以滿足不同用戶需求，提升了用戶的使用體驗。

在上述任一項技術(shù)方案中，優(yōu)選地，在所述確定獲取到所述目標流式數(shù)據(jù)的步驟之后，以及在所述對所述目標流式數(shù)據(jù)的內(nèi)容進行上下文關(guān)聯(lián)分析的步驟之前還包括：對所述目標流式數(shù)據(jù)進行過濾處理。

在上述任一項技術(shù)方案中，優(yōu)選地，所述目標流式數(shù)據(jù)包括流式日志數(shù)據(jù)。

圖2示出了根據(jù)本發(fā)明的實施例的數(shù)據(jù)管理系統(tǒng)的示意框圖。

如圖2所示，根據(jù)本發(fā)明的實施例的數(shù)據(jù)管理系統(tǒng)200，包括：監(jiān)測單元202、處理單元204和輸出單元206。

其中，監(jiān)測單元202用于監(jiān)測是否獲取到目標流式數(shù)據(jù)；處理單元204用于在確定獲取到所述目標流式數(shù)據(jù)時，對所述目標流式數(shù)據(jù)的內(nèi)容進行上下文關(guān)聯(lián)分析，以得到關(guān)聯(lián)結(jié)果；輸出單元206用于輸出所述關(guān)聯(lián)結(jié)果。

在該技術(shù)方案中，通過監(jiān)測是否獲取到目標流式數(shù)據(jù)，在確定獲取到目標流式數(shù)據(jù)時，對目標流式數(shù)據(jù)的內(nèi)容進行上下文關(guān)聯(lián)分析，以便于對流式數(shù)據(jù)進行橫向拓展，滿足用戶對數(shù)據(jù)的處理需求。

在上述技術(shù)方案中，優(yōu)選地，還包括：創(chuàng)建單元208，用于創(chuàng)建至少一個時間窗口，以及配置每個所述時間窗口對應的關(guān)聯(lián)信息；所述處理單元204具體用于：根據(jù)每個所述時間窗口對應的關(guān)聯(lián)信息，對流經(jīng)每個所述時間窗口的目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析。

在該技術(shù)方案中，通過設(shè)置時間窗口，對流經(jīng)時間窗口的目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析，提高了對目標流式數(shù)據(jù)的處理效率。

在上述技術(shù)方案中，優(yōu)選地，所述處理單元204具體用于：根據(jù)每個所述時間窗口對應的關(guān)聯(lián)信息，基于正則表達式匹配方式對流經(jīng)每個所述時間窗口的目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析。

在該技術(shù)方案中，在對目標流式數(shù)據(jù)的處理過程中，具體可采用正則表達式匹配方法來對流經(jīng)每個時間窗口的目標流式數(shù)據(jù)進行上下文關(guān)聯(lián)分析，確保了對目標流式數(shù)據(jù)分析結(jié)果的準確性。其中，正則表達式可基于預定義的一些特定字符及這些特定字符的組合以對待處理數(shù)據(jù)進行過濾匹配，其具有靈活性、邏輯性及功能性強等優(yōu)勢。

在上述任一項技術(shù)方案中，優(yōu)選地，還包括：設(shè)置單元210，用于在接收到設(shè)置任一所述時間窗口的指令時，對任一所述時間窗口和任一所述時間窗口對應的關(guān)聯(lián)信息進行設(shè)置。

在該技術(shù)方案中，用戶可根據(jù)實際需求來對時間窗口及其對應的關(guān)聯(lián)信息進行設(shè)置，以滿足不同用戶需求，提升了用戶的使用體驗。

在上述任一項技術(shù)方案中，優(yōu)選地，所述處理單元204還用于：在對所述目標流式數(shù)據(jù)的內(nèi)容進行上下文關(guān)聯(lián)分析之前，對所述目標流式數(shù)據(jù)進行過濾處理。

在上述任一項技術(shù)方案中，優(yōu)選地，所述目標流式數(shù)據(jù)包括流式日志數(shù)據(jù)。

以下結(jié)合圖3和圖4對本發(fā)明的技術(shù)方案作進一步說明。

如圖3所示，本實施例中，主要實際Inputs(輸入)模塊、Filters(過濾)模塊、Analysis(分析)模塊及Outputs(輸出)模塊，在LogStash收集到流式數(shù)據(jù)后，在把流式數(shù)據(jù)輸出到指定位置前，引入一個流式數(shù)據(jù)邏輯關(guān)聯(lián)分析模塊Analysis，分析出來的結(jié)果再輸出到指定位置，具體地，收集的流式數(shù)據(jù)經(jīng)由Filters模塊輸入Filters模塊進行過濾，然后將過濾后的流式數(shù)據(jù)輸入到Analysis模塊進行上下文關(guān)聯(lián)分析，最后經(jīng)由Outputs模塊將分析結(jié)果輸出至指定位置。

其中，如圖4所示，一般流式數(shù)據(jù)不是在磁盤上等待程序去掃描，而是數(shù)據(jù)一直是在線流動的，所以可定義時間窗口(如圖4所示的時間窗1、時間窗2、…、時間窗n)，在一定的時間內(nèi)進行數(shù)據(jù)內(nèi)容的上下文關(guān)聯(lián)分析，讓數(shù)據(jù)在窗口內(nèi)流過，在時間窗口內(nèi)的數(shù)據(jù)進行做關(guān)聯(lián)，根據(jù)關(guān)聯(lián)規(guī)則(具體可根據(jù)用戶進行設(shè)定)以及正則表達式匹配，在時間窗口內(nèi)進行規(guī)則匹配，成功則表明上下文關(guān)聯(lián)成功，產(chǎn)生具體的關(guān)聯(lián)事件。

以上結(jié)合附圖詳細說明了本發(fā)明的技術(shù)方案，本發(fā)明的技術(shù)方案提出了一種新的數(shù)據(jù)管理方案，能夠?qū)Λ@取到的流式數(shù)據(jù)進行關(guān)聯(lián)分析，以滿足用戶對數(shù)據(jù)的處理需求。

以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。