一種無(wú)侵入式日志攔截性能分析方法及系統(tǒng)與流程

本發(fā)明涉及信息處理領(lǐng)域，尤其涉及一種無(wú)侵入式日志攔截性能分析方法及系統(tǒng)。

背景技術(shù)：

隨著IT行業(yè)軟件產(chǎn)品的推陳出新，客戶(hù)對(duì)于軟件產(chǎn)品的性能要求也越來(lái)越高，因此，提供高性能的軟件，及時(shí)對(duì)出現(xiàn)性能問(wèn)題的產(chǎn)品進(jìn)行分析并給出合理的解決方案就成為當(dāng)下的一個(gè)重要問(wèn)題。目前，Spring作為現(xiàn)在最優(yōu)秀的框架之一，業(yè)界大部分的JavaEE框架是典型的Struct+Spring+Hibernate或者是AJAX+Spring+Hibernate架構(gòu)，其共同點(diǎn)是均有Spring框架的使用，那么，如何實(shí)現(xiàn)對(duì)基于AOP(AOP為Aspect Oriented Programming的縮寫(xiě)，意為：面向切面編程，通過(guò)預(yù)編譯方式和運(yùn)行期動(dòng)態(tài)代理實(shí)現(xiàn)程序功能的統(tǒng)一維護(hù)的一種技術(shù))的應(yīng)用程序的性能進(jìn)行全面自動(dòng)化分析和管理，以達(dá)到交付高性能軟件產(chǎn)品的目的就成為我們要解決的問(wèn)題。目前，業(yè)界尚無(wú)一款通用的高效率的性能分析軟件，能夠基于Spring的AOP特征進(jìn)行日志捕捉性能分析和統(tǒng)計(jì)優(yōu)化，并支持消息中間件和大數(shù)據(jù)的分析框架。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問(wèn)題之一，在于提供一種無(wú)侵入式日志攔截性能分析方法，實(shí)現(xiàn)高效的自動(dòng)化日志攔截和分析，并提高系統(tǒng)可視化程度，大大節(jié)約運(yùn)維和研發(fā)人力成本，提高交付軟件產(chǎn)品的質(zhì)量。

本發(fā)明要解決的技術(shù)問(wèn)題之一是這樣實(shí)現(xiàn)的：一種無(wú)侵入式日志攔截性能分析方法，包括如下步驟：

步驟1、創(chuàng)建一用于收集日志信息的攔截插件，并將所述插件植入業(yè)務(wù)應(yīng)用集群，根據(jù)所述插件上預(yù)先設(shè)置的跟蹤埋點(diǎn)，采集所述業(yè)務(wù)應(yīng)用集群的日志信息，并對(duì)采集到的日志信息進(jìn)行全量格式化處理，同時(shí)將格式化后的日志信息發(fā)送給消息服務(wù)器，進(jìn)入日志處理隊(duì)列；

步驟2、通過(guò)消息服務(wù)器將全量格式化處理后的日志信息傳送給Storm集群，在Strom中對(duì)格式化后的日志信息進(jìn)行流式計(jì)算，得到相關(guān)統(tǒng)計(jì)信息；

步驟3、通過(guò)消息中間件將收集的全量格式化后的日志信息以HDFS(Hadoop分布式文件系統(tǒng)(HDFS)被設(shè)計(jì)成適合運(yùn)行在通用硬件(commodity hardware)上的分布式文件系統(tǒng))格式存儲(chǔ)到Hadoop集群(Hadoop是一個(gè)由Apache基金會(huì)所開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu))，通過(guò)所述Storm集群計(jì)算結(jié)果并將實(shí)時(shí)信息以HBase(HBase是一個(gè)分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù))進(jìn)行存儲(chǔ)，分析得到各性能參數(shù)指標(biāo)；

步驟4、通過(guò)一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果，并將獲取到的數(shù)據(jù)進(jìn)行處理后通過(guò)一交互界面展示給用戶(hù)，所述交互界面采用圖表形式進(jìn)行展示。

進(jìn)一步的，所述攔截插件包括一用于設(shè)置跟蹤埋點(diǎn)的中間件和一用于采集日志信息的信息收集模塊，所述信息收集模塊根據(jù)所述跟蹤埋點(diǎn)采集日志信息并將采集到的日志信息進(jìn)行全量格式化處理。

進(jìn)一步的，所述跟蹤埋點(diǎn)包括前置埋點(diǎn)、后置埋點(diǎn)、異常信息、執(zhí)行軌跡、請(qǐng)求者位置和響應(yīng)者位置。

進(jìn)一步的，所述步驟4進(jìn)一步包括：

步驟41、通過(guò)一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果；

步驟42、將獲取到的數(shù)據(jù)進(jìn)行歸類(lèi)，包括日志數(shù)據(jù)、事務(wù)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、統(tǒng)計(jì)分析數(shù)據(jù)和特征整合數(shù)據(jù)；

步驟43、通過(guò)一交互界面將上述數(shù)據(jù)以圖表形式展示給用戶(hù)，所述交互界面包括一健康儀表盤(pán)界面和應(yīng)用界面，所述健康儀表盤(pán)界面用于展示操作系統(tǒng)的運(yùn)維狀況圖，所述應(yīng)用界面包括健康中心模塊、健康管家模塊、優(yōu)化專(zhuān)家模塊、跟蹤助手模塊、監(jiān)控與警告模塊和統(tǒng)一消息推送模塊，所述健康中心模塊用于以表格形式展示某一時(shí)刻的操作系統(tǒng)健康的各個(gè)指標(biāo)信息，所述指標(biāo)信息包括數(shù)據(jù)庫(kù)連接數(shù)、數(shù)據(jù)庫(kù)表空間和數(shù)據(jù)庫(kù)的執(zhí)行計(jì)劃變更數(shù)，所述健康管家模塊用于設(shè)置相關(guān)監(jiān)控指標(biāo)和參數(shù)，所述優(yōu)化專(zhuān)家模塊用于向用戶(hù)展示操作系統(tǒng)中性能低的若干個(gè)指標(biāo)項(xiàng)，所述跟蹤助手模塊用于采集報(bào)錯(cuò)的入?yún)⒑统鰠⒉⒄故続PI((API全稱(chēng)為Application Programming Interface，應(yīng)用程序編程接口)是一些預(yù)先定義的函數(shù))執(zhí)行路徑，所述監(jiān)控與告警模塊用于提供監(jiān)控視圖和閾值設(shè)置，所述統(tǒng)一消息推送模塊用于接受和發(fā)送指令。

進(jìn)一步的，所述日志分析服務(wù)器還通過(guò)獲取HBase格式的日志信息完成用戶(hù)詳單信息查詢(xún)。

本發(fā)明要解決的技術(shù)問(wèn)題之二，在于提供一種無(wú)侵入式日志攔截性能分析系統(tǒng)，實(shí)現(xiàn)高效的自動(dòng)化日志攔截和分析，并提高系統(tǒng)可視化程度，大大節(jié)約運(yùn)維和研發(fā)人力成本，提高交付軟件產(chǎn)品的質(zhì)量。

本發(fā)明要解決的技術(shù)問(wèn)題之二是這樣實(shí)現(xiàn)的：一種無(wú)侵入式日志攔截性能分析系統(tǒng)，包括一獲取日志信息模塊、一轉(zhuǎn)發(fā)模塊、一存儲(chǔ)與分析模塊和一可視化模塊：

所述獲取日志信息模塊，用于創(chuàng)建一用于收集日志信息的攔截插件，并將所述插件植入業(yè)務(wù)應(yīng)用集群，根據(jù)所述插件上預(yù)先設(shè)置的跟蹤埋點(diǎn)，采集所述業(yè)務(wù)應(yīng)用集群的日志信息，并對(duì)采集到的日志信息進(jìn)行全量格式化處理，同時(shí)將格式化后的日志信息發(fā)送給消息服務(wù)器，進(jìn)入日志處理隊(duì)列；

所述轉(zhuǎn)發(fā)模塊，用于通過(guò)消息服務(wù)器將全量格式化處理后的日志信息傳送給Storm集群，在Strom中對(duì)格式化后的日志信息進(jìn)行流式計(jì)算，得到相關(guān)統(tǒng)計(jì)信息；

所述存儲(chǔ)與分析模塊，用于通過(guò)消息服務(wù)器將收集的全量格式化后的日志信息以HDFS(Hadoop分布式文件系統(tǒng)(HDFS)被設(shè)計(jì)成適合運(yùn)行在通用硬件(commodity hardware)上的分布式文件系統(tǒng))格式存儲(chǔ)到Hadoop集群(Hadoop是一個(gè)由Apache基金會(huì)所開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu))，通過(guò)所述Storm集群計(jì)算結(jié)果并將實(shí)時(shí)信息以HBase(HBase是一個(gè)分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù))進(jìn)行存儲(chǔ)，分析得到各性能參數(shù)指標(biāo)；

所述可視化模塊，用于通過(guò)一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果，并將獲取到的數(shù)據(jù)進(jìn)行處理后通過(guò)一交互界面展示給用戶(hù)，所述交互界面采用圖表形式進(jìn)行展示。

進(jìn)一步的，所述攔截插件包括一用于設(shè)置跟蹤埋點(diǎn)的中間件和一用于采集日志信息的信息收集模塊，所述信息收集模塊根據(jù)所述跟蹤埋點(diǎn)采集日志信息并將采集到的日志信息進(jìn)行全量格式化處理。

進(jìn)一步的，所述跟蹤埋點(diǎn)包括前置埋點(diǎn)、后置埋點(diǎn)、異常信息、執(zhí)行軌跡、請(qǐng)求者位置和響應(yīng)者位置。

進(jìn)一步的，所述可視化模塊進(jìn)一步包括：

數(shù)據(jù)獲取模塊，用于通過(guò)一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果；

數(shù)據(jù)處理模塊，用于將獲取到的數(shù)據(jù)進(jìn)行歸類(lèi)，包括日志數(shù)據(jù)、事務(wù)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、統(tǒng)計(jì)分析數(shù)據(jù)和特征整合數(shù)據(jù)；以及

界面展示模塊，用于通過(guò)一交互界面將上述數(shù)據(jù)以圖表形式展示給用戶(hù)，所述交互界面包括一健康儀表盤(pán)界面和應(yīng)用界面，所述健康儀表盤(pán)界面用于展示操作系統(tǒng)的運(yùn)維狀況圖，所述應(yīng)用界面包括健康中心模塊、健康管家模塊、優(yōu)化專(zhuān)家模塊、跟蹤助手模塊、監(jiān)控與警告模塊和統(tǒng)一消息推送模塊，所述健康中心模塊用于以表格形式展示某一時(shí)刻的操作系統(tǒng)健康的各個(gè)指標(biāo)信息，所述指標(biāo)信息包括數(shù)據(jù)庫(kù)連接數(shù)、數(shù)據(jù)庫(kù)表空間和數(shù)據(jù)庫(kù)的執(zhí)行計(jì)劃變更數(shù)，所述健康管家模塊用于設(shè)置相關(guān)監(jiān)控指標(biāo)和參數(shù)，所述優(yōu)化專(zhuān)家模塊用于向用戶(hù)展示操作系統(tǒng)中性能低的若干個(gè)指標(biāo)項(xiàng)，所述跟蹤助手模塊用于采集報(bào)錯(cuò)的入?yún)⒑统鰠⒉⒄故続PI執(zhí)行路徑，所述監(jiān)控與告警模塊用于提供監(jiān)控視圖和閾值設(shè)置，所述統(tǒng)一消息推送模塊用于接受和發(fā)送指令。

進(jìn)一步的，所述日志分析服務(wù)器還通過(guò)獲取HBase格式的日志信息完成用戶(hù)詳單信息查詢(xún)。

本發(fā)明具有如下優(yōu)點(diǎn)：

1、通過(guò)自動(dòng)化日志攔截和分析，提升項(xiàng)目管理，避免運(yùn)維人員7×24小時(shí)的值班，提高研發(fā)人員的工作效率，節(jié)約了運(yùn)維和研發(fā)人力成本；

2、通過(guò)對(duì)軟件產(chǎn)品性能監(jiān)控與分析、預(yù)測(cè)、告警等，對(duì)軟件產(chǎn)品的性能實(shí)現(xiàn)預(yù)分析，避免軟件性能問(wèn)題到測(cè)試和生產(chǎn)環(huán)節(jié)才發(fā)現(xiàn)，提高產(chǎn)品的可用性，提升客戶(hù)滿(mǎn)意度；

3、通過(guò)交互界面的設(shè)計(jì)，提高系統(tǒng)運(yùn)維的可視化，實(shí)現(xiàn)問(wèn)題的全面采集與分析，從而實(shí)現(xiàn)對(duì)系統(tǒng)全流程的監(jiān)控與告警。

附圖說(shuō)明

下面參照附圖結(jié)合實(shí)施例對(duì)本發(fā)明作進(jìn)一步的說(shuō)明。

圖1為本發(fā)明一種無(wú)侵入式日志攔截性能分析方法執(zhí)行流程圖。

圖2為本發(fā)明一種無(wú)侵入式日志攔截性能分析系統(tǒng)框圖。

圖3為本發(fā)明一種無(wú)侵入式日志攔截性能分析原理示意圖。

具體實(shí)施方式

如圖1和圖3所示，一種無(wú)侵入式日志攔截性能分析方法，包括如下步驟：

步驟1、創(chuàng)建一用于收集日志信息的攔截插件，并將所述插件植入業(yè)務(wù)應(yīng)用集群，根據(jù)所述插件上預(yù)先設(shè)置的跟蹤埋點(diǎn)，采集所述業(yè)務(wù)應(yīng)用集群的日志信息，并對(duì)采集到的日志信息進(jìn)行全量格式化處理，同時(shí)將格式化后的日志信息發(fā)送給消息服務(wù)器，進(jìn)入日志處理隊(duì)列，所述攔截插件包括一用于設(shè)置跟蹤埋點(diǎn)的中間件和一用于采集日志信息的信息收集模塊，所述信息收集模塊根據(jù)所述跟蹤埋點(diǎn)采集日志信息并將采集到的日志信息進(jìn)行全量格式化處理，所述跟蹤埋點(diǎn)包括前置埋點(diǎn)、后置埋點(diǎn)、異常信息、執(zhí)行軌跡、請(qǐng)求者位置和響應(yīng)者位置；

步驟2、通過(guò)消息服務(wù)器將全量格式化處理后的日志信息傳送給Storm集群，在Strom中對(duì)格式化后的日志信息進(jìn)行流式計(jì)算，得到相關(guān)統(tǒng)計(jì)信息；

步驟3、通過(guò)消息服務(wù)器將收集的全量格式化后的日志信息以HDFS格式進(jìn)行存儲(chǔ)到Hadoop集群，通過(guò)所述Storm集群計(jì)算結(jié)果并將實(shí)時(shí)信息以HBase進(jìn)行存儲(chǔ)，分析得到各性能參數(shù)指標(biāo)；

步驟4、通過(guò)一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果，并將獲取到的數(shù)據(jù)進(jìn)行處理后通過(guò)一交互界面展示給用戶(hù)，所述交互界面采用圖表形式進(jìn)行展示，所述步驟4進(jìn)一步包括：

步驟41、通過(guò)一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果；

步驟42、將獲取到的數(shù)據(jù)進(jìn)行歸類(lèi)，包括日志數(shù)據(jù)、事務(wù)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、統(tǒng)計(jì)分析數(shù)據(jù)和特征整合數(shù)據(jù)；

步驟43、通過(guò)一交互界面將上述數(shù)據(jù)以圖表形式展示給用戶(hù)，所述交互界面包括一健康儀表盤(pán)界面和應(yīng)用界面，所述健康儀表盤(pán)界面用于展示操作系統(tǒng)的運(yùn)維狀況圖，所述應(yīng)用界面包括健康中心模塊、健康管家模塊、優(yōu)化專(zhuān)家模塊、跟蹤助手模塊、監(jiān)控與警告模塊和統(tǒng)一消息推送模塊，所述健康中心模塊用于以表格形式展示某一時(shí)刻的操作系統(tǒng)健康的各個(gè)指標(biāo)信息，所述指標(biāo)信息包括數(shù)據(jù)庫(kù)連接數(shù)、數(shù)據(jù)庫(kù)表空間和數(shù)據(jù)庫(kù)的執(zhí)行計(jì)劃變更數(shù)，所述健康管家模塊用于設(shè)置相關(guān)監(jiān)控指標(biāo)和參數(shù)，所述優(yōu)化專(zhuān)家模塊用于向用戶(hù)展示操作系統(tǒng)中性能低的若干個(gè)指標(biāo)項(xiàng)，所述跟蹤助手模塊用于采集報(bào)錯(cuò)的入?yún)⒑统鰠⒉⒄故続PI執(zhí)行路徑，所述監(jiān)控與告警模塊用于提供監(jiān)控視圖和閾值設(shè)置，所述統(tǒng)一消息推送模塊用于接受和發(fā)送指令。

所述日志分析服務(wù)器還通過(guò)獲取HBase格式的日志信息完成用戶(hù)詳單信息查詢(xún)。

如圖2和圖3所示，一種無(wú)侵入式日志攔截性能分析系統(tǒng)，包括一獲取日志信息模塊、一轉(zhuǎn)發(fā)模塊、一存儲(chǔ)與分析模塊和一可視化模塊：

所述獲取日志信息模塊，用于創(chuàng)建一用于收集日志信息的攔截插件，并將所述插件植入業(yè)務(wù)應(yīng)用集群，根據(jù)所述插件上預(yù)先設(shè)置的跟蹤埋點(diǎn)，采集所述業(yè)務(wù)應(yīng)用集群的日志信息，并對(duì)采集到的日志信息進(jìn)行全量格式化處理，同時(shí)將格式化后的日志信息發(fā)送給消息服務(wù)器，進(jìn)入日志處理隊(duì)列，所述攔截插件包括一用于設(shè)置跟蹤埋點(diǎn)的中間件和一用于采集日志信息的信息收集模塊，所述信息收集模塊根據(jù)所述跟蹤埋點(diǎn)采集日志信息并將采集到的日志信息進(jìn)行全量格式化處理，所述跟蹤埋點(diǎn)包括前置埋點(diǎn)、后置埋點(diǎn)、異常信息、執(zhí)行軌跡、請(qǐng)求者位置和響應(yīng)者位置；

所述轉(zhuǎn)發(fā)模塊，用于通過(guò)消息服務(wù)器將全量格式化處理后的日志信息傳送給Storm集群，在Strom中對(duì)格式化后的日志信息進(jìn)行流式計(jì)算，得到相關(guān)統(tǒng)計(jì)信息；

所述存儲(chǔ)與分析模塊，用于通過(guò)消息服務(wù)器將收集的全量格式化后的日志信息以HDFS格式進(jìn)行存儲(chǔ)到Hadoop集群，通過(guò)所述Storm集群計(jì)算結(jié)果并將實(shí)時(shí)信息以HBase進(jìn)行存儲(chǔ)，分析得到各性能參數(shù)指標(biāo)；

所述可視化模塊，用于通過(guò)一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果，并將獲取到的數(shù)據(jù)進(jìn)行處理后通過(guò)一交互界面展示給用戶(hù)，所述交互界面采用圖表形式進(jìn)行展示，所述可視化模塊進(jìn)一步包括：

數(shù)據(jù)獲取模塊，用于通過(guò)一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果；

數(shù)據(jù)處理模塊，用于將獲取到的數(shù)據(jù)進(jìn)行歸類(lèi)，包括日志數(shù)據(jù)、事務(wù)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、統(tǒng)計(jì)分析數(shù)據(jù)和特征整合數(shù)據(jù)；以及

界面展示模塊，用于通過(guò)一交互界面將上述數(shù)據(jù)以圖表形式展示給用戶(hù)，所述交互界面包括一健康儀表盤(pán)界面和應(yīng)用界面，所述健康儀表盤(pán)界面用于展示操作系統(tǒng)的運(yùn)維狀況圖，所述應(yīng)用界面包括健康中心模塊、健康管家模塊、優(yōu)化專(zhuān)家模塊、跟蹤助手模塊、監(jiān)控與警告模塊和統(tǒng)一消息推送模塊，所述健康中心模塊用于以表格形式展示某一時(shí)刻的操作系統(tǒng)健康的各個(gè)指標(biāo)信息，所述指標(biāo)信息包括數(shù)據(jù)庫(kù)連接數(shù)、數(shù)據(jù)庫(kù)表空間和數(shù)據(jù)庫(kù)的執(zhí)行計(jì)劃變更數(shù)，所述健康管家模塊用于設(shè)置相關(guān)監(jiān)控指標(biāo)和參數(shù)，所述優(yōu)化專(zhuān)家模塊用于向用戶(hù)展示操作系統(tǒng)中性能低的若干個(gè)指標(biāo)項(xiàng)，所述跟蹤助手模塊用于采集報(bào)錯(cuò)的入?yún)⒑统鰠⒉⒄故続PI執(zhí)行路徑，所述監(jiān)控與告警模塊用于提供監(jiān)控視圖和閾值設(shè)置，所述統(tǒng)一消息推送模塊用于接受和發(fā)送指令。

所述日志分析服務(wù)器還通過(guò)獲取HBase格式的日志信息完成用戶(hù)詳單信息查詢(xún)。

下面結(jié)合一具體實(shí)施例對(duì)本發(fā)明做進(jìn)一步說(shuō)明：

步驟1、創(chuàng)建一用于收集日志信息的攔截插件，并將所述插件植入業(yè)務(wù)應(yīng)用集群(例如客戶(hù)管理系統(tǒng)CRM)，所述攔截插件包括一用于設(shè)置跟蹤埋點(diǎn)的中間件和一用于采集日志信息的信息收集模塊，所述信息收集模塊根據(jù)所述跟蹤埋點(diǎn)采集日志信息并將采集到的日志信息進(jìn)行全量格式化處理，同時(shí)將格式化后的日志信息發(fā)送給消息服務(wù)器，進(jìn)入日志處理隊(duì)列，所述跟蹤埋點(diǎn)包括前置埋點(diǎn)、后置埋點(diǎn)、異常信息、執(zhí)行軌跡、請(qǐng)求者位置和響應(yīng)者位置；

步驟2、通過(guò)消息服務(wù)器將全量格式化處理后的日志信息傳送給Storm集群，在Strom中對(duì)格式化后的日志信息進(jìn)行流式計(jì)算，得到相關(guān)統(tǒng)計(jì)信息，實(shí)現(xiàn)無(wú)延時(shí)的消息傳遞，實(shí)現(xiàn)高性能的日志采集和記錄，所述相關(guān)統(tǒng)計(jì)信息包括性能信息、時(shí)間信息、業(yè)務(wù)信息以及設(shè)備信息；

步驟3、通過(guò)消息服務(wù)器將收集的全量格式化后的日志信息以HDFS格式進(jìn)行存儲(chǔ)到Hadoop集群，通過(guò)所述Storm集群計(jì)算結(jié)果并將實(shí)時(shí)信息以HBase進(jìn)行存儲(chǔ)，分析得到各性能參數(shù)指標(biāo)，所述以HBase格式的日志信息用于詳單信息的查詢(xún)；

步驟4、通過(guò)一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果，并將獲取到的數(shù)據(jù)進(jìn)行處理后通過(guò)一交互界面展示給用戶(hù)，所述交互界面采用圖表形式進(jìn)行展示，提供給用戶(hù)直觀的信息，提高系統(tǒng)性能可視化。所述步驟4進(jìn)一步包括：

步驟41、通過(guò)一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果；

步驟42、將獲取到的數(shù)據(jù)進(jìn)行歸類(lèi)，包括日志數(shù)據(jù)、事務(wù)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、統(tǒng)計(jì)分析數(shù)據(jù)和特征整合數(shù)據(jù)；

步驟43、通過(guò)一交互界面將上述數(shù)據(jù)以圖表形式展示給用戶(hù)，所述交互界面包括一健康儀表盤(pán)界面和應(yīng)用界面，所述健康儀表盤(pán)界面用于展示操作系統(tǒng)的運(yùn)維狀況圖，包括客戶(hù)端分布情況、服務(wù)器壓力情況、應(yīng)用服務(wù)器健康狀況、數(shù)據(jù)庫(kù)主機(jī)健康狀況、應(yīng)用程序性能情況等，以圖形化方式直觀地展示出來(lái)，所述應(yīng)用界面包括健康中心模塊、健康管家模塊、優(yōu)化專(zhuān)家模塊、跟蹤助手模塊、監(jiān)控與警告模塊和統(tǒng)一消息推送模塊，所述健康中心模塊用于以表格形式展示某一時(shí)刻的操作系統(tǒng)健康的各個(gè)指標(biāo)信息，所述指標(biāo)信息包括(儀表盤(pán)界面中的數(shù)據(jù)庫(kù)主機(jī)健康在某一時(shí)的數(shù)據(jù))數(shù)據(jù)庫(kù)連接數(shù)、數(shù)據(jù)庫(kù)表空間和數(shù)據(jù)庫(kù)的執(zhí)行計(jì)劃變更數(shù)，所述健康管家模塊用于設(shè)置相關(guān)監(jiān)控指標(biāo)和參數(shù)，所述優(yōu)化專(zhuān)家模塊用于向用戶(hù)展示操作系統(tǒng)中性能低的若干個(gè)指標(biāo)項(xiàng)，例如，按API執(zhí)行耗時(shí)的前10項(xiàng)、API執(zhí)行次數(shù)的前10項(xiàng)、數(shù)據(jù)庫(kù)腳本語(yǔ)句耗時(shí)的前10項(xiàng)或應(yīng)用服務(wù)器輪詢(xún)耗時(shí)的前10項(xiàng)進(jìn)行展示，為系統(tǒng)優(yōu)化提供相應(yīng)的指標(biāo)參數(shù)，所述跟蹤助手模塊用于采集報(bào)錯(cuò)的入?yún)⒑统鰠⒉⒄故続PI執(zhí)行路徑，為研發(fā)人員提供快速定位分析問(wèn)題的能力，實(shí)現(xiàn)對(duì)報(bào)錯(cuò)的API執(zhí)行路徑的直觀展示并能快速定位到執(zhí)行路徑上的某個(gè)API報(bào)錯(cuò)，所述監(jiān)控與告警模塊用于提供監(jiān)控視圖和閾值設(shè)置，從而在指標(biāo)超過(guò)閾值的時(shí)候，發(fā)出告警短信，所述統(tǒng)一消息推送模塊用于接受和發(fā)送指令，完成相應(yīng)的告警、執(zhí)行等操作。

所述日志分析服務(wù)器還通過(guò)獲取HBase格式的日志信息完成用戶(hù)詳單信息查詢(xún)。

本發(fā)明通過(guò)自動(dòng)化日志攔截和分析，提升項(xiàng)目管理，避免運(yùn)維人員7×24小時(shí)的值班，提高研發(fā)人員的工作效率，節(jié)約了運(yùn)維和研發(fā)人力成本；通過(guò)對(duì)軟件產(chǎn)品性能監(jiān)控與分析、預(yù)測(cè)、告警等，對(duì)軟件產(chǎn)品的性能實(shí)現(xiàn)預(yù)分析，避免軟件性能問(wèn)題到測(cè)試和生產(chǎn)環(huán)節(jié)才發(fā)現(xiàn)，提高產(chǎn)品的可用性，提升客戶(hù)滿(mǎn)意度；通過(guò)交互界面的設(shè)計(jì)，提高系統(tǒng)運(yùn)維的可視化，實(shí)現(xiàn)問(wèn)題的全面采集與分析，從而實(shí)現(xiàn)對(duì)系統(tǒng)全流程的監(jiān)控與告警。

雖然以上描述了本發(fā)明的具體實(shí)施方式，但是熟悉本技術(shù)領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，我們所描述的具體的實(shí)施例只是說(shuō)明性的，而不是用于對(duì)本發(fā)明的范圍的限定，熟悉本領(lǐng)域的技術(shù)人員在依照本發(fā)明的精神所作的等效的修飾以及變化，都應(yīng)當(dāng)涵蓋在本發(fā)明的權(quán)利要求所保護(hù)的范圍內(nèi)。