本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域,具體而言,涉及一種日志處理方法、裝置及系統(tǒng)。
背景技術(shù):
在數(shù)據(jù)檢測(cè)和分析領(lǐng)域,經(jīng)常會(huì)收集大量的用戶行為、業(yè)務(wù)操作等數(shù)據(jù),用于根據(jù)數(shù)據(jù)分析業(yè)務(wù)需求進(jìn)行統(tǒng)計(jì)和分析,這種數(shù)據(jù)通常通過(guò)日志的形式存儲(chǔ)于業(yè)務(wù)服務(wù)器上。業(yè)務(wù)服務(wù)器根據(jù)數(shù)據(jù)量每小時(shí)或每幾個(gè)小時(shí)讀取日志中的文本數(shù)據(jù),并存儲(chǔ)于數(shù)據(jù)表中,以便于后續(xù)的數(shù)據(jù)分析處理。業(yè)務(wù)服務(wù)器在完成一天或一定時(shí)間量的數(shù)據(jù)收集時(shí),則會(huì)對(duì)當(dāng)天、當(dāng)周或當(dāng)月的數(shù)據(jù)按照業(yè)務(wù)需求進(jìn)行匯總計(jì)算,并存儲(chǔ)于業(yè)務(wù)服務(wù)器的匯總結(jié)果表中。
目前,有數(shù)據(jù)分析業(yè)務(wù)需求的系統(tǒng)一般都是大數(shù)據(jù)量,或者高實(shí)時(shí)性的系統(tǒng),對(duì)業(yè)務(wù)服務(wù)器性能要求很高,特別是存在數(shù)據(jù)交互時(shí),對(duì)磁盤(pán)的輸入/輸出(即I/O)壓力很大,導(dǎo)致在系統(tǒng)進(jìn)行日志讀取或者匯總計(jì)算時(shí),會(huì)嚴(yán)重影響業(yè)務(wù)服務(wù)器的性能。
針對(duì)相關(guān)技術(shù)中對(duì)大量日志信息進(jìn)行處理嚴(yán)重影響業(yè)務(wù)服務(wù)器性能的問(wèn)題,目前尚未提出有效的解決方案。
技術(shù)實(shí)現(xiàn)要素:
本申請(qǐng)的主要目的在于提供一種日志處理方法、裝置及系統(tǒng),以解決相關(guān)技術(shù)中對(duì)大量日志信息進(jìn)行處理嚴(yán)重影響業(yè)務(wù)服務(wù)器性能的問(wèn)題。
為了實(shí)現(xiàn)上述目的,根據(jù)本申請(qǐng)的一個(gè)方面,提供了一種日志處理方法。該方法包括:數(shù)據(jù)處理服務(wù)器接收來(lái)自業(yè)務(wù)服務(wù)器的日志信息;數(shù)據(jù)處理服務(wù)器按照預(yù)設(shè)規(guī)則對(duì)日志信息進(jìn)行匯總,得到匯總結(jié)果;以及數(shù)據(jù)處理服務(wù)器將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器。
進(jìn)一步地,數(shù)據(jù)處理服務(wù)器將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器包括:檢測(cè)業(yè)務(wù)服務(wù)器是否處于空閑狀態(tài);以及在檢測(cè)出業(yè)務(wù)服務(wù)器處于空閑狀態(tài)時(shí),將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器。
進(jìn)一步地,數(shù)據(jù)處理服務(wù)器將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器包括:數(shù)據(jù)處理服務(wù)器按照預(yù)設(shè)時(shí)間規(guī)則將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器。
進(jìn)一步地,數(shù)據(jù)處理服務(wù)器按照預(yù)設(shè)規(guī)則對(duì)日志信息進(jìn)行匯總,得到匯總結(jié)果包括:數(shù)據(jù)處理服務(wù)器將接收到的日志信息進(jìn)行存儲(chǔ);數(shù)據(jù)處理服務(wù)器判斷存儲(chǔ)的日志信息是否達(dá)到預(yù)設(shè)量;以及數(shù)據(jù)處理服務(wù)器在判斷出存儲(chǔ)的日志信息達(dá)到預(yù)設(shè)量時(shí),按照預(yù)設(shè)規(guī)則對(duì)存儲(chǔ)的日志信息進(jìn)行匯總,得到匯總結(jié)果。
進(jìn)一步地,在數(shù)據(jù)處理服務(wù)器接收來(lái)自業(yè)務(wù)服務(wù)器的日志信息之前,該方法還包括:批量獲取日志信息;對(duì)日志信息進(jìn)行解析,得到日志解析結(jié)果;以及將日志解析結(jié)果發(fā)送至數(shù)據(jù)處理服務(wù)器。
為了實(shí)現(xiàn)上述目的,根據(jù)本申請(qǐng)的另一方面,提供了一種日志處理裝置。該裝置包括:接收單元,用于使得數(shù)據(jù)處理服務(wù)器接收來(lái)自業(yè)務(wù)服務(wù)器的日志信息;匯總單元,用于使得數(shù)據(jù)處理服務(wù)器按照預(yù)設(shè)規(guī)則對(duì)日志信息進(jìn)行匯總,得到匯總結(jié)果;以及返回單元,用于使得數(shù)據(jù)處理服務(wù)器將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器。
進(jìn)一步地,返回單元包括:檢測(cè)模塊,用于檢測(cè)業(yè)務(wù)服務(wù)器是否處于空閑狀態(tài);以及第一返回模塊,用于在檢測(cè)出業(yè)務(wù)服務(wù)器處于空閑狀態(tài)時(shí),將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器。
進(jìn)一步地,返回單元包括:第二返回模塊,用于使得數(shù)據(jù)處理服務(wù)器按照預(yù)設(shè)時(shí)間規(guī)則將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器。
為了實(shí)現(xiàn)上述目的,根據(jù)本申請(qǐng)的又一方面,提供了一種日志處理系統(tǒng)。該系統(tǒng)包括:業(yè)務(wù)服務(wù)器,用于將獲取到的日志信息發(fā)送給數(shù)據(jù)處理服務(wù)器;以及數(shù)據(jù)處理服務(wù)器,用于接收來(lái)自業(yè)務(wù)服務(wù)器的日志信息,按照預(yù)設(shè)規(guī)則對(duì)日志信息進(jìn)行匯總,得到匯總結(jié)果,并將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器。
進(jìn)一步地,數(shù)據(jù)處理服務(wù)器還用于檢測(cè)業(yè)務(wù)服務(wù)器是否處于空閑狀態(tài),其中,在檢測(cè)出業(yè)務(wù)服務(wù)器處于空閑狀態(tài)時(shí),將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器。
本申請(qǐng)通過(guò)數(shù)據(jù)處理服務(wù)器接收來(lái)自業(yè)務(wù)服務(wù)器的日志信息;數(shù)據(jù)處理服務(wù)器按照預(yù)設(shè)規(guī)則對(duì)日志信息進(jìn)行匯總,得到匯總結(jié)果;以及數(shù)據(jù)處理服務(wù)器將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器,通過(guò)數(shù)據(jù)處理服務(wù)器對(duì)日志信息進(jìn)行分析匯總,實(shí)現(xiàn)了分布式地對(duì)日志信息進(jìn)行匯總,不僅保證了日志信息處理的效率,而且能夠極大的減少日志信息處理對(duì)業(yè)務(wù)服務(wù)器的性能的影響,解決了相關(guān)技術(shù)中對(duì)大量日志信息進(jìn)行處理嚴(yán)重影響業(yè)務(wù)服務(wù)器性能的問(wèn)題,進(jìn)而達(dá)到了降低日志信息處理對(duì)業(yè)務(wù)服務(wù)器的性能的影響的效果。
附圖說(shuō)明
構(gòu)成本申請(qǐng)的一部分的附圖用來(lái)提供對(duì)本申請(qǐng)的進(jìn)一步理解,本申請(qǐng)的示意性實(shí)施例及其說(shuō)明用于解釋本申請(qǐng),并不構(gòu)成對(duì)本申請(qǐng)的不當(dāng)限定。在附圖中:
圖1是根據(jù)本申請(qǐng)第一實(shí)施例的日志處理方法的流程圖;
圖2是根據(jù)本申請(qǐng)第二實(shí)施例的日志處理方法的流程圖;
圖3是根據(jù)本申請(qǐng)實(shí)施例的日志處理裝置的示意圖;以及
圖4是根據(jù)本申請(qǐng)實(shí)施例的日志處理系統(tǒng)的示意圖。
具體實(shí)施方式
需要說(shuō)明的是,在不沖突的情況下,本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。下面將參考附圖并結(jié)合實(shí)施例來(lái)詳細(xì)說(shuō)明本申請(qǐng)。
為了使本技術(shù)領(lǐng)域的人員更好地理解本申請(qǐng)方案,下面將結(jié)合本申請(qǐng)實(shí)施例中的附圖,對(duì)本申請(qǐng)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本申請(qǐng)一部分的實(shí)施例,而不是全部的實(shí)施例?;诒旧暾?qǐng)中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都應(yīng)當(dāng)屬于本申請(qǐng)保護(hù)的范圍。
需要說(shuō)明的是,本申請(qǐng)的說(shuō)明書(shū)和權(quán)利要求書(shū)及上述附圖中的術(shù)語(yǔ)“第一”、“第二”等是用于區(qū)別類(lèi)似的對(duì)象,而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換,以便這里描述的本申請(qǐng)的實(shí)施例。此外,術(shù)語(yǔ)“包括”和“具有”以及他們的任何變形,意圖在于覆蓋不排他的包含,例如,包含了一系列步驟或單元的過(guò)程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元,而是可包括沒(méi)有清楚地列出的或?qū)τ谶@些過(guò)程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。
根據(jù)本申請(qǐng)實(shí)施例,提供了一種日志處理方法。圖1是根據(jù)本申請(qǐng)第一實(shí)施例的日志處理方法的流程圖,如圖1所示,該方法包括如下的步驟S102至步驟S106:
步驟S102,數(shù)據(jù)處理服務(wù)器接收來(lái)自業(yè)務(wù)服務(wù)器的日志信息。
本申請(qǐng)實(shí)施例的數(shù)據(jù)處理服務(wù)可以是任意能夠?qū)崿F(xiàn)日志信息匯總分析的服務(wù)器,具體地,用戶可以根據(jù)業(yè)務(wù)內(nèi)容額外配置一臺(tái)或是多臺(tái)用于日志信息匯總和計(jì)算的服務(wù)器,該數(shù)據(jù)處理服務(wù)器能夠與業(yè)務(wù)服務(wù)器進(jìn)行數(shù)據(jù)通信,例如,接收業(yè)務(wù)服務(wù)器發(fā)送的數(shù)據(jù)以及向業(yè)務(wù)服務(wù)器發(fā)送數(shù)據(jù)等。本申請(qǐng)實(shí)施例的業(yè)務(wù)服務(wù)器可以具有獲取日 志信息、存儲(chǔ)日志信息、解析日志信息、分析日志信息等業(yè)務(wù)處理功能。
可選地,在數(shù)據(jù)處理服務(wù)器接收來(lái)自業(yè)務(wù)服務(wù)器的日志信息之前,該方法還包括:批量獲取日志信息;對(duì)日志信息進(jìn)行解析,得到日志解析結(jié)果;以及將日志解析結(jié)果發(fā)送至數(shù)據(jù)處理服務(wù)器。
具體地,可以通過(guò)網(wǎng)絡(luò)爬蟲(chóng)等爬取日志信息,并將日志信息存儲(chǔ)于業(yè)務(wù)服務(wù)器的數(shù)據(jù)庫(kù)中,業(yè)務(wù)服務(wù)器批量地從數(shù)據(jù)庫(kù)中讀取日志信息,例如,可以根據(jù)數(shù)據(jù)量每隔預(yù)設(shè)時(shí)間長(zhǎng)度(例如,每隔1個(gè)小時(shí))從數(shù)據(jù)庫(kù)中讀取日志信息,并對(duì)讀取的日志信息進(jìn)行解析,具體地可以通過(guò)日志處理程序?qū)θ罩拘畔⑦M(jìn)行解析(例如,解析出日志信息中的IP地址、來(lái)源URL、訪問(wèn)時(shí)間等信息),得到日志解析結(jié)果,并將日志解析結(jié)果直接發(fā)送給數(shù)據(jù)處理服務(wù)器。
步驟S104,數(shù)據(jù)處理服務(wù)器按照預(yù)設(shè)規(guī)則對(duì)日志信息進(jìn)行匯總,得到匯總結(jié)果。
本申請(qǐng)實(shí)施例的預(yù)設(shè)規(guī)則為按照業(yè)務(wù)分析需求設(shè)置的規(guī)則,例如,可以是按照不同維度(例如,媒體維度、地域維度等)統(tǒng)計(jì)不同的指標(biāo)的值(例如,用戶訪問(wèn)數(shù)、用戶數(shù)等指標(biāo))。具體地,如果當(dāng)前需要分析不同地域的用戶訪問(wèn)情況,此時(shí)數(shù)據(jù)處理服務(wù)器可以按照地域維度統(tǒng)計(jì)用戶訪問(wèn)數(shù),例如,分別統(tǒng)計(jì)北京、上海、廣州等地區(qū)的用戶訪問(wèn)數(shù)。
本申請(qǐng)實(shí)施例的數(shù)據(jù)處理服務(wù)器在接收到業(yè)務(wù)服務(wù)器發(fā)送的日志信息之后,按照預(yù)設(shè)規(guī)則對(duì)日志信息進(jìn)行匯總,并將匯總結(jié)果存儲(chǔ)于匯總結(jié)果表中。
需要說(shuō)明的是,本申請(qǐng)實(shí)施例對(duì)日志信息進(jìn)行匯總不僅包括對(duì)日志信息進(jìn)行整合操作,還包括計(jì)算操作,例如,基于整合的日志信息計(jì)算各個(gè)指標(biāo)的值(例如,計(jì)算用戶訪問(wèn)數(shù)、用戶數(shù)等指標(biāo)的值)。
優(yōu)選地,為了提高數(shù)據(jù)處理的效率,數(shù)據(jù)處理服務(wù)器按照預(yù)設(shè)規(guī)則對(duì)日志信息進(jìn)行匯總,得到匯總結(jié)果包括:數(shù)據(jù)處理服務(wù)器將接收到的日志信息進(jìn)行存儲(chǔ);數(shù)據(jù)處理服務(wù)器判斷存儲(chǔ)的日志信息是否達(dá)到預(yù)設(shè)量;以及數(shù)據(jù)處理服務(wù)器在判斷出存儲(chǔ)的日志信息達(dá)到預(yù)設(shè)量時(shí),按照預(yù)設(shè)規(guī)則對(duì)存儲(chǔ)的日志信息進(jìn)行匯總,得到匯總結(jié)果。
本申請(qǐng)實(shí)施例的數(shù)據(jù)處理服務(wù)器在接收到來(lái)自業(yè)務(wù)服務(wù)器的日志信息之后,對(duì)日志信息進(jìn)行存儲(chǔ),并判斷存儲(chǔ)的日志信息是否達(dá)到預(yù)設(shè)量,例如,判斷存儲(chǔ)的日志信息是否達(dá)到預(yù)設(shè)數(shù)量或是判斷存儲(chǔ)的日志信息是否達(dá)到預(yù)設(shè)大小。在判斷出存儲(chǔ)的日志信息達(dá)到預(yù)設(shè)量之后將存儲(chǔ)的所有的日志信息進(jìn)行匯總計(jì)算,從而可以避免頻繁的進(jìn)行日志信息的匯總計(jì)算,影響數(shù)據(jù)處理的效率。
需要說(shuō)明的是,本申請(qǐng)實(shí)施例的數(shù)據(jù)處理服務(wù)器也可以是在接收完一天內(nèi)或是預(yù) 設(shè)時(shí)間段內(nèi)的日志信息后,再按照業(yè)務(wù)需求進(jìn)行日志信息的匯總計(jì)算。
步驟S106,數(shù)據(jù)處理服務(wù)器將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器。
本申請(qǐng)實(shí)施例的數(shù)據(jù)處理服務(wù)器在得到匯總結(jié)果之后,將匯總結(jié)果發(fā)送給業(yè)務(wù)服務(wù)器,業(yè)務(wù)服務(wù)器對(duì)匯總結(jié)果進(jìn)行存儲(chǔ),以便后續(xù)分析。
本申請(qǐng)實(shí)施例通過(guò)數(shù)據(jù)處理服務(wù)器接收來(lái)自業(yè)務(wù)服務(wù)器的日志信息;數(shù)據(jù)處理服務(wù)器按照預(yù)設(shè)規(guī)則對(duì)日志信息進(jìn)行匯總,得到匯總結(jié)果;以及數(shù)據(jù)處理服務(wù)器將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器,通過(guò)數(shù)據(jù)處理服務(wù)器對(duì)日志信息進(jìn)行分析匯總,實(shí)現(xiàn)了分布式地對(duì)日志信息進(jìn)行匯總和計(jì)算,不僅保證了日志信息處理的效率,而且能夠極大的減少日志信息處理對(duì)業(yè)務(wù)服務(wù)器的性能的影響,解決了相關(guān)技術(shù)中對(duì)大量日志信息進(jìn)行處理嚴(yán)重影響業(yè)務(wù)服務(wù)器性能的問(wèn)題,進(jìn)而達(dá)到了降低日志信息處理對(duì)業(yè)務(wù)服務(wù)器的性能的影響的效果。
優(yōu)選地,為了進(jìn)一步降低日志信息處理對(duì)業(yè)務(wù)服務(wù)器資源的占用,數(shù)據(jù)處理服務(wù)器將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器包括:檢測(cè)業(yè)務(wù)服務(wù)器是否處于空閑狀態(tài);以及在檢測(cè)出業(yè)務(wù)服務(wù)器處于空閑狀態(tài)時(shí),將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器。
具體地,本申請(qǐng)實(shí)施例可以通過(guò)數(shù)據(jù)處理服務(wù)器檢測(cè)業(yè)務(wù)服務(wù)器是否處于空閑狀態(tài),并在檢測(cè)出業(yè)務(wù)服務(wù)器處于空閑狀態(tài)時(shí)匯總結(jié)果返回給業(yè)務(wù)服務(wù)器;也可以是通過(guò)業(yè)務(wù)服務(wù)器自身在空閑狀態(tài)時(shí)向數(shù)據(jù)處理服務(wù)器發(fā)送指示信號(hào),數(shù)據(jù)處理服務(wù)器在接收到所述指示信號(hào)向業(yè)務(wù)服務(wù)器發(fā)送匯總結(jié)果。
本申請(qǐng)實(shí)施例通過(guò)在業(yè)務(wù)服務(wù)器空閑時(shí)向業(yè)務(wù)服務(wù)器發(fā)送日志信息的匯總結(jié)果,從而可以避免對(duì)業(yè)務(wù)服務(wù)器的資源的占用。
優(yōu)選地,數(shù)據(jù)處理服務(wù)器將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器包括:數(shù)據(jù)處理服務(wù)器按照預(yù)設(shè)時(shí)間規(guī)則將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器。
本申請(qǐng)實(shí)施例的預(yù)設(shè)時(shí)間規(guī)則為預(yù)設(shè)的用于返回匯總結(jié)果的時(shí)間,需要說(shuō)明的是,本申請(qǐng)實(shí)施例的預(yù)設(shè)時(shí)間規(guī)則通常設(shè)置為業(yè)務(wù)服務(wù)器較為空閑的時(shí)間段,例如,每天的1:00至3:00,數(shù)據(jù)處理服務(wù)器將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器。
圖2是根據(jù)本申請(qǐng)第二實(shí)施例的日志處理方法的流程圖,如圖2所示,包括如下步驟:
步驟S202,日志處理程序?qū)I(yè)務(wù)服務(wù)器的日志信息進(jìn)行解析,將解析結(jié)果直接發(fā)送給數(shù)據(jù)處理服務(wù)器。
具體地,可以根據(jù)業(yè)務(wù)規(guī)模部署一臺(tái)專(zhuān)門(mén)用于對(duì)數(shù)據(jù)進(jìn)行匯總的數(shù)據(jù)處理服務(wù)器, 其中,上述數(shù)據(jù)主要為日志信息。
步驟S204,數(shù)據(jù)處理服務(wù)器接收到解析結(jié)果,存入相應(yīng)的數(shù)據(jù)庫(kù)中。
數(shù)據(jù)處理服務(wù)器接收到來(lái)自業(yè)務(wù)服務(wù)器的日志信息的解析結(jié)果(即日志解析結(jié)果),并將其存入數(shù)據(jù)處理服務(wù)器相應(yīng)的數(shù)據(jù)庫(kù)中。
步驟S206,當(dāng)一天或一定時(shí)間的數(shù)據(jù)收集完畢,數(shù)據(jù)處理服務(wù)器按照業(yè)務(wù)需求進(jìn)行匯總,得到匯總結(jié)果。
當(dāng)一天或一定時(shí)間的數(shù)據(jù)(即日志信息)收集完畢,數(shù)據(jù)處理服務(wù)器按照業(yè)務(wù)需求對(duì)日志信息進(jìn)行匯總,得到匯總結(jié)果,并將匯總結(jié)果存儲(chǔ)于數(shù)據(jù)處理服務(wù)器的匯總結(jié)果表中。
步驟S208,在業(yè)務(wù)服務(wù)器空閑時(shí)段,數(shù)據(jù)處理服務(wù)器將其匯總結(jié)果傳輸給業(yè)務(wù)服務(wù)器,保存于業(yè)務(wù)服務(wù)器的匯總結(jié)果表中。
業(yè)務(wù)服務(wù)器空閑時(shí)段可以是深夜或是凌晨等時(shí)段。
需要說(shuō)明的是,本申請(qǐng)實(shí)施例對(duì)日志信息進(jìn)行匯總不僅包括對(duì)日志信息進(jìn)行整合操作,還包括計(jì)算操作,例如,基于整合的日志信息計(jì)算各個(gè)指標(biāo)的值(例如,計(jì)算用戶訪問(wèn)數(shù)、用戶數(shù)等指標(biāo)的值)。
由上述描述可知,本申請(qǐng)實(shí)施例可以分布式地對(duì)數(shù)據(jù)(即日志信息)進(jìn)行匯總,保證了數(shù)據(jù)處理的效率的同時(shí),極大的減少了日志信息處理對(duì)業(yè)務(wù)服務(wù)器的性能的影響。
需要說(shuō)明的是,在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行,并且,雖然在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
根據(jù)本申請(qǐng)實(shí)施例的另一方面,提供了一種日志處理裝置,該日志處理裝置可以用于執(zhí)行本申請(qǐng)實(shí)施例的日志處理方法,本申請(qǐng)實(shí)施例的日志處理方法也可以通過(guò)本申請(qǐng)實(shí)施例的日志處理裝置來(lái)執(zhí)行。
圖3是根據(jù)本申請(qǐng)實(shí)施例的日志處理裝置的示意圖,如圖3所示,該裝置包括:接收單元10、匯總單元20和返回單元30。
接收單元10,用于使得數(shù)據(jù)處理服務(wù)器接收來(lái)自業(yè)務(wù)服務(wù)器的日志信息。
本申請(qǐng)實(shí)施例的數(shù)據(jù)處理服務(wù)可以是任意能夠?qū)崿F(xiàn)日志信息匯總分析的服務(wù)器,具體地,用戶可以根據(jù)業(yè)務(wù)內(nèi)容額外配置一臺(tái)或是多臺(tái)用于日志信息匯總和計(jì)算的服 務(wù)器,該數(shù)據(jù)處理服務(wù)器能夠與業(yè)務(wù)服務(wù)器進(jìn)行數(shù)據(jù)通信,例如,接收業(yè)務(wù)服務(wù)器發(fā)送的數(shù)據(jù)以及向業(yè)務(wù)服務(wù)器發(fā)送數(shù)據(jù)等。
匯總單元20,用于使得數(shù)據(jù)處理服務(wù)器按照預(yù)設(shè)規(guī)則對(duì)日志信息進(jìn)行匯總,得到匯總結(jié)果。
本申請(qǐng)實(shí)施例的預(yù)設(shè)規(guī)則為按照業(yè)務(wù)分析需求設(shè)置的規(guī)則,例如,可以是按照不同維度(例如,媒體維度、地域維度等)統(tǒng)計(jì)不同的指標(biāo)的值(例如,用戶訪問(wèn)數(shù)、用戶數(shù)等指標(biāo))。具體地,如果當(dāng)前需要分析不同地域的用戶訪問(wèn)情況,此時(shí)數(shù)據(jù)處理服務(wù)器可以按照地域維度統(tǒng)計(jì)用戶訪問(wèn)數(shù),例如,分別統(tǒng)計(jì)北京、上海、廣州等地區(qū)的用戶訪問(wèn)數(shù)。
返回單元30,用于使得數(shù)據(jù)處理服務(wù)器將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器。
本申請(qǐng)實(shí)施例通過(guò)接收單元10使得數(shù)據(jù)處理服務(wù)器接收來(lái)自業(yè)務(wù)服務(wù)器的日志信息;匯總單元20使得數(shù)據(jù)處理服務(wù)器按照預(yù)設(shè)規(guī)則對(duì)日志信息進(jìn)行匯總,得到匯總結(jié)果;以及返回單元30使得數(shù)據(jù)處理服務(wù)器將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器,通過(guò)數(shù)據(jù)處理服務(wù)器對(duì)日志信息進(jìn)行分析匯總,實(shí)現(xiàn)了分布式地對(duì)日志信息進(jìn)行匯總和計(jì)算,不僅保證了日志信息處理的效率,而且能夠極大的減少日志信息處理對(duì)業(yè)務(wù)服務(wù)器的性能的影響,解決了相關(guān)技術(shù)中對(duì)大量日志信息進(jìn)行處理嚴(yán)重影響業(yè)務(wù)服務(wù)器性能的問(wèn)題,進(jìn)而達(dá)到了降低日志信息處理對(duì)業(yè)務(wù)服務(wù)器的性能的影響的效果。
優(yōu)選地,返回單元30包括:檢測(cè)模塊,用于檢測(cè)業(yè)務(wù)服務(wù)器是否處于空閑狀態(tài);以及第一返回模塊,用于在檢測(cè)出業(yè)務(wù)服務(wù)器處于空閑狀態(tài)時(shí),將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器。
優(yōu)選地,返回單元30包括:第二返回模塊,用于使得數(shù)據(jù)處理服務(wù)器按照預(yù)設(shè)時(shí)間規(guī)則將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器。
優(yōu)選地,匯總單元20包括:存儲(chǔ)模塊,用于使得數(shù)據(jù)處理服務(wù)器將接收到的日志信息進(jìn)行存儲(chǔ);判斷模塊,用于使得數(shù)據(jù)處理服務(wù)器判斷存儲(chǔ)的日志信息是否達(dá)到預(yù)設(shè)量;以及匯總模塊,用于使得數(shù)據(jù)處理服務(wù)器在判斷出存儲(chǔ)的日志信息達(dá)到預(yù)設(shè)量時(shí),按照預(yù)設(shè)規(guī)則對(duì)存儲(chǔ)的日志信息進(jìn)行匯總,得到匯總結(jié)果。
根據(jù)本申請(qǐng)實(shí)施例的又一方面,提供了一種日志處理系統(tǒng)。圖4是根據(jù)本申請(qǐng)實(shí)施例的日志處理系統(tǒng)的示意圖,如圖4所示,該系統(tǒng)包括:業(yè)務(wù)服務(wù)器1和數(shù)據(jù)處理服務(wù)器2。
業(yè)務(wù)服務(wù)器1,用于將獲取到的日志信息發(fā)送給數(shù)據(jù)處理服務(wù)器2。
數(shù)據(jù)處理服務(wù)器2,用于接收來(lái)自業(yè)務(wù)服務(wù)器1的日志信息,按照預(yù)設(shè)規(guī)則對(duì)日 志信息進(jìn)行匯總,得到匯總結(jié)果,并將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器1。
本申請(qǐng)實(shí)施例通過(guò)業(yè)務(wù)服務(wù)器1將獲取到的日志信息發(fā)送給數(shù)據(jù)處理服務(wù)器2,數(shù)據(jù)處理服務(wù)器2接收來(lái)自業(yè)務(wù)服務(wù)器1的日志信息,按照預(yù)設(shè)規(guī)則對(duì)日志信息進(jìn)行匯總,得到匯總結(jié)果,并將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器1,本申請(qǐng)實(shí)施例通過(guò)數(shù)據(jù)處理服務(wù)器2對(duì)日志信息進(jìn)行分析匯總,實(shí)現(xiàn)了分布式地對(duì)日志信息進(jìn)行匯總和計(jì)算,不僅保證了日志信息處理的效率,而且能夠極大的減少日志信息處理對(duì)業(yè)務(wù)服務(wù)器的性能的影響,解決了相關(guān)技術(shù)中對(duì)大量日志信息進(jìn)行處理嚴(yán)重影響業(yè)務(wù)服務(wù)器性能的問(wèn)題,進(jìn)而達(dá)到了降低日志信息處理對(duì)業(yè)務(wù)服務(wù)器的性能的影響的效果。
優(yōu)選地,數(shù)據(jù)處理服務(wù)器2還用于檢測(cè)業(yè)務(wù)服務(wù)器1是否處于空閑狀態(tài),其中,在檢測(cè)出業(yè)務(wù)服務(wù)器1處于空閑狀態(tài)時(shí),將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器。
優(yōu)選地,數(shù)據(jù)處理服務(wù)器2按照預(yù)設(shè)時(shí)間規(guī)則將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器1。
優(yōu)選地,數(shù)據(jù)處理服務(wù)器2還用于將接收到的日志信息進(jìn)行存儲(chǔ),并判斷存儲(chǔ)的日志信息是否達(dá)到預(yù)設(shè)量,其中,數(shù)據(jù)處理服務(wù)器2在判斷出存儲(chǔ)的日志信息達(dá)到預(yù)設(shè)量時(shí),按照預(yù)設(shè)規(guī)則對(duì)存儲(chǔ)的日志信息進(jìn)行匯總,得到匯總結(jié)果。
所述日志處理裝置包括處理器和存儲(chǔ)器,上述接收單元、匯總單元和返回單元等均作為程序單元存儲(chǔ)在存儲(chǔ)器中,由處理器執(zhí)行存儲(chǔ)在存儲(chǔ)器中的上述程序單元來(lái)實(shí)現(xiàn)相應(yīng)的功能。
處理器中包含內(nèi)核,由內(nèi)核去存儲(chǔ)器中調(diào)取相應(yīng)的程序單元。內(nèi)核可以設(shè)置一個(gè)或以上,通過(guò)調(diào)整內(nèi)核參數(shù)來(lái)分布式地對(duì)日志信息進(jìn)行匯總計(jì)算。
存儲(chǔ)器可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲(chǔ)器,隨機(jī)存取存儲(chǔ)器(RAM)和/或非易失性?xún)?nèi)存等形式,如只讀存儲(chǔ)器(ROM)或閃存(flash RAM),存儲(chǔ)器包括至少一個(gè)存儲(chǔ)芯片。
本申請(qǐng)還提供了一種計(jì)算機(jī)程序產(chǎn)品,當(dāng)在數(shù)據(jù)處理設(shè)備上執(zhí)行時(shí),適于執(zhí)行初始化有如下方法步驟的程序代碼:數(shù)據(jù)處理服務(wù)器接收來(lái)自業(yè)務(wù)服務(wù)器的日志信息;數(shù)據(jù)處理服務(wù)器按照預(yù)設(shè)規(guī)則對(duì)日志信息進(jìn)行匯總,得到匯總結(jié)果;以及數(shù)據(jù)處理服務(wù)器將匯總結(jié)果返回給業(yè)務(wù)服務(wù)器。
上述本申請(qǐng)實(shí)施例序號(hào)僅僅為了描述,不代表實(shí)施例的優(yōu)劣。
在本申請(qǐng)的上述實(shí)施例中,對(duì)各個(gè)實(shí)施例的描述都各有側(cè)重,某個(gè)實(shí)施例中沒(méi)有詳述的部分,可以參見(jiàn)其他實(shí)施例的相關(guān)描述。
在本申請(qǐng)所提供的幾個(gè)實(shí)施例中,應(yīng)該理解到,所揭露的技術(shù)內(nèi)容,可通過(guò)其它 的方式實(shí)現(xiàn)。其中,以上所描述的裝置實(shí)施例僅僅是示意性的,例如所述單元的劃分,可以為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式,例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點(diǎn),所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口,單元或模塊的間接耦合或通信連接,可以是電性或其它的形式。
所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個(gè)地方,或者也可以分布到多個(gè)單元上??梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。
另外,在本申請(qǐng)各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中,也可以是各個(gè)單元單獨(dú)物理存在,也可以?xún)蓚€(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn),也可以采用軟件功能單元的形式實(shí)現(xiàn)。
所述集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷(xiāo)售或使用時(shí),可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?;谶@樣的理解,本申請(qǐng)的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái),該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中,包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可為個(gè)人計(jì)算機(jī)、服務(wù)器或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本申請(qǐng)各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括:U盤(pán)、只讀存儲(chǔ)器(ROM,Read-Only Memory)、隨機(jī)存取存儲(chǔ)器(RAM,Random Access Memory)、移動(dòng)硬盤(pán)、磁碟或者光盤(pán)等各種可以存儲(chǔ)程序代碼的介質(zhì)。
以上所述僅是本申請(qǐng)的優(yōu)選實(shí)施方式,應(yīng)當(dāng)指出,對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō),在不脫離本申請(qǐng)?jiān)淼那疤嵯拢€可以做出若干改進(jìn)和潤(rùn)飾,這些改進(jìn)和潤(rùn)飾也應(yīng)視為本申請(qǐng)的保護(hù)范圍。