專利名稱：一種無代理的數(shù)據(jù)處理系統(tǒng)監(jiān)控與管理方法
技術領域：
本發(fā)明涉及一種計算機數(shù)據(jù)處理系統(tǒng)監(jiān)控方法。
背景技術：
對于某些結構和功能較為復雜的處理系統(tǒng)，對性能要求較高，監(jiān)控系統(tǒng)不能影響節(jié)點的性能，并能夠開啟和關閉所有節(jié)點上的數(shù)據(jù)處理進程，除此之外，每個處理節(jié)點的監(jiān)控要求是不同，按照處理流程分別說明如下I)數(shù)據(jù)緩存節(jié)點。通過網(wǎng)絡接收外部數(shù)據(jù)到緩存區(qū)，并從緩存區(qū)中取出數(shù)據(jù)發(fā)送給下一個節(jié)點，要求接收速度穩(wěn)定平滑，波動較小。要求監(jiān)控系統(tǒng)能定時監(jiān)控此節(jié)點的網(wǎng)絡輸入輸出速度，以及CPU、內(nèi)存、硬盤的狀態(tài)信息；
2)數(shù)據(jù)預處理節(jié)點。接收來自緩存節(jié)點的數(shù)據(jù)，將數(shù)據(jù)分類并進行格式化處理，處理完畢后按照分類存儲到磁盤，并同時按照數(shù)據(jù)類型分發(fā)送給一個集群解壓縮系統(tǒng)。要求監(jiān)控系統(tǒng)能夠定時監(jiān)控此節(jié)點的不同數(shù)據(jù)類型的網(wǎng)絡輸出速度、節(jié)點的CPU及內(nèi)存占有量、磁盤空間余量，并能夠顯示預處理進程產(chǎn)生的日志信息；3)集群解壓縮節(jié)點。接收來自預處理節(jié)點的數(shù)據(jù)，分類解壓縮后存儲并發(fā)送給下一個節(jié)點，由若干臺服務器通過松散耦合方式的連接組成集群服務器，來并行處理解壓縮任務，根據(jù)解壓縮性能需求的變化，服務器數(shù)量是可擴展的，集群解壓縮節(jié)點執(zhí)行任務期間處于高負荷運行，CPU和I/O系統(tǒng)都處于較高的占有率。要求監(jiān)控系統(tǒng)不能影響其性能，并能隨著集群服務器數(shù)量變化而靈活配置，監(jiān)控系統(tǒng)需要定時監(jiān)控每臺服務器的CPU、內(nèi)存、磁盤余量，能夠顯示每臺服務器上的解壓縮進程產(chǎn)生的日志信息；4)數(shù)據(jù)顯示節(jié)點。接收集群解壓縮節(jié)點的解壓縮數(shù)據(jù)，并將其圖像進行顯示，按照靈活性要求，所有數(shù)據(jù)類型既可以一臺PC機上顯示，也可以在多臺PC機上顯示。要求監(jiān)控系統(tǒng)能夠顯示節(jié)點進程產(chǎn)生的日志信息，并在無需修改的情況下，能夠監(jiān)控多個顯示節(jié)點?？傮w而言，監(jiān)控系統(tǒng)所要實現(xiàn)的功能包括監(jiān)控CPU、內(nèi)存、磁盤、網(wǎng)絡接口資源利用率，啟動和關閉每個節(jié)點的進程以及顯示日志信息。此外，要求監(jiān)控系統(tǒng)不能影響節(jié)點的性能，并能滿足節(jié)點個性化的監(jiān)控需求。針對計算機CPU、內(nèi)存、磁盤及網(wǎng)絡接口的監(jiān)控，眾所周知，目前的監(jiān)控方式是一種基于“代理”的入侵式監(jiān)控架構，所謂的“代理”就是在被監(jiān)控計算機上安裝的一種額外的軟件或服務，對被監(jiān)控的計算機而言就是一種入侵，在安裝并配置好“代理”后，這些“代理”會通過本地操作系統(tǒng)獲取監(jiān)控信息，定時或不定時的通過網(wǎng)絡向控制臺發(fā)送監(jiān)控信息。圖I是基于“代理”的監(jiān)控方法的原理圖。從圖I中可以看出，應用“代理”方式進行某遙感數(shù)據(jù)處理系統(tǒng)監(jiān)控時，不能很好的滿足監(jiān)控需求，具體表現(xiàn)在I)無法滿足不影響系統(tǒng)性能的需求。代理程序往往以較低的優(yōu)先級和較少的資源消耗在后臺運行，正常情況下對計算機的影響很小，但當系統(tǒng)處于高負荷運轉(zhuǎn)時，對“代理”的活動變得敏感，容易引起系統(tǒng)的性能波動，如果“代理”本身存在缺陷，則會嚴重影響性能并導致監(jiān)控管理失??；2)部署、配置以及維護和升級困難。隨著數(shù)據(jù)處理系統(tǒng)規(guī)模的擴展，每個節(jié)點的每臺服務器都要安裝“代理”并設定監(jiān)控信息，特別是每臺服務器的監(jiān)控需求不同時，設置監(jiān)控信息的工作量巨大。在升級和維護時，如果監(jiān)控信息類型發(fā)生變化，那么需要同時修改主監(jiān)控和監(jiān)控代理，花費時間多，靈活性差，維護成本高；3)監(jiān)控系統(tǒng)的設計較為復雜。復雜性主要體現(xiàn)在主監(jiān)控和代理的通信協(xié)議設計上，主監(jiān)控需要首先對被監(jiān)控目標進行網(wǎng)絡連接，然后按照預定格式封裝監(jiān)控和管理指令，最后通過網(wǎng)絡發(fā)送給代理，代理在接收到指令后，要根據(jù)預定協(xié)議解析指令，在指令執(zhí)行完畢后，按照協(xié)議給主監(jiān)控發(fā)送回復，由于整個監(jiān)控常常是短時的定時機制，所以導致網(wǎng)絡通
信頻繁。目前的數(shù)據(jù)處理監(jiān)控系統(tǒng)不能很好的滿足需求，需要設計有針對性的監(jiān)控和管理系統(tǒng)。
發(fā)明內(nèi)容
本發(fā)明構建了一種輕量級的監(jiān)控與管理系統(tǒng)，是一種無代理非入侵式的監(jiān)控與管理方法，僅在一臺與數(shù)據(jù)處理系統(tǒng)互聯(lián)互通的PC機上部署和運行即可，監(jiān)控和管理簡單有效，無論是配置、運行、維護還是升級都僅在這一臺PC上進行，并滿足所有監(jiān)控需求；克服了背景技術基于代理的監(jiān)控方法存在的缺點。本發(fā)明的方案是基于以下研究分析得出的。Windows98及后續(xù)版本的Windows操作系統(tǒng)都支持WMI特性，即WindowsManagement Instrumentation (Windows 管理規(guī)范)。WMI 是 Windows 操作系統(tǒng)的一部分，也是一項核心的Windows管理技術,WMI作為一種規(guī)范和基礎結構,通過它可以訪問、配置、管理和監(jiān)視幾乎所有的Windows資源，比如用戶可以在遠程計算機器上啟動一個進程；設定一個在特定日期和時間運行的進程；遠程啟動計算機；獲得本地或遠程計算機的已安裝程序列表；查詢本地或遠程計算機的Windows事件日志等等。IPC是進程間通信機制，它和WMI機制一樣，都是操作系統(tǒng)的一部分，操作系統(tǒng)提供了這兩種機制的調(diào)用接口。相互通信的進程可以不在同一臺計算機上，利用IPC可以建立兩臺計算機之間的連接通道，通過IPC機制將遠程機器的日志文件所在的共享文件夾映射到監(jiān)控計算機上，監(jiān)控計算機就可以像訪問本地文件夾一樣訪問映射文件夾，從而能夠訪問日志文件,并將日志文件的信息顯示在監(jiān)控臺上。本發(fā)明提出的基本方案如下一種無代理的數(shù)據(jù)處理系統(tǒng)監(jiān)控與管理方法，包括以下環(huán)節(jié)I)在主監(jiān)控計算機上配置每個監(jiān)控對象的計算機名稱、登錄用戶名、密碼和被監(jiān)控的信息列表；2)系統(tǒng)啟動后，為每一個被監(jiān)控計算機創(chuàng)建一個監(jiān)控線程；3 )每一個監(jiān)控線程首先對被監(jiān)控計算機進行WMI和IPC連接；3)每一個監(jiān)控線程連接WMI和IPC后，按照預先設定的監(jiān)控信息定時查詢被監(jiān)控計算機的WMI存儲庫中的數(shù)據(jù)表并獲取信息，每個監(jiān)控線程通過IPC連接定時訪問被監(jiān)控計算機的數(shù)據(jù)處理進程所產(chǎn)生的日志文件；
4)每個監(jiān)控線程將獲取到的監(jiān)控信息以及日志文件以圖、表格或者文字的方式進行顯示，同時，對監(jiān)控信息及日志文件進行數(shù)值判斷和分析，如果狀態(tài)信息異常或者超過一定閾值，則顯示告警信息；5)監(jiān)控結束，每個線程分別 關閉被監(jiān)控計算機的麗I和IPC連接。基于上述基本技術方案，本發(fā)明還可以作以下優(yōu)化改進針對多臺被監(jiān)控計算機，在初始化COM并設置COM授權后，創(chuàng)建多個監(jiān)控線程，對各臺被監(jiān)控計算機的WMI進行連接并為WMI訪問設置授權許可，并通過IPC訪問文件。在為WMI訪問設置授權許可后，還建立有定時機制循環(huán)獲取監(jiān)控信息。本發(fā)明具有以下優(yōu)點無論從監(jiān)控技術上，還是從監(jiān)控流程結構上，本發(fā)明所采用的方法實現(xiàn)了 “無代理”的監(jiān)控方式，無論多大規(guī)模的網(wǎng)絡，僅需在任一臺計算機上配置和部署監(jiān)控系統(tǒng)即可，部署和監(jiān)控方式簡單有效，無論是配置、部署、運行、維護還是升級系統(tǒng)，都僅在一臺計算機上進行，克服了基于代理的監(jiān)控方法的缺點。本發(fā)明所提出的監(jiān)控系統(tǒng)實現(xiàn)方法適用于任何基于局域網(wǎng)的高性能并行計算系統(tǒng)或并行事務處理系統(tǒng)。本發(fā)明根據(jù)遙感數(shù)據(jù)地面處理系統(tǒng)的監(jiān)控需求實現(xiàn)了通過多線程機制訪問麗I接口，實現(xiàn)各個處理節(jié)點的CPU、內(nèi)存、磁盤、網(wǎng)絡的狀態(tài)監(jiān)控，通過WMI實現(xiàn)各個節(jié)點進程的開啟和關閉，可利用進程間通信技術(IPC)訪問節(jié)點上的日志文件并進行顯示。
圖I是基于“代理”網(wǎng)絡監(jiān)控結構示意圖。圖2示出了幾種常見的可通過WMI訪問的信息類型。圖3為麗I的體系結構示意圖。圖4為本發(fā)明基于麗I的特性的網(wǎng)絡監(jiān)控結構示意圖。圖5為本發(fā)明的主監(jiān)控流程示意圖。
具體實施例方式本發(fā)明為解決傳統(tǒng)監(jiān)控方法一直以來存在的缺陷，通過對操作系統(tǒng)的特性的充分認知，完全基于現(xiàn)有設備和操作系統(tǒng)搭建監(jiān)控系統(tǒng)平臺，利用WMI的特性實現(xiàn)本地和遠程計算機的信息獲取，可通過多線程機制調(diào)用麗I接口，實現(xiàn)局域網(wǎng)WINDOWS計算機的非入侵式的監(jiān)控。圖2展示了幾種常見的可通過麗I訪問的信息類型。Wind0ws98及后續(xù)版本的Windows 操作系統(tǒng)都支持 WMI 特性，即 Windows Management InstrumentationCffindows 管理規(guī)范)。麗1是Windows操作系統(tǒng)的一部分，也是一項核心的Windows管理技術，WMI作為一種規(guī)范和基礎結構，通過它可以訪問、配置、管理和監(jiān)視幾乎所有的Windows資源，比如用戶可以在遠程計算機器上啟動一個進程；設定一個在特定日期和時間運行的進程；遠程啟動計算機；獲得本地或遠程計算機的已安裝程序列表；查詢本地或遠程計算機的Windows事件日志等等。麗I對外提供統(tǒng)一的訪問接口，內(nèi)部包含3個主要部分( I)被管理的對象和麗I提供者
一個WMI提供者是一個COM對象，這個COM對象監(jiān)控著一個或多個被管理的對象。一個被管理的對象是一個邏輯或物理的部件，例如硬盤，網(wǎng)卡，數(shù)據(jù)庫系統(tǒng)，操作系統(tǒng)，進程或服務。(2)麗I基礎部件WMI基礎部件是一個Windows操作系統(tǒng)部件，它包含兩個部分，一個是包含了 WMI核心的WMI服務，另一個是WMI存儲庫。存儲庫中維護著各種計算機信息和狀態(tài)。(3) WMI 用戶麗I用戶就是一個管理系統(tǒng)或麗I的訪問者。圖3描述了麗I的體系結構，圖4為本發(fā)明基于麗I的特性的網(wǎng)絡監(jiān)控結構。進 行這種無代理監(jiān)控時的流程如圖5所示。I)在主監(jiān)控計算機上配置每個監(jiān)控對象的計算機名稱、登錄用戶名、密碼和被監(jiān)控的信息列表；2)系統(tǒng)啟動后，為每一個被監(jiān)控計算機創(chuàng)建一個監(jiān)控線程；3 )每一個監(jiān)控線程首先對被監(jiān)控計算機進行WMI和IPC連接；3)每一個監(jiān)控線程連接WMI和IPC后，按照預先設定的監(jiān)控信息定時查詢被監(jiān)控計算機的WMI存儲庫中的數(shù)據(jù)表并獲取信息，每個監(jiān)控線程通過IPC連接定時訪問被監(jiān)控計算機的數(shù)據(jù)處理進程所產(chǎn)生的日志文件；4)每個監(jiān)控線程將獲取到的監(jiān)控信息以及日志文件以以圖、表格或者文字的方式進行顯示，同時，對監(jiān)控信息及日志文件進行數(shù)值判斷和分析，如果狀態(tài)信息異?；蛘叱^
一定閾值，則顯不告警信息；5)監(jiān)控結束，每個線程分別關閉被監(jiān)控計算機的麗I和IPC連接。針對多臺被監(jiān)控計算機，不需要在每臺計算機上安裝監(jiān)控代理，在任意一臺計算機上部署主監(jiān)控即可實現(xiàn)監(jiān)控，在初始化COM并設置COM授權后，創(chuàng)建多個監(jiān)控線程，對各臺被監(jiān)控計算機的WMI進行連接并為WMI訪問設置授權許可，并通過進程間通信技術(IPC)訪問文件，從而獲取更為豐富的監(jiān)控信息。在為WMI訪問設置授權許可后，還建立有定時機制循環(huán)獲取監(jiān)控信息。在具體實現(xiàn)時，需要建立必要的支持環(huán)境，安裝各種支持資源，比如被監(jiān)控計算機和主監(jiān)控計算機上安裝的操作系統(tǒng)必須支持WMI標準。在主監(jiān)控計算機上安裝OS SDK，對應不同的操作系統(tǒng)版本，有不同版本的SDK。OSSDK中包含了系統(tǒng)開發(fā)所需的基礎資源，其中包括麗I SDK，即麗I軟件開發(fā)工具。配置編輯和編譯環(huán)境。將所需的資源目錄設置到開發(fā)環(huán)境中。例如，如果采用Visual C++6.0或Visual Studio. NET，在安裝完開發(fā)環(huán)境后，將WMISDK安裝路徑中的include和Iib目錄設置到開發(fā)環(huán)境中。安裝麗I工具，通過麗I工具可以查詢麗I存儲庫信息，方便開發(fā)和調(diào)試。這些準備工作就緒后，就可以按照本發(fā)明的無代理的數(shù)據(jù)處理系統(tǒng)監(jiān)控與管理方法(如圖5)依次執(zhí)行。依靠WMI的體系結構，可利用高級語言實現(xiàn)主監(jiān)控，運行時無需任何附加工具。
權利要求
1.一種無代理的數(shù)據(jù)處理系統(tǒng)監(jiān)控與管理方法，包括以下環(huán)節(jié) 1)在主監(jiān)控計算機上配置每個監(jiān)控對象的計算機名稱、登錄用戶名、密碼和被監(jiān)控的信息列表； 2)系統(tǒng)啟動后，為每一個被監(jiān)控計算機創(chuàng)建一個監(jiān)控線程； 3)每一個監(jiān)控線程首先對被監(jiān)控計算機進行WMI和IPC連接； 3)每一個監(jiān)控線程連接WMI和IPC后，按照預先設定的監(jiān)控信息定時查詢被監(jiān)控計算機的WMI存儲庫中的數(shù)據(jù)表并獲取信息，每個監(jiān)控線程通過IPC連接定時訪問被監(jiān)控計算機的數(shù)據(jù)處理進程所產(chǎn)生的日志文件； 4)每個監(jiān)控線程將獲取到的監(jiān)控信息以及日志文件以圖、表格或者文字的方式進行顯示，同時，對監(jiān)控信息及日志文件進行數(shù)值判斷和分析，如果狀態(tài)信息異?；蛘叱^一定閾值，則顯示告警信息； 5)監(jiān)控結束，每個線程分別關閉被監(jiān)控計算機的WMI和IPC連接。
2.根據(jù)權利要求I所述的無代理的數(shù)據(jù)處理系統(tǒng)監(jiān)控與管理方法，其特征在于針對多臺被監(jiān)控計算機，在初始化COM并設置COM授權后，創(chuàng)建多個監(jiān)控線程，對各臺被監(jiān)控計算機的麗I進行連接并為麗I訪問設置授權許可，并通過IPC訪問文件。
3.根據(jù)權利要求I所述的無代理的數(shù)據(jù)處理系統(tǒng)監(jiān)控與管理方法，其特征在于在為WMI訪問設置授權許可后，還建立有定時機制循環(huán)獲取監(jiān)控信息。
全文摘要
本發(fā)明提供了一種無代理的數(shù)據(jù)處理系統(tǒng)監(jiān)控與管理方法，包括以下環(huán)節(jié)系統(tǒng)啟動后，為每一個被監(jiān)控計算機創(chuàng)建一個監(jiān)控線程；每一個監(jiān)控線程首先對被監(jiān)控計算機進行WMI和IPC連接；按照預先設定的監(jiān)控信息定時查詢被監(jiān)控計算機的WMI存儲庫中的數(shù)據(jù)表并獲取信息，每個監(jiān)控線程通過IPC連接定時訪問被監(jiān)控計算機的數(shù)據(jù)處理進程所產(chǎn)生的日志文件；每個監(jiān)控線程將獲取到的監(jiān)控信息以及日志文件進行顯示，并對監(jiān)控信息及日志文件進行數(shù)值判斷和分析，如果狀態(tài)信息異?；蛘叱^一定閾值，則顯示告警信息。本發(fā)明實現(xiàn)了“無代理”的監(jiān)控方式，無論多大規(guī)模的網(wǎng)絡，僅需在任一臺計算機上配置和部署監(jiān)控系統(tǒng)即可，部署和監(jiān)控方式簡單有效。
文檔編號G06F11/30GK102819478SQ20121025323
公開日2012年12月12日 申請日期2012年7月20日 優(yōu)先權日2012年7月20日
發(fā)明者李然, 陳小來, 劉學斌, 胡炳樑, 李蕓 申請人:中國科學院西安光學精密機械研究所