一種大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng)

本申請涉及數(shù)據(jù)管理領(lǐng)域，具體而言，涉及一種大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng)。

背景技術(shù)：

1、國家對于水庫大壩管理工作高度重視，大壩安全監(jiān)測自動化程度逐年提升，所采集的安全監(jiān)測數(shù)據(jù)量呈指數(shù)級增長；同時，隨著工程運行年限的增長，安全監(jiān)測觀測及資料整編報告、巡視檢查報告等文檔數(shù)據(jù)也日漸積累，形成了規(guī)模龐大的數(shù)據(jù)資源；尤其是流域性開發(fā)公司、水利水電集團(tuán)公司，其管轄的水庫大壩眾多，所積累的安全監(jiān)測數(shù)據(jù)及資料更是達(dá)到海量規(guī)模，具備數(shù)據(jù)容量大、數(shù)據(jù)種類多、數(shù)據(jù)增加速度快、數(shù)據(jù)價值密度低等大數(shù)據(jù)特征。

2、目前，各水庫大壩的安全監(jiān)測數(shù)據(jù)通常采用本地化存儲管理或采用結(jié)構(gòu)化數(shù)據(jù)單獨存儲，數(shù)據(jù)存取和利用效率較低，且難以實現(xiàn)多個水庫大壩安全監(jiān)測數(shù)據(jù)的集中管理，也阻礙了數(shù)據(jù)檢索查詢和分析挖掘應(yīng)用工作的開展。

技術(shù)實現(xiàn)思路

1、為了解決上述問題，本申請?zhí)峁┮环N大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng)，用以提升大壩安全監(jiān)測數(shù)據(jù)的管理和利用效率。

2、本申請是這樣實現(xiàn)的：

3、第一方面，本申請?zhí)峁┮环N大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng)，其包括依次相連的水庫大壩現(xiàn)場終端、大數(shù)據(jù)存儲裝置和大數(shù)據(jù)應(yīng)用服務(wù)器；

4、所述水庫大壩現(xiàn)場終端部署在水庫大壩現(xiàn)場，用以收集現(xiàn)場安全監(jiān)測數(shù)據(jù)并上傳至大數(shù)據(jù)存儲裝置；所述大數(shù)據(jù)存儲裝置用于接收并存儲安全監(jiān)測數(shù)據(jù)；所述大數(shù)據(jù)應(yīng)用服務(wù)器通過數(shù)據(jù)接口對接大數(shù)據(jù)存儲裝置，用以讀取存儲在大數(shù)據(jù)存儲裝置中的安全監(jiān)測數(shù)據(jù)，供數(shù)據(jù)挖掘程序進(jìn)行檢索查詢和分析挖掘。

5、進(jìn)一步地，基于上述方案，所述大數(shù)據(jù)存儲裝置包括通過交換機(jī)實現(xiàn)互聯(lián)的關(guān)系型數(shù)據(jù)庫服務(wù)器和hdfs分布式文件系統(tǒng)，所述交換機(jī)的輸入端通過第一大數(shù)據(jù)網(wǎng)關(guān)與所述水庫大壩現(xiàn)場終端相連，所述交換機(jī)的輸出端通過第二大數(shù)據(jù)網(wǎng)關(guān)與所述大數(shù)據(jù)應(yīng)用服務(wù)器相連。

6、進(jìn)一步地，基于上述方案，所述安全監(jiān)測數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；所述關(guān)系型數(shù)據(jù)庫服務(wù)器用于存儲安全監(jiān)測數(shù)據(jù)中的結(jié)構(gòu)化數(shù)據(jù)，所述hdfs分布式文件系統(tǒng)用于存儲安全監(jiān)測數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù)。

7、進(jìn)一步地，基于上述方案，所述結(jié)構(gòu)化數(shù)據(jù)包括安全監(jiān)測數(shù)據(jù)、水文氣象監(jiān)測數(shù)據(jù)和監(jiān)測整編成果數(shù)據(jù)；所述非結(jié)構(gòu)化文檔資料包括工程設(shè)計資料、整編分析報告、巡視檢查報告和專題分析資料。

8、進(jìn)一步地，基于上述方案，所述hdfs分布式文件系統(tǒng)包括至少一個管理節(jié)點服務(wù)器、以及多個數(shù)據(jù)節(jié)點服務(wù)器；所述管理節(jié)點服務(wù)器和數(shù)據(jù)節(jié)點服務(wù)器之間的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是以交換機(jī)作為中心的星型網(wǎng)絡(luò)連接。

9、進(jìn)一步地，基于上述方案，所述管理節(jié)點服務(wù)器用于負(fù)責(zé)處理大數(shù)據(jù)應(yīng)用服務(wù)器的文件訪問請求，并根據(jù)數(shù)據(jù)節(jié)點的負(fù)載情況動態(tài)地分配數(shù)據(jù)存儲和訪問任務(wù)，從而實現(xiàn)負(fù)載均衡；所述數(shù)據(jù)節(jié)點用于負(fù)責(zé)安全監(jiān)測數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù)的存儲和讀取。

10、進(jìn)一步地，基于上述方案，所述水庫大壩現(xiàn)場終端以分布式的形式部署在不同的水庫大壩現(xiàn)場，并通過第一大數(shù)據(jù)網(wǎng)關(guān)與大數(shù)據(jù)存儲裝置對接。

11、相對于現(xiàn)有技術(shù)，本申請至少具有如下優(yōu)點或有益效果：

12、通過大數(shù)據(jù)存儲裝置接收并存儲水庫大壩現(xiàn)場終端收集的安全監(jiān)測數(shù)據(jù)，然后利用大數(shù)據(jù)應(yīng)用服務(wù)器通過數(shù)據(jù)接口對接大數(shù)據(jù)存儲裝置，用以讀取存儲在大數(shù)據(jù)存儲裝置中的安全監(jiān)測數(shù)據(jù)，供數(shù)據(jù)挖掘程序進(jìn)行檢索查詢和分析挖掘。從而，將可以對多個水庫大壩或同一水庫大壩的多個安全監(jiān)測數(shù)據(jù)進(jìn)行集中管理，便于對其進(jìn)行統(tǒng)一的數(shù)據(jù)檢索查詢和分析挖掘，從而提升大壩安全監(jiān)測數(shù)據(jù)的管理和利用效率。

技術(shù)特征：

1.一種大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng)，其特征在于，包括依次相連的水庫大壩現(xiàn)場終端、大數(shù)據(jù)存儲裝置和大數(shù)據(jù)應(yīng)用服務(wù)器；

2.根據(jù)權(quán)利要求1所述的一種大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng)，其特征在于，所述大數(shù)據(jù)存儲裝置包括通過交換機(jī)實現(xiàn)互聯(lián)的關(guān)系型數(shù)據(jù)庫服務(wù)器和hdfs分布式文件系統(tǒng)，所述交換機(jī)的輸入端通過第一大數(shù)據(jù)網(wǎng)關(guān)與所述水庫大壩現(xiàn)場終端相連，所述交換機(jī)的輸出端通過第二大數(shù)據(jù)網(wǎng)關(guān)與所述大數(shù)據(jù)應(yīng)用服務(wù)器相連。

3.根據(jù)權(quán)利要求2所述的一種大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng)，其特征在于，所述安全監(jiān)測數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；所述關(guān)系型數(shù)據(jù)庫服務(wù)器用于存儲安全監(jiān)測數(shù)據(jù)中的結(jié)構(gòu)化數(shù)據(jù)，所述hdfs分布式文件系統(tǒng)用于存儲安全監(jiān)測數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的一種大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng)，其特征在于，所述結(jié)構(gòu)化數(shù)據(jù)包括安全監(jiān)測數(shù)據(jù)、水文氣象監(jiān)測數(shù)據(jù)和監(jiān)測整編成果數(shù)據(jù)；

5.根據(jù)權(quán)利要求2所述的一種大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng)，其特征在于，所述hdfs分布式文件系統(tǒng)包括至少一個管理節(jié)點服務(wù)器、以及多個數(shù)據(jù)節(jié)點服務(wù)器；所述管理節(jié)點服務(wù)器和數(shù)據(jù)節(jié)點服務(wù)器之間的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是以交換機(jī)作為中心的星型網(wǎng)絡(luò)連接。

6.根據(jù)權(quán)利要求5所述的一種大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng)，其特征在于，所述管理節(jié)點服務(wù)器用于負(fù)責(zé)處理大數(shù)據(jù)應(yīng)用服務(wù)器的文件訪問請求，并根據(jù)數(shù)據(jù)節(jié)點的負(fù)載情況動態(tài)地分配數(shù)據(jù)存儲和訪問任務(wù)，從而實現(xiàn)負(fù)載均衡；所述數(shù)據(jù)節(jié)點用于負(fù)責(zé)安全監(jiān)測數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù)的存儲和讀取。

7.根據(jù)權(quán)利要求1所述的一種大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng)，其特征在于，所述水庫大壩現(xiàn)場終端以分布式的形式部署在不同的水庫大壩現(xiàn)場，并通過第一大數(shù)據(jù)網(wǎng)關(guān)與大數(shù)據(jù)存儲裝置對接。

技術(shù)總結(jié)
本申請?zhí)岢隽艘环N大壩安全監(jiān)測數(shù)據(jù)管理系統(tǒng)，涉及數(shù)據(jù)管理領(lǐng)域。該系統(tǒng)包括依次相連的水庫大壩現(xiàn)場終端、大數(shù)據(jù)存儲裝置和大數(shù)據(jù)應(yīng)用服務(wù)器；其中，所述水庫大壩現(xiàn)場終端部署在水庫大壩現(xiàn)場，用以收集現(xiàn)場安全監(jiān)測數(shù)據(jù)并上傳至大數(shù)據(jù)存儲裝置；所述大數(shù)據(jù)存儲裝置用于接收并存儲安全監(jiān)測數(shù)據(jù)；所述大數(shù)據(jù)應(yīng)用服務(wù)器通過數(shù)據(jù)接口對接大數(shù)據(jù)存儲裝置，用以讀取存儲在大數(shù)據(jù)存儲裝置中的安全監(jiān)測數(shù)據(jù)，供數(shù)據(jù)挖掘程序進(jìn)行檢索查詢和分析挖掘。該方案通過優(yōu)化安全監(jiān)測數(shù)據(jù)管理系統(tǒng)的拓?fù)浣Y(jié)構(gòu)，可以提升大壩安全監(jiān)測數(shù)據(jù)的管理和利用效率。

技術(shù)研發(fā)人員：牛廣利,姚孟迪,李天旸,張鋒,韓笑,李楊,方豪文,丁長青,鄭謙,沈瑋
受保護(hù)的技術(shù)使用者：長江水利委員會長江科學(xué)院
技術(shù)研發(fā)日：20240530
技術(shù)公布日：2025/1/9