數(shù)據(jù)報(bào)表快速生成方法及系統(tǒng)與流程

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及數(shù)據(jù)報(bào)表快速生成方法及系統(tǒng)。

背景技術(shù)：

互聯(lián)網(wǎng)使用越來越普及，用戶的登陸、下載、瀏覽等網(wǎng)絡(luò)行為會(huì)造成大量的網(wǎng)絡(luò)日志，而如果需要全面的分析一個(gè)用戶的行為從而獲取其消費(fèi)習(xí)慣，用戶畫像等，就避免不了全量分析其日志行為，例如統(tǒng)計(jì)生成報(bào)表等，而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)處理海量數(shù)據(jù)瓶頸顯而易見：查詢速度慢，并且存儲(chǔ)容量有限。

并且，在數(shù)據(jù)處理好之后，在將數(shù)據(jù)制作為一般運(yùn)營(yíng)以及決策人員能方便使用的報(bào)表這一問題上，傳統(tǒng)的MVC框架由于需要開發(fā)數(shù)據(jù)庫(kù)、開發(fā)程序，以及前端展現(xiàn)等，所以開發(fā)周期長(zhǎng)，并且維護(hù)人力成本大，上線修改困難。

技術(shù)實(shí)現(xiàn)要素：

鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供數(shù)據(jù)報(bào)表快速生成方法及系統(tǒng)，用于解決現(xiàn)有技術(shù)中的傳統(tǒng)數(shù)據(jù)庫(kù)架構(gòu)及數(shù)據(jù)分析生成報(bào)表方式效率低下及維護(hù)有難度的問題。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種數(shù)據(jù)報(bào)表快速生成方法，包括：提供數(shù)據(jù)倉(cāng)庫(kù)工具以用于調(diào)用存儲(chǔ)于分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)；提供可視化圖形報(bào)表工具以供操作來生成報(bào)表；其中，所述可視化圖形報(bào)表工具提供用于生成報(bào)表的人機(jī)交互圖形界面，并且，所述可視化圖形報(bào)表工具通過數(shù)據(jù)庫(kù)接口連接所述數(shù)據(jù)倉(cāng)庫(kù)工具以將所述調(diào)用的數(shù)據(jù)作為生成報(bào)表的數(shù)據(jù)源。

于本發(fā)明的一實(shí)施例中，所述操作方式包括：對(duì)實(shí)現(xiàn)報(bào)表形式的功能控件的拖曳和對(duì)報(bào)表參數(shù)選項(xiàng)的選擇；所述生成報(bào)表包括：根據(jù)對(duì)實(shí)現(xiàn)報(bào)表形式的功能控件的拖曳和對(duì)報(bào)表參數(shù)選項(xiàng)的選擇來確定對(duì)應(yīng)所要生成報(bào)表的呈現(xiàn)形式，并結(jié)合所述數(shù)據(jù)源來生成報(bào)表。

于本發(fā)明的一實(shí)施例中，所述分布式存儲(chǔ)系統(tǒng)中存儲(chǔ)的數(shù)據(jù)包括網(wǎng)頁(yè)日志數(shù)據(jù)。

于本發(fā)明的一實(shí)施例中，所述可視化圖形報(bào)表工具通過SQL命令查詢所述調(diào)用的數(shù)據(jù)。

于本發(fā)明的一實(shí)施例中，所述數(shù)據(jù)庫(kù)接口為JDBC接口。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種數(shù)據(jù)報(bào)表快速生成系統(tǒng)，包括：數(shù)據(jù)倉(cāng)庫(kù)工具模塊，用于調(diào)用存儲(chǔ)于分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)；可視化圖形報(bào)表工具模塊，用于供操作來生成報(bào)表；其中，所述可視化圖形報(bào)表工具提供用于生成報(bào)表的人機(jī)交互圖形界面，并且，所述可視化圖形報(bào)表工具通過數(shù)據(jù)庫(kù)接口連接所述數(shù)據(jù)倉(cāng)庫(kù)工具模塊以將所述調(diào)用的數(shù)據(jù)作為生成報(bào)表的數(shù)據(jù)源。

于本發(fā)明的一實(shí)施例中，所述操作方式包括：對(duì)實(shí)現(xiàn)報(bào)表形式的功能控件的拖曳和對(duì)報(bào)表參數(shù)選項(xiàng)的選擇；所述生成報(bào)表包括：根據(jù)對(duì)實(shí)現(xiàn)報(bào)表形式的功能控件的拖曳和對(duì)報(bào)表參數(shù)選項(xiàng)的選擇來確定對(duì)應(yīng)所要生成報(bào)表的呈現(xiàn)形式，并結(jié)合所述數(shù)據(jù)源來生成報(bào)表。

于本發(fā)明的一實(shí)施例中，所述分布式存儲(chǔ)系統(tǒng)中存儲(chǔ)的數(shù)據(jù)包括網(wǎng)頁(yè)日志數(shù)據(jù)。

于本發(fā)明的一實(shí)施例中，所述可視化圖形報(bào)表工具通過SQL命令查詢所述調(diào)用的數(shù)據(jù)。

于本發(fā)明的一實(shí)施例中，所述數(shù)據(jù)庫(kù)接口為JDBC接口

如上所述，本發(fā)明的數(shù)據(jù)報(bào)表快速生成方法及系統(tǒng)，提供數(shù)據(jù)倉(cāng)庫(kù)工具以用于調(diào)用存儲(chǔ)于分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)；提供可視化圖形報(bào)表工具以供操作來生成報(bào)表；其中，所述可視化圖形報(bào)表工具提供用于生成報(bào)表的人機(jī)交互圖形界面，并且，所述可視化圖形報(bào)表工具通過數(shù)據(jù)庫(kù)接口連接所述數(shù)據(jù)倉(cāng)庫(kù)工具以將所述調(diào)用的數(shù)據(jù)作為生成報(bào)表的數(shù)據(jù)源。通過該些軟件工具的組合，可以快速連接到分布式存儲(chǔ)系統(tǒng)來調(diào)用數(shù)據(jù)，并且方便快捷的供用戶自行定制出所需形式及內(nèi)容報(bào)表，大大提升工作效率，降低維護(hù)難度。

附圖說明

圖1顯示為本發(fā)明于一實(shí)施例中的數(shù)據(jù)報(bào)表快速生成方法的流程示意圖。

圖2及圖3顯示為本發(fā)明于一實(shí)施例中的可視化圖形報(bào)表工具的操作界面的示意圖。

圖4顯示為本發(fā)明于一實(shí)施例中的數(shù)據(jù)報(bào)表快速生成系統(tǒng)的模塊示意圖。

元件標(biāo)號(hào)說明

200 數(shù)據(jù)報(bào)表快速生成系統(tǒng)

201 數(shù)據(jù)倉(cāng)庫(kù)工具模塊

202 可視化圖形報(bào)表工具模塊

S101～S102 方法步驟

具體實(shí)施方式

以下通過特定的具體實(shí)例說明本發(fā)明的實(shí)施方式，本領(lǐng)域技術(shù)人員可由本說明書所揭露的內(nèi)容輕易地了解本發(fā)明的其他優(yōu)點(diǎn)與功效。本發(fā)明還可以通過另外不同的具體實(shí)施方式加以實(shí)施或應(yīng)用，本說明書中的各項(xiàng)細(xì)節(jié)也可以基于不同觀點(diǎn)與應(yīng)用，在沒有背離本發(fā)明的精神下進(jìn)行各種修飾或改變。需說明的是，在不沖突的情況下，以下實(shí)施例及實(shí)施例中的特征可以相互組合。

需要說明的是，以下實(shí)施例中所提供的圖示僅以示意方式說明本發(fā)明的基本構(gòu)想，遂圖式中僅顯示與本發(fā)明中有關(guān)的組件而非按照實(shí)際實(shí)施時(shí)的組件數(shù)目、形狀及尺寸繪制，其實(shí)際實(shí)施時(shí)各組件的型態(tài)、數(shù)量及比例可為一種隨意的改變，且其組件布局型態(tài)也可能更為復(fù)雜。

在本發(fā)明的技術(shù)方案中，可利用分布式存儲(chǔ)系統(tǒng)來存儲(chǔ)數(shù)據(jù)；所述數(shù)據(jù)包括網(wǎng)頁(yè)日志數(shù)據(jù)；對(duì)于網(wǎng)絡(luò)訪問來說，網(wǎng)頁(yè)日志數(shù)據(jù)可以反映用戶的行為，比如登陸，下載或者瀏覽網(wǎng)頁(yè)等；將表征該些行為的網(wǎng)頁(yè)日志數(shù)據(jù)記錄到Hadoop分布式文件系統(tǒng)(HDFS)中，由于HDFS具有高存儲(chǔ)性以及高可用性，保證了日志即使數(shù)據(jù)量非常大，也不會(huì)造成不可訪問，訪問困難等問題，而通過Hadoop的mapreduce程序，可以分片以及化簡(jiǎn)式的訪問HDFS中的文件。

大文件在放入到HDFS上之后，實(shí)際上是被分割成一個(gè)個(gè)小的文件塊(block)存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)中(datanode)，而元數(shù)據(jù)信息，也就是哪臺(tái)計(jì)算機(jī)存儲(chǔ)哪些數(shù)據(jù)塊以及為了容錯(cuò)和高可用而設(shè)置的同樣數(shù)據(jù)塊在不同數(shù)據(jù)節(jié)點(diǎn)上的相互備份信息則存儲(chǔ)在名稱節(jié)點(diǎn)(namenode)中；名稱節(jié)點(diǎn)負(fù)責(zé)啟動(dòng)守護(hù)進(jìn)程、啟動(dòng)任務(wù)程序以及為每個(gè)數(shù)據(jù)節(jié)點(diǎn)上分配任務(wù)等工作。

請(qǐng)參閱圖1，本發(fā)明提供一種數(shù)據(jù)報(bào)表快速生成方法，包括：

步驟S101：提供數(shù)據(jù)倉(cāng)庫(kù)工具以用于調(diào)用存儲(chǔ)于分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)。

在實(shí)際的開發(fā)過程中，開發(fā)人員需要開發(fā)相應(yīng)的mapreduce程序來完成普通的查詢，比如聚合查詢、聯(lián)合查詢、關(guān)聯(lián)子查詢等。需要將相應(yīng)的查詢?nèi)蝿?wù)編寫為一個(gè)個(gè)map reduce程序，這樣的好處是定制化程度高，可以根據(jù)需要開發(fā)出自由靈活的查詢?nèi)蝿?wù)。但是其缺點(diǎn)也顯而易見，開發(fā)周期長(zhǎng)、有較高的門檻(mapreduce程序同程由Java或者Python程序員開發(fā)完成)。對(duì)于要求快速更新迭代的報(bào)表系統(tǒng)來說，人工開發(fā)mapreduce程序并不合適。

因此，于本發(fā)明的一實(shí)施例中，可以采用所述數(shù)據(jù)倉(cāng)庫(kù)工具來進(jìn)行HDFS的數(shù)據(jù)查詢，其可例如為Hive，Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供簡(jiǎn)單的sql查詢功能，可以將sql語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行，其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過類SQL語(yǔ)句快速實(shí)現(xiàn)簡(jiǎn)單的MapReduce統(tǒng)計(jì)，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)計(jì)分析。則為數(shù)據(jù)開發(fā)人員簡(jiǎn)化了上述的操作，從而提升了數(shù)據(jù)訪問(如查詢)的效率。

步驟S102：提供可視化圖形報(bào)表工具以供操作來生成報(bào)表。

所述可視化圖形報(bào)表工具提供用于生成報(bào)表的人機(jī)交互圖形界面，并且，所述可視化圖形報(bào)表工具通過數(shù)據(jù)庫(kù)接口連接所述數(shù)據(jù)倉(cāng)庫(kù)工具以將所述調(diào)用的數(shù)據(jù)作為生成報(bào)表的數(shù)據(jù)源。

具體的，所述可視化圖形報(bào)表工具可例如為BIRT，BIRT(Business Intelligence and Reporting Tools)，是為Web應(yīng)用程序開發(fā)的基于Eclipse的開源報(bào)表系統(tǒng)，特別之處在于它是以Java和JavaEE為基礎(chǔ)；BIRT有兩個(gè)主要組件：基于Eclipse的報(bào)表設(shè)計(jì)器，以及部署到應(yīng)用服務(wù)器上的運(yùn)行時(shí)組件。

BIRT用于構(gòu)建豐富的報(bào)表，報(bào)表形式包括：列表、圖表、混合報(bào)表等；

列表－列表是最簡(jiǎn)單的報(bào)表。當(dāng)列表變長(zhǎng)時(shí)，你可以把相關(guān)數(shù)據(jù)增加到同一分組(基于客戶的訂單分組，基于供應(yīng)商的產(chǎn)品分組)。如果數(shù)據(jù)是數(shù)字類型的，你可以輕松的添加到“總數(shù)”、“平均”、或其他匯總中。

圖表－當(dāng)需要圖表表現(xiàn)時(shí)，數(shù)字型數(shù)據(jù)比較好理解。BIRT也提供餅狀、線狀以及柱狀圖標(biāo)等。

混合報(bào)表－很多報(bào)表需要聯(lián)合以上所有的報(bào)表構(gòu)成單一文檔。例如，一份客戶聲明會(huì)列出客戶所需要的信息，為當(dāng)前促進(jìn)(promotions)提供文本，以及提供并行的出帳和入帳列表。一份財(cái)政報(bào)表將包括聲明、圖表、表格，所有這些都將進(jìn)行全方位的格式化，來匹配共有的配色方案。

所述數(shù)據(jù)接口可例如為BIRT的JDBC接口，由于報(bào)表中很少有直接的明細(xì)查詢，而是通過查一系列的匯總值從而得出某些趨勢(shì)、關(guān)聯(lián)關(guān)系或者其他一些結(jié)論，這就需要相應(yīng)的sql語(yǔ)句來實(shí)現(xiàn)數(shù)據(jù)訪問，在BIRT連接Hive后，可以直接在BIRT中的Data Set中編寫sql語(yǔ)句，實(shí)現(xiàn)對(duì)HDFS存儲(chǔ)的海量數(shù)據(jù)進(jìn)行具體的查詢操作，以作為制作報(bào)表的數(shù)據(jù)源；在其它實(shí)施例中，所述數(shù)據(jù)源并不僅限于Hive，亦可選擇其它現(xiàn)有數(shù)據(jù)源，例如XML數(shù)據(jù)源，Excel數(shù)據(jù)源等等，此處不一一列舉。

BIRT提供用戶人機(jī)交互操作的圖形界面，在編寫完sql后，可以得到運(yùn)營(yíng)或者其他報(bào)表需求者所需要的相應(yīng)字段，則在BIRT中的人機(jī)交互圖形界面中可以直接通過拖拽相應(yīng)的控件，然后拖拽相應(yīng)的字段便可實(shí)現(xiàn)對(duì)報(bào)表的快速制作開發(fā)，以供操作而生成圖表、列表或圖標(biāo)與列表混合形式的報(bào)表；例如圖2所示，展示拖曳方式生成圖表的功能：拖拽“Chart”(用于生成圖表的功能控件)到工作版后，只需要配置簡(jiǎn)單的參數(shù)即可實(shí)現(xiàn)類似餅圖，柱狀圖等常用圖表的開發(fā)；或者如圖3所示，對(duì)于生成表格類報(bào)表，BIRT也可以通過確定“日期”、“CP編碼”、“CP名稱”、“業(yè)務(wù)編碼”等列表字段，例如可以在人機(jī)交互圖形界面中直接通過拖拽相應(yīng)的列表功能控件，然后拖拽相應(yīng)的字段“日期”、“CP編碼”、“CP名稱”、“業(yè)務(wù)編碼”等便可實(shí)現(xiàn)對(duì)報(bào)表的快速制作開發(fā)，并可選擇列表參數(shù)(例如字體FORT、顏色Color，尺寸Size等)來實(shí)現(xiàn)報(bào)表格式的制作，從而省去了CSS等腳本的開發(fā)渲染；在通過操作確定報(bào)表形式后即可結(jié)合數(shù)據(jù)源來生成對(duì)應(yīng)的報(bào)表。

需特別說明的是，雖然在上述實(shí)施例中，雖然采用的數(shù)據(jù)倉(cāng)庫(kù)工具是Hive，采用的可視化圖形報(bào)表工具是BIRT，但是此僅為舉例，在其它實(shí)施例中亦可加以變化并而非以上述為限。

例如，所述數(shù)據(jù)倉(cāng)庫(kù)工具也可以使用Pig，Pig是一個(gè)基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺(tái)，它提供的SQL-LIKE語(yǔ)言叫Pig Latin，該語(yǔ)言的編譯器會(huì)把類SQL的數(shù)據(jù)分析請(qǐng)求轉(zhuǎn)換為一系列經(jīng)過優(yōu)化處理的MapReduce運(yùn)算，Pig為復(fù)雜的海量數(shù)據(jù)并行計(jì)算提供了一個(gè)簡(jiǎn)單的操作和編程接口；而可視化圖形報(bào)表工具也可例如為JasperReports、Pentaho、OpenReports、JFreeReport、JXLS等，JasperReports是一個(gè)基于Java的開源報(bào)表工具，它可以在Java環(huán)境下像其它IDE報(bào)表工具一樣來制作報(bào)表。JasperReports支持PDF、HTML、XLS、CSV和XML文件輸出格式；Pentaho是一個(gè)以工作流為核心的、強(qiáng)調(diào)面向解決方案而非工具組件的BI套件，整合了多個(gè)開源項(xiàng)目，目標(biāo)是和商業(yè)BI相抗衡。它偏向于與業(yè)務(wù)流程相結(jié)合的BI解決方案，側(cè)重于大中型企業(yè)應(yīng)用。它允許商業(yè)分析人員或開發(fā)人員創(chuàng)建報(bào)表，儀表盤，分析模型，商業(yè)規(guī)則和BI流程。OpenReports是一個(gè)基于web的報(bào)表解決方案，可為用戶提供通過瀏覽器查看動(dòng)態(tài)創(chuàng)建的PDF、HTML或XLS格式報(bào)表的能力。OpenReports使用Java開發(fā)的，并使用JasperReports作為報(bào)表生成引擎。JFreeReport(現(xiàn)改名為Pentaho Reporting)是一個(gè)用來生成報(bào)表的Java類庫(kù)。它為Java應(yīng)用程序提供一個(gè)靈活的打印功能并支持輸出到打印機(jī)和PDF,Excel,HTML和XHTML,PlainText,XML和CSV文件中。JXLS是基于Jakarta POIAPI的Excel報(bào)表生成工具，可以生成精美的Excel格式報(bào)表。它采用標(biāo)簽的方式，類似JSP標(biāo)簽。

如圖4所示，本發(fā)明提供一種數(shù)據(jù)報(bào)表快速生成系統(tǒng)200，其原理與上述方法實(shí)施例大致相同，因此相同的技術(shù)細(xì)節(jié)不作重復(fù)贅述，所述系統(tǒng)200包括：數(shù)據(jù)倉(cāng)庫(kù)工具模塊201，用于調(diào)用存儲(chǔ)于分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)；可視化圖形報(bào)表工具模塊202，用于供操作來生成報(bào)表；其中，所述可視化圖形報(bào)表工具提供用于生成報(bào)表的人機(jī)交互圖形界面，并且，所述可視化圖形報(bào)表工具通過數(shù)據(jù)庫(kù)接口連接所述數(shù)據(jù)倉(cāng)庫(kù)工具模塊以將所述調(diào)用的數(shù)據(jù)作為生成報(bào)表的數(shù)據(jù)源。

于本發(fā)明的一實(shí)施例中，所述操作方式包括：對(duì)實(shí)現(xiàn)報(bào)表形式的功能控件的拖曳和對(duì)報(bào)表參數(shù)選項(xiàng)的選擇；所述生成報(bào)表包括：根據(jù)對(duì)實(shí)現(xiàn)報(bào)表形式的功能控件的拖曳和對(duì)報(bào)表參數(shù)選項(xiàng)的選擇來確定對(duì)應(yīng)所要生成報(bào)表的呈現(xiàn)形式，并結(jié)合所述數(shù)據(jù)源來生成報(bào)表。

于本發(fā)明的一實(shí)施例中，所述分布式存儲(chǔ)系統(tǒng)中存儲(chǔ)的數(shù)據(jù)包括網(wǎng)頁(yè)日志數(shù)據(jù)。

于本發(fā)明的一實(shí)施例中，所述可視化圖形報(bào)表工具通過SQL命令查詢所述調(diào)用的數(shù)據(jù)。

于本發(fā)明的一實(shí)施例中，所述數(shù)據(jù)庫(kù)接口為JDBC接口。

所述系統(tǒng)200可以運(yùn)行于服務(wù)器/服務(wù)器組來實(shí)現(xiàn)功能。

綜上所述，本發(fā)明的數(shù)據(jù)報(bào)表快速生成方法及系統(tǒng)，提供數(shù)據(jù)倉(cāng)庫(kù)工具以用于調(diào)用存儲(chǔ)于分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)；提供可視化圖形報(bào)表工具以供操作來生成報(bào)表；其中，所述可視化圖形報(bào)表工具提供用于生成報(bào)表的人機(jī)交互圖形界面，并且，所述可視化圖形報(bào)表工具通過數(shù)據(jù)庫(kù)接口連接所述數(shù)據(jù)倉(cāng)庫(kù)工具以將所述調(diào)用的數(shù)據(jù)作為生成報(bào)表的數(shù)據(jù)源。通過該些軟件工具的組合，可以快速連接到分布式存儲(chǔ)系統(tǒng)來調(diào)用數(shù)據(jù)，并且方便快捷的供用戶自行定制出所需形式及內(nèi)容報(bào)表，大大提升工作效率，降低維護(hù)難度。

本發(fā)明有效克服了現(xiàn)有技術(shù)中的種種缺點(diǎn)而具高度產(chǎn)業(yè)利用價(jià)值。

上述實(shí)施例僅例示性說明本發(fā)明的原理及其功效，而非用于限制本發(fā)明。任何熟悉此技術(shù)的人士皆可在不違背本發(fā)明的精神及范疇下，對(duì)上述實(shí)施例進(jìn)行修飾或改變。因此，舉凡所屬技術(shù)領(lǐng)域中具有通常知識(shí)者在未脫離本發(fā)明所揭示的精神與技術(shù)思想下所完成的一切等效修飾或改變，仍應(yīng)由本發(fā)明的權(quán)利要求所涵蓋。