特征在于， 對(duì)這些文本段建立所述數(shù)據(jù)表和倒排索引表時(shí)，一次性讀取同一數(shù)據(jù)來(lái)源的具有相同結(jié)構(gòu) 化線索主鍵鍵值的所有文本段。
4. 根據(jù)權(quán)利要求2所述的為半結(jié)構(gòu)化數(shù)據(jù)構(gòu)建NoSQL數(shù)據(jù)庫(kù)索引的方法，其特征在于， 所述第一組合主鍵中，所述數(shù)據(jù)源主鍵，具體采用文本段的數(shù)據(jù)源加上文本段的結(jié)構(gòu)化線 索原始值的哈希值；和/或在所述第二組合主鍵中，所述數(shù)據(jù)源主鍵，具體采用文本段的數(shù) 據(jù)源加上關(guān)鍵字的哈希值。
5. 根據(jù)權(quán)利要求1-4任意一項(xiàng)所述的為半結(jié)構(gòu)化數(shù)據(jù)構(gòu)建NoSQL數(shù)據(jù)庫(kù)索引的方法， 其特征在于，所述結(jié)構(gòu)化線索為文本段的源數(shù)據(jù)生成時(shí)間。
6. 根據(jù)權(quán)利要求5所述的為半結(jié)構(gòu)化數(shù)據(jù)構(gòu)建NoSQL數(shù)據(jù)庫(kù)索引的方法，其特征在于， 所述結(jié)構(gòu)化線索以確定的順序被分割為若干連續(xù)區(qū)間，是將文本段的源數(shù)據(jù)生成時(shí)間分為 若干時(shí)間段；所述每一區(qū)間分配一個(gè)特定的鍵值作為結(jié)構(gòu)化線索主鍵的鍵值，是以所述時(shí) 間段的起點(diǎn)、終點(diǎn)、中點(diǎn)或者所述時(shí)間段內(nèi)的任意一點(diǎn)的時(shí)間值作為所述特定的鍵值，或者 為所述時(shí)間段確定一個(gè)唯一的標(biāo)識(shí)符號(hào)作為所述特定的鍵值。
7. 根據(jù)權(quán)利要求1所述的為半結(jié)構(gòu)化數(shù)據(jù)構(gòu)建NoSQL數(shù)據(jù)庫(kù)索引的方法，其特征在于， 所述序列值以基值加偏移值的方式表示；所述基值與所述結(jié)構(gòu)化線索主鍵鍵值對(duì)應(yīng)，即，相 同的結(jié)構(gòu)化線索主鍵鍵值對(duì)應(yīng)同一個(gè)基值；所述偏移值以如下方式獲得：對(duì)應(yīng)同一個(gè)結(jié)構(gòu) 化線索主鍵鍵值的每個(gè)文本段，以所述結(jié)構(gòu)化線索原始值的順序?yàn)橐罁?jù)，按照順序賦予相 應(yīng)的偏移值。
8. 根據(jù)權(quán)利要求1所述的為半結(jié)構(gòu)化數(shù)據(jù)構(gòu)建NoSQL數(shù)據(jù)庫(kù)索引的方法，其特征在于， 所述倒排索引表中，記錄相關(guān)文本段標(biāo)識(shí)作為索引值的具體方法是：為對(duì)應(yīng)同一個(gè)數(shù)據(jù)源 主鍵鍵值，并且結(jié)構(gòu)化線索主鍵鍵值相同的所有文本段，提供一個(gè)基值；同時(shí)，為這些文本 段提供一個(gè)二進(jìn)制比特?cái)?shù)組，所述比特?cái)?shù)組中，以第i位二進(jìn)制數(shù)標(biāo)識(shí)第i個(gè)文本段是否包 含所在記錄的關(guān)鍵字主鍵中所列的關(guān)鍵字。
9. 根據(jù)權(quán)利要求1所述的為半結(jié)構(gòu)化數(shù)據(jù)構(gòu)建NoSQL數(shù)據(jù)庫(kù)索引的方法，其特征在于， 若對(duì)應(yīng)同一個(gè)數(shù)據(jù)源主鍵并且具有相同的結(jié)構(gòu)化線索主鍵的所有文本段，均包括某個(gè)關(guān)鍵 字，則在倒排索引表對(duì)應(yīng)所述關(guān)鍵字主鍵的記錄中，其索引值記錄為一個(gè)特殊符號(hào)，所述特 殊符號(hào)表示所有文本段均包含所述關(guān)鍵字；或者，若對(duì)應(yīng)同一個(gè)數(shù)據(jù)源主鍵并且具有相同 的結(jié)構(gòu)化線索主鍵的少量文本段，包括某個(gè)關(guān)鍵字，則直接記錄以整數(shù)表示的文本段偏移 值。
10. -種為半結(jié)構(gòu)化數(shù)據(jù)構(gòu)建NoSQL數(shù)據(jù)庫(kù)索引的裝置，其特征在于，包括以下步驟： 預(yù)處理單元，將半結(jié)構(gòu)化源數(shù)據(jù)進(jìn)行預(yù)處理，獲得若干待存入數(shù)據(jù)庫(kù)的文本段； 數(shù)據(jù)表建立單元，用于建立將所述預(yù)處理后的文本段存儲(chǔ)至數(shù)據(jù)表中；所述數(shù)據(jù)表具 有第一組合主鍵，每個(gè)文本段對(duì)應(yīng)所述第一組合主鍵存儲(chǔ)至相應(yīng)的記錄中；所述第一組合 主鍵包括結(jié)構(gòu)化線索主鍵和序列值主鍵；所述結(jié)構(gòu)化線索主鍵標(biāo)識(shí)結(jié)構(gòu)化線索，所述結(jié)構(gòu) 化線索以確定的順序被分割為若干連續(xù)區(qū)間，每一區(qū)間分配一個(gè)特定的鍵值作為結(jié)構(gòu)化線 索主鍵的鍵值；所述序列值主鍵，是為每個(gè)文本段賦予唯一對(duì)應(yīng)所述文本段的序列值； 倒排索引表建立單元，用于對(duì)所述預(yù)處理后的文本段建立倒排索引表；所述倒排索引 表的主鍵為第二組合主鍵，所述第二組合主鍵包含結(jié)構(gòu)化線索主鍵和關(guān)鍵字主鍵；所述倒 排索引表中，對(duì)應(yīng)上述各個(gè)主鍵的鍵值，記錄相關(guān)的文本段序列標(biāo)識(shí)作為索引值；關(guān)鍵字主 鍵相同，但具有不同的結(jié)構(gòu)化線索主鍵鍵值的索引值，在所述倒排索引表中位于不同的行。
11. 根據(jù)權(quán)利要求10所述的為半結(jié)構(gòu)化數(shù)據(jù)構(gòu)建NoSQL數(shù)據(jù)庫(kù)索引的裝置，其特征在 于： 所述第一組合主鍵包括數(shù)據(jù)源主鍵，所述數(shù)據(jù)源主鍵標(biāo)識(shí)文本段的數(shù)據(jù)來(lái)源； 所述第二組合主鍵同樣包含上述數(shù)據(jù)源主鍵，具有不同的數(shù)據(jù)來(lái)源主鍵鍵值的索引 值，在所述倒排索引表中位于不同的行。
12. 根據(jù)權(quán)利要求10所述的為半結(jié)構(gòu)化數(shù)據(jù)構(gòu)建NoSQL數(shù)據(jù)庫(kù)索引的裝置，其特征在 于，對(duì)這些文本段建立所述數(shù)據(jù)表和倒排索引表時(shí)，一次性讀取同一數(shù)據(jù)來(lái)源的具有相同 結(jié)構(gòu)化線索主鍵鍵值的所有文本段。
13. 根據(jù)權(quán)利要求10所述的為半結(jié)構(gòu)化數(shù)據(jù)構(gòu)建NoSQL數(shù)據(jù)庫(kù)索引的裝置，其特征在 于，所述第一組合主鍵中，所述數(shù)據(jù)源主鍵，具體采用文本段的數(shù)據(jù)源加上文本段的結(jié)構(gòu)化 線索原始值的哈希值；和/或在所述第二組合主鍵中，所述數(shù)據(jù)源主鍵，具體采用文本段的 數(shù)據(jù)源加上關(guān)鍵字的哈希值。
14. 根據(jù)權(quán)利要求10-13任意一項(xiàng)所述的為半結(jié)構(gòu)化數(shù)據(jù)構(gòu)建NoSQL數(shù)據(jù)庫(kù)索引的裝 置，其特征在于，所述結(jié)構(gòu)化線索為文本段的源數(shù)據(jù)生成時(shí)間。
15. 根據(jù)權(quán)利要求14所述的為半結(jié)構(gòu)化數(shù)據(jù)構(gòu)建NoSQL數(shù)據(jù)庫(kù)索引的裝置，其特征在 于，所述結(jié)構(gòu)化線索以確定的順序被分割為若干連續(xù)區(qū)間，是將文本段的源數(shù)據(jù)生成時(shí)間 分為若干時(shí)間段；所述每一區(qū)間分配一個(gè)特定的鍵值作為結(jié)構(gòu)化線索主鍵的鍵值，是以所 述時(shí)間段的起點(diǎn)、終點(diǎn)、中點(diǎn)或者所述時(shí)間段內(nèi)的任意一點(diǎn)的時(shí)間值作為所述特定的鍵值， 或者為所述時(shí)間段確定一個(gè)唯一的標(biāo)識(shí)符號(hào)作為所述特定的鍵值。
16. 根據(jù)權(quán)利要求10所述的為半結(jié)構(gòu)化數(shù)據(jù)構(gòu)建NoSQL數(shù)據(jù)庫(kù)索引的裝置，其特征 在于，所述序列值以基值加偏移值的方式表示；所述基值與所述結(jié)構(gòu)化線索主鍵鍵值對(duì)應(yīng)， 艮P，相同的結(jié)構(gòu)化線索主鍵鍵值對(duì)應(yīng)同一個(gè)基值；所述偏移值以如下方式獲得：對(duì)應(yīng)同一 個(gè)結(jié)構(gòu)化線索主鍵鍵值的每個(gè)文本段，以所述結(jié)構(gòu)化線索原始值的順序?yàn)橐罁?jù)，按照順序 賦予相應(yīng)的偏移值。
17. 根據(jù)權(quán)利要求10所述的為半結(jié)構(gòu)化數(shù)據(jù)構(gòu)建NoSQL數(shù)據(jù)庫(kù)索引的裝置，其特征在 于，所述倒排索引表中，記錄相關(guān)文本段標(biāo)識(shí)作為索引值的具體方法是：為對(duì)應(yīng)同一個(gè)數(shù)據(jù) 源主鍵鍵值、并且結(jié)構(gòu)化線索主鍵鍵值相同的所有文本段，提供一個(gè)基值；同時(shí)，為這些文 本段提供一個(gè)二進(jìn)制比特?cái)?shù)組，所述比特?cái)?shù)組中，以第i位二進(jìn)制數(shù)標(biāo)識(shí)第i個(gè)文本段是否 包含所在記錄的關(guān)鍵字主鍵中所列的關(guān)鍵字。
18. 根據(jù)權(quán)利要求10所述的為半結(jié)構(gòu)化數(shù)據(jù)構(gòu)建NoSQL數(shù)據(jù)庫(kù)索引的裝置，其特征在 于,若對(duì)應(yīng)同一個(gè)數(shù)據(jù)源主鍵并且具有相同的結(jié)構(gòu)化線索主鍵的所有文本段,均包括某個(gè) 關(guān)鍵字，則在倒排索引表對(duì)應(yīng)所述關(guān)鍵字主鍵的記錄中，其索引值記錄為一個(gè)特殊符號(hào)，所 述特殊符號(hào)表示所有文本段均包含所述關(guān)鍵字；或者，若對(duì)應(yīng)同一個(gè)數(shù)據(jù)源主鍵并且具有 相同的結(jié)構(gòu)化線索主鍵的少量文本段，包括某個(gè)關(guān)鍵字，則直接記錄以整數(shù)表示的文本段 偏移值。
【專利摘要】本申請(qǐng)?zhí)峁┮环N為半結(jié)構(gòu)化數(shù)據(jù)構(gòu)建NoSQL數(shù)據(jù)庫(kù)索引的方法，包括：將半結(jié)構(gòu)化源數(shù)據(jù)進(jìn)行預(yù)處理；將預(yù)處理后的文本段存儲(chǔ)至數(shù)據(jù)表中，數(shù)據(jù)表包括結(jié)構(gòu)化線索主鍵和序列值主鍵的第一組合主鍵，結(jié)構(gòu)化線索以確定的順序被分割為若干連續(xù)區(qū)間，每一區(qū)間分配一個(gè)特定的鍵值作為結(jié)構(gòu)化線索主鍵的鍵值；對(duì)預(yù)處理后的文本段建立倒排索引表，倒排索引表包括結(jié)構(gòu)化線索主鍵和關(guān)鍵字主鍵的第二組合主鍵，對(duì)應(yīng)上述各個(gè)主鍵的鍵值，記錄相關(guān)的文本段序列標(biāo)識(shí)作為索引值；關(guān)鍵字主鍵相同，但具有不同的結(jié)構(gòu)化線索主鍵鍵值的索引值，在倒排索引表中位于不同的行；以提高數(shù)據(jù)庫(kù)索引的查詢效率，并便于更新。另外，本申請(qǐng)還提供一種為半結(jié)構(gòu)化數(shù)據(jù)構(gòu)建NoSQL數(shù)據(jù)庫(kù)索引的裝置。
【IPC分類】G06F17-30
【公開(kāi)號(hào)】CN104794123
【申請(qǐng)?zhí)枴緾N201410025080
【發(fā)明人】周琦, 孫廷韜, 蔡華, 林豪
【申請(qǐng)人】阿里巴巴集團(tuán)控股有限公司
【公開(kāi)日】2015年7月22日
【申請(qǐng)日】2014年1月20日
【公告號(hào)】US20150205885, WO2015106711A1, WO2015109250A1