語音識別方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種語音識別方法，在接收到語音信號時，控制圖像采集裝置進行圖像采集，并在所述語音信號結(jié)束時，控制所述圖像采集裝置停止圖像采集；對接收到的語音信號進行識別，以得到語音信號識別結(jié)果；對采集到的圖像中包含唇部的圖像進行唇語識別，以得到唇語識別結(jié)果；計算所述語音信號識別結(jié)果和唇語識別結(jié)果的準(zhǔn)確度，將準(zhǔn)確度較高的識別結(jié)果作為當(dāng)前的語音識別結(jié)果。本發(fā)明還公開了一種語音識別系統(tǒng)。本發(fā)明提高了語音識別的準(zhǔn)確性。
【專利說明】語音識別方法和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及語音控制領(lǐng)域，尤其涉及語音識別方法和系統(tǒng)。
【背景技術(shù)】
[0002] 隨著語音交互的飛速發(fā)展，通過語音的方式控制終端（如電視以及空調(diào)器等），或 者通過語音的方式進行數(shù)據(jù)輸入已成為應(yīng)用非常廣泛的方式。目前，語音交互仍存在諸多 問題，如語音識別不準(zhǔn)確，易受環(huán)境影響較大，例如周圍有人聲嘈雜或者有背景音樂的話， 語音采集裝置采集到的語音信號包括人發(fā)出的語音信號以及周圍的噪音信號，使得終端無 法準(zhǔn)確識別接受到的語音信號，導(dǎo)致語音識別不夠準(zhǔn)確。
【發(fā)明內(nèi)容】
[0003] 本發(fā)明的主要目的在于提出一種語音識別方法和系統(tǒng)，旨在解決語音識別不夠準(zhǔn) 確的技術(shù)問題。
[0004] 為實現(xiàn)上述目的，本發(fā)明提供的一種語音識別方法，所述語音識別方法包括以下 步驟：
[0005] 在接收到語音信號時，控制圖像采集裝置進行圖像采集，并在所述語音信號結(jié)束 時，控制所述圖像采集裝置停止圖像采集；
[0006] 對接收到的語音信號進行識別，以得到語音信號識別結(jié)果；
[0007] 對采集到的圖像中包含唇部的圖像進行唇語識別，以得到唇語識別結(jié)果；
[0008] 計算所述語音信號識別結(jié)果和唇語識別結(jié)果的準(zhǔn)確度，將準(zhǔn)確度較高的識別結(jié)果 作為當(dāng)前的語音識別結(jié)果。
[0009] 優(yōu)選地，所述對采集到的圖像中包含唇部的圖像進行唇語識別，以得到唇語識別 結(jié)果的步驟包括：
[0010] 確定采集到的圖像中包含唇部的圖像，將所述包含唇部的圖像作為有效圖像，并 確定所述有效圖像中唇部的位置；
[0011] 根據(jù)每一幀所述有效圖像的唇形以及上一幀所述有效圖像的唇形確定用戶輸出 的字符；
[0012] 基于每一幀所述有效圖像對應(yīng)的字符組成唇語識別結(jié)果。
[0013] 優(yōu)選地，所述確定采集到的圖像中包含唇部的圖像，將所述包含唇部的圖像作為 有效圖像，并確定所述有效圖像中唇部位置的步驟包括：
[0014] 確定采集到的每幀圖像中臉部輪廓；
[0015] 將臉部輪廓內(nèi)的各個像素點色度值與預(yù)存的人臉中各個像素點的色度值進行比 對，以確定采集到的每幀圖像中臉部位置；
[0016] 確定臉部位置中眼部位置，并基于眼部位置以及唇部位置之間的相對位置確定唇 部區(qū)域；
[0017] 將唇部區(qū)域中各個像素點的RGB色度值進行比對；
[0018] 在唇部區(qū)域存在RGB色度值滿足預(yù)設(shè)條件的像素點時，確定該幀圖像為包含唇部 的圖像，將所述包含唇部的圖像作為有效圖像；
[0019] 基于唇部區(qū)域中各個像素點的RGB色度值確定唇部的位置。
[0020] 優(yōu)選地，所述對接收到的語音信號進行識別，以得到語音信號識別結(jié)果的步驟包 括：
[0021] 將接收到的語音信號轉(zhuǎn)換成字符串，并按照預(yù)設(shè)的關(guān)鍵詞庫，將所述字符串拆分 為多個關(guān)鍵詞；
[0022] 標(biāo)注各個所述關(guān)鍵詞的詞性，確定各個相鄰的關(guān)鍵詞之間的詞性是否匹配；
[0023] 在有相鄰的關(guān)鍵詞之間的詞性不匹配時，將所述不匹配關(guān)鍵詞作為第一關(guān)鍵詞， 并確定預(yù)設(shè)的混淆音詞庫是否存在所述第一關(guān)鍵詞；
[0024] 在所述混淆音詞庫存在所述不匹配的關(guān)鍵詞時，確定所述混淆音詞庫中所述第一 關(guān)鍵詞對應(yīng)的第-關(guān)鍵詞；
[0025] 將所述第一關(guān)鍵詞替換為第二關(guān)鍵詞，并在替換后的第二關(guān)鍵詞與相鄰關(guān)鍵詞之 間詞性匹配時，將替換后的第二關(guān)鍵詞以及其它關(guān)鍵詞重新組合成為語音信號識別結(jié)果， 并將重新組合的唇語識別結(jié)果作為當(dāng)前的語音信號識別結(jié)果。
[0026] 優(yōu)選地，所述計算所述語音信號識別結(jié)果和唇語識別結(jié)果的準(zhǔn)確度，將準(zhǔn)確度較 高的識別結(jié)果作為當(dāng)前的語音識別結(jié)果的步驟包括：
[0027] 將所述語音信號識別以及唇語識別結(jié)果拆分為多個關(guān)鍵詞；
[0028] 確定所述語音信號識別結(jié)果拆分成的關(guān)鍵詞中，各個相鄰關(guān)鍵詞的之間的第一 關(guān)聯(lián)度，并確定所述唇語識別結(jié)果拆分成的關(guān)鍵詞中，各個相鄰關(guān)鍵詞的之間的第二關(guān)聯(lián) 度；
[0029] 對確定的第一關(guān)聯(lián)度求和，得到所述語音信號識別結(jié)果的準(zhǔn)確度，并對確定的第 二關(guān)聯(lián)度求和，得到所述語音信號識別結(jié)果的準(zhǔn)確度；
[0030] 將準(zhǔn)確度較高的識別結(jié)果作為當(dāng)前的語音識別結(jié)果。
[0031] 此外，為實現(xiàn)上述目的，本發(fā)明還提出一種語音識別系統(tǒng)，其特征在于，所述語音 識別系統(tǒng)包括：
[0032] 控制模塊，用于在接收到語音信號時，控制圖像采集裝置進行圖像采集，并在所述 語音信號結(jié)束時，控制所述圖像采集裝置停止圖像采集；
[0033] 語音信號識別模塊，用于對接收到的語音信號進行識別，以得到語音信號識別結(jié) 果；
[0034] 唇語識別模塊，用于對采集到的圖像中包含唇部的圖像進行唇語識別，以得到唇 語識別結(jié)果；
[0035] 處理模塊，用于計算所述語音信號識別結(jié)果和唇語識別結(jié)果的準(zhǔn)確度，將準(zhǔn)確度 較高的識別結(jié)果作為當(dāng)前的語音識別結(jié)果。
[0036] 優(yōu)選地，所述唇語識別模塊包括：
[0037] 唇部定位子模塊，用于確定采集到的圖像中包含唇部的圖像，將所述包含唇部的 圖像作為有效圖像，并確定所述有效圖像中唇部位置；
[0038] 確定子模塊，用于根據(jù)每一幀所述有效圖像的唇形以及上一幀所述有效圖像的唇 形確定用戶輸出的字符；
[0039] 重組子模塊，用于基于每一幀所述有效圖像對應(yīng)的字符組成唇語識別結(jié)果。
[0040] 優(yōu)選地，所述唇部定位子模塊包括：
[0041] 臉部輪廓確定單元，用于確定采集到的每幀圖像中臉部輪廓；
[0042] 臉部位置定位單元，用于將確定的臉部輪廓內(nèi)的各個像素點色度值與預(yù)存的人臉 中各個像素點的色度值進行比對，以確定采集到的每幀圖像中臉部位置；
[0043] 唇部區(qū)域定位單元，用于確定臉部位置中眼部位置，并基于眼部位置以及唇部位 置之間的相對位置確定唇部區(qū)域；
[0044] 比對單元，用于將唇部區(qū)域中各個像素點的RGB色度值進行比對；
[0045] 處理單元，用于在唇部區(qū)域存在RGB色度值滿足預(yù)設(shè)條件的像素點時，確定該幀 圖像為包含唇部的圖像，將所述包含唇部的圖像作為有效圖像；
[0046] 唇部位置定位單元，用于基于唇部區(qū)域中各個像素點的RGB色度值確定唇部的位 置。
[0047] 優(yōu)選地，所述語音信號識別模塊包括：
[0048] 轉(zhuǎn)換子模塊，用于將接收到的語音信號轉(zhuǎn)換成字符串；
[0049] 拆分子模塊，按照預(yù)設(shè)的關(guān)鍵詞庫，將所述字符串拆分為多個關(guān)鍵詞；
[0050] 詞性匹配子模塊，用于標(biāo)注各個所述關(guān)鍵詞的詞性，，確定各個相鄰的關(guān)鍵詞之間 的詞性是否匹配；
[0051] 確定子模塊，用于在有相鄰的關(guān)鍵詞之間的詞性不匹配時，將所述不匹配關(guān)鍵詞 作為第一關(guān)鍵詞，并確定預(yù)設(shè)的混淆音詞庫是否存在所述第一關(guān)鍵詞，以及在所述混淆音 詞庫存在所述不匹配的關(guān)鍵詞時，確定所述混淆音詞庫中所述第一關(guān)鍵詞對應(yīng)的第二關(guān)鍵 詞；
[0052] 處理子模塊，用于將所述第一關(guān)鍵詞替換為第二關(guān)鍵詞，并在替換后的第二關(guān)鍵 詞與相鄰關(guān)鍵詞之間詞性匹配時，將替換后的第二關(guān)鍵詞以及其它關(guān)鍵詞重新組合成為語 音信號識別結(jié)果，并將重新組合的唇語識別結(jié)果作為當(dāng)前的語音信號識別結(jié)果。
[0053] 優(yōu)選地，所述處理模塊包括：
[0054] 拆分子模塊，用于將所述語音信號識別以及唇語識別結(jié)果拆分為多個關(guān)鍵詞；
[0055] 關(guān)聯(lián)度計算子模塊，用于確定所述語音信號識別結(jié)果拆分成的關(guān)鍵詞中，各個相 鄰關(guān)鍵詞的之間的第一關(guān)聯(lián)度，并確定所述唇語識別結(jié)果拆分成的關(guān)鍵詞中，各個相鄰關(guān) 鍵詞的之間的第二關(guān)聯(lián)度；
[0056] 準(zhǔn)確度計算子模塊，用于對確定的第一關(guān)聯(lián)度求和，得到所述語音信號識別結(jié)果 的準(zhǔn)確度，并對確定的第二關(guān)聯(lián)度求和，得到所述語音信號識別結(jié)果的準(zhǔn)確度；
[0057] 處理子模塊，用于將準(zhǔn)確度較高的識別結(jié)果作為當(dāng)前的語音識別結(jié)果。
[0058] 本發(fā)明提出的語音識別方法和系統(tǒng)，同時進行語音信號以及唇語的識別，并計算 所述語音信號識別結(jié)果和唇語識別結(jié)果的準(zhǔn)確度，將準(zhǔn)確度較高的識別結(jié)果作為當(dāng)前的識 別結(jié)果，而不是僅僅單一識別語音信號，提高了語音識別的準(zhǔn)確性。
【專利附圖】
【附圖說明】
[0059] 圖1為本發(fā)明語音識別方法較佳實施例的流程示意圖；
[0060] 圖2為圖1中步驟S20的細(xì)化流程示意圖；
[0061] 圖3為圖1中步驟S30的細(xì)化流程示意圖；
[0062] 圖4為圖3中步驟S31的細(xì)化流程示意圖；
[0063] 圖5為圖1中步驟S40的細(xì)化流程示意圖；
[0064] 圖6為本發(fā)明語音識別系統(tǒng)較佳實施例的功能模塊示意圖；
[0065] 圖7為圖6中語音信號識別模塊的細(xì)化功能模塊示意圖；
[0066] 圖8為圖6中唇語識別模塊的細(xì)化功能模塊示意圖；
[0067] 圖9為圖8中唇部定位子模塊的細(xì)化功能模塊示意圖；
[0068] 圖10為圖6中處理模塊的細(xì)化功能模塊示意圖。
[0069] 本發(fā)明目的的實現(xiàn)、功能特點及優(yōu)點將結(jié)合實施例，參照附圖做進一步說明。
【具體實施方式】
[0070] 應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0071] 本發(fā)明提供一種語音識別方法。
[0072] 參照圖1，圖1為本發(fā)明語音識別方法較佳實施例的流程示意圖。
[0073] 本實施例提出的語音識別方法優(yōu)選運行于被控終端（如電視機以及空調(diào)器等） 中，被控終端基于語音識別接收進行相應(yīng)的操作；或者語音識別方法可運行于控制終端，控 制終端將語音信號識別結(jié)果對應(yīng)的代碼傳輸至相應(yīng)的被控終端。
[0074] 本實施例提出一種語音識別方法，所述語音識別方法包括：
[0075] 步驟S10,在接收到語音信號時，控制圖像采集裝置進行圖像采集，并在所述語音 信號結(jié)束時，控制所述圖像采集裝置停止圖像采集；
[0076] 在本實施例中，僅在接收到語音信號時才控制圖像采集裝置進行圖像采集，而在 未接受語音信號時處于休眠狀態(tài)，以減少能耗，例如，在預(yù)設(shè)時間間隔內(nèi)未接受到語音信號 時，控制所述圖像采集裝置進入休眠狀態(tài)。
[0077] 本領(lǐng)域技術(shù)人員可以理解的是，可控制圖像采集裝置實時或定時進行圖像采集， 在接收到語音信號時，確定接收到的語音信號的第一時間點以及語音信號結(jié)束的第二時間 點，獲取圖像采集裝置在該第一時間點以及第二時間點之間采集到的圖像。
[0078] 步驟S20,對接收到的語音信號進行識別，以得到語音信號識別結(jié)果；
[0079] 在本實施例中，可通過將語音信號轉(zhuǎn)換為字符信號得到語音信號識別結(jié)果。進一 步地，為提高語音信號識別結(jié)果的準(zhǔn)確性，可對語音信號轉(zhuǎn)換的字符串進行糾錯，具體糾錯 過程參照圖2,所述步驟S20包括：
[0080] 步驟S21，將接收到的語音信號轉(zhuǎn)換成字符串，并按照預(yù)設(shè)的關(guān)鍵詞庫，將所述字 符串拆分為多個關(guān)鍵詞；
[0081] 可預(yù)設(shè)包括多個關(guān)鍵詞的關(guān)鍵詞庫，將語音信號轉(zhuǎn)換得到的字符串與詞庫中存儲 的關(guān)鍵詞進行比對，并確定預(yù)設(shè)的關(guān)鍵詞庫中與字符串匹配的關(guān)鍵詞，并將該字符串拆分 為各個匹配的關(guān)鍵詞。本領(lǐng)域技術(shù)人員可以理解的是，關(guān)鍵詞庫中可不用設(shè)置數(shù)字類的關(guān) 鍵詞，在確定與字符串匹配的關(guān)鍵詞后，可先提取字符串中匹配的關(guān)鍵詞，并將字符串中剩 余的不匹配的部分作為一個關(guān)鍵詞。例如，語音信號轉(zhuǎn)換得到的字符串為"電視機，切換至 23頻道"，則該字符串與預(yù)設(shè)的關(guān)鍵詞庫中的關(guān)鍵詞匹配的為"電視機、切換、至以及頻道"， 則由字符串中直接提取出"電視機、切換、至以及頻道"，然后將剩余的"23"作為一個關(guān)鍵 T^lJ〇
[0082] 步驟S22,標(biāo)注各個所述關(guān)鍵詞的詞性，確定各個相鄰的關(guān)鍵詞之間的詞性是否匹 配；
[0083] 該關(guān)鍵詞的詞性可為名詞、動詞、形容詞、副詞以及介詞等，可預(yù)約各類詞性的搭 配，例如在相鄰的關(guān)鍵詞為動詞+形容詞時，則認(rèn)為相鄰的關(guān)鍵詞之間詞性不匹配，可能存 在識別錯誤。
[0084] 步驟S23,在有相鄰的關(guān)鍵詞之間的詞性不匹配時，將所述不匹配關(guān)鍵詞作為第一 關(guān)鍵詞，并確定預(yù)設(shè)的混淆音詞庫是否存在所述第一關(guān)鍵詞；
[0085] 步驟S24,在所述混淆音詞庫存在所述不匹配的關(guān)鍵詞時，確定所述混淆音詞庫中 所述第一關(guān)鍵詞對應(yīng)的第二關(guān)鍵詞；
[0086] 在本實施例中，可預(yù)設(shè)混淆音詞庫，該混淆音詞庫中可設(shè)置在語音信號轉(zhuǎn)換為字 符串時容易混渚的關(guān)鍵詞，各個易混渚的關(guān)鍵詞關(guān)聯(lián)保存。在相鄰的關(guān)鍵詞不匹配時，可將 該不配的關(guān)鍵詞作為第一關(guān)鍵詞與混淆音詞庫中的關(guān)鍵詞進行比對，以對錯誤的關(guān)鍵詞進 行糾錯。
[0087] 本領(lǐng)域技術(shù)人員可以理解的是，在所述混淆音詞庫中不存在所述不匹配的關(guān)鍵詞 時，可將轉(zhuǎn)換得到的字符串作為當(dāng)前的語音信號識別結(jié)果。
[0088] 步驟S25,將所述第一關(guān)鍵詞替換為第二關(guān)鍵詞，并在替換后的第二關(guān)鍵詞與相鄰 關(guān)鍵詞之間詞性匹配時，將替換后的第二關(guān)鍵詞以及其它關(guān)鍵詞重新組合成為語音信號識 別結(jié)果，并將重新組合的唇語識別結(jié)果作為當(dāng)前的語音信號識別結(jié)果。
[0089] 本領(lǐng)域技術(shù)人員可以理解的是，在替換后的第二關(guān)鍵詞與相鄰關(guān)鍵詞之間詞性不 匹配，且所述第二關(guān)鍵詞存在多個時，將所述第一關(guān)鍵詞替換為其它第二關(guān)鍵詞，并確定替 換后的第二關(guān)鍵詞與相鄰關(guān)鍵詞之間詞性是否匹配，直至替換完所有的第二關(guān)鍵詞，將轉(zhuǎn) 換得到的字符串作為當(dāng)前的語音信號識別結(jié)果。
[0090] 步驟S30,對采集到的圖像中包含唇部的圖像進行唇語識別，以得到唇語識別結(jié) 果；
[0091] 在本實施例中，唇語識別結(jié)果可根據(jù)每一幀圖像中的唇形以及與上一幀的圖像中 的唇形確定得到，具體過程如圖3所示，所述步驟S30包括：
[0092] 步驟S31，確定采集到的圖像中包含唇部的圖像，將所述包含唇部的圖像作為有效 圖像，并確定所述有效圖像中唇部的位置；
[0093] 在本實施例中，確定采集到的每幀圖像中唇部的位置具體過程如圖4所示，具體 過程如下：
[0094] 步驟S311，確定采集到的每幀圖像中臉部輪廓；
[0095] 由于采集到的圖像中的各個像素點對應(yīng)的色度值不同，可直接根據(jù)每幀圖像中的 像素點的色度值分布以及預(yù)設(shè)的臉部輪廓得到每幀圖像中臉部位置。
[0096] 本領(lǐng)域技術(shù)人員可以理解的是，在圖像采集裝置的圖像采集區(qū)域中有多個人存在 時，可基于接收到語音信號對聲源方向進行定位，基于確定的聲源方向確定用戶在采集到 的圖像中的位置，基于聲源方向確定用戶在采集到的圖像中的位置屬于現(xiàn)有技術(shù)，在此不 再贅述。
[0097] 在采集到的圖像中沒有臉部輪廓時，直接將語音信號對應(yīng)的語音信號識別結(jié)果作 為當(dāng)前的語音識別結(jié)果，或者可提示用戶重新輸入語音信號。
[0098] 步驟S312,將確定的臉部輪廓內(nèi)的各個像素點色度值與預(yù)存的人臉中各個像素點 的色度值進行比對，以確定采集到的每幀圖像中臉部位置；
[0099] 確定臉部輪廓內(nèi)各個像素點的YUV色度值至與預(yù)存的人臉中各個像素點的YUV色 度值之間的相似度，在相似度大于預(yù)設(shè)值時，認(rèn)為該像素點為臉部像素點，還相似度的計算 公式為現(xiàn)有技術(shù)，在此不再贅述。
[0100] 步驟S313,確定臉部位置中眼部位置，并基于眼部位置以及唇部位置之間的相對 位置確定唇部區(qū)域；
[0101] 在本實施例中，由于眼部的像素點的灰度值小于臉部其它位置的灰度值，可根據(jù) 各個像素點之間的灰度值確定眼部位置，在眼部位置的下方以及臉部的下三分之一出，即 可容易確定出唇部所在的區(qū)域。
[0102] 步驟S314,在唇部區(qū)域存在RGB色度值滿足預(yù)設(shè)條件的像素點時，確定該幀圖像 為包含唇部的圖像，將所述包含唇部的圖像作為有效圖像；
[0103] 步驟S315,基于唇部區(qū)域中各個像素點的RGB色度值確定唇部的位置
[0104] 但由于當(dāng)前確定的唇部區(qū)域僅僅為初步確定，該區(qū)域內(nèi)有唇部的像素點以及臉部 的像素點，則需要在該區(qū)域內(nèi)確定唇部位置。由于唇部像素點的RGB色度值中，B(藍色）分 量的遠(yuǎn)遠(yuǎn)大于G(綠色）分量，則預(yù)設(shè)的條件可設(shè)置為B(藍色）分量與G(綠色）分量之間 的差值大于預(yù)設(shè)值，而臉部的像素點中B(藍色）分量的小于G(綠色）分量，則可通過對各 個像素點的B分量以及G分量進行比對，以確定唇部位置。
[0105] 步驟S32,根據(jù)每一幀所述有效圖像的唇形以及上一幀所述有效圖像的唇形確定 用戶輸出的字符；
[0106] 步驟S33,基于每一幀所述有效圖像對應(yīng)的字符組成唇語識別結(jié)果。
[0107] 本領(lǐng)域技術(shù)人員可以理解的是，采集到的圖像中第一幀圖像的上一幀圖像的唇形 默認(rèn)為閉嘴唇形，用戶可基于上一幀圖像以及該幀圖像對應(yīng)的唇形可得出用戶的唇部走 勢，將得到的唇部走勢與預(yù)存的唇部走勢進行比對，以得到當(dāng)前輸出的字符。按照每一幀圖 像的采集順序，將每一幀圖像的文件組合成唇語識別結(jié)果
[0108] 步驟S40,計算所述語音信號識別結(jié)果和唇語識別結(jié)果的準(zhǔn)確度，將準(zhǔn)確度較高的 識別結(jié)果作為當(dāng)前的識別結(jié)果。
[0109] 在本實施例中，計算所述語音信號識別結(jié)果和唇語識別結(jié)果的準(zhǔn)確度的具體過程 如圖5所示，具體過程如下：
[0110] 步驟S41，將所述語音信號識別以及唇語識別結(jié)果拆分為多個關(guān)鍵詞；
[0111] 關(guān)鍵詞拆分的過程見上述語音信號關(guān)鍵詞拆分過程，在此不再贅述。
[0112] 步驟S42,確定所述語音信號識別結(jié)果拆分成的關(guān)鍵詞中，各個相鄰關(guān)鍵詞的之間 的第一關(guān)聯(lián)度，并確定所述唇語識別結(jié)果拆分成的關(guān)鍵詞中，各個相鄰關(guān)鍵詞的之間的第 二關(guān)聯(lián)度；
[0113] 在本實施例中，第一關(guān)聯(lián)度的計算公式為：
【權(quán)利要求】
1. 一種語音識別方法，其特征在于，所述語音識別方法包括以下步驟： 在接收到語音信號時，控制圖像采集裝置進行圖像采集，并在所述語音信號結(jié)束時，控 制所述圖像采集裝置停止圖像采集； 對接收到的語音信號進行識別，以得到語音信號識別結(jié)果； 對采集到的圖像中包含唇部的圖像進行唇語識別，以得到唇語識別結(jié)果； 計算所述語音信號識別結(jié)果和唇語識別結(jié)果的準(zhǔn)確度，將準(zhǔn)確度較高的識別結(jié)果作為 當(dāng)前的語音識別結(jié)果。
2. 如權(quán)利要求1所述的語音識別方法，其特征在于，所述對采集到的圖像中包含唇部 的圖像進行唇語識別，以得到唇語識別結(jié)果的步驟包括： 確定采集到的圖像中包含唇部的圖像，將所述包含唇部的圖像作為有效圖像，并確定 所述有效圖像中唇部的位置； 根據(jù)每一幀所述有效圖像的唇形以及上一幀所述有效圖像的唇形確定用戶輸出的字 符； 基于每一幀所述有效圖像對應(yīng)的字符組成唇語識別結(jié)果。
3. 如權(quán)利要求2所述的語音識別方法，其特征在于，所述確定采集到的圖像中包含唇 部的圖像，將所述包含唇部的圖像作為有效圖像，并確定所述有效圖像中唇部位置的步驟 包括： 確定采集到的每幀圖像中臉部輪廓； 將臉部輪廓內(nèi)的各個像素點色度值與預(yù)存的人臉中各個像素點的色度值進行比對，以 確定采集到的每幀圖像中臉部位置； 確定臉部位置中眼部位置，并基于眼部位置以及唇部位置之間的相對位置確定唇部區(qū) 域； 將唇部區(qū)域中各個像素點的RGB色度值進行比對； 在唇部區(qū)域存在RGB色度值滿足預(yù)設(shè)條件的像素點時，確定該幀圖像為包含唇部的圖 像，將所述包含唇部的圖像作為有效圖像； 基于唇部區(qū)域中各個像素點的RGB色度值確定唇部的位置。
4. 如權(quán)利要求1-3任一項所述的語音識別方法，其特征在于，所述對接收到的語音信 號進行識別，以得到語音信號識別結(jié)果的步驟包括： 將接收到的語音信號轉(zhuǎn)換成字符串，并按照預(yù)設(shè)的關(guān)鍵詞庫，將所述字符串拆分為多 個關(guān)鍵詞； 標(biāo)注各個所述關(guān)鍵詞的詞性，確定各個相鄰的關(guān)鍵詞之間的詞性是否匹配； 在有相鄰的關(guān)鍵詞之間的詞性不匹配時，將所述不匹配關(guān)鍵詞作為第一關(guān)鍵詞，并確 定預(yù)設(shè)的混淆音詞庫是否存在所述第一關(guān)鍵詞； 在所述混淆音詞庫存在所述不匹配的關(guān)鍵詞時，確定所述混淆音詞庫中所述第一關(guān)鍵 詞對應(yīng)的第二關(guān)鍵詞； 將所述第一關(guān)鍵詞替換為第二關(guān)鍵詞，并在替換后的第二關(guān)鍵詞與相鄰關(guān)鍵詞之間詞 性匹配時，將替換后的第二關(guān)鍵詞以及其它關(guān)鍵詞重新組合成為語音信號識別結(jié)果，并將 重新組合的唇語識別結(jié)果作為當(dāng)前的語音信號識別結(jié)果。
5. 如權(quán)利要求1-3任一項所述的語音識別方法，其特征在于，所述計算所述語音信號 識別結(jié)果和唇語識別結(jié)果的準(zhǔn)確度，將準(zhǔn)確度較高的識別結(jié)果作為當(dāng)前的語音識別結(jié)果的 步驟包括： 將所述語音信號識別以及唇語識別結(jié)果拆分為多個關(guān)鍵詞； 確定所述語音信號識別結(jié)果拆分成的關(guān)鍵詞中，各個相鄰關(guān)鍵詞的之間的第一關(guān)聯(lián) 度，并確定所述唇語識別結(jié)果拆分成的關(guān)鍵詞中，各個相鄰關(guān)鍵詞的之間的第二關(guān)聯(lián)度； 對確定的第一關(guān)聯(lián)度求和，得到所述語音信號識別結(jié)果的準(zhǔn)確度，并對確定的第二關(guān) 聯(lián)度求和，得到所述語音信號識別結(jié)果的準(zhǔn)確度； 將準(zhǔn)確度較高的識別結(jié)果作為當(dāng)前的語音識別結(jié)果。
6. -種語音識別系統(tǒng)，其特征在于，所述語音識別系統(tǒng)包括： 控制模塊，用于在接收到語音信號時，控制圖像采集裝置進行圖像采集，并在所述語音 信號結(jié)束時，控制所述圖像采集裝置停止圖像采集； 語音信號識別模塊，用于對接收到的語音信號進行識別，以得到語音信號識別結(jié)果； 唇語識別模塊，用于對采集到的圖像中包含唇部的圖像進行唇語識別，以得到唇語識 別結(jié)果； 處理模塊，用于計算所述語音信號識別結(jié)果和唇語識別結(jié)果的準(zhǔn)確度，將準(zhǔn)確度較高 的識別結(jié)果作為當(dāng)前的語音識別結(jié)果。
7. 如權(quán)利要求6所述的語音識別系統(tǒng)，其特征在于，所述唇語識別模塊包括： 唇部定位子模塊，用于確定采集到的圖像中包含唇部的圖像，將所述包含唇部的圖像 作為有效圖像，并確定所述有效圖像中唇部位置； 確定子模塊，用于根據(jù)每一幀所述有效圖像的唇形以及上一幀所述有效圖像的唇形確 定用戶輸出的字符； 重組子模塊，用于基于每一幀所述有效圖像對應(yīng)的字符組成唇語識別結(jié)果。
8. 如權(quán)利要求7所述的語音識別系統(tǒng)，其特征在于，所述唇部定位子模塊包括：臉部輪廓確定單元，用于確定采集到的每幀圖像中臉部輪廓； 臉部位置定位單元，用于將確定的臉部輪廓內(nèi)的各個像素點色度值與預(yù)存的人臉中各 個像素點的色度值進行比對，以確定采集到的每幀圖像中臉部位置； 唇部區(qū)域定位單元，用于確定臉部位置中眼部位置，并基于眼部位置以及唇部位置之 間的相對位置確定唇部區(qū)域； 比對單元，用于將唇部區(qū)域中各個像素點的RGB色度值進行比對； 處理單元，用于在唇部區(qū)域存在RGB色度值滿足預(yù)設(shè)條件的像素點時，確定該幀圖像 為包含唇部的圖像，將所述包含唇部的圖像作為有效圖像； 唇部位置定位單元，用于基于唇部區(qū)域中各個像素點的RGB色度值確定唇部的位置。
9. 如權(quán)利要求6-8所述的語音識別系統(tǒng)，其特征在于，所述語音信號識別模塊包括： 轉(zhuǎn)換子模塊，用于將接收到的語音信號轉(zhuǎn)換成字符串； 拆分子模塊，按照預(yù)設(shè)的關(guān)鍵詞庫，將所述字符串拆分為多個關(guān)鍵詞； 詞性匹配子模塊，用于標(biāo)注各個所述關(guān)鍵詞的詞性，，確定各個相鄰的關(guān)鍵詞之間的詞 性是否匹配； 確定子模塊，用于在有相鄰的關(guān)鍵詞之間的詞性不匹配時，將所述不匹配關(guān)鍵詞作為 第一關(guān)鍵詞，并確定預(yù)設(shè)的混淆音詞庫是否存在所述第一關(guān)鍵詞，以及在所述混淆音詞庫 存在所述不匹配的關(guān)鍵詞時，確定所述混淆音詞庫中所述第一關(guān)鍵詞對應(yīng)的第二關(guān)鍵詞； 處理子模塊，用于將所述第一關(guān)鍵詞替換為第二關(guān)鍵詞，并在替換后的第二關(guān)鍵詞與 相鄰關(guān)鍵詞之間詞性匹配時，將替換后的第二關(guān)鍵詞以及其它關(guān)鍵詞重新組合成為語音信 號識別結(jié)果，并將重新組合的唇語識別結(jié)果作為當(dāng)前的語音信號識別結(jié)果。
10.如權(quán)利要求6-8任一項所述的語音識別系統(tǒng)，其特征在于，所述處理模塊包括：拆分子模塊，用于將所述語音信號識別以及唇語識別結(jié)果拆分為多個關(guān)鍵詞； 關(guān)聯(lián)度計算子模塊，用于確定所述語音信號識別結(jié)果拆分成的關(guān)鍵詞中，各個相鄰關(guān) 鍵詞的之間的第一關(guān)聯(lián)度，并確定所述唇語識別結(jié)果拆分成的關(guān)鍵詞中，各個相鄰關(guān)鍵詞 的之間的第二關(guān)聯(lián)度； 準(zhǔn)確度計算子模塊，用于對確定的第一關(guān)聯(lián)度求和，得到所述語音信號識別結(jié)果的準(zhǔn) 確度，并對確定的第二關(guān)聯(lián)度求和，得到所述語音信號識別結(jié)果的準(zhǔn)確度； 處理子模塊，用于將準(zhǔn)確度較高的識別結(jié)果作為當(dāng)前的語音識別結(jié)果。
【文檔編號】G10L15/26GK104409075SQ201410714386
【公開日】2015年3月11日 申請日期:2014年11月28日 優(yōu)先權(quán)日:2014年11月28日
【發(fā)明者】付春元 申請人:深圳創(chuàng)維－Rgb電子有限公司