專利名稱：聲音信號(hào)處理設(shè)備、聲音信號(hào)處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及聲音信號(hào)處理設(shè)備、聲音信號(hào)處理方法和程序，更具體而言，涉及能夠執(zhí)行伴隨有聲源方向估計(jì)的語音片段(speech section)檢測(cè)處理的聲音信號(hào)處理設(shè)備、聲音信號(hào)處理方法和程序。
背景技術(shù)：
下文中，作為根據(jù)現(xiàn)有技術(shù)的技術(shù)，將首先整體上對(duì)語音片段檢測(cè)進(jìn)行說明，隨后對(duì)利用聲源方向估計(jì)來處理語音片段檢測(cè)的方法進(jìn)行說明。語音片段檢測(cè)(SD :語音檢測(cè))指在經(jīng)由包括在例如聲音信號(hào)處理設(shè)備中的麥克風(fēng)輸入的聲音信號(hào)中切割出其中人說話的片段的處理。語音片段檢測(cè)(SD)也被稱為 VAD (話音活動(dòng)性檢測(cè))。在說明書中，從聲音信號(hào)中切割出人的說話片段的處理將被稱為“語音片段檢測(cè)” 或者簡(jiǎn)稱為“片段檢測(cè)”。另外，“片段”并不限于語音的片段，而是可以表示其中給定的聲源持續(xù)活動(dòng)(持續(xù)生成聲音)的片段。語音片段檢測(cè)有時(shí)與語音識(shí)別、聲源提取等一起使用。然而，在任何一種情況下， 在片段檢測(cè)中都需要高精度。例如，由于在許多聲音識(shí)別裝置中執(zhí)行諸如對(duì)通過片段檢測(cè)切割出的片段的匹配之類的處理，因此片段檢測(cè)的精度對(duì)語音識(shí)別的精度有很大的影響。即，當(dāng)在實(shí)際說話的片段和通過片段檢測(cè)器檢測(cè)出的片段之間存在差異時(shí)，該差異可能導(dǎo)致錯(cuò)誤的識(shí)別。另一方面，在聲源提取中，有時(shí)使用片段檢測(cè)。例如，當(dāng)期望從話音和噪聲彼此混合的信號(hào)中提取出清楚的話音時(shí)，或者當(dāng)期望在兩個(gè)或更多個(gè)人同時(shí)說話的環(huán)境中提取出一個(gè)人的話音時(shí)，有必要根據(jù)提取聲源的方法將輸入信號(hào)劃分為其中僅噪聲被生成的片段和其中話音和噪聲兩者都被生成的片段。因此，為了將輸入信號(hào)劃分為這些片段，使用了片段檢測(cè)。通過在僅有目標(biāo)話音單獨(dú)存在時(shí)提取聲源，片段檢測(cè)有時(shí)可以被用來減少計(jì)算量或者防止適應(yīng)無聲片段。在與聲源提取一起使用的語音片段檢測(cè)中，即使在其中話音和噪聲彼此混合或者多個(gè)話音彼此混合的輸入信號(hào)中，也有必要高精度地進(jìn)行操作。為了滿足上述使用，已經(jīng)作出了各種建議來提高語音片段檢測(cè)中的精度。這里，關(guān)注要使用的麥克風(fēng)的數(shù)目，這些建議被分類為以下兩種方法。(I)使用單個(gè)麥克風(fēng)的方法該方法是一種從輸入信號(hào)中提取表示“話音相似性”(voice likeness)的特征并基于該值執(zhí)行片段檢測(cè)的方法。該處理例如在日本專利4182444號(hào)中公開。(2)使用多個(gè)麥克風(fēng)的方法該方法是一種利用聲源的方向執(zhí)行片段檢測(cè)的方法。該處理例如在日本專利4282704號(hào)和日本專利申請(qǐng)公開2010-121975號(hào)中公開。
在本說明書中公開的技術(shù)使用上述方法(2)，即，使用多個(gè)麥克風(fēng)的方法。因此，下文中，將對(duì)使用方法(2)的聲源方向的方法的概況進(jìn)行說明。基于聲源方向的語音片段檢測(cè)的基本思想如下。從麥克風(fēng)看，從同一聲源生成的聲音在同一方向上到達(dá)。因此，以預(yù)定時(shí)間間隔估計(jì)聲源的到達(dá)方向(DOA)，計(jì)算其中同一方向上的聲音持續(xù)被生成的片段，并且將該片段確定為其中聲源活動(dòng)(聲音從聲源生成)的片段。當(dāng)對(duì)人的說話執(zhí)行該處理時(shí)，檢測(cè)出語音片段。下文中，來自聲源的到達(dá)方向(DOA)也被簡(jiǎn)稱為“聲源方向”。當(dāng)估計(jì)聲源方向的方法被應(yīng)用于多個(gè)聲源中的每一個(gè)時(shí)，即使多個(gè)聲源同時(shí)活動(dòng) (例如，即使當(dāng)多個(gè)人的話音覆蓋時(shí))，也能夠針對(duì)每個(gè)聲源計(jì)算片段。例如，在緊接著一個(gè)人的說話結(jié)束之前，另一人開始說話的情況下，在使用“話音相似性”的方法中，其中這兩段說話彼此連接的長(zhǎng)區(qū)域被檢測(cè)為一個(gè)片段，而在估計(jì)方向的方法中，這兩個(gè)說話的各自片段能夠被彼此區(qū)分并且能夠被檢測(cè)。將參考圖IA至ID對(duì)利用聲源方向估計(jì)檢測(cè)語音片段的方法的概況進(jìn)行說明。圖IA是示出輸入信號(hào)(或者也稱為“觀測(cè)信號(hào)”)的圖像的示圖。兩人分別說出 “Hello” (你好)和 “Good-by”(再見)。如圖IB所示，輸入信號(hào)被劃分為具有預(yù)定長(zhǎng)度的塊。圖IB中所示的塊11表示所劃分的塊之一。該塊的長(zhǎng)度與正常說話的長(zhǎng)度相比具有充分短的值。例如，該長(zhǎng)度被設(shè)置為1/10秒或者1/8秒。對(duì)每個(gè)塊執(zhí)行聲源方向的估計(jì)。圖IC示出了估計(jì)結(jié)果。橫軸表示時(shí)間而縱軸表示方向。該方向指聲源方向相對(duì)于話音被輸入的麥克風(fēng)的角度(見圖2)。圖IC中所示的點(diǎn)是方向點(diǎn)(direction point) 12。方向點(diǎn)表示在每個(gè)塊內(nèi)計(jì)算出的聲源方向。下文中，與聲源方向相對(duì)應(yīng)的點(diǎn)被稱為“方向點(diǎn)”。當(dāng)使用對(duì)多個(gè)聲源的方向估計(jì)方法時(shí)，每個(gè)塊可以具有多個(gè)方向點(diǎn)。接下來，在幾乎相同的方向上的方向點(diǎn)被在塊之間相連。該處理被稱為跟蹤 (tracking)。圖ID示出了跟蹤結(jié)果，即，相連的方向點(diǎn)。圖ID中所示的線15和16表示其中各聲源為活動(dòng)的片段，S卩，話音說話的片段。作為計(jì)算每個(gè)塊中的聲源方向的方法，例如，上述日本專利4282704號(hào)公開了一種使用“抑制從對(duì)象聲源到達(dá)的信號(hào)的波束形成器”的處理。另外，上述日本專利申請(qǐng)公開2010-121975號(hào)公開了一種使用MUSIC方法的處理。在每個(gè)處理中，基本上都是生成其中將死角(null beam)指向聲源的方向的空間濾波器，并且將死角的方向設(shè)為聲源方向。下文中，將說明MUSIC方法。MUSIC方法是多信號(hào)分類(Multiple Signal Classification)的簡(jiǎn)寫。從空間濾波(發(fā)送或抑制特定方向上的聲音的處理)的角度，MUSIC方法可以被解釋為下面兩個(gè)步驟(SI)和(S2)。MUSIC方法的細(xì)節(jié)在日本專利申請(qǐng)公開2008-175733號(hào)等中公開。(SI)生成一空間濾波器以使得將死角指向給定片段(塊)內(nèi)的生成話音的所有聲源的方向。(S2)對(duì)于濾波器檢查指向性特性(方向和增益之間的關(guān)系)并且計(jì)算死角被形成的方向。后面將對(duì)上述步驟(SI)和步驟(S2)之間在步驟(SI)中生成空間濾波器的方法進(jìn)行說明。首先，下面將說明步驟(S2)的處理。圖2是圖示用于生成空間濾波器(圖3)的觀測(cè)信號(hào)的記錄環(huán)境的示圖，在空間濾波器中，死角指向聲源方向。存在四個(gè)麥克風(fēng)22和兩個(gè)聲源(都是人的話音)。另外，聲源方向是從麥克風(fēng)22的陣列的中心21看的到達(dá)方向。當(dāng)在相對(duì)于與麥克風(fēng)的陣列平行的陣列方向23的垂直方向24上設(shè)置為0°時(shí)，逆時(shí)針方向是正(+)方向并且順時(shí)針方向是負(fù) (-)方向。圖3是圖示其中將死角指向聲源方向的空間濾波器的指向性特性(即，將方向 (橫軸)和增益(縱軸)之間的關(guān)系進(jìn)行繪制)的示圖?？v軸由對(duì)數(shù)表示。生成指向性特性繪圖的方法將在后面說明。下文中，將死角指向聲源的空間濾波器被稱為“死角形成濾波器”，并且該濾波器的指向性特性的繪圖被稱為“死角形成模式”(null beam forming pattern)。在圖3所示的死角形成模式31中，增益急劇下降的部分表示靈敏度低的方向，即， 死角。在圖中，深的“波谷”存在于方向=-24°的附近區(qū)域32和方向=+12°的附近區(qū)域 33。這些波谷表示與圖2中的聲源1、25和聲源2、26相對(duì)應(yīng)的死角。即，聲源I的方向0 1約為-24°并且聲源2的方向0 2約為+12°。換句話說， 與死角形成模式相對(duì)應(yīng)的塊分別具有-24°和+12°的方向點(diǎn)。在MUSIC方法中，可以使用增益的倒數(shù)而不是增益的對(duì)數(shù)。例如，在上述日本專利申請(qǐng)公開2008-175733號(hào)中使用了倒數(shù)。在這種情況下，死角被表示為圖上的尖銳“波峰”。 這里，將與本發(fā)明相比較地說明使用增益的對(duì)數(shù)的方法。當(dāng)以這種方式計(jì)算每個(gè)塊的方向點(diǎn)時(shí)，具有類似值的方向點(diǎn)在塊之間彼此相連。 例如，在圖2所示的環(huán)境中，當(dāng)具有與方向=-24°接近的值的方向點(diǎn)彼此相連時(shí)，計(jì)算出與圖2中所示的聲源1、25相對(duì)應(yīng)的人說話片段。當(dāng)具有與方向=+12°接近的值的方向點(diǎn)彼此相連時(shí)，計(jì)算出與聲源2、26相對(duì)應(yīng)的人說話片段?，F(xiàn)有技術(shù)的問題接下來，將對(duì)于根據(jù)基于聲源方向估計(jì)的語音片段檢測(cè)的現(xiàn)有技術(shù)的問題進(jìn)行說明。在上述基于聲源方向估計(jì)的片段檢測(cè)中，優(yōu)選為參考圖IA至ID所述的各個(gè)塊中的被檢測(cè)為方向點(diǎn)的方向點(diǎn)的數(shù)目與實(shí)際生成話音的聲源的數(shù)目相同。如果方向點(diǎn)的數(shù)目小于聲源的數(shù)目，則可能引起檢測(cè)失敗(話音被生成，但是未被檢測(cè)到)。相反地，如果檢測(cè)出的方向點(diǎn)的數(shù)目大于聲源的數(shù)目，則可能引起錯(cuò)誤的檢測(cè) (話音未被生成，但是被檢測(cè)出)。然而，在根據(jù)MUSIC方法的方向估計(jì)中，可能出現(xiàn)以下問題，即難以判定死角形成模式的凹部(下文中也稱為“局部最小部”)是否對(duì)應(yīng)于死角。例如，除了方向=_24°附近的局部最小部32和方向=+12°附近的局部最小部 33的深凹部以外，圖3中所示的死角形成模式31還存在具有淺凹部的局部最小部34至37。由于與死角相對(duì)應(yīng)的波谷的深度根據(jù)環(huán)境而不同并且即使在同一環(huán)境下也根據(jù)塊而不同， 因此難以基于波谷深度的閾值判定一個(gè)波谷是否是死角。例如，在圖3中，通過將閾值38設(shè)置為接近增益值蘭-0.13，能夠判定一個(gè)波谷是否是死角。然而，該閾值不能保證在其他塊中也是有效的。另外，假定n是用于輸入話音的麥克風(fēng)的數(shù)目，可以形成最大(n-1)個(gè)死角?；谠撎匦?，例如通過對(duì)圖3所示的死角形成模式31的最小值執(zhí)行從小到大的排序并僅選擇第 I至第(n-1)個(gè)最小值的處理，聲源方向的候選可以被局限于(n-1)個(gè)。然而，當(dāng)基于麥克風(fēng)的數(shù)目=n正常選擇(n-1)個(gè)死角時(shí)，即使在無聲的話音中， 也可以在死角形成模式的微小的凹部中檢測(cè)出(n-1)個(gè)方向點(diǎn)。因此，需要另外的條件以排除不對(duì)應(yīng)于聲源的多余的方向點(diǎn)。另外，在聲源方向估計(jì)被用在片段檢測(cè)中時(shí)可能出現(xiàn)一個(gè)特有的問題。與多個(gè)聲源相對(duì)應(yīng)的片段檢測(cè)器優(yōu)選為不依賴于同時(shí)活動(dòng)的聲源的數(shù)目而檢測(cè)片段。然而，存在以下情況該檢測(cè)在基于閾值確定死角的方法中是困難的。將參考圖4A至4C說明當(dāng)說話期間的聲源的數(shù)目改變時(shí)出現(xiàn)的問題。假定在圖2 中，聲源1、25說話較短，而聲源2、26說話較長(zhǎng)。在這種情況下，與聲源I相對(duì)應(yīng)的說話片段41和與聲源2相對(duì)應(yīng)的說話片段42被分別檢測(cè)為說話片段，如圖4A所示。然而，在該示例中，存在以下?lián)挠捎诼曉吹臄?shù)目像0 — I — 2 — I — 0這樣改變，因此該改變可能對(duì)片段檢測(cè)有影響。在死角形成模式中，與聲源方向相對(duì)應(yīng)的“波谷”表現(xiàn)出隨著聲源數(shù)目的增大而變得更淺的趨勢(shì)。即，“波谷”的數(shù)目越大，每個(gè)“波谷”就越淺。由于此原因，例如，當(dāng)參考圖 3所述的閾值38被在其中僅一個(gè)聲源生成話音的片段中調(diào)節(jié)時(shí)，該檢測(cè)可能在其中多個(gè)聲源生成話音的片段中是不穩(wěn)定的。S卩，在諸如圖4B中所示的、兩個(gè)說話被覆蓋的說話片段43和44之類的片段 (與圖4A中所示的說話片段42相對(duì)應(yīng)的片段)中，在某些情況下可能檢測(cè)到間歇片段 (intermittent section)。取決于閾值的設(shè)置，有時(shí)沒有檢測(cè)到僅僅與說話片段42相對(duì)應(yīng)的任何片段，或者有時(shí)僅僅檢測(cè)到一個(gè)聲源。另一方面，當(dāng)設(shè)置了大的閾值時(shí)，當(dāng)多個(gè)聲源生成話音時(shí)片段碎裂為多片的可能性更小(圖4C中所示的說話片段45和46)。相反地，將在死角形成模式中不對(duì)應(yīng)于聲源方向的局部最小部(例如圖3中所不的局部最小部34至37)檢測(cè)為方向點(diǎn)的可能性更聞。 結(jié)果，檢測(cè)出不對(duì)應(yīng)于說話的“虛假說話片段”(例如圖4C中所示的說話片段47)的可能性更高。在基于聲源方向上的死角執(zhí)行方向估計(jì)的方法中，必須確定在方向和增益之間的關(guān)系的模式中局部最小部的深度有多深以將局部最小部當(dāng)作“與聲源方向相對(duì)應(yīng)的死角”。 當(dāng)利用閾值執(zhí)行該確定時(shí)，存在平衡。結(jié)果，即使當(dāng)基于方向估計(jì)執(zhí)行片段檢測(cè)時(shí)，也難以防止檢測(cè)失敗(未檢測(cè)出或者片段碎裂)和錯(cuò)誤的檢測(cè)這兩者。
發(fā)明內(nèi)容
期望提供一種聲音信號(hào)處理設(shè)備、聲音信號(hào)處理方法和程序,其能夠在基于聲源方向估計(jì)執(zhí)行語音片段檢測(cè)的配置中防止檢測(cè)失敗(未檢測(cè)或者片段碎裂)或者錯(cuò)誤測(cè)并實(shí)現(xiàn)高精度的語音片段檢測(cè)。根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種聲音信號(hào)處理設(shè)備，包括方向估計(jì)單元和方向跟蹤單元，該方向估計(jì)單元針對(duì)以預(yù)定時(shí)間單位劃分的每個(gè)塊檢測(cè)指示聲音信號(hào)的聲源方向的一個(gè)或多個(gè)方向點(diǎn)，該方向跟蹤單元將多個(gè)塊之間的方向點(diǎn)彼此連接并且檢測(cè)其中聲音活動(dòng)的片段。方向估計(jì)單元包括空間濾波器生成單元，該空間濾波器生成單元生成死角形成濾波器和指向性束形成濾波器，死角形成濾波器是對(duì)聲源方向具有低靈敏度(增益)的空間濾波器，指向性束形成濾波器是對(duì)聲源方向具有高靈敏度(增益)的空間濾波器；死角形成模式生成單元，該死角形成模式生成單元生成死角形成模式，死角形成模式指示方向和增益之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)并且對(duì)應(yīng)于死角形成濾波器；指向性束形成模式生成單元，該指向性束形成模式生成單元生成指向性束形成模式，指向性束形成模式指示方向和增益之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)并且對(duì)應(yīng)于指向性束形成濾波器；以及方向點(diǎn)檢測(cè)單元，該方向點(diǎn)檢測(cè)單元檢測(cè)指示聲音方向并包含死角形成模式中的局部最小部和指向性束形成模式中的局部最大部的方向點(diǎn)。在根據(jù)本發(fā)明的實(shí)施例的聲音信號(hào)處理設(shè)備中，空間濾波器生成單元可以通過對(duì)協(xié)方差矩陣的特征值分解處理來計(jì)算多個(gè)特征值和多個(gè)特征向量并且利用與計(jì)算出的最大特征值相對(duì)應(yīng)的特征向量來生成指向性束形成濾波器，協(xié)方差矩陣是根據(jù)從聲音信號(hào)生成的時(shí)間-頻率域的觀測(cè)信號(hào)針對(duì)每個(gè)塊計(jì)算出的。在根據(jù)本發(fā)明的實(shí)施例的聲音信號(hào)處理設(shè)備中，空間濾波器生成單元可以通過對(duì)協(xié)方差矩陣的特征值分解處理來計(jì)算多個(gè)特征值和多個(gè)特征向量并且通過用特征值為權(quán)重對(duì)所有特征向量進(jìn)行加權(quán)求和或加權(quán)求平均來生成指向性束形成濾波器，協(xié)方差矩陣是根據(jù)從聲音信號(hào)生成的時(shí)間-頻率域的觀測(cè)信號(hào)針對(duì)每個(gè)塊計(jì)算出的。在根據(jù)本發(fā)明的實(shí)施例的聲音信號(hào)處理設(shè)備中，空間濾波器生成單元可以通過對(duì)協(xié)方差矩陣的特征值分解處理來計(jì)算多個(gè)特征值和多個(gè)特征向量，通過利用由特征向量形成的矩陣V(co)和由特征值形成的對(duì)角矩陣D(co)的計(jì)算處理計(jì)算出變換矩陣V’(《)，并且利用計(jì)算出的變換矩陣V’ (co)的任何一行來生成死角形成濾波器，協(xié)方差矩陣是根據(jù)從聲音信號(hào)生成的時(shí)間-頻率域的觀測(cè)信號(hào)針對(duì)每個(gè)塊計(jì)算出的。在根據(jù)本發(fā)明的實(shí)施例的聲音信號(hào)處理設(shè)備中，方向點(diǎn)檢測(cè)單元可以通過應(yīng)用動(dòng)態(tài)閾值來判定死角形成模式的最小部是否被選為方向點(diǎn)，動(dòng)態(tài)閾值是基于要經(jīng)歷新方向點(diǎn)檢測(cè)處理的塊的鄰近塊群組中死角形成模式的最小部計(jì)算出的。在根據(jù)本發(fā)明的實(shí)施例的聲音信號(hào)處理設(shè)備中，方向點(diǎn)檢測(cè)單元可以區(qū)分強(qiáng)方向點(diǎn)和弱方向點(diǎn)，其中強(qiáng)方向點(diǎn)滿足死角形成模式的局部最小部的值小于相應(yīng)的指向性束形成模式的局部最大部的值的條件，弱方向點(diǎn)不滿足該條件，如果弱方向點(diǎn)存在于正生成的片段內(nèi)部，可以選擇弱方向點(diǎn)作為指示聲源方向的方向點(diǎn)，并且可以忽略位于正生成的片段外的弱方向點(diǎn)。在根據(jù)本發(fā)明的實(shí)施例的聲音信號(hào)處理設(shè)備中，方向點(diǎn)檢測(cè)單元可以區(qū)分強(qiáng)方向點(diǎn)和弱方向點(diǎn)，其中強(qiáng)方向點(diǎn)滿足死角形成模式中的局部最小部的值小于相應(yīng)的指向性束形成模式中的局部最大部的值的條件，弱方向點(diǎn)不滿足該條件，可以在延長(zhǎng)并確定正生成的片段的處理中將強(qiáng)方向點(diǎn)和弱方向點(diǎn)兩者都選為指示聲源方向的方向點(diǎn)，并且可以在要生成的新片段的起始部分僅將強(qiáng)方向點(diǎn)選為指示聲源方向的方向點(diǎn)。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了一種由聲音信號(hào)處理設(shè)備執(zhí)行的聲音信號(hào)處理方法。該聲音信號(hào)處理方法包括通過方向估計(jì)單元針對(duì)以預(yù)定時(shí)間單位劃分的每個(gè)塊檢測(cè)指示聲音信號(hào)的聲源方向的一個(gè)或多個(gè)方向點(diǎn)；以及通過方向跟蹤單元將多個(gè)塊之間的方向點(diǎn)彼此連接并且檢測(cè)其中聲音活動(dòng)的片段。方向點(diǎn)的檢測(cè)包括生成死角形成濾波器和指向性束形成濾波器，死角形成濾波器是對(duì)聲源方向具有低靈敏度的空間濾波器，指向性束形成濾波器是對(duì)聲源方向具有高靈敏度的空間濾波器；生成死角形成模式，死角形成模式指示方向和增益之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)并且對(duì)應(yīng)于死角形成濾波器；生成指向性束形成模式，指向性束形成模式指示方向和增益之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)并且對(duì)應(yīng)于指向性束形成濾波器；以及檢測(cè)指示聲音方向并包含死角形成模式中的局部最小部和指向性束形成模式中的局部最大部的方向點(diǎn)。根據(jù)本發(fā)明的又一個(gè)實(shí)施例，提供了一種使得聲音信號(hào)處理設(shè)備執(zhí)行聲音信號(hào)處理的程序。該程序使得方向估計(jì)單元執(zhí)行針對(duì)以預(yù)定時(shí)間單位劃分的每個(gè)塊檢測(cè)指示聲音信號(hào)的聲源方向的一個(gè)或多個(gè)方向點(diǎn)的處理；并且使得方向跟蹤單兀執(zhí)行將多個(gè)塊之間的方向點(diǎn)彼此連接并且檢測(cè)其中聲音活動(dòng)的片段的處理。方向點(diǎn)的檢測(cè)包括生成死角形成濾波器和指向性束形成濾波器，死角形成濾波器是對(duì)聲源方向具有低靈敏度的空間濾波器，指向性束形成濾波器是對(duì)聲源方向具有高靈敏度的空間濾波器；生成死角形成模式，死角形成模式指示方向和增益之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)并且對(duì)應(yīng)于死角形成濾波器；生成指向性束形成模式，指向性束形成模式指示方向和增益之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)并且對(duì)應(yīng)于指向性束形成濾波器；以及檢測(cè)指示聲音方向并包含死角形成模式中的局部最小部和指向性束形成模式中的局部最大部的方向點(diǎn)。根據(jù)本發(fā)明的實(shí)施例的程序是一種可以通過存儲(chǔ)介質(zhì)或通信介質(zhì)提供的程序，其以計(jì)算機(jī)可讀格式提供給例如能夠執(zhí)行各種程序代碼的圖像處理設(shè)備或計(jì)算機(jī)系統(tǒng)。通過以計(jì)算機(jī)可讀格式提供程序，在信息處理設(shè)備或計(jì)算機(jī)系統(tǒng)上實(shí)現(xiàn)了根據(jù)程序的處理。本發(fā)明的實(shí)施例的其他目的、特征、優(yōu)點(diǎn)從后面說明的實(shí)施例和基于附圖的具體實(shí)施方式
中變得清楚。說明書中的系統(tǒng)具有多個(gè)設(shè)備的邏輯集合配置，并且并不限于具有每種配置的設(shè)備被設(shè)在同一機(jī)殼內(nèi)的配置。在根據(jù)本發(fā)明的實(shí)施例的配置中，實(shí)施了實(shí)現(xiàn)高精度地從聲音信號(hào)檢測(cè)說話片段的處理的設(shè)備和方法。具體而言，該設(shè)備包括方向估計(jì)單元和方向跟蹤單元，該方向估計(jì)單元針對(duì)以預(yù)定時(shí)間單位劃分的每個(gè)塊檢測(cè)指示聲音信號(hào)的聲源方向的一個(gè)或多個(gè)方向點(diǎn)， 該方向跟蹤單元將多個(gè)塊之間的方向點(diǎn)彼此連接并且檢測(cè)其中聲音活動(dòng)的片段。方向估計(jì)單元生成死角形成模式和指向性束形成模式，死角形成模式指示方向和增益之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)并且對(duì)應(yīng)于死角形成濾波器(它是對(duì)聲源方向具有低靈敏度的空間濾波器)，指向性束形成模式指示方向和增益之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)并且對(duì)應(yīng)于指向性束形成濾波器(它是對(duì)聲源方向具有高靈敏度的空間濾波器)。方向估計(jì)單元檢測(cè)指示聲音方向并包含死角形成模式中的局部最小部和指向性束形成模式中的局部最大部的方向點(diǎn)。通過該處理更精確地檢測(cè)了語音片段。
圖IA至ID是示出利用聲源估計(jì)檢測(cè)語音片段的方法的概況的示圖2是示出用于生成空間濾波器(圖3)的觀測(cè)信號(hào)的記錄環(huán)境的示圖，在空間濾波器中，將死角指向聲源方向；圖3是示出其中將死角指向聲源方向的空間濾波器的指向性特性(即，將方向 (橫軸)和增益(縱軸)之間的關(guān)系進(jìn)行繪制)的示圖；圖4A至4C是用于說明當(dāng)聲源的數(shù)目在說話期間改變時(shí)的問題的示圖；圖5是示出在給定塊中重復(fù)繪制的死角形成模式和指向性束形成模式 (directivity pattern)的不圖；圖6是示出當(dāng)橫軸表示時(shí)間并且縱軸表示方向時(shí)，在以預(yù)定義時(shí)間間隔劃分的塊單元中、作為方向點(diǎn)繪制的聲音檢測(cè)方向的示圖；圖7是示出根據(jù)在圖2的環(huán)境中記錄的話音計(jì)算協(xié)方差矩陣和特征向量并且針對(duì)各個(gè)特征向量求出指向性特性而求得的模式的示圖；圖8是示出生成導(dǎo)向向量(steering vector)的方法的示圖；圖9是示出在每個(gè)塊中檢測(cè)出的方向點(diǎn)和通過連接這些方向點(diǎn)而獲得的片段的示圖，以說明不同地對(duì)待片段內(nèi)外的“弱方向點(diǎn)”的處理；圖10是不出聲音信號(hào)處理設(shè)備的整體配置的不圖；圖11是示出圖10中所示的模塊的方向估計(jì)單元的細(xì)節(jié)的示圖；圖12是示出從方向估計(jì)單元輸出的方向點(diǎn)信息的具體示例的示圖；圖13是示出圖10中所示的聲音信號(hào)處理設(shè)備的方向跟蹤單元的配置和處理的示圖；圖14是示出由方向跟蹤單元生成的片段信息的配置數(shù)據(jù)示例的示圖；圖15是在聲音信號(hào)處理設(shè)備中執(zhí)行的整體處理的流程圖；圖16A和16B是示出由圖10中所示的短時(shí)間傅立葉變換(STFT)單元執(zhí)行的STFT 處理的細(xì)節(jié)的示圖；圖17是示出由圖10中所示的方向估計(jì)單元執(zhí)行的方向估計(jì)處理的詳細(xì)序列的流程圖；圖18是示出圖15中所示的整體處理流程圖的步驟S107的方向跟蹤處理的詳細(xì)序列的流程圖；圖19是示出圖18中所示的流程圖的步驟S301的“片段延長(zhǎng)和確定”處理的詳細(xì)序列的流程圖；圖20A和20B是用于說明執(zhí)行多采用檢查(multi-adoption checking)的理由的示圖；圖21是示出圖19中所示的流程圖的步驟S407的“片段輸出和拒絕”處理的細(xì)節(jié)的流程圖；圖22是示出圖18中所示的流程圖的步驟S302的“新片段生成”的詳細(xì)序列的流程圖；以及圖23是示出基于“話音相似性”的語音片段檢測(cè)處理和根據(jù)本發(fā)明的實(shí)施例的語音片段檢測(cè)處理相組合的配置的示圖。
具體實(shí)施方式
下文中，將參考附圖詳細(xì)說明聲音信號(hào)處理設(shè)備、聲音信號(hào)處理方法和程序。
將如下進(jìn)行說明。
I.本發(fā)明中聲音信號(hào)處理的概況
2.本發(fā)明中聲音信號(hào)處理的詳情
2-1.死角形成模式和指向性束形成模式的組合配置
2-2.取決于片段狀態(tài)的方向點(diǎn)檢測(cè)條件的改變
2-3.新的死角形成濾波器和指向性束形成濾波器
3.聲音信號(hào)處理設(shè)備的配置和處理
4.由聲音信號(hào)處理設(shè)備執(zhí)行的處理序列
5.其他實(shí)施例(變形例)
6.優(yōu)點(diǎn)的總結(jié)
在說明書中，A_b表示A的后綴b是下標(biāo)，并且A~b表示A的后綴b是上標(biāo)。
I.本發(fā)明中聲音信號(hào)處理的概況
下面說明的聲音信號(hào)處理基于聲源方向估計(jì)來執(zhí)行語音片段檢測(cè)并高精度地實(shí)現(xiàn)了語音片段檢測(cè)，同時(shí)防止了檢測(cè)失敗(未檢測(cè)出或者片段碎裂)或者錯(cuò)誤的檢測(cè)。
在根據(jù)現(xiàn)有技術(shù)的上述技術(shù)中，當(dāng)計(jì)算聲源方向時(shí)僅使用死角形成模式。因此，可
能發(fā)生檢測(cè)失敗或者錯(cuò)誤的檢測(cè)，檢測(cè)失敗例如是未檢測(cè)到實(shí)際的說話或者由于檢測(cè)到一個(gè)語音片段從而使得語音片段碎裂為多片而引起的失敗。根據(jù)下面說明的配置，通過使用另一信息以及死角形成模式的處理防止了檢測(cè)失敗(未檢測(cè)出或者片段碎裂)或者錯(cuò)誤的檢測(cè)。另外，通過將通過跟蹤而獲得的片段信息反映到方向點(diǎn)的檢測(cè)，提高了片段檢測(cè)的精度。下面說明的聲音信號(hào)處理具有以下特征(第一至第三特征)。第一特征死角形成模式和指向性束形成模式的組合生成具有朝向聲源方向的死角的空間濾波器和具有朝向聲源方向的指向性的空間濾波器，并且針對(duì)每個(gè)濾波器計(jì)算方向和增益的模式。具有朝向聲源方向的死角的空間濾波器的模式被稱為“死角形成模式”，而具有朝向聲源方向的指向性的空間濾波器的模式被稱為“指向性束形成模式”。利用這兩個(gè)模式來檢測(cè)方向點(diǎn)。第二特征取決于片段狀態(tài)的方向點(diǎn)檢測(cè)條件的改變通過判斷片段的開始和片段的結(jié)束來改變方向點(diǎn)檢測(cè)的條件。下文中，具有朝向聲源方向的指向性的空間濾波器被稱為“指向性束形成濾波器”。另外，利用“指向性束形成濾波器”獲得的對(duì)于方向和增益的模式被稱為“指向性束形成模式”。S卩，下面說明的配置具有這樣一個(gè)特征，其不僅使用具有朝向聲源方向的低指向性的“死角形成濾波器”和作為利用“死角形成濾波器”獲得的對(duì)于方向和增益的模式的“死角形成模式”，還使用具有與死角形成濾波器和死角形成模式相反的特征的“指向性束形成濾波器”和“指向性束形成模式”。另外，對(duì)于死角形成濾波器和指向性束形成濾波器的生成，還進(jìn)行了如下設(shè)計(jì)。第三特征新的死角形成濾波器和指向性束形成濾波器
不是直接使用由觀測(cè)信號(hào)的協(xié)方差矩陣計(jì)算出的特征向量，而是在死角形成濾波器和指向性束形成濾波器中使用以下面說明的方式處理的向量。2.本發(fā)明中聲音信號(hào)處理的詳情下文中，將按照上述特征順序詳細(xì)說明本發(fā)明中的聲音信號(hào)處理。2-1.死角形成模式和指向性束形成模式的組合配置首先，將說明死角形成模式和指向性束形成模式的組合配置。圖5是示出在給定塊中重復(fù)繪制的死角形成模式和指向性束形成模式的示圖。生成這種模式的方法將在后面說明。該塊指與上面參考圖IA至ID所說明的塊11相同的塊。塊的長(zhǎng)度充分短于正常說話的長(zhǎng)度。例如，塊的長(zhǎng)度被設(shè)置為1/10秒或者1/8秒。圖5示出了給定塊中的以下兩種模式。(a) 一種模式是指向性束形成模式101，它是通過“指向性束形成濾波器”獲得對(duì)于方向和增益的模式，“指向性束形成濾波器”是具有朝向聲源方向的高靈敏度的空間濾波器。(b)另一模式是死角形成模式51，它是通過“死角形成濾波器”獲得對(duì)于方向和增益的模式，“死角形成濾波器”是具有朝向聲源方向的低靈敏度的空間濾波器，即，死角被設(shè)置在聲源方向上的空間濾波器。兩種模式的方向(橫軸)和增益(縱軸)之間的關(guān)系被繪制出來。縱軸由表示為對(duì)數(shù)。死角形成模式51是與上面參考圖3所說明的死角形成模式31相同的死角形成模式，并且具有靈敏度在聲源方向上低的特征。圖5中所示的局部最小部52至57分別對(duì)應(yīng)于圖3中所示的局部最小部32至37。這些局部最小部52至57設(shè)置的方向可以被估計(jì)為聲源方向。另一方面，指向性束形成模式101是相同塊中的指向性束形成模式。指向性束形成模式101在塊內(nèi)具有聲源方向上的指向性(增益的局部最大部)。然而，也存在不對(duì)應(yīng)于聲源方向的局部最大部。圖中所示的指向性束形成模式101具有四個(gè)局部最大部102至 105。這些局部最大部102至105設(shè)置的方向可以被估計(jì)為聲源方向。通過搜索死角形成模式51具有局部最小部并且指向性束形成模式101具有局部最大部的方向，能夠高精度地檢測(cè)聲源方向。例如，在圖5所示的示例中，存在六個(gè)局部最小部，S卩，死角形成模式51中的局部最小部52至57。在與局部最小部52至57相同方向(Θ)附近的、清楚地存在于指向性束形成模式101的局部最大部的局部最小部是兩個(gè)局部最小部52和53。S卩，從圖5可見，指向性束形成模式101的局部最大部103幾乎與死角形成模式51 的局部最小部52處于相同的方向(方向Θ = P, 111)。另外，指向性束形成模式101的局部最大部104幾乎與死角形成模式51的局部最小部53處于相同方向(方向Θ = q, 112)。此外,指向性束形成模式101的局部最大部105幾乎與死角形成模式51的局部最小部55處于相同方向(方向θ =r，113)。然而，可以判定該方向并不是真正的聲源方向。方向拒絕處理將在下面“2-2.取決于片段狀態(tài)的方向點(diǎn)檢測(cè)條件的改變”的部分中說明。為了盡可能精確地提取出與真正的聲源相對(duì)應(yīng)的方向點(diǎn)，在下面的條件(第一至第五條件)下執(zhí)行判斷處理。S卩，聲音信號(hào)處理設(shè)備判斷每個(gè)方向是否滿足全部的下面說明的第一條件至第五條件。當(dāng)聲音信號(hào)處理設(shè)備判定每個(gè)方向都滿足全部的第一條件至第五條件時(shí)，聲音信號(hào)處理設(shè)備執(zhí)行將每個(gè)方向認(rèn)為是第一方向點(diǎn)(即，表不聲源方向的方向點(diǎn))的處理。(第一條件)每個(gè)方向是與死角形成模式的局部最小部相對(duì)應(yīng)的方向。(第二條件)每個(gè)方向被包括在按照從小到大的最小值的順序的第一位到第 (η-i)位的范圍中(麥克風(fēng)的數(shù)目=η)。(第三條件)局部最小部的值小于預(yù)定義的閾值。(第四條件)指向性束形成模式的局部最大部存在于與局部最小部相對(duì)應(yīng)的方向附近。(第五條件)基于閾值的判定條件得到滿足，該閾值是由緊鄰的塊群組中的死角形成模式的最小部動(dòng)態(tài)計(jì)算出的(根據(jù)動(dòng)態(tài)閾值的判定條件)。下文中，將說明上述第一至第五條件。(第一條件)每個(gè)方向是與死角形成模式的局部最小部相對(duì)應(yīng)的方向。在本發(fā)明的實(shí)施例中，首先搜索死角形成模式的最小部，這與根據(jù)現(xiàn)有技術(shù)的方
向一樣。(第二條件)每個(gè)方向被包括在按照從小到大的最小值的順序的第一位到第 (η-i)位的范圍中(麥克風(fēng)的數(shù)目=η)。第一位到第(η-i)位是按照在第一條件下檢測(cè)出的死角形成模式的局部最小部中、從小到大的最小值的順序形成的。例如，第一位到第三位是按照局部最小部的從小到大值(增益值)的順序形成的， 因?yàn)棣?= 4，S卩，圖5中所示的死角形成模式51是根據(jù)以四個(gè)麥克風(fēng)記錄的信號(hào)生成的。作為局部最小部選擇處理的結(jié)果,所選的局部最小部是三個(gè)局部最小部52、53和 55。當(dāng)?shù)谝粭l件被表示為方程式時(shí)，形成了下面的方程式[I. I]。ΡΝ( θ H)彡 ΡΝ( Θ )彡 ΡΝ( Θ i+1) ......[I. I]ΡΝ( Θ ^2) ^ ΡΝ( θ ^1) ^ ΡΝ( θ j) ^ ΡΝ( θ i+1) ^ ΡΝ( θ i+2) ......[1.2]ΡΝ(Θ,) < Tstatic ......[1.3]PD(0i,」彡 PD(0i,)彡 PD(0i, +1) ......[1.4]PD( θ _2) ^ PD( θ J ^ PD( θ ) ^ PD( Θ +1) ^ PD( Θ +2) ......[1.5]pmm = min -Bo<b<B-\,0 Pn Θ) ……[1.6]Tdynamic = a Pmin ......[1.7]PN( Θ ,) < Tdynamic ......[1.8]PN( Qi) < PD( Θ i- ) ......[1.9]在上面的方程式[I. I]中，P_N(0_i)表示當(dāng)前著眼的塊中的死角形成模式。死角形成模式的角度(方向)被離散表示(例如，從-180°到+180°、5°間隔)， 并且這些角度的值被表示為θ_1、θ_2、...和0_i。
在角度Θ」處P_N(0_i)是否為最小值可以通過將相鄰的角度和θ_ {i+1}相比，并且滿足方程式[I. I]來確定。當(dāng)角度的間隔(步長(zhǎng))較小時(shí)，可以利用方程式[1.2]而非方程式[I. I]來考慮與相鄰角度相鄰的角度，這是因?yàn)槲⑿〉陌疾亢屯共勘诲e(cuò)誤地檢測(cè)為死角的可能性更小。(第三條件)局部最小部的值小于預(yù)定義的閾值?；陬A(yù)定義的閾值來選擇在第一和第二條件下形成的死角形成模式的局部最小部。具體而言，利用預(yù)定義的固定閾值T_{static}通過上述方程式[1.3]來執(zhí)行判斷?；陂撝颠x擇局部最小部的方法與根據(jù)現(xiàn)有技術(shù)的方法相同。然而，在本發(fā)明中，閾值的目標(biāo)和設(shè)置閾值的方法與根據(jù)現(xiàn)有技術(shù)的方法不同。在根據(jù)現(xiàn)有技術(shù)的方法中的閾值被用于縮窄存在聲源的塊中的方向點(diǎn)。因此，閾值的設(shè)置是嚴(yán)格的。然而，在該實(shí)施例中，閾值被用于防止方向點(diǎn)在無聲的環(huán)境(不存在明顯的聲源的環(huán)境)中被錯(cuò)誤地檢測(cè)。即，由于在無聲的環(huán)境下沒有一個(gè)明確的極值(最小值或最大值)存在于死角形成模式中或者指向性束形成模式中，因此存在以下的擔(dān)心即方向點(diǎn)可能從微小的凹部和凸部錯(cuò)誤地檢測(cè)出來。然而，錯(cuò)誤檢測(cè)可以通過閾值防止。由于該閾值可以被一次性設(shè)置為在無聲環(huán)境下方向點(diǎn)不被檢測(cè)出來的大小，因此相比于根據(jù)現(xiàn)有技術(shù)的閾值，該閾值可以很容易地設(shè)置。閾值的示例是圖5中所示的閾值120。(第四條件)指向性束形成模式的局部最大部存在于與局部最小部相對(duì)應(yīng)的方向附近。接下來，將說明第四條件。判定是否存在靠近在第一至第三條件下選擇的各個(gè)局部最小部的、指向性束形成模式的局部最大部。由于局部最大部和局部最小部的位置不一定彼此相同并且在某些情況下可能彼此偏離，因此該判定是在考慮到偏離的容限的情況下執(zhí)行的。具體而言，假定局部最小部的位置為Θ i并且容限為β，判定在下面的方程式中是否存在滿足上述方程式[1.4]的0_{V }θ -β 彡 Θ _{i' }彡 θ +β在該方程式中，P_D( Θ _i)表示相同塊的指向性束形成模式。與在上述方程式[I. I]中一樣，可以使用方程式[1.5]而非方程式[1.4]。在圖5的示例中，在與死角形成模式51的局部最小部52、53和55相對(duì)應(yīng)的所有方向(S卩，方向Θ = P，111、方向Θ = q, 112和方向Θ = r，113)上，指向性束形成模式101中都存在局部最大部。S卩，指向性束形成模式101的局部最大部103對(duì)應(yīng)于死角形成模式51的局部最小部52,指向性束形成模式101的局部最大部104對(duì)應(yīng)于死角形成模式51的局部最小部53, 并且指向性束形成模式101的局部最大部105對(duì)應(yīng)于死角形成模式51的局部最小部55。具有對(duì)應(yīng)關(guān)系的死角形成模式51的局部最小部52、53和55是真正的聲源方向的候選。(第五條件)基于閾值的判定條件得到滿足，該閾值是由緊鄰的塊群組中的死角形成模式的最小部動(dòng)態(tài)計(jì)算出的(根據(jù)動(dòng)態(tài)閾值的判定條件)。
第五條件被用來進(jìn)一步縮窄方向點(diǎn)。第五條件是用于防止方向點(diǎn)在例如噪聲環(huán)境下被錯(cuò)誤地檢測(cè)的條件。即使在噪聲環(huán)境(多個(gè)聲源存在于后方的環(huán)境)中，基于方向估計(jì)檢測(cè)語音片段的方法在某種程度上對(duì)于靠近麥克風(fēng)的聲源也是有效的。然而，由于位于后方的聲源僅在第一至第四條件下被檢測(cè)為方向點(diǎn)，因此閾值被動(dòng)態(tài)改變以防止聲源被檢測(cè)為方向點(diǎn)。該機(jī)制將參考圖6說明。圖6對(duì)應(yīng)于參考圖IA至ID說明的圖1C。橫軸表不時(shí)間，而縱軸表不方向。聲音檢測(cè)方向被繪制為以預(yù)定義的時(shí)間間隔劃分的塊單元中的方向點(diǎn)。圖6示出了方向點(diǎn)被計(jì)算到中間塊的狀態(tài)。S卩，直到塊B2、152分析(方向點(diǎn)的檢測(cè))完成，而在相鄰塊B、151中正在進(jìn)行分析。這里，閾值是利用與緊鄰的塊群組154有關(guān)的信息計(jì)算出的。具體而言，該閾值是通過方程式[I. 6]和方程式[I. 7]計(jì)算出的，且假定P_N~ [b] ( Θ )是第b個(gè)塊的死角形成模式， B是當(dāng)前分析的塊B3、151的編號(hào)，并且BO是緊鄰的塊群組154的塊數(shù)目。方程式[1.6]表示當(dāng)將b從Β-Β0(=塊BI)改變到B_l(=塊B2)的同時(shí)、角度 Θ在任意范圍(例如，從-η到+^O內(nèi)改變時(shí)的最小值。以這種方式計(jì)算出的值假定是 P_{min}，并且通過將該值乘以常數(shù)系數(shù)α而獲得的動(dòng)態(tài)閾值假定是T_{dynamic}(方程式)。系數(shù)α是在O與I的范圍內(nèi)的值，例如O. I或O. 2。該判斷通過方程式[I. 8]執(zhí)行。死角形成模式的最小部通常是負(fù)值，以使得最大值被調(diào)節(jié)為0(這將在后面說明)。將最小值乘以系數(shù)α的乘法意味著該閾值被設(shè)置在最大值和最小值之間。這防止了死角形成模式中淺的凹部被錯(cuò)誤地檢測(cè)為方向點(diǎn)，因?yàn)橥ㄟ^利用動(dòng)態(tài)閾值T_{dynamic}，在噪聲環(huán)境中，閾值被設(shè)置為小于在上述第三條件下道德固定閾值T_{static}。然而，在無聲的環(huán)境中，通過利用動(dòng)態(tài)閾值T_{dynamic}，閾值可能被設(shè)置為大于在第三條件下的固定閾值T_{static}，從而引起增大錯(cuò)誤檢測(cè)的副作用。因此，第三條件 (方程式[1.3])繼續(xù)被使用。以這種方式，由于閾值T_{dynamic}和固定閾值T_{static} 中的較小值用作真正的閾值，因此無論在噪聲環(huán)境還是在無聲環(huán)境中都可以防止錯(cuò)誤的檢測(cè)。因而，當(dāng)執(zhí)行方向點(diǎn)檢測(cè)處理時(shí)，通過應(yīng)用基于作為新的方向點(diǎn)檢測(cè)處理的對(duì)象的塊的附近的塊群組中的死角形成模式的最小部而計(jì)算出的動(dòng)態(tài)閾值，來執(zhí)行死角形成模式的局部最小部是否被判定為方向點(diǎn)的判斷。下文中，將說明生成死角形成模式和指向性束形成模式的方法。生成死角形成模式的方法幾乎與根據(jù)現(xiàn)有技術(shù)的MUSIC方法相同。生成死角形成模式的方法是通過在與觀測(cè)信號(hào)的協(xié)方差矩陣相對(duì)應(yīng)的特征向量中，檢查與最小特征值相對(duì)應(yīng)的指向性特性來執(zhí)行的。另一方面，生成指向性束形成模式的方法是通過檢查特征向量中與最大特征值相對(duì)應(yīng)的指向性特性來執(zhí)行的。該處理將參考下面示出的方程式[2. I]至[2. 8]進(jìn)行說明。
權(quán)利要求
1.一種聲音信號(hào)處理設(shè)備，包括方向估計(jì)單元，該方向估計(jì)單元針對(duì)以預(yù)定時(shí)間單位劃分的每個(gè)塊檢測(cè)指示聲音信號(hào)的聲源方向的一個(gè)或多個(gè)方向點(diǎn)；以及方向跟蹤單元,該方向跟蹤單元將多個(gè)塊之間彼此連接方向點(diǎn)并且檢測(cè)其中聲音活動(dòng)的片段，其中所述方向估計(jì)單元包括空間濾波器生成單元，該空間濾波器生成單元生成死角形成濾波器和指向性束形成濾波器，所述死角形成濾波器是對(duì)所述聲源方向具有低靈敏度的空間濾波器，所述指向性束形成濾波器是對(duì)所述聲源方向具有高靈敏度的空間濾波器，死角形成模式生成單元，該死角形成模式生成單元生成死角形成模式，所述死角形成模式指示方向和增益之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)并且對(duì)應(yīng)于所述死角形成濾波器，指向性束形成模式生成單元，該指向性束形成模式生成單元生成指向性束形成模式， 所述指向性束形成模式指示所述方向和所述增益之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)并且對(duì)應(yīng)于所述指向性束形成濾波器，以及方向點(diǎn)檢測(cè)單元，該方向點(diǎn)檢測(cè)單元檢測(cè)指示聲音方向并包含死角形成模式中的局部最小部和指向性束形成模式中的局部最大部的方向點(diǎn)。
2.如權(quán)利要求I所述的聲音信號(hào)處理設(shè)備，其中所述空間濾波器生成單元通過對(duì)協(xié)方差矩陣的特征值分解處理來計(jì)算多個(gè)特征值和多個(gè)特征向量，并且利用與計(jì)算出的最大特征值相對(duì)應(yīng)的特征向量來生成所述指向性束形成濾波器，所述協(xié)方差矩陣是根據(jù)從所述聲音信號(hào)生成的時(shí)間-頻率域的觀測(cè)信號(hào)針對(duì)每個(gè)塊計(jì)算出的。
3.如權(quán)利要求I所述的聲音信號(hào)處理設(shè)備，其中所述空間濾波器生成單元通過對(duì)協(xié)方差矩陣的特征值分解處理來計(jì)算多個(gè)特征值和多個(gè)特征向量，并且通過用特征值為權(quán)重對(duì)所有特征向量加權(quán)求和或加權(quán)求平均來生成所述指向性束形成濾波器，所述協(xié)方差矩陣是根據(jù)從所述聲音信號(hào)生成的時(shí)間-頻率域的觀測(cè)信號(hào)針對(duì)每個(gè)塊計(jì)算出的。
4.如權(quán)利要求I所述的聲音信號(hào)處理設(shè)備，其中所述空間濾波器生成單元通過對(duì)協(xié)方差矩陣的特征值分解處理來計(jì)算多個(gè)特征值和多個(gè)特征向量，通過利用由特征向量形成的矩陣V(co)和由特征值形成的對(duì)角矩陣D(co)的運(yùn)算處理計(jì)算出變換矩陣V’(《)，并且利用計(jì)算出的變換矩陣V’ (co)的任何一行來生成所述死角形成濾波器，所述協(xié)方差矩陣是根據(jù)從所述聲音信號(hào)生成的時(shí)間-頻率域的觀測(cè)信號(hào)針對(duì)每個(gè)塊計(jì)算出的。
5.如權(quán)利要求I所述的聲音信號(hào)處理設(shè)備，其中所述方向點(diǎn)檢測(cè)單元通過應(yīng)用動(dòng)態(tài)閾值來判定所述死角形成模式中的局部最小部是否被選為方向點(diǎn)，所述動(dòng)態(tài)閾值是基于方向點(diǎn)檢測(cè)處理的新目標(biāo)塊的鄰近塊中死角形成模式中的最小值計(jì)算出的。
6.如權(quán)利要求I所述的聲音信號(hào)處理設(shè)備，其中所述方向點(diǎn)檢測(cè)單元區(qū)分強(qiáng)方向點(diǎn)和弱方向點(diǎn)，其中強(qiáng)方向點(diǎn)滿足死角形成模式中的局部最小部的值小于相應(yīng)的指向性束形成模式中的局部最大部的值的條件，弱方向點(diǎn)不滿足該條件，如果弱方向點(diǎn)位于正生成的片段內(nèi)，則選擇該弱方向點(diǎn)作為指示聲源方向的方向點(diǎn)，以及忽略位于正生成的片段外的弱方向點(diǎn)。
7.如權(quán)利要求I所述的聲音信號(hào)處理設(shè)備，其中所述方向點(diǎn)檢測(cè)單元區(qū)分強(qiáng)方向點(diǎn)和弱方向點(diǎn)，其中強(qiáng)方向點(diǎn)滿足死角形成模式中的局部最小部的值小于相應(yīng)的指向性束形成模式中的局部最大部的值的條件，弱方向點(diǎn)不滿足該條件，在延長(zhǎng)并確定正生成的片段的處理中將強(qiáng)方向點(diǎn)和弱方向點(diǎn)兩者都選為指示所述聲源方向的方向點(diǎn)，以及在要生成的新片段的起始部分，僅將強(qiáng)方向點(diǎn)選為指示聲源方向的方向點(diǎn)。
8.如權(quán)利要求7所述的聲音信號(hào)處理設(shè)備，其中其中所述方向點(diǎn)檢測(cè)單元在延長(zhǎng)并確定正生成的片段的處理中，檢查一個(gè)方向點(diǎn)是否被用在正生成的兩個(gè)或更多個(gè)片段，當(dāng)一個(gè)方向點(diǎn)被用在多個(gè)片段中時(shí)，多個(gè)片段中僅最長(zhǎng)的片段保留而其他片段被刪除，或者在較短片段中包括的方向點(diǎn)被添加到最長(zhǎng)的片段，并且利用最長(zhǎng)片段中包括的所有方向點(diǎn)再次計(jì)算片段的新方向。
9.如權(quán)利要求I所述的聲音信號(hào)處理設(shè)備，還包括聲源提取單元，基于對(duì)所述方向跟蹤單元所檢測(cè)的聲音片段的前端和后端添加了容限的片段信息來執(zhí)行詳細(xì)片段檢測(cè)；以及第二語音片段檢測(cè)單元，基于“話音相似性”對(duì)來自所述聲源提取單元的輸出執(zhí)行詳細(xì)片段檢測(cè)。
10.一種由聲音信號(hào)處理設(shè)備執(zhí)行的聲音信號(hào)處理方法,包括通過方向估計(jì)單元針對(duì)以預(yù)定時(shí)間單位劃分的每個(gè)塊檢測(cè)指示聲音信號(hào)的聲源方向的一個(gè)或多個(gè)方向點(diǎn)；以及通過方向跟蹤單元將多個(gè)塊之間的方向點(diǎn)彼此連接并且檢測(cè)其中聲音活動(dòng)的片段， 其中所述方向點(diǎn)的檢測(cè)包括生成死角形成濾波器和指向性束形成濾波器，所述死角形成濾波器是對(duì)所述聲源方向具有低靈敏度的空間濾波器，所述指向性束形成濾波器是對(duì)所述聲源方向具有高靈敏度的空間濾波器，生成死角形成模式，所述死角形成模式指示方向和增益之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)并且對(duì)應(yīng)于所述死角形成濾波器，生成指向性束形成模式，所述指向性束形成模式指示所述方向和所述增益之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)并且對(duì)應(yīng)于所述指向性束形成濾波器，以及檢測(cè)指示聲音方向并包含死角形成模式中的局部最小部和指向性束形成模式中的局部最大部的方向點(diǎn)。
11.一種使得聲音信號(hào)處理設(shè)備執(zhí)行聲音信號(hào)處理的程序,包括使得方向估計(jì)單元執(zhí)行針對(duì)以預(yù)定時(shí)間單位劃分的每個(gè)塊檢測(cè)指示聲音信號(hào)的聲源方向的一個(gè)或多個(gè)方向點(diǎn)的處理；以及使得方向跟蹤單元執(zhí)行將多個(gè)塊之間彼此連接方向點(diǎn)并且檢測(cè)其中聲音活動(dòng)的片段的處理，其中所述方向點(diǎn)的檢測(cè)包括生成死角形成濾波器和指向性束形成濾波器，所述死角形成濾波器是對(duì)所述聲源方向具有低靈敏度的空間濾波器，所述指向性束形成濾波器是對(duì)所述聲源方向具有高靈敏度的空間濾波器，生成死角形成模式，所述死角形成模式指示方向和增益之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)并且對(duì)應(yīng)于所述死角形成濾波器，生成指向性束形成模式，所述指向性束形成模式指示所述方向和所述增益之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)并且對(duì)應(yīng)于所述指向性束形成濾波器，以及檢測(cè)指示聲音方向并包含死角形成模式中的局部最小部和指向性束形成模式中的局部最大部的方向點(diǎn)。
全文摘要
本發(fā)明公開了聲音信號(hào)處理設(shè)備、聲音信號(hào)處理方法和程序。該聲音信號(hào)處理設(shè)備包括方向估計(jì)單元和方向跟蹤單元，該方向估計(jì)單元針對(duì)以預(yù)定時(shí)間單位劃分的每個(gè)塊檢測(cè)指示聲音信號(hào)的聲源方向的一個(gè)或多個(gè)方向點(diǎn)，該方向跟蹤單元將多個(gè)塊之間彼此連接方向點(diǎn)并且檢測(cè)其中聲音活動(dòng)的片段。方向估計(jì)單元包括生成死角形成濾波器和指向性束形成濾波器的空間濾波器生成單元、生成作為方向和增益之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)的死角形成模式的死角形成模式生成單元、生成作為方向和增益之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)的指向性束形成模式的指向性束形成模式生成單元、以及檢測(cè)指示聲音方向并包含死角形成模式中的局部最小部和指向性束形成模式中的局部最大部的方向點(diǎn)的方向點(diǎn)檢測(cè)單元。
文檔編號(hào)G10L11/00GK102610227SQ20121000658
公開日2012年7月25日 申請(qǐng)日期2012年1月11日 優(yōu)先權(quán)日2011年1月18日
發(fā)明者廣江厚夫 申請(qǐng)人:索尼公司