專利名稱：一種基于三維空間音頻感知的音源分離方法
技術(shù)領(lǐng)域：
本發(fā)明涉及音源分離技術(shù)領(lǐng)域，尤其是涉及一種基于三維空間音頻感知的音源分離方法。
背景技術(shù)：
近年來，隨著“911事件”、“英國倫敦大爆炸”、新疆暴力事件等恐怖事件的增多，世界各國對安全防范系統(tǒng)更為重視，紛紛通過大幅增加財政投入，大量部署安全防范系統(tǒng)，來增強(qiáng)對突發(fā)事件的應(yīng)對能力。2009年我國的安防監(jiān)控市場總體上處于平穩(wěn)上升的趨勢。據(jù)安防行業(yè)的調(diào)查報告顯示，在平安城市、城市報警與監(jiān)控系統(tǒng)(“3111”工程)、奧會運、世博會、國慶60周年慶典等大型項目的推動下，2009年我國仍處于安防設(shè)施建設(shè)的高峰期，行業(yè)整體發(fā)展勢頭良好， 與2008年相比增長約在10%，市場總體規(guī)模保持在1500億元左右。傳統(tǒng)安防技術(shù)通常倚重于視頻監(jiān)控資源，然而音頻監(jiān)控資源卻能提供一些視頻監(jiān)控資源無法提供的信息。例如，犯罪嫌疑人的聲音特征、作案工具聲音特征(槍聲)等，可為刑偵破案提供有效的技術(shù)支撐。然而，在實際安防、刑偵工作中，音頻監(jiān)控信號往往是多個信號成分混和在一起的，并且還包括噪聲干擾。由于源信號混合方式未知，源信號也不能被觀測，因此必須采用音源分離技術(shù)對混合音頻信號進(jìn)行處理，以分離出對刑偵破案有用的音源信號。傳統(tǒng)音源分離技術(shù)把多輸入多輸出聲學(xué)系統(tǒng)當(dāng)作一個“黑匣子”，在恢復(fù)源信號的過程中不考慮系統(tǒng)的內(nèi)部結(jié)構(gòu)，即不考慮空間聲學(xué)的特性如獨立語音源的方位，從而無法適用于實際復(fù)雜多變的安防監(jiān)控環(huán)境。綜上所述，提升在復(fù)雜多變、噪聲干擾的實際安防監(jiān)控環(huán)境中的音源分離效果，是目前音源分離技術(shù)領(lǐng)域的關(guān)鍵瓶頸問題，是急需解決的重大難題。
發(fā)明內(nèi)容
為了提升在實際復(fù)雜多變的安防監(jiān)控環(huán)境中的音源分離效果，本發(fā)明提出了一種基于三維空間音頻感知的音源分離方法。本發(fā)明提出的基于三維空間音頻感知的音源分離方法，包括以下步驟
步驟1，輸入《聲道的音頻信
號，將音頻信號變換至變換域，《>2 ；
步驟2，基于空間三維空間音頻感知理論和人耳空間聽覺理論，在W個聲道的變換域中提取各音源信號的空間線索；
步驟3，根據(jù)各音源信號的空間線索的分布概率，在該變換域中分離各音源信號； 步驟4，將步驟3所得變換域中各分離的音源信號還原至?xí)r域，得到基于三維空間音頻感知的音源分離結(jié)果。而且，所述變換域為時頻域，所述空間線索為耳間相對延時和耳間相對衰減。而且，步驟3的具體實現(xiàn)方式如下，根據(jù)各音源信號的空間線索的分布概率，構(gòu)造概率分布的二維直方圖； 所述二維直方圖的二維平面中的橫坐標(biāo)和縱坐標(biāo)分別為耳間相對延時和耳間相對衰減，豎軸是音源信號的空間線索的分布概率；
根據(jù)二維直方圖中的峰值坐標(biāo)，通過聚類算法將距離峰值坐標(biāo)最近的時頻點劃歸為一類；使用二進(jìn)制時頻掩碼技術(shù)將音源信號根據(jù)時頻點的分類標(biāo)記，在時頻域?qū)崿F(xiàn)音源分離。綜上所述，針對實際安防監(jiān)控環(huán)境的復(fù)雜多變性，本發(fā)明將三維音頻、空間音頻與音源分離技術(shù)相交叉、結(jié)合，研究多個音源的空間線索的混合規(guī)律，提出了一種基于三維空間音頻感知的音源分離方法，從而能夠在復(fù)雜多變、噪聲干擾的實際監(jiān)控環(huán)境中分離人聲、 槍聲等對刑偵破案有用的重點音源信號，為多媒體安防、刑偵監(jiān)控提供了新的技術(shù)支持。
圖1是本發(fā)明實施例的流程圖。圖2是本發(fā)明實施例的時頻變換步驟示意圖。圖3是本發(fā)明實施例的空間線索提取步驟示意圖。圖4是本發(fā)明實施例的空間線索分布概率的二維直方圖。圖5是本發(fā)明實施例的時頻域分離步驟示意圖。圖6是本發(fā)明實施例的逆時頻變換步驟示意圖。
具體實施例方式
以下結(jié)合附圖和實施例詳細(xì)說明本發(fā)明技術(shù)方案。本發(fā)明實施例提供的基于三維空間音頻感知的音源分離方法包括以下幾個步驟， 流程圖參見圖1
步驟1，輸入《聲道(《22 )的音頻信號，將其變換至某一特定變換域； 實施例中，《取值為2，即包含左聲道和右聲道的雙聲道立體聲音頻信號和而(0 ，如圖2所示，采用短時傅里葉變化(Short Time Fourier iTransf orm，簡記STFT )將立體聲音頻信號巧(0、5(0變換到時頻域，得到信號巧&釣、巧象勸。其中變量代表時間， 象勸代表時頻域,變量I代表時間、Φ代表頻率、。具體變換實現(xiàn)采用現(xiàn)有短時傅里葉變換(傅里葉級數(shù))的公式即可，分別如式1、式 2所示，將輸入的時域立體聲音頻信號巧(0、巧(0加載漢明窗函數(shù),(O后變換到時頻域，
得到時頻域的信號巧良 )、巧久 )。&(l， ) = Fw[;q(0] = ~^=廠 Ψ(β'- )Χι(β^' '(1)
42π “
其中，W(t'-t)表示對音頻信號加載滑動窗函數(shù)、^irf是傅里葉變換中的角頻率、
PwU表示對信號加載漢明窗函數(shù)后并進(jìn)行傅里葉變換，即短時傅里葉變換。具體實施時，還可變換到其他變換域。
步驟2，基于空間三維空間音頻感知理論和人耳空間聽覺理論，在η個聲道的變換域中提取各音源信號的空間線索。三維空間音頻感知是基于人耳空間聽覺的生理聲學(xué)和心理聲學(xué)，包括了耳間相對延時、耳間相對衰減，以及耳間相關(guān)度等空間線索參數(shù)。其中，耳間相對延時表示同一個聲源發(fā)出的聲音到達(dá)左、右耳的時間差，耳間相對衰減表示同一個聲源發(fā)出的聲音到達(dá)左、右耳的強(qiáng)度差，耳間相關(guān)度表示同一聲源發(fā)出的聲音到達(dá)左、右耳的信號相關(guān)度。本發(fā)明實施例選擇耳間相對延時和耳間相對衰減。具體實施時，還可選擇其他參數(shù)。實施例中，立體聲音頻信號包含了 5個音源信號，如圖3所示，提取各分離
音源信號的空間線索參數(shù)，記為空間線索辦勸、空同線索辦 )、空間線索辦 )、 空間線索4( , )、空間線索。具體實施時，采用了部分空間線索參數(shù)，包括了耳間相對延時5( ， )與耳間相對衰減0^ 勸。如式3所示,提取各分離音源的相對延時5(1^ ;如式4所示，提取各分離音源的相對衰減勸；
其中，Z表示求復(fù)數(shù)的相位角。步驟3，根據(jù)各音源信號的空間線索的分布概率，在該變換域中分離各音源信號。實施例中，根據(jù)各音源的空間線索的分布概率，構(gòu)造概率分布的二維直方圖，如圖4所示，圖中的每一個峰值代表各個分離的音源，峰值的橫縱坐標(biāo)分別表示音源信號的空間線索(耳間相對延時與耳間相對衰減釣)。如圖4中，二維平面的一個軸是巧化 )和她 )的耳間相對衰減(Symmetric attenuation),即α( ,ω)，另一個軸是;T1(I1OJ)和χ2( ，ω)的耳間相對延時(Relative delay),即δ(β，ω),豎軸是分布概率
(weight)。每一個時頻點象勸上可以提取耳間相對延時與耳間相對衰減^^, )，然
后綜合所有變化到時頻域所得時頻點，就能夠按比例分配計算出空間線索的分布概率。例如，總共有1000個時頻點，從其中的100個時頻點中提取了空間線索”從200個時頻點中提取了空間線索2，從300個時頻點中提取了空間線索3，則空間線索i的分布概率就是10%， 空間線索2的分布概率就是20%，空間線索3的分布概率就是30%。具體實施時，首先通過K-means聚類算法或其他現(xiàn)有聚類算法，在二維直方圖中確定代表各分離音源信號的峰值的坐標(biāo)；然后，計算出二維直方圖中的二維平面上的各個時頻點仏勁與各分離音源信號的峰值坐標(biāo)的歐氏距離，將距離峰值坐標(biāo)最近的時頻點劃歸為一類；最后，使用二進(jìn)制時頻掩碼技術(shù)將各個音源信號標(biāo)記，在時頻域?qū)崿F(xiàn)音源分離。其中，二進(jìn)制時頻掩碼技術(shù)為現(xiàn)有技術(shù)。具體實現(xiàn)為每一個時頻點被劃分到哪個音源信號，通過二進(jìn)制時頻掩碼控制，其中，^.￠!,^€{0,1}。若 Mj(i,ω) = ,則巧良 )不被劃分到音源；若！^象 )=〗，則而象 )被劃分到音源信號勺。Χ, β,Φ)、κ2( ,Φ)包含的音源信號是一樣的，中比,的多了空間線索， 通過提取空間線索，采用時頻掩碼技術(shù)，在巧良勸中將各音源分離，因為巧仏 )中的音源和巧仏勸中的音源信號是一樣的(都是同一聲源發(fā)出的聲音，只是被不同的麥克風(fēng)接收而已)，所以對^2 (β> 無需處理。如圖5所示根據(jù)空間線索々, )、空間線索2良 )、空間線索3沃 )、 空間線索4良 )、空間線索少,釣和信號巧(丨,勸、巧象 ),分離出5個被二進(jìn)制時頻掩碼標(biāo)記的音源信號巧象 )、S2O)、Φ為、、s5(i,ai)。當(dāng)2時,先兩兩互相處理，然后綜合各分離音源信號。例如《 = 3時，記立體聲音頻信號巧幻、而(0、々(0變換到時頻域，得到信號巧良 )、巧仏 )、％象 )，則進(jìn)行以下處理
(1)對巧良 )和,根據(jù)而良釣和巧(1， )的處理耳間相對衰減和耳間相對延時建立二維直方圖，進(jìn)行分類；
(2)對巧0，釣和巧&妁，根據(jù)和的處理耳間相對衰減和耳間相對延時建立二維直方圖，進(jìn)行分類；
(3)對巧(〖,釣和巧( ， ),根據(jù)而包勸和巧仏 )的處理耳間相對衰減和耳間相對延時
建立二維直方圖，進(jìn)行分類；
對某個音源信號，將(1) (2) (3)處理所得的相應(yīng)結(jié)果相加取平均值，即可得到分離的音源信號。步驟4，將步驟3所得變換域中各分離的音源信號還原至?xí)r域，得到基于三維空間音頻感知的音源分離結(jié)果。如圖6，實施例中分別將5個被二進(jìn)制時頻掩碼標(biāo)記的音源信號、 S2Ci, 0)、S3(i,a)、s從 φ)、ε從 φ),采用逆短時傅里葉變換(Inverse Short Time Fourier Transform，簡記:I-STFT)從時頻域還原到時域，得到信號si(i)、s2(f)、s3(f)
W)、&(◎,實現(xiàn)一種基于三維空間音頻感知的音源分離方法。短時傅里葉變化和逆短時傅里葉變換為現(xiàn)有技術(shù)，本發(fā)明不予贅述。本文中所描述的具體實施例僅僅是對本發(fā)明精神作舉例說明。本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員可以對所描述的具體實施例做各種各樣的修改或補(bǔ)充或采用類似的方式替代，但并不會偏離本發(fā)明的精神或者超越所附權(quán)利要求書所定義的范圍。
權(quán)利要求
1.一種基于三維空間音頻感知的音源分離方法，其特征在于，包括以下步驟步驟1，輸入'聲道的音頻信號，將音頻信號變換至變換域,《>2 ；步驟2，基于空間三維空間音頻感知理論和人耳空間聽覺理論，在〃個聲道的變換域中提取各音源信號的空間線索；步驟3，根據(jù)各音源信號的空間線索的分布概率，在該變換域中分離各音源信號； 步驟4，將步驟3所得變換域中各分離的音源信號還原至?xí)r域，得到基于三維空間音頻感知的音源分離結(jié)果。
2.如權(quán)利要求1所述基于三維空間音頻感知的音源分離方法，其特征在于所述變換域為時頻域，所述空間線索為耳間相對延時和耳間相對衰減。
3.如權(quán)利要求2所述基于三維空間音頻感知的音源分離方法，其特征在于步驟3的具體實現(xiàn)方式如下，根據(jù)各音源信號的空間線索的分布概率，構(gòu)造概率分布的二維直方圖； 所述二維直方圖的二維平面中的橫坐標(biāo)和縱坐標(biāo)分別為耳間相對延時和耳間相對衰減，豎軸是音源信號的空間線索的分布概率；根據(jù)二維直方圖中的峰值坐標(biāo)，通過聚類算法將距離峰值坐標(biāo)最近的時頻點劃歸為一類；使用二進(jìn)制時頻掩碼技術(shù)將音源信號根據(jù)時頻點的分類標(biāo)記，在時頻域?qū)崿F(xiàn)音源分離。
全文摘要
本發(fā)明提出一種基于三維空間音頻感知的音源分離方法，輸入聲道的音頻信號，將其變換至某一特定變換域；基于空間三維空間音頻感知理論和人耳空間聽覺理論，在個聲道的變換域中提取各音源信號的空間線索；根據(jù)各音源信號的空間線索的分布概率，在該變換域中分離各音源信號；將變換域中的各分離音源信號還原至?xí)r域，實現(xiàn)一種基于空間線索的音源分離方法。本發(fā)明針對實際安防監(jiān)控環(huán)境的復(fù)雜多變性，將三維音頻、空間音頻與音源分離技術(shù)相交叉、結(jié)合，研究多個音源的空間線索的混合規(guī)律，提出了一種基于三維空間音頻感知的音源分離方法，從而能夠在復(fù)雜多變、噪聲干擾的實際監(jiān)控環(huán)境中分離出重點音源信號，為多媒體安防、刑偵監(jiān)控提供了新的技術(shù)支持。
文檔編號G10L21/02GK102522093SQ20121000364
公開日2012年6月27日 申請日期2012年1月9日 優(yōu)先權(quán)日2012年1月9日
發(fā)明者常迪, 楊婉怡, 楊玉紅, 林霞, 涂衛(wèi)平, 王曉晨, 胡瑞敏, 董石 申請人:武漢大學(xué)