專利名稱：和聲合成器及聲音信號的和聲方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及和聲器(vocal harmonizer)以及用于進(jìn)行和聲的方法。
背景技術(shù)：
術(shù)語“和聲(vocal harmony) ”可以是指唱出的與主聲(lead vocal)相調(diào)和的旋律譜線(melodic line)?！昂吐暋睂樽?accompaniment)加入到包含主旋律的主聲樂中。在本發(fā)明中，術(shù)語“和聲”和“伴奏”可交換使用。通過正確地加入和聲能夠顯著提高無伴奏的主旋律(lead melody)的聲色。此外，如果加入伴奏，無伴奏的主聲所暴露出來的瑕疵可以被轉(zhuǎn)換為令人愉悅的聲音特性。例如，作為ー個(gè)示例，將主聲與伴奏聲之間的諧波相位差異(harmonic phase discrepancy)轉(zhuǎn)換為人耳所感興趣的感知振幅和頻率差異。這是和聲在商業(yè)化音樂制作中如此流行的原因之 一。然而，與主旋律不同，聲樂伴奏旋律對于大部分人來說通常難以學(xué)習(xí)。甚至對于專業(yè)歌手來說，必須花時(shí)間預(yù)先練習(xí)也是常見的。這就催生了多種和聲合成方法?！N被認(rèn)為起源于格里高利圣詠(Gregorian Chants)的用于從主聲譜線衍生出和聲譜線(伴奏旋律)的傳統(tǒng)方法(稱為458法)是通過隨意地使用完全四度音程(4thinterval)或完全五度音程(5th interval)或八度音程(octave (8ve) interval)來實(shí)現(xiàn)的。然而，在同期音樂中，完全四度音程或完全五度音程在最常見的大音階(major scale)中引入了潛在的不和諧音(dissonance),這些不和諧音具有不期望被分別升號(sharpen)和降號(flatten)的第四音符和第七音符。在小音階中，根據(jù)小音階的種類，它們能夠引入各種不和諧音。八度音程不會(huì)引入這樣的不和諧音，這是因?yàn)樗鼈兪呛吐暤奶乩?，其中上述兩個(gè)音符的所有泛音(overtone)的完全校準(zhǔn)的。然而，這產(chǎn)生出與純合唱(perfect unison)非常類似的效果，而難以獲得和聲的效果。已報(bào)道的上述方法的改進(jìn)方法(稱為458-11法)在需要歌曲曲調(diào)(songkey)的用戶說明的情況下部分地修正了這ー問題。這一信息使得能夠使用大三度(major 3rd)音程和小三度(minor 3rd)音程。然而，即使解決了自然曲調(diào)之外的音符的引入上的不協(xié)調(diào)，但這樣的方法仍不能解決曲調(diào)內(nèi)的音符上的不協(xié)調(diào)。從20世界70年代起，聲音編碼器(vocoder)就已經(jīng)在音樂制作中流行起來，特別是用于產(chǎn)生機(jī)器人般的聲音。Electro-HarmonixVoicebox就是這樣ー種聲音編碼器,其使用作為載體(carrier)的樂器(例如，吉他)輸入和作為調(diào)制器(modulator)的人聲來產(chǎn)生和聲。在這個(gè)被稱為輔助設(shè)備(AUX)的配置中，歌手和樂手(理想地，是同一個(gè)人)負(fù)責(zé)同步化，從而不需要用于校準(zhǔn)的機(jī)器。然而，和聲輸入的要求使得該配置更適用于訓(xùn)練有素的音樂家，而不適于不具備任何特殊的音樂能力的歌手。例如Kageyama發(fā)布的卡拉OK設(shè)備和Antare發(fā)布的和聲發(fā)生器(在MIDI跟蹤模式下的和弦中)等目前的解決方案使用更加先進(jìn)的再合成技術(shù)(re-synthesistechnique)。然而，上述解決方案不存在輸入樂器，并且歌手需要與節(jié)拍器或背景樂曲(backing track)同步。Antare發(fā)布的和聲發(fā)生器更像是音樂制作人或錄音師的工具,所以同步化通常要求在錄音后進(jìn)行手工修正。Kageyama發(fā)布的卡拉OK設(shè)備是為不必具有音樂天賦但要求具有ー些節(jié)奏感(即能夠與背景樂曲合拍地歌唱(手動(dòng)同步))的人們定制的設(shè)備。
發(fā)明內(nèi)容
基于以上問題，本發(fā)明提出了用于對聲音信號進(jìn)行和聲的方法和合成器。在ー個(gè)實(shí)施例中，提供了ー種用于對聲音信號進(jìn)行和聲的方法。所述方法的步驟包括接收輸入聲音信號；識(shí)別所述聲音信號的音高軌跡；將和聲音程矢量校準(zhǔn)到所述輸入聲音信號的音高軌跡，以形成經(jīng)校準(zhǔn)的和聲音高軌跡；并且根據(jù)所述經(jīng)校準(zhǔn)的和聲音高軌跡來合成和聲。根據(jù)另ー實(shí)施例,提供了ー種用于根據(jù)上述方法對聲音信號進(jìn)行和聲的和聲合成器。
下面參照
了本發(fā)明的示例性實(shí)施例。 圖I是實(shí)施例的和聲合成器。圖2是實(shí)施例的用于對聲音信號進(jìn)行和聲的流程圖。圖3是實(shí)施例的用于對聲音信號進(jìn)行和聲的流程圖。圖4是實(shí)施例的曲調(diào)與音符的值的確定的圖表。圖5是再合成的圖。圖6是MIDI模進(jìn)(MIDI sequence)的內(nèi)容的第一節(jié)。圖7是MIDI音高軌跡與演唱的主聲(sung vocal lead)的譯碼(interpretation)的音高軌跡之間的比較。圖8表示原始的音高軌跡和譯碼階段之后的音高軌跡。圖9表示經(jīng)譯碼的音高軌跡和MIDI音高軌跡的校準(zhǔn)。圖10是聲譜圖的比較。
具體實(shí)施例圖I是實(shí)施例的和聲合成器。和聲合成器100包括譯碼單兀101、校準(zhǔn)單兀(alignment unit) 102、MIDI單兀103、再校準(zhǔn)單元104和語音合成器105。譯碼單元101可用于接收主聲的輸入114，以獲取音高軌跡。主聲的輸入114也可以是指聲音信號的輸入或主聲輸入。聲音信號可以是模擬信號。在一個(gè)實(shí)施例中，主聲輸入114的音高軌跡的譯碼111與來自MIDI單元103的主聲MIDI音高軌跡108進(jìn)行校準(zhǔn)。然后，在再校準(zhǔn)單元104處使用校準(zhǔn)數(shù)據(jù)106對MIDI音程軌跡116進(jìn)行再校準(zhǔn)，MIDI音程軌跡116是在107處通過MIDI主聲108與伴奏軌跡109之間的關(guān)系獲得的。此后，再校準(zhǔn)的MIDI音程軌跡110與主聲輸入的譯碼117進(jìn)行同步，并且可以在112處添加矢量，以獲得用于對伴奏聲(和聲)進(jìn)行合成的目標(biāo)音高軌跡113。將目標(biāo)音高軌跡113與最初的主聲輸入114 一起輸入到高質(zhì)量聲音合成器(語音合成器105)，主聲輸入114可以是再次合成的或者直接添加至和聲信號(這取決于是否需要音高修正)。在信號處理中，術(shù)語“合成”說明產(chǎn)生了什么。在115處對合成階段的輸出進(jìn)行不同的加權(quán)以及求和，從而獲得兩個(gè)分離的通道以獲得立體的和聲。為實(shí)現(xiàn)空間深度，可以進(jìn)ー步向最終的輸出施加混響(reverberation)。各種實(shí)施例提供了以下機(jī)理在不需要輔助樂器或與背景樂曲的同步的情況下，通過主聲來合成和聲，從而有效地通過獨(dú)唱的主聲實(shí)現(xiàn)了“ A Capella”聲樂?？赡苄枰吐曅畔ⅲ呛吐曅畔⒖梢允荕IDI文件的形式?？赏ㄟ^使用這里說明的可靠的音高同步法自動(dòng)地進(jìn)行同步化。這可以消除手工同步或和聲信息的輸入的需要，從而使其更適合于非音樂家。
各種實(shí)施例還提供用于和聲的自動(dòng)合成的系統(tǒng)和方法。本發(fā)明的實(shí)施例認(rèn)識(shí)到并對以下情況進(jìn)行考慮現(xiàn)有的創(chuàng)新既考慮到不同位置處的不和諧音(例如，非和諧音程或沖突音程)，又需要用戶具有一些音樂能力。本發(fā)明的實(shí)施例提供了如下ー種方法，該方法即使對于僅具有較弱的協(xié)調(diào)感和節(jié)奏感的普通歌手而言也能夠自動(dòng)合成和聲。如圖10所示，該方法已通過音譜圖比較以及主觀聽音測試(subjective listening tests)進(jìn)行了評估。這種方法以及兩種流行的現(xiàn)有方法的音譜圖與人聲的音譜圖的比較顯示出這種方法最有最少的不和諧音并且最近似于自然的人聲。由本領(lǐng)域內(nèi)的專業(yè)人士和非專業(yè)人士分別進(jìn)行的主觀聽音測試證實(shí)了 使用這種方法合成的和聲聽起來在和諧(consonance)、音節(jié)間的過渡(inter-sylIabletransition)以及自然性(naturalness)與感染力(appeal)方面是最佳的。根據(jù)實(shí)施例，和聲合成器用于對聲音信號進(jìn)行和聲。和聲合成器包括譯碼單元101，其用于接收聲音信號的輸入114并且識(shí)別聲音信號的音高軌跡(音高軌跡的譯碼111);校準(zhǔn)単元102，其用于將一定數(shù)量的和聲信號的和聲音程矢量(MIDI音程軌跡116)校準(zhǔn)到聲音信號的音高軌跡111 ;以及語音合成器105，其用于根據(jù)經(jīng)校準(zhǔn)的和聲音高(目標(biāo)音高軌跡113)對聲音信號114進(jìn)行再合成。根據(jù)實(shí)施例，校準(zhǔn)單元還用于將基準(zhǔn)音高軌跡(MIDI音高軌跡108)校準(zhǔn)到聲音信號的音高軌跡，以形成經(jīng)同步的音高軌跡(校準(zhǔn)數(shù)據(jù)106);并且將一定數(shù)量的伴奏音高音程(accompaniment pitch interval) (MIDI音程軌跡116)校準(zhǔn)到經(jīng)譯碼的音高軌跡111，以形成一定數(shù)量的經(jīng)同步的伴奏音高軌跡113。根據(jù)實(shí)施例，語音合成器還用于根據(jù)經(jīng)同步的伴奏音高軌跡113對上述數(shù)量的聲音信號進(jìn)行合成。根據(jù)實(shí)施例，伴奏音高音程是以基準(zhǔn)音高軌跡與上述數(shù)量的伴奏音高軌跡之間的關(guān)系為基礎(chǔ)的。根據(jù)實(shí)施例，基準(zhǔn)音高軌跡來自于MIDI信號。根據(jù)實(shí)施例，伴奏音高軌跡來自于MIDI信號。根據(jù)實(shí)施例，譯碼單元還用于識(shí)別聲音信號的自動(dòng)修正。在其它實(shí)施例中，可以通過各種其它方法獲得音高軌跡。根據(jù)實(shí)施例，譯碼單元還用于對音高軌跡的濁音誤譯和清音誤譯進(jìn)行修正。譯碼單元還對八度音程誤譯進(jìn)行修正，并將音高軌跡轉(zhuǎn)譯成線性音階(linear scale)。
例如，和聲合成器100執(zhí)行如圖2和圖3所示的方法。圖2是實(shí)施例的用于對聲音信號進(jìn)行和聲的流程圖。過程200示出了用于對聲音信號進(jìn)行和聲的方法。步驟201 :接收聲音信號的輸入114。 步驟202 :識(shí)別聲音信號的音高軌跡111。步驟203 :將和聲信號的音高音程116校準(zhǔn)到聲音信號的音高軌跡111。步驟204 :根據(jù)經(jīng)校準(zhǔn)的和聲音高軌跡113來合成和聲118。圖3是實(shí)施例的用于對聲音信號進(jìn)行和聲的流程圖。過程300示出了用于對聲音信號進(jìn)行和聲的流程圖。步驟301 :接收聲音信號的輸入。步驟302 :識(shí)別聲音信號的音高軌跡。步驟303 :將基準(zhǔn)音高軌跡校準(zhǔn)到輸入的聲音信號的音高軌跡，以形成映射函數(shù)Unapping functionノ。步驟304 :根據(jù)映射函數(shù)將ー定數(shù)量的伴奏音高音程校準(zhǔn)到輸入的聲音信號。步驟305 :根據(jù)和聲的音高軌跡來合成上述數(shù)量的經(jīng)同步的伴奏聲音。根據(jù)實(shí)施例，提供了ー種用于對聲音信號進(jìn)行和聲的方法。該方法包括以下步驟接收聲音的輸入信號；識(shí)別聲音信號的音高軌跡；將和聲信號的音程校準(zhǔn)到聲音信號的音高軌跡；并且根據(jù)經(jīng)校準(zhǔn)的和聲音高軌跡來合成和聲。根據(jù)實(shí)施例，將和聲音程的軌跡校準(zhǔn)到聲音信號的音高軌跡的步驟包括將基準(zhǔn)音高軌跡校準(zhǔn)到輸入的聲音信號的音高軌跡，以形成映射函數(shù)；根據(jù)映射函數(shù)來校準(zhǔn)一定數(shù)量的伴奏音高音程，以形成一定數(shù)量的經(jīng)同步的伴奏音高音程；并且將經(jīng)同步的伴奏音程疊加在輸入的聲音信號的音高軌跡上，以形成一定數(shù)量的經(jīng)同步的伴奏音高軌跡。根據(jù)實(shí)施例，將聲音信號合成為和聲信號的步驟包括根據(jù)上述數(shù)量的經(jīng)同步的伴奏聲音的音高軌跡來，通過對輸入的聲音信號進(jìn)行再合成來合成經(jīng)同步的伴奏聲音。根據(jù)實(shí)施例，上述數(shù)量的伴奏音高音程是以基準(zhǔn)音高軌跡與上述數(shù)量的伴奏音高軌跡之間的關(guān)系為基礎(chǔ)的。根據(jù)實(shí)施例，基準(zhǔn)音高軌跡來自于MIDI信號。根據(jù)實(shí)施例，伴奏音高軌跡來自于MIDI信號。根據(jù)實(shí)施例，識(shí)別聲音信號的音高軌跡的步驟包括使用下面的方程轉(zhuǎn)譯為MIDI音符數(shù)音階(MIDI Note-Number Scale)
οοへへnmdl-scale = 9 + 121Og2
VV 44Uノノ這里，fHz是以Hz為單位的頻率。根據(jù)實(shí)施例，識(shí)別聲音信號的音高軌跡的步驟包括對音高軌跡的整體調(diào)聲偏差(overall tuning drift)進(jìn)行估計(jì)。(微細(xì)音律調(diào)整)根據(jù)實(shí)施例，識(shí)別聲音信號的音高軌跡的步驟包括識(shí)別音高軌跡的各音符的出現(xiàn)頻率；針對各個(gè)可能的曲調(diào)對各個(gè)音符進(jìn)行不同地加權(quán)運(yùn)算；并且基于經(jīng)加權(quán)的音符來識(shí)別各音符的可能曲調(diào)。(曲調(diào)預(yù)測)。
根據(jù)實(shí)施例，識(shí)別聲音信號的音高軌跡的步驟包括將音高軌跡的變調(diào)音符(accidental note)調(diào)整為音高軌跡的曲調(diào)內(nèi)的最接近的音符。(音符修正)。表I :目前的和聲合成方法與說明性實(shí)施例的比較。
權(quán)利要求
1.ー種對聲音信號進(jìn)行和聲的方法，所述方法包括以下步驟 接收輸入聲音信號； 識(shí)別所述聲音信號的音高軌跡； 將和聲音程矢量校準(zhǔn)到所述輸入聲音信號的音高軌跡，以形成經(jīng)校準(zhǔn)的和聲音高軌跡；并且 根據(jù)所述經(jīng)校準(zhǔn)的和聲音高軌跡來合成和聲。
2.根據(jù)權(quán)利要求I所述的方法，其中，將和聲音程的音高軌跡校準(zhǔn)到所述聲音信號的音高軌跡的所述步驟包括 將基準(zhǔn)音高軌跡校準(zhǔn)到所述輸入聲音信號的音高軌跡，以形成映射函數(shù)；并且根據(jù)所述映射函數(shù)將ー定數(shù)量的伴奏音高音程對準(zhǔn)到所述輸入聲音信號，以形成一定數(shù)量的經(jīng)同步伴奏聲。
3.根據(jù)權(quán)利要求2所述的方法，其中，根據(jù)所述經(jīng)校準(zhǔn)的和聲音程來合成所述和聲的所述步驟包括 根據(jù)所述輸入聲音信號的音高軌跡來合成所述數(shù)量的經(jīng)同步伴奏聲。
4.根據(jù)權(quán)利要求2所述的方法，其中，所述數(shù)量的伴奏音高軌跡是所述基準(zhǔn)音高軌跡與所述數(shù)量的伴奏音高軌跡之間的音程。
5.根據(jù)權(quán)利要求2所述的方法，其中，所述基準(zhǔn)音高軌跡來自MIDI信號。
6.根據(jù)權(quán)利要求2所述的方法，其中所述數(shù)量的伴奏音高軌跡來自MIDI信號。
7.根據(jù)權(quán)利要求I所述的方法，其中，識(shí)別所述聲音信號的音高軌跡的所述步驟包括 識(shí)別所述聲音信號的自相關(guān)性。
8.根據(jù)權(quán)利要求I所述的方法，其中，識(shí)別所述聲音信號的音高軌跡的所述步驟包括 修正所述音高軌跡的清音語音誤譯和濁音語音誤譯。
9.根據(jù)權(quán)利要求I所述的方法，其中，識(shí)別所述聲音信號的音高軌跡的所述步驟包括 使用下面的方程轉(zhuǎn)譯為MIDI音符數(shù)音階 ( f 32 V n— =9 + | 12 Iog2 x^J 這里，fHz表示以Hz為單位的頻率。
10.根據(jù)權(quán)利要求I所述的方法，其中，識(shí)別所述聲音信號的音高軌跡的所述步驟包括 估計(jì)所述音高軌跡的整體調(diào)音偏差。
11.根據(jù)權(quán)利要求I所述的方法，其中，識(shí)別所述聲音信號的音高軌跡的所述步驟包括 識(shí)別所述音高軌跡的各音符的出現(xiàn)頻率； 針對各可能的曲調(diào)對各音符進(jìn)行不同的加權(quán)；并且 基于所述經(jīng)加權(quán)的音符識(shí)別各音符的可能曲調(diào)。
12.根據(jù)權(quán)利要求I所述的方法，其中，識(shí)別所述聲音信號的音高軌跡的所述步驟包括 將所述音高軌跡的變調(diào)音符調(diào)整為所述音高軌跡的曲調(diào)內(nèi)最接近的音符。
13.—種用于對聲音信號進(jìn)行和聲的和聲合成器,所述和聲合成器包括譯碼單元，其用于接收所述聲音信號的輸入，并識(shí)別所述聲音信號的音高軌跡； 校準(zhǔn)単元，其用于將和聲信號的音高軌跡校準(zhǔn)到所述聲音信號的音高軌跡；以及 語音合成器，其用于將所述聲音信號合成到所述和聲信號。
14.根據(jù)權(quán)利要求13所述的和聲合成器，其中，所述校準(zhǔn)単元還用于 將基準(zhǔn)音高軌跡校準(zhǔn)到所述聲音信號的音高軌跡，以形成映射函數(shù)；并且 將ー定數(shù)量的伴奏音高軌跡校準(zhǔn)到所述映射函數(shù)，以形成一定數(shù)量的經(jīng)同步的伴奏音高軌跡。
15.根據(jù)權(quán)利要求13所述的和聲合成器，其中，所述語音合成器還用于 根據(jù)所述經(jīng)校準(zhǔn)的和聲音高軌跡來合成所述和聲。
16.根據(jù)權(quán)利要求14所述的和聲合成器，其中，所述數(shù)量的伴奏音高軌跡是基于所述基準(zhǔn)音高軌跡與所述數(shù)量的伴奏音高軌跡之間的關(guān)系的音程音高軌跡。
17.根據(jù)權(quán)利要求14所述的和聲合成器，其中，所述基準(zhǔn)音高軌跡來自MIDI信號。
18.根據(jù)權(quán)利要求14所述的和聲合成器，其中，所述數(shù)量的所述伴奏音高軌跡來自MIDI信號。
19.根據(jù)權(quán)利要求13所述的和聲合成器，其中，所述譯碼単元還用于 識(shí)別所述聲音信號的自相關(guān)性。
20.根據(jù)權(quán)利要求13所述的和聲合成器，其中，所述譯碼単元還用于 校正所述音高軌跡的清音語音誤譯和濁音語音誤譯。
全文摘要
本發(fā)明說明了用于對聲音信號進(jìn)行和聲的方法和聲合成器。所述和聲方法包括接收輸入聲音信號；識(shí)別所述聲音信號的音高軌跡；將和聲音程矢量校準(zhǔn)到所述輸入聲音信號的音高軌跡，以形成經(jīng)校準(zhǔn)的和聲音高軌跡；并且根據(jù)所述經(jīng)校準(zhǔn)的和聲音高軌跡來合成和聲。本發(fā)明的和聲方法和和聲合成器適合不具備良好節(jié)奏感的歌手并且還不會(huì)犧牲和諧音的質(zhì)量。
文檔編號G10L13/00GK102682762SQ20121006884
公開日2012年9月19日 申請日期2012年3月15日 優(yōu)先權(quán)日2011年3月15日
發(fā)明者岑玲, 李肇華, 董明會(huì), 陳耀柱 申請人:新加坡科技研究局