一種多音色混合的智能演奏系統(tǒng)和方法與流程

本發(fā)明涉及音頻處理技術領域，尤其涉及一種多音色混合的智能演奏系統(tǒng)和方法。

背景技術：

樂器被分類為原聲樂器、電子樂器和混合樂器。隨著時代的發(fā)展，傳統(tǒng)的原聲樂器不再能夠滿足人們對于音樂多種多樣演奏的需求。對于傳統(tǒng)的原聲樂器，想要演奏出一首多樂器合奏的樂曲，需要多個人同時進行演奏，顯然這種方式需要同時多人在場演奏，并且需要具備相應的樂器演奏技能。

日本特開平專利公開(kokai)號2001-195064提出了一種系統(tǒng)，該系統(tǒng)實現彼此遠離的多個使用者在音樂數據的作曲上的相互協(xié)作。專利cn1624760b中提出了一種音樂會支持方法、用于音樂會的樂器，使彼此遠離的多個使用者使用該系統(tǒng)識別相互間是否能參加音樂會的狀態(tài)，實現遠距離共同參加音樂會，演奏音樂。這兩種專利的方法只是解決了地域上的限制，但仍然需要多人多樂器同時進行演奏。

電子樂器所指的是通過觸發(fā)電子信號，利用電子合成技術和/或采樣技術來使電聲設備發(fā)出聲音的樂器，如電子琴、電鋼琴、電子合成器、電子鼓等。電子樂器，本質上是一種電子合成器。它采用大規(guī)模集成電路，大多配置聲音記憶存儲器(波表)，用于存放各類樂器的真實聲音波形并在演奏的時候輸出。目前使用的電子合成器有鍵盤式和模塊式兩種。鍵盤式合成器外形類似便攜式電子琴，模塊式合成器實際上是用來提供音色的“音源”。

電子樂器演奏的音色實際上有兩種產生方式：一是儲存在其中的音色，二是合成的音色。但由于電子樂器不能有無限的儲存空間，并且現有技術合成的音色有限，電子樂器能夠提供給使用者演奏的音色是已經確定的并且數量有限，不能按照使用者的需求來選擇或產生音色。例如，市場上某品牌型號的多功能數碼教學電子琴具有160種音色，即能提供給用戶演奏的音色有以下160種，序號和對應的音色為：00聲學大鋼琴、01敲擊風琴、02鋼片琴、03酒吧鋼琴、04電鋼琴1、05電鋼琴2、06大鋼琴、07電風琴等，另外152種這里不再詳細列舉。使用者只能選擇電子樂器上提供的以上160種音色之一來進行演奏，不能滿足使用者的其他音色需求。例如，用戶想演奏現代鋼琴的音色，160種音色中沒有，則不能實現。

另外，使用者利用現有技術演奏時，同一時刻只能演奏一種音色，例如在電子琴上按下一個按鍵，只能發(fā)出一種音色(如選定的是古典鋼琴，則發(fā)出的是古典鋼琴的音色)，一個按鍵不能同時發(fā)出兩種或兩種以上的音色。例如，電子琴中的音色包括古典鋼琴、小提琴，用戶想實現古典鋼琴與小提琴一起合奏的效果，即兩個人分別使用古典鋼琴和小提琴來共同演奏樂譜，現有技術也無法實現。

對于一首由多種樂器來演奏的樂譜，一般是通過多個人分別演奏對應的樂器來實現的。例如鋼琴和小提琴合奏曲《愛的禮贊》，是由鋼琴和小提琴共同演奏的，需要2個演奏者，一人彈奏鋼琴，一人拉小提琴來完成合奏。這時需要2個演奏者，2個樂器，具有一定的演奏成本，并且一個人是無法完成的。并且，在《愛的禮贊》經常會出現一個音例如：c調的mi由鋼琴和小提琴同時演奏，形成兩種樂器同時合奏的效果，現有技術是無法實現的。

當創(chuàng)作樂曲時，這種問題會更加凸顯出來。樂曲的創(chuàng)作不可能是創(chuàng)作者純靠想象就能夠完成的，需要把創(chuàng)作的樂曲演奏出來試聽、感受樂曲的效果，才能夠創(chuàng)作出好的樂曲。尤其是需要多個樂器共同演奏的樂曲和需要多個人(一個樂隊)共同演奏的樂曲，所述的多個樂器包括同種的多個樂器和不同種的多個樂器，例如交響樂曲，光靠人腦的想象無法想象出合奏的效果，需要試聽樂曲效果來輔助創(chuàng)作。例如《愛的禮贊》，樂曲創(chuàng)作者在創(chuàng)作樂曲時不可能找來2個人、1把小提琴、1架鋼琴，將實時創(chuàng)作的樂譜草稿進行演奏，以供創(chuàng)作者試聽、感受和修改，但僅靠作曲者一個人用現有技術無法模擬出鋼琴和小提琴共同演奏的效果，尤其是兩種樂器同時演奏同一音符(例如c調的mi)的合奏效果，現有技術是無法實現的。

因此，能夠提供多音色和多音色混合的演奏系統(tǒng)是非常必要的。所述的多音色是多個單音色的混合音色，所述的單音色是指一種樂器的一個音色級別，所述的一個音色級別是指一種音色效果，同一種樂器在不同彈奏條件下彈奏同一音高的音符所產生的不同音色效果，所述的彈奏條件選自樂器類型、樂器生產廠家、樂器型號、樂器個體、彈奏者/物、彈奏手法中的任意一種或任意多種。

技術實現要素：

針對現有技術的不足，本發(fā)明所要解決的技術問題是提供一種多音色混合的智能演奏系統(tǒng)和方法。

本發(fā)明針對現有技術不能實現一個人用一種演奏系統(tǒng)或樂器或設備演奏出多種音色合奏的問題，發(fā)明了一種能夠將多種音色進行混合，演奏出多音色的系統(tǒng)，使得一個人利用所述系統(tǒng)能夠實現一個樂隊演奏的演奏效果。所述的多音色是多個單音色的混合音色，具體表現為同一個音符(例如c調的mi)是由兩種或兩種以上的單音色合奏的演奏效果，包括不同樂器種類的單音色合奏、同一樂器種類不同音色級別的單音色合奏，所述的單音色是指一種樂器的一個音色級別，所述的一個音色級別是指一種音色效果，同一種樂器在不同彈奏條件下彈奏同一音高的音符所產生的不同音色效果，所述的彈奏條件選自樂器類型、樂器生產廠家、樂器型號、樂器個體、彈奏者/物、彈奏手法中的任意一種或任意多種。所述的樂隊演奏的演奏效果是指由多個人共同演奏或多個樂器共同演奏的效果。

本發(fā)明采用如下的技術方案：

一種多音色混合的智能演奏系統(tǒng)，所述的智能演奏系統(tǒng)用于單音色和/或多音色的聯(lián)合演奏，所述的單音色是指一種樂器的一個音色級別，所述的多音色是多個單音色的混合音色，所述的一個音色級別是指一種音色效果，同一種樂器在不同彈奏條件下彈奏同一音高的音符所產生的不同音色效果，所述的彈奏條件選自樂器類型、樂器生產廠家、樂器型號、樂器個體、彈奏者/物、彈奏手法中的任意一種或任意多種；所述的多音色的聯(lián)合演奏選自同一種樂器不同級別音色的聯(lián)合演奏、不同種樂器之間音色的聯(lián)合演奏；所述的智能演奏系統(tǒng)支持在演奏過程中實時切換不同的音色類型，所述的實時切換不同的音色類型選自不同單音色之間的實時切換、單音色與多音色之間的實時切換、不同多音色之間的實時切換，所述的智能演奏系統(tǒng)包括音色儲存單元、交互單元、音色生成單元、混合合成單元，其中：所述的音色儲存單元用于儲存每一種樂器不同級別的音色庫，提供給音色生成單元和混合合成單元；所述的交互單元用于進行智能演奏系統(tǒng)的交互并獲得反饋信息，以及根據樂譜獲取樂譜信息；所述的音色生成單元根據交互單元提供的反饋信息和樂譜信息進行判斷，選擇音色儲存單元中的音色進行播放或給出合成指令；所述的混合合成單元在收到音色生成單元給出的合成指令后，利用音色儲存單元中的音色庫和交互單元提供的反饋信息和樂譜信息進行混合音色的合成并播放。

所述的單音色和/或多音色的聯(lián)合演奏是指選自單音色的演奏、多音色的演奏、單音色和多音色的演奏。

所述的音色級別是指將同一種樂器在不同彈奏條件下彈奏同一音高的音符所產生的不同音色效果表示為音色的不同級別，所述的彈奏條件選自樂器類型、樂器生產廠家、樂器型號、樂器個體、彈奏者/物、彈奏手法的任意一種或任意多種。所述的音色級別是樂器種類的下位概念，每一種樂器都對應多個音色級別。所述的樂器種類是指例如鋼琴、小提琴是不同的樂器種類。立式鋼琴和三角鋼琴同屬于一種樂器種類(鋼琴)，是鋼琴的不同類型，是鋼琴的音色級別的影響因素之一。例如，彈奏同一音高的音符，不同品牌的鋼琴彈奏出的音色效果不同，斯坦威鋼琴產生的音色具有雍容華貴的感覺，本森多夫鋼琴的音色深沉含蓄，法奇奧里鋼琴的音色讓人覺得性感撩人，德國名琴布魯茲納的音色玲瓏雅典、略帶暖意，日本品牌雅馬哈鋼琴的音色偏明亮，卡瓦依鋼琴的音色偏柔軟。再例如，在雅馬哈的同一架鋼琴上彈奏標準音la(鋼琴上的a4音，從低音區(qū)數第49個音，聲音振動頻率440hz)，不同彈奏手法產生的音色也是不同的；彈奏速度快、力度大的方式產生的音色聽起來更明亮有力，彈奏速度慢、觸鍵輕的方式產生的音色聽起來更舒緩，專業(yè)的鋼琴演奏者可以采用不同的彈奏手法將不同的情緒賦予在音樂之中。所述的不同彈奏手法的具體表現包括但不僅限于彈鋼琴時手指觸鍵的方向、高度、力量、速度、深度，不同的觸鍵部位，如指尖、指面多肉部位，不同的彈奏法如非連奏、連奏、跳音彈奏等。由于音色效果的影響因素較多也比較復雜，因此，對于同一音高的音符，就會對應于多個音色級別，也就是多級音色。不同的彈奏條件包括但不限于不同的樂器類型、樂器生產廠家、樂器型號、樂器個體、彈奏者/物、彈奏手法，任意一種或多種彈奏條件的不同，就會導致彈奏同一音高的音符產生不同的音色效果(也就是產生不同的音色級別)。

進一步地，所述的音色儲存單元用于儲存不同種樂器不同級別的音色庫是指音色儲存單元中儲存有例如10種樂器，分別是鋼琴、風琴、電鋼琴、木琴、管鐘琴、口琴、吉他、貝士、小號、長笛，每種樂器對應該種樂器的多個音色級別。例如：鋼琴有9個音色級別，分別是酒吧鋼琴、亮音鋼琴、古典鋼琴、華貴鋼琴、輕快鋼琴、雅馬哈鋼琴1、雅馬哈鋼琴2、海倫鋼琴1、海倫鋼琴2，風琴有5個音色級別，分別是搖滾風琴、教會風琴、簧片風琴、手風琴、探戈手風琴。所述的音色庫(采樣庫)，實際上是多種音色的集合，這些音色包括各種樂器的演奏、各種人聲的演唱、念白，以及各種自然、人造聲音的錄音。例如鋼琴的音色庫包含鋼琴88個鍵分別單獨演奏的發(fā)音。

具體地，本說明書的樂器或某品牌樂器后用數字序號“1”、“2”、“3”來描述各種樂器或各種品牌的樂器，但是這些樂器不受到這些數字序號的限制。這些數字序號用于將一個樂器與另一個樂器進行區(qū)分，是指一種序號指代，代表的是該種樂器或該種品牌的樂器具體的一種樂器型號的音色。例如，雅馬哈鋼琴1、雅馬哈鋼琴2是指雅馬哈鋼琴的兩種型號，具體地，例如雅馬哈鋼琴1是指雅馬哈鋼琴ys系列的ys1的音色，雅馬哈鋼琴2是指雅馬哈鋼琴yz系列的yz122的音色。類似的，海倫鋼琴1、海倫鋼琴2代表的是該種樂器或該種品牌的樂器具體的一種樂器型號的音色。

進一步地，所述的交互單元提供用戶與所述智能演奏系統(tǒng)的交互，完成音色演奏模式的設置和實時切換，進行用戶的智能演奏并獲取按鍵信息，以及根據樂譜獲取樂譜信息，所述音色演奏模式是指用戶智能演奏時音色生成單元播放音色所采用的一個級別或多個級別的音色庫；所述的音色生成單元根據交互單元提供的音色演奏模式和用戶智能演奏的按鍵信息進行判斷，選擇音色儲存單元中的音色進行播放或給出合成指令；所述的混合合成單元在收到音色生成單元給出的合成指令后，利用音色儲存單元中的音色庫和交互單元提供的音色演奏模式和用戶智能演奏的按鍵信息進行混合音色的合成并播放。

所述的用戶智能演奏是指用戶在交互單元上進行單音色和/或多音色的聯(lián)合演奏，所述的聯(lián)合演奏是指演奏時可以是不同的單音色、不同的多音色、不同的單音色和多音色。

進一步地，如前所述任何一種形式的多音色混合的智能演奏系統(tǒng)，所述的多音色混合的智能演奏系統(tǒng)還包括多級音色合成單元，所述的多級音色合成單元用于根據樂譜信息的音色要求合成音色和/或用于合成多個音色級別的音色庫，所述的音色要求是指樂器的音色級別。

所述的多級音色合成單元采用可編輯的多級音色合成方法，先根據樂譜信息中的樂器信息選取音色儲存單元中的音色，再根據音色級別的要求選取修改參數，合成對應于樂譜信息的音色。

進一步地，所述的可編輯的多級音色合成方法通過編輯音色修改參數，結合音色特征信息進行音色合成，不同的音色修改參數對應不同的音色級別。所述的音色修改參數選自基頻倍頻段修改參數和音感類型修改參數中的任意一種或任意兩種，所述的基頻倍頻段修改參數包括基頻倍頻段幅值修改系數vk、合成參數n和調節(jié)基頻，所述的音感類型修改參數包括各音感類型對應的縮放系數、自定義音感設置，所述音感類型包括沉悶感、厚重感、豐富感、明快感、明亮感、尖銳感，自定義音感設置用于修改各音感類型的頻率范圍，增加音感類型并設置其頻率范圍。

優(yōu)選的，所述的可編輯的多級音色合成方法采用音色重構模型進行音色的合成。音色重構模型將源音色的音色特征信息分為兩部分：修改部分和保留部分，對所述修改部分的頻率段進行效果的增強或減弱，所述的頻率段包括：基頻到k倍頻段、各類型音感段，所述的k滿足k≤采樣頻率/(2*基頻)且k為整數，具體方法公式如下：

其中，為某件樂器在基頻為f1時的樂音；等式加號左側為修改部分，加號右側為保留部分。af表示源音色對應頻率f的幅值，sf表示修改系數的加權，乘積sf*vk表示對應各頻率的實際修改系數，乘積sf*vk*af表示修改后對應各頻率的幅值；表示源音色對應頻率f的相角。

對于基頻倍頻段的修改，vk表示對應的基頻或倍頻段幅值修改系數，k表示k倍頻，k＝1即基頻段，k表示參與修改的最高倍為k倍頻，k＝1,2,3，…，合成時根據實際音源的基頻進行靈活選擇；k倍頻段參與修改的頻率f的范圍dk由合成參數n確定，f∈(fk-f1*n，fk+f1*n)，其中，f1表示源音色的基頻，fk表示源音色的k倍頻。

對于各類型音感段的修改，vk表示每個音感類型對應的縮放系數，k表示第k個音感類型；第k個音感類型參與修改的頻率f的范圍dk已確定，可由自定義音感設置修改其頻率范圍，音感類型個數k可以通過自定義音感設置增加。

進一步地，如前所述任何一種形式的多音色混合的智能演奏系統(tǒng)，本發(fā)明的多音色混合的智能演奏系統(tǒng)還包括自動演奏單元，所述的自動演奏單元用于根據樂譜信息實現自動演奏。

進一步地，所述的自動演奏單元包括音符生成模塊、節(jié)奏處理模塊和音樂生成模塊，所述的音符生成模塊根據交互單元獲取的樂譜信息生成單個音符，所述的節(jié)奏處理模塊根據交互單元獲取的樂譜信息將生成的單個音符進行節(jié)奏處理，所述的音樂生成模塊根據交互單元獲取的樂譜信息生成連續(xù)的完整音樂并播放。

進一步地，所述的音符生成模塊根據交互單元獲取的樂譜信息進行判斷，選擇音色儲存單元中的音色或向混合合成單元發(fā)出合成指令合成多音色。

進一步地，所述的節(jié)奏處理根據樂譜信息中的節(jié)奏信息對單個音符進行幅值、時長和包絡的改變，所述的節(jié)奏信息包括樂譜的速度標記、節(jié)拍記號、音符持續(xù)的拍數。

所述的速度標記是指樂譜中用來標明樂曲在進行中快慢的記號，有速度術語和速度公式兩種，速度術語如廣板、慢板、緩板、稍慢、行板、小行板、中板稍慢、中板、中板稍快、小快板、稍快、快板、急板等，速度公式是有嚴格時值長短的速度標記，如：以四分音符為一拍，每分鐘八十拍標記為：d＝80(d表示四分音符)。

所述的節(jié)拍記號是指樂譜中用來表示節(jié)拍(拍子)的記號，一般寫在樂譜的左上方，分母表示以什么音符做一拍，分子表示每小節(jié)有幾拍。常用的拍子有四一拍、四二拍、四三拍、四四拍、二二拍、八三拍、八六拍等，表示形式為1/4、2/4、3/4、4/4、2/2、3/8、6/8。

所述的音符持續(xù)拍數是指每個音符持續(xù)的拍數。

進一步地，所述的音樂生成模塊將經節(jié)奏處理后的音符平滑連接，并根據樂譜信息中的力度信息進行音樂的幅值調整，播放音樂。

所述的力度信息是指樂譜中用來表示音的力度強弱的信息，一般用力度記號表示，如最弱(ppp)、很弱(pp)、弱(p)、中弱(mp)、中強(mf)、強(f)、很強(ff)、最強(fff)、漸強(cresc.)、漸弱(dim)、強后即弱(fp)。

進一步地，所述的自動演奏單元在合成音樂時樂譜信息中的空拍子用波形為零來表示。

所述的空拍子是指在樂譜的簡譜中表示為0的沒有音高的拍子。

進一步地，如前所述任何一種形式的多音色混合的智能演奏系統(tǒng)，本發(fā)明的多音色混合的智能演奏系統(tǒng)還包括通信單元，所述的通信單元用于所述智能演奏系統(tǒng)與其他設備和/或網絡的交互。

所述的其他設備指除自身以外的任意一種設備，可以是另一套多音色混合的智能演奏系統(tǒng)，也可以是具有交互功能的任意一種設備或演奏系統(tǒng)，例如手機、平板電腦、智能手表、話筒、音響等，所述的交互方式可以是傳統(tǒng)的利用金屬導線、光纖等有形媒介傳送信息的有線方式，也可以是不通過有形媒介傳送信息的無線方式，例如藍牙、wifi、2g、2.5g、2.75g、3g、4g通信方式和后續(xù)代的通信方式(4g以上的版本)等。所述的網絡包括互聯(lián)網和物聯(lián)網，既包括系統(tǒng)與云端的交互，也包括系統(tǒng)通過網絡與其他設備的交互。

進一步地，所述的通信方式選自無線方式和/或有線方式。

所述的無線方式和/或有線方式是指通信選自無線方式、有線方式、無線方式和有線方式。所述的有線方式是指傳統(tǒng)的利用金屬導線、光纖等有形媒介傳送信息的方式，所述的無線方式是指不通過有形媒介傳送信息的方式，選自藍牙、wifi、2g、2.5g、2.75g、3g、4g通信方式和后續(xù)代的通信方式(4g以上的版本)中的任意一種或任意多種。

進一步地，如前所述任何一種形式的多音色混合的智能演奏系統(tǒng)，所述的不同級別的音色庫的獲取方式選自以下的任意一種或任意多種：

方式一：利用可編輯多級音色合成系統(tǒng)生成，所述的合成系統(tǒng)采用一個音色庫作為源音色，通過編輯修改參數的不同，合成不同級別的音色庫；

方式二：直接輸入現有的音色庫；

方式三：利用采集設備采集音色庫。

所述的可編輯的多級音色合成系統(tǒng)用于編輯合成樂器不同級別的音色，模擬樂器同一音高的音符在不同彈奏條件下產生的不同音色效果，進而模擬樂器的真實音色，所述彈奏條件選自樂器類型、樂器生產廠家、樂器型號、樂器個體、彈奏者/物、彈奏手法的任意一種或任意多種。具體的方法是：例如使用鋼琴一個音色庫中的88個音色分別作為源音色，利用所述的可編輯的多級音色合成系統(tǒng)編輯修改參數，合成88個音色，形成一個級別音色庫。使用不同的編輯修改參數，就能合成多個不同級別的音色庫。

進一步地，如前所述任何一種形式的多音色混合的智能演奏系統(tǒng)，所述的交互單元包含智能演奏模塊、模式選擇模塊、樂譜信息獲取模塊，其中，所述的智能演奏模塊用于與用戶進行交互，實現樂器的智能演奏；所述的模式選擇模塊用于音色演奏模式的設置和實時切換；所述的樂譜信息獲取模塊用于根據樂譜獲取樂譜信息。

進一步地，所述的智能演奏模塊用于獲取用戶智能演奏時的按鍵信息和音色演奏模式，并提供給音色生成單元。

所述的音色演奏模式對應于音色儲存單元中的一個或多個音色庫，所述的音色庫是每一種樂器的不同級別的音色庫。

進一步地，所述音色演奏模式的切換方式選自手動切換方式和自動切換方式，所述的手動切換方式是指用戶在演奏過程中手動選擇音色演奏模式進行模式的切換；所述的自動切換方式是指智能演奏模塊根據用戶智能演奏時的按鍵信息與樂譜信息獲取模塊提取的樂譜信息進行對比，進行音色演奏模式的自動切換。

進一步地，用戶通過所述的樂譜信息獲取模塊提取樂譜信息，用于進行音色演奏模式的自動切換和樂譜的自動演奏。

進一步地，如前所述任何一種形式的多音色混合的智能演奏系統(tǒng)，所述樂譜的來源方式選自以下的任意一種或任意多種：

方式一：使用系統(tǒng)內儲存的樂譜；

方式二：用戶手動輸入樂譜；

方式三：通過網絡下載的樂譜；

方式四：通過外部設備導入的樂譜。

進一步地，如前所述任何一種形式的多音色混合的智能演奏系統(tǒng)，所述的樂譜選自單音色樂譜、多個單音色的樂譜、多音色樂譜的一種或多種，所述的單音色樂譜是指整個樂譜使用單音色演奏的樂譜，所述的多個單音色的樂譜是指樂譜的不同小節(jié)使用不同的單音色進行演奏的樂譜，所述的多音色樂譜是指樂譜的不同小節(jié)使用多個單音色混合的音色進行演奏的樂譜。

進一步地，所述的樂譜包含多個樂器同時或非同時演奏相同音符和/或不同音符的樂譜。

所述的多個樂器同時或非同時演奏相同音符和/或不同音符是指多個樂器共同演奏一首樂譜，同時彈奏或非同時演奏的內容可以是相同的音符、也可以是不同的音符。例如在一個交響樂隊在進行演奏時，某一時刻小提琴演奏2拍的la，中提琴演奏2拍的mi，是同時演奏不同音符的情況；某一時刻小提琴演奏2拍的la，中提琴也演奏2拍的la，是同時演奏相同音符的情況；小提琴在第一小節(jié)(第1-4拍)演奏mi、mi、fa、so(均為1拍)后，中提琴在第二小節(jié)(第5-8拍)演奏mi、mi、fa、so(均為1拍)，是非同時演奏相同的音符的情況；小提琴在第一小節(jié)(第1-4拍)演奏mi、mi、fa、so(均為1拍)后，中提琴在第二小節(jié)(第5-8拍)演奏so、fa、mi、re(均為1拍)，是非同時演奏不同音符的情況。

進一步地，所述的多個樂器包括同一種樂器的不同個體，也包括不同種樂器。

所述的同一種樂器的不同個體是指同一種樂器不同類別或不同型號的個體，例如，可以是鋼琴中的三角琴和電鋼琴，也可以是電鋼琴的不同型號(例如，雅馬哈電鋼琴p系列的p-48和p-45型號)，也可以是相同型號的電鋼琴(例如，均為雅馬哈電鋼琴p系列的p-48型號)。所述的不同種樂器是指例如鋼琴、電鋼琴、小提琴、中提琴屬于不同種樂器。

進一步地，如前所述任何一種形式的多音色混合的智能演奏系統(tǒng)，所述的樂譜信息包含調號信息、音符信息、節(jié)奏信息、聲部信息。

所述的調號是指五線譜里記在譜號后面用以表示樂曲所用調域的變音記號。同樣一個自然七聲音階，當演奏者從十二律中選用不同的律來構成而形成不同的調域時，在鍵盤上表現為不同的選鍵方式。由于黑鍵在五線譜上的記法是通過在白鍵音位的音符前面添寫#或b號來表示的，所以凡調域中所包括的若干黑鍵，在五線譜上也用若干#或b號來表示，這些升降記號寫在五線譜上每行譜表左端，譜號的右側，成為樂曲所用調域的標志。調號有以下幾種：c、g、d、a、e、b、#f、#c、f、bb、be、ba、bd、bg、bc。

所述的音符信息是指記錄音的高低的符號，簡譜中的自然七聲音階1、2、2、3、4、5、6、7，包括其升一個或多個八度和降一個或對個八度的音階，還包括簡譜中的0，即空拍；所述的音符信息包括自然七聲音階的各種形式，包括五線譜中的音符、簡譜等各種形式。

所述的節(jié)奏信息包括樂譜的速度標記、節(jié)拍記號、音符持續(xù)的拍數。上面已有介紹，不再詳述。

所述的聲部信息是指樂譜共有幾個聲部(即同時進行幾行樂譜)，每一個聲部的音符信息和節(jié)奏信息不同。

進一步地，所述的樂譜信息還包含力度信息、表情信息、樂器信息的任意一個或任意多個。

所述的力度信息是指樂譜信息中用來表示音的力度強弱的信息，一般用力度記號表示，如最弱(ppp)、很弱(pp)、弱(p)、中弱(mp)、中強(mf)、強(f)、很強(ff)、最強(fff)、漸強(cresc.)、漸弱(dim)、強后即弱(fp)。

所述的表情信息是指樂譜信息中用來表示演奏情緒的信息，一般用表情記號來表示，主要有agitato(激動地，興奮地)、animato(精神煥發(fā)地)、appassionnato(熱情地)、brillante(華麗的)、cantabile(如歌般的)、conbrio(輝煌燦爛的)、conmoto(活躍的，稍快的)、conspirito(精神抖擻的)、dolce(甜蜜的，溫柔的)、doloroso(傷心的，悲痛的)、energiaco(用力的，加強的)、espressivo(富有表情的)、grave(極緩慢的)、grazioso(優(yōu)雅的)、legato(圓滑的)、leggiero(輕快的)、maestoso(莊嚴的)、marcato(加強的)、molto(很，甚)、morendo(逐漸消失)、scherzando(詼諧的)、sostenuto(音要持續(xù)的)、subito(突然的，立刻的)、tranquillo(安靜的，平靜的)、vivo(活潑的)。

所述的樂器信息是指樂譜信息中表示演奏樂器信息。所述的表情信息和樂器信息決定了演奏樂器和不同級別的音色。

進一步地，如前所述任何一種形式的多音色混合的智能演奏系統(tǒng)，所述的交互單元支持采用軟件配置的方式，根據搭載所述智能演奏系統(tǒng)的設備配置交互單元的形式。例如在電腦上搭載本發(fā)明的智能演奏系統(tǒng)，則可以將電腦的鍵盤、鼠標和顯示屏配置為交互單元的形式，可以將電腦鍵盤的每一個按鍵配置為進行智能演奏的樂器按鍵，不同的按鍵代表不同音高音符。

進一步地，所述的交互單元的可以配置為任意的表現形式，優(yōu)選的表現形式選自觸摸屏、鍵盤、按鈕、顯示屏、遙控器中的任意一種或任意多種。

所述的交互單元的表現形式是指通過軟件將某一種形式配置為可與本發(fā)明的智能演奏系統(tǒng)進行交互的媒介，交互的外在表現形式可以是觸摸屏、鍵盤、按鈕、顯示屏、遙控器等形式，交互單元的外在表現形式并不僅僅局限于以上一種或多種。

進一步地，如前所述任何一種形式的多音色混合的智能演奏系統(tǒng)，所述的音色演奏模式分為單音色類型和多音色類型兩種類型，所述的單音色類型是指用于演奏單音色的音色演奏模式，所述的多音色類型是指用于演奏多音色的音色演奏模式。

進一步地，所述的音色生成單元根據當前的演奏模式進行判斷，若當前的音色演奏模式為單音色類型，則直接選擇音色儲存單元中對應當前演奏模式的音色庫，根據交互單元獲取的用戶智能演奏的按鍵信息播放音色；若當前的音色演奏模式為多音色類型，則向混合合成單元發(fā)出合成指令。

進一步地，如前所述任何一種形式的多音色混合的智能演奏系統(tǒng)，所述音色庫的數量取決于樂器種類的數量和每一種樂器的音色級別數量。

所述的音色庫數量由每一種樂器的音色級別數量相加得到的。例如有2種樂器，分別是鋼琴和小提琴，鋼琴有10種級別的音色庫，小提琴有5種級別的音色庫，則音色庫共有15個。

進一步地，所述的樂器選自鍵盤樂器、弦樂器、管樂器、打擊樂器的任意一種或任意多種。

進一步地，所述的鍵盤樂器選自鋼琴、管風琴、手風琴、電鋼琴的任意一種或任意多種，所述的弦樂器選自豎琴、吉他、古琴、琵琶、箏、貝司、小提琴、中提琴、大提琴的任意一種或任意多種，所述的管樂器選自單簧管、雙簧管、黑管、巴松管、英國管、長笛、短笛、木笛、排笛的任意一種或任意多種，所述的打擊樂器選自木琴、鋼片琴、管鐘、編鐘、鼓、鑼、三角鐵、鈸、響板、砂槌的任意一種或任意多種。

所述的樂器種類是指例如鋼琴、管風琴、吉他是不同種類的樂器。

進一步地，如前所述任何一種形式的多音色混合的智能演奏系統(tǒng)，所述的音色儲存單元還進一步用于儲存自然音的音色庫和/或合成音色的音色庫，所述的自然音是指人、動物、自然界發(fā)出的音色，所述的合成音色是指電子合成的各種效果的音色。

進一步地，所述的自然音選自人聲、動物聲、流水聲、水滴聲、樹聲、雨聲、海浪聲、風聲的任意一種或任意多種。

所述的人聲包括口哨聲、人聲哼唱等聲音，所述的動物聲包括百靈鳥叫聲、喜鵲叫聲、蟲鳴聲、蛙聲等動物昆蟲等發(fā)出的聲音，所述的流水聲包括涓涓溪流聲、嘩嘩水聲、瀑布聲等，所述的水滴聲是指水滴滴答滴答的聲音，所述的樹聲是指風吹樹葉產生的嘩嘩的聲音，所述的雨聲包括小雨淅淅瀝瀝的聲音、大雨嘩嘩的聲音等，所述的海浪聲是指海浪的聲音，所述的風聲是指風吹的呼呼聲。

進一步地，所述的合成音色選自科幻、明亮、大氣、恐怖、幽靜、舒緩的任意一種或任意多種。

基于本發(fā)明的多音色混合的智能演奏系統(tǒng)，本發(fā)明還提供相應的智能演奏方法，所述的智能演奏方法用于單音色和/或多音色的聯(lián)合演奏，所述的單音色是指一種樂器的一個音色級別，所述的多音色是多個單音色的混合音色，所述的一個音色級別是指一種音色效果，同一種樂器在不同彈奏條件下彈奏同一音高的音符所產生的不同音色效果，所述的彈奏條件選自樂器類型、樂器生產廠家、樂器型號、樂器個體、彈奏者/物、彈奏手法中的任意一種或任意多種；所述的多音色的聯(lián)合演奏選自同一種樂器不同級別音色的聯(lián)合演奏、不同種樂器之間音色的聯(lián)合演奏；所述的智能演奏方法支持在演奏過程中實時切換不同的音色類型，所述的實時切換不同的音色類型選自不同單音色之間的實時切換、單音色與多音色之間的實時切換、不同多音色之間的實時切換，所述的智能演奏方法包括如下步驟：

(1)利用交互單元進行智能演奏系統(tǒng)的交互并獲得反饋信息，以及根據樂譜獲取樂譜信息；

(2)音色生成單元根據交互單元提供的反饋信息和樂譜信息進行判斷，選擇音色儲存單元中的音色進行播放或給出合成指令；

(3)混合合成單元在收到音色生成單元給出的合成指令后，利用音色儲存單元中的音色庫和交互單元提供的反饋信息和樂譜信息進行混合音色的合成并播放。

進一步地，本發(fā)明還提供一種多音色混合的智能演奏系統(tǒng)的智能演奏方法，所述的智能演奏方法包括如下步驟：

(1)用戶通過交互單元設置音色演奏模式，可選地獲取樂譜信息，進行智能演奏并可選地實時切換音色演奏模式，同時交互單元采集當前的音色演奏模式和用戶智能演奏的按鍵信息；

(2)音色生成單元根據當前的音色演奏模式和用戶智能演奏的按鍵信息進行判斷，選擇音色儲存單元中的音色進行播放或給出合成指令；

(3)混合合成單元在收到音色生成單元給出的合成指令后，利用音色儲存單元中的音色庫和交互單元提供的音色演奏模式和用戶智能演奏的按鍵信息進行混合音色的合成并播放。

進一步地，如前所述任何一種形式的多音色混合的智能演奏方法，本發(fā)明的多音色混合的智能演奏方法步驟(1)后還包括多級音色合成步驟，所述的多級音色合成步驟根據樂譜信息的音色要求合成音色，所述的音色要求是指樂器的音色級別。

進一步地，本發(fā)明還提供一種多音色混合的智能演奏系統(tǒng)的智能演奏方法，所述的智能演奏方法包括如下步驟：

(1)利用交互單元進行智能演奏系統(tǒng)的交互并獲得反饋信息，以及根據樂譜獲取樂譜信息；

(2)自動演奏單元根據樂譜信息進行自動演奏。

進一步地，本發(fā)明的多音色混合的智能演奏方法還包括通信步驟，用于所述智能演奏系統(tǒng)與其他設備或網絡的交互。

本發(fā)明還提供一種智能設備，所述的智能設備包含如前所述任何一種形式的多音色混合的智能演奏系統(tǒng)。

進一步地，所述的智能設備為多音色混合的智能演奏設備，所述的智能演奏設備選自電子樂器、計算機、移動智能終端，所述的智能終端是能夠捕獲外部信息，能進行計算、分析和處理，具有信號發(fā)生功能，并能在不同終端之間能夠進行信息傳輸的便攜式設備；所述的電子樂器是指通過觸發(fā)電子信號，利用電子合成技術和/或采樣技術來使電聲設備發(fā)出聲音的樂器。

進一步地，所述的移動智能終端選自智能手機、智能手表、智能眼鏡、pda、筆記本電腦、上網本、平板電腦、掌上電腦、智能掌上游戲機。

進一步地，所述的多音色混合的智能演奏設備為計算機，所述的計算機搭載所述多音色混合的智能演奏系統(tǒng)，所述智能演奏系統(tǒng)的交互單元的表現形式為計算機的顯示屏、鍵盤和鼠標，所述鍵盤用于進行智能演奏和選擇并切換音色演奏模式，所述鍵盤上的每一個按鍵作為智能演奏的樂器按鍵，不同的按鍵代表不同音高的音符，鼠標和顯示屏用于設置并顯示音色演奏模式和輸入并顯示樂譜信息。

進一步地，所述的多音色混合的智能演奏設備為電子樂器，所述的電子樂器搭載所述多音色混合的智能演奏系統(tǒng)，所述的電子樂器為電鋼琴或電子琴，所述智能演奏系統(tǒng)的交互單元的表現形式為電鋼琴或電子琴的鍵盤、按鈕和觸摸屏，所述鍵盤上的按鍵用于進行智能演奏和獲取用戶的按鍵信息，按鈕用于設置、選擇和切換音色演奏模式，所述觸摸屏用于輸入樂譜信息，顯示樂譜信息和音色演奏模式。

進一步地，所述的智能設備為智能家居設備，所述的智能家居設備是指任何一樣可以通過物聯(lián)網技術連接、進行控制的家居或辦公設備，所述的智能家居設備選自音視頻設備、照明設備、窗簾控制設備、空調控制設備、安防設備、數字影院系統(tǒng)設備、影音服務器、影柜系統(tǒng)設備、網絡家電設備。

具體地，例如，一種智能家居設備——臺燈搭載所述多音色混合的智能演奏系統(tǒng)，則可以將臺燈當做一種能夠實現自動演奏的發(fā)音裝置，若在臺燈上安裝可以進行觸摸控制的感應器和控制器，則可以在臺燈上進行智能演奏，使臺燈成為一種智能樂器。

進一步地，如前所述任何一種形式的多音色混合的智能演奏系統(tǒng)，本發(fā)明的多音色混合的智能演奏系統(tǒng)可應用于電子樂器、演奏、示教、輔助作曲、音樂播放、智能家居領域。

進一步地，如前所述任意一種形式的智能設備，本發(fā)明的智能設備可應用于電子樂器、演奏、示教、輔助作曲、音樂播放、智能家居領域。

本發(fā)明的有益效果是：

1.本發(fā)明針對現有技術不能解決的一個人用一種演奏系統(tǒng)來實現多個樂器同時演奏同一音符(例如c調的mi)的合奏效果的問題，發(fā)明了一種能夠將多種音色進行混合，演奏出多音色的系統(tǒng)，使得一個人利用本發(fā)明就能實現一個樂隊演奏(多人和/或多樂器)的演奏效果。所述的多音色是多個單音色的混合音色，具體表現為同一個音符(例如c調的mi)是由兩種或兩種以上的單音色合奏的演奏效果，包括不同樂器種類的單音色合奏、同一樂器種類不同音色級別的單音色合奏，所述的單音色是指一種樂器的一個音色級別，所述的一個音色級別是指一種音色效果，同一種樂器在不同彈奏條件下彈奏同一音高的音符所產生的不同音色效果，所述的彈奏條件選自樂器類型、樂器生產廠家、樂器型號、樂器個體、彈奏者/物、彈奏手法中的任意一種或任意多種。所述的樂隊演奏的演奏效果是指由多個人共同演奏或多個樂器共同演奏的效果。本發(fā)明的多音色混合的智能演奏系統(tǒng)，觸碰交互單元(例如，在鍵盤上按一個鍵)，能發(fā)出多種音色的合奏效果(例如古典鋼琴和小提琴合奏的演奏效果)。

2.本發(fā)明提供的多音色混合的智能演奏系統(tǒng)能實現單音色和/或多音色的聯(lián)合演奏，所述的單音色是指一種樂器的一個音色級別，所述的多音色是多個單音色的混合音色，是音色級別層面的混合，同時包含樂器種類層面的混合，所述的多音色具體表現為同一個音符(例如c調的mi)由兩種或兩種以上的單音色合奏的演奏效果。

3.本發(fā)明提供的多音色混合的智能演奏系統(tǒng)能將同一種樂器不同音色級別的音色進行混合演奏，實現了多個演奏者使用同種樂器共同演奏的演奏效果(如鋼琴的二重奏)；本發(fā)明提供的多音色混合的智能演奏系統(tǒng)能將不同種樂器的音色進行混合演奏，實現了不同種樂器共同演奏的演奏效果(如鋼琴和小提琴的合奏)，能夠形成類似樂隊的多種樂器的演奏效果。

4.本發(fā)明提供的多音色混合的智能演奏系統(tǒng)將不同樂器種類的音色、同一種樂器不同級別的音色集中在一個系統(tǒng)上，實現了多個樂器(包括樂器種類不同的多個樂器和同一樂器種類的不同樂器個體的多個樂器)的演奏功能，是一種集合了多樂器功能的演奏系統(tǒng)。

5.本發(fā)明提供的多音色混合的智能演奏系統(tǒng)使樂器演奏脫離樂器實體的限制，使得任何一個智能終端配備一定的外設即可實現樂器的演奏，便于移植和攜帶，所述的智能終端為能夠捕獲外部信息，能進行計算、分析和處理，并在不同終端之間能夠進行信息傳輸的設備。

6.本發(fā)明提供的多音色混合的智能演奏系統(tǒng)支持在演奏過程中進行實時的音色模式切換，能夠實現手動切換和根據樂譜信息自動切換。

7.本發(fā)明提供的多音色混合的智能演奏系統(tǒng)能夠根據樂譜實現自動演奏，實現了多人多樂器的演奏，能夠輔助樂曲的創(chuàng)作，尤其是多人演奏或多樂器演奏的樂隊演奏曲。

附圖說明

圖1為本發(fā)明多音色混合的智能演奏系統(tǒng)的結構框圖；

圖2為實施例一用戶智能演奏曲目的簡譜圖；

圖3為實施例一用戶進行智能演奏的流程圖；

圖4為實施例二自動演奏的樂譜；

圖5為實例三中的音色合成結果圖，a圖為源音色的時域波形，b圖為合成音色的時域波形，c圖為源音色的頻域信息圖，d圖為合成音色的頻域信息圖，e圖為源音色與合成音色重合對比的頻域信息圖，f圖為源音色與合成音色做差對比的頻域信息圖。

具體實施方式

為了使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面結合具體的實施例詳細說明本發(fā)明。下面描述了具體實施例以簡化本發(fā)明。但是需要認識到，本發(fā)明不局限于所說明的實施例，并且在不脫離基本原理的前提下，本發(fā)明的各種修改是可能的，這些等價形式同樣落于本申請所附權利要求書所限定的范圍。

在說明書和權利要求書中，術語“a和/或b”是指或者a、或者b、或者a和b。

下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

本發(fā)明可以各種形式呈現，以下將描述其中一些實例。

圖1為本發(fā)明多音色混合的智能演奏系統(tǒng)的結構框圖。所述智能演奏系統(tǒng)包括音色儲存單元101、交互單元102、音色生成單元103、混合合成單元104。

實施例一

本實施例的多音色混合的智能演奏系統(tǒng)，包括音色儲存單元、交互單元、音色生成單元、混合合成單元。

本實施例的多音色混合的智能演奏系統(tǒng)中，音色儲存單元101中儲存有28種樂器共160種級別的音色。其中，有15種級別的鋼琴音色，分別為分別是酒吧鋼琴、亮音鋼琴、古典鋼琴、華貴鋼琴、輕快鋼琴、教會鋼琴、斯坦威鋼琴1、斯坦威鋼琴2、法奇奧里鋼琴、布魯茲納鋼琴、雅馬哈鋼琴1、雅馬哈鋼琴2、雅馬哈鋼琴3、海倫鋼琴1、海倫鋼琴2；5種級別的風琴音色，分別是搖滾風琴、教會風琴、簧片風琴、手風琴、探戈手風琴；7種級別的電鋼琴音色，分別是雅馬哈電鋼琴1、雅馬哈電鋼琴2、卡西歐電鋼琴、舒曼電鋼琴、卡瓦依電鋼琴、羅蘭電鋼琴1、羅蘭電鋼琴2；4種級別的貝司音色，分別是貝司(敲擊彈奏1)、貝司(敲擊彈奏2)、合成貝司1、合成貝司2；10種級別的吉他音色，分別是吉他(尼龍)、吉他(鋼弦)、吉他(爵士)、吉他(原音)、吉他(悶音)、破音吉他、強烈破音吉他、吉他泛音、電吉他(指撥)、電吉他(撥片)；2種級別的中提琴音色，分別是中提琴1、中提琴2；其他樂器和其他級別的音色這里不再一一詳述。

具體地，本實例中的樂器或某品牌樂器后用數字序號“1”、“2”、“3”來描述各種樂器或各種品牌的樂器，但是這些樂器不受到這些數字序號的限制。這些數字序號用于將一個樂器與另一個樂器進行區(qū)分，是指一種序號指代，代表的是該種樂器或該種品牌的樂器具體的一種樂器型號的音色。例如，雅馬哈鋼琴1、雅馬哈鋼琴2、雅馬哈鋼琴3是指雅馬哈鋼琴的三種型號，具體地，例如雅馬哈鋼琴1是指雅馬哈鋼琴ys系列的ys1的音色，雅馬哈鋼琴2是指雅馬哈鋼琴yz系列的yz122的音色，雅馬哈鋼琴3是指雅馬哈u系列的u1的音色。類似的，海倫鋼琴1、海倫鋼琴2，羅蘭電鋼琴1、羅蘭電鋼琴2，中提琴1、中提琴2，口琴1、口琴2代表的是該種樂器或該種品牌的樂器具體的一種樂器型號的音色，合成貝司1、合成貝司2是指合成出來的兩種不同型號的貝司的音色。

在本實施例的多音色混合的智能演奏系統(tǒng)搭載在一架電子琴上，交互單元配置為電子琴的按鈕、觸摸屏和鍵盤。

當用戶使用本實施例的多音色混合的智能演奏系統(tǒng)進行智能演奏時，首先在交互單元102中設置音色演奏模式，音色演奏模式依次設置為：模式1-古典鋼琴，模式2-輕快鋼琴，模式3-雅馬哈鋼琴1，模式4-教會風琴，模式5-電鋼琴1、模式6-口琴1，模式7-古典鋼琴和口琴1，模式8-輕快鋼琴和古典鋼琴，模式8-輕快鋼琴和古典鋼琴和口琴2，模式10-貝司(敲擊彈奏1)和教會風琴和中提琴1。接下來在交互單元的鍵盤上進行智能演奏，圖2為本實施例用戶智能演奏曲目的簡譜圖，每一個豎線代表一個小節(jié)的結束。首先選擇音色演奏模式1(古典鋼琴)演奏樂譜的第1-8個小節(jié)，在演奏完第8個小節(jié)的最后一個音1(do)后手動選擇演奏模式3(雅馬哈鋼琴1)，演奏第9-12小節(jié)，在演奏完第12個小節(jié)的最后一個音3(mi)后手動選擇演奏模式8(輕快鋼琴和古典鋼琴)至演奏結束。

在用戶智能演奏的同時，本實施例交互單元獲取用戶在鍵盤上演奏的按鍵信息和當前選擇的音色演奏模式，根據按鍵信息和音色演奏模式，音色生成單元進行判斷，若當前的音色演奏模式為單音色類型，則直接選擇音色儲存單元中對應當前演奏模式的音色庫，根據交互單元獲取的用戶智能演奏的按鍵信息播放音色；若當前的音色演奏模式為多音色類型，則向混合合成單元發(fā)出合成指令(模式1-6為單音色類型，模式7-10為多音色類型)。在本實施例中，用戶智能演奏第1-8小節(jié)音樂時，采用的音色演奏模式是模式1(古典鋼琴)，是單音色類型，鍵盤上按下的鍵是中央c右面第二個鍵(c調的mi即e¹)，音色生成單元判斷為單音色類型，選擇音色儲存單元中的古典鋼琴的音色庫中對應按鍵e¹的音色播放。以此類推。當演奏到第9小節(jié)的第一個音2(re)時，音色演奏模式是模式3(雅馬哈鋼琴1)，鍵盤上按下的鍵是中央c右面第一個鍵(c調的re即d¹)，交互單元獲取的是音色演奏模式是雅馬哈鋼琴1，按鍵信息是d¹，音色生成單元判斷為單音色類型，選擇音色儲存單元中的雅馬哈鋼琴1的音色庫中對應按鍵d¹的音色播放。當演奏到第13小節(jié)的第一個音3(mi)時，音色演奏模式是模式8(輕快鋼琴和古典鋼琴)，鍵盤上按下的鍵是中央c右面第一個鍵(c調的mi即e¹)，交互單元獲取的是音色演奏模式是輕快鋼琴和古典鋼琴，按鍵信息是e¹，音色生成單元判斷為多音色類型，向混合合成單元發(fā)出合成指令?；旌虾铣蓡卧诮邮艿胶铣芍噶詈?，根據交互單元提供的音色演奏模式(輕快鋼琴和古典鋼琴)，和反饋的按鍵信息(e¹)，將音色儲存單元中的輕快鋼琴的e¹和古典鋼琴的e¹兩個音色進行混合合成，生成多音色并播放。圖3為用戶進行智能演奏的流程圖。

當用戶選擇自動方式切換音色演奏模式時，首先通過交互單元的樂譜信息獲取模塊輸入樂譜。在用戶進行智能演奏時，交互單元的智能演奏模塊根據用戶智能演奏的按鍵信息與樂譜信息獲取模塊提取的樂譜信息進行對比，按照樂譜上音符的順序與按鍵的順序進行對照，按照樂譜信息中的音色信息進行切換，實現音色演奏模式的自動切換。

本發(fā)明的多音色混合的智能演奏系統(tǒng)，當用戶不設置音色演奏模式時，默認音色演奏模式為系統(tǒng)初始化的模式。當用戶在智能演奏時不選擇、切換音色演奏模式時，默認選擇音色演奏模式1。

實施例二

本實施例的多音色混合的智能演奏系統(tǒng)，包括音色儲存單元、交互單元、音色生成單元、混合合成單元、自動演奏單元、通信單元。

本實施例的多音色混合的智能演奏系統(tǒng)中，音色儲存單元101中儲存有5種樂器共20種級別的音色。其中，有6種級別的鋼琴音色，分別為分別是古典鋼琴、教會鋼琴、輕快鋼琴、雅馬哈鋼琴1、雅馬哈鋼琴2、海倫鋼琴；4種級別的風琴音色，分別是搖滾風琴、教會風琴、簧片風琴、探戈手風琴；4種級別的貝司音色，分別是貝司(敲擊彈奏1)、貝司(敲擊彈奏2)、合成貝司1、合成貝司2；4種級別的吉他音色，分別是吉他(爵士)、吉他(原音)、吉他(悶音)、電吉他；2種級別的小提琴音色，分別是小提琴1、小提琴2。

本實施例系統(tǒng)的通信單元實現與智能手機通信，智能手機通過藍牙發(fā)送如圖4所示的樂譜給系統(tǒng)，系統(tǒng)的自動演奏單元根據樂譜信息進行自動演奏。

自動演奏單元中的音符生成模塊根據樂譜信息進行判斷，選擇選擇音色儲存單元中的音色或向混合合成單元發(fā)出合成指令合成多音色。節(jié)奏處理根據樂譜信息中的節(jié)奏信息對單個音符進行幅值、時長和包絡的改變，所述的節(jié)奏信息包括樂譜的速度標記、節(jié)拍記號、音符持續(xù)的拍數。音樂生成模塊將經節(jié)奏處理后的音符平滑連接，并根據樂譜信息中的力度信息進行音樂的幅值調整，播放音樂。

如圖4所示自動演奏的樂譜，自動演奏單元獲取的樂譜信息中的樂器信息為小提琴和鋼琴(兩個聲部)，系統(tǒng)默認使用音色儲存單元中的小提琴1的音色和古典鋼琴的音色。

自動演奏單元先處理第一聲部，樂器信息為小提琴。以第一小節(jié)為例，樂譜第1個小節(jié)的第一個音符為c調的mi即e¹，音色為小提琴1，是單音色類型，選擇音色儲存單元中的小提琴1音色庫中對應e¹音色的波形。節(jié)奏處理模塊獲取到的節(jié)奏信息，利用如下公式計算音符的時長：

其中，a表示音符時長，單位為秒(s)，n表示音符持續(xù)拍數，d表示每分鐘的拍數。

本實例中獲取的節(jié)奏信息為：速度標記為中速，節(jié)拍記號為四四拍，d＝100(即每分鐘100拍)，e¹的持續(xù)拍數為1拍，利用公式計算得到e¹持續(xù)時間為0.6s，將音色庫中e¹音色的波形進行幅值、包絡和時長的處理得到0.6s的e¹音色波形。同樣的方式處理第一小節(jié)的第二個音符c調的mi即e¹，得到0.6s的e¹音色波形，按照此種方法對每個音符的波形進行一一處理，之后音樂生成模塊將單個的音符的波形幅值進行調整和平滑連接，形成第一聲部的音樂。

接下來自動演奏單元處理第二聲部，樂器信息為鋼琴。處理的方式與第一聲部相同(第1-4個小節(jié)為0，即無波形)得到第二聲部的音樂。之后將兩個聲部的波形進行疊加，并對波形的幅值進行調整和平滑處理，得到完整的音樂進行播放。

實施例三

本實施例的多音色混合的智能演奏系統(tǒng)，包括音色儲存單元、交互單元、音色生成單元、混合合成單元、多級音色合成單元。

本實施例利用多級音色合成單元合成多個級別的音色庫。

本實施例的多音色混合的智能演奏系統(tǒng)中，音色儲存單元中儲存有5種樂器共20種級別的音色。其中，有6種級別的鋼琴音色，分別為分別是古典鋼琴、教會鋼琴、輕快鋼琴、雅馬哈鋼琴1、雅馬哈鋼琴2、海倫鋼琴；4種級別的風琴音色，分別是搖滾風琴、教會風琴、簧片風琴、探戈手風琴；4種級別的貝司音色，分別是貝司(敲擊彈奏1)、貝司(敲擊彈奏2)、合成貝司1、合成貝司2；4種級別的吉他音色，分別是吉他(爵士)、吉他(原音)、吉他(悶音)、電吉他；2種級別的小提琴音色，分別是小提琴1、小提琴2。

以合成明亮鋼琴音色庫中的一個音色(c調的la即a¹)為例，合成步驟如下：

音符信息為c調的la(a¹)，從音色儲存單元中選取樂器種類為鋼琴的古典鋼琴音色庫中的c調的la(a¹)的鋼琴音色文件作為源文件進行處理，采樣頻率為44100hz，選取最高計算倍頻數為14倍頻(k＝14)。源音色時域波形如圖5(a)所示。

步驟一：對源音色進行音色分解，計算出源音色的音色特征信息(包含基頻的頻率、幅值、相角信息，倍頻的頻率、幅值、相角信息，余頻的頻率、幅值、相角信息)。

首先分析源音色的時域信息，并將其進行傅里葉變換計算出其頻域信息，包括各頻率及其對應的幅值、相角信息；音色分解單元對源音色的時域和頻域信息進行分析確定基頻；根據其整數倍頻率來確定對應源音色基頻的倍頻。

步驟二：將音色特征信息(包含基頻的頻率、幅值、相角信息，倍頻的頻率、幅值、相角信息，余頻的頻率、幅值、相角信息)保存。

步驟三：編輯音色修改參數，可以選擇基頻倍頻段修改參數和音感類型修改參數的任意一種或任意兩種；其中，通過調整所述基頻倍頻段修改參數來改變源音色中基頻倍段的占比，以改變音色效果；通過修改所述音感類型修改參數來調整音色的音感效果。本實例中選擇編輯基頻倍頻段修改參數合成音色。

步驟四：根據音色修改參數和音色特征信息合成音色，采用音色重構模型進行音色合成。

音色重構模型的具體公式如下：

其中，為某件樂器在基頻為f1時的樂音；等式加號左側為修改部分，加號右側為保留部分。af表示源音色對應頻率f的幅值，sf表示修改系數的加權，乘積sf*vk表示對應各頻率的實際修改系數，乘積sf*vk*af表示修改后對應各頻率的幅值；表示源音色對應頻率f的相角。

對于基頻倍頻段的修改，vk表示對應的基頻或倍頻段幅值修改系數，k表示k倍頻，k＝1即基頻段，k表示參與修改的最高倍為k倍頻，k＝1,2,3，…，合成時根據實際音源的基頻進行靈活選擇；k倍頻段參與修改的頻率f的范圍dk由合成參數n確定，f∈(fk-f1*n，fk+f1*n)，其中，f1表示源音色的基頻，fk表示源音色的k倍頻。

對于各類型音感段的修改，vk表示每個音感類型對應的縮放系數，k表示第k個音感類型；第k個音感類型參與修改的頻率f的范圍dk已確定，可由自定義音感設置修改其頻率范圍，音感類型個數k可以通過自定義音感設置增加。

本實施采用的修改參數為：

基頻倍頻段幅值修改系數vk＝[1,1,1,1,0.6,2.6,0.4,1.8,0.2,0.6,0.2,2.6,1,1.2]，合成參數n＝0.3

音色合成結果：

本實施例合成音色的時域波形如圖5(b)所示，表示合成音色隨時間變化的波形變化(采樣頻率為44.1khz)

從圖5的a圖與b圖的對比中，可以很明顯的觀察到源音色與合成音色的時域波形有所區(qū)別；結合源音色的頻域信息圖(c圖)與合成音色的頻域信息圖(d圖)，觀察源音色與合成音色重合對比的頻域信息圖(e圖)，可以明顯的發(fā)現，源音色和合成音色的頻域信息具有一些差別，例如，在e圖中從左邊數第5個峰源音色(藍色)對應頻率的幅值大，第6個峰合成音色(紅色)對應頻率的幅值大，其他區(qū)別不再詳述；f圖源音色與合成音色做差對比的頻域信息圖更直觀明顯的顯示了源音色與合成音色在頻域信息上的差別；試聽源音色與合成音色，可以聽出合成音色具有鋼琴的音質，并且比源音色更明亮，合成了具有明亮感的鋼琴音色。

類似地，合成明亮鋼琴音色庫中的其他87個音色(明亮鋼琴音色庫中的88個音色分別對應鋼琴的88個音高)，形成明亮鋼琴音色庫，用于智能演奏。智能演奏步驟的例子如實施例一，這里不再詳細描述。