本申請涉及音頻處理技術(shù),尤其涉及一種音頻編碼及解碼方法、裝置、設(shè)備、介質(zhì)及程序產(chǎn)品。
背景技術(shù):
1、音頻編解碼技術(shù),是包括遠(yuǎn)程音視頻通話在內(nèi)的通信服務(wù)中的一項(xiàng)核心技術(shù)。傳統(tǒng)的編解碼技術(shù)是基于時(shí)域和頻域的變換實(shí)現(xiàn),例如各種標(biāo)準(zhǔn)的語音編解碼協(xié)議都屬于此范疇。以編碼為例,包括時(shí)域編碼和頻域編碼,其本質(zhì)都是基于信號處理的壓縮方法,在保持一定的語音質(zhì)量的前提下,編碼的碼率很難再有明顯的下降,因?yàn)槎呤窍嗷ブ萍s的。
2、人工智能(artificial?intelligence,ai)是計(jì)算機(jī)科學(xué)的一個(gè)綜合技術(shù),在音頻編碼領(lǐng)域的應(yīng)用日漸增多,例如基于深度學(xué)習(xí)的編解碼技術(shù),目標(biāo)是在低碼率下實(shí)現(xiàn)高于傳統(tǒng)的編解碼技術(shù)的語音質(zhì)量。但是,由于人工智能的編解碼技術(shù)的計(jì)算復(fù)雜度較高,影響了編碼效率,且碼率較高時(shí)也無法適用于低帶寬的應(yīng)用場景。
3、綜上所述,如何適用不同網(wǎng)絡(luò)帶寬的應(yīng)用場景來提升編解碼的效率和語音質(zhì)量,相關(guān)技術(shù)尚無有效解決方案。
技術(shù)實(shí)現(xiàn)思路
1、本申請實(shí)施例提供一種音頻編碼及解碼方法、裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲介質(zhì)及計(jì)算機(jī)程序產(chǎn)品,能夠靈活適用于不同網(wǎng)絡(luò)帶寬的應(yīng)用場景,提升音頻編解碼的效率和質(zhì)量。
2、本申請實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的:
3、本申請實(shí)施例提供一種音頻編碼方法,包括:
4、對音頻信號進(jìn)行分解處理,得到低頻子帶信號和高頻子帶信號;
5、基于所述低頻子帶信號以及所述高頻子帶信號進(jìn)行多個(gè)層次的特征提取處理,得到所述多個(gè)層次分別對應(yīng)的子帶信號特征;
6、對每個(gè)所述層次對應(yīng)的子帶信號特征進(jìn)行量化處理,得到所述子帶信號特征的索引值;
7、對所述子帶信號特征的索引值進(jìn)行編碼處理,得到所述層次對應(yīng)的碼流;
8、對所述多個(gè)層次分別對應(yīng)的碼流配置對應(yīng)的傳輸優(yōu)先級;其中,所述傳輸優(yōu)先級與所述層次對應(yīng)的碼流的解碼質(zhì)量指標(biāo)正相關(guān)。
9、本申請實(shí)施例提供一種音頻解碼方法,包括:
10、對多個(gè)層次分別對應(yīng)的碼流進(jìn)行解碼處理,得到每個(gè)所述層次分別對應(yīng)的碼流的索引值;其中,不同的所述層次對應(yīng)不同的傳輸優(yōu)先級,且所述傳輸優(yōu)先級與所述層次對應(yīng)的碼流的解碼質(zhì)量指標(biāo)正相關(guān);
11、對每個(gè)所述層次分別對應(yīng)的碼流的索引值進(jìn)行逆量化處理,得到每個(gè)所述層次分別對應(yīng)的子帶信號特征;
12、對每個(gè)所述層次分別對應(yīng)的子帶信號特征進(jìn)行特征重建處理,得到每個(gè)所述層次分別對應(yīng)的子帶信號;
13、將多個(gè)所述層次分別對應(yīng)的子帶信號合成為音頻信號。
14、本申請實(shí)施例提供一種音頻編碼裝置,包括:
15、分解模塊,用于對音頻信號進(jìn)行分解處理,得到低頻子帶信號和高頻子帶信號;
16、特征提取模塊,用于基于所述低頻子帶信號以及所述高頻子帶信號進(jìn)行多個(gè)層次的特征提取處理,得到所述多個(gè)層次分別對應(yīng)的子帶信號特征;
17、量化模塊,用于對每個(gè)所述層次對應(yīng)的子帶信號特征進(jìn)行量化處理,得到所述子帶信號特征的索引值;
18、編碼模塊,用于對所述子帶信號特征的索引值進(jìn)行編碼處理,得到所述層次對應(yīng)的碼流;
19、配置模塊,用于對所述多個(gè)層次分別對應(yīng)的碼流配置對應(yīng)的傳輸優(yōu)先級;其中,所述傳輸優(yōu)先級與所述層次對應(yīng)的碼流的解碼質(zhì)量指標(biāo)正相關(guān)。
20、本申請實(shí)施例提供一種音頻解碼裝置,包括:
21、解碼模塊,用于對多個(gè)層次分別對應(yīng)的碼流進(jìn)行解碼處理,得到每個(gè)所述層次分別對應(yīng)的碼流的索引值;其中,不同的所述層次對應(yīng)不同的傳輸優(yōu)先級,且所述傳輸優(yōu)先級與所述層次對應(yīng)的碼流的解碼質(zhì)量指標(biāo)正相關(guān);
22、逆量化模塊,用于對每個(gè)所述層次分別對應(yīng)的碼流的索引值進(jìn)行逆量化處理,得到每個(gè)所述層次分別對應(yīng)的子帶信號特征;
23、特征重建模塊,用于對每個(gè)所述層次分別對應(yīng)的子帶信號特征進(jìn)行特征重建處理,得到每個(gè)所述層次分別對應(yīng)的子帶信號;
24、合成模塊,用于將多個(gè)所述層次分別對應(yīng)的子帶信號合成為音頻信號。
25、本申請實(shí)施例提供一種電子設(shè)備,包括:
26、存儲器,用于存儲可執(zhí)行指令;
27、處理器,用于執(zhí)行所述存儲器中存儲的可執(zhí)行指令時(shí),實(shí)現(xiàn)本申請實(shí)施例提供的音頻編碼方法以及音頻解碼方法。
28、本申請實(shí)施例提供一種計(jì)算機(jī)可讀存儲介質(zhì),存儲有可執(zhí)行指令,用于被處理器執(zhí)行時(shí),實(shí)現(xiàn)本申請實(shí)施例提供的音頻編碼方法以及音頻解碼方法。
29、本申請實(shí)施例提供一種計(jì)算機(jī)程序產(chǎn)品,該計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)指令,該計(jì)算機(jī)指令存儲在計(jì)算機(jī)可讀存儲介質(zhì)中。電子設(shè)備的處理器從計(jì)算機(jī)可讀存儲介質(zhì)讀取該計(jì)算機(jī)指令,處理器執(zhí)行該計(jì)算機(jī)指令,使得該電子設(shè)備執(zhí)行本申請實(shí)施例上述的音頻編碼方法以及音頻解碼方法。
30、本申請實(shí)施例具有以下有益效果:
31、通過分層獲取音頻子帶信號在每個(gè)層次的子帶信號特征,并分層次對每個(gè)層次對應(yīng)的子帶信號特征進(jìn)行編碼,這樣,每個(gè)層次僅需編碼特定的子帶信號特征,而不需要編碼整個(gè)音頻信號的特征,不僅能夠提高編解碼的效率,也降低了每個(gè)層次的編解碼復(fù)雜度;根據(jù)不同層次的碼流對解碼質(zhì)量的重要程度,靈活地為不同層次的碼流配置不同的傳輸優(yōu)先級,保證較為重要的碼流優(yōu)先傳輸,能夠適用于不同網(wǎng)絡(luò)帶寬的應(yīng)用場景。
1.一種音頻編碼方法,其特征在于,所述方法包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,
3.根據(jù)權(quán)利要求1所述的方法,其特征在于,
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,
5.根據(jù)權(quán)利要求3或4所述的方法,其特征在于,
6.根據(jù)權(quán)利要求5所述的方法,其特征在于,
7.根據(jù)權(quán)利要求3所述的方法,其特征在于,
8.根據(jù)權(quán)利要求3所述的方法,其特征在于,
9.根據(jù)權(quán)利要求1所述的方法,其特征在于,
10.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述基于所述多個(gè)層次分別對應(yīng)的子帶信號特征,確定所述多個(gè)層次分別對應(yīng)的碼流,包括:
11.根據(jù)權(quán)利要求1所述的方法,其特征在于,
12.根據(jù)權(quán)利要求1所述的方法,其特征在于,
13.一種音頻解碼方法,其特征在于,所述方法包括:
14.根據(jù)權(quán)利要求13所述的方法,其特征在于,
15.根據(jù)權(quán)利要求13所述的方法,其特征在于,
16.根據(jù)權(quán)利要求15所述的方法,其特征在于,
17.根據(jù)權(quán)利要求15或16所述的方法,其特征在于,
18.根據(jù)權(quán)利要求17所述的方法,其特征在于,
19.根據(jù)權(quán)利要求15所述的方法,其特征在于,
20.根據(jù)權(quán)利要求15所述的方法,其特征在于,
21.根據(jù)權(quán)利要求20所述的方法,其特征在于,
22.根據(jù)權(quán)利要求20所述的方法,其特征在于,
23.根據(jù)權(quán)利要求13所述的方法,其特征在于,
24.根據(jù)權(quán)利要求13所述的方法,其特征在于,所述基于多個(gè)層次分別對應(yīng)的碼流,確定每個(gè)所述層次分別對應(yīng)的子帶信號特征,包括:
25.一種音頻編碼裝置,其特征在于,所述裝置包括:
26.一種音頻解碼裝置,其特征在于,所述裝置包括:
27.一種電子設(shè)備,其特征在于,所述電子設(shè)備包括:
28.一種計(jì)算機(jī)可讀存儲介質(zhì),其特征在于,存儲有可執(zhí)行指令,所述可執(zhí)行指令用于被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至12任一項(xiàng)所述的音頻編碼方法或權(quán)利要求13-24任一項(xiàng)所述的音頻解碼方法。
29.一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)程序或指令,其特征在于,所述計(jì)算機(jī)程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至12任一項(xiàng)所述的音頻編碼方法或權(quán)利要求13-24任一項(xiàng)所述的音頻解碼方法。
30.一種處理碼流的方法,其特征在于,在非易失性計(jì)算機(jī)可讀存儲介質(zhì)上存儲碼流,所述碼流根據(jù)權(quán)利要求1至12任一項(xiàng)所述的音頻編碼方法產(chǎn)生,或者基于權(quán)利要求13-24任一項(xiàng)所述的音頻解碼方法進(jìn)行解碼。