高速低功耗無線傳感網(wǎng)絡(luò)視頻壓縮采樣方法及裝置制造方法
【專利摘要】本發(fā)明屬于無線傳感網(wǎng)絡(luò)視頻壓縮采樣【技術(shù)領(lǐng)域】，為提供低復(fù)雜度、低功耗的編碼端以保證長期穩(wěn)定工作，而接收端可以進行大量的數(shù)據(jù)存儲和復(fù)雜的解碼計算，提出新的視頻壓縮采樣框架以及基于壓縮感知的編解碼策略。為此，本發(fā)明采用的技術(shù)方案是，高速低功耗無線傳感網(wǎng)絡(luò)視頻壓縮采樣方法，包括如下步驟：根據(jù)接收到采樣視頻信號的時間以及比特誤碼率要求控制視頻信號的壓縮采樣率以及幀率，進行基于壓縮感知的視頻差分編碼，完成對視頻信號的壓縮編碼；在視頻解碼端，采用對應(yīng)于基于壓縮感知的視頻差分編碼的解碼策略，恢復(fù)出視頻圖像幀，并遠程控制對采樣視頻信號的時間以及比特誤碼率的要求。本發(fā)明主要應(yīng)用于無線傳感網(wǎng)絡(luò)視頻傳輸處理。
【專利說明】高速低功耗無線傳感網(wǎng)絡(luò)視頻壓縮采樣方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于無線傳感網(wǎng)絡(luò)視頻壓縮采樣【技術(shù)領(lǐng)域】，尤其涉及基于壓縮感知的視頻編解碼技術(shù)，具體講，涉及高速低功耗無線傳感網(wǎng)絡(luò)視頻壓縮采樣策略。
【背景技術(shù)】
[0002]傳統(tǒng)的視頻編碼方式，無論是H.26X系列還是MPEG系列的傳統(tǒng)視頻編碼技術(shù)，均采用編碼端復(fù)雜、解碼端簡單的系統(tǒng)結(jié)構(gòu)，即編碼端通過幀間預(yù)測、幀內(nèi)預(yù)測和DCT變換來去除時間和空間冗余，以獲得高壓縮效率，這使得整個系統(tǒng)對編碼器的計算能力和內(nèi)存容量的要求非常高，遠高于解碼器。
[0003]目前基于壓縮感知(CS)的視頻編碼方式也被廣泛熟知與應(yīng)用，壓縮感知(CS)是近年來信號處理領(lǐng)域誕生的一種新興的理論。該理論在信號獲得的同時對數(shù)據(jù)進行壓縮，其頻率遠低于奈奎斯特采樣頻率，這樣一來可減少采樣的信息數(shù)據(jù)，節(jié)省存儲空間的同時又包含有足夠的信息。在需要恢復(fù)原始信號時，采用合適的重構(gòu)算法進行還原，從而恢復(fù)出足量數(shù)據(jù)。壓縮感知理論將傳統(tǒng)的數(shù)據(jù)采集和壓縮合二為一，不需要復(fù)雜的數(shù)據(jù)編碼計算，非常適合采用于編碼端資源受限的場合。
[0004]但是現(xiàn)有的基于壓縮感知(CS)的視頻編碼方式缺少反饋控制，穩(wěn)定性以及魯棒性較差，要實現(xiàn)進一步的視頻信號壓縮對重構(gòu)算法的復(fù)雜度以及視頻信號自身的稀疏度要求會成倍的提高。改進型的如基于分布式的壓縮感知視頻編碼(DVCS)、基于聯(lián)合稀疏的壓縮感知視頻編碼(JSMCS)、基于聯(lián)合稀疏的分布式壓縮感知視頻編碼(JSM-DVCS)等雖然在很大程度成提高了視頻的壓縮率、穩(wěn)定性以及魯棒性，但是對于資源受限的嵌入式無線傳感器網(wǎng)絡(luò)難以滿足這些該進編碼方式的計算復(fù)雜度要求。
【發(fā)明內(nèi)容】
[0005]本發(fā)明旨在解決克服現(xiàn)有技術(shù)的不足，主要針對一些編碼端資源受限的視頻應(yīng)用領(lǐng)域，如視頻監(jiān)控、無線視頻傳感網(wǎng)絡(luò)等。因其使用的設(shè)備和環(huán)境的局限性，此應(yīng)用領(lǐng)域要求低復(fù)雜度、低功耗的編碼端以保證長期穩(wěn)定工作，而接收端可以進行大量的數(shù)據(jù)存儲和復(fù)雜的解碼計算。為了達到上述技術(shù)要求，提出了新的視頻壓縮采樣框架以及基于壓縮感知的編解碼策略。為此，本發(fā)明采用的技術(shù)方案是，高速低功耗無線傳感網(wǎng)絡(luò)視頻壓縮采樣方法，包括如下步驟:根據(jù)接收到采樣視頻信號的時間以及比特誤碼率要求控制視頻信號的壓縮采樣率以及幀率，進行基于壓縮感知的視頻差分編碼，完成對視頻信號的壓縮編碼；在視頻解碼端，采用對應(yīng)于基于壓縮感知的視頻差分編碼的解碼策略，恢復(fù)出視頻圖像幀，并遠程控制對采樣視頻信號的時間以及比特誤碼率的要求。
[0006]基于壓縮感知的視頻差分編碼是，先對采集到的每一幀圖像進行CS壓縮采樣，前一幀的采樣信號作為關(guān)鍵幀輸出，后一幀的采樣信號與前一幀做差值，差分信號作為非關(guān)鍵幀輸出；其中幀率控制圖像組(GOP)的大小及分布，采樣率控制視頻的整體壓縮率，兩者結(jié)合控制恢復(fù)視頻的時間以及質(zhì)量。[0007]視頻解碼的詳細(xì)步驟是:先將采集到的編碼信號按照幀率的輸入標(biāo)記為關(guān)鍵幀與非關(guān)鍵幀，將關(guān)鍵幀的信號直接通過壓縮感知(CS)重構(gòu)算法恢復(fù)出關(guān)鍵幀圖像輸出，并存儲到緩存單元；再將下一幀的非關(guān)鍵幀信號通過壓縮感知(CS)重構(gòu)算法恢復(fù)出差分圖像，再與前一幀留在緩存單元中的圖像信號進行疊加，恢復(fù)出非關(guān)鍵幀圖像輸出，并存儲到緩存單元；其中幀率控制接收信號分離關(guān)鍵幀與非關(guān)鍵幀。
[0008]將關(guān)鍵幀的信號直接通過壓縮感知(CS)重構(gòu)算法恢復(fù)出關(guān)鍵幀圖像輸出具體是，直接利用改進型的修正牛頓法(NSLO)算法恢復(fù)出關(guān)鍵幀圖像輸出。
[0009]高速低功耗無線傳感網(wǎng)絡(luò)視頻壓縮采樣裝置，包括:攝像頭模塊、DSP壓縮采樣模塊、無線收發(fā)模塊、PC機視頻解碼器以及視頻輸出接口 ；其中攝像頭模塊負(fù)責(zé)采集視頻信號，DSP壓縮采樣模塊負(fù)責(zé)根據(jù)對接收到的時間以及比特誤碼率要求控制對視頻信號的壓縮采樣率以及幀率，完成對視頻信號的壓縮編碼，無線收發(fā)模塊負(fù)責(zé)傳輸控制變量以及壓縮編碼的視頻數(shù)據(jù)，PC機視頻解碼器負(fù)責(zé)對接收到的壓縮編碼視頻數(shù)據(jù)進行解碼重構(gòu)，恢復(fù)出原始視頻信號并遠程控制對采樣視頻信號的時間以及比特誤碼率的要求，視頻輸出接口負(fù)責(zé)為解碼的視頻信號提供輸出顯示接口。
[0010]本發(fā)明的技術(shù)特點及效果:
[0011]視頻序列經(jīng)過壓縮感知編碼處理后，形成的是一些無結(jié)構(gòu)的數(shù)據(jù)，并且這些數(shù)據(jù)之間不存在相關(guān)性特點。在無線信道上進行信息的傳遞存在著隨機性的誤碼特點，會遇到偶然性的比特反轉(zhuǎn)，也有可能會碰到一串聯(lián)的聯(lián)系比特錯誤。對于視頻數(shù)據(jù)的傳輸，如果采用現(xiàn)有的MPEG與H26X系列的編碼方案，由于編碼出來的數(shù)據(jù)有運動信息和紋理信息，而紋理信息里面又分低頻和高頻的部分，對于這些不同類型的數(shù)據(jù)而言，它們對于視頻解碼端的重要性的貢獻是不一樣的，這樣不同重要性的數(shù)據(jù)在無線的隨機信道上傳輸產(chǎn)生的誤碼后產(chǎn)生的效果是不可預(yù)知的。當(dāng)采用壓縮感知的方法進行視頻的壓縮以后，對于紋理信息來說得到的是一組無結(jié)構(gòu)無相應(yīng)物理對應(yīng)關(guān)系的數(shù)據(jù)，收到一幀圖像解碼后的質(zhì)量僅僅取決于收到數(shù)據(jù)量的多少。也就是說，數(shù)據(jù)之間的重要性是完全平等的。任意相同數(shù)量的數(shù)據(jù)的丟失對于整個一幀視頻來說是平均的分擔(dān)到整個一幀視頻上去的。
[0012]同時本發(fā)明的基于壓縮感知的視頻編解碼策略在傳統(tǒng)的壓縮感知視頻編碼的基礎(chǔ)上引入了根據(jù)解碼時間以及比特誤碼率要求設(shè)定的反饋控制信號:圖像壓縮采樣率以及圖像關(guān)鍵幀非關(guān)鍵幀的幀率，能很好的適應(yīng)不同的需求場合。同時設(shè)計了基于壓縮感知的視頻差分編解碼策略，在提高視頻壓縮率的同時能夠加快信號的解碼速度并且并不會增加編碼端的計算復(fù)雜度。
【專利附圖】
【附圖說明】
[0013]圖1是本發(fā)明的系統(tǒng)的整體結(jié)構(gòu)拓?fù)鋱D。
[0014]圖2是本發(fā)明的視頻壓縮編碼框架結(jié)構(gòu)圖。
[0015]圖3是傳統(tǒng)的的基于壓縮感知的視頻差分編碼原理結(jié)構(gòu)圖。
[0016]圖4是本發(fā)明的基于壓縮感知的視頻差分編碼原理結(jié)構(gòu)圖。
[0017]圖5是本發(fā)明的基于壓縮感知的視頻解碼原理結(jié)構(gòu)圖。
【具體實施方式】[0018]針對編碼端資源受限的嵌入式無線傳感器網(wǎng)絡(luò)，視頻壓縮編碼端在傳統(tǒng)基于壓縮感知的視頻壓縮編碼器上加入反饋控制器來提高編碼的穩(wěn)定性以及魯棒性。反饋控制信號主要是壓縮感知的壓縮采樣率和視頻序列關(guān)鍵幀非關(guān)鍵幀的幀率。反饋控制信號由解碼端恢復(fù)視頻圖像序列后計算重構(gòu)時間以及比特誤碼率，由系統(tǒng)對重構(gòu)時間以及比特誤碼率的要求控制。
[0019]同時為了進一步提高視頻壓縮率以及加快視頻解碼速度以滿足實時解碼要求，本發(fā)明引入基于壓縮感知的視頻差分編碼策略，思想類似于分布式視頻編碼中的外推法?？梢蕴岣咭曨l壓縮率以及加快視頻解碼的速度，同時相比于分布式視頻編碼中的外推法，基于壓縮感知的視頻差分編碼策略的算法復(fù)雜度要更低并且使得整個視頻編解碼過程沒有時延，為視頻的高效實時解碼創(chuàng)造了良好的條件。
[0020]在視頻解碼端，為了滿足視頻解碼實時性的要求，采用對應(yīng)于基于壓縮感知的視頻差分編碼的解碼策略，根據(jù)視頻序列關(guān)鍵幀非關(guān)鍵幀的幀率分離出關(guān)鍵幀與非關(guān)鍵幀，再分別用不同的策略恢復(fù)出視頻圖像幀。由于非關(guān)鍵幀的信息量少所以重構(gòu)時間會少于關(guān)鍵幀，所以相比于傳統(tǒng)的基于壓縮感知的視頻解碼，本發(fā)明的解碼策略能提高解碼速率，為視頻的高效實時解碼提供了保證。同時在解碼算法上采用重構(gòu)效率高的改進型的修正牛頓法(NSL0)，在高重構(gòu)效果的同時算法的時間復(fù)雜度也很低，能夠滿足中低要求的實時視頻解碼。
[0021]如圖1所示是本發(fā)明的系統(tǒng)整體結(jié)構(gòu)拓?fù)鋱D，系統(tǒng)主要由五個部分組成，分別是攝像頭模塊、DSP壓縮采樣模塊、無線收發(fā)模塊、PC機視頻解碼器以及視頻輸出接口。其中攝像頭模塊負(fù)責(zé)采集視頻信號，DSP壓縮采樣模塊負(fù)責(zé)根據(jù)對接收到的時間以及比特誤碼率要求控制對視頻信號的壓縮采樣率以及幀率，完成對視頻信號的壓縮編碼，無線收發(fā)模塊負(fù)責(zé)傳輸控制變量以及壓縮編碼的視頻數(shù)據(jù)，PC機視頻解碼器負(fù)責(zé)對接收到的壓縮編碼視頻數(shù)據(jù)進行解碼重構(gòu)，恢復(fù)出原始視頻信號并遠程控制對采樣視頻信號的時間以及比特誤碼率的要求，視頻輸出接口負(fù)責(zé)為解碼的視頻信號提供輸出顯示接口。
[0022]與傳統(tǒng)的視頻或者基于壓縮感知(CS)的視頻編碼不同:傳統(tǒng)的視頻編碼如MPEG2、MPEG4、H.264等都是基于相鄰幀之間的時間相關(guān)性估算運動矢量來壓縮信號；傳統(tǒng)的基于壓縮感知(CS)的視頻編碼則是利用壓縮感知圖像壓縮原理對視頻幀進行壓縮，然而較新的基于分布式的壓縮感知視頻編碼則是把分布式視頻編碼與傳統(tǒng)的基于壓縮感知(CS)的視頻編碼相結(jié)合。優(yōu)點是可以提高視頻壓縮率，減少信道傳輸數(shù)據(jù)量。但是缺點是提高了編碼端的復(fù)雜度，并不適合資源受限的嵌入式無線傳感器網(wǎng)絡(luò)。本發(fā)明提出的視頻編碼策略針對資源受限的嵌入式無線傳感器網(wǎng)絡(luò)，采用低復(fù)雜度高效的壓縮感知(CS)視頻編碼策略，同時通過遠程控制引入聯(lián)合采樣率控制以及幀率控制來滿足用戶對視頻信號質(zhì)量的要求。如圖2所示是本發(fā)明的視頻壓縮編碼框架結(jié)構(gòu)圖。
[0023]如圖3所示是傳統(tǒng)的的基于壓縮感知的視頻差分編碼原理結(jié)構(gòu)圖，先以圖像組(GOP)等于2為例，傳統(tǒng)的基于壓縮感知的視頻差分編碼是先對采集到的前一幀圖像進行CS壓縮采樣作為關(guān)鍵幀輸出，采集的后一幀圖像與前一幀做差值，再將差分后的圖像進行CS壓縮采樣輸出作為非關(guān)鍵幀輸出。其中幀率控制圖像組(GOP)的大小及分布，采樣率控制視頻的整體壓縮率。兩者結(jié)合可以控制恢復(fù)視頻的時間以及質(zhì)量。
[0024]如圖4所示是本發(fā)明的基于壓縮感知的視頻差分編碼原理結(jié)構(gòu)圖，先以圖像組(GOP)等于2為例，本發(fā)明的基于壓縮感知的視頻差分編碼是先對采集到的每一幀圖像進行CS壓縮采樣，前一幀的采樣信號作為關(guān)鍵幀輸出，后一幀的采樣信號與前一幀做差值，差分信號作為非關(guān)鍵幀輸出。其中幀率控制圖像組(GOP)的大小及分布，采樣率控制視頻的整體壓縮率。兩者結(jié)合可以控制恢復(fù)視頻的時間以及質(zhì)量。與傳統(tǒng)的基于壓縮感知的視頻差分編碼相比本發(fā)明提出的基于壓縮感知的視頻差分編碼編碼效率更高，耗時更少，同時根據(jù)實驗結(jié)果證明在相同的條件下利用本發(fā)明提出的基于壓縮感知的視頻差分編碼策略編碼視頻傳輸后解碼的恢復(fù)結(jié)果優(yōu)于利用傳統(tǒng)的基于壓縮感知的視頻差分編碼策略編碼視頻傳輸后解碼的恢復(fù)結(jié)果。
[0025]如圖5所示是本發(fā)明的基于壓縮感知的視頻解碼原理結(jié)構(gòu)圖，先將采集到的編碼信號按照幀率的輸入標(biāo)記為關(guān)鍵幀與非關(guān)鍵幀，以圖像組(GOP)等于2為例，將關(guān)鍵幀的信號直接利用壓縮感知(CS)重構(gòu)算法(NSL0算法)恢復(fù)出關(guān)鍵幀圖像輸出，并存儲到緩存單元。再將下一幀的非關(guān)鍵幀信號利用壓縮感知(CS)重構(gòu)算法(NSL0算法)恢復(fù)出差分圖像，再與前一幀留在緩存單元中的圖像信號進行疊加，恢復(fù)出非關(guān)鍵幀圖像輸出，并存儲到緩存單元。其中幀率控制接收信號分離關(guān)鍵幀與非關(guān)鍵幀。
[0026]本系統(tǒng)設(shè)計的基于壓縮感知的視頻壓縮采樣方法是將無線攝像頭采集到的視頻信息按照遠程設(shè)定的視頻質(zhì)量、恢復(fù)時間以及比特誤碼率來控制視頻編碼控制器(DSP)動態(tài)控制壓縮感知采樣率以及信號關(guān)鍵幀與非關(guān)鍵幀的幀率，達到壓縮編碼視頻信號的目的。其中非關(guān)鍵幀信號只采集當(dāng)前幀信號壓縮采樣后與前一幀信號壓縮采樣數(shù)據(jù)的差分信號。信號經(jīng)過信道編碼后進行無線傳輸。在無線視頻信號采集解碼端，接收的視頻信號經(jīng)過信道解碼恢復(fù)出壓縮視頻信號，結(jié)合關(guān)鍵幀與非關(guān)鍵幀的幀率，解碼器將關(guān)鍵幀的信號直接利用改進型的修正牛頓法(NSLO)算法恢復(fù)出關(guān)鍵幀圖像輸出，并存儲到緩存單元。再將非關(guān)鍵幀信號利用改進型的修正牛頓法(NSLO)恢復(fù)出差分圖像，再與留在緩存單元中的前一幀圖像信號進行疊加，恢復(fù)出非關(guān)鍵幀圖像輸出，并再次存儲到緩存單元，進而恢復(fù)出整個視頻信號。
【權(quán)利要求】
1.一種高速低功耗無線傳感網(wǎng)絡(luò)視頻壓縮采樣方法，其特征是，包括如下步驟:根據(jù)接收到采樣視頻信號的時間以及比特誤碼率要求控制視頻信號的壓縮采樣率以及幀率，進行基于壓縮感知的視頻差分編碼，完成對視頻信號的壓縮編碼；在視頻解碼端，采用對應(yīng)于基于壓縮感知的視頻差分編碼的解碼策略，恢復(fù)出視頻圖像幀，并遠程控制對采樣視頻信號的時間以及比特誤碼率的要求。
2.如權(quán)利要求1所述的高速低功耗無線傳感網(wǎng)絡(luò)視頻壓縮采樣方法，其特征是，基于壓縮感知的視頻差分編碼是，先對采集到的每一幀圖像進行CS壓縮采樣，前一幀的采樣信號作為關(guān)鍵幀輸出，后一幀的采樣信號與前一幀做差值，差分信號作為非關(guān)鍵幀輸出；其中幀率控制圖像組(GOP)的大小及分布，采樣率控制視頻的整體壓縮率，兩者結(jié)合控制恢復(fù)視頻的時間以及質(zhì)量。
3.如權(quán)利要求1所述的高速低功耗無線傳感網(wǎng)絡(luò)視頻壓縮采樣方法，其特征是，視頻解碼的詳細(xì)步驟是:先將采集到的編碼信號按照幀率的輸入標(biāo)記為關(guān)鍵幀與非關(guān)鍵幀，將關(guān)鍵幀的信號直接通過壓縮感知(CS)重構(gòu)算法恢復(fù)出關(guān)鍵幀圖像輸出，并存儲到緩存單元；再將下一幀的非關(guān)鍵幀信號通過壓縮感知(CS)重構(gòu)算法恢復(fù)出差分圖像，再與前一幀留在緩存單元中的圖像信號進行疊加，恢復(fù)出非關(guān)鍵幀圖像輸出，并存儲到緩存單元；其中幀率控制接收信號分離關(guān)鍵幀與非關(guān)鍵幀。
4.如權(quán)利要求3所述的高速低功耗無線傳感網(wǎng)絡(luò)視頻壓縮采樣方法，其特征是，將關(guān)鍵幀的信號直接通過壓縮感知(CS)重構(gòu)算法恢復(fù)出關(guān)鍵幀圖像輸出具體是，直接利用改進型的修正牛頓法(NSLO)算法恢復(fù)出關(guān)鍵幀圖像輸出。
5.一種高速低功耗無線傳感網(wǎng)絡(luò)視頻壓縮采樣裝置，其特征是，包括:攝像頭模塊、DSP壓縮采樣模塊、無線收發(fā)模塊、PC機視頻解碼器以及視頻輸出接口 ；其中攝像頭模塊負(fù)責(zé)采集視頻信號，DSP壓縮采樣模塊負(fù)責(zé)根據(jù)對接收到的時間以及比特誤碼率要求控制對視頻信號的壓縮采樣率以及幀率，完成對視頻信號的壓縮編碼，無線收發(fā)模塊負(fù)責(zé)傳輸控制變量以及壓縮編碼的視頻數(shù)據(jù)，PC機視頻解碼器負(fù)責(zé)對接收到的壓縮編碼視頻數(shù)據(jù)進行解碼重構(gòu)，恢復(fù)出原始視頻信號并遠程控制對采樣視頻信號的時間以及比特誤碼率的要求，視頻輸出接口負(fù)責(zé)為解碼的視頻信號提供輸出顯示接口。
【文檔編號】H04N19/164GK103618903SQ201310669176
【公開日】2014年3月5日 申請日期:2013年12月10日 優(yōu)先權(quán)日:2013年12月10日
【發(fā)明者】郭繼昌, 申燊, 金卯亨嘉, 許穎, 孫駿 申請人:天津大學(xué)