基于感興趣區(qū)域的hevc碼率控制方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于多媒體通信技術(shù)領(lǐng)域，特別涉及一種基于感興趣區(qū)域的HEVC((High EfficiencyVideoCoding，高效視頻編碼）碼率控制方法。
【背景技術(shù)】
[0002] 在視頻編碼過程中，輸出的視頻質(zhì)量和碼率是密切相關(guān)的，若要求輸出的視頻質(zhì) 量越好，則輸出的碼率就會越高。但由于受帶寬或存儲容量的限制，需要將視頻編碼器的輸 出比特數(shù)控制在一定的范圍內(nèi)，以便在滿足帶寬或存儲容量限制的同時，在解碼端盡可能 獲得最好的視頻圖像，這里所采用的控制策略就是碼率控制。人眼視覺系統(tǒng)（HumanVisual System，HVS)能夠快速地定位到視頻中"顯著的"或者"有趣的"對象上，然后再識別出這些 對象，主要是因為HVS能夠在顯著性引導(dǎo)下快速地掃描視頻場景中的對象。碼率控制可以 通過合理地分配碼率提高視頻質(zhì)量。然而大部分的碼率控制算法分配比特的依據(jù)是區(qū)域的 預(yù)測編碼復(fù)雜度，如使用MAD(MeanAbsoluteDifference，平均絕對差）。從人眼視覺的角 度來說，難以預(yù)測的區(qū)域不一定最能吸引人的注意力。為了能夠達到最好的人眼主觀質(zhì)量， 比特分配的過程中一定要引入視覺模型。
[0003]HEVC(HighEfficiencyVideoCoding，高效視頻編碼）是ISO-IEC/MPEG和 ITU-T/VCEG兩大國際標(biāo)準(zhǔn)化組織聯(lián)合制定的新一代視頻編碼標(biāo)準(zhǔn)，它沿用了傳統(tǒng)視頻編 碼標(biāo)準(zhǔn)的混合視頻編碼基本框架，但在各個編碼模塊上都進行了改進和革新。與現(xiàn)行的視 頻編碼算法H. 264/AVC相比，在同等應(yīng)用條件和視頻質(zhì)量下，釆用HEVC進行編碼的碼率要 降低將近一半。碼率控制算法本身并不屬于視頻編碼標(biāo)準(zhǔn)的一部分，但是在視頻編碼的實 際應(yīng)用中碼率控制起著極其重要的作用，也直接影響著視頻編碼的性能。人們對每一代視 頻編碼標(biāo)準(zhǔn)的碼率控制模塊都做了大量的研究，制定并提出了與之相對應(yīng)的模型和算法， 對于下一代的視頻壓縮編碼算法ffiVC，也有相應(yīng)的提案。
[0004] 中國科技大學(xué)的Bin.Li等人提出了一種HEVC的碼率控制算法，其中l(wèi)ambda是 RD0(RateDistortionOptimization)過程中的一個重要參數(shù)。R-lambda模型如下式（1):
[0005] A=aXR3..................................................................... (1)
[0006] 其中a和0是和編碼視頻有關(guān)的參數(shù)，可以隨著編碼過程不斷更新。R是 當(dāng)前編碼幀或編碼單元的目標(biāo)比特。在計算得到X之后，通過下式（2)計算量化參數(shù) QP(QuantizationParameter)：
[0007]QP= 4. 2005XlnA+13. 7122............................................................... ……⑵
[0008] 在該碼率控制算法中的IXU比特分配環(huán)節(jié)，每一個IXU的目標(biāo)比特Teu"eu計算如下 式⑶：
[0009]
[0010] 式中，Teu"Pl。是前面已經(jīng)計算得出的當(dāng)前幀的目標(biāo)比特，Bitheadel^該幀頭信息可 能占的比特數(shù)，它是通過前面已編碼的相同層級的幀的頭信息實際消耗的比特數(shù)預(yù)測得出 的，CodedPl。是該幀已編碼的IXU所消耗的比特數(shù)。co表示當(dāng)前IXU的權(quán)重，它的計算須結(jié) 合前面已編碼的相同層級的幀的相同位置處的IXU的MAD(MeanAbsoluteDifference)，具 體過程如下式（4)和（5):
[0011]
[0012]
[0013] 佟営該媽卒捏制算法在HM干臺上相比于以彺的算法取得r更好的效果，但是也 還有它的不足之處。傳統(tǒng)的視頻編碼技術(shù)主要針對空間域冗余、時間域冗余以及統(tǒng)計冗余 進行壓縮編碼，但很少考慮到人眼視覺系統(tǒng)特性和心理效應(yīng)，因此大量視覺冗余數(shù)據(jù)被編 碼并傳輸。文獻"K.Minoo，T.Q.Nguyen，PerceptualvideocodingwithH. 264,Proc. 39th AsilomarConf.Signals，Systems，andComputers，Nov. 2005. " 認(rèn)為HVS可以容忍一定程度 的失真，這取決于人眼對圖像不同區(qū)域不同的敏感度。基于這個理論，應(yīng)該在碼率控制中做 到把更多的比特集中在人眼容易察覺出失真的區(qū)域，更少的比特分配到失真不易被覺察的 區(qū)域。而現(xiàn)有的碼率控制并沒有考慮到這個方面。
【發(fā)明內(nèi)容】
[0014] 本發(fā)明的目的是為了克服已有技術(shù)的不足，提供一種基于感興趣區(qū)域的HEVC碼 率控制方法，該方法能提高編碼視頻的主觀質(zhì)量，同時精確地控制輸出比特。
[0015] 為了達到上述目的，本發(fā)明提出了一種基于感興趣區(qū)域的HEVC碼率控制方法，其 包括以下步驟：
[0016] 步驟一，根據(jù)GBVS模型生成當(dāng)前幀的空域顯著性圖；
[0017] 步驟二，通過運動矢量信息生成當(dāng)前幀的時域顯著性圖；
[0018] 步驟三，使用基于一致歸一化的方法將時域和空域顯著性圖融合得到最終的顯著 性圖；
[0019] 步驟四，使用顯著性圖對當(dāng)前幀圖像進行區(qū)域劃分，劃分為感興趣區(qū)域和非感興 趣區(qū)域；
[0020] 步驟五，分別對感興趣區(qū)域和非感興趣區(qū)域進行比特分配；
[0021] 步驟六，按照顯著性對當(dāng)前幀中各個IXU進行比特分配；
[0022] 步驟七，根據(jù)分配的碼率計算A和QP值并進行裁剪修正；
[0023] 步驟八，利用最終得到的X和QP值進行編碼，編碼后根據(jù)實際得到的數(shù)據(jù)對 R-lambda模型中的參數(shù)進行更新。
[0024] 優(yōu)選地，所述步驟二包括以下步驟：
[0025] 步驟二^^一，將圖像分成16X16大小的塊，然后對當(dāng)前圖像中的各個宏塊在前一 幀中尋找對應(yīng)的最優(yōu)匹配塊，得到運動矢量；
[0026] 步驟二十二，通過得到的運動矢量計算全局運動矢量；
[0027] 步驟二十三，在各運動矢量中減去全局運動矢量得到有全局運動矢量補償?shù)倪\動 矢量；
[0028] 步驟二十四，根據(jù)全局運動矢量補償?shù)倪\動矢量的大小相應(yīng)地得到各個塊中各像 素的顯著性值。
[0029] 優(yōu)選地，所述步驟三的計算式為如下式：
[0030]SF= 0 0 2SP+ 0 3SnSp
[0031] 其中S"代表每一個像素點時域的顯著性，Sp表示空域的顯著性，0d0 2, 0 3是權(quán) 重系數(shù)。
[0032] 優(yōu)選地，述步驟四包括以下步驟：
[0033] 步驟四十一，在得到整幅圖像的顯著性圖SF以后，對于圖像中的每一個IXU，它的 顯著性使用下式確定：
[0034]
[0035] 其中ws⑴是第i個IXU的顯著性大小，SF(i，m，n)是第i個IXU內(nèi)坐標(biāo)為（m，n) 的像素點的顯著性值，M和N是當(dāng)前LCU對應(yīng)與顯著性圖中的塊的大??；
[0036] 步驟四十二，得到當(dāng)前幀中所有LCU的ws(i) 了，對它們進行從大到小的排序，并 選取四分之一處的ws作為閾值T;
[0037] 步驟四十三，顯著性ws(i)大于T的IXU將被劃分為感興趣區(qū)域，顯著性ws(i)小 于T的LCU將被劃分為非感興趣區(qū)域。
[0038] 優(yōu)選地，所述步驟五采用如下計算式：
[0039]T-Troi+T_i
[0040]Troi=KXT_
[0041] 其中T，TR。#PT_分別表示當(dāng)前幀、當(dāng)前幀的感興趣區(qū)域、當(dāng)前幀的非感興趣區(qū)域 的目標(biāo)比特數(shù)，K是質(zhì)量調(diào)節(jié)因子。
[0042] 優(yōu)選地，所述步驟六采用如下計算式：
[0043]
[0044]
[0045]其中:和分別表示感興趣區(qū)域和非感興趣區(qū)域剩余的比特數(shù)，R(p)和R(q)分別表示感興趣區(qū)域中第P個LCU的目標(biāo)比特數(shù)和非感興趣區(qū)域中第q個LCU的目標(biāo) 比特數(shù)，Nlrft分別代表在編碼當(dāng)前LCU時，感興趣區(qū)域和非感興趣區(qū)域區(qū)域中還剩余 的待編碼的LCU數(shù)。
[0046] 優(yōu)選地，所述步驟七為了保持幀與幀之間質(zhì)量的一致性，應(yīng)該限定所得到的A和 QP的取值范圍，計算式如下式：
[0047] \XlastSameLevel R X XcurrPic^^ X xlastSameLevel R
[0048]QPxiastSameLevel-AQP<QPXcurrpic<QPxlastS繼Level+AQP
[0049] 其中X是感興趣區(qū)域或者是非感興趣區(qū)域，currPic和lastSameLevel分別表示 當(dāng)前幀或者上一個和當(dāng)前幀同等級的幀所對應(yīng)的系數(shù)，R和AQP是用于調(diào)節(jié)的系數(shù)；
[0050] 在IXU層，A和QP應(yīng)該保證其所在的范圍為如下式：
[0051]人lastLCU ?尺1<人XcurrLCU<人lastLCu ?尺1
[0052]QPiastLcu-AQP^QPXcurrLCU<QPlastLCU+AQPi
[0053] XXcurrPic * R2 ^ XcurrLCU^S ^ XcurrPic * ^2
[0054] QPxcurrPic-^ QP XcurrLCU^S QP XcurrPic+^ Q?2
[0055] 其中X是感興趣區(qū)域或者是非感興趣區(qū)域，currIXU和lastlXU分別表示當(dāng)前IXU 和上一個已編碼的LCU所對應(yīng)的系數(shù)，R和AQP是用于調(diào)節(jié)的系數(shù)。
[0056] 本發(fā)明與現(xiàn)有技術(shù)相比較，具有如下技術(shù)效果：本發(fā)明能提高編碼視頻的主觀質(zhì) 量，同時精確地控制輸出比特。本發(fā)明提供了一個通用的處理框架，能夠根據(jù)需要靈活調(diào)節(jié) 控制感興趣區(qū)域得到的比特數(shù)，從而控制整體圖像的主觀質(zhì)量。
【附圖說明】
[0057] 圖1是本發(fā)明基于感興趣區(qū)域的HEVC碼率控制方法的流程圖；
[0058]圖2是本發(fā)明實例中所編碼序列Tennis的第207幀的原圖像；
[0059] 圖3是本發(fā)明實例中所編碼序列Tennis的第207幀對應(yīng)的空域顯著性圖；
[0060] 圖4是本發(fā)明實例中所編碼序列Tennis的第207幀對應(yīng)的時域顯著性圖；
[0061] 圖5是本發(fā)明實例中所編碼序列Tennis的第207幀對應(yīng)的最終顯著性圖；
[0062] 圖6是本發(fā)明實例中所編碼序列Tennis的第207幀R0I/NR0I劃分示意圖；
[0063]圖7是本發(fā)明實例中所編碼序列Tennis的第207幀的編碼輸出圖像的示意圖。
【具體實施方式】
[0064] 以下將結(jié)合附圖對本發(fā)明的技術(shù)方案作進一步的詳細(xì)描述。
[0065] 以編碼JCT-VC推薦的測試序列Tennis為例，本發(fā)明實例中采用HM10. 0,編碼器 G0P為分層B幀結(jié)構(gòu)，一個G0P中B幀占數(shù)量為7,1幀或P幀占數(shù)量為1，視頻編碼幀率為24 幀每秒，編碼幀數(shù)為240幀，目標(biāo)碼率設(shè)置為1000kbps。如圖1所示，本實施例的一種基于 感興趣區(qū)域的ffiVC碼率控制方法為：在開始編碼序列一幀前首先通過GBVS(GraphBased VisualSaliency)模型得到該幀空間域的顯著性圖，然后通過運動矢量信息得到每一幀時 間域的顯著性圖，按照一定的算法將兩幅顯著性圖融合得到最終的顯著性圖。通過得到的 顯著性圖對當(dāng)前幀進行區(qū)域劃分得到感興趣區(qū)域和非感興趣區(qū)域。對兩個區(qū)域分別進行比 特分配，使大部分的比特資源集中在人眼感興趣的區(qū)域，同時精確控制輸出比特。本發(fā)明的 具體步驟如下：
[0066] 步驟一，根據(jù)GBVS模型生成當(dāng)前幀的空域顯著性圖Sp:具體方法和步驟借用 了JonathanHard和ChristofKoch發(fā)表在 20thAnnualConferenceonNeural InformationProcessingSystems上的文章Graph-basedvisualsaliency中的方法。使 用的圖像特征有顏色特征、強度特征、對比度特征、Gabor局部方向特征，各種特征的權(quán)重系 數(shù)相等，由此得到空域的顯著性圖Sp。假設(shè)當(dāng)前正在編碼序列Tennis的第207幀，原圖實 例如圖2所示，得到的空域顯著