專利名稱：包括rtp分組的數(shù)據(jù)流、及編/解碼該數(shù)據(jù)流的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及包括多層應(yīng)用的應(yīng)用數(shù)據(jù)在內(nèi)的分組實時協(xié)議(RTP)數(shù)據(jù)流。具體地，本發(fā)明涉及基于RTP的可縮放視頻傳輸。
背景技術(shù)：
存在不同的多層多媒體應(yīng)用，如可縮放視頻、可縮放音頻等。通常通過分組數(shù)據(jù)流來傳輸多媒體數(shù)據(jù)，由此，將單獨層的多媒體數(shù)據(jù)時間復(fù)用到單個數(shù)據(jù)流中。具體地，H.264/AVC標準的可縮放視頻編碼(SVC)擴展使用三種類型的可縮放性時間的、空間的和質(zhì)量的。在H.264/AVC中很好地支持時間可縮放性，并且有意地將SVC的基本層設(shè)計為遵循H.264/AVC。
典型地，互聯(lián)網(wǎng)和移動網(wǎng)絡(luò)上的實時視頻傳輸基于RTP/IP。IETF提出了針對SVC視頻的RTP有效負荷格式。然而，可做出進一步的改進以便于對基于RTP的SVC比特流進行解碼和呈現(xiàn)，由此，傳輸方案可以與普通的標準解碼器保持一致。
解碼器可能需要一些初始信息，例如在可縮放視頻的情況下的總體空間和質(zhì)量可縮放性層數(shù)。例如，該初始信息可以幫助解碼器初始化存儲器分配和相關(guān)的參數(shù)配置。諸如層相關(guān)性或幀類型之類的其他信息還可以幫助解碼器變得更高效和更具魯棒性。
然而，通常傳輸信道是易出錯的。如果在這種易出錯的信道上傳輸?shù)倪^程中發(fā)生分組丟失，則一些解碼器可執(zhí)行錯誤隱藏過程。然而，解碼器通常依賴于傳送流的格式，如RTP。舉例來說，標準的RTP報頭包含定時信息和RTP分組號，所述定時信息和RTP分組號可以用于確保以正確的順序?qū)Ψ纸M進行解碼。然而，需要其它協(xié)議來檢測分組是否丟失。盡管針對普通的互聯(lián)網(wǎng)應(yīng)用使用TCP，然而TCP對于實時應(yīng)用來說太慢了。因此，在具有實時能力的系統(tǒng)中，應(yīng)用解碼器必須掌控數(shù)據(jù)丟失情況，并且必須單獨發(fā)現(xiàn)丟失了哪些數(shù)據(jù)。這 可能對應(yīng)用解碼器造成干擾，并且在某些情況下甚至可能需要將應(yīng)用 解碼器重新初始化。
發(fā)明內(nèi)容
對于多層應(yīng)用，己發(fā)現(xiàn)應(yīng)用解碼器具有不同的選項以根據(jù)丟失 數(shù)據(jù)分組的類型以及所關(guān)注的應(yīng)用層對數(shù)據(jù)丟失作出反應(yīng)。然而，通 常不知道遺漏的分組屬于哪個應(yīng)用層。傳統(tǒng)的多層應(yīng)用解碼器需要一 些處理時間來彌補這種情況。越快知道丟失數(shù)據(jù)的類型，解碼器越能 更好地作出反應(yīng)。本發(fā)明將要解決的一個問題是，具體地對于所關(guān)注 的應(yīng)用發(fā)生傳送分組丟失的情況下，向解碼器提供更早并且更詳細的 與丟失數(shù)據(jù)的類型有關(guān)的信息。
本發(fā)明在基于分組的架構(gòu)內(nèi)提供了一種特殊語法，該特殊語法
基于在RTP分組被饋送至多層應(yīng)用解碼器之前，對所述RTP分組 之間的關(guān)系以及所述RTP分組所承載的應(yīng)用層/幀加以識別和指示。 這有助于解碼器及時使用合適的錯誤隱藏技術(shù)，并且防止在解碼器中 進行不必要的處理。
本發(fā)明提供了一種解決上述問題的數(shù)據(jù)流格式，以及對應(yīng)的編碼 方法和設(shè)備以及解碼方法和設(shè)備。
根據(jù)本發(fā)明的一方面， 一種數(shù)據(jù)流包括包含多層應(yīng)用的應(yīng)用數(shù) 據(jù)在內(nèi)的RTP分組，其中，至少一個RTP分組(按發(fā)送順序)包含 與下一個RTP分組的內(nèi)容有關(guān)的第一應(yīng)用層信息以及與前一個RTP 分組的內(nèi)容有關(guān)的第二應(yīng)用層信息。
根據(jù)本發(fā)明的另一方面， 一種使用RTP分組對多層應(yīng)用數(shù)據(jù)進 行編碼的方法，包括步驟
將多層應(yīng)用數(shù)據(jù)的第一部分、第二部分和第三部分分別打包成 第一RTP分組、第二RTP分組和第三RTP分組，其中應(yīng)用數(shù)據(jù)的第 一部分、第二部分和第三部分涉及應(yīng)用的第一層、第二層和第三層；
7將至少第一數(shù)據(jù)和第二數(shù)據(jù)添加到第二rtp分組中，其中，所述 第一數(shù)據(jù)限定了第一分組所涉及的應(yīng)用的第一層，所述第二數(shù)據(jù)限定 了第三分組所涉及的應(yīng)用的第三層；以及
(按照這個發(fā)送順序)發(fā)送第一rtp分組、第二rtp分組和第 三rtp分組。
一種用于使用rtp分組對多層應(yīng)用數(shù)據(jù)進行編碼的相應(yīng)設(shè)備，包 括用于將多層應(yīng)用數(shù)據(jù)的第一部分、第二部分和第三部分分別打包 成第一rtp分組、第二rtp分組和第三rtp分組的插入裝置，其中
應(yīng)用數(shù)據(jù)的第一部分、第二部分和第三部分涉及應(yīng)用的第一層、第二 層和第三層；用于將至少第一數(shù)據(jù)和第二數(shù)據(jù)添加(320)到第二rtp 分組中的插入裝置，其中，所述第一數(shù)據(jù)限定了第一分組所涉及的應(yīng) 用的第一層，所述第二數(shù)據(jù)限定了第三分組所涉及的應(yīng)用的第三層； 發(fā)送裝置，用于(按照這個發(fā)送順序)發(fā)送第一 rtp分組、第二 rtp 分組和第三rtp分組。
根據(jù)本發(fā)明的另一方面， 一種對包括多層應(yīng)用數(shù)據(jù)在內(nèi)的rtp 分組進行解碼(或?qū)獯a做準備)的方法，包括步驟
接收至少第一 rtp分組和后續(xù)的第二 rtp分組；
從第一 rtp分組的主體提取多層應(yīng)用數(shù)據(jù)的第一部分，以及從 第一 rtp分組的填充字節(jié)提取第一相鄰信息；
從第二 rtp分組的主體提取多層應(yīng)用數(shù)據(jù)的第二部分，以及從 第二 rtp分組的填充字節(jié)提取第二相鄰信息；
確定第一 rtp分組和第二 rtp分組中多層應(yīng)用數(shù)據(jù)的類型；
將所確定的第二 rtp分組中多層應(yīng)用數(shù)據(jù)的類型與從第一 rtp 分組提取的第一相鄰信息相比較，或?qū)⑺_定的第一rtp分組中多層 應(yīng)用數(shù)據(jù)的類型與從第二 rtp分組提取的第二相鄰信息相比較，或兩 者皆可；
將從第一 rtp分組提取的第一相鄰信息與從第二 rtp分組提取 的第二相鄰信息相比較；以及
向用于所述多層應(yīng)用的解碼器提供所述提取和比較步驟的結(jié)果。一種用于對包括多層應(yīng)用數(shù)據(jù)在內(nèi)的RTP分組進行解碼(或?qū)?br>
碼做準備)的相應(yīng)設(shè)備，包括
接收裝置，用于接收至少第一RTP分組以及后續(xù)的第二RTP分
組；
第一提取裝置，用于從第一 RTP分組的主體提取多層應(yīng)用數(shù)據(jù) 的第一部分，以及從第一 RTP分組的填充字節(jié)提取第一相鄰信息；
第二提取裝置，用于從第二 RTP分組的主體提取多層應(yīng)用數(shù)據(jù) 的第二部分，以及從第二 RTP分組的填充字節(jié)提取第二相鄰信息；
確定裝置，用于確定第一 RTP分組和第二 RTP分組中多層應(yīng)用 數(shù)據(jù)的類型；
第一比較裝置，用于將所確定的第二 RTP分組中多層應(yīng)用數(shù)據(jù) 的類型與從第一 RTP分組提取的第一相鄰信息相比較，或用于將所 確定的第一 RTP分組中多層應(yīng)用數(shù)據(jù)的類型與從第二 RTP分組提取 的第二相鄰信息相比較；
第二比較裝置，用于將從第一 RTP分組提取的第一相鄰信息與 從第二RTP分組提取的第二相鄰信息相比較；以及
提供裝置，用于將第一提取裝置和第二提取裝置以及第一比較 裝置和第二比較裝置的結(jié)果提供給用于所述多層應(yīng)用的解碼器。
示例性地，多層應(yīng)用數(shù)據(jù)可以是分級數(shù)據(jù)，具有基本層和一個 或更多增強層。
在從屬權(quán)利要求、隨后的描述和附圖中公開了本發(fā)明有利實施方式。
參考附圖對本發(fā)明的示例性實施方式進行描述，在附圖中
圖1示出了根據(jù)本發(fā)明的數(shù)據(jù)流結(jié)構(gòu)；
圖2示出了具有填充字節(jié)的RTP分組格式；
圖3示出了編碼的方框圖； 圖4示出了解碼準備的方框圖；以及
圖5是根據(jù)本發(fā)明的一個方面的RTCP分組的格式。
9
具體實施例方式
圖l示出了分組數(shù)據(jù)流的結(jié)構(gòu)。數(shù)據(jù)流中連續(xù)的分組pl、 p2、 p3 包括多層應(yīng)用的應(yīng)用數(shù)據(jù)第一分組pl包括第一應(yīng)用層VCLp的應(yīng)用 數(shù)據(jù)，而后續(xù)的第二和第三分組p2、 p3分別包括第二應(yīng)用層VCLc和 第三應(yīng)用層VCLn的應(yīng)用數(shù)據(jù)。如所描述的，以接連順序發(fā)送/接收分 組。如果例如將實時協(xié)議(RTP)用作傳輸協(xié)議，則分組具有RTP分 組號。因此，接收機可以以正確的序列順序帶來分組，然而如果例如 在傳輸期間第二分組p2丟失，則解碼器不會知道遺漏的數(shù)據(jù)屬于哪 個應(yīng)用層。在本發(fā)明中，提出了將更多信息添加到傳送分組的開銷的 方案，以提高解碼和錯誤隱藏的效率。這使得解碼器可以以更靈活的 方式做出反應(yīng)。例如，解碼器可以發(fā)現(xiàn)遺漏的分組屬于多層應(yīng)用的增 強層，并然后能夠繼續(xù)對基本層進行解碼。從而用戶可能體驗到暫時 的質(zhì)量損失，而通常應(yīng)用將被中斷。相反，在例如較低分辨率等基本 模式下應(yīng)用繼續(xù)運行。
如圖1所示，本發(fā)明包括具有多層應(yīng)用的應(yīng)用數(shù)據(jù)的傳送分組 不僅包括對其自己的層進行指定的信息，而且包括兩種類型的相鄰信 息， 一種是對前面(f-前一個)傳送分組中應(yīng)用數(shù)據(jù)的層VCLf進行 指定的NBf， 一種是對后面(n-下一個)傳送分組中應(yīng)用數(shù)據(jù)的層 VCU進行指定的NBn。因此，如果丟失了一個或兩個RTP分組(這 是最有可能發(fā)生的情況)，則可以發(fā)現(xiàn)遺漏的哪種類型的應(yīng)用數(shù)據(jù)。
下面描述基于SVC的實施方式。如上說明的，本發(fā)明還可應(yīng)用 到其它多層多媒體應(yīng)用。如同任何其它視頻解碼器一樣，SVC解碼 器對傳輸錯誤敏感。針對基于RTP的SVC視頻傳輸，如果沒有使用 有效的錯誤隱藏技術(shù)，則分組丟失對于解碼器來說可能是致命的。幾 乎對于每一種錯誤隱藏方法來說，快速得知丟失的數(shù)據(jù)屬于哪個片/ 層/幀都是非常重要的。傳統(tǒng)地，這是可以通過對接收到的分組進行解
碼來確定的，然而這看起來是一種不必要的復(fù)雜途徑。此外，這導(dǎo)致 解碼器中會有出現(xiàn)軟件問題的危險，例如崩潰。該問題的另一方面在
10于，針對現(xiàn)有的系統(tǒng)(如RTP)，需要一種不需要改變分組格式的解 決方案。
根據(jù)本發(fā)明，將一些開銷信息插入RTP分組的填充字節(jié)，以幫助 接收機在數(shù)據(jù)被饋送至SVC解碼器之前得到丟失分組的識別信息。 因此，解碼器可以比使用常規(guī)方法更早地確定如何繼續(xù)進行不同的解 決方案。例如， 一個可能的反應(yīng)是放棄與所丟失的分組相關(guān)的整個 片，取而代之地使用前一幅圖像中同一位置處的片，例如將該片復(fù)制 到當前的圖像緩沖器中。
有利地，這意味著解碼器的穩(wěn)定處理和不必要計算的減少。
通過將識別信息放入填充字節(jié)，該方案可以與完全不管填充字 節(jié)如何并從而不管識別信息如何的普通標準SVC解碼器保持一致。 所提出的方法可以支持多層解碼器中的錯誤隱藏。原則上，在當前的 RTP分組中保存當前RTP分組之后的下一個RTP分組和之前的前一 個RTP分組的基本SVC信息。使用該方法，SVC解碼器可以更早且 更容易地執(zhí)行錯誤隱藏處理。
圖2a)示出了根據(jù)本發(fā)明的RTP分組的結(jié)構(gòu)概圖。圖2b)和c) 示出了該分組的更多細節(jié)。圖2中的每行是由具有32比特的分組構(gòu)成 的一個字。如以下指出的，第1到第5個字包含普通的報頭信息。
H.264和SVC使用所謂的網(wǎng)絡(luò)提取層(NAL)將編碼視頻數(shù)據(jù)處 理并格式化成分組，稱之為NAL單元。通常以解碼順序?qū)AL單元 映射到傳送分組，如用于傳輸?shù)腞TP分組。定義了不同類型的NAL 單元。如果NAL單元的nal—type等于1、 5或20，則該NAL單元承 載從宏塊產(chǎn)生的實際圖像數(shù)據(jù)。當nal—type不等于這些值時，NAL承 載控制信息，如序列參數(shù)集(SPS)或圖像參數(shù)集(PPS)。在SVC 中，將每個幀編碼進nal—type等于1、 5或20的一個或更多個NAL 單元。如果在傳遞過程中這種類型的RTP分組以及從而的NAL單元 丟失，則不會正確解碼相應(yīng)的幀。由于這是重要信息，所以預(yù)先添加 單獨的標志以通知解碼器丟失了 naljype等于1、 5或20的NAL。
V是版本字段。示例性地，在圖2中將V設(shè)置為V=2。 P是指示 在RTP分組的末端的附加填充字節(jié)的1比特標志。如果P4，分組在末端包含一個或更多附加填充字節(jié)。M是指示RTP分組是否特殊 (如，是否是當前片的最后RTP分組)的1比特標志。RTP分組報頭
中的其它傳統(tǒng)字段是payload type字段、time stamp字段、同步源ID (SSRC)字段和貢獻源(CSRC)字段。有效負荷(payload)包含實
際的視頻數(shù)據(jù)。盡管示例性地示出了兩個有效負荷字，然而分組通常
承載更多的有效負荷。在有效負荷之后是如P標志所指示的填充字節(jié)。
根據(jù)本發(fā)明，將與前一個和下一個RTP分組有關(guān)的附加的應(yīng)用 相關(guān)信息存儲在填充字節(jié)中，例如，SVC定義了表1所示的結(jié)構(gòu)以及 對應(yīng)的結(jié)構(gòu)相關(guān)參數(shù)。
層
dependency—id=2質(zhì)量層；quality—id=l 空間分辨率4CIF(704x576)F
質(zhì)量層；quality_id=0 空間分辨率4CIF (704x576)E
dependency—id= 1質(zhì)量層；quality—id=0 空間分辨率CIF (352x288)D
dependency—id=0質(zhì)量層；quality—id=2 空間分辨率QCIF (176x144)C
質(zhì)量層；quality—id=l 空間分辨率QCIF (176x144)B
質(zhì)量層；quality—id=0 空間分辨率QCIF (176x144)A
表r: SVC中的示例性可縮放性結(jié)構(gòu) 表l所示的結(jié)構(gòu)是示例?？偣灿?層A-F?；緦邮茿、 D、 E。 所有的質(zhì)量層B、 C、 F都具有與它們各自的基本層相同的空間分辨 率?？臻g層D、 E具有與它們的基本層不同的空間分辨率。
12稱作"質(zhì)量層"的層是由質(zhì)量可縮放性產(chǎn)生的，其中所述質(zhì)量可
縮放性是SVC中的一種可縮放性。SVC要求質(zhì)量層具有與其基本層
相同的空間分辨率。質(zhì)量可縮放性層的編碼類型與空間可縮放性層的
編碼類型不同。因此，用于對質(zhì)量層數(shù)據(jù)的NAL單元丟失加以掌控 的解碼途徑和方法與用于對空間可縮放性數(shù)據(jù)的NAL單元丟失加以 掌控的解碼途徑和方法不同。"quality—id"是對SVC比特流中每個 質(zhì)量層的ID加以指示的語法元素。
在SVC中使用"dependency—id"指示空間層?？梢杂邪藗€空間 層。如果存在基本層，則空間層的空間分辨率與其基本層(或參考層) 的不同。利用語法元素"dependency—id"可以知道當前層屬于哪個空 間層。如果quality_id=0，則這意味著當前層是空間層并且應(yīng)作為空 間層對當前層進行解碼。否則，應(yīng)作為質(zhì)量層來對當前層解碼。
原則上，"dependency—id "指示空間分辨率的變化，而 "quality—id"指示編碼途徑的變化。
在SVC解碼器中具有該信息是有用的。
在本發(fā)明的一個實施方式中，在填充字節(jié)中包含以下信息(下標 n和f分別涉及下一個分組和前一個分組)
Vn: 1比特標志。Vn=l指示下一個RTP分組(以發(fā)送的順序) 所承載的NAL單元的nal—type等于l、 5或20。這意味著下一個分組 包含宏塊數(shù)據(jù)，即，實際圖像數(shù)據(jù)。將每個視頻幀編碼進 nal一type-l、 5或20的一個或更多個NAL單元中。
Qn: 1比特標志。Qn=l指示后面的RTP分組所承載的下一個 NAL單元屬于質(zhì)量層(quality—id>0)。否則，Qn=0并且后面的RTP 分組屬于空間層。
Dn: 1比特標志。Dn=l指示后面的RTP分組所承載的下一個 NAL與當前NAL具有相同的dependencyjd值。否則，Dn=0。
POCn: IO比特?zé)o符號整數(shù)，指示后面的RTP分組所承載的下一 個NAL的POC號。PIC一idxn: 10比特?zé)o符號整數(shù)，指示后面RTP分組所承載的下 一個NAL的IDR號。每當處理具有nal—type=5的新NAL時， PIC—idxn遞增1。 PIC一idxn在到達最大值1023時返回零。
當Vn-1時，這意味著下一個RTP分組(發(fā)送順序)所承載的 NAL的nal—type等于1、 5或20。 Vn、 Qn、 Dn、 POCn以及PIC—idxn 標志的所有值都與下一個RTP分組中的NAL相關(guān)。否則，如果 Vn-0,則所有這些值都與后面的RTP分組中的下一個NAL (SVC比 特流中的保存順序)相關(guān)。
Vf: 1比特標志。Vf=l指示前一個RTP分組(即，按照發(fā)送順 序緊接在前面的分組)所承載的NAL的nal—type等于1、 5或20。
Qf: l比特標志。Qf-l指示前一個RTP分組所承載的NAL屬于 質(zhì)量層(quality—id>0)。否則，Qf=0。
Df:l比特標志。Df^指示前一個RTP分組所承載的NAL具有和 當前NAL相同的dependency—id值。否則，Df=0;
POCf: IO比特?zé)o符號整數(shù)，指示前一個RTP分組所承載的NAL 的POC號。
PIC一idxf: 10比特?zé)o符號整數(shù)，指示前一個RTP分組所承載的 NAL的IDR號。每當處理具有nal—type=5的新NAL時，PIC—idxf遞 增1。 PIC—idxf在到達最大值1023時返回零。
另一個可選的參數(shù)是Padding length。 Padding length是包括其 本身在內(nèi)的填充字節(jié)的數(shù)目。填充字節(jié)不一定在32比特邊界對齊。
標志Vx (x=n或f)指示下一個/前一個RTP分組的NAL是否是 VCLNAL。利用標志Qx提供的信息，解碼器可以容易地得知下一個 /前一個RTP分組中的NAL是否屬于質(zhì)量層。利用標志Dx，可以容 易地得到空間/CGS層。
如果丟失了單個RTP分組，則SVC-解碼器應(yīng)當在Vn=l且Qn=0 (即，具有圖像數(shù)據(jù)的空間層)的情況下執(zhí)行錯誤隱藏。在這種情況 下，遺漏了所需要的圖像數(shù)據(jù)。可以根據(jù)POCn來確定丟失的NAL 所屬的幀，并且可以在SVC解碼器中使用簡單快速的錯誤隱藏算 法。
14如果丟失了若干連續(xù)的RTP分組，則SVC解碼器應(yīng)當在Vn=l 且Qn-O或者Vf=l且Qf=l的情況下執(zhí)行錯誤隱藏。利用在第一個丟 失的RTP分組之前的RTP中的Dn、 POCn和PIC—idxn信息以及在最 后一個丟失的RTP分組之后的RTP中的Df、 POCf和PIC—idxf信息， 可以確定丟失圖像的數(shù)目及其GOP和層信息，然后可以將這些信息 提供給SVC解碼器。這些信息將幫助SVC解碼器執(zhí)行簡單且快速的 錯誤隱藏。
圖3示出了根據(jù)本發(fā)明的一個方面進行編碼的方框圖。在一個實 施方式中，編碼方法包括如下步驟至少將多層應(yīng)用數(shù)據(jù)的連續(xù)的第 一部分、第二部分和第三部分打包成或插入305相應(yīng)的第一 RTP分 組、第二RTP分組和第三RTP分組p。 p2、 p3。如上所述，應(yīng)用數(shù)據(jù) 的不同部分涉及應(yīng)用的第一層、第二層和第三層VCLf、 VOU和 VCLn。這些層可以是不同的，或者任何兩個分組或所有三個分組可 以涉及同一層。
在下一步驟320中，至少將對應(yīng)用的第一層(前面的第一分組所 涉及的)加以限定的第一數(shù)據(jù)Vf和對應(yīng)用的第三層(后面的第三分 組所涉及的)加以限定的第二數(shù)據(jù)Vn添加到第二RTP分組中。具體 地，如上所述，將該信息添加到填充字節(jié)中。在第三步驟中，(按照 這個順序)發(fā)送325第一 RTP分組、第二 RTP分組和第三RTP分組。
然而，在另一個實施方式中，只要得到與相應(yīng)的前一個和下一 個所插入的分組有關(guān)的、可以暫時緩存的應(yīng)用層信息，那么一次編碼 單獨一個分組就足夠了。
還可將圖3理解為示出了根據(jù)本發(fā)明的一方面的編碼器的一般結(jié) 構(gòu)。用于使用RTP分組對多層應(yīng)用數(shù)據(jù)進行編碼的這種編碼器包括 插入裝置305，用于將多層應(yīng)用數(shù)據(jù)的第一部分、第二部分和第三部 分分別打包成第一 RTP分組、第二 RTP分組和第三RTP分組Pl、 p2、 p3，其中多層應(yīng)用數(shù)據(jù)的第一部分、第二部分和第三部分涉及細 一應(yīng)用層、第二應(yīng)用層和第三應(yīng)用層；插入裝置320，用于至少將涉 及第一 (=前一個)分組的第一應(yīng)用層數(shù)據(jù)以及涉及第三(=下一個) 分組的第二應(yīng)用層數(shù)據(jù)添加到第二 RTP分組中；以及發(fā)送裝置340，用于(按照這個順序)發(fā)送第一 RTP分組、第二 RTP分組和第三RTP 分組。
圖4示出了將在實際的應(yīng)用層解碼之前執(zhí)行的解碼準備的原理的 方框圖。實際的實現(xiàn)可能更復(fù)雜或例如集成在解碼器中。
該方法對包括多層應(yīng)用數(shù)據(jù)的RTP分組進行解碼做準備，包括 以下步驟接收401至少第一 RTP分組和后續(xù)的第二 RTP分組，從 第一 RTP分組的主體提取410多層應(yīng)用數(shù)據(jù)的第一部分415，從第一 RTP分組的填充字節(jié)提取410第一相鄰信息NBn，以及以同樣的方式 從第二 RTP分組的主體提取420多層應(yīng)用數(shù)據(jù)的第二部分425，從第 二RTP分組的填充字節(jié)提取420第二相鄰信息NBf。如上所述，在考 慮下一個分組的情況下，相鄰信息包括Vn、 Qn、 Dn、 POCn和 PIC—idxn當中的至少一個，在考慮前一個分組的情況下，相鄰信息包 括Vf、 Qf、 Df、 POCf和PIC—idxf當中的至少一個。
在下一步驟中，確定430、 440第一RTP分組中多層應(yīng)用數(shù)據(jù)的 類型typn以及第二 RTP分組中多層應(yīng)用數(shù)據(jù)的類型typn+1。
下一步驟是將所確定的第二 RTP分組中多層應(yīng)用數(shù)據(jù)的類型 typn+1與從第一 RTP分組提取的第一相鄰信息NBn相比較450，和域 將所確定的第一 RTP分組中多層應(yīng)用數(shù)據(jù)的類型typn與從第二 RTP 分組提取的第二相鄰信息NBf相比較460。如下所述，如果這兩個比 較都執(zhí)行，則這兩個比較可以得到三種結(jié)果。
在下一步中，將從第一 RTP分組提取的第一相鄰信息NBn與從 第二 RTP分組提取的第二相鄰信息NBf相比較470。如果兩者相等并 且遺漏了分組，則可以斷定僅遺漏了一個分組。如果兩者不同并且遺 漏了分組，則可以斷定遺漏了多于一個的分組。
然后，將所述提取和比較的結(jié)果提供給針對所述多層應(yīng)用的解 碼器，由于不需要對遺漏的信息進行長時間的分析，所以該解碼器可 以以適當?shù)姆绞椒浅？焖俚刈鞒龇磻?yīng)。
一個比較結(jié)果信號455指示當前分組的類型是否如后面的分組 所指示的。 一個比較結(jié)果信號465指示當前分組的分組類型是否如 前面的分組所指示的。將這兩個信號455、 465視為一階比較結(jié)果，因
16為這兩個信號指示是否遺漏了數(shù)據(jù)。 一個比較結(jié)果信號475指示前
面分組中指示為"下一個"的分組類型與當前分組中指示為"前一個" 的分組類型是否相等。這是二階比較結(jié)果，因為這僅在遺漏了數(shù)據(jù)的 情況下相關(guān)。
在一個實施方式中，將所有這些比較結(jié)果信號與所期望的下一
個分組類型typn和前一個分組類型typn+1 —起傳遞到多層應(yīng)用解碼 器。該解碼器可以如下所述使用這些信息。
示例性地，描述了僅對兩個連續(xù)分組的接收和評估，因為就兩 個接收到的分組而言，可發(fā)生三種不同情況
在第一種情況中，第一分組中的"下一個"信息等于第二分組的 分組類型，并且第二分組中的"前一個"信息等于第一分組的分組類 型。在這種情況下， 一階比較結(jié)果信號455和465指示一切正常并且 沒有丟失分組。
在第二種情況中，第一分組中的"下一個"信息與第二分組的實 際分組類型不同(或第二分組中的"前一個"信息與第一分組的實際 分組類型不同)，此外，第一分組中的"下一個"信息與第二分組中 的"前一個"信息相等。換言之， 一階信號455、 465當中的至少一個 指示遺漏了數(shù)據(jù)，二階信號475指示兩個分組指示了相同類型的遺漏 數(shù)據(jù)。在這種情況下，可以斷定在第一分組與第二分組之間僅遺漏了 一個分組，并且該分組的類型是從"下一個"信息和"前一個"信息 得知的。
在第三種情況中，第一分組中的"下一個"信息與第二分組的實 際分組類型不同(或第二分組中的"前一個"信息與第一分組的實際 分組類型不同)，此外，第二分組中的"前一個"信息與第一分組中 的"下一個"信息不同。換言之， 一階信號455、 465當中的至少一個 指示遺漏了數(shù)據(jù)，二階信號475指示兩個分組指示了不同類型的遺漏 數(shù)據(jù)。在這種情況下，可以斷定在第一分組與第二分組之間遺漏了至 少兩個分組。
利用所提供的這些信息，多層應(yīng)用解碼器可以根據(jù)當前情況非 ?？焖俚刈鞒龇磻?yīng)。在一個實施方式中，通過附加的分組向解碼器提供另外的幫
助。在RTP協(xié)議中，可以出于這個目的來使用RTCP分組。圖5示出 了如何高效地使用RTCP分組向解碼器發(fā)送附加信息。有利地，采用 這種方式可以發(fā)送結(jié)構(gòu)信息，所述結(jié)構(gòu)信息使得可以實現(xiàn)更快速的解 碼器初始化。
在一個實施方式中，在應(yīng)用限定的RTCP分組內(nèi)將層(空間和/ 或質(zhì)量)的數(shù)目發(fā)送到接收機。這旨在方便解碼器的初始化，為了進 行隨機接入，可以周期性地將該信息發(fā)送出去，例如，像IDR幀或 SPS—樣頻繁地發(fā)送。圖5示出了這種RTCP分組的格式，下面對該 格式中的若干字段進行說明。
"Subtype":可與"Name"字段一起使用以識別分組的內(nèi)容。 "Length":以32比特字減一的形式給出該RTCP分組的長度， 包括報頭。默認是2。
"Name":解釋為四個ASCII字符的序列，其中將大寫字符與 小寫字符區(qū)別對待?？梢詫?Name"用于指示SVC相關(guān)的、基于RTP 的應(yīng)用。為了初始化SVC解碼器或解碼過程，接收機可以快速得到 所接收的SVC比特流的整體信息。對于RTCP分組中的SVC解碼器 初始化，有兩種可以插入信息的方法。
情況1: "Subtype"字段總是與"Name"字段一起使用以識別分 組的內(nèi)容。如果"Name"字段指示RTP分組中的有效負荷是SVC比 特流，那么任何三個比特都可以用于指示SVC比特流中語法元素 "dependency—id"的最大值。示例性地，如圖5b)所示，使用前三個 比特來保存該值。maxD—id是無符號三比特整數(shù)，用于指示SVC比 特流中要發(fā)送的"dependency—id"的最大值。"d印endencyjd"的最 大值指示SVC比特流中總的空間/CGS層。該值對于SVC解碼器的基 本初始化來說是非常重要的。對于本地比特流播放，可以通過檢驗 SVC比特流相關(guān)性來得到該值。然而，對于易出錯的(如基于網(wǎng)絡(luò)的) SVC應(yīng)用，通過檢驗SVC比特流相關(guān)性而得到的"dependency—id" 的最大值可能因為分組丟失而是錯誤的。接收機可以使用maxD—id的 值來初始化SVC解碼器。如圖5c)所示，另一種初始傳遞層信息的方式是在"Name"字 段的末尾添加額外的有效負荷。maxD—id如上所述。maxTJd具有三 比特，用于指示SVC比特流中的語法元素"temporal—id"的最大值。 maxQ_id具有四比特，用于指示SVC比特流中的語法元素"quality—id"
的最大值。
"Length"的默認值是2。當"Name"指示SVC相關(guān)的應(yīng)用并且 "Length"不等于默認值時，"Name"字段之后緊接著的10比特對 maxD—id、 maxT—id和maxQ—id進行保存。在接收機側(cè)，maxD—id可 以用于SVC解碼器的基本初始化，maxT一id和maxQ一id可以用于增 強的SVC解碼器初始化。解碼器的優(yōu)點在于該解碼器不需要為了在 實際的解碼開始前確定參數(shù)而分析數(shù)據(jù)流。因此，初始化更快，并且 可以更早地開始解碼。
應(yīng)該理解，僅以示例的方式描述了本發(fā)明，在不背離本發(fā)明的 范圍的前提下可以進行細節(jié)的修改。在說明書(適當?shù)牡胤?以及權(quán) 利要求和附圖中所公開的每個特征都是獨立地或以適當組合的形式來 提供的。可以在合適的地方以硬件、軟件或二者結(jié)合的方式來實現(xiàn)這 些特征。在可應(yīng)用之處，連接可實現(xiàn)為無線連接或有線(不一定是直 接或?qū)Ｓ玫?連接。
權(quán)利要求中的參考數(shù)字僅以說明的方式出現(xiàn)，并且不應(yīng)對權(quán)利要 求的范圍造成限制影響。
19
權(quán)利要求
1、一種數(shù)據(jù)流，包括RTP分組(p1、p2、p3)，其中，所述RTP分組包括多層應(yīng)用的應(yīng)用數(shù)據(jù)，并且一個RTP分組包括與下一個RTP分組的內(nèi)容有關(guān)第一應(yīng)用層信息(NBn)以及與前一個RTP分組的內(nèi)容有關(guān)的第二應(yīng)用層信息(NBf)。
2、 根據(jù)權(quán)利要求1所述的數(shù)據(jù)流，其中，所述應(yīng)用數(shù)據(jù)是可縮 放視頻數(shù)據(jù)，所述應(yīng)用層是可縮放視頻層。
3、 根據(jù)權(quán)利要求1或2所述的數(shù)據(jù)流，其中，所述應(yīng)用層信息 包括NAL類型指示(Vn、 Vf)、質(zhì)量信息(Qn、 Qf)、相關(guān)性信息(Dn、 Df) 、 IDR號(PIC—idxn、 PIC—idxf)以及圖像順序號(POCn、 POCf)信息當中至少一個。
4、 根據(jù)權(quán)利要求1、 2或3所述的數(shù)據(jù)流，其中，與下一個RTP 分組有關(guān)的應(yīng)用層信息以及與前一個RTP分組有關(guān)的應(yīng)用層信息存 儲于所述RTP分組的填充字節(jié)中。
5、 一種使用RTP分組對多層應(yīng)用數(shù)據(jù)進行編碼的方法，所述方 法包括步驟將多層應(yīng)用數(shù)據(jù)的第一部分、第二部分和第三部分分別打包 (305)成第一RTP分組、第二RTP分組和第三RTP分組(Pl、 p2、 p3)，其中應(yīng)用數(shù)據(jù)的第一部分、第二部分和第三部分涉及應(yīng)用的第 一層、第二層和第三層(VCLf、 VCLC、 VCLn);將至少第一數(shù)據(jù)(vf)和第二數(shù)據(jù)(vn)添加(320)到第二RTP 分組中，其中，所述第一數(shù)據(jù)(vf)限定了第一分組所涉及的應(yīng)用的 第一層，所述第二數(shù)據(jù)(vn)限定了第三分組所涉及的應(yīng)用的第三層； 以及按照該順序發(fā)送(325)第一 RTP分組、第二 RTP分組和第三 RTP分組。
6、 根據(jù)權(quán)利要求5所述的方法，其中，將所述第一數(shù)據(jù)和第二 數(shù)據(jù)添加到第二分組的填充字節(jié)中。
7、 根據(jù)權(quán)利要求5或6所述的方法，其中，對應(yīng)用的第一層 (VCLf)加以限定的第一數(shù)據(jù)(Vf)以及對應(yīng)用的第三層(VCLn)加以限定的第二數(shù)據(jù)(vn)包括NAL類型指示(Vn、 Vf)、質(zhì)量信息 (Qn、 Qf)、相關(guān)性信息(Dn、 Df) 、 IDR號(PIC—idxn、 PIC—idxf) 以及圖像順序號(POCn、 POCf)信息當中的一個或更多。
8、 根據(jù)權(quán)利要求7所述的方法，其中，所述第一數(shù)據(jù)(Vf)或所 述第二數(shù)據(jù)(vn)包括標志(Vn、 Vf)，所述標志(Vn、 Vf)指示 前一個分組或下一個分組的應(yīng)用數(shù)據(jù)涉及一個或更多具體NAL類 型。
9、 根據(jù)權(quán)利要求5-8.中任意一項所述的方法，其中，以接連順 序發(fā)送第一分組、第二分組和第三分組。
10、 一種對包括多層應(yīng)用數(shù)據(jù)在內(nèi)的RTP分組進行解碼做準備的 方法，所述方法包括步驟接收(401)至少第一RTP分組和后續(xù)的第二RTP分組； 從第一 RTP分組的主體提取(410)多層應(yīng)用數(shù)據(jù)的第一部分(415)，以及從第一RTP分組的填充字節(jié)提取(410)第一相鄰信息(NBn);從第二 RTP分組的主體提取(420)多層應(yīng)用數(shù)據(jù)的第二部分 (425)，以及從第二RTP分組的填充字節(jié)提取(420)第二相鄰信息 (NBf);確定(430、 440)第一RTP分組和第二RTP分組中多層應(yīng)用數(shù) 據(jù)的類型(typn+1、 typn+1);將所確定的第二RTP分組中多層應(yīng)用數(shù)據(jù)的類型(tyPn+1)與從 第一RTP分組提取的第一相鄰信息(NBn)相比較(450);將所確定的第一RTP分組中多層應(yīng)用數(shù)據(jù)的類型(typn)與從第 二RTP分組提取的第二枏鄰信息(NBf)相比較(460);將從第一 RTP分組提取的第一相鄰信息(NBn)與從第二 RTP 分組提取的第二相鄰信息(NBf)相比較(470);以及向用于所述多層應(yīng)用的解碼器提供所述提取(430、 440)和比較 (450、 460、 470)步驟的結(jié)果。
11、 根據(jù)權(quán)利要求IO所述的方法，其中，第一RTP分組和第二 RTP分組中的相鄰信息包括NAL類型指示(Vn、 Vf)、質(zhì)量信息(Qn、 Qf)、預(yù)測相關(guān)性信息(Dn、 Df)、 IDR號(PIC—idxn、 PIC—idxf)以及圖像順序號(POCn、 POCf)信息當中的一個或更多。
12、 一種使用RTP分組對多層應(yīng)用數(shù)據(jù)進行編碼的設(shè)備，包括插入裝置(305)，用于將多層應(yīng)用數(shù)據(jù)的第一部分、第二部分 和第三部分分別打包成第一 RTP分組、第二 RTP分組和第三RTP分 組(P,、 p2、 p3)，其中應(yīng)用數(shù)據(jù)的第一部分、第二部分和第三部分涉 及應(yīng)用的第一層、第二層和第三層(VCLf、 VCLe、 VCLn);插入裝置(320)，用于將至少第一數(shù)據(jù)(vf)和第二數(shù)據(jù)(vn) 添加(320)到第二 RTP分組中，其中，所述第一數(shù)據(jù)(vf)限定了 第一分組所涉及的應(yīng)用的第一層，所述第二數(shù)據(jù)(vn)限定了第三分 組所涉及的應(yīng)用的第三層；發(fā)送裝置340，用于按照該順序發(fā)送第一 RTP分組、第二 RTP 分組和第三RTP分組。
13、 根據(jù)權(quán)利要求12所述的設(shè)備，其中，將所述第一數(shù)據(jù)和所 述第二數(shù)據(jù)添加到第二分組的填充字節(jié)中。
14、 一種用于對包括多層應(yīng)用數(shù)據(jù)在內(nèi)的RTP分組進行解碼做準 備的設(shè)備(400)，所述設(shè)備包括接收裝置(401)，用于接收至少第一RTP分組以及后續(xù)的第二 RTP分組；第一提取裝置(410)，用于從第一RTP分組的主體提取多層應(yīng) 用數(shù)據(jù)的第一部分(415)，以及從第一 RTP分組的填充字節(jié)提取第 一相鄰信息(NBn);第二提取裝置(420)，用于從第二RTP分組的主體提取多層應(yīng) 用數(shù)據(jù)的第二部分(425)，以及從第二 RTP分組的填充字節(jié)提取第 二相鄰信息(NBf);確定裝置(430、 440)，用于確定第一 RTP分組和第二 RTP分 組中多層應(yīng)用數(shù)據(jù)的類型(tyPn+1、 typn+1);第一比較裝置(450)，用于將所確定的第二RTP分組中多層應(yīng) 用數(shù)據(jù)的類型(typn+1)與從第一 RTP分組提取的第一相鄰信息(NBn) 相比較；第二比較裝置(460)，用于將所確定的第一RTP分組中多層應(yīng) 用數(shù)據(jù)的類型(typn)與從第二RTP分組提取的第二相鄰信息(NBf) 相比較；第三比較裝置(470)，用于將從第一RTP分組提取的第一相鄰 信息(NBn)與從第二RTP分組提取的第二相鄰信息(NBf)相比較； 以及提供裝置，用于將第一提取裝置和第二提取裝置(430、 440)以 及第一比較裝置、第二比較裝置和第三比較裝置(450、 460、 470)的結(jié)果提供給用于所述多層應(yīng)用的解碼器。
15、根據(jù)權(quán)利要求14所述的設(shè)備，其中，第一RTP分組和第二 RTP分組中的相鄰信息(NBn、 NBf)包括NAL類型指示(Vn、 Vf)、 質(zhì)量信息(Qn、 Qf)、預(yù)測相關(guān)性信息(Dn、 Df)、 IDR號(PIC—idxn、 PIC—idXf)以及圖像順序號(POCn、 POCf)信息當中的一個或更多。
全文摘要
本發(fā)明提供了包括RTP分組的數(shù)據(jù)流、及編/解碼該數(shù)據(jù)流的方法和設(shè)備。在基于分組的架構(gòu)內(nèi)提供了一種特殊語法，該特殊語法基于在RTP分組被饋送至多層應(yīng)用解碼器之前，對所述RTP分組之間的關(guān)系所述RTP分組所承載的應(yīng)用層數(shù)據(jù)加以識別和指示。這有助于解碼器及時使用合適的錯誤隱藏技術(shù)，并且防止在解碼器中進行不必要的處理。數(shù)據(jù)流包括包含多層應(yīng)用的應(yīng)用數(shù)據(jù)在內(nèi)的RTP分組，其中，RTP分組包含兩種應(yīng)用層信息，一種與下一個RTP分組有關(guān)，而一種與前一個RTP分組有關(guān)。在分組丟失的情況下，解碼器立即確定遺漏數(shù)據(jù)的數(shù)量和類型。
文檔編號H04L12/56GK101640640SQ200910161279
公開日2010年2月3日 申請日期2009年7月28日 優(yōu)先權(quán)日2008年7月28日
發(fā)明者夏志進, 武宇文, 陳志波 申請人:湯姆森許可貿(mào)易公司