一種直播視頻傳輸?shù)姆椒?、服?wù)器和用戶設(shè)備與流程

本發(fā)明涉及電子技術(shù)領(lǐng)域，尤其涉及一種直播視頻傳輸?shù)姆椒?、服?wù)器和用戶設(shè)備

背景技術(shù)：

網(wǎng)絡(luò)直播已經(jīng)成為一種熱門的網(wǎng)絡(luò)娛樂(lè)方式。在網(wǎng)絡(luò)直播中，主播利用自己的UE(用戶設(shè)備，User Equipment)將直播視頻發(fā)送給CDN(內(nèi)容分發(fā)網(wǎng)絡(luò)，Content Delivery Network)服務(wù)器，然后CDN服務(wù)器再將直播視頻傳輸?shù)剿杏^眾的UE，供觀眾觀看。

然而，為了給觀眾提供較為清晰的視頻圖像，CDN服務(wù)器傳輸清晰度高的直播視頻時(shí)會(huì)占用很大的帶寬。UE為接收直播視頻，也需要很大的帶寬。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供了一種直播視頻傳輸?shù)姆椒?、服?wù)器和用戶設(shè)備，用于降低傳輸和接收直播視頻所占用的帶寬。

第一方面，本發(fā)明提供了一種直播視頻傳輸?shù)姆椒?，包括?/p>

獲得主播端用戶設(shè)備UE發(fā)送的直播視頻；

將所述直播視頻的低分辨率直播視頻傳輸給觀看端UE。

第二方面，本發(fā)明提供了另一種直播視頻傳輸?shù)姆椒ǎǎ?/p>

接收服務(wù)器發(fā)送的低分辨率直播視頻；

將所述低分率直播視頻轉(zhuǎn)換成對(duì)應(yīng)的高分辨率直播視頻；

顯示所述高分辨率直播視頻。

可選的，將所述低分率直播視頻轉(zhuǎn)換成對(duì)應(yīng)的高分辨率直播視頻，包括：

在所述低分辨率直播視頻的每一幀低分辨率圖像中進(jìn)行劃分，將局部性質(zhì)相似的圖像劃分到同一圖像塊中；

基于所述圖像塊中的低分辨率圖像在所述圖像塊中進(jìn)行插值，以將所述圖像塊中的所述低分辨率圖像轉(zhuǎn)換成所述高分辨率圖像，進(jìn)而使所述每一幀低分辨率圖像轉(zhuǎn)換成所述高分辨率圖像，進(jìn)而獲得所述高分辨率直播視頻。

可選的，在所述低分辨率直播視頻的每一幀低分辨率圖像中進(jìn)行劃分，將局部性質(zhì)相似的圖像劃分到同一圖像塊中，包括：

按照四叉樹(shù)結(jié)構(gòu)將所述每一幀低分辨率圖像劃分成多個(gè)圖像塊；

判斷父節(jié)點(diǎn)為同一圖像塊的四個(gè)圖像塊的均值和方差是否滿足表示局部性質(zhì)相似的預(yù)設(shè)條件；

當(dāng)所述四個(gè)圖像塊的均值和方差滿足所述預(yù)設(shè)條件時(shí)，取消所述四個(gè)圖像塊，保留所述父節(jié)點(diǎn)圖像塊，以使所述四個(gè)圖像塊合并為所述同一圖像塊。

可選的，基于所述圖像塊中的低分辨率圖像在所述圖像塊中進(jìn)行插值，包括：

基于所述圖像塊中每個(gè)像素點(diǎn)的像素值，獲得所述圖像塊的插值參數(shù)；

獲得每四個(gè)像素點(diǎn)的像素值與所述插值參數(shù)的乘積的和；

將所述乘積的和作為位于所述每四個(gè)像素點(diǎn)中間位置的像素點(diǎn)的像素值，進(jìn)而在所述中間位置的像素點(diǎn)處插入所述乘積的和的像素值。

第三方面，本發(fā)明提供了一種服務(wù)器，包括：

獲得模塊，用于獲得主播端用戶設(shè)備UE發(fā)送的直播視頻；

傳輸模塊，用于將所述直播視頻的低分辨率直播視頻傳輸給觀看端UE。

第四方面，本發(fā)明提供了一種用戶設(shè)備，包括：

接收模塊，用于接收服務(wù)器發(fā)送的低分辨率直播視頻；

轉(zhuǎn)換模塊，用于將所述低分率直播視頻轉(zhuǎn)換成對(duì)應(yīng)的高分辨率直播視頻；

顯示模塊，用于顯示所述高分辨率直播視頻。

可選的，所述轉(zhuǎn)換模塊用于在所述低分辨率直播視頻的每一幀低分辨率圖像中進(jìn)行劃分，將局部性質(zhì)相似的圖像劃分到同一圖像塊中；基于所述圖像塊中的低分辨率圖像在所述圖像塊中進(jìn)行插值，以將所述圖像塊中的所述低分辨率圖像轉(zhuǎn)換成所述高分辨率圖像，進(jìn)而使所述每一幀低分辨率圖像轉(zhuǎn)換成所述高分辨率圖像，進(jìn)而獲得所述高分辨率直播視頻。

可選的，所述轉(zhuǎn)換模塊用于按照四叉樹(shù)結(jié)構(gòu)將所述每一幀低分辨率圖像劃分成多個(gè)圖像塊；判斷父節(jié)點(diǎn)為同一圖像塊的四個(gè)圖像塊的均值和方差是否滿足表示局部性質(zhì)相似的預(yù)設(shè)條件；當(dāng)所述四個(gè)圖像塊的均值和方差滿足所述預(yù)設(shè)條件時(shí)，取消所述四個(gè)圖像塊，保留所述父節(jié)點(diǎn)圖像塊，以使所述四個(gè)圖像塊合并為所述同一圖像塊。

可選的，所述轉(zhuǎn)換模塊用于基于所述圖像塊中每個(gè)像素點(diǎn)的像素值，獲得所述圖像塊的插值參數(shù)；獲得每四個(gè)像素點(diǎn)的像素值與所述插值參數(shù)的乘積的和；將所述乘積的和作為位于所述每四個(gè)像素點(diǎn)中間位置的像素點(diǎn)的像素值，進(jìn)而在所述中間位置的像素點(diǎn)處插入所述乘積的和的像素值。

本申請(qǐng)實(shí)施例中的上述一個(gè)或多個(gè)技術(shù)方案，至少具有如下一種或多種技術(shù)效果：

1、在本發(fā)明實(shí)施例的技術(shù)方案中，服務(wù)器獲得主播端UE發(fā)送的直播視頻，然后將直播視頻的低分辨率直播視頻傳輸給觀看端UE。由于只需要向觀看端UE發(fā)送低分辨率直播視頻，所以相較于與現(xiàn)有技術(shù)直接向觀看端UE發(fā)送高分辨率直播視頻，本發(fā)明中服務(wù)器傳輸直播視頻所占用的帶寬得到了減小。

2、在本發(fā)明實(shí)施例的技術(shù)方案中，觀看端UE接收服務(wù)器發(fā)送的低分辨率直播視頻后，然后將低分辨率直播視頻轉(zhuǎn)換成對(duì)應(yīng)的高分辨率直播視頻并進(jìn)行顯示。所以，一方面，由于UE只需要接收低分辨率直播視頻，所以相較于與現(xiàn)有技術(shù)中UE接收高分辨率直播視頻，本發(fā)明中UE接收直播視頻所占用的帶寬得到了減?。涣硪环矫?，接收低分辨率直播視頻后，進(jìn)一步轉(zhuǎn)換成對(duì)應(yīng)的高分辨率直播視頻，保證了向用戶呈現(xiàn)較為清晰地直播視頻，實(shí)現(xiàn)了在減小接收帶寬的同時(shí)不影響用戶觀看體驗(yàn)。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例中一種可能的網(wǎng)絡(luò)架構(gòu)示意圖；

圖2為本發(fā)明實(shí)施例中一直播視頻傳輸方法的流程圖；

圖3為本發(fā)明實(shí)施例中另一直播視頻傳輸方法的流程圖；

圖4a-圖4b為本發(fā)明實(shí)施例中局部像素點(diǎn)示意圖；

圖5為本發(fā)明實(shí)施例中一邏輯流程圖；

圖6為本發(fā)明實(shí)施例中一服務(wù)器結(jié)構(gòu)示意圖；

圖7為本發(fā)明實(shí)施例中一UE結(jié)構(gòu)示意圖。

具體實(shí)施方式

本發(fā)明實(shí)施例提供了一種直播視頻傳輸?shù)姆椒?、服?wù)器和用戶設(shè)備，用于降低傳輸和接收直播視頻所占用的帶寬。

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供的技術(shù)方案總體思路如下：

服務(wù)器向觀看端UE發(fā)送低分辨率直播視頻。觀看端UE接收低分辨率直播視頻后，將低分辨率直播視頻轉(zhuǎn)換成對(duì)應(yīng)的高分辨率直播視頻，進(jìn)而向用戶顯示高分辨率直播視頻。

下面通過(guò)附圖以及具體實(shí)施例對(duì)本發(fā)明技術(shù)方案做詳細(xì)的說(shuō)明，應(yīng)當(dāng)理解本申請(qǐng)實(shí)施例以及實(shí)施例中的具體特征是對(duì)本申請(qǐng)技術(shù)方案的詳細(xì)的說(shuō)明，而不是對(duì)本申請(qǐng)技術(shù)方案的限定，在不沖突的情況下，本申請(qǐng)實(shí)施例以及實(shí)施例中的技術(shù)特征可以相互組合。

本文中術(shù)語(yǔ)“和/或”，僅僅是一種描述關(guān)聯(lián)對(duì)象的關(guān)聯(lián)關(guān)系，表示可以存在三種關(guān)系，例如，A和/或B，可以表示：?jiǎn)为?dú)存在A，同時(shí)存在A和B，單獨(dú)存在B這三種情況。另外，本文中字符“/”，一般表示前后關(guān)聯(lián)對(duì)象是一種“或”的關(guān)系。

為了更加清楚地介紹本發(fā)明技術(shù)方案，下面先對(duì)直播視頻傳輸?shù)木W(wǎng)絡(luò)架構(gòu)進(jìn)行介紹。請(qǐng)參考圖1，為一種可能的網(wǎng)絡(luò)架構(gòu)示意圖，該架構(gòu)包括：主播端UE，觀看端UE和服務(wù)器。

具體來(lái)講，在一個(gè)網(wǎng)絡(luò)直播中，主播端UE可以有一個(gè)或多個(gè)(圖1中僅示出一個(gè))，觀看端UE則可以有零個(gè)、一個(gè)或多個(gè)，主播端UE和觀看端UE均通過(guò)網(wǎng)絡(luò)接入服務(wù)器。網(wǎng)絡(luò)直播的主播持主播端UE進(jìn)行視頻采集，并由主播端設(shè)備將采集到的視頻發(fā)送至服務(wù)器。服務(wù)器對(duì)視頻進(jìn)行解析和編碼后，將視頻發(fā)送到所有觀看端UE。

每個(gè)觀看用戶在自己持有的觀看端UE上觀看網(wǎng)絡(luò)直播。

本發(fā)明實(shí)施例中的服務(wù)器一般指后臺(tái)服務(wù)器，可以為CDN服務(wù)器，也可以為其他服務(wù)器，本發(fā)明不做具體限制。CDN基本思路是盡可能避開(kāi)互聯(lián)網(wǎng)上有可能影響數(shù)據(jù)傳輸速度和穩(wěn)定性的瓶頸和環(huán)節(jié)，使內(nèi)容傳輸?shù)母?、更穩(wěn)定。通過(guò)在網(wǎng)絡(luò)各處放置節(jié)點(diǎn)服務(wù)器所構(gòu)成的在現(xiàn)有的互聯(lián)網(wǎng)基礎(chǔ)之上的一層智能虛擬網(wǎng)絡(luò)，CDN系統(tǒng)能夠?qū)崟r(shí)地根據(jù)網(wǎng)絡(luò)流量和各節(jié)點(diǎn)的連接、負(fù)載狀況以及到用戶的距離和響應(yīng)時(shí)間等綜合信息將用戶的請(qǐng)求重新導(dǎo)向離用戶最近的服務(wù)節(jié)點(diǎn)上。其目的是使用戶可就近取得所需內(nèi)容，解決網(wǎng)絡(luò)擁擠的狀況，提高用戶訪問(wèn)網(wǎng)站的響應(yīng)速度。

本發(fā)明第一方面提供了一種直播視頻傳輸?shù)姆椒?，?yīng)用于服務(wù)器，請(qǐng)參考圖2，為一直播視頻傳輸?shù)姆椒鞒虉D。該方法包括：

S101：獲得主播端用戶設(shè)備UE發(fā)送的直播視頻；

S102：將所述直播視頻的低分辨率直播視頻傳輸給觀看端UE。

在S101中，服務(wù)器首先獲得主播端UE發(fā)送的直播視頻。具體來(lái)講，主播利用主播端UE錄制直播視頻，然后將錄制好的直播視頻發(fā)送給服務(wù)器。在具體實(shí)現(xiàn)過(guò)程中，主播端UE可以在采集到高分辨率直播視頻后，可以直接將高分辨率直播視頻發(fā)送給服務(wù)器，然后，服務(wù)器再將接收到的高分辨率直播視頻轉(zhuǎn)換成低分率直播視頻，并對(duì)直播視頻編碼，進(jìn)而S102中傳輸給觀看端UE?；蛘?，主播端UE也可以在采集到高分辨率直播視頻后，將直播視頻的分辨率由高分辨率轉(zhuǎn)換為低分辨率，例如由1280*720轉(zhuǎn)換為640*360，那么還可以進(jìn)一步減小服務(wù)器接收直播視頻占用的帶寬。并且，服務(wù)器在接收低分辨率直播視頻后，可以直接編碼并傳輸給觀看端UE，所以，還可以進(jìn)一步減少服務(wù)器對(duì)直播視頻的處理，降低服務(wù)器設(shè)備資源消耗。在具體實(shí)現(xiàn)過(guò)程中，本發(fā)明所屬領(lǐng)域的普通技術(shù)人員可以根據(jù)實(shí)際進(jìn)行設(shè)置，本發(fā)明不做具體限制。

本發(fā)明實(shí)施例中的高分辨率和低分率是相對(duì)的，高分辨率直播視頻的分辨率高于低分率直播視頻的分辨率，而低分率直播視頻的分辨率則低于高分辨率直播視頻的分辨率。

由上述描述可知，服務(wù)器獲得主播端UE發(fā)送的直播視頻，然后將直播視頻的低分辨率直播視頻傳輸給觀看端UE。由于只需要向觀看端UE發(fā)送低分辨率直播視頻，所以相較于與現(xiàn)有技術(shù)直接向觀看端UE發(fā)送高分辨率直播視頻，本發(fā)明中服務(wù)器傳輸直播視頻所占用的帶寬得到了減小。

進(jìn)一步，UE接收低分辨率直播視頻后，可以直接向觀看用戶顯示分辨率直播視頻?；蛘?，為了用戶能夠觀看到清晰的直播視頻，UE還可以進(jìn)一步將低分辨率直播視頻轉(zhuǎn)換成高分辨率直播視頻后再顯示。本發(fā)明后文中介紹的第二發(fā)明將詳細(xì)對(duì)UE將低分辨率直播視頻轉(zhuǎn)換成高分辨率直播視頻的實(shí)施方式進(jìn)行介紹。

本發(fā)明第二方面提供了另一種直播視頻傳輸?shù)姆椒?，?yīng)用于觀看端UE，請(qǐng)參考圖3，為另一直播視頻傳輸?shù)姆椒鞒虉D。該方法包括：

S201：接收服務(wù)器發(fā)送的低分辨率直播視頻；

S202：將所述低分率直播視頻轉(zhuǎn)換成對(duì)應(yīng)的高分辨率直播視頻；

S203：顯示所述高分辨率直播視頻。

具體來(lái)講，S201中，觀看端UE從服務(wù)器接收低分率直播視頻。然后，S202中，基于超分辨率技術(shù)，將低分辨率直播視頻轉(zhuǎn)換成對(duì)應(yīng)的高分辨率直播視頻。超分辨率技術(shù)，是指通過(guò)硬件或軟件的方法提高原有圖像的分辨率，通過(guò)對(duì)低分辨率圖像的處理來(lái)得到高分辨率的圖像。最終，在S203中，將轉(zhuǎn)換得到的高分辨率直播視頻顯示在UE顯示單元上供觀看用戶觀看。

具體來(lái)講，將低分辨率直播視頻轉(zhuǎn)換成對(duì)應(yīng)的高分辨率直播視頻，可以通過(guò)如下過(guò)程實(shí)現(xiàn)：

在所述低分辨率直播視頻的每一幀低分辨率圖像中進(jìn)行劃分，將局部性質(zhì)相似的圖像劃分到同一圖像塊中；

基于所述圖像塊中的低分辨率圖像在所述圖像塊中進(jìn)行插值，以將所述圖像塊中的所述低分辨率圖像轉(zhuǎn)換成所述高分辨率圖像，進(jìn)而使所述每一幀低分辨率圖像轉(zhuǎn)換成所述高分辨率圖像，進(jìn)而獲得所述高分辨率直播視頻。

UE接收低分辨率直播視頻數(shù)據(jù)后，會(huì)將視頻數(shù)據(jù)解碼成多幀的低分辨率圖像，然后針對(duì)每一幀圖像進(jìn)行超分辨率處理，處理完成后，再按照每一幀圖像的順序顯示，從而讓用戶觀看到連續(xù)的高分辨率直播視頻。由于對(duì)每一幀低分辨率圖像的處理類似，因此下面僅對(duì)其中一幀的處理過(guò)程進(jìn)行介紹。

首先，將一幀低分辨率圖像中劃分成一個(gè)或多個(gè)圖像塊。在具體實(shí)現(xiàn)過(guò)程中，本發(fā)明所屬領(lǐng)域的普通技術(shù)人員可以按照任意規(guī)則或幾何圖形對(duì)低分率圖像進(jìn)行劃分，只要將局部性質(zhì)相似的圖像劃分到同一圖像塊中即可。換言之，一個(gè)圖像塊中各個(gè)像素點(diǎn)的像素值不會(huì)劇變，關(guān)聯(lián)性較強(qiáng)。

本發(fā)明實(shí)施例對(duì)劃分圖像塊的方法不做限制，下面對(duì)其中一種劃分方式進(jìn)行介紹。該劃分方式具體如下：

按照四叉樹(shù)結(jié)構(gòu)將所述每一幀低分辨率圖像劃分成多個(gè)圖像塊；

判斷父節(jié)點(diǎn)為同一圖像塊的四個(gè)圖像塊的均值和方差是否滿足表示局部性質(zhì)相似的預(yù)設(shè)條件；

當(dāng)所述四個(gè)圖像塊的均值和方差滿足所述預(yù)設(shè)條件時(shí)，取消所述四個(gè)圖像塊，保留所述父節(jié)點(diǎn)圖像塊，以使所述四個(gè)圖像塊合并為所述同一圖像塊。

具體來(lái)講，四叉樹(shù)結(jié)構(gòu)是一種數(shù)據(jù)結(jié)構(gòu)，在四叉樹(shù)結(jié)構(gòu)中，每個(gè)父節(jié)點(diǎn)最多有4個(gè)子節(jié)點(diǎn)。在本發(fā)明實(shí)施例中，對(duì)每一幀低分辨率圖像，按照四叉樹(shù)結(jié)構(gòu)劃進(jìn)行多次劃分，直到劃分出最小單位的圖像塊。其中，最小單元可以按照低分辨率圖像的分辨率任意設(shè)置，本發(fā)明不做具體限制。為了方便說(shuō)明，假設(shè)本發(fā)明實(shí)施例中的低分辨率圖像具體為640*360像素，最小單位圖像塊設(shè)置為8*8像素。

具體來(lái)講，第一次劃分，將一幀圖像劃分為四個(gè)圖像塊；第二次劃分，將每個(gè)一次劃分的圖像塊再劃分為四個(gè)圖像塊，共得到16個(gè)圖像塊；第三次劃分，將每個(gè)二次劃分的圖像塊再劃分為四個(gè)圖像塊，共得到64個(gè)圖像塊，依次類推，直到最后一次劃分結(jié)束。

然后，進(jìn)一步對(duì)四叉樹(shù)進(jìn)行整理。整理時(shí)，從最后一層子節(jié)點(diǎn)向根節(jié)點(diǎn)方向依次整理，將局部性質(zhì)相似的子節(jié)點(diǎn)合并到父節(jié)點(diǎn)，進(jìn)而減少四叉樹(shù)的節(jié)點(diǎn)數(shù)量。

在整理時(shí)，需要判斷父節(jié)點(diǎn)為同一圖像塊的四個(gè)圖像塊的均值和方差是否滿足局部性質(zhì)相似的預(yù)設(shè)條件。在本發(fā)明實(shí)施例中，為了判斷父節(jié)點(diǎn)為同一圖像塊的四個(gè)圖像塊的均值和方差是否滿足預(yù)設(shè)條件，可以設(shè)置兩個(gè)閾值：均值閾值θ₁和方差閾值θ₂。然后，判斷四個(gè)圖像塊的均值的方差是否滿足公式(1)和公式(2)

其中，為四個(gè)圖像塊像素的均值，m_p表示四個(gè)圖像塊中第p圖像塊像素的均值，為四個(gè)圖像塊像素的方差，v_p表示四個(gè)圖像塊中第p圖像塊像素的方差。p取1,2,3和4。

當(dāng)四個(gè)圖像塊滿足公式(1)和公式(2)時(shí)，表示四個(gè)圖像塊的均值和方差較為接近，進(jìn)而表示四個(gè)圖像塊中的像素變化較緩和，因此局部性質(zhì)相似。所以，當(dāng)四個(gè)圖像塊的均值和方差滿足公式(1)和公式(2)時(shí)，表示四個(gè)圖像塊滿足預(yù)設(shè)條件，所以取消這四個(gè)圖像塊所在的子節(jié)點(diǎn)，僅需要保留父節(jié)點(diǎn)即可。換言之，當(dāng)四個(gè)圖像塊局部性質(zhì)相似時(shí)，將四個(gè)圖像塊合并為一個(gè)圖像塊。

在本發(fā)明實(shí)施例中，θ₁的取值范圍設(shè)置為[0,20]，θ₂的取值范圍設(shè)置為[0,10]。但是，在具體實(shí)現(xiàn)過(guò)程中，θ₁和θ₂的值可以根據(jù)實(shí)際進(jìn)行任意設(shè)置，本發(fā)明不做具體限制。

另外，除了上述公式(1)和公式(2)，也可以通過(guò)其他方式判斷四個(gè)圖像塊是否滿足預(yù)設(shè)條件，例如判斷四個(gè)圖像塊的均值的方差是否小于均值閾值，并且方差是否均小于方差閾值，本發(fā)明對(duì)此也不做具體限制。

對(duì)每個(gè)父節(jié)點(diǎn)相同的四個(gè)圖像塊進(jìn)行相同的整理，最后就整理出包括一個(gè)或多個(gè)圖像塊的低分辨率圖像。當(dāng)然，在具體實(shí)現(xiàn)過(guò)程中，也可以在劃分多個(gè)圖像塊之后省略整理合并圖像塊的處理，直接在每個(gè)圖像塊中進(jìn)行插值。本發(fā)明所屬領(lǐng)域的普通技術(shù)人員可以根據(jù)實(shí)際進(jìn)行設(shè)置，本發(fā)明不做具體限制。

接下來(lái)，在將低分辨率圖像劃分成多個(gè)圖像塊之后，就可以在每個(gè)圖像塊中進(jìn)行插值，進(jìn)而將一幀低分辨率圖像轉(zhuǎn)換成高分辨率圖像，最終將整個(gè)低分辨率直播視頻轉(zhuǎn)換成高分辨率直播視頻。

在進(jìn)行插值時(shí)，可以采用最近鄰插值法、雙線性插值法和三次立方插值等傳統(tǒng)圖像插值方法進(jìn)行插值。

傳統(tǒng)圖像插值方法通常是建立在圖像的連續(xù)性假設(shè)上，對(duì)像素值滿足連續(xù)性假設(shè)的區(qū)域進(jìn)行插值可以使生成的像素值延續(xù)連續(xù)性的變化，獲得良好的插值效果。但是，像素值突變的區(qū)域并不滿足像素值連續(xù)性的假設(shè)，對(duì)不具有連續(xù)性的區(qū)域進(jìn)行插值，則往往會(huì)使最終得到的高分辨率圖像輪廓和紋理模糊，質(zhì)量較差。

對(duì)圖像中一個(gè)像素點(diǎn)而言，該像素點(diǎn)所在的局部區(qū)域?qū)υ撓袼攸c(diǎn)的影響較全局其實(shí)更為重要。所以，本發(fā)明實(shí)施例中為了獲得更高質(zhì)量的高分辨率圖像，也可以通過(guò)如下方式來(lái)進(jìn)行插值：

基于所述圖像塊中每個(gè)像素點(diǎn)的像素值，獲得所述圖像塊的插值參數(shù)；

獲得每四個(gè)像素點(diǎn)的像素值與所述插值參數(shù)的乘積的和；

將所述乘積的和作為位于所述每四個(gè)像素點(diǎn)中間位置的像素點(diǎn)的像素值，進(jìn)而在所述中間位置的像素點(diǎn)處插入所述乘積的和的像素值。

本發(fā)明實(shí)施例在進(jìn)行插值時(shí)，利用類似的方式在每個(gè)圖像塊中進(jìn)行插值，因此，為了說(shuō)明書簡(jiǎn)潔，下面對(duì)其中一個(gè)圖像塊中的插值過(guò)程進(jìn)行介紹，其他圖像塊的插值過(guò)程類似，因此不再重復(fù)贅述。

具體來(lái)講，首先，對(duì)一個(gè)圖像塊所有像素點(diǎn)的像素值進(jìn)行最小二乘法，將最小二乘法的結(jié)果作為插值參數(shù)α。

然后，計(jì)算出每四個(gè)像素點(diǎn)的像素值與插值參數(shù)的乘積，并進(jìn)一步計(jì)算出四個(gè)乘積的和。接著，將上述乘積的和作為四個(gè)像素點(diǎn)中間位置的像素點(diǎn)的像素值，然后將乘機(jī)的和插入中間位置的像素點(diǎn)處。

圖4a和圖4b示出了局部像素點(diǎn)，圖4a和圖4b中的4個(gè)黑點(diǎn)表示原始的四個(gè)像素點(diǎn)，白點(diǎn)則表示中間位置的像素點(diǎn)。在本發(fā)明實(shí)施例中，如圖4a所示，中間位置的像素點(diǎn)可以具體為四個(gè)像素點(diǎn)連成的矩形中心位置的像素點(diǎn)，也即，四個(gè)像素點(diǎn)分別位于中間位置像素點(diǎn)的左上方、右上方、左下方和右下方?；蛘?，如圖4b所示，中間位置的像素點(diǎn)可以具體為四個(gè)像素點(diǎn)連成的菱形中心位置的像素點(diǎn)，也即，四個(gè)像素點(diǎn)分別位于中間位置像素點(diǎn)的上方、下方、左方和右方。

下面列舉一個(gè)具體例子來(lái)說(shuō)明如何進(jìn)行插值，在具體實(shí)現(xiàn)過(guò)程中，包括但不限于以下例子。

假設(shè)低分辨率圖像具體為640*320像素的圖像，高分辨率圖像具體為1280*640的圖像。由于高分辨率圖像是低分辨率圖像插值的結(jié)果，所以，高分辨率圖像中的一部分像素點(diǎn)為低分辨率圖像的像素點(diǎn)。具體如公式(3)所示。

D_2i,2j＝S_i,j 公式(3)

其中，D_2i,2j表示高分辨率圖像中像素點(diǎn)的像素值，該像素點(diǎn)的坐標(biāo)為(2i，2j)，S_i,j表示低分辨率圖像中像素點(diǎn)的像素值，該像素點(diǎn)的坐標(biāo)為(i，j)。其中，i和j的取值范圍為D_2i,2j所在圖像塊的坐標(biāo)范圍，分別表示為i∈[W1,W2]和j∈[H1,H2]。例如，8*8像素圖像塊所在的長(zhǎng)度方向坐標(biāo)是8至16，寬度方向坐標(biāo)是0至8，則i∈[8,16]，j∈[0,8]。

公式(3)表示，由低分辨率圖像轉(zhuǎn)換到高分辨率圖像過(guò)程中，(2i，2j)處像素點(diǎn)的像素值保留原像素值。而對(duì)于(2i+1,2j+1)處像素點(diǎn)的像素值，則按照公式(4)進(jìn)行插值。

在公式(4)中，D_2i+1,2j+1表示高分辨率圖像中坐標(biāo)(2i+1，2j+1)處像素點(diǎn)的像素值，S_{2(i+k),2(j+l)}表示低分辨率圖像中坐標(biāo)(2(i+k)，2(j+l))處像素點(diǎn)的像素值，k和l取0到1的整數(shù)，α_2k+l表示最小二乘法結(jié)果中插值參數(shù)α四個(gè)不同的值。

對(duì)于(2i+1,2j)處像素點(diǎn)的像素值，則按照公式(5)進(jìn)行插值。

在公式(5)中，D_2i+1,2j表示高分辨率圖像中坐標(biāo)(2i+1，2j)處像素點(diǎn)的像素值，S_{2(i+k),2(j+2l-1)}表示低分辨率圖像中坐標(biāo)(2(i+k)，2(j+2l-1))處像素點(diǎn)的像素值。

對(duì)于(2i,2j+1)處像素點(diǎn)的像素值，則按照公式(6)進(jìn)行插值。

在公式(6)中，D_2i,2j+1表示高分辨率圖像中坐標(biāo)(2i，2j+1)處像素點(diǎn)的像素值，S_{2(i+2k-1),2(j+l)}表示低分辨率圖像中坐標(biāo)(2(i+2k-1)，2(j+l))處像素點(diǎn)的像素值。

最終，通過(guò)上述公式(3)、公式(4)、公式(5)和公式(6)就可以插值出該圖像塊對(duì)應(yīng)的高分辨率圖像。

下面結(jié)合S101到S102，和S201到S203對(duì)本發(fā)明實(shí)施例中的觀看端UE顯示高分辨率直播視頻的方法進(jìn)行介紹。請(qǐng)參考圖5，為本發(fā)明實(shí)施例中一示例性邏輯示意圖。

首先，S301中，主播端UE進(jìn)行低分辨率視頻采集，然后經(jīng)過(guò)S302中的網(wǎng)絡(luò)傳輸，將低分辨率視頻傳輸?shù)椒?wù)器，再由服務(wù)器編碼后傳輸?shù)接^看端UE。接下來(lái)，S303中，觀看端UE對(duì)視頻解碼，得到多幀圖像。在S304中對(duì)低分率圖像進(jìn)行插值處理，進(jìn)而S305中獲得高分辨率圖像。最終，S306中顯示高分辨率圖像，使觀看用戶觀看視頻。

基于與第一方面中直播視頻傳輸?shù)姆椒ㄍ瑯拥陌l(fā)明構(gòu)思，本發(fā)明第三方面還提供一種服務(wù)器，如圖6所示，包括：

獲得模塊101，用于獲得主播端用戶設(shè)備UE發(fā)送的直播視頻；

傳輸模塊102，用于將所述直播視頻的低分辨率直播視頻傳輸給觀看端UE。

前述圖1-圖2實(shí)施例中的直播視頻傳輸?shù)姆椒ǖ母鞣N變化方式和具體實(shí)例同樣適用于本實(shí)施例的服務(wù)器，通過(guò)前述對(duì)直播視頻傳輸?shù)姆椒ǖ脑敿?xì)描述，本領(lǐng)域技術(shù)人員可以清楚的知道本實(shí)施例中服務(wù)器的實(shí)施方法，所以為了說(shuō)明書的簡(jiǎn)潔，在此不再詳述。

基于與第二方面中直播視頻傳輸?shù)姆椒ㄍ瑯拥陌l(fā)明構(gòu)思，本發(fā)明第四方面還提供一種用戶設(shè)備UE，如圖7所示，包括：

接收模塊201，用于接收服務(wù)器發(fā)送的低分辨率直播視頻；

轉(zhuǎn)換模塊202，用于將所述低分率直播視頻轉(zhuǎn)換成對(duì)應(yīng)的高分辨率直播視頻；

顯示模塊203，用于顯示所述高分辨率直播視頻。

具體來(lái)講，轉(zhuǎn)換模塊202用于在所述低分辨率直播視頻的每一幀低分辨率圖像中進(jìn)行劃分，將局部性質(zhì)相似的圖像劃分到同一圖像塊中；基于所述圖像塊中的低分辨率圖像在所述圖像塊中進(jìn)行插值，以將所述圖像塊中的所述低分辨率圖像轉(zhuǎn)換成所述高分辨率圖像，進(jìn)而使所述每一幀低分辨率圖像轉(zhuǎn)換成所述高分辨率圖像，進(jìn)而獲得所述高分辨率直播視頻。

進(jìn)一步，轉(zhuǎn)換模塊202用于按照四叉樹(shù)結(jié)構(gòu)將所述每一幀低分辨率圖像劃分成多個(gè)圖像塊；判斷父節(jié)點(diǎn)為同一圖像塊的四個(gè)圖像塊的均值和方差是否滿足表示局部性質(zhì)相似的預(yù)設(shè)條件；當(dāng)所述四個(gè)圖像塊的均值和方差滿足所述預(yù)設(shè)條件時(shí)，取消所述四個(gè)圖像塊，保留所述父節(jié)點(diǎn)圖像塊，以使所述四個(gè)圖像塊合并為所述同一圖像塊。

更進(jìn)一步，轉(zhuǎn)換模塊202用于基于所述圖像塊中每個(gè)像素點(diǎn)的像素值，獲得所述圖像塊的插值參數(shù)；獲得每四個(gè)像素點(diǎn)的像素值與所述插值參數(shù)的乘積的和；將所述乘積的和作為位于所述每四個(gè)像素點(diǎn)中間位置的像素點(diǎn)的像素值，進(jìn)而在所述中間位置的像素點(diǎn)處插入所述乘積的和的像素值。

前述圖1-圖5實(shí)施例中的直播視頻傳輸?shù)姆椒ǖ母鞣N變化方式和具體實(shí)例同樣適用于本實(shí)施例的UE，通過(guò)前述對(duì)直播視頻傳輸?shù)姆椒ǖ脑敿?xì)描述，本領(lǐng)域技術(shù)人員可以清楚的知道本實(shí)施例中UE的實(shí)施方法，所以為了說(shuō)明書的簡(jiǎn)潔，在此不再詳述。

本申請(qǐng)實(shí)施例中的上述一個(gè)或多個(gè)技術(shù)方案，至少具有如下一種或多種技術(shù)效果：

1、在本發(fā)明實(shí)施例的技術(shù)方案中，服務(wù)器獲得主播端UE發(fā)送的直播視頻，然后將直播視頻的低分辨率直播視頻傳輸給觀看端UE。由于只需要向觀看端UE發(fā)送低分辨率直播視頻，所以相較于與現(xiàn)有技術(shù)直接向觀看端UE發(fā)送高分辨率直播視頻，本發(fā)明中服務(wù)器傳輸直播視頻所占用的帶寬得到了減小。

2、在本發(fā)明實(shí)施例的技術(shù)方案中，觀看端UE接收服務(wù)器發(fā)送的低分辨率直播視頻后，然后將低分辨率直播視頻轉(zhuǎn)換成對(duì)應(yīng)的高分辨率直播視頻并進(jìn)行顯示。所以，一方面，由于UE只需要接收低分辨率直播視頻，所以相較于與現(xiàn)有技術(shù)中UE接收高分辨率直播視頻，本發(fā)明中UE接收直播視頻所占用的帶寬得到了減??；另一方面，接收低分辨率直播視頻后，進(jìn)一步轉(zhuǎn)換成對(duì)應(yīng)的高分辨率直播視頻，保證了向用戶呈現(xiàn)較為清晰地直播視頻，實(shí)現(xiàn)了在減小接收帶寬的同時(shí)不影響用戶觀看體驗(yàn)。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合。可提供這些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。