一種基于用戶體驗的實時視頻傳輸速率自適應(yīng)方法
【專利摘要】本發(fā)明公開了一種基于用戶體驗的實時視頻傳輸速率自適應(yīng)方法，根據(jù)網(wǎng)絡(luò)特征以及用戶體驗感受自適應(yīng)地進(jìn)行視頻傳輸速率適配。本發(fā)明包括移動采集端、播放客戶端以及適配服務(wù)器三個部分。移動采集端采集實時視頻數(shù)據(jù)，播放客戶端接收視頻并播放，適配服務(wù)器負(fù)責(zé)對移動采集端和播放客戶端的網(wǎng)絡(luò)狀況以及移動采集端采集的視頻類型進(jìn)行監(jiān)測，并同時接收來自播放客戶端反饋的用戶體驗評分，然后根據(jù)這些參量采用適配算法決策出當(dāng)前最佳發(fā)送比特率，并通知移動采集端調(diào)整發(fā)送比特率。本發(fā)明不同于以恒定發(fā)送比特率傳輸視頻的方法，可以根據(jù)實時網(wǎng)絡(luò)狀況以及用戶的感受來自適應(yīng)調(diào)整視頻發(fā)送比特率，從而為用戶提供更好的體驗。
【專利說明】一種基于用戶體驗的實時視頻傳輸速率自適應(yīng)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于自適應(yīng)視頻傳輸【技術(shù)領(lǐng)域】，涉及一種實時視頻傳輸自適應(yīng)方法，主要是針對視頻傳輸比特率進(jìn)行適配。
【背景技術(shù)】
[0002]隨著無線和移動網(wǎng)絡(luò)的高速發(fā)展，流媒體業(yè)務(wù)在移動終端上的應(yīng)用和發(fā)展也越來越備受關(guān)注。然而移動網(wǎng)絡(luò)是一個時變信道，如何根據(jù)網(wǎng)絡(luò)狀況的不斷變化，自適應(yīng)的進(jìn)行流媒體實時數(shù)據(jù)的傳輸，提高流媒體傳輸質(zhì)量已成為當(dāng)前急需解決的重大問題。
[0003]同時,流媒體業(yè)務(wù)中的端到端的用戶體驗(Quality of Experience, QoE)也越來越收到運營商及廣大用戶的重視，QoE作為用戶對所接受服務(wù)的質(zhì)量的綜合評價，與終端用戶、業(yè)務(wù)與內(nèi)容提供商、網(wǎng)絡(luò)與服務(wù)運營商、設(shè)備制造商的關(guān)系密切相關(guān)。通過對QoE的研究和實際網(wǎng)絡(luò)中的應(yīng)用，可以改進(jìn)網(wǎng)絡(luò)質(zhì)量、提高用戶感受到的服務(wù)質(zhì)量。因此很有必要在提供自適應(yīng)流媒體服務(wù)的同時，加入QoE因素，為用戶提供更好的服務(wù)體驗。
【發(fā)明內(nèi)容】
[0004]技術(shù)問題:本發(fā)明的目的是克服現(xiàn)有流媒體業(yè)務(wù)傳輸技術(shù)的不足，提供一種在實時視頻傳輸過程中，根據(jù)網(wǎng)絡(luò)狀況、視頻類型、用戶體驗來對視頻發(fā)送比特率進(jìn)行自適應(yīng)適配的方法。
[0005]技術(shù)方案:本發(fā)明的基于用戶體驗的實時視頻傳輸速率自適應(yīng)適配方法，該方法由移動采集端，播放客戶端以及適配服務(wù)器三部分構(gòu)成的網(wǎng)絡(luò)，可根據(jù)移動采集端和播放客戶端所處的網(wǎng)絡(luò)環(huán)境、傳輸視頻的類型以及用戶反饋的用戶體驗QoE評分動態(tài)自適應(yīng)地改變移動采集端的發(fā)送速率，具體步驟如下:
a)對適配服務(wù)器進(jìn)行初始化，在指定的端口進(jìn)行監(jiān)聽，準(zhǔn)備接收來自移動采集端和播放客戶端的實時數(shù)據(jù)信息。
[0006]b)對移動采集端進(jìn)行初始化，開始監(jiān)測自身網(wǎng)絡(luò)狀況以及傳輸視頻的類型，并將網(wǎng)絡(luò)強度、鏈路速率信息以及所處運動狀態(tài)信息通過套接字(socket)通信發(fā)送至適配服務(wù)器。對播放客戶端進(jìn)行初始化，開始監(jiān)測自身網(wǎng)絡(luò)狀況，并將網(wǎng)絡(luò)強度、鏈路速率信息發(fā)送至適配服務(wù)器。
[0007]c)播放客戶端向移動采集端發(fā)起視頻傳輸請求，二者之間開始傳輸實時視頻數(shù)據(jù)；適配服務(wù)器開啟適配服務(wù)，根據(jù)當(dāng)前的移動采集端的網(wǎng)絡(luò)信號強度、傳輸視頻的類型、播放客戶端的網(wǎng)絡(luò)信號強度以及用戶反饋的用戶體驗QoE評分，通過適配算法決策出適合當(dāng)前狀況的最佳發(fā)送比特率并發(fā)送至移動采集端。
[0008]d)移動采集端接收后，將發(fā)送比特率調(diào)整為該最佳發(fā)送比特率值，播放客戶端接收調(diào)整后的視頻數(shù)據(jù)進(jìn)行觀看。
[0009]本發(fā)明中移動采集端包括三個模塊:發(fā)送比特率適配、網(wǎng)絡(luò)狀況監(jiān)測、傳輸視頻類型識別。播放客戶端包括兩個模塊:網(wǎng)絡(luò)狀況檢測、用戶體驗QoE評分。適配服務(wù)器由適配決策模塊構(gòu)成。其中，發(fā)送比特率適配模塊用來接收適配決策后的發(fā)送速率值，并將移動采集端的發(fā)送速率調(diào)整為該值；網(wǎng)絡(luò)狀況監(jiān)測模塊用于在視頻傳輸過程中對移動采集端或播放客戶端所處的網(wǎng)絡(luò)的信號強度進(jìn)行監(jiān)測，并將網(wǎng)絡(luò)強度值發(fā)送至適配服務(wù)器進(jìn)行適配；傳輸視頻類型識別模塊用于判斷移動采集端的運動狀態(tài)，并將其發(fā)送至適配服務(wù)器作為適配算法的一個參量。用戶體驗QoE評分模塊用于用戶在觀看視頻的過程中對視頻質(zhì)量進(jìn)行打分，并將該值反饋至適配服務(wù)器以進(jìn)行適配服務(wù)；適配決策模塊負(fù)責(zé)接收來自移動采集端和播放客戶端的各項數(shù)據(jù)信息，綜合適配決策。
[0010]本發(fā)明的移動采集端、播放客戶端與適配服務(wù)器之間構(gòu)成傳統(tǒng)的客戶端服務(wù)器模式，通過套接字實現(xiàn)客戶端服務(wù)器之間通信。
[0011]本發(fā)明的適配算法的參數(shù)包括移動采集端網(wǎng)絡(luò)信號強度、播放客戶端網(wǎng)絡(luò)信號強度、移動采集端傳輸視頻類型、客戶端實時的用戶體驗QoE評分4項參數(shù)。具體適配算法如下:先將移動采集端和播放客戶端的網(wǎng)絡(luò)狀況根據(jù)其取值范圍將其分成若干等級，如S1、S2、S3、S4、S5 5個級別；再將發(fā)送比特率(Send Bit Rate, SBR)進(jìn)行相應(yīng)的分級，如A、B、C、D、E 5個級別，然后根據(jù)當(dāng)前的移動采集端和播放客戶端的網(wǎng)絡(luò)信號強度的具體值判斷其對應(yīng)的級別，并映射出其相應(yīng)的發(fā)送比特率級別。確定SBR的級別后，再根據(jù)當(dāng)前發(fā)送視頻的類型以及用戶體驗QoE評分來確定發(fā)送比特率的具體值。
[0012]播放客戶端在觀看實時視頻的同時，可以對當(dāng)前視頻的質(zhì)量進(jìn)行打分，即用戶體驗QoE評分，并將該評分反饋至適配服務(wù)器端，若該評分低于最低用戶體驗QoE評分的門限值，則立刻觸發(fā)適配算法調(diào)整當(dāng)前的視頻發(fā)送比特率，否則將該評分作為下一次自適應(yīng)速率調(diào)整的參數(shù)值。
[0013]有益效果:本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點:
本發(fā)明不同于現(xiàn)有適配技術(shù)中的只考慮發(fā)送端或者接收端單方面的網(wǎng)絡(luò)狀況的適配方法，而是綜合發(fā)送端與接收端的網(wǎng)絡(luò)狀況進(jìn)行適配，為用戶提供最合適的視頻質(zhì)量，降低了網(wǎng)絡(luò)的丟包率。同時本發(fā)明將用戶反饋的用戶體驗QoE評分作為適配的重要因素，可以根據(jù)用戶的評價來進(jìn)行視頻速率的調(diào)整，從用戶角度出發(fā)，可以為用戶提供更好的服務(wù)體驗。本發(fā)明基于日常生活中所使用的智能手機(jī)和筆記本電腦開發(fā)，成本較低，且所用適配算法簡單，容易實現(xiàn)，可應(yīng)用于小型的端到端實時視頻傳輸系統(tǒng)中，具有一定的實用價值。
【專利附圖】
【附圖說明】
[0014]圖1為本發(fā)明基于用戶體驗的實時視頻傳輸速率自適應(yīng)適配的網(wǎng)絡(luò)模型圖。
[0015]圖2為本發(fā)明基于用戶體驗的實時視頻傳輸速率自適應(yīng)適配的方案實現(xiàn)圖。
[0016]圖3為本發(fā)明的適配服務(wù)器的工作流程圖。
[0017]圖4為本發(fā)明的適配算法流程圖。
【具體實施方式】
[0018]以下結(jié)合附圖，對本發(fā)明方法作進(jìn)一步詳細(xì)的描述。
[0019]本發(fā)明的基于用戶體驗的實時視頻傳輸速率自適應(yīng)方法，是建立在如圖1所示，由移動采集端，播放客戶端以及適配服務(wù)器三部分構(gòu)成的網(wǎng)絡(luò)模型。移動采集端可以為智能手機(jī)；播放客戶端可以是筆記本電腦也可以是移動終端，如智能手機(jī)，平板電腦等；適配服務(wù)器可以搭建在筆記本電腦上。移動采集端負(fù)責(zé)實時視頻數(shù)據(jù)的采集，播放客戶端用于遠(yuǎn)程播放接收到的視頻流，適配服務(wù)器主要負(fù)責(zé)收集這二者的網(wǎng)絡(luò)信號強度數(shù)據(jù)、移動采集端的運動狀態(tài)數(shù)據(jù)以及由播放客戶端反饋的用戶體驗QoE評分，綜合這幾個參量進(jìn)行適配決策得到當(dāng)前的最優(yōu)發(fā)送比特率值，并通知移動采集端進(jìn)行相應(yīng)的發(fā)送速率調(diào)整。
[0020]本發(fā)明的基于用戶體驗的實時視頻傳輸速率自適應(yīng)方法，根據(jù)移動采集端和播放客戶端所處的網(wǎng)絡(luò)環(huán)境、傳輸視頻的類型以及用戶反饋的用戶體驗QoE評分，動態(tài)自適應(yīng)地改變移動采集端的發(fā)送速率，如圖3所示，具體步驟如下:
a)對適配服務(wù)器進(jìn)行初始化，在指定的端口進(jìn)行監(jiān)聽，準(zhǔn)備接收來自移動采集端和播放客戶端的實時數(shù)據(jù)信息。移動采集端播放客戶端的實時數(shù)據(jù)信息可以有網(wǎng)絡(luò)信號的強度、鏈路速率、采集視頻數(shù)據(jù)的運動類型、視頻數(shù)據(jù)發(fā)送速率等等；播放客戶端的實時數(shù)據(jù)信息可以有網(wǎng)絡(luò)信號的強度、鏈路速率、實時的用戶體驗QoE評分信息等等。
[0021]b)對移動采集端進(jìn)行初始化，開始監(jiān)測自身網(wǎng)絡(luò)狀況以及移動狀況，并將網(wǎng)絡(luò)強度、鏈路速率信息以及所處運動狀態(tài)信息通過套接字(socket)通信發(fā)送至適配服務(wù)器。播放客戶端初始化，開始監(jiān)測自身網(wǎng)絡(luò)狀況，并將網(wǎng)絡(luò)強度、鏈路速率信息發(fā)送至適配服務(wù)器。
[0022]c)播放客戶端向移動采集端發(fā)起視頻傳輸請求，二者之間開始傳輸實時視頻數(shù)據(jù)，適配服務(wù)器開啟適配服務(wù)，根據(jù)當(dāng)前的移動采集端的網(wǎng)絡(luò)信號強度、運動狀態(tài)、播放客戶端的網(wǎng)絡(luò)信號強度以及用戶反饋的用戶體驗QoE評分通過適配算法決策出適合當(dāng)前狀況的最佳發(fā)送比特率并發(fā)送至移動采集端。
[0023]d)移動采集端接收后，將發(fā)送比特率調(diào)整為該最佳發(fā)送比特率值，播放客戶端接收調(diào)整后的視頻數(shù)據(jù)進(jìn)行觀看。
[0024]如圖2所示，本發(fā)明中移動采集端包括三個模塊:發(fā)送比特率適配、網(wǎng)絡(luò)狀況監(jiān)測、傳輸視頻類型識別。播放客戶端包括兩個模塊:網(wǎng)絡(luò)狀況檢測、用戶體驗QoE評分。適配服務(wù)器由適配決策模塊構(gòu)成。其中，發(fā)送比特率適配模塊用來接收適配決策后的發(fā)送速率值，并將移動采集端的發(fā)送速率調(diào)整為該值；網(wǎng)絡(luò)狀況監(jiān)測模塊用于在視頻傳輸過程中對移動采集端或播放客戶端所處的網(wǎng)絡(luò)的信號強度進(jìn)行監(jiān)測，并將網(wǎng)絡(luò)強度值發(fā)送至適配服務(wù)器進(jìn)行適配；傳輸視頻類型識別模塊用于判斷移動采集端的運動狀態(tài)，并將其發(fā)送至適配服務(wù)器作為適配算法的一個參量。用戶體驗QoE評分模塊用于用戶在觀看視頻的過程中對視頻質(zhì)量進(jìn)行打分，并將該值反饋至適配服務(wù)器以進(jìn)行適配服務(wù)；適配決策模塊負(fù)責(zé)接收來自移動采集端和播放客戶端的各項數(shù)據(jù)信息，綜合適配決策。
[0025]本發(fā)明中移動采集端、播放客戶端與適配服務(wù)器之間構(gòu)成傳統(tǒng)的客戶端服務(wù)器模式，通過套接字實現(xiàn)客戶端服務(wù)器間通信。移動采集端和播放客戶端之間采用實時傳輸協(xié)議以及用戶數(shù)據(jù)報協(xié)議傳輸視頻數(shù)據(jù)。播放客戶端向移動采集端發(fā)起視頻請求后，移動采集端開始工作，采集視頻數(shù)據(jù)并按照預(yù)設(shè)的發(fā)送比特率值將視頻流發(fā)送至播放客戶端，供用戶進(jìn)行觀看。同時適配服務(wù)器開始工作，在指定的端口監(jiān)聽來自移動采集端和播放客戶端的實時數(shù)據(jù)信息，并根據(jù)這些信息進(jìn)行適配決策，適配服務(wù)器的工作流程圖見圖3。
[0026]以下針對適配算法進(jìn)行詳盡描述，算法流程可參考圖4。本發(fā)明方法的適配算法參數(shù)包括移動采集端網(wǎng)絡(luò)信號強度Ws、播放客戶端網(wǎng)絡(luò)信號強度Wc、移動采集端發(fā)送視頻類型CT、客戶端用戶體驗QoE評分MOS 4項參數(shù)。[0027]具體適配算法如下:先將移動采集端網(wǎng)絡(luò)信號強度Ws和播放客戶端的網(wǎng)絡(luò)信號強度Wc根據(jù)其取值范圍將其分成若干等級，如S1、S2、S3、S4、S5 5個級別，每個級別對應(yīng)一個信號強度區(qū)間，從SI到S5依次減小；再將移動采集端的發(fā)送比特率SBR進(jìn)行相應(yīng)的分級，如A、B、C、D、E 5個級別，每個級別對應(yīng)一個發(fā)送比特率區(qū)間，從A到E依次降低，然后根據(jù)當(dāng)前的移動采集端網(wǎng)絡(luò)信號強度Ws和播放客戶端的網(wǎng)絡(luò)信號強度Wc的具體值判斷其對應(yīng)的級別，并根據(jù)表1映射出其相應(yīng)的發(fā)送比特率SBR級別，表1如下所示。
[0028]
【權(quán)利要求】
1.一種基于用戶體驗的實時視頻傳輸速率自適應(yīng)方法，是基于由移動采集端、播放客戶端以及適配服務(wù)器三部分構(gòu)成的網(wǎng)絡(luò)架構(gòu)，其特征包括以下步驟: a)適配服務(wù)器初始化，在指定的端口進(jìn)行監(jiān)聽，準(zhǔn)備接收來自移動采集端和播放客戶端的實時數(shù)據(jù)信息； b)移動采集端初始化，開始監(jiān)測自身網(wǎng)絡(luò)狀況以及移動狀況，并將網(wǎng)絡(luò)強度(Ws)、發(fā)送視頻類型(CT)信息通過套接字通信發(fā)送至適配服務(wù)器；播放客戶端初始化，開始監(jiān)測自身網(wǎng)絡(luò)狀況，并將網(wǎng)絡(luò)強度(Wc)信息發(fā)送至適配服務(wù)器； c)播放客戶端向移動采集端發(fā)起視頻傳輸請求，二者之間開始傳輸實時視頻數(shù)據(jù)；適配服務(wù)器開啟適配服務(wù)，根據(jù)當(dāng)前的移動采集端的網(wǎng)絡(luò)信號強度(Ws)、傳輸視頻類型(CO、播放客戶端的網(wǎng)絡(luò)信號強度(Wc)以及用戶反饋的用戶體驗評分(MOS)，通過適配算法決策出適合當(dāng)前狀況的最佳發(fā)送比特率(SBR)并發(fā)送至移動采集端； d)移動采集端接收后，將發(fā)送比特率調(diào)整為所述的最佳發(fā)送比特率(SBR)值，播放客戶端接收調(diào)整后的視頻數(shù)據(jù)進(jìn)行觀看。
2.根據(jù)權(quán)利要求1所述的一種基于用戶體驗的實時視頻傳輸速率自適應(yīng)方法，其特征在于: 所述的移動采集端中的發(fā)送比特率適配模塊用來接收適配算法決策的發(fā)送比特率值，并將移動采集端的發(fā)送比特率調(diào)整為該值； 所述的移動采集端和播放 客戶端中的網(wǎng)絡(luò)狀況監(jiān)測模塊用于在視頻傳輸過程中對移動采集端和播放客戶端各自所處的網(wǎng)絡(luò)的信號強度進(jìn)行監(jiān)測，并將各自的網(wǎng)絡(luò)信號強度值發(fā)送至適配服務(wù)器； 所述的移動采集端中的傳輸視頻類型識別模塊用于判斷移動采集端傳輸視頻的運動類型，并將其發(fā)送至適配服務(wù)器作為適配算法的一個參量； 所述的播放客戶端中的用戶體驗(QoE)評分模塊用于用戶在觀看視頻的過程中對視頻質(zhì)量進(jìn)行打分，并將該值反饋至適配服務(wù)器以進(jìn)行適配服務(wù)； 所述的適配服務(wù)器中的適配決策模塊負(fù)責(zé)接收來自移動采集端和播放客戶端的各項數(shù)據(jù)信息，綜合適配決策。
3.根據(jù)權(quán)利要求1所述的一種基于用戶體驗的實時視頻傳輸速率自適應(yīng)方法，其特征在于，所述的移動采集端、播放客戶端與適配服務(wù)器之間構(gòu)成傳統(tǒng)的客戶端服務(wù)器模式，通過套接字實現(xiàn)客戶端服務(wù)器之間通信。
4.根據(jù)權(quán)利要求1所述的一種基于用戶體驗的實時視頻傳輸速率自適應(yīng)方法，其特征在于，所述的適配算法的參數(shù)包括移動采集端網(wǎng)絡(luò)信號強度(Ws)、播放客戶端網(wǎng)絡(luò)信號強度(Wc)、移動采集端傳輸視頻類型(CT)、客戶端實時用戶體驗評分(MOS) 4項參數(shù)； 具體適配算法:先將移動采集端和播放客戶端的網(wǎng)絡(luò)信號強度根據(jù)其取值范圍將其分成5個級別；再將發(fā)送比特率(SBR)進(jìn)行相應(yīng)地分成5個級別，然后根據(jù)當(dāng)前的移動采集端和播放客戶端的網(wǎng)絡(luò)信號強度的具體值判斷其對應(yīng)的級別，并映射出其相應(yīng)的發(fā)送比特率級別；確定發(fā)送比特率(SBR)的級別后，再根據(jù)當(dāng)前發(fā)送視頻類型以及用戶體驗評分來確定發(fā)送比特率的具體值。
5.根據(jù)權(quán)利要求1所述的一種基于用戶體驗的實時視頻傳輸速率自適應(yīng)方法，其特征在于，所述的用戶體驗評分是播放客戶端在觀看實時視頻的同時，可以對當(dāng)前視頻的質(zhì)量進(jìn)行打分，并將該評分反饋至適配服務(wù)器端，若該評分低于最低用戶體驗評分的門限值，則立刻觸發(fā)適配算法調(diào)整當(dāng)前的視頻發(fā)送比特率,否則將該用戶體驗評分作為下一次自適應(yīng)速率調(diào)整的參數(shù)值。
【文檔編號】H04N21/63GK103475951SQ201310362762
【公開日】2013年12月25日 申請日期:2013年8月20日 優(yōu)先權(quán)日:2013年8月20日
【發(fā)明者】朱曉榮, 錢超, 鞏曉迪, 李偉 申請人:南京郵電大學(xué)