實現(xiàn)同時且精確響應陀螺儀與手勢拖拽交互的方法和裝置及手機與流程

本發(fā)明涉及全景視頻播放技術領域，特別是涉及一種實現(xiàn)Android平臺全景視頻播放同時且精確響應陀螺儀與手勢拖拽交互的方法和裝置。

背景技術：

近兩年，虛擬現(xiàn)實技術得到了飛速的發(fā)展，例如國外的Oculus、Google、三星都發(fā)布了自己的VR產(chǎn)品，包括虛擬現(xiàn)實硬件設備和開發(fā)使用的SDK。目前主要的VR設備有三大類。一類是VR眼鏡，這類產(chǎn)品需要配合手機使用，將手機插入到VR眼睛中，配合VR應用來體驗虛擬現(xiàn)實效果，VR應用運行于手機之上，比較有代表性的是Google的Cardboard和DayDream View；另一類是VR頭顯，這類需要和電腦或者游戲主機配合使用，應用在電腦或者主機中，VR頭顯只負責展示從主機或者電腦傳輸過來的影像信號，例如HTC VIVE；最后一類稱為VR一體機，也就是不需要借助其他設備，用戶只需要帶上這個設備，在任何地方都能體驗VR效果。

目前這些VR設備上主流的應用形式有兩大類，一類是游戲應用，而另一類就是全景視頻應用。全景視頻不同于傳統(tǒng)視頻，提供了一種全新的交互方式和體驗。如何為用戶提供更逼真的虛擬現(xiàn)實體驗成為我們首先需要解決的問題。

目前國內(nèi)外也有不少研究全景視頻技術的公司，比如Google公司發(fā)布的DayDream SDK(前身是Carboard SDK)，該SDK提供了一種根據(jù)陀螺儀數(shù)據(jù)變化變換觀看角度來實現(xiàn)全景視頻播放的方式。

在與用戶的動作交互上主要存在兩類問題：一是大部分的只支持單一的交互方式，即根據(jù)陀螺儀數(shù)據(jù)變化來調(diào)整視角的方式。部分產(chǎn)品雖然也支持手勢拖拽和陀螺儀兩者，但是并不能對兩者同時進行響應，只能在陀螺儀模式和手勢拖拽模式間切換，如UtoVR等；二是大部分產(chǎn)品在響應陀螺儀時都是利用陀螺儀的原始數(shù)據(jù)直接處理，而有些手機陀螺儀數(shù)據(jù)往往是不夠精確的，而且陀螺儀旋轉數(shù)據(jù)變化經(jīng)常會存在一定的抖動現(xiàn)象，即手機靜止時，陀螺儀返回的數(shù)據(jù)有時也會發(fā)生一定的變化，就導致最終在播放視頻時移動手機可能會導致視頻抖動，用戶體驗較差。

技術實現(xiàn)要素：

本發(fā)明的目的是針對現(xiàn)有技術中存在的技術缺陷，而提供一種實現(xiàn)Android平臺全景視頻播放同時且精確響應陀螺儀與手勢拖拽交互的方法和裝置。

為實現(xiàn)本發(fā)明的目的所采用的技術方案是：

一種實現(xiàn)同時且精確響應陀螺儀與手勢拖拽交互的方法，包括，

在Android視頻圖像繪制的目標視圖上建立一個球面模型,創(chuàng)建一個用于控制視角的相機并放置在球面模型的球心位置；

播放器對全景視頻進行解碼操作并生成視頻紋理，然后將視頻紋理附著在所述的球面模型的內(nèi)表面，

同時監(jiān)聽手機的陀螺儀變化和手機屏幕上的手勢拖拽操作，當獲取到陀螺儀的原始數(shù)據(jù)并將它轉換成旋轉矩陣的形式，將陀螺儀旋轉矩陣中的每一個數(shù)據(jù)項采用低通濾波器進行過濾以把過高的變化值濾掉，然后將旋轉矩陣應用到放置于球心的相機上使其做同樣的旋轉變換，當監(jiān)聽獲取到用戶在屏幕上橫向拖拽的距離和方向并控制球面模型繞相機自身坐標系的X軸或Y軸按拖拽的方向進行旋轉。

所述的低通過濾器的處理方法為，

R[n]＝R[n-1]+a*(X[n]-R[n-1])

其中X[n]代表當前陀螺儀采集到的旋轉矩陣中的某一元素值，R[n-1]代表上一次計算完后真正用于旋轉變換的旋轉矩陣中的某一元素值,R[n]代表矯正后的結果值，a是矯正因子。

獲取到用戶在屏幕上橫向拖拽的距離和方向，然后使得球面模型繞相機自身坐標系的Y軸按拖拽的方向進行旋轉，旋轉的角度大小與拖拽的距離相對應；獲取到用戶在屏幕上縱向拖拽的距離和方向，然后使得球面模型繞相機自身坐標系的X軸按拖拽的方向進行旋轉，旋轉的角度大小與拖拽的距離相對應。

利用OpenGL ES創(chuàng)建所述的球面模型和相機。

一種實現(xiàn)同時且精確響應陀螺儀與手勢拖拽交互的裝置，包括，

建模模塊，用以在Android視頻圖像繪制的目標視圖上建立一個球面模型,創(chuàng)建一個用于控制視角的相機并放置在球面模型的球心位置；

播放模塊，用以對全景視頻進行解碼操作并生成視頻紋理，然后將視頻紋理附著在所述的球面模型的內(nèi)表面，

旋轉模塊，同時監(jiān)聽手機的陀螺儀變化和手機屏幕上的手勢拖拽操作，當獲取到陀螺儀的原始數(shù)據(jù)并將它轉換成旋轉矩陣的形式，將陀螺儀旋轉矩陣中的每一個數(shù)據(jù)項進行過濾以把過高的變化值濾掉，然后將旋轉矩陣應用到放置于球心的相機上使其做同樣的旋轉變換，當監(jiān)聽獲取到用戶在屏幕上橫向拖拽的距離和方向并控制球面模型繞相機自身坐標系的X軸或Y軸按拖拽的方向進行旋轉。

所述的低通過濾器的處理方法為，

R[n]＝R[n-1]+a*(X[n]-R[n-1])

其中X[n]代表當前陀螺儀采集到的旋轉矩陣中的某一元素值，R[n-1]代表上一次計算完后真正用于旋轉變換的旋轉矩陣中的某一元素值,R[n]代表矯正后的結果值，a是矯正因子。

利用OpenGL ES創(chuàng)建所述的球面模型和相機。

一種具有所述的裝置的手機。

與現(xiàn)有技術相比，本發(fā)明的有益效果是：

本發(fā)明實現(xiàn)了全景視頻播放時可以同時通過陀螺儀和手勢拖拽來調(diào)整視頻視角的功能。針對原始的陀螺儀數(shù)據(jù)采用低通濾波器進行預處理，降低了由于陀螺儀精度問題導致的旋轉變換不平滑甚至不連貫的問題，解決了陀螺儀精度不夠導致視頻抖動的問題。

附圖說明

圖1所示為本發(fā)明的實現(xiàn)Android平臺全景視頻播放同時且精確響應陀螺儀與手勢拖拽交互的方法和裝置的流程示意圖。

具體實施方式

以下結合附圖和具體實施例對本發(fā)明作進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

全景視頻：又稱720度或者360度全景視頻(以下簡稱“全景視頻”)。不同于傳統(tǒng)的普通視頻，全景視頻可以在拍攝角度左右上下360度的任意觀看動態(tài)視頻，讓我們有一種真正意義上身臨其境的感覺，而它將不受時間、空間和地域的限制。全景視頻它不在是單一的靜態(tài)全景圖片形式，而是具有景深、動態(tài)圖像、聲音等包羅萬象，同時具備聲畫對位、聲畫同步。

OpenGL(Open Graphics Library)：OpenGL(全寫Open Graphics Library)是指定義了一個跨編程語言、跨平臺的編程接口規(guī)格的專業(yè)的圖形程序接口。它用于三維圖像(二維的亦可)，是一個功能強大，調(diào)用方便的底層圖形庫。OpenGL是行業(yè)領域中最為廣泛接納的2D/3D圖形API，其自誕生至今已催生了各種計算機平臺及設備上的數(shù)千優(yōu)秀應用程序。OpenGL是獨立于視窗操作系統(tǒng)或其它操作系統(tǒng)的，亦是網(wǎng)絡透明的。在包含CAD、內(nèi)容創(chuàng)作、能源、娛樂、游戲開發(fā)、制造業(yè)、制藥業(yè)及虛擬現(xiàn)實等行業(yè)領域中，OpenGL幫助程序員實現(xiàn)在PC、工作站、超級計算機等硬件設備上的高性能、極具沖擊力的高視覺表現(xiàn)力圖形處理軟件的開發(fā)。

OpenGL ES(OpenGL for Embedded Systems)：是OpenGL三維圖形API的子集，針對手機、PDA和游戲主機等嵌入式設備而設計。

為提高控制的細粒度，本發(fā)明實現(xiàn)Android平臺全景視頻播放同時且精確響應陀螺儀與手勢拖拽交互的方法，包括，

步驟101，在Android視頻圖像繪制的目標視圖上建立一個球面模型,創(chuàng)建一個用于控制視角的相機并放置在球面模型的球心位置；

在該步驟中，可以利用利用OpenGL ES創(chuàng)建所述的球面模型和相機，具體的球模型大小可以根據(jù)自己的展示需要進行調(diào)整。

步驟102，播放器對全景視頻進行解碼操作并生成視頻紋理，然后附著在所述的球面模型的內(nèi)表面并用相機進行觀看，

隨著播放器對全景視頻進行解碼操作，會不斷得取到新的視頻圖像，然后將這些視頻圖像轉換成視頻紋理，然后附著在上一步驟中創(chuàng)建的球面模型的內(nèi)表面，并隨著視頻的解碼操作進行，不斷更新附著在球面上的視頻紋理。

步驟103，同時監(jiān)聽手機的陀螺儀變化和手機屏幕上的手勢拖拽操作，當獲取到陀螺儀的原始數(shù)據(jù)并將它轉換成旋轉矩陣的形式，然后將旋轉矩陣應用到放置于球心的相機上使其做同樣的旋轉變換；當監(jiān)聽獲取到用戶在屏幕上橫向拖拽的距離和方向并控制球面模型繞相機自身坐標系的X軸或Y軸按拖拽的方向進行旋轉；具體地，獲取到用戶在屏幕上橫向拖拽的距離和方向，然后使得球面模型繞相機自身坐標系的Y軸按拖拽的方向進行旋轉，旋轉的角度大小與拖拽的距離相對應；獲取到用戶在屏幕上縱向拖拽的距離和方向，然后使得球面模型繞相機自身坐標系的X軸按拖拽的方向進行旋轉，旋轉的角度大小與拖拽的距離相對應。當兩個動作同時發(fā)生時分別單獨控制對應模型旋轉即可，兩者的動作控制上相互獨立，直接是將最后的結果相疊加，減少運算量，控制更為直接便利簡潔。

同時將陀螺儀旋轉矩陣中的每一個數(shù)據(jù)項采用低通濾波器進行過濾，把過高的變化值濾掉，從而消除陀螺儀的抖動使得旋轉變換更平滑更連貫。

低通濾波器的具體設置方式如下，根據(jù)從陀螺儀采集到的數(shù)據(jù)，形成一個旋轉矩陣，這個矩陣不直接應用到相機上進行旋轉變化。針對旋轉矩陣中的每一個元素的值，按照如下公式進行修正:

R[n]＝R[n-1]+a*(X[n]-R[n-1])

其中X[n]代表當前陀螺儀采集到的旋轉矩陣中的某一元素值，R[n-1]代表上一次計算完后真正用于旋轉變換的旋轉矩陣中的某一元素值,R[n]代表矯正后的結果值，a矯正因子，a的取值范圍為0.1-1.2，本發(fā)明采用的是0.15。根據(jù)矯正后得到的旋轉矩陣將被真正用于旋轉變化。本發(fā)明針對原始的陀螺儀數(shù)據(jù)采用低通濾波器進行預處理，降低了由于陀螺儀精度問題導致的旋轉變換不平滑甚至不連貫的問題，也解決了陀螺儀精度不夠導致視頻抖動的問題。另外實現(xiàn)方案不依賴于具體的播放器，靈活度較高。

步驟104，在視角旋轉同時利用圖形庫，如OpenGL ES或opengl進行模型和畫面的渲染。渲染是一直不斷在進行的一個操作，即邊旋轉邊渲染。實際渲染的內(nèi)容根據(jù)旋轉的角度進行調(diào)整的。用戶可以隨時通過手勢拖拽和移動旋轉手機來調(diào)整視頻觀看的視角。從上述步驟也可以看出，所有的操作都是視頻渲染層的邏輯，OPENGLES只是一個圖形庫，渲染的處理邏輯還是由渲染層實現(xiàn)，將VR的渲染處理和傳統(tǒng)的播放器邏輯剝離開來，兩者分離，沒有耦合，播放器可以自由選擇，靈活度較高。因此項目可以根據(jù)實際的需要靈活選擇播放器，不存在Cardboard SDK那一類的限制。

為了同時響應陀螺儀的數(shù)據(jù)變化和手勢拖拽，在用戶進行手勢拖拽時，按照手勢拖拽的距離和方向，對球面模型做相應的旋轉變換，這種變化會使相機視角所看到的內(nèi)容發(fā)生變化；陀螺儀的處理也是類似的，而當陀螺儀數(shù)據(jù)發(fā)生變化時，使相機的旋轉矩陣保持與陀螺儀旋轉方向一致。因為兩種動作控制的旋轉對象不同，當兩個動作同時發(fā)生時，運算也不會發(fā)生疊加，但是動作會直接體現(xiàn)在視角上，采用該方式的兩種作用疊加實現(xiàn)了既能高速響應陀螺儀旋轉，同時也能通過手勢拖拽調(diào)整視角的交互方式。

同時，本發(fā)明還公開了一種實現(xiàn)Android平臺全景視頻播放同時響應陀螺儀與手勢拖拽交互的裝置，包括，

建模模塊，用以利用OpenGL ES在Android視頻圖像繪制的目標視圖上建立一個球面模型,創(chuàng)建一個用于控制視角的相機并放置在球面模型的球心位置；

播放模塊，用以對全景視頻進行解碼操作并生成視頻紋理，然后將視頻紋理附著在所述的球面模型的內(nèi)表面，

旋轉模塊，同時監(jiān)聽手機的陀螺儀變化和手機屏幕上的手勢拖拽操作，當獲取到陀螺儀的原始數(shù)據(jù)并將它轉換成旋轉矩陣的形式，然后將旋轉矩陣應用到放置于球心的相機上使其做同樣的旋轉變換，當監(jiān)聽獲取到用戶在屏幕上橫向拖拽的距離和方向并控制球面模型繞相機自身坐標系的X軸或Y軸按拖拽的方向進行旋轉；即，獲取到用戶在屏幕上橫向拖拽的距離和方向，然后使得球面模型繞相機自身坐標系的Y軸按拖拽的方向進行旋轉，旋轉的角度大小與拖拽的距離相對應；獲取到用戶在屏幕上縱向拖拽的距離和方向，然后使得球面模型繞相機自身坐標系的X軸按拖拽的方向進行旋轉，旋轉的角度大小與拖拽的距離相對應。所述的旋轉模塊還包括低通濾波器，用以將陀螺儀旋轉矩陣中的每一個數(shù)據(jù)項進行過濾以把過高的變化值濾掉，得以消除陀螺儀的抖動使得旋轉變換更平滑更連貫。所述的低通過濾器的處理方法為，

R[n]＝R[n-1]+a*(X[n]-R[n-1])

其中X[n]代表當前陀螺儀采集到的旋轉矩陣中的某一元素值，R[n-1]代表上一次計算完后真正用于旋轉變換的旋轉矩陣中的某一元素值,R[n]代表矯正后的結果值，a是矯正因子。

渲染模塊，用以在視角旋轉同時利用圖形庫，如opengl進行模型和畫面的渲染。

本發(fā)明提供了一種在Android平臺上實現(xiàn)同時響應陀螺儀與手勢拖拽交互進行全景視頻播放的裝置，該裝置適用于支持觸屏操作且含有陀螺儀的智能手機。同時響應手機陀螺儀和手機屏幕上的拖拽手勢實現(xiàn)了更靈活的交互方式。用戶只需要通過手勢將視角拖拽到指定方向即可，如果在觀看過程中想隨時變化視角也可以隨時利用陀螺儀變化視角。兩種方式同時作用，用戶可以根據(jù)需要靈活操作。

以上所述僅是本發(fā)明的優(yōu)選實施方式，應當指出的是，對于本技術領域的普通技術人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發(fā)明的保護范圍。