一種融合室內(nèi)定位數(shù)據(jù)與動作捕捉數(shù)據(jù)的方法與流程

本發(fā)明涉及微機(jī)械(MEMS)以及虛擬現(xiàn)實(shí)領(lǐng)域，特別是一種融合室內(nèi)定位數(shù)據(jù)與動作捕捉數(shù)據(jù)的方法。

背景技術(shù)：

隨著MEMS傳感器的高速發(fā)展，微型慣性傳感器的技術(shù)越發(fā)成熟，已經(jīng)開始有將微型慣性傳感器用于動作捕捉系統(tǒng)中。具體方法是：把慣性測量單元(IMU)連接到待測物體上，讓其隨待測物體一起運(yùn)動。對多個傳感器節(jié)點(diǎn)數(shù)據(jù)進(jìn)行采集并處理，通過無線通訊技術(shù)傳輸至上位機(jī)系統(tǒng)，經(jīng)過上位機(jī)進(jìn)行姿態(tài)還原。慣性動作捕捉技術(shù)的優(yōu)點(diǎn)在于，系統(tǒng)相對簡潔，不怕遮擋，對光、環(huán)境要求比光學(xué)式動作捕捉低，適用范圍廣，同時慣性動作捕捉系統(tǒng)成本相對于光學(xué)普遍低。慣性測量單元包括加速度計、陀螺儀、地磁傳感器，通過對加速度信號進(jìn)行二重積分以及陀螺儀信號的積分，可以測得待測物體的信息以及方位信息。

但是，上述陀螺儀測量運(yùn)動物體的姿態(tài)數(shù)據(jù)有誤差，必須修正后才能真實(shí)反映出運(yùn)動物體的姿態(tài)。陀螺儀測量姿態(tài)數(shù)據(jù)時，誤差產(chǎn)生的過程如下：

首先，陀螺儀測量的數(shù)據(jù)為角速度，該角速度為瞬間值，大多數(shù)情況下不能直接適用，需要對該角速度進(jìn)行時間積分，得到角度變化量。然后，將得到的角度變化量加上初始角度后，計算得到的角度值才是物體運(yùn)動的姿態(tài)數(shù)據(jù)。

在對上述角速度進(jìn)行時間積分時，積分過程時間(dt)越小，得到的角度值也越準(zhǔn)確。然而，由于陀螺儀的測量基準(zhǔn)是自身而非外在的絕對參照物；加之，積分過程時間(dt)不可能無限小，因而，積分的累積誤差會隨時間推移而逐漸增加，進(jìn)而導(dǎo)致測量的運(yùn)動姿態(tài)數(shù)據(jù)與實(shí)際的數(shù)據(jù)發(fā)生偏差。

動作捕捉系統(tǒng)主要用于對人體動作的采集，偏重于人體姿態(tài)的還原，當(dāng)人體穿戴慣性動作捕捉系統(tǒng)行走并產(chǎn)生位移時，由于上述慣性傳感器的誤差以及姿態(tài)計算的參數(shù)等原因，動作捕捉系統(tǒng)輸出的位移坐標(biāo)隨使用時間的增加會產(chǎn)生明顯的偏差。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題是針對上述現(xiàn)有技術(shù)的不足，而提供一種融合室內(nèi)定位數(shù)據(jù)與動作捕捉數(shù)據(jù)的方法，該融合室內(nèi)定位數(shù)據(jù)與動作捕捉數(shù)據(jù)的方法利用UWB室內(nèi)定位系統(tǒng)提供實(shí)時精確的位移數(shù)據(jù)，并將該實(shí)時精確的位移數(shù)據(jù)對慣性動作捕捉系統(tǒng)進(jìn)行實(shí)時糾偏，使虛擬現(xiàn)實(shí)綜合系統(tǒng)中的慣性動作捕捉裝置能輸出精確的姿態(tài)與位移數(shù)據(jù)。

為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是：

一種融合室內(nèi)定位數(shù)據(jù)與動作捕捉數(shù)據(jù)的方法，包括如下步驟：

步驟1，動作捕捉數(shù)據(jù)采集：通過虛擬現(xiàn)實(shí)綜合系統(tǒng)中的動作捕捉傳感器獲得人體的動作捕捉數(shù)據(jù)；虛擬現(xiàn)實(shí)綜合系統(tǒng)中設(shè)置有慣性動作捕捉裝置，慣性動作捕捉裝置包括若干個均能固定在人體上的動作捕捉傳感器，動作捕捉傳感器將能自動捕捉與采集人體接觸部位的動作數(shù)據(jù)，也即骨骼姿態(tài)數(shù)據(jù)。

步驟2，室內(nèi)定位數(shù)據(jù)采集：通過UWB室內(nèi)定位系統(tǒng)獲得室內(nèi)定位數(shù)據(jù)。

步驟3，獲取融合位移：采用卡爾曼濾波算法將步驟1采集的動作捕捉數(shù)據(jù)與步驟2采集的室內(nèi)定位數(shù)據(jù)進(jìn)行融合，獲得融合位移。

步驟4，位移糾偏：解析虛擬現(xiàn)實(shí)綜合系統(tǒng)中各個動作捕捉傳感器所捕捉的各個骨骼姿態(tài)數(shù)據(jù)，計算各個骨骼相對位移坐標(biāo)；根據(jù)步驟3獲取的融合位移與骨骼相對位移坐標(biāo)對虛擬現(xiàn)實(shí)綜合系統(tǒng)中各個動作捕捉傳感器進(jìn)行位移糾偏，形成姿態(tài)重組位移；

步驟5，形成最終輸出位移：步驟3獲取的融合位移與步驟4形成的姿態(tài)重組位移構(gòu)成初步輸出位移，將該初步輸出位移進(jìn)行卡爾曼濾波，去除位移糾偏過程中產(chǎn)生的閃跳點(diǎn)，形成平滑的各個動作捕捉傳感器的最終輸出位移。

所述步驟3中，假設(shè)驟1采集的動作捕捉數(shù)據(jù)中的坐標(biāo)數(shù)據(jù)與步驟2采集的室內(nèi)定位數(shù)據(jù)均是一個二維坐標(biāo)點(diǎn)(x，y)的集合，其中，x和y分別表示該點(diǎn)的橫縱坐標(biāo)，則融合位移的具體獲取方法包括如下步驟：

步驟31，狀態(tài)方程建立：將步驟1采集的動作捕捉數(shù)據(jù)的位移增量作為狀態(tài)量，建立如下所示的狀態(tài)方程：

上式中，向量為k時刻動作捕捉數(shù)據(jù)的先驗(yàn)估計，A取單位矩陣為k-1時刻動作捕捉數(shù)據(jù)的后驗(yàn)估計，為步驟1采集的動作捕捉數(shù)據(jù)的位移增量，w_k為過程噪聲的協(xié)方差矩陣，由實(shí)驗(yàn)測得，為可調(diào)參數(shù)。

步驟32，觀測方程建立：將步驟2采集的室內(nèi)定位數(shù)據(jù)作為觀測量，建立如下所示的觀測方程：

上式中，向量為k時刻室內(nèi)定位數(shù)據(jù)的后驗(yàn)估計，C為觀測矩陣，優(yōu)選取單位矩陣表示UWB室內(nèi)定位系統(tǒng)的輸入坐標(biāo)數(shù)據(jù)；r_k為觀測噪聲矩陣，由實(shí)驗(yàn)測得，為可調(diào)參數(shù)。

步驟33，計算融合位移：通過步驟31建立的狀態(tài)方程與步驟32建立的觀測方程進(jìn)行求解，獲得融合位移。

所述步驟4中，位移糾偏時，為使步驟3中獲取的融合位移與原有骨骼姿態(tài)相匹配，以人體是否有著地點(diǎn)為依據(jù)進(jìn)行判斷；在人體有著地的情況下，以著地點(diǎn)為原點(diǎn)計算全身各骨骼位置；如果糾偏過程中沒有新的著地點(diǎn)產(chǎn)生，則保持原點(diǎn)不變；如果糾偏過程中產(chǎn)生新的著地點(diǎn)，原點(diǎn)變?yōu)楫?dāng)前時刻的融合位移。

所述步驟4中，在人體有著地的情況下，以著地點(diǎn)為原點(diǎn)，采用位姿矩陣來計算全身各骨骼位置；其中，位姿矩陣T表示如下：

其中，O＝[0 0 0]，I＝1

上式中，T表示位姿矩陣，n表示法線矢量，o表示方向矢量，a表示接近矢量，p表示平移矢量，R表示旋轉(zhuǎn)矩陣，P表示位置矩陣，O表示透視矩陣，I表示比例變換；x,y,z表示三個坐標(biāo)軸方向。

所述步驟5，將初步輸出位移進(jìn)行卡爾曼濾波時，卡爾曼濾波狀態(tài)方程為：

上式中，為k時刻初步輸出位移的狀態(tài)量；為的一階導(dǎo)數(shù)；為狀態(tài)矩陣；t_s表示動作捕捉傳感器的采樣頻率，為固定參數(shù)；為k-1時刻初步輸出位移的狀態(tài)量；

卡爾曼濾波觀測方程：

上式中，為初步輸出位移的后驗(yàn)估計，為的一階導(dǎo)數(shù)；C為觀測矩陣，取為觀測量。

本發(fā)明采用上述方法后，具有如下有益效果：

1.通過UWB室內(nèi)定位系統(tǒng)的實(shí)時精確位移坐標(biāo)對虛擬現(xiàn)實(shí)綜合系統(tǒng)中動作捕捉傳感器的位移進(jìn)行實(shí)時糾偏，使系統(tǒng)具有準(zhǔn)確的姿態(tài)和位移數(shù)據(jù)輸出。

2.通過姿態(tài)解算，在姿態(tài)關(guān)鍵幀(也即以著地點(diǎn)判定對應(yīng)的幀)對位移進(jìn)行糾正，保持了姿態(tài)的連貫性。

2.初步輸出位移經(jīng)過了卡爾曼濾波，故使最終輸出位移無閃跳點(diǎn)、平滑。

附圖說明

圖1顯示了本發(fā)明一種基于動作捕捉的虛擬現(xiàn)實(shí)綜合系統(tǒng)的示意圖。

圖2顯示了本發(fā)明一種融合室內(nèi)定位數(shù)據(jù)與動作捕捉數(shù)據(jù)的方法的示意圖。

具體實(shí)施方式

下面結(jié)合附圖和具體較佳實(shí)施方式對本發(fā)明作進(jìn)一步詳細(xì)的說明。

如圖1所示，一種基于動作捕捉的虛擬現(xiàn)實(shí)綜合系統(tǒng)，包括慣性動作捕捉裝置、室內(nèi)定位裝置、虛擬現(xiàn)實(shí)裝置、數(shù)據(jù)手套裝置、電子仿真槍裝置和背負(fù)式計算機(jī)裝置。慣性動作捕捉裝置、室內(nèi)定位裝置、虛擬現(xiàn)實(shí)裝置、數(shù)據(jù)手套裝置和電子仿真槍裝置均與背負(fù)式計算機(jī)裝置無線連接。無線連接通訊方式包括但不限于藍(lán)牙、Zegibee、WIFI、2.4Ghz通訊。

慣性動作捕捉裝置包括若干個均能固定在人體上的動作捕捉模塊。動作捕捉模塊的個數(shù)可以根據(jù)情況，任意選擇，可以為3個、6個、9個、11個、15個、或17個等。

當(dāng)動作捕捉模塊的個數(shù)為3個時，3個動作捕捉模塊分別通過綁帶或者專用動捕服裝固定在用戶的三個不同部位，三個不同部位優(yōu)選為：1.頭部、軀干以及臀部；2.頭部、雙上臂(左上臂及右上臂)之一，以及雙前臂(左前臂以及右前臂)之一。

當(dāng)動作捕捉模塊的個數(shù)為6個時，6個運(yùn)動捕捉模塊優(yōu)選分別通過綁帶或者專業(yè)動作捕捉服裝固定在頭部、軀干、臀部、雙大腿、雙小腿、雙腳(左腳以及右腳)、雙上臂之一以及雙前臂之一，或者分別固定在頭部、軀干、臀部、雙上臂之一、雙前臂之一以及雙手(左手及右手)之一。

當(dāng)動作捕捉模塊的個數(shù)為9個時，9個動作捕捉模塊優(yōu)選分別通過綁帶或者專業(yè)動作捕捉服裝固定在頭部、軀干、臀部、雙大腿、雙小腿、雙上臂之一以及雙前臂之一，或者分別固定在頭部、軀干、臀部、雙大腿、雙小腿、雙上臂以及雙前臂。

當(dāng)動作捕捉模塊的個數(shù)為11個時，11個動作捕捉模塊優(yōu)選通過綁帶或者專業(yè)動作捕捉服裝固定在頭部、軀干、臀部、雙大腿、雙小腿、雙腳之一、雙上臂之一及雙前臂之一，或者分別固定在頭部、軀干、臀部、雙大腿、雙小腿、雙上臂以及雙前臂。

當(dāng)動作捕捉模塊的個數(shù)為15個時，優(yōu)選分別固定在頭部、軀干、臀部、雙大腿、雙小腿、雙腳、雙上臂、雙前臂以及雙手。

當(dāng)動作捕捉模塊的個數(shù)為17個時，優(yōu)選分別固定在頭部、軀干、臀部、雙大腿、雙小腿、雙腳、雙上臂、雙前臂、雙手及雙肩。

每個上述動作捕捉模塊均包括動作捕捉傳感器。

動作捕捉傳感器包括三軸MEMS加速度傳感器、三軸MEMS角速度傳感器(又稱為陀螺儀傳感器)、三軸MEMS磁力計(又叫電子羅盤傳感器)、數(shù)據(jù)濾波傳感器和微處理器。

三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計分別用于測量加速度信號、角速度信號和地磁信號。

三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計均與數(shù)據(jù)濾波傳感器相連接，數(shù)據(jù)濾波傳感器還與微處理器相連接。

數(shù)據(jù)濾波傳感器能將三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計所檢測的數(shù)據(jù)進(jìn)行初級濾波后傳送給微處理器，每個微處理器中均內(nèi)置有卡爾曼濾波器二。

微處理器包括但不限于MCU、DSP或者FPGA，型號優(yōu)選為NXP-LPC13xx。微處理器NXP-LPC13xx與三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計分別通過SPI(串行外圍設(shè)備接口)、IIC(兩線式串行總線)、USART(串口)等通訊方式相通訊。

動作捕捉傳感器能采集人體接觸部位的骨骼姿態(tài)數(shù)據(jù)，并對采集的骨骼姿態(tài)數(shù)據(jù)進(jìn)行位移糾偏。

動作捕捉傳感器的工作過程如下：

三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計分別對人體接觸部位的加速度、角速度和地磁場強(qiáng)度進(jìn)行采集。

數(shù)據(jù)濾波傳感器將采集的加速度、角速度和地磁場強(qiáng)度數(shù)據(jù)進(jìn)行初級濾波處理，然后將處于正常范圍內(nèi)的加速度、角速度和地磁場強(qiáng)度信號數(shù)據(jù)傳輸給微處理器。

微處理器NXP-LPC13xx接收到加速度信號、角速度信號以及地磁強(qiáng)度信號，生成四元數(shù)或者歐拉角，微處理器中內(nèi)置的卡爾曼濾波器采用卡爾曼濾波算法將接收到的加速度、角速度和地磁場強(qiáng)度數(shù)據(jù)進(jìn)行深層次濾波與融合，并處理成用戶身體姿態(tài)信息。

深層次濾波與融合的同時，微處理器還分析地磁傳感器的各種誤差來源，并建立完整形式的地磁傳感器橢球誤差模型，通過最小二乘估計法擬合得到橢球模型系數(shù)，利用橢球模型系數(shù)推導(dǎo)出地磁傳感器誤差矩陣和偏移矢量，最后對地磁傳感器磁環(huán)境下輸出的骨骼姿態(tài)數(shù)據(jù)進(jìn)行位移糾偏與校正。

最后，微處理器將骨骼姿態(tài)數(shù)據(jù)進(jìn)行糾偏與校正后的用戶身體姿態(tài)信息(包括方位信息、歐拉角、四元數(shù)信息等)通過無線或者有線的方式傳遞給背負(fù)式計算機(jī)裝置。

上述卡爾曼濾波算法是一種遞歸自回歸數(shù)據(jù)處理算法，為一種較為成熟的現(xiàn)有技術(shù)，通過5個常用公式實(shí)現(xiàn)?？柭鼮V波算法通過反饋控制的方法估算過程狀態(tài)，對每次輸出的狀態(tài)結(jié)果進(jìn)行循環(huán)修正，直至得到最優(yōu)的狀態(tài)過程數(shù)據(jù)?？柭鼮V波算法可分成兩個循環(huán)過程：時間更新和測量更新過程，前者負(fù)責(zé)及時向前推算當(dāng)前狀態(tài)變量和誤差協(xié)方差的估算值以構(gòu)造下一個時間狀態(tài)的先驗(yàn)估計；后者將先驗(yàn)估計和測量變量結(jié)合以構(gòu)造改進(jìn)的后驗(yàn)估計；時間更新過程可視為預(yù)估過程，測量更新過程可視為校正過程，整個估計算法實(shí)質(zhì)上是一種數(shù)值解的預(yù)估—校正算法。

通過上述卡爾曼濾波算法和數(shù)據(jù)過程處理，可以在一定范圍的鐵質(zhì)、弱磁場環(huán)境中使用，當(dāng)手機(jī)等帶弱磁場的物體靠近傳感器時，不影響地磁傳感器的信號采集，姿態(tài)數(shù)據(jù)可以正常使用。

本發(fā)明的動作捕捉模塊體積小、重量輕、續(xù)航能力強(qiáng)，綁定在人身上的時候不影響人體運(yùn)動，采樣頻率高，對復(fù)雜、高速運(yùn)動的進(jìn)行采集；動作捕捉模塊配置靈活，可以對局部動作，全身的運(yùn)動進(jìn)行捕捉；動作捕捉不受場地限制，捕捉效果不受真實(shí)環(huán)境中的物體遮擋影響；運(yùn)動捕捉系統(tǒng)的成本相對較低。

數(shù)據(jù)手套裝置包括手套本體和設(shè)置在手套本體中的若干個手關(guān)節(jié)姿態(tài)傳感器。

手關(guān)節(jié)姿態(tài)傳感器的個數(shù)，能根據(jù)情況任意選擇，可以為6個，10個或15個等。

在一實(shí)施例中，關(guān)節(jié)傳感器的個數(shù)為6個，分別通過手套固定在手背上1個，5個手指各一個。

在一實(shí)施例中，關(guān)節(jié)傳感器的個數(shù)為10個，分別通過手套固定在手背上1個，大拇指1個，其余四個手指分別固定2個傳感器。

在一實(shí)施例中，關(guān)節(jié)傳感器的個數(shù)為15個，分別通過手套固定在手背上1個，大拇指2個，其余四個手指分別固定3個傳感器。

手關(guān)節(jié)姿態(tài)傳感器也包括三軸MEMS加速度傳感器、三軸MEMS角速度傳感器、三軸MEMS磁力計、數(shù)據(jù)濾波傳感器和微處理器。手關(guān)節(jié)姿態(tài)傳感器中各組成部件與動作捕捉傳感器相同，組成部件之間的連接關(guān)系和工作過程也基本相似，這里將不再詳細(xì)闡述。

電子仿真槍裝置均包括電子仿真槍、均內(nèi)置在電子仿真槍中的電子仿真槍數(shù)據(jù)采集傳感器、無線通訊模塊和電源等。

電子仿真槍的個數(shù)根據(jù)用戶數(shù)量，可以設(shè)置為1個，2個或3個等，一個用戶佩戴一個電子仿真槍，在空曠空間內(nèi)模擬槍的換彈、上膛、射擊等動作。

電子仿真槍優(yōu)選按照真實(shí)槍械1:1比例制作，外形、重量、操作方式完全按照實(shí)裝設(shè)計，體驗(yàn)度高。

電子仿真槍數(shù)據(jù)采集傳感器包括電子槍姿態(tài)傳感器和電子槍操作傳感器。

上述電子槍操作傳感器為射擊傳感器、彈夾傳感器、上膛傳感器和保險等中的一種或多種的組合。

電子槍姿態(tài)傳感器也包括三軸MEMS加速度傳感器、三軸MEMS角速度傳感器、三軸MEMS磁力計、數(shù)據(jù)濾波傳感器和微處理器。電子槍姿態(tài)傳感器中各組成部件與動作捕捉傳感器相同，組成部件之間的連接關(guān)系和工作過程也基本相似，這里將不再詳細(xì)闡述。

但是，電子槍姿態(tài)傳感器中的微處理器還與電子槍操作傳感器相連接。

通過電子槍姿態(tài)傳感器測量加速度、角速度、地磁場強(qiáng)度，通過電子槍操作傳感器采集槍的狀態(tài)，將數(shù)據(jù)輸入到微處理器中進(jìn)行處理，輸出各節(jié)點(diǎn)的四元數(shù)或者歐拉角，通過數(shù)據(jù)解析還原算法，信號數(shù)據(jù)通過有線或者無線的方式傳送至背負(fù)式計算機(jī)，計算機(jī)通過數(shù)據(jù)接口連接至虛擬現(xiàn)實(shí)裝置中，實(shí)時還原狀態(tài)。

用戶手持、背帶持電子仿真槍，通過操作扳機(jī)、上膛或彈夾等模擬實(shí)裝槍的上膛、換彈、射擊等操作。射擊傳感器、彈夾傳感器、上膛傳感器和保險等能實(shí)時檢測射擊、換彈、上膛、保險等操作狀態(tài)，并將操作狀態(tài)數(shù)據(jù)傳輸給微處理器，微處理器通過無線發(fā)送至背負(fù)式計算機(jī)裝置中，進(jìn)行數(shù)據(jù)處理，在虛擬現(xiàn)實(shí)裝置中映射出虛擬世界中的槍的狀態(tài)。

上述虛擬現(xiàn)實(shí)裝置包括VR佩戴裝置和環(huán)境反饋器件。

其中，VR佩戴裝置為VR頭盔或VR眼鏡等。

環(huán)境反饋器件為音效系統(tǒng)、可控跑步機(jī)、電極刺激貼片和力反饋上衣/鞋子等中的一種或多種的組合。其中，音效系統(tǒng)為用于將音頻信號反饋到人耳的音響；力反饋上衣/鞋子通過一定的驅(qū)動器產(chǎn)生一定的作用施加到人體的某些部位，也即用于將力反饋信號反饋到人體；電極刺激貼片是電極貼片，把電極貼片貼到皮膚上，然后在電機(jī)貼片之間施加電壓，則會對兩個電極貼片之間的神經(jīng)或者肌肉產(chǎn)生刺激作用，也即用于將觸覺信號反饋到人體。

環(huán)境反饋器件佩戴于目標(biāo)用戶身上，通過綁帶或者頭盔模式佩戴固定，優(yōu)選通過無線連接至背負(fù)式計算機(jī)裝置，生成一個針對用戶的3D虛擬環(huán)境以及虛擬角色，并把接收到的位置信息、身體姿態(tài)信息、手指姿態(tài)信息、電子仿真槍狀態(tài)信息映射到虛擬角色和環(huán)境中，同時根據(jù)虛擬角色與環(huán)境相互作用，把對應(yīng)的視頻、音頻信號通過不同的信號接口發(fā)送給虛擬現(xiàn)實(shí)眼鏡裝置的視頻、音頻、壓力等裝置。

室內(nèi)定位裝置為UWB室內(nèi)定位系統(tǒng)。UWB室內(nèi)定位系統(tǒng)為現(xiàn)有技術(shù)，具體見申請人之前申報的申請?zhí)枮镃N201520817538.1的專利。

UWB室內(nèi)定位系統(tǒng)包括若干個定位錨節(jié)點(diǎn)、若干個移動標(biāo)簽、同步器和服務(wù)器；定位錨節(jié)點(diǎn)布固定設(shè)置在室內(nèi)，移動標(biāo)簽佩戴在每個目標(biāo)用戶上，移動標(biāo)簽與定位錨節(jié)點(diǎn)之間通過UWB進(jìn)行數(shù)據(jù)傳輸；同步器與各定位錨點(diǎn)之間進(jìn)行校時通信，實(shí)現(xiàn)各定位錨點(diǎn)之間的時間同步；服務(wù)器設(shè)置有無限訪問節(jié)點(diǎn)，各定位錨節(jié)點(diǎn)通過無線訪問節(jié)點(diǎn)與服務(wù)器間進(jìn)行數(shù)據(jù)傳輸。

具體實(shí)施時，可以根據(jù)具體的場地面積，布置多個定位錨節(jié)點(diǎn)，用戶佩戴移動標(biāo)簽。移動標(biāo)簽的個數(shù)可以為1個，2個或3個等，優(yōu)選通過綁帶或者專業(yè)綁定服裝綁定在用戶的頭部、胸部、腕部等部位，在定位錨節(jié)點(diǎn)布置的場地中行走，活動。

本專利利用UWB技術(shù)時間目標(biāo)用戶在室內(nèi)環(huán)境中的動態(tài)精度定位，系統(tǒng)功耗低，復(fù)雜度低的系統(tǒng)設(shè)計更易于操作，無需布線，提高應(yīng)用效率，裝置輸出目標(biāo)用戶的位置信息。

上述UWB室內(nèi)定位系統(tǒng)的定位特點(diǎn)是長時間使用不會產(chǎn)生累積誤差。但是，其本身有一定的定位誤差范圍，其誤差范圍是±20cm，在實(shí)時使用過程中屬于小范圍定位，位移不夠平滑，不能直接用于動作捕捉姿態(tài)中位移數(shù)據(jù)的替換，而且直接替換會產(chǎn)生姿態(tài)與位移不匹配的情況。

正如背景技術(shù)中所述，本發(fā)明中所涉及的三軸MEMS角速度傳感器，也即陀螺儀，在對角速度進(jìn)行時間積分時，雖然采用了數(shù)據(jù)濾波傳感器進(jìn)行初步濾波，以及微處理器中卡爾曼濾波器一進(jìn)行了深層次濾波，然而，積分的累積誤差仍會隨時間推移而逐漸增加，測量的運(yùn)動姿態(tài)數(shù)據(jù)與實(shí)際的數(shù)據(jù)仍有一定偏差。

本發(fā)明采用如下方法進(jìn)一步克服了測量的運(yùn)動姿態(tài)數(shù)據(jù)與實(shí)際的數(shù)據(jù)的偏差問題。

1.姿態(tài)重組：

上述UWB室內(nèi)定位系統(tǒng)以及背負(fù)式計算機(jī)裝置中卡爾曼濾波器二的使用，卡爾曼濾波器二能將UWB室內(nèi)定位系統(tǒng)中的定位數(shù)據(jù)與慣性動作捕捉傳感器(包括手關(guān)節(jié)姿態(tài)傳感器及電子槍姿態(tài)傳感器)等測量的姿態(tài)數(shù)據(jù)進(jìn)行融合，也即將絕對坐標(biāo)位置與動捕中的坐標(biāo)相融合，糾正動作捕捉裝置中陀螺儀積分的累積誤差，從而給用戶一個更加真實(shí)的位置效果。

一種融合室內(nèi)定位數(shù)據(jù)與動作捕捉數(shù)據(jù)的方法，包括如下步驟：

步驟1，動作捕捉數(shù)據(jù)采集：通過虛擬現(xiàn)實(shí)綜合系統(tǒng)中的動作捕捉傳感器獲得人體的動作捕捉數(shù)據(jù)；虛擬現(xiàn)實(shí)綜合系統(tǒng)中設(shè)置有慣性動作捕捉裝置，慣性動作捕捉裝置包括若干個均能固定在人體上的動作捕捉傳感器，動作捕捉傳感器將能自動捕捉與采集人體接觸部位的動作數(shù)據(jù)，也即骨骼姿態(tài)數(shù)據(jù)。

步驟2，室內(nèi)定位數(shù)據(jù)采集：通過UWB室內(nèi)定位系統(tǒng)獲得室內(nèi)定位數(shù)據(jù)。

步驟3，獲取融合位移：采用卡爾曼濾波算法將步驟1采集的動作捕捉數(shù)據(jù)與步驟2采集的室內(nèi)定位數(shù)據(jù)進(jìn)行融合，獲得融合位移。

假設(shè)驟1采集的動作捕捉數(shù)據(jù)中的坐標(biāo)數(shù)據(jù)與步驟2采集的室內(nèi)定位數(shù)據(jù)均是一個二維坐標(biāo)點(diǎn)(x，y)的集合，其中，x和y分別表示該點(diǎn)的橫縱坐標(biāo)，則融合位移的具體獲取方法包括如下步驟：

步驟31，狀態(tài)方程建立：將步驟1采集的動作捕捉數(shù)據(jù)的位移增量作為狀態(tài)量，建立如下所示的狀態(tài)方程：

上式中，向量為k時刻動作捕捉數(shù)據(jù)的先驗(yàn)估計，A取單位矩陣為k-1時刻動作捕捉數(shù)據(jù)的后驗(yàn)估計，為步驟1采集的動作捕捉數(shù)據(jù)的位移增量，w_k為過程噪聲的協(xié)方差矩陣，由實(shí)驗(yàn)測得，為可調(diào)參數(shù)，其優(yōu)選矩陣為矩陣參數(shù)范圍0～500。

步驟32，觀測方程建立：將步驟2采集的室內(nèi)定位數(shù)據(jù)作為觀測量，建立如下所示的觀測方程：

上式中，向量為k時刻室內(nèi)定位數(shù)據(jù)的后驗(yàn)估計，C為觀測矩陣，優(yōu)選取單位矩陣表示UWB室內(nèi)定位系統(tǒng)的輸入坐標(biāo)數(shù)據(jù)；r_k為觀測噪聲矩陣，由實(shí)驗(yàn)測得，為可調(diào)參數(shù)，優(yōu)選矩陣為矩陣參數(shù)范圍0～100。

步驟33，計算融合位移：通過步驟31建立的狀態(tài)方程與步驟32建立的觀測方程進(jìn)行求解，獲得融合位移。

步驟4，位移糾偏：解析虛擬現(xiàn)實(shí)綜合系統(tǒng)中各個動作捕捉傳感器所捕捉的各個骨骼姿態(tài)數(shù)據(jù)，計算各個骨骼相對位移坐標(biāo)；根據(jù)步驟3獲取的融合位移與骨骼相對位移坐標(biāo)對虛擬現(xiàn)實(shí)綜合系統(tǒng)中各個動作捕捉傳感器進(jìn)行位移糾偏，形成姿態(tài)重組位移。

位移糾偏時，為使步驟3中獲取的融合位移與原有骨骼姿態(tài)相匹配，以人體是否有著地點(diǎn)為依據(jù)進(jìn)行判斷；在人體有著地的情況下，以著地點(diǎn)為原點(diǎn)計算全身各骨骼位置；如果糾偏過程中沒有新的著地點(diǎn)產(chǎn)生，則保持原點(diǎn)不變；如果糾偏過程中產(chǎn)生新的著地點(diǎn)，原點(diǎn)變?yōu)楫?dāng)前時刻的融合位移。

在人體有著地的情況下，以著地點(diǎn)為原點(diǎn)，采用位姿矩陣來計算全身各骨骼位置；其中，位姿矩陣T表示如下：

其中，O＝[0 0 0]，I＝1

上式中，T表示位姿矩陣，n表示法線矢量，o表示方向矢量，a表示接近矢量，p表示平移矢量，R表示旋轉(zhuǎn)矩陣，P表示位置矩陣，O表示透視矩陣，I表示比例變換；x,y,z表示三個坐標(biāo)軸方向。

上述R表示的旋轉(zhuǎn)矩陣由動作捕捉傳感器的姿態(tài)數(shù)據(jù)得出。

動作捕捉傳感器姿態(tài)數(shù)據(jù)為四元數(shù)：q＝(w，x，y，z)

四元數(shù)與旋轉(zhuǎn)矩陣的轉(zhuǎn)換公式為：

P表示的位置矩陣初始為后可通過位姿矩陣T與骨骼參數(shù)矩陣(例如右大腿骨骼參數(shù)矩陣骨骼參數(shù)矩陣為固定參數(shù))相乘后得出。

O矩陣與I矩陣為固定參數(shù)矩陣。

步驟5，形成最終輸出位移：步驟3獲取的融合位移與步驟4形成的姿態(tài)重組位移構(gòu)成初步輸出位移，將該初步輸出位移進(jìn)行卡爾曼濾波，去除位移糾偏過程中產(chǎn)生的閃跳點(diǎn)，形成平滑的各個動作捕捉傳感器的最終輸出位移。

將初步輸出位移進(jìn)行卡爾曼濾波時，卡爾曼濾波狀態(tài)方程為：

上式中，為k時刻初步輸出位移的狀態(tài)量；為的一階導(dǎo)數(shù)；為狀態(tài)矩陣；t_s表示動作捕捉傳感器的采樣頻率，為固定參數(shù)；為k-1時刻初步輸出位移的狀態(tài)量。

卡爾曼濾波觀測方程：

上式中，為初步輸出位移的后驗(yàn)估計，為的一階導(dǎo)數(shù)；C為觀測矩陣，取為觀測量。

本系統(tǒng)解析動作捕捉系統(tǒng)的各個骨骼姿態(tài)數(shù)據(jù)(包括動作捕捉傳感器、手關(guān)節(jié)姿態(tài)傳感器及電子槍姿態(tài)傳感器采集數(shù)據(jù))，計算各個骨骼相對位移坐標(biāo)。通過融合室內(nèi)定位移與骨骼相對坐標(biāo)對動捕系統(tǒng)進(jìn)行位移糾偏。

2.輸出濾波：

輸出的位移由姿態(tài)重組的位移與卡爾曼融合的位移組成，由于姿態(tài)重組的位移與卡爾曼融合的位移存在偏差(兩套不相干系統(tǒng)必然存在偏差)，所以在著地點(diǎn)產(chǎn)生時，卡爾曼融合位移替換新原點(diǎn)時就會產(chǎn)生一個閃跳點(diǎn)。閃跳點(diǎn)的存在會使最終的效果出現(xiàn)人物閃跳的現(xiàn)象，要消除或者進(jìn)行平滑處理。輸出的卡爾曼濾波就是對閃跳點(diǎn)的平滑處理。

背負(fù)式計算機(jī)裝置包括計算機(jī)裝置、綁帶、背包、加固帶、減震裝置和緩沖裝置等。

計算機(jī)裝置包括：計算機(jī)主機(jī)、標(biāo)準(zhǔn)視頻接口、標(biāo)準(zhǔn)音頻接口、標(biāo)準(zhǔn)USB3.0接口、無線通訊模塊、電池供電系統(tǒng)、電源供電系統(tǒng)、充電系統(tǒng)以及電壓轉(zhuǎn)換電路。

背負(fù)式計算機(jī)裝置中內(nèi)置有卡爾曼濾波器一和仿真軟件系統(tǒng)。背負(fù)式計算機(jī)優(yōu)選通過無線與上述所有微處理器相連接。

仿真軟件系統(tǒng)為一個成熟的軟件系統(tǒng)，能直接購買使用，本申請不再詳細(xì)闡述。

背負(fù)式計算機(jī)裝置優(yōu)選通過無線連接上述慣性動作捕捉裝置、室內(nèi)定位裝置、虛擬現(xiàn)實(shí)眼鏡裝置、數(shù)據(jù)手套裝置、電子仿真槍裝置，將上述各裝置的信號輸入至背負(fù)式計算機(jī)裝置，卡爾曼濾波器一采用具有遞歸自回歸濾波功能的數(shù)據(jù)融合算法，將動作捕捉的姿態(tài)輸出數(shù)據(jù)與定位的輸出數(shù)據(jù)進(jìn)行融合，姿態(tài)還原算法，將上述裝置中的慣性動作捕捉裝置、室內(nèi)定位裝置、數(shù)據(jù)手套裝置、電子仿真槍裝置的各種信號在背負(fù)式計算機(jī)裝置中生成一個對于用戶的3D虛擬環(huán)境以及虛擬角色，在虛擬現(xiàn)實(shí)裝置做反饋、顯示、實(shí)現(xiàn)。3D虛擬環(huán)境包括一個虛擬場景，一個或者多用戶對應(yīng)的角色以及一系列的虛擬對象。三者之間可以進(jìn)行互動，會產(chǎn)生一個與現(xiàn)實(shí)世界一樣的效果，這效果符合客觀規(guī)律。

本系統(tǒng)采用慣性傳感器技術(shù)，將慣性傳感器模塊佩戴在身體上，來實(shí)時捕捉人體動作姿態(tài)數(shù)據(jù)，并通過無線通信技術(shù)將姿態(tài)數(shù)據(jù)上傳至上位機(jī)中，實(shí)時還原人體姿態(tài)，同時集合背負(fù)式計算機(jī)技術(shù)、虛擬現(xiàn)實(shí)眼鏡技術(shù)、室內(nèi)定位技術(shù)、電子仿真槍技術(shù)、數(shù)據(jù)手套技術(shù)、人體工程學(xué)技術(shù)、數(shù)據(jù)融合技術(shù)、地磁抗干擾技術(shù)融合一個虛擬現(xiàn)實(shí)系統(tǒng)，該系統(tǒng)能最大限度的實(shí)時還原人體姿態(tài)，加強(qiáng)虛擬現(xiàn)實(shí)效果。

下面結(jié)合具體的例子詳細(xì)說明本發(fā)明虛擬綜合系統(tǒng)。

假設(shè)本實(shí)施例中用戶在虛擬環(huán)境中進(jìn)行單兵作戰(zhàn)訓(xùn)練、或者單兵戰(zhàn)術(shù)協(xié)同作戰(zhàn)。用戶全身綁定17個動作捕捉模塊，綁定位置為頭部、胸部、臀部、雙肩、雙大臂、雙小臂、雙手、雙大腿、雙小腿、雙腳。UWB室內(nèi)定位系統(tǒng)的移動標(biāo)簽佩戴于戰(zhàn)術(shù)頭盔上；雙手佩戴數(shù)據(jù)手套裝置；手持電子仿真槍，頭上佩戴裝有翻斗VR眼鏡的戰(zhàn)術(shù)頭盔。

每個動作捕捉模塊、手關(guān)節(jié)姿態(tài)傳感器和電子槍姿態(tài)傳感器，均通過對角速度的積分得到各個模塊節(jié)點(diǎn)傳感器的方位信息，同時通過地磁以及重力加速的測量，得到模塊對于重力方向以及地磁方向的方位。各個模塊傳感器把加速度、角速度、地磁信息傳至微處理器，微處理器對加速度進(jìn)行二次積分得到各部位的位移信息，并根據(jù)生物力學(xué)約束以及外界的接觸結(jié)束判定，對各個模塊進(jìn)行積分誤差進(jìn)行修正。微處理器通過有線或者無線方式，將各個模塊傳感器的加速度、角速度、地磁信息、位移信息、方位信息等信息通過無線或者有線方式傳至背負(fù)式計算機(jī)中。

UWB室內(nèi)定位系統(tǒng)的移動標(biāo)簽佩戴于用戶的戰(zhàn)術(shù)頭盔處，用戶在布設(shè)完定位錨節(jié)點(diǎn)、同步器的場所內(nèi)移動。佩戴于人體上的移動標(biāo)簽和定位錨節(jié)點(diǎn)之間基于UWB進(jìn)行數(shù)據(jù)傳輸，同步器與各錨點(diǎn)之間進(jìn)行校時通信，各錨點(diǎn)通過無線訪問節(jié)點(diǎn)與服務(wù)器間進(jìn)行數(shù)據(jù)傳輸。服務(wù)器通過計算標(biāo)簽與各個錨節(jié)點(diǎn)之間的時間差，通過室內(nèi)定位算法，輸出移動標(biāo)簽在該空間位置中的絕對坐標(biāo)。服務(wù)器通過有線或者無線的方式，將移動標(biāo)簽的位置信息發(fā)送至背負(fù)式計算機(jī)裝置。

虛擬現(xiàn)實(shí)裝置包括頭盔式翻斗VR眼鏡、音響系統(tǒng)和用戶身上的多個電極貼片。穿戴頭盔式翻斗VR眼鏡可以顯示三維虛擬空間畫面；音響系統(tǒng)反饋虛擬環(huán)境中的各種聲音，電極貼片反饋虛擬環(huán)境對用戶的各種刺激。該虛擬現(xiàn)實(shí)裝置由背負(fù)式計算機(jī)裝置對收集到的慣性動作捕捉裝置、室內(nèi)定位裝置、數(shù)據(jù)手套裝置、電子仿真槍裝置的各種信息，經(jīng)過算法融合慣性動捕與室內(nèi)定位信息、數(shù)據(jù)手套信息、電子仿真槍信息，通過仿真軟件輸出信號與虛擬現(xiàn)實(shí)裝置，驅(qū)動頭盔式翻斗VR眼鏡、音響系統(tǒng)、電極貼片作用于用戶，產(chǎn)生一個深度沉浸感、逼真的虛擬環(huán)境。

背負(fù)式計算機(jī)運(yùn)行仿真軟件，虛擬現(xiàn)實(shí)裝置會產(chǎn)生一個作用于用戶的三維虛擬空間，三維虛擬空間會有一些現(xiàn)實(shí)世界中不存在物體或者小概率發(fā)生的事件。比如，單兵模擬訓(xùn)練中遇到的特殊軍情，突發(fā)武裝沖突時的戰(zhàn)術(shù)配合，從而完成對平息沖突的任務(wù)。在虛擬環(huán)境中，用戶可以用手中的電子仿真槍對虛擬環(huán)境中的武裝人員進(jìn)行射擊、制服等操作，虛擬中的角色也可以對用戶進(jìn)行攻擊或者其他用戶對該用戶的攻擊傷害。面對虛擬環(huán)境中的武裝人員，用戶可以進(jìn)行躲閃、奔跑、跳躍、匍匐、跪姿等動作，同時可以用手中的電子仿真槍對虛擬的武裝分子進(jìn)行消滅、平息。多用戶之間可以數(shù)據(jù)手套將進(jìn)行手語、戰(zhàn)術(shù)動作的操作、交流，也可以通過語音系統(tǒng)方式進(jìn)行交流通信。若用戶被其他用戶、虛擬環(huán)境中的武裝分子集中，虛擬現(xiàn)實(shí)裝置中的電極貼片會在相對部位上產(chǎn)生于攻擊強(qiáng)度相對應(yīng)的刺激信號，使用戶產(chǎn)生真的被擊中的感覺。

根據(jù)上述例子，結(jié)合現(xiàn)有的技術(shù)，闡述一下本法的基于動作捕捉的虛擬現(xiàn)實(shí)綜合系統(tǒng)與普通的3D扮演類游戲的相同點(diǎn)與不同點(diǎn)。

相同點(diǎn)：兩者都是用戶操縱虛擬角色在一個虛擬3D世界環(huán)境中進(jìn)行一定的活動與體驗(yàn)。不同點(diǎn)：本發(fā)明是操縱沉浸式的3D虛擬現(xiàn)實(shí)軟件，依靠用戶的四肢動作、手指動作、模擬仿真槍動作以及語言來對虛擬角色進(jìn)行控制，就如通用現(xiàn)實(shí)世界的人對自身操作一樣，而普通的3D扮演類游戲用鼠標(biāo)鍵盤對角色進(jìn)行控制；同時，普通3D角色扮演類游戲智能看到顯示器上的一個平面圖像，而且只能看到自己扮演的角色與環(huán)境中的作用，卻不能用其他的感官去體驗(yàn)游戲中角色與周圍環(huán)境的互動，在采用了本發(fā)明的虛擬現(xiàn)實(shí)綜合系統(tǒng)時，則可以根據(jù)虛擬環(huán)境中角色的變化，提供相應(yīng)的3D虛擬環(huán)境的三維視鏡，提高真實(shí)感，讓用戶感覺身臨其境一般，同時，通過環(huán)境反饋器件，用戶能夠通過身體的其他部位體驗(yàn)到虛擬環(huán)境與現(xiàn)實(shí)角色的交互。

綜上所述，本發(fā)明的動作捕捉模塊、手關(guān)節(jié)姿態(tài)傳感器、電子槍姿態(tài)傳感器體積小、重量輕、佩戴方便，綁定到人身上時不影響運(yùn)動，采樣速度高，可以對復(fù)雜、高速運(yùn)動新型采樣；佩戴靈活，可以根據(jù)現(xiàn)實(shí)需求選擇合適的佩戴組合方式；動作捕捉不受場地限制，動作捕捉效果不受真實(shí)物體遮擋影響；動作捕捉的成本相對較低。室內(nèi)定位裝置，能實(shí)時的捕捉定位多名用戶在部署定位裝置的空間內(nèi)的實(shí)時位置，輸出用戶的絕對坐標(biāo)；室內(nèi)定位裝置，采用UWB定位技術(shù)，采樣頻率高，可以對用戶實(shí)時位置定位，快速定位用戶的快速動作；佩戴靈活，標(biāo)簽可以佩戴于頭部、胸部、腕部，可根據(jù)具體需求進(jìn)行佩戴；部署簡便，只需要在需要定位的空間內(nèi)，部署若干錨節(jié)點(diǎn)、同步器以及少量輔助電源等設(shè)備，就可以完成定位部署；定位不受環(huán)境，光纖影響，亦可以在室外空曠場地進(jìn)行部署定位，不受光線影響；UWB室內(nèi)定位成本相對要低。數(shù)據(jù)手套佩戴方便，模塊小巧，只需要穿上專用的數(shù)據(jù)手套載具，連接上背負(fù)式計算機(jī)就可以工作，使用方便；配置靈活，可以根據(jù)具體的需求對不同的關(guān)節(jié)進(jìn)行配置，以最適合的配置方式完成虛擬體驗(yàn)；不受光線環(huán)境的影響，可以在陽光直射下進(jìn)行虛擬體驗(yàn)；采樣頻率高，可以對復(fù)雜、快速動進(jìn)行捕捉采樣。

另外，電子仿真槍、虛擬現(xiàn)實(shí)眼鏡、背負(fù)式計算機(jī)技術(shù)，解決了佩戴式，姿態(tài)、游戲狀態(tài)實(shí)時還原問題，提高用戶體驗(yàn)度。數(shù)據(jù)手套技術(shù)，虛擬現(xiàn)實(shí)眼鏡、背負(fù)式計算機(jī)技術(shù)，解決了佩戴式四肢、手指實(shí)時還原顯示問題，提供用戶體驗(yàn)度。數(shù)據(jù)融合、地磁抗干擾技術(shù)，降低復(fù)雜磁場環(huán)境對于電子羅盤傳感器的干擾，提高了體統(tǒng)環(huán)境適應(yīng)度和用戶體驗(yàn)度。

本發(fā)明因?yàn)槟軌驅(qū)崟r把現(xiàn)實(shí)世界的人體動作姿態(tài)以及外設(shè)的手持道具的狀態(tài)引入到虛擬現(xiàn)實(shí)，并映射與相應(yīng)的角色上，并且通過恰當(dāng)?shù)姆绞?，?shí)時地把虛擬環(huán)境對角色的作用反饋到現(xiàn)實(shí)世界人的感知上，因而大大提高了虛擬現(xiàn)實(shí)的沉浸感，同時增加了角色與虛擬環(huán)境的交互性，使用戶的體驗(yàn)更加真切、真實(shí)。

以上詳細(xì)描述了本發(fā)明的優(yōu)選實(shí)施方式，但是，本發(fā)明并不限于上述實(shí)施方式中的具體細(xì)節(jié)，在本發(fā)明的技術(shù)構(gòu)思范圍內(nèi)，可以對本發(fā)明的技術(shù)方案進(jìn)行多種等同變換，這些等同變換均屬于本發(fā)明的保護(hù)范圍。