視頻中運動目標(biāo)的跟蹤方法及裝置與流程

本發(fā)明涉及視頻跟蹤技術(shù)領(lǐng)域，特別是涉及一種視頻中運動目標(biāo)的跟蹤方法及裝置。

背景技術(shù)：

隨著信息技術(shù)的蓬勃發(fā)展，計算機視覺技術(shù)在視頻跟蹤領(lǐng)域的應(yīng)用越來越廣泛，尤其在體育賽事視頻分析中，通過計算機視覺跟蹤運動目標(biāo)進(jìn)行體育賽事分析能夠大大減少人工成本，提高分析準(zhǔn)確度。近年來基于在線機器學(xué)習(xí)的跟蹤算法得到了快速發(fā)展，如在線boosting算法、“跟蹤－檢測－學(xué)習(xí)”算法、以及基于壓縮感知的跟蹤算法等，然而，上述各種基于在線機器學(xué)習(xí)的運動目標(biāo)跟蹤方法由于需要不斷學(xué)習(xí)新的模型，使得計算復(fù)雜度高，影響跟蹤效率，且容易產(chǎn)生跟蹤漂移問題，跟蹤準(zhǔn)確性低。

技術(shù)實現(xiàn)要素：

基于此，有必要針對傳統(tǒng)運動目標(biāo)跟蹤方法存在的跟蹤效率低、跟蹤準(zhǔn)確性低的問題，提供一種快速且準(zhǔn)確有效的視頻中運動目標(biāo)的跟蹤方法及裝置。

一種視頻中運動目標(biāo)的跟蹤方法，包括以下步驟：

計算第一視角下的視頻中的當(dāng)前幀的運動目標(biāo)的遮擋率；

根據(jù)運動目標(biāo)的遮擋率計算時空上下文模型的學(xué)習(xí)速率，并根據(jù)學(xué)習(xí)速率更新運動目標(biāo)的時空上下文模型；

獲取當(dāng)前幀中的運動目標(biāo)的圖像特征值，根據(jù)圖像特征值更新運動目標(biāo)的上下文先驗?zāi)Ｐ停?/p>

對更新后的時空上下文模型和上下文先驗?zāi)Ｐ瓦M(jìn)行卷積運算，得到第一視角下的視頻中的下一幀的運動目標(biāo)的跟蹤位置。

上述視頻中運動目標(biāo)的跟蹤方法，通過計算第一視角下的視頻中的當(dāng)前幀的運動目標(biāo)的遮擋率計算時空上下文模型的學(xué)習(xí)速率，并根據(jù)學(xué)習(xí)速率更新運動目標(biāo)的時空上下文模型；再根據(jù)圖像特征值更新運動目標(biāo)的上下文先驗?zāi)Ｐ?；根?jù)更新后的時空上下文模型和上下文先驗?zāi)Ｐ瓦M(jìn)行卷積運算，得到第一視角下的視頻中的下一幀的運動目標(biāo)的跟蹤位置。上述視頻中運動目標(biāo)跟蹤方法通過更新運動目標(biāo)的時空上下文模型上下文先驗?zāi)Ｐ图纯蓪崿F(xiàn)下一幀運動目標(biāo)的跟蹤定位，只要進(jìn)行模型更新即可，不需要一直學(xué)習(xí)新的模型，有效降低了計算復(fù)雜度，有效提升跟蹤效率，并且，上述視頻中運動目標(biāo)的跟蹤方法根據(jù)運動目標(biāo)的遮擋情況動態(tài)確定時空上下文模型的學(xué)習(xí)速率以更新時空上下文模型，能夠避免運動目標(biāo)被其它物體遮擋時學(xué)習(xí)到錯誤的模型，有效避免出現(xiàn)跟蹤漂移，大大提高跟蹤準(zhǔn)確性。

在其中一個實施例中，計算第一視角下的視頻中的當(dāng)前幀的運動目標(biāo)的遮擋率的步驟包括：

檢測當(dāng)前幀的不同的運動目標(biāo)的跟蹤框之間是否包括交點；

當(dāng)不同的運動目標(biāo)的跟蹤框之間包括交點時，計算不同的運動目標(biāo)的跟蹤框之間重疊部分的長度和寬度，并根據(jù)長度和寬度計算運動目標(biāo)發(fā)生遮擋的遮擋面積；

獲取預(yù)先存儲的運動目標(biāo)的跟蹤框面積，計算運動目標(biāo)的遮擋率為遮擋面積與跟蹤框面積的比值。

在其中一個實施例中，采用以下公式計算學(xué)習(xí)速率：

其中：

e為自然對數(shù)；

δs為運動目標(biāo)的遮擋率；

k、均為常參數(shù)。

在其中一個實施例中，獲取當(dāng)前幀中的運動目標(biāo)的圖像特征值的步驟包括：

獲取當(dāng)前幀中的運動目標(biāo)在紅色通道上的顏色強度、在綠色通道上的顏色強度以及在藍(lán)色通道上的顏色強度；

為運動目標(biāo)在紅色通道上的顏色強度、在綠色通道上的顏色強度，及在藍(lán)色通道上的顏色強度賦予相應(yīng)的顏色強度權(quán)重值；

對在每個通道上的顏色強度進(jìn)行加權(quán)求和，得到當(dāng)前幀中的運動目標(biāo)的圖像特征值。

在其中一個實施例中，上述視頻中運動目標(biāo)的跟蹤方法還包括：

提取追蹤場地邊線區(qū)域，建立追蹤場地俯視二維模型，將跟蹤位置投影至追蹤場地俯視二維模型中的第一投影坐標(biāo)。

在其中一個實施例中，上述視頻中運動目標(biāo)的跟蹤方法還包括：

獲取第二視角下的視頻，并計算在第二視角下的視頻中與下一幀對應(yīng)的視頻幀的運動目標(biāo)的跟蹤位置在追蹤場地俯視二維模型中的第二投影坐標(biāo)；

分別將第一視角下的視頻中的當(dāng)前幀運動目標(biāo)的遮擋率和第二視角下的視頻中的當(dāng)前幀運動目標(biāo)的遮擋率與預(yù)設(shè)遮擋率閾值進(jìn)行比較；

當(dāng)?shù)谝灰暯窍碌囊曨l中的當(dāng)前幀運動目標(biāo)的遮擋率和第二視角下的視頻中的當(dāng)前幀運動目標(biāo)的遮擋率均小于或等于預(yù)設(shè)遮擋率閾值時，根據(jù)第一投影坐標(biāo)和第二投影坐標(biāo)計算運動目標(biāo)在追蹤場地俯視二維模型中的目標(biāo)投影坐標(biāo)；

當(dāng)?shù)谝灰暯窍碌囊曨l中的當(dāng)前幀運動目標(biāo)的遮擋率大于預(yù)設(shè)遮擋率閾值時，選取第二投影坐標(biāo)作為運動目標(biāo)在追蹤場地俯視二維模型中的目標(biāo)投影坐標(biāo)；當(dāng)?shù)诙暯窍碌囊曨l中的當(dāng)前幀運動目標(biāo)的遮擋率大于預(yù)設(shè)遮擋率閾值時，選取第一投影坐標(biāo)作為運動目標(biāo)在追蹤場地俯視二維模型中的目標(biāo)投影坐標(biāo)。

在其中一個實施例中，選取第二投影坐標(biāo)作為運動目標(biāo)在追蹤場地俯視二維模型中的目標(biāo)投影坐標(biāo)的步驟之后，還包括：根據(jù)第二投影坐標(biāo)對第一投影坐標(biāo)進(jìn)行修正；

選取第一投影坐標(biāo)作為運動目標(biāo)在追蹤場地俯視二維模型中的目標(biāo)投影坐標(biāo)的步驟之后，還包括：根據(jù)第一投影坐標(biāo)對第二投影坐標(biāo)進(jìn)行修正。

一種視頻中運動目標(biāo)的跟蹤裝置，包括：

遮擋率計算模塊，用于計算第一視角下的視頻中的當(dāng)前幀的運動目標(biāo)的遮擋率；

時空上下文模型更新模塊，用于根據(jù)運動目標(biāo)的遮擋率計算時空上下文模型的學(xué)習(xí)速率，并根據(jù)學(xué)習(xí)速率更新運動目標(biāo)的時空上下文模型；

上下文先驗?zāi)Ｐ透履K，用于獲取當(dāng)前幀中的運動目標(biāo)的圖像特征值，根據(jù)圖像特征值更新運動目標(biāo)的上下文先驗?zāi)Ｐ停?/p>

跟蹤模塊，用于對更新后的時空上下文模型和上下文先驗?zāi)Ｐ瓦M(jìn)行卷積運算，得到第一視角下的視頻中的下一幀的運動目標(biāo)的跟蹤位置。

在其中一個實施例中，時空上下文模型更新模塊包括：

交點檢測子模塊，用于檢測當(dāng)前幀的不同的運動目標(biāo)的跟蹤框之間是否包括交點；

遮擋面積計算子模塊，用于當(dāng)不同的運動目標(biāo)的跟蹤框之間包括交點時，計算不同的運動目標(biāo)的跟蹤框之間重疊部分的長度和寬度，并根據(jù)長度和寬度計算運動目標(biāo)發(fā)生遮擋的遮擋面積；

遮擋率計算子模塊，用于獲取預(yù)先存儲的運動目標(biāo)的跟蹤框面積，計算運動目標(biāo)的遮擋率為遮擋面積與跟蹤框面積的比值。

在其中一個實施例中，學(xué)習(xí)速率計算模塊采用以下公式計算學(xué)習(xí)速率：

其中：

e為自然對數(shù)；

δs為運動目標(biāo)的遮擋率；

k、均為常參數(shù)。

附圖說明

圖1為一個實施例中視頻中運動目標(biāo)的跟蹤方法的流程圖；

圖2為一個實施例中計算運動目標(biāo)的遮擋率的流程圖；

圖3為一個實施例中運動目標(biāo)的遮擋面積計算原理示意圖；

圖4為又一個實施例中視頻中運動目標(biāo)的跟蹤方法的流程圖；

圖5為一個實施例中運動目標(biāo)的時空上下文信息界面顯示示意圖；

圖6為一個實施例中追蹤場地俯視二維模型顯示示意圖；

圖7為一個實施例中視頻中運動目標(biāo)的跟蹤裝置的結(jié)構(gòu)示意圖；

圖8為一個實施例中時空上下文模型更新模塊的結(jié)構(gòu)示意圖；

圖9為一個實施例中上下文先驗?zāi)Ｐ透履K的結(jié)構(gòu)示意圖；

圖10為又一個實施例中時空上下文模型更新模塊的結(jié)構(gòu)示意圖。

具體實施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

請參閱圖1，一種視頻中運動目標(biāo)的跟蹤方法，包括以下步驟：

步驟102：計算第一視角下的視頻中的當(dāng)前幀的運動目標(biāo)的遮擋率。

具體地，運動目標(biāo)的遮擋率表示運動目標(biāo)被遮擋的程度，根據(jù)運動目標(biāo)發(fā)生遮擋的面積計算得到。終端檢測運動目標(biāo)是否發(fā)生遮擋，當(dāng)運動目標(biāo)發(fā)生遮擋時，則計算運動目標(biāo)的遮擋率；否則，運動目標(biāo)的遮擋率為0。

步驟104：根據(jù)運動目標(biāo)的遮擋率計算時空上下文模型的學(xué)習(xí)速率，并根據(jù)學(xué)習(xí)速率更新運動目標(biāo)的時空上下文模型。

具體地，空間上下文模型關(guān)注運動目標(biāo)與其局部上下文的空間位置關(guān)系，包括距離和方向關(guān)系。視頻序列是連續(xù)的，時間上的上下文相關(guān)性對于跟蹤結(jié)果也非常重要，每一幀的運動目標(biāo)的時空上下文模型通過學(xué)習(xí)速率學(xué)習(xí)上一幀跟蹤目標(biāo)的時空上下文模型和空間上下文模型得到。當(dāng)運動目標(biāo)被其他物體遮擋時，運動目標(biāo)的外觀模型會受到改變，此時運動目標(biāo)的空間上下文模型可信度降低，本實施例中，通過調(diào)整運動目標(biāo)的時空上下文模型的學(xué)習(xí)速率以防止學(xué)習(xí)到錯誤的模型。具體地，根據(jù)運動目標(biāo)發(fā)生遮擋的情況動態(tài)確定時空上下文模型的學(xué)習(xí)速率，并根據(jù)學(xué)習(xí)速率更新第一視角下的視頻中的下一幀的運動目標(biāo)的時空上下文模型。

步驟106：獲取當(dāng)前幀中的運動目標(biāo)的圖像特征值，根據(jù)圖像特征值更新運動目標(biāo)的上下文先驗?zāi)Ｐ汀?/p>

具體地，上下文先驗?zāi)Ｐ头从尺\動目標(biāo)當(dāng)前局部上下文自身的空間構(gòu)成，與上下文空間的圖像特征與其空間位置結(jié)構(gòu)有關(guān)，本實施例中，終端獲取當(dāng)前幀中的運動目標(biāo)的圖像特征值，根據(jù)圖像特征值更新運動目標(biāo)的上下文先驗?zāi)Ｐ汀?/p>

步驟108：對更新后的時空上下文模型和上下文先驗?zāi)Ｐ瓦M(jìn)行卷積運算，得到第一視角下的視頻中的下一幀的運動目標(biāo)的跟蹤位置。

上述視頻中運動目標(biāo)的跟蹤方法，通過計算第一視角下的視頻中的當(dāng)前幀的運動目標(biāo)的遮擋率計算時空上下文模型的學(xué)習(xí)速率，并根據(jù)學(xué)習(xí)速率更新運動目標(biāo)的時空上下文模型；再根據(jù)圖像特征值更新運動目標(biāo)的上下文先驗?zāi)Ｐ?；根?jù)更新后的時空上下文模型和上下文先驗?zāi)Ｐ瓦M(jìn)行卷積運算，得到第一視角下的視頻中的下一幀的運動目標(biāo)的跟蹤位置。上述視頻中運動目標(biāo)跟蹤方法通過更新運動目標(biāo)的時空上下文模型上下文先驗?zāi)Ｐ图纯蓪崿F(xiàn)下一幀運動目標(biāo)的跟蹤定位，只要進(jìn)行模型更新即可，不需要一直學(xué)習(xí)新的模型，有效降低了計算復(fù)雜度，有效提升跟蹤效率，并且，上述視頻中運動目標(biāo)的跟蹤方法根據(jù)運動目標(biāo)的遮擋情況動態(tài)確定時空上下文模型的學(xué)習(xí)速率以更新時空上下文模型，能夠避免運動目標(biāo)被其它物體遮擋時學(xué)習(xí)到錯誤的模型，有效避免出現(xiàn)跟蹤漂移，大大提高跟蹤準(zhǔn)確性。

如圖2所示，在一個實施例中，步驟102包括：

步驟1022：檢測當(dāng)前幀的不同的運動目標(biāo)的跟蹤框之間是否包括交點。

為了保證運動目標(biāo)初始位置的準(zhǔn)確性，為之后的跟蹤打下良好的基礎(chǔ)，本實施例中，通過人機交互對第一視角下的視頻的第一幀中運動目標(biāo)的初始位置進(jìn)行人工標(biāo)定，人工選定跟蹤框，確定各運動目標(biāo)的初始位置，具體的，本實施例中，跟蹤框為矩形框。跟蹤過程中，終端實時檢測不同的運動目標(biāo)的跟蹤框之間是否包括交點，如果不同的運動目標(biāo)的跟蹤框之間包括交點，則表示運動目標(biāo)之間發(fā)生遮擋，執(zhí)行步驟1024；否則，運動目標(biāo)沒有發(fā)生遮擋，直接得到運動目標(biāo)的遮擋率為0。

步驟1024：當(dāng)不同的運動目標(biāo)的跟蹤框之間包括交點時，計算不同的運動目標(biāo)的跟蹤框之間重疊部分的長度和寬度，并根據(jù)長度和寬度計算運動目標(biāo)發(fā)生遮擋的遮擋面積。

如圖3所示，本實施例中，以跟蹤框的左上角為原點，向右為x軸，向下為y軸建立坐標(biāo)系。完成當(dāng)前幀跟蹤得到運動目標(biāo)的跟蹤位置即能夠得到跟蹤框的頂點的位置坐標(biāo)。為便于計算，本實施例選取跟蹤框的左上角頂點坐標(biāo)和右下角頂點坐標(biāo)進(jìn)行計算，其中，跟蹤框k1的左上角頂點坐標(biāo)為(minx1,miny1)，右下角頂點坐標(biāo)為(maxx1,maxy1)，跟蹤框k2的左上角頂點坐標(biāo)為(minx2,miny2)，右下角頂點坐標(biāo)為(maxx2,maxy2)。跟蹤框k1和跟蹤框k2包括兩個交點，分別為交點e和交點f，根據(jù)跟蹤框k1的右下角頂點的橫坐標(biāo)和跟蹤框k2的左上角頂點的縱坐標(biāo)可以得到交點e點的坐標(biāo)為(maxx1，miny2)；同理，根據(jù)跟蹤框k2左上角的橫坐標(biāo)和和跟蹤框k1右下角的縱坐標(biāo)得到交點f的坐標(biāo)為(minx2，maxy1)。獲取到交點e和交點f的坐標(biāo)后即可計算跟蹤框k1和跟蹤框k2重疊部分的長度和寬度。其中，計算交點e的橫坐標(biāo)與第二跟蹤框k2左上角頂點的橫坐標(biāo)的差值，得到跟蹤框k1和跟蹤框k2重疊部分的寬度，并計算交點f的縱坐標(biāo)與第二跟蹤框k2左上角頂點的縱坐標(biāo)之差得到跟蹤框k1和跟蹤框k2重疊部分的長度。進(jìn)一步的，計算長度和寬度的乘積即得到運動目標(biāo)發(fā)生遮擋的遮擋面積，遮擋面積soverlap＝(maxx1-minx2)*(maxy1-miny2)。

本實施例中，通過計算交點坐標(biāo)再進(jìn)一步計算跟蹤框之間重疊部分的長度和寬度以計算得到遮擋面積。但是，需要說明的是，以上實施例并不用于對遮擋面積計算的具體限定。如，在其它實施例中，還可以直接通過跟蹤框k1的左上角頂點及右下角頂點的坐標(biāo)和跟蹤框k2的左上角頂點及右下角頂點坐標(biāo)計算遮擋面積。為便于說明，仍以圖3為例進(jìn)行說明，在一個實施例中，定義minx＝max(minx1,minx2)，即minx為minx1與minx2當(dāng)中的較大值；同時，定義maxx＝min(maxx1,maxx2)，maxx為maxx1與maxx2中的較小值；miny＝max(miny1,miny2)，miny為miny1與miny2中的較大值；maxy＝min(maxy1,maxy2)，maxy為maxy1與maxy2中的較小值。跟蹤過程中，終端根據(jù)實時比較minx與maxdx的大小，及miny與maxy的大小，根據(jù)比較結(jié)果判斷跟蹤框之間是否發(fā)生遮擋并在發(fā)生遮擋時計算遮擋面積。具體的，如果minx<maxx并且miny<maxy，則跟蹤框k1和跟蹤框k2重疊，運動目標(biāo)發(fā)生遮擋，計算遮擋面積為：soverlap＝(maxx-minx)*(maxy-miny)。如圖3所示，本實施例中，minx＝minx2,miny＝miny2,maxx＝maxx1,maxy＝maxy1，遮擋面積soverlap＝(maxx1-minx2)*(maxy1-miny2)。

步驟1026：獲取預(yù)先存儲的運動目標(biāo)的跟蹤框面積，計算運動目標(biāo)的遮擋率為遮擋面積與跟蹤框面積的比值。

具體地，步驟1022中，標(biāo)定運動目標(biāo)跟蹤框后計算并存儲跟蹤框面積，步驟1024計算得到運動目標(biāo)的遮擋面積后，終端讀取跟蹤框面積，計算遮擋面積與跟蹤框面積的比值，得到運動目標(biāo)的遮擋率如下：

其中soverlap為運動目標(biāo)的遮擋面積，s0為跟蹤框面積。

在一個實施例中，步驟104中，采用以下公式計算學(xué)習(xí)速率：

其中：e為自然對數(shù)；δs為運動目標(biāo)的遮擋率；k、均為常參數(shù)。具體地，k的取值范圍為2～4；的取值范圍為1.5～2.5。在一個實施例中，k＝3，

在一個實施例中，步驟106中，獲取當(dāng)前幀中的運動目標(biāo)的圖像特征值的步驟包括：獲取當(dāng)前幀中的運動目標(biāo)在紅色通道上的顏色強度、在綠色通道上的顏色強度以及在藍(lán)色通道上的顏色強度；為運動目標(biāo)在紅色通道上的顏色強度、在綠色通道上的顏色強度，及在藍(lán)色通道上的顏色強度賦予相應(yīng)的顏色強度權(quán)重值；對在每個通道上的顏色強度進(jìn)行加權(quán)求和，得到當(dāng)前幀中的運動目標(biāo)的圖像特征值。

具體地，運動目標(biāo)在紅色通道上的顏色強度、在綠色通道上的顏色強度，及在藍(lán)色通道上的顏色強度賦予相應(yīng)的顏色強度權(quán)重值根據(jù)不同運動目標(biāo)在紅色通道、綠色通道及藍(lán)色通道上的顏色強度的差異大小確定，顏色強度差異越大，該通道上的顏色強度權(quán)重值越大。本實施例中，通過不同運動目標(biāo)之間的顏色差異確定每個運動目標(biāo)的顏色特征值以用于上下文先驗?zāi)Ｐ透拢源_保上下文先驗?zāi)Ｐ透櫆?zhǔn)確，進(jìn)一步提高跟蹤準(zhǔn)確性。

在一個實施例中，上述視頻中運動目標(biāo)的跟蹤方法還包括：提取追蹤場地邊線區(qū)域，建立追蹤場地俯視二維模型，將跟蹤位置投影至追蹤場地俯視二維模型中的第一投影坐標(biāo)。

通過步驟102至步驟108跟蹤得到的運動目標(biāo)的坐標(biāo)及位置關(guān)系都是在第一視角的攝像機所拍攝得到的原視圖中的位置，為了將追蹤結(jié)果形象化展示以便于跟蹤分析，本實施例中，建立一個追蹤場地的俯視二維模型同步顯示各運動目標(biāo)的跟蹤位置。在該追蹤場地俯視二維模型中每個運動目標(biāo)具有一個目標(biāo)標(biāo)識，完成每一幀追蹤后，將運動目標(biāo)的目標(biāo)標(biāo)識由上一幀中的相應(yīng)第一投影坐標(biāo)移動至與當(dāng)前確定的跟蹤位置對應(yīng)的第一投影坐標(biāo)處。

一般的，追蹤場地的二維模型圖為俯視圖，而原視頻的拍攝角度一般是帶有一定角度的側(cè)視圖。本實施例中，根據(jù)攝像機所在位置及角度進(jìn)行視角以及數(shù)據(jù)尺度上的轉(zhuǎn)換，將運動目標(biāo)的跟蹤位置同步地顯示在追蹤場地的俯視二維模型上。具體地，本實施例通過齊次變換建立原視頻圖像與二維模型的轉(zhuǎn)化關(guān)系。首先，將二維平面的投影變換表示為齊次坐標(biāo)下向量與一個3x3矩陣的乘積，即為x’＝hx，具體單應(yīng)變換矩陣表示如下：

由以上單應(yīng)變換矩陣可知，平面單應(yīng)變換為八個自由度，求解變換矩陣中的八個未知數(shù)即可求得單應(yīng)變換矩陣，完成目標(biāo)投影變換。由于一組對應(yīng)點坐標(biāo)可由上述矩陣乘式得到兩個方程，要求原變換矩陣中所有未知數(shù)，需要四組方程，故，若要求得單應(yīng)變換矩陣，只需知道對應(yīng)的四組點坐標(biāo)即可。具體的，本實施例中，通過提取追蹤場地邊線區(qū)域確定追蹤場地的四組頂點坐標(biāo)，以求得變換矩陣，實現(xiàn)二維投影變換。本實施例通過單應(yīng)變換矩陣計算三維視頻圖像的二維投影變換，無需獲取攝像設(shè)備的參數(shù)信息，視頻分析系統(tǒng)簡單易用，轉(zhuǎn)換靈活性高。

在一個實施例中，上述視頻中運動目標(biāo)的跟蹤方法還包括：獲取第二視角下的視頻，并計算在第二視角下的視頻中與下一幀對應(yīng)的視頻幀的運動目標(biāo)的跟蹤位置在追蹤場地俯視二維模型中的第二投影坐標(biāo)；分別將第一視角下的視頻中的當(dāng)前幀運動目標(biāo)的遮擋率和第二視角下的視頻中的當(dāng)前幀運動目標(biāo)的遮擋率與預(yù)設(shè)遮擋率閾值進(jìn)行比較；當(dāng)?shù)谝灰暯窍碌囊曨l中的當(dāng)前幀運動目標(biāo)的遮擋率和第二視角下的視頻中的當(dāng)前幀運動目標(biāo)的遮擋率均小于或等于預(yù)設(shè)遮擋率閾值時，根據(jù)第一投影坐標(biāo)和第二投影坐標(biāo)計算運動目標(biāo)在追蹤場地俯視二維模型中的目標(biāo)投影坐標(biāo)；當(dāng)?shù)谝灰暯窍碌囊曨l中的當(dāng)前幀運動目標(biāo)的遮擋率大于預(yù)設(shè)遮擋率閾值時，選取第二投影坐標(biāo)作為運動目標(biāo)在追蹤場地俯視二維模型中的目標(biāo)投影坐標(biāo)；當(dāng)?shù)诙暯窍碌囊曨l中的當(dāng)前幀運動目標(biāo)的遮擋率大于預(yù)設(shè)遮擋率閾值時，選取第一投影坐標(biāo)作為運動目標(biāo)在追蹤場地俯視二維模型中的目標(biāo)投影坐標(biāo)。

具體地，第二視角下的視頻中下一幀運動目標(biāo)跟蹤位置的確定及跟蹤位置在追蹤場地俯視二維模型中的第二投影坐標(biāo)的轉(zhuǎn)換過程及原理均與第一視角下的視頻中下一幀運動目標(biāo)跟蹤位置的確定及跟蹤位置在追蹤場地俯視二維模型中的第二投影坐標(biāo)的轉(zhuǎn)換相同，在此不予贅述。

在多運動目標(biāo)追蹤場景中，由于目標(biāo)運動復(fù)雜，極其容易出現(xiàn)大面積遮擋甚至完全遮擋的情況，如果兩個跟蹤框疊加到一起會發(fā)生漂移跳變，并且，跟蹤過程中當(dāng)運動目標(biāo)發(fā)生大幅度遮擋時，即使未發(fā)生漂移跳變，由于在此視角下無法判斷有遮擋關(guān)系的物體間的距離，被遮擋物體所獲得的坐標(biāo)信息也是不準(zhǔn)確的。因此，本實施例根據(jù)運動目標(biāo)發(fā)生遮擋的情況判斷第一視角下得到的運動目標(biāo)的第一投影坐標(biāo)和第二視角下得到的運動目標(biāo)的第二投影坐標(biāo)是否有誤，如果某一視角下運動目標(biāo)發(fā)生遮擋的情況較嚴(yán)重，運動目標(biāo)的遮擋率大于預(yù)設(shè)遮擋率閾值，則該視角下得到的運動目標(biāo)的投影坐標(biāo)錯誤，選取另一個視角下得到的運動目標(biāo)的投影坐標(biāo)作為最終的目標(biāo)投影坐標(biāo)；如果兩個視角下運動目標(biāo)的遮擋率都小于或等于預(yù)設(shè)遮擋率閾值，則兩個視角下得到的運動目標(biāo)的投影坐標(biāo)均是正確的，此時為第一投影坐標(biāo)和第二投影坐標(biāo)賦予權(quán)重值，根據(jù)第一投影坐標(biāo)和第二投影坐標(biāo)進(jìn)行加權(quán)和計算，得到運動目標(biāo)在追蹤場地俯視二維模型中的目標(biāo)投影坐標(biāo)，同時根據(jù)第一投影坐標(biāo)和第二投影坐標(biāo)對對跟蹤結(jié)果進(jìn)行優(yōu)化，確保跟蹤準(zhǔn)確。

具體地，由于在跟蹤過程中，跟蹤框的尺寸是固定的，但跟蹤的運動目標(biāo)在攝像機視角下存在近大遠(yuǎn)小的關(guān)系。因此，在一個實施例中，定義界定遮擋情況的預(yù)設(shè)遮擋率閾值與目標(biāo)在二維模型上距離攝像機的距離有關(guān)，根據(jù)運動目標(biāo)在追蹤場地俯視二維模型中距離攝像機的距離計算預(yù)設(shè)遮擋率閾值，并根據(jù)第一視角視頻及第二視角視頻中運動目標(biāo)距離攝像機的距離計算第一視角視頻中下一幀運動目標(biāo)的跟蹤位置及第二視角視頻中下一幀運動目標(biāo)的跟蹤位置的權(quán)重。

本實施例通過對不同視角下的視頻進(jìn)行同時追蹤，將每個視角下得到的運動目標(biāo)的跟蹤位置均投影到追蹤場地俯視二維模型中，并根據(jù)運動目標(biāo)發(fā)生遮擋的情況將兩個視角下對同一運動目標(biāo)的跟蹤結(jié)果統(tǒng)一化，基于雙視角的視頻追蹤對跟蹤結(jié)果進(jìn)行優(yōu)化，確保跟蹤準(zhǔn)確，大大提高跟蹤準(zhǔn)確性。

在一個實施例中，選取第二投影坐標(biāo)作為運動目標(biāo)在追蹤場地俯視二維模型中的目標(biāo)投影坐標(biāo)的步驟之后，還包括：根據(jù)第二投影坐標(biāo)對第一投影坐標(biāo)進(jìn)行修正；選取第一投影坐標(biāo)作為運動目標(biāo)在追蹤場地俯視二維模型中的目標(biāo)投影坐標(biāo)的步驟之后，還包括：根據(jù)第一投影坐標(biāo)對第二投影坐標(biāo)進(jìn)行修正。本實施例中，當(dāng)某一視角下的跟蹤結(jié)果有誤時，通過另一視角下的跟蹤結(jié)果對錯誤的跟蹤結(jié)果進(jìn)行修正，并根據(jù)修正后的跟蹤結(jié)果更新時空上下文模型，以確保后續(xù)跟蹤結(jié)果準(zhǔn)確，進(jìn)一步提高跟蹤準(zhǔn)確性。

進(jìn)一步地，為了便于理解本發(fā)明的技術(shù)方案，以下結(jié)合圖4至圖6，以足球視頻跟蹤為例對上述視頻中運動目標(biāo)的跟蹤方法進(jìn)行詳細(xì)說明。為便于說明，將兩個足球隊定義為甲隊和乙隊，其中，甲隊隊員在球場俯視二維模型中的球員標(biāo)識為矩形，乙隊隊員在球場俯視二維模型中的球員標(biāo)識為圓形。

一種視頻中運動目標(biāo)的跟蹤方法，包括以下步驟：

1)、確定運動目標(biāo)初始位置，標(biāo)定運動目標(biāo)跟蹤框。

首先，讀取第t幀圖像，通過人工標(biāo)定跟蹤框確定第t幀中各球員(即運動目標(biāo))的初始位置。具體地，人工標(biāo)定球員跟蹤框時，可采用鼠標(biāo)選定跟蹤框，分別對第一視角下的視頻中及第二視角下的視頻中第一幀中球員的初始位置進(jìn)行標(biāo)定，確定第一視角下的視頻中及第二視角下的視頻中第一幀中球員的初始位置。進(jìn)一步的，完成球員初始位置標(biāo)定后，終端進(jìn)一步計算并存儲每個球員跟蹤框的跟蹤框面積。

2)、計算當(dāng)前幀的運動目標(biāo)的遮擋率。

具體地，分別計算第一視角下的視頻中及第二視角下的視頻中對應(yīng)的當(dāng)前幀的每個球員的遮擋率，根據(jù)當(dāng)前幀中每個球員跟蹤框的跟蹤框面積和當(dāng)前球員發(fā)生遮擋的遮擋面積計算第一視角下的視頻中及第二視角下的視頻中對應(yīng)的當(dāng)前幀的每個球員的遮擋率，具體運動目標(biāo)的遮擋率的計算原理及過程已在前述實施例中詳細(xì)描述，在此不再贅述。

3)、計算時空上下文模型的學(xué)習(xí)速率，更新時空上下文模型。

時間上的上下文信息是連續(xù)幀間的時間關(guān)聯(lián)性，空間上的上下文信息是由跟蹤目標(biāo)與其周圍可定范圍內(nèi)的背景圖像的組合。利用時空上下文信息對目標(biāo)進(jìn)行跟蹤首先需要建立跟蹤模型，具體地，目標(biāo)跟蹤問題，即為一個目標(biāo)出現(xiàn)位置的概率問題。令o為要跟蹤的目標(biāo)，x為一個圖像上的二維坐標(biāo)點，p(x|o)表示坐標(biāo)x在目標(biāo)o中出現(xiàn)，將目標(biāo)跟蹤轉(zhuǎn)換為了最大置信度的計算問題。

令：

m(x)＝p(x|o)；公式(4)

則當(dāng)置信圖m(x)取值最大時，所對應(yīng)的坐標(biāo)x，即可認(rèn)為是目標(biāo)o最可能出現(xiàn)的位置。如圖5所示，實線框范圍內(nèi)為目標(biāo)所在區(qū)域，外部虛線框范圍內(nèi)為局部上下文區(qū)域。用目標(biāo)中心位置坐標(biāo)x^*代表目標(biāo)所在位置，z為局部上下文區(qū)域內(nèi)一點。定義目標(biāo)x^*的局部上下文區(qū)域為ωc(x^*)，并定義此局部區(qū)域的上下文特征集合為x^c＝{c(z)＝(i(z),z)|z∈ωc(x^*)}，其中，i(z)為z坐標(biāo)處的圖像特征值。利用全概率公式，以局部上下文特征為中間量，將公式(4)式展開，即可以得到：

其中，p(x|c(z),o)表示當(dāng)給定目標(biāo)o和其局部上下文特征c(z)時，目標(biāo)出現(xiàn)在x點的概率，它為跟蹤目標(biāo)所在位置與其上下文信息的空間關(guān)系建立了空間上下文模型。而p(c(z)|o)代表某一上下為文特征c(z)出現(xiàn)在目標(biāo)o中的概率，是目標(biāo)o的上下文先驗概率，為當(dāng)前局部上下文的外觀先驗?zāi)Ｐ汀Ｆ渲?，上下文先驗?zāi)Ｐ捅硎井?dāng)通過計算置信圖m(x)進(jìn)行目標(biāo)位置預(yù)測時，所選擇的是與上一幀目標(biāo)所處位置外觀相似的上下文，而空間上下文模型則保證了所選擇的新目標(biāo)位置不僅在外觀上與原目標(biāo)相似，且在空間位置上也是具有合理性的，從而在一定程度上避免因其他外觀相似的物體出現(xiàn)而形成干擾，避免造成跟蹤中的漂移現(xiàn)象。

基于上述，本實施例中，預(yù)先對公式(5)中的每一部分進(jìn)行具體的數(shù)學(xué)模型建立，具體包括置信圖建模、空間上下文模型建模和上下文先驗?zāi)Ｐ徒！?/p>

首先，置信圖的建模如下：由于視頻中第一幀中的目標(biāo)位置已知(根據(jù)對初始幀進(jìn)行跟蹤框標(biāo)定得到)，置信圖m(x)應(yīng)滿足距離目標(biāo)x＊位置越近，其置信度越大這一性質(zhì)。因此，令：

其中，b為歸一化常參數(shù)；α為尺度常參數(shù)，β為函數(shù)曲線圖像控制常參數(shù)。α與跟蹤目標(biāo)的尺寸大小相關(guān)，取值范圍為1.75～2.75；β取值范圍為0.5～1.5。在一個實施例中，α＝2.25，β＝1。

其次，空間上下文模型p(x|c(z),o)的建模如下：由于空間上下文模型關(guān)注的是跟蹤目標(biāo)與其局部上下文的空間位置關(guān)系，即包括距離和方向關(guān)系，故定義p(x|c(z),o)為一非徑向?qū)ΨQ的函數(shù)：

p(x|c(z),o)＝hsc(x-z)；公式(7)

其中：x為目標(biāo)所在位置，z為其局部上下文中某一位置，則即使當(dāng)有兩點z1、z2與目標(biāo)中心位置x＊距離相同時，由于其所處位置不同，hsc(x＊-z1)≠hsc(x＊-z2)，即表明它們對于x＊來說，代表著不同的上下文，以有效區(qū)分不同的空間關(guān)系，防止發(fā)生歧義。

最后，上下文先驗?zāi)Ｐ蚿(c(z)|o)的建模如下：上下文先驗?zāi)Ｐ头从车氖钱?dāng)前局部/上下文自身的空間構(gòu)成，直觀地考慮，應(yīng)與上下文空間的圖像特征與其空間位置結(jié)構(gòu)有關(guān)。因此，令：

p(c(z)|o)＝i(z)ωσ(z-x^*)；公式(8)

其中，i(z)為局部上下文區(qū)域中z點處的圖像特征值，ωσ(δ)為權(quán)值函數(shù)。

具體地，在跟蹤過程中，可類比人眼追蹤某物的過程，距離跟蹤目標(biāo)越近的上下文區(qū)域，可認(rèn)為是與跟蹤目標(biāo)越相關(guān)的，因此重要性越高，而距離跟蹤目標(biāo)越遠(yuǎn)的上下文區(qū)域，可認(rèn)為是與跟蹤目標(biāo)較為無關(guān)的部分，因此重要性較低。據(jù)此，定義：

其中，δ為兩點間距離，λ為歸一化常參數(shù)，用于使p(c(z)|o)的取值處于0到1之間，以符合概率函數(shù)的定義；σ為尺度參數(shù)，與跟蹤目標(biāo)大小相關(guān)。

將公式(9)代入公式(8)得到上下文先驗?zāi)Ｐ腿缦拢?/p>

也即，將局部上下文的空間構(gòu)成建模為此區(qū)域內(nèi)各點圖像特征值的高斯加權(quán)和。

進(jìn)一步的，本實施例中，完成上述置信圖建模、空間上下文模型建模和上下文先驗?zāi)Ｐ徒：?，進(jìn)一步根據(jù)上述置信圖、空間上下文模型和上下文先驗?zāi)Ｐ透聲r空上下文模型：

首先，將公式(5)代入公式(6)、公式(7)及公式(10)，得到：

其中，hsc(x-z)為空間上下文模型，即每一幀圖像要計算并學(xué)習(xí)的對象。

根據(jù)卷積的定義：

公式(11)可變化為：

根據(jù)卷積定理，有：

則：

其中，和分別表示傅立葉及反傅立葉變換。

假定第t幀時，已知目標(biāo)中心位置及目標(biāo)的局部上下文區(qū)域ωc(x^*)，可以計算得到第t幀中跟蹤目標(biāo)及其局部上下文區(qū)域的空間上下文模型，記為因為所處理的是連續(xù)的視頻序列，時間上的上下文相關(guān)性對于跟蹤結(jié)果也至關(guān)重要。為將這一維度也納入考慮，設(shè)置時空上下文模型學(xué)習(xí)速率ρ，將每一幀跟蹤目標(biāo)的時空上下文模型表示為歷史時空上下文模型與新習(xí)得的空間上下文模型兩部分，如下所示：

其中，為第t幀的空間上下文模型；為第t幀的時空上下文模型，為第t+1幀的時空上下文模型。

一般的，在存在多個外觀相似的跟蹤目標(biāo)的情境下，當(dāng)發(fā)生遮擋狀況時，即目標(biāo)的外觀模型已經(jīng)發(fā)生了較大變化，而此時時空上下文模型仍按照同等的速率學(xué)習(xí)并更新，便會不斷學(xué)習(xí)到錯誤模型進(jìn)而最終丟失跟蹤目標(biāo)。本實施例根據(jù)運動目標(biāo)的遮擋情況動態(tài)確定學(xué)習(xí)速率，學(xué)習(xí)速率ρ為自動更新的動態(tài)值，能夠有效防止更新過快而完全丟失歷史模型信息。具體來說，當(dāng)跟蹤目標(biāo)被其他物體遮擋時，目標(biāo)外觀模型會受到改變，進(jìn)而空間上下文模型可信度降低，需要降低學(xué)習(xí)速率，以防學(xué)習(xí)到錯誤的模型，確保跟蹤準(zhǔn)確。本實施例中，根據(jù)運動目標(biāo)的遮擋率計算時空上下文模型的學(xué)習(xí)速率更新上述得到的運動目標(biāo)的時空上下文模型。具體根據(jù)公式(3)計算時空上下文模型的學(xué)習(xí)速率，在此不予贅述。

4)、獲取運動目標(biāo)的圖像特征值，更新運動目標(biāo)的上下文先驗?zāi)Ｐ汀?/p>

具體的，通過以下公式計算得到運動目標(biāo)的圖像特征值：

i(x)＝w1·ir(x)+w2·ig(x)+w3·ib(x)；公式(17)

其中，ir(x)為x處在紅色通道上的顏色強度；ig(x)為x處在綠色通道上的顏色強度；ib(x)為x處在藍(lán)色通道上的顏色強度；w1、w2、w3為權(quán)值且w1+w2+w3＝1。在一個實施例中，兩隊隊服顏色在r通道差異較為明顯，將ir(x)賦予較大的權(quán)值，w1＝0.4,w2＝0.3,w3＝0.3。

5)、對更新后的時空上下文模型和上下文先驗?zāi)Ｐ瓦M(jìn)行卷積運算，得到下一幀運動目標(biāo)的跟蹤位置。

具體地，在第t+1幀時，已知其時空上下文模型為更新過后的再計算出t+1幀的上下文先驗?zāi)Ｐ?imgfile="bda0001272955350000162.gif"wi="371"he="55"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>即可通過式(7)至公式(11)進(jìn)行卷積計算得到第t+1幀的置信圖，如下：

則有，當(dāng)?shù)趖+1幀的置信圖mt+鯐(x)取最大值時，所對應(yīng)的x值即認(rèn)為是第t+1幀中運動目標(biāo)的中心位置從而確定運動目標(biāo)的跟蹤位置，即分別確定了第一視角下的視頻中下一幀被跟蹤球員的跟蹤位置，及第二視角下的視頻中下一幀被跟蹤球員的跟蹤位置。

6)、建立球場俯視二維模型，將第一視角下的視頻中下一幀運動目標(biāo)的跟蹤位置投影至球場俯視二維模型中的第一投影坐標(biāo)，將第二視角下的視頻中下一幀運動目標(biāo)的跟蹤位置投影至球場俯視二維模型中的第二投影坐標(biāo)。

具體地，本實施例中，選取足球比賽場地半場的四個角點作為計算平面單應(yīng)變換矩陣的四個參考點。首先，通過一系列數(shù)字圖像處理中的閾值處理技術(shù)與霍夫變換直線檢測，提取球場邊線區(qū)域；再將分散的線段進(jìn)行合并，得到球場邊線直線方程并且得到四組標(biāo)定點坐標(biāo)，最后，根據(jù)四組標(biāo)定點坐標(biāo)得到兩個視角的轉(zhuǎn)換矩陣，具體球場俯視二維模型如圖6所示。

7)、檢測第一投影坐標(biāo)和第二投影坐標(biāo)是否錯誤。

具體地，分別將第一視角下的視頻中的當(dāng)前幀球員的遮擋率和第二視角下的視頻中的當(dāng)前幀球員的遮擋率與預(yù)設(shè)遮擋率閾值進(jìn)行比較，判斷第一投影坐標(biāo)和第二投影坐標(biāo)是否錯誤。如果第一視角下的視頻中的當(dāng)前幀球員的遮擋率大于預(yù)設(shè)遮擋率閾值，則第一投影坐標(biāo)錯誤；如果第二視角下的視頻中的當(dāng)前幀球員的遮擋率大于預(yù)設(shè)遮擋率閾值，則第二投影坐標(biāo)錯誤。如果第一視角下的視頻中的當(dāng)前幀球員的遮擋率和第二視角下的視頻中的當(dāng)前幀球員的遮擋率均小于或等于預(yù)設(shè)遮擋率閾值，那么第一投影坐標(biāo)和第二投影坐標(biāo)都是正確的。本實施例中，預(yù)設(shè)遮擋率閾值根據(jù)球員在球場俯視二維模型中距離攝像機的距離計算得到，其中，球員在球場俯視二維模型中距離攝像機的距離為：

其中，[x,y]為當(dāng)前幀球員在球場俯視二維模型上的坐標(biāo)，height，width分別為球場俯視二維模型高度和寬度。

則，預(yù)設(shè)遮擋率閾值為：

threshold＝γe^-μ·δd；公式(20)

其中，threshold為預(yù)設(shè)遮擋率閾值；γ和μ皆為常參數(shù)，γ用于調(diào)整預(yù)設(shè)遮擋率閾值變化范圍，μ用于調(diào)整預(yù)設(shè)遮擋率閾值變化快慢。

8)、當(dāng)?shù)谝煌队白鴺?biāo)或第二投影坐標(biāo)錯誤時，選取另一視角的投影坐標(biāo)作為球員的目標(biāo)投影坐標(biāo)。

具體地，第一視角下的視頻和第二視角下的視頻的拍攝角度不同，在第一視角下拍攝得到的視頻中球員發(fā)生遮擋，但此時，第二視角下拍攝的視頻中球員不會發(fā)生遮擋，因此，第一投影坐標(biāo)和第二投影坐標(biāo)不會同時發(fā)生錯誤。故，當(dāng)?shù)谝煌队白鴺?biāo)錯誤時，選取第二投影坐標(biāo)作為球員的目標(biāo)投影坐標(biāo)，第t幀跟蹤結(jié)束。當(dāng)?shù)诙队白鴺?biāo)錯誤時，選取第一投影坐標(biāo)作為球員的目標(biāo)投影坐標(biāo)，第t幀跟蹤結(jié)束。

進(jìn)一步的，在一個實施例中，當(dāng)某一視角下的跟蹤結(jié)果有誤時，還通過另一視角下的跟蹤結(jié)果對錯誤的跟蹤結(jié)果進(jìn)行修正，以確保后續(xù)跟蹤結(jié)果準(zhǔn)確。假定第一投影坐標(biāo)錯誤，在第一視角下，發(fā)生跟蹤漂移的被追蹤球員由置信圖給出的最大似然位置為p1，將第一視角視頻向球場俯視二維模型轉(zhuǎn)換的投影矩陣為h1，此時第二視角下，被追蹤球員的最大似然位置為p2，將第二視角視頻向球場俯視二維模型轉(zhuǎn)換的投影矩陣為h2，則p2在球場俯視二維模型上的第二投影坐標(biāo)為h2·p2，由于p2為正確跟蹤的結(jié)果，于是將錯誤跟蹤位置p1更新為正確的跟蹤位置在第一視角下的第一投影坐標(biāo)為：

p1＝h1^-1·h2·p2；公式(21)

同理，如果第二投影坐標(biāo)錯誤，則根據(jù)第一投影坐標(biāo)對第二投影坐標(biāo)進(jìn)行修正，具體修正原理與上述第一投影坐標(biāo)的修正原理相同，不再贅述。完成第一投影坐標(biāo)或第二投影坐標(biāo)的修正后，再進(jìn)一步根據(jù)修正后的跟蹤結(jié)果更新對應(yīng)視角下的時空上下文模型，確保后續(xù)跟蹤結(jié)果準(zhǔn)確。

9)、當(dāng)?shù)谝煌队白鴺?biāo)和第二投影坐標(biāo)都正確時，根據(jù)第一投影坐標(biāo)和第二投影坐標(biāo)計算球員的目標(biāo)投影坐標(biāo)。

當(dāng)?shù)谝煌队白鴺?biāo)和第二投影坐標(biāo)都正確時，通過第一投影坐標(biāo)和第二投影坐標(biāo)互相輔助調(diào)整確定球員的目標(biāo)投影坐標(biāo)，確定目標(biāo)投影坐標(biāo)后第t幀跟蹤結(jié)束。具體地，在經(jīng)過投影變換后的圖像中，在離攝像機較近的地方，球員所處的位置較為清晰，而在離攝像機較遠(yuǎn)的位置，球員因為發(fā)生形變拉伸，所處的具體位置較為模糊。因此，當(dāng)目標(biāo)離某一視角下的攝像機越近時，認(rèn)為在該攝像機所拍攝視頻中的跟蹤結(jié)果更為可靠，即由該視角所得的跟蹤結(jié)果，在最終確定目標(biāo)位置時，所占權(quán)重越大，故根據(jù)目標(biāo)距離攝像機的距離確定第一投影坐標(biāo)和第二投影坐標(biāo)的權(quán)重值。

假定在第一視角下，攝影機處于如圖6所示位置。定義第一視角下的攝影的位置為原點，乙隊隊員球員m在球場俯視二維模型上的坐標(biāo)為posmodel1＝[x1y1]，則有：

如圖6所示，第二視角下的攝像機位于第一視角下的攝像機的對面，第二視角下攝影機所得的對球員m的跟蹤結(jié)果轉(zhuǎn)換到球場俯視二維模型上的坐標(biāo)為posmodel2＝[x2y2]，則球員m距離第二視角下的攝影機的距離為：

其中，width和height分別為球場俯視二維模型的寬度和高度。

則，融合第一投影坐標(biāo)和第二投影坐標(biāo)后，球員m在球場二維模型上的最終位置為：posfinal＝[xy]，

進(jìn)一步的，在一個實施例中，依據(jù)上述步驟(1)至步驟(10)，對兩個視角下的足球視頻進(jìn)行追蹤，追蹤操作在pc計算機上實現(xiàn)，硬件環(huán)境：中央處理器：intelcorei5、主頻為2.5ghz、內(nèi)存為8gb。編程環(huán)境為matlab2014a。兩個視角下的原視頻為avi格式，每幀圖片大小為1696x1080，視頻大小約20mb，兩個視頻長度均約18秒，每秒取30幀，共計約540幀，本實施例中，跟蹤速率達(dá)到1s/幀，跟蹤準(zhǔn)確率達(dá)到100％。

請參閱圖7，一種視頻中運動目標(biāo)的跟蹤裝置700，包括：

遮擋率計算模塊702，用于計算第一視角下的視頻中的當(dāng)前幀的運動目標(biāo)的遮擋率。

時空上下文模型更新模塊704，用于根據(jù)運動目標(biāo)的遮擋率計算時空上下文模型的學(xué)習(xí)速率，并根據(jù)學(xué)習(xí)速率更新運動目標(biāo)的時空上下文模型。

上下文先驗?zāi)Ｐ透履K706，用于獲取當(dāng)前幀中的運動目標(biāo)的圖像特征值，根據(jù)圖像特征值更新運動目標(biāo)的上下文先驗?zāi)Ｐ汀?/p>

跟蹤模塊708，用于對更新后的時空上下文模型和上下文先驗?zāi)Ｐ瓦M(jìn)行卷積運算，得到第一視角下的視頻中的下一幀的運動目標(biāo)的跟蹤位置。

如圖8所示，在一個實施例中，時空上下文模型更新模塊704包括：

交點檢測子模塊7042，用于檢測當(dāng)前幀的不同的運動目標(biāo)的跟蹤框之間是否包括交點。

遮擋面積計算子模塊7044，用于當(dāng)不同的運動目標(biāo)的跟蹤框之間包括交點時，計算不同的運動目標(biāo)的跟蹤框之間重疊部分的長度和寬度，并根據(jù)長度和寬度計算運動目標(biāo)發(fā)生遮擋的遮擋面積。

遮擋率計算子模塊7046，用于獲取預(yù)先存儲的運動目標(biāo)的跟蹤框面積，計算運動目標(biāo)的遮擋率為遮擋面積與跟蹤框面積的比值。

在其中一個實施例中，學(xué)習(xí)速率計算模塊702采用以下公式計算學(xué)習(xí)速率：

其中：e為自然對數(shù)；δs為運動目標(biāo)的遮擋率；k、均為常參數(shù)。

如圖9所示，在一個實施例中，上下文先驗?zāi)Ｐ透履K706包括：

顏色強度獲取子模塊7062：用于獲取當(dāng)前幀中的運動目標(biāo)在紅色通道上的顏色強度、在綠色通道上的顏色強度以及在藍(lán)色通道上的顏色強度。

顏色強度權(quán)重值選取子模塊7064，用于為運動目標(biāo)在紅色通道上的顏色強度、在綠色通道上的顏色強度，及在藍(lán)色通道上的顏色強度賦予相應(yīng)的顏色強度權(quán)重值。

圖像特征值計算模塊7066，用于對在每個通道上的顏色強度進(jìn)行加權(quán)求和，得到當(dāng)前幀中的運動目標(biāo)的圖像特征值。

如圖10所示，在一個實施例中，視頻中運動目標(biāo)的跟蹤裝置700還包括：

二維模型投影模塊710，用于提取追蹤場地邊線區(qū)域，建立追蹤場地俯視二維模型，將跟蹤位置投影至追蹤場地俯視二維模型中的第一投影坐標(biāo)。

在一個實施例中，視頻中運動目標(biāo)的跟蹤裝置700用于獲取第二視角下的視頻，并計算在第二視角下的視頻中與下一幀對應(yīng)的視頻幀的運動目標(biāo)的跟蹤位置在追蹤場地俯視二維模型中的第二投影坐標(biāo)。如圖10所示，視頻中運動目標(biāo)的跟蹤裝置700還包括：

遮擋率比較模塊712，用于分別將第一視角下的視頻中的當(dāng)前幀運動目標(biāo)的遮擋率和第二視角下的視頻中的當(dāng)前幀運動目標(biāo)的遮擋率與預(yù)設(shè)遮擋率閾值進(jìn)行比較。

第一目標(biāo)投影坐標(biāo)選取模塊714，用于當(dāng)?shù)谝灰暯窍碌囊曨l中的當(dāng)前幀運動目標(biāo)的遮擋率和第二視角下的視頻中的當(dāng)前幀運動目標(biāo)的遮擋率均小于或等于預(yù)設(shè)遮擋率閾值時，根據(jù)第一投影坐標(biāo)和第二投影坐標(biāo)計算運動目標(biāo)在追蹤場地俯視二維模型中的目標(biāo)投影坐標(biāo)。

第二目標(biāo)投影坐標(biāo)選取模塊716，用于當(dāng)?shù)谝灰暯窍碌囊曨l中的當(dāng)前幀運動目標(biāo)的遮擋率大于預(yù)設(shè)遮擋率閾值時，選取第二投影坐標(biāo)作為運動目標(biāo)在追蹤場地俯視二維模型中的目標(biāo)投影坐標(biāo)；當(dāng)?shù)诙暯窍碌囊曨l中的當(dāng)前幀運動目標(biāo)的遮擋率大于預(yù)設(shè)遮擋率閾值時，選取第一投影坐標(biāo)作為運動目標(biāo)在追蹤場地俯視二維模型中的目標(biāo)投影坐標(biāo)。

如圖10所示，在一個實施例中，視頻中運動目標(biāo)的跟蹤裝置700還包括：

投影坐標(biāo)修正模塊718，用于當(dāng)?shù)谝灰暯窍碌囊曨l中的當(dāng)前幀運動目標(biāo)的遮擋率大于預(yù)設(shè)遮擋率閾值時，根據(jù)第二投影坐標(biāo)對第一投影坐標(biāo)進(jìn)行修正；以及，當(dāng)?shù)诙暯窍碌囊曨l中的當(dāng)前幀運動目標(biāo)的遮擋率大于預(yù)設(shè)遮擋率閾值時，根據(jù)第一投影坐標(biāo)對第二投影坐標(biāo)進(jìn)行修正。

以上所述實施例的各技術(shù)特征可以進(jìn)行任意的組合，為使描述簡潔，未對上述實施例中的各個技術(shù)特征所有可能的組合都進(jìn)行描述，然而，只要這些技術(shù)特征的組合不存在矛盾，都應(yīng)當(dāng)認(rèn)為是本說明書記載的范圍。

以上所述實施例僅表達(dá)了本發(fā)明的幾種實施方式，其描述較為具體和詳細(xì)，但并不能因此而理解為對發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對于本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。