本發(fā)明屬于航拍視頻目標(biāo)跟蹤方法，具體涉及一種基于局部稀疏和時(shí)空上下文信息的航拍視頻目標(biāo)跟蹤方法。
背景技術(shù)：
隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，基于無(wú)人機(jī)的航拍視頻目標(biāo)跟蹤已經(jīng)成為重要的研究領(lǐng)域。無(wú)人機(jī)視頻場(chǎng)景中，運(yùn)動(dòng)目標(biāo)跟蹤不僅與一般視頻目標(biāo)跟蹤方法一樣受到環(huán)境的干擾，如遮擋、陰影、尺度和光照變化等問(wèn)題，同時(shí)，無(wú)人機(jī)在高速運(yùn)動(dòng)的情形下其運(yùn)動(dòng)突變，一方面造成了視頻相鄰幀間圖像坐標(biāo)系的變化，另一方面還引入了圖像模糊、抖動(dòng)等干擾。此外，無(wú)人機(jī)一般都在幾千或上萬(wàn)米的高空拍攝，導(dǎo)致拍攝到的目標(biāo)具有尺度小、目標(biāo)與背景對(duì)比度小、目標(biāo)紋理不清晰等問(wèn)題；另外，無(wú)人機(jī)與運(yùn)動(dòng)目標(biāo)同時(shí)運(yùn)動(dòng)，也會(huì)導(dǎo)致序列圖像中目標(biāo)存在尺度縮放、旋轉(zhuǎn)等問(wèn)題，給目標(biāo)跟蹤帶來(lái)了更大的挑戰(zhàn)。
近年來(lái)，基于稀疏表示理論的目標(biāo)跟蹤方法得到了極大的重視，該方法將跟蹤問(wèn)題看作是一個(gè)將待選目標(biāo)用模板稀疏表示后，尋找具有最小重構(gòu)誤差的候選目標(biāo)的問(wèn)題。然而這類方法大多數(shù)都考慮目標(biāo)的整體性特征，沒(méi)有利用稀疏表示系數(shù)來(lái)區(qū)分目標(biāo)和背景，因此當(dāng)出現(xiàn)與目標(biāo)相似的物體或遮擋時(shí)，容易跟蹤失效。此外，基于稀疏表示的目標(biāo)跟蹤方法，只利用了時(shí)間上下文信息，即利用當(dāng)前時(shí)刻目標(biāo)的位置、外觀形態(tài)等預(yù)測(cè)下一幀中目標(biāo)的位置，但沒(méi)有充分利用目標(biāo)的空間上下文信息，會(huì)出現(xiàn)目標(biāo)丟失或漂移現(xiàn)象。在目標(biāo)的周圍鄰域內(nèi)，總是存在一些局部區(qū)域與目標(biāo)有著極強(qiáng)的聯(lián)系。利用空間上下文信息跟蹤時(shí)，將目標(biāo)及其周邊鄰域的背景區(qū)域作為空間上下文，可有效提高跟蹤效果。
技術(shù)實(shí)現(xiàn)要素：
要解決的技術(shù)問(wèn)題
為了避免現(xiàn)有技術(shù)的不足之處，本發(fā)明提出一種基于局部稀疏和時(shí)空上下文信息的航拍視頻目標(biāo)跟蹤方法，利用一個(gè)簡(jiǎn)單而高效的基于局部稀疏表示特征的外觀模型，來(lái)刻畫(huà)目標(biāo)的局部結(jié)構(gòu)特征。并且引入空間上下文信息，能夠較好地解決目標(biāo)丟失或漂移問(wèn)題，實(shí)現(xiàn)復(fù)雜背景下航拍視頻目標(biāo)的快速魯棒跟蹤。
技術(shù)方案
一種基于局部稀疏和時(shí)空上下文信息的航拍視頻目標(biāo)跟蹤方法，其特征在于步驟如下：
步驟1：讀取第一幀圖像數(shù)據(jù)以及目標(biāo)塊在第一幀圖像中的參數(shù)[xm,ym,w,h]，其中：xm,ym表示目標(biāo)中心的橫縱坐標(biāo)，w,h表示目標(biāo)的寬和高；
步驟2、構(gòu)造用于稀疏表示的字典d：在第一幀目標(biāo)周圍根據(jù)高斯分布隨機(jī)產(chǎn)生n個(gè)目標(biāo)模板，并將每個(gè)目標(biāo)模板歸一化為m×n的標(biāo)準(zhǔn)圖像塊z∈rm×n；使用一個(gè)滑動(dòng)窗在模板上掃描提取出m個(gè)局部塊，并將它們按順序排列起來(lái)，字典d是由以上n個(gè)目標(biāo)模板構(gòu)成：d＝[d1,d2,…,dn,e]，其中，e是瑣碎模板，di＝[di,1,di,2,…,di,m]其中di是字典中的第i個(gè)模板，di,j代表的第i個(gè)模板中的第j塊；
步驟3、構(gòu)建目標(biāo)的空間上下文模型：
定義空間上下文模型為
自以下步驟4進(jìn)入讀取每一幀的循環(huán)處理步驟：
步驟4：若為第一幀圖像，則目標(biāo)的置信圖
式中：
步驟5、稀疏表示求解：對(duì)每個(gè)粒子代表的候選目標(biāo)y，按照構(gòu)造字典的方式，首先將其歸一化到標(biāo)準(zhǔn)尺寸32*32，然后對(duì)其采用與步驟2相同的方式提取局部塊信息。那么候選目標(biāo)y可以被字典d和對(duì)應(yīng)的稀疏表示系數(shù)α表示為：
y≈[d1,d2,…,dn,e][α1,α2,…,αn,e]＝d·α
而稀疏表示系數(shù)α由下式通過(guò)計(jì)算得到：α＝argmin||y-d·α||2+λ·||α1
式中正則化系數(shù)λ＝0.01；
所述稀疏表示系數(shù)α＝[α1,α2,…,αn]t，αi表示第i個(gè)模板和瑣碎模板對(duì)應(yīng)的表示系數(shù)，而目標(biāo)模板已被分成若干局部區(qū)域，再用αi,j表示第i個(gè)候選目標(biāo)第j塊對(duì)應(yīng)的表示系數(shù)，而ei則為瑣碎模板對(duì)應(yīng)的表示系數(shù)，從而又有αi＝[αi,1,αi,2,…,αi,m,ei]t；
步驟6：將對(duì)應(yīng)位置的表示系數(shù)求和，從而得到：
步驟7：計(jì)算每個(gè)粒子的置信度，其置信度最高的粒子為跟蹤結(jié)果；其中，粒子的置信度采用稀疏表示系數(shù)來(lái)衡量，定義為
步驟8、字典更新：當(dāng)跟蹤到的目標(biāo)其置信度低于某個(gè)閾值μ＝10，便替換掉字典中的一個(gè)模板；以第一幀中手動(dòng)標(biāo)定的目標(biāo)模板作為固定模板，不被替換；然后，產(chǎn)生一個(gè)序列s＝{0,21,22,…,2n-1}，n是字典中目標(biāo)模板的數(shù)目，該序列被歸一化后，得到一個(gè)累積的概率序列：
該累積序列代表了每個(gè)模板被替換的概率；然后，產(chǎn)生一個(gè)在區(qū)間[0,1]上均勻隨機(jī)數(shù)r，那么r位于lp的區(qū)間數(shù)，即要被替換的模板的序號(hào)；
步驟9：判斷是否處理完圖像序列的所有幀，若沒(méi)有，則轉(zhuǎn)到步驟4繼續(xù)；若處理完，則結(jié)束。
有益效果
本發(fā)明提出的一種基于局部稀疏和時(shí)空上下文信息的航拍視頻目標(biāo)跟蹤方法，在目標(biāo)外觀變化、遮擋以及快速運(yùn)動(dòng)時(shí)能夠取得魯棒的跟蹤結(jié)果。本發(fā)明在稀疏表示和粒子濾波的框架下，采用局部塊構(gòu)造字典，以捕獲目標(biāo)的局部和結(jié)構(gòu)信息。使用目標(biāo)的空間上下文信息得到目標(biāo)在其鄰域內(nèi)出現(xiàn)的置信圖，也即目標(biāo)出現(xiàn)在各個(gè)位置的可能性大小。在目標(biāo)出現(xiàn)可能性較大的區(qū)域進(jìn)行粒子濾波，采用稀疏表示方法得到跟蹤結(jié)果。
本發(fā)明采采用局部塊構(gòu)造字典，能夠捕獲目標(biāo)的局部和結(jié)構(gòu)信息。尤其當(dāng)目標(biāo)部分被遮擋時(shí)，那些沒(méi)有被遮擋的部分仍然能夠被對(duì)應(yīng)的局部塊所表示，從而使得跟蹤更魯棒；利用目標(biāo)的空間上下文信息，能夠?qū)δ繕?biāo)進(jìn)行快速準(zhǔn)確定位，較好地解決目標(biāo)丟失或漂移問(wèn)題，實(shí)現(xiàn)復(fù)雜背景下航拍視頻目標(biāo)的快速魯棒跟蹤。
附圖說(shuō)明
圖1：流程圖
具體實(shí)施方式
現(xiàn)結(jié)合實(shí)施例、附圖對(duì)本發(fā)明作進(jìn)一步描述：
本發(fā)明在航拍視頻第一幀目標(biāo)確定的基礎(chǔ)上首先采用基于局部稀疏表示的方法進(jìn)行目標(biāo)表示，構(gòu)造用于稀疏表示的字典。接著，借助空間上下文信息來(lái)輔助跟蹤，通過(guò)目標(biāo)的空間上下文信息，構(gòu)建一個(gè)置信圖來(lái)表示目標(biāo)在上下文出現(xiàn)的可能性大小。在目標(biāo)出現(xiàn)可能性較大的區(qū)域進(jìn)行粒子濾波，采用稀疏表示方法，得到跟蹤結(jié)果。具體如下步驟如下，流程可參考附圖。
步驟如下：
1)讀取第一幀圖像數(shù)據(jù)以及目標(biāo)塊在第一幀圖像中的參數(shù)[xm,ym,w,h]，其中：xm,ym表示目標(biāo)中心的橫縱坐標(biāo)，w,h表示目標(biāo)的寬和高。
2)構(gòu)造用于稀疏表示的字典d。在第一幀目標(biāo)周圍根據(jù)高斯分布隨機(jī)產(chǎn)生n個(gè)目標(biāo)模板，并將每個(gè)目標(biāo)模板歸一化為m×n的標(biāo)準(zhǔn)圖像塊z∈rm×n。使用一個(gè)滑動(dòng)窗在模板上掃描提取出m個(gè)局部塊，并將它們按順序排列起來(lái)，字典d是由以上n個(gè)目標(biāo)模板構(gòu)成：d＝[d1,d2,…,dn,e]，其中，e是瑣碎模板，di＝[di,1,di,2,…,di,m]其中di是字典中的第i個(gè)模板，di,j代表的第i個(gè)模板中的第j塊。
3)構(gòu)建目標(biāo)的空間上下文模型。具體操作如下，定義空間上下文模型為
4)若為第一幀圖像，則目標(biāo)的置信圖
5)稀疏表示求解。對(duì)每個(gè)粒子代表的候選目標(biāo)y，按照構(gòu)造字典的方式，首先將其歸一化到標(biāo)準(zhǔn)尺寸32*32，然后對(duì)其采用與步驟2相同的方式提取局部塊信息。那么候選目標(biāo)y可以被字典d和對(duì)應(yīng)的稀疏表示系數(shù)α表示為：
y≈[d1,d2,…,dn,e][α1,α2,…,αn,e]＝d·α
而稀疏表示系數(shù)α可由下式通過(guò)計(jì)算得到：
α＝argmin||y-d·α||2+λ·||α1，式中正則化系數(shù)λ＝0.01
6)對(duì)于稀疏表示系數(shù)α＝[α1,α2,…,αn]t，αi表示第i個(gè)模板和瑣碎模板對(duì)應(yīng)的表示系數(shù)，而目標(biāo)模板已被分成若干局部區(qū)域，再用αi,j表示第i個(gè)候選目標(biāo)第j塊對(duì)應(yīng)的表示系數(shù)，而ei則為瑣碎模板對(duì)應(yīng)的表示系數(shù)，從而又有αi＝[αi,1,αi,2,…,αi,m,ei]t。
7)候選目標(biāo)y被分割成了有重疊的m塊，顯然，每個(gè)候選目標(biāo)中的某一塊，將更傾向于字典中對(duì)應(yīng)位置的塊來(lái)表示，因此我們將對(duì)應(yīng)位置的表示系數(shù)求和，從而得到：
8)計(jì)算每個(gè)粒子的置信度，其置信度最高的粒子為跟蹤結(jié)果。其中，粒子的置信度采用稀疏表示系數(shù)來(lái)衡量，定義為
9)字典更新。當(dāng)跟蹤到的目標(biāo)其置信度低于某個(gè)閾值μ時(shí)(μ取10)，便替換掉字典中的一個(gè)模板。本發(fā)明將第一幀中手動(dòng)標(biāo)定的目標(biāo)模板將作為固定模板，不被替換。然后，產(chǎn)生一個(gè)序列s＝{0,21,22,…,2n-1}，n是字典中目標(biāo)模板的數(shù)目，該序列被歸一化后，得到一個(gè)累積的概率序列：
該累積序列代表了每個(gè)模板被替換的概率。然后，產(chǎn)生一個(gè)在區(qū)間[0,1]上均勻隨機(jī)數(shù)r，那么r位于lp的區(qū)間數(shù)，即要被替換的模板的序號(hào)。
8)判斷是否處理完圖像序列的所有幀，若沒(méi)有，則轉(zhuǎn)到步驟4繼續(xù)；若處理完，則結(jié)束。