基于多分辨率特征關(guān)聯(lián)的行人檢測方法
【專利摘要】本發(fā)明涉及一種基于多分辨率特征關(guān)聯(lián)的行人目標(biāo)檢測方法。本發(fā)明通過采樣車載道路交通視頻中的圖像序列，對行人進(jìn)行標(biāo)注來獲得行人樣本數(shù)據(jù)集，并根據(jù)行人分辨率大小將其分類，建立多分辨率行人樣本庫；通過將模型參數(shù)求解問題轉(zhuǎn)變?yōu)閮蓚€凸優(yōu)化子問題，使用統(tǒng)計學(xué)習(xí)的方法得到分辨對應(yīng)的特征轉(zhuǎn)換矩陣以及分類函數(shù)系數(shù)；以滑窗掃圖的方式對不同分辨率行人的HOG特征使用對應(yīng)分辨率變換矩陣，將特征映射至相同的特征子空間；然后，使用分類函數(shù)對子空間中的特征進(jìn)行分類；最后對檢測結(jié)果進(jìn)行聚類，得到最終檢測結(jié)果。本發(fā)明具有較好的泛化能力和自適應(yīng)性，由于引入了分辨率對應(yīng)特征變換，使得本發(fā)明在對中遠(yuǎn)距離的行人檢測性能方面優(yōu)于以往方法。
【專利說明】基于多分辨率特征關(guān)聯(lián)的行人檢測方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于多分辨率特征關(guān)聯(lián)的行人目標(biāo)檢測方法，特別涉及一種基于方向梯度直方圖HOG (Histogram of Oriented Gradient)算法在多分辨率條件下改進(jìn)方法，提高遠(yuǎn)距離行人檢測效果。
【背景技術(shù)】
[0002]隨著計算機(jī)技術(shù)的發(fā)展和計算機(jī)視覺原理的廣泛應(yīng)用，利用計算機(jī)圖像處理技術(shù)對目標(biāo)進(jìn)行實(shí)時檢測研究越來越熱門?；跈C(jī)器視覺的行人檢測作為領(lǐng)域內(nèi)的典型問題一直受到高度關(guān)注。如何提高算法實(shí)際檢測性能是行人檢測從學(xué)術(shù)走向?qū)嶋H應(yīng)用的關(guān)鍵問題。
[0003]近幾年，HOG(Histogram of Oriented Gradient, )、DPM (Deformable PartsModel)等行人特征描述模型研究取得了較大進(jìn)展，使得近距離高分辨率行人取得了良好的檢測性能；但是，上述模型直接應(yīng)用于中遠(yuǎn)距離低分辨率行人的檢測，其檢測性能急劇下降。對于道路交通而言，中遠(yuǎn)距離行人的檢測卻是至關(guān)重要的，更遠(yuǎn)的距離意味著留給駕駛員的反應(yīng)時間更多，潛在地能挽救更多的生命。
[0004]已有對低分辨行人檢測采用的解決方法是針對低分辨率行人樣本訓(xùn)練一個新的分類器。該方法基于尺度不變的假設(shè):在一個特定分辨率下，針對抽取特征訓(xùn)練出的分類器能夠通過改變探測器尺寸，或是對圖像進(jìn)行縮放來推廣至所有分辨率。但是，由于遠(yuǎn)距離行人的圖像采樣頻率受圖像傳感器硬件限制，導(dǎo)致圖像中遠(yuǎn)距離行人目標(biāo)分辨率低、信息丟失嚴(yán)重；因此，在同一圖像傳感器中，近距離和遠(yuǎn)距離的行人目標(biāo)的尺度不變假設(shè)無法成立，導(dǎo)致了行人檢測性能隨著分辨率下降而急劇下降。
【發(fā)明內(nèi)容】
[0005]針對上述問題，本發(fā)明公開了一種在多分辨率情況下，提高遠(yuǎn)距離低分辨率行人檢測效果的改進(jìn)方法。該方法基于HOG特征，對特征向量進(jìn)行主成分分析(PrincipalComponent Analysis, PCA)轉(zhuǎn)化，應(yīng)用分辨率對應(yīng)的轉(zhuǎn)換方程將各個分辨率的特征描述向量映射至相同的特征子空間，以此建立聞分辨率行人特征與低分辨率行人特征的聯(lián)系，提高了特征描述子在低分辨率下的描述能力，為分類函數(shù)能更好地分類提供了理論基礎(chǔ)。為了建立上述檢測模型，給出了優(yōu)化特征轉(zhuǎn)換方程參數(shù)和子空間分類模型參數(shù)的方法，通過拆分整個檢測模型參數(shù)的非凸二次優(yōu)化問題為兩個凸優(yōu)化子問題，進(jìn)行多倫迭代優(yōu)化，得到各個特征轉(zhuǎn)換方程參數(shù)和分類函數(shù)系數(shù)。
[0006]該方法適合于在遠(yuǎn)距離低分率上行人檢測上提高各類行人檢測算法的性能，可以應(yīng)用于DPM等其他行人檢測模型。
[0007]本發(fā)明的技術(shù)方案步驟如下:
[0008]步驟1:對取材自道路交通場景的錄像進(jìn)行去冗余采樣，對生成的圖片集進(jìn)行行人的人工標(biāo)注。人工標(biāo)注包括:行人的邊界框位置與大小，并根據(jù)邊界框大小將行人樣本進(jìn)行分類。
[0009]步驟2:對樣本進(jìn)行方向梯度直方圖(HOG)特征計算。將每一分辨率類別的樣本重構(gòu)為統(tǒng)一尺寸大小的樣本，然后進(jìn)行特征向量的計算。
[0010]步驟3:建立行人識別模型。將識別模型的優(yōu)化分解為兩個子問題:分辨率對應(yīng)特征轉(zhuǎn)換模型優(yōu)化與特征子空間分類模型優(yōu)化。該過程首先采用PCA方法對個分辨率的特征轉(zhuǎn)換模型進(jìn)行參數(shù)初始化，然后進(jìn)行分辨率對應(yīng)特征轉(zhuǎn)換模型與特征子空間分類模型的迭代優(yōu)化。
[0011]步驟4:對各分辨率行人進(jìn)行識別。對圖片中的低分辨率行人的HOG特征向量進(jìn)行一輪低閾值粗糙檢測，然后對檢測結(jié)果的HOG特征向量進(jìn)行分辨率對應(yīng)的特征轉(zhuǎn)換；在轉(zhuǎn)換后的特征子空間中，使用子空間分類模型進(jìn)行分類；而對于高分辨率行人的檢測則不使用分辨率轉(zhuǎn)換，直接進(jìn)行HOG特征的分類。分別給出不同分辨率的檢測結(jié)果分?jǐn)?shù)，根據(jù)對應(yīng)閾值輸出檢測結(jié)果。步驟5:對步驟4中的檢測結(jié)果，采用非最大值抑制方法進(jìn)行聚類。將高分辨率行人檢測結(jié)果進(jìn)行統(tǒng)一的聚類，而經(jīng)過特征轉(zhuǎn)換的低分辨率行人進(jìn)行單獨(dú)的聚類。然后合并聚類結(jié)果集，輸出結(jié)果集，完成單幀行人檢測。
[0012]在步驟3中，提出了行人識別模型:包括分辨率對應(yīng)特征轉(zhuǎn)換模型和特征子空間分類模型。分辨率對應(yīng)轉(zhuǎn)換模型用于在高分辨率特征清晰的樣本與低分辨率特征噪音大的樣本之間建立聯(lián)系，一定程度上增強(qiáng)了低分辨率行人樣本的特征描述能力，使轉(zhuǎn)換后的特征更容易被特征子空間分類模型區(qū)分，提高了遠(yuǎn)距離的低分別率行人檢測的性能。
[0013]在步驟4中對于低分辨率行人的檢測，采用了由粗到精的級聯(lián)檢測的思想。對于高分辨率行人的檢測不用特征轉(zhuǎn)換就能夠達(dá)到較好的檢測效果，而對于低分辨率行人，兩段檢測能夠極大地減少計算量。所設(shè)計的檢測模型在不影響檢測精度的情況下進(jìn)一步提高了檢測實(shí)時性。
[0014]在步驟5中對各分辨率分類結(jié)果的進(jìn)行差別聚類。由于基于HOG的分類模型給出的分?jǐn)?shù)與基于特征變換的分類模型給出的分?jǐn)?shù)評價基準(zhǔn)不同，而低分辨率行人的檢測結(jié)果也不應(yīng)該與高分辨率行人檢測結(jié)果重合。因此，我們分別實(shí)施非最大值抑制的方法進(jìn)行聚類，然后合并結(jié)果集。
[0015]本發(fā)明的有益效果:
[0016]1、本發(fā)明針對中遠(yuǎn)距離低分辨率行人檢測問題，提出了多分辨率的特征變換方法，建立低分辨率行人與高分辨率行人的特征向量之間的關(guān)系，彌補(bǔ)前者特征噪音過多，描述能力不強(qiáng)的問題，增強(qiáng)了中遠(yuǎn)距離低分辨率行人的特征描述能力。然后，在變換后的共同特征子空間中訓(xùn)練的分類模型，提高對中遠(yuǎn)距離低分辨率行人的識別性能。
[0017]2、本發(fā)明在對單幀圖片的檢測識別中采用了分辨率對應(yīng)的級聯(lián)分類方法。對高分辨率行人的識別，不進(jìn)行特征變換，采用原有算法保持高識別性能和實(shí)時性；而對于低分辨率行人的識別，采用由粗到精的級聯(lián)識別過程，通過改進(jìn)非最大值抑制聚類，保證高檢測效果和實(shí)時性。
[0018]3、本發(fā)明從真實(shí)道路交通場景錄像中采集樣本數(shù)據(jù)，建立訓(xùn)練道路交通場景的多分辨率樣本庫和訓(xùn)練模型，保證了本發(fā)明提出的模型在真實(shí)道路場景中的泛化能力，使本方法得到的檢測器具有更強(qiáng)的自適應(yīng)能力和中遠(yuǎn)距離檢測效果?！緦＠綀D】
【附圖說明】
[0019]圖1為建立分類模型流程圖。
[0020]圖2為本發(fā)明進(jìn)行分辨率對應(yīng)行人檢測時的流程圖。
[0021]圖3為適合本發(fā)明的非最大值抑制算法流程圖。
[0022]圖4為本發(fā)明在紅外場景中的行人檢測效果圖。
【具體實(shí)施方式】
[0023]下面結(jié)合附圖，對本發(fā)明的具體實(shí)施方案作進(jìn)一步詳細(xì)描述。關(guān)于分類模型的建立其具體步驟描述如圖1所示:
[0024]步驟1:將每秒30幀的錄像以I秒一幀的頻率進(jìn)行去冗余采樣，將大于80像素高度的樣本歸類為高分辨率樣本，小于的歸類為低分辨率樣本。在人工標(biāo)注中給出標(biāo)注框的左上角和右下角的坐標(biāo):(xTL, yTL)，(xBE, yBE),行人的像素高度h = xBE-xTL,根據(jù)h進(jìn)行歸類。
[0025]步驟2:計算各類樣本的特征。根據(jù)標(biāo)注框限定高寬比例為2:1的ROI (感興趣區(qū)域)，將ROI按一定縮放尺度縮放至固定大小后，使用HOG算法提取統(tǒng)一維度的特征向量。對單個標(biāo)注框限定2:1的ROI算法如下:
[0026]Input: Annotated BoundiIig Box Anchor (xTL, yTL), (xBE, yBE)
[0027]Output: Size Fixed ROI Anchor (x' TL, y' TL), (x' BE, y' BE)
[0028]Define:h = yBR-yTL, w = xBR-xTL..h
【權(quán)利要求】
1.基于多分辨率特征關(guān)聯(lián)的行人檢測方法，其特征在于該方法的具體步驟如下: 步驟1:對取材自道路交通場景的錄像進(jìn)行去冗余采樣，對生成的圖片集進(jìn)行行人的人工標(biāo)注；人工標(biāo)注包括行人的邊界框位置與大小，然后根據(jù)邊界框大小將行人樣本進(jìn)行分類； 步驟2:對樣本進(jìn)行HOG特征計算；將每一分辨率類別的樣本重構(gòu)為統(tǒng)一尺寸大小的樣本，然后對樣本進(jìn)行特征向量的計算； 步驟3:建立行人識別模型scored，L)；
【文檔編號】G06K9/66GK103984965SQ201410143556
【公開日】2014年8月13日 申請日期:2014年4月10日 優(yōu)先權(quán)日:2014年4月10日
【發(fā)明者】徐向華, 虞抒沁 申請人:杭州電子科技大學(xué)