一種基于方向梯度特征學習的目標檢測方法與流程
本發(fā)明涉及計算機視覺研究領(lǐng)域，更具體地，涉及一種基于方向梯度特征學習的目標檢測方法。
背景技術(shù)：
目標檢測方法因應用廣泛，一直是計算機視覺領(lǐng)域的研究熱點。過去的十幾年里，目標檢測領(lǐng)域獲得了巨大的發(fā)展，特別是在2001年viola和jones提出boostedcascade這樣一個里程碑式的工作后，級聯(lián)框架在目標檢測中受到追捧。為了獲取泛化性能強的級聯(lián)目標檢測器，需要在訓練過程中投入更多的訓練數(shù)據(jù)，對目標檢測器而言，訓練一般要求平均假陽率要低于10-6，意味著訓練過程需要處理非常大量的非目標樣本，時間花銷巨大，容易使訓練產(chǎn)生嚴重的瓶頸?，F(xiàn)今絕大多數(shù)級聯(lián)檢測器框架的訓練都是基于假陽率和真陽率兩個標準的，但兩個標準之間是相互矛盾的，限制了級聯(lián)檢測器每一級的收斂速度，如果要生成高質(zhì)量的檢測器一般需要訓練幾天甚至一周。因此有必要對目標檢測器的訓練過程進行優(yōu)化，加快訓練速度。
目標檢測器設(shè)計中的另外一個關(guān)鍵因素是特征選擇。傳統(tǒng)的級聯(lián)檢測器訓練通常采用人工設(shè)計的特征，如hog描述子固定將每個圖像塊均分成4個矩形單元，這種固定模式的特征提取方式不能有針對性地凸顯感興趣目標，因此訓練出來的檢測器辨別目標的能力有限。當前較流行的深度學習方法，雖然能夠發(fā)現(xiàn)并刻畫目標內(nèi)部復雜的結(jié)構(gòu)特征，但是需要龐大的訓練集，部署環(huán)境通常必須有g(shù)pu的支持，訓練也相當耗時，難以快速地對不同目標的特征進行學習。
技術(shù)實現(xiàn)要素：
本發(fā)明為解決以上現(xiàn)有技術(shù)的難題，提供了一種基于方向梯度特征學習的目標檢測方法，該方法通過改進特征學習方式和訓練過程，提高了檢測器的精度，同時加快了級聯(lián)目標檢測器的訓練速度。
為實現(xiàn)以上發(fā)明目的，采用的技術(shù)方案是：
一種基于方向梯度特征學習的目標檢測方法，包括以下步驟：
(1).方向梯度特征學習
s1.采集n+個只含目標的圖像區(qū)域和n-個不含目標的圖像區(qū)域構(gòu)成圖像區(qū)域訓練集x，在圖像區(qū)域上每隔s個像素定義一個大小為w×h像素的圖像塊；
s2.對于訓練集x中的每個圖像區(qū)域，計算其每個像素點的梯度大小及方向；
s3.將梯度方向分成l個連續(xù)的方向區(qū)間，然后為每個圖像區(qū)域生成l幅方向梯度圖，其具體過程如下：
s31.對于方向區(qū)間g的方向梯度圖，若圖像區(qū)域某個位置像素點的梯度方向在方向區(qū)間g內(nèi)，則該方向梯度圖在相同位置的取值設(shè)為步驟s2計算得到的像素點的梯度大小，否則將該方向梯度圖在此處的取值置為0；
s32.通過對每個像素點進行步驟s31的操作得到訓練集x中每個圖像區(qū)域在方向區(qū)間g的方向梯度圖；
s33.通過對每個方向區(qū)間進行步驟s31、s32的操作得到訓練集x中每個圖像區(qū)域的l幅方向梯度圖；
s4.對圖像區(qū)域的每幅方向梯度圖，基于s1中所述分塊方式得到對應的方向梯度圖像塊集合；
s5.對于每個方向區(qū)間的方向梯度圖像塊集合，執(zhí)行以下操作：
s51.從方向區(qū)間g的方向梯度圖像塊集合中選出若干方向梯度圖像塊形成方向梯度特征學習的訓練集；
s52.設(shè)方向梯度圖像塊訓練集為
s53.初始化訓練集p中所有樣本的權(quán)重：w1,i＝1/n,i＝1,...,n；
s54.初始化迭代參數(shù)t＝1；
s55.為方向梯度圖像塊中的各矩形區(qū)域訓練弱分類器；
s56.計算每個弱分類器在訓練集p中所有樣本上的加權(quán)總誤差，挑選出使加權(quán)總誤差最小的弱分類器
其中hm表示基于訓練集p中方向梯度圖像塊的第m個矩形區(qū)域訓練得到的弱分類器，h表示所有矩形區(qū)域弱分類器的集合；δ(·)為指示函數(shù)，當其參數(shù)為真時函數(shù)值為1，否則函數(shù)值為0；
s57.計算
其中
s58.更新訓練集p中所有樣本的權(quán)重：
s59.令t＝t+1然后重復執(zhí)行步驟s55～s58，直至t>t；
s510.執(zhí)行完畢步驟s59后將訓練過程中選中的前r個弱分類器對應的矩形區(qū)域在方向梯度圖像塊中的位置進行輸出；
s511.方向區(qū)間g的方向梯度圖像塊集合中的各個方向梯度圖像塊按照步驟s510輸出的位置信息提取相應方向梯度圖像塊中的r個矩形區(qū)域；
s512.對各個方向區(qū)間的方向梯度圖像塊集合進行步驟s51～s511的操作，此時圖像區(qū)域中各個圖像塊對應的l個方向區(qū)間的方向梯度圖像塊都分別提取有r個矩形區(qū)域，計算每個矩形區(qū)域內(nèi)的梯度大小之和，最后圖像塊就可以用一個lr維的方向梯度特征向量表示；
(2).訓練級聯(lián)目標檢測器
s6.設(shè)定全局的假陽率ft及最小真陽率dmin，以及初始化級聯(lián)次數(shù)j＝1，初始化全局假陽率fj＝1.0，全局真陽率dj＝1.0；
s7.基于(1)中提取的方向梯度特征向量，為圖像區(qū)域中的每個圖像塊訓練弱分類器，以auc為收斂準則進行若干次boosting迭代，每次迭代挑選出一個最優(yōu)的弱分類器；
s8.采用gentleadaboost整合步驟s7選中的所有弱分類器得到強分類器hj(x)；
s9.利用hj(x)預測訓練集x中所有圖像區(qū)域的得分，并生成roc曲線；在roc曲線上查找使dj＝dmin的點(dj,fj)，其中dj表示真陽率，fj表示假陽率；
s10.令j＝j+1，然后更新fj、dj，fj+1＝fj×fj，,dj+1＝dj×dj；
s11.當fj>ft時，重復執(zhí)行步驟s7-s11；fj小于或等于ft時，輸出級聯(lián)目標檢測器；
(3).目標檢測
s12.使用多個窗口掃描可能包含目標的待檢測圖像，提取每個掃描窗口的方向梯度特征；
s13.采用訓練好的級聯(lián)目標檢測器對掃描窗口進行二分類檢測，輸出檢測到的結(jié)果。
優(yōu)選地，所述步驟s2計算每個像素點梯度大小及方向的具體過程如下：
gp(p,q)＝h(p+1,q)-h(p-1,q)
gq(p,q)＝h(p,q+1)-h(p,q-1)
其中，gp(p,q)、gq(p,q)、h(p,q)分別表示像素點(p,q)水平方向的梯度大小、垂直方向的梯度大小和像素值；
利用以下公式計算像素點(p,q)的梯度大小g(p,q)和方向α(p,q)：
優(yōu)選地，所述級聯(lián)目標檢測器為boosting級聯(lián)目標檢測器。
優(yōu)選地，在進行目標檢測時，若一幅圖像中同一個目標被不同大小的窗口掃描并在二分類時都被判為候選目標的情況下，首先根據(jù)候選目標之間的相似度將所有候選目標劃分成多個不相交的子集；對每個子集，分別統(tǒng)計子集內(nèi)候選目標四個頂點的坐標的均值，輸出為該子集所對應的最終檢測結(jié)果框的四個頂點坐標。
優(yōu)選地，所述步驟s7采用輸出為概率值的邏輯回歸函數(shù)作為弱分類器，其模型如下：
其中x表示圖像塊的lr維方向梯度特征向量，y為1或-1，當圖像塊所屬圖像區(qū)域包含目標時，y＝1，當圖像塊所屬圖像區(qū)域不含目標時，y＝-1，w是模型的權(quán)重向量，b是一個偏置項。
優(yōu)選地，所述w、b通過最小化目標函數(shù)獲得，目標函數(shù)如下：
xi表示訓練集x中第i個圖像區(qū)域在該圖像塊處的方向梯度特征向量，yi是xi對應的類標，yi等于1或-1；λ是用于調(diào)節(jié)正則項重要性的參數(shù)，
與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：
①現(xiàn)有的boosting級聯(lián)檢測器訓練通常采用手工設(shè)計的hog特征，不能充分適應實際的數(shù)據(jù)分布。本發(fā)明提供的方法以圖像塊中不同大小矩形區(qū)域內(nèi)梯度大小之和為特征，基于boosting進行篩選，產(chǎn)生圖像塊的方向梯度特征，可替代手工設(shè)計的hog特征。對不同目標的檢測結(jié)果也表明，本發(fā)明所提出的方向梯度特征相對于傳統(tǒng)的hog特征能獲得更好的檢測效果。
②級聯(lián)檢測器中的每一級boosting分類器訓練采用auc作為收斂判據(jù)。這種優(yōu)化方法避免了因fpr-hr指標相互沖突難以收斂的問題，極大地提升了訓練速度，同時也保證了boosting分類器的質(zhì)量。
③基于roc曲線訓練級聯(lián)框架，不斷更新每一級的fpr，使級聯(lián)訓練只需要經(jīng)過6-9級就能完成收斂，加快了訓練速度；而經(jīng)典的級聯(lián)檢測器訓練采用固定fpr，一般訓練20級左右才可以收斂，容易讓訓練陷入瓶頸。
附圖說明
圖1為方向梯度特征學習的流程示意圖。
圖2為級聯(lián)目標檢測器的流程示意圖。
圖3為目標檢測的流程示意圖。
具體實施方式
附圖僅用于示例性說明，不能理解為對本專利的限制；
以下結(jié)合附圖和實施例對本發(fā)明做進一步的闡述。
實施例1
本發(fā)明提供的方法相較于傳統(tǒng)的boosting級聯(lián)方法，主要做出了兩方面的優(yōu)化，一是提出一種方向梯度特征學習方法，提高了特征對目標的自適應刻畫能力；二是限制訓練時使用的樣本數(shù)量和改進訓練過程的收斂準則，極大地縮短了訓練時間。
如圖1、2、3所示，本發(fā)明提供的基于方向梯度特征學習的目標檢測方法包括以下步驟：
(1).方向梯度特征學習
s1.采集n+個只含目標的圖像區(qū)域和n-個不含目標的圖像區(qū)域構(gòu)成圖像區(qū)域訓練集x，在圖像區(qū)域上每隔s個像素定義一個大小為w×h像素的圖像塊；
s2.對于訓練集x中的每個圖像區(qū)域，計算其每個像素點的梯度大小及方向；
s3.將梯度方向分成l個連續(xù)的方向區(qū)間，然后為每個圖像區(qū)域生成l幅方向梯度圖，其具體過程如下：
s31.對于方向區(qū)間g的方向梯度圖，若圖像區(qū)域某個位置像素點的梯度方向在方向區(qū)間g內(nèi)，則該方向梯度圖在相同位置的取值設(shè)為步驟s2計算得到的像素點的梯度大小，否則將該方向梯度圖在此處的取值置為0；
s32.通過對每個像素點進行步驟s31的操作得到訓練集x中每個圖像區(qū)域在方向區(qū)間g的方向梯度圖；
s33.通過對每個方向區(qū)間進行步驟s31、s32的操作得到訓練集x中每個圖像區(qū)域的l幅方向梯度圖；
s4.對圖像區(qū)域的每幅方向梯度圖，基于s1中所述分塊方式得到對應的方向梯度圖像塊集合；
s5.對于每個方向區(qū)間的方向梯度圖像塊集合，執(zhí)行以下操作：
s51.從方向區(qū)間g的方向梯度圖像塊集合中選出若干方向梯度圖像塊形成方向梯度特征學習的訓練集；
s52.設(shè)方向梯度圖像塊訓練集為
s53.初始化訓練集p中所有樣本的權(quán)重：w1,i＝1/n,i＝1,...,n；
s54.初始化迭代參數(shù)t＝1；
s55.為方向梯度圖像塊中的各矩形區(qū)域訓練弱分類器；
s56.計算每個弱分類器在訓練集p中所有樣本上的加權(quán)總誤差，挑選出使加權(quán)總誤差最小的弱分類器
其中hm表示基于訓練集p中方向梯度圖像塊的第m個矩形區(qū)域訓練得到的弱分類器，h表示所有矩形區(qū)域弱分類器的集合；δ(·)為指示函數(shù)，當其參數(shù)為真時函數(shù)值為1，否則函數(shù)值為0；
s57.計算
其中
s58.更新訓練集p中所有樣本的權(quán)重：
s59.令t＝t+1然后重復執(zhí)行步驟s55～s58，直至t>t；
s510.執(zhí)行完畢步驟s59后將訓練過程中選中的前r個弱分類器對應的矩形區(qū)域在方向梯度圖像塊中的位置進行輸出；
s511.方向區(qū)間g的方向梯度圖像塊集合中的各個方向梯度圖像塊按照步驟s510輸出的位置信息提取相應方向梯度圖像塊中的r個矩形區(qū)域；
s512.對各個方向區(qū)間的方向梯度圖像塊集合進行步驟s51～s511的操作，此時圖像區(qū)域中各個圖像塊對應的l個方向區(qū)間的方向梯度圖像塊都分別提取有r個矩形區(qū)域，計算每個矩形區(qū)域內(nèi)的梯度大小之和，最后圖像塊就可以用一個lr維的方向梯度特征向量表示；
(2).訓練級聯(lián)目標檢測器
s6.設(shè)定全局的假陽率ft及最小真陽率dmin，以及初始化級聯(lián)次數(shù)j＝1，初始化全局假陽率fj＝1.0，全局真陽率dj＝1.0；
s7.基于(1)中提取的方向梯度特征向量，為圖像區(qū)域中的每個圖像塊訓練弱分類器，以auc為收斂準則進行若干次boosting迭代，每次迭代挑選出一個最優(yōu)的弱分類器；
s8.采用gentleadaboost整合步驟s7選中的所有弱分類器得到強分類器hj(x)；
s9.利用hj(x)預測訓練集x中所有圖像區(qū)域的得分，并生成roc曲線；在roc曲線上查找使dj＝dmin的點(dj,fj)，其中dj表示真陽率，fj表示假陽率；
s10.令j＝j+1，然后更新fj、dj，fj+1＝fj×fj，,dj+1＝dj×dj；
s11.當fj>ft時，重復執(zhí)行步驟s7-s11；fj小于或等于ft時，輸出級聯(lián)目標檢測器；
(3).目標檢測
s12.使用多個窗口掃描可能包含目標的待檢測圖像，提取每個掃描窗口的方向梯度特征；
s13.采用訓練好的級聯(lián)目標檢測器對掃描窗口進行二分類檢測，輸出檢測到的結(jié)果。
在具體的實施過程中，所述步驟s2計算每個像素點梯度大小及方向的具體過程如下：
gp(p,q)＝h(p+1,q)-h(p-1,q)
gq(p,q)＝h(p,q+1)-h(p,q-1)
其中，gp(p,q)、gq(p,q)、h(p,q)分別表示像素點(p,q)水平方向的梯度大小、垂直方向的梯度大小和像素值；
利用以下公式計算像素點(p,q)的梯度大小g(p,q)和方向α(p,q)：
在具體的實施過程中，所述級聯(lián)目標檢測器為boosting級聯(lián)目標檢測器。
在具體的實施過程中，在進行目標檢測時，若一幅圖像中同一個目標被不同大小的窗口掃描并在二分類時都被判為候選目標的情況下，首先根據(jù)候選目標之間的相似度將所有候選目標劃分成多個不相交的子集；對每個子集，分別統(tǒng)計子集內(nèi)候選目標四個頂點的坐標的均值，輸出為該子集所對應的最終檢測結(jié)果框的四個頂點坐標。
在具體的實施過程中，所述步驟s7采用輸出為概率值的邏輯回歸函數(shù)作為弱分類器，其模型如下：
其中x表示圖像塊的lr維方向梯度特征向量，y為1或-1，當圖像塊所屬圖像區(qū)域包含目標時，y＝1，當圖像塊所屬圖像區(qū)域不含目標時，y＝-1，w是模型的權(quán)重向量，b是一個偏置項。
在具體的實施過程中，所述w、b通過最小化目標函數(shù)獲得，目標函數(shù)如下：
xi表示訓練集x中第i個圖像區(qū)域在該圖像塊處的方向梯度特征向量，yi是xi對應的類標，yi等于1或-1；λ是用于調(diào)節(jié)正則項重要性的參數(shù)，
實施例2
用實施例1的方法分別訓練了針對人臉(正面和半側(cè)面)、車輛(側(cè)視圖)和車標的級聯(lián)檢測器，并使用訓練好的檢測器進行了目標檢測實驗。
人臉級聯(lián)檢測器在訓練過程中收集了12102幅正面和半側(cè)面的人臉圖像，這些圖像主要來自genki、facetracer和feret三個公開數(shù)據(jù)集；收集了8000幅沒有人臉的圖像作為非目標圖像，這部分圖像主要來自caltech101和corel5k公開數(shù)據(jù)集。所有目標圖像統(tǒng)一歸一化為40×40像素大小，級聯(lián)目標檢測器中每個弱分類器訓練時，采用輪盤賭算法分別選擇1060個正樣本和負樣本構(gòu)成有效的訓練子集，式(11)的正則項選擇l1范數(shù)。級聯(lián)分類器的訓練在第6級收斂，用時僅3個小時。在相同的訓練集上，使用opencv提供的hogboosting模型訓練人臉檢測器，第20級才完成收斂，訓練時間長達2天，可見本發(fā)明提供的方法大大降低了訓練時間；另外嘗試了用常規(guī)的hog特征代替本發(fā)明所提出的基于學習的方向梯度特征進行訓練，也是在第6級收斂，但耗費了12個小時。在測試階段，從fddb數(shù)據(jù)庫中挑選了1385幅圖像(總共2178個正面和半側(cè)面的人臉)組成測試集，分別對三個人臉檢測器進行評估，檢測結(jié)果如表1所示。
表1基于三種方法訓練的人臉級聯(lián)檢測器檢測結(jié)果對比
從上述實驗結(jié)果可知，在基于學習的方向梯度特征上訓練得到的級聯(lián)檢測器檢測成功率比在常規(guī)hog特征上訓練得到的檢測器高1.9％，誤檢的數(shù)量也更少；而相比經(jīng)典的hogboosting模型，檢測成功率高出了3.3％。
在車輛級聯(lián)檢測器的訓練中，從pascalvoc2005數(shù)據(jù)庫(包括uiuc和ethz數(shù)據(jù)庫)和pascalvoc2007中收集了200幅車輛的側(cè)視圖作為目標圖像；非目標圖像來自caltech101和corel5k公開數(shù)據(jù)集，總共5000幅。所有目標圖像統(tǒng)一歸一化為80×32像素大小，使用的參數(shù)與人臉檢測器訓練過程一致。車輛級聯(lián)檢測器的訓練在第6級收斂，用時39分鐘。為了與文獻[1]提出的基于surf特征的boosting級聯(lián)檢測器的實驗結(jié)果進行對比，從pascalvoc2005的tugraz數(shù)據(jù)庫里抽取了200幅近似側(cè)視的車輛圖像作為測試集，對本發(fā)明方法訓練的檢測器進行評估，檢測結(jié)果如表2所示。
表2.基于兩種方法訓練的車輛級聯(lián)檢測器檢測結(jié)果對比
從實驗結(jié)果可以看到，在相同的數(shù)據(jù)集上，本發(fā)明的方法訓練的車輛級聯(lián)檢測器具有更高的檢測成功率，同時也保持著較低的誤檢率。
車標級聯(lián)檢測器訓練，主要針對27種類別的車輛標志，樣本絕大部分取自高速公路拍攝的車輛，少部分取自白天停車場，包括1155幅車標圖像，2587幅無車標的非目標圖像。級聯(lián)檢測器的訓練在第6級收斂，用時85分鐘；opencv所提供的經(jīng)典hogboosting模型訓練在第24級收斂，耗時超過2天。測試集由不同環(huán)境和光照條件下收集的4011幅含車標的圖像組成，檢測對比結(jié)果如表3所示。
表3.基于兩種方法訓練的車標級聯(lián)檢測器檢測結(jié)果對比
對比兩種方法對車標的訓練和檢測結(jié)果，可見本發(fā)明提出的方法，不僅在訓練速度上取得了絕對的優(yōu)勢，檢測成功率相比opencv中經(jīng)典的hogboosting模型也有較大的提升。
參考文獻：
[1]jianguoliandyiminzhang.learningsurfcascadeforfastandaccurateobjectdetection.incvpr,2013.
顯然，本發(fā)明的上述實施例僅僅是為清楚地說明本發(fā)明所作的舉例，而并非是對本發(fā)明的實施方式的限定。對于所屬領(lǐng)域的普通技術(shù)人員來說，在上述說明的基礎(chǔ)上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實施方式予以窮舉。凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進等，均應包含在本發(fā)明權(quán)利要求的保護范圍之內(nèi)。
- 還沒有人留言評論。精彩留言會獲得點贊！