專利名稱：基于混合式雙目視覺的障礙物檢測方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機視覺處理技術(shù)領(lǐng)域，特別涉及一種基于混合式雙目視覺的障礙物檢測方法及裝置。
背景技術(shù)：
在自然災(zāi)害頻發(fā)的今天，航空應(yīng)急救援以其快速有效的優(yōu)勢，成為世界各國應(yīng)急救援的重要組成部分。但對于復(fù)雜地空條件的飛行器安全帶來了一系列問題，在偏遠地區(qū)， GPS地位信號可能丟失；陌生環(huán)境，地理信息不足；極端惡劣天氣，場景信息不足。因此，對周圍環(huán)境的視覺感知，就成為目前低空飛行器，航空機器人的研究主題。19世紀(jì)70年代美國麻省理工的Marr將視覺理論應(yīng)用在雙目匹配上，用兩張有視差的平面圖獲得深度信息，這就奠定了雙目立體視覺發(fā)展的理論基礎(chǔ)。雙目立體視覺一經(jīng)提出，就在三維建模、目標(biāo)識別、地形測量等方面長足發(fā)展，廣泛應(yīng)用到軍事裝備、工業(yè)測量、航空航天設(shè)備等諸多領(lǐng)域。通過雙目視覺測量技術(shù)，實現(xiàn)了機器人視覺像人一樣，能實時分析周圍環(huán)境的信息，檢測避讓障礙物，自主行動。特別是航空機器人一旦具有人眼的視覺功能，就可以在未知環(huán)境中，實時感知重構(gòu)分析未知環(huán)境，完成自主飛行和執(zhí)行任務(wù)。目前，雙目立體視覺已經(jīng)成為計算機視覺處理的一個研究熱點，是基于人眼雙目視差模式，通過匹配尋找出雙目圖像中的同一場景，計算該空間場景在不同圖像中的對應(yīng)關(guān)系，獲得該點的三維坐標(biāo)值。然而，一旦場景周圍存在障礙物，現(xiàn)有方法將很難做到精確定位和導(dǎo)航，可能導(dǎo)致事故的發(fā)生，因此，對于低空復(fù)雜飛行環(huán)境而言，如何精確地檢測出障礙物的位置和形狀以實現(xiàn)對空中飛行器的定位和導(dǎo)航是一個亟待解決的問題。
發(fā)明內(nèi)容
本發(fā)明旨在至少解決上述技術(shù)問題之一。為此，本發(fā)明的一個目的在于提出一種基于混合式雙目視覺的障礙物檢測方法。 該方法具有對障礙物的距離和形狀判斷準(zhǔn)確，計算復(fù)雜度低，檢測效率高的優(yōu)點。本發(fā)明的另一目的在于提出一種基于混合式雙目視覺的障礙物檢測裝置。為了實現(xiàn)上述目的，本發(fā)明第一方面實施例提出的基于混合式雙目視覺的障礙物檢測方法，包括以下步驟采集場景的左視圖和右視圖，其中，所述左視圖為可見光圖像，所述右視圖為近紅外圖像；分別對所述左視圖和右視圖進行顯著性計算以得到與所述左視圖對應(yīng)的可見光顯著性圖和與所述右視圖對應(yīng)的近紅外顯著性圖；分別對所述可見光顯著性圖和所述近紅外顯著性圖進行顯著性均值比較，并根據(jù)比較結(jié)果確定出所述左視圖和所述右視圖中的障礙物區(qū)域；對所述左視圖的障礙物區(qū)域和所述右視圖的障礙物區(qū)域進行匹配以在所述左視圖和所述右視圖中確定出最終障礙物區(qū)域；和對所述最終障礙物區(qū)域進行視差計算以確定障礙物距離采集點的距離，并對所述障礙物區(qū)域進行邊緣匹配以確定所述障礙物的形狀。
本發(fā)明第二方面實施例提出的基于混合式雙目視覺的障礙物檢測裝置，包括圖像采集裝置，所述圖像采集裝置用于采集場景的左視圖和右視圖，其中，所述左視圖為可見光圖像，所述右視圖為近紅外圖像；顯著性圖像獲取模塊，用于對所述左視圖和右視圖進行顯著性計算以得到與所述左視圖對應(yīng)的可見光顯著性圖和與所述右視圖對應(yīng)的近紅外顯著性圖；障礙物區(qū)域確定模塊，用于對所述可見光顯著性圖和所述近紅外顯著性圖進行顯著性均值比較，并根據(jù)比較結(jié)果分別確定出所述左視圖和所述右視圖中的障礙物區(qū)域；最終障礙物區(qū)域確定模塊，用于對所述左視圖的障礙物區(qū)域和所述右視圖的障礙物區(qū)域進行匹配以在所述左視圖和所述右視圖中確定出最終障礙物區(qū)域；和障礙物定位模塊，用于對所述最終障礙物區(qū)域進行視差計算以確定障礙物距離采集點的距離，并對所述障礙物區(qū)域進行邊緣匹配以確定所述障礙物的形狀。根據(jù)本發(fā)明的實施例能夠準(zhǔn)確地檢測到障礙物的距離和形狀，且只對左右視圖中少部分區(qū)域進行匹配分析，有效降低計算復(fù)雜度，檢測效率高。進而能夠為飛行器等設(shè)備提供精確的定位和導(dǎo)航。本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。
本發(fā)明的上述和/或附加的方面和優(yōu)點從結(jié)合下面附圖對實施例的描述中將變得明顯和容易理解，其中圖1為本發(fā)明實施例的基于混合式雙目視覺的障礙物檢測方法的流程圖；圖2A-2B分別為通過本發(fā)明實施例采集到的一個左視圖和右視圖；圖3A-;3B分別為圖2A-2B所示左視圖和右視圖對應(yīng)的可見光顯著性圖和近紅外顯著性圖；圖4A-4B為應(yīng)用本發(fā)明實施例的方法在圖2A-2B中劃分出左視圖和右視圖對應(yīng)的障礙物區(qū)域示意圖；圖5A-5B為應(yīng)用本發(fā)明實施例的方法對圖4A-4B所示障礙物區(qū)域進行匹配后得到的最終障礙物區(qū)域示意圖；以及圖6為本發(fā)明實施例的基于混合式雙目視覺的障礙物檢測裝置的結(jié)構(gòu)圖。
具體實施例方式下面詳細(xì)描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。在本發(fā)明的描述中，需要理解的是，術(shù)語“中心”、“縱向”、“橫向”、“上”、“下”、“前”、 “后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”、“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對本發(fā)明的限制。此外，術(shù)語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性。
本發(fā)明的基本原理為基于可見光與近紅外混合式雙目視覺的低空飛行器障礙物檢測，利用可見光與近紅外光譜圖像的相互關(guān)系，分別提取顯著性區(qū)域，獲得障礙物區(qū)域， 通過近紅外圖像與可見光譜圖像中強度圖像的相似性，找到特征點，匹配出障礙物區(qū)域，根據(jù)三角關(guān)系計算出障礙物的大致位置。同時，根據(jù)障礙物的形狀特性，選擇具有簡單有效的避讓方式。為了對本發(fā)明的上述原理有更加深刻的理解，下面結(jié)合附圖對本發(fā)明的原理做詳細(xì)描述。如圖1所示，為本發(fā)明實施例的基于混合式雙目視覺的障礙物檢測方法的流程圖。根據(jù)本發(fā)明實施例的基于混合式雙目視覺的障礙物檢測方法，包括以下步驟步驟S101，采集場景的左視圖和右視圖，其中，所述左視圖為可見光圖像，所述右視圖為近紅外圖像。例如，通過混合式雙目視覺(場景的左視圖和右視圖)采集系統(tǒng)采集場景的左右視圖。該采集系統(tǒng)為左右視角分別采用可見光和近紅外光譜成像設(shè)備，具體成像設(shè)備可采用平行光軸成像。如目前一般的硅CCD都可感應(yīng)近紅外波段，所以可以用濾除可見光剩近紅外的濾光鏡加載在一般黑白相機前面實現(xiàn)近紅外圖像的采集。本發(fā)明的一個實施例以GRAS-50S5C-C作為彩色相機采集左視圖，以濾光鏡(濾除可見光剩近紅外)加在GRAS-50S5M-C鏡頭前作為近紅外相機采集右視圖。參見圖2A-2B 所示，為通過該實施例的采集設(shè)備得到的左視圖(圖2A)和右視圖(圖2B)。步驟S102，分別對所述左視圖和右視圖進行顯著性計算以得到與所述左視圖對應(yīng)的可見光顯著性圖和與所述右視圖對應(yīng)的近紅外顯著性圖。通俗地講，對于計算可見光顯著性圖而言，因為可見光圖像具有豐富的顏色信息， 因此可根據(jù)其估計出當(dāng)前實時采集圖像中相對于背景較為突出的顏色區(qū)域作為近似人眼的顯著性圖，記為Sv，進而區(qū)分出可見光圖像中的顯著性區(qū)域當(dāng)作可能的障礙物區(qū)域，記為 Rv。具體而言，通過以下方式計算可見光顯著性圖通過高斯差分濾波對所述左視圖進行平滑處理。接著將平滑處理后的左視圖變換為基于Lab顏色模型的左視圖，即將圖像變換到更加符合人類視覺規(guī)律的LH顏色空間。最后根據(jù)所述基于Lab顏色模型的左視圖的L分量、a分量和b分量的顏色均值計算得到所述可見光顯著性圖，即根據(jù)在LH顏色空間下，各個分量對于顏色均值得變化作為顏色顯著性分量，計算最終的顏色顯著性圖。在該實施例中，L分量、a分量和b分量的顏色均值分別通過如下公式得到
權(quán)利要求
1.一種基于混合式雙目視覺的障礙物檢測方法，其特征在于，包括以下步驟采集場景的左視圖和右視圖，其中，所述左視圖為可見光圖像，所述右視圖為近紅外圖像；分別對所述左視圖和右視圖進行顯著性計算以得到與所述左視圖對應(yīng)的可見光顯著性圖和與所述右視圖對應(yīng)的近紅外顯著性圖；分別對所述可見光顯著性圖和所述近紅外顯著性圖進行顯著性均值比較，并根據(jù)比較結(jié)果確定出所述左視圖和所述右視圖中的障礙物區(qū)域；對所述左視圖的障礙物區(qū)域和所述右視圖的障礙物區(qū)域進行匹配以在所述左視圖和所述右視圖中確定出最終障礙物區(qū)域；和對所述最終障礙物區(qū)域進行視差計算以確定障礙物距離采集點的距離，并對所述障礙物區(qū)域進行邊緣匹配以確定所述障礙物的形狀。
2.根據(jù)權(quán)利要求1所述的基于混合式雙目視覺的障礙物檢測方法，其特征在于，還包括對所述障礙物的距離和形狀進行分析以確定所述障礙物的寬占優(yōu)和高占優(yōu)。
3.根據(jù)權(quán)利要求1所述的基于混合式雙目視覺的障礙物檢測方法，其特征在于，所述對左視圖進行顯著性計算以得到可見光顯著性圖，進一步包括通過高斯差分濾波對所述左視圖進行平滑處理；將平滑處理后的左視圖變換為基于Lab顏色模型的左視圖；根據(jù)所述基于Lab顏色模型的左視圖的L分量、a分量和b分量的顏色均值計算得到所述可見光顯著性圖。
4.根據(jù)權(quán)利要求3所述的基于混合式雙目視覺的障礙物檢測方法，其特征在于，其中， 所述L分量、a分量和b分量的顏色均值分別通過如下公式得到
5.根據(jù)權(quán)利要求1所述的基于混合式雙目視覺的障礙物檢測方法，其特征在于，所述對右視圖進行顯著性計算以得到近紅外顯著性圖，進一步包括將所述右視圖分割成互不相交的由7*7像素點構(gòu)成的多個分割塊p，并以所述每個分割塊中的中心像素點的像素值作為其所在分割塊的像素值；根據(jù)不同分割塊的像素值之間的距離與像素位置之間的距離，比較不同分割塊的相異性，其中不同分割塊的像素值之間的距離為以每個分割塊按列組成像素矢量間的歐式距離dv(Pi，Pj)，所述像素位置之間的距離為以不同中心像素點之間的坐標(biāo)的歐式距離dp(Pi， Pj)，其中Pi和P」為不同的分割塊；通過選取與所述右視圖中當(dāng)前像素點最接近的K個像素點計算所述當(dāng)前像素點的顯著性，循環(huán)執(zhí)行直至得到所述近紅外顯著性圖，其中K = 30。
6.根據(jù)權(quán)利要求5所述的基于混合式雙目視覺的障礙物檢測方法，其特征在于，所述相異性通過如下公式得到
7.根據(jù)權(quán)利要求1所述的基于混合式雙目視覺的障礙物檢測方法，其特征在于，分別對所述可見光顯著性圖和所述近紅外顯著性圖進行顯著性均值比較，并根據(jù)比較結(jié)果分別確定出所述左視圖和所述右視圖中的障礙物區(qū)域，進一步包括對所述可見光顯著性圖和所述近紅外顯著性圖進行顯著性均值比較； 根據(jù)比較結(jié)果分別對所述可見光顯著性圖和所述近紅外顯著性圖進行圖像分割以獲得所述左視圖和所述右視圖中的障礙物區(qū)域。
8.根據(jù)權(quán)利要求1所述的基于混合式雙目視覺的障礙物檢測方法，其特征在于，對所述障礙物區(qū)域進行邊緣匹配以確定所述障礙物的形狀，進一步包括將所述左視圖變換為基于RGB顏色模型的左視圖；將所述基于RGB顏色模型的左視圖變換到HVS空間上，提取V分量，并對所述V分量的邊緣特征進行匹配以得到所述障礙物的形狀。
9.一種基于混合式雙目視覺的障礙物檢測裝置，其特征在于，包括圖像采集裝置，所述圖像采集裝置用于采集場景的左視圖和右視圖，其中，所述左視圖為可見光圖像，所述右視圖為近紅外圖像；顯著性圖像獲取模塊，用于對所述左視圖和右視圖進行顯著性計算以得到與所述左視圖對應(yīng)的可見光顯著性圖和與所述右視圖對應(yīng)的近紅外顯著性圖；障礙物區(qū)域確定模塊，用于對所述可見光顯著性圖和所述近紅外顯著性圖進行顯著性均值比較，并根據(jù)比較結(jié)果分別確定出所述左視圖和所述右視圖中的障礙物區(qū)域；最終障礙物區(qū)域確定模塊，用于對所述左視圖的障礙物區(qū)域和所述右視圖的障礙物區(qū)域進行匹配以在所述左視圖和所述右視圖中確定出最終障礙物區(qū)域；和障礙物定位模塊，用于對所述最終障礙物區(qū)域進行視差計算以確定障礙物距離采集點的距離，并對所述障礙物區(qū)域進行邊緣匹配以確定所述障礙物的形狀。
10.根據(jù)權(quán)利要求9所述的基于混合式雙目視覺的障礙物檢測裝置，其特征在于，所述顯著性圖像獲取模塊對左視圖進行顯著性計算以得到可見光顯著性圖，包括通過高斯差分濾波對所述左視圖進行平滑處理；將平滑處理后的左視圖變換為基于Lab顏色模型的左視圖；根據(jù)所述基于Lab顏色模型的左視圖的L分量、a分量和b分量的顏色均值計算得到所述可見光顯著性圖。
11.根據(jù)權(quán)利要求10所述的基于混合式雙目視覺的障礙物檢測裝置，其特征在于，其中，所述L分量、a分量和b分量的顏色均值分別通過如下公式得到
12.根據(jù)權(quán)利要求9所述的基于混合式雙目視覺的障礙物檢測裝置，其特征在于，所述顯著性圖像獲取模塊對右視圖進行顯著性計算以得到近紅外顯著性圖，包括將所述右視圖分割成互不相交的由7*7像素點構(gòu)成的多個分割塊p，并以所述每個分割塊中的中心像素點的像素值作為其所在分割塊的像素值；根據(jù)不同分割塊的像素值之間的距離與像素位置之間的距離，比較不同分割塊的相異性，其中不同分割塊的像素值之間的距離為以每個分割塊按列組成像素矢量間的歐式距離dv(Pi，Pj)，所述像素位置之間的距離為以不同中心像素點之間的坐標(biāo)的歐式距離dp(Pi， Pj)，其中Pi和P」為不同的分割塊；通過選取與所述右視圖中當(dāng)前像素點最接近的K個像素點計算所述當(dāng)前像素點的顯著性，循環(huán)執(zhí)行直至得到所述近紅外顯著性圖，其中K = 30。
13.根據(jù)權(quán)利要求12所述的基于混合式雙目視覺的障礙物檢測裝置，其特征在于，所述相異性通過如下公式得到
14.根據(jù)權(quán)利要求9所述的基于混合式雙目視覺的障礙物檢測裝置，其特征在于，所述障礙物區(qū)域確定模塊用于對所述可見光顯著性圖和所述近紅外顯著性圖進行顯著性均值比較；并根據(jù)比較結(jié)果分別對所述可見光顯著性圖和所述近紅外顯著性圖進行圖像分割以獲得所述左視圖和所述右視圖中的障礙物區(qū)域。
15.根據(jù)權(quán)利要求9所述的基于混合式雙目視覺的障礙物檢測裝置，其特征在于，所述障礙物定位模塊用于將所述左視圖變換為基于RGB顏色模型的左視圖；并將所述基于RGB 顏色模型的左視圖變換到HVS空間上，提取V分量，并對所述V分量的邊緣特征進行匹配以得到所述障礙物的形狀。
全文摘要
本發(fā)明提出一種基于混合式雙目視覺的障礙物檢測方法及裝置，該方法包括以下步驟采集場景的左視圖和右視圖，左視圖為可見光圖像，右視圖為近紅外圖像；獲得左右視圖的可見光顯著性圖和近紅外顯著性圖；對可見光顯著性圖和近紅外顯著性圖進行顯著性均值比較，分別確定出左右視圖中的障礙物區(qū)域；對左視圖的障礙物區(qū)域和右視圖的障礙物區(qū)域進行匹配以確定出最終障礙物區(qū)域；對最終障礙物區(qū)域進行分析得到障礙物的距離和形狀。本發(fā)明的實施例能夠準(zhǔn)確地檢測到障礙物的距離和形狀，且只對左右視圖中少部分區(qū)域進行匹配分析，有效降低計算復(fù)雜度，檢測效率高。
文檔編號G01C11/36GK102435174SQ20111034003
公開日2012年5月2日 申請日期2011年11月1日 優(yōu)先權(quán)日2011年11月1日
發(fā)明者戴瓊海, 羅曉燕 申請人:北京航空航天大學(xué), 清華大學(xué)