立體視覺主動安全輔助駕駛方法

專利名稱：立體視覺主動安全輔助駕駛方法
技術(shù)領(lǐng)域：
本發(fā)明屬于汽車輔助駕駛領(lǐng)域，涉及ー種基于立體視覺技術(shù)的主動安全式輔助駕駛方法。該主動安全式輔助駕駛系統(tǒng)綜合利用光機電信息技木，由立體視覺子系統(tǒng)、圖像快速處理子系統(tǒng)以及安全輔助駕駛子系統(tǒng)組成，包括兩臺高分辨率CXD攝像機、環(huán)境光照度傳感器、雙通道視頻采集卡、同步控制器、數(shù)據(jù)傳輸電路、供電電路、圖像快速處理算法庫、語音提醒模塊、屏幕顯示模塊以及主動安全駕駛控制模塊等。在光照比較充分的睛天下，在車輛行駛過程中，本發(fā)明通過雙目立體相機系統(tǒng)獲取行駛方向上目標(biāo)的可見光影像，在陰天、黑夜、雨雪、大霧等惡劣的天氣條件下，通過圖像增強算法實現(xiàn)清晰路況影像的獲取，并通過雙通道視頻采集卡將圖像信息和同步環(huán)境光照度信息送至圖像快速處理子系統(tǒng)，然后在圖像快速處理算法的支持下，首先對分道線的實時檢測，再綜合運用圖像快速處理算法，實時準確地在圖像中識別出前方車輛、自行車、行人等危險目標(biāo)的相對距離、相対速度和相對加速度等參數(shù)，并將結(jié)果圖像輸入到車載顯示器上，供駕駛者觀察使用，同時通過語音提示駕駛員就當(dāng)前路面情況應(yīng)采取的應(yīng)對措施，危急情況下實現(xiàn)自動減速和緊急剎車，全天候地保證行車安全。
背景技術(shù)：
隨著社會經(jīng)濟的高速發(fā)展與城市規(guī)模的迅速擴大，交通需求日益増加，交通運輸業(yè)的高速發(fā)展一方面促進了物資流通、大大縮短了人們的出行時間、提高了工作效率，另ー方面也帶來了許多嚴峻的交通問題。交通阻塞、交通事故頻發(fā)、交通環(huán)境不斷惡化不僅破壞道路運輸?shù)倪B續(xù)性，導(dǎo)致交通擁堵，而且危及國家和人民的生命財產(chǎn)安全。在近年來發(fā)生的多起交通事故中，夜間或者陰天情況下所發(fā)生的事故尤為嚴重。據(jù)高速公路交通事故統(tǒng)計，夜間交通事故次數(shù)雖然僅占交通事故總數(shù)的40%左右，但死亡事故約占整個事故的60%。造成夜間行車危險的因素主要有兩個，一是視覺因素，因為光線問題，視覺上的一些盲區(qū)使得夜間行車會給駕駛帶來ー些困難，視線不良、路界不清，常使車輛偏離正常運動軌跡或遇到意外情況采取措施不及。這是夜間交通事故發(fā)生的主要原因。ニ是生理因素，夜間是駕駛員生理條件最差的時候，容易疲勞，視カ降低，對速度和距離的判斷不準確，注意力不集中。另外由于不能見到道路兩旁的景觀，對駕駛員興奮性刺激物小，最易產(chǎn)主駕駛疲勞，駕駛員稍有不慎就會釀成嚴重的交通事故。因此，解決夜間交通事故頻繁發(fā)生的問題迫在眉睫。安全，是現(xiàn)代汽車學(xué)上最重要的議題。為了維持汽車消費者的安全，讓其獲得最佳的保障，安全設(shè)計已成為現(xiàn)代汽車設(shè)計之中最重要的ー環(huán)，安全配備的成本，亦在汽車生產(chǎn)的比重之中越來越高。汽車安全設(shè)備有主動安全與被動安全配備之分，主要是以發(fā)生意外時的撞擊作為區(qū)分。所謂的被動安全裝置，則是在車禍意外發(fā)生，車輛已經(jīng)失控的狀況之下，對于乘坐人員進行被動的保護作用，希望透過固定裝置，讓車室內(nèi)的乘員，固定在安全 的位置，并利用結(jié)構(gòu)上的導(dǎo)引與潰縮，盡量吸收撞擊的力量，確保車室內(nèi)乘員的安全。主動安全配備是指發(fā)生撞擊之前所做動的輔助裝置。這些裝置在車輛接近失控時便會開始作動，以各種方式介入駕駛的動作，希望能利用機械及電子裝置，保持車輛的操控狀態(tài)，全力讓駕駛?cè)四軌蚧謴?fù)對于車輛的控制，避免車禍意外的發(fā)生。為了減少日益增長的交通事故以及避免駕駛員因素所帯來的交通事故，減輕駕駛員的操作強度，汽車主動安全輔助駕駛技術(shù)的研究受到各國的普遍關(guān)注，并投入了大量的人力、物力和財カ進行系統(tǒng)的研究開發(fā)，以提高汽車的安全性。汽車安全輔助駕駛技術(shù)是利用傳感器技術(shù)、信號處理技術(shù)、通訊技術(shù)、計算機技術(shù)等，辨識車輛所處的環(huán)境和狀態(tài)，井根據(jù)各傳感器得到的信息做出分析和判斷，或者給司機發(fā)出勸告和報警信息，提醒司機注意規(guī)避危險；或者在緊急情況下，幫助司機操作車輛，防止事故的發(fā)生，使車輛進入ー個安全的狀態(tài)；或者代替駕駛員的操作，實現(xiàn)車輛運行的自動化。從道路交通事故的成因來看，駕駛員是導(dǎo)致交通事故的主要因素，而行人是在交通事故中主要的受害群體。在日本,行人傷亡人數(shù)約占整個交通事故傷亡總數(shù)的27% ;在歐洲，毎年因車輛與行人或騎自行車人發(fā)生碰撞事故而導(dǎo)致約9，000人死亡，200，000人受 傷。我國的道路交通數(shù)量、死亡人數(shù)以及萬車死亡率均排在世界的第一位，而且交通事故中死亡人數(shù)與受傷人數(shù)之比偏高，2004年我國萬車死亡率為9. 2，而發(fā)達國家的萬車死亡率在I. 2 5. 9之間。由于行人是道路交通的主要參與者，為了有效地保護行人的安全，開展車輛前方行人的檢測，及時告知駕駛員車輛前方行人的存在，并進行安全預(yù)警，對減少或避免車輛與行人發(fā)生碰撞事故有著重大的意義，并且具有潛在的經(jīng)濟價值和廣泛的應(yīng)用前
旦
-5^ O本項目就是在這樣的背景下，以主動安全輔助駕駛技術(shù)為突破口，重點突破車載組合立體視覺各項關(guān)鍵技術(shù)，在城市街道、高速公路和標(biāo)準高等級公路，在睛天、陰天、黑夜、雨雪、大霧等惡劣的天氣條件下也能實現(xiàn)保持安全車道、安全車速、安全車距等全天候輔助安全駕駛功能。國內(nèi)外現(xiàn)狀檢測在行駛的環(huán)境中本車的潛在危險物，主要是通過傳感器采集車行駛的前、后、左、右的環(huán)境信息，傳遞到中央控制器，中央控制器采用多傳感器信息融合技術(shù)，判斷出四周環(huán)境信息中是否存在潛在危險物，并跟蹤潛在危險物，實時檢測距離，再根據(jù)不同的天氣、自車車型、不同相対速度、相對加速度來輔助駕駛員判斷汽車安全行駛，這種系統(tǒng)也稱為汽車安全輔助系統(tǒng)、汽車防撞系統(tǒng)，還有汽車主動安全預(yù)警系統(tǒng)。研究現(xiàn)狀主要有(I)美國在20世紀70年代，美國將注意力放在了道路上，把數(shù)千萬美元投入到先進的車路系統(tǒng)上。近年來，隨著ITS體系的確立、發(fā)展和完善，美國加強了智能車輛技術(shù)尤其是安全保障技術(shù)的應(yīng)用研究。美國交通部在上個世紀末開始了ー項5年計劃，投入3500萬美元與通用汽車公司合作開發(fā)了一種汽車前后方防撞系統(tǒng)。美國的IVI計劃與通用汽車公司合作研究開發(fā)ー套自動碰撞預(yù)警與防止的實驗系統(tǒng)。目前，美國已有超過5萬套碰撞預(yù)警系統(tǒng)用于重型車輛。戴姆勒.克萊斯勒公司研發(fā)汽車防撞器主要是兩個測距儀和ー個影像系統(tǒng)，能夠測出安全距離，如果發(fā)現(xiàn)車前有障礙物，計算機能夠自動引發(fā)剎車裝置。沃爾沃公司在轎車上加裝了夜視儀，夜視儀能夠顯示前燈照射距離以外的物體，顯示車的前照燈與車前障礙物的距離，提示司機剎車。(2)日本
日本于2003年在全國范圍內(nèi)開始實施Smartway示范計劃，預(yù)計到2015年建成。該計劃中提供諸如車道保持、十字路ロ防撞、行人避讓和車距保證等。同吋，日本非常關(guān)注技術(shù)帶來的近期的實利，將安全保障技術(shù)逐步添加到汽車上，使汽車逐步智能化。根據(jù)日本交通部關(guān)于21世紀先進安全車項目要求，日本各汽車生產(chǎn)企業(yè)正在發(fā)展具有良好的主動安全性和被動安全性的先進安全車。據(jù)稱，開發(fā)這種車的主要目的是避免車輛事故的發(fā)生和減少傷害程度，主要技術(shù)措施是大量使用先進的安全預(yù)警系統(tǒng)。例如，三菱公司計劃用兩個激光掃描雷達、幾個攝像機和6個方向上的被動光束傳感器來幫助駕駛員確認碰撞危險。馬自達公司利用激光掃描雷達和超聲波傳感器檢測前方是否有行人或在斜角方向是否有駛來的車輛。日產(chǎn)公司也已投產(chǎn)ー種新型防撞雷達裝置，當(dāng)汽車與前面的車輛接近速度太快時，安裝于車前方的激光發(fā)射器和激光傳感器以及與變速器相連的速度傳感器會通過駕駛室里的顯示裝置提醒司機注意。本田公司開發(fā)了一種新的電腦雷達系統(tǒng)，它可以在撞車事故之前以輕微的剎車和安全帶的扭動 對司機提出警告。(3)歐洲在歐洲，德國、法國、意大利等國家也正在積極地進行安全保障技術(shù)的研究開發(fā)。歐洲開放基金的研究集中在駕駛員的監(jiān)測、道路環(huán)境的感知、視覺增強、前車距控制以及傳感器融合方面。歐洲委托基金正在支持縱向和側(cè)向防撞研究。歐盟委員會日前決定，從2005年下半年開始，將在歐盟國家實行汽車安裝防撞雷達，并使用全歐洲統(tǒng)ー的專門頻帯，以從技術(shù)上確保這種短距離雷達不受干擾，從而提高公路交通安全。德國大眾汽車公司研制的“特定車道障礙物預(yù)警系統(tǒng)”能預(yù)報逆向行駛的車輛對自己超車是否構(gòu)成危險。該系統(tǒng)由激光測距傳感器和影像系統(tǒng)共同監(jiān)視車輛前方道路情況，在測量出車輛前部至障礙物的距離基礎(chǔ)上，車載計算機計算出相對接近車輛的行駛速度，從而可以預(yù)報逆行車量對自己是否構(gòu)成危險。奧迪實驗車上裝有先進的“停/走”系統(tǒng)(StopAnd Go)，即近距雷達。近距雷達擁有8只眼睛，捜索半徑為30米，駕駛這種汽車的人將會感到更加舒適、更加安全。(4)中國國內(nèi)起步較晚，我國的汽車廠商如長春ー汽、上海大眾、武漢ニ汽以及ー些科研院所如交通部科學(xué)研究所、武漢汽車研究所、清華大學(xué)汽車系、北京理工大學(xué)機械系、西安交通大學(xué)人機所、吉林大學(xué)、長安大學(xué)也做了一些開發(fā)和研究。國家計委、經(jīng)貿(mào)委的產(chǎn)業(yè)計劃以及科技部的計劃都沒有涉及此方面內(nèi)容。但汽車自動防撞器技術(shù)已經(jīng)引起了各方面重視，媒體積極介紹國外情況，政府官員以及科研人員積極跟蹤國外發(fā)展?fàn)顟B(tài)。新聞報道和申請專利的有中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所的毫米波汽車防撞系統(tǒng)，浙江鎮(zhèn)江通訊廣播設(shè)備廠自行研制的汽車雷達防撞及智能控制系統(tǒng)，江蘇賽博電子有限公司研制的防撞雷達系統(tǒng)北京凱瑞德圖像技術(shù)公司研制的汽車防追尾預(yù)警系統(tǒng)，重慶大學(xué)康弘科技公司研制的汽車防撞預(yù)警裝置，北京泰遠汽車自動防撞器制造有限公司開發(fā)的汽車自動防撞器，重慶安馳科技有限公司和重慶大學(xué)自動化學(xué)院導(dǎo)航制導(dǎo)研究所聯(lián)合開發(fā)的高速公路智能型汽車主動安全預(yù)警系統(tǒng)，已經(jīng)開發(fā)近十年時間，有樣機出現(xiàn)。技術(shù)發(fā)展趨勢 隨著光學(xué)儀器和嵌入式計算機技術(shù)的發(fā)展，在未來幾年內(nèi)，基于機器視覺的車載安全輔助駕駛系統(tǒng)將擔(dān)負起協(xié)助司機、“監(jiān)視”駕駛、監(jiān)控路況等重要職責(zé)?；跈C器視覺的車載安全輔助駕駛系統(tǒng)，由于概念清晰，技術(shù)先進，費用較低，且不需要對原有車輛內(nèi)部結(jié)構(gòu)進行改動等諸多優(yōu)點，具有很好的應(yīng)用前景。Bosch、Delphi、Hella、Siermens VDO和Valeo等知名大公司都在加緊這方面的研制。其中日產(chǎn)汽車開發(fā)的“復(fù)眼(Multifaceted Eyes) ”系統(tǒng)采用4個攝像頭將拍攝到的影像進行合成，然后顯示出從汽車上方俯視的畫面，由此駕駛者能夠清楚地觀察到汽車周圍的所有情況，幾乎沒有死角，停車操作也因此變得更容易、更安全；松下電器產(chǎn)業(yè)和三洋電機目前正在開發(fā)用于后方視野輔助的低價車載CCD攝像頭系統(tǒng)；本田公司在他們的Inspire、Accord、Legend車型中配備了 LDW車道識別系統(tǒng)；尼桑公司開發(fā)的車載監(jiān)控系統(tǒng)包括ー個放置于后視鏡上的攝像頭和一臺分析車輛位置和速度的嵌入式計算機，作為汽車選配；德國奔馳和寶馬公司研發(fā)了新型智能夜視輔助系統(tǒng)，利用紅外成像技術(shù)將150米遠處的行人、動物、路障等信息盡收眼底，對駕駛員進行語音提醒，以便其及早做出反應(yīng)；戴姆勒-克萊斯勒公司研發(fā)了基于視頻技術(shù)的車道識別系統(tǒng)。以上眾多廠家開發(fā)的基于機器視覺的車載安全輔助駕駛系統(tǒng)，或者針對白天光照好的情況下利用可見光成像進行路況監(jiān)測，或者利用紅外技術(shù)在汽車夜間行駛過程中監(jiān)視 前方目標(biāo)，因此都只能在単一的天氣情況下工作，使得其輔助駕駛功能受到限制，本項目研究并開發(fā)出的適合于白天、黑夜以及雨雪復(fù)雜天氣路況條件下對車輛、自行車及行人的快速全自動識別和定位技術(shù)的全天候立體視覺輔助駕駛系統(tǒng)，將彌補以上缺陷，帶給駕駛者全天候全方位全新的安全駕駛體驗，本發(fā)明g在推動中國汽車電子技術(shù)自主創(chuàng)新，最終實現(xiàn)中國汽車エ業(yè)技術(shù)的跨越式發(fā)展。

發(fā)明內(nèi)容
本發(fā)明是ー種立體視覺主動安全輔助駕駛方法，面向各類道路，如城市街道、標(biāo)準高等級公路和高速公路，在光照充分的睛天，以及陰天、黑夜、雨雪、大霧等惡劣的天氣條件下均能實現(xiàn)多項輔助駕駛功能。本系統(tǒng)采用可見光立體視覺監(jiān)測方案，硬件系統(tǒng)主要由兩架高分辨率CCD攝像機以及環(huán)境光照度傳感器共同組成的立體視覺子系統(tǒng)、圖像快速處理子系統(tǒng)以及安全輔助駕駛子系統(tǒng)等部分組成。本發(fā)明內(nèi)容包括I)立體視覺子系統(tǒng)(I)系統(tǒng)組成立體視覺子系統(tǒng)包括兩臺高分辨率C⑶攝像機、環(huán)境光照度傳感器、雙通道視頻采集卡、同步控制器、數(shù)據(jù)傳輸電路及供電電路組成。其中的電荷耦合器件(ChargeCoupled Device, (XD)是ー種半導(dǎo)體成像器件，具有讀取噪聲低、動態(tài)范圍大、響應(yīng)靈敏度高等優(yōu)點；高度集成化減小了 CCD傳感器的復(fù)雜性，具有體積小、重量輕、功耗低、壽命長、抗震動等優(yōu)點。CXD攝像機的工作方式為被攝物體的圖像經(jīng)過鏡頭聚焦至CXD芯片上，CXD根據(jù)光的強弱積累相應(yīng)比例的電荷，各個像素積累的電荷在視頻時序的控制下，逐點外移，經(jīng)濾波、放大處理后，形成視頻信號輸出。使用兩臺高分辨率CCD攝像機搭建立體視覺子系統(tǒng)既可以為實現(xiàn)前方危險目標(biāo)的三維空間信息解算提供硬件支撐，又可以擴大視場范圍，全面監(jiān)測路面信息。環(huán)境光照度傳感器，用于監(jiān)測環(huán)境光照度的變化，判斷車輛所處環(huán)境是否為睛天、陰天、黑夜、雨雪或大霧。同步控制器用于控制兩臺高分辨率C⑶攝像機透過前擋風(fēng)玻璃，同步采集車輛行駛前方的路況影像，以及同步采集環(huán)境光照度信息。在立體視覺子系統(tǒng)工作過程中，同步控制器控制兩臺CCD攝像機采集路況影像，路況影像與環(huán)境光照度信息一起通過數(shù)據(jù)傳輸電路，經(jīng)由雙通道視頻采集卡同步傳送到圖像快速處理子系統(tǒng)，經(jīng)過處理后傳輸?shù)杰囕d顯示屏上，駕駛員便可以看到與周圍環(huán)境及道路狀況相符的清晰圖像，供電電路為整個系統(tǒng)提供電カ供應(yīng)，實現(xiàn)立體視覺多源影像信息獲取。(2)系統(tǒng)標(biāo)定攝像機參數(shù)是連接攝像機圖像和三維景象的橋梁。攝像機的標(biāo)定是指通過實驗和計算的方法，確定攝像機成像模型中的各參數(shù)的過程。測定了這些參數(shù)，也就給定了在已確定的CCD攝像機中物點與像點間的變換關(guān)系。攝像機標(biāo)定的目的就是確定攝像機的參數(shù)，通過這些參數(shù)表示出成像系統(tǒng)中各個坐標(biāo)系統(tǒng)之間的相互位置關(guān)系，從而表示出圖像像素位置和道路場景點以及路面車輛、行人位置之間的關(guān)系，標(biāo)定的精度將直接影響輔助駕駛系統(tǒng)的整體精度。
立體視覺子系統(tǒng)的參數(shù)包括兩類，分別是內(nèi)部參數(shù)和外部參數(shù)。其中內(nèi)部參數(shù)是指表征立體視覺子系統(tǒng)特有的成像模型的參數(shù)，是由立體視覺子系統(tǒng)采用的CCD面陣和光學(xué)系統(tǒng)的固有特性所決定的，并且各個參數(shù)之間是相互獨立的；而外部參數(shù)是指表征立體視覺子系統(tǒng)在世界坐標(biāo)系中的位置的參數(shù)，是立體視覺子系統(tǒng)與世界坐標(biāo)系之間的變換關(guān)系，為識別行駛路線前方危險目標(biāo)的位置和姿態(tài)參數(shù)奠定基礎(chǔ)。所述標(biāo)定方法按照如下步驟進行a)立體視覺子系統(tǒng)標(biāo)定模板圖案為國際象棋棋盤圖案，成正方形，由黑白兩色17X17個正方形方格相間組成，每個方格的尺寸為30 (mm) X 30 (mm) ；b)使用立體視覺子系統(tǒng)從不同角度拍攝若干幅(> 15)的標(biāo)定模板平面的圖像；c)檢測圖像中的黒白方格頂點；d)求出標(biāo)定模板平面與其圖像平面之間單應(yīng)性矩陣；e)在令畸變系數(shù)為O的前提下，利用求出的單應(yīng)性矩陣計算攝像機的內(nèi)參數(shù)和外參數(shù)；f) We)中內(nèi)外參數(shù)為初始值，令畸變系數(shù)初始值為O,應(yīng)用Levenberg-Marquardt算法進行非線性最小優(yōu)化,從而得到ー組精度更高的攝像機內(nèi)參數(shù)值，同時計算出各項畸變系數(shù)；g)利用標(biāo)定出的左右攝像機參數(shù)計算立體子視覺系統(tǒng)的結(jié)構(gòu)參數(shù)。2)圖像快速處理子系統(tǒng)(I)日間和夜間工作模式通過分析環(huán)境光照度傳感器獲取的車輛周圍環(huán)境光照情況，圖像快速處理子系統(tǒng)可以自動選擇工作在日間或夜間工作模式。光照比較充分的睛天下，圖像快速處理子系統(tǒng)對視頻圖像進行去噪處理后，直接處理由立體視覺子系統(tǒng)提供的路況影像；在陰天、黑夜、雨雪、大霧等惡劣的天氣條件下，光照不足、雨雪霧顆粒導(dǎo)致立體視覺子系統(tǒng)獲取的路況影像噪聲多、對比度差，圖像快速處理子系統(tǒng)在對圖像進行去噪處理的基礎(chǔ)上，還要進行圖像增強處理。圖像增強的目的是將原來不清晰的圖像變得清晰或強調(diào)某些應(yīng)用中關(guān)注的特征，抑制非關(guān)注的特征，使之改善圖像質(zhì)量、豐富信息量，加強圖像判讀和識別效果。本發(fā)明根據(jù)輔助駕駛的需要，有目的地強調(diào)圖像中路面危險目標(biāo)局部特性，將圖像中原來不清晰的行駛前方分道線輪廓信息、機動車、自行車以及行人影像變得清晰，并強調(diào)對移動目標(biāo)特征的增強，擴大圖像中不同目標(biāo)特征之間的差別，抑制無明細變化的特征(例如天空區(qū)域、除分道線之外的路面區(qū)域)，使之改善圖像質(zhì)量、豐富信息量，加強圖像判讀和識別效果，滿足危險目標(biāo)位置和姿態(tài)分析的需要。所述圖像增強方法，將圖像看成一種ニ維信號，對其進行基于ニ維傅里葉變換的信號增強。先進行低通濾波(即只讓低頻信號通過)法，去掉圖中的噪聲；再進行高通濾波法，增強邊緣等高頻信號，使模糊的圖片變得清晰。進行灰度級校正、灰度變換和直方圖修正，擴大圖像動態(tài)范圍，擴展對比度，突出危險目標(biāo)的邊緣輪廓，便于目標(biāo)識別。保證本系統(tǒng)在自然光照不是很理想的情況比如黑夜、陰天、雨雪、大霧的情況下能夠更好排除環(huán)境影響，采集并恢復(fù)出清晰的路況影像。(2)路面危險目標(biāo)的識別車輛在公路上行駛，碰撞危險主要來自公路上行駛前方機動車、自行車和行人。特別是前方速度低于本車的車輛，而其中最危險的是處于同一車道上的車輛，此外，同一車道上的自行車和行人也對行車安全構(gòu)成威脅?；诖?，本發(fā)明首先識別出路面上分道線輪廓，由此對本車所處分道線進行定位；然后進行運動物體分割與識別，其目標(biāo)是同一車道上位于本車前方的車輛、自行車和行人；對于準確識別出的同車道前方的車輛、自行車和行人， 再根據(jù)計算出的相對距離、相対速度以及相對加速度信息，對駕駛員進行語音提示，并在緊急情況下進行自動減速和緊急剎車，避免碰撞。所述的路面危險目標(biāo)識別，首先是使用圖像處理算法進行分道線識別，根據(jù)道路邊緣及分道線進行檢測，通過對分道線或邊緣的識別來實現(xiàn)道路的檢測。所述方法根據(jù)路面的明顯路徑標(biāo)識線，通過攝像機動態(tài)攝取路面圖像，經(jīng)過計算機處理識別道路標(biāo)識線，并且車輛縱向軸線偏離標(biāo)識的距離以及與標(biāo)識線之間的夾角，所述方法具有更快的圖像處理速度和更好的控制實時性。所述的分道線識別方法為首先在本車道前方路面運用單位像素灰度等級數(shù)判別準則檢測分道線的底邊，然后根據(jù)找到的分道線底邊的車道寬度劃定ー個窗ロ區(qū)域，再在這個區(qū)域內(nèi)用Robinson邊緣檢測算子檢測分道線的邊緣，然后在次窗ロ區(qū)域內(nèi)檢測脈沖對以確定分道線的左右邊緣。如果只檢測到ー邊分道線的邊界，則平移窗ロ，再檢測另一邊。通過識別車道可以提取出以下信息車輛行駛的車道、車道延伸方向、車輛是否偏離航道和確定危險目標(biāo)的檢測區(qū)域。所述的危險目標(biāo)識別方法為確定本車所在分道線之后，以左右分道線為檢測范圍約束。以圖像處理方法識別前方車輛、自行車和行人等危險目標(biāo)，具體方法為首先在本車所在分道線的路面范圍內(nèi)，運用單位像素灰度等級數(shù)判別準則檢測危險目標(biāo)的底邊，然后根據(jù)找到的危險目標(biāo)底邊的寬度劃定ー個窗ロ區(qū)域，再在這個區(qū)域內(nèi)用Robinson邊緣檢測算子檢測危險目標(biāo)的邊緣，然后在次窗ロ區(qū)域內(nèi)檢測脈沖對以確定危險目標(biāo)的左右邊緣。如果只檢測到危險目標(biāo)ー邊的邊界，則平移窗ロ，再檢測另ー邊，實現(xiàn)危險目標(biāo)完整輪廓檢測。(3)路面危險目標(biāo)的位姿解算所述的路面危險目標(biāo)的位姿解算，是對確認為前方車輛、自行車和行人的危險目標(biāo)運用卡爾曼濾波進行跟蹤，實時解算前方危險目標(biāo)(包括車輛、自行車和行人)的位置和姿態(tài)變化，并根據(jù)解算出的危險目標(biāo)準確位置和姿態(tài)，計算其與本車的相對距離、相対速度和相對加速度，進行本車車速控制，防止碰撞發(fā)生。本車與前方危險目標(biāo)的相對距離、相対速度和相對加速度測算的過程實質(zhì)是在圖像預(yù)處理的基礎(chǔ)上，通過對ニ維圖像的理解，實現(xiàn)對道路環(huán)境及其上目標(biāo)的三維認知的過程。該過程需要在所述的分道線有效檢測與前方車輛、自行車和行人準確識別基礎(chǔ)上，使用雙目立體視覺三維信息提取方法，獲得前方車輛、自行車和行人的三維空間位置和姿態(tài)參數(shù)。雙目立體視覺(Binocular Stereo Vision)是機器視覺的ー種重要形式,它是基于視差原理并利用成像設(shè)備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應(yīng)點間的位置偏差，來獲取物體三維幾何信息的方法。本發(fā)明的立體視覺子系統(tǒng)由左右兩部CXD攝像機組成。如圖I所示，圖中分別以下標(biāo)I和r標(biāo)注左、右攝像機的相應(yīng)參數(shù)。世界空間中一點A(X，Y，Z)在左右攝像機的成像面Cl和Cr上的像點分別為al (ul, vl)和ar (ur, vr)。這兩個像點是世界空間中同一個對象點A的像，稱為“共軛點”。知道了這兩個共軛像點，分別作它們與各自相機的光心01和Or的連線，即投影線alOl和arOr，它們的交點即為世界空間中的對象點A(X，Y，Z)。這就是本發(fā)明的立體視覺子系統(tǒng)的基本成像原理。
所述的平行光軸的立體視覺子系統(tǒng)中(如圖2所示)，左右兩臺C⑶攝像機的焦距及其它內(nèi)部參數(shù)均相等，光軸與攝像機的成像平面垂直，兩臺攝像機的X軸重合，y軸相互平行，因此將左攝像機沿著其X軸方向平移一段距離b(稱為基線)后與右攝像機重合。由空間點A及左右兩攝像機的光心01、Or確定的極平面分別與左右成像平面Cl、Cr的交線pl、pr為共軛極線對，它們分別與各自成像平面的坐標(biāo)軸ul、ur平行且共線。在本發(fā)明的立體視覺子系統(tǒng)結(jié)構(gòu)形式中，左右攝像機配置的幾何關(guān)系最為簡單，極線已具有很好的性質(zhì)，為尋找對象點A在左右成像平面上的投影點al和ar之間的匹配關(guān)系提供了非常便利的條件。在車輛行駛過程中，立體視覺子系統(tǒng)實時采集路況影像信息，通過視差計算，得到全屏幕的視差圖像后，采用背景建模的方式，得到運動前景物體的視差圖像，再進行膨脹和腐蝕算法進行圖像預(yù)處理，得到完整的可供分析的前景運動物體視差圖。采用運動跟蹤算法，實時檢測路面車輛、自行車和行人等危險目標(biāo)的距離、運動軌跡，并與事先設(shè)置的規(guī)則(該規(guī)則與本車車型及天氣類型有關(guān)，例如本車型剎車制動距離以及雨天導(dǎo)致剎車距離延長等因素)進行對比，如果相對距離、相対速度、相対速度關(guān)系進入到設(shè)置的報警范圍內(nèi)，系統(tǒng)則對駕駛員進行語音提示；如果相對距離和相対速度關(guān)系進入到設(shè)置的危險范圍內(nèi)，系統(tǒng)則進行自動減速和緊急剎車。3)安全輔助駕駛子系統(tǒng)安全輔助駕駛子系統(tǒng)與汽車總線相連接，包括語音提醒模塊、屏幕顯示模塊、主動安全駕駛控制模塊。安全輔助駕駛子系統(tǒng)具備的功能包括(I)保持安全車道本發(fā)明可以實時檢測和識別分道線，具有航道偏離語音報警功能，可以及時提醒駕駛員糾正方向，防止車輛發(fā)生側(cè)翻、側(cè)面碰撞等事故。(2)保持安全車速駕駛；本發(fā)明具備同步實時測量駕駛前方機動車、自行車和行人等危險目標(biāo)的相対速度和相對加速度，可以更有效地實現(xiàn)汽車的智能巡航輔助駕駛，防撞輔助駕駛功能。(3)保持安全車距本發(fā)明對行駛前方危險目標(biāo)的輪廓檢測精度達到亞像素級，行駛前方危險目標(biāo)的相對距離解算精度優(yōu)于10cm，相對距離的解算時間優(yōu)于0. Is0對行駛中安全距離之內(nèi)危險目標(biāo)進行距離提示、智能語音提醒和危險情況報警，可以及時提醒駕駛員調(diào)整車速，防止車輛發(fā)生追尾、正面碰撞等類型的事故。


圖I為雙目立體視覺系統(tǒng)的基本成像原理圖。圖2為本發(fā)明的平行光軸的雙目立體視覺系統(tǒng)成像原理及同名像點匹配關(guān)系圖。
圖3為本發(fā)明實施例的安裝示意圖。其中包括(I)右攝像機，(2)左攝像機，(3)環(huán)境
光照傳感器，(4)雙通道視頻采集卡，(5)顯示屏，(6)系統(tǒng)中央處理器。
圖4為本發(fā)明的實施例的方法流程圖。
具體實施方式

本發(fā)明工作時，在光照充分，天氣狀況較好的情況下(例如睛天)，經(jīng)過標(biāo)定的兩架高分辨率CCD攝像機組成的立體相機，獲取汽車行進前方的機動車、自行車、行人等危險目標(biāo)的可見光影像，依據(jù)標(biāo)定得到的相機內(nèi)外方位元素解算出前方目標(biāo)的距離，語音提示駕駛員注意，危急時刻自動剎車。在光照充分的環(huán)境下，立體視覺子系統(tǒng)直接獲取行駛方向上目標(biāo)的可見光影像，在光照不充分的情況下(例如黑夜、陰天、雨雪和大霧天氣)，基于環(huán)境光照傳感器提供的參數(shù)，將立體視覺子系統(tǒng)獲取的路況影像通過圖像增強技術(shù)，在駕駛員視線受限的情況下，供駕駛員觀察，保證駕駛安全；獲取到路況影像和環(huán)境光照參數(shù)ー起通過雙通道視頻采集卡送至高速數(shù)字信號處理器，然后在高速圖像處理算法支持下，對可見光影像進行數(shù)據(jù)融合，以及相關(guān)的分析、處理，通過對道路的實時檢測，運用邊緣檢測、閾值分割等方法，實時、準確地在圖像中識別出分道線、前方車輛、自行車、行人等危險目標(biāo)的位置、距離、相対速度、相對加速度等參數(shù)，并根據(jù)這些參數(shù)提示駕駛員就當(dāng)前路面情況采取相應(yīng)的措施，進而保證行車安全，同時將識別出的目標(biāo)輪廓、聯(lián)合解算出的目標(biāo)距離，輸入到車載顯示器上，供駕駛者觀察使用。有益效果本發(fā)明在全天候情況下提供汽車主動安全輔助駕駛功能，具備以下能力(I)使用立體視覺系統(tǒng)，識別出車輛前進方向上的分道線信息，控制車輛在行駛中保持安全車道；(2)識別出車輛前進方向上的分道線、機動車、自行車、行人等危險目標(biāo)輪廓，快速解算出這些潛在危險目標(biāo)的距離，在行駛中保持安全車距；(3)快速解算出車輛前進方向上的機動車、自行車、行人的相対速度和相對加速度，在行駛中保持安全車速；(4)夜間工作模式下，通過圖像增強技術(shù)，在光照不好情況下實現(xiàn)輔助安全駕駛功倉^:。性能(I)本發(fā)明可實時檢測分道線信息，具備保持安全車道的功能，具有航道偏離語音報警功能，可以及時提醒駕駛員糾正方向，防止車輛發(fā)生側(cè)翻、側(cè)面碰撞等事故。(2)本發(fā)明的路況圖像采集速度> 15fps (幀/秒)，車輛相對距離解算精度優(yōu)于10cm，行駛前方危險目標(biāo)的輪廓檢測精度達到亞像素級，行駛前方危險目標(biāo)的相對距離解算時間< O. Is。
(3)本發(fā)明具備保持安全車距的功能對行駛中安全距離之內(nèi)危險目標(biāo)進行距離提示、智能語音提醒和危險 情況報警，可以及時提醒駕駛員調(diào)整車速，防止車輛發(fā)生追尾、正面碰撞等類型的事故。
權(quán)利要求
1.一種基于立體視覺技術(shù)的主動安全式輔助駕駛方法，其特征在于，主動安全式輔助駕駛系統(tǒng)由立體視覺子系統(tǒng)、圖像快速處理子系統(tǒng)以及安全輔助駕駛子系統(tǒng)組成，包括兩臺高分辨率CCD攝像機、環(huán)境光照度傳感器、雙通道視頻采集卡、同步控制器、數(shù)據(jù)傳輸電路、供電電路、圖像快速處理算法庫、語音提醒模塊、屏幕顯示模塊以及主動安全駕駛控制豐吳塊等。
2.根據(jù)權(quán)利要求I所述的主動安全式輔助駕駛方法，其特征在于，其立體視覺子系統(tǒng)包括兩臺高分辨率CXD攝像機、環(huán)境光照度傳感器、雙通道視頻采集卡、同步控制器、數(shù)據(jù)傳輸電路及供電電路組成。
3.根據(jù)權(quán)利要求2所述的立體視覺子系統(tǒng)，其特征在于，兩臺高分辨率CCD攝像機搭建的立體視覺子系統(tǒng)既可以為實現(xiàn)前方危險目標(biāo)的三維空間信息解算提供硬件支撐，又可以擴大視場范圍，全面監(jiān)測路面信息。環(huán)境光照度傳感器，用于監(jiān)測環(huán)境光照度的變化，判斷車輛所處環(huán)境是否為晴天、陰天、黑夜、雨雪或大霧。同步控制器用于控制兩臺高分辨率CXD攝像機透過前擋風(fēng)玻璃，同步采集車輛行駛前方的路況影像，以及同步采集環(huán)境光照度信息。在立體視覺子系統(tǒng)工作過程中，同步控制器控制兩臺CCD攝像機采集路況影像，路況影像與環(huán)境光照度信息一起通過數(shù)據(jù)傳輸電路，經(jīng)由雙通道視頻采集卡同步傳送到圖像快速處理子系統(tǒng)，經(jīng)過處理后傳輸?shù)杰囕d顯示屏上，駕駛員便可以看到與周圍環(huán)境及道路狀況相符的清晰圖像，供電電路為整個系統(tǒng)提供電力供應(yīng)，實現(xiàn)立體視覺多源影像信息獲取。
4.根據(jù)權(quán)利要求I所述的主動安全式輔助駕駛方法，其特征在于，其圖像快速處理子系統(tǒng)包括日間和夜間工作模式，夜間工作模式下，需對路況圖像進行圖像增強，具體方法為先進行低通濾波法，去掉圖中的噪聲；再進行高通濾波法，增強邊緣等高頻信號，使模糊的圖片變得清晰。進行灰度級校正、灰度變換和直方圖修正，擴大圖像動態(tài)范圍，擴展對比度，突出危險目標(biāo)的邊緣輪廓，便于目標(biāo)識別。保證本系統(tǒng)在自然光照不是很理想的情況比如黑夜、陰天、雨雪、大霧的情況下能夠更好排除環(huán)境影響，采集并恢復(fù)出清晰的路況影像。
5.根據(jù)權(quán)利要求I所述的主動安全式輔助駕駛方法，其特征在于，其圖像快速處理子系統(tǒng)的路面危險目標(biāo)的識別方法，首先是使用圖像處理算法進行分道線識別，根據(jù)道路邊緣及分道線進行檢測，通過對分道線或邊緣的識別來實現(xiàn)道路的檢測。所述方法根據(jù)路面的明顯路徑標(biāo)識線，通過攝像機動態(tài)攝取路面圖像，經(jīng)過計算機處理識別道路標(biāo)識線，并且車輛縱向軸線偏離標(biāo)識的距離以及與標(biāo)識線之間的夾角，所述方法具有更快的圖像處理速度和更好的控制實時性。
6.根據(jù)權(quán)利要求I所述的主動安全式輔助駕駛方法，其特征在于，其圖像快速處理子系統(tǒng)的分道線檢測方法為首先在本車道前方路面運用單位像素灰度等級數(shù)判別準則檢測分道線的底邊，然后根據(jù)找到的分道線底邊的車道寬度劃定一個窗口區(qū)域，再在這個區(qū)域內(nèi)用Robinson邊緣檢測算子檢測分道線的邊緣，然后在次窗口區(qū)域內(nèi)檢測脈沖對以確定分道線的左右邊緣。如果只檢測到一邊分道線的邊界，則平移窗口，再檢測另一邊。通過識別車道可以提取出以下信息車輛行駛的車道、車道延伸方向、車輛是否偏離航道和確定危險目標(biāo)的檢測區(qū)域。
7.根據(jù)權(quán)利要求I所述的主動安全式輔助駕駛方法，其特征在于，其圖像快速處理子系統(tǒng)的危險目標(biāo)識別方法為在確定本車所在分道線之后，以左右分道線為檢測范圍約束。以圖像處理方法識別前方車輛、自行車和行人等危險目標(biāo)，具體方法為首先在本車所在分道線的路面范圍內(nèi)，運用單位像素灰度等級數(shù)判別準則檢測危險目標(biāo)的底邊，然后根據(jù)找到的危險目標(biāo)底邊的寬度劃定一個窗口區(qū)域，再在這個區(qū)域內(nèi)用Robinson邊緣檢測算子檢測危險目標(biāo)的邊緣，然后在次窗口區(qū)域內(nèi)檢測脈沖對以確定危險目標(biāo)的左右邊緣。如果只檢測到危險目標(biāo)一邊的邊界，則平移窗口，再檢測另一邊，實現(xiàn)危險目標(biāo)完整輪廓檢測。
8.根據(jù)權(quán)利要求I所述的主動安全式輔助駕駛方法，其特征在于，其圖像快速處理子系統(tǒng)的路面危險目標(biāo)的位姿解算方法為在車輛行駛過程中，立體視覺子系統(tǒng)實時采集路況影像信息，通過視差計算，得到全屏幕的視差圖像后，采用背景建模的方式，得到運動前景物體的視差圖像，再進行膨脹和腐蝕算法進行圖像預(yù)處理，得到完整的可供分析的前景運動物體視差圖。采用運動跟蹤算法，實時檢測路面車輛、自行車和行人等危險目標(biāo)的距離、運動軌跡，并與事先設(shè)置的規(guī)則(該規(guī)則與本車車型及天氣類型有關(guān)，例如本車型剎車制動距離以及雨天導(dǎo)致剎車距離延長等因素)進行對比，如果相對距離、相對速度、相對速度關(guān)系進入到設(shè)置的報警范圍內(nèi)，系統(tǒng)則對駕駛員進行語音提示；如果相對距離和相對速度關(guān)系進入到設(shè)置的危險范圍內(nèi)，系統(tǒng)則進行自動減速和緊急剎車。
9.根據(jù)權(quán)利要求I所述的主動安全式輔助駕駛方法，其特征在于，其安全輔助駕駛子系統(tǒng)與汽車總線相連接，包括語音提醒模塊、屏幕顯示模塊、主動安全駕駛控制模塊。安全輔助駕駛子系統(tǒng)具備的功能包括保持安全車道、保持安全車速駕駛、保持安全車距功能。
10.根據(jù)權(quán)利要求I所述的主動安全式輔助駕駛方法，其特征在于，主動安全式輔助駕駛系統(tǒng)可實時檢測分道線信息，具備保持安全車道的功能，具有航道偏離語音報警功能，可以及時提醒駕駛員糾正方向，防止車輛發(fā)生側(cè)翻、側(cè)面碰撞等事故。系統(tǒng)的路況圖像采集速度> 15fps(幀/秒)，車輛相對距離解算精度優(yōu)于10cm，行駛前方危險目標(biāo)的輪廓檢測精度達到亞像素級，行駛前方危險目標(biāo)的相對距離解算時間< 0. Is。能對行駛中安全距離之內(nèi)危險目標(biāo)進行距離提示、智能語音提醒和危險情況報警，可以及時提醒駕駛員調(diào)整車速，防止車輛發(fā)生追尾、正面碰撞等類型的事故。
全文摘要
本發(fā)明公開了一種基于立體視覺技術(shù)的主動安全式輔助駕駛方法。該主動安全式輔助駕駛系統(tǒng)綜合利用光機電信息技術(shù)，由立體視覺子系統(tǒng)、圖像快速處理子系統(tǒng)以及安全輔助駕駛子系統(tǒng)組成，包括兩臺高分辨率CCD攝像機、環(huán)境光照度傳感器、雙通道視頻采集卡、同步控制器、數(shù)據(jù)傳輸電路、供電電路、圖像快速處理算法庫、語音提醒模塊、屏幕顯示模塊以及主動安全駕駛控制模塊等。在晴天以及陰天、黑夜、雨雪、大霧等惡劣的天氣條件下，都可以實時準確地識別出分道線、前方車輛、自行車、行人等危險目標(biāo)的相對距離、相對速度和相對加速度等參數(shù)，通過語音提示駕駛員采取的應(yīng)對措施，危急情況下實現(xiàn)自動減速和緊急剎車，全天候地保證行車安全。
文檔編號B60W30/12GK102685516SQ20111005331
公開日2012年9月19日 申請日期2011年3月7日 優(yōu)先權(quán)日2011年3月7日
發(fā)明者李德昌, 李慧盈, 王植 申請人:李德昌, 李慧盈, 王植