專利名稱：基于面像與眼動分析的高速列車駕駛員警覺度檢測方法
技術領域：
本發(fā)明涉及一種圖像檢測跟蹤與信息融合方法，尤其涉及一種高速列車駕駛員面部圖像及眼部的跟蹤與分析方法。
背景技術：
設計時速350公里的京津城際高速鐵路在2008年奧運會開幕前夕成功投入運營，2011年6月30日15時，全長1318公里，設計時速380公里，全世界最長的高速鐵路客運專線京滬高速鐵路正式開通，高速鐵路在中國得到飛速發(fā)展。但高速列車的安全運行管理，仍然面臨著巨大的挑戰(zhàn)。在高速列車行駛中，機車信號和線路上的地面信號需要駕駛員去感知和理解，做出相應的判斷和操作。因此，駕駛員工作時是否集中精力對于高鐵的安全運營非常關鍵，如駕駛員疲勞，警覺度降低，將嚴重威脅高速鐵路的安全運營。對駕駛員的警覺度進行實時檢測與估計，并根據(jù)檢測結果對駕駛員進行實時提醒和事后考核是提高高速鐵路安全運營的有效措施。國內(nèi)外對駕駛員的警覺度檢測方法進行了較深入的研究，并取得了一定的成果。其中，基于視覺計算的非侵入式駕駛員警覺度檢測是主流技術。它以眼動跟蹤分析為基礎，通過非侵入式的面部表情識別檢測出駕駛員的警覺度以其準確性、可靠性和非接觸性成為檢測駕駛員警覺度的首選。1996年W. W. Wierwill 教授[W. W. Wierwille, G. Mark. Research on Vehicle-BasedDriver Status/Performance Monitoring, PART I.National Technical informationService, Virginia, 1996]根據(jù)眼動跟蹤結果，首先提出 PERCL0S(percentage of eyelidclosure over the pupilover time)指標，即設定時間內(nèi)眼睛閉合時間與總時間的比值,進行駕駛員警覺度檢測。隨后，Qiang Ji [Qiang Ji, Zhiwei Zhu, and Peilin Lan, Real-TimeNonintrusive Monitoring and Prediction of Driver Fatigue. IEEE Transactions onVehicular Technology, VOL. 53，NO. 4，July 2004，pp. 1052-1068]等學者提出利用紅外設備獲取駕駛員紅外視頻圖像，采用Kalman濾波進行駕駛員眼動跟蹤，然后在眼動分析的基礎上利用PERCL0S值進行警覺度檢測?，F(xiàn)有基于PERCL0S值的警覺度評估方法，在實際應用中暴露出單一的眼閉合視頻信息很難全面分析駕駛員的警覺度狀態(tài)，正確率和魯棒性有待提高的問題。
發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于面像與眼動分析的高速列車駕駛員警覺度檢測方法，該方法檢測出的駕駛員警覺度，不受光照影響、實時性好，正確率高和魯棒性強。本發(fā)明的目的是這樣實現(xiàn)的一種基于面像與眼動分析的高速列車駕駛員警覺度檢測方法包括以下步驟a、面像特征提取在高速列車駕駛室儀表盤前設置相同采樣頻率的主、次攝像頭采集駕駛員頭部圖像，主攝像頭的每一幀頭部圖像用小波多尺度分析方法提取頭部特征，再通過神經(jīng)網(wǎng)絡訓練方法快速定位駕駛員頭部；然后采用AdaBoost算法對每一幀頭部圖像進行駕駛員人臉定位;對人臉定位失敗的頭部圖像，則用次攝像頭采集的對應幀頭部圖像替換該頭部圖像，并用相同的操作對次攝像頭采集的對應幀頭部圖像進行頭部特征提取和人臉定位；下一幀頭部圖像的處理仍恢復采用主攝像頭的頭部圖像；
b、眼動特征提取切換與定位安裝于高速列車駕駛室的光線感應器檢測駕駛環(huán)境的光照度，當檢測出的光照度彡4Lux(勒克斯)且保持I分鐘以上時，對第一幀頭部圖像定位出的駕駛員人臉，利用積分圖像方法算出其水平方向和垂直方向上相互獨立的Harr特征值，定位出第一幀頭部圖像的駕駛員眼部；當檢測出的光照度< 4Lux(勒克斯)且保持I分鐘以上時，采用二維正交Log-Gabor濾波的相位編碼方式提取人眼圖像的正交相位特征，定位出第一幀頭部圖像的駕駛員眼部；C、眼動跟蹤分析建立駕駛員眼動自適應非線性對數(shù)模型，采用強跟蹤粒子濾波算法進行人眼運動非平穩(wěn)隨機過程的跟蹤在無跡卡爾曼濾波算法的時間更新方程和測量更新方程中，采用次優(yōu)漸消因子計算其濾波均值元和方差Pk，然后將更新后的均值和方差帶入到粒子濾波中，得到重要性函數(shù)；將重要性函數(shù)進行多尺度分解，得到粒子濾波算法的方差，實現(xiàn)下一幀圖像的駕駛員眼部定位；根據(jù)駕駛員眼動自適應非線性對數(shù)模型，重復以上操作，定位出一系列連續(xù)幀圖像的駕駛員眼部，實現(xiàn)駕駛員的眼動跟蹤；d、警覺度檢測在設定的時間周期，根據(jù)a步得到的每一幀頭部圖像的頭部特征計算出駕駛員的點頭次數(shù)，根據(jù)a步得到的每一幀頭部圖像的駕駛員人臉計算出駕駛員的哈欠次數(shù)和面部傾斜度；根據(jù)c步得到的駕駛員的眼動跟蹤結果計算出駕駛員的眼部PERCL0S值、瞳孔平均直徑、眨眼次數(shù)；將駕駛員的點頭次數(shù)、哈欠次數(shù)、面部傾斜度、眼部PERCL0S值、瞳孔平均直徑和眨眼次數(shù)，用各自的閾值分別算出點頭疲勞因子值、哈欠疲勞因子值、面部傾斜疲勞因子值、眼部PERCL0S疲勞因子值、瞳孔疲勞因子值和眨眼疲勞因子值，然后進行加權求和得到駕駛員警覺度值，并根據(jù)警覺度值向駕駛員給出預警信號，且將預警信號進行永久存儲。與現(xiàn)有技術相比，本發(fā)明的收益效果是一、能夠全面、準確地進行高鐵駕駛員警覺度檢測本發(fā)明方法得出的警覺度值，加權融合了點頭疲勞因子值、哈欠疲勞因子值、面部傾斜疲勞因子值、眼部PERCL0S疲勞因子值、瞳孔疲勞因子值和眨眼疲勞因子值，較之單一的PERCL0S值，能夠更加全面、準確的反映駕駛員的疲勞程度，更為可靠的保證高速列車的安全運行。_■、能夠快速、聞效地進行聞速鐵路駕駛員面像特征提取在駕駛員頭部與面部檢測階段采用小波多尺度分解提取頭部圖像特征，再由神經(jīng)網(wǎng)絡訓練方法能快速的識別出駕駛員頭部；然后對識別出的頭部圖像而不是包括背景在內(nèi)的整個圖像采用基于變換特征的改進AdaBoost算法進行駕駛員人臉檢測，能實時地快速檢測、定位出人臉圖像。
三、采用相同采樣頻率的主、次攝像頭同時采集駕駛員頭部圖像，對于因頭部旋轉、主攝像頭無法采集到駕駛員臉部圖像信息，而導致人臉定位失敗時，替換次攝像頭的相應圖像進行定位，提高了駕駛員人臉定位的正確率和魯棒性。四、能夠有效地實現(xiàn)全天候、各種光照條件下的高鐵駕駛員眼動特征提取切換與定位在白天等光照條件好的情況下，啟動Harr人眼檢測方法，能快速檢測出駕駛員人眼；在夜晚等光照條件差的情況下，則啟動二維正交Log-Gabor人眼檢測算法，由于二維Log-Gabor濾波器總是沒有直流分量(DC)，提取的特征不受光照條件的影響，使本發(fā)明能有效地避免光照對駕駛員人眼檢測的影響，提高駕駛員夜晚人眼檢測的魯棒性。五、在駕駛員眼動跟蹤分析階段，通過構建高鐵駕駛員自適應非線性對數(shù)模型，解決了人眼運動非平穩(wěn)隨機過程的跟蹤模型問題。并提出一種新的駕駛員非線性眼動跟蹤分析算法一強跟蹤粒子濾波算法在眼動跟蹤分析算法上，將強跟蹤濾波理論的次優(yōu)漸消因子引入到無跡卡爾曼濾波(UKF)算法的時間更新方程和測量更新方程中，得到濾波均值^和方差Pk，然后將更新后的均值和方差帶入到粒子濾波中，得到更好的重要性函數(shù)，并引入多尺度分解，將粒子移向高似然概率區(qū)域，降低粒子濾波算法重要性權值的方差，提高駕駛員人眼跟蹤分析的精度和魯棒性；并在在保證跟蹤精度和魯棒性條件下，減少計算量，提高算法的實時性能。總之，本發(fā)明的駕駛員面像特征與眼動跟蹤分析魯棒性強，具有較好的實時性能，不受光照影響，全面考慮了與駕駛員警覺度有關的多種疲勞因子，警覺度檢測正確率高、魯棒性強。仿真及測試實驗也說明本發(fā)明方法具有較高的魯棒性、正確率和實時性在駕駛員面像特征提取階段本發(fā)明的頭部面像檢測正確率高到99. 99%，人臉檢測正確率可以達到97. 89%，能夠滿足應用需要。在眼動特征提取切換與定位本發(fā)明方法在白天及夜晚駕駛條件下人眼定位正確率均可達到99. 98%。相反，在夜晚駕駛環(huán)境下如用Harr算法進行人眼定位，其正確率僅為95. 21%，不能滿足應用需要。在眼動跟蹤分析階段本發(fā)明的跟蹤正確率高達99. 62%，在算法復雜度上，本發(fā)明循環(huán)一次需要0. 10秒，遠低于粒子濾波算法的0. 40秒。在駕駛員警覺度檢測階段以南京偉思無線可穿戴式腦電疲勞測試儀的測試結果為標準，本發(fā)明檢測出的警覺度正確率高達91. 5%，而PERCL0S-P80方法測得警覺度的正確率僅為87. 8%，PERCL0S-P70方法測得警覺度的正確率僅為86. 2%，本算法的正確率更聞。在魯棒性上，本發(fā)明的RMSE(均方根誤差)為0.05602、MSE(均方誤差)為0. 06300，遠遠小于標準粒子濾波算法的RMSE (0. 35441)和MSE (0. 46520)，說明本算法具有
較高的魯棒性。上述的將駕駛員的點頭次數(shù)、哈欠次數(shù)、面部傾斜度、眼部PERCL0S值、瞳孔平均直徑和眨眼次數(shù)根據(jù)各自的閾值分別算出點頭疲勞因子值、哈欠疲勞因子值、面部傾斜疲勞因子值、眼部PERCL0S疲勞因子值、瞳孔疲勞因子值和眨眼疲勞因子值的具體做法是
(I)、眼部PERCL0S疲勞因子值L1按下式的閾值確定
權利要求
1.一種基于面像與眼動分析的高速列車駕駛員警覺度檢測方法，包括以下步驟 a、面像特征提取 在高速列車駕駛室儀表盤前設置相同采樣頻率的主、次攝像頭采集駕駛員頭部圖像，主攝像頭的每一幀頭部圖像用小波多尺度分析方法提取頭部特征，再通過神經(jīng)網(wǎng)絡訓練方法快速定位駕駛員頭部；然后采用AdaBoost算法對每一幀頭部圖像進行駕駛員人臉定位； 對人臉定位失敗的頭部圖像，則用次攝像頭采集的對應幀頭部圖像替換該頭部圖像，并用相同的操作對次攝像頭采集的對應幀頭部圖像進行頭部特征提取和人臉定位；下一幀頭部圖像的處理仍恢復采用主攝像頭 的頭部圖像； b、眼動特征提取切換與定位 安裝于高速列車駕駛室的光線感應器檢測駕駛環(huán)境的光照度，當檢測出的光照度彡4Lux(勒克斯)且保持I分鐘以上時，對第一幀頭部圖像定位出的駕駛員人臉，利用積分圖像方法算出其水平方向和垂直方向上相互獨立的Harr特征值，定位出第一幀頭部圖像的駕駛員眼部；當檢測出的光照度< 4Lux(勒克斯)且保持I分鐘以上時，采用二維正交Log-Gabor濾波的相位編碼方式提取人眼圖像的正交相位特征，定位出第一幀頭部圖像的駕駛員眼部； C、眼動跟蹤分析 建立駕駛員眼動自適應非線性對數(shù)模型，采用強跟蹤粒子濾波算法進行人眼運動非平穩(wěn)隨機過程的跟蹤在無跡卡爾曼濾波算法的時間更新方程和測量更新方程中，采用次優(yōu)漸消因子計算其濾波均值^和方差Pk，然后將更新后的均值和方差帶入到粒子濾波中，得到重要性函數(shù)；將重要性函數(shù)進行多尺度分解，得到粒子濾波算法的方差，實現(xiàn)下一幀圖像的駕駛員眼部定位；根據(jù)駕駛員眼動自適應非線性對數(shù)模型，重復以上操作，定位出一系列連續(xù)幀圖像的駕駛員眼部，實現(xiàn)駕駛員的眼動跟蹤； d、警覺度檢測 在設定的時間周期內(nèi)，根據(jù)a步得到的每一幀頭部圖像的頭部特征計算出駕駛員的點頭次數(shù)，根據(jù)a步得到的每一幀頭部圖像的駕駛員人臉計算出駕駛員的哈欠次數(shù)和面部傾斜度；根據(jù)c步得到的駕駛員的眼動跟蹤結果計算出駕駛員的眼部PERCL0S值、瞳孔平均直徑、眨眼次數(shù)； 將駕駛員的點頭次數(shù)、哈欠次數(shù)、面部傾斜度、眼部PERCL0S值、瞳孔平均直徑和眨眼次數(shù)，用各自的閾值分別算出點頭疲勞因子值、哈欠疲勞因子值、面部傾斜疲勞因子值、眼部PERCL0S疲勞因子值、瞳孔疲勞因子值和眨眼疲勞因子值，然后進行加權求和得到駕駛員警覺度值，并根據(jù)警覺度值向駕駛員給出預警信號，且將預警信號進行永久存儲。
2.根據(jù)權利要求I所述的一種基于面像與眼動分析的高速列車駕駛員警覺度檢測方法，其特征在于所述的將駕駛員的點頭次數(shù)、哈欠次數(shù)、面部傾斜度、眼部PERCL0S值、瞳孔平均直徑和眨眼次數(shù)根據(jù)各自的閾值分別算出點頭疲勞因子值、哈欠疲勞因子值、面部傾斜疲勞因子值、眼部PERCL0S疲勞因子值、瞳孔疲勞因子值和眨眼疲勞因子值的具體做法是 (I)、眼部PERCL0S疲勞因子值L1按下式的閾值確定
3.根據(jù)權利要求2所述的一種基于面像與眼動分析的高速列車駕駛員警覺度檢測方法，其特征在于所述的將點頭疲勞因子值、哈欠疲勞因子值、面部傾斜疲勞因子值、眼部PERCLOS疲勞因子值、瞳孔疲勞因子值和眨眼疲勞因子值進行加權求和得到駕駛員警覺度值，并根據(jù)警覺度值給出預警信號的具體做法是 駕駛員警覺度值Lfatiglffi由下式確定，式中，[2 2 I 2 2 1]τ為警覺度值Lfatipje計算的權重矩陣； 預警信號的級別由下式確定， ' 正常擾態(tài)府頁警Zfatlgue^lO 預衡言號的級另Ij=汪思力Ζ~<^β<Ζ一級予磨20^Aatigue <66 打目麵)預警(最高級)Ahtigue >66 對三級預警(最高級)信號，還通過無線傳輸系統(tǒng)實時傳送至調(diào)度監(jiān)控指揮中心告警。
全文摘要
一種基于面像與眼動分析的高速列車駕駛員警覺度檢測方法。用主、次攝像頭同時采集駕駛員頭部圖像，用小波多尺度分解提取頭部特征，通過神經(jīng)網(wǎng)絡訓練方法識別駕駛員頭部，再用AdaBoost算法進行駕駛員人臉檢測；在不同光照下分別啟動Harr特征、二維正交Log-Gabor濾波相位特征進行人眼檢測；然后建立駕駛員自適應非線性對數(shù)模型，用強跟蹤粒子濾波算法進行駕駛員眼動跟蹤分析；最后對PERCLOS、瞳孔、眨眼、點頭、哈欠、面部傾斜等六個面像及眼動特征疲勞因子值進行加權求和，得駕駛員警覺度值。算出的警覺度值正確率高、魯棒性強。
文檔編號G06K9/46GK102622600SQ20121002300
公開日2012年8月1日 申請日期2012年2月2日 優(yōu)先權日2012年2月2日
發(fā)明者張家樹, 張祖濤, 李德芳, 李恒建, 龍兵 申請人:西南交通大學