一種基于機器學習的眼控跟蹤方法與流程

本發(fā)明涉及智能視覺處理技術(shù)領(lǐng)域，特別涉及一種基于機器學習的眼控跟蹤方法。

背景技術(shù)：

隨著現(xiàn)代社會的發(fā)展，人們對安全、智能與舒適的要求越來越高，采用眼控跟蹤技術(shù)可以在不需要人手部參與的情況下對智能設(shè)備進行控制，實現(xiàn)多種設(shè)備的智能化提升。

目前，常用的眼控跟蹤技術(shù)采用的是基于紅外光源探測獲取眼球運動信息的方法，其技術(shù)要點在于傳統(tǒng)方法：首先，使用外接紅外攝像模組獲取眼球圖像,并進行圖像預(yù)處理。然后，對瞳孔的中心和紅外led燈產(chǎn)生的普洱欽斑的大小、位置等特征進行檢測；接著，建立瞳孔角膜反射向量,進而通過該向量映射、求解注視點在屏幕上的坐標，獲得眼動信息。該方法結(jié)構(gòu)簡單，易于實現(xiàn)。

但是，隨著低成本消費電子設(shè)備的出現(xiàn)，在低頻視頻設(shè)備上，該技術(shù)的弊病日益顯現(xiàn)。在駕駛員疲勞檢測、人臉金融支付等領(lǐng)域，該方法也存在著識別效率較低，判斷不夠準確，可靠性較差等問題。阻礙了該技術(shù)的進一步推廣和實驗，成為亟待解決和提高的問題。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是：提出一種基于機器學習的眼控跟蹤方法，以解決現(xiàn)有的眼控跟蹤技術(shù)識別準確率低、魯棒性差的問題。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：

一種基于機器學習的眼控跟蹤方法，包括以下步驟：

S1，啟動眼控跟蹤模式；

S2，通過攝像頭獲取被跟蹤人員的瞳孔、眼臉形狀特征和頭部姿勢，獲得聯(lián)合特征數(shù)據(jù)；

S3，對步驟S2所獲得的聯(lián)合特征數(shù)據(jù)進行分析，采用機器學習方法，對多特征進行深度學習和訓練，得到具有強識別性能的分類器；

S4，通過處理單元接收分析信息，并依據(jù)該分析信息產(chǎn)生眼動指針。

進一步，所述步驟S1具體包括如下步驟：通過語音指令或觸控指令啟動，對APP發(fā)出啟動指令，電子設(shè)備在得到指令后自動打開眼控跟蹤模塊，啟動眼控跟蹤模式。

進一步，所述步驟S2具體包括如下步驟：

S21，對攝像機獲得的當前圖像進行色彩空間轉(zhuǎn)換處理，由三通道RGB彩色空間轉(zhuǎn)換到單通道灰度空間，并進行直方圖均衡化處理；

S22，使用雙邊濾波在保證圖像中障礙物邊緣清晰的前提下去除圖像中的噪聲，濾波計算表達式為：

其中，f為原輸入圖像，h為去噪后的輸出圖像，c(ξ,x)為度量了領(lǐng)域中心點x和領(lǐng)近點ξ的幾何臨近度，k_d為歸一化參數(shù)；

S23，采用圖像特征提取方法，獲得圖像的像素級特征序列，對算法生成的有序?qū)ο罅斜磉M行分析，去除其中不屬于聚類群的孤立點和奇異點。

進一步，所述步驟S3具體包括以下步驟：

S31，利用深度置信網(wǎng)絡(luò)對步驟S23中獲得的特征進行訓練和學習，并對訓練和學習結(jié)果進行測試；

S32，采用步驟S31獲得具有強分辨能力的分類器，并將獲得的分類器集成到本發(fā)明所述的眼控跟蹤技術(shù)中。

進一步，所述步驟S4具體包括以下步驟：

S41，采用步驟S32所獲得的強分類器，實時檢測瞳孔位置信息，對位置進行記錄，構(gòu)成一階馬爾科夫過程，并采用隨機狀態(tài)估計方法對瞳孔在下一時刻的可能位置進行預(yù)測；

S42，采用Kalman濾波方法對步驟S41獲得的位置進行跟蹤，進而提供本發(fā)明所述眼控跟蹤方法的實時性；

S43，采用步驟S42所獲得的瞳孔跟蹤信息，提取其中的瞳孔運動速度和方向信息構(gòu)成眼動指針。

本發(fā)明的有益效果是：

1、本發(fā)明采用深度機器學習方法，可以極大的提高眼控跟蹤的效率和魯棒性，系統(tǒng)檢測單次循環(huán)不超過38ms，檢測成功率達到93％以上。

2、本發(fā)明采用消費級電子設(shè)備攝像頭作為環(huán)境感知設(shè)備，極大地降低了該方法推廣使用的門檻和成本，本可以獲得更為準確可靠的眼控跟蹤。

附圖說明

圖1為本發(fā)明的眼控跟蹤方法的系統(tǒng)硬件框圖。

圖2為本發(fā)明的眼控跟蹤方法的實施流程框圖。

圖中：01-智能電子設(shè)備、011-攝像頭、012-顯示屏、013-眼控跟蹤指針。

具體實施方式

以下結(jié)合附圖，對本發(fā)明做進一步說明。

本發(fā)明是一種基于機器學習的眼控跟蹤方法，該方法基于的硬件結(jié)構(gòu)如圖1所示，硬件采用消費級的智能電子設(shè)備01，例如：智能手機、平板電腦、臺式機或筆記本電腦。該智能電子設(shè)備包括有顯示屏012和攝像頭011；圖1中顯示的是一種單目攝像頭，期采樣頻率低，采用低幀率標準感光元件，該單目攝像頭用于將采集到的圖像信號傳輸至智能電子設(shè)備的計算單元中。

本發(fā)明提供的一直基于機器學習的眼控跟蹤方法，具體實施步驟如圖2所示，包括：

S1，啟動眼控跟蹤模式；

在本實施方式中，啟動眼控跟蹤模式，具體方法為：通過語音信息，觸摸屏等方式，對APP發(fā)出啟動指令，電子設(shè)備在得到指令后自動打開眼控跟蹤模塊。

S2，通過攝像頭獲取被跟蹤人員的瞳孔、眼臉形狀特征和頭部姿勢，獲得聯(lián)合特征數(shù)據(jù)；該聯(lián)合特征可對被跟蹤人員進行區(qū)別，具有旋轉(zhuǎn)、縮放特征不變性；

在本實施方式中，對被跟蹤人員的瞳孔、眼臉形狀特征和頭部姿勢，獲得聯(lián)合特征，具體包括以下步驟：

S21，對攝像機獲得的當前圖像進行色彩空間轉(zhuǎn)換處理，由三通道RGB彩色空間轉(zhuǎn)換到單通道灰度空間，并進行直方圖均衡化處理；

S22，使用雙邊濾波在保證圖像中障礙物邊緣清晰的前提下去除圖像中的噪聲，濾波計算表達式為：

其中，f為原輸入圖像，h為去噪后的輸出圖像，c(ξ,x)為度量了領(lǐng)域中心點x和領(lǐng)近點ξ的幾何臨近度，k_d為歸一化參數(shù)；

S23，采用圖像特征提取方法，獲得圖像的像素級特征序列，對算法生成的有序?qū)ο罅斜磉M行分析，去除其中不屬于聚類群的孤立點和奇異點。

S3，對步驟S2所獲得的聯(lián)合特征數(shù)據(jù)進行分析，采用機器學習方法，對多特征進行深度學習和訓練，得到具有強識別性能的分類器，

在本實施方式中，采用機器學習方法，對多特征進行深度學習和訓練，具體包括以下步驟：

S31利用深度置信網(wǎng)絡(luò)對步驟S23中獲得的特征進行訓練和學習，并對訓練和學習結(jié)果進行測試；

S32采用步驟S31獲得具有強分辨能力的強分類器，并將獲得的強分類器集成到本發(fā)明的眼控跟蹤系統(tǒng)中。

S4，通過處理單元接收分析信息，并依據(jù)分析信息產(chǎn)生眼動指針。

在本實施方式中，通過處理單元接收分析信息，并依據(jù)分析信息產(chǎn)生眼動指針包括以下步驟：

S41采用步驟S32所獲得的強分類器，實時檢測瞳孔位置信息，對位置進行記錄，構(gòu)成一階馬爾科夫過程，并采用隨機狀態(tài)估計方法對瞳孔在下一時刻的可能位置進行預(yù)測；

S42采用Kalman濾波方法對步驟S41獲得的位置進行跟蹤，進而提供本發(fā)明所述眼控跟蹤方法的實時性；

S43采用步驟S42所獲得的瞳孔跟蹤信息，提取其中的瞳孔運動速度和方向信息構(gòu)成眼動指針。

以上顯示和描述了本發(fā)明的基本原理和主要特征和本發(fā)明的優(yōu)點。本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會有各種變化和改進，這些變化和改進都落入要求保護的本發(fā)明范圍內(nèi)。本發(fā)明要求保護范圍由所附的權(quán)利要求書及其等效物界定。