專利名稱：基于雙目視覺的游戲控制器的制作方法
技術領域：
本實用新型涉及一種游戲控制器，特別是有關一種基于雙目視覺的不需要任何接
觸式感應裝置的游戲控制器。
背景技術：
目前游戲市場發(fā)展迅速，各種游戲主機層出不窮，并搭配有豐富多彩的游戲軟件，
以滿足消費者的需求。游戲的交互方式，從早期的通過鍵盤與手柄來進行，游戲者靜態(tài)的坐
在屏幕前；漸漸的進化成需要更多的肢體動作，如跳舞機、賽車等。早期的通過鍵盤和手
柄來操作游戲的方式，互動性不強，而且容易使游戲者上癮，游戲者往往是長時間不斷的坐
在屏幕前操作游戲，對游戲者的身體健康狀況有很大的傷害。伴隨計算機游戲種類與內(nèi)容
的不斷擴展豐富，其操作復雜性劇增，仍然采用傳統(tǒng)的交互方式，越來越難于控制。 而跳舞機之類通過接觸的方法將人的行為轉化為計算機可以理解的指令，進而控
制游戲角色的方法雖然在一定程度上增加了游戲的真實性，但仍然存在可玩性和方便性不
高的缺點，而且其成本較高。這種通過接觸式感應器來測量使用者的行為趨勢來控制游戲
的方法，對于使用者，在游戲之前，必須將測量感應器，或貼或夾在身體上的某部位，不只是
不方便也不舒服。 現(xiàn)階段已經(jīng)出現(xiàn)了不需要接觸式傳感器來控制游戲的游戲機，這種游戲機通過配 置單個的攝像機采集使用者的圖像，進而分析其行為，最后產(chǎn)生指令達到控制游戲的目的。 這種方式雖然可以通過圖像分析出使用者的行為姿態(tài)，但不能夠給出使用者的運動矢量， 因此游戲的真實感不強。 因此需要一種互動性更好，操作起來更方便，給游戲者真實感更強的工作模式來 提高游戲的可玩性。
發(fā)明內(nèi)容本實用新型為了克服上述現(xiàn)有技術存在的問題及缺點，提供一種交互性更強、操 作更簡便、真實感更強的基于雙目視覺的游戲控制器。 本實用新型技術方案為基于雙目視覺的游戲控制器，通過電纜或無線與游戲主 機相連，供使用者操縱所述的游戲主機，其特征在于基于雙目視覺的游戲控制器包括雙目 視覺圖像采集機構、游戲控制器主機，雙目視覺圖像采集機構通過電纜與游戲控制器主機 相連，游戲控制器主機輸出指令控制游戲主機，雙目視覺圖像采集機構采集游戲者的行為 圖像。 所述的游戲控制器主機包括運算機構、存儲機構、行為姿態(tài)分析機構、指令輸出機 構、處理單元，運算機構將雙目視覺圖像采集機構采集的圖像經(jīng)過圖像去噪、增強預處理后 存儲到存儲機構中，行為姿態(tài)分析機構通過雙目視覺法分析存儲機構中的圖像產(chǎn)生相應行 為指令，行為指令通過電纜傳給指令輸出機構，指令輸出機構將相應的行為指令傳給游戲 主機控制游戲主機的虛擬角色的行為，處理單元控制電纜的調(diào)用和釋放。[0009] 所述的行為姿態(tài)分析機構分析圖像過程按以下步驟進行(1)、用快速特征匹配算 法對雙目視覺圖像采集機構采集的圖像產(chǎn)生對應圖像的對應點匹配；(2)、根據(jù)匹配結果計 算出距離信息；(3)、根據(jù)匹配結果與模板數(shù)據(jù)庫比較識別出姿態(tài)信息，模板數(shù)據(jù)庫是通過 海量數(shù)據(jù)訓練得出貯存在存儲機構內(nèi)；(4)、將姿態(tài)信息和距離信息轉變成相應的行為指 令。 指令輸出機構與游戲主機的之間傳輸方式為有線傳輸或無線傳輸，有線傳輸選擇 通用串行電纜(USB-0TG)傳輸、PS/2接口傳輸或IEEE1394接口傳輸；無線傳輸選擇藍牙傳 輸、射頻(RF)、超寬帶(UWB)或紅外傳輸。 雙目視覺圖像采集機構將游戲者的行為轉換為游戲主機可以理解的行為指令和 游戲指令。行為姿態(tài)分析機構分析使用者的動作姿態(tài)如手動、跑步等，并產(chǎn)生相應行為指 令。 此外，本實用新型的游戲控制器的控制方法1、通過雙目視覺圖像采集機構取得 游戲者的圖像；2、根據(jù)取得的圖像分析使用者的動作行為并生成相應行為指令和游戲指 令；3、將行為指令和游戲指令傳給游戲主機來控制游戲主機。 在本實用新型中，不需要與游戲者進行接觸就可以理解游戲者的動作行為。雙目 視覺圖像采集機構采集到游戲者的圖像數(shù)據(jù)，然后由行為姿態(tài)分析機構識別出游戲者的姿 態(tài)行為，如走路、跑步、舉起雙手、單手做攻擊姿勢等，進而生成行為指令控制游戲中的虛 擬角色的行為。 此外，在本實用新型中，不需要與游戲者進行接觸就可以判斷游戲者是在向前跑 還是向后跑，是慢跑還是快跑，是走路還是跑步。這些功能是通過雙目視覺圖像采集機構采 集的兩幅游戲者的圖像數(shù)據(jù)，由姿態(tài)分析機構分析圖像數(shù)據(jù)并計算出游戲者距離雙目視覺 圖像采集機構的距離，再根據(jù)多次分析的結果判斷出游戲者的運動矢量，進而生成行為指 令控制游戲中的虛擬角色的行為。 本實用新型中分別采用了人動作姿態(tài)識別算法來增強游戲的可操作性、可玩性和 真實性，提供給游戲主機一種全新的操控模式。使游戲主機具有交互性更強、操作更簡便、 真實感更強的特點。 在本實用新型中，游戲者的面部表情將會實時的反映到游戲中的虛擬角色上，使 游戲的可玩性更強。面部表情分析機構分析使用者的面部表情如哭、笑、難過等，并產(chǎn)生相 應游戲指令。這些功能是通過可選配的面部表情分析機構來完成的。
圖1是本實用新型的游戲控制器示意圖； 圖2是本實用新型的游戲控制器主機的示意圖； 圖3是本實用新型的雙目視覺系統(tǒng)測距的原理圖。
具體實施方式結合附圖對本實用新型作進一步的描述。 如圖1所示，本實用新型通過電纜3與游戲主機相連，供使用者操縱所述的游戲主 機，本實用新型包括雙目視覺圖像采集機構2、游戲控制器主機l，雙目視覺圖像采集機構1CN 201454061 U
通過電纜與游戲控制器主機1相連，游戲控制器主機1輸出行為指令或行為指令和游戲指
令控制游戲主機，雙目視覺圖像采集機構1采集游戲者的行為圖像。雙目視覺圖像采集機
構1以高幀頻的速度采集游戲者的圖像，并通過電纜與游戲控制器主機1相連。 本實用新型的游戲控制器主機如圖2所示，所述的游戲控制器主機由運算機構、
存儲機構、行為姿態(tài)分析機構、指令輸出機構、處理單元組成，運算機構將雙目視覺圖像采
集機構采集的圖像經(jīng)過圖像去噪、增強等預處理后存儲到存儲機構中，行為姿態(tài)分析機構
通過動作姿態(tài)識別算法分析存儲機構中圖像的產(chǎn)生相應行為指令，行為指令通過電纜傳給
指令輸出機構，指令輸出機構將相應的行為指令傳給游戲主機控制游戲主機的虛擬角色，
處理單元控制電纜的調(diào)用和釋放。所述的行為姿態(tài)分析機構分析圖像過程按以下步驟進
行(1)、用快速特征匹配算法對雙目視覺圖像采集機構采集的圖像產(chǎn)生對應圖像的對應點
匹配；(2)、根據(jù)匹配結果計算出距離信息；(3)、根據(jù)匹配結果與模板數(shù)據(jù)庫比較識別出姿
態(tài)信息，模板數(shù)據(jù)庫是通過海量數(shù)據(jù)訓練得出貯存在存儲機構內(nèi)；(4)、將姿態(tài)信息和距離
信息轉變成相應的行為指令。當游戲者玩游戲時，雙目視覺圖像采集機構1采集游戲者的
行為圖像經(jīng)運算機構進行圖像預處理并保存圖像到存儲機構中，行為姿態(tài)分析機構通過分
析存儲機構中圖像的產(chǎn)生相應行為指令，行為指令通過電纜傳給指令輸出機構，指令輸出
機構最后將相應的指令傳給游戲主機。 所述游戲控制器主機只提供相應的行為指令和游戲指令，是屬于游戲主機的周邊 設備，行為指令和游戲指令的協(xié)議由發(fā)明方定義并提供給相關的游戲機廠商，也可以根據(jù) 游戲機廠商要求定制。 在本實用新型的優(yōu)選實施方式中，指令輸出機構與游戲主機的之間傳輸方式分 為有線傳輸和無線傳輸，有線傳輸可選擇通用串行電纜(USB-0TG)傳輸、PS/2接口傳輸或 IEEE1394接口傳輸。無線傳輸可以選擇藍牙傳輸、射頻(RF)、超寬帶(UWB)或紅外傳輸。 本實用新型的游戲裝置中運算機構可以是臺式PC的微處理器，也可以是嵌入式 微處理器DSP或DSP加FPGA。 在本實用新型的優(yōu)選實施方式中，雙目攝像機構包括兩臺攝像機，攝像機可采用
可見光CCD、紅外探測器，根據(jù)實際使用的要求還可以配置其它類型的攝像機。 圖3是雙目視覺成像原理圖。雙目視覺中兩臺攝像機采集到的圖像點的匹配是關
鍵，本實用新型中可采用的對應點匹配方法為快速魯棒特征匹配算法(SURF)法。點匹配方
法不局限與此，關鍵是算法可以需要具有透視或者仿射不變性的特點，即對存在透射或者
仿射變形的點對仍然可以匹配上，常用相關方法分類舉例如下 (1)提取的特征點對本身具有仿射或者透射不變性，此類方法有比例不變特征 匹配法(SIFT)，各種特征不變算子法等。
(2)用于比較點對的方法本身具有仿射或者透射不變性等。 本實用新型中另一關鍵技術為場景點的重建，重建方法很多，有直接幾何法、純 代數(shù)法等。下面以純代數(shù)法舉例說明場景點重建過程已知標定過的兩臺攝像機和兩個對 應點P和P' ，0'和O是兩臺攝像機的光學中心點。在原理上，可以直接通過將兩條射線R 二0p和R' =0' p'相交來重建相應的場景點。然而，在實際中由于標定和特征定位的誤
差，射線R和R'可能永遠也不會真正相交。本實用新型可采用的方法之一為用純代數(shù)的方 法重建場景點給定投影矩陣M和M'以及對應點p和p'，可以把約束zp = MP和z' p'
5M' P重寫成如下形式 上述是一個過約束方程，有4個關于P的坐標的獨立線性等式，可以采用最小二乘
法解這個方程而得到P的世界坐標系的坐標，進而可以算出游戲者的速度矢量。 本實用新型雖以優(yōu)選實施方式闡明如上，然而其并非用以限定本實用新型僅限于
上述實施方式。因此，在不脫離本實用新型的范圍內(nèi)所作修改，均應包含在權利要求書保護
范圍內(nèi)。 此外，本實用新型中可選配的機構為面部表情分析機構，這部分有已成熟應用的 例子，可用來進一步增強游戲的可操作性，可玩性和真實性，提供給游戲主機一種全新的操 控模式。
權利要求基于雙目視覺的游戲控制器，通過電纜或無線與游戲主機相連，供使用者操縱所述的游戲主機，其特征在于基于雙目視覺的游戲控制器包括雙目視覺圖像采集機構、游戲控制器主機，雙目視覺圖像采集機構通過電纜與游戲控制器主機相連，游戲控制器主機輸出指令控制游戲主機，雙目視覺圖像采集機構采集游戲者的行為圖像。
2. 根據(jù)權利要求1所述的基于雙目視覺的游戲控制器，其特征在于所述的游戲控制 器主機包括運算機構、存儲機構、行為姿態(tài)分析機構、指令輸出機構、處理單元，運算機構將 雙目視覺圖像采集機構采集的圖像經(jīng)過圖像去噪、增強預處理后存儲到存儲機構中，行為 姿態(tài)分析機構通過雙目視覺法分析存儲機構中的圖像產(chǎn)生相應行為指令，行為指令通過電 纜傳給指令輸出機構，指令輸出機構將相應的行為指令傳給游戲主機控制游戲主機的虛擬 角色的行為，處理單元控制電纜的調(diào)用和釋放。
3. 根據(jù)權利要求2所述的基于雙目視覺的游戲控制器，其特征在于所述的游戲控制 器主機還選配面部表情分析機構，選配的面部表情分析機構通過分析存儲機構中的圖像里 的游戲者的面部表情并產(chǎn)生相應游戲指令，與行為姿態(tài)分析機構通過雙目視覺法分析存儲 機構中的圖像產(chǎn)生相應行為指令，一并通過電纜傳給指令輸出機構，指令輸出機構將相應 的行為指令和游戲指令傳給游戲主機控制游戲主機的虛擬角色。
4. 根據(jù)權利要求1-3之一所述的基于雙目視覺的游戲控制器，其特征在于指令輸出 機構與游戲主機的之間傳輸方式為有線傳輸或無線傳輸，有線傳輸選擇通用串行電纜傳輸、PS/2接口傳輸或IEEE1394接口傳輸；無線傳輸選擇藍牙傳輸、射頻、超寬帶或紅外傳輸。
專利摘要本實用新型涉及基于雙目視覺的游戲控制器，通過電纜或無線與游戲主機相連，供使用者操縱所述的游戲主機，包括雙目視覺圖像采集機構、游戲控制器主機，雙目視覺圖像采集機構通過電纜與游戲控制器主機相連，游戲控制器主機輸出指令控制游戲主機，雙目視覺圖像采集機構采集游戲者的行為圖像。本實用新型中采用了人動作姿態(tài)識別算法來增強游戲的可操作性、可玩性和真實性，提供給游戲主機一種全新的操控模式，使游戲主機具有交互性更強、操作更簡便、真實感更強的特點。
文檔編號A63F13/02GK201454061SQ200920085460
公開日2010年5月12日 申請日期2009年4月30日 優(yōu)先權日2009年4月30日
發(fā)明者黃立 申請人:武漢市高德電氣有限公司