用于確定和跟蹤目標(biāo)的肢端的方法和系統(tǒng)的制作方法

專利名稱：用于確定和跟蹤目標(biāo)的肢端的方法和系統(tǒng)的制作方法
用于確定和跟蹤目標(biāo)的肢端的方法和系統(tǒng)
背景技術(shù)：
諸如計(jì)算機(jī)游戲、多媒體應(yīng)用等的許多計(jì)算應(yīng)用使用控制來允許用戶操縱游戲角色或應(yīng)用的其他方面。通常使用例如控制器、遙控器、鍵盤、鼠標(biāo)等等來輸入這樣的控制。不幸的是，這些控制可能是難以學(xué)習(xí)的，由此造成了用戶和這些游戲及應(yīng)用之間的障礙。此夕卜，這些控制命令可能與這些控制命令所用于的實(shí)際游戲動(dòng)作或其他應(yīng)用程序動(dòng)作不同。例如，使得游戲角色揮動(dòng)棒球球棒的游戲控制可能不與揮動(dòng)棒球球棒的實(shí)際運(yùn)動(dòng)相對(duì)應(yīng)。

發(fā)明內(nèi)容
此處所公開的是用于跟蹤場(chǎng)景中用戶的肢端的系統(tǒng)和方法。例如，可以接收或觀察諸如場(chǎng)景的深度圖像等的圖像?？苫谏疃葓D像生成體素(voxel)的網(wǎng)格(grid)以便降采樣該深度圖像。例如，深度圖像可包括多個(gè)像素，這些像素可被劃分成部分或塊。然后可為每個(gè)部分或塊生成體素，使得所接收的深度圖像被降采樣到體素的網(wǎng)格中。 根據(jù)ー示例實(shí)施例，可移除體素的網(wǎng)格中所包括的背景以隔離開與前景物體(諸如人類目標(biāo))相關(guān)聯(lián)的ー個(gè)或多個(gè)體素。例如，可以分析網(wǎng)格中的每個(gè)體素以確定該體素是否可與前景物體(諸如人類目標(biāo))或背景物體相關(guān)聯(lián)。隨后可以移除或丟棄與背景物體相關(guān)聯(lián)的體素以隔離諸如人類目標(biāo)的前景物體。隨后可以確定被隔離的人類目標(biāo)的ー個(gè)或多個(gè)肢端的位置或方位。例如，在ー個(gè)實(shí)施例中，可以確定被隔離的人類目標(biāo)的肢端(諸如質(zhì)心或中心、頭、肩、髖、臂、手、肘、腿、腳、膝等)的位置。根據(jù)示例實(shí)施例，可以使用用于ー個(gè)或多個(gè)肢端的候選項(xiàng)的打分技術(shù)，使用ー個(gè)或多個(gè)肢端的一個(gè)或多個(gè)錨點(diǎn)和平均，使用與一個(gè)或多個(gè)肢端相關(guān)聯(lián)的體塊等來確定ー個(gè)或多個(gè)肢端的位置或方位。還可以基干與非降采樣的深度圖像中的一個(gè)或多個(gè)肢端相關(guān)聯(lián)的像素來細(xì)化ー個(gè)或多個(gè)肢端的位置或方位?？梢赃M(jìn)ー步處理ー個(gè)或多個(gè)肢端。例如，在一個(gè)實(shí)施例中，可以基于ー個(gè)或多個(gè)肢端的位置或方位來生成和/或調(diào)整諸如骨架模型的模型。提供本發(fā)明內(nèi)容以便以簡(jiǎn)化形式介紹將在以下具體實(shí)施方式
中進(jìn)ー步描述的ー些概念。本概述并不g在標(biāo)識(shí)出所要求保護(hù)的主題的關(guān)鍵或必要特征，也不g在用于限定所要求保護(hù)的主題的范圍。此外，所要求保護(hù)的主題不限于解決在本公開的任一部分中提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。


圖IA和IB示出了目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)的示例實(shí)施例，其中用戶正在玩游戲。圖2示出了可在目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中使用的捕捉設(shè)備的示例實(shí)施例。圖3示出可用于解釋目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中的一個(gè)或多個(gè)姿勢(shì)和/或動(dòng)畫化目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)所顯示的化身或屏幕上角色的計(jì)算環(huán)境的示例實(shí)施例。圖4示出可用于解釋目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中的一個(gè)或多個(gè)姿勢(shì)和/或動(dòng)畫化目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)所顯示的化身或屏幕上角色的計(jì)算環(huán)境的另一示例實(shí)施例。圖5描繪了用于確定場(chǎng)景中的用戶的肢端的示例方法的流程圖。圖6示出可用于跟蹤用戶的肢端的深度圖像的示例實(shí)施例。圖7A-7B示出被降采樣的深度圖像的一部分的示例實(shí)施例。圖8示出了為人類目標(biāo)估計(jì)的質(zhì)心或中心的示例實(shí)施例。圖9示出了可被定義為確定核體積的邊界框的示例實(shí)施例。
圖10示出候選柱體的示例實(shí)施例，諸如可被創(chuàng)建為對(duì)諸如頭候選項(xiàng)的肢端候選項(xiàng)進(jìn)行打分的頭柱體和軀干柱體。圖11示出了基于人類目標(biāo)的頭以及質(zhì)心或中心所確定的頭-到-中心向量的示例實(shí)施例。圖12示出了肢端體塊的示例實(shí)施例,諸如基于頭-到-中心向量所確定的肩體塊和髖體塊。圖13示出肢端的示例實(shí)施例，諸如可基于肩體塊和髖體塊來計(jì)算的肩和髖。圖14示出了可表示核體積的柱體的示例實(shí)施例。圖15A-15C示出了肢端的示例實(shí)施例，諸如基于錨點(diǎn)來確定的手。圖16示出肢端的示例實(shí)施例，諸如可基于諸如臂和腿的肢端的平均方位和/或錨點(diǎn)來計(jì)算的手和腳。圖17示出了可被生成的模型的示例實(shí)施例。說明性實(shí)施例的
具體實(shí)施例方式圖IA和IB示出目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10的配置的示例實(shí)施例，其中用戶18正在玩拳擊游戲。在一示例實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10可用于識(shí)別、分析和/或跟蹤諸如用戶18等的人類目標(biāo)。如圖IA所示，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10可以包括計(jì)算環(huán)境12。計(jì)算環(huán)境12可以是計(jì)算機(jī)、游戲系統(tǒng)或控制臺(tái)等等。根據(jù)一示例實(shí)施例，計(jì)算環(huán)境12可包括硬件組件和/或軟件組件，使得計(jì)算環(huán)境12可用于執(zhí)行諸如游戲應(yīng)用、非游戲應(yīng)用等應(yīng)用。在一個(gè)實(shí)施例中，計(jì)算環(huán)境12可包括可執(zhí)行指令的標(biāo)準(zhǔn)化處理器、專用處理器、微處理器等處理器，這些指令包括例如用于接收深度圖像的指令；用于基于深度圖像來生成體素網(wǎng)格的指令；用于移除體素網(wǎng)格中所包括的背景以隔離與人類目標(biāo)相關(guān)聯(lián)的一個(gè)或多個(gè)體素的指令；用于確定被隔離的人類目標(biāo)的一個(gè)或多個(gè)肢端的位置或方位的指令；用于基于一個(gè)或多個(gè)肢端的位置或地點(diǎn)來調(diào)整模型的指令；或任何其他合適的指令，下面將對(duì)它們進(jìn)行更詳細(xì)的描述。如圖IA所示，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10還可包括捕捉設(shè)備20。捕捉設(shè)備20可以是例如照相機(jī)，所述照相機(jī)可用于在視覺上監(jiān)視諸如用戶18等的一個(gè)或多個(gè)用戶從而可以捕捉、分析并跟蹤一個(gè)或多個(gè)用戶所執(zhí)行的姿勢(shì)和/或移動(dòng)，來執(zhí)行應(yīng)用程序中的一個(gè)或多個(gè)控制命令或動(dòng)作和/或動(dòng)畫化化身或屏幕上人物，如將在下面更詳細(xì)地描述的。根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10可連接到可向諸如用戶18等用戶提供游戲或應(yīng)用視覺和/或音頻的視聽設(shè)備16，如電視機(jī)、監(jiān)視器、高清電視機(jī)(HDTV)等。例如，計(jì)算環(huán)境12可包括諸如圖形卡等視頻適配器和/或諸如聲卡等音頻適配器，這些適配器可提供與游戲應(yīng)用、非游戲應(yīng)用等相關(guān)聯(lián)的視聽信號(hào)。視聽設(shè)備16可從計(jì)算環(huán)境12接收視聽信號(hào)，然后可向用戶18輸出與該視聽信號(hào)相關(guān)聯(lián)的游戲或應(yīng)用視覺和/或音頻。根據(jù)一個(gè)實(shí)施例，視聽設(shè)備16可經(jīng)由例如，S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜等連接到計(jì)算環(huán)境12。如圖IA和IB所示，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10可用于識(shí)別、分析和/或跟蹤諸如用戶18等的人類目標(biāo)。例如，可使用捕捉設(shè)備20來跟蹤用戶18，從而可以捕捉用戶18的姿勢(shì)和/或移動(dòng)來動(dòng)畫化化身或屏幕上角色，和/或可將用戶18的姿勢(shì)和/或移動(dòng)解釋為可用于影響計(jì)算環(huán)境12所執(zhí)行的應(yīng)用的控制命令。因此，根據(jù)一個(gè)實(shí)施例，用戶18可移動(dòng)他或她的身體來控制應(yīng)用和/或動(dòng)畫化化身或屏幕上人物。如圖IA和IB所示，在一示例性實(shí)施例中，在計(jì)算環(huán)境12上執(zhí)行的應(yīng)用可以是用戶18可能正在玩的拳擊游戲。例如，計(jì)算環(huán)境12可使用視聽設(shè)備16來向用戶18提供拳擊對(duì)手38的視覺表示。計(jì)算環(huán)境12還可使用視聽設(shè)備16來提供用戶18可通過他的或她的移動(dòng)來控制的玩家化身40的視覺表示。例如，如圖IB所示，用戶18可以在物理空間中揮拳以致使玩家化身40在游戲空間中揮拳。因此，根據(jù)一示例實(shí)施例，目標(biāo)識(shí)別、分析和跟 蹤系統(tǒng)10的計(jì)算環(huán)境12和捕捉設(shè)備20可用于識(shí)別和分析物理空間中用戶18的重拳，使得該重拳可被解釋為對(duì)游戲空間中的玩家化身40的游戲控制，和/或該重拳的運(yùn)動(dòng)可用于動(dòng)畫化游戲空間中的玩家化身40。用戶18的其他移動(dòng)也可被解釋為其他控制命令或動(dòng)作，和/或用于動(dòng)畫化玩家化身，如上下快速擺動(dòng)、閃避、滑步、封堵、用拳猛擊或揮動(dòng)各種不同的有力重拳的控制命令。此外，某些移動(dòng)可被解釋為可對(duì)應(yīng)于除控制玩家化身40之外的動(dòng)作的控制。例如，在一個(gè)實(shí)施例中，玩家可使用移動(dòng)來結(jié)束、暫?；虮４嬗螒?、選擇級(jí)別、查看高分、與朋友交流等。根據(jù)另一實(shí)施例，玩家可使用移動(dòng)來從主用戶界面選擇游戲或其他應(yīng)用程序。因此，在示例實(shí)施例中，用戶18的全范圍運(yùn)動(dòng)可以用任何合適的方式來獲得、使用并分析以與應(yīng)用程序進(jìn)行交互。在各示例實(shí)施例中，諸如用戶18等人類目標(biāo)可持有一物體。在這些實(shí)施例中，電子游戲的用戶可手持物體，使得可使用玩家和物體的運(yùn)動(dòng)來調(diào)整和/或控制游戲的參數(shù)。例如，可以跟蹤并利用玩家手持球拍的運(yùn)動(dòng)來控制電子運(yùn)動(dòng)游戲中的屏幕上球拍。在另一示例實(shí)施例中，可以跟蹤并利用玩家手持物體的運(yùn)動(dòng)來控制電子格斗游戲中的屏幕上武器。根據(jù)其他示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10還可用于將目標(biāo)移動(dòng)解釋為游戲領(lǐng)域之外的操作系統(tǒng)和/或應(yīng)用控制。例如，事實(shí)上操作系統(tǒng)和/或應(yīng)用程序的任何可控方面都可由諸如用戶18等目標(biāo)的移動(dòng)來控制。圖2示出可在目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10中使用的捕捉設(shè)備20的示例實(shí)施例。根據(jù)一示例實(shí)施例，捕捉設(shè)備20可被配置成經(jīng)由任何合適的技術(shù)，包括例如飛行時(shí)間、結(jié)構(gòu)化光、立體圖像等來捕捉包括深度圖像的帶有深度信息的視頻，該深度信息可包括深度值。根據(jù)一個(gè)實(shí)施例，捕捉設(shè)備20可將深度信息組織為“Z層”或者可與從深度相機(jī)沿其視線延伸的Z軸垂直的層。如圖2所示，捕捉設(shè)備20可包括圖像相機(jī)組件22。根據(jù)一個(gè)示例性實(shí)施例，圖像相機(jī)組件22可以是可捕捉場(chǎng)景的深度圖像的深度相機(jī)。深度圖像可以包括所捕捉場(chǎng)景的二維(2-D)像素區(qū)域，其中2-D像素區(qū)域中的每個(gè)像素都可表示深度值，比如例如所捕捉場(chǎng)景中的對(duì)象距相機(jī)的以厘米、毫米等為單位的長(zhǎng)度或距離。如圖2所示，根據(jù)一示例性實(shí)施例，圖像相機(jī)組件22可以包括可用于捕捉場(chǎng)景的深度圖像的IR光組件24、三維(3-D)相機(jī)26、和RGB相機(jī)28。例如，在飛行時(shí)間分析中，捕捉設(shè)備20的IR光組件24可將紅外光發(fā)射到場(chǎng)景上，并且隨后可使用傳感器(未示出)、用例如3-D相機(jī)26和/或RGB相機(jī)28來檢測(cè)從場(chǎng)景中的一個(gè)或多個(gè)目標(biāo)和物體的表面反向散射的光。在一些實(shí)施例中，可以使用脈沖紅外光，使得可以測(cè)量出射光脈沖與相應(yīng)入射光脈沖之間的時(shí)間，并且將其用于確定從捕捉設(shè)備20到場(chǎng)景中的目標(biāo)或物體上的特定位置的物理距離。附加地，在其他示例性實(shí)施例中，可以將出射光波的相位與入射光波的相位相比較來確定相移。然后可以使用該相移來確定從捕捉設(shè)備到目標(biāo)或物體上的特定位置的物理距離。根據(jù)另一示例性實(shí)施例，可以使用飛行時(shí)間分析來通過經(jīng)由包括例如快門式光脈沖成像在內(nèi)的各種技術(shù)分析反射光束隨時(shí)間的強(qiáng)度來間接地確定從捕捉設(shè)備20到目標(biāo)或物體上的特定位置的物理距離。在另一示例性實(shí)施例中，捕捉設(shè)備20可以使用結(jié)構(gòu)化光來捕捉深度信息。在這樣的分析中，圖案化光(即被顯示為諸如網(wǎng)格圖案或條紋圖案之類的已知圖案的光)可以經(jīng)由例如IR光組件24被投影到場(chǎng)景上。在落到場(chǎng)景中的一個(gè)或多個(gè)目標(biāo)或物體的表面上以后，作為響應(yīng)，圖案可以變?yōu)樽冃蔚?。圖案的這種變形可由例如3-D相機(jī)26和/或RGB相機(jī)28來捕捉，然后可被分析來確定從捕捉設(shè)備到目標(biāo)或物體上的特定位置的物理距離。根據(jù)另一實(shí)施例，捕捉設(shè)備20可包括兩個(gè)或更多物理上分開的相機(jī)，這些相機(jī)可從不同角度查看場(chǎng)景以獲得視覺立體數(shù)據(jù)，該視覺立體數(shù)據(jù)可被解析以生成深度信息。捕捉設(shè)備20還可包括話筒30。話筒30可包括可接收聲音并將其轉(zhuǎn)換成電信號(hào)的變換器或傳感器。根據(jù)一個(gè)實(shí)施例，話筒30可用于減少目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10中的捕捉設(shè)備20與計(jì)算環(huán)境12之間的反饋。附加地，話筒30可用于接收也可由用戶提供的音頻信號(hào)，以控制可由計(jì)算環(huán)境12執(zhí)行的諸如游戲應(yīng)用、非游戲應(yīng)用等之類的應(yīng)用。 在一示例性實(shí)施例中，捕捉設(shè)備20還可包括可與圖像相機(jī)組件22可操作地通信的處理器32。處理器32可包括可執(zhí)行指令的標(biāo)準(zhǔn)化處理器、專用處理器、微處理器等，這些指令包括例如用于接收深度圖像的指令；用于基于深度圖像來生成體素網(wǎng)格的指令；用于移除體素網(wǎng)格中所包括的背景以隔離與人類目標(biāo)相關(guān)聯(lián)的一個(gè)或多個(gè)體素的指令；用于確定被隔離的人類目標(biāo)的一個(gè)或多個(gè)肢端的位置或方位的指令；或任何其他合適的指令，下面將對(duì)它們進(jìn)行更詳細(xì)的描述。捕捉設(shè)備20還可包括存儲(chǔ)器組件34，存儲(chǔ)器組件34可存儲(chǔ)可由處理器32執(zhí)行的指令、3-D相機(jī)或RGB相機(jī)捕捉到的圖像或圖像的幀、或任何其他合適的信息、圖像等。根據(jù)一示例性實(shí)施例，存儲(chǔ)器組件34可包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、高速緩存、閃存、硬盤、或任何其他合適的存儲(chǔ)組件。如圖2所示，在一個(gè)實(shí)施例中，存儲(chǔ)器組件34可以是與圖像捕捉組件22和處理器32進(jìn)行通信的單獨(dú)的組件。根據(jù)另一實(shí)施例，存儲(chǔ)器組件34可被集成到處理器32和/或圖像捕捉組件22中。如圖2所示，捕捉設(shè)備20可經(jīng)由通信鏈路36與計(jì)算環(huán)境12進(jìn)行通信。通信鏈 路36可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等的有線連接，和/或例如無線802. llb、g、a或η連接等的無線連接。根據(jù)一個(gè)實(shí)施例，計(jì)算環(huán)境12可以經(jīng)由通信鏈路36向捕捉設(shè)備20提供時(shí)鐘，該時(shí)鐘可用于確定何時(shí)捕捉例如場(chǎng)景。另外，捕捉設(shè)備20可經(jīng)由通信鏈路36向計(jì)算環(huán)境12提供深度信息和由例如3_D相機(jī)26和/或RGB相機(jī)28捕捉的圖像，和/或可由捕捉設(shè)備20生成的骨架模型。計(jì)算環(huán)境12然后可使用該模型、深度信息、以及所捕捉的圖像來例如控制諸如游戲或字處理程序等的應(yīng)用和/或動(dòng)畫化化身或屏幕上人物。例如，如圖2所示，計(jì)算環(huán)境12可包括姿勢(shì)庫190。姿勢(shì)庫190可包括姿勢(shì)過濾器集合，每一姿勢(shì)過濾器包括關(guān)于(在用戶移動(dòng)時(shí))模型可執(zhí)行的姿勢(shì)的信息?？蓪⒂上鄼C(jī)26、28和捕捉設(shè)備20捕捉的模型形式的數(shù)據(jù)以及與其相關(guān)聯(lián)的移動(dòng)與姿勢(shì)庫190中的姿勢(shì)過濾器進(jìn)行比較，來標(biāo)識(shí)用戶(如模型所表示的)何時(shí)執(zhí)行了一個(gè)或多個(gè)姿勢(shì)。那些姿勢(shì)可與應(yīng)用的各種控制相關(guān)聯(lián)。因此，計(jì)算環(huán)境12可使用姿 勢(shì)庫190來解釋模型的移動(dòng)并基于該移動(dòng)來控制應(yīng)用。圖3示出可用于解釋目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中的一個(gè)或多個(gè)姿勢(shì)和/或動(dòng)畫化目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)所顯示的化身或屏幕上的人物的計(jì)算環(huán)境的示例實(shí)施例。上面參考圖1A-2所描述的諸如計(jì)算環(huán)境12等計(jì)算環(huán)境可以是諸如游戲控制臺(tái)等多媒體控制臺(tái)100。如圖3所示，多媒體控制臺(tái)100具有含有一級(jí)高速緩存102、二級(jí)高速緩存104和閃存ROM (只讀存儲(chǔ)器)106的中央處理單元(CPU) 101。一級(jí)高速緩存102和二級(jí)高速緩存104臨時(shí)存儲(chǔ)數(shù)據(jù)，并且因此減少存儲(chǔ)器訪問周期的數(shù)量，由此改進(jìn)處理速度和吞吐量。CPUlOl可被提供為具有一個(gè)以上的核，并且由此具有附加的一級(jí)高速緩存102和二級(jí)高速緩存104。閃存ROM 106可存儲(chǔ)在多媒體控制臺(tái)100通電時(shí)引導(dǎo)過程的初始階段期間加載的可執(zhí)行代碼。圖形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形成用于高速和高分辨率圖形處理的視頻處理流水線。經(jīng)由總線從圖形處理單元108向視頻編碼器/視頻編解碼器114運(yùn)送數(shù)據(jù)。視頻處理流水線向A/V (音頻/視頻)端口 140輸出數(shù)據(jù)，用于傳輸至電視或其他顯示器。存儲(chǔ)器控制器110連接到GPU 108以方便處理器訪問各種類型的存儲(chǔ)器112，諸如但不局限于RAM (隨機(jī)存取存儲(chǔ)器)。多媒體控制臺(tái)100包括較佳地在模塊118上實(shí)現(xiàn)的I/O控制器120、系統(tǒng)管理控制器122、音頻處理單元123、網(wǎng)絡(luò)接口控制器124、第一 USB主控制器126、第二 USB控制器128和前面板I/O子部件130。USB控制器126和128用作外圍控制器142⑴-142 (2)、無線適配器148、以及外置存儲(chǔ)器設(shè)備146 (例如，閃存、外置⑶/DVD ROM驅(qū)動(dòng)器、可移動(dòng)介質(zhì)等)的主機(jī)。網(wǎng)絡(luò)接口控制器124和/或無線適配器148提供對(duì)網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等各種不同的有線和無線適配器組件中任一種。提供系統(tǒng)存儲(chǔ)器143來存儲(chǔ)在引導(dǎo)過程期間加載的應(yīng)用數(shù)據(jù)。提供媒體驅(qū)動(dòng)器144，且其可包括DVD/⑶驅(qū)動(dòng)器、硬盤驅(qū)動(dòng)器、或其他可移動(dòng)媒體驅(qū)動(dòng)器等。媒體驅(qū)動(dòng)器144可以是對(duì)多媒體控制器100內(nèi)置的或外置的。應(yīng)用數(shù)據(jù)可經(jīng)由媒體驅(qū)動(dòng)器144訪問，以供多媒體控制臺(tái)100執(zhí)行、回放等。媒體驅(qū)動(dòng)器144經(jīng)由諸如串行ATA總線或其他高速連接(例如IEEE 1394)等總線連接到I/O控制器120。系統(tǒng)管理控制器122提供與確保多媒體控制臺(tái)100的可用性相關(guān)的各種服務(wù)功能。音頻處理單元123和音頻編解碼器132形成具有高保真度和立體聲處理的相應(yīng)音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元123與音頻編解碼器132之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到A/V端口 140，以供外置音頻播放器或具有音頻能力的設(shè)備再現(xiàn)。前面板I/O子部件130支持暴露在多媒體控制臺(tái)100的外表面上的電源按鈕150和彈出按鈕152、以及任何LED (發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊136向多媒體控制臺(tái)100的組件供電。風(fēng)扇138冷卻多媒體控制臺(tái)100內(nèi)的電路。多媒體控制臺(tái)100內(nèi)的CPU 101、GPU 108、存儲(chǔ)器控制器110、以及各種其他組件經(jīng)由一條或多條總線互連，該總線包括串行和并行總線、存儲(chǔ)器總線、外圍總線、以及使用各種總線體系結(jié)構(gòu)中的任一種的處理器或局部總線。作為示例，這些架構(gòu)可以包括外圍部件互連(PCI)總線、PCI-Express總線等。當(dāng)多媒體控制臺(tái)100通電時(shí)，應(yīng)用數(shù)據(jù)可從系統(tǒng)存儲(chǔ)器143加載到存儲(chǔ)器112和/或高速緩存102、104中，并且可在CPU 101上執(zhí)行。應(yīng)用可在導(dǎo)航到多媒體控制臺(tái)100上可用的不同媒體類型時(shí)呈現(xiàn)提供一致的用戶體驗(yàn)的圖形用戶界面。在操作中，媒體驅(qū)動(dòng)器144中所包含的應(yīng)用和/或其他媒體可從媒體驅(qū)動(dòng)器144啟動(dòng)或播放，以將附加功能提供給、多媒體控制臺(tái)100。多媒體控制臺(tái)100可通過簡(jiǎn)單地將該系統(tǒng)連接到電視機(jī)或其他顯示器而作為獨(dú)立系統(tǒng)來操作。在該獨(dú)立模式中，多媒體控制臺(tái)100允許一個(gè)或多個(gè)用戶與該系統(tǒng)交互、看電影、或聽音樂。然而，隨著通過網(wǎng)絡(luò)接口控制器124或無線適配器148可用的寬帶連接的集成，多媒體控制臺(tái)100還可作為較大網(wǎng)絡(luò)社區(qū)中的參與者來操作。當(dāng)多媒體控制臺(tái)100通電時(shí)，可以保留設(shè)定量的硬件資源以供多媒體控制臺(tái)操作系統(tǒng)作系統(tǒng)使用。這些資源可包括存儲(chǔ)器的保留量(諸如，16MB)、CPU和GPU周期的保留量(諸如，5%)、網(wǎng)絡(luò)帶寬的保留量(諸如，8kbs)，等等。因?yàn)檫@些資源是在系統(tǒng)引導(dǎo)時(shí)間保留的，所保留的資源從應(yīng)用的視角而言是不存在的。具體而言，存儲(chǔ)器保留量?jī)?yōu)選地足夠大，以包含啟動(dòng)內(nèi)核、并發(fā)系統(tǒng)應(yīng)用程序和驅(qū)動(dòng)程序。CPU保留量?jī)?yōu)選地為恒定，使得若所保留的CPU用量不被系統(tǒng)應(yīng)用使用，則空閑線程將消耗任何未使用的周期。對(duì)于GPU保留量，通過使用GPU中斷來調(diào)度代碼以將彈出窗口渲染為覆蓋圖，從而顯示由系統(tǒng)應(yīng)用程序生成的輕量消息(例如，彈出窗口)。覆蓋圖所需的存儲(chǔ)器量取決于覆蓋區(qū)域大小，并且覆蓋圖優(yōu)選地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應(yīng)用使用完整用戶界面的情況下，優(yōu)選使用獨(dú)立于應(yīng)用分辨率的分辨率。定標(biāo)器可用于設(shè)置該分辨率，從而無需改變頻率和引起TV重新同步。在多媒體控制臺(tái)100引導(dǎo)且系統(tǒng)資源被保留之后，執(zhí)行并發(fā)系統(tǒng)應(yīng)用來提供系統(tǒng)功能。系統(tǒng)功能被封裝在一組在如述所保留的系統(tǒng)資源中執(zhí)打的系統(tǒng)應(yīng)用程序中。 呆作系統(tǒng)內(nèi)核標(biāo)識(shí)出作為系統(tǒng)應(yīng)用線程而非游戲應(yīng)用線程的線程。系統(tǒng)應(yīng)用優(yōu)選地被調(diào)度為在預(yù)定時(shí)間并以預(yù)定時(shí)間間隔在CPU 101上運(yùn)行，以便提供對(duì)應(yīng)用而言一致的系統(tǒng)資源視圖。調(diào)度是為了使在控制臺(tái)上運(yùn)行的游戲應(yīng)用的高速緩存分裂最小化。當(dāng)并發(fā)系統(tǒng)應(yīng)用需要音頻時(shí)，由于時(shí)間敏感性而將音頻處理異步地調(diào)度給游戲應(yīng)用。多媒體控制臺(tái)應(yīng)用管理器(如下所描述的)在系統(tǒng)應(yīng)用活動(dòng)時(shí)控制游戲應(yīng)用的音頻級(jí)別(例如，靜音、衰減)。輸入設(shè)備(例如,控制器142(1)和142(2))由游戲應(yīng)用和系統(tǒng)應(yīng)用共享。輸入設(shè)備不是保留資源，而是在系統(tǒng)應(yīng)用和游戲應(yīng)用之間切換以使其各自具有設(shè)備的焦點(diǎn)。應(yīng)用管理器較佳地控制輸入流的切換，而無需知曉游戲應(yīng)用的知識(shí)，并且驅(qū)動(dòng)程序維護(hù)有關(guān)焦點(diǎn)切換的狀態(tài)信息。相機(jī)26、28和捕捉設(shè)備20可為多媒體控制臺(tái)100定義額外的輸入設(shè)備。圖4示出計(jì)算環(huán)境220的另一示例實(shí)施例，該計(jì)算環(huán)境可以是用于解釋目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中的一個(gè)或多個(gè)姿勢(shì)和/或動(dòng)畫化目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)所顯示的化身或屏幕上人物的圖1A-2中示出的計(jì)算 環(huán)境12。計(jì)算環(huán)境220只是合適的計(jì)算環(huán)境的一個(gè)示例，并且不旨在對(duì)所公開的主題的使用范圍或功能提出任何限制。也不應(yīng)該把計(jì)算環(huán)境220解釋為對(duì)示例性計(jì)算系統(tǒng)220中示出的任一組件或其組合有任何依賴性或要求。在某些實(shí)施例中，所描繪的各種計(jì)算元素可包括被配置成實(shí)例化本發(fā)明的各具體方面的電路。例如，本公開中使用的術(shù)語“電路”可包括被配置成通過固件或開關(guān)來執(zhí)行功能的專用硬件組件。在其他示例實(shí)施例中，術(shù)語電路可包括由軟件指令配置的實(shí)施可用于執(zhí)行功能的邏輯的通用處理單元、存儲(chǔ)器等。在電路包括硬件和軟件的組合的示例實(shí)施例中，實(shí)現(xiàn)者可編寫實(shí)施邏輯的源代碼且該源代碼可被編譯成可由通用處理單元處理的機(jī)器可讀代碼。因?yàn)楸绢I(lǐng)域技術(shù)人員可以明白現(xiàn)有技術(shù)已經(jīng)進(jìn)化到硬件、軟件或硬件/軟件組合之間幾乎沒有差別的地步，因而選擇硬件或是軟件來實(shí)現(xiàn)具體功能是留給實(shí)現(xiàn)者的設(shè)計(jì)選擇。更具體地，本領(lǐng)域技術(shù)人員可以明白軟件進(jìn)程可被變換成等價(jià)的硬件結(jié)構(gòu)，而硬件結(jié)構(gòu)本身可被變換成等價(jià)的軟件進(jìn)程。由此，對(duì)于硬件實(shí)現(xiàn)還是軟件實(shí)現(xiàn)的選擇是設(shè)計(jì)選擇之一并留給實(shí)現(xiàn)者。在圖4中，計(jì)算環(huán)境220包括計(jì)算機(jī)241，計(jì)算機(jī)241通常包括各種計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)可以是能被計(jì)算機(jī)241訪問的任何可用介質(zhì)，而且包含易失性和非易失性介質(zhì)、可移動(dòng)和不可移動(dòng)介質(zhì)。系統(tǒng)存儲(chǔ)器222包括易失性和/或非易失性存儲(chǔ)器形式的計(jì)算機(jī)存儲(chǔ)介質(zhì)，如只讀存儲(chǔ)器(ROM) 223和隨機(jī)存取存儲(chǔ)器(RAM) 260。包含諸如在啟動(dòng)期間幫助在計(jì)算機(jī)241內(nèi)的元件之間傳輸信息的基本例程的基本輸入/輸出系統(tǒng)224(BIOS)通常儲(chǔ)存儲(chǔ)在ROM 223中。RAM 260通常包含處理單元259可立即訪問和/或當(dāng)前正在操作的數(shù)據(jù)和/或程序模塊。作為示例而非限制，圖4示出了操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)228。計(jì)算機(jī)241也可以包括其他可移動(dòng)/不可移動(dòng)、易失性/非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)。僅作為示例，圖4示出了從不可移動(dòng)、非易失性磁介質(zhì)中讀取或向其寫入的硬盤驅(qū)動(dòng)器238，從可移動(dòng)、非易失性磁盤254中讀取或向其寫入的磁盤驅(qū)動(dòng)器239，以及從諸如⑶ROM或其他光學(xué)介質(zhì)等可移動(dòng)、非易失性光盤253中讀取或向其寫入的光盤驅(qū)動(dòng)器240?？稍谑纠圆僮鳝h(huán)境中使用的其他可移動(dòng)/不可移動(dòng)、易失性/非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)包括但不限于，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等。硬盤驅(qū)動(dòng)器238通常通過諸如接口 234之類的不可移動(dòng)存儲(chǔ)器接口連接到系統(tǒng)總線221，并且磁盤驅(qū)動(dòng)器239和光盤驅(qū)動(dòng)器240通常通過諸如接口 235之類的可移動(dòng)存儲(chǔ)器接口連接到系統(tǒng)總線221。以上討論并在圖4中示出的驅(qū)動(dòng)器及其相關(guān)聯(lián)的計(jì)算機(jī)存儲(chǔ)介質(zhì)為計(jì)算機(jī)241提供了對(duì)計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其他數(shù)據(jù)的存儲(chǔ)。在圖4中，例如，硬盤驅(qū)動(dòng)器238被示為存儲(chǔ)操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256和程序數(shù)據(jù)255。注意，這些組件可與操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)228相同，也可與它們不同。在此操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256以及程序數(shù)據(jù)255被給予了不同的編號(hào)，以說明至少它們是不同的副本。用戶可以通過輸入設(shè)備，例如鍵盤251和定點(diǎn)設(shè)備252——通常是指鼠標(biāo)、跟蹤球或觸摸墊——向計(jì)算機(jī)241輸入命令和信息。其他輸入設(shè)備(未示出)可包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等。這些以及其他輸入設(shè)備通常通過耦合到系統(tǒng)總線的用戶輸入接口 236連接到處理單元259，但也可通過諸如并行端口、游戲端口或通用串行總線(USB)之類的其他接口和總線結(jié)構(gòu)來連接。相機(jī)26、28和捕捉設(shè)備20可為多媒體控制臺(tái)100定義額外的輸入設(shè)備。監(jiān)視器242或其他類型的顯示設(shè)備也通過諸如視頻接口 232之類的接口連接至系統(tǒng)總線221。除了監(jiān)視器以夕卜，計(jì)算機(jī)還可包括諸如揚(yáng)聲器244和打印機(jī)243之類的其他外圍輸出設(shè)備，它們可通過輸出外圍接口 233來連接。計(jì)算機(jī)241可使用到一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)(諸如，遠(yuǎn)程計(jì)算機(jī)246)的邏輯連接而在聯(lián)網(wǎng)環(huán)境中操作。遠(yuǎn)程計(jì)算機(jī)246可以是個(gè)人計(jì)算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對(duì)等設(shè) 備或其他常見網(wǎng)絡(luò)節(jié)點(diǎn)，并且通常包括許多或所有以上相對(duì)計(jì)算機(jī)241所描述的元件，但在圖4中僅示出了存儲(chǔ)器存儲(chǔ)設(shè)備247。圖2中所描繪的邏輯連接包括局域網(wǎng)(LAN)245和廣域網(wǎng)(WAN) 249，但還可包括其他網(wǎng)絡(luò)。此類聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍的計(jì)算機(jī)網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見的。當(dāng)在LAN聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)241通過網(wǎng)絡(luò)接口或適配器237連接到LAN245。當(dāng)在WAN聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)241通常包括調(diào)制解調(diào)器250或用于通過諸如因特網(wǎng)等WAN 249建立通信的其他手段。調(diào)制解調(diào)器250可以是內(nèi)置的或外置的，可經(jīng)由用戶輸入接口 236或其他適當(dāng)?shù)臋C(jī)制連接到系統(tǒng)總線221。在聯(lián)網(wǎng)環(huán)境中，相對(duì)于計(jì)算機(jī)241所示的程序模塊或其部分可被存儲(chǔ)在遠(yuǎn)程存儲(chǔ)器存儲(chǔ)設(shè)備中。作為示例而非限制，圖4示出了遠(yuǎn)程應(yīng)用程序248駐留在存儲(chǔ)器存儲(chǔ)設(shè)備247上。應(yīng)當(dāng)理解，所示的網(wǎng)絡(luò)連接是示例性的，并且可使用在計(jì)算機(jī)之間建立通信鏈路的其他手段。圖5描繪了用于確定場(chǎng)景中用戶的肢端的示例方法300的流程圖。示例方法300可使用例如，參考圖1A-4所描述的目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10的捕捉設(shè)備20和/或計(jì)算環(huán)境12來實(shí)現(xiàn)。在一示例實(shí)施例中，示例方法300可采取可由例如參考圖1A-4所描述的目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10的捕捉設(shè)備20和/或計(jì)算環(huán)境12、處理器、服務(wù)器、計(jì)算機(jī)、諸如移動(dòng)電話的移動(dòng)設(shè)備、或任何其他適合的電子設(shè)備硬件組件執(zhí)行的程序代碼(即指令)的形式。根據(jù)一個(gè)實(shí)施例，在305，可接收深度圖像。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可包括諸如參考圖1A-2描述的捕捉設(shè)備20等捕捉設(shè)備。捕捉設(shè)備可捕捉或觀察可包括一個(gè)或多個(gè)目標(biāo)的場(chǎng)景。在一示例實(shí)施例中，捕捉設(shè)備可以是深度相機(jī)，該深度相機(jī)被配置成使用諸如飛行時(shí)間分析、結(jié)構(gòu)化光分析、立體視覺分析等任何合適的技術(shù)來獲得場(chǎng)景的深度圖像。深度圖像可以是多個(gè)觀測(cè)到的像素，其中每個(gè)觀測(cè)到的像素具有觀測(cè)到的深度值。例如，深度圖像可包括所捕捉的場(chǎng)景的二維(2D)像素區(qū)域，其中2D像素區(qū)域中的每一像素可表示深度值，諸如例如以厘米、毫米等計(jì)的、所捕捉的場(chǎng)景中的對(duì)象距捕捉設(shè)備的長(zhǎng)度或距離。
圖6示出了可在305處被接收的深度圖像400的示例實(shí)施例。根據(jù)一示例實(shí)施例，深度圖像400可以是由例如以上參考圖2所描述的捕捉設(shè)備20的3D相機(jī)26和/或RGB相機(jī)28所捕捉的場(chǎng)景的圖像或幀。如圖6所示，深度圖像400可包括與例如諸如參考圖IA和IB所描述的用戶18等的用戶對(duì)應(yīng)的人類目標(biāo)402a以及諸如所捕捉的場(chǎng)景中的墻、桌子、監(jiān)視器等的一個(gè)或多個(gè)非人類目標(biāo)404。如上所述，深度圖像400可包括多個(gè)觀測(cè)到的像素，其中每一觀測(cè)到的像素具有與其相關(guān)聯(lián)的觀測(cè)到的深度值。例如，深度圖像400可包括所捕捉的場(chǎng)景的二維(2-D)像素區(qū)域，其中2-D像素區(qū)域中的每一像素可具有深度值，諸如例如以厘米、毫米等計(jì)的、所捕捉的場(chǎng)景中的對(duì)象或目標(biāo)距捕捉設(shè)備的長(zhǎng)度或距離。在一個(gè)實(shí)施例中，深度圖像400可被著色(colorized)從而使得深度圖像的像素的不同顏色對(duì)應(yīng)于和/或從視覺上描繪了人類目標(biāo)402a和非人類目標(biāo)404離捕捉設(shè)備的不同距離。例如，根據(jù)一個(gè)實(shí)施例，深度圖像中與最接近捕捉設(shè)備的目標(biāo)相關(guān)聯(lián)的像素可用紅色和/或橙色陰影來著色，而深度圖像中與較遠(yuǎn)的目標(biāo)相關(guān)聯(lián)的像素可用綠色和/或藍(lán)色陰影來著色?；仡^參考圖5，在一個(gè)實(shí)施例中，在接收?qǐng)D像時(shí)，在305，可針對(duì)深度圖像執(zhí)行處 理，使得與深度圖像相關(guān)聯(lián)的深度信息可用于生成模型，跟蹤用戶等。例如，可以移除高變度和/或有噪聲的深度值，可以平滑深度值，可以填充和/或重構(gòu)丟失的深度信息，或者可以針對(duì)深度圖像執(zhí)行任何其他適合的處理。根據(jù)一示例實(shí)施例，在310，可基于所接收到的深度圖像生成一個(gè)或多個(gè)體素的網(wǎng)格。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可通過使用所接收到的深度圖像中所包括的信息來生成一個(gè)或多個(gè)體素來對(duì)所接收的深度圖像進(jìn)行降采樣，以便可以生成經(jīng)降采樣的深度圖像。在一個(gè)實(shí)施例中，該一個(gè)或多個(gè)體素可以是可在經(jīng)子采樣(sub-sampled)的網(wǎng)格上表示所接收的深度圖像中所包括的信息的數(shù)據(jù)或值的體元素。例如，如上所述，深度圖像可包括所捕捉的場(chǎng)景的2D像素區(qū)域，其中每一像素具有與其相關(guān)聯(lián)的X值、Y值和深度值(或Z值)。在一實(shí)施例中，深度圖像可通過將2-D像素區(qū)域中的像素減少為一個(gè)或多個(gè)體素的網(wǎng)格來降采樣。例如，深度圖像可被劃分成各個(gè)像素部分或像素塊，諸如4x4的像素塊、5x5的像素塊、8x8的像素塊、10x10的像素塊等等。每個(gè)部分或塊可被處理以生成深度圖像的體素，該體素可表示與該2-D深度圖像的像素相關(guān)聯(lián)的部分或塊在真實(shí)世界空間中的方位。根據(jù)一示例實(shí)施例，每個(gè)體素的方位可以基于例如該體素可表示的塊或部分中的像素的有效或非零深度值的平均深度值、該體素可表示的塊或部分中的像素的最小、最大和/或中間深度值、該體素可表示的部分或塊中具有有效深度值的像素的X值和Y值的平均、或該深度圖像所提供的任何其他適合的信息。因此，根據(jù)一示例實(shí)施例，每個(gè)體素可表示該深度圖像的具有諸如以下值的子體(sub-volume)部分或塊該體素可表示的塊或部分中像素的有效或非零深度值的平均深度值，該體素可表示的部分或塊中像素的最小、最大和/或中間深度值，該體素可表示的部分或塊中具有有效深度值的像素的X值和Y值的平均，或基于在305所接收的深度圖像的像素的對(duì)應(yīng)部分或塊的X值、Y值和深度值由該深度圖像所提供的任何其他適合的信息。在一個(gè)實(shí)施例中，經(jīng)降采樣的深度圖像中的一個(gè)或多個(gè)體素的網(wǎng)格可被分層。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可生成如上所述的體素。然后該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將所生成的體素堆疊在該網(wǎng)格中所生成的一個(gè)或多個(gè)其他體素上。
根據(jù)一示例實(shí)施例，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以將體素堆疊在該網(wǎng)格中，例如該深度圖像中所捕捉的場(chǎng)景中的物體的邊緣周圍。例如，在305接收的深度圖像可包括人類目標(biāo)和非人類目標(biāo)(諸如墻)。例如在人類目標(biāo)的邊緣處，人類目標(biāo)可以與非人類目標(biāo)(諸如墻)重疊。在一個(gè)實(shí)施例中，重疊邊緣可包括諸如與該深度圖像中可捕捉的該人類目標(biāo)和非人類目標(biāo)相關(guān)聯(lián)的深度值、X值、Y值等。該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以生成該重疊邊緣處的與該人類目標(biāo)相關(guān)聯(lián)的體素以及與該人類目標(biāo)相關(guān)聯(lián)的體素，以便該體素可被堆疊而該重疊邊緣的信息(諸如深度值、X值、Y值等)可被保持在該網(wǎng)格中。根據(jù)另一實(shí)施例，在310，通過例如將信息(諸如深度值、X值、Y值等)投影到三維(3-D)空間中，可以生成一個(gè)或多個(gè)體素的網(wǎng)格。例如，使用相機(jī)、圖像或視角變換等變換可將深度值映射到該3-D空間中的3-D點(diǎn)，以便該信息可被變換為該3-D空間中的梯形或錐形。在一個(gè)實(shí)施例中，具有梯形或錐形的3D空間可被劃分成諸如立方體的塊，所述塊可 創(chuàng)建體素的網(wǎng)格，使得這些塊或立方體中的每一個(gè)可表示該網(wǎng)格中的體素。例如，該目標(biāo)識(shí)另IJ、分析和跟蹤系統(tǒng)可以將3-D網(wǎng)格疊加在與該深度圖像中的物體相對(duì)應(yīng)的3-D點(diǎn)上。隨后該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以將該網(wǎng)格劃分或切割為表示體素的塊以將該深度圖像降采樣為更低的分辨率。根據(jù)一示例實(shí)施例，網(wǎng)格中的每個(gè)體素可包括該體素可表示的與網(wǎng)格中的3D空間相關(guān)聯(lián)的像素的有效或非零深度值的平均深度值、該體素可表示的與網(wǎng)格中的3D空間相關(guān)聯(lián)的像素的最小和/或最大深度值、該體素可表示的與網(wǎng)格中的3D空間相關(guān)聯(lián)的具有有效深度值的像素的X值和Y值的平均、或該深度圖像所提供的任何其他適合的信息。圖7A-7B示出被降采樣的深度圖像的一部分的示例實(shí)施例。例如，如圖7A所示，以上參考圖6所述的深度圖像400的一部分410可包括多個(gè)像素420，其中每一像素420可具有與其相關(guān)聯(lián)的X值、Y值和深度值(或Z值)。根據(jù)一個(gè)實(shí)施例，如上所述，深度圖像(諸如深度圖像400)可通過將2-D像素區(qū)域中的像素約簡(jiǎn)為一個(gè)或多個(gè)體素的網(wǎng)格來降采樣。例如，如圖7A所示，深度圖像400的部分410可以被劃分為像素420的部分或塊430，諸如像素420的8x8塊。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以處理該部分或塊430以生成體素440，體素440可表示與像素420相關(guān)聯(lián)的部分或塊430在真實(shí)世界中的方位，如圖7A-7B所示?；仡^參考圖5，在315，可將背景從經(jīng)降采樣的深度圖像中移除。例如，可以移除經(jīng)降采樣的圖像中的背景(諸如非人類目標(biāo)或物體)以隔離開前景物體(諸如與用戶相關(guān)聯(lián)的人類目標(biāo))。如上所述，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以通過為所捕捉或觀察的深度圖像生成一個(gè)或多個(gè)體素的網(wǎng)格來降采樣所述所捕捉或觀察的深度圖像。該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以分析經(jīng)降采樣的深度圖像中的每一個(gè)以確定體素是否可能與背景物體(諸如該深度圖像的一個(gè)或多個(gè)非人類目標(biāo))相關(guān)聯(lián)。如果體素可能與背景物體相關(guān)聯(lián)，該體素可從經(jīng)降采樣的深度圖像移除或丟棄，以便前景物體(諸如人類目標(biāo))和該網(wǎng)格中與該前景物體相關(guān)聯(lián)的一個(gè)或多個(gè)體素可以被隔離開。在320，可以為被隔離的前景物體(諸如人類目標(biāo))確定一個(gè)或多個(gè)肢端(諸如一個(gè)或多個(gè)身體部位)。例如，在一個(gè)實(shí)施例中，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將一個(gè)或多個(gè)試探(heuristic)或規(guī)則應(yīng)用到經(jīng)隔離的人類目標(biāo)以確定例如與該經(jīng)隔離的人類目標(biāo)相關(guān)聯(lián)的例如質(zhì)心或中心、頭、肩、軀干、臂、腿等。根據(jù)一個(gè)實(shí)施例，基于對(duì)肢端的確定，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以生成和/或調(diào)整被隔離的人類目標(biāo)的模型。例如，如果在305所接收的深度圖像可以被包括在由捕捉設(shè)備(諸如上面參考圖1A-2描述的捕捉設(shè)備20)所觀察或捕捉的初始幀中，則可基于在320確定的肢端(諸如質(zhì)心、頭、肩、臂、手、腿等)的位置，通過例如將模型的關(guān)節(jié)分配到肢端的所確定的位置來生成模型，這將在下面更詳細(xì)地描述?；蛘撸绻疃葓D像可以被包括在由捕捉設(shè)備所觀察或捕捉的后續(xù)或非初始幀中，則可以基于在320確定的肢端(諸如質(zhì)心、頭、肩、臂、手、腿等)的位置來調(diào)整可在之前已經(jīng)生成的模型。根據(jù)一示例實(shí)施例，在315處隔離前景物體(諸如人類目標(biāo))時(shí)，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可在320計(jì)算該人類目標(biāo)中的體素的平均以例如估計(jì)該人類目標(biāo)的質(zhì)心或中心。例如，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可計(jì)算該人類目標(biāo)中包括的體素的平均方位，其可提供對(duì)該人類目標(biāo)的質(zhì)心或中心的估算。在一個(gè)實(shí)施例中，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于與體素相關(guān)聯(lián)的X值、Y值和深度值來計(jì)算與該人類目標(biāo)相關(guān)聯(lián)的體素的平均方位。例如， 如上所述，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可通過對(duì)與體素相關(guān)聯(lián)的像素的X值求平均來計(jì)算該體素的X值，通過對(duì)與該體素相關(guān)聯(lián)的像素的Y值求平均來計(jì)算該體素的Y值，以及通過對(duì)與該體素相關(guān)聯(lián)的像素的深度值求平均來計(jì)算該體素的深度值。在320，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可對(duì)該人類目標(biāo)中所包括的體素的X值、Y值和深度值求平均以計(jì)算平均方位，該平均方位可提供該人類目標(biāo)的質(zhì)心或中心的估算。圖8示出了為人類目標(biāo)402b估計(jì)的質(zhì)心或中心的示例實(shí)施例。根據(jù)示例實(shí)施例，質(zhì)心或中心的位置或方位802可以基于與如上所述的被隔離的人類目標(biāo)402b相關(guān)聯(lián)的體素的平均方位或位置?；仡^參考圖5，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可在320為人類目標(biāo)定義邊界框以確定例如可包括人類目標(biāo)的頭和/或軀干的人類目標(biāo)的核體積。例如，在確定對(duì)人類目標(biāo)的質(zhì)心或中心的估計(jì)時(shí)，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以沿X方向水平地搜索以確定可用于定義與核體積相關(guān)聯(lián)的邊界框的人類目標(biāo)的寬度。根據(jù)一個(gè)實(shí)施例，為了沿X方向水平地搜索以確定人類目標(biāo)的寬度，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以從質(zhì)心或中心沿X軸在向左方向和向右方向上搜索，直到目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可到達(dá)無效的體素，諸如可能不包括與其相關(guān)聯(lián)的深度值的體素、或者可能與場(chǎng)景中所標(biāo)識(shí)的另一個(gè)物體相關(guān)聯(lián)的體素。例如，如上所述，可以在315處移除與背景相關(guān)聯(lián)的體素以隔離人類目標(biāo)和與其相關(guān)聯(lián)的體素。如上所述，根據(jù)示例實(shí)施例，為了在315處移除體素，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以使用O值、或另一個(gè)適合的指示符、或可指示體素?zé)o效的標(biāo)記來代替與背景物體的體素相關(guān)聯(lián)的X值、Y值、和/或深度值。在320處，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可從人類目標(biāo)的質(zhì)心在向左方向上搜索直至到達(dá)人類目標(biāo)左側(cè)的第一無效體素，并且可從人類目標(biāo)的質(zhì)心在向右方向上搜索直至到達(dá)人類目標(biāo)右側(cè)的第二無效體素。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可基于例如向左方向上到達(dá)的第一無效體素鄰近的第一有效體素的X值與向右方向上第二無效體素鄰近的第二有效體素的X值之間的差來計(jì)算或測(cè)量寬度。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可沿Y方向垂直地搜索以確定人類目標(biāo)的高度，例如可用于定義與核體積相關(guān)聯(lián)的邊界框的從頭到髖的高度。根據(jù)一個(gè)實(shí)施例，為了沿Y方向垂直地搜索以確定人類目標(biāo)的寬度，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以從質(zhì)心或中心沿Y軸在向上方向和向下方向上搜索，直到目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)到達(dá)無效的體素，諸如可不包括與其相關(guān)聯(lián)的深度值的體素、可被標(biāo)記或可具有與其相關(guān)聯(lián)的無效指示符的體素、可能與場(chǎng)景中所標(biāo)識(shí)的另一個(gè)物體相關(guān)聯(lián)的體素等。例如，在320處，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可從人類目標(biāo)的質(zhì)心在向左方向上搜索直至到達(dá)人類目標(biāo)上部的第三無效體素，并且可從人類目標(biāo)的質(zhì)心在向下方向上搜索直至到達(dá)人類目標(biāo)下部的第四無效體素。目標(biāo)識(shí)另IJ、分析和跟蹤系統(tǒng)隨后可基于例如向上方向上到達(dá)的第三無效體素鄰近的第三有效體素的Y值與向下方向上第四無效體素鄰近的第四有效體素的Y值來計(jì)算或測(cè)量高度。根據(jù)示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可以在X和Y軸上沿X和Y方向以各種角度(諸如30度、45度角、60度角等)正交地搜索，以便確定可用于定義與核體積相關(guān)聯(lián)的邊界框的其他距離和值。另外，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于距離或值的比率來定義與核體積相關(guān)聯(lián)的邊界框。例如，在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于如上所述確定的高度乘以常量(諸如O. 2,0. 25,0. 3、或任何其他適合的值)，來定義邊界框的寬度。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以基于由沿著X軸的水平搜索所確定的第一和第二有效體素、由沿著Y軸的垂直搜索所確定的第三和第四有效體素、或者由例如正交搜索所確定的其他距離和值、距離或值的比率等，來定義可表示核體積的邊界框。例如，在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可在第一有效體素的X值處沿Y軸生成邊界框的第一垂直線，以及在第二有效體素的X值處沿Y軸生成邊界框的第二垂直線。另外，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可在第三有效體素的Y值處沿X軸生成邊界框的第一水平線，以及在第四有效體素的Y值處沿X軸生成邊界框的第二水平線。根據(jù)示例實(shí)施例，第一和第二水平線可以與第一和第二垂直線交叉以形成矩形或正方形，該矩形或正方形可以表示與人類目標(biāo)的核體積相關(guān)聯(lián)的邊界框。圖9示出了可被定義為確定核體積的邊界框804的示例實(shí)施例。如圖9所示，邊界框804可以基于如上所述所確定的第一垂直線VL1、第二垂直線VL2與第一水平線HL1、第二水平線HL2的交叉來形成矩形?；仡^參考圖5，在320，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可確定諸如人類目標(biāo)的頭的肢端。例如，在一個(gè)實(shí)施例中，在確定了核體積和定義了與其相關(guān)聯(lián)的邊界框之后，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以確定人類目標(biāo)的頭的位置或方位。為了確定諸如頭的肢端的方位或位置，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可在適合于肢端的方位或位置確定各個(gè)候選項(xiàng)，可以對(duì)各個(gè)候選項(xiàng)打分，并且隨后可以基于分?jǐn)?shù)從各個(gè)候選項(xiàng)中選擇肢端的方位。根據(jù)一個(gè)實(shí)施例，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以搜索該人類目標(biāo)的絕對(duì)最高體素和/或毗鄰或接近該絕對(duì)最高體素的體素、基于為先前幀確定的頭的位置的一個(gè)或多個(gè)增量體素、可從例如質(zhì)心或中心豎直延伸的向上的向量上的最高體素和/或毗鄰或接近為先前幀確定的最高體素的體素，在質(zhì)心或中心和為先前幀確定的最高體素之間的先前的向上的向量上的最高體素，和任何其他適當(dāng)體素，來確定該末端(諸如頭)的候選。該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可對(duì)這些候選項(xiàng)打分。根據(jù)一個(gè)實(shí)施例，可基于3-D模式匹配對(duì)這些候選項(xiàng)打分。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以創(chuàng)建或生成一個(gè)或多個(gè)候選柱體，諸如頭柱體和肩柱體。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可基于諸如頭柱體、 肩柱體等一個(gè)或多個(gè)候選柱體中可包括的與候選項(xiàng)相關(guān)聯(lián)的體素的數(shù)量來計(jì)算候選項(xiàng)的得分，這將在下面更為詳細(xì)地描述。圖10示出了頭柱體806和肩柱體808的示例實(shí)施例,該頭柱體806和肩柱體808可被創(chuàng)建為對(duì)與諸如頭的肢端相關(guān)聯(lián)的候選項(xiàng)進(jìn)行打分。根據(jù)一示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于與頭柱體806和肩柱體808中包括的候選項(xiàng)相關(guān)聯(lián)的體素的數(shù)量來計(jì)算候選項(xiàng)的得分。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于與候選項(xiàng)相關(guān)聯(lián)的體素的位置來確定頭柱體806和/或肩柱體808內(nèi)部的候選項(xiàng)的第一總數(shù)，以及基于與候選項(xiàng)相關(guān)聯(lián)的體素的位置來確定頭柱體806 (例如，區(qū)域807以內(nèi))和/或肩柱體808外部的候選項(xiàng)的第二總數(shù)。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可基于肩柱體808的左半部LH中候選項(xiàng)的第一數(shù)量與肩柱體808的右半部RH中頭候選項(xiàng)的第二數(shù)量之間的差的絕對(duì)值的函數(shù)來計(jì)算對(duì)稱的度量。在一示例實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可通過從頭柱體806和/或肩柱體808內(nèi)部的候選項(xiàng)的第一總數(shù)中減去頭柱體806和/或肩柱體808外部的候選項(xiàng)的第二總數(shù)，并進(jìn)一步從頭柱體806和/或肩柱體808內(nèi)部和外部的候選項(xiàng)的第一和第二總數(shù)之差中減去對(duì)稱度量來計(jì)算候選項(xiàng)的分?jǐn)?shù)。根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將頭柱體806和/或肩柱體808內(nèi)部和外部的候選項(xiàng)的第一和第二總數(shù)乘以由目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)在從第一總數(shù)中減去第二總數(shù)之前所確定的常數(shù)?；仡^參考圖5，根據(jù)一個(gè)實(shí)施例，如果與候選項(xiàng)之一相關(guān)聯(lián)的分?jǐn)?shù)超過肢端閾值分、數(shù)，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可在320基于與該候選項(xiàng)相關(guān)聯(lián)的體素來確定諸如頭的肢端的方位或位置。例如，在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于最高點(diǎn)、可(從例如質(zhì)心或中心和/或鄰近或接近為之前幀所確定的向上向量上的最高體素的體素)垂直延伸的向上向量上的最高體素、之前幀的之前向上向量或向上向量的最高體素、之前幀中頭的方位或位置周圍的區(qū)域(諸如框、立方體等)內(nèi)全部體素的平均方位、或者與具有適合分?jǐn)?shù)的候選項(xiàng)相關(guān)聯(lián)的任何其他適合的方位或位置，來選擇頭的方位或位置。根據(jù)其他示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以計(jì)算值的平均(諸如與可超過肢端閾值分?jǐn)?shù)的候選項(xiàng)相關(guān)聯(lián)的體素的X值、Y值和深度值)，可以確定與可超過肢端閾值分?jǐn)?shù)的候選項(xiàng)相關(guān)聯(lián)的體素的最大值和/或最小值，或者可以基于與可超過肢端閾值分?jǐn)?shù)的候選項(xiàng)相關(guān)聯(lián)的體素來選擇任何其他適合的值。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以向頭的肢端的方位或位置指派這種值的一個(gè)或多個(gè)。另外，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于與可超過肢端閾值分?jǐn)?shù)的一個(gè)或多個(gè)候選項(xiàng)相關(guān)聯(lián)的體素的擬合線或最佳擬合線來選擇頭的方位或位置。另外，在一個(gè)實(shí)施例中，如果一個(gè)以上的候選項(xiàng)超過頭閾值分?jǐn)?shù)，則該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可選擇可具有最高分?jǐn)?shù)的候選項(xiàng)并可隨后基于與可具有最高分?jǐn)?shù)的候選項(xiàng)相關(guān)聯(lián)的體素來確定該肢端(諸如頭)的方位或位置。如上所述，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于例如與可具有最高分?jǐn)?shù)的候選項(xiàng)相關(guān)聯(lián)的體素的值(諸如X值、Y值和深度值)的平均、或任何其他適合的技術(shù)(諸如上面所描述的最高點(diǎn)、之前的向上向量上的最高體素等)來選擇頭的方位或位置。根據(jù)一個(gè)實(shí)施例，如果與候選項(xiàng)相關(guān)聯(lián)的分?jǐn)?shù)都未超過頭閾值分?jǐn)?shù)，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可使用其中頭部分?jǐn)?shù)可已超過頭閾值分?jǐn)?shù)的之前幀的深度圖像相關(guān)聯(lián)的人類目標(biāo)中所包括的體素確定的頭的之前方位或位置，或者如果在305接收的深度圖像可能是在由該捕捉設(shè)備捕捉或觀察的初始幀，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可使用人類目標(biāo)的默認(rèn)姿態(tài)(諸如，T型姿態(tài)、自然站立姿態(tài)等)中的頭的默認(rèn)方位或位置。根據(jù)另一實(shí)施例，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可包括與，例如，諸如頭的形狀的肢端形狀相關(guān)聯(lián)的一個(gè)或多個(gè)二維(2D)樣式。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可基于與候選項(xiàng)相關(guān)聯(lián)的體素可能是一個(gè)或多個(gè)2D樣式的形狀的可能性來對(duì)與諸如頭的肢端相關(guān)聯(lián)的候選項(xiàng)打分。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可確定對(duì)可以指示定義諸如頭的形狀的肢端形狀的鄰近或附近的體素的深度值并對(duì)其采樣。如果可以指示定義諸如頭的形狀的肢端形狀的體素之一的經(jīng)采樣的深度值可能偏離與2-D樣式相關(guān)聯(lián)的肢端形狀的體素的一個(gè)或多個(gè)預(yù)期或預(yù)定義的深度值，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以減少默認(rèn)分?jǐn)?shù)或初始分?jǐn)?shù)，以指示該體素可能不是諸如頭的肢端。在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以確定與具有最高分?jǐn)?shù)的體素相關(guān)聯(lián)的分?jǐn)?shù)，并且可以基于與具有最高分?jǐn)?shù)的候選項(xiàng)相關(guān)聯(lián)的體素的位置或方位來指派諸如頭的肢端的位置或方位。在一個(gè)實(shí)施例中，默認(rèn)分?jǐn)?shù)或初始分?jǐn)?shù)可以是與使用如上所述的頭和/或肩柱體來計(jì)算的諸如頭的肢端相關(guān)聯(lián)的候選項(xiàng)的分?jǐn)?shù)。如果候選項(xiàng)可能不在與一個(gè)或多個(gè)2-D樣式相關(guān)聯(lián)的頭的形狀中，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以減少這個(gè)分?jǐn)?shù)。如上所述，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以選擇超過肢端閾值分?jǐn)?shù)的候選項(xiàng)的分?jǐn)?shù)，并且可以基于候選項(xiàng)的位置或方位來指派諸如頭的肢端的位置或方位。
目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可在320進(jìn)一步確定諸如人類目標(biāo)的肩和髖的其他肢端。例如，在一個(gè)實(shí)施例中，在確定諸如人類目標(biāo)的頭的肢端的位置或方位之后，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可確定人類目標(biāo)的肩和髖的位置或方位。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可確定肩和髖的定向，諸如肩和髖的旋轉(zhuǎn)或角度。根據(jù)一示例實(shí)施例，為了確定諸如肩和髖的肢端的位置或方位，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于頭的位置或方位以及人類目標(biāo)的質(zhì)心或中心來定義頭-到-中心的向量。例如，頭-到-中心的向量可以是在頭的位置或方位的X值、Y值和深度值(或Z值)與質(zhì)點(diǎn)或中心的位置或方位的X值、Y值和深度值(或Z值)之間定義的向量或線。圖11示出了基于人類目標(biāo)的頭以及質(zhì)心或中心的頭-到-中心向量的示例實(shí)施例。如上所述，可以確定諸如頭的位置或方位810的位置或方位。如圖11所示，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可在頭的位置或方位810與中心或質(zhì)心的位置或方位802之間定義頭-到-中心向量812。回頭參考圖5，在320，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可基于頭-到-中心向量來創(chuàng)建或定義一個(gè)或多個(gè)肢端體塊，諸如肩體積框和髖體積框。根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于沿著頭-到-中心向量的位移來定義或確定諸如肩和髖的肢端的大致位置或方位。例如，該位移可以是距離身體地標(biāo)(諸如與頭或質(zhì)心或中心相關(guān)聯(lián)的方位或位置)的長(zhǎng)度。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以定義距離諸如與頭相關(guān)聯(lián)的方位或位置或質(zhì)心或中心等身體地標(biāo)的位移值周圍的肢端體塊，諸如肩體塊和髖體塊。圖12示出了肢端體塊的示例實(shí)施例,諸如基于頭-到-中心向量812所確定的肩體塊SVB和髖體塊HVB。根據(jù)一示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于諸如距離身體地標(biāo)的長(zhǎng)度等位移(諸如與頭相關(guān)聯(lián)的位置或方位810、或沿著頭-到-中心向量與質(zhì)心或中心相關(guān)聯(lián)的位置或方位802)來定義或確定諸如肩和髖等肢端的大致位置或方位。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以定義距離身體地標(biāo)位移值周圍的諸如肩體塊SVB和髖體塊HVB的肢端體塊。回頭參考圖5，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可在320基于諸如距離身體地標(biāo)(諸如沿著頭-到-中心向量的頭)的長(zhǎng)度的位移值來計(jì)算諸如肩和髖的肢端的中心。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以沿著頭-到-中心向量向下或向上移動(dòng)該位移值以計(jì)算諸如肩和髖的肢端的中心。根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可以確定諸如肢端(諸如肩和髖)的角度的定向。在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以計(jì)算例如諸如肩體塊和髖體塊的肢端體塊內(nèi)的深度值的擬合線，以便確定該定向，諸如相應(yīng)肢端(諸如肩和髖)的角度。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于與肢端體塊(諸如肩體塊和髖體塊)相關(guān)聯(lián)的體素的X值、Y值和深度值來計(jì)算最佳擬合線，以便計(jì)算肢端向量的肢端斜度，該肢端斜度可定義相應(yīng)肢端的骨骼。因此，在示例實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于與肩體塊和髖體塊相關(guān)聯(lián)的體素的X值、Y值和深度值來計(jì)算最佳擬合線，以便計(jì)算可通過肩的中心來定義肩骨的肩向量的肩斜度以及可通過髖的中心來定義髖的骨骼的髖向量的髖斜度。諸如肩斜度和髖斜度的肢端斜度可以定義相應(yīng)的定向，諸如肢端(諸如肩和髖)的角度。在一示例實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于肢端向量及其斜度所定義的骨骼來確定與肢端(諸如肩和髖)相關(guān)聯(lián)的關(guān)節(jié)的位置或方位。例如，在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可沿著肩和髖向量在每個(gè)方向上進(jìn)行搜索，直至到達(dá)例如肩和髖體塊中的無效體素所定義的肩和髖的相應(yīng)邊緣。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以基于包括有效體素的X值、Y值或深度值的一個(gè)或多個(gè)位置或方位，為肩和髖關(guān)節(jié)指派包括X值、Y值和深度值的位置或方位，該有效體素沿著可鄰近或靠近無效體素的肩和髖向量。根據(jù)其他示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可確定肩邊緣之間的肩向量的第一長(zhǎng)度，以及髖邊緣之間的髖向量的第二長(zhǎng)度。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于第一長(zhǎng)度來確定肩關(guān)節(jié)的位置或方位，并基于第二長(zhǎng)度來確定髖關(guān)節(jié)的位置或方位。例如，在一個(gè)實(shí)施例中，肩關(guān)節(jié)可被指派一位置或方位，該位置或方位包括在第一長(zhǎng)度處的肩向量的端部的X值、Y值和深度值，并且髖關(guān)節(jié)可被指派一位置或方位，該位置或方位包括在第二長(zhǎng)度處的髖向量的端部的X值、Y值和深度值。根據(jù)另一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以在為肩和髖關(guān)節(jié)指派位置或方位之前調(diào)整第一長(zhǎng)度和第二長(zhǎng)度。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以從肩向量的每端相等地減去肩位移值來調(diào)整第一長(zhǎng)度，該肩位移值可包括同人的肩的邊緣或肩胛與肩關(guān)節(jié)之間的特定位移相關(guān)聯(lián)的值。類似地，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以 從髖向量的每端相等地減去髖位移值來調(diào)整第二長(zhǎng)度，該髖位移值可包括同人的髖的邊緣或盆骨與髖之間的特有位移相關(guān)聯(lián)的值。在調(diào)整可定義相應(yīng)肩和髖的骨骼的肩和髖向量的第一和第二長(zhǎng)度時(shí)，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可為肩關(guān)節(jié)指派一位置或方位，該位置或方位包括在經(jīng)調(diào)整的第一長(zhǎng)度處的肩向量的端部的X值、Y值和深度值，并為髖關(guān)節(jié)指派一位置或方位，該該位置或方位包括在經(jīng)調(diào)整的第二長(zhǎng)度處的髖向量的端部的X值、Y值和深度值。圖13示出可基于肩體塊SVB和髖體塊HVB來計(jì)算的肩和髖的示例實(shí)施例。如圖13所示，可以如上所述地基于相應(yīng)的肩體塊SVB和髖體塊HVB來確定肩的位置或方位816a-b和髖的位置或方位818a-b?；仡^參考圖5，在320，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可確定肢端，諸如人類目標(biāo)的頭。在一個(gè)實(shí)施例中，在確定肩和髖之后，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可生成或創(chuàng)建軀干體，該軀干體可包括與頭、肩、中心和髖相關(guān)聯(lián)或圍繞它們的體素。基于中心、頭、肩和/或髖的位置或方位，軀干體可以是柱體、藥丸形(諸如兩端為圓形的柱體)等等。根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以創(chuàng)建或生成柱體，該柱體可表示具有基于肩、頭、髖、中心等的尺度的軀干體。例如，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可創(chuàng)建柱體，該柱體可具有基于肩的寬度的寬度或直徑以及基于頭和髖之間的距離的高度。然后該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可沿頭-到-中心向量定向或傾斜(angle)可表示軀干體的柱體，使得該軀干體可反映人類目標(biāo)的軀干的定向(諸如角度)。圖14示出了可表示軀干體的柱體820的示例實(shí)施例。如圖14所示,柱體820可以具有基于肩的寬度的寬度或直徑以及基于頭和髖之間的距離的高度。還可沿著頭-到-中心向量812對(duì)柱體820定向或傾斜。 回頭參考圖5，在520，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可確定額外的肢端，諸如包括人類目標(biāo)的臂、手、腿、腳等的肢體。根據(jù)一個(gè)實(shí)施例，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可在生成或創(chuàng)建軀干體之后粗略地將軀干體外的體素標(biāo)記為肢體。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可標(biāo)識(shí)在軀干體以外的體素中的每一個(gè)，使得目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將該體素標(biāo)記為肢體的一部分。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可確定肢端，諸如包括與在軀干體以外的體素相關(guān)聯(lián)的右臂和左臂、右手和左手、右腿和左腿、右腳和左腳等實(shí)際的肢體。在一個(gè)實(shí)施例中，為了確定實(shí)際的肢體，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將所標(biāo)識(shí)的肢體的之前方位或位置(諸如右臂、左臂、左腿、右腿等的之前方位或位置)與在軀干體以外的體素的方位或位置進(jìn)行比較。根據(jù)示例實(shí)施例，之前標(biāo)識(shí)的肢體的之前位置或方位可以是之前幀中所接收的深度圖像中的肢體的位置或方位、基于之前移動(dòng)的所投影的身體部位的位置或方位、或諸如人類目標(biāo)的完全連接(fully articulated)骨架或體模型等人類目標(biāo)的標(biāo)識(shí)的任何其他適當(dāng)之前的位置或方位。基于所述比較，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可將在軀干體以外的體素與最接近的之前標(biāo)識(shí)的肢體相關(guān)聯(lián)。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將包括在軀干體以外的體素中的每一個(gè)的X值、Y值和深度值的方位或位置與包括之前標(biāo)識(shí)的肢體(諸如之前標(biāo)識(shí)的左臂、右臂、左腿、右腿等)的X值、Y值和深度值的之前的方位或位置進(jìn)行比較。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可基于該比較將軀干體外的體素中的每一個(gè)與可能具有最接近的位置或方位的先前標(biāo)識(shí)的肢體相關(guān)聯(lián)。在一個(gè)實(shí)施例中，為了確定實(shí)際的肢體，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將人類目標(biāo)的標(biāo)識(shí)的默認(rèn)姿態(tài)中的所標(biāo)識(shí)的肢體(諸如右臂、左臂、左腿、右腿等)的默認(rèn)方位或位置與在軀干體以外的體素的方位或位置進(jìn)行比較。例如，在305接收的深度圖像可被包括在捕捉設(shè)備所捕捉或觀察的初始幀中。如果在305接收的深度圖像可被包括在初始幀中，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將肢體的默認(rèn)方位或位置(諸如右臂、左臂、左腿、右腿等的默認(rèn)方位或位置)與在軀干體以外的體素的方位或位置進(jìn)行比較。根據(jù)示例實(shí)施例，所標(biāo)識(shí)的肢體的默認(rèn)位置或方位可以是人類目標(biāo)的表示(諸如默認(rèn)姿態(tài)中的人類目標(biāo)的完全連接的骨架或體模型)在默認(rèn)姿態(tài)(諸如T型姿態(tài)、達(dá)芬奇姿態(tài)、自然姿態(tài)等)中的肢體的位置或方位?；谒霰容^，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可將在軀干體以外的體素與與該默認(rèn)姿態(tài)相關(guān)聯(lián)的最接近的肢體相關(guān)聯(lián)。例如，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將包括在軀干體以外的體素中的每一個(gè)的X值、Y值和深度值的方位或位置與包括默認(rèn)的肢體(諸如默認(rèn)的左臂、右臂、左腿、右腿等)的X值、Y值和深度值的默認(rèn)方位或位置進(jìn)行比較。該目標(biāo)識(shí)另|J、分析和跟蹤系統(tǒng)隨后可基于該比較將軀干體外的體素中的每一個(gè)與可能具有最接近的位置或方位的默認(rèn)的肢體相關(guān)聯(lián)。該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可基于所估算的肢體來重新標(biāo)記軀干體內(nèi)的體素。例如，在一個(gè)實(shí)施例中，臂(諸如左前臂)的至少一部分可被置于人類目標(biāo)的軀干的前方。基于所標(biāo)識(shí)的臂的默認(rèn)方位或位置，如上所述，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將該部分確定或估算為與所述臂相關(guān)聯(lián)。例如，先前標(biāo)識(shí)的肢的先前方位或位置可指示人類目標(biāo)的肢體(諸如臂)的一個(gè)或多個(gè)體素可以在軀干體內(nèi)。該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可將包括先前標(biāo)識(shí)的肢體(諸如先前標(biāo)識(shí)的左臂、右臂、左腿、右腿等)的X值、Y值、和深度值的先前方位或位置與軀干體中所包括的體素的方位或位置進(jìn)行比較。該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可基于該比較將軀干體內(nèi)的體素中的每一個(gè)與可能具有最接近的地點(diǎn)或位置的先前標(biāo)識(shí)的肢相關(guān)聯(lián)并將其重新標(biāo)記。 根據(jù)一個(gè)實(shí)施例，在標(biāo)記與肢體相關(guān)聯(lián)的體素后，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可在320確定例如所標(biāo)記的肢體的各部分的位置或方位。例如，在標(biāo)記與左臂、右臂、左腿和/或右腿相關(guān)聯(lián)的體素之后，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可確定與右臂和左臂的手和/或肘、膝和/或腳、肘等的位置或方位。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于所述肢體中的每一個(gè)的肢體位置來確定所述部分(諸如手、肘、腳、膝等)的位置或方位。例如，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可通過將與左臂相關(guān)聯(lián)的體素的每一個(gè)的X值相加，將與左臂相關(guān)聯(lián)的體素的每一個(gè)的Y值相加，以及將與左臂相關(guān)聯(lián)的體素的每一個(gè)的深度值相加并將所加總的X值、Y值和深度值中的每一個(gè)的和除以與左臂相關(guān)聯(lián)的體素的總數(shù)來計(jì)算左臂平均位置。根據(jù)一個(gè)實(shí)施例，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可定義左肩和左臂平均位置之間的向量或線以便該左肩和左臂平均位置之間的向量或線可定義左手的第一搜索方向。該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可從肩至沿由該向量或線所定義的該第一搜索方向搜索最后有效體素或具有有效X值、Y值和/或深度值的最后體素并可將該最后有效體素的位置或方位與左手相關(guān)聯(lián)。根據(jù)另一實(shí)施例，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可計(jì)算錨點(diǎn)。錨點(diǎn)的位置或方位可以基于從其他的所確定的肢端(諸如頭、髖、肩等)的一個(gè)或多個(gè)偏移。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可通過將肩的位置或方位在相應(yīng)的X方向和Z方向上延伸與肩的位置或方位相關(guān)聯(lián)的X值和深度值的一半來計(jì)算錨點(diǎn)的X值和深度值。該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可在所延伸的位置或方位周圍鏡像錨點(diǎn)的X值和深度值的位置或方位。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于左臂平均位置從頭和/或髖的位移來計(jì)算錨點(diǎn)的Y值。例如，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可計(jì)算頭的Y值和左臂平均的Y值之間的位移或差。該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可將該位移或差加到例如髖的中心的Y值來計(jì)算錨點(diǎn)的Y值。圖15A-15C示出了肢端的示例實(shí)施例，諸如基于錨點(diǎn)828a_828c來確定的手。如圖15A-15C所示，根據(jù)另一實(shí)施例，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可計(jì)算錨點(diǎn)828a-828c。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可定義錨點(diǎn)828a-828c與左臂平均位置826a_826c之間的向量或線，使得錨點(diǎn)與左臂平均位置之間的向量或線可以定義左手的第二搜索方向。目標(biāo)識(shí)另O、分析和跟蹤系統(tǒng)然后可從錨點(diǎn)828a-828c沿由該向量或線所定義的第二搜索方向搜索最后有效體素或具有有效X值、Y值和/或深度值的最后體素，并可將該最后有效體素的位置或方位與左手相關(guān)聯(lián)。如上所述，在一示例實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于從其他的確定的肢端(諸如如上所述的頭、髖、肩等)的一個(gè)或多個(gè)偏移來計(jì)算錨點(diǎn)828a-828c的位置或方位。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可通過將肩的位置或方位在相應(yīng)的X方向和Z方向上延伸與肩的位置或方位相關(guān)聯(lián)的X值和深度值的一半來計(jì)算錨點(diǎn)828a-828c的X值和深度值。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可在所延伸的位置或方位周圍鏡像錨點(diǎn)828a-828c的X值和深度值的位置或方位。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于左臂平均位置從頭和/或髖的位移來計(jì)算錨點(diǎn)828a-828c的Y值。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可計(jì)算頭的Y值與左臂平均826a_826c的Y值之間的位移或差。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可將該位移或差加到例如髖的中心的Y值來計(jì)算錨點(diǎn)828a-828c的Y值?；仡^參考圖5，根據(jù)示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以在320計(jì)算右臂平均位置，該右臂平均位置可用于定義如上所述的諸如第一和第二搜索方向的搜索方向，該搜索方向可用于確定右手的位置或方位。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可以計(jì)算可用于定義如上所述的搜索方向的左腿平均位置和右腿平均位置，該搜索方向可用于確定左腳和右腳。圖16示出肢端的示例實(shí)施例，諸如可基于肢端(諸如臂和腿)的平均方位和/或錨點(diǎn)來計(jì)算的手和腳。如圖16所示，可以基于由如上所述的相應(yīng)的臂和腿平均方位和/或錨點(diǎn)確定的第一和第二搜索方向來確定手的位置或方位822a-b以及腳的位置或方位824a_b?；仡^參考圖5，在320，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可基于右臂和左臂平均位置、右腿和左腿平均位置、肩、髖、頭等來確定肘和膝的位置或方位。在一個(gè)實(shí)施例中，目標(biāo)識(shí)另IJ、分析和跟蹤系統(tǒng)可通過細(xì)化左臂平均位置的X值、Y值和深度值來確定左肘的位置方位。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可確定最外面的體素，所述最外面的體素可能定義與左臂相關(guān)聯(lián)的邊緣。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可將左臂平均位置的X值、Y值和深度值調(diào)整為在中間或與各邊緣等距。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可在320確定被隔離的人類目標(biāo)的附加興趣點(diǎn)。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于諸如肩的角度的定向來確定離人體中心最遠(yuǎn)的體素、最接近相機(jī)的體素、人類目標(biāo)最前向的體素。根據(jù)一示例實(shí)施例，在320，可以基于深度求平均來細(xì)化諸如頭、手、臂、腿、腳、中心、肩、髖等肢端中的一個(gè)或多個(gè)。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)通過使用例如上面所述的錨點(diǎn)、頭到中心向量、肢端體塊、打分技術(shù)、樣式等分析與被隔離的人類目標(biāo)相關(guān)聯(lián)的體素來確定肢端的初始位置或方位。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以基于值來細(xì)化肢端的初始位置或方位，該值諸如可與體素相關(guān)聯(lián)的非降采樣的深度圖像的2D像素區(qū)域中的像素的深度值。例如，在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以確定肢端的移動(dòng)平均，該平均可包括諸如肢端的位置或方位的X值、Y值或深度值等平均值，該肢端是從之前接收到的幀和深度圖像(諸如一系列三個(gè)之前接收到的幀和深度圖像)中確定的。目標(biāo)識(shí)別、分析 和跟蹤系統(tǒng)隨后可基于該移動(dòng)平均來確定平均體。根據(jù)一個(gè)實(shí)施例，平均體可以是非降采樣的深度圖像的一個(gè)區(qū)域或部分，該非降采樣的深度圖像包括包括在其中可被掃描以便基于移動(dòng)平均來細(xì)化肢端的像素。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以分析或比較肢端相對(duì)于移動(dòng)平均的初始位置或方位。如果諸如初始位置或方位的X值、Y值或深度值的值可接近或等于移動(dòng)平均的平均值，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以確定將移動(dòng)平均的平均值作為其中心的平均體。如果諸如初始位置或方位的X值、Y值或深度值的值可不接近或等于移動(dòng)平均的平均值，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以確定將初始位置或方位的值作為其中心的平均體。因此，在一個(gè)實(shí)施例中，當(dāng)移動(dòng)平均與肢端的初始方位不同時(shí)，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可使用初始位置或方位作為正被確定的平均體的中心。在確定平均體之后，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以掃描與平均體相關(guān)聯(lián)的非降采樣的深度圖像中的像素，以便確定可用于細(xì)化初始位置或方位的肢端的位置或方位。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以掃描可被包括在平均體中或與其相關(guān)聯(lián)的非降采樣的深度圖像中的每個(gè)像素?；谠搾呙?，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以通過對(duì)可與肢端相關(guān)聯(lián)而不與背景相關(guān)聯(lián)的非降采樣深度圖像中的像素值求平均，來計(jì)算包括非降采樣深度圖像中的肢端的X值、Y值和深度值的經(jīng)細(xì)化的位置或方位。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以基于經(jīng)細(xì)化的方位或位置來調(diào)整或細(xì)化肢端的初始方位或位置。例如，在一個(gè)實(shí)施例 中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可向肢端的位置或方位指派經(jīng)細(xì)化的方位或位置。根據(jù)另一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于經(jīng)細(xì)化的位置或方位來調(diào)節(jié)或移動(dòng)肢端的初始方位或位置。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于經(jīng)細(xì)化的位置或方位在一個(gè)或多個(gè)方向(諸如從質(zhì)心朝向肢端的頂端)上從初始位置或方位移動(dòng)或調(diào)整肢端。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以基于使用經(jīng)細(xì)化的方位或位置的對(duì)初始位置或方位的移動(dòng)或調(diào)整來為肢端指派位置或方位。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可在320確定為肢端(諸如頭、肩、髖、手、腳等)確定的位置或方位中的一個(gè)或多個(gè)是否可能不是人類目標(biāo)的實(shí)際肢端的準(zhǔn)確位置或方位。例如，在一個(gè)實(shí)施例中，右手的位置或方位可能是不準(zhǔn)確的，使得右手的位置或方位可能停滯在或鄰近于肩或髖的位置或方位。根據(jù)示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可包括或存儲(chǔ)各肢端的體標(biāo)記(marker)的列表，所述體標(biāo)記可指示該肢端的不準(zhǔn)確的位置或方位。例如，該列表可包括可能與手相關(guān)聯(lián)的、在肩或髖周圍的體標(biāo)記。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于該列表中與手相關(guān)聯(lián)的體標(biāo)記來確定手的位置或方位是否可能是準(zhǔn)確的。例如，如果手的位置或方位可在列表中與手相關(guān)聯(lián)的體標(biāo)記之一內(nèi)，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可確定手的位置或方位可能是不準(zhǔn)確的。根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可將手的位置或方位調(diào)整到之前幀中的手的之前準(zhǔn)確位置到手的當(dāng)前位置或方位。在325，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可處理在320確定的肢端。例如，在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可處理該肢端以生成模型，諸如可具有其間定義一個(gè)或多個(gè)關(guān)節(jié)和骨骼的骨架模型。圖17示出了可被生成的模型900的示例實(shí)施例。根據(jù)一示例實(shí)施例，模型900可包括可表示例如人類的三維模型的一個(gè)或多個(gè)數(shù)據(jù)結(jié)構(gòu)。每個(gè)身體部分可以被表征為一數(shù)學(xué)向量，該數(shù)學(xué)向量具有可定義模型900的關(guān)節(jié)和骨骼的X、Y和Z值。如圖17所示，模型900可包括一個(gè)或多個(gè)關(guān)節(jié)根據(jù)一示例實(shí)施例，關(guān)節(jié)jl-jl6中的每一個(gè)可使得在這些關(guān)節(jié)之間定義的一個(gè)或多個(gè)身體部位能相對(duì)于一個(gè)或多個(gè)其他身體部位移動(dòng)。例如，表示人類目標(biāo)的模型可包括多個(gè)剛性和/或可變形身體部位，這些身體部位由一個(gè)或多個(gè)諸如“骨骼”等結(jié)構(gòu)件來定義，而關(guān)節(jié)位于毗鄰骨骼的交叉點(diǎn)處。關(guān)節(jié)jl_jl6可使得與骨骼和關(guān)節(jié)jl-jl6相關(guān)聯(lián)的各個(gè)身體部位能夠彼此獨(dú)立地移動(dòng)。例如，如圖17所示，關(guān)節(jié)jlO與jl2之間定義的骨對(duì)應(yīng)于前臂，該前臂可獨(dú)立于例如關(guān)節(jié)jl4與jl6之間的骨骼(其對(duì)應(yīng)于小腿)移動(dòng)。回頭參考圖5，在325，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可以通過基于在320為肢端確定的位置或方位調(diào)整模型(諸如上面參考圖9描述的模型900)來處理在320確定的肢端。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將與頭相關(guān)聯(lián)的關(guān)節(jié)jl調(diào)整為與諸如在320確定的參考圖11所描述的位置或方位810等的方位或位置相對(duì)應(yīng)。因此，在一示例實(shí)施例中，關(guān)節(jié) jl可被賦予與如上所述的為頭確定的位置或方位810相關(guān)聯(lián)的X值、Y值和深度值。如果一個(gè)或多個(gè)肢端基于例如如上所述的體標(biāo)記的列表可能是不準(zhǔn)確的，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于之前的幀將不準(zhǔn)確的關(guān)節(jié)保持在其之前的位置或方位。在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以通過例如將應(yīng)用于經(jīng)調(diào)整的模型的一個(gè)或多個(gè)運(yùn)動(dòng)或移動(dòng)映射到化身或游戲角色來處理該經(jīng)調(diào)整的模型，使得該化身或游戲角色可被動(dòng)畫化以便模擬諸如以上參考圖IA和IB描述的用戶18等用戶。例如，然后可響應(yīng)于對(duì)經(jīng)調(diào)整的模型的改變來改變屏幕上人物的視覺外觀。在另一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可通過將經(jīng)調(diào)整的模型提供到計(jì)算環(huán)境(諸如上面參考圖1A-4描述的計(jì)算環(huán)境12)中的姿勢(shì)庫來處理經(jīng)調(diào)整的模型。姿勢(shì)庫可用于基于模型中各身體部分的方位來確定在應(yīng)用內(nèi)執(zhí)行的控制。應(yīng)該理解，此處所述的配置和/或方法在本質(zhì)上是示例性的，且這些具體實(shí)施例或示例不被認(rèn)為是限制性的。此處所述的具體例程或方法可表示任何數(shù)量的處理策略中的一個(gè)或多個(gè)。由此，所示出的各個(gè)動(dòng)作可以按所示順序執(zhí)行、按其他順序執(zhí)行、并行地執(zhí)行等等。同樣，可以改變上述過程的次序。本公開的主題包括各種過程、系統(tǒng)和配置的所有新穎和非顯而易見的組合和子組合、和此處所公開的其他特征、功能、動(dòng)作、和/或特性、以及其任何和全部等效物。
權(quán)利要求
1.一種用于確定用戶的肢端的方法，所述方法包括 接收深度圖像； 基于所述深度圖像生成體素的網(wǎng)格； 移除所述體素的網(wǎng)格中所包括的背景以隔離與人類目標(biāo)相關(guān)聯(lián)的一個(gè)或多個(gè)體素；以及 確定被隔離的人類目標(biāo)的一個(gè)或多個(gè)肢端的位置或方位。
2.如權(quán)利要求I所述的方法，其特征在于，確定所述被隔離的人類目標(biāo)的所述一個(gè)或多個(gè)肢端的位置或方位還包括估計(jì)所述被隔離的人類目標(biāo)的中心，其中估計(jì)所述人類目標(biāo)的中心包括計(jì)算與所述被隔離的人類目標(biāo)相關(guān)聯(lián)的網(wǎng)格中的體素的平均方位。
3.如權(quán)利要求I所述的方法，其特征在于，確定所述被隔離的人類目標(biāo)的所述一個(gè)或多個(gè)肢端的位置或方位還包括 確定所述一個(gè)或多個(gè)肢端的候選項(xiàng)； 基于所述體素的網(wǎng)格來生成候選柱體； 基于所述候選柱體來計(jì)算所述候選項(xiàng)的分?jǐn)?shù)； 確定所述候選項(xiàng)的分?jǐn)?shù)是否超過肢端閾值分?jǐn)?shù)； 當(dāng)所述分?jǐn)?shù)超過所述肢端閾值分?jǐn)?shù)時(shí)，向所述一個(gè)或多個(gè)肢端的位置或方位指派與所述候選項(xiàng)相關(guān)聯(lián)的網(wǎng)格中的體素的值；以及 當(dāng)所述分?jǐn)?shù)未超過所述肢端閾值分?jǐn)?shù)時(shí)，向所述一個(gè)或多個(gè)肢端的位置或方位指派肢端的之前的位置。
4.如權(quán)利要求I所述的方法，其特征在于，確定所述被隔離的人類目標(biāo)的所述一個(gè)或多個(gè)肢端的位置或方位還包括 對(duì)指示了定義肢端形狀的網(wǎng)格中的體素的深度值進(jìn)行采樣； 確定所述體素的經(jīng)采樣的深度值是否偏離與所述肢端形狀相關(guān)聯(lián)的二維樣式的一個(gè)或多個(gè)預(yù)期的深度值；以及 當(dāng)所述經(jīng)采樣的深度值偏離所述預(yù)期的深度值時(shí)，降低與體素相關(guān)聯(lián)的分?jǐn)?shù)； 確定與所述體素相關(guān)聯(lián)的分?jǐn)?shù)是否具有最高值；以及 向所述一個(gè)或多個(gè)肢端的位置或方位指派具有所述最高值的體素的值。
5.如權(quán)利要求I所述的方法，其特征在于，確定所述被隔離的人類目標(biāo)的所述一個(gè)或多個(gè)肢端的位置或方位還包括 基于頭的位置或方位以及被隔離的人類目標(biāo)的中心來定義頭-到-中心向量； 基于沿著頭-到-中心向量的位移來創(chuàng)建肢端體塊；以及 基于所述肢端體塊內(nèi)的深度值的擬合線來確定所述一個(gè)或多個(gè)肢端的定向，其中確定所述一個(gè)或多個(gè)肢端的定向包括基于所述深度值的擬合線來計(jì)算與所述一個(gè)或多個(gè)肢端相關(guān)聯(lián)的肢端向量的肢端斜度。
6.如權(quán)利要求I所述的方法，其特征在于，確定所述被隔離的人類目標(biāo)的所述一個(gè)或多個(gè)肢端的位置或方位還包括 創(chuàng)建軀干體； 標(biāo)識(shí)在所述軀干體以外的體素；以及 將在所述軀干體以外的體素標(biāo)識(shí)為與所述一個(gè)或多個(gè)肢端相關(guān)聯(lián)。
7.如權(quán)利要求I所述的方法，其特征在于，確定所述被隔離的人類目標(biāo)的所述一個(gè)或多個(gè)肢端的位置或方位還包括 確定錨點(diǎn)和肢體平均位置； 生成所述錨點(diǎn)與所述肢體平均位置之間的向量，其中所述向量定義搜索方向； 通過從所述錨點(diǎn)在所述搜索方向上進(jìn)行搜索，沿著所述向量確定上一個(gè)有效體素；以及 將所述一個(gè)或多個(gè)肢端的位置或方位與所述上一個(gè)有效體素相關(guān)聯(lián)。
8.一種其上存儲(chǔ)有用于確定場(chǎng)景中用戶的肢端的計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可執(zhí)行指令包括用于以下操作的指令 接收包括像素的深度圖像； 對(duì)所接收的深度圖像中的所述像素進(jìn)行降采樣以生成一個(gè)或多個(gè)體素； 隔離與人類目標(biāo)相關(guān)聯(lián)的一個(gè)或多個(gè)體素；以及 確定被隔離的人類目標(biāo)的頭的位置或方位。
9.如權(quán)利要求8所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，用于確定所述被隔離的人類目標(biāo)的頭的位置或方位的指令還包括用于以下操作的指令 確定所述頭的候選項(xiàng)； 基于體素的網(wǎng)格來生成候選柱體； 基于所述候選柱體來計(jì)算所述候選項(xiàng)的分?jǐn)?shù)； 確定所述候選項(xiàng)的分?jǐn)?shù)是否超過頭閾值分?jǐn)?shù)； 當(dāng)所述分?jǐn)?shù)超過所述肢端閾值分?jǐn)?shù)時(shí)，向所述頭的位置或方位指派與所述候選項(xiàng)相關(guān)聯(lián)的網(wǎng)格中的體素的值；以及 當(dāng)所述分?jǐn)?shù)未超過所述肢端閾值分?jǐn)?shù)時(shí)，向所述頭的位置或方位指派所述頭的之前的位置。
10.如權(quán)利要求8所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，用于確定所述被隔離的人類目標(biāo)的頭的位置或方位的指令還包括用于以下操作的指令 對(duì)指示了定義頭的形狀的網(wǎng)格中的體素的深度值進(jìn)行采樣； 確定所述體素的經(jīng)采樣的深度值是否偏離與所述頭的形狀相關(guān)聯(lián)的二維樣式的一個(gè)或多個(gè)預(yù)期的深度值；以及 當(dāng)所述經(jīng)采樣的深度值偏離所述預(yù)期的深度值時(shí)，降低與體素相關(guān)聯(lián)的分?jǐn)?shù)； 確定與所述體素相關(guān)聯(lián)的分?jǐn)?shù)是否具有最高值；以及 向所述頭的位置或方位指派具有所述最高值的體素的值。
11.如權(quán)利要求8所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，還包括 基于對(duì)移動(dòng)平均和所述頭的位置或方位的比較來確定與所述頭相關(guān)聯(lián)的平均體； 掃描與所述平均體相關(guān)聯(lián)的所述深度圖像中的像素； 通過對(duì)所述平均體中一個(gè)或多個(gè)體素的一個(gè)或多個(gè)值求平均來計(jì)算所述頭的經(jīng)細(xì)化的位置或方位；以及 基于經(jīng)細(xì)化的位置或位置來細(xì)化所述頭的位置或方位。
12.一種用于確定用戶的肢端的系統(tǒng)，所述系統(tǒng)包括 捕捉設(shè)備，其中所述捕捉設(shè)備包括接收?qǐng)鼍暗纳疃葓D像的相機(jī)組件；以及與所述捕捉設(shè)備可操作地通信的計(jì)算設(shè)備，其中所述計(jì)算設(shè)備包括處理器，所述處理器基于從所述捕捉設(shè)備接收的所述深度圖像中的一個(gè)或多個(gè)像素來生成經(jīng)降采樣的深度圖像；移除所述經(jīng)降采樣的深度圖像的背景以隔離人類目標(biāo)；并且確定被隔離的人類目標(biāo)的一個(gè)或多個(gè)肢端的位置或方位，其中所述一個(gè)或多個(gè)肢端包括頭、質(zhì)心、肩、髖、腿、臂、手、或腳中的至少一個(gè)。
13.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述處理器通過以下操作來確定所述一個(gè)或多個(gè)肢端的位置或方位 確定所述一個(gè)或多個(gè)肢端的候選項(xiàng)； 基于體素的網(wǎng)格來生成候選柱體； 基于所述候選柱體來計(jì)算所述候選項(xiàng)的分?jǐn)?shù)； 確定所述候選項(xiàng)的分?jǐn)?shù)是否超過肢端閾值分?jǐn)?shù)； 當(dāng)所述分?jǐn)?shù)超過所述肢端閾值分?jǐn)?shù)時(shí)，向所述一個(gè)或多個(gè)肢端的位置或方位指派與所述候選項(xiàng)相關(guān)聯(lián)的網(wǎng)格中的體素的值；以及 當(dāng)所述分?jǐn)?shù)未超過所述肢端閾值分?jǐn)?shù)時(shí)，向所述一個(gè)或多個(gè)肢端的位置或方位指派肢端的之前的位置。
14.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述處理器通過以下操作來確定所述一個(gè)或多個(gè)肢端的位置或方位 基于頭的位置或方位以及被隔離的人類目標(biāo)的中心來定義頭-到-中心向量； 基于沿著所述頭-到-中心向量的位移來創(chuàng)建肢端體塊；以及基于所述肢端體塊內(nèi)的深度值的擬合線來確定所述一個(gè)或多個(gè)肢端的定向，其中確定所述肢端的定向包括基于所述深度值的擬合線來計(jì)算與所述一個(gè)或多個(gè)肢端相關(guān)聯(lián)的肢端向量的肢端斜度。
15.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述處理器通過以下操作來確定所述一個(gè)或多個(gè)肢端的位置或方位 確定錨點(diǎn)和肢體平均位置； 生成所述錨點(diǎn)與所述肢體平均位置之間的向量，其中所述向量定義搜索方向； 通過從所述錨點(diǎn)在所述搜索方向上進(jìn)行搜索，沿著所述向量確定上一個(gè)有效的體素；以及 將所述一個(gè)或多個(gè)肢端的位置或方位與所述上一個(gè)有效體素相關(guān)聯(lián)。
全文摘要
可由設(shè)備接收、觀察或捕捉諸如場(chǎng)景的深度圖像等圖像。隨后可基于深度圖像生成體素的網(wǎng)格，使得可對(duì)該深度圖像進(jìn)行降采樣。還可移除體素的網(wǎng)格中所包括的背景，以隔離與前景物體(諸如人類目標(biāo))相關(guān)聯(lián)的一個(gè)或多個(gè)體素。隨后可以確定被隔離的人類目標(biāo)的一個(gè)或多個(gè)肢端的位置或方位。
文檔編號(hào)A63F13/00GK102665838SQ201080050924
公開日2012年9月12日 申請(qǐng)日期2010年11月2日 優(yōu)先權(quán)日2009年11月11日
發(fā)明者C·佩普爾, J·李, S·P·斯塔奇亞克, T·萊瓦德, 劉韶 申請(qǐng)人:微軟公司