基于雙聲道的腳步檢測(cè)方法與流程

本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，具體地說(shuō)，本發(fā)明涉及步態(tài)分析技術(shù)領(lǐng)域。

背景技術(shù)：

步態(tài)分析(gait analysis)是一種通過(guò)觀察或采集行走時(shí)人體的姿態(tài)，得出并分析步態(tài)參數(shù)的技術(shù)，常見的步態(tài)參數(shù)包括空間參數(shù)(步幅、步長(zhǎng)、步寬等)，時(shí)間參數(shù)(步頻、步速等)，以及這些參數(shù)的左右腳的對(duì)稱性、長(zhǎng)期數(shù)據(jù)的穩(wěn)定性等。步態(tài)分析在體育運(yùn)動(dòng)、醫(yī)療康復(fù)等方面發(fā)揮著非常重要的作用，并得到了廣泛的應(yīng)用和研究。

現(xiàn)有的步態(tài)分析技術(shù)大多基于視頻圖像、壓力傳感器、肌電技術(shù)等，這些設(shè)備對(duì)被測(cè)者有較大的侵入性，因此適用范圍有限。王成等在中國(guó)專利申請(qǐng)201610519761.7中提出了一種步態(tài)參數(shù)的采集方法及設(shè)備。它是一種基于雙聲道的步態(tài)參數(shù)的采集方案。具體地，采集設(shè)備包含左右腳兩個(gè)部分，每個(gè)都包含聲音采集傳感器，分別佩戴在兩只腳的腳踝上。在行走過(guò)程中同時(shí)采集雙腳的腳步聲數(shù)據(jù)，并通過(guò)藍(lán)牙實(shí)現(xiàn)兩個(gè)設(shè)備的同步控制，滿足了雙腳數(shù)據(jù)的完整和對(duì)稱性的要求。該方案首次提出了基于雙聲道的聲音信號(hào)來(lái)獲取步態(tài)參數(shù)，并給出了相應(yīng)的腳步識(shí)別方案。然而，基于聲音信號(hào)的腳步識(shí)別面臨十分復(fù)雜的應(yīng)用場(chǎng)景，不同類型的鞋子，不同類型的地面，不同的行走方向和負(fù)重情況都可能會(huì)影響到腳步識(shí)別的準(zhǔn)確度。因此，當(dāng)前迫切需要一種能夠提高識(shí)別準(zhǔn)確度的雙聲道的腳步檢測(cè)解決方案。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的任務(wù)是提供一種能夠提高識(shí)別準(zhǔn)確度的雙聲道的腳步檢測(cè)解決方案。

本發(fā)明提供了一種基于雙聲道的腳步檢測(cè)方法，包括下列步驟：

1)獲取待檢測(cè)的雙聲道音頻數(shù)據(jù)并進(jìn)行分幀處理，得到相應(yīng)的音頻幀；所述雙聲道音頻數(shù)據(jù)包括固定在左腳的采集設(shè)備所采集的左腳聲道音頻數(shù)據(jù)和固定在右腳的采集設(shè)備所采集的右腳聲道音頻數(shù)據(jù)；

2)提取每個(gè)音頻幀的特征向量，基于腳步檢測(cè)模型得出每個(gè)音頻幀屬于腳步的概率；其中，所述腳步檢測(cè)模型是以音頻幀的特征向量為輸入，以音頻幀屬于腳步的概率為輸出的機(jī)器學(xué)習(xí)模型，該機(jī)器學(xué)習(xí)模型以標(biāo)注了腳跟著地聲的音頻幀和標(biāo)注了前腳掌著地聲的音頻幀為正樣本，以前一步的前腳掌著地聲與后一步的腳跟著地聲之間的多個(gè)音頻幀為負(fù)樣本進(jìn)行訓(xùn)練；

3)根據(jù)所得出的各個(gè)音頻幀屬于腳步的概率，得出各個(gè)音頻幀是否含有腳步聲，進(jìn)而得出腳步對(duì)應(yīng)的時(shí)間區(qū)間。

其中，所述步驟2)中，左腳聲道的音頻幀及其屬于腳步的概率構(gòu)成左腳聲道概率曲線，右腳聲道的音頻幀及其屬于腳步的概率構(gòu)成右腳聲道概率曲線；

所述步驟3)還包括：將左、右腳聲道概率曲線融合成綜合概率曲線，對(duì)綜合概率曲線進(jìn)行平滑處理，基于預(yù)設(shè)的概率閾值得出各個(gè)音頻幀是否含有腳步聲，進(jìn)而得出腳步對(duì)應(yīng)的時(shí)間區(qū)間。

其中，所述步驟1)中，采用漢明窗對(duì)雙聲道音頻數(shù)據(jù)進(jìn)行分幀處理。

其中，所述步驟1)中，所得到的所述音頻幀長(zhǎng)度為10～30ms，相鄰幀的重疊部分為漢明窗窗口長(zhǎng)度的20％～30％。

其中，所述步驟2)中，構(gòu)成所述音頻幀的特征向量的特征包括：自相關(guān)系數(shù)、子帶能量特征、過(guò)零率、線性預(yù)測(cè)系數(shù)特征和梅爾倒譜系數(shù)特征。

其中，所述步驟2)中，所述機(jī)器學(xué)習(xí)模型采用SVM分類器模型，所述正樣本包括已知的左腳聲道音頻數(shù)據(jù)中的以每個(gè)標(biāo)注腳跟著地聲的位置為中心的三個(gè)音頻幀和以每個(gè)標(biāo)注前腳掌著地聲的位置為中心的三個(gè)音頻幀，以及已知的右腳聲道音頻數(shù)據(jù)中的以每個(gè)標(biāo)注腳跟著地聲的位置為中心的三個(gè)音頻幀和以每個(gè)標(biāo)注前腳掌著地聲的位置為中心的三個(gè)音頻幀；所述負(fù)樣本包括：左腳聲道音頻數(shù)據(jù)中的前一步的前腳掌著地聲與后一步的腳跟著地聲之間的九個(gè)音頻幀，以及右腳聲道音頻數(shù)據(jù)中的前一步的前腳掌著地聲與后一步的腳跟著地聲之間的九個(gè)音頻幀。

其中，所述步驟3)中，用低通濾波器對(duì)綜合概率曲線進(jìn)行平滑處理。

其中，所述步驟3)中，所述低通濾波器的相對(duì)截止頻率不超過(guò)0.1。

其中，所述步驟3)中，所述綜合概率曲線是左、右腳聲道概率曲線的求和疊加。

其中，所述步驟3)中，所述綜合概率曲線是對(duì)左、右腳聲道概率曲線取較大值后得到的融合概率曲線。

與現(xiàn)有技術(shù)相比，本發(fā)明具有下列技術(shù)效果：

1、本發(fā)明僅依靠雙聲道音頻即可檢測(cè)出對(duì)應(yīng)的腳步，并且具有很高的精確率和召回率。

2、本發(fā)明能夠適應(yīng)多種不同的應(yīng)用場(chǎng)景，通用性強(qiáng)。

附圖說(shuō)明

以下，結(jié)合附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施例，其中：

圖1示出了本發(fā)明所涉及的雙聲道音頻數(shù)據(jù)的一個(gè)示例；

圖2示出了本發(fā)明一個(gè)實(shí)施例中的分幀處理方式；

圖3示出了本發(fā)明一個(gè)實(shí)施例中的雙聲道數(shù)據(jù)標(biāo)注示例，其中，標(biāo)注為腳后跟的峰(豎線)表示后腳跟著地聲，為使圖面整潔，本圖中未直接標(biāo)注前腳掌，事實(shí)上，每個(gè)標(biāo)注為腳后跟的峰后方的淺色的峰可標(biāo)注為前腳掌，它表示前腳掌著地聲；

圖4示出了本發(fā)明一個(gè)實(shí)施例中左腳聲道和右腳聲道各自的概率曲線；

圖5示出了本發(fā)明一個(gè)實(shí)施例中左腳聲道和右腳聲道概率曲線求和后的綜合概率曲線；

圖6示出了本發(fā)明一個(gè)實(shí)施例中左腳聲道和右腳聲道概率取較大值后的綜合概率曲線；

圖7示出了求和后得到的綜合概率曲線平滑后的結(jié)果；

圖8示出了取較大值后得到的綜合概率曲線平滑后的結(jié)果；

圖9示出了本發(fā)明一個(gè)實(shí)施例的腳步檢測(cè)方法的流程圖。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作詳細(xì)說(shuō)明。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種基于雙聲道的腳步檢測(cè)方法。該方法中，單獨(dú)使用可穿戴的聲傳感器采集步態(tài)數(shù)據(jù)，然后根據(jù)所采集的聲學(xué)步態(tài)數(shù)據(jù)，基于一定的算法對(duì)數(shù)據(jù)進(jìn)行處理分析，從中檢測(cè)出對(duì)應(yīng)的腳步。

本實(shí)施例中，基于雙聲道的腳步檢測(cè)方法的檢測(cè)對(duì)象是雙聲道的音頻數(shù)據(jù)，它是將兩個(gè)聲傳感器分別部署在被測(cè)人左腳和右腳處，并在被測(cè)人行走過(guò)程中實(shí)時(shí)采集相應(yīng)的聲信號(hào)而得到的音頻數(shù)據(jù)。而左腳處和右腳處的兩個(gè)聲傳感器就構(gòu)成所述雙聲道。在下文中將進(jìn)一步地示例性地介紹采集雙聲道的音頻數(shù)據(jù)的方法。

本實(shí)施例中，首先對(duì)雙聲道的音頻數(shù)據(jù)進(jìn)行分幀，然后對(duì)音頻幀提特征，通過(guò)人工標(biāo)注的正負(fù)樣本訓(xùn)練分類器，再基于訓(xùn)練后的分類其識(shí)別某個(gè)音頻幀是否屬于腳步聲的一部分，獲取該音頻幀屬于腳步聲的概率。對(duì)于雙聲道的音頻數(shù)據(jù)，可以得出所有音頻幀屬于腳步聲的概率，從而獲得對(duì)應(yīng)的概率曲線。進(jìn)一步地，結(jié)合兩道音頻的判斷結(jié)果并進(jìn)行平滑處理后，可以分析出腳步概率較大的連續(xù)區(qū)間，從而確定腳步的區(qū)間。

具體地，本實(shí)施例的腳步檢測(cè)方法包括下列步驟(參見圖9)：

步驟1：對(duì)雙聲道的音頻數(shù)據(jù)進(jìn)行分幀加窗，得到一系列的音頻幀。圖2示出了分幀加窗的一個(gè)實(shí)例。在該例子中，在8000hz的音頻采樣率下，每個(gè)音頻幀包含200個(gè)樣本，相鄰幀之間的有120個(gè)樣本的重疊區(qū)間，每個(gè)音頻幀加漢明(hamming)窗。也就是說(shuō)，在音頻數(shù)據(jù)加滑動(dòng)窗口，用滑動(dòng)窗口取對(duì)應(yīng)的音頻幀作為本實(shí)施例的基本考察單元。適當(dāng)選擇滑動(dòng)窗口的滑動(dòng)步長(zhǎng)，使得相鄰音頻幀具有重疊。漢明窗的窗口長(zhǎng)度一般為10～30ms，取窗口長(zhǎng)度的約20％～30％作為滑動(dòng)步長(zhǎng)。

步驟2：對(duì)音頻幀進(jìn)行特征提取，得到該音頻幀的特征向量。本實(shí)施例中，特征向量包括：自相關(guān)系數(shù)、子帶能量(0～4kHz)特征、過(guò)零率、線性預(yù)測(cè)系數(shù)(LPCC)特征和梅爾倒譜系數(shù)(MFCC)特征。在一個(gè)具體實(shí)例中，特征向量的具體構(gòu)成為：10維子帶能量特征、12維梅爾倒譜系數(shù)特征、12維線性預(yù)測(cè)系數(shù)以及過(guò)零率和自相關(guān)系數(shù)，共36維。表1示出了特征向量的各個(gè)維度。

表1

需要注意的是，上述特征向量的維度和構(gòu)成特征向量的具體特征組合并不是唯一的。在其他實(shí)施例中，特征向量也可以是：自相關(guān)系數(shù)、子帶能量(0～4kHz)、過(guò)零率、LPCC和MFCC這些特征中的一部分或全部的自由組合。只要這些特征組合能夠較好地表征音頻幀所蘊(yùn)含的信息即可。

步驟3：選擇訓(xùn)練用的正負(fù)樣本。

本申請(qǐng)發(fā)明人分析，腳步聲典型的特點(diǎn)是包含腳后跟和腳前掌著地的兩聲，且左右腳的設(shè)備均能采集到包含對(duì)應(yīng)的著地聲信號(hào)，但本側(cè)腳的音頻信號(hào)相對(duì)較強(qiáng)。因此，可以在人工標(biāo)注時(shí)，在左右腳兩道音頻上按照左右腳依次在對(duì)應(yīng)側(cè)的音頻數(shù)據(jù)上標(biāo)注出每個(gè)腳步兩聲(腳后跟和腳前掌著地的兩聲)的位置(參考圖3)。

本實(shí)施例中，在左右腳的兩道音頻上以每個(gè)標(biāo)注的位置為中心，各取3幀作為正樣本，這樣，單聲道中每個(gè)腳步對(duì)應(yīng)6個(gè)正樣本，雙聲道共12個(gè)正樣本。然后在相鄰兩個(gè)腳步的中間位置(前一腳的第二聲和后一腳的第一聲中間)取連續(xù)的9幀作為負(fù)樣本，這樣，單聲道中每?jī)蓚€(gè)腳步之間(即相鄰的左腳著地聲和右腳著地聲之間或者相鄰的右腳著地聲和左腳著地聲之間)有9個(gè)負(fù)樣本，雙聲道中每?jī)蓚€(gè)腳步之間共有18個(gè)負(fù)樣本。

步驟4：利于上述正負(fù)樣本組成樣本庫(kù)，訓(xùn)練腳步檢測(cè)分類器。腳步檢測(cè)分類器可以采用SVM分類器。其輸入為代表一個(gè)音頻幀的特征向量，輸出為該音頻幀屬于腳步的概率。對(duì)于正樣本，該概率為1，對(duì)于負(fù)樣本，該概率為0。

步驟5：利用訓(xùn)練后的腳步檢測(cè)分類器對(duì)待檢測(cè)的雙聲道音頻數(shù)據(jù)的各個(gè)音頻幀進(jìn)行檢測(cè)，得到各個(gè)音頻幀屬于腳步的概率，建立對(duì)應(yīng)的概率曲線。該概率曲線是指橫坐標(biāo)為音頻幀序號(hào)(或者音頻幀所代表的時(shí)刻)縱坐標(biāo)為對(duì)應(yīng)音頻幀屬于腳步的概率的曲線。在腳步檢測(cè)過(guò)程中，對(duì)待檢測(cè)的雙聲道音頻數(shù)據(jù)進(jìn)行連續(xù)分幀后，每幀提取特征向量，然后利用訓(xùn)練后的分類器計(jì)算屬于腳步聲的概率，可以得出連續(xù)的音頻幀屬于腳步聲的概率變化曲線，左右腳的兩道音頻數(shù)據(jù)對(duì)應(yīng)兩條概率曲線(參考圖4)。本步驟中，待檢測(cè)的雙聲道音頻數(shù)據(jù)的音頻幀根據(jù)步驟1的方法獲得，然后根據(jù)步驟2的方法提取特征向量，此處不再贅述。

步驟6：對(duì)左右腳的概率曲線進(jìn)行平滑處理，在平滑后的曲線中找出取值連續(xù)大于預(yù)設(shè)閾值的區(qū)間，進(jìn)而得出屬于腳步的區(qū)間。

在一個(gè)實(shí)施例(參考圖5)，基于概率求和法將左右腳的概率曲線合并，然后為了克服概率曲線存在的較大的不穩(wěn)定性和噪聲點(diǎn)，用低通濾波器(相對(duì)截止頻率為0.1)進(jìn)行平滑處理，平滑后的概率曲線存在較為明顯的“大概率”區(qū)間，因此可以根據(jù)預(yù)設(shè)的閾值(例如0.8或1)找出連續(xù)超出閾值的區(qū)間，將這些區(qū)間判定為屬于腳步的區(qū)間。這種處理方法的原理是：在腳步聲的位置，兩邊的概率均較大，求和后可以更加突出一個(gè)腳步的概率。圖7示出了求和后得到的綜合概率曲線平滑后的結(jié)果。

在另一個(gè)實(shí)施例中(參考圖6)，基于雙聲道概率最大值法確定腳步區(qū)間。通常來(lái)說(shuō)本側(cè)聲道的音頻數(shù)據(jù)被判定為腳步的概率更大，所以可以更多依賴本側(cè)聲道的音頻數(shù)據(jù)，而另一側(cè)的音頻數(shù)據(jù)的概率起補(bǔ)充作用。此時(shí)，預(yù)設(shè)的閾值可以為0.5。對(duì)于每對(duì)候選的音頻幀(指代表時(shí)刻相同的左右聲道的音頻幀)，先選出概率較大的一個(gè)，然后用它代表綜合概率曲線中該音頻幀位置的概率值，這樣就得出了綜合左右腳音頻數(shù)據(jù)的概率曲線。對(duì)上述綜合概率曲線，用預(yù)設(shè)的概率閾尋找連續(xù)超出閾值的區(qū)間，將這些區(qū)間被判定為屬于腳步的區(qū)間。圖8示出了取較大值后得到的綜合概率曲線平滑后的結(jié)果。

上述基于聲音的檢測(cè)方法，往往不會(huì)錯(cuò)過(guò)真正的腳步聲，具有較高的召回率和精確率。

發(fā)明人依據(jù)以上方法進(jìn)行了測(cè)試，測(cè)試數(shù)據(jù)如表2所示。

表2

測(cè)試結(jié)果：針對(duì)包括運(yùn)動(dòng)鞋、皮鞋、木質(zhì)地面、水泥地面、不同行走方向、不同負(fù)重的測(cè)試數(shù)據(jù)，本發(fā)明的平均精確率和召回率分別是：90.89％和97.29％。

進(jìn)一步地，下面示例性地介紹用于獲取雙聲道音頻數(shù)據(jù)的可穿戴步態(tài)數(shù)據(jù)采集裝置及采集方法。示例性地，可穿戴步態(tài)數(shù)據(jù)采集裝置包括能夠采集聲波信號(hào)的麥克風(fēng)單元。該采集裝置能夠?qū)⒉杉降臄?shù)據(jù)傳輸至用于處理信號(hào)的智能終端。步態(tài)數(shù)據(jù)采集裝置包括左腳步態(tài)數(shù)據(jù)采集節(jié)點(diǎn)和右腳步態(tài)數(shù)據(jù)采集節(jié)點(diǎn)。每個(gè)步態(tài)數(shù)據(jù)采集節(jié)點(diǎn)包括存儲(chǔ)單元、微處理器(MCU)、電源單元、無(wú)線收發(fā)單元(主要用于與步態(tài)數(shù)據(jù)分析端連接并發(fā)送采集節(jié)點(diǎn)的數(shù)據(jù)給步態(tài)數(shù)據(jù)分析端，可以是例如藍(lán)牙或者WIFI或者電信網(wǎng)絡(luò)等)、信號(hào)采集器(可以是例如能夠同時(shí)接收普通聲波和超聲波的麥克風(fēng))、信號(hào)發(fā)射器(例如帶有超聲發(fā)射功能的麥克風(fēng))。在采集數(shù)據(jù)時(shí)，由信號(hào)采集器(例如麥克風(fēng))采集聲音信號(hào)，所采集到的信號(hào)發(fā)送到MCU進(jìn)行處理。另外，MCU還用于對(duì)無(wú)線收發(fā)單元收發(fā)的數(shù)據(jù)、存儲(chǔ)單元數(shù)據(jù)的進(jìn)出等進(jìn)行調(diào)度。

如前文所述，基于雙聲道的腳步檢測(cè)需要被測(cè)人行走過(guò)程所采集的雙聲道音頻數(shù)據(jù)。示例性地，該雙聲道音頻數(shù)據(jù)的采集方法包括下列步驟：

步驟a：將左腳步態(tài)數(shù)據(jù)采集節(jié)點(diǎn)和右腳步態(tài)數(shù)據(jù)采集節(jié)點(diǎn)分別固定在被測(cè)人的左腳和右腳。在雙足(本文中“足”和“腳”的意思相同，二者可以互相替換)上同時(shí)使用兩個(gè)步態(tài)數(shù)據(jù)采集設(shè)備節(jié)點(diǎn)，將左右腳的數(shù)據(jù)進(jìn)行分析融合，可以獲得比單足測(cè)量方式更準(zhǔn)確的信息。具體地，可以將步態(tài)數(shù)據(jù)采集節(jié)點(diǎn)穿戴在鞋底處的不同位置，步態(tài)數(shù)據(jù)采集節(jié)點(diǎn)可以在生產(chǎn)鞋時(shí)預(yù)裝在鞋里，例如預(yù)裝位置可以是鞋幫的前側(cè)、外側(cè)或后側(cè)，也可以是鞋底的靠近前腳掌處、中部或者靠近腳跟處。優(yōu)選地，左腳步態(tài)數(shù)據(jù)采集節(jié)點(diǎn)和右腳步態(tài)數(shù)據(jù)采集節(jié)點(diǎn)佩戴在左右腳的對(duì)稱位置上。

在另一個(gè)實(shí)施例中，步態(tài)數(shù)據(jù)采集節(jié)點(diǎn)也可以是獨(dú)立于鞋子的裝置，獨(dú)立的步態(tài)數(shù)據(jù)采集節(jié)點(diǎn)可以穿戴在雙腳腳踝處。步態(tài)數(shù)據(jù)采集節(jié)點(diǎn)可以用松緊繃帶固定在腳踝外側(cè)、后側(cè)或前側(cè)。優(yōu)選地，左腳步態(tài)數(shù)據(jù)采集節(jié)點(diǎn)和右腳步態(tài)數(shù)據(jù)采集節(jié)點(diǎn)佩戴在左右腳的對(duì)稱位置上。雙腳穿戴上步態(tài)數(shù)據(jù)采集節(jié)點(diǎn)后，可以根據(jù)需要調(diào)整松緊繃帶，使其緊緊固定在足部，不發(fā)生移動(dòng)。這種佩戴方式有利于用戶穿戴的舒適度，同時(shí)也能夠很好地使步態(tài)數(shù)據(jù)采集節(jié)點(diǎn)與足部固定，進(jìn)而腳步檢測(cè)的準(zhǔn)確性。在進(jìn)行步態(tài)數(shù)據(jù)采集時(shí)，將采集設(shè)備(節(jié)點(diǎn))上電開機(jī)，雙足節(jié)點(diǎn)程序啟動(dòng)，在被測(cè)對(duì)象開始行走后，采集被測(cè)對(duì)象的步態(tài)行走數(shù)據(jù)。

步驟b：在被測(cè)人行走過(guò)程中，左腳步態(tài)數(shù)據(jù)采集節(jié)點(diǎn)和右腳步態(tài)數(shù)據(jù)采集節(jié)點(diǎn)分別采集由于腳步行走而產(chǎn)生的聲音信號(hào)，從而獲得所需的雙聲道音頻數(shù)據(jù)。

最后應(yīng)說(shuō)明的是，以上實(shí)施例僅用以描述本發(fā)明的技術(shù)方案而不是對(duì)本技術(shù)方法進(jìn)行限制，本發(fā)明在應(yīng)用上可以延伸為其它的修改、變化、應(yīng)用和實(shí)施例，并且因此認(rèn)為所有這樣的修改、變化、應(yīng)用、實(shí)施例都在本發(fā)明的精神和教導(dǎo)范圍內(nèi)。