非接觸式自動心率測量系統(tǒng)及測量方法
【專利摘要】本發(fā)明涉及電子健康檢測領(lǐng)域，公開了一種非接觸式自動心率測量系統(tǒng)及測量方法，利用非接觸方式遠程采集被測者視頻數(shù)據(jù)，進行數(shù)據(jù)轉(zhuǎn)換，實現(xiàn)自動心率測量，其特征在于，該系統(tǒng)包括視頻采集模塊，分幀提取ROI模塊、基色分量分離模塊、時域信號生成模塊、盲源分離模塊、信號篩選模塊、心率分析模塊；與現(xiàn)有技術(shù)相比，本發(fā)明基于人臉自動跟蹤和盲源分離技術(shù)，采用無創(chuàng)、非接觸式遠程檢測生理信號的方法，克服了視頻記錄中運動偽影的影響，對運動具有容差性，測量精度高，能夠自動的同時進行多人自動地進行心率測量。
【專利說明】非接觸式自動心率測量系統(tǒng)及測量方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及電子健康檢測領(lǐng)域，特別是涉及一種非接觸式電子健康檢測系統(tǒng)及測 量方法。
【背景技術(shù)】
[0002] 目前，以心電圖（ECG)為標準的心臟搏動測量技術(shù)需要在病人身上貼凝膠粘片或 者胸背帶，這些接觸可能引起皮膚過敏或不適。而遠程測量可以提供較舒服的無電極生理 評估。但是，到目前為止，所有的遠程測量系統(tǒng)的設(shè)計嘗試幾乎都是非自動化的，且在使用 過程中易受運動偽影的影響，造成測量精度不高。
【發(fā)明內(nèi)容】
[0003] 基于上述技術(shù)問題，本發(fā)明提出了一種非接觸式自動心率測量系統(tǒng)及測量方法， 該系統(tǒng)通過遠程非接觸式地獲取人臉的彩色錄像，進行人臉自動跟蹤和盲源分離將各顏色 通道信號分離成獨立的信號成分，分析處理后可獲得測量信息，甚至在運動偽影存在的情 況下，其依然具有較高精度。
[0004] 本發(fā)明提出了的一種非接觸式自動心率測量系統(tǒng)，利用非接觸方式遠程采集被測 者視頻數(shù)據(jù)，進行數(shù)據(jù)轉(zhuǎn)換，實現(xiàn)自動心率測量，該系統(tǒng)包括視頻采集模塊，分幀提取R0I 模塊、基色分量分離模塊、時域信號生成模塊、盲源分離模塊、信號篩選模塊、心率分析模 塊；
[0005] 所述視頻采集模塊，用于借助攝像頭錄制一段包含整個人臉區(qū)域的彩色視頻圖 像；
[0006] 所述分幀提取R0I模塊，用于利用人臉跟蹤算法提取視頻中每幀圖片的R0I區(qū)域 圖像；
[0007] 所述基色分量分離模塊，用于對所提取的所有R0I區(qū)域圖像進行RGB基色分離，每 幀彩色圖像生成三幅灰度圖像，得到R0I區(qū)域圖像的三組基色分量圖像；
[0008] 所述時域信號生成模塊，用于將每幀R0I區(qū)域圖像的RGB三基色分量圖像分別取 所有像素的灰度均值，作為該幀圖像的特征值，生成三個時域信號即紅色通道的時域信號 Xl (t)、綠色通道的時域信號x2 (t)、藍色通道的時域信號x3 (t);
[0009] 所述盲源分離模塊，用于對獲取的原始時域信號Xl(t)、x2(t)、x 3(t)進行噪聲消 除，對上述三個時域信號進行盲源分離，得到三個獨立的時域信號￥(0，$(/)，毛(/) ;
[0010] 所述信號篩選模塊，用于將盲源分離出的三個獨立時域信號無(〇，乓(0，毛(0， 分別與綠色通道的時域信號X 2(t)進行相關(guān)性分析，選取與其相關(guān)性最大的信號無(〇， i e {1，2, 3}，作為最終的篩選信號；
[0011] 所述心率分析模塊，用于對篩選信號進行頻譜分析并生成功率譜圖；在功率譜圖 中找出處于指定頻帶內(nèi)的峰值頻率，將主波峰值頻率作為心率的對應(yīng)頻率，對該頻率進行 換算，換算公式為：心率=所得頻率x60,最終得到心率測量值。
[0012] 所述基色分量分離模塊，用于對所提取的所有R0I區(qū)域圖像進行CMYK基色分離， 得到R0I區(qū)域圖像的四組基色分量圖像，并通過所述時域信號生成模塊，生成四個時域信 號即C通道的時域信號x c(t)、Μ通道的時域信號xM(t)、Y通道的時域信號xY(t)和K通道 的時域信號x K(t)。
[0013] 對所述四組基色分量圖像進行信號篩選時，將與綠色通道信號進行相關(guān)性分析換 作與Y通道信號進行相關(guān)性分析。
[0014] 所述彩色視頻采集模塊采集的視頻圖像的顏色類型包括RGB類型和非RGB類型均 可；
[0015] 若采集的視頻圖像顏色類型為RGB類型，則直接通過基色分量分離模塊對所有 R0I區(qū)域圖像進行RGB分離；
[0016] 若視頻圖像顏色類型是非RGB的，則將先將其所有R0I區(qū)域圖像轉(zhuǎn)化為RGB顏色 類型后再進行基色分離，得到每幀R0I圖像的RGB基色分量圖像。
[0017] 本發(fā)明還提出了一種非接觸式自動心率測量方法，利用非接觸方式遠程采集被、 測者視頻數(shù)據(jù)，進行數(shù)據(jù)轉(zhuǎn)換，實現(xiàn)自動心率測量，其特征在于，該系統(tǒng)包括以下步驟：
[0018] 步驟1，采集包含人臉區(qū)域的彩色視頻圖像；
[0019] 步驟2,對采集的視頻圖像進行人臉跟蹤定位，找出視頻每幀圖像的R0I人臉區(qū)域 圖像并提??；
[0020] 步驟3,將提取出的R0I區(qū)域圖像按照RGB三個顏色通道進行基色分離；
[0021] 步驟4,對獲取的三組基色分量圖像的每幀圖像分別取所有像素的灰度均值，作為 該幀圖像的特征值，生成三個時域信號即紅色通道的時域信號 Xl (t)、綠色通道的時域信號 x2(t)、藍色通道的時域信號x3(t);
[0022] 步驟5,對獲得的時域信號進行盲源分離；
[0023] 步驟6,對盲源分離得到的三個獨立的時域信號名(〇，？2(/)，毛(/)進行篩選， 分別與綠色通道的時域信號X2(t)進行相關(guān)性分析，選取與其相關(guān)性最大的信號&(〇， i e {1，2, 3}，作為最終的篩選信號；
[0024] 步驟7,對篩選出的信號進行頻譜分析，匹配對應(yīng)峰值頻率，作為心率的對應(yīng)頻率， 對該頻率進行換算，最終得到心率測量值。
[0025] 所述將提取出的R0I區(qū)域圖像按照RGB三個顏色通道進行基色分離的步驟，由將 提取出的R0I區(qū)域圖像按照CMYK顏色通道基色分離的步驟代替，得到R0I區(qū)域圖像的四 組基色分量圖像，并通過所述時域信號生成模塊，生成四個時域信號即C通道的時域信號 xc(t)、Μ通道的時域信號xM(t)、Y通道的時域信號xY(t)和K通道的時域信號x K (t)。
[0026] 對所述四組基色分量圖像進行信號篩選時，將與綠色通道信號進行相關(guān)性分析換 作與Y通道信號進行相關(guān)性分析。
[0027] 所述彩色視頻圖像的顏色類型包括RGB類型和非RGB類型均可；
[0028] 若采集的視頻圖像顏色類型為RGB類型，則直接通過基色分量分離模塊對所有 R0I區(qū)域圖像進行RGB分離；
[0029] 若視頻圖像顏色類型是非RGB的，則將先將其所有R0I區(qū)域圖像轉(zhuǎn)化為RGB顏色 類型后再進行基色分離，得到每幀R0I圖像的RGB基色分量圖像。
[0030] 與現(xiàn)有技術(shù)相比，本發(fā)明基于人臉自動跟蹤和盲源分離技術(shù)，采用無創(chuàng)、非接觸式 遠程檢測生理信號的方法，克服了視頻記錄中運動偽影的影響，對運動具有容差性，測量精 度高，能夠自動的同時進行多人自動地進行心率測量。
【專利附圖】
【附圖說明】
[0031] 圖1為本發(fā)明的非接觸式自動心率測量系統(tǒng)功能模塊圖。
[0032] 圖2為本的非接觸式自動心率測量方法流程圖。
【具體實施方式】
[0033] 以下結(jié)合附圖及較佳實施例，對依據(jù)本發(fā)明提供的【具體實施方式】、結(jié)構(gòu)、特征及其 功效，詳細說明如下。
[0034] 如圖1所示，為本發(fā)明的非接觸式自動心率測量系統(tǒng)功能模塊圖。
[0035] 視頻采集模塊11采用普通攝像頭或者拍攝精度較高的專用攝像頭來采集包含人 臉區(qū)域的彩色視頻；分幀提取R0I模塊12根據(jù)人臉跟蹤算法對視頻采集模塊采集的視頻進 行人臉跟蹤定位，提取出視頻每幀圖像的R0I(人臉區(qū)域);通過基色分量分離模塊13將提取 出的R0I (人臉區(qū)域）按照RGB三個顏色通道進行基色分離，每幀彩色圖像生成三幅灰度圖 像，得到R0I (人臉區(qū)域）的三組基色分量圖像；時域信號生成模塊14對得到的三組基色分 量圖像的每幀圖像分別取所有像素的灰度均值，作為該幀圖像的特征值，生成三個描述人 臉區(qū)域特征變化的時域信號；盲源分離模塊15采用ICA方法對獲得的時域信號進行盲源分 離，消除部分噪聲，得到三個新的、相互獨立的時域信號；信號篩選模塊16按照與綠色通道 原始信號的相關(guān)性對盲源分離得到的三個信號進行篩選，得到最相關(guān)的信號作為最終心率 分析的信號；所述盲源分離模塊15，用于對獲取的原始時域信號1 1(〇、12(〇、13(〇進行噪 聲消除，對上述三個時域信號進行盲源分離，得到三個獨立的時域信號￥(〇, 弋(0; 具體做法是：將盲源分離出的三個獨立時域信號無(0，毛(〇，七(0，分別與綠色通道的時 域信號X2(t)進行相關(guān)性分析，選取與其相關(guān)性最大的信號，i e {1，2, 3}，由于綠或黃 光（510-590nm)對血液脈動最敏感，綠色通道信號中包含的心率信號最強，所以該模塊將盲 源分離得到的三個獨立的時域信號，分別與綠色通道的時域信號x2(t)進行相關(guān)性分析。
[0036] 上述處理結(jié)束后，心率分析模塊17對信號篩選模塊篩選出的信號進行頻譜分析， 找出功率譜中指定頻帶內(nèi)的峰值頻率作為心率的對應(yīng)頻率，對該頻率進行換算，最終得到 心率值。具體做法是：所述心率分析模塊，用于對篩選出的信號進行頻譜分析，生成功率譜 圖；在功率譜圖中找出處于指定頻帶內(nèi)的峰值頻率，作為心率的對應(yīng)頻率，對該頻率進行換 算，最終得到心率值。該指定頻帶和換算關(guān)系可由實驗統(tǒng)計而得。
[0037] 上述步驟還可通過下列方式實施：
[0038] 1、將基色分量分離模塊中的"RGB顏色模式"改成其他顏色模式(如CMYK模式)，若 采用CMYK顏色模型，則生成四個原始混合信號，需要將信號篩選模塊中與綠色通道信號進 行相關(guān)性分析換作與Y通道信號進行相關(guān)性分析；
[0039] 2、若基色分量分離模塊中接收到的采集視頻圖像信號，其顏色類型為RGB類型， 則直接將上一模塊得到的所有R0I區(qū)域圖像進行RGB分離；若視頻圖像顏色類型是非RGB 的(如YUV)，則將其轉(zhuǎn)化為RGB顏色類型后再進行基色分離，得到每幀ROI圖像的RGB基色 分量圖像；
[0040] 3、將盲源分離模塊中的"ICA方法"改成其他盲源分離方法，如非線性的盲源分離 方法?？紤]到人體各信號可能是非線性的，也可采用非線性信號的盲源分離方法。
【權(quán)利要求】
1. 一種非接觸式自動心率測量系統(tǒng)，利用非接觸方式遠程采集被測者視頻數(shù)據(jù)，進行 數(shù)據(jù)轉(zhuǎn)換，實現(xiàn)自動心率測量，其特征在于，該系統(tǒng)包括視頻采集模塊，分幀提取ROI模塊、 基色分量分離模塊、時域信號生成模塊、盲源分離模塊、信號篩選模塊、心率分析模塊； 所述視頻采集模塊，用于借助攝像頭錄制一段包含整個人臉區(qū)域的彩色視頻圖像； 所述分幀提取ROI模塊，用于利用人臉跟蹤算法提取視頻中每幀圖片的ROI區(qū)域圖 像； 所述基色分量分離模塊，用于對所提取的所有ROI區(qū)域圖像進行RGB基色分離，每幀彩 色圖像生成三幅灰度圖像，得到ROI區(qū)域圖像的三組基色分量圖像； 所述時域信號生成模塊，用于將每幀ROI區(qū)域圖像的RGB三基色分量圖像分別取所 有像素的灰度均值，作為該幀圖像的特征值，生成三個時域信號即紅色通道的時域信號 Xl (t)、綠色通道的時域信號x2 (t)、藍色通道的時域信號x3 (t); 所述盲源分離模塊，用于對獲取的原始時域信號Xl (t)、x2(t)、x3(t)進行噪聲消除，對 上述三個時域信號進行盲源分離，得到三個獨立時域信號無(/)，毛〇)， 所述信號篩選模塊，用于將盲源分離出的三個獨立時域信號無(〇, &(/)，&(〇/分 別與綠色通道的時域信號x2(t)進行相關(guān)性分析，選取與其相關(guān)性最大的信號^)， i e {1，2, 3}，作為最終的篩選信號； 所述心率分析模塊，用于對篩選信號進行頻譜分析并生成功率譜圖；在功率譜圖中找 出處于指定頻帶內(nèi)的峰值頻率，將第一峰值頻率作為心率的對應(yīng)頻率，根據(jù)該頻率進行換 算，換算公式為：心率=所得頻率X60,最終得到心率測量值。
2. 如權(quán)利要求1所述的非接觸式自動心率測量系統(tǒng)，其特征在于，所述基色分量分離 模塊，用于對所提取的所有ROI區(qū)域圖像進行CMYK基色分離，得到ROI區(qū)域圖像的四組基 色分量圖像，并通過所述時域信號生成模塊，生成四個時域信號即C通道的時域信號x c(t)、 Μ通道的時域信號xM(t)、Y通道的時域信號xY(t)K通道的時域信號xK(t)。
3. 如權(quán)利要求2所述的非接觸式自動心率測量系統(tǒng)，其特征在于，對所述四組基色分 量圖像進行信號篩選時，將與綠色通道信號進行相關(guān)性分析換作與Y通道信號進行相關(guān)性 分析。
4. 如權(quán)利要求1所述的非接觸式自動心率測量系統(tǒng)，其特征在于，所述彩色視頻采集 模塊采集的視頻圖像的顏色類型包括RGB類型和非RGB類型均可； 若采集的視頻圖像顏色類型為RGB類型，則直接通過基色分量分離模塊對所有ROI區(qū) 域圖像進行RGB分離； 若視頻圖像顏色類型是非RGB的，則將先將其所有ROI區(qū)域圖像轉(zhuǎn)化為RGB顏色類型 后再進行基色分離，得到每幀ROI圖像的RGB基色分量圖像。
5. -種非接觸式自動心率測量方法，利用非接觸方式遠程采集被測者視頻數(shù)據(jù)，進行 數(shù)據(jù)轉(zhuǎn)換，實現(xiàn)自動心率測量，其特征在于，該系統(tǒng)包括以下步驟： 步驟一，采集包含人臉區(qū)域的彩色視頻圖像； 步驟二，對采集的視頻圖像進行人臉跟蹤定位，找出視頻每幀圖像的ROI人臉區(qū)域圖 像并提?。? 步驟三，將提取出的ROI區(qū)域圖像按照RGB三個顏色通道進行基色分離； 步驟四，對獲取的三組基色分量圖像的每幀圖像分別取所有像素的灰度均值，作為該 幀圖像的特征值，生成三個時域信號即紅色通道的時域信號&(0、綠色通道的時域信號 x2(t)、藍色通道的時域信號x3(t); 步驟五，對獲得的時域信號進行盲源分離； 步驟六，對盲源分離得到的三個獨立時域信號無(〇，X毛(〇，進行篩選，分別與綠 色通道的時域信號x2 (t)進行相關(guān)性分析，選取與其相關(guān)性最大的信號&(〇 , i e {1，2, 3}， 作為最終的篩選信號； 步驟七，對篩選出的信號進行頻譜分析，匹配對應(yīng)峰值頻率，作為心率的對應(yīng)頻率，對 該頻率進行換算，最終得到心率測量值。
6. 如權(quán)利要求1所述的非接觸式自動心率測量方法，其特征在于，所述將提取出的R0I 區(qū)域圖像按照RGB三個顏色通道進行基色分離的步驟，由將提取出的R0I區(qū)域圖像按照 CMYK顏色通道基色分離的步驟代替，得到R0I區(qū)域圖像的四組基色分量圖像，并通過所述 時域信號生成模塊，生成四個時域信號即C通道的時域信號x c(t)、M通道的時域信號xM(t)、 Y通道的時域信號xY(t)和K通道的時域信號xK(t)。
7. 如權(quán)利要求6所述的非接觸式自動心率測量方法，其特征在于，對所述四組基色分 量圖像進行信號篩選時，將與綠色通道信號進行相關(guān)性分析換作與Y通道信號進行相關(guān)性 分析。
8. 如權(quán)利要求1所述的非接觸式自動心率測量方法，其特征在于，所述彩色視頻圖像 的顏色類型包括RGB類型和非RGB類型均可； 若采集的視頻圖像顏色類型為RGB類型，則直接通過基色分量分離模塊對所有R0I區(qū) 域圖像進行RGB分離； 若視頻圖像顏色類型是非RGB的，則將先將其所有R0I區(qū)域圖像轉(zhuǎn)化為RGB顏色類型 后再進行基色分離，得到每幀R0I圖像的RGB基色分量圖像。
【文檔編號】A61B5/0245GK104138254SQ201310172275
【公開日】2014年11月12日 申請日期:2013年5月10日 優(yōu)先權(quán)日:2013年5月10日
【發(fā)明者】歐陽健飛, 徐可欣 申請人:天津點康科技有限公司