專利名稱：非接觸式的心脈量測方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種心脈率量測的技術(shù)，特別是一種運用可見光影像的非接觸式的心脈量測方法及其系統(tǒng)。
背景技術(shù)：
心脈率為人體的重要生理信號之一，故醫(yī)療人員或個人常會藉由量測心脈率，以判斷生理狀態(tài)。現(xiàn)有的心脈量測器材多為接觸式裝置，較為常見有三種第一種,其為血氧濃度計(Pulse Oximeter),其為量測人體血液中血紅素帶氧能力的儀器，該儀器利用非侵入式光技術(shù)，藉出不同波長的光源，于穿透人體組織，如手指處，再利用穿透光源變化量計算出人體血液中帶氧濃度變化的信號，并配合程序運算，以得出血氧濃度與心脈值；第二種,其為脈搏/血壓計(Sphygmomanometer),其使用氣囊充氣擠壓動脈達到阻止血液流動，而后在慢慢泄壓，在此過程中，一壓力傳感器檢測氣囊的氣壓與微小脈動，以量測心脈率與血壓；第三種，其為心電圖(Electrocardiogram),其于一受測者的身體粘貼多個感應(yīng)片，藉由感應(yīng)片感測心脈率。如上所述的三種接觸式裝置皆單次僅可量測一人，無法進行連續(xù)性多人量測，心電圖的感應(yīng)片易造成受測者心理上的不適，并且心電圖的設(shè)備較為昂貴，亦不適用。
為了可擴展至多人心脈量測應(yīng)用，現(xiàn)今已開發(fā)有非接觸式的心脈量測方式，其具有兩種第一種，其利用遠紅外光裝置感測人體的外顯特征，再進一步分析影像的差異度，以推估心脈率；第二種，其利用可見光的心脈量測，其以攝影機拍攝并檢測人臉，再以人工方式標示人臉中多組區(qū)域，或采用全人臉區(qū)域，以分析血液流動于人臉影響產(chǎn)生的周期變化，而估測心脈率。如上所述的二種非接觸式的心脈量測方式，遠紅外光裝置的價格昂貴，較不普遍，可見光的心脈量測雖可結(jié)合人臉檢測算法于一畫面中標示出多組人臉，而達到單次多人的心脈量測，但僅適用于正面人臉，并且需要高運算量的算法，而且人臉區(qū)域中包含許多未含心脈信息的無意義區(qū)域，如眉毛、眼睛、鼻孔或胡須，該無意義區(qū)域可能影響準確度。
發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種非接觸式的心脈量測方法及其系統(tǒng)，以達到全自動非接觸方式且單次多人的心脈率估量。為了實現(xiàn)上述目的，本發(fā)明提供了一種非接觸式的心脈量測方法，其步驟包含有
視頻擷取，擷取包含至少一人體皮膚區(qū)域的視頻或影像的圖案信息；膚色檢測，判斷該圖案信息中與膚色相近的像素點，以輸出該圖案信息中各像素是否為膚色點的旗標值，以得知圖案信息中所有膚色點與其對應(yīng)的色彩值；目標物標記，決定至少一待量測的目標物的位置，以及取得與統(tǒng)計目標物所具有的像素信息；色彩統(tǒng)計，統(tǒng)計該圖案信息中的單一畫面的目標物，以得至少一目標物區(qū)域的色彩特征值；目標物追蹤，于至少一目標物區(qū)域中在多個時間點的空間關(guān)系，以取得至少一目標物的移動軌跡；頻域轉(zhuǎn)換，統(tǒng)計多個時間點的數(shù)據(jù)，并將該數(shù)據(jù)轉(zhuǎn)換至頻域，以得知該信號分布的頻帶及比例；心脈檢測，依據(jù)該圖案數(shù)據(jù)的相鄰畫面的時距，以計算出各頻帶所代表的心脈率。為了實現(xiàn)上述的目的，本發(fā)明還提供了一種非接觸式的心脈量測系統(tǒng)，其包含有一可擷取含有至少一人的人體皮膚區(qū)域的視頻或影像的圖像信息的視頻擷取模塊；以及一依據(jù)該圖像信息，以計算出至少一心脈率的心脈運算模塊。本發(fā)明使用低運算量的膚色檢測器快速獲得膚色區(qū)域，通過標記與追蹤等程序區(qū)分出畫面中待測目標物的所在區(qū)域，藉由統(tǒng)計各目標物于不同時間點的色彩特征值，再搭配頻域轉(zhuǎn)換方法以量測出各目標物的心脈率數(shù)值。如上所述的非接觸式的心脈量測方法及其系統(tǒng)，該視頻擷取模塊可為攝影機，或屏幕畫面、視頻檔案、網(wǎng)絡(luò)視頻串流的影像擷取程序等，并且本發(fā)明無需高運算量的人臉檢測算法，故易于任何系統(tǒng)中實施，并且可應(yīng)用在人體多個部位，例如頭頸、手臂及手掌等區(qū)域，以估測心脈率，藉此達到全自動單次量測多人的心脈率。本發(fā)明的技術(shù)效果在于本發(fā)明的方法及其系統(tǒng)實現(xiàn)了全自動非接觸方式且單次多人的心脈率估量。其可應(yīng)用視頻擷取模塊擷取影像，該視頻擷取模塊可為攝影機，或屏幕畫面、視頻檔案、網(wǎng)絡(luò)視頻串流的影像擷取程序等，并且全自動單次量測多人的心脈率，而且無須高運算量的人臉檢測算法，以及可應(yīng)用于人體的多個部位，如頭頸、手臂及手掌等區(qū)域，以估測心脈率。本發(fā)明可應(yīng)用的領(lǐng)域可包含有通用性健康評估、生理及心理狀況預(yù)測、智能房間(Smart Room·)、人機互動(Human Computer Interaction)、測謊測試(PolygraphyTesting)、意圖辨識(Intent Identification)或其它需要非接觸式量測心脈率的應(yīng)用領(lǐng)域。以下結(jié)合附圖和具體實施例對本發(fā)明進行詳細描述，但不作為對本發(fā)明的限定。
圖1為本發(fā)明的非接觸式的心脈量測系統(tǒng)的示意圖；圖2為本發(fā)明的視頻擷取模塊的第一實施例的示意圖；圖3A為本發(fā)明的視頻擷取模塊的第二實施例的示意圖；圖3B為本發(fā)明的參考模板對于視頻擷取模塊的第二實施例的示意圖4A為本發(fā)明的視頻擷取模塊的第三實施例的示意圖；圖4B為本發(fā)明的參考模板對于視頻擷取模塊的第三實施例的示意圖；圖5為本發(fā)明的心脈運算模塊的示意圖；圖6為本發(fā)明的非接觸式的心脈量測方法的流程示意圖；圖7A為擷取的圖案信息的示意圖；圖7B為經(jīng)膚色檢測后的圖案信息的區(qū)域影像的示意圖；圖7C為所標記出的目標物的位置的示意圖；圖8為色彩特征值(color value)與巾貞索引(frame index)的色彩時序統(tǒng)計圖；圖9A至圖9C為序列數(shù)據(jù)經(jīng)頻域轉(zhuǎn)換的轉(zhuǎn)換結(jié)果統(tǒng)計圖；圖10為序列數(shù)據(jù)調(diào)整的流程示意圖；圖11為至少三人在一圖案數(shù)據(jù)的畫面中的示意圖；圖12為每一人具有至少二個目標物的示意圖。其中，附圖標記10 視頻擷取模塊20 心脈運算模塊 21 膚色檢測模塊22 目標物標記模塊23 色彩統(tǒng)計模塊24 目標物追蹤模塊25 頻域轉(zhuǎn)換模塊26 心脈估測模塊30 數(shù)據(jù)載體40 示裝置50 攝影機60 攝影機61 參考模板70 手持通信裝置700 攝影機71 參考模板80 86 步驟90 M步驟E 手掌F 臉部A 頭頸B 手臂內(nèi)側(cè)C 手臂外側(cè)D 掌心A1、A2 頭頸B1、B2手臂內(nèi)側(cè)
Cl、C2手臂外側(cè)D1、D2 掌心
具體實施例方式下面結(jié)合附圖對本發(fā)明的結(jié)構(gòu)原理和工作原理作具體的描述請配合參考圖1所示，本發(fā)明的一種非接觸式的心脈量測系統(tǒng)，其包含有一視頻擷取模塊10、一心脈運算模塊20、一數(shù)據(jù)載體30與一顯示裝置40。請配合參考圖2至圖4所示，視頻擷取模塊10擷取含有至少一人的人體皮膚區(qū)域的視頻或影像的圖像信息，該圖像信息的格式可為三原色(Red、Green與Blue，RGB)、True-Color顏色空間(亮度Luminance、色度Chrominance與濃度Chroma,簡稱YUV)或色彩屬性模式(色相、飽和度與明度，簡稱HSV)，視頻擷取模塊10可為攝影機50、具有參考模板61的攝影機60(如圖3A所示)、具有攝影機700的手持裝置70，或者一可擷取畫面、視頻檔案、網(wǎng)絡(luò)視頻串流的程序，攝影機50、60可為網(wǎng)絡(luò)攝影機，該手持裝置70可進一步具有一參考模板71 (如圖4B所不)。請配合參考圖5所示，心脈運算模塊20具有一膚色檢測模塊21、一目標物標記模塊22、一色彩統(tǒng)計模塊23、一目標物追蹤模塊24、一頻域轉(zhuǎn)換模塊25與一心脈估測模塊26。膚色檢測模塊21判斷該圖案信息中與人體膚色相近的像素點，并輸出膚色點的旗標值。目標物標記模塊22依據(jù)膚色點的旗標值，以得出至少一目標物的位置，以及取得與統(tǒng)計目標物所具有的像素信息。色彩統(tǒng)計模塊23依據(jù)目標物，以得出至少一目標物區(qū)域的色彩特征值。目標物追蹤模塊24追蹤目標物，而得到各目標物區(qū)域于多個時間點的空間關(guān)系，以取得至少一目標物的移動軌跡。頻域轉(zhuǎn)換模塊25統(tǒng)計多個時間點的數(shù)據(jù)，并將其轉(zhuǎn)換至頻域，以得出至少一信號分布的頻帶(Band，b)及其比例。心脈估測模塊26依據(jù)一已知的圖像信息的相鄰畫面的時距，以計算出各頻帶所代表的心脈率，心脈率為一單位時間內(nèi)的心跳總數(shù)。數(shù)據(jù)載體30可儲存心脈率或運算所需的參數(shù)。顯示裝置40可顯示心脈率。請配合參考圖6所示，本發(fā)明的一種非接觸式的心脈量測方法，其步驟包含有視頻擷取80，其經(jīng)由視頻擷取模塊10，以擷取包含至少一人體皮膚區(qū)域的視頻或影像的圖案信息，該圖案信息的取得可由至少一自畫面擷取的影像、至少一所開啟的視頻檔案、至少一所連接的視頻串流、至少一攝影機所拍攝的影像或至少一通信裝置所拍攝的影像，該圖案信息依一時序儲存于至少一可讀取裝置中，以供讀取運算，該可讀取裝置可為一內(nèi)存，該圖案信息的格式可為RGB、YUV或HSV。請配合參考圖7A所示，其為經(jīng)擷 取的圖案信息，其顯示一頭頸A、手臂內(nèi)側(cè)B、手臂外側(cè)C與掌心D的區(qū)域。膚色檢測81，心脈運算模塊20的膚色檢測模塊21，其判斷圖案信息中與膚色相近的像素點，以輸出圖案信息中各像素是否為膚色點的旗標值，其依據(jù)該圖案信息的格式，并依一類神經(jīng)網(wǎng)絡(luò)(Neural Networks)為基礎(chǔ)的色彩分類，以作膚色檢測，經(jīng)膚色檢測后，以得知圖案信息中所有膚色點與其對應(yīng)的色彩值，該色彩分類系詳述于K. K. Bhoyarand O. G.Kakde, " Skin color detection model using neural networks and itsperformance evaluation, " Journal of Computer Science, vol. 6, pp.955-960,2010,故在此不作贅述。請配合參考圖7B所示，其經(jīng)膚色檢測后的圖案信息的區(qū)域影像，如圖所示，其為一頭頸Al、手臂內(nèi)側(cè)B1、手臂外側(cè)Cl與掌心Dl的區(qū)域影像。其中，t為一時間點，令I(lǐng)t為時間點t的視頻數(shù)據(jù)，稱為單幀畫面或畫格，pt= Ic1,C2, , CkI為It上某畫素Xt的色彩,其中C1, c2, . . . , Ck為各色彩頻道的數(shù)值,舉例而言，若以RGB24為例k = 3、Ck e
。藉由視頻擷取程序可獲得各畫素的色彩值pt。目標物標記82，心脈運算模塊20的目標物標記模塊22，其決定至少一待量測的目標物的位置，以及取得與統(tǒng)計目標物所具有的像素信息。該目標物標記82可有下列兩種方式 其一，依據(jù)該旗標值，并通過連通組件標記(Connected Component Labeling)的方法，將聚鄰的膚色點標記為相同的卷標，以形成一區(qū)域，再通過一設(shè)定臨界值以過濾面積太小或太大的區(qū)域，符合該設(shè)定臨界值的區(qū)域則視為目標物。該連通組件標記的方法詳述于 L. G. Shapiro and G. C. Stockman, Computer Vision. Upper Saddle River PrenticeHall, 2001.，故在此不作贅述。如圖7C所示，其通過連通組件標記的運算，以求得所標記出的目標物的位置，即為一頭頸A2、手臂內(nèi)側(cè)B2、手臂外側(cè)C2與掌心D2。另一，定義至少一感興趣區(qū)域，請再配合參考圖3或4所示，參考模板61、71為前述的感興趣區(qū)域，如圖3A、3B所示，舉例而言，若將一手掌E放置于參考模板61，攝影機60擷取手掌E的圖案信息，該圖案信息于膚色檢測81的步驟后成為旗標值，則位于該參考模板61范圍中的旗標值則為目標物，簡而言之，即上述的手掌E與參考模板61的迭合位置；請再配合參考圖4A、4B所示，手持裝置70擷取一臉部F的圖案信息，如前所述，該臉部F與參考模板71的迭合位置則為目標物，如前所述的手掌E與臉部F僅用于說明，而非限制，若所得的圖案信息的尺寸可與參考模板迭合，則任何圖案信息皆可應(yīng)用。色彩統(tǒng)計83，心脈運算模塊20的色彩統(tǒng)計模塊23，其統(tǒng)計該圖案信息中的單一畫面的目標物，以得至少一目標物區(qū)域的色彩特征值，其計算公式如下
權(quán)利要求
1.一種非接觸式的心脈量測方法，其特征在于，包含有步驟 視頻擷取，擷取包含至少一人體皮膚區(qū)域的視頻或影像的圖案信息； 膚色檢測，判斷該圖案信息中與膚色相近的像素點，輸出該圖案信息中各像素是否為膚色點的旗標值，以得知圖案信息中所有膚色點與其對應(yīng)的色彩值； 目標物標記，決定至少一待量測的目標物的位置，以及取得與統(tǒng)計目標物所具有的像素信息； 色彩統(tǒng)計，統(tǒng)計該圖案信息中的單一畫面的目標物，以得至少一目標物區(qū)域的色彩特征值； 目標物追蹤，追蹤至少一目標物區(qū)域中在多個時間點的空間關(guān)系，以取得至少一目標物的移動軌跡； 頻域轉(zhuǎn)換，統(tǒng)計多個時間點的數(shù)據(jù)，并將該數(shù)據(jù)轉(zhuǎn)換至頻域，以得知該信號分布的頻帶及比例； 心脈檢測，依據(jù)該圖案數(shù)據(jù)的相鄰畫面的時距，以計算出各頻帶所代表的心脈率。
2.如權(quán)利要求1所述的非接觸式的心脈量測方法，其特征在于，在該視頻擷取的步驟中，該圖案信息的取得可由至少一自畫面擷取的影像、至少一所開啟的視頻檔案、至少一所連接的視頻串流、至少一攝影機所拍攝的影像或至少一手持裝置所拍攝的影像，該圖案信息依一時序儲存于至少一可讀取裝置中。
3.如權(quán)利要求2所述的非接觸式的心脈量測方法，其特征在于，在該視頻擷取的步驟中，該可讀取裝置可為一內(nèi)存，該圖案信息的格式可為RGB、YUV或HSV之一。
4.如權(quán)利要求1所述的非接觸式的心脈量測方法，其特征在于，在該膚色檢測的步驟中，其依一類神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的色彩分類，以作膚色檢測。
5.如權(quán)利要求1所述的非接觸式的心脈量測方法，其特征在于，在該目標物標記的步驟中，其依據(jù)該旗標值，并通過連通組件標記的方法，將聚鄰的膚色點標記為相同的卷標，以形成一區(qū)域，再通過一設(shè)定臨界值以過濾面積太小或太大的區(qū)域，符合該設(shè)定臨界值的區(qū)域則視為目標物。
6.如權(quán)利要求1所述的非接觸式的心脈量測方法，其特征在于，在該目標物標記的步驟中，其定義至少一感興趣區(qū)域，則位于該感興趣區(qū)域范圍中的旗標值為目標物。
7.如權(quán)利要求1所述的非接觸式的心脈量測方法，其特征在于，在該色彩統(tǒng)計的步驟中，該色彩特征值的計算公式為
8.如權(quán)利要求1所述的非接觸式的心脈量測方法，其特征在于，在該目標物追蹤的步驟中，其記錄該圖案信息的每張畫面的目標物的位置，并將相鄰畫面中坐標重疊的目標物視為單一物體，以記錄其軌跡。
9.如權(quán)利要求8所述的非接觸式的心脈量測方法，其特征在于，在該目標物追蹤的步驟中，其于一時間點t，該圖案信息的畫面的目標物區(qū)域Rit，可得畫面中的可追蹤的目標物數(shù)量Mt及目標物信息OjtJ = 1,2, ...Mt，其中目標物區(qū)域4屬于Ojt，而O7t為至少一目標物于各時間點的色彩特征值集合
10.如權(quán)利要求1所述的非接觸式的心脈量測方法，其特征在于，在該頻域轉(zhuǎn)換的步驟中，其該轉(zhuǎn)換的方法可為離散傅立葉轉(zhuǎn)換、快速傅立葉轉(zhuǎn)換、離散余弦轉(zhuǎn)換、哈達碼轉(zhuǎn)換或離散小波轉(zhuǎn)換的其中之一。
11.如權(quán)利要求10所述的非接觸式的心脈量測方法，其特征在于，在該頻域轉(zhuǎn)換的步驟中，其以一第j個追蹤的目標物，其離散傅立葉轉(zhuǎn)換公式為
12.如權(quán)利要求10所述的非接觸式的心脈量測方法，其特征在于，在該頻域轉(zhuǎn)換的步驟中，其進一步具有一序列數(shù)據(jù)調(diào)整，其步驟具有 設(shè)定初始值，在一預(yù)先設(shè)定的心脈量測時段內(nèi)，一視頻擷取裝置的幀率可得其最小及最大的序列數(shù)據(jù)的數(shù)量，于一時段內(nèi)由小至大選用數(shù)個序列數(shù)據(jù)量作為預(yù)設(shè)參數(shù)，令集合W={w1； W2, -,WfflI為預(yù)先選用的序列數(shù)據(jù)量集合且數(shù)值由小而大排列，其元素總數(shù)為Iwl，以及設(shè)定一初始值m = I,以使序列數(shù)據(jù)的數(shù)量T = Wm ; 輸入視頻數(shù)據(jù)It ; 過濾可處理的數(shù)據(jù)數(shù)量范圍，判斷上述的It，是否符合t彡wl，m< |W|的條件，若為是，則至下一步驟； 判斷是否調(diào)整序列數(shù)據(jù)的數(shù)量，上述步驟的It，是否符合t ^ wffl+l，若為是，則至下一步驟； 擴展序列數(shù)據(jù)的數(shù)量，增加序列數(shù)據(jù)的數(shù)量。
13.如權(quán)利要求1所述的非接觸式的心脈量測方法，其特征在于，在該心脈檢測的步驟中，該圖案數(shù)據(jù)的幀率為K fps，T為序列數(shù)據(jù)的數(shù)量，則頻帶b與心脈率H(b)的轉(zhuǎn)換公式為
14.如權(quán)利要求13所述的非接觸式的心脈量測方法，其特征在于，在該心脈檢測的步驟中，其設(shè)定一合理心脈率的最小值及最大值，對該目標物取此合理心脈率區(qū)間內(nèi)具最強系數(shù)的頻帶 /，并搭配方程式轉(zhuǎn)換求得目標物的心脈率，Xj (b)為頻帶系數(shù)值，頻帶辦;_的算式為
15.一種非接觸式的心脈量測系統(tǒng)，其特征在于，包含有 一可擷取含有至少一人的人體皮膚區(qū)域的視頻或影像的圖像信息的視頻擷取模塊；以及 一依據(jù)該圖像信息，以計算出至少一心脈率的心脈運算模塊。
16.如權(quán)利要求15所述的非接觸式的心脈量測系統(tǒng)，其特征在于，還具有一可儲存該心脈率或運算所需參數(shù)的數(shù)據(jù)載體與一可顯示該心脈率的顯示裝置。
17.如權(quán)利要求15所述的非接觸式的心脈量測系統(tǒng)，其特征在于，該圖像信息的格式可為RGB、YUV或HSV的其中之一。
18.如權(quán)利要求15所述的非接觸式的心脈量測系統(tǒng)，其特征在于，該視頻擷取模塊可為一攝影機、一具有攝影機的手持裝置或一可擷取屏幕畫面、視頻檔案或網(wǎng)絡(luò)視頻串流的程序。
19.如權(quán)利要求18所述的非接觸式的心脈量測系統(tǒng)，其特征在于，該攝影機具有一參考模板，該攝影機可為一網(wǎng)絡(luò)攝影機，或者該手持通信裝置可進一步具有一參考模板。
20.如權(quán)利要求15所述的非接觸式的心脈量測系統(tǒng)，其特征在于，該心脈運算模塊具有一判斷該圖案信息中與人體膚色相近的像素點，并輸出膚色點的旗標值的膚色檢測模塊；一依據(jù)膚色點的旗標值，以得出至少一目標物的位置，以及取得與統(tǒng)計目標物所具有的像素信息的目標物標記模塊；一依據(jù)該目標物，以得出至少一目標物區(qū)域的色彩特征值的色彩統(tǒng)計模塊；一追蹤該目標物，而得到各目標物區(qū)域于多個時間點的空間關(guān)系，以取得至少一目標物的移動軌跡的目標物追蹤模塊；一統(tǒng)計多個時間點的數(shù)據(jù)，并將其轉(zhuǎn)換至頻域，以得出至少一信號分布的頻帶及其比例的頻域轉(zhuǎn)換模塊；一依據(jù)一已知的圖像信息的相鄰畫面的時距，以計算出各頻帶所代表的心脈率的心脈估測模塊。
全文摘要
一種非接觸式的心脈量測方法及其系統(tǒng)，其使用一視頻擷取模塊擷取至少一可見光影像，再通過一心脈運算模塊將可見光影像予以標記與追蹤，以得出至少一待測目標物，并統(tǒng)計各待測目標物于多個時間點的色彩特征值，經(jīng)頻域轉(zhuǎn)換，以量測出各待測目標物的心脈率數(shù)值，而可達到全自動非接觸方式且單次多人的心脈率估量，以使其可廣泛地應(yīng)用于各種量測心脈率的領(lǐng)域。本方法及其系統(tǒng)具有成本低且易于設(shè)置、全自動非接觸單次量測多人的心脈率與可應(yīng)用于人體多個區(qū)域以估算心脈率的優(yōu)點。
文檔編號A61B5/024GK103040452SQ20111037164
公開日2013年4月17日 申請日期2011年11月10日 優(yōu)先權(quán)日2011年10月14日
發(fā)明者李國征, 洪邦展, 蔡洛緯 申請人:財團法人工業(yè)技術(shù)研究院