專利名稱:一種人體圖像匹配方法及視頻分析檢索系統(tǒng)的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及數(shù)字圖像領(lǐng)域,尤其涉及一種人體圖像匹配方法及視頻分析檢 索系統(tǒng)。
背景技術(shù):
無(wú)論是視頻監(jiān)控,還是視頻分析檢索,其中最重要最關(guān)心的都是人的活動(dòng)。 因而,能夠從視頻中提取人的信息,并對(duì)人的信息進(jìn)行查詢檢索的相關(guān)技術(shù)都 具有重要意義。一般的視頻分析和智能監(jiān)控系統(tǒng),在對(duì)視頻進(jìn)行分析之前,通常都需要對(duì) 視頻進(jìn)行完全解碼,得到圖像每個(gè)象素的各個(gè)顏色通道的信息,之后才進(jìn)行處 理,這種處理方法非常費(fèi)時(shí)間。發(fā)明內(nèi)容本發(fā)明所要解決的技術(shù)問(wèn)題在于提供一種人體圖像匹配方法及視頻分析 檢索系統(tǒng),對(duì)視頻進(jìn)行部分解碼,得到需要的信息后,先進(jìn)行運(yùn)動(dòng)檢測(cè),并僅 對(duì)發(fā)生運(yùn)動(dòng)的圖像才進(jìn)行下一步處理,克服了現(xiàn)有處理方法費(fèi)時(shí)的缺陷。為了實(shí)現(xiàn)上述目的,本發(fā)明提供了一種人體圖像匹配方法,用于視頻分析 檢索,其特點(diǎn)在于,該方法包括通過(guò)對(duì)待分析視頻進(jìn)行第一次視頻部分解碼,獲得需要的檢測(cè)信息;利用所獲得的檢測(cè)信息進(jìn)行運(yùn)動(dòng)檢測(cè),確定當(dāng)前圖像是否發(fā)生了顯著運(yùn)動(dòng);如果當(dāng)前圖像發(fā)生運(yùn)動(dòng),對(duì)當(dāng)前圖像進(jìn)行第二次視頻部分解碼,得到圖像的顏色和亮度信息;通過(guò)對(duì)所得到的圖像的亮度和顏色信息進(jìn)行分析,采用人體檢測(cè)和跟蹤的 方式獲得當(dāng)前圖像中的人體信息 ,將人體信息存入人體信息數(shù)據(jù)庫(kù)中,以供查詢;輸入査詢?nèi)说牟樵冃畔?;通過(guò)訪問(wèn)人體信息數(shù)據(jù)庫(kù)獲取庫(kù)中人體信息,獲得與所述查詢信息相匹配 的匹配結(jié)果并輸出。優(yōu)選地,在進(jìn)行該對(duì)待分析視頻進(jìn)行第一次視頻部分解碼的步驟中,獲得需要的檢測(cè)信息包括當(dāng)前幀圖像的DCT系數(shù)。優(yōu)選地,所述利用所獲得的檢測(cè)信息進(jìn)行運(yùn)動(dòng)檢測(cè)的步驟包括獲取當(dāng)前幀圖像的各個(gè)DCT系數(shù);對(duì)于當(dāng)前幀圖像的各個(gè)DCT系數(shù),將每一個(gè)DCT 系數(shù)與至少一相鄰幀圖像的對(duì)應(yīng)DCT系數(shù)作差,并取差值的絕對(duì)值之和,如 果該差值絕對(duì)值之和大于第一閾值,則可確定該個(gè)DCT系數(shù)發(fā)生變化;如果 當(dāng)前幀圖像中發(fā)生變化的DCT系數(shù)所占比例大于第二閾值,則可確定當(dāng)前幀 圖像存在運(yùn)動(dòng)。優(yōu)選地,采用人體檢測(cè)和跟蹤的方式獲得當(dāng)前圖像中的人體信息的步驟中, 所獲得的人體信息包含人的編號(hào)(ID)、出現(xiàn)幀數(shù)、幀序號(hào)、以及至少包括有 亮度和顏色信息的人體代表圖像。優(yōu)選地,所述人體代表圖像的確定方法是經(jīng)人體檢測(cè)和跟蹤之后,獲得 多幅人體圖像;確定每一幅人體圖像的人體面積,并依次按從大到小的順序?qū)?人體圖像進(jìn)行排序;獲取多個(gè)排序在前的人體圖像;確定該多個(gè)排序在前的人 體圖像即為人體代表圖像。優(yōu)選地,經(jīng)人體檢測(cè)和跟蹤之后,獲得多幅人體圖像;確定每一幅人體圖 像的人體檢測(cè)置信度大小,并依次按從大到小的順序?qū)⑷梭w圖像進(jìn)行排序;獲 取多個(gè)排序在前的人體圖像;確定該多個(gè)排序在前的人體圖像即為人體代表圖 像。優(yōu)選地,所述人體代表圖像為經(jīng)歸一化成標(biāo)準(zhǔn)尺寸大小的圖像。 優(yōu)選地,輸入査詢?nèi)说牟樵冃畔⒌牟襟E包括輸入顏色信息。 優(yōu)選地,通過(guò)訪問(wèn)人體信息數(shù)據(jù)庫(kù)獲取庫(kù)中人體信息,獲得與所述査詢信 息相匹配的匹配結(jié)果的步驟還包括 輸入顏色中心和顏色比例信息;以輸入的顏色中心和顏色比例作為EMD(Earth Mover Distance)距離的中 心和權(quán)重,與庫(kù)中圖像計(jì)算匹配程度; 設(shè)定匹配度第三閾值;如果匹配程度超過(guò)第三閾值,確定所輸入的査詢信息與人體信息數(shù)據(jù)庫(kù)中 的人體信息匹配上;將匹配上的匹配結(jié)果進(jìn)行輸出和顯示。優(yōu)選地,所輸入的顏色中心和顏色比例信息的步驟還包括將人體分為上 半身和下半身;對(duì)該上半身和下半身分別進(jìn)行處理,得到的人體上半身和人體 下半身的顏色中心和顏色比例信息。優(yōu)選地,該方法還包括分別計(jì)算上半身的匹配度和下半身的匹配度,并將 二者和作為最終的匹配度。優(yōu)選地,所輸入的顏色信息為經(jīng)顏色通道轉(zhuǎn)換至LAB色彩空間的顏色信息。優(yōu)選地,輸入査詢?nèi)说臇嗽冃畔⒌牟襟E包括輸入圖像信息。 優(yōu)選地,通過(guò)訪問(wèn)人體信息數(shù)據(jù)庫(kù)獲取庫(kù)中人體信息,以獲得與所述查詢 信息相匹配的匹配結(jié)果的步驟還包括 獲得該輸入圖像的直方圖;從數(shù)據(jù)庫(kù)中讀出庫(kù)中人體的直方圖,并采用EMD距離得到二者的匹配程度;設(shè)定匹配度第四閾值;如果匹配程度超過(guò)第四閾值,確定所輸入的圖像信息與人體信息數(shù)據(jù)庫(kù)中 的人體信息匹配上;將匹配結(jié)果進(jìn)行輸出和顯示。優(yōu)選地,該方法還包括將經(jīng)匹配査詢后所獲得的匹配結(jié)果按照匹配程度 由大到小的順序進(jìn)行排列;顯示的匹配結(jié)果包含該匹配人的編號(hào)(ID)、出現(xiàn) 幀數(shù)、人體代表圖像。優(yōu)選地,獲得輸入圖像的直方圖的步驟包括將輸入圖像的三個(gè)分量分別 量化,每個(gè)分量都對(duì)應(yīng)一個(gè)直方圖;將三個(gè)分量的直方圖首尾連在一起,組成 一個(gè)三倍的直方圖。優(yōu)選地,獲得輸入圖像的直方圖的步驟包括將輸入圖像的三個(gè)分量分別 量化,分別作為新顏色值的高位、中間位和低位數(shù)據(jù);對(duì)新顏色值建立一個(gè)直 方圖并統(tǒng)計(jì)。優(yōu)選地,所述輸入圖像為RGB圖像,且分別將該輸入圖像的R、 G、 B三個(gè)分量分別量化為兩位數(shù)據(jù)并重新組成一個(gè)六位數(shù)據(jù)的新顏色值,其中,將R分量量化后的兩位作為新顏色值的第5, 6位,將G分量量化后的兩位作為 新顏色值的第3, 4位,將B分量量化后的兩位作為新顏色值的1, 2位,l位 為最低位。優(yōu)選地,所述獲得的輸入圖像的直方圖包括將人體的上半身圖像和下半身 圖像分別計(jì)算得到的人體的上半身直方圖和下半身直方圖,并分別和庫(kù)中人體 的上半身直方圖和下半身直方圖計(jì)算EMD距離,將二者匹配程度和作為最終 的匹配程度。優(yōu)選地,在查詢階段,采用特征結(jié)合EMD距離的方式進(jìn)行匹配査詢,所 述匹配方法包括 輸入人體圖像;對(duì)所輸入的人體圖像和庫(kù)中的人體代表圖像的顏色分別進(jìn)行Kmean (K 均值)聚類(lèi),設(shè)定聚類(lèi)后的中心數(shù)量,并采用包含顏色和亮度信息作為特征, 通過(guò)Kmean聚類(lèi)算法得到所輸入的人體圖像和庫(kù)中的人體代表圖像的主要顏 色的中心值和所占比例,分別對(duì)應(yīng)于EMD距離的中心值和權(quán)重;將二者的Kmean (K均值)的中心值和所占比例作為EMD的中心值和權(quán) 重進(jìn)行匹配計(jì)算,得到匹配程度;設(shè)定匹配度第五閾值;如果匹配程度超過(guò)第五閾值,確定所輸入的人體圖像與人體信息數(shù)據(jù)庫(kù)中 的人體代表圖像匹配上;將匹配上的匹配結(jié)果進(jìn)行輸出和顯示。為了實(shí)現(xiàn)上述目的,本發(fā)明還提供了一種視頻分析檢索系統(tǒng),其特點(diǎn)在于, 包括第一視頻解碼單元,用于接收待分析視頻并進(jìn)行第一次部分解碼,解碼出 需要的檢測(cè)信息;運(yùn)動(dòng)檢測(cè)單元,用于接收所述檢測(cè)信息并進(jìn)行運(yùn)動(dòng)檢測(cè),確定當(dāng)前圖像是 否發(fā)生了顯著運(yùn)動(dòng);第二視頻解碼單元,用于接收發(fā)生顯著運(yùn)動(dòng)的當(dāng)前圖像并進(jìn)行第二次部分 解碼,解碼出當(dāng)前圖像的顏色和亮度信息;分析單元,用于接收當(dāng)前圖像的顏色和亮度信息并采用人體檢測(cè)和跟蹤的方式進(jìn)行分析,得到相關(guān)的人體信息;人體信息數(shù)據(jù)庫(kù),用于保存所述相關(guān)的人體信息; 輸入單元,用于輸入査詢?nèi)说臇嗽冃畔ⅲ黄ヅ鋿嗽儐卧?,用于訪問(wèn)所述人體信息數(shù)據(jù)庫(kù)中的人體信息,采用人體匹 配算法進(jìn)行匹配,獲得與所述查詢信息相匹配的匹配結(jié)果并輸出該匹配結(jié)果; 顯示單元,用于顯示所述匹配結(jié)果。本發(fā)明的方法和系統(tǒng)僅在部分解碼完成后就進(jìn)行運(yùn)動(dòng)檢測(cè),并僅對(duì)發(fā)生運(yùn) 動(dòng)的圖像才進(jìn)行后續(xù)解碼和分析。進(jìn)一步,對(duì)發(fā)生運(yùn)動(dòng)的圖像,進(jìn)行人體檢測(cè) 和跟蹤,并將人體的編號(hào)、代表圖像、出現(xiàn)時(shí)間、軌跡等信息存入數(shù)據(jù)庫(kù)以供 查詢。查詢階段,可以選擇采用基于圖像匹配和顏色查詢兩種方式。而且,還 客將人體分為上半身和下半身,分別進(jìn)行匹配査詢,提高了査詢速度和査詢精 度。以下結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)描述,但不作為對(duì)本發(fā)明的 限定。
圖1為本發(fā)明的視頻分析檢索系統(tǒng)的結(jié)構(gòu)示意圖;圖2為本發(fā)明的人體圖像匹配方法進(jìn)行分析和査詢的流程示意圖。
具體實(shí)施方式
如圖1所示,為本發(fā)明的視頻分析檢索系統(tǒng)的結(jié)構(gòu)框圖,其包括第一視 頻解碼單元101,用于接收待分析視頻并進(jìn)行第一次部分解碼,解碼出需要的 檢測(cè)信息;運(yùn)動(dòng)檢測(cè)單元102,用于接收所述檢測(cè)信息并進(jìn)行運(yùn)動(dòng)檢測(cè),確定 當(dāng)前圖像是否發(fā)生了顯著運(yùn)動(dòng);第二視頻解碼單元103,用于接收發(fā)生顯著運(yùn) 動(dòng)的當(dāng)前圖像并進(jìn)行第二次部分解碼,解碼出當(dāng)前圖像的顏色和亮度信息;分 析單元104,用于接收當(dāng)前圖像的顏色和亮度信息并采用人體檢測(cè)和跟蹤的方 式進(jìn)行分析,得到相關(guān)的人體信息;人體信息數(shù)據(jù)庫(kù)105,用于保存所述相關(guān) 的人體信息;輸入單元106,用于輸入査詢?nèi)说臇嗽冃畔?;匹配査詢單?07, 用于訪問(wèn)所述人體信息數(shù)據(jù)庫(kù)中的人體信息,采用人體匹配算法進(jìn)行匹配,獲 得與所述査詢信息相匹配的匹配結(jié)果并輸出該匹配結(jié)果;以及顯示單元108,用于顯示所述匹配結(jié)果。如圖2所示,為了節(jié)省運(yùn)算,本發(fā)明將視頻解碼過(guò)程分為兩個(gè)部分,得到DCT系數(shù)(離散余弦變換系數(shù))之前部分(包括得到DCT系數(shù)部分)和得到 DCT系數(shù)之后部分。前者稱為第一次視頻部分解碼,后者稱為第二次視頻部 分解碼。其中,第一次視頻部分解碼只需將視頻解碼出需要的檢測(cè)信息,如 DCT系數(shù)即可,而第二次視頻部分解碼則只需將發(fā)生了運(yùn)動(dòng)的圖像解碼出圖 像的顏色和亮度信息即可,如此可大大減少運(yùn)算。結(jié)合圖l,并請(qǐng)繼續(xù)參考圖2,本發(fā)明的人體圖像匹配方法主要包括兩個(gè) 階段,分析階段和查詢階段。其中,分析階段包括步驟11,對(duì)待分析視頻進(jìn)行第一次視頻部分解碼,得到當(dāng)前幀圖像的檢 測(cè)信息,如DCT系數(shù)。步驟12,利用所獲得的檢測(cè)信息進(jìn)行運(yùn)動(dòng)檢測(cè),確定當(dāng)前圖像是否發(fā)生 了顯著運(yùn)動(dòng)。優(yōu)選地,確定當(dāng)前圖像是否發(fā)生顯著運(yùn)動(dòng)的一種實(shí)施方式是對(duì)于當(dāng)前幀圖像的各個(gè)DCT系數(shù),將每一個(gè)DCT系數(shù)與相鄰N幀圖像的對(duì)應(yīng)DCT系數(shù) 作差,得到N個(gè)差值,取這N個(gè)差值的絕對(duì)值之和,如果該差值絕對(duì)值之和 大于第一閾值,則可確定該個(gè)DCT系數(shù)發(fā)生變化,如果圖像中發(fā)生變化的DCT 系數(shù)所占比例大于第二閾值,則確定當(dāng)前幀圖像存在運(yùn)動(dòng)。N可以大于l,也 可以等于l。步驟13,如果當(dāng)前幀沒(méi)有發(fā)生運(yùn)動(dòng),則不進(jìn)行處理并返回步驟11,繼續(xù) 進(jìn)行下一幀圖像的處理;否則,對(duì)當(dāng)前幀圖像進(jìn)行第二次視頻部分解碼,得到 圖像的顏色和亮度信息。步驟14,對(duì)得到圖像的亮度和顏色信息進(jìn)行分析,采用人體檢測(cè)和跟蹤 的方式獲得人體信息,該人體信息可以包含人的編號(hào)(ID)、出現(xiàn)幀數(shù)、幀序 號(hào)、以及人體區(qū)域圖像(包括亮度和顏色)。步驟15,將人體信息存入人體信息數(shù)據(jù)庫(kù)中,數(shù)據(jù)庫(kù)可以采用access, omcle等數(shù)據(jù)庫(kù),也可以建立基于磁盤(pán)文件的數(shù)據(jù)庫(kù)。查詢階段包括步驟16,輸入査詢?nèi)说牟樵冃畔?,該查詢信息既可以輸入顏色信息,也可以輸入圖像信息;進(jìn)一步,該顏色信息可以分別設(shè)定上半身顏色,和下半身顏色。步驟17,訪問(wèn)人體信息數(shù)據(jù)庫(kù)獲取庫(kù)中人體信息,采用人體匹配算法獲 得與所述查詢?nèi)说臇嗽冃畔⑾嗥ヅ涞钠ヅ浣Y(jié)果并輸出。其中,可將匹配上的結(jié) 果按照匹配程度由大到小的順序進(jìn)行排列顯示;顯示的匹配結(jié)果可包含該匹配 人的編號(hào)(ID),出現(xiàn)幀數(shù),每幀圖像等信息。優(yōu)選地,在分析階段,經(jīng)人體檢測(cè)和跟蹤之后,可以根據(jù)人體面積大小或 人體檢測(cè)置信度大小,取前m (m^1)大的圖像為每個(gè)人確定m幅代表圖像。 而在査詢階段,只對(duì)庫(kù)中每個(gè)人的代表圖像進(jìn)行匹配,從而提高匹配速度。在 本發(fā)明中, 一種確定代表圖像的方式為采用人體面積最大的圖像; 一種更優(yōu)的 方式是采用人體置信度最大的圖像。進(jìn)一歩,步驟14中的人體代表圖像大小 可以歸一化為標(biāo)準(zhǔn)尺寸大小的圖像,例如64x32(但不限于,其他大小也可以),這樣可以節(jié)省存儲(chǔ)空間。在本發(fā)明中,在查詢階段,可以采用特征結(jié)合EMD距離的方式進(jìn)行匹配計(jì) 算。其中,EMD距離可以參考Y. Rubner, L.丄Guibas, C. Tomasi, The earth mover' s distance, multi-dimensional scaling, and color-based image retrieval, in: Proc. ARPA Image Understanding Workshop, 1997, pp. 661—668。 EMD可以求得兩個(gè)點(diǎn)集之間的距離,每個(gè)點(diǎn)集由多個(gè)點(diǎn)組成,每個(gè) 點(diǎn)賦有一個(gè)權(quán)重,假定為p = {(a,mv),…,(/^,vv,》和^((仏,其中 P,為集合l中的一個(gè)點(diǎn), 為其權(quán)重,力為集合2中的一個(gè)點(diǎn), 為其權(quán)重, EMD距離給出了兩個(gè)點(diǎn)集之間的匹配程度。當(dāng)上述每個(gè)點(diǎn)都處于顏色空間中 時(shí),EMD距離就衡量了兩個(gè)顏色分布的匹配程度。此發(fā)明中將上述點(diǎn)稱作中心。對(duì)于輸入為顏色的情況,輸入可以按照中心顏色,以及顏色比例輸入,可 以輸入多個(gè)顏色中心和比例,顏色比例可以不為l。具體可參照EMD距離, 沒(méi)有輸入的其他比例認(rèn)為不關(guān)心。然后以輸入的顏色中心和比例作為EMD的 中心和權(quán)重和庫(kù)中圖像計(jì)算匹配程度H。并設(shè)定匹配度第三閾值TH3,如果匹 配程度H超過(guò)第三閾值TH3,則可確定所輸入的查詢信息與人體信息數(shù)據(jù)庫(kù) 中的人體信息匹配上,將匹配上的匹配結(jié)果進(jìn)行輸出和顯示。進(jìn)一步,可以將人體分為上半部分和下半部分,分別進(jìn)行Kmean聚類(lèi), 對(duì)于輸入人體顏色作為査詢條件,也可以分別輸入上半部分和下半部分的中心和比例,分別計(jì)算上半身的匹配度和下半身的匹配度,并將二者和作為最終的 匹配度。進(jìn)一步的,還可將上述的三個(gè)顏色通道轉(zhuǎn)換為L(zhǎng)AB色彩空間進(jìn)行處理;因?yàn)長(zhǎng)AB空間接近的兩個(gè)顏色在人眼看來(lái)更接近,因而得到的結(jié)果更為人所接受。對(duì)于輸入為圖像的方式,可以采用直方圖特征結(jié)合EMD距離的方式查詢。 假定直方圖共有HN段,采用圖像像素總數(shù)歸一化后,每段的歸一化直方圖分 布值分別為//&(/),,' = 0,1,2...//^-1,且滿足Z Mw(i)"。則采用EMD計(jì)算距離時(shí), 假定兩個(gè)歸一化直方圖分別為歷A(O和歷A(O ,第一個(gè)直方圖對(duì)應(yīng)HN個(gè)中心, 中心值為i, /-0,1,2...冊(cè)-1,權(quán)重分別為為/Z叫(,'),第二個(gè)直方圖對(duì)應(yīng)HN個(gè) 中心,中心值為j, y' = 0,l,2.../W-1,權(quán)重分別為//&2(刀,則可以采用EMD計(jì)算 兩個(gè)已知中心值和各中心權(quán)重的集合的距離。查詢的方法是求得輸入圖像的 直方圖,從庫(kù)中讀出庫(kù)中人體的直方圖,并采用EMD距離得到二者的匹配程度 H;設(shè)定匹配度第四閾值TH4,匹配程度H超過(guò)TH4的認(rèn)為匹配上,否則認(rèn)為沒(méi) 有匹配上。按照H值的大小將匹配上的結(jié)果排列顯示。由于圖像的分辨率較低,為了使得直方圖得到更好效果, 一種可行方法是 將彩色圖像三個(gè)分量的8bits(最大為255)量化為5bits(或者4bits,或者6bits, 或者7bits),每個(gè)分量都對(duì)應(yīng)一個(gè)直方圖,并將三個(gè)分量的直方圖首位連在 一起,組成一個(gè)三倍的直方圖。例如對(duì)RGB三個(gè)分量,可以將每個(gè)通道量化 為5bits,則每個(gè)通道的直方圖包含32個(gè)值,最終的直方圖由R的32個(gè)值,G 的32個(gè)值,B的32個(gè)值共96個(gè)值組成。進(jìn)一步,本發(fā)明的直方圖的獲取方法還可以為將三個(gè)分量分別量化,分 別作為一個(gè)新顏色值的高位、中間位和低位數(shù)據(jù)。對(duì)于RGB圖像而言, 一種 方式為將R、 G、 B分別量化為2bits數(shù)據(jù),然后,R量化后的兩位作為新顏色 值的第5, 6位,G量化后的兩位作為新顏色值的第3, 4位,B量化后的兩位 作為新顏色值的l, 2位。l位為最低位。則對(duì)新顏色值建立一個(gè)64個(gè)數(shù)值的 直方圖并統(tǒng)計(jì)。進(jìn)一步,本發(fā)明還可將人體的上半部分圖像和人體的下半部分圖像分別計(jì) 算直方圖,并分別和庫(kù)中人體的上半部分直方圖和下半部分直方圖計(jì)算EMD 距離,將二者匹配程度和作為最終的匹配程度.。人體可以簡(jiǎn)單的按照人體比例劃分為上半部分和下半部分,比如上下比例為l: 1。一種更優(yōu)的方式是,對(duì)于人體(包括輸入和庫(kù)中)圖像顏色進(jìn)行Kmean 聚類(lèi),設(shè)定聚類(lèi)后的中心數(shù)量,并采用包含顏色和亮度信息作為特征,通過(guò) Kmean聚類(lèi)算法得到人體圖像的主要顏色的中心值和所占比例,分別對(duì)應(yīng)于 EMD距離的中心值和權(quán)重。對(duì)于輸入為人體圖像的情況,將二者的Kmean的 中心值和所占比例作為EMD的中心值和權(quán)重進(jìn)行匹配計(jì)算,得到匹配程度H。 并設(shè)定匹配度第五閾值TH5,如果匹配程度H超過(guò)第五閾值TH5,則可確定所 輸入的人體圖像與人體信息數(shù)據(jù)庫(kù)中的人體代表圖像匹配上,否則認(rèn)為沒(méi)有匹 配上,將匹配上的匹配結(jié)果進(jìn)行輸出和顯示。當(dāng)然,本發(fā)明還可有其他多種實(shí)施例,在不背離本發(fā)明精神及其實(shí)質(zhì)的情 況下,熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變型,但 這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。
權(quán)利要求
1、一種人體圖像匹配方法,用于視頻分析檢索,其特征在于,該方法包括通過(guò)對(duì)待分析視頻進(jìn)行第一次視頻部分解碼,獲得需要的檢測(cè)信息;利用所獲得的檢測(cè)信息進(jìn)行運(yùn)動(dòng)檢測(cè),確定當(dāng)前圖像是否發(fā)生了顯著運(yùn)動(dòng);如果當(dāng)前圖像發(fā)生運(yùn)動(dòng),對(duì)當(dāng)前圖像進(jìn)行第二次視頻部分解碼,得到圖像的顏色和亮度信息;通過(guò)對(duì)所得到的圖像的亮度和顏色信息進(jìn)行分析,采用人體檢測(cè)和跟蹤的方式獲得當(dāng)前圖像中的人體信息;將人體信息存入人體信息數(shù)據(jù)庫(kù)中,以供查詢;輸入查詢?nèi)说牟樵冃畔?;通過(guò)訪問(wèn)人體信息數(shù)據(jù)庫(kù)獲取庫(kù)中人體信息,獲得與所述查詢信息相匹配的匹配結(jié)果并輸出。
2、 根據(jù)權(quán)利要求1所述的人體圖像匹配方法,其特征在于,在進(jìn)行該對(duì) 待分析視頻進(jìn)行第一次視頻部分解碼的步驟中,獲得需要的檢測(cè)信息包括當(dāng) 前幀圖像的DCT系數(shù)。
3、 根據(jù)權(quán)利要求2所述的人體圖像匹配方法,其特征在于,所述利用所 獲得的檢測(cè)信息進(jìn)行運(yùn)動(dòng)檢測(cè)的步驟包括獲取當(dāng)前幀圖像的各個(gè)DCT系數(shù);對(duì)于當(dāng)前幀圖像的各個(gè)DCT系數(shù),將每一個(gè)DCT系數(shù)與至少一相鄰幀 圖像的對(duì)應(yīng)DCT系數(shù)作差,并取差值的絕對(duì)值之和,如果該差值絕對(duì)值之和 大于第一閾值,則可確定該個(gè)DCT系數(shù)發(fā)生變化;如果當(dāng)前幀圖像中發(fā)生變化的DCT系數(shù)所占比例大于第二閾值,則可確 定當(dāng)前幀圖像存在運(yùn)動(dòng)。
4、 根據(jù)權(quán)利要求1所述的人體圖像匹配方法,其特征在于,采用人體檢 測(cè)和跟蹤的方式獲得當(dāng)前圖像中的人體信息的步驟中,所獲得的人體信息包 含人的編號(hào)、出現(xiàn)幀數(shù)、幀序號(hào)、以及人體代表圖像。
5、 根據(jù)權(quán)利要求4所述的人體圖像匹配方法,其特征在于,所述人體代表圖像的確定方法是經(jīng)人體檢測(cè)和跟蹤之后,獲得多幅人體圖像;確定每一幅人體圖像的人體面積,并依次按從大到小的順序?qū)⑷梭w圖像進(jìn)行排序;獲取多個(gè)排序在前的人體圖像;確定該多個(gè)排序在前的人體圖像即為人體代表圖像。
6、 根據(jù)權(quán)利要求4所述的人體圖像匹配方法,其特征在于, 經(jīng)人體檢測(cè)和跟蹤之后,獲得多幅人體圖像;確定每一幅人體圖像的人體檢測(cè)置信度大小,并依次按從大到小的順序 將人體圖像進(jìn)行排序;獲取多個(gè)排序在前的人體圖像; 確定該多個(gè)排序在前的人體圖像即為人體代表圖像。
7、 根據(jù)權(quán)利要求5或6所述的人體圖像匹配方法,其特征在于,所述人體代表圖像為經(jīng)歸一化成標(biāo)準(zhǔn)尺寸大小的圖像。
8、 根據(jù)權(quán)利要求4所述的人體圖像匹配方法,其特征在于,輸入査詢?nèi)说牟樵冃畔⒌牟襟E包括輸入顏色信息。
9、 根據(jù)權(quán)利要求8所述的人體圖像匹配方法,其特征在于,通過(guò)訪問(wèn)人 體信息數(shù)據(jù)庫(kù)獲取庫(kù)中人體信息,獲得與所述查詢信息相匹配的匹配結(jié)果的 步驟還包括輸入顏色中心和顏色比例信息;以輸入的顏色中心和顏色比例作為EMD距離的中心和權(quán)重,與庫(kù)中圖 像計(jì)算匹配程度;設(shè)定匹配度第三閾值;如果匹配程度超過(guò)第三閾值,確定所輸入的查詢信息與人體信息數(shù)據(jù)庫(kù) 中的人體信息匹配上;將匹配上的匹配結(jié)果進(jìn)行輸出和顯示。
10、 根據(jù)權(quán)利要求9所述的人體圖像匹配方法,其特征在于,所輸入的 顏色中心和顏色比例信息的步驟還包括-將人體分為上半身和下半身;對(duì)該上半身和下半身分別進(jìn)行處理,得到的人體上半身和人體下半身的顏色中心和顏色比例信息。
11、 根據(jù)權(quán)利要求10所述的人體圖像匹配方法,其特征在于,該方法還 包括分別計(jì)算上半身的匹配度和下半身的匹配度,并將二者和作為最終的匹 配度。
12、 根據(jù)權(quán)利要求10所述的人體圖像匹配方法,其特征在于,所輸入的顏色信息為經(jīng)顏色轉(zhuǎn)換至LAB色彩空間的顏色信息。
13、 根據(jù)權(quán)利要求4所述的人體圖像匹配方法,其特征在于,輸入查詢 人的查詢信息的步驟包括輸入圖像信息。
14、 根據(jù)權(quán)利要求13所述的人體圖像匹配方法,其特征在于,通過(guò)訪問(wèn) 人體信息數(shù)據(jù)庫(kù)獲取庫(kù)中人體信息,以獲得與所述査詢信息相匹配的匹配結(jié) 果的步驟還包括獲得該輸入圖像的直方圖;從數(shù)據(jù)庫(kù)中讀出庫(kù)中人體的直方圖,并采用EMD距離得到二者的匹配 程度;設(shè)定匹配度第四閾值;如果匹配程度超過(guò)第四閾值,確定所輸入的圖像信息與人體信息數(shù)據(jù)庫(kù) 中的人體信息匹配上;將匹配結(jié)果進(jìn)行輸出和顯示。
15、 根據(jù)權(quán)利要求9或14所述的人體圖像匹配方法,其特征在于,該方 法還包括將經(jīng)匹配査詢后所獲得的匹配結(jié)果按照匹配程度由大到小的順序進(jìn)行排列;顯示的匹配結(jié)果包含該匹配人的編號(hào)、出現(xiàn)幀數(shù)、人體代表圖像。
16、 根據(jù)權(quán)利要求14所述的人體圖像匹配方法,其特征在于,獲得輸入 圖像的直方圖的步驟包括將輸入圖像的三個(gè)分量分別量化,每個(gè)分量都對(duì)應(yīng)一個(gè)直方圖; 將三個(gè)分量的直方圖首尾連在一起,組成一個(gè)三倍的直方圖。
17、 根據(jù)權(quán)利要求14所述的人體圖像匹配方法,其特征在于,獲得輸入 圖像的直方圖的步驟包括將輸入圖像的三個(gè)分量分別量化,分別作為新顏色值的高位、中間位和低位數(shù)據(jù);對(duì)新顏色值建立一個(gè)直方圖并統(tǒng)計(jì)。
18、 根據(jù)權(quán)利要求17所述的人體圖像匹配方法,其特征在于,所述輸入圖像為RGB圖像,且分別將該輸入圖像的R、 G、 B三個(gè)分量分別量化為兩 位數(shù)據(jù)并重新組成一個(gè)六位數(shù)據(jù)的新顏色值,其中,將R分量量化后的兩位 作為新顏色值的第5, 6位,將G分量量化后的兩位作為新顏色值的第3, 4 位,將B分量量化后的兩位作為新顏色值的1, 2位,l位為最低位。
19、 根據(jù)權(quán)利要求16或17所述的人體圖像匹配方法,其特征在于,所 述獲得的輸入圖像的直方圖包括將人體的上半身圖像和下半身圖像分別計(jì)算 得到的人體的上半身直方圖和下半身直方圖,并分別和庫(kù)中人體的上半身直 方圖和下半身直方圖計(jì)算EMD距離,將二者匹配程度和作為最終的匹配程 度。
20、 根據(jù)權(quán)利要求13所述的人體圖像匹配方法,其特征在于,所述通過(guò) 訪問(wèn)人體信息數(shù)據(jù)庫(kù)獲取庫(kù)中人體信息,獲得與所述査詢信息相匹配的匹配 結(jié)果的步驟包括輸入人體圖像;對(duì)所輸入的人體圖像和庫(kù)中的人體代表圖像的顏色分別進(jìn)行Kmean聚 類(lèi),設(shè)定聚類(lèi)后的中心數(shù)量,并采用包含顏色和亮度信息作為特征,通過(guò) Kmean聚類(lèi)算法得到所輸入的人體圖像和庫(kù)中的人體代表圖像的主要顏色 的中心值和所占比例,分別對(duì)應(yīng)于EMD距離的中心值和權(quán)重;將二者的Kmean的中心值和所占比例作為EMD的中心值和權(quán)重進(jìn)行匹 配計(jì)算,得到匹配程度;設(shè)定匹配度第五閾值;如果匹配程度超過(guò)第五閾值,確定所輸入的人體圖像與人體信息數(shù)據(jù)庫(kù) 中的人體代表圖像匹配上;將匹配上的匹配結(jié)果進(jìn)行輸出和顯示。
21、 一種視頻分析檢索系統(tǒng),其特征在于,包括第一視頻解碼單元,用于接收待分析視頻并進(jìn)行第一次部分解碼,解碼 出需要的檢測(cè)信息;運(yùn)動(dòng)檢測(cè)單元,用于接收所述檢測(cè)信息并進(jìn)行運(yùn)動(dòng)檢測(cè),確定當(dāng)前圖像5是否發(fā)生了顯著運(yùn)動(dòng);第二視頻解碼單元,用于接收發(fā)生顯著運(yùn)動(dòng)的當(dāng)前圖像并進(jìn)行第二次部 分解碼,解碼出當(dāng)前圖像的顏色和亮度信息;分析單元,用于接收當(dāng)前圖像的顏色和亮度信息并采用人體檢測(cè)和跟蹤 的方式進(jìn)行分析,得到相關(guān)的人體信息;人體信息數(shù)據(jù)庫(kù),用于保存所述相關(guān)的人體信息;輸入單元,用于輸入査詢?nèi)说臇嗽冃畔?;匹配査詢單元,用于訪問(wèn)所述人體信息數(shù)據(jù)庫(kù)中的人體信息,采用人體 匹配算法進(jìn)行匹配,獲得與所述査詢信息相匹配的匹配結(jié)果并輸出該匹配結(jié) 果;顯示單元,用于顯示所述匹配結(jié)果。
全文摘要
本發(fā)明涉及一種人體圖像匹配方法及視頻分析檢索系統(tǒng),先對(duì)待分析視頻進(jìn)行第一次視頻部分解碼,得到需要的檢測(cè)信息后,進(jìn)行運(yùn)動(dòng)檢測(cè),并僅對(duì)發(fā)生運(yùn)動(dòng)的圖像進(jìn)行第二次視頻部分解碼,得到圖像的亮度和顏色信息,進(jìn)行人體檢測(cè)和跟蹤,得到人體信息存入數(shù)據(jù)庫(kù)中。當(dāng)需要查詢時(shí),輸入查詢?nèi)说牟樵冃畔?,并通過(guò)訪問(wèn)數(shù)據(jù)庫(kù)中的人體信息,采用人體匹配算法獲得與所述查詢?nèi)说牟樵冃畔⑾嗥ヅ涞钠ヅ浣Y(jié)果,輸出并顯示匹配結(jié)果。本發(fā)明的方法和系統(tǒng)加快了處理速度,并提高了查詢精度。
文檔編號(hào)H04N5/14GK101232571SQ20081005690
公開(kāi)日2008年7月30日 申請(qǐng)日期2008年1月25日 優(yōu)先權(quán)日2008年1月25日
發(fā)明者鄧亞峰, 英 黃 申請(qǐng)人:北京中星微電子有限公司