專利名稱：基于多信息融合的胸部數(shù)字化x線圖像檢索系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于醫(yī)療信息技術(shù)領(lǐng)域，具體涉及一種融合診斷報告、DICOM文件和醫(yī)學(xué)影 像的數(shù)字化X線(DR)胸片檢索系統(tǒng)。
背景技術(shù)：
X射線診斷是醫(yī)學(xué)影像診斷中最重要的手段之一。胸腔曾被喻為人體健康和疾病 的鏡子，因為它包含多種組織，提供了人體多方面的信息，比如肺部疾病的診斷、肋骨骨折 及損傷、心臟擴大癥、心肺系數(shù)等都可以通過X線胸片來識別和確定。X線胸片的診斷以其 低廉的價格和微弱的放射劑量占所有放射線影像診斷的40%以上，這體現(xiàn)了 X線胸片在醫(yī) 學(xué)領(lǐng)域里的重要應(yīng)用價值。近年來，數(shù)字化X線攝影，尤其是直接數(shù)字化X線攝影(DR)系 統(tǒng)的應(yīng)用，使傳統(tǒng)的X線攝影技術(shù)進入數(shù)字化領(lǐng)域。它與傳統(tǒng)的X線攝影相比，具有更高的 影像質(zhì)量，包含更多的影像信息。這種數(shù)字化信息經(jīng)過后處理后，可以獲得更多的臨床診斷 應(yīng)用?，F(xiàn)有DR胸片檢索主要是基于關(guān)鍵字的檢索，例如根據(jù)病人的姓名、疾病名稱或圖 像的文字描述等進行的查詢，而且這也是目前在應(yīng)用領(lǐng)域中主要采用的檢索方式。但由于 醫(yī)學(xué)圖像實體的顏色、紋理、形狀、空間關(guān)系以及語義信息很難用文字描述，所以傳統(tǒng)的基 于關(guān)鍵字的醫(yī)學(xué)圖像檢索便顯現(xiàn)出不足之處，基于內(nèi)容的醫(yī)學(xué)圖像檢索(Content-Based Medical Image Rretrieval，簡稱CBMIR)在這種情況下產(chǎn)生。但只根據(jù)圖像內(nèi)容進行檢 索，語義信息的提取難度又較大，如想查找“沈陽地區(qū)患有塵肺病，年齡小于30歲的患者的 DR圖像”，只根據(jù)圖像是很難查找的。融合多種信息的DR胸片檢索系統(tǒng)可以彌補這兩類檢 索方法的缺點，實現(xiàn)自動、快速、準確、全面的根據(jù)圖像本身內(nèi)容和診斷報告進行查詢，提高 診斷的精確性，同時極大地促進醫(yī)學(xué)研究和醫(yī)學(xué)教育領(lǐng)域的進步。
發(fā)明內(nèi)容
本發(fā)明針對基于關(guān)鍵字的DR胸片檢索和基于內(nèi)容的DR胸片檢索系統(tǒng)的不足，提 出一種基于多信息融合的胸部DR圖像檢索系統(tǒng)，該系統(tǒng)具有高可靠性、擴展性好、檢索準 確性高、檢索時間快等特點。為達上述目的，本發(fā)明采用如下技術(shù)方案本發(fā)明提供的基于多信息融合的DR胸片檢索系統(tǒng)，包括DR胸片影像管理中心、初 次檢索部分和相關(guān)反饋部分。DR胸片影像管理中心用于管理胸部數(shù)字化X線圖像、感興趣對象紋理和形狀特 征及診斷報告關(guān)鍵字，包括DR胸片數(shù)據(jù)庫、特征提取與描述模塊、DR胸片特征庫。DR胸片 數(shù)據(jù)庫用于存儲來自于不同醫(yī)院的經(jīng)過專家診斷過的臨床胸部數(shù)字化X線圖像數(shù)據(jù)，包括 DICOM文件、影像和診斷報告。特征提取與描述模塊首先對圖像進行增強處理，使圖像對比 度更清晰，然后提取感興趣區(qū)域，如肺野、肋骨、鎖骨、心臟等，對分割出的區(qū)域進行紋理和 形狀描述，同時對患者的診斷報告利用本體論方法進行分析，將其關(guān)鍵字保存于特征庫中。DR胸片特征庫存儲符合多媒體內(nèi)容描述接口的特征分析結(jié)果，用于相似性匹配。
初次檢索用于自動分析輸入的文本查詢條件和示例圖像，融合二者信息給出相似 圖像，包括文本信息輸入模塊、文本內(nèi)容描述模塊、患者影像輸入模塊、DICOM文件分析模 塊、感興趣對象分割模塊、感興趣對象分析模塊、圖像內(nèi)容描述模塊、內(nèi)容融合模塊、相似性 度量模塊、初次檢索結(jié)果顯示模塊。文本信息輸入模塊接受用戶輸入的預(yù)查詢圖像的文本信息，傳遞給文本內(nèi)容描述 模塊。文本內(nèi)容描述模塊提取輸入信息的關(guān)鍵字，轉(zhuǎn)成符合多媒體內(nèi)容描述接口的形式。 患者影像輸入模塊接受用戶輸入的胸部數(shù)字化X線示例圖像。DICOM文件分析模塊用于分 析示例圖像的相應(yīng)文件信息，包括設(shè)備類型、解剖位置、患者年齡、所屬地區(qū)等信息，用于縮 小檢索范圍。感興趣對象分割模塊對示例圖像進行增強處理，并分割出感興趣對象，包括肺 野、肋骨、鎖骨、心臟等，傳遞給感興趣對象分析模塊。感興趣對象分析模塊分析各對象的紋 理、形狀特征，為保證其通用性，轉(zhuǎn)成符合多媒體內(nèi)容描述接口的形式。文本內(nèi)容描述模塊 和圖像內(nèi)容描述模塊結(jié)果送入內(nèi)容融合模塊，將文本信息和圖像內(nèi)容信息進行整合，然后 進入相似性度量模塊，和DR胸片特征庫中的數(shù)據(jù)進行比較。初次檢索結(jié)果顯示模塊根據(jù)相 似性匹配結(jié)果按照相似性大小輸出與示例圖像和輸入文本信息相吻合的圖像給用戶。如用戶對初次檢索結(jié)果不滿意，則可進入相關(guān)反饋，通過人機交互進一步提高檢 索效果。相關(guān)反饋包括反饋信息輸入模塊、反饋信息處理模塊、反饋結(jié)果顯示模塊。用戶通 過反饋信息輸入模塊，對初次檢索出的每一幅圖像進行相關(guān)或不相關(guān)標記，送入反饋信息 處理模塊，反饋信息處理模塊根據(jù)用戶反饋意見，重新計算相似度，根據(jù)相似度大小，反饋 結(jié)果顯示模塊將人工交互的結(jié)果顯示給用戶。此過程可以重復(fù)進行，直到用戶滿意為止。上述基于多信息融合的胸部數(shù)字化X線圖像檢索系統(tǒng)具有以下效果及優(yōu)點(1)高效、準確綜合了診斷報告、DICOM文件和圖像內(nèi)容多方面的信息，可以更加 全面準確的描述輸入請求，解決了文本不能準確描述圖像，圖像語義信息又很難提取的問 題，實現(xiàn)了跨媒體的DR胸片檢索。(2)人機交互，進一步滿足用戶需求由于人工智能的技術(shù)還不完善，圖像信息豐富多彩，文本描述多樣性，在這種復(fù)雜 的情況下初次檢索結(jié)果不能達到100 %的滿意度，此時用戶的參與，可以更好的描述檢索意 圖，得到更滿意的檢索結(jié)果。
圖1為基于多信息融合的胸部DR圖像檢索系統(tǒng)結(jié)構(gòu)示意圖；圖2胸部數(shù)字化X線圖像肺野分割流程；圖3胸部數(shù)字化X線圖像檢索相關(guān)反饋流程。
具體實施例方式如圖1所示，一種基于多信息融合的胸部DR圖像檢索系統(tǒng)，包括后臺的DR胸片影 像管理和前臺的用戶檢索，前臺用戶在檢索時可同時輸入文本信息和患者影像，進行多信 息查詢，也可以只輸入一種信息，文本信息或影像信息，進行單一信息查詢。如對自動檢索 結(jié)果不滿意，可進行人機交互，即相關(guān)反饋檢索。
如圖2所示，胸部數(shù)字化X線圖像肺野分割流程。首先計算8條參考線，確定初始 感興趣區(qū)域，即包括左肺和右肺的區(qū)域。其次計算肺野初始邊界點的位置，采用平均濾波器 平滑圖像，用來防止肺野內(nèi)部的紋理對檢測邊界點的影響。然后檢測橫膈邊界，再找到縱隔 和肋骨邊緣起始點的位置，檢測肺頂邊界，消除錯誤明顯的邊界點。上述描述方法只是得到 了粗糙的肺野邊界位置，邊界點并不平滑，因此需要調(diào)整這些邊界點的位置，采用Snake模 型糾正、調(diào)整得到準確的DR胸部肺野邊界點。如圖3所示，胸部數(shù)字化X線圖像檢索相關(guān)反饋流程。其中紋理特征提取選取灰 度共生矩陣，為了獲得旋轉(zhuǎn)不變的紋理特征，先計算4個方向(0度，45度，90度，135度)的 偏移參數(shù)，再分別求其特征指標(能量(E)、慣性矩(I)、相關(guān)(C)、熵(H)、局部平穩(wěn)(L)), 采用各個特征指標的均值(μ Ε，μ μ c，μ Η，μ J和方差(σ Ε，σ Σ，σ c，σ Η，σ J構(gòu)成一 10 元特征向量。這樣處理抑制了方向分量，使得到的紋理特征與方向無關(guān)。為減小灰度共生 矩陣的尺寸，采用線性縮減將圖像的灰度級壓縮為16級，既大幅度縮減量化級數(shù)，又能較 好的表示原圖像。最后將圖像m的紋理特征的特征向量記為fmt(fmtl，fmt2，……fmtlQ)。
形狀特征提取采用邊界方向直方圖，將灰度化后的圖像經(jīng)Carmy算子運算提取出 圖像的邊緣輪廓，然后將邊界方向的角度范圍(-90°，90° )均勻量化為72級，統(tǒng)計每個級 別上的邊界像素數(shù)目，得到邊界直方圖，再將各直方圖分量同除以邊界像素總數(shù)，得到歸一 化的邊界方向直方圖，即得到圖像m的72維形狀特征向量，算法把邊界方向角度量化為72 級，這樣既保證了精確性，又減少了計算量。歸一化后的邊界方向直方圖具有縮放不變性， 平移不變性等優(yōu)點。將形狀特征向量記為fms(fmsl，fms2，……，fms72)。權(quán)重向量的構(gòu)成基于ci X ici圖像檢索模型，其中Ci為分量重要性因子，其反映 了某個分量在特征向量中的相對重要程度；ici為逆集合重要性因子，其體現(xiàn)了某個分量 將一個特征向量區(qū)別于集合中其他圖像的特征向量的分辨能力。圖像m的權(quán)重向量，見公 式⑴。wm = CimXiCi(1)cim = HfmlAiean1, ..., fmk/meank, ..., f^/meanj(2)其中Hieank表示所有圖像特征向量第k個分量的平均值。Ici=Iiogrr, ···, bgrr, ···,電(？)]⑶其中σ k為所有圖像的Ci向量的第k個分量值的標準方差。將圖像m的紋理特征向量fmt (fmtl，fmt2，……fmtlQ)和形狀特征向量fms (ffflsl， fms2，……，fms72)代入式(2)，再經(jīng)式(3)和式⑴計算，最終可求出相應(yīng)的權(quán)重向量，分別
記為 Wmt (Wmtl，Wmt2， ......Wmtlo)禾口 Wms (Wmsl，Wms2， ......Wms72)。特征相似性度量采用余弦距離，如公式⑷所示。Sim(wm, Qi) =WmQi/! |wj | | | Qi |(4)其中Wm為圖像m的權(quán)重向量，Qi代表第i次反饋得到的最優(yōu)查詢向量，當i = 0 時，％代表示例圖像的查詢向量。將紋理和形狀對應(yīng)的權(quán)重向量Wmt和Wms分別代入式⑷，求出的基于紋理的相似 度記為Slt，S2t，…，SNt，形狀的相似度記為Sls，S2s，…，Sns (N為圖像庫中圖像數(shù)量)，經(jīng)高 斯歸一化(見公式(5))后得到的紋理相似度和形狀相似度分別記為S' mt和S' ms。S' m= [(Sm-yt)/3ot+l]/2(5)
其中μ t和ο t分別表示相似度的均值和標準差。Qi與圖像庫中圖像m的融合特 征相似度為<formula>formula see original document page 6</formula>對s〃 111進行降序排序，將相似度較高 的排在前L幅圖像作為檢索結(jié)果返回給用戶。有了上面特征提取、權(quán)重向量構(gòu)成和相似度匹配的準備，用戶根據(jù)查詢需求對初 次檢索結(jié)果給出圖像的相關(guān)性判斷。反饋過程中最優(yōu)查詢向量重構(gòu)過程，見公式(6)。<formula>formula see original document page 6</formula>其中qi+1代表第i+1次反饋得到的最優(yōu)查詢向量，R為用戶標記的當前反饋的正反 饋數(shù)目。
I為當前用戶標記的正反饋樣例的權(quán)重向量和。
m=l從式(6)可以看出，Qi在后續(xù)的查詢向量重構(gòu)過程中仍被保留下來，將 作為一個 正例，然后取Qi與本次用戶所選正例權(quán)重向量和的平均值，衰減因子R+1每次都在變化，隨 用戶當前選擇的正例動態(tài)變化，這樣即衰減了以往正反饋樣例在后續(xù)反饋中的影響，也加 快了以Qi為中心的正例訓(xùn)練數(shù)據(jù)向理想查詢點靠攏的速度，使得qi+1更快逼近理想最優(yōu)查 詢向量qtest，達到穩(wěn)定狀態(tài)?？梢钥吹綄⒚看涡碌玫降牟樵兿蛄勘４嫫饋恚⒏鶕?jù)用戶的交 互過程不斷地更新此向量，再將新的最優(yōu)查詢向量qi+1，代入式(4)重新進行相似度匹配， 從而得到新一輪的檢索結(jié)果。
權(quán)利要求
一種基于多信息融合的胸部數(shù)字化X線圖像檢索系統(tǒng)，其特征在于，包括DR胸片影像管理中心、初次檢索部分、相關(guān)反饋部分，所述DR胸片影像管理中心，用于管理胸部數(shù)字化X線圖像、感興趣對象紋理和形狀特征及診斷報告關(guān)鍵字；所述初次檢索用于自動分析輸入的文本查詢條件和示例圖像，融合二者信息給出相似的DR胸片圖像；所述相關(guān)反饋指如用戶對初次檢索結(jié)果不滿意，可通過人機交互進一步提高檢索效果。
2.根據(jù)權(quán)利要求1所述的基于多信息融合的胸部數(shù)字化X線圖像檢索系統(tǒng)，其特征在 于所述DR胸片影像管理中心包括DR胸片數(shù)據(jù)庫、特征提取與描述模塊、DR胸片特征庫。
3.根據(jù)權(quán)利要求1所述的基于多信息融合的胸部數(shù)字化X線圖像檢索系統(tǒng)，其特征 在于所述初次檢索部分包括文本信息輸入模塊、文本內(nèi)容描述模塊、患者影像輸入模塊、 DICOM文件分析模塊、感興趣對象分割模塊、感興趣對象分析模塊、圖像內(nèi)容描述模塊、內(nèi)容 融合模塊、相似性度量模塊、初次檢索結(jié)果顯示模塊。
4.根據(jù)權(quán)利要求1所述的基于多信息融合的胸部數(shù)字化X線圖像檢索系統(tǒng)，其特征在 于所述相關(guān)反饋部分包括反饋信息輸入模塊、反饋信息處理模塊、反饋結(jié)果顯示模塊。
全文摘要
基于多信息融合的胸部數(shù)字化X線圖像檢索系統(tǒng)屬于醫(yī)療信息技術(shù)領(lǐng)域，具體涉及一種融合診斷報告、DICOM文件和醫(yī)學(xué)影像的數(shù)字化X線(DR)胸片檢索系統(tǒng)。本發(fā)明就是提供一種基于多信息融合的胸部DR圖像檢索系統(tǒng)，該系統(tǒng)具有高可靠性、擴展性好、檢索準確性高、檢索時間快等特點。本發(fā)明包括DR胸片影像管理中心、初次檢索部分和相關(guān)反饋部分。
文檔編號G06F19/00GK101799806SQ20091001030
公開日2010年8月11日 申請日期2009年2月6日 優(yōu)先權(quán)日2009年2月6日
發(fā)明者吳月姝, 崔文成, 張金霞, 李紹柱, 紀君, 邵虹 申請人:沈陽工大普日軟件技術(shù)有限公司