圖像處理裝置、圖像處理系統(tǒng)、圖像處理方法和程序的制作方法

專利名稱：圖像處理裝置、圖像處理系統(tǒng)、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉 及在醫(yī)學(xué)、病理學(xué)、生物學(xué)、材料科學(xué)等領(lǐng)域中處理通過顯微鏡所獲得的圖像信息的圖像處理裝置、具有該圖像處理裝置的圖像處理系統(tǒng)、圖像處理方法以及該圖像處理裝置中的程序。
背景技術(shù)：
在醫(yī)學(xué)或病理學(xué)的領(lǐng)域中，已經(jīng)提出了一種系統(tǒng)，其將通過光學(xué)顯微鏡獲得的諸如活體的細(xì)胞、組織、器官等的樣本的圖像數(shù)字化，以基于所獲得的數(shù)字圖像由醫(yī)生或病理學(xué)家來檢查組織等或診斷病人。通常，這樣的系統(tǒng)稱為虛擬顯微鏡。例如，日本專利申請公開第2009-37250號(下文中，被稱作專利文獻(xiàn)1)公開了一種方法，其中，通過配備有CCD(電荷耦合器件)的攝像機(jī)將從置于顯微鏡的鏡臺(tái)上的載片樣本光學(xué)獲得的圖像數(shù)字化，將由此獲得數(shù)字信號輸入至PC (個(gè)人計(jì)算機(jī))，并在監(jiān)控器上將圖像可視化。病理學(xué)家在觀看顯示在監(jiān)控器上的圖像的同時(shí)執(zhí)行檢查等。

發(fā)明內(nèi)容
順便提及，在虛擬顯微鏡系統(tǒng)中，通過在樣本的深度方向(對焦方向)上以預(yù)定間隔移動(dòng)焦點(diǎn)來獲得圖像數(shù)據(jù)，從而檢測目標(biāo)(熒光標(biāo)記)在深度方向上的位置，該目標(biāo)例如存在于一個(gè)細(xì)胞核中并已被熒光著色。然而，在該方法中，需要針對每一預(yù)定間隔來存儲(chǔ)多條圖像數(shù)據(jù)(在樣本存在于載玻片的幾乎一個(gè)表面上的情況下，每條圖像數(shù)據(jù)的數(shù)據(jù)量約為4GB)，并且增大了數(shù)據(jù)容量，從而具有大容量的存儲(chǔ)器變得是必需的。鑒于上述情況，期望提供一種圖像處理裝置、圖像處理系統(tǒng)、圖像處理方法和程序，它們能夠在不使用具有大容量的存儲(chǔ)器的情況下，容易地檢測樣本中的目標(biāo)的深度位置。根據(jù)本發(fā)明的實(shí)施方式，提供了一種圖像處理裝置，其包括接口、控制器和存儲(chǔ)器。該接口被配置為連接至顯微鏡。顯微鏡包括鏡臺(tái)，具有放置包括被標(biāo)記的目標(biāo)的樣本的放置面；物鏡，放大樣本的圖像；以及攝像元件，形成由物鏡放大的樣本的圖像?？刂破鞅慌渲脼橥ㄟ^接口使物鏡的焦點(diǎn)從預(yù)定基準(zhǔn)位置在放置面的垂直方向上移動(dòng)，并且在焦點(diǎn)在垂直方向上移動(dòng)的期間使攝像元件曝光，從而獲得包括表示目標(biāo)的第一亮點(diǎn)的第一圖像。此外，控制器被配置為通過接口執(zhí)行焦點(diǎn)以第一速度從基準(zhǔn)位置在垂直方向上的勻速移動(dòng)以及以第二速度在放置面的平行方向上的勻速直線移動(dòng)，并且在焦點(diǎn)在垂直方向和平行方向上移動(dòng)的期間使攝像元件曝光，從而獲得包括表示目標(biāo)的第二亮點(diǎn)的第二圖像。此夕卜，控制器被配置為基于獲得的第一圖像和第二圖像，計(jì)算樣本中的目標(biāo)在垂直方向上的位置。存儲(chǔ)器被配置為存儲(chǔ)獲得的第一圖像和第二圖像。在該實(shí)施方式中，在焦點(diǎn)在垂直方向和平行方向上移動(dòng)的同時(shí)使攝像元件進(jìn)行曝光，所以在第二圖像中，對于每一焦點(diǎn)，目標(biāo)的圖像模糊的狀態(tài)逐漸變?yōu)閳D像清晰的狀態(tài)。 此外，在第二圖像中，在焦點(diǎn)與目標(biāo)最匹配的位置處，目標(biāo)的圖像的亮度變得最大，并被表示為第二亮點(diǎn)。利用該結(jié)構(gòu)，僅通過兩次曝光來獲得第一圖像和第二圖像，從而圖像處理裝置在節(jié)省存儲(chǔ)器的容量的同時(shí)，可以容易地以高精度檢測到樣本中的目標(biāo)在垂直方向上的位
置。 控制器可以基于第一圖像和第二圖像計(jì)算第一亮點(diǎn)和第二亮點(diǎn)之間在平行方向上的距離，并且基于距離、第一速度以及第二速度來計(jì)算目標(biāo)的位置。結(jié)果，僅通過基于第一圖像和第二圖像計(jì)算第一亮點(diǎn)和第二亮點(diǎn)之間在平行方向上的距離，圖像處理裝置可以容易地以高精度檢測目標(biāo)在垂直方向上的位置。 第一速度可以大于第二速度。結(jié)果，在第二圖像中，不同焦點(diǎn)的目標(biāo)的圖像相重疊的范圍變小，所以更容易檢測第二亮點(diǎn)的位置。控制器可以生成通過將第一圖像和第二圖像合成而獲得合成圖像，并且通過利用合成圖像來計(jì)算距離。結(jié)果，通過在合成圖像上測量第一亮點(diǎn)和第二亮點(diǎn)之間的距離，圖像處理裝置可以容易地檢測目標(biāo)在垂直方向上的目標(biāo)。根據(jù)本發(fā)明的另一實(shí)施方式，提供了一種圖像處理系統(tǒng)，其包括顯微鏡和圖像處理裝置。顯微鏡具有鏡臺(tái)，具有放置包括被標(biāo)記的目標(biāo)的樣本的放置面；物鏡，被配置為放大樣本的圖像；以及攝像元件，被配置為形成由物鏡放大的樣本的圖像。圖像處理裝置具有接口、控制器和存儲(chǔ)器。接口被配置為連接至顯微鏡?？刂破鞅慌渲脼橥ㄟ^接口使物鏡的焦點(diǎn)從預(yù)定基準(zhǔn)位置在放置面的垂直方向上移動(dòng)，并且在焦點(diǎn)在垂直方向上移動(dòng)的期間使攝像元件曝光，從而獲得包括表示目標(biāo)的第一亮點(diǎn)的第一圖像。此外，控制器被配置為通過接口執(zhí)行焦點(diǎn)以第一速度從基準(zhǔn)位置在垂直方向上的勻速移動(dòng)以及以第二速度在放置面的平行方向上的勻速直線移動(dòng)，并且在焦點(diǎn)在垂直方向和平行方向上移動(dòng)的期間使攝像元件曝光，從而獲得包括表示目標(biāo)的第二亮點(diǎn)的第二圖像。此外，控制器被配置為基于獲得的第一圖像和第二圖像，計(jì)算樣本中的目標(biāo)在垂直方向上的位置。存儲(chǔ)器被配置為存儲(chǔ)獲得的第一圖像和第二圖像。根據(jù)本發(fā)明的另一實(shí)施方式，提供了一種圖像處理方法，包括與顯微鏡建立連接，該顯微鏡包括鏡臺(tái)，具有放置包括被標(biāo)記的目標(biāo)的樣本的放置面；物鏡，放大樣本的圖像；以及攝像元件，形成由物鏡放大的樣本的圖像。使物鏡的焦點(diǎn)從預(yù)定基準(zhǔn)位置在放置面的垂直方向上移動(dòng)，并且在焦點(diǎn)在垂直方向上移動(dòng)的期間使攝像元件曝光，從而獲得包括表示目標(biāo)的第一亮點(diǎn)的第一圖像。此外，執(zhí)行焦點(diǎn)以第一速度從基準(zhǔn)位置在垂直方向上的勻速移動(dòng)以及以第二速度在放置面的平行方向上的勻速直線移動(dòng)，并且在焦點(diǎn)在垂直方向和平行方向上移動(dòng)的期間使攝像元件曝光，從而獲得包括表示目標(biāo)的第二亮點(diǎn)的第二圖像。將獲得的第一圖像和第二圖像存儲(chǔ)在存儲(chǔ)器中?；谒鎯?chǔ)的第一圖像和第二圖像， 計(jì)算樣本中的目標(biāo)在垂直方向上的位置。根據(jù)本發(fā)明的另一實(shí)施方式，提供了一種使圖像處理裝置執(zhí)行以下操作的程序 與顯微鏡建立連接，該顯微鏡包括具有放置包括被標(biāo)記的目標(biāo)的樣本的放置面的鏡臺(tái)、放大樣本的圖像的物鏡、以及形成由物鏡放大的樣本的圖像的攝像元件；使物鏡的焦點(diǎn)從預(yù)定基準(zhǔn)位置在放置面的垂直方向上移動(dòng)，并且在焦點(diǎn)在垂直方向上移動(dòng)的期間使攝像元件曝光，從而獲得包括表示目標(biāo)的第一 亮點(diǎn)的第一圖像；執(zhí)行焦點(diǎn)以第一速度從基準(zhǔn)位置在垂直方向上的勻速移動(dòng)以及以第二速度在放置面的平行方向上的勻速直線移動(dòng)，并且在焦點(diǎn)在垂直方向和平行方向上移動(dòng)的期間使攝像元件曝光，從而獲得包括表示目標(biāo)的第二亮點(diǎn)的第二圖像。將獲得的第一圖像和第二圖像存儲(chǔ)在存儲(chǔ)器中，以及基于所存儲(chǔ)的第一圖像和第二圖像，計(jì)算樣本中的目標(biāo)在垂直方向上的位置。如上所述，根據(jù)本發(fā)明的實(shí)施方式，可以在不使用具有大容量的存儲(chǔ)器的情況下容易地檢測樣本中的目標(biāo)的深度位置。根據(jù)本發(fā)明的最佳形式的實(shí)施方式的以下詳細(xì)描述，如附圖所示，本發(fā)明的這些和其他目的、特征和優(yōu)點(diǎn)將變得顯而易見。


圖1是示出了根據(jù)本發(fā)明實(shí)施方式的圖像處理系統(tǒng)的示圖；圖2是示出了在本發(fā)明實(shí)施方式中拍攝圖像的樣本SPL從鏡臺(tái)的側(cè)表面觀察的示圖；圖3是示出了根據(jù)本發(fā)明實(shí)施方式的圖像處理裝置的結(jié)構(gòu)的框圖；圖4是示出了樣本中的目標(biāo)的深度位置的計(jì)算處理的流程圖，該計(jì)算處理通過本發(fā)明實(shí)施方式中的圖像處理裝置來執(zhí)行；圖5是示出了焦點(diǎn)在本發(fā)明實(shí)施方式中的Z方向上移動(dòng)的狀態(tài)的示圖；圖6是示出了通過在焦點(diǎn)在本發(fā)明實(shí)施方式中的Z方向上移動(dòng)的同時(shí)執(zhí)行曝光處理而獲得的樣本的圖像(第一圖像)的示圖；圖7是示出了焦點(diǎn)在本發(fā)明實(shí)施方式中的Z方向和X方向上移動(dòng)的狀態(tài)的示圖；圖8是示出了通過在焦點(diǎn)在本發(fā)明實(shí)施方式中的Z方向上和X方向上移動(dòng)的同時(shí)執(zhí)行曝光處理而獲得的樣本的圖像(第二圖像)的示圖；圖9是示出了通過將圖6的第一圖像和圖8的第二圖像合成而獲得合成圖像的示圖；以及圖10是示出了通過利用圖9的合成圖像的目標(biāo)的深度位置的計(jì)算處理的示圖。
具體實(shí)施例方式下文中，將參考附圖來描述本發(fā)明的實(shí)施方式。(圖像處理系統(tǒng)的結(jié)構(gòu))圖1是示出了根據(jù)本發(fā)明實(shí)施方式的圖像處理系統(tǒng)的示圖。如圖所示，該實(shí)施方式中的圖像處理系統(tǒng)1具有顯微鏡(熒光顯微鏡)10和連接至顯微鏡10的圖像處理裝置 20。顯微鏡10具有鏡臺(tái)11、光學(xué)系統(tǒng)12、亮場圖像拍攝照明燈13、光源14以及攝像元件30。鏡臺(tái)11具有放置面，其上可以放置諸如包括組織切片、細(xì)胞、染色體等的生物高分子的樣本SPL，并且該鏡臺(tái)可以在放置面的平行方向和垂直方向(XYZ軸方向)上移動(dòng)。圖2是示出了放置在鏡臺(tái)11上的樣本SPL從鏡臺(tái)11的側(cè)表面方向觀察的示圖。如圖所示，樣本SPL在Z方向上具有約4 μ m至8 μ m的厚度(深度)，并通過預(yù)定固定方法而被固定在適當(dāng)?shù)奈恢茫⑶覙颖維PL夾置在載玻片SG和蓋玻片CG之間，并且根據(jù)需要而被著色。著色方法的實(shí)例包括諸如HE (蘇木精曙紅)著色、姬姆薩(Giemsa)著色和巴氏(Papanicolaou)著色的一般著色方法以及諸如FISH(熒光原位雜交，fluorescence in situ hybridization)和酶抗體方法的熒光著色。例如，執(zhí)行熒光著色以用于樣本中的特定目標(biāo)的標(biāo)記。已被熒光著色的目標(biāo)在圖中被表示為熒光標(biāo)記M(M1和M2)，并且熒光標(biāo)記M在通過顯微鏡獲得的圖像中表現(xiàn)為亮點(diǎn)。返回圖1，光學(xué)系統(tǒng)12設(shè)置鏡臺(tái)11的上方，并具有物鏡12A、成像透鏡12B、分色鏡 12C、發(fā)射濾光器12D以及激勵(lì)濾光器12E。光源14由LED(發(fā)光二極管)等形成。
物鏡12A和成像透鏡12B以預(yù)定放大倍率放大通過亮場圖像拍攝照明燈13獲得的樣本SPL的圖像，并且所放大的圖像形成在攝像元件30的攝像面上。在從光源14發(fā)射的光中，激勵(lì)濾光器12E僅使激勵(lì)熒光染料的激勵(lì)波長的光通過，從而產(chǎn)生激勵(lì)光。分色鏡12C反射已通過激勵(lì)濾光器并在其上入射的激勵(lì)光，并將光引導(dǎo)至物鏡12A。物鏡12A將激勵(lì)光會(huì)聚至樣本SPL。在固定至載玻片SG的樣本SPL被熒光著色的情況下，熒光染料通過激勵(lì)光而發(fā)光。通過發(fā)光獲得的光(顯色光)穿過物鏡12A而通過分色鏡12C，并且穿過發(fā)射濾光器 12D到達(dá)成像透鏡12B。發(fā)射濾光器12D吸收除去由物鏡的12A放大的顯色光的光(外部光)。通過失去外部光所獲得的顯色光的圖像被成像透鏡12B放大并如上所述形成在攝像元件30上。亮場圖像拍攝照明燈13設(shè)置在鏡臺(tái)11的下方，并用照明光通過形成在鏡臺(tái)11中的開口(未示出)而照射放置在放置面上的樣本SPL。作為攝像元件30，例如，使用CXD (電荷耦合器件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)。攝像元件30可以與顯微鏡10 —體化設(shè)置，或者可以設(shè)置在攝像裝置(數(shù)碼相機(jī)等) 中，該攝像裝置獨(dú)立設(shè)置并且可以連接至顯微鏡10。圖像處理裝置20由例如PC(個(gè)人計(jì)算機(jī))構(gòu)成，并且例如，以諸如JPEG(聯(lián)合圖像專家組)的預(yù)定格式來存儲(chǔ)通過攝像元件30所生成的樣本SPL的圖像作為數(shù)字圖像數(shù)據(jù)(虛擬幻燈片)。(圖像處理裝置的結(jié)構(gòu))圖3是示出了圖像處理裝置20的結(jié)構(gòu)的框圖。如圖所示，圖像處理裝置20具有CPU (中央處理單元)21、ROM(只讀存儲(chǔ)器)22、 RAM(隨機(jī)存取存儲(chǔ)器)23、操作輸入單元24、接口 25、顯示器26以及存儲(chǔ)器27。這些塊經(jīng)由總線28而彼此相連接。ROM 22固定地存儲(chǔ)數(shù)據(jù)或多個(gè)程序(諸如用于執(zhí)行各種處理的固件)。RAM 23被用作CPU 21的工作區(qū)域，并暫時(shí)保存執(zhí)行時(shí)的各種程序和正被處理的各種數(shù)據(jù)。存儲(chǔ)器27是諸如HDD(硬盤驅(qū)動(dòng)器)的非易失性存儲(chǔ)器、閃存以及另外的固態(tài)存儲(chǔ)器。存儲(chǔ)器27在其中存儲(chǔ)0S、各種應(yīng)用程序或各種數(shù)據(jù)。特別地，在該實(shí)施方式中，從顯微鏡10獲得的圖像數(shù)據(jù)和用于處理圖像數(shù)據(jù)并計(jì)算樣本SPL中的目標(biāo)的亮點(diǎn)的深度(高度)位置的圖像處理程序也被存儲(chǔ)在存儲(chǔ)器27中。接口 25與鏡臺(tái)11、光源14以及顯微鏡10的攝像元件30相連接，并且根據(jù)預(yù)定的通信標(biāo)準(zhǔn)而與顯微鏡10傳輸或接收信號。
在存儲(chǔ)在ROM 22或存儲(chǔ)器27中的多個(gè)程序中，CPU 21展開對應(yīng)于從操作輸入單元24提供至RAM 23中的命令的程序，并根據(jù)由此展開的程序來適當(dāng)?shù)乜刂骑@示器26和存儲(chǔ)器27。在該實(shí)施方式中，特別地，CPU21通過圖像處理應(yīng)用程序來計(jì)算目標(biāo)在樣本SPL中的深度位置。此時(shí)，CPU 21通過接口 25適當(dāng)?shù)乜刂歧R臺(tái)11、光源14和攝像元件30。 操作輸入單元24例如是諸如鼠標(biāo)、鍵盤、觸摸板的指點(diǎn)裝置或另外的操作裝置。顯示器26例如是液晶顯示器、EL(有機(jī)電致發(fā)光)顯示器、等離子體顯示器、 CRT(陰極射線管)顯示器等。顯示器26可以一體地設(shè)置在圖像處理裝置20中，或者可以設(shè)置在圖像處理裝置20的外部。(圖像處理系統(tǒng)的操作)接下來，將給出如上構(gòu)造的圖像處理系統(tǒng)1的操作的描述。在下面的描述中，圖像處理裝置20的CPU 21被用作操作的主體，但操作也可以結(jié)合圖像處理裝置20的不同硬件和諸如圖像處理應(yīng)用程序的軟件來執(zhí)行。圖4是示出了通過該實(shí)施方式中的圖像處理裝置20所執(zhí)行的樣本SPL中的目標(biāo)的深度位置的計(jì)算處理的流程圖。圖5是示出了對應(yīng)于步驟41和42的焦點(diǎn)在Z方向上的移動(dòng)的狀態(tài)的示圖。如圖4所示，首先，在樣本SPL放置在鏡臺(tái)11上的狀態(tài)下，CPU 21設(shè)定鏡臺(tái)11在垂直(Z)方向上的默認(rèn)位置，并且圖像處理裝置20與顯微鏡10相連接(步驟41)。如圖5 所示，默認(rèn)位置DP被設(shè)定為使得物鏡12A的焦平面FP的位置在存在樣本SPL的范圍的外部(上方區(qū)域或下方區(qū)域)，即，使得焦點(diǎn)的移動(dòng)范圍(掃描范圍)在下面的曝光(掃描) 步驟中覆蓋樣本SPL的整個(gè)表面。接下來，如圖5中的箭頭所表示的，CPU 21在執(zhí)行鏡臺(tái)11(即，焦點(diǎn))以預(yù)定速度從默認(rèn)位置DP在垂直方向(Z方向)上的勻速移動(dòng)的同時(shí)，而使圖像獲取元件30曝光，從而拍攝樣本SPL的圖像(步驟42)。這里，CPU 21將焦點(diǎn)的移動(dòng)范圍覆蓋樣本SPL的整個(gè)表面的位置設(shè)定為移動(dòng)的結(jié)束點(diǎn)EP。換而言之，默認(rèn)位置DP和結(jié)束點(diǎn)EP被設(shè)定為使得樣本 SPL完全包括在從默認(rèn)位置DP至結(jié)束點(diǎn)EP的范圍中(使得焦點(diǎn)的移動(dòng)距離大于樣本SPL 的厚度)。圖6是示出了樣本SPL的圖像(第一圖像)的示圖，該圖像是通過如上所述在焦點(diǎn)在Z方向上移動(dòng)的同時(shí)執(zhí)行曝光處理而獲得的。如圖所示，在第一圖像60中，熒光標(biāo)記 Ml表現(xiàn)為亮點(diǎn)A的圖像，并且熒光標(biāo)記M2表現(xiàn)為亮點(diǎn)B的圖像。這里，第一圖像60是已被曝光并通過在Z方向上移動(dòng)的樣本SPL的焦點(diǎn)而拍攝的圖像，并因此是這樣的圖像，其中，在焦點(diǎn)與熒光標(biāo)記Ml和M2相合的焦平面EP上的圖像與不同于該圖像的圖像彼此相重疊。因此，亮點(diǎn)A和B的圖像具有模糊的周圍圖像，但這些位置以能夠清晰識(shí)別的程度而顯現(xiàn)。CPU 21通過接口 25從攝像元件30獲得第一圖像60，并暫時(shí)將第一圖像60存儲(chǔ)在RAM 23中(步驟43)。隨后，CPU 21使鏡臺(tái)11在Z方向上的位置返回至默認(rèn)位置DP (步驟44)。圖7是示出了對應(yīng)于圖4中所示的步驟45和46的、焦點(diǎn)在Z方向和X方向上的移動(dòng)狀態(tài)的示圖。隨后，如圖7所示，CPU 21在以第一速度(Vz)在Z方向上和以第二速度(Vx)在X方向上執(zhí)行鏡臺(tái)11 (焦點(diǎn))從默認(rèn)位置DP至結(jié)束點(diǎn)EP的勻速移動(dòng)的同時(shí)，而使攝像元件 30曝光，從而拍攝樣本SPL的圖像(步驟45)。圖8是示出了通過如上所述焦點(diǎn)在Z方向和X方向上移動(dòng)的同時(shí)執(zhí)行曝光處理所獲得的樣本SPL的圖像(第二圖像)的示圖。如圖所述，在第二圖像80中，針對樣本SPL 中的焦點(diǎn)的位置的每一改變的圖像的軌跡在一個(gè)圖像中顯現(xiàn)。即，伴隨著焦點(diǎn)在X方向上的移動(dòng)，分別表示熒光標(biāo)記Ml和M2的亮點(diǎn)A和亮點(diǎn)B的圖像狀態(tài)從模糊且大的狀態(tài)變?yōu)樾纬蓪沟那逦倚〉臓顟B(tài)，并進(jìn)一步再變?yōu)槟：掖蟮臓顟B(tài)。
CPU 21通過接口單元25從攝像元件30獲得第二圖像80，并暫時(shí)將第二圖像存儲(chǔ)在RAM 23中(步驟46)。隨后，CPU 21將第一圖像60和第二圖像80彼此合成，從而產(chǎn)生合成圖像(步驟 47)。圖9是示出了合成圖像的示圖。如圖所示，在合成圖像90中，在步驟42獲得的顯現(xiàn)在第一圖像中的亮點(diǎn)A和亮點(diǎn)B (亮點(diǎn)Al和亮點(diǎn)Bi)的圖像和在步驟45獲得的顯現(xiàn)在第二圖像80中的亮點(diǎn)A和亮點(diǎn)B (亮點(diǎn)A2和亮點(diǎn)B2)的圖像分別顯現(xiàn)在一個(gè)圖像中的同
一直線上。隨后，CPU 21從合成圖像90中檢測第一圖像60中的亮點(diǎn)Al和Bl (第一亮點(diǎn))的位置坐標(biāo)(Al (XAl，YA)，Bl (XBLYB))和第二圖像80中的亮點(diǎn)A2和B2的位置坐標(biāo)(A2 (XA2，YA)，B2 (XB2, YB))(步驟48)。這里，例如，通過提取亮度值(熒光強(qiáng)度)等于或大于預(yù)定閾值的多個(gè)像素的組并通過CPU 21檢測具有最高亮度的像素的位置，來執(zhí)行亮點(diǎn)的檢測。在根據(jù)目標(biāo)以不同顏色執(zhí)行熒光著色的情況下，CPU 21針對每一不同顏色檢測亮度。然后，CPU 21計(jì)算所檢測到的第一亮點(diǎn)的坐標(biāo)和第二亮點(diǎn)的坐標(biāo)之間的距離 D(步驟49)。也就是，在圖9中，CPU 21計(jì)算第一亮點(diǎn)Al (XA1，YA)與第二亮點(diǎn)A2(XA2， YA)之間的距離Da(XA1-XA2)和第一亮點(diǎn)Bl (XBl，YB)與第二亮點(diǎn)B2 (XB2，YB)之間的距離 DB (XB1-XB2)。然后，基于距離D、作為焦點(diǎn)在Z方向上的移動(dòng)速度的第一速度Vz以及作為焦點(diǎn)在X方向上的移動(dòng)速度的第二速度Vx，CPU計(jì)算樣本SPL中的熒光標(biāo)記M的深度(高度) h (步驟50)。圖10是示出了通過利用圖9的合成圖像的熒光標(biāo)記M的高度的計(jì)算處理的示圖。 這里，從鏡臺(tái)11開始移動(dòng)直到亮點(diǎn)A變?yōu)閷沟臅r(shí)間、根據(jù)tA = hA/Vz(其中，hA表示樣本SPL中的亮點(diǎn)A的高度)來計(jì)算。此外，距離Da和距離Db由下面的表達(dá)式來表達(dá)。Da = tA*Vx = Vx*hA/Vz = hA*Vx/VzDb = hB*Vx/Vz當(dāng)變換這些表達(dá)式時(shí)，亮點(diǎn)A和B的高度hA和hB可以根據(jù)下面的表達(dá)式來計(jì)算。hA = Da*Vz/VxhB = Db*Vz/VxCPU 21基于所涉及的表達(dá)式來計(jì)算亮點(diǎn)A和B的高度hA和hB，并且例如針對每一亮點(diǎn)將計(jì)算結(jié)果輸出至顯示器26。當(dāng)計(jì)算亮點(diǎn)的高度時(shí)，例如，可以判斷由亮點(diǎn)A表示的熒光標(biāo)記Ml和由亮點(diǎn)B表示的熒光標(biāo)記M2是否存在于同一組織(細(xì)胞)中。此外，還能夠檢測熒光標(biāo)記Ml和熒光標(biāo)記M2的每一個(gè)的三維距離。圖像處理系統(tǒng)的操作者可以將計(jì)算結(jié)果用于各種病理學(xué)診斷的材料、新藥的研究等。這里，第二速度Vx被設(shè)定為大于第一速度Vz。這是因?yàn)樵诤铣蓤D像90中，當(dāng)根據(jù)從第二圖像80得到的亮點(diǎn)A的圖像和亮點(diǎn)B的圖像來確定對焦位置的坐標(biāo)(A2和B2)時(shí)， 如果模糊圖像的 重疊范圍較大，則分離圖像變得很困難，這使得難以確定坐標(biāo)(A2和B2)。另外，如圖10所示，亮點(diǎn)A和B的高度hA和hB被作為從焦點(diǎn)的默認(rèn)位置DP至亮點(diǎn)的距離而計(jì)算。因此，為了僅通過作為基準(zhǔn)的樣本SPL的內(nèi)部來計(jì)算準(zhǔn)確的高度，與從默認(rèn)位置DP至載玻片SG和樣本SPL之間的邊界線的距離相對應(yīng)的長度被從所計(jì)算的每一高度、和、中減去。(總結(jié))如上所述，根據(jù)該實(shí)施方式，圖像處理裝置20獲得通過僅在Z方向上移動(dòng)焦點(diǎn)的同時(shí)執(zhí)行曝光所拍攝的熒光標(biāo)記M(目標(biāo))的圖像(第一圖像)和通過在Z方向和X方向上移動(dòng)焦點(diǎn)的同時(shí)執(zhí)行曝光所拍攝的熒光標(biāo)記M的圖像(第二圖像)，并且計(jì)算第一圖像中的第一亮點(diǎn)與第二圖像中的第二亮點(diǎn)之間的距離。由此，僅通過使用兩個(gè)圖像，圖像處理裝置20可以在節(jié)省RAM 23的容量的同時(shí)，容易地以高精度檢測樣本SPL中的目標(biāo)(熒光標(biāo)記M)在垂直方向上的位置(高度)。(修改例)本發(fā)明不限于上述實(shí)施方式，并且在不背離本發(fā)明的要旨的前提下可以進(jìn)行各種改變。在上述實(shí)施方式中，為了計(jì)算從第一亮點(diǎn)至第二亮點(diǎn)的距離D，生成了通過將第一圖像60和第二圖像80合成而獲得的合成圖像90。然而，也可以在不使用合成圖像90的情況下來計(jì)算距離D。具體地，CPU 21可以預(yù)先檢測在第一圖像60和第二圖像80中的亮點(diǎn)的坐標(biāo)，并將在第一圖像60中檢測到的第一亮點(diǎn)的坐標(biāo)應(yīng)用于第二圖像80，或者將在第二圖像80中檢測到的第二亮點(diǎn)的坐標(biāo)應(yīng)用于第一圖像60，從而計(jì)算出距離D。在以上實(shí)施方式中，第二速度Vx被設(shè)定為大于第一速度Vz，但這不是必需的。例如，CPU 21使光源14的強(qiáng)度變?nèi)?，從而能夠伴隨在X方向上的移動(dòng)來分離亮點(diǎn)的圖像，從而可以獲得相同的效果。在以上實(shí)施方式中，在拍攝第二圖像80時(shí)，焦點(diǎn)在Z方向和X方向上移動(dòng)。然而， 焦點(diǎn)當(dāng)然也可以不在X方向而在Y方向上移動(dòng)，或者可以在除了與平行于X軸或Y軸的方向以外的任何方向上移動(dòng)，只要在XY平面中執(zhí)行直線移動(dòng)即可。在以上實(shí)施方式中，在獲得第一圖像60和第二圖像80時(shí)，圖像處理裝置20通過在Z方向上移動(dòng)鏡臺(tái)11而使焦點(diǎn)移動(dòng)。然而，例如，圖像處理裝置20可以設(shè)置有用于在Z 方向上移動(dòng)物鏡12A的機(jī)構(gòu)，并且可以通過使用該機(jī)構(gòu)來移動(dòng)物鏡12A而不是鏡臺(tái)11，而使焦點(diǎn)移動(dòng)。在以上實(shí)施方式中，在獲得第二圖像80時(shí)，圖像處理裝置20通過在X(Y)方向上移動(dòng)鏡臺(tái)11而使焦點(diǎn)移動(dòng)。然而，圖像處理裝置20可以設(shè)置有用于在X(Y)方向上移動(dòng)攝像元件30的機(jī)構(gòu)，并通過使用該機(jī)構(gòu)來移動(dòng)攝像元件30而不是鏡臺(tái)11，而使焦點(diǎn)移動(dòng)。在以上實(shí)施方式中，使用了將本發(fā)明應(yīng)用于熒光顯微鏡的實(shí)例。然而，本發(fā)明可以應(yīng)用于除熒光顯微鏡以外的顯微鏡。在該情況下，目標(biāo)并非必須被熒光著色，而僅需要通過任何標(biāo)記方法來進(jìn)行標(biāo)記，以作為亮點(diǎn)而被觀察。本發(fā)明包含于2010年6月29日向日本專利局提交的日本在先專利申請JP 2010-148280的所涉及的主題，其全部內(nèi)容結(jié)合于此作為參考。本領(lǐng) 域的技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計(jì)要求和其他因素，可以進(jìn)行各種修改、組合、子組合和變形，只要它們在所附權(quán)利要求或其等同物的范圍之內(nèi)。
權(quán)利要求
1.一種圖像處理裝置，包括 接口、控制器和存儲(chǔ)器，所述接口被配置為連接至顯微鏡，所述顯微鏡包括鏡臺(tái)，具有放置包括被標(biāo)記的目標(biāo)的樣本的放置面；物鏡，放大所述樣本的圖像；以及攝像元件，形成由所述物鏡放大的所述樣本的圖像；所述控制器被配置為通過所述接口使所述物鏡的焦點(diǎn)從預(yù)定基準(zhǔn)位置在所述放置面的垂直方向上移動(dòng)，并且在所述焦點(diǎn)在所述垂直方向上移動(dòng)的期間使所述攝像元件曝光，從而獲得包括表示所述目標(biāo)的第一亮點(diǎn)的第一圖像，通過所述接口執(zhí)行所述焦點(diǎn)以第一速度從所述基準(zhǔn)位置在所述垂直方向上的勻速移動(dòng)以及以第二速度在所述放置面的平行方向上的勻速直線移動(dòng)，并且在所述焦點(diǎn)在所述垂直方向和所述平行方向上移動(dòng)的期間使所述攝像元件曝光，從而獲得包括表示所述目標(biāo)的第二亮點(diǎn)的第二圖像，并且基于獲得的所述第一圖像和所述第二圖像，計(jì)算所述樣本中的所述目標(biāo)在所述垂直方向上的位置；以及所述存儲(chǔ)器被配置為存儲(chǔ)獲得的所述第一圖像和所述第二圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述控制器基于所述第一圖像和所述第二圖像來計(jì)算所述第一亮點(diǎn)與所述第二亮點(diǎn)之間在所述水平方向上的距離，并且基于所述距離、所述第一速度和所述第二速度來計(jì)算所述目標(biāo)的位置。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中， 所述第一速度大于所述第二速度。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，所述控制器生成通過將所述第一圖像和所述第二圖像合成而獲得的合成圖像，并且通過利用所述合成圖像來計(jì)算所述距離。
5.一種圖像處理系統(tǒng)，包括 顯微鏡和圖像處理裝置，所述顯微鏡具有鏡臺(tái)，具有放置包括被標(biāo)記的目標(biāo)的樣本的放置面，物鏡，被配置為放大所述樣本的圖像，以及攝像元件，被配置為形成由所述物鏡放大的所述樣本的圖像；以及所述圖像處理裝置具有接口、控制器和存儲(chǔ)器，所述接口被配置為連接至所述顯微鏡，所述控制器被配置為通過所述接口使所述物鏡的焦點(diǎn)從預(yù)定基準(zhǔn)位置在所述放置面的垂直方向上移動(dòng)，并且在所述焦點(diǎn)在所述垂直方向上移動(dòng)的期間使所述攝像元件曝光，從而獲得包括表示所述目標(biāo)的第一亮點(diǎn)的第一圖像，通過所述接口執(zhí)行所述焦點(diǎn)以第一速度從所述基準(zhǔn)位置在所述垂直方向上的勻速移動(dòng)以及以第二速度在所述放置面的平行方向上的勻速直線移動(dòng)，并且在所述焦點(diǎn)在所述垂直方向和所述平行方向上移動(dòng)的期間使所述攝像元件曝光，從而獲得包括表示所述目標(biāo)的第二亮點(diǎn)的第二圖像，并且基于獲得的所述第一圖像和所述第二圖像，計(jì)算所述樣本中的所述目標(biāo)在所述垂直方向上的位置；以及所述存儲(chǔ)器被配置為存儲(chǔ)獲得的所述第一圖像和所述第二圖像。
6.一種圖像處理方法，包括與顯微鏡建立連接，所述顯微鏡包括鏡臺(tái)，具有放置包括被標(biāo)記的目標(biāo)的樣本的放置面；物鏡，放大所述樣本的圖像；以及攝像元件，形成由所述物鏡放大的所述樣本的圖像；使所述物鏡的焦點(diǎn)從預(yù)定基準(zhǔn)位置在所述放置面的垂直方向上移動(dòng)，并且在所述焦點(diǎn)在所述垂直方向上移動(dòng)的期間使所述攝像元件曝光，從而獲得包括表示所述目標(biāo)的第一亮點(diǎn)的第一圖像；執(zhí)行所述焦點(diǎn)以第一速度從所述基準(zhǔn)位置在所述垂直方向上的勻速移動(dòng)以及以第二速度在所述放置面的平行方向上的勻速直線移動(dòng)，并且在所述焦點(diǎn)在所述垂直方向和所述平行方向上移動(dòng)的期間使所述攝像元件曝光，從而獲得包括表示所述目標(biāo)的第二亮點(diǎn)的第二圖像；將獲得的所述第一圖像和所述第二圖像存儲(chǔ)在存儲(chǔ)器中；以及基于所存儲(chǔ)的所述第一圖像和所述第二圖像，計(jì)算所述樣本中的所述目標(biāo)在所述垂直方向上的位置。
7.一種程序，使圖像處理裝置執(zhí)行以下操作與顯微鏡建立連接，所述顯微鏡包括鏡臺(tái)，具有放置包括被標(biāo)記的目標(biāo)的樣本的放置面；物鏡，放大所述樣本的圖像；以及攝像元件，形成由所述物鏡放大的所述樣本的圖像，使所述物鏡的焦點(diǎn)從預(yù)定基準(zhǔn)位置在所述放置面的垂直方向上移動(dòng)，并且在所述焦點(diǎn)在所述垂直方向上移動(dòng)的期間使所述攝像元件曝光，從而獲得包括表示所述目標(biāo)的第一亮點(diǎn)的第一圖像，執(zhí)行所述焦點(diǎn)以第一速度從所述基準(zhǔn)位置在所述垂直方向上的勻速移動(dòng)以及以第二速度在所述放置面的平行方向上的勻速直線移動(dòng)，并且在所述焦點(diǎn)在所述垂直方向和所述平行方向上移動(dòng)的期間使所述攝像元件曝光，從而獲得包括表示所述目標(biāo)的第二亮點(diǎn)的第二圖像，將獲得的所述第一圖像和所述第二圖像存儲(chǔ)在存儲(chǔ)器中，以及基于所存儲(chǔ)的所述第一圖像和所述第二圖像，計(jì)算所述樣本中的所述目標(biāo)在所述垂直方向上的位置。
全文摘要
本發(fā)明提供了圖像處理裝置、圖像處理系統(tǒng)、圖像處理方法和程序，該圖像處理裝置包括接口、控制器和存儲(chǔ)器。該接口連接至顯微鏡，該顯微鏡具有鏡臺(tái)，具有放置包括目標(biāo)的樣本的放置面；物鏡，放大樣本的圖像；以及攝像元件，形成樣本的圖像。該控制器使物鏡的焦點(diǎn)在放置面的垂直方向上移動(dòng)，并且使攝像元件曝光，從而獲得第一圖像。控制器執(zhí)行焦點(diǎn)在垂直方向上的勻速移動(dòng)和在放置面的平行方向上的勻速直線移動(dòng)，并且使攝像元件曝光，從而獲得第二圖像?？刂破骰诘谝粓D像和第二圖像計(jì)算目標(biāo)在垂直方向上的位置。
文檔編號G02B21/36GK102314680SQ20111016997
公開日2012年1月11日 申請日期2011年6月22日 優(yōu)先權(quán)日2010年6月29日
發(fā)明者木島公一朗 申請人:索尼公司