圖像處理裝置和圖像處理方法與流程

本公開涉及圖像處理裝置和圖像處理方法，具體涉及允許顯示醫(yī)師期望的手術(shù)區(qū)域而無需醫(yī)師費力的圖像處理裝置和圖像處理方法。

相關(guān)申請的引證

本申請要求于2014年6月4日提交的日本優(yōu)先權(quán)專利申請JP2014-115768的權(quán)益，其全部內(nèi)容通過引證結(jié)合于此。

背景技術(shù)：

內(nèi)窺鏡手術(shù)已經(jīng)在使用中，其中內(nèi)窺鏡插入身體中，通過使用內(nèi)窺鏡拍攝身體中作為手術(shù)目標的區(qū)域(手術(shù)區(qū)域)作為觀察部分，在屏幕上顯示拍攝的區(qū)域并且在查看屏幕的同時在手術(shù)區(qū)域上進行治療。在內(nèi)窺鏡手術(shù)中，對觀察部分的圖像信號進行期望的信號處理，觀察部分具有光學(xué)圖像并且通過從光源設(shè)備將照明光施加至觀察部分而在內(nèi)窺鏡中獲得光學(xué)圖像，并且在屏幕上顯示具有光學(xué)圖像的觀察部分的圖像。

在這種內(nèi)窺鏡手術(shù)中，必須根據(jù)情況適當(dāng)調(diào)節(jié)要在屏幕上顯示的觀察部分的范圍或者位置，以便醫(yī)師進行手術(shù)以確保用于手術(shù)區(qū)域的最佳視野(術(shù)野)。

然而，通常，醫(yī)師兩手都持有手術(shù)儀器進行手術(shù)。因此，醫(yī)師他自己難以操作這種快速調(diào)節(jié)屏幕的工作?？紤]到確保手術(shù)區(qū)域、醫(yī)療設(shè)備、手術(shù)室等的干凈程度，醫(yī)師他自己操作用于屏幕調(diào)節(jié)的調(diào)節(jié)機構(gòu)等不是優(yōu)選的。

因此，通常，醫(yī)師的指令給至稱為觀察師(scopist)等的助手，并且助手根據(jù)來自醫(yī)師的指令操作調(diào)節(jié)機構(gòu)以進行這種屏幕調(diào)節(jié)。

然而，在助手介入的方法中，醫(yī)師的指令可能傳輸不準確，并且因此，醫(yī)師期望的快速屏幕調(diào)節(jié)可能是困難的。

例如，作為無需助手介入而調(diào)節(jié)屏幕的方法，在PTL1中已提出手術(shù)支撐系統(tǒng)，其中醫(yī)師識別鑷子以調(diào)節(jié)相機的擴展或者亮度。

引用列表

專利文獻

PTL1：日本未經(jīng)審查專利申請公開第2012-65698號

技術(shù)實現(xiàn)要素：

技術(shù)問題

然而，在PTL1的手術(shù)支撐系統(tǒng)中，醫(yī)師必須操作相機，并且為了操作相機必須停止進行手術(shù)。

考慮到這種情況，在本公開中，能夠顯示醫(yī)師期望的關(guān)注區(qū)域而無需醫(yī)師費力。

解決問題的方案

根據(jù)本公開的實施方式，提供了包括含有電路的控制器的醫(yī)療成像裝置，控制器被配置為：在顯示區(qū)上控制醫(yī)療圖像的顯示，在顯示區(qū)上控制對應(yīng)于醫(yī)療圖像的疊加圖像的顯示使得疊加圖像重疊在醫(yī)療圖像上顯示，檢測重要元件在醫(yī)療圖像內(nèi)的位置并且基于所檢測的重要元件的位置確定疊加圖像在顯示區(qū)內(nèi)的位置，使得疊加圖像不重疊在醫(yī)療圖像內(nèi)的重要元件上。

根據(jù)本公開的另一實施方式，提供了通過醫(yī)療成像裝置用于處理醫(yī)療圖像的方法，其中醫(yī)療成像裝置包括含有電路的控制器。方法包括如下步驟：在顯示區(qū)上控制醫(yī)療圖像的顯示，在顯示區(qū)上控制對應(yīng)于醫(yī)療圖像的疊加圖像的顯示使得疊加圖像重疊在醫(yī)療圖像上顯示，通過電路檢測重要元件在醫(yī)療圖像內(nèi)的位置并且基于所檢測的重要元件的位置確定疊加圖像在顯示區(qū)內(nèi)的位置，使得疊加圖像不重疊在醫(yī)療圖像內(nèi)的重要元件上。

根據(jù)本公開的另一實施方式，提供了包括獲得醫(yī)療圖像的醫(yī)療成像設(shè)備以及具有顯示區(qū)的顯示設(shè)備的醫(yī)療成像系統(tǒng)。

醫(yī)療成像系統(tǒng)進一步包括含有電路的控制器，控制器被配置為：在顯示設(shè)備的顯示區(qū)上控制通過醫(yī)療成像設(shè)備獲得的醫(yī)療圖像的顯示，在顯示設(shè)備的顯示區(qū)上控制對應(yīng)于醫(yī)療圖像的疊加圖像的顯示使得疊加圖像重疊在醫(yī)療圖像上顯示，檢測重要元件在醫(yī)療圖像內(nèi)的位置并且基于所檢測的重要元件的位置確定疊加圖像在顯示區(qū)內(nèi)的位置，使得疊加圖像不重疊在醫(yī)療圖像內(nèi)的重要元件上。

本發(fā)明的有益效果

根據(jù)本公開的實施方式，能夠顯示醫(yī)師期望的關(guān)注區(qū)域而無需醫(yī)師費力。

本文中描述的效果不必限于此并且可以包括本公開中描述的任何效果。

附圖說明

[圖1]圖1是示出根據(jù)本公開的內(nèi)窺鏡系統(tǒng)的實施方式的配置實例的框圖。

[圖2]圖2是示出內(nèi)窺鏡系統(tǒng)的使用狀態(tài)的示圖。

[圖3]圖3是示出深度位置的計算方法的示圖。

[圖4]圖4是示出深度位置的計算方法的示圖。

[圖5A]圖5A是示出檢測鑷子的位置的示圖。

[圖5B]圖5B是示出檢測鑷子的位置的示圖。

[圖5C]圖5C是示出檢測鑷子的位置的示圖。

[圖5D]圖5D是示出檢測鑷子的位置的示圖。

[圖6]圖6是示出檢測顯著點的位置的示圖。

[圖7]圖7是示出要在顯示器上顯示的疊加圖像的實例的示圖。

[圖8]圖8是示出疊加顯示處理的流程圖。

[圖9]圖9是詳細示出鑷子位置檢測處理的流程圖。

[圖10]圖10是詳細示出顯著點估計處理的流程圖。

[圖11A]圖11A是示出根據(jù)縮放放大率的關(guān)注區(qū)的不同尺寸的示圖。

[圖11B]圖11B是示出根據(jù)縮放放大率的關(guān)注區(qū)的不同尺寸的示圖。

[圖12A]圖12A是示出疊加位置確定處理的示圖。

[圖12B]圖12B是示出疊加位置確定處理的示圖。

[圖13]圖13是示出疊加位置確定處理的示圖。

[圖14A]圖14A是詳細示出疊加位置確定處理的流程圖。

[圖14B]圖14B是詳細示出疊加位置確定處理的流程圖。

[圖15]圖15是示出2D/3D顯示切換處理的流程圖。

[圖16]圖16是示出根據(jù)本公開的計算機的實施方式的配置實例的框圖。

具體實施方式

<1.內(nèi)窺鏡系統(tǒng)的配置實例>

圖1是示出根據(jù)本公開的內(nèi)窺鏡系統(tǒng)的實施方式的配置實例的框圖。

圖1中的內(nèi)窺鏡系統(tǒng)通過內(nèi)窺鏡相機頭11、相機控制單元(CCU)12、操作部13以及顯示器14配置。

該內(nèi)窺鏡系統(tǒng)在內(nèi)窺鏡手術(shù)中使用，其中拍攝身體中的作為手術(shù)目標的區(qū)域(手術(shù)區(qū)域)為觀察部分并且在顯示器14上顯示該區(qū)域，并且在查看顯示器14的同時治療觀察部分。

例如，在內(nèi)窺鏡手術(shù)中，如圖2所示，內(nèi)窺鏡相機頭11的插入部分25以及作為手術(shù)儀器的兩對鑷子81(81A和81B)插入到病人的身體中。內(nèi)窺鏡相機頭11從插入部分25的尖端發(fā)光，照亮病人的手術(shù)區(qū)域82并且形成兩對鑷子81及手術(shù)區(qū)域82的狀態(tài)的圖像。

如圖1所示，內(nèi)窺鏡相機頭11包括成像部21、光源22以及聚焦透鏡23。

成像部21至少包括兩個成像傳感器24：第一成像傳感器24a和第二成像傳感器24b。例如，成像傳感器24通過電荷耦合器件(CCD)傳感器、互補金屬氧化物半導(dǎo)體(CMOS)傳感器等配置。成像傳感器24使對象成像并且生成由此獲得的圖像。成像傳感器24可采用像素數(shù)量約4000×約2000作為(水平方向)×(垂直方向)的像素數(shù)量的高分辨率傳感器并且其被稱為4K相機。兩個成像傳感器24在橫向方向上彼此以預(yù)定距離布置并且生成彼此具有不同視點方向的圖像，以將圖像輸出至CCU12。

在這個實施方式中，通過兩個成像傳感器24進行成像而獲得的圖像稱為手術(shù)區(qū)域圖像。在這個實施方式中，第一成像傳感器24a設(shè)為布置在右側(cè)上并且第二成像傳感器24b設(shè)為布置在左側(cè)上，并且通過第一成像傳感器24a生成的手術(shù)區(qū)域圖像稱為R圖像以及通過第二成像傳感器24b生成的手術(shù)區(qū)域圖像稱為L圖像。

例如，光源22通過鹵素?zé)?、氙氣燈、發(fā)光二極管(LED)光源等配置，并且光源22發(fā)光用于照亮手術(shù)區(qū)域。

聚焦透鏡23通過一個或多個透鏡配置并且由CCU12的聚焦控制部47(稍后將描述)驅(qū)動，并且通過使用來自對象的入射光(圖像光)在成像傳感器24的成像表面上形成圖像。

CCU12是用于處理手術(shù)區(qū)域圖像的圖像處理裝置，手術(shù)區(qū)域圖像通過內(nèi)窺鏡相機頭11的成像部21進行成像而獲得。CCU12通過深度信息生成部41、鑷子位置檢測部42、顯著點估計部43、縮放圖像生成部44、圖像疊加部45、操作控制部46以及聚焦控制部47配置。

通過成像部21生成并輸出的R圖像和L圖像供應(yīng)至CCU12的深度信息生成部41、縮放圖像生成部44以及圖像疊加部45。R圖像和L圖像中的一個(例如L圖像)還供應(yīng)至聚焦控制部47。

深度信息生成部41從供應(yīng)的R圖像和L圖像生成手術(shù)區(qū)域圖像的深度信息。更具體地，深度信息生成部41通過使用所供應(yīng)的R圖像和L圖像以及三角測量的原理計算手術(shù)區(qū)域圖像中的每一個像素在深度方向上的位置。

將參考圖3和圖4通過使用三角測量的原理描述手術(shù)區(qū)域圖像中的每一個像素的深度位置的計算方法。

首先，如圖3所示，第一成像傳感器24a和第二成像傳感器24b在橫向方向上以距離T設(shè)置在一排中，并且第一成像傳感器24a和第二成像傳感器24b中的每一個在真實世界中形成物體P的圖像。

第一成像傳感器24a和第二成像傳感器24b在垂直方向上的位置彼此相同并且在水平方向上的位置彼此不同。因此，通過第一成像傳感器24a獲得的R圖像中的物體P的位置與通過第二成像傳感器24b獲得的L圖像中的物體P的位置僅在x坐標上不同。

例如，通過第一成像傳感器24a獲得的R圖像中示出的物體P的x坐標設(shè)為x^r，并且通過第二成像傳感器24b獲得的L圖像中示出的物體P的x坐標設(shè)為x^l。

如果使用三角測量的原理，如圖4所示，R圖像中的物體P的x坐標是x^r，對應(yīng)于連接第一成像傳感器24a的光學(xué)中心O_r與物體P的直線上的位置。L圖像中的物體P的x坐標是x^l，對應(yīng)于在連接第二成像傳感器24b的光學(xué)中心O_l與物體P的直線上的位置。

在此，當(dāng)從光學(xué)中心O_r至R圖像的像面的距離或者從光學(xué)中心O_l至L圖像的像面的距離設(shè)為f并且從連接光學(xué)中心O_r與光學(xué)中心O_l的線至真實世界中的物體P的距離(深度)設(shè)為Z時，視差d由d＝(x^l-x^r)表示。

在T、Z、d與f之間建立公式(1)的關(guān)系。

[公式1]

因此，可以通過使用以下公式(2)獲得至物體P的距離Z，公式(2)通過公式(1)變形獲得。

[公式2]

圖1中的深度信息生成部41通過使用上述三角測量的原理計算手術(shù)區(qū)域圖像中的每一個像素的深度Z。通過深度信息生成部41計算的每一個像素的深度Z作為深度信息供應(yīng)至顯著點估計部43和鑷子位置檢測部42。

鑷子位置檢測部42使用從深度信息生成部41供應(yīng)的手術(shù)區(qū)域圖像的深度信息，檢測手術(shù)區(qū)域圖像中示出的重要物體(諸如鑷子81)的位置。如上所述，兩對鑷子81可以成像為手術(shù)區(qū)域圖像中的對象。然而，可以檢測鑷子81中的兩者之一的位置?？梢灶A(yù)先確定要檢測哪個鑷子81的位置或者可以確定在手術(shù)區(qū)域圖像中哪個鑷子的位置比另一鑷子的位置更容易檢測到。此外，還可以檢測兩對鑷子81的位置。

將參考圖5A至圖5D描述通過鑷子位置檢測部42進行的鑷子81的位置檢測。

首先，鑷子位置檢測部42從深度信息生成部41供應(yīng)的手術(shù)區(qū)域圖像的深度信息生成視差圖像。視差圖像指通過以灰度級表示每一個像素的深度Z作為深度信息而獲得的圖像。

圖5A示出視差圖像的實例并且表示視差圖像中的亮度值變得越大、對應(yīng)的深度Z就變得越小并且手術(shù)區(qū)域圖像中的對象變得更接近前方。

然后，鑷子位置檢測部42從所生成的視差圖像中檢測作為亮度值之間的邊界的邊緣。例如，在視差圖像中，相鄰像素之間的像素值的差值大于或等于預(yù)定值的像素檢測為邊緣。

圖5B示出在圖5A的視差圖像中檢測到的邊緣的實例。

在上述實例中，邊緣基于所生成的視差圖像的亮度值檢測。然而，邊緣可以通過使用其他方法檢測。例如，在手術(shù)區(qū)域圖像中的手術(shù)區(qū)域處的主要顏色成分是紅色，但是在許多情況下，手術(shù)儀器(諸如鑷子81)的顏色成分是金屬基色的銀色、白色或者黑色。因此，鑷子位置檢測部42可以通過使用手術(shù)區(qū)域圖像的顏色信息檢測具體顏色的區(qū)域(邊界)而檢測邊緣。

然后，鑷子位置檢測部42將彎曲的邊緣移除到所檢測的邊緣以外，并且僅檢測具有預(yù)定長度或者更大長度的線性邊緣。

由于鑷子81具有條形形狀，存在具有預(yù)定長度或者更大長度的線性邊緣作為鑷子81的邊緣。因此，鑷子位置檢測部42僅檢測在所檢測的邊緣以外具有預(yù)定長度或者更大長度的線性邊緣作為鑷子81的邊緣。

當(dāng)指明鑷子81的邊緣時，除了確定所檢測的線性邊緣是否具有預(yù)定長度或者更大長度之外，鑷子位置檢測部42可以確定所檢測的線性邊緣是否是從手術(shù)區(qū)域圖像的外圓周部分連續(xù)的直線。當(dāng)內(nèi)窺鏡相機頭11的插入部分25和鑷子81具有如圖2所示的位置關(guān)系時，在手術(shù)區(qū)域圖像中，鑷子81通常拍攝為具有從手術(shù)區(qū)域圖像的外圓周部分延長至中心部分的位置。因此，通過確定所檢測的線性邊緣是否是從手術(shù)區(qū)域圖像的外圓周部分連續(xù)的直線，能夠進一步提高鑷子81的檢測精確度。

然后，鑷子位置檢測部42在所拍攝的圖像(即來自所檢測的線性邊緣的鑷子81的姿態(tài))中估計鑷子81在三維空間中的位置。

具體地，如圖5D所示，鑷子位置檢測部42從所檢測的線性邊緣計算對應(yīng)于鑷子81的線段(直線)101。線段101可以通過使用所檢測的兩個線性邊緣之間的中間線等獲得。

鑷子位置檢測部42在所計算的線段101上任意檢測兩個點(x₁，y₁)和(x₂，y₂)并且從供應(yīng)的深度信息獲取在所檢測的兩個點的位置(x₁，y₁)和(x₂，y₂)處的深度位置z₁和z₂。因此，在手術(shù)區(qū)域圖像中指明了鑷子81在三維空間中的位置(x₁，y₁，z₁)和(x₂，y₂，z₂)。例如，位置可以包括鑷子的遠端。

當(dāng)在手術(shù)區(qū)域圖像中檢測到對應(yīng)于兩對鑷子81的兩個線段時，兩個線段中的兩者之一可以通過選擇比另一個更接近前方的線段來選擇。

返回圖1，鑷子位置檢測部42將以上述方式檢測到的鑷子81在三維空間中的位置(x₁，y₁，z₁)和(x₂，y₂，z₂)供應(yīng)至顯著點估計部43。

手術(shù)區(qū)域圖像的深度信息從深度信息生成部41供應(yīng)至顯著點估計部43，并且在三維空間中表示鑷子81的姿態(tài)的兩個點的坐標(x₁，y₁，z₁)和(x₂，y₂，z₂)從鑷子位置檢測部42供應(yīng)至顯著點估計部43。

可替換地，對于鑷子位置檢測部42，元件42也可以是區(qū)位置檢測部。例如，區(qū)位置檢測部42檢測具有特定組織、身體部分、流血或者血管等的重要區(qū)。重要區(qū)的檢測基于顏色信息、亮度和/或不同幀之間的差別。例如，重要區(qū)可以檢測為在一個幀中不流血并然后在隨后幀中流血的區(qū)。重要元件包括重要物體和/或重要區(qū)。

如圖6所示，顯著點估計部43假設(shè)在手術(shù)區(qū)域82上的顯著點Q是在通過延長所檢測的鑷子81的位置而獲得的位置處，并且估計手術(shù)區(qū)域82中的顯著點Q在三維空間中的位置。在手術(shù)區(qū)域82上的顯著點Q對應(yīng)于通過延長所檢測的鑷子81的姿態(tài)而獲得的延長線與手術(shù)區(qū)域82的表面的交叉點。所估計的手術(shù)區(qū)域82中的顯著點Q在三維空間中的地點坐標供應(yīng)至縮放圖像生成部44。

顯著點估計部43也可以從所確定的重要區(qū)估計顯著點Q。具體地，顯著點Q可以基于重要區(qū)的位置生成。

縮放圖像生成部44確定具有從顯著點估計部43供應(yīng)的顯著點Q的預(yù)定區(qū)作為中心，作為從成像部21供應(yīng)的手術(shù)區(qū)域圖像中的關(guān)注區(qū)。因此，至少顯著點Q包括在關(guān)注區(qū)內(nèi)。縮放圖像生成部44基于從操作控制部46供應(yīng)的縮放放大率，通過擴大所確定的關(guān)注區(qū)的圖像生成縮放圖像并且將所生成的縮放圖像供應(yīng)至圖像疊加部45。

疊加模式信息是用于疊加模式的指令ON或OFF的控制信息，疊加模式信息從操作控制部46供應(yīng)至圖像疊加部45。圖像疊加部45通過將從縮放圖像生成部44供應(yīng)的縮放圖像疊加在從成像部21供應(yīng)的手術(shù)區(qū)域圖像的預(yù)定位置上而生成疊加圖像，并且當(dāng)通過疊加模式信息接收到疊加模式的指令ON時將所生成的疊加圖像顯示在顯示器14上。

另一方面，當(dāng)通過疊加模式信息接收到疊加模式的指令OFF時，圖像疊加部45不疊加縮放圖像而是僅在顯示器14上顯示從成像部21供應(yīng)的手術(shù)區(qū)域圖像。

顯示模式信息是用于3D顯示的指令ON或OFF的控制信息，顯示模式信息也從操作控制部46供應(yīng)至圖像疊加部45。圖像疊加部45將R圖像與L圖像中的兩者之一供應(yīng)至顯示器14，并且當(dāng)通過顯示模式信息接收到3D顯示的指令OFF時促使手術(shù)區(qū)域圖像以2D方式顯示。另一方面，當(dāng)通過顯示模式信息接收到3D顯示的指令ON時，圖像疊加部45將R圖像和L圖像兩者供應(yīng)至顯示器14并且促使手術(shù)區(qū)域圖像以3D方式顯示。在此，3D顯示指R圖像和L圖像在顯示器14上交替顯示的圖像顯示方式，醫(yī)師的右眼視覺識別R圖像，醫(yī)師的左眼視覺識別L圖像，并且因此，醫(yī)師三維地感知手術(shù)區(qū)域圖像。

操作控制部46基于從操作部13供應(yīng)的操作信號將各種控制信號供應(yīng)至必要的部。例如，操作控制部46根據(jù)通過操作部13進行的縮放放大率的設(shè)置操作，將用于表示預(yù)定縮放放大率的縮放放大率信息供應(yīng)至縮放圖像生成部44。操作控制部46將上述疊加模式信息和顯示模式信息供應(yīng)至圖像疊加部45。

聚焦控制部47基于從成像部21供應(yīng)的L圖像，通過使用對比度方法進行聚焦控制。具體地，聚焦控制部47驅(qū)動內(nèi)窺鏡相機頭11的聚焦透鏡23并且比較從成像部21供應(yīng)的L圖像的對比度以檢測聚焦位置。聚焦控制部47可以進行聚焦控制，其中顯著點Q的地點坐標從顯著點估計部43獲取并且以顯著點Q為中心的預(yù)定范圍的區(qū)被設(shè)為聚焦控制目標區(qū)。

操作部13至少包括踏板61。操作部13從醫(yī)師(操作員)接收操作并且將對應(yīng)于醫(yī)師進行的操作的操作信號供應(yīng)至操作控制部46。例如，醫(yī)師可以通過操作操作部13進行切換在顯示器14上顯示的手術(shù)區(qū)域圖像的2D顯示和3D顯示、切換疊加顯示的ON和OFF、設(shè)置內(nèi)窺鏡的縮放放大率等。在這個實施方式中，切換疊加顯示的ON和OFF通過向下按壓踏板61進行。

例如，顯示器14通過液晶顯示器(LCD)等配置，并且基于從圖像疊加部45供應(yīng)的圖像信號顯示通過內(nèi)窺鏡相機頭11的成像部21成像的手術(shù)區(qū)域圖像。當(dāng)疊加模式設(shè)為ON時，在顯示器14上顯示通過將從縮放圖像生成部44供應(yīng)的縮放圖像疊加在通過成像部21成像的手術(shù)區(qū)域圖像上而獲得的疊加圖像。

圖7示出當(dāng)疊加模式是ON時顯示器14上顯示的疊加圖像的實例。

在圖7的疊加圖像100中，縮放圖像QB疊加在從成像部21供應(yīng)的手術(shù)區(qū)域圖像110上，并且縮放圖像QB通過擴大基于顯著點Q確定的關(guān)注區(qū)QA的圖像而獲得。

在手術(shù)區(qū)域圖像110中，兩對鑷子81A和81B形成圖像并且顯著點Q基于在左側(cè)的鑷子81A的位置估計。在疊加圖像100中，顯示估計的顯著點Q、基于顯著點Q確定的關(guān)注區(qū)QA以及對應(yīng)于通過估計顯著點Q計算的延長線的引導(dǎo)線111。顯示引導(dǎo)線111允許視覺并且直覺識別腹腔中的三維距離，并且可以促使在平面圖中向醫(yī)師提供三維距離信息。

在圖7的疊加圖像100的實例中，兩對鑷子81A和81B不包括在關(guān)注區(qū)QA內(nèi)。然而，可以確定關(guān)注區(qū)QA使得兩對鑷子81A和81B中的至少一個的尖端部分包括在關(guān)注區(qū)QA內(nèi)。

兩對鑷子81A和81B的尖端部包括在圖7的手術(shù)區(qū)域圖像110中。然而，當(dāng)要獲得手術(shù)區(qū)域圖像110時可以確定縮放放大率使得至少一個鑷子81的尖端部分以及從鑷子81的姿態(tài)估計的顯著點Q包括在手術(shù)區(qū)域圖像110中。

圖7的實例是縮放圖像QB疊加在屏幕右下方的實例。然而，如稍后將描述，根據(jù)鑷子81或者關(guān)注區(qū)QA的位置，縮放圖像QB適當(dāng)布置在不干擾醫(yī)師進行手術(shù)的位置處。

<2.疊加顯示處理的處理流程>

將描述在圖1的內(nèi)窺鏡系統(tǒng)中，當(dāng)疊加模式設(shè)為ON時進行的疊加顯示處理。例如，醫(yī)師可以通過使用踏板61切換疊加模式的ON和OFF。

圖8示出疊加顯示處理的流程圖。在執(zhí)行圖8的疊加顯示處理的狀態(tài)下，電力供應(yīng)至內(nèi)窺鏡系統(tǒng)中的每一個機構(gòu)。內(nèi)窺鏡相機頭11的插入部分25和鑷子81插入到病人的身體里并且光源22照亮病人的手術(shù)區(qū)域82。

首先，在步驟S1中，深度信息生成部41從內(nèi)窺鏡相機頭11的成像部21供應(yīng)的R圖像和L圖像生成手術(shù)區(qū)域圖像的深度信息。更具體地，深度信息生成部41通過使用公式(2)計算手術(shù)區(qū)域圖像中的每一個地點(像素)的深度Z，公式(2)使用參考圖4描述的三角測量的原理。在深度信息生成部41中計算的深度信息供應(yīng)至顯著點估計部43和鑷子位置檢測部42。

在步驟S2中，鑷子位置檢測部42使用從深度信息生成部41供應(yīng)的手術(shù)區(qū)域圖像的深度信息執(zhí)行鑷子位置檢測處理：檢測鑷子81在手術(shù)區(qū)域圖像中的位置。可替換地，步驟S2可以對應(yīng)于執(zhí)行區(qū)位置檢測處理的區(qū)位置檢測部42。

<鑷子位置檢測處理的詳細流程>

圖9示出在步驟S2中執(zhí)行的鑷子位置檢測處理的詳細流程圖。

在鑷子位置檢測處理中，首先在步驟S21中，鑷子位置檢測部42從深度信息生成部41供應(yīng)的手術(shù)區(qū)域圖像的深度信息生成視差圖像。

在步驟S22中，鑷子位置檢測部42檢測來自所生成的視差圖像的作為亮度值之間的邊界的邊緣。

在步驟S23中，鑷子位置檢測部42將彎曲的邊緣移除到檢測的邊緣以外并且僅檢測具有預(yù)定長度或者更大長度的線性邊緣。

在步驟S24中，鑷子位置檢測部42從所檢測的線性邊緣估計手術(shù)區(qū)域圖像內(nèi)的鑷子81在三維空間中的位置。關(guān)于此，如上參考圖5D所述，確定表示手術(shù)區(qū)域圖像內(nèi)的鑷子81在三維空間中的位置的兩個點的坐標(x₁，y₁，z₁)和(x₂，y₂，z₂)。

如上所述所檢測的手術(shù)區(qū)域圖像中的鑷子81的位置(x₁，y₁，z₁)和(x₂，y₂，z₂)供應(yīng)至顯著點估計部43，并且處理進行至圖8中的步驟S3。

在步驟S3中，顯著點估計部43執(zhí)行顯著點估計處理：假設(shè)手術(shù)區(qū)域82中的顯著點Q在通過延長所檢測的鑷子81的位置而獲得的位置處，并且檢測手術(shù)區(qū)域82內(nèi)的顯著點Q在三維空間中的位置。

<顯著點估計處理的詳細流程>

將參考圖10的流程圖詳細描述在圖8的步驟S3中執(zhí)行的顯著點估計處理。

首先，在步驟S41中，顯著點估計部43獲得從鑷子位置檢測部42供應(yīng)的手術(shù)區(qū)域圖像內(nèi)的鑷子81在三維空間中的位置(x₁，y₁，z₁)和(x₂，y₂，z₂)。

在步驟S42中，顯著點估計部43計算在XY平面內(nèi)連接鑷子的兩個點的坐標(x₁，y₁)和(x₂，y₂)的線段A的斜率a₁。斜率a₁可以使用以下公式計算。

a₁＝(Y₂-Y₁)/(X₂-X₁)

在步驟S43中，顯著點估計部43計算在XZ平面內(nèi)連接鑷子的兩個點的坐標(x₁，z₁)和(x₂，z₂)的線段B的斜率a₂。斜率a₂可以使用以下公式計算。

a₂＝(Z₂-Z₁)/(X₂-X₁)

在步驟S44中，當(dāng)XY平面內(nèi)的線段A在屏幕的中心方向上延長預(yù)定長度W時，顯著點估計部43確定坐標X₃為X坐標值。例如，預(yù)定長度W可以定義為線段A的1/N(N是正整數(shù))。

在步驟S45中，顯著點估計部43計算Y₃＝a₁*X₃并且計算XY平面內(nèi)的線段A的延長點(X₃，Y₃)。在此，“*”表示乘法。

在步驟S46中，顯著點估計部43通過使用Z₃＝a₂*X₃計算XZ平面內(nèi)的線段A的延長點(X₃，Y₃)的深度Z₃。在此，所計算的XZ平面內(nèi)的線段A的延長點(X₃，Y₃)的深度Z₃對應(yīng)于延長點(X₃，Y₃)的邏輯值。

在步驟S47中，顯著點估計部43從深度信息生成部41供應(yīng)的深度信息獲取線段A的延長點(X₃，Y₃)的深度Z₄。在此，所獲取的延長點(X₃，Y₃)的深度Z₄對應(yīng)于延長點(X₃，Y₃)的真實值。

在步驟S48中，顯著點估計部43確定作為延長點(X₃，Y₃)的邏輯值的深度Z₃是否大于作為延長點(X₃，Y₃)的真實值的深度Z₄。

通過在屏幕的中心方向上以預(yù)定長度W延長對應(yīng)于鑷子81的線段A而獲得的延長點(X₃，Y₃)不包括在手術(shù)區(qū)域82內(nèi)的情況意味著手術(shù)區(qū)域82在比延長點(X₃，Y₃)更深的位置的情況。在這種情況下，作為從深度信息獲得的延長點(X₃，Y₃)的真實值的深度Z₄大于作為邏輯值的深度Z₃。

另一方面，當(dāng)手術(shù)區(qū)域82實際包括延長點(X₃，Y₃)時，從深度信息獲得的延長點(X₃，Y₃)的真實值(深度Z₄)變得在延長點(X₃，Y₃)的邏輯值(深度Z₃)之前。因此，作為延長點(X₃，Y₃)的真實值的深度Z₄小于作為邏輯值的深度Z₃。

因此，在步驟S48中，顯著點估計部43確定通過以預(yù)定長度W延長線段A而獲得的延長點(X₃，Y₃)的邏輯值(深度Z₃)是否變得在從深度信息獲得的延長點(X₃，Y₃)的真實值(深度Z₄)之前。

在步驟S48中，當(dāng)作為延長點(X₃，Y₃)的邏輯值的深度Z₃小于或等于作為延長點(X₃，Y₃)的真實值的深度Z₄時，即當(dāng)確定作為延長點(X₃，Y₃)的邏輯值的深度Z3在作為延長點(X₃，Y₃)的真實值的深度Z₄之前時，處理返回至步驟S44。

在處理返回的步驟S44中，在XY平面內(nèi)通過在屏幕的中心方向上延長線段A至比當(dāng)前延長點(X₃，Y₃)深預(yù)定長度W而獲得的坐標X₃確定為新坐標X₃。對所確定的新坐標X₃再次執(zhí)行以上描述的步驟S45至S48。

另一方面，在步驟S48中，當(dāng)作為延長點(X₃，Y₃)的邏輯值的深度Z₃大于作為真實值的深度Z₄時，即當(dāng)確定作為延長點(X₃，Y₃)的真實值的深度Z₄在作為邏輯值的深度Z₃之前時，處理進行至步驟S49。

在步驟S49中，顯著點估計部43確定具有作為真實值的深度Z₄為Z坐標值的延長點(X₃，Y₃，Z₄)為顯著點Q。

以這種方式，圖8的步驟S3完成并且處理進行至步驟S4。

在步驟S4中，縮放圖像生成部44確定從成像部21供應(yīng)的手術(shù)區(qū)域圖像中的關(guān)注區(qū)QA。在步驟S4中，例如，確定以顯著點Q作為中心并且具有根據(jù)從操作控制部46供應(yīng)的縮放放大率的尺寸的關(guān)注區(qū)QA。

圖11A和圖11B是示出以從操作控制部46供應(yīng)的縮放放大率的關(guān)注區(qū)QA的不同尺寸的示圖。

圖11A示出當(dāng)縮放放大率高時關(guān)注區(qū)QA的實例并且圖11B示出當(dāng)縮放放大率低時關(guān)注區(qū)QA的實例。

以這種方式，當(dāng)顯示在顯示器14上的手術(shù)區(qū)域圖像的縮放放大率變得更小時，可以設(shè)置尺寸變得更大并且以顯著點Q作為中心的關(guān)注區(qū)QA。

關(guān)注區(qū)QA的尺寸可以根據(jù)從所識別的鑷子81的位置(例如(x₂，y2，z₂))至顯著點Q的距離而不是縮放放大率確定。在這種情況下，當(dāng)從鑷子81至顯著點Q的距離變得更長時，設(shè)置以顯著點Q作為中心并且尺寸變得更寬的關(guān)注區(qū)QA。

如果步驟S4的處理完成，處理進行至步驟S5?？s放圖像生成部44通過根據(jù)縮放放大率擴大所確定的關(guān)注區(qū)QA的圖像，而生成縮放圖像QB并且將所生成的縮放圖像供應(yīng)至圖像疊加部45。用于生成縮放圖像QB的放大放大率(＝(縮放圖像QB)/(關(guān)注區(qū)QA的圖像))可以根據(jù)關(guān)注區(qū)QA的尺寸預(yù)先確定。此外，可以確定放大放大率使得所生成的縮放圖像QB的尺寸等于預(yù)定尺寸。

在步驟S6中，圖像疊加部45執(zhí)行疊加位置確定處理：確定從縮放圖像生成部44供應(yīng)的縮放圖像QB是否疊加在從成像部21供應(yīng)的手術(shù)區(qū)域圖像中。

在步驟S6中將參考圖12A至圖13描述疊加位置確定處理。

例如，如圖12A所示，如果疊加的縮放圖像QB與關(guān)注區(qū)QA或者與重要元件(諸如鑷子81)重疊，關(guān)注區(qū)QA或者重要元件(諸如鑷子81)被縮放圖像QB隱藏，并且因此會干擾正在進行的手術(shù)。因此，優(yōu)選的是，縮放圖像QB不布置在縮放圖像QB與關(guān)注區(qū)QA和重要元件(諸如鑷子81)的兩者之一重疊的位置處。

換言之，縮放圖像QB必須布置為縮放圖像QB既不與關(guān)注區(qū)QA也不與重要元件(諸如鑷子81)重疊，例如，如所圖12B示，縮放圖像QB僅重疊在醫(yī)療圖像上而不與關(guān)注區(qū)QA或者重要元件重疊。

因此，在步驟S6的疊加位置確定處理中，當(dāng)疊加縮放圖像QB時，認識到縮放圖像QB既不與關(guān)注區(qū)QA也不與重要元件(諸如鑷子81)重疊，并且然后確定縮放圖像QB的疊加位置。

具體地，如圖13所示，圖像疊加部45在顯示器14的顯示區(qū)中的右下角設(shè)置區(qū)作為疊加位置的候選位置QB₁’，并且確定候選位置QB₁’是否與關(guān)注區(qū)QA和重要元件(諸如鑷子81)的兩者之一重疊。

當(dāng)在右下角的候選位置QB1’與關(guān)注區(qū)QA和重要元件(諸如鑷子81)的兩者之一重疊時，圖像疊加部45向上移動候選位置QB’并且在顯示器14的顯示區(qū)中的右上角確定區(qū)為下一個候選位置QB₂’。

當(dāng)在右上角的候選位置QB₂’與關(guān)注區(qū)QA和重要元件(諸如鑷子81)的兩者之一重疊時，圖像疊加部45在顯示器14的顯示區(qū)中的左上角確定區(qū)為下一個候選位置QB₃’。當(dāng)在右上角的候選位置QB₃’也與關(guān)注區(qū)QA和重要元件(諸如鑷子81)的兩者之一重疊時，確定在左下角的區(qū)為下一個候選位置QB₄’。

如上所述，在疊加位置確定處理中，搜索縮放圖像QB的疊加位置以便不妨礙關(guān)注區(qū)QA和重要元件(諸如鑷子81)。當(dāng)沒有不妨礙關(guān)注區(qū)QA和重要元件(諸如鑷子81)的疊加位置時，圖像疊加部45不進行疊加。

候選位置QB₁’至QB₄’的搜索順序不限于上述實例。如果有不妨礙關(guān)注區(qū)QA和重要元件(諸如鑷子81)的位置，縮放圖像QB可以布置在除手術(shù)區(qū)域圖像的四個角以外的位置處。

<疊加位置確定處理的詳細流程>

將參考圖14A和圖14B的流程圖描述在圖8的步驟S6中執(zhí)行的疊加位置確定處理。

首先，在步驟S61中，圖像疊加部45獲得從縮放圖像生成部44供應(yīng)的縮放圖像QB的尺寸。

在步驟S62中，圖像疊加部45確定用于疊加縮放圖像QB的疊加位置的候選位置QB’。在這個實施方式中，如上所述，在顯示器14的顯示區(qū)中的右下角的區(qū)確定為第一候選位置QB₁’。

在步驟S63中，圖像疊加部45確定所確定的在右下角的候選位置QB₁’與通過成像部21成像的手術(shù)區(qū)域圖像中的關(guān)注區(qū)QA和重要元件(諸如鑷子81)不重疊。手術(shù)區(qū)域圖像中的重要元件(諸如鑷子81)的位置可以使用通過步驟S2的鑷子/區(qū)位置檢測處理所檢測的重要元件(諸如鑷子)的位置信息識別，并且可以使用其他方法識別。例如，鑷子81通常由金屬制成并且易于區(qū)分身體中的顏色(紅色)與銀基顏色(金屬顏色)。因此，可以通過識別顏色等檢測鑷子81。鑷子位置檢測處理可以從色差信息、亮度以及獨立于邊緣檢測技術(shù)或者與邊緣檢測技術(shù)一致的深度中的一個或多個來檢測位置。區(qū)位置檢測處理可以檢測如以上提到的重要區(qū)。

在步驟S63中，當(dāng)所確定的在右下角的候選位置QB₁’確定為與關(guān)注區(qū)QA或者鑷子81不重疊時，處理進行至步驟S71。

另一方面，在步驟S63中，當(dāng)所確定的在右下角的候選位置QB₁’確定為與關(guān)注區(qū)QA或者重要物體(諸如鑷子81)重疊時，處理進行至步驟S64。圖像疊加部45向上移動候選位置QB’并且確定在顯示器14的顯示區(qū)中右上角的區(qū)為候選位置QB₂’。

在步驟S65中，圖像疊加部45確定所確定的在右上角的候選位置QB₂’是否與通過成像部21成像的手術(shù)區(qū)域圖像中的關(guān)注區(qū)QA或者重要物體(諸如鑷子81)不重疊。

在步驟S65中，當(dāng)所確定的在右上角的候選位置QB₂’確定為與關(guān)注區(qū)QA或者重要物體(諸如鑷子81)不重疊時，處理進行至步驟S71。

另一方面，在步驟S65中，當(dāng)所確定的在右下角的候選位置QB₂'確定為與關(guān)注區(qū)QA或者重要物體(諸如鑷子81)重疊時，處理進行至步驟S66。圖像疊加部45向左移動候選位置QB’并且確定在顯示器14的顯示區(qū)中左上角的區(qū)為候選位置QB₃’。

在步驟S67中，圖像疊加部45確定所確定的在左上角的候選位置QB₃’是否與通過成像部21成像的手術(shù)區(qū)域圖像中的關(guān)注區(qū)QA或者重要物體(諸如鑷子81)不重疊。

在步驟S67中，當(dāng)所確定的在左上角的候選位置QB₃’確定為與關(guān)注區(qū)QA或者重要物體(諸如鑷子81)不重疊時，處理進行至步驟S71。

另一方面，在步驟S67中，當(dāng)所確定的在左上角的候選位置QB₃’確定為與關(guān)注區(qū)QA或者重要物體(諸如鑷子81)重疊時，處理進行至步驟S68。圖像疊加部45向下移動候選位置QB’并且確定在顯示器14的顯示區(qū)中左下角的區(qū)為候選位置QB₄’。

在步驟S69中，圖像疊加部45確定所確定的在左下角的候選位置QB₄’是否與通過成像部21成像的手術(shù)區(qū)域圖像中的關(guān)注區(qū)QA或者重要物體(諸如鑷子81)不重疊。

在步驟S69中，當(dāng)所確定的在左下角的候選位置QB₄’確定為與關(guān)注區(qū)QA或者重要物體(諸如鑷子81)不重疊時，處理進行至步驟S71。

另一方面，在步驟S69中，當(dāng)所確定的在左下角的候選位置QB₄’確定為與關(guān)注區(qū)QA或者重要物體(諸如鑷子81)重疊時，處理進行至步驟S70并且圖像疊加部45確定不進行疊加。

在步驟S71中，圖像疊加部45確定所確定的候選位置QB’(候選位置QB₁’至QB₄’之一)為縮放圖像QB的疊加位置，其中在以上描述的步驟S63、S65、S67或者S69中所確定的候選位置QB’與關(guān)注區(qū)QA或者重要物體(諸如鑷子81)不重疊。

如上所述，在圖8的步驟S6的疊加位置確定處理中，不妨礙關(guān)注區(qū)QA和重要物體(諸如鑷子81)的位置確定為縮放圖像QB的疊加位置。

步驟S6的疊加位置確定處理完成并且然后處理進行至步驟S7。圖像疊加部45確認通過疊加位置確定處理確定了疊加位置。

在步驟S7中，當(dāng)確認疊加位置確定了時，處理進行至步驟S8。圖像疊加部45在所確定的疊加位置處將縮放圖像QB疊加在從成像部21供應(yīng)的手術(shù)區(qū)域圖像上，并且在顯示器14上顯示通過疊加獲得的圖像。

另一方面，在步驟S7中，當(dāng)確認疊加位置沒有確定時，即當(dāng)確定在圖14A和圖14B的疊加位置確定處理中沒有進行疊加時，處理進行至步驟S9。圖像疊加部45不疊加縮放圖像QB，而是僅在顯示器14上顯示從成像部21供應(yīng)的手術(shù)區(qū)域圖像。

因此，疊加顯示處理完成。

當(dāng)疊加模式設(shè)為ON時，圖8的疊加顯示處理可以在一段時間期間重復(fù)。

在圖8的疊加顯示處理中，每次從成像傳感器24供應(yīng)手術(shù)區(qū)域圖像時，執(zhí)行鑷子/區(qū)位置檢測處理以及顯著點估計處理。然而，鑷子/區(qū)位置檢測處理和顯著點估計處理可以針對每個預(yù)定時段執(zhí)行(例如幾十幀一次)而不是針對每一幀執(zhí)行。

當(dāng)重復(fù)圖8的疊加顯示處理時，縮放圖像QB的疊加位置可以根據(jù)重要物體(諸如鑷子81)等的位置的改變而改變。當(dāng)縮放圖像QB的疊加位置改變時，在那時疊加位置不立即移動至下一個疊加位置，而是以允許視覺識別縮放圖像QB的速度緩慢移動。以這種方式，醫(yī)師可以容易地識別縮放圖像QB。

縮放圖像QB不僅通過以預(yù)定放大放大率擴大關(guān)注區(qū)QA的圖像而獲得。例如，縮放圖像QB可以通過執(zhí)行預(yù)定顏色轉(zhuǎn)換處理諸如伽馬校正處理、為了易于識別進行手術(shù)的區(qū)域而與關(guān)注區(qū)QA的顏色匹配的指定顏色的增強處理或者對比度調(diào)節(jié)處理而獲得。預(yù)定顏色轉(zhuǎn)換處理可以在除了縮放圖像QB之外的整個手術(shù)區(qū)域圖像上執(zhí)行。

根據(jù)上述疊加顯示處理，重要物體(諸如鑷子81)從通過進行成像的成像部21獲得的手術(shù)區(qū)域圖像中檢測，并且醫(yī)師聚焦的顯著點Q從所檢測的重要物體(諸如鑷子81)中估計。關(guān)注區(qū)QA基于顯著點Q來確定，并且通過以預(yù)定放大放大率擴大關(guān)注區(qū)QA的圖像而獲得的縮放圖像QB布置并疊加在手術(shù)區(qū)域圖像中不妨礙關(guān)注區(qū)QA和鑷子814的位置處。

因此，由于通過擴大關(guān)注區(qū)QA而獲得的用于進行手術(shù)的縮放圖像QB(通過CCU12自動地)顯示在顯示器14上，盡管醫(yī)師不進行特殊操作，但是醫(yī)師沒有必要停止進行手術(shù)。即根據(jù)疊加顯示處理，能夠顯示醫(yī)師期望的手術(shù)區(qū)域而無需醫(yī)師費力。

此外，疊加通過擴大關(guān)注區(qū)QA而獲得的縮放圖像QB的功能在一些情況下可不必要。在這些情況下，由于疊加模式的ON和OFF可以使用踏板61切換，醫(yī)師可以僅在必要情況下使用疊加功能(疊加模式)而無需停止手術(shù)的進行。

在圖1的內(nèi)窺鏡系統(tǒng)中，高分辨率圖像傳感器諸如4K相機可以用作成像傳感器24，并且因此，能夠顯示通過擴大關(guān)注區(qū)QA而獲得的具有高圖像品質(zhì)的縮放圖像QB。

在上述鑷子位置檢測處理中，描述了通過從手術(shù)區(qū)域圖像的深度信息生成視差圖像并檢測線性邊緣而檢測鑷子81的實例。然而，可以采用其他檢測方法。

例如，標記可以標記在鑷子81的兩個預(yù)定地點上并且標記在鑷子81上的兩個標記可以檢測為手術(shù)區(qū)域圖像中的鑷子81的位置(x₁，y₁，z₁)和(x₂，y₂，z₂)。諸如鑷子81的形狀和顏色、以及標記在進行手術(shù)中使用的各種鑷子81的鑷子81上的標記的形狀和顏色的特征預(yù)先存儲在鑷子位置檢測部42的存儲器中作為數(shù)據(jù)庫，并且標記可以基于有關(guān)指定的鑷子81的信息而檢測。

<2D/3D顯示切換處理的處理流程>

手術(shù)區(qū)域通過圖1的內(nèi)窺鏡系統(tǒng)中的兩個成像傳感器24成像。因此，可以應(yīng)用使用R圖像和L圖像的3D顯示以及使用R圖像和L圖像兩者之一的2D顯示兩者。醫(yī)師可以在必要時切換3D顯示和2D顯示并且促使在顯示器14上以切換的顯示方式進行顯示。

圖15示出2D/3D顯示切換處理的流程圖，其中切換3D顯示和2D顯示并且以切換的顯示方式進行顯示。例如，該處理可以伴隨供應(yīng)電力至CCU12開始。

首先，在步驟S91中，操作控制部46基于從操作部13供應(yīng)的操作信號確定是否選擇2D顯示。例如，醫(yī)師可以使用踏板61切換2D顯示和3D顯示。

在步驟S91中，當(dāng)確定選擇2D顯示時，處理進行至步驟S92。操作控制部46將表示以2D顯示方式進行顯示的顯示模式信息供應(yīng)至圖像疊加部45。獲得顯示模式信息的圖像疊加部45僅將從成像部21供應(yīng)的R圖像和L圖像中的一個供應(yīng)至顯示器14，并且以2D顯示方式顯示手術(shù)區(qū)域圖像。

另一方面，當(dāng)在步驟S91中確定選擇3D顯示時，處理進行至步驟S93。操作控制部46將表示以3D顯示方式進行顯示的顯示模式信息供應(yīng)至圖像疊加部45。獲得顯示模式信息的圖像疊加部45將從成像部21供應(yīng)的R圖像和L圖像交替地供應(yīng)至顯示器14，并且以3D顯示方式顯示手術(shù)區(qū)域圖像。

在步驟S92或S93之后，處理再次返回至步驟S91并且重復(fù)后續(xù)處理。關(guān)于此，在顯示器14中根據(jù)醫(yī)師的指示進行2D顯示或者3D顯示直至CCU12的電力關(guān)閉。

醫(yī)師可以選擇期望的3D顯示和2D顯示中的一個，并且通過上述2D/3D顯示切換處理促使在顯示器14上顯示手術(shù)區(qū)域圖像。

除了上述內(nèi)窺鏡系統(tǒng)之外，本公開可以類似地應(yīng)用于顯微鏡系統(tǒng)。在這種情況下，提供顯微鏡相機頭而不是圖1中的內(nèi)窺鏡相機頭11，并且CCU12可以執(zhí)行通過顯微鏡相機頭成像的手術(shù)區(qū)域圖像的疊加顯示處理。

通過CCU12執(zhí)行的圖像處理可以利用硬件或者軟件執(zhí)行。當(dāng)利用軟件執(zhí)行處理的序列時，構(gòu)成軟件的程序安裝在計算機上。在此，計算機包括通過組合專用硬件獲得的計算機、通過安裝各種程序允許執(zhí)行各種功能的通用個人計算機等。

圖16是示出計算機的硬件的配置實例的框圖，其中CCU12通過使用程序執(zhí)行圖像處理。

在計算機中，中央處理單元(CPU)201、只讀存儲器(ROM)202以及隨機存取存儲器(RAM)203通過總線204彼此連接。

輸入和輸出接口205連接至總線204。輸入部206、輸出部207、存儲部208、通信部209以及驅(qū)動210連接至輸入和輸出接口205。

輸入部206通過鍵盤、鼠標、麥克風(fēng)等配置。輸出部207通過顯示器、揚聲器等配置。存儲部208通過硬盤、非易失性存儲器等配置。通信部209通過網(wǎng)絡(luò)接口等配置。驅(qū)動210驅(qū)動可移除記錄介質(zhì)211，諸如磁盤、光盤、磁光盤以及半導(dǎo)體。

例如，在如上所述配置的計算機中，CPU201通過輸入和輸出接口205和總線204加載存儲在RAM203的存儲部208中的程序并且執(zhí)行所加載的程序，而執(zhí)行上述處理的序列。

在計算機中，通過將可移除記錄介質(zhì)211安裝在驅(qū)動210上而可以通過輸入和輸出接口205將程序安裝在存儲部208上。通過有線或者無線傳輸介質(zhì)諸如局域網(wǎng)、互聯(lián)網(wǎng)以及衛(wèi)星數(shù)據(jù)廣播可以在通信部209中接收程序并且將程序安裝在存儲部208上。此外，程序可以預(yù)先安裝在ROM202或者存儲部208上。

在本說明書中，流程圖中示出的步驟可以按示出的順序在時間序列中執(zhí)行。步驟可不必按時間序列執(zhí)行，而是可并行或者在必要時刻(例如當(dāng)進行調(diào)用時)等執(zhí)行。

在本說明書中，系統(tǒng)意味著一組多個構(gòu)件(裝置、模塊(部件)等)并且所有的構(gòu)件不必在同一殼體中。因此，系統(tǒng)包括存儲在分離的殼體中并且通過網(wǎng)絡(luò)彼此連接的多個裝置，以及多個模塊存儲在一個殼體中的一個裝置。

本公開指涉及通過內(nèi)窺鏡系統(tǒng)的成像部21獲得的圖像與該圖像中的部分的擴大圖像的疊加顯示的處理。然而，本公開可以應(yīng)用于除醫(yī)療系統(tǒng)(諸如內(nèi)窺鏡系統(tǒng))以外的普通拍攝圖像的疊加顯示。即本公開可以應(yīng)用于如下情況，其中操作員聚焦的顯著點以及關(guān)注區(qū)基于拍攝的圖像中示出的(對應(yīng)于上述手術(shù)儀器的)指示工具、操作機構(gòu)、裝置等的三維位置確定，并且通過擴大關(guān)注區(qū)的圖像而獲得的圖像疊加在所拍攝的圖像上并顯示在屏幕上。

本公開的實施方式不限于上述實施方式并且可以進行各種改變而不偏離本公開的主旨。

例如，可以采用通過組合上述實施方式中的一些或者所有而獲得的實施方式。

例如，本公開可以具有云計算的配置，在云計算中一個功能通過網(wǎng)絡(luò)分布在多個裝置上并且多個裝置一起處理該功能。

上述流程圖中示出的每個步驟可以在一個裝置中執(zhí)行或者可以分布于多個裝置并在多個裝置中執(zhí)行。

此外，當(dāng)一個步驟包括多個處理時，包括在一個步驟中的多個處理可以在一個裝置中執(zhí)行或者可以分布于多個裝置并在多個裝置中執(zhí)行。

本說明書中描述的效果僅是實例并且不限于此?？赡艽嬖诔菊f明書中描述的效果以外的效果。

本公開可以具有以下配置。

(1)

醫(yī)療成像裝置，包括：

包括電路的控制器，被配置為

在顯示區(qū)上控制醫(yī)療圖像的顯示，

在顯示區(qū)上控制對應(yīng)于醫(yī)療圖像的疊加圖像的顯示，使得疊加圖像重疊在醫(yī)療圖像上顯示，

檢測重要元件在醫(yī)療圖像內(nèi)的位置，以及

基于所檢測的重要元件的位置確定疊加圖像在顯示區(qū)內(nèi)的位置，使得疊加圖像不重疊在醫(yī)療圖像內(nèi)的重要元件上。

(2)

根據(jù)(1)的醫(yī)療成像裝置，其中，包括電路的控制器被進一步配置為在顯示區(qū)內(nèi)檢測重要元件的部分與疊加圖像的部分之間的重疊，并且響應(yīng)于檢測到的重疊，調(diào)節(jié)疊加圖像在顯示區(qū)內(nèi)的位置使得在醫(yī)療圖像內(nèi)疊加圖像不重疊在重要元件的部分上。

(3)

根據(jù)(1)-(2)的醫(yī)療成像裝置，其中，醫(yī)療圖像包括身體的手術(shù)圖像。

(4)

根據(jù)(1)-(3)的醫(yī)療成像裝置，其中，重要元件是重要物體或者重要區(qū)。

(5)

根據(jù)(1)-(4)的醫(yī)療成像裝置，其中，疊加圖像對應(yīng)于醫(yī)療圖像的關(guān)注區(qū)域部分.

(6)

根據(jù)(1)-(5)的醫(yī)療成像裝置，其中，疊加圖像是對應(yīng)于醫(yī)療圖像的關(guān)注區(qū)域部分的縮放圖像。

(7)

根據(jù)(1)-(6)的醫(yī)療成像裝置，其中，疊加圖像對應(yīng)于醫(yī)療圖像的關(guān)注區(qū)域部分并且關(guān)注區(qū)域從重要元件的三維姿態(tài)估計。

(8)

根據(jù)權(quán)利要求(1)-(7)的醫(yī)療成像裝置，其中，重要元件是手術(shù)儀器。

(9)

根據(jù)(1)-(8)的醫(yī)療成像裝置，其中，包括電路的控制器被進一步配置為

在醫(yī)療圖像內(nèi)移動重要元件之后，檢測重要元件在醫(yī)療圖像內(nèi)的第二位置，

檢測所檢測的重要元件的第二位置與所調(diào)節(jié)的疊加圖像的位置之間的第二重疊，以及

響應(yīng)于檢測到的第二重疊，進一步在顯示區(qū)內(nèi)調(diào)節(jié)所調(diào)節(jié)的疊加圖像的位置，使得在醫(yī)療圖像內(nèi)疊加圖像不重疊在所檢測的重要元件的第二位置上。

(10)

根據(jù)(5)的醫(yī)療成像裝置，其中，電路被配置為在顯示區(qū)上控制表示關(guān)注區(qū)域部分的幀的顯示。

(11)

根據(jù)(1)-(10)的醫(yī)療成像裝置，其中，疊加圖像位于醫(yī)療圖像的四個角中的任一個內(nèi)。

(12)

根據(jù)(1)-(11)的醫(yī)療成像裝置，其中，疊加圖像經(jīng)受顏色轉(zhuǎn)換處理。

(13)

用于通過醫(yī)療成像裝置處理醫(yī)療圖像的方法，醫(yī)療成像裝置包括含有電路的控制器，該方法包括：

在顯示區(qū)上控制醫(yī)療圖像的顯示，

在顯示區(qū)上控制對應(yīng)于醫(yī)療圖像的疊加圖像的顯示，使得疊加圖像重疊在醫(yī)療圖像上顯示，

通過電路檢測重要元件在醫(yī)療圖像內(nèi)的位置，以及

基于所檢測的重要元件的位置確定疊加圖像在顯示區(qū)內(nèi)的位置，使得疊加圖像不重疊在醫(yī)療圖像內(nèi)的重要元件上。

(14)

在其上存儲有程序的非瞬時性計算機可讀介質(zhì)，當(dāng)通過計算機執(zhí)行時，程序促使計算機實現(xiàn)通過醫(yī)療成像裝置處理醫(yī)療圖像的方法，醫(yī)療成像裝置包括含有電路的控制器，該方法包括：

在顯示區(qū)上控制醫(yī)療圖像的顯示，

在顯示區(qū)上控制對應(yīng)于醫(yī)療圖像的疊加圖像的顯示，使得疊加圖像重疊在醫(yī)療圖像上顯示，

通過電路檢測重要元件在醫(yī)療圖像內(nèi)的位置，以及

基于所檢測的重要元件的位置確定疊加圖像在顯示區(qū)內(nèi)的位置，使得疊加圖像不重疊在醫(yī)療圖像內(nèi)的重要元件上。

(15)

醫(yī)療成像系統(tǒng)，包括：

獲得醫(yī)療圖像的醫(yī)療成像設(shè)備；

具有顯示區(qū)的顯示設(shè)備；

包括電路的控制器，被配置為

在顯示設(shè)備的顯示區(qū)上控制通過醫(yī)療成像設(shè)備獲得的醫(yī)療圖像的顯示，

在顯示設(shè)備的顯示區(qū)上控制對應(yīng)于醫(yī)療圖像的疊加圖像的顯示，使得疊加圖像重疊在醫(yī)療圖像上顯示，

檢測重要元件在醫(yī)療圖像內(nèi)的位置，以及

基于所檢測的重要元件的位置確定疊加圖像在顯示區(qū)內(nèi)的位置，使得疊加圖像不重疊在醫(yī)療圖像內(nèi)的重要元件上。

(16)

根據(jù)(15)的系統(tǒng)，其中，醫(yī)療成像設(shè)備是內(nèi)窺鏡或者手術(shù)顯微鏡。

(A1)

圖像處理裝置，包括：縮放圖像生成部，被配置為從通過使術(shù)野成像而獲得的圖像中，通過擴大醫(yī)師聚焦的關(guān)注區(qū)的圖像生成縮放圖像，其中術(shù)野包括手術(shù)目標的區(qū)域；以及圖像疊加部，被配置為在圖像上疊加縮放圖像并且在屏幕上顯示通過疊加的圖像。

(A2)

根據(jù)(A1)的裝置，其中關(guān)注區(qū)基于圖像中的手術(shù)儀器的三維位置確定。

(A3)

根據(jù)(A2)的裝置，其中關(guān)注區(qū)確定為包括手術(shù)儀器的尖端部分。

(A4)

根據(jù)(A2)的裝置，其中關(guān)注區(qū)確定為包括區(qū)域與通過延長對應(yīng)于手術(shù)儀器的三維位置的線段而獲得的延長線的交叉點。

(A5)

根據(jù)(A2)的裝置，其中關(guān)注區(qū)確定為包括手術(shù)儀器的尖端部分，以及區(qū)域與通過延長對應(yīng)于手術(shù)儀器的三維位置的線段而獲得的延長線的交叉點。

(A6)

根據(jù)(A3)至(A5)中任一項的裝置，其中在獲得圖像時縮放放大率設(shè)置為使得包括手術(shù)儀器的尖端部分以及區(qū)域與通過延長對應(yīng)于手術(shù)儀器的三維位置的線段而獲得的延長線的交叉點。

(A7)

根據(jù)(A2)的裝置，其中手術(shù)儀器的三維位置基于有關(guān)圖像中的線性邊緣的信息而檢測。

(A8)

根據(jù)(A7)的裝置，其中有關(guān)圖像中的線性邊緣的信息基于圖像的亮度信息而檢測。

(A9)

根據(jù)(A7)的裝置，其中有關(guān)圖像中的線性邊緣的信息基于圖像的顏色信息而檢測。

(A10)

根據(jù)(A2)至(A6)中任一項的裝置，其中手術(shù)儀器的三維位置通過檢測附接至圖像中的手術(shù)儀器的標記物而檢測。

(A11)

根據(jù)(A2)至(A10)中任一項的裝置，其中圖像疊加部在屏幕上顯示醫(yī)師聚焦的關(guān)注區(qū)，并且關(guān)注區(qū)基于手術(shù)儀器的三維位置而確定。

(A12)

根據(jù)(A11)的裝置，其中圖像疊加部在屏幕上顯示通過將對應(yīng)于手術(shù)儀器的三維位置的線段從手術(shù)儀器延長至顯著點而獲得的延長線。

(A13)

根據(jù)(A1)至(A12)中任一項的裝置，其中圖像疊加部在屏幕上顯示用于表示關(guān)注區(qū)的幀。

(A14)

根據(jù)(A1)至(A13)中任一項的裝置，其中圖像疊加部將縮放圖像布置在圖像的四個角中的任一個上。

(A15)

根據(jù)(A1)至(A14)中任一項的裝置，其中圖像疊加部將縮放圖像布置在縮放圖像既不與圖像中的手術(shù)儀器也不與圖像中的關(guān)注區(qū)重疊的位置處。

(A16)

根據(jù)(A1)至(A15)中任一項的裝置，其中縮放圖像生成部生成通過以放大放大率擴大關(guān)注區(qū)的圖像而獲得的縮放圖像，放大放大率根據(jù)從圖像中的手術(shù)儀器至關(guān)注區(qū)的顯著點的距離確定。

(A17)

根據(jù)(A1)至(A16)中任一項的裝置，其中圖像疊加部對圖像或者縮放圖像進行預(yù)定顏色轉(zhuǎn)換處理，并且將經(jīng)受顏色轉(zhuǎn)換處理的圖像或者縮放圖像疊加在另一個上。

(A18)

根據(jù)(A1)至(A17)中任一項的裝置，其中當(dāng)疊加模式是ON時圖像疊加部在圖像上疊加縮放圖像。

(A19)

圖像處理方法，用于促使圖像處理裝置從通過使術(shù)野成像而獲得的圖像中，通過擴大醫(yī)師聚焦的關(guān)注區(qū)的圖像而生成縮放圖像并且在圖像上疊加縮放圖像以在屏幕上顯示通過疊加的圖像，其中術(shù)野包括手術(shù)目標的區(qū)域。

(B1)

圖像處理裝置，包括：位置檢測部，被配置為獲得從圖像中計算的多個圖像的深度信息并且通過使用所獲得的圖像的深度信息檢測圖像中的手術(shù)儀器的三維位置，其中圖像通過多個成像部使作為手術(shù)目標的區(qū)域的手術(shù)區(qū)域成像而獲得。

(B2)

根據(jù)(B1)的裝置，進一步包括：顯著點估計部，被配置為基于所檢測的手術(shù)儀器的三維位置估計操作手術(shù)儀器的醫(yī)師的顯著點。

(B3)

根據(jù)(B2)的裝置，其中顯著點估計部估計手術(shù)區(qū)域與通過延長對應(yīng)于手術(shù)儀器的三維位置的線段而獲得的延長線的交叉點作為顯著點。

(B4)

根據(jù)(B2)或者(B3)的裝置，進一步包括：縮放圖像生成部，被配置為基于所估計的顯著點確定醫(yī)師聚焦的關(guān)注區(qū)，并且通過擴大關(guān)注區(qū)的圖像生成縮放圖像。

(B5)

根據(jù)(B4)的裝置，其中縮放圖像生成部通過以放大放大率擴大關(guān)注區(qū)的圖像而生成縮放圖像，放大放大率根據(jù)從手術(shù)儀器至顯著點的距離確定。

(B6)

根據(jù)(B4)的裝置，進一步包括：圖像疊加部，被配置為在通過成像部獲得的圖像上疊加所生成的縮放圖像。

(B7)

根據(jù)(B6)的裝置，其中圖像疊加部將縮放圖像布置在縮放圖像既不與圖像中的手術(shù)儀器也不與圖像中的關(guān)注區(qū)重疊的位置處。

(B8)

根據(jù)(B6)或者(B7)的裝置，其中圖像疊加部將縮放圖像布置在通過成像部獲得的圖像的四個角中的任一個上。

(B9)

根據(jù)(B6)至(B8)中任一項的裝置，其中圖像疊加部還顯示所估計的顯著點。

(B10)

根據(jù)(B9)的裝置，其中圖像疊加部顯示通過延長對應(yīng)于手術(shù)儀器的三維位置的線段而獲得的延長線以及顯著點。

(B11)

根據(jù)(B6)至(B10)中任一項的裝置，其中圖像疊加部還顯示用于表示關(guān)注區(qū)的幀。

(B12)

根據(jù)(B6)至(B11)中任一項的裝置，其中圖像疊加部對圖像或者縮放圖像進行預(yù)定顏色轉(zhuǎn)換處理，并且將經(jīng)受顏色轉(zhuǎn)換處理的圖像或者縮放圖像彼此疊加。

(B13)

根據(jù)(B6)至(B12)中任一項的裝置，其中當(dāng)疊加模式是ON時圖像疊加部在圖像上疊加縮放圖像。

(B14)

根據(jù)(B1)至(B13)中任一項的裝置，其中位置檢測部通過從多個圖像生成視差圖像并檢測視差圖像中的線性邊緣而檢測手術(shù)儀器的三維位置。

(B15)

根據(jù)(B1)至(B13)中任一項的裝置，其中位置檢測部通過檢測標記在手術(shù)儀器上的標記而檢測手術(shù)儀器的三維位置。

(B16)

根據(jù)(B1)至(B15)中任一項的裝置，進一步包括：深度信息生成部，被配置為生成從圖像計算的多個圖像的深度信息，其中位置檢測部獲得在深度信息生成部中生成的圖像的深度信息。

(B17)

圖像處理方法，用于促使圖像處理裝置獲得從圖像計算的多個圖像的深度信息并且通過使用所獲得的圖像的深度信息檢測圖像中的手術(shù)儀器的三維位置，其中圖像通過多個成像部使作為手術(shù)目標的區(qū)域的手術(shù)區(qū)域成像而獲得。

本領(lǐng)域技術(shù)人員應(yīng)理解，根據(jù)設(shè)計需求和其他因素，在其處于所附權(quán)利要求書的范圍內(nèi)或其等同物的程度，可以產(chǎn)生各種修改、組合、子組合和變形。

參考標號列表

11 內(nèi)窺鏡相機頭

12 CCU

13 操作部

14 顯示器

21 成像部

24a 第一成像傳感器

24b 第二成像傳感器

41 深度信息生成部

42 鑷子/區(qū)位置檢測部

43 顯著點估計部

44 縮放圖像生成部

45 圖像疊加部

46 操作控制部

61 腳踏板

Q 顯著點

QA 關(guān)注區(qū)

111 引導(dǎo)線

QB 縮放圖像

201 CPU

202 ROM

203 RAM

206 輸入部

207 輸出部

208 存儲部

209 通信部

210 驅(qū)動