一種三目立體內(nèi)窺鏡的制作方法

本發(fā)明屬于內(nèi)窺鏡技術領域，更為具體地講，涉及一種三目立體內(nèi)窺鏡。

背景技術：

微創(chuàng)以及無創(chuàng)外科手術是當代臨床醫(yī)學中最主要的發(fā)展趨勢之一，與傳統(tǒng)手術相比，它能夠大大提高手術的質(zhì)量，減少手術部位的創(chuàng)傷，減輕病人的痛苦，縮短了術后康復時間，這也成為了其作為國際上的一個研究熱點的重要支撐。

傳統(tǒng)的立體內(nèi)窺鏡是由兩個鏡頭組成，即相當于雙目攝像機，其一般的使用過程為：首先在使用前先根據(jù)要求設定好焦距，再利用標定參照物對立體內(nèi)窺鏡進行標定，然后再將其通過小創(chuàng)口伸入人體組織進行拍攝，由于內(nèi)窺鏡焦距固定的緣故，使得在拍攝過程中往往只能通過改變內(nèi)窺鏡與所要拍攝的人體組織的距離來獲取清晰地圖像，而這些動作將會大大增加內(nèi)窺鏡導管在介入過程中發(fā)生導管纏繞以及非預期接觸人體重要器官的概率，而若采取通過調(diào)節(jié)內(nèi)窺鏡的焦距這一操作來獲取想要的清晰的人體組織圖像，則會丟失內(nèi)窺鏡的標定參數(shù)，而標定參數(shù)是立體內(nèi)窺鏡的重要參數(shù)，在手術過程中，只有結合標定參數(shù)，才能通過立體內(nèi)窺鏡獲取到相關部位的三維信息，通過所得三維信息，醫(yī)生對手術相關部位有了一個精確的定位，有利于手術的正確實施；同時在檢測過程中，標定參數(shù)的重要性也不可或缺，通過立體內(nèi)窺鏡的標定參數(shù)與所獲取人體組織圖像，可重構出相關組織表面的三維信息，進而可以對病變組織的實際形狀及大小有一個更精確的認識，有助于醫(yī)生對病人病情的診斷。

目前，在不需要參照標定物的情況下，通過自標定方法可以的獲取到相機的內(nèi)部參數(shù)，常用的自標定方法包括：基于絕對二次曲面和無窮遠平面等自標定方法，但是這些傳統(tǒng)自標定方法的標定精度不高，且魯棒性不足[1](孟曉橋、胡占義，“攝像機自標定方法的研究與進展”，自動化學報，0254-4156)，故而這一方法未能滿足實際需求。

為了獲得精確的內(nèi)窺鏡標定信息，只能通過取出內(nèi)窺鏡，然后在外部環(huán)境中利用標定參照物重新進行標定，對于這一解決辦法而言，這大大增加了操作的復雜度，對于正在執(zhí)行手術操作時使用的立體內(nèi)窺鏡，這一操作是絕對不允許的。如果能夠?qū)崟r獲取到其較為精確的相機參數(shù)，那么就可以有效避免立體內(nèi)窺鏡使用過程中的一些不必要操作了，同時也降低了操作的復雜程度，減少給病人帶來的附加痛苦和危險。

技術實現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術的不足，提供一種三目立體內(nèi)窺鏡，以實現(xiàn)立體內(nèi)窺鏡實時使用中參數(shù)變化后的實時標定。

為實現(xiàn)上述發(fā)明目的，本發(fā)明一種三目立體內(nèi)窺鏡，其特征在于，包括：固定在同一筒狀裝置的三個獨立電子內(nèi)鏡和均勻環(huán)繞在三個獨立電子內(nèi)鏡周圍的多個LED組成的光源，以及一個用于將三目立體內(nèi)窺鏡與電腦相連的USB接口；

所述的三個獨立電子內(nèi)鏡的位置相對固定，均勻分布在筒狀裝置內(nèi)，三個獨立電子內(nèi)鏡的鏡頭位于筒狀裝置前端，與多個LED組成的光源共同構成成像單元，三個獨立電子內(nèi)鏡的尾部位于筒狀裝置后端，且每個獨立電子內(nèi)鏡的尾部擁有一個獨立調(diào)節(jié)焦距的旋鈕，當某一個電子內(nèi)鏡進行縮放或聚焦操作時，則三目立體內(nèi)窺鏡參數(shù)發(fā)生改變，那么當三目立體內(nèi)窺鏡完成初始標定后，另外兩個未調(diào)節(jié)的電子內(nèi)鏡能夠獲取圖像進行自標定；

當患者需要進行內(nèi)窺檢查時，先放入三目立體內(nèi)窺鏡，再通過尾部的旋鈕進行聚焦，然后在光源的配合下通過三個電子內(nèi)鏡成像，最后通過連接在USB接口上的信號線傳送至電腦。

其中，所述的電子內(nèi)鏡進行自標定的方法為：

(1)、三目立體內(nèi)窺鏡初始化

使用前，利用標定模板對三目立體內(nèi)窺鏡進行標定，獲取各內(nèi)鏡的初始標定參數(shù)矩陣A_a、A_b、A_c和畸變系數(shù)向量K₁、K₂、K₃，以及各內(nèi)鏡相機坐標系之間的轉換關系[R_ab T_ab]、[R_ac T_ac]、[R_bc T_bc]；

其中，參數(shù)矩陣的通用形式即為：α，β分別為相機在x和y方向上的焦距，γ為傾斜因子，(u₀ v₀)為相機光心在像平面投影點在像素坐標系下的像素坐標；K＝[k₁ k₂ k₃ k₄]，k₁，k₂為徑向畸變系數(shù)，k₃，k₄為離心畸變系數(shù)；R為右側相機坐標系到左側相機坐標系的旋轉矩陣，T為右側相機坐標系到左側相機坐標系的平移向量；

(2)、當某一電子內(nèi)鏡進行縮放或聚焦操作時，先獲取參數(shù)已知的電子內(nèi)鏡與待標定電子內(nèi)鏡在同一時刻的圖像，再利用步驟(1)中所得各電子內(nèi)鏡的畸變系數(shù)k₁，k₂，k₃，k₄對所得圖像進行畸變校正，然后對校正后的圖像進行特征提取，獲取各圖像中的特征點，再進行特征點匹配，最后從三張圖像中均成功匹配的特征點中選取n組特征點；

(3)、根據(jù)步驟(1)中各坐標系間轉換關系和步驟(2)中選取的n組特征點構造解線性方程組；

設A電子內(nèi)鏡為待標定電子內(nèi)鏡，則構造的解線性方程組為：

其中，[u_b v_b 1]^T和[u_c v_c 1]^T分別為特征點對應已進行初始標定電子內(nèi)鏡B和C對應圖像中點的像素點的齊次坐標；R_bc、T_bc和R_ab、T_ab分別為電子內(nèi)鏡C的相機坐標系到B相機坐標系的旋轉矩陣、平移量和B相機坐標系到A相機坐標系的旋轉矩陣、平移量；[X_b Y_b Z_b]^T和[X_c Y_c Z_c]^T分別為特征點對應B、C相機坐標系中三維坐標；[X_a Y_a Z_a 1]^T、[X_b Y_b Z_b 1]^T和[X_c Y_c Z_c 1]^T分別為A、B、C相機坐標系的點的齊次坐標；

最后再求解該方程組，獲取n組特征點在待標定內(nèi)鏡相機坐標系中的三維坐標[X_a1Y_a1 Z_a1]^T......[X_an Y_an Z_an]^T；

(4)、利用n個待標定電子內(nèi)鏡對應圖像中特征點的像素坐標[u_a1 v_a1]^T......[u_anv_an]^T和n組特征點在待標定內(nèi)鏡相機坐標系中的三維坐標[X_a1 Y_a1 Z_a1]^T......[X_an Y_anZ_an]^T，結合這兩者間的關系構建如下線性方程：

利用最小二乘法求解該線性方程，獲取待標定電子內(nèi)鏡的內(nèi)部參數(shù)矩陣，然后利用非線性優(yōu)化算法，引入畸變系數(shù)，對內(nèi)部參數(shù)矩陣進行修正，得到待標定電子內(nèi)鏡的新畸變系數(shù)，從而完成待標定電子內(nèi)鏡的自標定。

本發(fā)明的發(fā)明目的是這樣實現(xiàn)的：

本發(fā)明一種三目立體內(nèi)窺鏡，可以在正常使用過程中不借助外部標定模板對立體內(nèi)窺鏡標定；具體講，首先利用標定板對三個內(nèi)鏡相機進行初始標定，獲取其對應初始標定參數(shù)；其次，在保證兩個相機參數(shù)不變下，對另外的一個相機進行縮放或聚焦調(diào)節(jié)，獲取調(diào)節(jié)后三個相機同一時刻拍攝到的三張圖像，對三張圖像的重合區(qū)域進行特征點檢測和匹配操作，基于三張圖像的特征點匹配結果，通過3D重構求出特征點在指定坐標系中的三維坐標，利用所得特征點三維坐標以及所得特征點在待標定相機對應圖像的像素坐標信息，再對待標定相機進行標定，獲取待標定相機新的參數(shù)。

同時，本發(fā)明一種三目立體內(nèi)窺鏡還具有以下有益效果：

(1)、本發(fā)明在實際使用過程中，可以實現(xiàn)在線獲取內(nèi)鏡標定參數(shù)的功能，而不需要將內(nèi)窺鏡從患者體內(nèi)取出標定。

(2)、本發(fā)明引入了初始標定這一操作，而由于初始標定是通過標定參照物來獲取的，即其初始標定參數(shù)精度可靠，并以獲得的內(nèi)窺鏡的初始標定參數(shù)作為對參數(shù)變化后內(nèi)鏡進行新的標定的基礎，故而本發(fā)明相對于現(xiàn)有自標定方法結果更為精確。

附圖說明

圖1是本發(fā)明一種三目立體內(nèi)窺鏡結構示意圖；

圖2是本發(fā)明一種三目立體內(nèi)窺鏡鏡頭分布示意圖；

圖3是本發(fā)明一種三目立體內(nèi)窺鏡的原理框圖；

圖4是本發(fā)明一種三目立體內(nèi)窺鏡的自標定流程圖。

具體實施方式

下面結合附圖對本發(fā)明的具體實施方式進行描述，以便本領域的技術人員更好地理解本發(fā)明。需要特別提醒注意的是，在以下的描述中，當已知功能和設計的詳細描述也許會淡化本發(fā)明的主要內(nèi)容時，這些描述在這里將被忽略。

實施例

圖1是本發(fā)明一種三目立體內(nèi)窺鏡結構示意圖。

在本實施例中，采用三個超眼5mm規(guī)格的醫(yī)用內(nèi)鏡做為三目立體內(nèi)窺鏡的組成原件，其中的成像傳感器為CMOS光學傳感器。

如圖1所示，本發(fā)明一種三目立體內(nèi)窺鏡，包括：固定在同一筒狀裝置的三個獨立電子內(nèi)鏡和均勻環(huán)繞在三個獨立電子內(nèi)鏡周圍的多個LED組成的光源，以及一個用于將三目立體內(nèi)窺鏡與電腦相連的USB接口；

如圖2所示，三個獨立電子內(nèi)鏡的位置相對固定，均勻分布在筒狀裝置內(nèi)，三個獨立電子內(nèi)鏡的鏡頭位于筒狀裝置前端，與多個LED組成的光源共同構成成像單元，三個獨立電子內(nèi)鏡的尾部位于筒狀裝置后端，且每個獨立電子內(nèi)鏡的尾部擁有一個獨立調(diào)節(jié)焦距的旋鈕，當某一個電子內(nèi)鏡進行縮放或聚焦操作時，則三目立體內(nèi)窺鏡參數(shù)發(fā)生改變，那么當三目立體內(nèi)窺鏡完成初始標定后，另外兩個未調(diào)節(jié)的電子內(nèi)鏡能夠獲取圖像進行自標定；

如圖1所示，圖中的1為鏡頭部分，其由三個獨立內(nèi)鏡與光源組成，2、3、4分別為三個電子內(nèi)鏡的焦距調(diào)節(jié)旋鈕；

當患者需要進行內(nèi)窺檢查時，先放入三目立體內(nèi)窺鏡，再通過尾部的旋鈕進行聚焦，然后在光源的配合下通過三個電子內(nèi)鏡成像，其成像原理如圖3所示，最后通過連接在USB接口上的信號線傳送至電腦。

在實際的診療過程中，因?qū)崟r需要改變內(nèi)鏡相機參數(shù)，因此，三目立體內(nèi)窺鏡需要在相機參數(shù)改變時進行實時自標定，下面對電子內(nèi)鏡進行自標定的方法為：

(1)、三目立體內(nèi)窺鏡初始化

使用前，利用標定模板對三目立體內(nèi)窺鏡進行標定，獲取各內(nèi)鏡的初始標定參數(shù)矩陣A_a、A_b、A_c和畸變系數(shù)向量K₁、K₂、K₃，以及各內(nèi)鏡相機坐標系之間的轉換關系[R_ab T_ab]、[R_ac T_ac]、[R_bc T_bc]，在本實施例中，標定模板選用棋盤格標定板；

其中，參數(shù)矩陣的通用形式即為：α，β分別為相機在x和y方向上的焦距，γ為傾斜因子，(u₀ v₀)為相機光心在像平面投影點在像素坐標系下的像素坐標；K＝[k₁ k₂ k₃ k₄]，k₁，k₂為徑向畸變系數(shù)，k₃，k₄為離心畸變系數(shù)；R為右側相機坐標系到左側相機坐標系的旋轉矩陣，T為右側相機坐標系到左側相機坐標系的平移向量；

其中，畸變系數(shù)對應模型為:

x_u-x＝(k₁x(x²+y²)+k₂x(x²+y²)²)+(2k₃xy+k₄(3x²+y²))

y_u-y＝(k₁y(x²+y²)+k₂y(x²+y²)²)+(k₃(x²+3y²)+2k₄xy)

其中，(x_u y_u)和(x y)分別表示理想沒有畸變和實際有畸變。

(2)、當某一電子內(nèi)鏡進行縮放或聚焦操作時，先獲取參數(shù)已知的電子內(nèi)鏡與待標定電子內(nèi)鏡在同一時刻的圖像，再利用步驟(1)中所得各內(nèi)鏡的畸變系數(shù)k₁，k₂，k₃，k₄對所得圖像進行畸變校正，然后對校正后的圖像進行特征提取，獲取各圖像中的特征點，再進行特征點匹配，最后從三張圖像中均成功匹配的特征點中選取n組特征點；

在本實施例中，利用尺度不變特征變換算法SIFT，獲取待標定電子內(nèi)鏡對應圖像a與任意一參數(shù)已知電子內(nèi)鏡對應圖像b的特征匹配點集X_ab，再次運用SIFT算法分別獲取待標定電子內(nèi)鏡對應圖像a與另一參數(shù)已知電子內(nèi)鏡對應圖像c的匹配點集X_ac和參數(shù)已知單子內(nèi)鏡對應圖像b與參數(shù)已知電子內(nèi)鏡對應圖像c的匹配點集X_bc，如X_ab、X_ac與X_bc中的某一點是同一點，則判定此點為三張圖像的匹配點，即得到了三張圖像的匹配點集，匹配點集中匹配點組數(shù)n≥3。

(3)、根據(jù)步驟(1)中各坐標系間轉換關系和步驟(2)中選取的n組特征點構造解線性方程組；

設A電子內(nèi)鏡為待標定電子內(nèi)鏡，則構造的解線性方程組為：

其中，[u_b v_b 1]^T和[u_c v_c 1]^T分別為特征點對應已進行初始標定電子內(nèi)鏡B和C對應圖像中點的像素點的齊次坐標；R_bc、T_bc和R_ab、T_ab分別為電子內(nèi)鏡C的相機坐標系到B相機坐標系的旋轉矩陣、平移量和B相機坐標系到A相機坐標系的旋轉矩陣、平移量；[X_b Y_b Z_b]^T和[X_c Y_c Z_c]^T分別為特征點對應B、C相機坐標系中三維坐標；[X_a Y_a Z_a 1]^T、[X_b Y_b Z_b 1]^T和[X_c Y_c Z_c 1]^T分別為A、B、C相機坐標系的點的齊次坐標；

最后再求解該方程組，獲取n組特征點在待標定內(nèi)鏡相機坐標系中的三維坐標[X_a1Y_a1Z_a1]^T......[X_an Y_an Z_an]^T；

(4)、利用n個待標定電子內(nèi)鏡對應圖像中特征點的像素坐標[u_a1 v_a1]^T......[u_anv_an]^T和n組特征點在待標定內(nèi)鏡相機坐標系中的三維坐標[X_a1 Y_a1 Z_a1]^T......[X_an Y_anZ_an]^T，結合這兩者間的關系有上述可知，一個匹配點及其對應三維坐標可得到兩個線性方程，而存在5個未知參數(shù)，即至少需要3個匹配點才能得到一個唯一解，故在對三個內(nèi)鏡單元對應圖像實施匹配操作獲取的匹配點組數(shù)需滿足n≥3這一條件。故當有n個匹配點時，即可得到如下等式構建如下線性方程：

利用最小二乘法求解該線性方程，獲取待標定電子內(nèi)鏡的內(nèi)部參數(shù)矩陣，然后利用非線性優(yōu)化算法，引入畸變系數(shù)，對內(nèi)部參數(shù)矩陣進行修正，得到待標定電子內(nèi)鏡的新畸變系數(shù)，從而完成待標定電子內(nèi)鏡的自標定。

其中，非線性優(yōu)化算法采用的模型為：

其中，K為畸變系數(shù)，A為內(nèi)部參數(shù)矩陣，m_i表示n組特征點中第i個特征點對應待標定電子內(nèi)鏡對應圖像的實際像素坐標，M_i為第i個特征點在待匹配內(nèi)鏡相機坐標系中的三維坐標，m(K,A,M_i)為點M_i在待標定電子內(nèi)鏡對應圖像中的投影點的像素坐標。

盡管上面對本發(fā)明說明性的具體實施方式進行了描述，以便于本技術領域的技術人員理解本發(fā)明，但應該清楚，本發(fā)明不限于具體實施方式的范圍，對本技術領域的普通技術人員來講，只要各種變化在所附的權利要求限定和確定的本發(fā)明的精神和范圍內(nèi)，這些變化是顯而易見的，一切利用本發(fā)明構思的發(fā)明創(chuàng)造均在保護之列。