3D自動(dòng)對(duì)焦顯示方法及其系統(tǒng)與流程

本發(fā)明涉及一種自動(dòng)對(duì)焦方法，特別的是有關(guān)于一種3d自動(dòng)對(duì)焦顯示方法及其自動(dòng)對(duì)焦系統(tǒng)。

背景技術(shù)：

立體顯示器的基本技術(shù)是在于呈現(xiàn)偏移影像，此種偏移影像分別在左眼和右眼中顯示。接著將這兩個(gè)二維偏移影像在大腦中合并以得到的3d深度的感知。有許多顯示技術(shù)的方法來實(shí)現(xiàn)立體3d影像，例如用于裸視3d影像的偏光和快門鏡片，雙凸透鏡和屏障鏡片，如同雙顯示器的使用例如用于虛擬實(shí)境的頭戴式產(chǎn)品。

許多人觀看立體視頻時(shí)遇到眼睛疲勞和不適，這是眾所周知的，此種不適有多種因素。這樣的例子中，大家所知道的是例如3d眼鏡造成的身體不適，從頭戴式產(chǎn)品由于視頻影像相對(duì)于使用者頭部移動(dòng)時(shí)的等待時(shí)間所造成的頭暈現(xiàn)象，以及由串?dāng)_(cross-talk)所造成的影像模糊。以上所述的實(shí)施例均是涉及在硬件顯示技術(shù)的不足而造成的問題。

值得注意的是，3d立體內(nèi)容的質(zhì)量也是觀看3d立體顯示器時(shí)造成眼睛疲勞和眼睛疲勞的主要原因。一般來說，有三種方法來形成立體3d影像，此立體3d影像是自然選取使用立體照相機(jī)系統(tǒng)，從2d影像轉(zhuǎn)換，這意味著由原始的2d影像的兩個(gè)視圖，是從計(jì)算機(jī)程序的模式中產(chǎn)生的。計(jì)算引起觀看者不適的3d立體內(nèi)容的相關(guān)特性不是那么重要。但這是確實(shí)存在可靠的指標(biāo)來量化3d立體內(nèi)容，例如垂直視差以及在眼中所看到的立體影像的色彩，對(duì)比度和亮度的差異。

3d立體內(nèi)容質(zhì)量的一個(gè)關(guān)鍵特性在于調(diào)節(jié)-收斂沖突(accommodation-convergenceconflict.)。調(diào)節(jié)(accommodation)定義為眼睛的聚焦平面，及收斂(convergence)是指眼睛的聚焦點(diǎn)。在自然中，調(diào)節(jié)和收斂是同時(shí)透過觀看者的眼球到影像之間的距離來確定。自然觀看造成同步進(jìn)行收斂及調(diào)節(jié)。在3d立體顯示器上觀看影像的情況下，調(diào)節(jié)指的是實(shí)體顯示的距離，而收斂指的是感知到屏幕上的虛擬影像之間的距離，它具有一個(gè)虛擬雙眼深度和將前面或感知距離背后的顯示屏幕。在觀看3d的顯示，其收斂和調(diào)節(jié)會(huì)分開且不是相等的。因此，眼睛疲勞問題實(shí)質(zhì)上是由于3d立體內(nèi)容在顯示器上觀看而引起非自然的觀看，其中 人的眼睛是非自然的觀看習(xí)慣，此種非自然的觀看的程度，在一個(gè)可容忍的范圍內(nèi)，是可以通過3d立體內(nèi)容影像本身來判斷。

在3d立體內(nèi)容的收斂和調(diào)整的分離程度是由3d立體內(nèi)容的水平視差特性來決定。值得注意的是，有一個(gè)區(qū)域或是收斂調(diào)節(jié)分離的范圍通常是人的眼睛可以接受的范圍且在此區(qū)域或是此范圍內(nèi)最小的眼睛疲勞和應(yīng)變可能會(huì)存在。3d立體內(nèi)容的水平視差的理想是在這個(gè)區(qū)域或范圍內(nèi)，以避免不良觀看癥狀。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明提供一種在3d顯示器上觀看影像時(shí)實(shí)現(xiàn)自動(dòng)對(duì)焦功能的方法以及系統(tǒng)，此自動(dòng)對(duì)焦的方法及系統(tǒng)采用眼球軌跡技術(shù)、深度圖攝像系統(tǒng)來達(dá)成。

本發(fā)明所涉及的3d自動(dòng)對(duì)焦顯示方法及其系統(tǒng)的另一目的在于，建立一個(gè)3d系統(tǒng)可以模擬自然觀看(naturalviewing)。因此，本發(fā)明所涉及的3d自動(dòng)對(duì)焦顯示方法及其系統(tǒng)不須要眼鏡或其他輔助用具來觀看，以增加方便性以及擴(kuò)大應(yīng)用性以最佳化模擬自然觀看的環(huán)境。

自然觀看的模擬進(jìn)一步是通過眼球追蹤技術(shù)系統(tǒng)(eyetrackingtechnologysystem)來實(shí)現(xiàn)。對(duì)于觀看者的眼睛來說，一個(gè)3d顯示系統(tǒng)的調(diào)節(jié)是指觀看者的眼睛其距離顯示器以及可以假設(shè)至觀看者或是3d影像在彼此之間沒有相對(duì)的移動(dòng)之下所表示的固定距離。觀看者的眼睛的收斂點(diǎn)(或稱聚焦點(diǎn))是根據(jù)在任何情況下來呈現(xiàn)的物體及3d內(nèi)容的場(chǎng)景，因此不是固定的。因此，為了確定在關(guān)于觀看者的眼睛的焦點(diǎn)到顯示的坐標(biāo)將提出一個(gè)自動(dòng)對(duì)焦顯示系統(tǒng)，以便更好地表示自然的觀看的能力。

根據(jù)以上所述顯示及眼球追蹤系統(tǒng)，本發(fā)明提供一種3d自動(dòng)對(duì)焦顯示方法，其包含兩種系統(tǒng)的整合。其方法包括先顯示3d立體內(nèi)容影像，其中觀看者的眼球聚焦在實(shí)體空間的特定點(diǎn)上。接著執(zhí)行眼球追蹤步驟，其中可以得到觀看者的焦點(diǎn)坐標(biāo)(x1，y1)，并利用眼球追蹤系統(tǒng)來判斷觀看者的焦點(diǎn)坐標(biāo)(x1，y1)。然后再將此觀看者的焦點(diǎn)坐標(biāo)(x1，y1)映射至顯示器坐標(biāo)(x2，y2)，其表示為顯示器的像素坐標(biāo)(pixelcoordinate)。對(duì)影像執(zhí)行景深映射步驟以得到相對(duì)應(yīng)影像的深度圖。此深度圖可以利用硬件元件或是透過利用景深結(jié)構(gòu)運(yùn)算來處理3d立體影像來得到。相對(duì)于影像的顯示器坐標(biāo)(x2，y2)做為3d立體顯示器系統(tǒng)影像處理模塊的輸入?yún)?shù)。其影像處理模塊利用輸入顯示器坐標(biāo)(x2，y2)以及利用影像深度圖來確認(rèn)影像在座標(biāo)上那個(gè)區(qū)域。影像深度圖是影像的區(qū)域的識(shí)別的因素，即影像深度圖是由不同區(qū)域的區(qū)段的結(jié)合，其中每一區(qū)段定義為影像的一組像素，其具有相同的深度值或是在同一個(gè)深度值的范圍內(nèi)。影像處理模塊利用影像與深度數(shù)據(jù)的結(jié)合來修正3d立體影像， 其體現(xiàn)了顯示器坐標(biāo)(x2，y2)將成為焦點(diǎn)。接著影像處理模塊通過形成子像素圖案(rgb圖案)來輸出修正后的聚焦影像以及將其輸出至顯示器以形成子像素圖案以及輸出至顯示器以便于觀看。

根據(jù)上述3d自動(dòng)對(duì)焦顯示方法，本發(fā)明還涉及一種3d自動(dòng)對(duì)焦系統(tǒng)，其不需要眼鏡就可以顯示立體內(nèi)容以及3d立體自動(dòng)對(duì)焦影像特征。3d自動(dòng)對(duì)焦顯示系統(tǒng)包含3d自動(dòng)立體顯示模塊(3dauto-stereoscopicdisplaymodule)、前視影像選取感測(cè)模塊(frontviewerimagecapturingsensormodule)(眼球追蹤相機(jī))，用以直接執(zhí)行眼球追蹤功能以得到影像的第一焦點(diǎn)坐標(biāo)(x1，y1)、后視影像選取感測(cè)模塊(rearviewerimagecapturingsensormodule)(立體深度相機(jī))，用以選取立體影像及/或隨著影像深度圖選取2d影像。此系統(tǒng)也包含多個(gè)影像處理模塊。影像處理模塊用于形成、增益以及輸出以顯示3d立體影像。3d立體影像是利用2d影像以及相對(duì)于2d影像的深度圖訊息來形成。3d立體影像的增益是通過在3d立體影像上執(zhí)行數(shù)個(gè)影像分析以及過濾運(yùn)算以及利用影像數(shù)據(jù)以及深度圖數(shù)據(jù)來修正3d立體影像。另一個(gè)影像處理模塊是利用外插法(extrapolating)來外插第一焦點(diǎn)坐標(biāo)(x1，y1)來執(zhí)行自動(dòng)對(duì)焦以及將觀看者的焦點(diǎn)坐標(biāo)(x1，y1)轉(zhuǎn)譯成相對(duì)于顯示模塊的顯示器焦點(diǎn)坐標(biāo)(x2，y2)(第二坐標(biāo))，接著對(duì)影像的區(qū)段進(jìn)行確認(rèn)以體現(xiàn)顯示器坐標(biāo)(x2，y2)以及形成合適的立體增益影像以確認(rèn)所顯示的立體影像是在焦點(diǎn)上。最后的影像處理模塊具有輸入以及增益立體影像以及接著執(zhí)行rgb次像素運(yùn)算以輸出立體影像至顯示模塊上。

附圖說明

圖1為本發(fā)明的3d自動(dòng)對(duì)焦顯示方法的各步驟流程示意圖。

圖2為本發(fā)明的3d自動(dòng)對(duì)焦顯示系統(tǒng)方塊圖。

圖3為后視影像選取感測(cè)模塊為立體攝像裝置時(shí)，于顯示模塊上得到3d立體圖的示意圖。

圖4為后視影像選取感測(cè)模塊為時(shí)間測(cè)距攝像裝置時(shí)，于顯示模塊上得到3d立體圖的示意圖。

圖5至圖7為本發(fā)明的3d影對(duì)焦的各步驟示意圖。

附圖標(biāo)號(hào)說明

23d自動(dòng)對(duì)焦顯示系統(tǒng)

21前視影像選取感測(cè)模塊

23后視影像選取感測(cè)模塊

25影像處理模塊

27顯示模塊

30第一聚焦焦點(diǎn)

302第二聚焦焦點(diǎn)

304第三聚焦焦點(diǎn)

具體實(shí)施方式

首先請(qǐng)參考圖1，圖1表示本發(fā)明所涉及3d自動(dòng)對(duì)焦顯示方法的各步驟流程示意圖。在圖1中，步驟11，提供3d立體影像。接著于步驟111，對(duì)影像執(zhí)行眼球追蹤(eye-tracking)步驟，其中啟動(dòng)或是使用前視影像選取感測(cè)模塊。眼球追蹤步驟會(huì)得到觀看者的眼球的焦點(diǎn)坐標(biāo)(focalpointcoordination)(x1，y1)。步驟113，將焦點(diǎn)坐標(biāo)(x1，y1)映射至顯示器的坐標(biāo)位置以得到相對(duì)于在顯示器上的影像的所在位置的焦點(diǎn)坐標(biāo)為(x2，y2)。另外于步驟121，于執(zhí)行步驟111時(shí)，也同時(shí)對(duì)影像執(zhí)行景深映射(depthmap)步驟以得到原始影像的影像檔案組(imagefileset)以及其相對(duì)應(yīng)的深度圖。接著，于步驟123，判斷影像檔案組是否為3d立體影像，若否，則執(zhí)行步驟125，將影像檔案組利用深度圖轉(zhuǎn)換成3d立體影像，若是，則執(zhí)行步驟127，利用景深映射步驟修正或是增強(qiáng)影像檔案組，藉此以得到此影像的3d立體影像及影像的深度圖。

接著于步驟13，利用3d影像自動(dòng)對(duì)焦步驟將相對(duì)于影像的焦點(diǎn)坐標(biāo)的顯示器坐標(biāo)(x2，y2)、3d立體影像以及影像深度映射來執(zhí)行影像處理，相對(duì)于焦點(diǎn)坐標(biāo)(x2，y2)而形成新的具有對(duì)焦校正的3d立體影像。步驟15，執(zhí)行子像素映射(subpixelmapping)步驟，在3d立體影像中已經(jīng)經(jīng)過對(duì)焦校正。最后于步驟17，輸出3d立體影像對(duì)焦校正影像其可以在顯示器上體現(xiàn)焦點(diǎn)坐標(biāo)(x2，y2)。

更明確來說，根據(jù)本發(fā)明所涉及的3d自動(dòng)對(duì)焦顯示方法是將兩個(gè)系統(tǒng)整合。其方法包括3d立體內(nèi)容的顯示影像，如步驟11，其觀看者的眼睛聚焦在實(shí)體空間的特定點(diǎn)上。接著，執(zhí)行眼球追蹤步驟，如步驟111，該步驟用以得到觀看者的焦點(diǎn)坐標(biāo)(x1，y1)，并利用眼球追蹤系統(tǒng)來判斷觀看者的焦點(diǎn)坐標(biāo)(x1，y1)。接下來，將觀看者的焦點(diǎn)坐標(biāo)(x1，y1)映射至顯示器的坐標(biāo)(x2，y2)，如步驟113，其顯示器的坐標(biāo)(x2，y2)由顯示器的像素坐標(biāo)來表示。在影像上執(zhí)行深度映射步驟是為了得到相對(duì)應(yīng)影像的深度圖，如步驟121。深度圖可以利用硬件得到或利用深度影像處理運(yùn)算來處理3d立體影像來得到。顯示器的坐標(biāo)(x2，y2)相對(duì)應(yīng)于影像是用來作為本發(fā)明所涉及的3d自動(dòng)對(duì)焦顯示系統(tǒng)2的影像處理模塊25的 輸入?yún)?shù)。影像處理模塊25判斷該影像的區(qū)域坐標(biāo)是利用所輸入的顯示器的坐標(biāo)(x2，y2)的位置以及利用影像深度映射。影像深度映射是影像的區(qū)域的卻識(shí)別因素。就其他方面來說，深度映射是不同區(qū)域的區(qū)段的結(jié)合。每一個(gè)區(qū)段定義為影像的像素的集合，該集合具有相同的深度值或是在相同的深度值的范圍內(nèi)。影像處理模塊25體現(xiàn)顯示器的坐標(biāo)(x2，y2)且在校正后會(huì)聚焦。影像處理模塊接著25輸出校正聚焦影像，這個(gè)校正影像是由次像素圖案(rgb圖案)所形成并對(duì)觀看者來輸出次像素圖案。

接著，請(qǐng)參考圖2，圖2表示本發(fā)明所涉及的3d自動(dòng)對(duì)焦顯示系統(tǒng)方塊圖。在圖2中，3d自動(dòng)對(duì)焦顯示系統(tǒng)2包括前視影像選取感測(cè)模塊(frontviewerimagecapturingsensormodule)21、后視影像選取感測(cè)模塊(rearviewerimagecapturingsensormodule)23、影像處理模塊(imageprocessingmodule)25及顯示模塊(displaymodule)27，其中影像處理模塊25分別與前視影像選取感測(cè)模塊21、后視影像選取感測(cè)模塊23及顯示模塊27彼此電性連接。其中前視影像選取感測(cè)模塊21用以對(duì)影像執(zhí)行眼球追蹤功能，以得到影像所在位置的焦點(diǎn)坐標(biāo)(x1，y1)，于本發(fā)明的實(shí)施例中，前視影像選取感測(cè)模塊21可以是具有紅外線傳感器的攝像模塊(cameramodule)，其與影像瞳孔檢測(cè)處理(imagepupildetectionprocessing)相結(jié)合而能夠?qū)⒂^看者的眼球中的焦點(diǎn)予以定位。

后視影像選取感測(cè)模塊23，用以對(duì)影像進(jìn)行影像選取，且為本發(fā)明中立體影像的來源。在本發(fā)明的較佳實(shí)施例中，后視影像選取感測(cè)模塊23可以是具有時(shí)間測(cè)距的傳感器(time-of-flightsensor)的立體攝像模塊(stereocameramodule)。此種影像模塊可以以本機(jī)來選取立體影像，以及使用飛行傳感器來選取相對(duì)于深度圖的影像。對(duì)于另一種的后視影像選取感測(cè)模塊其包括不具有時(shí)間測(cè)距的傳感器的立體攝像裝置以及2d影像傳感器，但并不限于此。這些模塊可以經(jīng)過利用立體或是2d影像的影像處理方式來建立體及深度圖并且將其輸出。

影像處理模塊25，用以執(zhí)行影像處理步驟。此影像處理步驟包括立體影像及相對(duì)應(yīng)的深度圖的識(shí)別和建立影像數(shù)據(jù)組(imagedataset)，一個(gè)立體影像的和其相應(yīng)的深度圖。影像處理模塊25處理觀看者的眼球的焦點(diǎn)坐標(biāo)(x1，y1)并將其映射(mapping)至另一個(gè)相對(duì)于顯示模塊27的顯示器的焦點(diǎn)坐標(biāo)(x2，y2)以及執(zhí)行自動(dòng)對(duì)焦增益及校正步驟，使得顯示器的焦點(diǎn)坐標(biāo)(x2，y2)可以體現(xiàn)在顯示模塊27中。

當(dāng)經(jīng)過影像處理模塊25處理之后，校正后的3d立體影像可以體現(xiàn)顯示器的焦點(diǎn)坐標(biāo)(x2，y2)，且傳送至可以顯示3d立體影像的顯示模塊27，使得對(duì)于與影像區(qū)段具有特定焦聚的觀看者來顯示3d立體影像。

根據(jù)上述，請(qǐng)接著參考圖3，圖3表示后視影像選取感測(cè)模塊為立體攝像裝置時(shí)，于顯示模塊上得到3d立體影像的示意圖。在圖3中，立體影像可以包含三個(gè)影像(例如心型、星星及笑臉)。在此立體影像的中心為虛線，此虛線是用來表示圖3的影像是具有深度的影像，并且同時(shí)具有左側(cè)影像及右側(cè)影像，但這些都是由相同的影像如心型、星星及笑臉通過不同的觀看者的聚焦位置選取到的影像所產(chǎn)生的。影像處理模塊25最后執(zhí)行3d子像素映射步驟。此子像素映射步驟是將左側(cè)和右側(cè)的影像合并形成rgb影像，并可以輸出至顯示模塊27讓觀看者可以看到一個(gè)正確3d對(duì)焦立體影像。

請(qǐng)參考圖4，圖4表示由具有其相對(duì)應(yīng)的深度圖的顯示模塊得到的影像的示意圖。于相對(duì)應(yīng)的深度圖可以由幾種方式得到其包括，但不限于此，時(shí)間測(cè)距傳感器、深度圖計(jì)算集成電路(depthmapcalculatingintegratedcircuit)以及軟件影像處理運(yùn)算(softimageprocessingalgorithms)由2d或3d立體影像來建構(gòu)深度圖。一般的深度圖具有一組深度值其分配至其對(duì)應(yīng)的影像的每一個(gè)像素。在本發(fā)明中，影像處理模塊25處理這些深度值并且利用影像處理運(yùn)算來定義區(qū)段或根據(jù)深度值的范圍來定義深度值的區(qū)域。本發(fā)明的自動(dòng)對(duì)焦影像處理利用深度圖來確定影像的區(qū)段，并通過其相對(duì)應(yīng)的深度圖來定義，以體現(xiàn)了第二焦點(diǎn)坐標(biāo)(x2，y2)及根據(jù)影像的區(qū)段或是部份的影像來建立校正后的對(duì)焦立體影像，以體現(xiàn)在此區(qū)段中的影像。

圖5至圖7表示3d影對(duì)焦的各步驟示意圖。當(dāng)顯示器提供觀看者(或者使用者)觀看3d立體影像時(shí)，感知3d影像會(huì)同時(shí)在觀看者的左眼及右眼中產(chǎn)生深度(depth)和視差差距(parallaxdisparity)兩種視覺影像。但左眼和右眼在觀看3d立體影像時(shí)，會(huì)先產(chǎn)生第一聚焦焦點(diǎn)30。攝像系統(tǒng)面對(duì)觀看者且具有追蹤觀看者的眼球以及經(jīng)由影像感測(cè)和軟件影像處理的結(jié)合來得到觀看者的焦點(diǎn)，即當(dāng)觀看者看著圖6中的星星時(shí)，在觀看者的眼中會(huì)產(chǎn)生視差差距，在所觀察的星星上則會(huì)有另一第二聚焦焦點(diǎn)302。因?yàn)樾切鞘?d立體影像，在顯示器上不同的位置與觀看者的眼球的距離及深淺(或指距離熒幕的遠(yuǎn)近)有所不同，因此在觀看一個(gè)3d立體影像(星星)時(shí)會(huì)產(chǎn)生視差差距。

接著請(qǐng)繼續(xù)參考圖7。攝像系統(tǒng)中的后視攝像選取感測(cè)模塊是沿著影像的深度圖來得到觀看影像的深度映射訊息。在圖7中，在心型圖案上具有觀察者在觀看時(shí)的另一聚焦焦點(diǎn)304，觀看者在觀看圖面左邊的心型時(shí)，通過此第三聚焦焦點(diǎn)304利用后視攝像選取感測(cè)模塊來取得心型的深度映射訊息，最后再利用影像傳感器及軟件影像處理的結(jié)結(jié)構(gòu)來得到該心型影像的深度圖訊息。最后根據(jù)上述重新計(jì)算觀看者的眼球至顯示器之間的距離以及根據(jù)眼球追蹤系統(tǒng)將眼球所看到的每一個(gè)深淺不一的影像(或可以稱為像素)結(jié)合，而得到3d立體影像。

在此說明書中，本發(fā)明已參照其特定的實(shí)施例作了描述。但是，很顯然仍可以作出各種修改和變換而不背離本發(fā)明的精神和范圍。因此，說明書和附圖應(yīng)被認(rèn)為是說明性的而非限制性的。