拍攝裝置的制作方法

技術領域

本發(fā)明涉及生成合成圖像的拍攝裝置。

背景技術：

傳統(tǒng)，已知有與一個微透鏡對應具備多個拍攝像素，將一次攝影取得的圖像數(shù)據(jù)在攝影后合成，生成任意焦點位置的圖像的拍攝裝置(例如，專利文獻1、2及非專利文獻1)。

專利文獻1：日本特開2007-4471號公報

專利文獻2：US2007/0252047號公報

非專利文獻1：Light Field Photography with a Handheld Plenoptic camera,Stanford tech report CTSR2005-02

技術實現(xiàn)要素：

但是，存在生成的圖像成為與微透鏡排列數(shù)相同的分辨率，生成的圖像的分辨率比拍攝像素排列密度顯著降低的問題。而且，存在合成圖像生成時運算處理非常繁瑣的問題。

根據(jù)本發(fā)明第1方式，拍攝裝置具備：多個微透鏡，其在成像光學系統(tǒng)的焦點面附近二維狀地配置；拍攝元件，其由元件群與上述微透鏡分別對應地二維狀地配置而成，上述元件群包含經(jīng)由上述微透鏡接受通過上述成像光學系統(tǒng)的來自被攝體的光束并輸出圖像信號的多個光電變換元件；和合成部，其為了生成與上述成像光學系統(tǒng)的任意成像面中的多個成像區(qū)域對應的合成圖像數(shù)據(jù)，根據(jù)按每個上述成像區(qū)域來特定輸出用于生成上述合成圖像數(shù)據(jù)的上述圖像信號的上述光電變換元件的位置的信息，合成從上述多個光電變換元件輸出的上述圖像信號。

根據(jù)本發(fā)明第2方式，優(yōu)選的是，第1方式的拍攝裝置中，上述多個成像區(qū)域設置與上述微透鏡相同的數(shù)量以上，上述成像區(qū)域的各自的配置間隔與多個上述微透鏡的各自的配置間隔具有比例關系。

根據(jù)本發(fā)明第3方式，優(yōu)選的是，第1或第2方式的拍攝裝置中，按每個上述成像區(qū)域來特定輸出用于生成上述合成圖像數(shù)據(jù)的上述圖像信號的上述光電變換元件的位置的信息，包括按每個上述成像區(qū)域來特定輸出用于生成上述合成圖像數(shù)據(jù)的上述圖像信號的上述光電變換元件的位置的表。

根據(jù)本發(fā)明第4方式，優(yōu)選的是，第3方式的拍攝裝置中，具備按每個上述任意成像面作成上述表的作成部。

根據(jù)本發(fā)明第5方式，優(yōu)選的是，第3或第4方式的拍攝裝置中，上述表，按每個上述成像區(qū)域，以上述微透鏡的偽光軸為基準，將上述光電變換元件的配置位置標準化，以與上述成像區(qū)域對應的上述微透鏡為基準，相對地特定與上述光電變換元件的配置位置對應的上述微透鏡的配置位置。

根據(jù)本發(fā)明第6方式，優(yōu)選的是，第3至第5方式的拍攝裝置中，上述表，通過表示以上述成像區(qū)域為基準，以將上述微透鏡的焦點距離除以合成圖像數(shù)據(jù)的光圈值(光闌值)后的值為直徑的區(qū)域所包含的上述光電變換元件的配置位置與上述多個微透鏡中的哪一個上述微透鏡對應，來特定上述光電變換元件的位置。

根據(jù)本發(fā)明第7方式，優(yōu)選的是，第1至第6方式的拍攝裝置中，上述多個微透鏡的各個在與上述攝影光學系統(tǒng)的光軸正交的平面上具有六角形形狀，上述多個微透鏡二維狀地蜂窩排列。

根據(jù)本發(fā)明第8方式，優(yōu)選的是，第7方式的拍攝裝置中，具備將上述合成部生成的上述合成圖像數(shù)據(jù)的水平方向和垂直方向的比率變換為1的變換單元。

根據(jù)本發(fā)明，按每個任意成像面作成特定用于生成多個成像區(qū)域的各個的合成圖像數(shù)據(jù)的光電變換元件的位置的表，根據(jù)表生成合成圖像數(shù)據(jù)，因此可以高速生成分辨率高的合成圖像數(shù)據(jù)。

附圖說明

圖1是本發(fā)明實施方式的數(shù)字拍攝機的構成的說明圖。

圖2是微透鏡和拍攝元件的配置的一例示圖。

圖3是實施方式中的微透鏡和基點像素的位置關系的說明圖。

圖4是合成圖像的生成原理的說明圖。

圖5是用于生成合成圖像的積分(累計)區(qū)域和拍攝像素的關系的示圖。

圖6是輸出用于對基點信號積分的圖像信號的拍攝像素的位置關系的一例示圖。

圖7是環(huán)帶和微透鏡的關系的一例示圖。

圖8是基點像素從微透鏡的偽光軸偏心時的積分區(qū)域的示圖。

圖9是變形例中的微透鏡的形狀和基點像素的說明圖。

圖10是從光點發(fā)出的光束由拍攝像素的受光面截取的光截面的說明圖。

圖11是微透鏡和光截面的關系的說明圖。

圖12是微透鏡和光截面的關系的說明圖。

圖13是在基點微透鏡展開了區(qū)域分割時的光截面的說明圖。

圖14是光點相對于基點微透鏡的偽光軸偏心時的分割區(qū)域的說明圖。

具體實施方式

本實施方式的數(shù)字拍攝機(數(shù)字相機)利用經(jīng)由微透鏡陣列攝影取得的圖像信號具有深度信息等波面信息的情況，通過數(shù)值處理，生成具有用戶期望的景深和焦點位置的圖像數(shù)據(jù)。經(jīng)由拍攝透鏡入射的被攝體光束在微透鏡陣列附近成像。此時，根據(jù)被攝體位置，光束成像的位置在拍攝透鏡的光軸方向上不同，而且被攝體若為三維物體，則被攝體光束不在同一平面上成像。本實施方式的數(shù)字拍攝機生成用戶期望的在光軸方向的成像位置再現(xiàn)成像的被攝體的像的圖像。

而且，本實施方式的數(shù)字拍攝機構成為可生成具有比微透鏡陣列所包含的微透鏡數(shù)目更大分辨率的合成圖像，作為上述圖像。即，與一個微透鏡對應，輸出成為合成圖像的各像素的圖像信號的拍攝像素(基點像素)設置多個。并且，數(shù)字拍攝機為了形成與用戶選擇對應的焦點位置的合成圖像，向從基點像素輸出的圖像信號累加從周邊配置的拍攝像素輸出的圖像信號，生成與合成圖像的1像素量的成像區(qū)域相當?shù)暮铣蓤D像信號，作成焦點位置可變的合成圖像。以下，詳細說明。

圖1是實施方式的數(shù)字拍攝機的構成圖。數(shù)字拍攝機1構成為，具有拍攝透鏡L1的交換透鏡2可拆裝。數(shù)字拍攝機1具備拍攝單元100、控制電路101、A/D變換電路102、存儲器103、操作部108、顯示器109、LCD驅動電路110及存儲卡接口111。拍攝單元100具備多個微透鏡120二維狀排列的微透鏡陣列12及拍攝元件13。另外，以下說明中，Z軸設定成與拍攝透鏡L1的光軸平行，在與Z軸正交的平面內(nèi)，X軸和Y軸設定成相互正交的方向。

拍攝透鏡L1包括多個光學透鏡群，使來自被攝體的光束在其焦點面附近成像。另外，為了便于說明，圖1用一塊透鏡代表表示了拍攝透鏡L1。在拍攝透鏡L1的焦點面附近，順序配置微透鏡陣列12和拍攝元件13。拍攝元件13包括具有多個光電變換元件的CCD和/或CMOS圖像傳感器。拍攝元件13拍攝在拍攝面上成像的被攝體像，由控制電路101控制，將與被攝體像相應的光電變換信號(圖像信號)向A/D變換電路102輸出。另外，拍攝單元100詳細說明將后述。

A/D變換電路102是對拍攝元件13輸出的圖像信號進行模擬處理后變換為數(shù)字圖像信號的電路?？刂齐娐?01由CPU和/或存儲器等周邊電路構成。控制電路101根據(jù)控制程序，用從構成數(shù)字拍攝機1的各部輸入的信號，進行預定運算，對數(shù)字拍攝機1的各部送出控制信號，控制攝影工作。另外，如后述，控制電路101根據(jù)響應光圈值輸入按鈕108a操作而從操作部108輸入的操作信號，確定由用戶選擇的合成圖像的光圈值。如后述，控制電路101根據(jù)響應焦點位置輸入按鈕108b操作而從操作部108輸入的操作信號，確定合成圖像的焦點位置。

控制電路101功能上具備表生成部105、圖像積分(累計)部106及圖像標準化部107。表生成部105用根據(jù)光圈值輸入按鈕108a的操作而確定的合成圖像的光圈值，作成合成像素所屬表。圖像積分部106用根據(jù)焦點位置輸入按鈕108b的操作而確定的合成圖像的焦點位置和由表生成部105作成的合成像素所屬表，從圖像信號生成合成圖像數(shù)據(jù)。如后述，圖像標準化部107以與圖像積分部106生成的合成圖像數(shù)據(jù)對應的合成圖像縱橫比(水平方向和垂直方向的比)成為1：1的方式進行校正。另外，表作成部105、圖像積分部106及圖像標準化部107的詳細情況將后述。

存儲器103是易失性存儲介質，用于暫時地存儲由A/D變換電路102數(shù)字變換后的圖像信號和/或圖像處理、圖像壓縮處理及顯示用圖像數(shù)據(jù)作成處理途中和/或處理后的數(shù)據(jù)。存儲卡接口111是可拆裝存儲卡111a的接口。存儲卡接口111是根據(jù)控制電路101的控制，向存儲卡111a寫入圖像數(shù)據(jù)或者讀出在存儲卡111a記錄的圖像數(shù)據(jù)的接口電路。存儲卡111a是Compact flash(注冊商標)和/或SD卡等的半導體存儲卡。

LCD驅動電路110是根據(jù)控制電路101的命令，驅動顯示器109的電路。顯示器109包括例如液晶等，根據(jù)重放模式中在存儲卡111a記錄的圖像數(shù)據(jù)，顯示由控制電路101作成的顯示數(shù)據(jù)。另外，在顯示器109顯示用于設定數(shù)字拍攝機1的各種工作的菜單畫面。

操作部108接受用戶操作，向控制電路101輸出與操作內(nèi)容相應的各種操作信號。操作部108包含光圈值輸入按鈕108a、焦點位置輸入按鈕108b、電源按鈕、釋放按鈕、其他設定菜單的顯示切換按鈕、設定菜單確定按鈕等。光圈值輸入按鈕108a在合成圖像的光圈值F輸入時由用戶操作。用戶操作光圈值輸入按鈕108a，選擇光圈值F后，操作部108向控制電路101輸出操作信號。焦點位置輸入按鈕108b在合成圖像的焦點位置y輸入時由用戶操作。用戶操作焦點位置輸入按鈕108b，選擇焦點位置y后，操作部108向控制電路101輸出操作信號。

接著，詳細說明拍攝單元100的構成。拍攝單元100具有如上所述的微透鏡陣列12和拍攝元件13。微透鏡陣列12包括二維狀排列的多個微透鏡120。拍攝元件13中，接收通過上述各微透鏡120的光的像素排列130以與微透鏡120對應的配置圖案配置。各個像素排列130包括二維狀排列的多個光電變換元件131(以下，稱為拍攝像素131)。

圖2(a)表示按微透鏡陣列12排列的微透鏡120的XY平面的平面圖。如圖2(a)所示，微透鏡陣列12在XY平面上，由例如六角形形成的多個微透鏡120蜂窩排列而成。另外，圖2(a)表示在微透鏡陣列12設置的多個微透鏡120中的部分微透鏡120。圖2(b)是在拍攝透鏡L1的光軸方向(Z軸方向)中、拍攝透鏡L1、微透鏡陣列12和拍攝元件13的位置關系的說明圖。如圖2(b)所示，拍攝元件13配置在按微透鏡120的焦點距離f離開的位置。即，具有多個拍攝像素131的像素排列130設置在按與各像素排列130分別對應的微透鏡120的焦點距離f離開的位置。另外，圖2(b)中，表示了在微透鏡陣列12設置的多個微透鏡120和在拍攝元件13設置的多個像素排列130及多個拍攝像素131一部分。

采用從具有上述構成的拍攝元件13輸出的圖像信號，圖像積分部106作成合成圖像數(shù)據(jù)。圖像積分部106將與某微透鏡120對應設置的像素排列130所包含的拍攝像素131中預定的拍攝像素131(以下，稱為基點像素132(圖3))輸出的圖像信號(以下，稱為基點信號)和與基點像素132對應的微透鏡120及附近設置的微透鏡120對應的像素排列130所包含的拍攝像素131輸出的圖像信號合成。結果，圖像積分部106生成與1像素相當?shù)暮铣蓤D像信號。圖像積分部106對與各微透鏡120對應的基點像素全部進行上述處理，將生成的各個合成圖像信號累加，生成合成圖像數(shù)據(jù)。

圖像積分部106在如上所述生成合成圖像信號時，參照表作成部105作成的合成像素所屬表。合成像素所屬表表示：輸出用于合成到基點信號的圖像信號的拍攝像素131配置在與哪個微透鏡120對應的像素排列130的哪個位置。以下，說明圖像積分部106采用從拍攝像素131輸出的圖像信號生成合成圖像信號的處理和表作成部105作成合成圖像所屬表的處理。

圖3表示與各微透鏡120即各像素排列130對應設置的基點像素。圖3中，也表示了多個微透鏡120中的部分微透鏡120。如圖3所示，本實施方式中，相對于一個微透鏡120，設置例如4個基點像素132a～132d。通過使基點像素132的個數(shù)為多個，可以減少焦點位置不可變的區(qū)域。即，基點像素132為1個的場合，上述區(qū)域的大小為±2f(f是微透鏡120的焦點距離)，而通過使基點像素132為多個，最少可將上述區(qū)域的大小設為±f。而且，通過增加基點像素132的個數(shù)，可以增加合成圖像數(shù)據(jù)的像素數(shù)。從而，圖3所示場合中，合成圖像數(shù)據(jù)的像素數(shù)成為在微透鏡陣列12排列的微透鏡120的個數(shù)4倍。

圖3中，基點像素132a與微透鏡120的偽光軸對應配置。另外，本實施方式中，將偽光軸設為從拍攝透鏡L1的光瞳入射的光束的中心和微透鏡120的主面的交點來說明。圖3中，表示微透鏡120的幾何學的中心和偽光軸一致的情況。基點像素132b、132d在相鄰的微透鏡120附近配置，基點像素132c在與相鄰的微透鏡120的邊界線上對應配置。另外，以下說明中，與基點像素132對應的微透鏡120稱為基點微透鏡121。

-合成圖像信號的生成-

首先，說明圖4(a)所示的被攝體的像在微透鏡120的頂點成像時、即焦點面S存在于微透鏡120的頂點時合成圖像的生成原理。該場合的來自被攝體的光束入射與微透鏡120對應設置的像素排列130的拍攝像素131。圖像積分部106通過對從圖4(a)所示的拍攝像素131中的劃斜線的拍攝像素131輸出的圖像信號積分，生成與合成圖像數(shù)據(jù)1的像素相當?shù)暮铣蓤D像信號。圖像積分部106通過對與全部微透鏡120對應的像素排列130進行該處理，生成合成圖像數(shù)據(jù)。

接著，說明對于某焦點面(成像面)成像的被攝體像，生成合成圖像信號時的原理。如圖4(b)所示，焦點面S存在于從微透鏡120的頂點離開的位置時，來自被攝體的光束入射不同的多個微透鏡120。因而，圖像積分部106為了生成合成圖像信號，必須還采用來自與在基點微透鏡121附近配置的微透鏡120對應配置的拍攝像素131的圖像信號。本實施方式中，相對于一個基點微透鏡121設置多個基點像素132，即，在與微透鏡120的偽光軸對應的位置不同的位置也設置了基點像素132。

圖像積分部106通過對根據(jù)合成圖像的光圈值確定的積分區(qū)域所包含的拍攝像素131輸出的圖像信號全部積分，生成與合成圖像數(shù)據(jù)中的1像素(合成圖像成像區(qū)域)相當?shù)暮铣蓤D像信號。另外，積分區(qū)域由直徑為D的圓表示。積分區(qū)域的直徑D采用根據(jù)光圈值輸入按鈕108a的操作確定的光圈值(合成圖像數(shù)據(jù)的光圈值)F和微透鏡120的焦點距離f，通過以下的式(1)表達。

D＝f/F…(1)

圖5表示積分區(qū)域Rs和拍攝像素131的關系。如上所述，圖像積分部106對從表現(xiàn)為圓形區(qū)域的積分區(qū)域Rs覆蓋的全部拍攝像素131輸出的圖像信號積分。圖5中，向輸出積分的圖像信號的拍攝像素131附上了斜線來表示。微透鏡120是構成微透鏡陣列12的一個透鏡，因此，不能使積分區(qū)域Rs大于由微透鏡120的排列所容許的各微透鏡120的直徑。從而，由合成圖像數(shù)據(jù)容許的最大光圈值Fmax通過以下的式(2)表達。另外，式(2)中“s”表示拍攝像素131的一邊的大小。另外，合成圖像數(shù)據(jù)中的最小光圈值Fmin成為微透鏡120的F值。

Fmax＝f/s…(2)

通過圖像積分部106對從包含基點像素132的像素排列130輸出的圖像信號積分后的合成圖像信號，即積分值通過以下的式(3)表達。另外，式(3)中，P表示從拍攝像素131輸出的圖像信號的輸出值。另外，式(3)的“i”表示合成圖像的光圈值為F時積分區(qū)域Rs覆蓋的拍攝像素131，“0”表示與包括基點像素132的像素排列130對應配置的微透鏡120，即基點微透鏡121。

如上所述，圖像積分部106還采用從與在基點微透鏡121的附近設置的微透鏡120對應的像素排列130所包含的拍攝像素131輸出的圖像信號進行積分。即，圖像積分部106對來自由合成圖像的光圈值F確定的積分區(qū)域Rs覆蓋的拍攝像素131的集合F{i}所包含的全部拍攝像素131，即與包含基點微透鏡121的附近的微透鏡120對應配置的拍攝像素131的像素信號的輸出值進行積分。該場合，輸出值P由以下式的(4)表達。另外，式(4)的“t”表示包含基點微透鏡121的附近的微透鏡120。

圖6表示輸出由圖像積分部106生成一個合成圖像信號時采用的圖像信號的拍攝像素131與基點微透鏡121及附近相鄰的微透鏡120a～120f的關系。另外，圖6中，表示對從基點像素132a輸出的基點信號生成合成圖像信號的情況。若將與圖6所示的基點微透鏡121相鄰的微透鏡120a～120f中分散的各拍攝像素131集中，則構成由圖5所示的合成圖像的光圈值F規(guī)定的區(qū)域即積分區(qū)域Rs覆蓋的多個拍攝像素131。

圖像積分部106進行上述處理對圖像信號積分時，輸出累加到基點信號的圖像信號的拍攝像素131配置在與哪一個微透鏡120對應的像素排列130哪個位置是重要的。因此，式(3)、(4)中“i”表示的拍攝像素131設置為與哪個微透鏡120a～120f對應，即表示拍攝像素131的分散的信息即表，作為合成像素所屬表存儲在預定的存儲區(qū)域。圖像積分部106生成合成圖像信號時，參照該合成像素所屬表。另外，合成像素所屬表設為由以下的式(5)表達。

t＝T_d(i)…(5)

以下，說明合成像素所屬表的作成原理。

圖10表示在微透鏡陣列12中從光點LP發(fā)出并由拍攝像素131的受光面截取的光束LF的光截面LFD。如圖10所示，從光點LP擴散的光束LF通過其前級的拍攝透鏡L1，擴散角受到限制。因此，分別入射各微透鏡120的光束LF不會超出微透鏡120的覆蓋區(qū)域外(圖10中，光截面LFDc、LFDe描繪為一部分超出覆蓋區(qū)域外)。這也可以通過拍攝像素131的受光面與拍攝透鏡L1的光瞳光學共軛來說明。經(jīng)由拍攝透鏡L1攝影時，微透鏡120覆蓋的區(qū)域中出現(xiàn)攝影光瞳像即光的邊界，光束LF不入射其外側。

以上述點為前提進行說明。圖10的微透鏡陣列12中，若對于向與光束LF的光截面LFDa～LFDe(總稱為LFD)對應的拍攝像素131a～131e的入射光量積分，則可獲得來自光點LP的光束LF中的限制到拍攝透鏡L1的光瞳的光束LF的所有輻射量。從而，圖像積分部106對圖像信號積分時，相對于光點LP的z軸方向的坐標運算拍攝像素131的受光元件面的光截面LFD即可。反之，若設置顯示元件、從與光束LF的各光截面LFD對應的各個顯示元件出射光，則必然存在按照與入射相同的方向前進的光束LF，因此“光點LP”成為光束LF的聚點。

如上所述，從光點LP擴散的光束LF的角度由拍攝透鏡L1的光瞳，即，拍攝透鏡L1的F值決定。另外，如顯示系統(tǒng)等那樣不存在拍攝透鏡L1的場合，由微透鏡120的F值規(guī)定開口的最大值(F的最小值)。從而，若僅僅使用微透鏡120的覆蓋區(qū)域的中心部，則可限制開口。

用圖11，通過在微透鏡120上投影來自光點LP的光束LF的擴散，來說明幾個或哪個微透鏡120與某一光截面LFD對應。另外，圖11中，為了便于說明，表示了微透鏡120為正方形排列的情況。另外，圖11中，對從光點LP擴散的光束LF，表示了光點LP的z軸方向位置在微透鏡120的焦點距離f的情況和在為其二倍的2f的情況。圖11中，光點LP位置為f時光束LF的擴散用虛線表示，為2f時用點劃線表示。光點LP若位于微透鏡120的焦點距離f的位置，則光束LP的擴散由微透鏡120規(guī)定(光截面LFD設為圓,但是微透鏡120若直到正方形端部為止光學有效，則成為正方形)，因此，光束LF入射一個微透鏡120內(nèi)。以上，確定與一個光點LP對應的微透鏡120。

光點LP的位置在微透鏡120的焦點距離f時，光束LF作為圓形開口的光擴散到該微透鏡120的正下方的區(qū)域全體。因而，選擇來自內(nèi)切于正方形區(qū)域的圓的內(nèi)部所包括的全部的拍攝像素131的圖像信號即可。光點LP的位置的絕對值比焦點距離f小的場合，光束LF在微透鏡120的正下方的區(qū)域內(nèi)不會聚地擴散。但是，入射光束LF的擴散角受到限制，因此，光截面LFD處在覆蓋區(qū)域。

這里說明光點LP的位置在2f的情況。圖12表示與該情況有關的微透鏡120。如圖12(a)所示，有關的微透鏡120是自身即基點微透鏡121和與其相鄰的8個微透鏡120?？紤]微透鏡120對開口的限制時，在圖12(a)中的斜線表示的覆蓋區(qū)域中存在光截面LFD。該場合，各微透鏡120形成的光截面LFD成為由圖12(b)的斜線表示的區(qū)域。

如圖12(b)所示，將一個基點微透鏡121的覆蓋區(qū)域分割，向相鄰的微透鏡120分配。對分割后分配的覆蓋區(qū)域(部分區(qū)域)積分時的整體區(qū)域成為一個微透鏡120的開口區(qū)域。因此，不管哪個位置的光點LP，光截面LFD的整體區(qū)域的大小都相同，因此，對部分區(qū)域積分來算出整體區(qū)域的場合，確定各個部分區(qū)域所屬的微透鏡120即可。

圖11中，表示了光點LP的位置和倍率即與基點微透鏡121相鄰的微透鏡120的個數(shù)和關系，將其適用到假想的開口區(qū)域。本實施例中，采用下述方法：以按倍率縮小的微透鏡120的排列分割開口區(qū)域，在由此定義的微透鏡120中的相同位置配置開口區(qū)域的片斷。以下述情況為例說明：按倍率2縮小外切于開口區(qū)域的正方形，以微透鏡120的排列分割開口區(qū)域(區(qū)域分割)。

圖13表示在基點微透鏡121展開上述區(qū)域分割時的光截面LFD。若根據(jù)倍率進行同樣的區(qū)域分割，則可獲得倍率、即相對于光點LP的光截面LFD的圖形。具體地說，微透鏡120的直徑(微透鏡的一邊的大小)設為g時，用g/m寬度的格子分割開口區(qū)域。倍率可以用光點LP的高度(位置)y和微透鏡的焦點距離f之比m＝y(tǒng)/f表達。比m也存在負符號。比m的符號為負的場合，光點LP與微透鏡120相比，處于拍攝元件13側。

上述例中，說明了光點LP在某微透鏡120的透鏡中心軸即偽光軸上存在的情況，但是實際上即使偏心，計算上也沒有問題。若僅僅可在透鏡中心上運算，則合成圖像的二維分辨率等于微透鏡120的個數(shù)，但是通常這是完全不夠的。其理由是因為，微透鏡120覆蓋的拍攝像素131的數(shù)目若設為100，則合成圖像的分辨率成為像素數(shù)目的1/100。因而，為了獲得100萬像素的合成圖像，需要1億個拍攝像素131。因而，設為進行偏心位置處的合成，在微透鏡120內(nèi)，多個光點LP可對應。

微透鏡120的覆蓋區(qū)域和微透鏡120的個數(shù)的積大致等于拍攝像素131的全部像素數(shù)，因此，將在一個微透鏡120內(nèi)偏心的多個點分別設為基點進行合成的情況，等同于重疊使用來自拍攝像素131的圖像信號。即，來自各偏心的光點LP的光束LF重疊存在于拍攝像素131上。但是，倍率為1倍時，該運算成為單純的內(nèi)插操作，對分辨率提高沒有實質貢獻。這表明若在微透鏡120頂點附近成像，則光學的深度方向的信息丟失。

圖14表示了與相對于基點微透鏡121的偽光軸左偏心的光點LP相關的分割區(qū)域。說明從基點微透鏡121(透鏡直徑設為g)的中心即偽光軸向圖14的左方向偏心p、光點LP的高度(位置)為2f的情況。另外，圖14中，點o1表示偏心的光點LP，點o2表示偽光軸。該場合，圖13所示的微透鏡120向圖中右方向偏移p，若分割開口區(qū)域，則獲得圖14所示的場合的分割區(qū)域。

若將微透鏡120分割為16個，若將透鏡中心(偽光軸)的座標設為(0，0)，相對于x軸y軸，分別進行－g/2、－g/4、0、g/4、g/2的位置的圖形及其形成的分割區(qū)域及整體區(qū)域的積分，則可以對一個微透鏡120獲得16點的光點群。

-合成像素所屬表作成處理-

圖像積分部106在對圖像信號積分時，參照合成像素所屬表。如上所述，該合成像素所屬表特定：輸出用于合成到基點信號的圖像信號的拍攝像素131配置在與基點微透鏡121及附近設置的微透鏡120對應的像素排列130的哪個位置。

表生成部105確定合成圖像的焦點位置y和合成圖像的光圈值F(景深)后，作成與輸出用于合成到基點信號的圖像信號的拍攝像素131有關的合成像素所屬表。如上所述，將來自與哪個微透鏡120對應的哪個拍攝像素131的圖像信號累加到基點信號，由合成圖像的焦點位置確定。

圖6(a)表示合成圖像的焦點位置(焦點面)y相對于微透鏡陣列12存在于被拍攝體側的情況。另外，圖6(b)表示合成圖像的焦點位置(焦點面)y相對于微透鏡陣列12存在于拍攝元件13側的情況。如圖6(a)及圖6(b)所示，關于與微透鏡120a對應的拍攝像素131，輸出累加到基點信號的圖像信號的拍攝像素131的配置相應于焦點面的位置而不同。其他的微透鏡120b～120f及基點微透鏡121也同樣不同。

在基點微透鏡121存在多個基點像素132的場合(例如圖3的基點像素132a～132d)，表作成部105對各個基點像素132作成合成像素所屬表。但是，多個基點像素132若相對于基點微透鏡121的偽光軸對稱(對稱性)，則圖像積分部106可將某基點像素132的合成像素所屬表用作其他基點像素132的合成像素所屬表。例如，圖像積分部106可將圖3的基點像素132b的合成像素所屬表用作相對于基點微透鏡121的偽光軸對稱的基點像素132d的合成像素所屬表。

以下，詳細說明表作成部105進行的合成像素所屬表的作成處理。以下說明中，代表性說明與基點微透鏡121的偽光軸對應配置的基點像素132a的合成像素所屬表的作成處理。合成圖像的焦點面存在于離微透鏡陣列12距離y的位置，即焦點距離設為y。而且，從基點微透鏡121通過第n個微透鏡120的偽光軸的光束如以下的式(6)所示，入射離基點微透鏡121的偽光軸距離x的位置。另外，“d”表示各微透鏡120的排列間距。

x＝fnd/y…(6)

若考慮拍攝像素131接受由對應的微透鏡120成像的光束，則來自合成圖像的焦點位置y的來自被攝體的光中的在拍攝元件13的拍攝面中由各微透鏡120照射的光的幅度l，通過以下的式(7)表達。

l＝fd/y…(7)

上述光幅度l在拍攝元件13的二維平面上，由幅度l的環(huán)狀區(qū)域(以下，稱為環(huán)帶)表示。從而，在從基點微透鏡121到在第n個位置配置的微透鏡120中，由合成圖像的光闌值F規(guī)定的光束入射由該環(huán)帶l表示的區(qū)域內(nèi)。如式(7)所示，合成圖像的焦點位置y越大，環(huán)帶l的幅度越小。

本實施例中，各個微透鏡120在xy平面中的形狀為圖3所示的六角形，在微透鏡陣列12上蜂窩狀排列。圖7表示在某合成圖像的光闌值F對應的積分區(qū)域Rs中，n＝1時的環(huán)帶l1及n＝2時的環(huán)帶l2。如圖7所示，n＝1時的環(huán)帶l1由基點微透鏡121及微透鏡120a～120f區(qū)分，分別形成部分區(qū)域Rpa～Rpg。即，各部分區(qū)域Rpa～Rpg分別由不同的微透鏡120覆蓋。從而，圖像積分部106算出來自環(huán)帶l1的各部分區(qū)域Rpa～Rpg所包括的拍攝像素131的圖像信號的輸出值Pi,s。同樣，圖像積分部106對積分區(qū)域Rs即全部環(huán)帶l積分即可。

關于基點微透鏡121及各微透鏡120a～120f，與相鄰的微透鏡120的關系基本同樣。從而，表作成部105對于構成環(huán)帶l1的部分區(qū)域Rpa～Rpg各自所包括的各拍攝像素131，確定某拍攝像素131屬于哪個部分區(qū)域Rp。

對于基點像素132a，將包括輸出被積分的圖像信號的拍攝像素131的積分區(qū)域Rs的直徑設為(D＝f/F)。另外，將各微透鏡120的x軸方向(水平方向)的排列間距d、換言之是內(nèi)切于六角形形狀的各微透鏡120各個的圓的直徑，設為等于積分區(qū)域Rs的直徑的最大值Dmax。而且，以微透鏡120的假想彎曲面為基準，將合成圖像的焦點位置(焦點距離)設為y。該場合，將微透鏡陣列12中的各微透鏡120的排列間距d設為投射倍率即f/y倍而在積分區(qū)域Rs上投影的區(qū)域，與通過各微透鏡120分割環(huán)帶l所成的部分區(qū)域Rp的各個相當。表作成部105使部分區(qū)域Rp所包含的拍攝像素131的位置和與部分區(qū)域Rp對應的微透鏡120相關聯(lián)，作成基點像素132a的合成像素所屬表。表作成部105對于其他基點像素132b～132d，也同樣作成合成像素所屬表。另外，與部分區(qū)域Rp對應的微透鏡120的位置特定為以基點微透鏡121的位置為基準的相對位置。

另外，表作成部105對于基點像素132沒有在基點微透鏡121的偽光軸上配置的場合，即基點像素132b～132d，也同樣作成合成像素所屬表。說明例如在2個微透鏡120的邊界線上配置的基點像素132c那樣，從基點微透鏡121的偽光軸偏心的情況。該場合，表作成部105如圖8所示，以從基點微透鏡121的偽光軸偏心的基點像素132c為中心，以投射倍率擴大或縮小微透鏡120的排列間距d，在積分區(qū)域Rs上投影。

另外，期望微透鏡120和拍攝像素131的位置關系，即微透鏡120的大小(配置間隔)和拍攝像素131的排列間距具有比例關系。如圖3所示，以微透鏡120的內(nèi)部成為拍攝像素131的排列間距的整數(shù)倍的方式確定拍攝像素131的排列間距后，表作成部105通過按每一微透鏡120反復進行同一運算，可作成式(5)表示的合成像素所屬表。

說明以上說明的數(shù)字拍攝機1的工作。響應用戶對釋放開關的操作，從操作部108輸出操作信號后，控制電路101使拍攝元件13開始被攝體像的拍攝，輸出圖像信號。拍攝元件13輸出的圖像信號通過A/D變換電路102變換為數(shù)字圖像信號，在存儲器103存儲。圖像積分部106采用在該存儲器103存儲的圖像信號，生成合成圖像數(shù)據(jù)。

響應用戶對光圈值輸入按鈕108a及焦點位置輸入按鈕108b的操作，控制電路101確定合成圖像的光圈值F及焦點位置y后，表作成部105如上所述作成合成像素所屬表。由合成圖像的光圈值F確定積分區(qū)域Rs，因此，表作成部105根據(jù)確定的合成圖像的焦點位置y算出投射倍率，確定積分區(qū)域Rs的部分區(qū)域Rp。然后，表作成部105根據(jù)確定的部分區(qū)域Rp所包含的拍攝像素131，作成合成像素所屬表，在預定的存儲區(qū)域存儲。

圖像積分部106采用存儲的合成像素所屬表，對存儲器103存儲的圖像信號進行合成圖像數(shù)據(jù)的生成處理。此時，圖像積分部106可以按每個與各微透鏡120對應的像素排列130，生成合成圖像信號，進行合成圖像數(shù)據(jù)的生成處理，也可以按照基點像素132的排列順序，生成合成圖像信號，生成合成圖像數(shù)據(jù)。

圖像積分部106從各微透鏡120中選擇基點微透鏡121，以基點微透鏡121的偽光軸為中心，確定積分區(qū)域Rs。如上所述，本實施方式中，將偽光軸設為從拍攝透鏡L1的光瞳入射的光束中心和微透鏡120的主面交點。通常，越靠微透鏡陣列12的周邊部，即與被攝體象的像高高的位置對應配置的微透鏡120，則偽光軸越從微透鏡120的幾何學上的中心偏移。從而，在拍攝透鏡L1的光瞳位置固定的場合，優(yōu)選以拍攝元件13的各拍攝像素131和微透鏡120的偽光軸成比例關系的方式預先設計微透鏡120。

拍攝像素131和微透鏡120的偽光軸不成比例關系的場合，表作成部105以偽光軸為基準，按每一微透鏡120，內(nèi)插拍攝像素131的位置，進行標準化，作成合成像素所屬表。標準化手法采用例如公知的雙立方(bicubic)法和/或最近鄰法等。

合成像素所屬表根據(jù)如上所述標準化的拍攝像素131的位置，由表作成部105作成。從而，圖像積分部106參照該合成像素所屬表，對從由合成圖像的光圈值F確定的積分區(qū)域Rs內(nèi)的拍攝像素131輸出的圖像信號積分，生成合成圖像數(shù)據(jù)。圖像積分部106生成合成圖像數(shù)據(jù)后，圖像標準化部107對合成圖像數(shù)據(jù)進行標準化處理。圖像積分部106生成的合成圖像數(shù)據(jù)的間距根據(jù)微透鏡120的排列和拍攝像素131的排列的比例關系確定，因此，合成圖像數(shù)據(jù)的水平方向和垂直方向的像素間距不同。圖3所示的微透鏡120是具有六角形形狀的蜂窩排列，在各像素排列130包含4個基點像素132的場合，水平方向和垂直方向的比如以下的式(8)。

從而，圖像標準化部107對于垂直方向或水平方向，采用例如公知的最近鄰法和/或雙立方法等進行內(nèi)插運算，進行標準化。結果，通過圖像標準化部107，合成圖像數(shù)據(jù)的水平方向和垂直方向的比變換為1:1。

根據(jù)以上說明的實施方式的數(shù)字拍攝機1，可獲得以下作用效果。

(1)在拍攝透鏡L1的焦點面附近二維狀配置多個微透鏡120，拍攝元件13中，包含經(jīng)由微透鏡120接受通過拍攝透鏡L1的來自被攝體的光束并輸出圖像信號的多個拍攝像素131的像素排列130，與微透鏡120分別對應地二維狀配置。圖像積分部106為了生成拍攝透鏡L1的任意焦點位置即與成像面中的多個成像區(qū)域對應的合成圖像信號，根據(jù)按每個成像區(qū)域來特定輸出用于生成合成圖像信號的圖像信號的拍攝像素131的位置的信息，即合成像素所屬表，合成從拍攝像素131輸出的圖像信號。

傳統(tǒng)技術中，生成某焦點面中的合成圖像數(shù)據(jù)時，合成與通過微透鏡120的中心位置對應的坐標的光束對應輸出的圖像信號，生成與合成圖像數(shù)據(jù)1的像素相當?shù)暮铣蓤D像信號。即，合成圖像數(shù)據(jù)的像素數(shù)即分辨率等于微透鏡120的排列數(shù)。假定一個微透鏡120的直徑與拍攝像素131的10像素量相當，即與一個微透鏡120對應排列了10×10像素的拍攝像素131。該場合，合成圖像數(shù)據(jù)的像素數(shù)等于微透鏡120的排列數(shù)，因此圖像密度成為1/100。即，拍攝元件13即使具有1000萬像素的拍攝像素131，生成的合成圖像數(shù)據(jù)也成為10萬像素。

相對地，本實施方式的數(shù)字拍攝機1，對一個微透鏡120設置4個用于生成與合成圖像數(shù)據(jù)的1像素相當?shù)暮铣蓤D像信號的基點像素132。結果，與傳統(tǒng)技術的數(shù)字拍攝機生成的合成圖像數(shù)據(jù)比，分辨率增加，即與微透鏡120的排列數(shù)比可增加分辨率，因此合成圖像畫質提高。

(2)而且，表作成部105作成表示輸出合成到來自基點像素132的基點信號的圖像信號的拍攝像素131的位置的合成像素所屬表。即，不用如傳統(tǒng)技術那樣采用使用傅里葉變換的復雜運算就可生成合成圖像數(shù)據(jù)。結果，即使微透鏡120的xy平面上形狀不是矩形排列(例如蜂窩排列)，基于傅里葉變換的運算繁瑣，也可以降低處理負載，高速生成合成圖像。另外，表作成部105在每次確定合成圖像的焦點位置y時作成合成像素所屬表，因此，不必預先存儲與多個合成圖像的焦點位置y和多個基點像素132分別對應的多個數(shù)據(jù)表，從而可以確保存儲容量。

(3)多個基點像素132的各個的配置間隔與多個微透鏡120的各個的配置間隔具有比例關系。即，確定拍攝像素131的排列間距，使微透鏡120的大小成為拍攝像素131的排列間距的整數(shù)倍。其結果，圖像積分部106，通過對與其他微透鏡120對應的基點像素132，進行與對與多個中某微透鏡120對應的基點像素132進行的合成圖像生成處理同樣的處理，可以生成合成圖像數(shù)據(jù)。從而，可以減輕合成圖像的生成處理的負擔，高速生成合成圖像數(shù)據(jù)。

(4)表作成部105對多個基點像素132a～132d分別作成合成像素所屬表。該合成像素所屬表中，與基點像素132對應的拍攝像素131配置的位置，以微透鏡120的偽光軸為基準而標準化。合成像素所屬表，以基點微透鏡121為基準，相對地指定與拍攝像素131的配置位置對應的微透鏡120的配置位置。從而，圖像積分部106可以參照合成像素所屬表選擇輸出合成到來自基點像素132的基點圖像信號的圖像信號的拍攝像素131，因此可以實現(xiàn)合成圖像數(shù)據(jù)的生成處理高速化。

(5)表作成部105作成的合成像素所屬表，表示以基點像素132為基點的區(qū)域即以微透鏡120的焦點距離f除以合成圖像的光圈值F的值為直徑D(＝f/F)的積分區(qū)域Rs所包含的拍攝像素131的配置位置與多個微透鏡120中哪個微透鏡120對應。從而，圖像積分部106可以參照合成像素所屬表選擇合成到來自基點像素132的基點信號的圖像信號，即與合成圖像的光圈值F對應的圖像信號，因此，可以實現(xiàn)合成圖像數(shù)據(jù)的生成處理高速化。

(6)圖像標準化部107將圖像積分部106生成的合成圖像數(shù)據(jù)標準化，將水平方向和垂直方向的比率變換為1。從而，微透鏡120的xy平面上的形狀即使不是矩形，也可以生成水平方向和垂直方向的比率一致的合成圖像數(shù)據(jù)，防止合成圖像的畫質降低。

以上說明的實施方式的數(shù)字拍攝機1可如下變形。

(1)與一個微透鏡120對應的4個基點像素132a～132d也可以配置在從微透鏡120的偽光軸偏心的位置。圖9(a)表示該場合的基點像素132的配置例。該場合，基點像素132a～132d配置在相對于微透鏡120的偽光軸相互對稱(對稱性)的位置。基點像素132如圖9(a)所示配置時，圖像積分部106可以將與一個基點像素132對應的合成像素所屬表用作與其他3個基點像素132對應的合成像素所屬表。例如，圖像積分部106通過每隔60度進行旋轉，可以將與基點像素132a對應的合成像素所屬表用作與基點像素132b、132c、132d分別對應的合成像素所屬表。即，表作成部105對一個微透鏡120作成一個合成像素所屬表即可。

(2)微透鏡120xy的平面中的形狀也可以取代六角形蜂窩構造而采用例如正方形的矩形形狀。圖9(b)表示該場合的微透鏡120和基點像素132的配置例。該場合，表作成部105通過與實施方式同樣方法作成與4個基點像素132a～132d對應的合成像素所屬表，圖像積分部106一邊參照合成像素所屬表，一邊生成合成圖像數(shù)據(jù)。但是，不同于微透鏡120具有蜂窩構造的場合，合成圖像數(shù)據(jù)的水平方向和垂直方向的比率為1，因此不必進行圖像標準化部107的處理。

(3)本實施方式中，對4個基點像素132作成合成像素所屬表，但是也可以對n個(n是1以上整數(shù))。例如，在與基點微透鏡120對應的像素排列130包含16個基點像素132的場合，即對微透鏡120的排列生成16倍的分辨率的合成圖像數(shù)據(jù)的場合，表生成部105作成16種合成像素所屬表即可。另外，與基點微透鏡121對應的基點像素132數(shù)為1個時，合成圖像數(shù)據(jù)分辨率等于微透鏡120的排列數(shù)。

另外，只要無損本發(fā)明的特征，本發(fā)明不限于上述實施方式，在本發(fā)明的技術思想的范圍內(nèi)考慮的其他方式也是本發(fā)明范圍所包含的。說明中采用的實施方式及變形例當然也可以進行適宜組合。

以下優(yōu)先權基礎申請的公開內(nèi)容作為引用文獻結合于此。

日本專利申請2010年第127825號(2010年6月3日申請)。