攝像裝置及攝像方法

專利名稱：攝像裝置及攝像方法
技術(shù)領(lǐng)域：
本發(fā)明涉及適用于具有場景程序(scene program)功能的數(shù)碼相機等的攝像裝置及攝像方法。
背景技術(shù)：
在一般的數(shù)碼相機中，存在很多如下的機型，即具有預(yù)先指定想要拍攝的被攝體的取景、光源環(huán)境、攝影模式等并自動進行適合攝影的設(shè)定的場景程序功能。利用這種場景程序功能，在所謂的被稱為“夜景與人物”模式的設(shè)定模式中，將景深設(shè)定得較深，以夜景作為背景來進行攝影，在此攝影中將通過輔助光以適當?shù)墓饬窟M行照明的人物作為被攝體。在這種“夜景與人物”模式中，考慮如下的多重曝光技術(shù)(例如，專利文獻JP特開 2010-114566號公報)，即在使用輔助光拍攝近景的被攝體的圖像之后，不使用輔助光連續(xù)拍攝多張圖像，并基于特征點的偏差修正該多張圖像來生成合成圖像，將該合成圖像進一步與上述近景的被攝體的圖像進行合成。在上述專利文獻所述的技術(shù)中，在主要使用輔助光來取得近景的被攝體用的圖像之后，在不使用輔助光的情況下連續(xù)拍攝多張圖像，并基于特征點的偏差修正該多張圖像來生成合成圖像。其結(jié)果，該合成圖像成為以長的快門時間進行拍攝的、整體“稍暗”的圖像。另一方面，在上述連續(xù)拍攝之前取得的圖像成為僅使用了輔助光的近景“非常亮”而背景“非常暗”的圖像。因此，對于由上述連續(xù)拍攝而得到的合成圖像和在此之前拍攝到的圖像而言，存在的問題在于無論是背景還是近景的人物，為使各自亮度產(chǎn)生較大差異而進行對位是比較困難的。

發(fā)明內(nèi)容
本發(fā)明的第1方式提供一種攝像裝置，其特征在于，具備攝影單元，其拍攝被攝體的圖像從而輸出圖像信號；閃光燈發(fā)光單元，其與上述攝影單元的拍攝同步地向被攝體方向發(fā)光；保持單元，其保持上述攝影單元輸出的圖像信號；第1攝影控制單元，其基于規(guī)定的快門速度按照上述閃光燈發(fā)光單元不發(fā)光的方式使上述攝影單元進行拍攝；第2攝影控制單元，其基于比上述規(guī)定的快門速度快的快門速度按照上述閃光燈發(fā)光單元不發(fā)光的方式使上述攝影單元進行拍攝；第3攝影控制單元，其基于比上述規(guī)定的快門速度快的快門速度伴有上述閃光燈發(fā)光單元的發(fā)光使上述攝影單元進行拍攝；第1對位單元，在通過上述第1攝影控制單元的拍攝使得上述保持單元保持的圖像信號和通過上述第2攝影控制單元的拍攝使得上述保持單元保持的圖像信號中進行對位，計算第1偏差量；第2對位單元，在通過上述第2攝影控制單元的拍攝使得上述保持單元保持的圖像信號和通過上述第 3攝影控制單元的拍攝使得上述保持單元保持的圖像信號中進行對位，計算第2偏差量；圖像合成單元，使用上述計算出的第1及第2偏差量，在通過上述第1攝影控制單元的拍攝使得上述保持單元保持的圖像信號和通過上述第3攝影控制單元的拍攝使得上述保持單元保持的圖像信號中進行對位，以取得合成圖像的圖像信號；和保存單元，使介質(zhì)中保存由上述圖像合成單元得到的圖像信號。本發(fā)明的第2方式提供一種攝像方法，是具備拍攝被攝體的圖像從而輸出圖像信號的攝影部、與上述攝影部的拍攝同步地向被攝體方向發(fā)光的閃光燈發(fā)光部、以及保持上述攝影部輸出的圖像信號的保持部的裝置中的攝像方法，其特征在于，該攝像方法包括第 1攝影控制步驟，基于規(guī)定的快門速度按照上述閃光燈發(fā)光部不發(fā)光的方式使上述攝影部進行拍攝；第2攝影控制步驟，基于比上述規(guī)定的快門速度快的快門速度按照上述閃光燈發(fā)光部不發(fā)光的方式使上述攝影部進行拍攝；第3攝影控制步驟，基于比上述規(guī)定的快門速度快的快門速度并伴有上述閃光燈發(fā)光部的發(fā)光使上述攝影部進行拍攝；第1對位步驟，在通過上述第1攝影控制步驟的拍攝使得上述保持部保持的圖像信號和通過上述第2 攝影控制步驟的拍攝使得上述保持部保持的圖像信號中進行對位，計算第1偏差量；第2對位步驟，在通過上述第2攝影控制步驟的拍攝使得上述保持部保持的圖像信號和通過上述第3攝影控制步驟的拍攝使得上述保持部保持的圖像信號中進行對位，計算第2偏差量；和圖像合成步驟，使用上述計算出的第1及第2偏差量，在通過上述第1攝影控制步驟的拍攝使得上述保持部保持的圖像信號和通過上述第3攝影控制步驟的拍攝使得上述保持部保持的圖像信號中進行對位，取得合成圖像的圖像信號。


圖1是表示本發(fā)明的一實施方式涉及的數(shù)碼相機的功能電路的示意結(jié)構(gòu)的框圖。圖2是表示該實施方式涉及的場景程序“夜景與人物”模式設(shè)定的處理內(nèi)容的流程圖。圖3是表示該實施方式涉及的圖2的“夜景與人物”模式子程序的處理內(nèi)容的流程圖。圖4是表示該實施方式涉及的圖3的閃光圖像對位子程序的處理內(nèi)容的流程圖。圖5是表示該實施方式涉及的連續(xù)拍攝順序的圖。
具體實施例方式下面，參照

將本發(fā)明應(yīng)用于數(shù)碼相機的情況下的一實施方式。圖1是表示本實施方式涉及的數(shù)碼相機10的電路結(jié)構(gòu)的圖。在該圖中，經(jīng)由配設(shè)于相機框體前面的光學透鏡單元11，將被攝體的光學圖像入射到例如CMOS圖像傳感器12 的攝像面上進行成像。在也被稱為取景圖像顯示或者實時取景圖像顯示的監(jiān)視狀態(tài)下，將通過該CMOS 圖像傳感器12攝像得到的圖像信號傳送給AGC ·Α/1)變換部13，執(zhí)行相關(guān)二乘采樣、自動增益調(diào)整或A/D變換處理來進行數(shù)字化。該數(shù)字值的圖像數(shù)據(jù)經(jīng)由系統(tǒng)總線SB被保持在作為緩沖存儲器的DRAM14中。圖像處理部15對該DRAM14中所保持的圖像數(shù)據(jù)實施適當且必要的圖像處理。圖像處理部15具備去馬賽克部15a、特征量運算部15b、塊匹配部15c及圖像變形合成相加部15d。另外，圖像處理部15連接著SRAM16，該SRAM16主要用于在上述塊匹配部15c進行的以塊為單位的圖像匹配處理中。在圖像處理部15中，針對CMOS圖像傳感器12配備的拜爾(Bayer)排列的濾色器結(jié)構(gòu)所對應(yīng)的圖像數(shù)據(jù)(以下稱為“RAW(原始)數(shù)據(jù)”)，進行矩陣運算、像素插補處理、伽馬修正處理等的去馬賽克處理來實施數(shù)字顯像處理，而變換成亮度色差系(YUV)的圖像數(shù)據(jù)。圖像處理部15生成從該圖像數(shù)據(jù)中大幅削減了顯示用的像素數(shù)及灰度比特后的圖像數(shù)據(jù)，并經(jīng)由系統(tǒng)總線SB將其送到顯示控制器17中。顯示控制器17基于送來的圖像數(shù)據(jù)驅(qū)動顯示部18，來顯示取景圖像。顯示部18例如由附帶背光的彩色液晶面板構(gòu)成。在該顯示部18的上部一體式構(gòu)成使用了透明導(dǎo)電膜的觸摸面板19。當在該觸摸面板19上用戶用手指等對表面進行觸摸操作時，觸摸面板控制器20計算操作坐標的位置，并經(jīng)由上述系統(tǒng)總線SB將算出的坐標信號送到后述的CPU24中。另外，在與上述光學透鏡單元11相同的照相機框體前面配設(shè)麥克風21，用于輸入被攝體方向的聲音。麥克風21將所輸入的聲音轉(zhuǎn)換為電信號，并輸出到聲音處理部22中。聲音處理部22在以聲音為單體進行錄音時、附帶聲音的靜止圖像攝影時、以及運動圖像攝影時，將從麥克風21輸入的聲音信號轉(zhuǎn)換成數(shù)字數(shù)據(jù)。進而，聲音處理部22 檢測數(shù)字化后的聲音數(shù)據(jù)的聲壓級，另一方面，以規(guī)定的數(shù)據(jù)文件格式例如AACOiioving picture experts group-4Advanced Audio Coding)格式將該聲音數(shù)據(jù)進行數(shù)據(jù)壓縮來生成聲音數(shù)據(jù)文件，并送到后述的記錄介質(zhì)中。此外，聲音處理部22具備PCM聲源等的聲源電路，對在聲音再現(xiàn)時傳送來的聲音數(shù)據(jù)文件進行解壓縮來模擬化，并驅(qū)動設(shè)置于該數(shù)碼相機10框體背面?zhèn)鹊膿P聲器23進行
揚聲放音。CPU24綜合控制以上電路。該CPUM與主存儲器25、程序存儲器沈直接連接。主存儲器25例如由SRAM構(gòu)成，作為工作存儲器發(fā)揮功能。程序存儲器沈例如由閃存等可電擦寫的非易失性存儲器構(gòu)成，固定存儲包括后述的場景程序的“夜景與人物”模式下的控制在內(nèi)的動作程序、數(shù)據(jù)等。CPUM從程序存儲器沈中讀出必要的程序或數(shù)據(jù)等，在主存儲器25中適當?shù)貢簳r性展開存儲，同時執(zhí)行該數(shù)碼相機10整體的控制動作。此外，上述CPUM對應(yīng)于從按鍵操作部27直接輸入的各種按鍵操作信號、以及與從上述觸摸面板控制器20輸入的由觸摸面板19進行的觸摸操作相應(yīng)的坐標信號來執(zhí)行控制動作。按鍵操作部27例如具備電源按鍵、快門按鍵、變焦放大/縮小按鍵、攝影模式按鍵、再現(xiàn)模式按鍵、菜單按鍵、光標按鍵(“丨”、“一”、“丨”、“一”)、設(shè)置按鍵、解除按鍵、顯
示按鍵等。CPU24經(jīng)由系統(tǒng)總線SB與上述AGC · A/D變換部13、DRAM14、圖像處理部15、顯示控制器17、觸摸面板控制器20及聲音處理部22進行連接之外，還與透鏡驅(qū)動部28、閃光燈驅(qū)動部29、圖像傳感器(1 驅(qū)動部30及存儲卡控制器31進行連接。透鏡驅(qū)動部28接受來自CPU24的控制信號來控制透鏡用DC電機(M) 32的轉(zhuǎn)動，使構(gòu)成上述光學透鏡單元11的多個透鏡組中的一部分、具體而言是變焦透鏡及聚焦透鏡的位置分別獨立地沿著光軸方向移動。閃光燈驅(qū)動部四在靜止圖像攝影時接受來自CPUM的控制信號，使得由多個白色高亮度LED構(gòu)成的閃光燈部33與攝影時刻同步地進行點亮驅(qū)動。圖像傳感器驅(qū)動部30根據(jù)在此時設(shè)定的攝影條件等，進行上述CMOS圖像傳感器 12的掃描驅(qū)動。上述圖像處理部15在伴有上述按鍵操作部27的快門按鍵操作的圖像攝影時，對從AGOA/D變換部13傳送來并保持在DRAM14中的圖像數(shù)據(jù)進行去馬賽克處理，進而如果采用規(guī)定的數(shù)據(jù)文件格式例如JPEG (Joint Photographic Experts Group)，則實施DCT (離散余弦變換)或哈夫曼編碼等數(shù)據(jù)壓縮處理，生成將數(shù)據(jù)量大幅度削減后的圖像數(shù)據(jù)文件。所生成的圖像數(shù)據(jù)文件經(jīng)由系統(tǒng)總線SB、存儲卡控制器31而記錄在存儲卡34中。另外，圖像處理部15將在再現(xiàn)模式時從存儲卡34經(jīng)由存儲卡控制器31讀出來的圖像數(shù)據(jù)，經(jīng)由系統(tǒng)總線SB進行讀取，并在DRAM14中保持之后，按照與記錄時相反的順序?qū)υ谠揇RAM14中保持的圖像數(shù)據(jù)進行解壓縮的擴展處理，得到原始尺寸的圖像數(shù)據(jù)，并經(jīng)由系統(tǒng)總線SB將該圖像數(shù)據(jù)輸出到顯示控制器17中，由顯示部18進行顯示。存儲卡控制器31經(jīng)由卡連接器35與存儲卡34進行連接。存儲卡34可自由裝卸地安裝在該數(shù)碼相機10中，是作為該數(shù)碼相機10的記錄介質(zhì)的記錄圖像數(shù)據(jù)等記錄用存儲器，其內(nèi)部設(shè)有作為非易失性存儲器的閃存及其驅(qū)動電路。接下來，對上述實施方式的動作進行說明。其中，在攝影模式下，設(shè)定了場景程序之一的“夜景與人物”模式之后，在執(zhí)行該模式下的攝影時，CPUM讀出程序存儲器沈中存儲的動作程序或數(shù)據(jù)，并在主存儲器25中展開來進行存儲，此后執(zhí)行以下示出的動作。程序存儲器沈中存儲的動作程序等除了包括該數(shù)碼相機10在制造工廠出貨時在程序存儲器沈中存儲的程序之外，還包括例如在該數(shù)碼相機10升級(version up)時通過將數(shù)碼相機10與個人計算機連接來從外部下載新的動作程序、數(shù)據(jù)等。圖2表示在接通電源之后在攝影模式下從場景程序的多個模式中選擇“夜景與人物”模式進行設(shè)定時的處理內(nèi)容。在接通電源之后，CPUM作為初始化，從程序存儲器沈中讀出在前次電源被切斷時所存儲的各種設(shè)定狀態(tài)的信息來進行設(shè)定(步驟M101)。然后，判斷按鍵操作部27的菜單按鍵是否被操作(步驟M102)。這里，在判斷為未操作菜單按鍵的情況下，判斷菜單項目是否已經(jīng)被顯示(步驟Mill)。這里，在判斷為未顯示菜單項目的情況下，在執(zhí)行了其他處理之后(步驟M103)，再次返回到上述步驟M102中。這樣，一邊執(zhí)行其他處理，一邊等待菜單按鍵被操作。另外，在按鍵操作部27的菜單按鍵被操作的情況下，在上述步驟M102中對其進行判斷，接著在顯示部18中一覽顯示各種菜單項目(步驟M104)，然后判斷是否從這些菜單項目中選擇了場景程序(步驟M105)。這里，在判斷為選擇了場景程序以外的菜單項目的情況下，執(zhí)行與該操作相對應(yīng)的其他處理(步驟M103)。另外，在作為菜單項目而選擇了場景程序的情況下，在上述步驟M105中對其進行判斷，接著在顯示部18中一覽顯示構(gòu)成場景程序的多個場景程序模式(步驟M106)，然后判斷是否從這些模式中選擇了 “夜景與人物”模式(步驟M107)。這里，在選擇了“夜景與人物”模式以外的場景程序模式的情況下，進行與該模式相應(yīng)的處理動作(步驟M109)，在本實施方式中省略了其詳細說明。此外，在上述步驟M107中判斷為選擇了“夜景與人物”模式的情況下，根據(jù)該操作進行“夜景與人物”模式下的處理動作(步驟M108)。然后，判斷是否解除了場景程序模式 (步驟 Ml 10)。這里，在判斷為解除了場景程序模式的情況下，返回到上述步驟M102中。另外，在判斷為未解除場景程序模式的情況下，返回到上述步驟M107中。圖3是表示上述步驟M108的“夜景與人物”模式處理的更詳細內(nèi)容的子程序。此外，在以下動作中，構(gòu)成按鍵操作部27 —部分的快門按鍵具有2級操作行程 (stroke)，通過相當于整個行程一半左右的第1操作行程即所謂的“半按壓”操作鎖定此時的AE(自動曝光)值及AF(自動對焦)位置(光學透鏡單元11內(nèi)的聚焦透鏡的位置)，進而通過相當于整個行程的第2操作行程即所謂的“全按壓”操作執(zhí)行靜止圖像的攝影。在該動作最初，CPUM執(zhí)行AE處理和AF處理以取得適當?shù)钠毓庵岛蛯刮恢?。根?jù)取得的曝光值設(shè)定符合規(guī)定的取景圖像的幀率例如30 “幀/秒”的快門速度和光圈值， 并且控制光學透鏡單元11的聚焦透鏡位置(步驟S101)。 在該狀態(tài)下，CPU24利用AGC · A/D變換部13將從CMOS圖像傳感器12依次得到的圖像信號進行數(shù)字化，并在保存到DRAM14中之后，通過圖像處理部15的去馬賽克部15a 實施去馬賽克處理，而變換成原色(RGB)系的圖像數(shù)據(jù)。CPU24生成從變換后的圖像數(shù)據(jù)中大幅削減像素數(shù)和灰度比特后的圖像數(shù)據(jù)，并經(jīng)由系統(tǒng)總線SB傳送到顯示控制器17中，在顯示部18中顯示取景圖像(步驟S102)。在顯示該取景圖像的狀態(tài)下，CPUM判斷構(gòu)成按鍵操作部27 —部分的快門按鍵是否被半按壓操作(步驟S103)。這里，在判斷為未半按壓操作快門按鍵的情況下，返回到上述圖2的處理中。在選擇“夜景與人物”模式的過程中，反復(fù)執(zhí)行上述步驟SlOl S103的處理，一邊在顯示部18中顯示取景圖像一邊等待快門按鍵被半按壓操作。根據(jù)取景圖像的顯示狀態(tài)，在快門按鍵被半按壓操作的情況下，在上述步驟S103 中CPU24對其進行判斷，當判斷為進行了半按壓操作的情況下，鎖定此時的AE值和AF位置 (步驟 S104)。然后，CPUM基于從CMOS圖像傳感器12依次得到的圖像信號使顯示部18顯示取景圖像(步驟S105)。在顯示該取景圖像的狀態(tài)下，CPUM判斷構(gòu)成按鍵操作部27 —部分的快門按鍵是否進一步被全按壓操作(步驟S106)。這里，在判斷為未全按壓操作快門按鍵的情況下，接著判斷該快門按鍵是否依然被半按壓操作(步驟S107)。在確認了快門按鍵一直被半按壓操作的情況下，再次返回到上述步驟S105中。這樣，通過反復(fù)執(zhí)行步驟S105 S107的處理，能夠根據(jù)鎖定了 AE值和AF位置的狀態(tài)，一邊顯示取景圖像一邊持續(xù)進行快門按鍵的全按壓操作的等待和半按壓操作的確認。在解除了快門按鍵的半按壓操作的情況下，CPUM在上述步驟S107中對其進行判斷，并在解除了此前鎖定的AE值和AF位置之后(步驟S108)，返回到上述圖2的處理。另外，在上述步驟S106中判斷為快門按鍵被全按壓操作的情況下，CPU24基于此時鎖定的AE值，設(shè)定比非閃光燈攝影下的適當曝光高2級QEV)的快門速度，例如若適當?shù)目扉T速度為“1/15 ‘秒’ ”，則設(shè)定“1/60 ‘秒’ ”，然后連續(xù)拍攝多張例如6張靜止圖像(步驟 S109)。此時拍攝得到的靜止圖像當然都是距適當曝光值不足“-2EV”曝光的圖像，但是通過使快門速度更加高速化來進行對應(yīng)，而不是使光圈值變化，因此，對于各個靜止圖像而言攝影過程中難以產(chǎn)生“手抖動”、“像模糊”。另外，根據(jù)所謂的被稱為“滾動快門”攝影的技術(shù)，控制CMOS圖像傳感器12的垂直傳送路徑的讀出定時，通過在多個位置一部分同時進行連續(xù)圖像的電荷讀出，從而使時間上相鄰的連續(xù)靜止圖像的電荷讀出的定時一部分重疊，在更短的時間內(nèi)完成多張圖像的連拍攝影。接著，拍攝1張在最終的合成與保存中不使用的、非閃光燈攝影下的虛擬靜止圖像(步驟S110)。其次，為了拍攝應(yīng)該在近景中存在的人物，與上述虛擬圖像連續(xù)地拍攝1 張在使閃光燈部33閃光之后的靜止圖像(步驟S111)。圖5表示上述6張非閃光下的靜止圖像的攝影和后續(xù)的虛擬用的非閃光下的靜止圖像的攝影、以及使用了閃光的靜止圖像的攝影的動作時序。在該圖中，縱軸為作為攝影元件的CMOS圖像傳感器12的垂直方向的攝影位置，橫軸為時間。如圖所示，在6張非閃光下的靜止圖像的攝影中，如上述那樣相對于適當曝光處于“-2EV”的曝光不足的狀態(tài)，雖然是非閃光，但是無論怎樣都為低(長)的快門速度。在其后的虛擬的非閃光下的攝影中，設(shè)定與閃光攝影相同的足夠快的快門速度tl 例如 “1/125 ‘秒，，，。接著，伴著閃光燈部33的發(fā)光以足夠快的快門速度tl例如“1/125 ‘秒’”進行攝影。在將以上合計8張的連續(xù)靜止圖像的RAW數(shù)據(jù)保存到DRAM14中的狀態(tài)下，通過特征量運算部1 測量整個圖像的白平衡(WB)值(步驟S112)。其次，通過去馬賽克部1 對DRAM14中保持的全部8張的連續(xù)靜止圖像的RAW數(shù)據(jù)進行去馬賽克處理，而變換成亮度色差系的YUV數(shù)據(jù)(步驟Sl 13)。接著，為了進行由非閃光攝影得到的6張靜止圖像之間的對位，塊匹配部15c利用 SRAM16執(zhí)行例如使用了 RANSAC (RANdom SAmple Consensus)的射影變換矩陣的運算(步驟 S114)。這種情況下，將在連續(xù)拍攝到的6張靜止圖像中時間上位于中央的圖像、即第3張靜止圖像和第4張靜止圖像作為候補，并且選擇第4張靜止圖像作為與之后進行閃光攝影的靜止圖像在時間上相近的圖像。之后，以該第4張靜止圖像作為基準，在第1、2、3、5、6張各靜止圖像與作為基準的第4張靜止圖像之間進行射影變換矩陣運算。通過該射影變換矩陣的運算，算出第1、2、3、5、6張各靜止圖像與作為基準的第4 張靜止圖像之間的偏差量、即表示偏差的大小和方向的矩陣，將其作為特征量。根據(jù)上述運算結(jié)果，通過在第1、2、3、5、6張各靜止圖像與作為基準的第4張靜止圖像之間計算出的偏差量大小是否都在預(yù)先設(shè)定的閾值以下，來判斷非閃光圖像組的對位是否成功(步驟Sl 15)。這里，在判斷出第1、2、3、5、6張各靜止圖像與作為基準的第4張靜止圖像之間計算出的偏差量大小都在預(yù)先設(shè)定的閾值以下，非閃光圖像組的對位已成功的情況下，進行上述6張非閃光攝影中的作為基準的第4張靜止圖像和1張閃光攝影的圖像之間的對位 (步驟 Sl 16)。圖4是表示上述步驟S116的對位處理的更詳細內(nèi)容的子程序。首先，在上述第8 張拍攝到的使用了閃光燈部33的靜止圖像和第7張拍攝到的非閃光的靜止圖像中，通過塊匹配部15c的塊匹配處理和使用了 RANSAC的射影變換矩陣的運算來進行對位，求出表示兩個靜止圖像的偏差量的射影變換矩陣A (步驟S301)。這里，在上述第8張拍攝到的使用了閃光燈部33的靜止圖像中，由于快門速度快、 且因為使用了閃光因而在近景中存在的被攝體(人物)應(yīng)該被明亮地拍攝到，故該靜止圖像成為圖像中的一部分被攝體明亮而背景非常暗的圖像。對于一個非閃光下的虛擬圖像，因為快門速度快、且沒有使用閃光，所以成為近景和背景整個都非常暗的圖像。因此，在這2個靜止圖像中，由于快門速度相同、背景的亮度等大致相等，因而能夠較容易且準確地算出射影變換矩陣A。接下來，在第7張拍攝到的非閃光的靜止圖像和上述6張連續(xù)拍攝到的非閃光的靜止圖像中的作為基準的第4張靜止圖像中，進行用于配合曝光的增益修正(步驟S302)。這里，上述第7張非閃光下的虛擬圖像，因為快門速度快、且沒有使用閃光，因而成為近景和背景整個都非常暗的圖像。另一方面，上述第4張拍攝到的非閃光的靜止圖像，因為快門速度慢、且沒有使用閃光，因而成為近景和背景整體略暗的圖像。在這2個靜止圖像中，都是非閃光攝影，正因為亮度值因快門速度的不同而不同， 因而亮度變化樣式相同，故通過以一方作為基準算出與快門速度的比相應(yīng)的增益，并將算出的增益與另一方的亮度值相乘，從而在理論上成為同一亮度的靜止圖像。這樣，在一方增益修正過的、第7張拍攝到的非閃光的靜止圖像和上述6張連續(xù)拍攝到的非閃光的靜止圖像中的作為基準的第4張靜止圖像中，通過塊匹配部15c的塊匹配處理和使用了 RANSAC的射影變換矩陣的運算進行對位，求出表示兩個靜止圖像的偏差量的射影變換矩陣B (步驟S303)。然后，判斷在上述步驟S301、S303中是否能一起求出射影變換矩陣A、B(步驟 S304)。這里，僅在判斷為能一起求出2個射影變換矩陣A、B的情況下，使上述第8張拍攝至_使用了閃光燈部33的靜止圖像，相對于上述6張連續(xù)拍攝到的非閃光的靜止圖像中的作為基準的第4張靜止圖像，利用上述射影變換矩陣A、B，基于多個特征的點進行對位(步驟S305)。此外，這里，雖然使閃光攝影的圖像變形后進行了對位，但是也可使非閃光的第4 張靜止圖像變形后進行對位。其中，這種情況下需要修正在上述步驟S114中求出的特征量 (偏差量)。然后，將閃光攝影的靜止圖像和非閃光攝影的第4張靜止圖像進行合成(步驟 S306)，以上結(jié)束了該圖4的子程序，并返回到上述圖3的處理中。
這種情況下，基于射影變換矩陣之積“Α女B”，在由圖像變換合成相加部15d對一方的靜止圖像的背景部分進行了坐標變換之后進行對位，從而修正因夾著以非閃光方式拍攝到的虛擬靜止圖像的前后時間差引起的偏差量，由此能夠正確地合成近景的人物和背
旦
ο另外，在上述步驟S304中判斷為無法求出2個射影變換矩陣A、B的至少一個的情況下，不進行上述步驟S305的處理而直接進行合成，從而結(jié)束該圖4的子程序，并返回到上述圖3的處理中。在圖3中，在上述步驟S116的閃光攝影的圖像的對位處理之后，相對于該合成圖像，針對在上述6張連續(xù)拍攝到的非閃光的靜止圖像中除去了作為基準的第4張靜止圖像后的剩余的第1、2、3、5、6張共計5張靜止圖像，也基于上述步驟S114中計算出的特征量 (偏差量)進行對位，然后合成圖像(步驟S117)。這種情況下，關(guān)于非閃光的共計5張靜止圖像的合成，特別利用HDR(High Dynamic Range)合成技術(shù)，尤其放大背景部分的動態(tài)范圍，尤其減少產(chǎn)生了 “黑斑”的部分。然后，在將合成后的靜止圖像作為最終圖像實施符合例如JPEG格式的數(shù)據(jù)壓縮而形成數(shù)據(jù)文件之后，將得到的圖像數(shù)據(jù)文件保存到本數(shù)碼相機10的記錄介質(zhì)即存儲卡 34中(步驟Sl 18)，至此結(jié)束一系列處理，并返回到上述圖2的處理中。另外，在上述步驟S115中在非閃光攝影的第1、2、3、5、6張各靜止圖像與作為基準的第4張靜止圖像之間算出的偏差量的大小都比預(yù)先設(shè)定的閾值大，判斷為非閃光圖像組的對位失敗的情況下，在圖像的暗部較大且對位困難時、或者若因手抖動或像模糊而進行圖像合成但是成為經(jīng)不起觀賞的圖像的可能性高時，僅將第8張的使用了閃光燈部33的靜止圖像的圖像數(shù)據(jù)單獨設(shè)定為最終圖像(步驟S119)。然后，進入到步驟S118，在實施符合例如JPEG格式的數(shù)據(jù)壓縮從而形成數(shù)據(jù)文件之后，將得到的圖像數(shù)據(jù)文件保存到本數(shù)碼相機10的記錄介質(zhì)即存儲卡34中，至此結(jié)束一系列處理，并返回到上述圖2的處理中。根據(jù)以上詳細敘述的本實施方式，在拍攝夜景和近景人物時，在不使用閃光燈部 33的攝影與使用閃光燈部33的攝影之間，插入執(zhí)行不使用閃光的虛擬攝影，并在用射影變換矩陣求出各圖像和位于中間的親和性強的虛擬圖像之間的偏差量之后，基于求出的射影變換矩陣，將未使用閃光燈部33的攝影所得到的背景和使用閃光燈部33的攝影所得到的近景的人物的圖像進行合成，由此可高成功率地實現(xiàn)近景部分和背景部分各自的對位。此外，在上述實施方式中，如上述圖5所示，說明了連續(xù)取得多張例如6張非閃光攝影的圖像，但是本發(fā)明并不限定于此，也可以進行適當曝光具體而言通過使光圈值開放盡可能使快門速度高速化，通過非閃光的攝影取得1張靜止圖像，然后轉(zhuǎn)移至至虛擬用的非閃光攝影。這種情況下，由于最少用3次圖像攝影就能完成一系列動作，因而能夠減少圖像處理部15中的運算量，減輕負擔，且使含有時間的動作簡潔化。與之相反，如本實施方式說明過的那樣，在按照比適當曝光快的快門速度分多次連續(xù)取得非閃光攝影的圖像的情況下，可減少在非閃光攝影時發(fā)生手抖動、像模糊的可能性，能提高圖像合成的成功率，并且利用HDR合成技術(shù)能夠提升背景部分的圖像的動態(tài)范圍，。
另外，如上述實施方式所示，在按照比適當曝光快的快門速度分多次連續(xù)取得非閃光攝影的圖像的情況下，以其中之一的圖像作為基準，進行與同樣的其他圖像之間的對位、以及與虛擬用的非閃光攝影的圖像之間的對位，因而能夠使處理簡單化，從而易于判斷可否進行對位。此外，在上述實施方式中，在判斷為非閃光攝影的連續(xù)多張圖像的對位失敗的情況下，因為不使用這些被判斷為合成失敗的一系列非閃光圖像，而只保存利用閃光燈部33 拍攝到的圖像，所以針對圖像的暗部較大且對位困難的情況、或者因為手抖動或像模糊而進行圖像合成時成為經(jīng)不起觀賞的圖像的可能性高的圖像，不進行圖像合成，也能可靠地只記錄想要利用閃光燈部33在近景中拍到人物的靜止圖像。另外，在上述實施方式中，在判斷為非閃光攝影的連續(xù)多張圖像的對位成功的情況下，由于通過使用了例如基于RANSAC的射影變換矩陣的對位而得到最終合成圖像，因而可進行穩(wěn)定且高成功率的對位。此外，雖然在上述實施方式中沒有示出，但是在要進行合成的多張圖像之間沒有偏差量、或者即便有但都比規(guī)定閾值低的情況下，也可以不進行針對圖像的變形而直接合成，從而也能減輕圖像處理部15中的負擔，簡化處理。另外，在上述實施方式中，因為在由非閃光攝影得到的圖像與虛擬用的非閃光攝影得到的圖像中對其中一個圖像實施增益修正而使得亮度值電平一致之后，與另一個圖像進行對位，因而提高了對位時的運算精度，能實現(xiàn)更精確的對位。進而，在本實施方式中，在由非閃光攝影得到的圖像與由閃光攝影得到的圖像中進行對位時，在基于成為多個特征點的點使圖像變形之后進行合成。由此，在合成不同的定時所取得的圖像時，考慮位置變化等能夠合成并取得更準確、自然的圖像。此外，在上述實施方式中，說明了在由非閃光攝影取得了 6張圖像之后由虛擬用的非閃光攝影取得圖像，然后由閃光攝影取得圖像的情況，但是也可插入由虛擬用的非閃光攝影取得圖像的情況，更換前后圖像取得的順序。然而，在人物攝影時，因為考慮到結(jié)束了閃光攝影之后作為被攝體的人物會活動的情況較多，所以認為在閃光攝影前取得對位用的非閃光攝影的圖像這樣的本實施方式的順序，可使得對位成功的概率有所提高。這種情況下，也可首先由虛擬用的非閃光攝影取得圖像，然后由非閃光攝影取得6張圖像。另外，本發(fā)明說明了適用于數(shù)碼相機的情況下的實施方式，但是本發(fā)明并不限定于此，只要是具有可進行伴有閃光的攝影的相機功能的電子設(shè)備，即便是便攜電話終端、攜帶型個人計算機、電子書終端或PDA (Personal Digital Assistants 個人數(shù)字助理)等， 也同樣可以實施。除此之外，本發(fā)明并不限定于上述實施方式，在實施階段只要在不脫離本發(fā)明宗旨的范圍內(nèi)就可進行各種變形。另外，在上述的實施方式中所執(zhí)行的功能也可進行適當?shù)慕M合并實施。在上述的實施方式中含有各種階段，根據(jù)所公開的多個構(gòu)成要件的適當組合可提取出各種發(fā)明。例如，即便從實施方式所示的全部構(gòu)成要件中刪除了幾項構(gòu)成要件，只要是能得到本發(fā)明效果的構(gòu)成，刪除了構(gòu)成要件之后的構(gòu)成也可提取為本發(fā)明。
權(quán)利要求
1.一種攝像裝置，其特征在于，具備攝影單元，其拍攝被攝體的圖像從而輸出圖像信號； 閃光燈發(fā)光單元，其與上述攝影單元的拍攝同步地向被攝體方向發(fā)光； 保持單元，其保持上述攝影單元輸出的圖像信號；第1攝影控制單元，其基于規(guī)定的快門速度按照上述閃光燈發(fā)光單元不發(fā)光的方式使上述攝影單元進行拍攝；第2攝影控制單元，其基于比上述規(guī)定的快門速度快的快門速度按照上述閃光燈發(fā)光單元不發(fā)光的方式使上述攝影單元進行拍攝；第3攝影控制單元，其基于比上述規(guī)定的快門速度快的快門速度伴有上述閃光燈發(fā)光單元的發(fā)光使上述攝影單元進行拍攝；第1對位單元，在通過上述第1攝影控制單元的拍攝使得上述保持單元保持的圖像信號和通過上述第2攝影控制單元的拍攝使得上述保持單元保持的圖像信號中進行對位，計算第1偏差量；第2對位單元，在通過上述第2攝影控制單元的拍攝使得上述保持單元保持的圖像信號和通過上述第3攝影控制單元的拍攝使得上述保持單元保持的圖像信號中進行對位，計算第2偏差量；圖像合成單元，使用上述計算出的第1及第2偏差量，在通過上述第1攝影控制單元的拍攝使得上述保持單元保持的圖像信號和通過上述第3攝影控制單元的拍攝使得上述保持單元保持的圖像信號中進行對位，以取得合成圖像的圖像信號；和保存單元，使介質(zhì)中保存由上述圖像合成單元得到的圖像信號。
2.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，上述攝像裝置還具備自動曝光單元，上述自動曝光單元取得適當?shù)墓馊χ岛涂扉T速度，所述第1攝影控制單元按照上述閃光燈發(fā)光單元不發(fā)光的方式使上述攝影單元基于由上述自動曝光單元得到的快門速度進行拍攝。
3.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，上述攝像裝置還具備自動曝光單元，上述自動曝光單元取得適當?shù)墓馊χ岛涂扉T速度，上述第1攝影控制單元按照上述閃光燈發(fā)光單元不發(fā)光的方式使上述攝影單元基于比由上述自動曝光單元得到的快門速度快的快門速度進行多次拍攝。
4.根據(jù)權(quán)利要求3所述的攝像裝置，其特征在于，上述攝像裝置還具備第3對位單元，上述第3對位單元以通過上述第1攝影控制單元的拍攝使得上述保持單元保持的多張圖像信號中的一個圖像信號作為基準，進行剩余的其他圖像信號的對位，所述第1對位單元在上述第3對位單元中作為基準的圖像信號和通過上述第2攝影控制單元的拍攝使得上述保持單元保持的圖像信號中進行對位。
5.根據(jù)權(quán)利要求4所述的攝像裝置，其特征在于， 上述第3對位單元在對位時計算第3偏差量，還具備判定單元，上述判定單元基于上述第3對位單元計算出的第3偏差量判定上述第1攝影控制單元的拍攝是否合格，上述圖像合成單元在上述判定單元的判定結(jié)果中判定為上述第1攝影控制單元的拍攝不合格的情況下，停止取得基于對位的合成圖像的圖像信號，上述保存單元只將通過上述第3攝影控制單元的拍攝使得上述保持單元保持的圖像信號保存到介質(zhì)中。
6.根據(jù)權(quán)利要求4所述的攝像裝置，其特征在于， 上述第3對位單元在對位時計算第3偏差量，還具備判定單元，上述判定單元基于上述第3對位單元計算出的第3偏差量判定上述第1攝影控制單元的拍攝是否合格，上述圖像合成單元在上述判定單元的判定結(jié)果中判定為上述第1攝影控制單元的拍攝合適的情況下，利用上述計算出的第1及第2偏差量，在通過上述第1攝影控制單元的拍攝使得上述保持單元保持的圖像信號和通過上述第3攝影控制單元的拍攝使得上述保持單元保持的圖像信號中使用射影變換矩陣進行對位，以取得合成圖像的圖像信號。
7.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，上述圖像合成單元在上述計算出的第1及第2偏差量的至少一方在規(guī)定的閾值以下的情況下，不對通過上述第1攝影控制單元的拍攝使得上述保持單元保持的圖像信號和通過上述第3攝影控制單元的拍攝使得上述保持單元保持的圖像信號進行對位而進行合成，以取得圖像信號。
8.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，上述攝像裝置還具備增益修正單元，上述增益修正單元基于通過上述第1攝影控制單元的拍攝使得上述保持單元保持的圖像信號，對通過上述第2攝影控制單元的拍攝使得上述保持單元保持的圖像信號進行增益修正，上述第1對位單元在上述增益修正后的圖像信號和通過上述第1攝影控制單元的拍攝使得上述保持單元保持的圖像信號中進行對位，計算第1偏差量。
9.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，上述第1及第2對位單元的至少一方分別使用圖像中相互分離的多個點來計算偏差量，上述圖像合成單元按照在上述多個點的各個點偏差量為零的方式使至少一個圖像變形，來取得合成圖像的圖像信號。
10.一種攝像方法，是具備拍攝被攝體的圖像從而輸出圖像信號的攝影部、與上述攝影部的拍攝同步地向被攝體方向發(fā)光的閃光燈發(fā)光部、以及保持上述攝影部輸出的圖像信號的保持部的裝置中的攝像方法，其特征在于，該攝像方法包括第1攝影控制步驟，基于規(guī)定的快門速度按照上述閃光燈發(fā)光部不發(fā)光的方式使上述攝影部進行拍攝；第2攝影控制步驟，基于比上述規(guī)定的快門速度快的快門速度按照上述閃光燈發(fā)光部不發(fā)光的方式使上述攝影部進行拍攝；第3攝影控制步驟，基于比上述規(guī)定的快門速度快的快門速度并伴有上述閃光燈發(fā)光部的發(fā)光使上述攝影部進行拍攝；第1對位步驟，在通過上述第1攝影控制步驟的拍攝使得上述保持部保持的圖像信號和通過上述第2攝影控制步驟的拍攝使得上述保持部保持的圖像信號中進行對位，計算第 1偏差量；第2對位步驟，在通過上述第2攝影控制步驟的拍攝使得上述保持部保持的圖像信號和通過上述第3攝影控制步驟的拍攝使得上述保持部保持的圖像信號中進行對位，計算第 2偏差量；和圖像合成步驟，使用上述計算出的第1及第2偏差量，在通過上述第1攝影控制步驟的拍攝使得上述保持部保持的圖像信號和通過上述第3攝影控制步驟的拍攝使得上述保持部保持的圖像信號中進行對位，取得合成圖像的圖像信號。
全文摘要
本發(fā)明所提供攝像裝置具備攝影系統(tǒng)，拍攝圖像；閃光燈部，在攝影時發(fā)光；DRAM，保持拍攝得到的圖像；CPU，基于規(guī)定的快門速度按照閃光燈部不發(fā)光的方式使攝影系統(tǒng)拍攝第1圖像，基于比規(guī)定的快門速度快的快門速度按照閃光燈部不發(fā)光的方式使攝影系統(tǒng)拍攝第2圖像，基于比規(guī)定的快門速度快的快門速度并伴有閃光燈部發(fā)光使攝影系統(tǒng)拍攝第3圖像；和圖像處理部，在DRAM保持的第1及第2圖像中進行對位來計算第1偏差量，在DRAM保持的第2及第3圖像中進行對位來計算第2偏差量，使用計算出的第1及第2偏差量在DRAM保持的第1及第3圖像中進行對位以取得合成圖像，從而在拍攝夜景和使用了輔助光的近景人物時在多重曝光后可高成功率地實現(xiàn)近景部分和背景部分各自的對位。
文檔編號H04N5/232GK102469265SQ20111036209
公開日2012年5月23日 申請日期2011年11月15日 優(yōu)先權(quán)日2010年11月18日
發(fā)明者松永和久 申請人:卡西歐計算機株式會社