圖像處理裝置和圖像處理方法
【專利摘要】本發(fā)明是一種對輸入幀圖像進(jìn)行圖像處理的圖像處理裝置，對比度分析部(13)生成輸入幀圖像的直方圖并根據(jù)該直方圖來計算對比度。運動檢測閾值設(shè)定部(12)利用進(jìn)行輸入操作而輸入的運動檢測水平和計算出的對比度來計算運動檢測閾值的閾值下限和閾值上限。在幀間差值比閾值上限大的情況下運動檢測部(14)視為關(guān)注像素大幅地運動，從而將合成比率(K)設(shè)定為不將前幀圖像進(jìn)行合成。在差值比閾值下限小的情況下，運動檢測部(14)視為關(guān)注像素靜止，從而將合成比率(K)設(shè)定為將前幀圖像以最大的比例進(jìn)行合成。在差值為閾值上限以下且閾值下限以上的情況下，運動檢測部(14)將合成比率設(shè)定為以與關(guān)注像素的運動情形相應(yīng)的比例將前幀圖像合成到輸入幀圖像。
【專利說明】
圖像處理裝置和圖像處理方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種對輸入幀圖像進(jìn)行圖像處理的圖像處理裝置和圖像處理方法。
【背景技術(shù)】
[0002]以往，已知一種為了改善S/N而將輸入幀圖像與降低了噪聲的前幀圖像進(jìn)行合成來生成合成圖像的圖像處理裝置(例如參照專利文獻(xiàn)I)。
[0003]專利文獻(xiàn)I所示的圖像處理裝置利用輸入幀圖像與降低了噪聲的前幀圖像的差值(具體地說，亮度的差值)，在幀圖像間的差值比閾值大的情況下判定為存在運動，在幀圖像間的差值比閾值小的情況下判定為靜止。并且，圖像處理裝置基于判定結(jié)果，針對存在運動的圖像區(qū)域，將與輸入幀圖像進(jìn)行合成的前幀圖像的合成比例的值調(diào)小，由此減輕運動物體的余像。
[0004]專利文獻(xiàn)I:日本特開平6-225178號公報
【發(fā)明內(nèi)容】
[0005]但是，在專利文獻(xiàn)I的結(jié)構(gòu)中，根據(jù)輸入幀圖像的對比度，有時運動物體的幀圖像間的亮度的差值并非一律固定，例如在對比度低的幀圖像中，運動物體的幀圖像間的亮度的差值比閾值低，難以檢測運動物體。因此，運動物體被誤檢測為靜止物體，運動物體的余像加重。另一方面，在對比度高的幀圖像中，易于檢測運動物體，因此運動物體的余像減輕。即，在專利文獻(xiàn)I的結(jié)構(gòu)中，存在如下情況:運動物體的余像根據(jù)對比度的高低而出現(xiàn)或消失。
[0006]另外，當(dāng)在一個幀圖像內(nèi)存在對比度的高低時，在對比度低的圖像區(qū)域中如上所述那樣難以檢測運動物體，從而產(chǎn)生同樣的問題。這樣，存在以下問題:當(dāng)在輸入幀圖像與前幀圖像之間或在一個輸入幀圖像內(nèi)存在對比度的高低時，難以一律地檢測出運動物體，在基于專利文獻(xiàn)I的用于改善S/N的合成圖像中出現(xiàn)運動物體的余像。
[0007]本發(fā)明為了解決上述的以往的問題，目的在于提供一種即使在對比度存在高低的情況下也減輕合成圖像中的運動物體的余像的圖像處理裝置和圖像處理方法。
[0008]本發(fā)明是一種對輸入幀圖像進(jìn)行圖像處理的圖像處理裝置，該圖像處理裝置具備:對比度計算部，其計算所述輸入幀圖像的對比度;第一輸入操作部，其受理針對所述輸入幀圖像的運動檢測水平的輸入；閾值計算部，其計算與所述運動檢測水平及所述對比度相對應(yīng)的運動檢測閾值；存儲部，其存儲所述圖像處理后的前幀圖像；以及合成圖像生成部，其基于所述輸入幀圖像與所述前幀圖像的差值同所述運動檢測閾值的比較結(jié)果來生成所述輸入幀圖像與所述前幀圖像的合成圖像。
[0009]本發(fā)明是一種對輸入幀圖像進(jìn)行圖像處理的圖像處理裝置的圖像處理方法，該圖像處理方法包括以下步驟:計算所述輸入幀圖像的對比度;受理針對所述輸入幀圖像的運動檢測水平的輸入;計算與所述運動檢測水平及所述對比度相對應(yīng)的運動檢測閾值；以及基于所述輸入幀圖像與所述圖像處理后的前幀圖像的差值同所述運動檢測閾值的比較結(jié)果來生成所述輸入幀圖像與所述前幀圖像的合成圖像。
[0010]根據(jù)本發(fā)明，即使在對比度存在高低的情況下，也能夠減輕合成圖像中的運動物體的余像。
【附圖說明】
[0011]圖1是表示第一實施方式的圖像處理裝置的結(jié)構(gòu)的框圖。
[0012]圖2是表示由對比度分析部計算對比度時使用的直方圖的曲線圖。
[0013]圖3是表示運動檢測水平設(shè)定UI的圖。
[0014]圖4是表示設(shè)定有與運動檢測水平相對應(yīng)的運動檢測閾值的運動檢測閾值表的登記內(nèi)容的圖。
[0015]圖5是表示合成比率K的曲線圖。
[0016]圖6是說明幀圖像處理過程的流程圖。
[0017]圖7是說明繼圖6之后的幀圖像處理過程的流程圖。
[0018]圖8是表示第二實施方式的圖像處理裝置的結(jié)構(gòu)的框圖。
[0019]圖9A是說明對被分割為多個區(qū)域的圖像中的關(guān)注像素設(shè)定閾值的圖。
[0020]圖9B是說明對被分割為多個區(qū)域的圖像中的關(guān)注像素設(shè)定閾值的圖。
[0021]圖10是說明幀圖像處理過程的流程圖。
[0022]圖11是表示第三實施方式的圖像處理裝置的結(jié)構(gòu)的框圖。
[0023]圖12是說明區(qū)域和對比度設(shè)定UI的輸入操作過程的流程圖。
[0024]圖13A是表示區(qū)域和對比度設(shè)定UI的畫面的圖。
[0025]圖13B是表示區(qū)域和對比度設(shè)定UI的畫面的圖。
[0026]圖13C是表示區(qū)域和對比度設(shè)定UI的畫面的圖。
[0027]圖13D是表示區(qū)域和對比度設(shè)定UI的畫面的圖。
[0028]圖13E是表示區(qū)域和對比度設(shè)定UI的畫面的圖。
[0029]圖13F是表示區(qū)域和對比度設(shè)定UI的畫面的圖。
[0030]圖14是說明幀圖像處理過程的流程圖。
[0031]圖15是表示運動圖像的查看器的顯示區(qū)域和圖像處理菜單的顯示區(qū)域顯示在同一畫面上且顯示緊挨著再現(xiàn)之前的運動圖像的例子的圖。
[0032]圖16是表示運動圖像的查看器的顯示區(qū)域和圖像處理菜單的顯示區(qū)域顯示在同一畫面上且顯示緊接在再現(xiàn)之后的運動圖像的例子的圖。
[0033]圖17是表示運動圖像的查看器的顯示區(qū)域和圖像處理菜單的顯示區(qū)域顯示在同一畫面上且顯示多張合成NR處理后的運動圖像的例子的圖。
[0034]圖18是表示運動圖像的查看器的顯示區(qū)域和圖像處理菜單的顯示區(qū)域顯示在同一畫面上且示出了多張合成NR菜單的詳細(xì)內(nèi)容的例子的圖。
[0035]圖19是表示運動圖像的查看器的顯示區(qū)域和圖像處理菜單的顯示區(qū)域顯示在同一畫面上且示出了多張合成NR菜單的詳細(xì)內(nèi)容的例子的圖。
[0036]圖20是表示運動圖像的查看器的顯示區(qū)域和圖像處理菜單的顯示區(qū)域顯示在同一畫面上且示出了多張合成NR菜單的詳細(xì)內(nèi)容的例子的圖。
[0037]圖21是表示運動圖像的查看器的顯示區(qū)域和各圖像處理菜單的顯示區(qū)域顯示在同一畫面上且顯示空間色階校正、多張合成NR以及雨雪去除的各圖像處理后的運動圖像的例子的圖。
【具體實施方式】
[0038]參照附圖來說明本發(fā)明所涉及的圖像處理裝置和圖像處理方法的各實施方式。各實施方式的圖像處理裝置對從攝像機、記錄器等電子設(shè)備輸出的輸入幀圖像進(jìn)行圖像處理。另外，本發(fā)明并不限于圖像處理裝置和圖像處理方法，也可以表現(xiàn)為用于使計算機執(zhí)行由圖像處理方法規(guī)定的動作的程序或計算機可讀記錄介質(zhì)。
[0039](第一實施方式)
[0040]圖1是表示第一實施方式的圖像處理裝置I的結(jié)構(gòu)的框圖。圖像處理裝置I具有運動檢測水平設(shè)定UI 11、運動檢測閾值設(shè)定部12、對比度分析部13、運動檢測部14、圖像合成部15、差計算部16、平滑化處理部17、幀緩沖器18以及存儲部19。
[0041 ]在存儲部19中存儲輸入幀圖像和圖像處理后的輸出幀圖像。在幀緩沖器18中存儲上次進(jìn)行圖像處理后的幀圖像(前幀圖像)。
[0042]作為對比度計算部的一例的對比度分析部13被輸入存儲部19中存儲的輸入幀圖像來計算圖像的對比度。
[0043]運動檢測水平設(shè)定UI(User Interface，用戶界面)11用于設(shè)定由用戶指定的運動檢測水平。后文敘述運動檢測水平設(shè)定UI 11的詳細(xì)內(nèi)容。
[0044]作為閾值計算部的一例的運動檢測閾值設(shè)定部12根據(jù)由對比度分析部13計算出的對比度和由運動檢測水平設(shè)定UI 11設(shè)定的運動檢測水平來計算運動檢測閾值，并將該運動檢測閾值輸出到運動檢測部14。后文敘述運動檢測閾值的計算的詳細(xì)內(nèi)容。
[0045]從存儲部19向平滑化處理部17輸入輸入幀圖像，另外，從幀緩沖器18向平滑化處理部17輸入前幀圖像，該平滑化處理部17對這些圖像進(jìn)行用于空間平滑化的二維低通濾波處理，并將進(jìn)行該處理所得到的結(jié)果輸出到差計算部16。
[0046]差計算部16計算進(jìn)行了二維低通濾波處理后的輸入幀圖像與前幀圖像的每個像素或每個區(qū)域的差值(在此為亮度差)，并將得到的結(jié)果(幀間差值)輸出到運動檢測部14。
[0047]運動檢測部14將每個像素或每個區(qū)域的幀間差值與運動檢測閾值進(jìn)行比較，基于該比較結(jié)果來計算輸入幀圖像與前幀圖像的合成比率K。
[0048]作為合成圖像生成部的一例的圖像合成部15被輸入存儲部19中存儲的輸入幀圖像和幀緩沖器18中存儲的前幀圖像，按照合成比率K將前幀圖像合成到輸入幀圖像來生成合成圖像，并將作為該合成圖像的輸出幀圖像存儲到存儲部19，并且將該合成圖像作為下一次的前幀圖像而存儲到幀緩沖器18。
[0049]圖2是表示由對比度分析部13計算對比度時使用的直方圖的曲線圖。橫軸表示色階，縱軸表示像素數(shù)。直方圖的總面積是圖像的總像素數(shù)。在本實施方式中，對比度被定義為直方圖的累計上限和累計下限的寬度。累計上限是與總像素數(shù)的95%相當(dāng)?shù)纳A。累計下限是與總像素數(shù)的5%相當(dāng)?shù)纳A。此外，累計上限的95%和累計下限的5%是一例，也可以分別被設(shè)定為其它值。
[0050]圖3是表示運動檢測水平設(shè)定UI11的圖。運動檢測水平設(shè)定UI 11具有顯示部和輸入操作部，例如由觸摸面板、顯示器以及鼠標(biāo)等輸入設(shè)備構(gòu)成。
[0051]在運動檢測水平設(shè)定UI 11的畫面中顯示用戶能夠操作的、用于設(shè)定運動檢測水平的滑動條31和數(shù)值顯示部32。當(dāng)用戶操作滑動條31上的滑塊31a時，運動檢測水平被變更。
[0052]圖4是表示設(shè)定有與運動檢測水平相對應(yīng)的運動檢測閾值的運動檢測閾值表41的登記內(nèi)容的圖。該運動檢測閾值表41被保持在運動檢測閾值設(shè)定部12中。運動檢測閾值設(shè)定部12參照運動檢測閾值表41來求出與所輸入的運動檢測水平相對應(yīng)的運動檢測閾值的基準(zhǔn)值。作為運動檢測閾值的基準(zhǔn)值，求出閾值下限和閾值上限(參照圖5)的基準(zhǔn)值。例如，在運動檢測水平是值I的情況下，閾值下限和閾值上限的基準(zhǔn)值分別被設(shè)定為“127”和“255”。基準(zhǔn)值的最大值是“255”，最小值是“O”。
[0053]相對于作為運動檢測閾值的基準(zhǔn)值而求出的閾值下限和閾值上限的基準(zhǔn)值，運動檢測閾值設(shè)定部12使用由對比度分析部13計算出的對比度，按照數(shù)式(I)來調(diào)整運動檢測閾值。
[0054][數(shù)式I]
[0055]運動檢測閾值=運動檢測閾值X對比度值...( I)
[0056]在此，對比度值是將圖像的對比度以值0.0?1.0進(jìn)行標(biāo)準(zhǔn)化而得到的值。對比度值0.0表示對比度的最小值，對比度值1.0表示對比度的最大值。
[0057]圖5是表示合成比率K的曲線圖。橫軸表示差值，縱軸表示合成比率K。在此，合成比率K表示前幀圖像的合成比率。因而，用“1.0-K”表示輸入幀圖像的合成比率。
[0058]當(dāng)每個像素或每個區(qū)域的幀間差值比閾值下限小時，視為靜止，合成比率K被設(shè)定為值Kmax Imax是大于0.0且小于1.0的值。另一方面，當(dāng)每個像素或每個區(qū)域的幀間差值比閾值上限大時，視為大幅地運動，合成比率K被設(shè)定為值0.0。
[0059]在幀間差值處于閾值下限與閾值上限之間的情況下，通過對它們的線性插值來設(shè)定合成比率K。在此，以直線進(jìn)行了插值，但也可以以曲線進(jìn)行插值。
[0060]示出具有上述結(jié)構(gòu)的圖像處理裝置I的動作。圖6和圖7是說明幀圖像處理過程的流程圖。對比度分析部13和平滑化處理部17讀入存儲部19中存儲的輸入幀圖像(SI)。平滑化處理部17對輸入幀圖像進(jìn)行用于空間平滑化的二維低通濾波處理(S2)。并且，平滑化處理部17從幀緩沖器18讀入前幀圖像的處理結(jié)果(S3)，對其進(jìn)行用于空間平滑化的二維低通濾波處理(S4)。
[0061]對比度分析部13生成輸入幀圖像的直方圖(參照圖2)(S5)，根據(jù)該直方圖來計算輸入幀圖像的對比度(S6)。并且，對比度分析部13將該對比度在時間軸上進(jìn)行平滑化后計算對比度值(S7)。
[0062]運動檢測閾值設(shè)定部12從運動檢測水平設(shè)定UI11讀入所設(shè)定的運動檢測水平
(58)。運動檢測閾值設(shè)定部12使用根據(jù)該運動檢測水平獲得的運動檢測閾值的基準(zhǔn)值和在步驟S7中計算出的對比度值，按照數(shù)式(I)來計算運動檢測閾值中的閾值下限和閾值上限
(59)。
[0063]差計算部16讀入輸入幀圖像和圖像處理后的前幀圖像中處于相同位置的關(guān)注像素的像素值(SlO)。差計算部16計算關(guān)注像素的幀間差值(Sll)。
[0064]運動檢測部14判別該差值是否比閾值上限大(S12)。在比閾值上限大的情況下，運動檢測部14將前幀圖像的合成比率K設(shè)定為值0(S13)。即，視為關(guān)注像素大幅地運動，從而設(shè)定為不將前幀圖像進(jìn)行合成。
[0065]另一方面，在步驟S12中差值為閾值上限以下的情況下，運動檢測部14判別差值是否比閾值下限小(S14)。在差值比閾值下限小的情況下，運動檢測部14將前幀圖像的合成比率K設(shè)定為值Kmax(S15)。即，視為關(guān)注像素靜止，從而設(shè)定為將圖像處理后的前幀圖像以最大比例進(jìn)行合成。
[0066]另一方面，在步驟S14中差值為閾值下限以上的情況下，運動檢測部14將前幀圖像的合成比率K設(shè)定為通過值O與值Kmax之間的插值(參照圖5)而計算出的與差值相應(yīng)的值(S16)。即，設(shè)定為以與關(guān)注像素的運動情形相應(yīng)的比例將前幀圖像合成到輸入幀圖像。
[0067]當(dāng)通過步驟S13、S15或S16設(shè)定了合成比率K時，圖像合成部15使用合成比率K將關(guān)注像素處的輸入幀圖像與前幀圖像進(jìn)行合成(S17)。
[0068]圖像處理裝置I判別是否針對輸入幀圖像的所有像素均完成了合成處理(S18)。在尚未針對所有像素均完成合成處理的情況下，圖像處理裝置I返回到步驟SlO的處理，對下一個關(guān)注像素進(jìn)行同樣的處理。
[0069]另一方面，在針對所有像素均完成了合成處理的情況下，圖像合成部15將作為合成結(jié)果的合成圖像作為輸出幀圖像存儲到存儲部19，并且將合成圖像作為下一次的前幀圖像存儲到幀緩沖器18(S19)。之后，圖像處理裝置I結(jié)束本處理。
[0070]根據(jù)以上內(nèi)容，在第一實施方式的圖像處理裝置I中，運動檢測閾值能夠與輸入幀圖像的對比度相應(yīng)地自動變化，因此即使在幀間在對比度上存在高低差，也易于檢測運動物體。因而，針對具有檢測到運動物體的像素或區(qū)域的輸入幀圖像，降低與該輸入幀圖像進(jìn)行合成的前幀圖像的比例，由此，即使在對比度存在高低的情況下，也能夠減輕合成后的圖像中的運動物體的余像。
[0071]另外，通過用戶從運動檢測水平設(shè)定UI對運動檢測水平進(jìn)行輸入操作，能夠調(diào)整輸入幀圖像與前幀圖像的合成比率，因此能夠使合成圖像反映用戶的意圖。
[0072](第二實施方式)
[0073]在第二實施方式中示出將輸入幀圖像分割為多個區(qū)域并針對分割出的每個區(qū)域計算對比度的情況。第二實施方式的圖像處理裝置具有與第一實施方式的圖像處理裝置大致相同的結(jié)構(gòu)。對與所述第一實施方式相同的結(jié)構(gòu)要素使用相同的附圖標(biāo)記，由此省略其說明。
[0074]圖8是表示第二實施方式的圖像處理裝置IA的結(jié)構(gòu)的框圖。圖像處理裝置IA除了具有與所述第一實施方式的圖像處理裝置相同的結(jié)構(gòu)以外，還具有圖像分割部20。
[0075]圖像分割部20將輸入幀圖像分割為多個區(qū)域。關(guān)于該分割方法，例如既可以將圖像分割為相同尺寸的塊，也可以對圖像中的運動矢量、亮度分布進(jìn)行分析并通過其分組(grouping)來分割區(qū)域。
[0076]對比度分析部13計算每個區(qū)域的對比度，運動檢測閾值設(shè)定部12利用每個區(qū)域的對比度來設(shè)定運動檢測閾值。
[0077]圖9A和圖9B是說明對被分割為多個區(qū)域的圖像中的關(guān)注像素設(shè)定閾值的圖。在輸入幀圖像50中包括三個分割出的區(qū)域Gl、G2、G3。對區(qū)域Gl、G2、G3分別設(shè)定了與對比度相對應(yīng)的運動檢測閾值Thd(Gl)、Thd(G2)、Thd(G3)。
[0078]在圖9A中，關(guān)注像素P屬于區(qū)域Gl，因此關(guān)注像素P的運動檢測閾值Thd(P)為區(qū)域Gl的運動檢測閾值Thd(Gl)。
[0079]另一方面，在圖9B中，關(guān)注像素P處于分割出的區(qū)域G1、G2、G3之外。關(guān)注像素P的運動檢測閾值Thd(P)可以被設(shè)定為離關(guān)注像素P最近的區(qū)域G3的運動檢測閾值Thd(G3)。
[0080]另外，關(guān)注像素P的運動檢測閾值Thd(P)也可以被設(shè)定為使用關(guān)注像素P的周邊的多個區(qū)域(在此為區(qū)域G1、G2、G3)的運動檢測閾值Thd(Gl)、Thd(G2)、Thd(G3)并通過數(shù)式
(2)計算出的插值計算值。
[0081][數(shù)式2]
[0082]Thd(P)
[0083]=[(Thd(Gl)/dl)+(Thd(G2)/d2)+(Thd(G3)/d3)]/[(l/dl)+(l/d2)+(l/d3)]...(2)
[0084]在此，dl、d2、d3分別表示從關(guān)注像素P到區(qū)域G1、G2、G3的重心的距離。
[0085]此外，在關(guān)注像素位于區(qū)域的邊界的情況下，為了降低運動檢測閾值的急劇變化，也可以對運動檢測閾值的分布進(jìn)行二維低通濾波處理后計算關(guān)注像素的運動檢測閾值。
[0086]圖10是說明幀圖像處理過程的流程圖。此外，步驟SlO之后的處理與所述第一實施方式的處理相同，因此省略其說明。另外，在此對與所述第一實施方式不同的步驟處理進(jìn)行說明。
[0087]在步驟S4中，平滑化處理部17對從幀緩沖器18讀入的前幀圖像進(jìn)行用于空間平滑化的二維低通濾波處理。
[0088]之后，圖像分割部20在輸入幀圖像中設(shè)定多個分割出的區(qū)域(S4A)。對比度分析部13針對分割出的每個區(qū)域生成直方圖(S5A)，根據(jù)該直方圖計算分割出的每個區(qū)域的對比度(S6A)。
[0089]運動檢測閾值設(shè)定部12當(dāng)在步驟S8中從運動檢測水平設(shè)定UI 11讀入所設(shè)定的運動檢測水平時，使用根據(jù)該運動檢測水平獲得的運動檢測閾值的基準(zhǔn)值和在步驟S7中計算出的對比度值，按照所述數(shù)式(I)來計算分割出的每個區(qū)域的運動檢測閾值的閾值下限和閾值上限(S9A)。
[0090]根據(jù)以上內(nèi)容，在第二實施方式的圖像處理裝置IA中，針對輸入幀圖像中的分割出的每個區(qū)域，運動檢測閾值能夠與每個區(qū)域的對比度相應(yīng)地自動變化。由此，即使在一張輸入幀圖像中對比度存在高低差，也易于檢測運動物體。因而，即使在輸入幀圖像中對比度低的區(qū)域、對比度高的區(qū)域混合存在，也能夠減輕運動物體的余像。
[0091](第三實施方式)
[0092]在第三實施方式中示出用戶設(shè)定輸入幀圖像中的區(qū)域和對比度的情況。第三實施方式的圖像處理裝置IB具有與所述第一實施方式的圖像處理裝置大致相同的結(jié)構(gòu)。對與所述第一實施方式相同的結(jié)構(gòu)要素使用相同的附圖標(biāo)記，由此省略其說明。
[0093]圖11是表示第三實施方式的圖像處理裝置IB的結(jié)構(gòu)的框圖。圖像處理裝置IB除了具有所述第一實施方式的結(jié)構(gòu)以外，還具有區(qū)域和對比度設(shè)定UI 21、直方圖生成部22，并且具有對比度設(shè)定部13A來代替對比度分析部13。
[0094]區(qū)域和對比度設(shè)定UI21用于進(jìn)行關(guān)注區(qū)域的選擇、對比度的設(shè)定，具有輸入操作部和能夠顯示直方圖的顯示部。區(qū)域和對比度設(shè)定UI 21例如由觸摸面板、顯示器以及鼠標(biāo)等輸入設(shè)備構(gòu)成。
[0095]直方圖生成部22生成由用戶指定的關(guān)注區(qū)域的直方圖。對比度設(shè)定部13A設(shè)定關(guān)注區(qū)域的由用戶指定的對比度。
[0096]用戶參照區(qū)域和對比度設(shè)定UI21的畫面(參照圖13)中顯示的代表幀圖像及其直方圖并指定關(guān)注區(qū)域(規(guī)定的區(qū)域)。所指定的關(guān)注區(qū)域的信息被輸入到直方圖生成部22。當(dāng)直方圖生成部22生成了關(guān)注區(qū)域的直方圖時，區(qū)域和對比度設(shè)定UI 21將關(guān)注區(qū)域的直方圖疊加于代表幀的直方圖來進(jìn)行顯示。
[0097]進(jìn)而，用戶參照關(guān)注區(qū)域的直方圖并指定該區(qū)域的累計下限和累計上限，由此，所指定的累計下限和累計上限被輸入到對比度設(shè)定部13A。對比度設(shè)定部13A根據(jù)所輸入的累計下限和累計上限的信息來計算關(guān)注區(qū)域的對比度。
[0098]用戶選擇多個關(guān)注區(qū)域，并指定各個區(qū)域的對比度。所設(shè)定的每個關(guān)注區(qū)域的對比度被輸入到運動檢測閾值設(shè)定部12。
[0099]圖12是說明區(qū)域和對比度設(shè)定UI21的輸入操作過程的流程圖。圖13A?圖13F是表示區(qū)域和對比度設(shè)定UI 21的畫面的圖。
[0100]首先，區(qū)域和對比度設(shè)定UI21打開輸入幀圖像50(S31)。當(dāng)輸入幀圖像50被打開時，如圖13A所示那樣在區(qū)域和對比度設(shè)定UI 21的畫面中顯示輸入幀圖像50。
[0101]并且，直方圖生成部22生成與輸入幀圖像50的整個區(qū)域相對應(yīng)的直方圖61，區(qū)域和對比度設(shè)定UI 21如圖13B所示那樣在畫面中顯示所生成的與整個區(qū)域相對應(yīng)的該直方圖61(S32)。
[0102]對比度設(shè)定部13A設(shè)定直方圖61的對比度71(S33)。例如，通過將累計下限和累計上限分別指定為總像素數(shù)的2%、98%來設(shè)定對比度71。
[0103]區(qū)域和對比度設(shè)定UI21受理由用戶選擇的、輸入幀圖像中的關(guān)注區(qū)域53(S34)。當(dāng)如圖13C所示那樣選擇了關(guān)注區(qū)域53時，直方圖生成部22生成與關(guān)注區(qū)域53相對應(yīng)的直方圖63，區(qū)域和對比度設(shè)定UI 21如圖13D所示那樣將所生成的與關(guān)注區(qū)域53相對應(yīng)的該直方圖63以疊加于與整個區(qū)域相對應(yīng)的直方圖61的方式顯示在畫面(S35)。
[0104]對比度設(shè)定部13A設(shè)定直方圖63的對比度73(S36)。例如，通過將累計下限和累計上限分別指定為總像素數(shù)的2%、98%來設(shè)定對比度73。
[0105]區(qū)域和對比度設(shè)定UI21判別是否已完成全部的關(guān)注區(qū)域的選擇(S37)。在尚未完成全部的關(guān)注區(qū)域的選擇的情況下，區(qū)域和對比度設(shè)定UI 21返回到步驟34的處理，重復(fù)進(jìn)行同樣的處理。
[0106]當(dāng)如圖13E所示那樣第二次選擇關(guān)注區(qū)域55時，區(qū)域和對比度設(shè)定UI21受理由用戶選擇的、輸入幀圖像中的關(guān)注區(qū)域55(S34)。然后，如圖13F所示，直方圖生成部22生成與關(guān)注區(qū)域55相對應(yīng)的直方圖65，區(qū)域和對比度設(shè)定UI 21將所生成的與關(guān)注區(qū)域55相對應(yīng)的該直方圖65以疊加于與整個區(qū)域相對應(yīng)的直方圖61的方式顯示在畫面(S35)。
[0107]對比度設(shè)定部13A設(shè)定直方圖65的對比度75(S36)。例如，通過將累計下限和累計上限分別指定為總像素數(shù)的2%、98%來設(shè)定對比度75。
[0108]第一次選擇的關(guān)注區(qū)域53是整體上暗的區(qū)域，對比度73為小的值。另一方面，第二次選擇的關(guān)注區(qū)域55是有明暗的區(qū)域，對比度75為大的值。
[0109]圖14是說明幀圖像處理過程的流程圖。此外，步驟SlO之后的處理與所述第一實施方式相同，因此省略其說明。另外，在此對與所述第一實施方式不同的步驟處理進(jìn)行說明。
[0110]在步驟S4中，平滑化處理部17對從幀緩沖器18讀入的前幀圖像進(jìn)行用于空間平滑化的二維低通濾波處理。
[0111]之后，區(qū)域和對比度設(shè)定UI21按照圖12示出的過程來設(shè)定由用戶選擇出的關(guān)注區(qū)域以及與該關(guān)注區(qū)域?qū)?yīng)的對比度(S6B)。
[0112]運動檢測閾值設(shè)定部12當(dāng)在步驟S8中從運動檢測水平設(shè)定UI 11讀入所設(shè)定的運動檢測水平時，使用根據(jù)該運動檢測水平獲得的運動檢測閾值的基準(zhǔn)值和在步驟S7中計算出的對比度值，按照所述數(shù)式(I)來計算所選擇出的每個關(guān)注區(qū)域的運動檢測閾值的閾值下限和閾值上限(S9B)。
[0113]根據(jù)以上內(nèi)容，在第三實施方式的圖像處理裝置IB中，用戶能夠一邊參照輸入幀圖像一邊選擇關(guān)注區(qū)域，并且指定在該關(guān)注區(qū)域中用于計算運動檢測閾值的對比度。
[0114]因而，即使在輸入幀圖像中對比度低的區(qū)域、對比度高的區(qū)域混合存在，也能夠充分反映用戶的意圖，易于檢測運動物體。針對具有檢測到該運動物體的關(guān)注區(qū)域的輸入幀圖像，降低與該輸入幀圖像進(jìn)行合成的前幀圖像的比例，由此能夠如用戶所意圖的那樣減輕運動物體的余像。
[0115]此外，關(guān)于關(guān)注區(qū)域的指定和對比度的設(shè)定，也可以不全由用戶進(jìn)行，可以如所述第二實施方式所示那樣，針對自動分割出的區(qū)域和所設(shè)定的對比度，用戶一邊參照其結(jié)果一邊進(jìn)行修正，由此進(jìn)行指定和設(shè)定。
[0116]以上，參照附圖對各種實施方式進(jìn)行了說明，但是本發(fā)明并不限定于上述例子，這是不言而喻的。本領(lǐng)域技術(shù)人員顯然明白，在權(quán)利要求書中記載的范疇內(nèi)能夠想到各種變更例或修正例，并了解這些變更例和修正例當(dāng)然也屬于本發(fā)明的技術(shù)范圍。
[0117]例如，各實施方式的圖像處理裝置1、1A、IB的顯示控制部CT也可以讀出存儲部19中存儲的運動圖像的圖像數(shù)據(jù)，將各實施方式中的使用合成比率K進(jìn)行的前幀圖像與輸入幀圖像(當(dāng)前幀圖像)的圖像合成(以下稱為“多張合成NR”)處理的菜單畫面和從存儲部19讀出的運動圖像的圖像數(shù)據(jù)顯示在顯示器DP的同一畫面上(參照圖15?圖20)。此外，雖然在上述各實施方式中省略了說明，但在各圖像處理裝置1、1A、1B中也可以還設(shè)置用于顯示畫面的顯示器DP和用于對顯示器DP的顯示進(jìn)行控制的顯示控制部CT(參照圖1、圖8、圖11)。以下，參照圖15?圖20來說明在顯示器DP的同一畫面WDl?WD6中顯示的畫面例。
[0118]圖15是表示運動圖像的查看器(viewer)的顯示區(qū)域VIW和圖像處理菜單的顯示區(qū)ii|MNU顯示在同一畫面WDl上且顯示緊挨著再現(xiàn)之前的運動圖像的例子的圖。圖16是表示運動圖像的查看器的顯示區(qū)域VIW和圖像處理菜單的顯示區(qū)域MNU顯示在同一畫面WD2上且顯示緊接在再現(xiàn)之后的運動圖像的例子的圖。圖17是表示運動圖像的查看器的顯示區(qū)域VIW和圖像處理菜單的顯示區(qū)域MNU顯示在同一畫面WD3上且顯示多張合成NR處理后的運動圖像的例子的圖。
[0119]在圖15中，從存儲部19讀出的時間點處于緊挨著再現(xiàn)之前的狀態(tài)的運動圖像的圖像數(shù)據(jù)的查看器的顯示區(qū)域VIW、以及圖像處理裝置1、1A、1B能夠執(zhí)行的圖像處理(具體地說，空間色階校正、多張合成NR(Noise Reduct1n:噪聲降低)、雨雪去除)的菜單(圖像處理菜單)的顯示區(qū)域MNU示出在同一畫面WDl上。在圖15中，不顯示這些圖像處理菜單各自的詳細(xì)內(nèi)容，僅顯示各圖像處理菜單的名稱，從而對于用戶而言能夠一目了然地視覺確認(rèn)作為圖像處理裝置1、1A、IB的圖像處理的對象的運動圖像的圖像數(shù)據(jù)與圖像處理裝置1、1A、IB能夠執(zhí)行的圖像處理的菜單的一覽的關(guān)系。因而，用戶能夠?qū)Ρ鹊卮_認(rèn)作為圖像處理的對象的運動圖像的圖像數(shù)據(jù)與圖像處理菜單。
[0120]在圖15?圖20所示的畫面WDl?WD9的下部共通地顯示了與運動圖像的再現(xiàn)、暫停、停止、快進(jìn)、倒回、錄像、返回操作等有關(guān)的操作按鈕集BST、可視地示出運動圖像的再現(xiàn)時刻的再現(xiàn)條BAR、示出運動圖像的起點時刻和結(jié)束時刻的運動圖像時間區(qū)STE、以及直接示出由在再現(xiàn)條BAR內(nèi)顯示的指示器IND表示的實際的再現(xiàn)時刻(也就是說從起點時刻起的經(jīng)過時間)的再現(xiàn)時刻區(qū)CRT。當(dāng)通過用戶的操作而利用光標(biāo)CSR按下再現(xiàn)按鈕RP時，圖像處理裝置I的顯示控制部CT再現(xiàn)從存儲部19讀出的運動圖像的圖像數(shù)據(jù)(參照圖16?圖21)。在該情況下，圖像處理裝置I的顯示控制部CT在畫面WD2上將再現(xiàn)按鈕RP變更為暫停按鈕HL來進(jìn)行顯示。
[0121]在此，當(dāng)通過用戶的操作而利用光標(biāo)CSR例如將圖像處理菜單的顯示區(qū)域MNU中的多張合成NR的菜單欄MNU2按一次時，圖像處理裝置1、1A、IB的圖像合成部15按照對應(yīng)的各實施方式的方法(例如分別參照圖6和圖7的組合、圖10和圖7的組合、圖14和圖7的組合)來對顯示區(qū)域VIW中顯示的運動圖像的圖像數(shù)據(jù)進(jìn)行多張合成NR的處理。另一方面，當(dāng)利用光標(biāo)CSR再一次按下多張合成NR的菜單欄MNU2時，圖像處理裝置1、1A、IB的圖像合成部15中斷對顯示區(qū)域VIW中顯示的運動圖像的圖像數(shù)據(jù)進(jìn)行的多張合成NR的處理。由此，圖像處理裝置1、1A、1B能夠在對顯示區(qū)域VIW中顯示的運動圖像的圖像數(shù)據(jù)進(jìn)行再現(xiàn)的狀態(tài)下，通過用戶的簡單操作(即，是否按下菜單欄MNU2)來準(zhǔn)確地執(zhí)行或中斷執(zhí)行與顯示區(qū)域MNU中顯示的任一圖像處理菜單相對應(yīng)的圖像處理，能夠使用戶簡單地確認(rèn)圖像處理前后的處理結(jié)果。此外，圖像處理裝置1、1A、1B的顯示控制部CT可以在光標(biāo)CSR處于圖像處理菜單中的任一菜單欄上或該菜單欄的附近的情況下顯示不同形狀的光標(biāo)CSRl，也可以顯示原來的光標(biāo)CSR0
[0122]另外，當(dāng)通過用戶的操作而利用光標(biāo)CSRl按下圖17所示的多張合成NR的菜單欄MNU2的右端部顯示的標(biāo)記DTl時，圖像處理裝置1、1A、IB的顯示控制部CT將用于設(shè)定與多張合成NR有關(guān)的多個輸入?yún)?shù)(例如NR水平、檢測水平)的詳細(xì)的操作畫面的顯示區(qū)域MNU2D展開并顯示在畫面WD4上(參照圖18?圖20)。圖18?圖20分別是表示運動圖像的查看器的顯示區(qū)域VIW和圖像處理菜單的顯示區(qū)域MNU2D顯示在同一畫面WD4?WD6上且示出了多張合成NR菜單的詳細(xì)內(nèi)容的例子的圖。
[0123]如圖18?圖20所示，圖像處理裝置1、1A、IB的顯示控制部CT在顯示區(qū)域MNU2D中顯示與用于設(shè)定與多張合成NR有關(guān)的輸入?yún)?shù)的詳細(xì)的操作畫面(參照圖3)同樣的畫面。在圖18?圖20所示的顯示區(qū)域MNU2D中以能夠輸入或指定的方式顯示了作為與多張合成NR有關(guān)的輸入?yún)?shù)的攝像機動作、NR水平、檢測水平、是否對移動物體應(yīng)用平滑化濾波的復(fù)選框FCB、攝像機運動檢測的檢測精度及檢測范圍。
[0124]在圖18?圖20中同樣地通過用戶針對按NR水平、檢測水平、檢測精度以及檢測范圍設(shè)置的拖動條(seek bar)(例如參照圖3所示的滑塊3Ia)使光標(biāo)CSR向左右移動的操作，圖像處理裝置1、1A、1B對顯示區(qū)域VIW中正在再現(xiàn)的運動圖像的圖像數(shù)據(jù)進(jìn)行與移動操作后的輸入?yún)?shù)相應(yīng)的多張合成NR的處理。
[0125]圖18?圖20所示的“NR水平”是用于決定前幀圖像與當(dāng)前幀圖像的合成比率K的參數(shù)，用于降低幀圖像中的噪聲。圖18?圖20所示的“檢測水平”與圖3所示的被攝體檢測運動檢測水平對應(yīng)，用于運動檢測閾值設(shè)定部12中的運動檢測閾值的計算。圖18?圖20所示的“檢測精度”和“檢測范圍”分別表示圖像處理裝置1、1A、IB檢測攝像機運動時的檢測精度和檢測攝像機運動時的檢測范圍。
[0126]當(dāng)通過用戶的操作而利用光標(biāo)CSR按下復(fù)選框FCB時，圖像處理裝置1、1A、1B在圖像合成部15中對由運動檢測部14檢測到的運動像素進(jìn)行用于空間平滑化的二維低通濾波處理。
[0127]在圖18中NR水平為“6”，但在圖19中NR水平變更為“15”，因此與圖18所示的運動圖像的圖像數(shù)據(jù)的噪聲成分相比，圖19所示的運動圖像的圖像數(shù)據(jù)的噪聲成分降低，因此用戶能夠充分地掌握運動圖像的內(nèi)容。
[0128]在圖18中檢測水平為“7”，但在圖20中檢測水平變更為“2”，因此與圖18所示的運動圖像的圖像數(shù)據(jù)相比，圖20所示的運動圖像的圖像數(shù)據(jù)中移動物體的檢測水平降低，因此運動檢測閾值上升，通過多張合成NR而出現(xiàn)移動物體的余像，但例如在存在用戶需要特別監(jiān)視不包含移動物體的背景等情形的情況下，也可以將檢測水平設(shè)定得較低。
[0129]另外，各實施方式的圖像處理裝置1、1A、1B也可以將從存儲部19讀出的運動圖像的圖像數(shù)據(jù)和包括多張合成NR在內(nèi)的多個圖像處理的菜單畫面顯示在顯示器DP的同一畫面上(參照圖21)。以下，參照圖21來說明在顯示器DP的同一畫面WD7上顯示的畫面例。
[0130]圖21是表示運動圖像的查看器的顯示區(qū)域VIW和各圖像處理菜單的顯示區(qū)域麗U1、MNU2、MNU3顯示在同一畫面WD7上且顯示空間色階校正、多張合成NR以及雨雪去除的各圖像處理后的運動圖像的例子的圖。在圖21中，通過用戶的操作來利用光標(biāo)CSRl分別按下空間色階校正的菜單欄MNUl、多張合成NR的菜單欄MNU2以及雨雪去除的菜單欄MNU3，由此在顯示區(qū)域VIW中顯示由圖像處理裝置1、1A、1B實施了與各菜單欄對應(yīng)的圖像處理后的運動圖像的圖像數(shù)據(jù)。也就是說，本實施方式的圖像處理裝置1、1A、1B并不限定于參照圖15?圖20說明的單一的圖像處理(例如多張合成NR)，能夠一邊在顯示區(qū)域VIW中顯示運動圖像的圖像數(shù)據(jù)，一邊與用戶的簡單操作相應(yīng)地執(zhí)行多個圖像處理，從而能夠直觀且可視地向用戶示出多個圖像處理結(jié)果。
[0131]此外，空間色階校正是如下的圖像處理:根據(jù)規(guī)定的參數(shù)(例如校正方式、校正強度、顏色增強度、明亮度以及校正范圍)的輸入或指定，變換為相應(yīng)的另外的參數(shù)(例如加權(quán)系數(shù)、加權(quán)范圍、直方圖上限限幅(clip)量、直方圖下限限幅量、直方圖分配系數(shù)設(shè)定值、分配開始和結(jié)束位置、圖像混合(blend)率、顏色增益)，使用變換后得到的參數(shù)來針對輸入幀進(jìn)行局部直方圖的生成和整形，進(jìn)而生成色調(diào)曲線來進(jìn)行色階變換和顏色增強。另外，雨雪去除是如下的圖像處理:根據(jù)所輸入的幀的圖像中的動態(tài)區(qū)域(即存在運動的區(qū)域)是否為與用于去除雨雪的校正參數(shù)相應(yīng)的指定尺寸以上，來將濾波處理后的圖像或當(dāng)前幀的圖像中的對應(yīng)位置的圖像用作動態(tài)區(qū)域的圖像。
[0132]另外，在圖21中，與圖18同樣地，當(dāng)通過用戶的操作而利用光標(biāo)CSRl按下與圖17所示的標(biāo)記DTI對應(yīng)的空間色階校正的菜單欄MNU1、多張合成NR的菜單欄MNU2以及雨雪去除的菜單欄MNU3的各標(biāo)記時，圖像處理裝置1、1A、IB的顯示控制部CT將用于設(shè)定與空間色階校正、多張合成NR以及雨雪去除有關(guān)的各自的多個輸入?yún)?shù)的詳細(xì)的操作畫面的顯示區(qū)域MNUlD等展開并顯示在畫面上。此外，省略了用于設(shè)定與空間色階校正和雨雪去除有關(guān)的各自的多個輸入?yún)?shù)的詳細(xì)的操作畫面的顯示區(qū)域的圖示。例如，通過用戶的操作而在空間色階校正中分別輸入或指定上述校正方式、校正強度、顏色增強度、明亮度以及校正范圍)。另外，在雨雪去除中輸入或指定用于去除雨雪的校正參數(shù)(即校正強度)。
[0133]由此，圖像處理裝置1、1A、1B能夠在對顯示區(qū)域VIW中顯示的運動圖像的圖像數(shù)據(jù)進(jìn)行再現(xiàn)的狀態(tài)下，通過用戶的簡單操作(也就是說，是否按下與多個圖像處理有關(guān)的菜單欄MNUl、MNU2、MNU3)來準(zhǔn)確地執(zhí)行或中斷執(zhí)行與顯示區(qū)域MNUl、MNU2、MNU3的按下操作相對應(yīng)的圖像處理，能夠使用戶簡單地確認(rèn)圖像處理前后的處理結(jié)果。另外，圖像處理裝置1、1A、1B能夠準(zhǔn)確地執(zhí)行或中斷執(zhí)行與用于設(shè)定多個圖像處理中的各參數(shù)的詳細(xì)的操作畫面的顯示區(qū)域(例如顯示區(qū)域MNU2D)中顯示的任一參數(shù)的變更操作相應(yīng)的圖像處理，能夠使用戶簡單地確認(rèn)圖像處理前后的處理結(jié)果。
[0134]產(chǎn)業(yè)上的可利用性
[0135]本發(fā)明對于即使在對比度存在高低的情況下也減輕合成圖像中的運動物體的余像的圖像處理裝置和圖像處理方法是有用的。
[0136]附圖標(biāo)記的說明
[0137]1、1A、1B:圖像處理裝置；11:運動檢測水平設(shè)定UI; 12:運動檢測閾值設(shè)定部；13:對比度分析部；13A:對比度設(shè)定部；14:運動檢測部；15:圖像合成部；16:差計算部；17:平滑化處理部；18:幀緩沖器；19:存儲部;20:圖像分割部;21:區(qū)域和對比度設(shè)定UI; 22:直方圖生成部；31:滑動條；3Ia:滑塊；32:數(shù)值顯示部；41:運動檢測閾值表;50:輸入幀圖像;53、55:關(guān)注區(qū)域;61、63、65:直方圖；71、73、75:對比度;(:1':顯示控制部;0?:顯示器;101、仰2、WD3、WD4、WD5、WD6、WD7:畫面。
【主權(quán)項】
1.一種圖像處理裝置，對輸入幀圖像進(jìn)行圖像處理，該圖像處理裝置具備: 對比度計算部，其計算所述輸入幀圖像的對比度； 第一輸入操作部，其受理針對所述輸入幀圖像的運動檢測水平的輸入； 閾值計算部，其計算與所述運動檢測水平及所述對比度相對應(yīng)的運動檢測閾值； 存儲部，其存儲所述圖像處理后的前幀圖像；以及 合成圖像生成部，其基于所述輸入幀圖像與所述前幀圖像的差值同所述運動檢測閾值的比較結(jié)果來生成所述輸入幀圖像與所述前幀圖像的合成圖像。2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 還具備圖像分割部，該圖像分割部將所述輸入幀圖像分割成各個區(qū)域， 所述對比度計算部針對由所述圖像分割部分割出的每個區(qū)域計算所述輸入幀圖像的對比度， 所述閾值計算部針對由所述圖像分割部分割出的每個區(qū)域計算所述運動檢測閾值。3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 還具備第二輸入操作部，該第二輸入操作部受理針對所述輸入幀圖像進(jìn)行的規(guī)定區(qū)域的選擇和所述規(guī)定區(qū)域的對比度的指定， 所述閾值計算部針對通過所述第二輸入操作部選擇出的每個所述規(guī)定區(qū)域計算所述運動檢測閾值。4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述顯示部將所述圖像數(shù)據(jù)和包括所述運動檢測水平的操作畫面的圖像合成處理的菜單畫面顯示在同一畫面上。5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述顯示部將所述圖像數(shù)據(jù)和包括所述運動檢測水平的操作畫面的、具有圖像合成處理的多個圖像處理的菜單畫面顯示在同一畫面上。6.根據(jù)權(quán)利要求4或5所述的圖像處理裝置，其特征在于， 所述閾值計算部根據(jù)對所述圖像合成處理的菜單畫面進(jìn)行的所述運動檢測水平的變更操作來計算所述運動檢測閾值， 所述合成圖像生成部根據(jù)由所述閾值計算部計算出的所述運動檢測閾值來生成所述輸入幀圖像與所述前幀圖像的合成圖像。7.—種圖像處理方法，是對輸入幀圖像進(jìn)行圖像處理的圖像處理裝置的圖像處理方法，該圖像處理方法包括以下步驟: 計算所述輸入幀圖像的對比度； 受理針對所述輸入幀圖像的運動檢測水平的輸入； 計算與所述運動檢測水平及所述對比度相對應(yīng)的運動檢測閾值；以及基于所述輸入幀圖像與所述圖像處理后的前幀圖像的差值同所述運動檢測閾值的比較結(jié)果來生成所述輸入幀圖像與所述前幀圖像的合成圖像。
【文檔編號】H04N5/21GK106031145SQ201580009883
【公開日】2016年10月12日
【申請日】2015年2月25日
【發(fā)明人】王親和, 古田曉廣
【申請人】松下知識產(chǎn)權(quán)經(jīng)營株式會社