專利名稱：具有有不同光敏感度的光電二極管的成像陣列及相關(guān)聯(lián)圖像恢復(fù)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及光電傳感器及光電傳感器的成像陣列。更特定來說，本發(fā)明涉及使用具有不同光敏感度的像素形成的成像陣列及用于恢復(fù)使用此些成像陣列捕獲的數(shù)字圖像中的視覺信息的方法。
背景技術(shù)：
圖像傳感器為通常形成為光電二極管的光敏單元(光電傳感器)的陣列。圖像的質(zhì)量及動態(tài)范圍受像素傳感器自身的性質(zhì)的限制，尤其是在其中傳感器單元通常飽和(即，達到傳感器可收集的最大電荷)的亮圖像區(qū)中。超過飽和電平會在所捕獲的圖像中產(chǎn)生“開化狀假象(blooming artifact)”。
發(fā)明內(nèi)容
圖像傳感器為通常形成為光電二極管的光敏單元(光電傳感器)的陣列。不同于采用全部具有相同光敏感度的光電傳感器的傳統(tǒng)圖像傳感器，本發(fā)明呈現(xiàn)一種采用具有不同光敏感度的光電二極管的傳感器。本發(fā)明增強圖像的質(zhì)量及動態(tài)范圍兩者，尤其是在其中傳感器單元通常飽和的亮圖像區(qū)中。為了克服現(xiàn)有技術(shù)圖像傳感器中固有的問題，本發(fā)明針對一種包含具有正常光敏感度的光電二極管及具有較低光敏感度的光電二極管兩者的圖像傳感器。具有正常光敏感度的光電二極管旨在捕獲與介于從低值到不飽和的高值的范圍內(nèi)的光強度相關(guān)聯(lián)的視覺信息。具有較低光敏感度的光電二極管旨在捕獲其中具有正常光敏感度的光電二極管通常飽和的具有高光的區(qū)中的視覺信息?？梢詳?shù)種不同方式來實現(xiàn)光電二極管的較低敏感度，舉例來說，通過阻擋落在光電二極管處的光或改變光電二極管的電容。
在不飽和的區(qū)中，通過應(yīng)用適當(dāng)增益使對應(yīng)于具有較低光敏感度的光電二極管的像素值成為對應(yīng)于具有正常光敏感度的光電二極管的像素值的水平來恢復(fù)高質(zhì)量圖像信息。通常在校準(zhǔn)中獲得這些增益(本文中稱作高光像素增益)。或者，可根據(jù)任何高光像素的鄰域中可用的不飽和正常光敏感度像素的平均值或加權(quán)平均值(舉例來說，使用高斯權(quán)數(shù))與高光像素值的比率來計算所述高光像素的高光像素增益。替代解決方案可旨在借助于圖像內(nèi)插或信號估計使用對應(yīng)于具有正常光敏感度的光電二極管的相鄰像素值來恢復(fù)對應(yīng)于具有較低光敏感度的光電二極管的像素值。根據(jù)本發(fā)明，揭示用于通過組合具有減小的敏感度的像素而恢復(fù)數(shù)字圖像中的高光的方法。
本發(fā)明中所引入的概念適用于任何光電二極管布局，例如具有較低光敏感度的光電二極管在具有正常光敏感度的光電二極管的陣列中的各種周期性、偽隨機及隨機布置。另外，本發(fā)明并不限于任何特定敏感度設(shè)定，因為所呈現(xiàn)的概念為靈活的且允許具有不同敏感度的光電二極管。
圖I是典型的現(xiàn)有技術(shù)像素的橫截面圖。圖2是根據(jù)本發(fā)明的一個方面的敏感度減小的像素的橫截面圖。圖3是針對正常像素及敏感度減小的像素兩者的面板曝光對像素輸出的曲線圖。圖4是展示根據(jù)本發(fā)明用于敏感度減小的像素的光屏蔽物的一個說明性實施例的圖示?！D5是展示根據(jù)本發(fā)明用于敏感度減小的像素的光屏蔽物的另一說明性實施例的圖示。圖6是展示根據(jù)本發(fā)明放置于像素陣列上方以界定敏感度減小的像素的柵格的一部分的說明性形式的圖示。圖7是展示根據(jù)本發(fā)明包含以規(guī)則方式放置的敏感度減小的像素的根據(jù)本發(fā)明的說明性像素陣列的一部分的圖示。圖8是展示根據(jù)本發(fā)明包含以規(guī)則方式放置成菱形圖案的敏感度減小的像素的根據(jù)本發(fā)明的說明性像素陣列的一部分的圖示。圖9是展示根據(jù)本發(fā)明的說明性圖像恢復(fù)方法的流程圖。圖10是展示根據(jù)本發(fā)明的另一說明性圖像恢復(fù)方法的流程圖。圖11是展示根據(jù)本發(fā)明的另一說明性圖像恢復(fù)方法的流程圖。
具體實施例方式所屬領(lǐng)域的技術(shù)人員將認識到，本發(fā)明的以下描述僅為說明性而絕非為限制性。此些技術(shù)人員將容易聯(lián)想到本發(fā)明的其它實施例。根據(jù)本發(fā)明的成像陣列包含具有兩種不同光敏感度的像素傳感器。第一多個像素傳感器具有第一光敏感度，且第二多個像素傳感器具有小于第一光敏感度的第二光敏感度。本文中有時將第一多個像素稱作“正常像素”，且本文中有時將第二多個像素稱作“高光”像素。首先參考圖1，其展示正常像素10的橫截面圖。襯底12中形成有光電傳感器(未展示)。展示安置于所述襯底上方的用于制作操作所述像素必需的晶體管的多晶硅層14的一部分。另外，展示三個說明性金屬互連層16、18及20的部分。CMOS圖像傳感器可具有更少或更多的金屬層，此取決于所選技術(shù)。如圖I中所展示，多晶硅層14以及金屬互連層16、18及20由于其吸收可見光而不位于光電二極管上方。圖I中展示界定像素區(qū)域的柵格22的部分。平面化/鈍化層24可安置于像素的表面上方。此層可由聚合物層及/或氮化物層形成。微透鏡26可形成于所述平面化/鈍化層上方，如此項技術(shù)中已知。微透鏡用于將傳入光聚焦到像素中的光電傳感器上。在一些成像陣列中，通常使用暗光屏蔽物有意地阻擋住像素陣列的邊緣上的列及行上方的所有光。這些暗列及行提供用以表征成像器的噪聲源的數(shù)據(jù)?，F(xiàn)在參考圖2，其展示根據(jù)本發(fā)明的一個方面的敏感度減小的像素30的橫截面圖。如同在圖I的像素10中一樣，像素30包含形成于襯底12中的光電傳感器(未展示)。展示安置于所述襯底上方的多晶硅層14的一部分，且展示三個說明性金屬互連層16、18及20的部分。平面化/鈍化層24安置于所述像素的表面上方，且微透鏡26形成于平面化/鈍化層24上方，如此項技術(shù)中已知。微透鏡26用于將傳入光聚焦到像素中的光電傳感器上。然而，不同于圖I的像素10，圖2的像素30具有由暗屏蔽材料32層形成的減小的孔口大小。暗屏蔽材料32可為后段工藝(BEOL)處理中所使用的任何金屬，因為BEOL中所使用的金屬為光學(xué)不透明的。所屬領(lǐng)域的技術(shù)人員將了解，盡管將暗屏蔽材料32展示為安置于像素的表面處或附近，但可使用任何金屬層的部分或多個金屬層的組合來阻擋入射光的一部分使得所得敏感度變得低于正常像素的敏感度?？商暨x與工藝兼容且具有低光學(xué)透射率的金屬或任何·其它材料作為光屏蔽材料。如果使用如圖I中所展示的柵格22，那么可如像素30 —樣將其圖案化為在敏感度減小的像素上方具有較小孔口。根據(jù)本發(fā)明的一個方面，形成具有經(jīng)調(diào)整以提供進入像素的光的二分之一到八分之一的孔口的部分光屏蔽物。此概念圖解說明于其中在橫截面中以虛線展示二維光射線軌跡的圖I及2中。圖I展示正常像素10的光射線跡線，而圖2描繪具有開口以僅允許進入圖I像素10的光的約四分之一進入像素30的暗金屬的使用。圖3是展示針對圖I的正常像素及圖2的敏感度減小的像素兩者的面板曝光對像素輸出的曲線圖。敏感度減小的像素的說明性目標(biāo)范圍通常為正常像素的大約二分之一到八分之一，但所屬領(lǐng)域的技術(shù)人員將容易認識到可使用其它范圍。舉例來說，如果將進入像素的光的量減到進入正常像素的光的四分之一，那么敏感度將為正常像素的敏感度的約四分之一。為了制造在與給定技術(shù)的典型像素相比時具有減小的光敏感度的光電二極管，將采用光屏蔽物。所述光屏蔽物將阻擋進入以減小敏感度為目標(biāo)的那些像素的光的一部分。如所屬領(lǐng)域的技術(shù)人員將容易了解，光屏蔽物中的孔口越小，就獲得越大的光敏感度減小?？梢詳?shù)種方式實施用于敏感度減小的像素的光屏蔽物?，F(xiàn)在參考圖4及5，其展示根據(jù)本發(fā)明的用于敏感度減小的像素的光屏蔽物的兩種示范性幾何布局。圖4展示具有正方形孔口 34的光屏蔽物32。所屬領(lǐng)域的技術(shù)人員將認識到，可針對孔口使用其它形狀變化形式。舉例來說，可采用如圖5中所展示的在光屏蔽物32中的八邊形孔口 36、圓形孔口，或具有斜切拐角的正方形孔口。僅在經(jīng)隔離的敏感度減小的像素上方采用光屏蔽物的另一可能變化形式也將在像素陣列上方形成柵格。此圖解說明為圖6中的布局。在此情況中，如果光屏蔽物形成為金屬柵格，那么其可用作例如電源平面的額外電層。柵格的形成還可用于更好地制造敏感度減小的像素。如上文所論述，正常像素與敏感度減小的像素之間的敏感度差是因像素的孔口大小的差所致。所屬領(lǐng)域的技術(shù)人員將認識到，可使用其它技術(shù)來形成具有兩種不同敏感度的像素。此些技術(shù)包含但不限于在不同像素中使用不同摻雜水平及在敏感度減小的像素上方形成具有減小的光學(xué)透射率的材料層。
根據(jù)本發(fā)明的一個方面，在整個成像陣列上方以規(guī)則方式放置敏感度減小的像素。敏感度減小的像素經(jīng)間隔開以便不損壞圖像的總體質(zhì)量而是補充對高光數(shù)據(jù)的圖像處理。根據(jù)本發(fā)明對像素的一種示范性放置是在給定行及列上放置約每2到100個像素，但所屬領(lǐng)域的技術(shù)人員將了解可采用不同間隔，例如周期性、偽隨機及隨機的。結(jié)果為敏感度減小的像素可占總像素數(shù)目的介于大約40%與大約0.01%之間。在圖7中所展示的一個實例中，布置包含每個IOX 10像素區(qū)一個敏感度減小的像素。所屬領(lǐng)域的技術(shù)人員將了解，可取決于像素及陣列的大小而選擇適當(dāng)比率?，F(xiàn)在參考圖8，其展示其中高光像素布置成菱形圖案的另一說明性高光像素布局/布置。一般來說，通過首先形成類似于圖7中的間隔的規(guī)則間隔且接著在四個現(xiàn)有高光像素的正方形的中心添加高光像素來形成此菱形圖案。圖8展示其中在水平及垂直兩者上每十個像素且在對角線上每五個像素放置高光像素的實例性布置。本發(fā)明中所引入的概念適用于任何光電二極管布局，例如具有較低光敏感度的光電二極管在具有正常光敏感度的光電二極管的陣列中的各種周期性、偽隨機及隨機布置。 另外，本發(fā)明并不限于任何特定敏感度設(shè)定，因為所呈現(xiàn)的概念為靈活的且允許具有不同敏感度的光電二極管。在具有飽和信號值的區(qū)中，通過應(yīng)用適當(dāng)高光像素增益來獲得對應(yīng)于具有較低光敏感度的光電二極管的像素值以產(chǎn)生參考信號?？山又褂么诵﹨⒖夹盘栔狄酝ㄟ^將參考信號值的特性映射到飽和像素(舉例來說，通過組合可用參考信號值與對應(yīng)于具有正常光敏感度的光電二極管的不飽和像素值)來恢復(fù)對應(yīng)于具有正常光敏感度的光電二極管的像素位置中的圖像信息。替代解決方案可旨在借助于圖像內(nèi)插或信號估計使用對應(yīng)于具有較低光敏感度的光電二極管的相鄰像素值恢復(fù)對應(yīng)于具有正常光敏感度的光電二極管的像素值。如所屬領(lǐng)域的技術(shù)人員將容易了解，取決于實際實施方案，可在執(zhí)行恢復(fù)過程之前或直接在恢復(fù)過程期間對對應(yīng)于具有較低光敏感度的光電二極管的像素值應(yīng)用高光像素增益。參考圖9展示根據(jù)本發(fā)明的示范性方法40。過程在參考編號42處開始。在參考編號44處，對高光像素值應(yīng)用高光像素增益。接著，在參考編號46處，定位具有正常光敏感度的飽和像素。在參考編號48處，在所述飽和像素的局部鄰域中識別一組(一個或一個以上)高光像素?？墒褂谜叫位驁A形窗口界定局部鄰域，所述窗口具有經(jīng)約束使得至少一個高光像素位于此窗口內(nèi)部的大小。此窗口的中心通常放置于正校正或恢復(fù)的正常光敏感度像素處。或者，定位一個或一個以上在空間上最靠近于正校正或恢復(fù)的正常光敏感度像素的聞光像素。此些在空間上最罪近的聞光像素的最小數(shù)目可為預(yù)定的。在參考編號50處，通過組合局部可用高光像素中的對應(yīng)不飽和色彩分量來替換具有正常光敏感度的像素的飽和色彩分量。可將替換執(zhí)行為局部可用高光像素中的對應(yīng)不飽和色彩分量的平均值或加權(quán)平均值?？赏謴?fù)的像素位置與可用高光像素的像素位置之間的空間距離(例如，絕對或歐幾里德)成反比地計算權(quán)數(shù)，或者一般來說權(quán)數(shù)應(yīng)隨空間距離的增加而減小?；蛘?，可同正恢復(fù)的像素與局部可用高光像素之間的差成反比地計算權(quán)數(shù)(應(yīng)注意，可使用所有色彩分量或至少來自不飽和色彩通道的分量)，或者一般來說權(quán)數(shù)應(yīng)隨像素值差的增加而減小?；蛘撸赏ㄟ^組合(例如，乘法)空間及強度差兩者來計算權(quán)數(shù)。不管如何計算權(quán)數(shù)，均應(yīng)在執(zhí)行加權(quán)平均之前將所述權(quán)數(shù)正規(guī)化(其和應(yīng)等于I)以便產(chǎn)生無偏差的估計值。在參考編號52處，確定所有飽和像素是否均已經(jīng)處理。如果否，那么過程返回到參考編號46，在參考編號46處定位具有正常光敏感度的另一飽和像素。如果所有飽和像素均已經(jīng)處理，那么過程在參考編號54處結(jié)束。圖10中展示根據(jù)本發(fā)明的另一示范性方法60。在圖10的方法60中，使用色彩差而非來自正恢復(fù)的色彩通道的強度值來執(zhí)行恢復(fù)過程。在此情況中，通過將可用高光像素的平均或加權(quán)平均色彩差(不飽和色彩通道與飽和色彩通道之間，如在正恢復(fù)的像素位置中所觀測)與正恢復(fù)的像素位置中的不飽和色彩分量相加來恢復(fù)飽和色彩通道。舉例來說，如果在正常光敏感度像素中綠色及藍色通道兩者均飽和，那么可通過將正常光敏感度像素的不飽和紅色分量和局部可用高光像素的經(jīng)增益綠色與紅色分量之間的平均色彩差相加來恢復(fù)所述綠色分量。以類似方式，可通過將正常光敏感度像素的不飽和紅色分量和局部可用高光像素的經(jīng)增益藍色與紅色分量之間的平均色彩差相加來恢復(fù)正常光敏感度像素的飽和藍色分量。 所述過程在參考編號62處開始。在參考編號64處，對高光像素值應(yīng)用高光像素增益。接著，在參考編號66處，定位具有正常光敏感度的飽和像素。在參考編號68處，在所述飽和像素的局部鄰域中識別一組(一個或一個以上)高光像素。與圖9的方法一樣，可使用正方形或圓形窗口界定局部鄰域，所述窗口具有經(jīng)約束使得至少一個高光像素位于此窗口內(nèi)部的大小。此窗口的中心通常放置于正校正或恢復(fù)的正常光敏感度像素處。或者，定位一個或一個以上在空間上最靠近于正校正或恢復(fù)的正常光敏感度像素的高光像素。此些在空間上最靠近的高光像素的最小數(shù)目可為預(yù)定的。在參考編號70處，使用局部可用高光像素的色彩分量來計算平均或加權(quán)平均色彩差(不飽和色彩通道與飽和色彩通道之間，如在正恢復(fù)的像素位置中所觀測)。在參考編號72處，將此色彩差與正常光敏感度像素的對應(yīng)不飽和分量相加以便恢復(fù)其飽和色彩分量。在參考編號74處，確定所有飽和像素是否均已經(jīng)處理。如果否，那么過程返回到參考編號66，在參考編號66處定位具有正常光敏感度的另一飽和像素。如果所有飽和像素均已經(jīng)處理，那么過程在參考編號76處結(jié)束。如果僅一個色彩通道飽和，那么可通過組合使用兩個不同色彩差信號(因為存在兩個不飽和色彩通道)恢復(fù)的樣本來獲得結(jié)果。所屬領(lǐng)域的技術(shù)人員將了解，可用比率替換色彩差計算，通過將正恢復(fù)的位置中的不飽和色彩分量與使用可用高光像素的像素值計算的平均或加權(quán)平均色彩比率相乘來獲得結(jié)果。根據(jù)本發(fā)明的另一方面，涉及其中使用本文中所揭示的高光像素來創(chuàng)建至少一個校正因子表或可使用本文中所揭示的不飽和正常光敏感度像素及高光像素來恢復(fù)飽和像素的方法。如同在先前示范性方法中一樣，可在執(zhí)行恢復(fù)過程之前或直接在恢復(fù)過程期間對高光像素值應(yīng)用高光像素增益。根據(jù)本發(fā)明的一個方面，分析整個圖像(包含高光像素)以找出其中所討論的色彩通道不飽和的像素?；蛘?，僅分析高光像素以找出其中所討論的色彩通道不飽和的像素?？蓪⒋伺c其它約束組合，舉例來說，將用于構(gòu)建校正因子表的像素必須使其亮度值大于某一閾值且不能使其色彩通道中的任一者經(jīng)剪裁(飽和)等。針對經(jīng)選擇以構(gòu)建此校正表的這些像素中的每一者，計算至少兩個值，每一值為一個或一個以上色彩通道的函數(shù)。一個值用作進入到校正因子表中的索引，而另一值為校正因子自身。應(yīng)注意，本發(fā)明的方法允許計算一個以上校正因子(如果需要此些操作特性的話)。校正因子表中的條目的數(shù)目由表大小a表示。此設(shè)計參數(shù)通常為預(yù)定的。通常，將a設(shè)定為小于或等于用于表示每一色彩通道的位的數(shù)目。存儲器高效的實施方案可將較小的a值作為目標(biāo)(舉例來說，針對每色彩通道表示的12個位，a = 255);然而，太小的值可能減小校正準(zhǔn)確度，因為相差太大的像素將與同一索引相關(guān)聯(lián)。索引值為一個或一個以上色彩通道的函數(shù)。設(shè)想正校正B通道且M為通常等于給定位表示中的最大容許值的設(shè)計參數(shù)(也可能有其它設(shè)定)。在一個實例中，索引為未恢復(fù)的一個或兩個色彩通道的函數(shù)；舉例來說，可將此函數(shù)界定為amin(R, M)/M、amin(G, M)/M、aR/ (R+G)或aG/ (R+G)，其中min表示最小值運算符，且R、G及B分別表示紅色、綠色及藍色色彩分量。在另一實例中，索引為正恢復(fù)的色彩通道的函數(shù)；舉例來說，可將此函數(shù)界定 為amin(B, Μ)/Μ。在又一實例中，索引為正恢復(fù)的色彩通道及一個或兩個其它色彩通道的函數(shù)；舉例來說，可將此函數(shù)界定為aB/(R+G+B)。應(yīng)注意，最終索引為如上文所描述而計算的索引值的經(jīng)舍入版本。也可以一種以上方式來確定校正因子。同樣設(shè)想正校正B通道。在一個實例中，根據(jù)正校正的色彩通道的經(jīng)縮放值來計算校正因子；即，yB，其中y是預(yù)定的或基于圖像統(tǒng)計值而自適應(yīng)地確定的。在另一實例中，根據(jù)待校正的色彩通道與像素中的另兩個色彩通道中的一者的比率來計算校正因子；舉例來說，可將此校正因子界定為B/G或B/R。在另一實例中，根據(jù)待校正的色彩通道與像素中的另兩個色彩通道中的一者之間的差來計算校正因子，即(舉例來說)，B-G或B-R。在另一實例中，根據(jù)待校正的色彩通道及像素中的兩個其它色彩通道的函數(shù)來計算校正因子；舉例來說，可將此函數(shù)界定為2B-R-G、2B/(R+G)或BV(RG)。在又一實例中，根據(jù)待校正的色彩通道與另兩個色彩通道中的每一者之間的比率或差來計算兩個校正因子。由于對應(yīng)于同一索引值的不同像素可針對同一校正因子計算方法產(chǎn)生不同校正因子，因此根據(jù)逐像素校正因子的函數(shù)來計算存儲于校正因子表中的最終校正因子。在一個實例中，對對應(yīng)于同一索引的所有像素的校正因子求平均。在另一實例中，具有同一索引的像素的不同校正因子具有不同權(quán)數(shù)；可根據(jù)某一預(yù)定準(zhǔn)則(例如，直方圖、距某一值的距離等)的函數(shù)導(dǎo)出這些權(quán)數(shù)。一旦已檢查整個圖像以填充校正因子表，便通過對現(xiàn)有條目進行內(nèi)插來填入校正因子表中剩余的任何間隙?；謴?fù)程序檢查圖像中的每一像素。首先，計算(使用用于產(chǎn)生所述表的同一方法)對校正表的索引以獲得給定像素的適當(dāng)校正因子。同樣設(shè)想正校正B通道。如果使用與yB相同的色彩通道來確定校正因子，那么其值直接表示經(jīng)校正輸出。在所有其它情況中，通過遵循關(guān)于校正因子計算的逆計算而組合來自正校正的像素的不飽和色彩分量與對應(yīng)校正因子(即，將其與基于色彩比率的因子相乘或?qū)⑵渑c基于色彩差的因子相加)。應(yīng)注意，如果已針對同一色彩通道產(chǎn)生一個以上校正因子表，那么可根據(jù)使用此些表中的每一者獲得的經(jīng)校正值的組合來獲得最終經(jīng)校正值。如果像素的所有三個通道均飽和，那么可跳過對恢復(fù)的任何嘗試。雖然所有上文所列的實例將B通道視為正校正的通道，但將所提出方法應(yīng)用于其它通道為簡單的且此處將不加以論述。
現(xiàn)在參考圖11，流程圖展示根據(jù)本發(fā)明的方面用于構(gòu)建校正因子表并將其應(yīng)用于圖像的說明性方法80。所述方法在參考編號82處開始。在參考編號84處，分析整個圖像以找出其中所討論的色彩通道不飽和的像素?？蓪⒋伺c其它約束組合，舉例來說，將用于構(gòu)建校正因子表的像素必須使其亮度值大于某一閾值及/或不能使其色彩通道中的任一者經(jīng)剪裁(飽和)等。針對經(jīng)選擇以構(gòu)建校正表的像素中的每一者，計算至少兩個值，每一值為一個或一個以上色彩通道的函數(shù)。一個值用作進入到校正因子表中的索引，而另一值為校正因子自身。在參考編號86處，計算校正表的索引值并計算校正因子的值。所屬領(lǐng)域的技術(shù)人員將注意到，執(zhí)行這些計算的次序并不重要。應(yīng)注意，本發(fā)明的方法預(yù)期計算一個以上校正因子(如果需要此些操作特性的話)。校正因子表中的條目的數(shù)目由表大小a表示。此設(shè)計參數(shù)通常為預(yù)定的。通常， 將a設(shè)定為小于或等于用于表示每一色彩通道的位的數(shù)目；然而，太小的a值可能減小校正準(zhǔn)確度，因為相差太大的像素將與同一索引相關(guān)聯(lián)。索引值為一個或一個以上色彩通道的函數(shù)。設(shè)想正校正B通道且M為通常等于給定位表示中的最大容許值的設(shè)計參數(shù)(也可能有其它設(shè)定)。在一個實例中，索引為未恢復(fù)的一個或兩個色彩通道的函數(shù)；舉例來說，可將此函數(shù)界定為amin(R, M)/M、amin(G, M)/M、aR/ (R+G)或aG/ (R+G)，其中min表示最小值運算符，且R、G及B分別表示紅色、綠色及藍色色彩分量。在另一實例中，索引為正恢復(fù)的色彩通道的函數(shù)；舉例來說，可將此函數(shù)界定為amin(B, Μ)/Μ。在又一實例中，索引為正恢復(fù)的色彩通道及一個或兩個其它色彩通道的函數(shù)；舉例來說，可將此函數(shù)界定為aB/(R+G+B)。應(yīng)注意，最終索引為如上文所描述而計算的索引值的經(jīng)舍入版本。也可以一種以上方式來確定校正因子。同樣設(shè)想正校正B通道。在一個實例中，根據(jù)正校正的色彩通道的經(jīng)縮放值來計算校正因子；即，yB，其中y是預(yù)定的或基于圖像統(tǒng)計值而自適應(yīng)地確定的。在另一實例中，根據(jù)待校正的色彩通道與像素中的另兩個色彩通道中的一者的比率來計算校正因子；舉例來說，可將此校正因子界定為B/G或B/R。在另一實例中，根據(jù)待校正的色彩通道與像素中的另兩個色彩通道中的一者之間的差來計算校正因子，即(舉例來說)，B-G或B-R。在另一實例中，根據(jù)待校正的色彩通道及像素中的兩個其它色彩通道的函數(shù)來計算校正因子；舉例來說，可將此函數(shù)界定為2B-R-G、2B/(R+G)或BV(RG)。在又一實例中，根據(jù)待校正的色彩通道與另兩個色彩通道中的每一者之間的比率或差來計算兩個校正因子。由于對應(yīng)于同一索引值的不同像素可針對同一校正因子計算方法產(chǎn)生不同校正因子，因此根據(jù)逐像素校正因子的函數(shù)來計算存儲于校正因子表中的最終校正因子。在一個實例中，對對應(yīng)于同一索引的所有像素的校正因子求平均。在另一實例中，具有同一索引的像素的不同校正因子具有不同權(quán)數(shù)；可根據(jù)某一預(yù)定準(zhǔn)則(例如，直方圖、距某一值的距離等)的函數(shù)導(dǎo)出這些權(quán)數(shù)。一旦已檢查整個圖像，便在參考編號88處填充校正因子表并通過對現(xiàn)有條目進行內(nèi)插來填入校正因子表中剩余的任何間隙。在一些情況中，可創(chuàng)建一個以上校正因子表。所屬領(lǐng)域的技術(shù)人員將認識到，可隨著確定索引值及校正因子而遞增地構(gòu)建校正表?；謴?fù)程序基于飽和映射而檢查圖像中的每一像素。在參考編號90處，選擇像素。在參考編號92處，確定所述像素的所有色彩通道是否飽和。如果否，那么可處理所述像素且在參考編號94處，計算(使用用于產(chǎn)生所述表的同一方法)所述像素的索引值。在參考編號96處，使用所述索引值來尋址校正表以獲得校正因子。在一些實例中，正采用一個以上校正表且可根據(jù)使用此些表中的每一者獲得的經(jīng)校正值的組合來獲得最終校正值。在參考編號98處，確定額外校正表是否在使用中。如果是，那么過程返回到參考編號94及96以獲得額外校正因子。如果已存取所有校正因子表且確定校正因子，那么在參考編號100處，對所述像素應(yīng)用所獲得的校正因子以產(chǎn)生經(jīng)校正像素值。如果使用與yB相同的色彩通道來確定校正因子，那么其值直接表示經(jīng)校正輸出。在所有其它情況中，通過遵循關(guān)于校正因子計算的逆計算而組合來自正校正的像素的不飽和色彩分量與對應(yīng)校正因子(即，將其與基于色彩比率的因子相乘或?qū)⑵渑c基于色彩差的因子相加)。如果僅使用了一個校正表，那么直接產(chǎn)生經(jīng)校正像素值。否則，如果使用了一個以上校正表，那么對所述像素應(yīng)用所有所獲得的校正因子以組合中間經(jīng)校正像素值。接著，存儲最終經(jīng)校正像素值。在參考編號102處，確定圖像中的所有像素是否均已經(jīng)處理。如果否，那么過程返 回到參考編號90，在參考編號90處，選擇另一像素以用于處理。如果圖像中的所有像素均已經(jīng)處理，那么過程在參考編號104處結(jié)束。根據(jù)本發(fā)明的另一方面，可組合兩種方法一種基于校正表且另一種使用局部鄰域中可用的高光像素。在實例性實施方案中，可根據(jù)使用這兩種方法產(chǎn)生的兩個中間像素的平均值或加權(quán)平均值來校正每一飽和像素。在此些加權(quán)平均值計算中，權(quán)數(shù)的總和應(yīng)等于1，以便產(chǎn)生無偏差的估計值。根據(jù)本發(fā)明的另一方面，可使用正恢復(fù)的實際圖像的一個或一個以上區(qū)來計算校正因子表；可基于圖像統(tǒng)計值自動地確定及/或由用戶選擇這些區(qū)。根據(jù)本發(fā)明的又一方面，可在正恢復(fù)實際圖像過程中獨立地(舉例來說，在校準(zhǔn)中)計算校正因子表。除高光區(qū)以外，本發(fā)明中所呈現(xiàn)的圖像恢復(fù)概念也可用于增強對高ISO捕獲的圖像處理的質(zhì)量及性能。在此些情形中，可期望組合具有正常敏感度的光電二極管與具有較高敏感度的光電二極管，因為后者將較不受在圖像獲取過程期間引入到圖像的噪聲的影響。此處，假定通過應(yīng)用適當(dāng)增益來按比例縮小由具有較高敏感度的像素捕獲的像素值，則可通過以下操作恢復(fù)最具噪聲的一個或兩個色彩通道應(yīng)用本文中所描述的信號處理概念而使用來自具有較高敏感度的像素的另一個或另兩個色彩通道(而非飽和通道，此處所考慮的是最具噪聲的通道或具有最低敏感度的通道)。應(yīng)注意，可在所有像素位置中或根據(jù)一些預(yù)定準(zhǔn)則(例如，低光區(qū)、具有某一所要色彩及結(jié)構(gòu)特性的區(qū)等)而在一些選定區(qū)中應(yīng)用此策略。盡管已展示及描述本發(fā)明的實施例及應(yīng)用，但所屬領(lǐng)域的技術(shù)人員將明了，可在不背離本文中的發(fā)明性概念的情況下做出比上文所提及的多得多的修改形式。因此，本發(fā)明不受除了所附權(quán)利要求書的精神以外的限制。
權(quán)利要求
1.一種像素傳感器陣列,其包括 第一多個像素傳感器，其具有第一光敏感度；及 第二多個像素傳感器，其具有小于所述第一光敏感度的第二光敏感度。
2.根據(jù)權(quán)利要求I所述的像素傳感器陣列，其中所述第二多個像素均勻地分散于所述陣列中。
3.根據(jù)權(quán)利要求I所述的像素傳感器陣列，其中所述第一多個像素各自具有第一面積的光允入孔口，且所述第二多個像素各自具有大小比所述第一面積小的第二面積的光允入孔口。
4.一種在由具有第一多個像素傳感器及第二多個像素傳感器的圖像傳感器陣列捕獲的圖像中用于校正由所述第一像素傳感器捕獲的飽和像素數(shù)據(jù)的方法，所述第一多個像素傳感器具有第一光敏感度，所述第二多個像素傳感器具有小于所述第一光敏感度的第二光敏感度，所述方法包括 a)對來自所述第二多個像素傳感器的像素值應(yīng)用像素增益； b)在所述第一多個像素傳感器中選擇具有至少一個飽和色彩分量的像素； c)在所述選定第一像素傳感器的局部鄰域中識別所述第二多個像素傳感器中的至少一者; d)通過組合在所述第二多個像素傳感器中識別的像素的對應(yīng)不飽和色彩分量來替換所述選定像素數(shù)據(jù)的所述飽和色彩分量；及 e)重復(fù)b)到d)，直到來自所有飽和像素傳感器的像素數(shù)據(jù)均已經(jīng)處理為止。
5.一種在由具有第一多個像素傳感器及第二多個像素傳感器的圖像傳感器陣列捕獲的圖像中用于校正由所述第一像素傳感器捕獲的飽和像素數(shù)據(jù)的方法，所述第一多個像素傳感器具有第一光敏感度，所述第二多個像素傳感器具有小于所述第一光敏感度的第二光敏感度，所述方法包括 a)對所述第二多個像素傳感器的像素值應(yīng)用像素增益； b)在所述第一多個像素傳感器中選擇具有至少一個飽和色彩分量的像素； c)在所述選定第一像素傳感器的局部鄰域中識別所述第二多個像素傳感器中的至少一者; d)用所述第一多個像素傳感器中的所述選定像素的不飽和色彩分量與來自在所述第二多個像素傳感器中識別的局部可用像素的不飽和色彩通道及飽和色彩通道的像素數(shù)據(jù)之間的對應(yīng)平均差或加權(quán)平均差的和替換所述第一多個像素傳感器中的所述選定像素的所述飽和色彩分量 '及 e)重復(fù)b)到d)，直到來自具有至少一個飽和色彩通道的所有像素傳感器的像素數(shù)據(jù)均已經(jīng)處理為止。
6.一種在由具有第一多個像素傳感器及第二多個像素傳感器的圖像傳感器陣列捕獲的圖像中用于校正由所述第一像素傳感器捕獲的飽和像素數(shù)據(jù)的方法，所述第一多個像素傳感器具有第一光敏感度，所述第二多個像素傳感器具有小于所述第一光敏感度的第二光敏感度，所述方法包括 a)對所述第二多個像素傳感器的像素值應(yīng)用像素增益； b)在所述第一多個像素傳感器中選擇具有至少一個飽和色彩分量的像素；c)在所述選定第一像素傳感器的局部鄰域中識別所述第二多個像素傳感器中的至少一者; d)用所述第一多個像素傳感器中的所述選定像素的不飽和色彩分量與來自在所述第二多個像素傳感器中識別的局部可用像素的不飽和色彩通道及飽和色彩通道的像素數(shù)據(jù)之間的對應(yīng)平均比率或加權(quán)平均比率的積替換所述第一多個像素傳感器中的所述選定像素的所述飽和色彩分量 '及 e)重復(fù)b)到d)，直到來自具有至少一個飽和色彩通道的所有像素傳感器的像素數(shù)據(jù)均已經(jīng)處理為止。
7.—種在由具有第一多個像素傳感器及第二多個像素傳感器的圖像傳感器陣列捕獲的圖像中用于校正由所述第一像素傳感器捕獲的飽和像素數(shù)據(jù)的方法，所述第一多個像素傳感器具有第一光敏感度，所述第二多個像素傳感器具有小于所述第一光敏感度的第二光敏感度，所述方法包括 a)選擇色彩通道； b)分析所述整個圖像以識別不飽和像素； c)針對每一經(jīng)識別像素數(shù)據(jù)，通過根據(jù)一個或一個以上色彩通道的函數(shù)來計算進入到校正因子表中的索引及校正因子來構(gòu)建校正表； d)通過對所述校正表中的現(xiàn)有條目進行內(nèi)插來填入所述校正表中的任何間隙 e)在所述第一多個像素傳感器中選擇像素； f)確定所述像素數(shù)據(jù)中的所有色彩通道是否飽和； g)僅在并非來自所述選定像素的像素數(shù)據(jù)中的所有所述色彩通道均飽和的情況下 計算所述像素的索引值； 使用所述所計算的索引值尋址所述校正表以獲得所述校正因子 對所述像素數(shù)據(jù)應(yīng)用所述所獲得的校正因子以產(chǎn)生經(jīng)校正像素數(shù)據(jù)值； h)重復(fù)e)到g)，直到來自具有至少一個飽和色彩通道的所有像素傳感器的像素數(shù)據(jù)均已經(jīng)處理為止。
全文摘要
本申請案涉及一種具有有不同光敏感度的光電二極管的成像陣列及相關(guān)聯(lián)圖像恢復(fù)方法。一種像素傳感器陣列包含具有第一增益的多個像素傳感器及具有小于所述第一增益的第二增益的多個像素傳感器。
文檔編號H01L27/146GK102905090SQ20121026240
公開日2013年1月30日 申請日期2012年7月26日 優(yōu)先權(quán)日2011年7月26日
發(fā)明者拉斯蒂斯拉夫·盧卡奇, 施里·拉馬斯瓦米, 桑胡·巴 申請人:菲佛公司