用于評(píng)估穩(wěn)健性的系統(tǒng)和方法

專利名稱：用于評(píng)估穩(wěn)健性的系統(tǒng)和方法
用于評(píng)估穩(wěn)健性的系統(tǒng)和方法相關(guān)專利申請(qǐng)的交叉引用本專利申請(qǐng)要求2008年10月3日提交的美國臨時(shí)專利申請(qǐng)No. 61/102618的優(yōu)先權(quán)。相關(guān)專利申請(qǐng)本專利申請(qǐng)還涉及2008年10月3日提交的美國臨時(shí)專利申請(qǐng)No. 61/1(^625和 2008年10月3日提交的美國臨時(shí)專利申請(qǐng)No. 61/1(^670。
背景技術(shù)：
人類視覺系統(tǒng)是容量有限的系統(tǒng)，因?yàn)槠湓谌魏翁囟〞r(shí)間只能處理較少數(shù)量的對(duì)象。盡管事實(shí)上在任何特定時(shí)間有許多對(duì)象可以觀察到，但情況確實(shí)如此。人類視覺系統(tǒng)在任何特定時(shí)間將只注意或處理來自人類可見對(duì)象的陣列中的一個(gè)(或極少數(shù))對(duì)象。當(dāng)人觀察圖像或場(chǎng)景時(shí)，其視覺系統(tǒng)將讓注意(和心智處理)從一對(duì)象轉(zhuǎn)移到另一對(duì)象。在人類視覺注意領(lǐng)域已有大量的研究。該項(xiàng)研究已產(chǎn)生許多針對(duì)理解人類視覺注意行為的研究成果，以及許多視覺注意的計(jì)算模型。這些計(jì)算模型(有時(shí)稱為視覺注意模型、眼球凝視預(yù)測(cè)模型、注意模型或顯著性模型)在給定視覺刺激物(例如，圖片或場(chǎng)景) 下預(yù)測(cè)人將讓其視覺注意或凝視分配在何處。這些模型提供對(duì)場(chǎng)景內(nèi)將吸引視覺注意的對(duì)象或區(qū)域的預(yù)測(cè)。然而，典型的真實(shí)世界場(chǎng)景常常是高度動(dòng)態(tài)的。當(dāng)(例如)人的有利位置改變、場(chǎng)景內(nèi)的對(duì)象改變位置或定向、或者照明改變(投射不同陰影)時(shí)，投射到人的圖像將隨之改變。此外，觀察者自身會(huì)將不確定性引入預(yù)測(cè)(觀察者會(huì)心不在焉或者說是傾向于特定的注意模式)。從場(chǎng)景投射圖像的任何變動(dòng)或觀察者的變動(dòng)、或者甚至場(chǎng)景本身的微小改變都會(huì)顯著地改變這些模型作出的預(yù)測(cè)。在將視覺注意模型用于應(yīng)用裝置時(shí)會(huì)由此而產(chǎn)生問題。

發(fā)明內(nèi)容
用于評(píng)估(以及在一些實(shí)施例中量化)場(chǎng)景內(nèi)對(duì)象對(duì)場(chǎng)景和觀察者變動(dòng)的穩(wěn)健性或場(chǎng)景本身對(duì)場(chǎng)景和觀察者變動(dòng)的穩(wěn)健性的系統(tǒng)和方法。特別是，用于將變動(dòng)引進(jìn)到場(chǎng)景和/或視覺注意的計(jì)算模型、然后評(píng)估這些變化對(duì)視覺注意將預(yù)測(cè)分配在何處的影響的方法。在一個(gè)實(shí)施例中描述了一種具有視覺注意模塊和穩(wěn)健性評(píng)估模塊的計(jì)算機(jī)系統(tǒng)， 視覺注意模塊可用來(a)接收?qǐng)鼍拜斎搿?b)將視覺注意模型應(yīng)用到場(chǎng)景輸入以及(c)預(yù)測(cè)場(chǎng)景輸入內(nèi)易于吸引視覺注意的區(qū)域；穩(wěn)健性評(píng)估模塊可用來與視覺注意模塊進(jìn)行交互以確定經(jīng)識(shí)別的區(qū)域中的至少一個(gè)具有穩(wěn)健性或場(chǎng)景具有穩(wěn)健性的程度。在另一個(gè)實(shí)施例中，描述了一種計(jì)算機(jī)實(shí)現(xiàn)的方法，其中包括接收?qǐng)鼍拜斎?；將視覺注意模型應(yīng)用到場(chǎng)景輸入以預(yù)測(cè)場(chǎng)景輸入內(nèi)易于吸引視覺注意的區(qū)域；改變場(chǎng)景以產(chǎn)生經(jīng)修改場(chǎng)景；將視覺注意模型應(yīng)用到經(jīng)修改場(chǎng)景輸入以預(yù)測(cè)場(chǎng)景輸入內(nèi)易于吸引視覺注意的區(qū)域；以及，基于由將視覺注意模型應(yīng)用到場(chǎng)景輸入和被修改的場(chǎng)景而識(shí)別的區(qū)域，確定經(jīng)識(shí)別的區(qū)域中的一個(gè)或場(chǎng)景輸入具有穩(wěn)健性的程度。在另一個(gè)實(shí)施例中，描述了一種計(jì)算機(jī)實(shí)現(xiàn)的方法，其中包括接收?qǐng)鼍拜斎?；將視覺注意模型應(yīng)用到場(chǎng)景輸入以預(yù)測(cè)場(chǎng)景輸入內(nèi)易于吸引視覺注意的區(qū)域；改變視覺注意模型以產(chǎn)生經(jīng)修改的視覺注意模型；將經(jīng)修改的視覺注意模型應(yīng)用到場(chǎng)景輸入以預(yù)測(cè)場(chǎng)景輸入內(nèi)有助于吸引視覺注意的區(qū)域；以及，基于由將視覺注意模型和經(jīng)修改的視覺注意模型應(yīng)用到場(chǎng)景輸入所辨認(rèn)的區(qū)域，確定經(jīng)識(shí)別的區(qū)域中的一個(gè)或場(chǎng)景輸入具有穩(wěn)健性的程度。


圖1是示出代表性視覺注意模塊的高級(jí)功能的流程圖。圖2是代表性場(chǎng)景的草圖。圖3A是視覺注意模塊輸出的藝術(shù)效果圖。圖;3B是視覺注意模塊輸出的藝術(shù)效果圖。圖4是示出兩個(gè)實(shí)例對(duì)象的特性的曲線圖。圖5示出廣告牌對(duì)象可以如何以不同背景場(chǎng)景為背景來設(shè)定。圖6是用于評(píng)估場(chǎng)景或場(chǎng)景內(nèi)對(duì)象的穩(wěn)健性的系統(tǒng)中功能模塊的示意圖。圖7是示出實(shí)例場(chǎng)景修改的具體說明。圖8示出視覺注意穩(wěn)健性評(píng)估系統(tǒng)的一個(gè)替代實(shí)施例，其中視覺注意穩(wěn)健性評(píng)估系統(tǒng)另外包括網(wǎng)絡(luò)服務(wù)器模塊。圖9是說明視覺注意穩(wěn)健性評(píng)估系統(tǒng)評(píng)估場(chǎng)景內(nèi)對(duì)象或場(chǎng)景本身的穩(wěn)健性可采用的流程的一個(gè)實(shí)施例的高級(jí)流程圖。圖10是示出場(chǎng)景優(yōu)化的高級(jí)流程的流程圖。圖11是說明與注意掃視所關(guān)注對(duì)象的連續(xù)位置有關(guān)的兩種不同回報(bào)結(jié)構(gòu)的曲線圖。圖12是場(chǎng)景優(yōu)化系統(tǒng)中的功能模塊的示意圖。圖13A和圖1 各自為一個(gè)場(chǎng)景的藝術(shù)效果圖。圖14A和圖14B各自為一個(gè)場(chǎng)景的藝術(shù)效果圖。圖15是示出多視角場(chǎng)景分析的高級(jí)流程圖。圖16是會(huì)議室的示意圖。圖17A和圖17B示出會(huì)議室的不同視角。圖18是說明對(duì)會(huì)議室中各種對(duì)象進(jìn)行的三個(gè)不同實(shí)例分析的圖。圖19是多視角場(chǎng)景分析系統(tǒng)的示意圖。
具體實(shí)施例方式視覺注意模型視覺注意模型確定場(chǎng)景內(nèi)區(qū)域在其將吸引視覺注意或吸引眼球運(yùn)動(dòng)的可能性方面相異的程度。場(chǎng)景是經(jīng)受視覺注意模型評(píng)估的任何輸入形式(例如，圖形圖像)，并可以是(例如)數(shù)碼照片、虛擬3D場(chǎng)景、網(wǎng)頁、文件或視頻。對(duì)象的視覺注意模型傾向是指視覺注意的模型如何表征場(chǎng)景內(nèi)對(duì)象的相對(duì)顯著性。例如，一些視覺注意模型將在所預(yù)測(cè)對(duì)象周圍疊加跡線。其他視覺注意模型將生成可以在圖像上疊加或與圖像分開看的熱圖。還有一些模型可以生成并分配一個(gè)值到特定對(duì)象和/或區(qū)域，該值相對(duì)地代表對(duì)象的顯著性。在跡線的語境中，對(duì)象的傾向可以認(rèn)為是由模型“選定”(加跡線時(shí))或“未選定”。在熱圖的語境中，對(duì)象的傾向是算法已選定對(duì)象(或未選定對(duì)象)的程度。而在顯著性數(shù)字的語境中，對(duì)象的傾向可以是顯著性數(shù)字本身。有許多視覺注意模型可預(yù)測(cè)人類視覺注意會(huì)被分配到場(chǎng)景內(nèi)的何處。通常，這些視覺注意模型采用環(huán)境的單幅圖像作為輸入，并生成對(duì)注意將分配在該場(chǎng)景內(nèi)何處的預(yù)測(cè)。實(shí)驗(yàn)方法使人類受試者接觸到場(chǎng)景，并跟蹤其眼球移動(dòng)。然而，該實(shí)驗(yàn)方法是資源密集型的，所以已經(jīng)開發(fā)出多個(gè)數(shù)學(xué)模型以通過至少部分地分析場(chǎng)景來預(yù)測(cè)注意。那就是說實(shí)驗(yàn)方法還可以用作本文所述系統(tǒng)和方法的一部分，并如本文所用，實(shí)驗(yàn)方法被認(rèn)為是視覺注意建模的一種類型。圖1表示這些模型之一的基本方法論，其由Itti，L. & Koch，C (2000)在“基于顯著性的視覺注意明顯和隱蔽轉(zhuǎn)移的搜索機(jī)制”(A saliency-based search mechanism for overt and covert shifts of visual attention)(〈〈視覺石if究〉〉(Vision Research),第 40卷，1489-1506頁)中提出。在高標(biāo)準(zhǔn)下，圖1示出如何通過評(píng)估“由下而上”特征(例如，顏色、運(yùn)動(dòng)、亮度、邊緣等)來進(jìn)行視覺注意的預(yù)測(cè)，所述特征用作傳達(dá)人類視覺的一些方面的視覺表現(xiàn)的構(gòu)成要素。首先，將數(shù)碼照片形式的場(chǎng)景提供給Itti & Koch模型的計(jì)算機(jī)實(shí)現(xiàn)版本(步驟10)。接著，特征提取過程分析數(shù)碼照片的顏色、強(qiáng)度、取向或其他場(chǎng)景線索，例如運(yùn)動(dòng)、接點(diǎn)、明暗界線、立體視差和從明暗恢復(fù)形狀(步驟11)。特征提取過程產(chǎn)生多幅特征映射(步驟12)，所述特征映射相結(jié)合以產(chǎn)生顯著性映射(步驟13)。就 Itti & Koch模型而言，將顯著性數(shù)據(jù)作為原始數(shù)碼照片的效果圖提供給使用者，其中“最亮的”對(duì)象為模型已預(yù)測(cè)下一個(gè)將分配視覺注意的對(duì)象。這種所預(yù)測(cè)的對(duì)象在“贏者通吃 (wirmer-take-all)”算法(步驟15)中被辨認(rèn)為視覺顯著的(步驟14)，并且此過程隨后重復(fù)，直到多個(gè)對(duì)象被模型辨認(rèn)。圖2是場(chǎng)景201的藝術(shù)效果圖，其可以提供給諸如Itti & Koch之類的視覺注意模型。該場(chǎng)景是簡化場(chǎng)景，僅為了說明而包含于此；在實(shí)施過程中，場(chǎng)景常常是真實(shí)數(shù)碼照片或視頻，并且要復(fù)雜得多。圖2包括許多場(chǎng)景內(nèi)的對(duì)象，例如五角星202、花朵203、臉204、 五角星205、箭頭206和杯子207。圖3A是表示Itti & Koch模型的輸出如何被表示的藝術(shù)效果圖。突出的(且在該代表性圖示中，圈繞的)對(duì)象是模型預(yù)測(cè)將為視覺顯著的那些。例如，圖中的五角星202 在突出邊界208內(nèi)；花朵203在邊界209內(nèi)；臉204在邊界210內(nèi)；五角星205在邊界211 內(nèi)；箭頭206在邊界212內(nèi)；并且杯子207在邊界213內(nèi)。因而此實(shí)例中的模型已確定六個(gè)相對(duì)于其他對(duì)象更為視覺顯著的對(duì)象。這個(gè)特定的模型還預(yù)測(cè)注意將在確定為在某一視覺顯著性閾值之上的對(duì)象中如何移動(dòng)。例如，視覺注意路徑301、302、303、304和305顯示所預(yù)測(cè)的視覺注意路徑。圖;3B是示出Itti & Koch模型的輸出有時(shí)被表示的另一方式的第二藝術(shù)效果圖。除了圖3A所示的內(nèi)容以外，圖;3B包括所預(yù)測(cè)視覺注意的順序。例如，五角星202標(biāo)為 “1”(注意序號(hào)214)，花朵203標(biāo)為“2”(注意序號(hào)215)等等。當(dāng)然，圖3A和圖;3B僅為視覺注意預(yù)測(cè)可被傳達(dá)到使用者的一種方式；不同模型以不同的方法表示這種信息(或這種信息的某一子集)。例如，雖然可以通過確定具有最高視覺顯著性水平的對(duì)象，然后排除該對(duì)象并尋找下一最高視覺顯著性水平的對(duì)象等等，來得出這種注意序列，但并非每個(gè)模型都確定所預(yù)測(cè)的注意序列。Itti & Koch’ s模型代表了一種“由下而上”視覺注意模型，因?yàn)樵撃Ｐ突趫?chǎng)景的細(xì)節(jié)分析進(jìn)行其預(yù)測(cè)。其他由下而上視覺顯著性模型描述于以下這些參考文獻(xiàn)feo， Mahadevan 禾口 Vesconcelos(2008)。除了由下而上模型以外，有另一類模型被稱為視覺注意的“由上而下”模型。相比于“由下而上”模型，這些模型以場(chǎng)景和明確任務(wù)(例如，避開障礙和收集對(duì)象)或?qū)⒂绊懽⒁庠谔囟ㄋ阉魅蝿?wù)期間將分配在何處的對(duì)于世界的現(xiàn)有知識(shí)(例如，椅子往往會(huì)在地面而不是在天花板)開始。這種知識(shí)(既基于任務(wù)又基于場(chǎng)景的)與“由下而上”特征結(jié)合使用來將注意指向所觀察場(chǎng)景內(nèi)的對(duì)象。在Rothkopf，C.A.，Ballard, D. H. & Hayhoe, Μ. Μ. (2007)的“任務(wù)和環(huán)境確定你看向何處”(Task and context Determine Where You Look) (Journal of Vision 7(14) :16,1-20)；以及還在 iTorralba, Α.的“目標(biāo)顯著性的環(huán)境調(diào)制，，(Contextual Modulation of Target Saliency) (Adv. in Neural Information Processing Systems 14 (NIPS), (2001)MIT Press, 2001)中描述了一些示例性的“由上而下”模型。例如，視覺注意的Torralba’ s模型具有關(guān)于包括特定類型的對(duì)象的特征的現(xiàn)有知識(shí)以及關(guān)于場(chǎng)景內(nèi)這些對(duì)象的絕對(duì)及相對(duì)位置的信息。這種現(xiàn)有知識(shí)對(duì)場(chǎng)景內(nèi)特定目標(biāo)的搜索提供“由上而下”的影響。本領(lǐng)域已發(fā)展為包括既有“由下而上”又有“由上而下”設(shè)計(jì)特征的混合視覺注意模型，并已適應(yīng)模型將接觸到的場(chǎng)景類型的差異(例如，視頻對(duì)靜止圖像，室外圖像對(duì)網(wǎng)頁
寸寸J。穩(wěn)健性穩(wěn)健性是指從視覺注意模型輸出的預(yù)測(cè)對(duì)以下任一者或其組合的靈敏度(a)場(chǎng)景視覺特性內(nèi)的變化和/或變動(dòng)，其包括(例如)場(chǎng)景內(nèi)對(duì)象的布置，對(duì)象的照明、對(duì)象的顏色等(稱為“外部變動(dòng)”)；或，(b)觀察者或觀察模型的變化和/或變動(dòng)(稱為“內(nèi)部變動(dòng)”)。如本文所用的術(shù)語“對(duì)象”是指場(chǎng)景內(nèi)的物件、范圍或區(qū)域，視情況而定，或通過視覺注意模型分析的場(chǎng)景內(nèi)的區(qū)域。術(shù)語“對(duì)象”視情況而定可與“范圍”或“區(qū)域”互換使用。兩種類型的變化(a)和(b)被總體稱為內(nèi)部或外部或IE變化，引入然后評(píng)估這類變化的各種方法在下面進(jìn)一步討論。穩(wěn)健性評(píng)估是一種用于測(cè)量IE變化對(duì)注意將分配在場(chǎng)景內(nèi)何處的影響的方法。 然后，場(chǎng)景內(nèi)對(duì)象的穩(wěn)健性是特定對(duì)象的視覺注意模型預(yù)測(cè)的傾向變化或未變化的程度 (不管IE變化)。一組對(duì)象的穩(wěn)健性為超過一個(gè)對(duì)象(一個(gè)對(duì)象的集合)的視覺注意模型的傾向隨著IE變化變化或未變化的程度。場(chǎng)景的穩(wěn)健性是對(duì)場(chǎng)景中對(duì)象的視覺注意模型的傾向?qū)⒆兓蛭醋兓某潭鹊臏y(cè)量(不管IE變化)。例如，如果視覺注意模型預(yù)測(cè)將對(duì)場(chǎng)景內(nèi)相同的四個(gè)對(duì)象進(jìn)行注意或注視，并且雖然有IE變化，但這四個(gè)對(duì)象往往會(huì)仍然被視覺注意模型預(yù)測(cè)，則該場(chǎng)景往往會(huì)比所述四個(gè)對(duì)象隨著IE變化而變化的場(chǎng)景更具穩(wěn)健性。視覺灃意穩(wěn)健件評(píng)估系統(tǒng)圖6是顯示視覺注意穩(wěn)健性評(píng)估系統(tǒng)403中示例性功能模塊的示意圖，該系統(tǒng)是用于評(píng)估場(chǎng)景的穩(wěn)健性、場(chǎng)景內(nèi)對(duì)象的穩(wěn)健性或多個(gè)場(chǎng)景內(nèi)對(duì)象的穩(wěn)健性的系統(tǒng)。當(dāng)然，也可以手動(dòng)實(shí)踐這些方法。在圖6所示的實(shí)施例中，視覺注意穩(wěn)健性評(píng)估系統(tǒng)在計(jì)算機(jī)系統(tǒng) 408內(nèi)。計(jì)算機(jī)系統(tǒng)408可以是任何通用或?qū)Ｓ玫挠?jì)算機(jī)或裝置。其可以是單獨(dú)的膝上型計(jì)算機(jī)或多個(gè)聯(lián)網(wǎng)的計(jì)算機(jī)。另外，計(jì)算機(jī)系統(tǒng)408可以是手持式計(jì)算機(jī)、數(shù)字照相機(jī)或平板電腦或甚至移動(dòng)電話。在一個(gè)實(shí)施例中，計(jì)算機(jī)系統(tǒng)408具有包括操作系統(tǒng)的各種功能模塊(圖6中未示出)。這樣的操作系統(tǒng)便于視覺注意穩(wěn)健性評(píng)估系統(tǒng)進(jìn)入計(jì)算機(jī)系統(tǒng)資源。計(jì)算機(jī)系統(tǒng)408具有處理器和存儲(chǔ)器以及各種傳統(tǒng)的輸入/輸出接口。視覺注意模塊403是任何視覺注意模型或模型組合的任何實(shí)施例。如前所述，有不同類型的視覺注意模型，但在一定程度上，其全都預(yù)測(cè)視覺注意往往將會(huì)分配到的場(chǎng)景內(nèi)對(duì)象或范圍。在圖6中視覺注意模塊403示出為視覺注意穩(wěn)健性評(píng)估系統(tǒng)402的一部分， 但在另一個(gè)實(shí)施例中，視覺注意模塊403作為單獨(dú)的計(jì)算機(jī)處理或甚至作為在任何類型的計(jì)算機(jī)網(wǎng)絡(luò)(例如萬維網(wǎng))上提供在遠(yuǎn)程計(jì)算機(jī)的服務(wù)而工作。VAM修改模塊404是視覺注意模塊修改模塊。VAM修改模塊404修改視覺注意模塊的參數(shù)或架構(gòu)的一些方面。這種修改可以根據(jù)視覺注意模塊403的執(zhí)行以許多方法來實(shí)現(xiàn)。例如，視覺注意模塊403本身可以支持對(duì)視覺注意模塊如何工作的一些方面進(jìn)行修改的函數(shù)調(diào)用。在一個(gè)實(shí)施例中，視覺注意模塊403可以支持對(duì)給予場(chǎng)景某些方面(例如亮度)的權(quán)重進(jìn)行修改的函數(shù)調(diào)用。在另一個(gè)實(shí)施例中，如果視覺注意模塊經(jīng)由命令行調(diào)用， 則可以使用各種開關(guān)來改變視覺注意模塊內(nèi)的變量。或者，如果視覺注意模塊403嵌入腳本或程序代碼中，則IE修改模塊可以修改腳本或程序代碼本身。在另一個(gè)實(shí)施例中，整個(gè)視覺注意模型被另一視覺注意模型替換。下面進(jìn)一步討論VAM修改模塊404修改視覺注意模塊403的基礎(chǔ)視覺注意模型(或這樣的模型于場(chǎng)景的應(yīng)用)的特定方法，但一個(gè)實(shí)例可能將修改與用來生成顯著性映射的多個(gè)特征映射相關(guān)的權(quán)重。這可以通過將基于可接受值的分布修改這些值的函數(shù)調(diào)用來實(shí)現(xiàn)。場(chǎng)景修改模塊405修改將提供給視覺注意模塊403用于分析的場(chǎng)景。場(chǎng)景變化是與模擬環(huán)境動(dòng)態(tài)特性的外部環(huán)境相關(guān)的變化。這樣的外部變動(dòng)可以包括(例如)場(chǎng)景內(nèi)的移動(dòng)對(duì)象(例如，行人的位置)、由于照明方向變化引起的陰影變化、或者大氣條件變化(例如，空氣中的粉塵)。這種變動(dòng)可用許多方法產(chǎn)生。一種方法是將攝影機(jī)放在場(chǎng)景內(nèi)，并在不同時(shí)刻捕獲圖像。這樣可捕獲真實(shí)場(chǎng)景的自然變動(dòng)。另一方法是捕獲場(chǎng)景的單幅圖像，并規(guī)定對(duì)該場(chǎng)景內(nèi)單個(gè)元素和對(duì)象進(jìn)行的可能變化。這樣的技術(shù)的具體說明如圖7所示。場(chǎng)景801表示的是原始場(chǎng)景。場(chǎng)景802示出用場(chǎng)景變動(dòng)元素替換的場(chǎng)景801的對(duì)象，所述場(chǎng)景變動(dòng)元素例如陰影和其他對(duì)象(例如，汽車或鳥類等任何可以放在場(chǎng)景內(nèi)的對(duì)象)。場(chǎng)景 803、804、805和806示出原始場(chǎng)景801與場(chǎng)景變動(dòng)元素的不同組合。本領(lǐng)域技術(shù)人員會(huì)知道有無數(shù)種不同的方法來修改場(chǎng)景，例如使用市售的圖像編輯軟件，例如Adobe Systems (San Jose, California)以商品名“Wiotoshop”市售的軟件。本文僅作為非限制性實(shí)例示出了幾種。場(chǎng)景修改模塊405將外部變動(dòng)添加到場(chǎng)景，這又會(huì)產(chǎn)生場(chǎng)景或場(chǎng)景實(shí)例的多個(gè)版本。在一個(gè)實(shí)施例中，場(chǎng)景實(shí)例的集合留存場(chǎng)景內(nèi)的變動(dòng)。為了測(cè)量對(duì)象的穩(wěn)健性或場(chǎng)景的穩(wěn)健性，各場(chǎng)景實(shí)例被提交到視覺注意模塊403以產(chǎn)生關(guān)于視覺注意將分配在各個(gè)場(chǎng)景實(shí)例內(nèi)何處(也就是說，分配到哪個(gè)對(duì)象)的預(yù)測(cè)。從屬于各次預(yù)測(cè)的信息保存在數(shù)據(jù)庫 407中，然后穩(wěn)健性評(píng)估模塊409遍及這些不同的實(shí)例(并如前文進(jìn)一步詳述)對(duì)數(shù)據(jù)進(jìn)行評(píng)估，以生成基于將被分配模型預(yù)測(cè)的注意的對(duì)象的統(tǒng)計(jì)。圖形用戶接口模塊406有助于與使用者401的交互。圖形用戶接口模塊406可以 (例如)訪問(計(jì)算機(jī)系統(tǒng)408的)操作系統(tǒng)資源來構(gòu)建圖形用戶接口以請(qǐng)求用戶401的輸入。在一個(gè)實(shí)施例中，這種輸入包括場(chǎng)景的位置以及視覺注意穩(wěn)健性評(píng)估系統(tǒng)的其他操作參數(shù)。在一個(gè)實(shí)施例中，這種輸入將規(guī)定評(píng)估中用戶401感興趣的場(chǎng)景內(nèi)的區(qū)域和/或位置。除了規(guī)定這類位置以外，用戶401可以規(guī)定何種類型的變動(dòng)將被視覺注意模塊403 考慮。這可以包括普通或特定內(nèi)部變動(dòng)、或普通或特定外部變動(dòng)。例如，一種特定類型的外部變動(dòng)可能是由于照明方向的變化而改變圖像。隨著光線變化，產(chǎn)生的陰影將變化。這是一種特定類型的外部變動(dòng)，因?yàn)槠洳粫?huì)考慮如動(dòng)態(tài)對(duì)象、大氣析光差等的其他因素。普通內(nèi)部變動(dòng)的一個(gè)實(shí)例可以是其中各特征映射的權(quán)重被允許獨(dú)立變化的狀況。特定內(nèi)部變動(dòng)的一個(gè)實(shí)例是在一組特征映射的權(quán)重(例如，亮度)變化但其他未變化時(shí)的情況。圖形用戶接口模塊406也有助于(可能從用戶)獲得有關(guān)應(yīng)該從哪個(gè)地方獲取場(chǎng)景的圖像的輸入可能的地方包括(例如)數(shù)據(jù)庫或平面文件。穩(wěn)健性評(píng)估模塊409控制其他模塊的交互，以評(píng)估場(chǎng)景內(nèi)對(duì)象的穩(wěn)健性或場(chǎng)景本身的穩(wěn)健性。例如，穩(wěn)健性評(píng)估模塊409必要時(shí)調(diào)用視覺注意模塊403以及VAM修改模塊 404和場(chǎng)景修改模塊405。穩(wěn)健性評(píng)估模塊409調(diào)用各種模塊的方式可以通過來自用戶401 經(jīng)由(例如)圖形用戶接口模塊406提供給穩(wěn)健性評(píng)估模塊409的輸入來修改。穩(wěn)健性評(píng)估模塊409必要時(shí)還評(píng)估由其他模塊提供的數(shù)據(jù)并生成報(bào)告。數(shù)據(jù)庫407處理視覺注意穩(wěn)健性評(píng)估系統(tǒng)402的數(shù)據(jù)存儲(chǔ)需求。除了別的以外， 數(shù)據(jù)庫407可以保留場(chǎng)景的圖像。數(shù)據(jù)庫407可以是任何計(jì)算機(jī)存儲(chǔ)器。其可以是隨機(jī)存取存儲(chǔ)器或平面文件、或在一個(gè)或多個(gè)數(shù)據(jù)庫服務(wù)器上執(zhí)行的一個(gè)或多個(gè)數(shù)據(jù)庫管理系統(tǒng)(DBMS)。數(shù)據(jù)庫管理系統(tǒng)可以是關(guān)系(RDBMS)、分層(HDBMS)、多維(MDBMS)、面向?qū)ο?(0DBMS或OODBMQ或?qū)ο箨P(guān)系(0RDBMQ數(shù)據(jù)庫管理系統(tǒng)。例如，數(shù)據(jù)庫407可以是單一關(guān)系數(shù)據(jù)庫，例如Microsoft Corporation的SQL服務(wù)器。用戶401是視覺注意穩(wěn)健性評(píng)估系統(tǒng)的任何用戶。在一些實(shí)施例中，視覺注意穩(wěn)健性評(píng)估系統(tǒng)402非常容易使用，使得不熟悉視覺顯著性理論的人員可以使用該系統(tǒng)來評(píng)估對(duì)象、區(qū)域或場(chǎng)景的穩(wěn)健性。用戶401可以是評(píng)估標(biāo)牌和非標(biāo)牌對(duì)象在它們的環(huán)境內(nèi)的定位的商業(yè)實(shí)體雇用的顧問或?yàn)槠涔ぷ鞯墓蛦T。用戶401還可以是對(duì)評(píng)估其中頁面的視覺特性可以改變的網(wǎng)頁上的數(shù)字對(duì)象(例如廣告)的設(shè)計(jì)和布局感興趣的內(nèi)容設(shè)計(jì)者。圖8是視覺注意穩(wěn)健性評(píng)估系統(tǒng)的一個(gè)替代實(shí)施例，其中視覺注意穩(wěn)健性評(píng)估系統(tǒng)另外包括網(wǎng)絡(luò)服務(wù)器模塊501。為方便起見，網(wǎng)絡(luò)服務(wù)器模塊501示出為視覺注意穩(wěn)健性評(píng)估系統(tǒng)402的一部分。然而，網(wǎng)絡(luò)服務(wù)器模塊可以具體化為計(jì)算機(jī)系統(tǒng)408上運(yùn)行的在單獨(dú)存儲(chǔ)空間中的軟件模塊。或者網(wǎng)絡(luò)服務(wù)器模塊501可以在經(jīng)由網(wǎng)絡(luò)連接到視覺注意穩(wěn)健性評(píng)估系統(tǒng)402的獨(dú)立計(jì)算機(jī)系統(tǒng)上。Web服務(wù)器模塊501提供用戶401可以經(jīng)其通過客戶端計(jì)算機(jī)503并通過網(wǎng)絡(luò)502與視覺注意穩(wěn)健性評(píng)估系統(tǒng)402溝通的界面。在一種配置中，web模塊501執(zhí)行網(wǎng)頁服務(wù)器軟件，例如Microsoft Corporation (Redmond, Washington)的互聯(lián)網(wǎng)信息月艮務(wù)器(Internet Information Server) 0網(wǎng)絡(luò)服務(wù)器模塊501通過使用(例如)動(dòng)態(tài)服務(wù)器頁面(Active Server Pages)、超文本標(biāo)記語言(HTML)或動(dòng)態(tài)HTML編寫的網(wǎng)頁、Active X模塊、Lotus腳本、Java腳本、Java小程序、分布式組件對(duì)象模塊(DCOM)等等來提供與遠(yuǎn)程用戶401交互的機(jī)制。盡管舉例說明為在由計(jì)算機(jī)系統(tǒng)408提供的操作環(huán)境內(nèi)執(zhí)行的“服務(wù)器端”軟件模塊，但包括視覺注意穩(wěn)健性評(píng)估系統(tǒng)402的功能模塊可以容易地實(shí)現(xiàn)為在由用戶401使用的諸如客戶端計(jì)算機(jī)503之類的計(jì)算設(shè)備上執(zhí)行的“客戶端”軟件模塊。視覺注意穩(wěn)健性評(píng)估系統(tǒng)402可以(例如)實(shí)現(xiàn)為由網(wǎng)頁瀏覽器執(zhí)行的Active X模塊，所述網(wǎng)頁瀏覽器在客戶端計(jì)算機(jī)503上執(zhí)行。網(wǎng)絡(luò)502可以是任何類型的網(wǎng)絡(luò)(公共網(wǎng)絡(luò)或?qū)Ｓ镁W(wǎng)絡(luò))。在一個(gè)實(shí)施例中，網(wǎng)絡(luò) 502是互聯(lián)網(wǎng)。圖7和圖8中的用戶401可以是互聯(lián)網(wǎng)的任何用戶。在一個(gè)實(shí)施例中，用戶401 可以經(jīng)許可預(yù)先安排訪問視覺注意穩(wěn)健性評(píng)估系統(tǒng)的功能。圖9是說明視覺注意穩(wěn)健性評(píng)估系統(tǒng)402評(píng)估場(chǎng)景內(nèi)對(duì)象或場(chǎng)景本身的穩(wěn)健性可采用的流程的一個(gè)實(shí)施例的高級(jí)流程圖。首先，調(diào)用視覺注意模塊，并向其提供場(chǎng)景輸入 (步驟601)。然后來自視覺注意模塊接收?qǐng)鼍皟?nèi)所預(yù)測(cè)的對(duì)象(步驟60幻。然后，模型預(yù)測(cè)具有較高相對(duì)顯著性的位置/對(duì)象/區(qū)域的一些指示被存儲(chǔ)到數(shù)據(jù)庫(步驟60 。確切地說，存儲(chǔ)在數(shù)據(jù)庫中的內(nèi)容很大程度上取決于從步驟602中視覺注意模塊接收的輸出類型。在一個(gè)實(shí)施例中，數(shù)據(jù)庫存儲(chǔ)關(guān)于到達(dá)閾值顯著性值的對(duì)象的信息。在另一個(gè)實(shí)施例中，數(shù)據(jù)庫存儲(chǔ)值的矩陣(圖像中辨認(rèn)的每個(gè)對(duì)象一個(gè)值)，并存儲(chǔ)(例如)對(duì)象到達(dá)閾值顯著性值的次數(shù)。然后，進(jìn)行檢查以查看處理是否完成(步驟60 。在一個(gè)實(shí)施例中，這種檢查可以確定當(dāng)前迭代是否已超出由用戶401最初設(shè)置的迭代次數(shù)。在另一個(gè)實(shí)施例中， 迭代次數(shù)可以由算法確定。在又一個(gè)實(shí)施例中，迭代次數(shù)可以由場(chǎng)景的特性或者由關(guān)于穩(wěn)健性測(cè)量的統(tǒng)計(jì)數(shù)據(jù)確定。例如，如果嘗試確定在特定場(chǎng)所兩副廣告中哪副更好，則可以運(yùn)行該算法，直到兩幅廣告的穩(wěn)健性值之間有統(tǒng)計(jì)學(xué)上可靠的效果。如果穩(wěn)健性評(píng)估未完成(步驟605 “否”)，則將IE變化引入視覺注意模塊的視覺注意模型或場(chǎng)景輸入。IE變化可以分為兩類結(jié)構(gòu)化的和隨機(jī)的。隨機(jī)變動(dòng)是不相關(guān)的變動(dòng)。例如，場(chǎng)景中的隨機(jī)變動(dòng)可以包括各個(gè)像素顏色和/或亮度的隨機(jī)變化。在這種情況下，像素變化是不相關(guān)的。相比之下，結(jié)構(gòu)化變動(dòng)在正被修改的元素之間具有相關(guān)性。例如，通過模擬場(chǎng)景內(nèi)對(duì)象的運(yùn)動(dòng)或添加或移除場(chǎng)景內(nèi)對(duì)象而修改的場(chǎng)景將構(gòu)成結(jié)構(gòu)化場(chǎng)景變動(dòng)。在這種情況下，像素修改的變化是相關(guān)的。隨機(jī)內(nèi)部變化可以包括被視覺注意模塊利用的注意模型中的隨機(jī)變化。在另一方面，結(jié)構(gòu)化變動(dòng)可以是注意映射的一部分中相比于另一部分中的注意的程序性偏倚產(chǎn)生變動(dòng)的方法類型匯總于表1。引入IE變化的子處理在下面進(jìn)一步詳細(xì)說明。
權(quán)利要求
1.一種計(jì)算機(jī)系統(tǒng)，包括視覺注意模塊，其可用來(a)接收?qǐng)鼍拜斎耄?b)將視覺注意模型應(yīng)用到所述場(chǎng)景輸入；以及(c)預(yù)測(cè)所述場(chǎng)景輸入內(nèi)易于吸引視覺注意的區(qū)域；以及穩(wěn)健性評(píng)估模塊，其可用來與所述視覺注意模塊進(jìn)行交互以確定經(jīng)識(shí)別的區(qū)域中的至少一個(gè)的穩(wěn)健性程度或所述場(chǎng)景的穩(wěn)健性程度。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中穩(wěn)健性是對(duì)從視覺注意模型輸出的預(yù)測(cè)對(duì)以下任一者或某個(gè)組合的靈敏度的度量(a)所述場(chǎng)景的所述視覺特性內(nèi)的變動(dòng)；或(b)通過所述視覺注意模塊施加的所述視覺注意模型內(nèi)的變動(dòng)。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述穩(wěn)健性評(píng)估模塊還可用來將變動(dòng)引入所述場(chǎng)景的視覺特性。
4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其中所述穩(wěn)健性評(píng)估模塊通過修改所述場(chǎng)景輸入將變動(dòng)引入所述場(chǎng)景的視覺特性。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中修改所述場(chǎng)景輸入包括系統(tǒng)地或隨機(jī)地選擇所述圖像內(nèi)的像素來修改，并系統(tǒng)地或隨機(jī)地?cái)_亂那些所選像素的特性。
6.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述穩(wěn)健性評(píng)估模塊還可用來將通過所述視覺注意模塊施加的變動(dòng)弓I入所述視覺注意模型。
7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中通過修改所述視覺注意模型的操作參數(shù)將所述變動(dòng)引入所述視覺注意模型。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中修改所述操作參數(shù)是系統(tǒng)地或隨機(jī)地進(jìn)行的。
9.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中被修改的所述操作參數(shù)是控制所述視覺注意模型對(duì)以下任一者的靈敏度的那些顏色、對(duì)比度、運(yùn)動(dòng)、形狀、空間頻率、取向。
10.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述穩(wěn)健性評(píng)估模塊還可用來同時(shí)(a)將變動(dòng)引入所述場(chǎng)景的視覺特性；并(b)將通過所述視覺注意模塊施加的變動(dòng)弓I入所述視覺注意模型。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中將變動(dòng)引入所述場(chǎng)景的所述視覺特性包括將視覺干擾物引入所述場(chǎng)景。
12.根據(jù)權(quán)利要求10所述的系統(tǒng)，還包括數(shù)據(jù)庫模塊，其可用來記錄所述經(jīng)識(shí)別的區(qū)域如何根據(jù)引入場(chǎng)景的視覺特性的變動(dòng)、 或引入所述視覺注意模型內(nèi)的通過所述視覺注意模塊施加的變動(dòng)而變化，所述數(shù)據(jù)庫模塊還可用來記錄變動(dòng)的類型。
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述穩(wěn)健性評(píng)估模塊重復(fù)地(a)將變動(dòng)引入所述場(chǎng)景的所述視覺特性，從而生成修改場(chǎng)景，以及；(b)調(diào)用所述視覺注意模塊并提供所述修改場(chǎng)景作為輸入。
14.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述穩(wěn)健性評(píng)估模塊重復(fù)地(a)將通過所述視覺注意模塊施加的變動(dòng)引入所述視覺注意模型，以及；(b)調(diào)用所述視覺注意模塊以使用所述修改的視覺注意模型。
15.根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括用戶接口模塊，其可用來顯示指示所述經(jīng)識(shí)別的區(qū)域中的至少一個(gè)具有穩(wěn)健性的程度的信息。
16.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中所述信息包括所述場(chǎng)景的圖形表達(dá)，所述場(chǎng)景的所述圖形表達(dá)覆蓋有與所述場(chǎng)景的單獨(dú)區(qū)域相關(guān)的熱圖，所述熱圖的梯度與所述場(chǎng)景的單獨(dú)區(qū)域的所述穩(wěn)健性相關(guān)聯(lián)。
17.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中所述信息包括數(shù)字。
18.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述穩(wěn)健性評(píng)估模塊另外具有可觀察特定區(qū)域的持續(xù)時(shí)間，并另外使用該信息來確定所述區(qū)域是否具有穩(wěn)健性。
19.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述視覺注意模型是經(jīng)驗(yàn)?zāi)Ｐ汀?br> 20.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述穩(wěn)健性評(píng)估模塊還可用來將所述穩(wěn)健性的程度量化為數(shù)字，并將該數(shù)字提供到計(jì)算機(jī)程序。
21.一種計(jì)算機(jī)實(shí)現(xiàn)的方法，包括接收?qǐng)鼍拜斎?；將視覺注意模型應(yīng)用到所述場(chǎng)景輸入以預(yù)測(cè)所述場(chǎng)景輸入內(nèi)易于吸引視覺注意的區(qū)域；改變所述場(chǎng)景以產(chǎn)生修改的場(chǎng)景；將所述視覺注意模型應(yīng)用到所述修改場(chǎng)景輸入以預(yù)測(cè)所述場(chǎng)景輸入內(nèi)易于吸引視覺注意的區(qū)域；以及，基于由將所述視覺注意模型應(yīng)用到所述場(chǎng)景輸入和所述修改的場(chǎng)景而識(shí)別的所述區(qū)域，確定經(jīng)識(shí)別的區(qū)域中的一個(gè)或所述場(chǎng)景輸入具有穩(wěn)健性的程度。
22.根據(jù)權(quán)利要求21所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中穩(wěn)健性是對(duì)視覺注意模型的預(yù)測(cè)對(duì)所述場(chǎng)景的所述視覺特性內(nèi)變動(dòng)的靈敏度的度量。
23.根據(jù)權(quán)利要求22所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中改變所述場(chǎng)景包括系統(tǒng)地或隨機(jī)地選擇所述圖像內(nèi)的像素來修改，并系統(tǒng)地或隨機(jī)地?cái)_亂那些所選像素的特性。
24.根據(jù)權(quán)利要求22所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中改變所述場(chǎng)景包括將視覺干擾物引入所述場(chǎng)景。
25.根據(jù)權(quán)利要求22所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中改變所述場(chǎng)景包括修改在所述場(chǎng)景內(nèi)的包括對(duì)象的區(qū)域。
26.根據(jù)權(quán)利要求22所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中改變所述場(chǎng)景包括修改在所述場(chǎng)景內(nèi)的包括對(duì)象的區(qū)域的尺寸、顏色或形狀。
27.根據(jù)權(quán)利要求22所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中改變所述場(chǎng)景包括調(diào)節(jié)所述場(chǎng)景的亮度或?qū)Ρ榷取?br> 28.根據(jù)權(quán)利要求22所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，還包括經(jīng)由用戶接口向用戶呈現(xiàn)指示所述經(jīng)識(shí)別的區(qū)域中的一個(gè)或所述場(chǎng)景輸入具有穩(wěn)健性的程度的信息。
29.根據(jù)權(quán)利要求觀所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述信息是數(shù)字。
30.根據(jù)權(quán)利要求21所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，還包括向計(jì)算機(jī)程序提供指示所述經(jīng)識(shí)別的區(qū)域中的一個(gè)或所述場(chǎng)景輸入具有穩(wěn)健性的程度的數(shù)字。
31.一種計(jì)算機(jī)實(shí)現(xiàn)的方法，包括 接收?qǐng)鼍拜斎?；將視覺注意模型應(yīng)用到所述場(chǎng)景輸入以預(yù)測(cè)所述場(chǎng)景輸入內(nèi)易于吸引視覺注意的區(qū)域；改變所述視覺注意模型以產(chǎn)生修改的視覺注意模型；將所述修改的視覺注意模型應(yīng)用到所述場(chǎng)景輸入以預(yù)測(cè)所述場(chǎng)景輸入內(nèi)易于吸引視覺注意的區(qū)域；以及，基于由將所述視覺注意模型和所述修改的視覺注意模型應(yīng)用到所述場(chǎng)景輸入而識(shí)別的區(qū)域，確定所述經(jīng)識(shí)別的區(qū)域中的一個(gè)或所述場(chǎng)景輸入具有穩(wěn)健性的程度。
32.根據(jù)權(quán)利要求31所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中穩(wěn)健性是對(duì)來自視覺注意模型的預(yù)測(cè)對(duì)所述視覺注意模型內(nèi)的變動(dòng)的靈敏度的度量。
33.根據(jù)權(quán)利要求32所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中改變所述視覺注意模型包括修改所述視覺注意模型的操作參數(shù)。
34.根據(jù)權(quán)利要求33所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述操作參數(shù)被隨機(jī)地或系統(tǒng)地修改。
35.根據(jù)權(quán)利要求34所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述操作參數(shù)是控制所述視覺注意模型對(duì)以下任一者或其組合的靈敏度的那些顏色、對(duì)比度、運(yùn)動(dòng)、形狀、空間頻率和取向。
36.根據(jù)權(quán)利要求31所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，還包括 提供指示所確定的穩(wěn)健性程度的輸出。
37.根據(jù)權(quán)利要求36所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述輸出是數(shù)字。
38.根據(jù)權(quán)利要求37所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述輸出提供給計(jì)算機(jī)程序。
全文摘要
本發(fā)明公開了用于評(píng)價(jià)場(chǎng)景內(nèi)對(duì)象或場(chǎng)景本身的穩(wěn)健性的系統(tǒng)和方法。
文檔編號(hào)G06K9/46GK102227753SQ200980147669
公開日2011年10月26日 申請(qǐng)日期2009年10月1日 優(yōu)先權(quán)日2008年10月3日
發(fā)明者布拉因·J·斯坦凱維奇, 布賴恩·E·布魯克斯, 布賴恩·L·林茲, 戴維·K·麥斯米爾, 格蘭·E·卡斯納爾, 納森·J·安德森, 蒂莫西·J·加德納, 邁克爾·凱利·卡那萬 申請(qǐng)人:3M創(chuàng)新有限公司