圖像處理裝置、圖像處理方法和圖像處理程序的制作方法
【專利摘要】圖像處理裝置(100)具有：圖像取得部(102)，其取得圖像；文字區(qū)域估計(jì)部(104)，其判定由圖像取得部(102)取得的圖像內(nèi)的表示排列文字的可能性較高的方向的線作為文字區(qū)域候選線，估計(jì)沿著所述文字區(qū)域候選線排列文字的可能性較高的區(qū)域作為文字區(qū)域候選；以及輸出部(106)，其輸出由文字區(qū)域估計(jì)部(104)估計(jì)出的文字區(qū)域候選的信息。文字區(qū)域估計(jì)部(104)具有：垂直線檢測部(1041)，其檢測圖像內(nèi)的多個垂直線；水平線檢測部(1042)，其檢測圖像內(nèi)的多個水平線；以及文字區(qū)域候選線判定部(1043)，其根據(jù)由檢測所檢測到的多個垂直線間的顏色分布或所述檢測到的多個水平線間的顏色分布的顏色分布檢測部(1043a)檢測到的顏色分布，來判定文字區(qū)域候選線。
【專利說明】
圖像處理裝置、圖像處理方法和圖像處理程序
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及圖像處理裝置、圖像處理方法和圖像處理程序。
【背景技術(shù)】
[0002]例如在專利文獻(xiàn)I中提出了讀取圖像內(nèi)的文字的技術(shù)。例如，在專利文獻(xiàn)I中，根據(jù)優(yōu)先級來提取靜態(tài)圖像中包含的對象(包含文字區(qū)域)，進(jìn)行對提取出的對象賦予視覺效果等的處理。
[0003]現(xiàn)有技術(shù)文獻(xiàn)
[0004]專利文獻(xiàn)
[0005]專利文獻(xiàn)1:日本特許第4519531號公報(bào)
【發(fā)明內(nèi)容】
[0006]發(fā)明要解決的課題
[0007]在專利文獻(xiàn)I等現(xiàn)有的具有文字讀取功能的圖像處理裝置中，在不能進(jìn)行文字識別的情況下，大多向用戶通知不能讀取。這里，認(rèn)為多數(shù)情況下即使在裝置中無法讀取文字，在人的目視中也能夠讀取。因此，認(rèn)為即使實(shí)際上無法讀取文字，向用戶提示場景內(nèi)的包含文字的區(qū)域也是有效的。
[0008]本發(fā)明是鑒于所述情況而完成的，其目的在于，提供能夠估計(jì)圖像內(nèi)的認(rèn)為包含文字的區(qū)域并向用戶進(jìn)行提示的圖像處理裝置、圖像處理方法和圖像處理程序。
[0009]用于解決課題的手段
[0010]為了實(shí)現(xiàn)所述目的，本發(fā)明的第I方式的圖像處理裝置具有:圖像取得部，其取得圖像;文字區(qū)域估計(jì)部，其判定所取得的所述圖像內(nèi)的表示排列文字的可能性較高的方向的線作為文字區(qū)域候選線，估計(jì)沿著所述文字區(qū)域候選線排列文字的可能性較高的區(qū)域作為文字區(qū)域候選；以及輸出部，其輸出由所述文字區(qū)域估計(jì)部估計(jì)出的文字區(qū)域候選的信息，所述文字區(qū)域估計(jì)部具有:垂直線檢測部，其檢測所述圖像內(nèi)的多個垂直線；水平線檢測部，其檢測所述圖像內(nèi)的多個水平線;顏色分布檢測部，其檢測所檢測到的所述多個垂直線之間的顏色分布或所檢測到的所述多個水平線之間的顏色分布；以及文字區(qū)域候選線判定部，其根據(jù)所檢測到的所述顏色分布來判定所述文字區(qū)域候選線。
[0011]本發(fā)明的第2方式的圖像處理方法具有以下步驟:判定所取得的圖像內(nèi)的表示排列文字的可能性較高的方向的線作為文字區(qū)域候選線;估計(jì)沿著所述文字區(qū)域候選線排列文字的可能性較高的區(qū)域作為文字區(qū)域候選；以及輸出所估計(jì)出的所述文字區(qū)域候選的信息，所述文字區(qū)域候選線的判定具有以下步驟:檢測所述圖像內(nèi)的多個垂直線;檢測所述圖像內(nèi)的多個水平線;檢測所檢測到的所述多個垂直線之間的顏色分布或所檢測到的所述多個水平線之間的顏色分布；以及根據(jù)所檢測到的所述顏色分布來判定所述文字區(qū)域候選線。
[0012]本發(fā)明的第3方式的圖像處理程序用于使計(jì)算機(jī)執(zhí)行以下步驟:判定所取得的圖像內(nèi)的表示排列文字的可能性較高的方向的線作為文字區(qū)域候選線;估計(jì)沿著所述文字區(qū)域候選線排列文字的可能性較高的區(qū)域作為文字區(qū)域候選；以及輸出所估計(jì)出的所述文字區(qū)域候選的信息，所述文字區(qū)域候選線的判定具有以下步驟:檢測所述圖像內(nèi)的多個垂直線;檢測所述圖像內(nèi)的多個水平線;檢測所檢測到的所述多個垂直線之間的顏色分布或所檢測到的所述多個水平線之間的顏色分布；以及根據(jù)所檢測到的所述顏色分布來判定所述文字區(qū)域候選線。
[0013]發(fā)明效果
[0014]根據(jù)本發(fā)明，能夠提供能夠估計(jì)圖像內(nèi)的認(rèn)為包含文字的區(qū)域并向用戶進(jìn)行提示的圖像處理裝置、圖像處理方法和圖像處理程序。
【附圖說明】
[0015]圖1是本發(fā)明的一個實(shí)施方式的圖像處理裝置的功能框圖。
[0016]圖2是示出將本發(fā)明的一個實(shí)施方式的圖像處理裝置應(yīng)用于攝像裝置的情況的結(jié)構(gòu)的圖。
[0017]圖3A是示出攝像裝置的動作的概要的第I圖。
[0018]圖3B是示出攝像裝置的動作的概要的第2圖。
[0019]圖3C是示出攝像裝置的動作的概要的第3圖。
[0020]圖4A是示出本發(fā)明的一個實(shí)施方式的攝像裝置的拍攝時的動作的流程圖的第I圖。
[0021]圖4B是示出本發(fā)明的一個實(shí)施方式的攝像裝置的拍攝時的動作的流程圖的第2圖。
[0022]圖5A是示出文字區(qū)域候選判定I的處理的概要的第I圖。
[0023]圖5B是示出文字區(qū)域候選判定I的處理的概要的第2圖。
[0024]圖5C是示出文字區(qū)域候選判定I的處理的概要的第3圖。
[0025]圖6是示出文字區(qū)域候選判定I的處理的流程圖。
[0026]圖7A是示出文字區(qū)域候選線的例子的第I圖。
[0027]圖7B是示出文字區(qū)域候選線的例子的第2圖。
[0028]圖7C是示出文字區(qū)域候選線的例子的第3圖。
[0029]圖7D是示出文字區(qū)域候選線的例子的第4圖。
[0030]圖7E是示出文字區(qū)域候選線的例子的第5圖。
[0031 ]圖7F是示出文字區(qū)域候選線的例子的第6圖。
[0032]圖8是示出文字區(qū)域候選判定2的處理的流程圖。
[0033]圖9A是用于說明文字區(qū)域候選判定2的處理的第I圖。
[0034]圖9B是用于說明文字區(qū)域候選判定2的處理的第2圖。
[0035 ]圖1O是示出步驟S110中生成的圖像文件的一例的圖。
[0036]圖11是示出步驟S120中進(jìn)行關(guān)聯(lián)的圖像文件的一例的圖。
[0037]圖12A是示出本發(fā)明的一個實(shí)施方式的變形例I的攝像裝置的拍攝時的動作的流程圖的第I圖。
[0038]圖12B是示出本發(fā)明的一個實(shí)施方式的變形例I的攝像裝置的拍攝時的動作的流程圖的第2圖。
[0039]圖13A是示出作為車載用途的變形例2的第I圖。
[0040]圖13B是示出作為車載用途的變形例2的第2圖。
【具體實(shí)施方式】
[0041]下面，參照附圖對本發(fā)明的實(shí)施方式進(jìn)行說明。圖1是本發(fā)明的一個實(shí)施方式的圖像處理裝置的功能框圖。圖像處理裝置100具有圖像取得部102、文字區(qū)域估計(jì)部104、輸出部106。
[0042]圖像取得部102取得作為判定包含文字的區(qū)域的對象的圖像。該圖像取得部102例如取得通過攝像部的攝像而得到的圖像。除此以外，圖像取得部102也可以構(gòu)成為取得從圖像處理裝置100的外部的設(shè)備輸入的圖像。
[0043]文字區(qū)域估計(jì)部104估計(jì)由圖像取得部102輸入的圖像內(nèi)的認(rèn)為包含文字的區(qū)域(在該時刻也可以不判定是否是文字)。該文字區(qū)域估計(jì)部104具有垂直線檢測部1041、水平線檢測部1042、文字區(qū)域候選線判定部1043、陰影檢測部1044、文字區(qū)域候選估計(jì)部1045。垂直線檢測部1041檢測圖像內(nèi)的多個垂直線。水平線檢測部1042檢測圖像內(nèi)的水平線。文字區(qū)域候選線判定部1043根據(jù)圖像內(nèi)的多個垂直線的關(guān)系或圖像內(nèi)的多個水平線的關(guān)系，判定表示排列文字的可能性較高的方向的線作為文字區(qū)域候選線。該文字區(qū)域候選線判定部1043具有作為顏色分布檢測部1043a的功能和作為顏色判定部1043b的功能。作為顏色分布檢測部1043a的功能是檢測多個垂直線間和多個水平線間的顏色分布的功能。作為顏色判定部1043b的功能是判定顏色分布是否是大致相等的顏色分布的功能。陰影檢測部1044檢測圖像內(nèi)的陰影分布。文字區(qū)域候選估計(jì)部1045根據(jù)沿著文字區(qū)域候選線的方向的陰影分布，估計(jì)認(rèn)為包含文字的區(qū)域(文字區(qū)域候選)。
[0044]輸出部106將由文字區(qū)域估計(jì)部104的文字區(qū)域候選估計(jì)部1045估計(jì)出的文字區(qū)域候選的信息輸出到顯示部等。該信息例如是文字區(qū)域候選的坐標(biāo)。
[0045]圖2是示出將圖1所示的圖像處理裝置100應(yīng)用于攝像裝置的情況的結(jié)構(gòu)的圖。圖2所示的攝像裝置200具有控制部202、攝像部204、顯示部206、記錄部208、操作部210、觸摸面板212、姿勢檢測部214、位置檢測部216、計(jì)時部218、通信部220。圖2所示的攝像裝置200例如是數(shù)字照相機(jī)或智能手機(jī)這樣的各種具有攝像功能的設(shè)備。
[0046]控制部202例如由CPU構(gòu)成，具有圖1所示的圖像處理裝置100。除此以外，控制部202具有攝像控制部2022、圖像處理部2023、文字識別部2024、元數(shù)據(jù)生成部2025、顯示控制部2026、通信控制部2027。攝像控制部2022對攝像部204的攝像動作進(jìn)行控制。圖像處理部2023對由攝像部204取得的圖像數(shù)據(jù)實(shí)施顯示或記錄所需要的圖像處理。該圖像處理包括白平衡校正、灰度校正、顏色校正這樣的與畫質(zhì)有關(guān)的校正、尺寸調(diào)整處理、壓縮處理、解壓縮處理等。文字識別部2024參照文字辭典DB2082識別圖像數(shù)據(jù)中的文字。元數(shù)據(jù)生成部2025根據(jù)文字識別部2024的識別結(jié)果，生成用于附加給圖像文件的元數(shù)據(jù)。顯示控制部2026對針對顯示部206的各種圖像的顯示進(jìn)行控制。通信控制部2027進(jìn)行攝像裝置200與外部設(shè)備的通信時的控制。通過通信控制部2027，攝像裝置200以通信自如的方式與服務(wù)器300連接。并且，通過通信控制部2027的控制，攝像裝置200還以通信自如的方式與其他終端設(shè)備(智能手機(jī))400連接。
[0047]攝像部204對被攝體進(jìn)行攝像而取得與被攝體有關(guān)的圖像(圖像數(shù)據(jù))。該攝像部204具有攝影鏡頭2041、攝像元件2042、模擬/數(shù)字(A/D)轉(zhuǎn)換部2043。攝影鏡頭2041使來自被攝體的光束會聚在攝像元件2042上。攝像元件2042具有受光面。在受光面上配置有像素。像素例如是光電二極管，輸出與入射光的光量對應(yīng)的電信號(圖像信號hA/D轉(zhuǎn)換部2043將由攝像元件2042得到的模擬圖像信號轉(zhuǎn)換為數(shù)字圖像信號(圖像數(shù)據(jù))。
[0048]顯示部206例如是液晶顯示器或有機(jī)EL顯示器，根據(jù)各種圖像數(shù)據(jù)來顯示圖像。該圖像數(shù)據(jù)是通過攝像部204的攝像而得到的圖像數(shù)據(jù)或記錄部208中記錄的圖像數(shù)據(jù)。
[0049]記錄部208例如是閃存，記錄圖像數(shù)據(jù)等作為文件。并且，在記錄部208中構(gòu)筑連接目的地?cái)?shù)據(jù)庫(DB)2081和文字辭典(DB)2082。連接目的地DB2081是存儲與作為攝像裝置200的通信對象的設(shè)備(服務(wù)器300或終端設(shè)備400)進(jìn)行通信所需要的地址信息等的數(shù)據(jù)庫。文字辭典DB2082是存儲文字識別用的文字的圖案的信息的數(shù)據(jù)庫。另外，記錄部208可以內(nèi)置在攝像裝置200中，也可以相對于攝像裝置200拆裝自如。
[0050]操作部210是用于供用戶進(jìn)行攝像裝置200的操作的機(jī)械式的操作部件。作為操作部210，例如包括釋放按鈕和電源開關(guān)。釋放按鈕是用于供用戶指示拍攝動作的執(zhí)行的按鈕。并且，電源開關(guān)是用于供用戶指示攝像裝置200的電源的接通或斷開的開關(guān)。
[0051]觸摸面板212形成在顯示部206的顯示畫面上，檢測用戶的觸摸操作?？刂撇?02進(jìn)行與由觸摸面板212檢測到的觸摸操作對應(yīng)的處理。例如，使用觸摸面板212來代替釋放按鈕。除此之外，觸摸面板212用于供用戶指定顯示部206的顯示畫面中顯示的圖像的特定部分。
[0052]姿勢檢測部214例如是3軸的加速度傳感器，在攝像裝置200的姿勢(例如標(biāo)準(zhǔn)姿勢(所謂的橫向位置)中，設(shè)攝像裝置200的水平方向?yàn)閄方向。設(shè)正的X方向是從被攝體側(cè)觀察攝像裝置200時的右方向。進(jìn)而，設(shè)攝像裝置200的垂直方向?yàn)閅方向。設(shè)正的Y方向是標(biāo)準(zhǔn)姿勢中的上方向。在這種坐標(biāo)系中，檢測繞Z軸(攝影鏡頭2014的光軸)的旋轉(zhuǎn)運(yùn)動為滾動，繞X軸的旋轉(zhuǎn)運(yùn)動為俯仰的正方向旋轉(zhuǎn)，從原點(diǎn)觀察X軸正方向時的繞Z軸的左旋轉(zhuǎn)為滾動的正方向旋轉(zhuǎn)，從原點(diǎn)觀察Y軸正方向時的繞Y軸的右旋轉(zhuǎn)為偏航的正方向旋轉(zhuǎn))。位置檢測部216例如具有內(nèi)置在攝像裝置200主體中、或安裝在未圖示的熱靴上的GPS(GlobalPosit1ning System)。該GPS接收從外部發(fā)送的信號或者接收從智能手機(jī)等終端機(jī)發(fā)送的GPS通信信息，由此檢測攝像裝置200的當(dāng)前位置。另外，也可以是，能夠通過位置檢測部216，根據(jù)攝像裝置200內(nèi)的攝影鏡頭2014的光軸方向來檢測方位?；蛘撸ㄟ^將由智能手機(jī)等終端機(jī)記錄的GPS日志轉(zhuǎn)送到攝像裝置200，也可以在攝像裝置200中保存的圖像數(shù)據(jù)的Exif信息中追加記錄GPS標(biāo)簽。計(jì)時部218取得當(dāng)前時刻。通信部220根據(jù)通信控制部2027的控制而與服務(wù)器300或終端設(shè)備400進(jìn)行通信。另外，基于通信部220的通信可以是有線通?目，也可以是無線通?目。
[0053]并且，服務(wù)器300具有控制部302、記錄部304、通信部306。這里，圖1的服務(wù)器300可以是云服務(wù)器。例如，控制部302和記錄部304可以位于不同場所。
[0054]控制部302具有文字識別部3021、通信控制部3022。文字識別部3021在從攝像裝置200通過通信取得的圖像數(shù)據(jù)中的文字區(qū)域候選內(nèi)進(jìn)行文字的識別。通信控制部3022進(jìn)行與攝像裝置200之間的通信時的控制。
[0055]記錄部304例如是硬盤。在該記錄部304中構(gòu)筑文字辭典數(shù)據(jù)庫(DB) 3041。文字辭典DB3041是存儲文字識別用的文字的形狀信息的數(shù)據(jù)庫。另外，文字辭典DB3041可以是信息量比文字辭典DB2082的信息量多的數(shù)據(jù)庫。
[0056]通信部306根據(jù)通信控制部3022的控制而與攝像裝置200進(jìn)行通信。
[0057]下面，對具有本實(shí)施方式的圖像處理裝置100的攝像裝置200的動作進(jìn)行說明。在本實(shí)施方式中，攝像裝置200適用于包含廣告牌等具有文字的被攝體的場景的拍攝時。例如，假設(shè)用戶要拍攝圖3A所示的記載了 “Λ高原”這樣的文字的石碑。此時，攝像裝置200(圖像處理裝置100)估計(jì)通過攝像而得到的圖像中的文字區(qū)域候選。該估計(jì)在后面詳細(xì)說明。
[0058]當(dāng)估計(jì)出文字區(qū)域候選后，如圖3B所示，對顯示部206中顯示的圖像的文字區(qū)域候選的部分206a進(jìn)行強(qiáng)調(diào)顯示(用框包圍等)。此時，如果文字識別完成，則也可以向用戶提示文字識別結(jié)果。
[0059]通過強(qiáng)調(diào)顯示，能夠使用戶注視文字區(qū)域候選的部分。然后，識別出在文字區(qū)域候選內(nèi)存在文字的用戶如圖3B所示觸摸顯示部206的顯示畫面(即觸摸面板212)等，進(jìn)行拍攝指示。此時，進(jìn)行基于攝像裝置200的拍攝，然后，如圖3C所示，在實(shí)時取景圖像中顯示關(guān)聯(lián)引導(dǎo)206b。關(guān)聯(lián)引導(dǎo)206b例如是文字區(qū)域候選的部分的縮小圖像。通過這種關(guān)聯(lián)引導(dǎo)206b，能夠使用戶識別場景中的文字的存在，能夠?qū)τ脩籼崾九_子的拍攝。
[0060]圖4A和圖4B是示出本實(shí)施方式的攝像裝置200的拍攝時的動作的流程圖。圖4A和圖4B所示的動作由控制部202來控制。在圖4A和圖4B中，控制部202判定攝像裝置200的工作模式是否是拍攝模式(步驟S101)。作為工作模式，攝像裝置200至少具有拍攝模式和再現(xiàn)模式。拍攝模式是用于拍攝記錄用的圖像的工作模式。再現(xiàn)模式是用于再現(xiàn)所記錄的圖像的工作模式。在步驟SlOl中判定為攝像裝置200的工作模式是再現(xiàn)模式的情況下，控制部202進(jìn)行再現(xiàn)模式的處理。對再現(xiàn)模式的處理進(jìn)行簡單說明。在再現(xiàn)模式中，控制部202使顯示部206顯示記錄部208中記錄的圖像文件的一覽。當(dāng)用戶在一覽顯示的圖像文件中選擇期望圖像文件后，控制部202使顯示部206顯示與該選擇出的圖像文件對應(yīng)的圖像。
[0061 ]在步驟SlOl中判定為工作模式是拍攝模式的情況下，控制部202進(jìn)行實(shí)時取景顯示(步驟S102)。實(shí)時取景顯示是使顯示部206實(shí)時地顯示通過攝像部204的連續(xù)動作而得到的圖像的動作。另外，也可以在實(shí)時取景顯示中進(jìn)行面部檢測等。在實(shí)時取景顯示后，控制部202判定當(dāng)前的拍攝模式的設(shè)定是否是關(guān)聯(lián)拍攝模式(步驟S103)。關(guān)聯(lián)拍攝模式是對用戶提示包含文字的被攝體的拍攝的拍攝模式。在后面詳細(xì)說明。
[0062]在步驟S103中判定為當(dāng)前的拍攝模式的設(shè)定不是關(guān)聯(lián)拍攝模式的情況下，控制部202進(jìn)行文字區(qū)域候選判定I的處理(步驟S104)。文字區(qū)域候選判定I的處理是判定文字區(qū)域候選線的處理。下面，對文字區(qū)域候選判定I的處理進(jìn)行說明。
[0063]如圖5A所示，例如，如果實(shí)時取景顯示中得到的圖像內(nèi)的文字與圖像的水平方向或垂直方向平行排列，則容易識別文字。這里，廣告牌等不是必須相對于人物水平配置。并且，根據(jù)用戶的構(gòu)圖的決定方法的不同，文字也不一定相對于圖像水平或垂直配置。例如，在圖5B所示的被攝體即人物S位于石碑P的傾斜橫向位置的場景中，文字相對于圖像的水平方向和垂直方向具有傾斜，不容易進(jìn)行文字識別。但是，如果能夠判別石碑的水平或垂直方向，則能夠估計(jì)為在該方向上可能排列文字。
[0064]本實(shí)施方式的攝像裝置200在無法識別文字的狀況下，也向用戶提示認(rèn)為存在文字的文字區(qū)域候選的信息，由此，向用戶建議根據(jù)需要從適當(dāng)方向進(jìn)行文字的拍攝。例如，如圖5C所示，即使文字相對于圖像不是水平，如果記載了文字的區(qū)域(在圖5C的例子中為石碑P)相對于地面為水平，則判定為文字區(qū)域候選。然后，這種情況下，向用戶建議文字區(qū)域候選的存在。
[0065]圖6是示出文字區(qū)域候選判定I的處理的流程圖。圖6的處理由控制部202的圖像處理裝置100來進(jìn)行。在圖6中，圖像處理裝置100的圖像取得部102取得通過實(shí)時取景顯示用的攝像而得到的圖像數(shù)據(jù)，將所取得的圖像數(shù)據(jù)輸入到文字區(qū)域估計(jì)部104。文字區(qū)域估計(jì)部104的垂直線檢測部1041檢測所輸入的圖像數(shù)據(jù)中的垂直線(步驟S201)。另外，優(yōu)選步驟S201中檢測的垂直線是與地面垂直的線。因此，根據(jù)由姿勢檢測部214檢測的攝像裝置200的姿勢，檢測圖像數(shù)據(jù)中的與地面平行的線(地平線)，檢測相對于該地平線成為鉛直方向的線作為垂直線。能夠利用邊緣檢測或角部檢測等公知手法來檢測垂直線。
[0066]在垂直線檢測后，垂直線檢測部1041判定是否檢測到了2根以上的垂直線(步驟S202)。在圖像內(nèi)的文字區(qū)域候選即廣告牌或石碑中，如圖7A、圖7B和圖7F所示的長方體狀的形狀、圖7C所示的平板狀的形狀、圖7D和圖7E所示的圓柱狀的形狀那樣存在各種形狀。并且，關(guān)于記載文字的位置，也存在上側(cè)、側(cè)面等各種位置。但是，在作為圖像觀察的情況下，認(rèn)為是文字區(qū)域候選的區(qū)域成為閉合區(qū)域。步驟S202的處理是用于探尋閉合區(qū)域即文字區(qū)域候選的垂直線的處理。為了探尋作為文字區(qū)域候選的閉合區(qū)域，檢測2根以上的垂直線。通過步驟S202的處理，在圖7A、圖7B、圖7D和圖7E的例子中檢測到垂直線Lvl和Lv2。并且，在圖7C和圖7F的例子中檢測到垂直線Lvl、Lv2和L3。這樣，在包含圖7A?圖7F所示的廣告牌等的場景的拍攝時，在步驟S202中判定為檢測到了 2根以上的垂直線。
[0067]在步驟S202中垂直線檢測部1041判定為在實(shí)時取景拍攝時取得的圖像數(shù)據(jù)內(nèi)能夠到2根以上的垂直線的情況下，文字區(qū)域候選線判定部1043對由垂直線檢測部1041檢測到的垂直線的長度進(jìn)行比較。然后，文字區(qū)域候選線判定部1043判定是否存在長度相等且相鄰的2根垂直線(步驟S203)。在本實(shí)施方式的例子中，在存在長度相等且相鄰的2根垂直線的情況下，如圖7A?圖7F所示，認(rèn)為可能在這2根垂直線之間的區(qū)域內(nèi)存在文字。
[0068]此時，文字區(qū)域候選線判定部1043根據(jù)實(shí)時取景拍攝時取得的圖像數(shù)據(jù)，檢測相鄰的2根垂直線之間的區(qū)域的顏色(顏色信息信號:彩度、色相)。作為檢測這些區(qū)域的顏色信息的手段，例如，實(shí)時取景拍攝時取得的圖像數(shù)據(jù)包含亮度信號成分(Y)和2個色差信號(Cr、Cb)信號，但是，僅提取其中的2個色差信號(Cr、Cb)信號成分。
[0069]上述2個色差信號(Cr、Cb)是針對從攝像元件得到的R、G、B的三原色的圖像信號輸出(R信號、G信號、B信號)、分別從R信號和B信號輸出中減去亮度信號成分(Y)而得到的輸出值。這里，第I色差信號(Cr)是從R信號輸出中減去亮度信號成分(Y)而得到的輸出值。而且，第2色差信號(Cb)是從B信號輸出中減去亮度信號成分(Y)而得到的輸出值。
[0070]在將這些第I色差信號(Cr)、第2色差信號(Cb)分別表示為水平方向、垂直方向的矢量量的情況下，根據(jù)基于這2個色差信號的矢量的大小，示出顏色信息的彩度。顏色信息的彩度表示基于2個色差信號的矢量的大小越大，則顏色越鮮艷。并且，根據(jù)基于這2個色差信號的矢量所成的方向，檢測色相信息作為顏色信息。色相表示色調(diào)。
[0071]關(guān)于基于這2個色差信號的矢量所成的方向，通過計(jì)算第I色差信號(Cr)、第2色差信號(Cb)的大小之比而示出方向。
[0072]具體而言，在第I色差信號(Cr)與第2色差信號(Cb)的比率較大的情況下，作為顏色信息，實(shí)時取景拍攝時取得的圖像數(shù)據(jù)示出紅色較強(qiáng)的顏色。另一方面，在第I色差信號(Cr)與第2色差信號(Cb)的比率較小的情況下，作為顏色信息，實(shí)時取景拍攝時取得的圖像數(shù)據(jù)示出藍(lán)色較強(qiáng)的顏色。并且，作為上述所示的相鄰的2根垂直線之間的區(qū)域的顏色的代表值，計(jì)算色差信號的平均輸出值或與面積最大的區(qū)域?qū)?yīng)的色差信號的平均輸出值等。然后，文字區(qū)域候選線判定部1043判定相鄰的2根垂直線之間的區(qū)域的顏色是否是大致相同的顏色(步驟S204)。
[0073]在步驟S204的顏色判定中，具體而言，首先，分別根據(jù)比較判定中所示的區(qū)域的圖像數(shù)據(jù)計(jì)算第I色差信號(Cr)、第2色差信號(Cb)。接著，根據(jù)計(jì)算出的第I色差信號(Cr)、第2色差信號(Cb)檢測彩度信息和色相信息。
[0074]關(guān)于步驟S204中所示的2根垂直線之間的區(qū)域的顏色是否是大致相同的顏色的判定，分別對彩度信息和色相信息進(jìn)行比較，判定各個值的差是否較大。
[0075]作為具體的一例，在廣告牌或臺子(例如石碑)等的情況下，認(rèn)為文字的部分以外的部分是大致相同的顏色(例如圖7A的垂直線Lvl與垂直線Lv2之間成為大致相同的顏色)。因此，在相鄰的2根垂直線之間的區(qū)域的顏色是大致相同的顏色(詳細(xì)地講，根據(jù)色差信號檢測色相、彩度，在作為比較對象的顏色的色相、彩度之差小于規(guī)定范圍的情況下，判斷為大致相同的顏色)的情況下，認(rèn)為可能在該區(qū)域中存在文字。此時，文字區(qū)域候選線判定部1043將連接相鄰的2根垂直線的端部的線(直線或曲線)作為文字區(qū)域候選線(步驟S205)。例如，在圖7A的例子中，連接垂直線Lvl的端部和垂直線Lv2的端部的Lhl和Lh2成為文字區(qū)域候選線。
[0076]在步驟S205之后、或步驟S202中判定為無法檢測到2根以上的垂直線的情況下、步驟S203中判定為不存在長度相等且相鄰的2根垂直線的情況下、或步驟S204中判定為相鄰的2根垂直線之間的區(qū)域的顏色不是大致相同的顏色的情況下，水平線檢測部1042檢測所輸入的圖像數(shù)據(jù)中的水平線(步驟S206)。能夠利用邊緣檢測或角部檢測等公知的物體檢測中的輪廓檢測的手法來檢測水平線。
[0077]在水平線檢測后，水平線檢測部1042判定是否能夠檢測到2根以上的水平線(步驟S207)。在步驟S207中水平線檢測部1042判定為能夠檢測到2根以上的水平線的情況下，文字區(qū)域候選線判定部1043對由水平線檢測部1042檢測到的水平線的長度進(jìn)行比較。然后，文字區(qū)域候選線判定部1043判定是否存在長度相等且相鄰的2根水平線(步驟S208)。在步驟S208中判定為存在長度相等且相鄰的2根水平線的情況下，文字區(qū)域候選線判定部1043檢測相鄰的2根水平線之間的區(qū)域的顏色。然后，文字區(qū)域候選線判定部1043判定相鄰的2根水平線之間的區(qū)域的顏色是否是大致相同的顏色(詳細(xì)地講，根據(jù)色差信號檢測色相、彩度，在作為比較對象的顏色的色相、彩度之差小于規(guī)定范圍的情況下，判斷為大致相同的顏色)(步驟S209)。在步驟S209中判定為相鄰的2根水平線之間的區(qū)域的顏色是大致相同的顏色的情況下，文字區(qū)域候選線判定部1043將連接相鄰的2根水平線的端部的線(直線或曲線)作為文字區(qū)域候選線(步驟S210)。例如，在圖7A的例子中，連接水平線Lhl的端部和水平線Lh2的端部的Lvl和Lv2成為文字區(qū)域候選線。
[0078]在步驟S210之后、或步驟S207中判定為無法檢測到2根以上的水平線的情況下、步驟S208中判定為不存在長度相等且相鄰的2根水平線的情況下、或步驟S209中判定為相鄰的2根水平線之間的區(qū)域的顏色不是大致相同的顏色的情況下，文字區(qū)域候選線判定部1043判定是否能夠檢測到圖像數(shù)據(jù)內(nèi)的閉合線(由直線或曲線包圍的區(qū)域)(步驟S211)。根據(jù)由垂直線檢測部1041和水平線檢測部1042提取出的邊緣的形狀等來檢測閉合線。
[0079]在步驟S211中能夠檢測到閉合線的情況下，認(rèn)為可能在由閉合線形成的區(qū)域內(nèi)包含文字。此時，文字區(qū)域候選線判定部1043檢測所檢測到的線內(nèi)的區(qū)域的顏色。然后，文字區(qū)域候選線判定部1043判定檢測到的線內(nèi)的區(qū)域的顏色是否是大致相同的顏色(步驟S212)。在步驟S212中判定為區(qū)域內(nèi)的顏色是大致相同的顏色的情況下，文字區(qū)域候選線判定部1043將檢測到的線作為文字區(qū)域候選線(步驟S213)。例如，在圖7A的例子中，垂直線Lvl和Lv2以及水平線Lhl和水平線Lh2成為文字區(qū)域候選線。通過步驟S213的處理，能夠檢測閉合曲線作為文字區(qū)域候選線。
[0080]在步驟S213之后、或步驟S211中無法檢測到閉合線的情況下或步驟S212中區(qū)域的顏色不是大致相同的顏色的情況下，文字區(qū)域估計(jì)部104結(jié)束圖6的處理，返回到圖4A和圖4B的處理。在處理返回到圖4A和圖4B的處理后，控制部202進(jìn)行文字區(qū)域候選判定2的處理(步驟S105)。文字區(qū)域候選判定2的處理是根據(jù)文字區(qū)域候選線判定文字區(qū)域候選的處理。下面，對文字區(qū)域候選判定2的處理進(jìn)行說明。
[0081]圖8是示出文字區(qū)域候選判定2的處理的流程圖。圖8的處理也由控制部202的圖像處理裝置100來進(jìn)行。在圖8中，文字區(qū)域估計(jì)部104的文字區(qū)域候選估計(jì)部1045判定在由文字區(qū)域候選線判定部1043檢測到的文字區(qū)域候選線的附近、在沿著文字區(qū)域候選線的方向上是否存在規(guī)則形狀的空白部(單一灰度部)(步驟S301)。
[0082]如圖9A所示，認(rèn)為廣告牌等中記載的文字沿著廣告牌等的水平方向或垂直方向排列的可能性較高。并且，由于在文字中存在各種形狀，所以，認(rèn)為在圖像中的排列文字的部分中不存在(較少)規(guī)則形狀的空白部。因此，將是否存在沿著文字區(qū)域候選線的方向的規(guī)則形狀的空白部作為第I判定基準(zhǔn)，根據(jù)該判定結(jié)果來判定文字區(qū)域候選。在圖9A這樣的與石碑有關(guān)的判定中，在沿著文字區(qū)域候選線Lhl (Lh2)的方向和沿著文字區(qū)域候選線Lh3(Lh4)的方向上進(jìn)行判定。然后，在沿著文字區(qū)域候選線Lh I的方向的判定中判定為存在規(guī)則形狀的空白部，在沿著文字區(qū)域候選線Lh3的方向的判定中，由于包含文字而判定為不存在規(guī)則的空白部。另一方面，在圖9B這樣的具有窗戶的建筑物的例子中，在沿著文字區(qū)域候選線Lh I的方向的判定中和沿著文字區(qū)域候選線Lh3的方向的判定中，均判定為存在規(guī)則形狀的空白部。根據(jù)這種判定，能夠降低將不包含文字的區(qū)域誤判定為文字區(qū)域候選的可能性。
[0083]在步驟S301中判定為在沿著文字區(qū)域候選線的方向上不存在規(guī)則形狀的空白部的情況下，文字區(qū)域候選估計(jì)部1045參照記錄部208的文字辭典DB2082，判定是否能夠在圖像數(shù)據(jù)中的文字區(qū)域候選線的附近的區(qū)域中檢測到表示文字的圖案(步驟S302)。如上所述，認(rèn)為文字沿著文字區(qū)域候選線配置的可能性較高。因此，認(rèn)為如果是文字區(qū)域候選線的附近的區(qū)域，則容易檢測文字。
[0084]在步驟S302中判定為無法檢測到表示文字的圖案的情況下，文字區(qū)域候選估計(jì)部1045判定是否在規(guī)則形狀的空白部的附近的區(qū)域中存在由線構(gòu)成的圖案(步驟S303)。在步驟S303中，即使是實(shí)際上無法判定為文字的圖案，如果存在由線構(gòu)成的圖案，則認(rèn)為在該區(qū)域中存在文字。
[0085]在步驟S302中判定為檢測到表示文字的圖案的情況下或步驟S303中判定為在規(guī)則形狀的空白部的附近的區(qū)域中存在由線構(gòu)成的圖案的情況下，文字區(qū)域候選估計(jì)部1045將能夠檢測到表示文字的圖案的區(qū)域或能夠檢測到由線構(gòu)成的圖案的區(qū)域作為文字區(qū)域候選(步驟S304)。另一方面，在步驟S301中判定為在沿著文字區(qū)域候選線的方向上存在規(guī)則形狀的空白部的情況下、或步驟S303中判定為在規(guī)則形狀的空白部的附近的區(qū)域中不存在由線構(gòu)成的圖案的情況下，文字區(qū)域候選估計(jì)部1045判定為不存在文字區(qū)域候選(步驟S305)。在步驟S304或步驟S305之后，文字區(qū)域估計(jì)部104結(jié)束圖8的處理，返回到圖4A和圖4B的處理。
[0086]在處理返回到圖4A和圖4B的處理后，控制部202從圖像處理裝置100的輸出部106取得文字區(qū)域候選判定I和文字區(qū)域候選判定2的處理結(jié)果，根據(jù)該處理結(jié)果判定是否在圖像數(shù)據(jù)中存在文字區(qū)域候選(步驟S106)。在步驟S106中判定為存在文字區(qū)域候選的情況下，例如如圖3B所示，控制部202對文字區(qū)域候選的部分進(jìn)行強(qiáng)調(diào)顯示(步驟S107)。另外，在步驟S107中，只要能夠?qū)ξ淖謪^(qū)域候選的存在進(jìn)行強(qiáng)調(diào)即可，所以，也可以不對文字區(qū)域候選的部分進(jìn)行強(qiáng)調(diào)顯示，而通過聲音等通知文字區(qū)域候選的存在。
[0087]在步驟S106中判定為不存在文字區(qū)域候選的情況下或步驟S107之后，控制部202判定是否存在基于用戶的拍攝指示(步驟S108)。拍攝指示例如是釋放按鈕的按壓操作或使用觸摸面板212的觸摸釋放操作。在步驟S108中判定為存在拍攝指示的情況下，控制部202執(zhí)行拍攝動作(步驟S109)。拍攝動作是對攝像部204進(jìn)行控制而取得記錄用的圖像數(shù)據(jù)的動作。
[0088]在拍攝動作后，控制部202根據(jù)攝像部204中得到的圖像數(shù)據(jù)生成圖像文件(步驟S110)。圖10示出步驟SllO中生成的圖像文件的一例。如圖10所示，圖像文件分為圖像數(shù)據(jù)部和標(biāo)簽信息部。在圖像數(shù)據(jù)部中以被壓縮的狀態(tài)記錄通過拍攝動作而得到的圖像數(shù)據(jù)。在標(biāo)簽信息部中記錄由位置檢測部216檢測到的拍攝場所和由計(jì)時部218檢測到的拍攝時刻這樣的拍攝時的各種信息作為元數(shù)據(jù)。
[0089]在圖像文件生成后，控制部202判定是否存在文字區(qū)域候選(步驟S111)。在步驟Slll中判定為存在文字區(qū)域候選的情況下，控制部202顯示圖3C所示的關(guān)聯(lián)引導(dǎo)206b(步驟SI 12)。然后，控制部202使拍攝模式的設(shè)定成為關(guān)聯(lián)拍攝模式(步驟SI 13)。
[0090]接著，控制部202判定是否斷開攝像裝置200的電源(步驟S114)。例如，在電源開關(guān)斷開的情況下或規(guī)定時間內(nèi)未進(jìn)行操作的情況下，斷開電源。在步驟S114中判定為斷開電源的情況下，控制部202結(jié)束圖4A和圖4B的處理。另一方面，在步驟S114中判定為未斷開電源的情況下，控制部202使處理返回到步驟SlOl。
[0091]在步驟S103中判定為當(dāng)前的拍攝模式的設(shè)定是關(guān)聯(lián)拍攝模式的情況下，顯示圖3C所示的關(guān)聯(lián)引導(dǎo)206b。用戶觀看關(guān)聯(lián)引導(dǎo)206b，識別場景中的包含文字的被攝體，根據(jù)需要握持?jǐn)z像裝置200進(jìn)行拍攝指示，以使得容易映出文字的部分。為了判定該拍攝指示，在步驟S103中判定為當(dāng)前的拍攝模式的設(shè)定是關(guān)聯(lián)拍攝模式的情況下，控制部202判定是否進(jìn)行了拍攝指示(步驟S116)。在步驟S116中判定為進(jìn)行了拍攝指示的情況下，控制部202執(zhí)行拍攝動作(步驟S117)。在拍攝動作執(zhí)行后，控制部202通過文字識別部2024識別通過拍攝動作而得到的圖像數(shù)據(jù)中的文字(步驟S118)。然后，控制部202判定是否能夠進(jìn)行文字識別(步驟 S119)。
[0092]在步驟S119中判定為無法進(jìn)行文字識別的情況下，控制部202判定是否得到了文字的識別候選(步驟S120)。有時即使由于污垢等無法識別文字的一部分，但是能夠根據(jù)可識別的部分估計(jì)整體的文字。步驟S120的處理是用于判定是否能夠進(jìn)行這種估計(jì)的處理。
[0093]在步驟S120中判定為未得到文字的識別候選的情況下，控制部202使顯示部206顯示表示無法進(jìn)行文字判別的不可判別消息(步驟S121)。并且，在步驟S120中判定為得到了文字的識別候選的情況下，控制部202也使顯示部206顯示不可判別消息(步驟S122)。然后，控制部202使顯示部206顯示文字的識別候選的一覽(步驟S123)。在一覽顯示后，控制部202判定用戶是否選擇了識別候選(步驟S124)。在步驟S124中判定為例如在規(guī)定時間內(nèi)未選擇識別候選的情況下，控制部202使處理轉(zhuǎn)移到步驟S127。
[0094]在步驟SI19中判定為能夠進(jìn)行文字識別的情況下或步驟S124中判定為選擇了識別候選的情況下，控制部202通過元數(shù)據(jù)生成部2025將識別出的文字信息與圖像文件關(guān)聯(lián)起來(步驟S126)。然后，控制部202使處理轉(zhuǎn)移到步驟S127。圖11示出步驟S120中關(guān)聯(lián)的圖像文件的一例。如圖11所示，識別出的文字信息記錄在圖像文件的標(biāo)簽信息部中。
[0095]在步驟S116中判定為不存在拍攝指示的情況下、步驟S124中判定為在規(guī)定時間內(nèi)未選擇識別候選的情況下、或步驟S216之后，控制部202解除關(guān)聯(lián)模式的設(shè)定(步驟S127)。然后，控制部202使處理轉(zhuǎn)移到步驟S114。
[0096]如以上說明的那樣，根據(jù)本實(shí)施方式，根據(jù)圖像內(nèi)的垂直線或水平線來判定文字區(qū)域候選線，沿著判定出的文字區(qū)域候選線判定存在文字的可能性較高的區(qū)域作為文字區(qū)域候選，向用戶提示文字區(qū)域候選的部分的信息，由此，能夠使用戶得知場景內(nèi)的廣告牌等的具有文字的被攝體的存在。并且，在能夠判定文字區(qū)域候選時，拍攝模式的設(shè)定被設(shè)定為關(guān)聯(lián)拍攝模式。在關(guān)聯(lián)拍攝模式中的實(shí)時取景顯示中，顯示關(guān)聯(lián)引導(dǎo)206b，所以，能夠向用戶提示在容易識別文字的朝向拍攝廣告牌等。
[0097]下面，對本實(shí)施方式的變形例進(jìn)行說明。
[0098][變形例I]
[0099]在所述實(shí)施方式中，在攝像裝置200中進(jìn)行文字的識別，在攝像裝置200中無法進(jìn)行文字識別的情況下，進(jìn)行不可判別顯示，然后結(jié)束處理。但是，不需要僅在攝像裝置200中進(jìn)行文字識別。變形例I是在攝像裝置200中無法進(jìn)行文字識別的情況下、在服務(wù)器300中進(jìn)行文字識別的例子。
[0100]圖12A和圖12B是示出本實(shí)施方式的變形例I的攝像裝置200的拍攝時的動作的流程圖。另外，在圖12A和圖12B中，對與圖4A和圖4B相同的處理標(biāo)注與圖4A和圖4B相同的參照標(biāo)號，從而省略說明。即，省略步驟S1I?步驟S117的處理的說明。在步驟S118中的文字識別后，控制部202判定是否能夠進(jìn)行文字識別(步驟S119)。
[0101]在步驟S119中判定為能夠進(jìn)行文字識別的情況下，控制部202通過元數(shù)據(jù)生成部2025將識別出的文字信息與圖像文件關(guān)聯(lián)起來(步驟S126)。另一方面，在步驟S119中判定為無法進(jìn)行文字識別的情況下，控制部202使記錄部208記錄通過步驟S117的拍攝動作而得到的包含文字的被攝體的圖像數(shù)據(jù)作為之前記錄的圖像文件的關(guān)聯(lián)圖像文件(步驟S131)。然后，控制部202使處理轉(zhuǎn)移到步驟S127。
[0102]在步驟SlOl中判定為攝像裝置200的工作模式不是拍攝模式的情況下，控制部202判定攝像裝置200的工作模式是否是再現(xiàn)模式(步驟S132)。在步驟S132中判定為攝像裝置200的工作模式是再現(xiàn)模式的情況下，控制部202進(jìn)行再現(xiàn)模式的處理。另一方面，在步驟S132中判定為攝像裝置200的工作模式不是再現(xiàn)模式的情況下，控制部202判定攝像裝置200的工作模式是否是通信模式(步驟S133)。在步驟S133中判定為攝像裝置200的工作模式不是通信模式的情況下，控制部202使處理轉(zhuǎn)移到步驟S114。
[0103]在步驟S133中判定為攝像裝置200的工作模式是通信模式的情況下，控制部202判定用戶是否進(jìn)行了通信指示(步驟S134)。例如，在通信模式中用戶選擇任意的圖像文件，由此進(jìn)行通信指示。在步驟S134中判定為未進(jìn)行通信指示的情況下，控制部202使處理轉(zhuǎn)移到步驟S114。
[0104]在步驟S134中判定為進(jìn)行了通信指示的情況下，控制部202的通信控制部2027通過通信部220向服務(wù)器300發(fā)送由用戶選擇出的圖像文件(步驟S135)。服務(wù)器300的控制部302在接收到圖像文件的情況下，使記錄部304記錄接收到的圖像文件。此時，控制部302在接收到的圖像文件是關(guān)聯(lián)圖像文件的情況下，通過文字識別部3021進(jìn)行文字識別。服務(wù)器300中搭載的文字辭典DB3041的信息量比攝像裝置200中搭載的文字辭典DB2082的信息量多，所以，基于服務(wù)器300的文字識別的成功率比基于攝像裝置200的文字識別的成功率高。
[0105]在圖像文件發(fā)送后，控制部202判定是否接收到基于服務(wù)器300的文字識別結(jié)果(步驟S136)。在步驟S136中判定為未接收到基于服務(wù)器300的文字識別結(jié)果的情況下，控制部202使處理轉(zhuǎn)移到步驟S114。在步驟S136中判定為接收到基于服務(wù)器300的文字識別結(jié)果的情況下，控制部202通過元數(shù)據(jù)生成部2025將識別出的文字信息與圖像文件關(guān)聯(lián)起來(步驟SI 37)。然后，控制部202使處理轉(zhuǎn)移到步驟SI 14。
[0106]在以上說明的變形例I中，在攝像裝置200中無法對關(guān)聯(lián)拍攝模式時拍攝的圖像進(jìn)行文字識別的情況下，使記錄部208記錄該圖像作為關(guān)聯(lián)圖像。通過向服務(wù)器300發(fā)送該關(guān)聯(lián)圖像，能夠利用基于服務(wù)器300的高精度的文字識別來提高文字識別的成功概率。
[0107][變形例2]
[0108]在所述實(shí)施方式和變形例I中，主要對攝像裝置200是數(shù)字照相機(jī)或智能手機(jī)這樣的便攜設(shè)備的例子進(jìn)行了說明。與此相對，例如，攝像裝置200也可以搭載在車輛中進(jìn)行使用。例如如圖13A所示，是變形例2的車輛C中搭載的攝像部204 ο攝像部204的攝影鏡頭2041具有規(guī)定焦點(diǎn)位置處的開口角α。攝像部204在行駛中進(jìn)行前方的攝像，根據(jù)攝像中得到的圖像中的垂直線和水平線來判定文字區(qū)域候選線和文字候選區(qū)域。
[0109]變形例2的車輛C具備具有圖像顯示功能的前方反光鏡。在該前方反光鏡的附近配置攝像裝置200，以使得能夠?qū)囕vC的前方進(jìn)行攝像。圖13Β是示出車輛C的前方反光鏡的部分的圖。如圖13Β所示，在能夠判定文字區(qū)域候選的情況下，與所述實(shí)施方式同樣，進(jìn)行關(guān)聯(lián)引導(dǎo)顯示206b。例如，在圖13Β的例子中，“PARK”的區(qū)域沿著連接2根垂直線的水平線排列文字，所以，通過所述本實(shí)施方式的手法判定為文字區(qū)域候選。
[0110]這里，在道路的情況下，在人行橫道等白線404的附近配置文字的可能性較高。但是，道路上的白線404在圖像上成為圖13B所示的傾斜方向的線。因此，白線404未判定為本實(shí)施方式中的垂直線或水平線。因此，在變形例2中，通過在圖像內(nèi)檢測道路的側(cè)線402，根據(jù)圖像內(nèi)的側(cè)線402的角度和車輛C的行進(jìn)方向來進(jìn)行圖像的角度校正。然后，在進(jìn)行了角度校正后的圖像內(nèi)檢測與側(cè)線402垂直的白線404，將該白線404作為文字區(qū)域候選線。由此，能夠?qū)D13A所示的道路上的包含“注意”的文字的區(qū)域作為文字區(qū)域候選。
[0111]以上根據(jù)實(shí)施方式對本發(fā)明進(jìn)行了說明，但是，本發(fā)明不限于上述實(shí)施方式，當(dāng)然能夠在本發(fā)明的主旨的范圍內(nèi)進(jìn)行各種變形和應(yīng)用。并且，在所述各動作流程圖的說明中，為了簡便而使用“首先”、“接著”等來說明動作，但是，并不意味著必須按照該順序來實(shí)施動作。這里，強(qiáng)調(diào)說明了作為圖像處理裝置的方面，但是，當(dāng)然可以作為圖像顯示裝置、檢查裝置、警告裝置進(jìn)行應(yīng)用，除了消費(fèi)者用途以外，當(dāng)然可以作為產(chǎn)業(yè)用設(shè)備、醫(yī)療用設(shè)備進(jìn)行應(yīng)用。在這樣的現(xiàn)場，進(jìn)行各種文字顯示，向用戶提示警告或注意的情況較多，這種文字大多水平、垂直書寫。利用機(jī)械等進(jìn)行顯示的情況也不例外，能夠應(yīng)用與這里說明的廣告牌或標(biāo)識同樣的想法。由此，當(dāng)然能夠應(yīng)用于根據(jù)圖像的數(shù)據(jù)來判定人不容易注意的信息而消除漏看的應(yīng)用的用途、提示再次拍攝、再次檢查、再次觀察的用途。只要能夠讀取文字，則在此進(jìn)行文字判定，能夠通過基于文本的檢索、地址的讀入等實(shí)現(xiàn)因特網(wǎng)等的協(xié)作，容易從第三方支援進(jìn)一步的觀察和拍攝的輔助，能夠?qū)崿F(xiàn)進(jìn)一步的鑒賞、觀察、檢查。
[0112]并且，上述實(shí)施方式的各處理可以作為能夠由控制部202執(zhí)行的程序進(jìn)行存儲。除此之外，可以存儲在存儲卡(ROM卡、RAM卡等)、磁盤(硬盤等)、光盤(⑶-R0M、DVD等)、半導(dǎo)體存儲器等外部存儲裝置的存儲介質(zhì)中進(jìn)行發(fā)布。而且，控制部202讀入該外部存儲裝置的存儲介質(zhì)中存儲的程序，通過該讀入的程序?qū)幼鬟M(jìn)行控制，由此能夠執(zhí)行上述處理。
[0113]標(biāo)號說明
[0114]100:圖像處理裝置；102:圖像取得部；104:文字區(qū)域估計(jì)部；106:輸出部；200:攝像裝置；202:控制部；204:攝像部；206:顯示部；208:記錄部；210:操作部；212:觸摸面板；214:姿勢檢測部；216:位置檢測部；218:計(jì)時部；220:通信部；300:服務(wù)器；302:控制部；304:記錄部;306:通信部;400:終端設(shè)備；1041:垂直線檢測部；1042:水平線檢測部；1043:文字區(qū)域候選線判定部；1043a:顏色分布檢測部；1043b:顏色判定部；1044:陰影檢測部；1045:文字區(qū)域候選估計(jì)部;2022:攝像控制部；2023:圖像處理部；2024:文字識別部；2025:元數(shù)據(jù)生成部；2026:顯示控制部；2027:通信控制部；2041:攝影鏡頭；2042:攝像元件；2043:模擬/數(shù)字(A/D)轉(zhuǎn)換部;2081:連接目的地?cái)?shù)據(jù)庫(DB); 2082:文字辭典數(shù)據(jù)庫(DB);3021:文字識別部;3022:通信控制部;3041:文字辭典數(shù)據(jù)庫(DB)。
【主權(quán)項(xiàng)】
1.一種圖像處理裝置，其具有: 圖像取得部，其取得圖像； 文字區(qū)域估計(jì)部，其判定所取得的所述圖像內(nèi)的表示排列文字的可能性較高的方向的線作為文字區(qū)域候選線，估計(jì)沿著所述文字區(qū)域候選線排列文字的可能性較高的區(qū)域作為文字區(qū)域候選;以及 輸出部，其輸出由所述文字區(qū)域估計(jì)部估計(jì)出的文字區(qū)域候選的信息， 所述文字區(qū)域估計(jì)部具有: 垂直線檢測部，其檢測所述圖像內(nèi)的多個垂直線； 水平線檢測部，其檢測所述圖像內(nèi)的多個水平線； 顏色分布檢測部，其檢測所檢測到的所述多個垂直線之間的顏色分布或所檢測到的所述多個水平線之間的顏色分布；以及 文字區(qū)域候選線判定部，其根據(jù)所檢測到的所述顏色分布來判定所述文字區(qū)域候選線。2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述文字區(qū)域候選線判定部具有顏色分布判定部，該顏色分布判定部判定所檢測到的所述多個垂直線之間的顏色分布是否是大致相等的顏色分布，或所檢測到的所述多個水平線之間的顏色分布是否是大致相等的顏色分布， 在由所述顏色分布判定部判定為所檢測到的所述多個垂直線之間的顏色分布是大致相等的顏色分布的情況下，將連接所述多個垂直線的端部的線判定為所述文字區(qū)域候選線，在所檢測到的所述多個水平線之間的顏色分布是大致相等的顏色分布的情況下，將連接所述多個水平線的端部的線判定為所述文字區(qū)域候選線。3.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其中， 所述文字區(qū)域估計(jì)部具有: 陰影檢測部，其檢測沿著所述文字區(qū)域候選線的方向的陰影分布；以及文字區(qū)域候選估計(jì)部，其根據(jù)由所述陰影檢測部檢測到的陰影分布來估計(jì)所述文字區(qū)域候選。4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中， 在由所述陰影檢測部檢測到的陰影分布不包含規(guī)則形狀的單一灰度部，并且，在沿著所述文字區(qū)域候選線的方向上檢測到包含表示文字的圖案的區(qū)域、或檢測到所述單一灰度部以外包含由線構(gòu)成的圖案的區(qū)域的情況下，所述文字區(qū)域候選估計(jì)部將包含所述表示文字的圖案的區(qū)域或所述單一灰度部以外包含由線構(gòu)成的圖案的區(qū)域估計(jì)為所述文字區(qū)域候選。5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述圖像處理裝置還具有控制部，該控制部根據(jù)所述文字區(qū)域候選的信息，對所述圖像中的所述文字區(qū)域候選的存在進(jìn)行強(qiáng)調(diào)。6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述圖像處理裝置具有用于使用戶拍攝所述文字區(qū)域候選的圖像的關(guān)聯(lián)拍攝模式。7.—種圖像處理方法，其具有以下步驟: 判定所取得的圖像內(nèi)的表示排列文字的可能性較高的方向的線作為文字區(qū)域候選線； 估計(jì)沿著所述文字區(qū)域候選線排列文字的可能性較高的區(qū)域作為文字區(qū)域候選；以及 輸出所估計(jì)出的所述文字區(qū)域候選的信息， 所述文字區(qū)域候選線的判定具有以下步驟: 檢測所述圖像內(nèi)的多個垂直線； 檢測所述圖像內(nèi)的多個水平線； 檢測所檢測到的所述多個垂直線之間的顏色分布或所檢測到的所述多個水平線之間的顏色分布；以及 根據(jù)所檢測到的所述顏色分布來判定所述文字區(qū)域候選線。8.一種圖像處理程序，其用于使計(jì)算機(jī)執(zhí)行以下步驟: 判定所取得的圖像內(nèi)的表示排列文字的可能性較高的方向的線作為文字區(qū)域候選線； 估計(jì)沿著所述文字區(qū)域候選線排列文字的可能性較高的區(qū)域作為文字區(qū)域候選；以及 輸出所估計(jì)出的所述文字區(qū)域候選的信息， 其中， 所述文字區(qū)域候選線的判定具有以下步驟: 檢測所述圖像內(nèi)的多個垂直線； 檢測所述圖像內(nèi)的多個水平線； 檢測所檢測到的所述多個垂直線之間的顏色分布或所檢測到的所述多個水平線之間的顏色分布；以及 根據(jù)所檢測到的所述顏色分布來判定所述文字區(qū)域候選線。
【文檔編號】G06T7/40GK106063247SQ201480076455
【公開日】2016年10月26日
【申請日】2014年7月1日
【發(fā)明人】野中修, 山宮國雄, 兒玉裕, 阿部慎也, 土持裕, 土持裕一
【申請人】奧林巴斯株式會社