圖像處理裝置、圖像拍攝裝置及圖像處理方法
【專利說明】
[000。 本申請是申請日為2014年3月5日、申請號為201410078684.7、發明名稱為"圖像處 理裝置、圖像拍攝裝置及圖像處理方法"的發明專利申請的分案申請。
技術領域
[0002] 本發明設及一種用于獲得關于被攝體的焦點控制的信息的圖像處理裝置、圖像拍 攝裝置及圖像處理方法。
【背景技術】
[0003] 作為諸如數字照相機等的圖像拍攝裝置，已知有如下的裝置，該裝置通過由用戶 W觸摸板操作等指定拍攝圖像中包括的被攝體，來進行該被攝體的聚焦調整(例如，日本特 開2011-39457號公報）。
[0004] 此外，還提出了如下的技術，該技術能夠通過顯示如下的地圖圖像，來使用戶輕松 地掌握要拍攝圖像的對焦對象(被攝體），其中，所述地圖圖像用于表示代表要拍攝圖像的 對象在深度方向上的位置的深度位置、W及代表焦點的位置的焦點位置(例如，日本特開 2010-177741 號公報）。
[000引近年來，已知還有光場攝影技術，該技術獲取光線的朝向（orientation)及強度的 信息(光場數據），并且通過后面的圖像處理來進行焦點位置的調整(再聚焦）W及景深的調 整(例如，日本特表2008-515110號公報）。
[0006] 使用該技術存在如下的優點：因為能夠在圖像拍攝之后進行焦點調整，因此，能夠 通過圖像處理來彌補圖像拍攝時的焦點調整的失敗。此外，還存在如下的優點：能夠通過改 變圖像處理方法，由一個拍攝圖像來獲得在圖像中使任意被攝體對焦的多個圖像，因此，能 夠減少圖像拍攝的次數。
[0007] 在光場攝影中，由從多個視點拍攝的圖像的數據，來計算穿過空間中的多個位置 中的各位置的光線的方向及強度(光場）。然后，通過使用獲得的光場的信息，來計算在假設 光穿過虛擬光學系統并在虛擬傳感器上形成圖像的情況下的圖像。通過適當地設置運樣的 虛擬光學系統及虛擬傳感器，能夠實現先前描述的再聚焦。作為用于獲取光場的圖像拍攝 裝置，已知在主透鏡的后面布置有微透鏡陣列的全光照相機(plenoptic camera)(例如，日 本特開2009-124213號公報）、W及并排布置有小型照相機的照相機陣列。運兩者均能夠通 過一次圖像拍攝，來獲得從不同方向拍攝的來自多個視點的被攝體圖像的數據。換言之，可 W將光場攝影表述為：由來自多個視點的圖像的數據，來計算要在虛擬光學條件下由虛擬 傳感器獲取的圖像。在下文中，計算由虛擬傳感器獲取的圖像的處理被稱為"再聚焦處理"。 作為再聚焦處理，已知有如下的方法:獲取的來自多個視點的圖像的數據經歷到虛擬傳感 器上的射影變換，并且被相加和求平均(例如，W02008050904)。
[0008] 作為用于在改變焦點位置的同時、顯示已經歷再聚焦處理的圖像下稱為再聚 焦圖像)的方法，可W提及的例如有美國專利2008/0131019號公報中公開的方法。在美國專 利2008/0131019號公報中公開的方法中，在顯示再聚焦圖像的畫面上準備用來調整焦點位 置的用戶界面化I)，并且經由該UI來改變焦點位置。另外，在美國專利2008/0131019號公報 中，公開了如下的方法:顯示焦點位置被調整到如下的被攝體的再聚焦圖像，其中，用戶期 望將所述被攝體置于焦點位置，并通過顯示有再聚焦圖像的畫面而給出了指令。
[0009] 在拍攝圖像數據或光場數據的顯示中，要對焦的對象存在于與圖像拍攝位置相距 固定距離的平面上。然而，在通過指定特定被攝體來進行聚焦的情況下，用戶無法掌握除所 述被攝體之外的哪個被攝體被對焦。
[0010] 另外，通過在日本特開2010-177741號公報中公開的技術，能夠通過在深度方向上 按次序布置有如下標記的地圖圖像，來掌握哪個被攝體被對焦，其中，所述標記表示要拍攝 圖像的對象;然而，地圖圖像與拍攝圖像(實際圖像)完全不同，因此，難W直觀地掌握被攝 體。
[0011] 亦即，在上述專利文獻等中公開的傳統方法中，在攝影時或者在編輯圖像時，未清 楚地指定在哪個范圍內的被攝體上能夠進行再聚焦，因此存在如下的問題：用戶難W通過 自己預期的方式來進行圖像拍攝或圖像編輯。
【發明內容】
[0012] 根據本發明的圖像處理裝置具有:獲取單元，其被配置為獲取包括多個被攝體區 域的圖像W及與所述多個被攝體區域相對應的距離信息；W及生成單元，其被配置為生成 在所述圖像中對所述多個被攝體區域的位置進行了移位的移位圖像。
[0013] 作為另選方案，所述圖像處理裝置具有:獲取單元，其被配置為獲取包括多個被攝 體區域的圖像W及與所述多個被攝體區域相對應的距離信息；第一生成單元，其被配置為 基于所述距離信息，來生成在所述圖像中對所述多個被攝體區域進行了再布置的再布置圖 像；W及第二生成單元，其被配置為生成包括所述再布置圖像的圖像，其中，在所述再布置 圖像中反映了關于用來改變包括所述多個被攝體區域的圖像的聚焦狀態的圖像組合處理 的聚焦狀態的信息。
[0014] 根據本發明，用戶能夠在攝影時或者在編輯圖像時，直觀地掌握被攝體的聚焦狀 態。
[0015] 通過W下參照附圖對示例性實施例的描述，本發明的其他特征將變得清楚。
【附圖說明】
[0016] 圖1是示出數字照相機的外觀的示例的圖；
[0017] 圖2是示出數字照相機的內部結構的框圖；
[0018] 圖3是示出圖3A至圖3C之間的關系的圖，并且圖3A至圖3C是示出在根據第一實施 例的數字照相機中進行的圖像處理的流程的流程圖；
[0019] 圖4是示出在數字照相機的顯示單元上顯示的二維圖像的示例的圖；
[0020] 圖5是示出從二維圖像中檢測出被攝體的狀態的圖；
[0021] 圖6是示出距離圖像的示例的圖；
[0022] 圖7是示出提取出被攝體區域的狀態的圖；
[0023] 圖8是示出用來確定水平方向與垂直方向的移位量之比的處理的流程的流程圖；
[0024] 圖9是示出對提取出被攝體區域的圖像進行移位圖像生成處理的結果的圖；
[0025] 圖10是示出對移位圖像中的各被攝體區域進行剪切處理（shear processing)的 結果的圖；
[0026] 圖11是示出在經歷了剪切處理的圖像上疊加地面網格圖案的結果的圖；
[0027] 圖12是示出在組合有地面網格圖案的圖像上、疊加聚焦距離的指標W及景深的指 標的結果的圖；
[0028] 圖13是示出處理光場數據的裝置的內部結構的示例的圖；
[0029] 圖14是示出在根據第二實施例的裝置中進行的圖像處理的流程的流程圖；
[0030] 圖15是示出根據第Ξ實施例的照相機陣列圖像拍攝裝置的內部結構的框圖；
[0031] 圖16是在圖像形成光學系統的圖像側布置了透鏡陣列的結構的示例；
[0032] 圖17是在圖像形成光學系統的圖像側布置了透鏡陣列的結構的示例；
[0033] 圖18是在圖像形成光學系統的圖像側布置了透鏡陣列的結構的示例；
[0034] 圖19是排列了多個圖像形成光學系統的結構(照相機陣列）的示例；
[0035] 圖20是示出透鏡陣列與圖像感測元件之間的關系的圖；
[0036] 圖21示意性地表示了第Ξ實施例中的表示再聚焦的系數〇±的表達式的關系；
[0037] 圖22是示出根據第Ξ實施例的圖像處理單元的內部結構的框圖；
[0038] 圖23是示出根據第Ξ實施例的圖像處理單元中的處理的流程的流程圖；
[0039] 圖24A是示出單視點圖像的示例的圖，并且圖24B是示出作為由單視點圖像推導出 的距離信息的距離圖的圖；
[0040] 圖25A及圖25B分別是示出從距離圖中提取被攝體區域的結果的示例的圖；
[0041] 圖26A至圖2抓分別是示出在從正上方俯視單視點圖像的場景的情況下的再布置 圖像(rearranged image)的示例的圖；
[0042] 圖27是示出圖16中所示的圖像拍攝單元的結構中的光學布置的圖；
[0043] 圖28A及圖28B分別是示出聚焦信息顯示圖像的示例的圖；
[0044] 圖29A至圖29C分別是示出聚焦信息顯示圖像的變化的圖；
[004引圖30A至圖30C分別是示出在連同單視點圖像和/或組合圖像一起顯示聚焦信息顯 示圖像的情況下的示例的圖；
[0046] 圖31A及圖31B分別是通過在圖17中所示的圖像拍攝單元的結構中主要放大透鏡 陣列及圖像感測元件的部分而獲得的圖；
[0047] 圖32示意性地表示了第四實施例中的表示再聚焦的系數〇±的表達式的關系；
[0048] 圖33是在從正面(物體側)觀察具有照相機陣列的結構的圖像拍攝單元的情況下 的圖；
[0049] 圖34是在從側面觀察根據第五實施例的圖像形成光學系統及圖像感測元件的情 況下的圖（截面）；W及
[0050] 圖35示意性地表示了第五實施例中的表示再聚焦的系數〇±的表達式的關系。
【具體實施方式】
[0051 ]在下文中，參照附圖來詳細說明本發明的實施例。
[0052] [第一實施例]
[0053] 在此，說明根據本發明的圖像處理裝置被應用于數字照相機的方面，作為第一實 施例。
[0054] 圖1是示出數字照相機的外觀的示例的圖。
[0055] 在顯示單元101中，例如，使用液晶顯示器，并且顯示圖像W及各種信息。顯示單元 101具有觸摸屏（touch screen)功能，并且能夠檢測對顯示單元101的觸摸。例如，觸摸板 (touch panel)被配置為使得光的透射率不影響顯示單元101的顯示，并且該觸摸板被附著 至顯示單元101的顯示面的上層。然后，使觸摸板上的輸入坐標和顯示單元101上的顯示坐 標彼此相關聯。由此，能夠配置如下的GUI,利用該GUI,能夠讓用戶看起來像直接操作在顯 示單元101上顯示的畫面一樣。
[0056] 快口按鈕102是用于給出進行圖像拍攝的指令的操作單元。
[0057] 模式轉盤103是用于切換各種模式的操作單元。
[0058] 連接器104是連接電纜111與數字照相機100之間的連接器。
[0059] 操作單元105包括用來接收來自用戶的各種操作的各種開關、按鈕等。
[0060] 控制器輪106是包括在操作單元105中的操作部件，并且能夠被旋轉操作。
[0061] 電源開關107在數字照相機100的電源的開啟(on)與關閉(off)之間進行切換。
[0062] 存儲介質108是用于存儲拍攝圖像數據及光場數據的、諸如存儲卡及硬盤等的信 息存儲介質。
[0063] 存儲介質插槽109是用于容納存儲介質108的插槽。能夠使在存儲介質插槽109中 容納的存儲介質108與數字照相機100通信。
[0064] 蓋子110是存儲介質插槽109的蓋子。
[006引圖2是示出數字照相機100的內部結構的框圖。
[0066] 圖像拍攝透鏡201包括聚焦透鏡。
[0067] 快口包括光圈功能，并且W與快口按鈕102聯鎖（interlock)的方式來控制曝光。
[0068] 圖像拍攝單元203包括將光學圖像轉換為電信號的CCDXM0S元件等。
[0069] A/D轉換器204將從圖像拍攝單元203輸出的模擬信號轉換為數字信號。
[0070] 擋板205通過覆蓋包括圖像拍攝透鏡201和快口202的圖像拍攝單元203,來防止圖 像拍攝系統的沾污和破損。
[0071] 圖像處理單元206對來自A/D轉換單元204的圖像數據或者來自存儲器控制單元 207的圖像數據，進行大小調整處理(例如預定的像素插值和縮小）W及顏色轉換處理。在圖 像處理單元206中，使用拍攝圖像數據來進行預定的算術運算處理，并且系統控制單元208 基于獲得的算術運算結果，來進行曝光控制及距離測量控制。由此，進行TTL(通過鏡頭)AF (自動聚焦)處理、AE(自動曝光)處理及EF(預閃光)處理。在圖像處理單元206中，使用拍攝 圖像數據進一步進行預定的算術運算處理，并且還基于獲得的算術運算結果來進行TTL AWB (自動白平衡)處理。來自A/D轉換器204的圖像數據經由圖像處理單元206及存儲器控制 單元207、或者經由存儲器控制單元207,而被直接寫入存儲器209。
[0072] 存儲器209存儲由圖像拍攝單元203獲得并被A/D轉換器204轉換為數字數據的圖 像數據、W及要在顯示單元101上顯示的圖像數據。存儲器209包括足W存儲預定數量的靜 止圖像、預定時間段的運動圖像W及聲音的存儲容量。通過利用顯示單元101依次顯示拍攝 圖像數據，能夠實現電子取景器功能（即顯圖像(throu曲-image)顯示）。此外，存儲器209還 充當用于顯示圖像的存儲器(視頻存儲器）dD/A轉換器210將用于顯示存儲在存儲器209中 的圖像的數據轉換為模擬信號，并且將運些信號供給至顯示單元101。W運種方式，經由D/A 轉換器210,在顯示單元101上顯示被寫入存儲器209的待顯示圖像數據。
[0073] 顯示單元101依照來自D/A轉換器210的模擬信號，在諸如LCD等的顯示器上產生顯 /J、- 〇
[0074] 非易失性存儲器211是電可擦除/可編程存儲器，并且，例如使用邸PROM等。非易失 性存儲器211存儲用于系統控制單元208的操作的常數、程序等。在此所指的程序是用來執 行后述的各種流程圖的程序。
[0075] 系統控制單元208控制整個數字照相機100。系統控制單元208通過執行前述的存 儲在非易失性存儲器211中的程序，來實現后述的各處理。作為系統存儲器212,使用了 RAM， 并且在該RAM上，展開用于系統控制單元208的操作的常數、變量、從非易失性存儲器211中 讀取的程序等。此外，系統控制單元208還通過控制存儲器209、D/A轉換器210、顯示單元101 等，來進行顯示控制。此外，系統控制單元208能夠檢測對觸摸板的W下操作。
[0076] ?用手指或筆對觸摸板進行觸摸的操作下稱為觸摸著屏(touch down))
[OOW] ?手指或筆與觸摸板相接觸的狀態（w下稱為觸摸中（touch on))
[0078] .在使手指或筆與觸摸板保持接觸的狀態下移動所述手指或筆的操作（W下稱為 移動(move))
[0079] .用兩個手指對觸摸板進行觸摸、并移動運兩個手指W便縮窄運兩個手指之間的 間隔的操作下稱為雙指捏合(pinch in))
[0080] .用兩個手指對觸摸板進行觸摸、并移動運兩個手指W便增大運兩個手指之間的 間隔的操作下稱為雙指分開(pinch out))
[0081] .放開與觸摸板接觸的手指或筆的操作（W下稱為觸摸釋放(touch up))
[0082] ?沒有什么與觸摸板相接觸的狀態（W下稱為無觸摸(touch off))
[0083] 向系統控制單元208,通知上述各種操作、W及手指或筆與觸摸板相接觸的位置的 坐標，并且系統控制單元208基于通知的信息，來確定在觸摸板上進行了哪種操作。對于移 動而言，還能夠基于位置坐標的改變，分別針對觸摸板上的垂直分量和水平分量，來確定在 觸摸板上移動的手指或筆的移動方向。假設在進行從觸摸板上的觸摸著屏到持續移動后的 觸摸釋放的運一系列操作的情況下，來描述劃按（S化oke)。用來快速描述劃按的操作稱為 輕滑(flick)。輕滑是如下的操作:將與觸摸板相接觸的手指快速移動一定距離，然后放開 該手指。換言之，輕滑是在觸摸板上快速滑動手指W便使該手指輕滑的操作。在檢測到W預 定速度或更高速度移動了預定距離或更多的情況下，能夠確定進行了輕滑。假設在檢測到 W低于預定速度的速度移動了預定距離或更多的情況下，確定進行了拖動。作為觸摸板，也 可W使用如下各種系統中的任何系統，諸如電阻膜系統、靜電電容系統、表面聲波系統、紅 外系統、電磁感應系統、圖像辨識系統及光學傳感器系統等。
[0084] 模式轉盤103將系統控制單元208的操作模式，切換到能夠記錄靜止圖像和運動圖 像的圖像拍攝模式、再現模式等中的任何模式。快口按鈕102包括未示意性地示出的第一快 口開關和第二快口開關。第一快口開關在快口按鈕102的操作當中、即通過所謂的半按下操 作(進行圖像拍攝準備的指令)而開啟，并且生成第一快口開關信號SW1。第一快口開關信號 SW1引發如下的操作，諸如AF(自動聚焦)處理、AE(自動曝光)