圖像聚焦的制作方法
【專利摘要】提供了一種裝置，其中可以經由用戶輸入(33，34)來選擇焦平面。突出所選擇的焦平面以使得用戶能夠容易地選擇理想的焦平面。
【專利說明】圖像聚焦
【技術領域】
[0001]本發明涉及聚焦，即在可以由光場相機捕獲的圖像中設置焦平面，并且涉及對應的裝置。
【背景技術】
[0002]在傳統相機中，要被捕獲的場景的圖像經由鏡頭在圖像傳感器(例如CCD傳感器、CMOS傳感器)上再現。鏡頭可以是所謂的定焦鏡頭，其中焦平面離開鏡頭固定距離，或者可以是變焦鏡頭，其中焦平面的位置可變。在焦平面內或者鄰近焦平面的對象在由圖像傳感器捕獲的圖像中顯得清晰，而在焦平面以外或者遠離焦平面的對象顯得或多或少的模糊。依賴于所使用的光圈，在所捕獲的圖像中對象顯得清晰的區域可以在焦平面的兩側延伸到一定距離，這也被稱為景深(cbpth of field,D0F) ?在這種傳統相機中，焦平面的位置以及所記錄圖像的清晰度可以僅受以非常有限的方式的后處理影響。應該注意的是，依賴于所使用的鏡頭，焦平面不一定是實際的平面，也可以是彎曲的。
[0003]在近些年來已經開發和研究的新型相機是所謂的光場相機，其是所謂的計算相機(computat1nal camera)的一種類型。在光場相機中，圖像不是直接在圖像傳感器上再現而使得除了像去馬賽克(demosaicing)和銳化(sharpening)這樣的操作以外圖像傳感器的輸出基本上直接顯示所捕獲的場景，而是在光場相機中將來自場景的光線以非常規的方式引導到圖像傳感器。例如，源自要被捕獲的場景中的單個對象的光線可以被引導到圖像傳感器上彼此遠離的不同位置，其對應于從不同方向觀看該對象。為此，例如可以在鏡頭前面布置錐形反射鏡。在其他實現方式中，例如通過改變幾何學的或輻射計式的特性，用于將光從要被記錄的場景引導到圖像傳感器的光學器件(optic)可以是可變的。這種可變的光學器件可以例如包括具有可控取向的微鏡片的二維陣列。
[0004]不同于傳統相機，在光場相機中需要對圖像傳感器所捕獲的數據進行更復雜的處理，來提供最終圖像。另一方面，在很多情況下，在設置像最終圖像的焦平面這樣的參數時有更聞的靈活性。
[0005]然而，特別是在像典型的相機顯示器或包含相機的其他裝置的顯示器(如包含相機的移動電話的顯示器)這樣的小顯示器上，用戶可能難以正確地設置最終圖像理想的焦平面。在其他情況中會出現與設置焦平面類似的問題，例如，當提供傳統圖像和深度信息時。因此，存在輔助用戶在通過計算相機所捕獲的圖像中設置焦平面的需求。
【發明內容】
[0006]提供了如權利要求1中定義的方法以及如權利要求9中定義的裝置。從屬權利要求限定了進一步的實施方式。
[0007]根據一個實施方式，提供了一種方法，該方法包括以下步驟:
[0008]提供至少一幅圖像，
[0009]針對所述至少一幅圖像提供深度信息，
[0010]顯示所述圖像，
[0011]選擇焦平面，以及
[0012]在所顯示的圖像中突出選擇的焦平面。
[0013]提供所述至少一幅圖像和深度信息的步驟可以包括采用計算相機(例如光場相機)捕獲圖像。
[0014]根據一種實施方式，突出所述選擇的焦平面的步驟可以包括在所述顯示的圖像中對所述選擇的焦平面進行上色。
[0015]根據一種實施方式，可以基于用戶輸入選擇所述焦平面。
[0016]根據一種實施方式，所述方法還可以包括提供滑塊，以使得用戶能夠選擇所述焦平面。
[0017]根據一種實施方式，所述方法還可以包括基于所述至少一幅圖像來生成具有所選擇的焦平面的最終圖像。
[0018]根據一種實施方式，所述方法還可以包括針對所述最終圖像選擇景深。
[0019]根據一種實施方式，所述方法還可以包括基于所述景深的選擇來生成所述最終圖像。
[0020]根據另一個方面，提供一種裝置，所述裝置包括:
[0021]圖像傳感器，其被構造為捕獲圖像；
[0022]用戶輸入端，其使得用戶能夠針對圖像選擇焦平面，以及
[0023]顯示器，其被構造為顯示其中選擇的焦平面被突出的圖像。
[0024]所述裝置還可以包括用于捕獲圖像的光場相機。
[0025]根據一種實施方式，所述顯示器可以包括觸摸屏，并且其中所述用戶界面包括在所述觸摸屏上的滑塊。
[0026]所述裝置可以被構造為執行以上描述的方法中的任何一種方法。
【專利附圖】
【附圖說明】
[0027]圖1例示了根據實施方式的相機裝置。
[0028]圖2是例示根據實施方式的方法的流程圖。
[0029]圖3A至圖3C是用于例示在圖2的實施方式中執行的一些操作的示例圖像。
【具體實施方式】
[0030]以下，將詳細描述本發明的各種實施方式。需要注意的是，不同實施方式的特征可以彼此結合，除非另外指出。另一方面，描述具有多個特征的實施方式不應被解釋為表明所有那些特征對于實踐本發明都是必須的，因為其他實施方式可以包括更少的特征和/或可替換的特征。通常，本文描述的實施方式不應被解釋為限制本申請的范圍。
[0031]在圖1中示出了根據實施方式的相機裝置10。相機裝置10可以是專用相機，但是也可以是包含相機的任何其他裝置，例如包含相機的移動電話或智能電話，包含相機的個人數字助理(PDA)或者包含相機的像筆記本電腦或平板電腦這樣的計算機。在圖1中，僅示出了根據實施方式與相機操作相關的那些部件。其他部件(例如在相機裝置10是移動電話的情況下用來提供移動電話功能的部件)也可以按照任何傳統方式被呈現并被實施。
[0032]相機裝置10被構造為光場相機裝置，即一種計算相機。為此,相機裝置10包括光學器件12，該光學器件用于將來自要被捕獲的場景(在該示例中為人11、桌子110和房屋111)的像光線17這樣的光線引導到傳感器13。光學器件12不會直接將圖像再現在傳感器上，而是如開始部分中所解釋的，以一種“非常規”的方式將來自要被拍攝的場景的光線引導到傳感器13。例如，光線17可以被引導到傳感器13，作為光線18。
[0033]為此，除了一個或多個鏡頭以外，光學器件12還可以包括像錐形反射鏡或排列有可控鏡的微反射鏡這樣的其他元件。在光學器件12中也可以包括其他類型的光調制器或反射鏡。
[0034]傳感器13可以是像CMOS傳感器或CXD傳感器這樣的任何傳統圖像傳感器。為了記錄彩色圖像，傳感器13可以具有在傳感器前面的濾色器，例如，利用在數碼相機中常規使用的所謂的拜耳模式(Bayer pattern)的濾色器。在其他實施方式中，傳感器13可以包括用于記錄不同顏色的不同層。在另外一些實施方式中，傳感器13可以被構造為記錄單色(monochrome)圖像。
[0035]將傳感器13的輸出提供給用于處理來自傳感器的信號的處理單元14，以生成所記錄場景的圖像，然后可以在顯示器15上顯示該場景，該顯示器15例如可以是相機裝置10的IXD或LED屏。此外，相機裝置10包括輸入端16，以允許用戶控制相機裝置10。輸入裝置16可以例如包括按鈕、控制桿、小鍵盤或者被構造為解釋用戶手勢的裝置。在一些實施方式中，顯示器15可以是觸摸屏，并且在這種情況下輸入裝置16還可以包括顯示器15，以使得能經由作為顯示器15而被提供的觸摸屏上的手勢實現輸入。
[0036]如以下將要解釋的，基于從輸入裝置16接收到的輸入，處理單元14可以突出圖像中的焦平面。這種突出便于選擇理想的焦平面。在選擇了理想的焦平面之后，在一些實施方式中，此外可以選擇理想的景深，然后可以基于所選擇的焦平面和所選擇的景深來生成圖像。需要注意的是焦平面的選擇不應被解釋為表示僅可以選擇單個焦平面，因為在一些實施方式中還可以選擇多于一個的焦平面。
[0037]作為一個示例，圖1的相機裝置10記錄了包含人11、桌子110以及房屋(在背景中)111的場景。各項沒有按比例繪制，而是僅僅旨在作為例示。例如，如果焦平面被設置為平面19，則人11顯示為聚焦，如果焦平面被設置在平面18上，則桌子110顯示為聚焦，并且如果焦平面被設置在平面112上，則房屋顯示為聚焦。如以下將更詳細解釋的，例如通過使用由輸入裝置16所提供的在觸摸屏或另外的輸入元件上的滑塊，在記錄圖像之后用戶可以瀏覽可能的焦平面，并且突出如以上所指示的某個選擇的焦平面，以便于最終的選擇。
[0038]需要注意的是，依賴于所使用的光場相機，實際可選擇的不同焦平面的數量會不同。在一些情況下，在更近距離處可能的、即可選擇的焦平面可以比遠離相應的相機裝置的可能的焦平面更密集地間隔排列。
[0039]將參照圖2和圖3描述對應方法的實施方式。圖2示出了根據實施方式的方法的流程圖。圖2的方法可以在例如圖1的相機裝置中實施，也可以獨立地使用，特別是與其他光場相機裝置連接而獨立地使用。圖3A至圖3C，統稱為圖3，其示出了示例的場景和圖像，以例示在圖2的實施方式中執行的一些操作。應該注意的是圖3的示例圖像僅用于例示并且絕不應被解釋為將本發明限制為該圖中所示出的場景或圖像的種類，因為本發明的原理可以被應用于由光場相機捕獲的幾乎任何場景或圖像。
[0040]在圖2的20處，采用計算相機(例如光場相機，例如圖1的相機裝置10或任何其他光場相機裝置)捕獲圖像。在21處由用戶使用像輸入裝置16這樣的對應的輸入裝置來選擇焦平面，該輸入裝置16也可以在觸摸屏上實施。在22處，例如通過對所選擇的焦平面給予具體的顏色，在顯示器上突出所選擇的焦平面。需要注意的是在這方面的焦平面并不一定是數學意義上的平面，而是可以具有垂直于該平面的一定的延伸，即可以突出在如此延伸的焦平面內的圖像的所有元素。在23處，檢查所選擇的焦平面是否可以。如果不可以，該方法返回到21來選擇不同的焦平面，其后在22處進行突出，直到在23處所選擇的焦平面被用戶認可。
[0041]作為這樣的示例，圖3A和圖3B描繪了與圖1的場景相對應的場景(具有人31、桌子32和建筑物30)的圖像。在該示例中，在該場景中與圖像建筑物30對應的是背景，桌子32與相機最近并且人31更有點在中間。
[0042]在顯示器上，與圖像一起示出了具有滑塊34的滑塊標尺33。通過用戶輸入，例如通過在觸摸屏上觸摸并移動滑塊34或者例如通過操作所提供的控制桿或按鍵，滑塊34可以沿著滑塊標尺33移動。由花35所標記的滑塊刻度33的左端對應于特寫(或甚至近拍)距離。由山37所標記的右端基本上對應于無限遠的焦距。人36針對從人拍攝的典型圖像標記焦距，例如在2米到5米范圍內的距離。
[0043]在圖3A的示例中，滑塊34被設置為與距人31的距離相對應的中間范圍。換句話說，焦平面被設置為對應于人31的位置的平面，其在圖1的示例中會例如對應于針對人11的平面19。因此，采用該焦平面設置，在圖像中突出人31，使得用戶即使在小的顯示器上也能立即識別出圖像的哪個部分會在最終圖像中顯示為聚焦。盡管在圖3A中采用粗線條來標記突出，在一些實施方式中也通過特定的上色(優選地以具有像霓虹綠、明黃等一些信號特性的顏色)來進行突出，使得可以立即識別出場景的被聚焦的元素。
[0044]給出另一示例，圖3B中的滑塊34被設置為基本上無限遠的位置。這里，焦平面對應于建筑物30的距離(例如像圖1的針對建筑物111的焦平面112)，使得在這種情況下突出建筑物30。需要注意的是如果多個對象位于相應的距離(例如多個建筑物在背景中，人和像狗這樣的另一個對象在中間地帶等)，可以突出對應于所選擇的焦距或焦平面的所有對象。
[0045]一旦用戶認可了所選擇的焦平面(圖2中23處的是)，在24處可選擇地額外可選的景深，即在垂直于焦平面方向的聚焦區域的“延伸”。例如，對于人像攝影通常理想的是聚焦于被描繪的人的臉，而圖像的其他區域未聚焦并且因此模糊，而例如在風景攝影中理想的可能是更延伸的景深。所選擇的景深可以直接顯示在顯示器上，使得用戶立即能夠估計她/他是否對所選擇的景深滿意。例如，在圖3C中，選擇景深使得僅聚焦人31 (例如在已選擇了如圖3A所示出的焦平面之后)，但是桌子32和建筑物30沒有被聚焦(在圖3C中以虛線表示)。
[0046]需要注意的是，在一些實施方式中，突出部分的寬度(即為了突出的目的在垂直于焦平面方向上的焦平面的延伸)可以是固定值或者用戶可配置的值。在其他實施方式中，該值可以隨著距相機的距離的增加而增加，從而類似于相機的傳統鏡頭的行為，其中景深(即聚焦區域)的延伸隨著距離增加而增加。
[0047]在其他實施方式中，突出可以例如包括與所選擇的焦平面相關的圖像的元素的閃爍，通過標記在屏幕上像虛線這樣的元素或者標記適用于從其他平面可辨別地標記所選擇的焦平面的其他任何突出來進行標記。
[0048]需要注意的是，在一些實施方式中，可以省略景深的選擇。在另一些實施方式中，在選擇焦平面之前可以額外地或另選地選擇景深。在另一些實施方式中，可以按照以上描述的方式可以選擇多于一個的焦平面。
[0049]在另一些實施方式中，可以使用來自除了光場相機或其他計算相機之外的其他源的圖像。例如，參照圖2中21-25所描述的動作可以采用任何圖像或任何多幅圖像來執行，對于這些圖像提供了像深度地圖(即描述了圖像的各個部分距特定視點的距離的信息)這樣的深度信息。這些動作然后可以在例如圖中示出的處理單元14中實施，并且圖像和深度信息可以以任何期望的方式(例如在數據載體上或經由網絡)傳遞。
[0050]這些圖像可以例如包括采用傳統相機記錄的圖像，例如采用導致大景深的光圈捕獲的圖像。可以使用深度掃描裝置(例如紅外激光掃描器)來額外地提供深度信息。在一些實施方式中，然后在景深內可以選擇焦平面，并且在焦平面以外的圖像部分通過圖像處理可以被人為地模糊。在其他實施方式中，可以提供具有不同焦平面的多幅圖像，于是以上述方式選擇焦平面可以最終導致選擇這些圖像中的一幅。在這種情況下的深度信息可以由不同圖像的不同焦距來表示。
[0051]因此，上述實施方式不應被解釋為限制，而僅作為例示性示例。
【權利要求】
1.一種方法，所述方法包括以下步驟: 提供至少一幅圖像， 針對所述至少一幅圖像提供深度信息， 顯示所述至少一幅圖像中的圖像， 選擇焦平面，以及 在所顯示的圖像中突出選擇的焦平面。
2.根據權利要求1所述的方法，其中，突出所述選擇的焦平面的步驟包括在所述顯示的圖像中對所述選擇的焦平面進行上色。
3.根據權利要求1或2所述的方法，其中，基于所述用戶輸入選擇所述焦平面。
4.根據權利要求3所述的方法，所述方法還包括提供滑塊，以使得用戶能夠選擇所述焦平面。
5.根據權利要求1-4中任一項權利要求所述的方法，所述方法還包括基于所述至少一幅圖像來生成具有所選擇的焦平面的最終圖像。
6.根據權利要求5所述的方法，所述方法還包括針對所述最終圖像選擇景深。
7.根據權利要求6所述的方法，所述方法還包括基于所述景深的選擇來生成所述最終圖像。
8.根據權利要求1-7中任意一項權利要求所述的方法，其中，提供至少一幅圖像以及針對所述至少一幅圖像提供深度信息的步驟包括采用光場相機捕獲圖像。
9.一種裝置，所述裝置包括: 用戶輸入端，其使得用戶能夠針對圖像選擇焦平面，以及 顯示器，其被構造為顯示其中選擇的焦平面被突出的圖像。
10.根據權利要求9所述的裝置，其中，所述顯示器包括觸摸屏，并且其中，所述用戶界面包括在所述觸摸屏上的滑塊。
11.根據權利要求9或10所述的裝置，所述裝置還包括用于捕獲所述圖像的光場相機。
12.根據權利要求9-11中任意一項權利要求所述的裝置，其中，所述計算相機裝置被構造為執行根據權利要求1-8中任意一項所述的方法。
【文檔編號】G03B13/24GK104204938SQ201280071736
【公開日】2014年12月10日 申請日期:2012年4月19日 優先權日:2012年4月19日
【發明者】布·拉爾森, 馬茨·維爾納松 申請人:索尼移動通訊有限公司