在多透鏡相機中的成像器上移動圖像的制作方法
【專利說明】
【背景技術】
[0001]在成像的領域內，許多方案牽涉以一組兩個或更多個透鏡為特征的相機，每個透鏡被配置成將圖像聚焦在成像器上，并且其中由成像器所捕獲的圖像被組合來形成合成圖像。作為第一例子，從平行視角拍攝的多個圖像可以被組合來形成具有比任何一個圖像更多的視覺維度的全景圖像。作為第二例子，在不同方向上從單個視角捕獲的多個圖像被組合來生成環境的球面圖像。在這些方案中，魚眼透鏡可以提供寬視場，其減少完成所組合的球面全景圖像所需的圖像的數目。成像器可以包括捕獲圖像的相應部分的光敏元件的陣列，諸如捕獲像素陣列的數碼相機的電荷耦合器件(CCD)成像器。所捕獲的圖像的質量可以隨著用來捕獲圖像的光敏元件的密度而成比例地變化；例如，與將圖像聚焦在更低密度CCD上相比，聚焦在更高密度CCD上的同一圖像可以帶來更大量的像素的捕獲。更大的像素的計數可以使得能實現更高分辨率的圖像，其比更低分辨率的圖像呈現更多的細節和/或準確度。
【發明內容】
[0002]本
【發明內容】
被提供來以簡化的形式引入在下面的【具體實施方式】中被進一步描述的構思的選擇。本
【發明內容】
不旨在標識所要求保護的主題的關鍵因素或必要特征，它也不旨在被用來限制所要求保護的主題的范圍。
[0003]當使用透鏡和成像器來捕獲圖像時，可以觀察到，透鏡典型地生成圓形圖像，但是成像器提供光敏元件的矩形陣列。典型地，魚眼透鏡的聚焦被選擇來產生以成像器為中心并且具有等于成像器的高度和/或寬度的直徑的圓形圖像，使得圓形圖像被擴展以便在不擴展越過成像器的任何邊緣的情況下與成像器的邊緣會合，從而在不丟失圓形圖像的任何部分的同時，使成像器的覆蓋范圍最大化并且實現高分辨率。然而，可以了解，成像器的數個部分在透鏡(包括在矩形成像器的每個拐角中提供的光敏元件)的這個聚焦期間未利用。更高分辨率可能可通過進一步擴展聚焦在成像器上的圖像實現，但是以圖像的一些外圍部分離開成像器的邊緣為代價，從而帶來裁切的圖像。用于調整透鏡以便將圖像聚焦在成像器上的這些替代選項可以在使圖像的所捕獲的部分的分辨率最大化與使圖像的外圍裁切最小化之間提供權衡。
[0004]然而，可以了解，這個權衡可以在被配置成通過組合來自多個透鏡的圖像來產生合成圖像的相機中被不同地評估。例如，在以被定向在相反方向上并且配置成捕獲球面圖像的兩個魚眼透鏡為特征的相機中，可以了解，圖像的一部分典型地是模糊的(例如，通過用戶的手或安裝裝置)并且對于用戶而言價值不大。雖然裁切圖像的任何其他部分可能是不可接受的，但是裁掉圖像的這個特定部分可能是可接受的，尤其作為對圖像的剩余部分的增強分辨率的交換。因此，相應的透鏡可以被配置成在成像器上擴展圖像以便創建至少兩個裁切部分，并且然后從成像器的中心移動圖像以便擴展一個裁切部分，同時減小或者消除其他裁切部分。這些偏離中心的位移技術可以通過圖像來使得能實現成像器的更大覆蓋范圍，從而提供更高的分辨率，同時創建圖像的所裁切的部分，其呈現了用戶在捕獲方面不感興趣的盲區。
[0005]為了實現前面的和相關目的，以下描述和附圖闡述特定說明性方面和實施方案。這些指示可采用一個或多個方面的各種方式中的僅僅幾個。本公開內容的其他方面、優點以及新穎特征當結合附圖考慮時從以下【具體實施方式】將變得顯而易見。
【附圖說明】
[0006]圖1是以根據由多個透鏡捕獲的圖像而生成合成圖像為特征的第一示范性方案的圖示。
[0007]圖2是以根據由兩個透鏡捕獲并且投影到兩個成像器上的一組圖像而生成合成圖像為特征的第二示范性方案的圖示。
[0008]圖3是以根據由兩個透鏡捕獲并且投影到兩個成像器上的一組圖像而生成合成圖像為特征的第三示范性方案的圖示。
[0009]圖4是依照本文中所呈現的技術，以根據由兩個透鏡捕獲并且按位移投影到兩個成像器上的一組圖像來生成合成圖像為特征的示范性方案的圖示。
[0010]圖5是根據本文中所呈現的技術采用一組透鏡捕獲圖像的示范性方法的圖示。
[0011]圖6是以一組透鏡的相對位移為特征的示范性方案的圖示。
[0012]圖7圖示了其中可以實施本文中所闡述的規定中的一個或多個的示范性計算環境。
[0013]圖8呈現了其中本文中所呈現的技術可以被實施的示范性計算環境的圖示。
【具體實施方式】
[0014]現在參考附圖描述所要求保護的主題，其中同樣的附圖標記被用來自始至終指代同樣的元件。在以下描述中，出于解釋的目的，許多特定細節被闡述以便提供對所要求保護的主題的透徹理解。然而，可能顯然的是，所要求保護的主題可以在沒有這些特定細節的情況下被實踐。在其他實例中，結構和設備以框圖形式加以示出，以便便于描述所要求保護的主題。
[0015]在成像的領域內，許多方案牽涉包括多個透鏡并且配置成生成合成圖像的相機，所述合成圖像對由所述透鏡提供的圖像進行聚合。作為第一例子，相機可以包括全景相機，其同時捕獲表示環境的數個角度的圖像并且然后將圖像聚合成全景。雖然某種圖像操縱可能必須被執行來減少圖像的球面像差，但是然而，相機可以產生比較平的全景圖像。作為第二例子，相機可以被配置成生成球面圖像，其包括由在相反方向上指向的兩個或更多個透鏡捕獲并且聚合成表示環繞在圖像被捕獲時的視點周圍的視圖的圖像的圖像。
[0016]在這些和其他方案中，相機可以包括一個或多個成像器，其接收由至少一個透鏡聚焦在成像器上的圖像，經由光敏元件對(一個或多個)所聚焦的圖像進行采樣，并且生成可以被聚合成合成圖像的一個或多個圖像作為輸出。例如，數碼相機常常包括電荷耦合器件(CCD)，其中圖像被聚焦在光敏元件的二維平面陣列上，所述光敏元件的二維平面陣列生成包括該圖像的像素的二維陣列。由一個或多個CCD所捕獲的圖像可以被組合(例如，使用圖像配準技術來對準圖像)以便生成合成圖像。
[0017]圖1呈現了以由用戶104操作來捕獲場景102 (諸如在用戶104周圍的環境)的相機106為特征的示范性方案100的圖示。在這個示范性方案100中，相機106包括兩個透鏡108，一個面朝前面而一個面朝后面，并且每個透鏡被配置成捕獲場景102的大約180度視圖。例如，第一透鏡108可以捕獲表示在用戶104前面的查看范圍(viewing sphere)的第一圖像110，并且第二透鏡108可以捕獲表示面朝用戶104后面的查看范圍的第二圖像110。每個圖像110可以通過透鏡108被聚焦在包括光敏元件114的陣列的成像器112上，每個光敏元件114被配置成對圖像110的一小部分進行采樣并且輸出作為像素的光讀數。由成像器112所記錄的采樣然后可以被組合來產生以在用戶104周圍的查看范圍(常常包括握住相機106的用戶104)為特征的合成圖像116。(雖然為了簡單起見，合成圖像116在本文中被圖示為平整圖像，但是可以了解，合成圖像116還可以是圓柱形的和/或球面的，并且可以被呈現在使得用戶能夠在合成圖像116內察看的用戶界面中。)。
[0018]在這些和其他方案中，合成圖像116的質量常常顯著地與由成像器112所生成的采樣的質量有關。特別地，成像器112的光敏元件的密度可能直接地影響聚焦在其上的圖像110的采樣；例如，特定大小的圖像110可以通過具有較高密度的光敏元件114的成像器112在較高細節水平下被采樣。較高密度可以提供增大的分辨率(例如，在合成圖像116內越來越小的元件和細節的可見性)、顏色準確度(例如，生成合成圖像116的相應像素作為數個樣本的平均，而不是一個樣本，從而減少采樣誤差并且提高顏色準確度)和/或靈敏度(例如，使得更多的光敏元件114能夠在簡短的時間段期間捕獲更多的光量子使得能夠在更低光環境中捕獲更多的細節，和/或減小快速運動的對象的模糊的更快快門速度)。
[0019]至少由于這些原因，可能合期望的是，在捕獲圖像110的同時使圖像112的使用最大化。第一種這樣的技術牽涉按比例擴大成像器112的大小并且物理上延伸透鏡108的焦距，使得圖像110可以被投射在更大面積成像器112上并且因此提供更多的采樣。然而，這個技術的適用性受到對以下的利害關系的限制，即:提供更小尺寸(阻礙焦距的物理延伸)和更低價格(阻礙制造更昂貴的更大CCD)的高質量相機。第二種這樣的技術牽涉生成具有更高密度的光敏元件114的成像器112。雖然成像器112已經通過持續研究和開發而穩定地變得更密集，但是可能合期望的是，考慮到本領域技術的當前狀態來使任何特定成像器112的利用最大化。
[0020]圖2呈現了以利用第一組透鏡108來將圖像110聚焦在成像器112上的相機106為特征的示范性方案200的圖示。在這個示范性方案200中，由魚眼透鏡108所產生的圖像110是圓形的，并且成像器112是矩形的。透鏡108因此被定向成采用被選擇為使得圖像110的直徑等于矩形成像器112的較短側(例如，成像器112的高)的焦距來將圖像110聚焦在成像器112上。也就是說，圖像110以成像器112為中心，并且被擴展(通過改變焦距)直到圓形圖像110的邊緣與成像器112的邊緣會合為止。透鏡108的這個定向因此采用成像器112的最大覆蓋范圍捕獲圖像110的全部，從而使得用來對圖像110進行采樣的光敏元件114的數目最大化。然而，可以了解，矩形成像器112的數個區域保持未用，其包括矩形成像器112的橫向邊緣以及成像器在圓弧與成像器112的邊緣之間的對角拐角。