四透鏡球面相機取向的制作方法
【專利說明】
【背景技術】
[0001]在成像領域內，許多情景涉及特征在于具有兩個或多個魚眼透鏡的集合的相機，每個魚眼透鏡配置為將圖像聚焦在包括圍繞相機的視球(viewing sphere)的一部分的成像器上，并且由成像器捕捉圖像以便生成合成圖像。在許多這樣的示例中，透鏡在規則棱鏡體的中心和/或中點處取向；例如，對于立方體取向，每個魚眼透鏡可以被精巧地制作有捕捉大致90度的場景的曲率，并且可以提供四個這樣的透鏡，其被取向為從相機的每個正方形邊面向外部，可選地包括用于立方體的頂面和/或底面的第五和第六透鏡。在期望時，所有成像器可以被并發調用以對由透鏡之一分別聚焦的圖像進行采樣，并且圖像可以組合以形成圓柱面和/或球面圖像，其可以呈現給用戶用于觀看圍繞相機的場景。
【發明內容】
[0002]提供本
【發明內容】
來以簡化形式介紹多個概念的選擇，其在以下【具體實施方式】部分進一步描述。該
【發明內容】
并不旨在標識所要求保護的主題的關鍵特征或必要特征，也并不旨在用于限制所要求保護的主題的范圍。
[0003]球面相機內透鏡的取向可以改變，例如以便捕捉場景的不同部分。然而，由于由各個透鏡捕捉的圖像通常是圓形的，不同的透鏡取向會改變所捕捉的圖像的幾何形狀，并且會產生可能影響相機的操作的各種屬性。作為第一示例，兩個或多個圖像可以在各種程度上重疊覆蓋。相機可以努力配準圖像(例如，識別每個圖像中覆蓋重疊部分)，同時生成合成圖像以便減少接縫的出現。可以認識到，增加覆蓋重疊(特別是利用高分辨率圖像)會涉及更大的計算能力以配準圖像。替代地，透鏡可以被穩固地固定于高精度取向中，使得相機可以使用預設值，同時將圖像組合為合成圖像。然而，這樣的精度可能難以實現，并且可能被物理顛簸干擾。作為第二示例，兩個或多個圖像之間的場景中間隙會導致圖像中的盲點。并且，對于特定取向而言，具有較深曲率(其中每個魚眼透鏡捕捉場景的更大的弧)的第一魚眼透鏡組可能減小盲點，同時惡化覆蓋重疊，而具有較淺曲率的第二透鏡組可減小覆蓋重疊同時惡化盲點。可以考慮許多透鏡取向，同時評估減少盲點與在由魚眼透鏡生成的圖像中選擇所期望的覆蓋重疊之間的折衷。
[0004]本文呈現的是用于對四透鏡魚眼相機的透鏡進行取向以致可以既減少盲點又實現所期望的覆蓋重疊的技術。不是根據規則棱鏡體的面對透鏡進行取向，所呈現的技術涉及非對稱取向。沿著第一軸(例如，相機內的前至后的軸)，第一透鏡可以取向為面向前，而其他三個透鏡可以取向為向后，具有在任意兩個后向透鏡之間的大致120度的繞第一軸的旋轉角。并且，后向透鏡可以被取向以具有相對于第一軸的傾斜角(例如，可以根據傾斜角從第一軸向外旋轉每個面向后的透鏡)。特別地，可以考慮到選擇用于相機的特定魚眼透鏡來選擇傾斜角，并且以便實現所期望的覆蓋重疊和盲點的減少。以這一方式，根據本文呈現的技術，魚眼透鏡組的取向可以提供有利的場景覆蓋、可選地使得能夠實現接縫的減少、更高的圖像質量以及在相機內的透鏡的更加高效和容錯對準。
【附圖說明】
[0005]圖1是特征在于由各個魚眼透鏡捕捉的一組圖像合成的球面圖像的生成的示例性情景的圖示。
[0006]圖2是魚眼透鏡在球面相機內的兩個對準的圖示，其呈現變化程度的覆蓋重疊和盲點。
[0007]圖3是根據本文呈現的技術，為了生成球面相機的合成圖像的魚眼透鏡組中的透鏡的示例性取向的圖示。
[0008]圖4是根據本文呈現的技術取向的示例性球面透鏡組的密度圖。
[0009]圖5是特征在于包括根據本文呈現的技術取向的四個透鏡的魚眼透鏡組的示例性球面相機的圖示。
[0010]圖6是根據本文呈現的技術對相機的四透鏡魚眼透鏡組進行取向的示例性方法的圖示。
[0011]圖7是特征在于具有各種曲率的魚眼透鏡組的可變傾斜角的示例性情景的圖示。
[0012]圖8呈現其中可以實施本文呈現的技術的示例性計算環境的圖示。
【具體實施方式】
[0013]現參照附圖描述所要求保護的主題，其中自始至終相同附圖標記用于指代相同元件。在以下描述中，出于解釋目的，闡述各種具體細節以便提供對于所要求保護的主題的全面理解。然而，明顯的是，在不具有這些具體細節的情況下，也可以實踐所要求保護的主題。在其他例子中，結構和裝置以方框圖形式示出以便促進于描述所要求保護的主題。
[0014]A、介紹
在成像領域，許多情景涉及球面相機，其包括魚眼透鏡組并且配置為生成將由透鏡提供的圖像聚合的合成圖像。相機可以配置為生成球面圖像，包括由彎曲透鏡組并發捕捉，并且聚焦于一個或多個成像器上的圖像的合成，該一個或多個成像器分別配置為經由光敏元件對所聚焦的(多個)圖像進行采樣并且生成一個或多個數字圖像。例如，數字相機通常包括電荷耦合器件(CCD)或互補金屬氧化物半導體(CMOS)圖像傳感器，其中圖像被聚焦在光敏元件的二維平面陣列上，光敏元件的二維平面陣列生成包括該圖像的二維像素陣列。這些數字圖像可以聚合為表示部分或完全圍繞圖像被(多個)成像器捕捉時的視點的視圖(view)的圖像。
[0015]在這樣的情景中，可以以許多方式選擇各個魚眼透鏡的取向。經常，透鏡以規則棱鏡方式取向，例如從立方體的各個面(可選地包括立方體的頂部和底部)的中心面向外部。每個透鏡可以配置為捕捉視圖的大致90度的彎曲部分。可以根據每個魚眼透鏡的規則棱鏡取向來合成由魚眼透鏡捕捉的圖像，因此提供相對簡單的合成技術。
[0016]圖1呈現示例性情景100的圖示，示例性情景100特征在于相機106由用戶104操作以生成諸如圍繞用戶104的環境之類的場景102的球面圖像。在該示例性情景100中，相機106包括被取向為在相對于相機106的每個基本方向上面向的四個透鏡108 (例如，第一透鏡108面向前；第二透鏡108面向后；以及兩個附加透鏡108面向左和右)，每個透鏡配置為捕捉場景102的大致90度視圖。由透鏡108捕捉的每個圖像110可以被聚焦在包括光敏元件114陣列的成像器112上，每個光敏元件配置為對圖像110的一小部分進行采樣并且輸出讀取作為像素的光。由成像器112記錄的采樣隨后可以組合以產生、特征在于圍繞用戶104的視球的合成圖像116，其通常包括握持相機106的用戶104。(雖然為了簡化，合成圖像116本文示出為平坦圖像，但是應認識到，合成圖像116也可以是圓柱形和/或球面的，并且可以在用戶界面中呈現，該用戶界面使得用戶能夠在合成圖像116內環視。)在這些和其他情景中，各個透鏡108的選擇和取向可以被選擇作為各種配置，并且每個配置可影響合成圖像116的特定屬性。作為第一示例，各個透鏡108的曲率可以改變透鏡108的球面覆蓋；例如，更加高度彎曲的透鏡108可以覆蓋場景102內的大視角，而較不高度彎曲的透鏡108可以覆蓋場景102內較小的視角。作為第三示例，兩個透鏡108的取向可以導致場景102的切向覆蓋；可以導致場景102內的覆蓋重疊(例如，在由兩個透鏡108生成的圖像110中捕捉的場景102的一部分);或者場景102內未包括在由任意透鏡108捕捉的圖像110中的間隙，并且因此建立在合成圖像116中的盲點。作為第三示例，透鏡108的配置和/或成像器112的質量會導致跨越圖像110的可變分辨率；例如，高度彎曲的透鏡108可導致顯著的球面像差，顯著的球面像差減小了圖像108的邊緣附近的分辨率和/或質量。透鏡108和/或成像器112的這些和其他屬性可能影響球面相機106的魚眼透鏡組的透鏡108的取向的選擇。
[0017]圖2呈現示例性情景200的圖示，示例性情景200特征在于相機106具有以圖1的示例性情景100中圖示的規則棱鏡方式取向的四個透鏡108，以及會導致場景102的各種類型的覆蓋的透鏡108的兩個可選取向。第一示例202和第二示例204均圖示視圖102的哪個部分由從處于兩個不同配置和取向中的透鏡108生成的圖像110覆蓋。作為第一示例202，如果透鏡108是高度彎曲并且覆蓋大于場景的90度視圖，則來自各個透鏡108的圖像110可以包括顯著量的覆蓋重疊(例如，出現在第一示例202中的頂部圖像110和右圖像10之間的足球形狀的覆蓋重疊206)。附加地，在圖像110的邊緣之間，會出現間隙208，其導致合成圖像116中的盲點。相比而言，在第二示例204中，透鏡108的不同選擇和取向(例如，具有較小大小的曲率的透鏡108)可減小或消除覆蓋重疊206，但可導致視場中明顯較大的間隙208。
[0018]除了這些問題以外，其他問題可起因于影響合成圖像116的圖像質量的透鏡10