用于使用相位檢測像素生成深度圖的圖像生成裝置的制造方法
【專利摘要】提供一種用于使用相位檢測像素生成深度圖的圖像生成裝置。提供一種用于生成深度圖的圖像生成裝置。所述圖像生成裝置包括：圖像傳感器，包括相位檢測像素；透鏡驅動器，調整透鏡的位置以調整透鏡與對象之間的距離；相位差計算器，基于在透鏡被放置在第一位置時生成的第一相位信號來計算第一相位差并基于在透鏡被放置在與第一位置不同的第二位置時生成的第二相位信號來計算第二相位差；以及深度圖生成器，基于第一相位差和第二相位差來生成與相位檢測像素和對象之間的距離相關聯的第一深度數據和第二深度數據，并且基于第一深度數據和第二深度數據來生成深度圖。
【專利說明】用于使用相位檢測像素生成深度圖的圖像生成裝置
[0001 ] 本申請要求于2015年2月13日提交到韓國知識產權局的第10-2015-0022298號韓國專利申請的優先權，該韓國專利申請的全部內容通過引用合并于此。
技術領域
[0002]本發明構思的至少一些示例實施例涉及圖像技術，更具體地說，涉及一種用于生成深度圖的設備。
【背景技術】
[0003]最近，各種類型的圖像技術已經被使用。各種類型的電子裝置已經被廣泛地部署。大部分電子裝置可執行圖像處理以顯示或生成圖像。為此，大部分電子裝置可包括顯示裝置、圖像捕獲裝置、圖像生成裝置、圖像處理裝置等。
[0004]具體地說，“深度圖”是在最近行業中正被使用的圖像技術之一。深度圖包括與對象和圖像生成裝置(例如，包括圖像傳感器的相機)之間的距離相關聯的信息。深度圖可被用于生成3維(3D)圖像。3D圖像可被用于使電影、視頻游戲等更加有趣。
[0005]為了生成深度圖，各種類型的裝置和方法被使用。通過示例的方式，可通過各種方法，諸如，觀察在具有特定波形的光被發射到對象之后反射的光的波形的方法、測量發射到對象的光返回所耗費的時間的方法以及通過兩個或更多個相機獲得立體信息的方法，來獲得深度圖。然而，在用于獲得深度圖的大部分方法中，要求“附加的”傳感器或裝置，或者需要“附加的”圖像處理(諸如，圖像配準)。
[0006]因此，雖然對于具有高處理性能的電子裝置的需求增加，但是隨著每個電子裝置的尺寸逐漸減小，難以將用于獲得深度圖的大部分方法應用于在最近行業中正被使用的“小型”電子裝置。換句話說，有必要提供一種通過使用占用較小面積或體積的裝置或電路來獲得深度圖的方法。
【發明內容】
[0007]至少一些示例實施例可提供一種占用較小面積或體積并且可有效地生成深度圖的圖像生成裝置。根據一些示例實施例，可在沒有任何附加傳感器或裝置的情況下生成深度圖。根據本發明構思的至少一些示例實施例，可通過可移動到不同位置的透鏡來生成多個深度數據。
[0008]根據至少一些示例實施例，一種圖像生成裝置包括:圖像傳感器，包括被配置為生成與對象相應的圖像信號的多個圖像傳感器像素和被配置為生成被用于計算圖像之間的相位差的第一相位信號和第二相位信號的多個相位檢測像素;透鏡驅動器，被配置為調整透鏡的位置以調整透鏡與對象之間的距離;相位差計算器，被配置為:基于第一相位信號來計算第一相位差，第一相位信號在透鏡處于第一位置時被生成，基于第二相位信號來計算第二相位差，第二相位信號在透鏡處于與第一位置不同的第二位置時被生成;深度圖生成器，被配置為:分別基于第一相位差和第二相位差生成第一深度數據和第二深度數據，第一深度數據和第二深度數據中的每個與所述多個相位檢測像素和對象之間的距離相關聯，并基于第一深度數據和第二深度數據來生成深度圖。
[0009]所述圖像生成裝置可包括:相位差預測器，被配置為基于第一相位差來預測第二相位差的值。
[0010]相位差計算器可被配置為:隨著透鏡在透鏡驅動器的控制下從第一位置移動到第二位置，在第二相位差被計算之前，計算第一相位差;相位差預測器可被配置為在透鏡移動到第二位置之前或在透鏡移動到第二位置的同時，預測第二相位差的值。
[0011]深度圖生成器可被這樣配置:當由相位差預測器預測的值與由相位差計算器計算的第二相位差之間的差大于參考值時，深度圖生成器參照所述差來生成深度圖。
[0012]所述多個相位檢測像素中的每個可對應于所述多個圖像傳感器像素中的兩個。
[0013]所述多個相位檢測像素可被布置在與所述多個圖像傳感器像素不同的位置中，使得所述多個相位檢測像素與所述多個圖像傳感器像素不重疊。
[0014]所述圖像生成裝置還可包括:空間頻率計算器，被配置為:通過處理圖像信號來生成與捕獲對象的圖像相關聯的空間頻率的信息。
[0015]空間頻率計算器可被配置為:當透鏡被放置在第一位置時，生成第一空間頻率信息，當透鏡被放置在第二位置時，生成第二空間頻率信息。
[0016]空間頻率計算器還可被配置為:基于第一空間頻率信息和第二空間頻率信息，來獲得當透鏡從第一位置移動到第二位置時空間頻率值的變化的方向和變化的量中的至少一個，并且深度圖生成器可被配置為參照空間頻率值的變化的方向和變化的量中的至少一個，來生成深度圖。
[0017]所述圖像生成裝置還可包括:圖像傳感器芯片，其中，圖像傳感器芯片包括所述圖像傳感器、所述透鏡驅動器、所述相位差計算器以及所述深度圖生成器。
[0018]根據本發明構思的至少一個示例實施例，一種圖像生成裝置包括:相位差計算器，被配置為:接收由包括在圖像傳感器中的多個相位檢測像素生成的第一相位信號和第二相位信號，基于第一相位信號計算第一相位差，第一相位信號在透鏡處于第一位置時被生成，透鏡被配置為沿距對象的距離增大或減小的方向移動，基于第二相位信號計算第二相位差，第二相位信號在透鏡處于與第一位置不同的第二位置時被生成;透鏡位置控制器，被配置為:基于第一相位差和第二相位差中的至少一個來計算用于聚焦對象的透鏡的聚焦位置，并生成透鏡驅動信號以將透鏡移動到聚焦位置;深度圖生成器，被配置為:分別基于第一相位差和第二相位差生成第一深度數據和第二深度數據，第一深度數據和第二深度數據中的每個與所述多個相位檢測像素和對象之間的距離相關聯，并基于第一深度數據和第二深度數據生成深度圖。
[0019]第一位置和第二位置之一可對應于聚焦位置。
[0020]所述圖像生成裝置還可包括:相位差預測器，被配置為基于第一相位差預測第二相位差的值;空間頻率計算器，被配置為通過處理由包括在圖像傳感器中的多個圖像傳感器像素生成的圖像信號，來生成與捕獲對象的圖像相關聯的空間頻率的信息。
[0021 ]所述圖像生成裝置還可包括:可靠性水平計算器，被配置為:基于由相位差預測器預測的值、由相位差計算器計算的第二相位差和當透鏡從第一位置移動到第二位置時空間頻率值的變化的方向中的至少一個，來計算與第一相位差相關聯的第一可靠性水平和與第二相位差相關聯的第二可靠性水平。
[0022]深度圖生成器可被配置為:通過基于第一可靠性水平和第二可靠性水平將權重值應用于第一深度數據和第二深度數據，來生成深度圖。
[0023]所述圖像生成裝置還可包括:深度圖后處理器，被配置為:通過對對象圖像和深度圖執行圖像配準來改變深度圖的分辨率，對象圖像基于由包括在圖像傳感器中的多個圖像傳感器像素生成的圖像信號而被生成。
[0024]所述圖像生成裝置還可包括:包括應用處理器的操作處理裝置，操作處理裝置被配置為實現所述相位差計算器、所述透鏡位置控制器以及所述深度圖生成器。
[0025]根據本發明構思的至少一些示例實施例，一種被配置為生成深度圖的圖像生成裝置，所述圖像生成裝置包括:相位差計算器，被配置為:分別基于第一相位信號和第二相位信號計算第一相位差和第二相位差，第一相位信號在透鏡處于第一位置時通過多個相位檢測像素被生成，透鏡被配置為沿距對象的距離增大或減小的方向移動，第二相位信號在透鏡處于與第一位置不同的第二位置時通過所述多個相位檢測像素被生成；以及深度圖生成器，被配置為:分別基于第一相位差和第二相位差生成第一深度數據和第二深度數據，第一深度數據和第二深度數據中的每個與所述多個相位檢測像素和對象之間的距離相關聯，并且基于第一深度數據和第二深度數據生成深度圖。
[0026]所述圖像生成裝置還可包括:相位差預測器，被配置為基于第一相位差預測第二相位差的值，其中，相位差計算器和深度圖生成器被這樣配置:當由相位差預測器預測的值與由相位差計算器計算的第二相位差不同時，相位差計算器基于第三相位信號計算第三相位差，第三相位信號在透鏡處于與第一位置和第二位置不同的第三位置時通過所述多個相位檢測像素被生成;深度圖生成器基于第三相位差來生成與所述多個相位檢測像素和對象之間的距離相關聯的第三深度數據，并且基于第一深度數據至第三深度數據生成深度圖。
[0027]所述圖像生成裝置還可包括:空間頻率計算器，被配置為:通過處理當透鏡被放置在第一位置時由多個圖像傳感器像素生成的第一圖像信號，來生成與捕獲對象的第一圖像相關聯的第一空間頻率信息，通過處理當透鏡被放置在第二位置時由所述多個圖像傳感器像素生成的第二圖像信號，來生成與捕獲對象的第二圖像相關聯的第二空間頻率信息，基于第一空間頻率信息和第二空間頻率信息，獲得空間頻率值的變化的方向；以及可靠性水平計算器，被配置為:基于空間頻率值變化的方向，計算與第一相位差相關聯的第一可靠性水平和與第二相位差相關聯的第二可靠性水平，其中，深度圖生成器被配置為:通過基于第一可靠性水平和第二可靠性水平將權重值應用于第一深度數據和第二深度數據，來生成深度圖。
[0028]根據本發明構思的至少一個示例實施例，一種圖像生成裝置包括:透鏡；圖像傳感器，包括被配置為生成與對象相應的圖像信號的多個圖像傳感器像素和被配置為生成第一相位信號和第二相位信號的多個相位檢測像素，透鏡的位置相對于圖像傳感器的位置是可移動的；存儲器，存儲計算機可讀指令;一個或多個處理器，被配置為執行指令，使得:基于第一相位信號確定第一相位差，第一相位信號基于透鏡相對于圖像傳感器位于第一位置而被生成，基于第二相位信號確定第二相位差，第二相位信號基于透鏡相對于圖像傳感器位于第二位置而被生成，分別基于第一相位差和第二相位差來生成第一深度數據和第二深度數據，第一深度數據和第二深度數據中的每個指示所述多個相位檢測像素與對象之間的距離，并且基于第一深度數據和第二深度數據生成深度圖。
[0029]所述圖像生成裝置還可包括:透鏡驅動器，被配置為選擇性地改變透鏡相對于圖像傳感器的位置。
[0030]所述一個或多個處理器還被配置為:基于第一相位差預測第二相位差的值。
[0031]所述一個或多個處理器可被配置為:隨著透鏡在透鏡驅動器的控制下從第一位置移動到第二位置，在第二相位差被計算之前，計算第一相位差，并且在透鏡在透鏡驅動器的控制下移動到第二位置之前或在透鏡在透鏡驅動器的控制下移動到第二位置的同時，預測第二相位差的值。
【附圖說明】
[0032]通過參照附圖詳細地描述本發明構思的示例實施例，本發明構思的示例實施例的以上以及其他特征和優點將變得更加清楚。附圖意在描繪本發明構思的示例實施例，并且不應該被解釋為限制權利要求的預期范圍。除非明確地指出，否則附圖將不被認為是按比例繪制。
[0033]圖1是示出根據本發明構思的至少一個示例實施例的包括圖像生成裝置的圖像生成系統的框圖；
[0034]圖2至圖4是示出根據本發明構思的至少一個示例實施例的包括相位檢測像素的圖像傳感器的概念圖；
[0035]圖5和圖6是示出使用相位檢測像素的處理的概念圖；
[0036]圖7是示出根據本發明構思的至少一個示例實施例的圖像生成裝置的框圖；
[0037]圖8是描述圖7的圖像生成裝置的操作的流程圖；
[0038]圖9是示出圖7的圖像生成裝置的操作的概念圖；
[0039]圖10至圖17是示出根據本發明構思的至少一些示例實施例的圖像生成裝置的框圖；
[0040]圖18是示出根據本發明構思的至少一個示例實施例的包括圖像生成裝置的電子裝置及其接口的框圖。
【具體實施方式】
[0041]在此公開本發明構思的詳細的示例實施例。然而，為了描述本發明構思的示例實施例的目的，在此公開的特定結構和功能的細節僅是代表性的。然而，可以以許多替換形式來實現本發明構思的示例實施例，并且本發明構思的示例實施例不應被解釋為僅限于在此闡述的實施例。
[0042]因此，雖然本發明構思的示例實施例能夠具有各種修改和替換形式，但是其實施例通過示例的方式在附圖中被示出，并且在此將被詳細地描述。然而，應理解，不意在將本發明構思的示例實施例限制為所公開的具體形式，而是與此相反，本發明構思的示例實施例將覆蓋落入本發明構思的示例實施例的范圍內的所有修改、等同物以及替換物。貫穿附圖的描述，相同的標號表示相同的元件。
[0043]將理解，雖然在此可使用術語“第一”、“第二”等來描述各種元件，但是這些元件不應被這些術語所限制。這些術語僅用于將一個元件與另一元件進行區分。例如，在不脫離本發明構思的示例實施例的范圍的情況下，第一元件可被稱為第二元件，類似地，第二元件可被稱為第一元件。如在此使用的，術語“和/或”包括相關列出項中的一個或多個的任意和全部組合。
[0044]將理解，當元件被稱為被“連接”或“親合”到另一元件時，該元件可被直接地連接到或耦合到該另一元件或者可存在中間元件。相反，當元件被稱為被“直接地連接”或“直接地耦合”到另一元件時，不存在中間元件。用于描述元件之間的關系的其他詞語應以類似方式被解釋(例如，“在…之間”與“直接在…之間”、“相鄰”與“直接相鄰”等)O
[0045]在此使用的術語僅出于描述具體實施例的目的，而不意在限制本發明構思的示例實施例。除非上下文另有清楚地指示，否則如在此使用的單數形式也意圖包括復數形式。還將理解，當在此使用術語“包括”和/或“包含”時，說明存在敘述的特征、整體、步驟、操作、元件和/或組件，但不排除存在或添加一個或多個其它特征、整體、步驟、操作、元件、組件和/或它們的組。
[0046]還應注意的是，在一些替代實施方式中，所提出的功能/動作可不按附圖中所指出的順序發生。例如，根據涉及的功能/動作，連續示出的兩個附圖實際上可被基本同時地執行，或者有時可以以相反的順序被執行。
[0047]在此參照本發明構思的理想實施例(和中間結構)的示意圖示來描述本發明構思的示例實施例。如此，由例如制造技術和/或容差導致的圖示的形狀的變化將被預期。因此，本發明構思的示例實施例不應被解釋為受限于在此示出的區域的具體形狀，而將包括由例如制造導致的形狀的偏差。
[0048]雖然一些剖視圖的相應平面圖和/或立體圖可能未被示出，但是在此示出的裝置結構的剖視圖對沿著平面圖中將會示出的兩個不同方向和/或沿著立體圖中將會示出的三個不同方向擴展的多個裝置結構提供支持。這兩個不同方向可以互相正交，或者可以不互相正交。這三個不同方向可包括可與這兩個不同方向正交的第三方向。多個裝置結構可被整合在同一電子裝置中。例如，當在剖視圖中示出裝置結構(例如，存儲器單元結構或晶體管結構)時，電子裝置可包括將由電子裝置的平面圖示出的多個裝置結構(例如，多個存儲器單元結構或多個晶體管結構)。多個裝置結構可被布置在陣列中和/或二維圖案中。
[0049]圖1是示出根據本發明構思的至少一個示例實施例的包括圖像生成裝置的圖像生成系統的框圖。參照圖1，圖像生成系統1000可包括對象1100和圖像生成裝置1300。對象1100是將被捕獲的目標。可通過圖像生成裝置1300的操作來生成與對象1100相關聯的圖像頂G ο
[0050]通過本發明構思的至少一個示例實施例的方式，圖像生成裝置1300可包括:透鏡1310、圖像傳感器芯片1330以及圖像信號處理器1350。在此，圖像生成裝置1300還可包括圖1中未示出的其他組件。圖1中示出的圖像生成裝置1300僅是用于幫助理解本發明構思的至少一些示例實施例的示例。圖像生成裝置1300可生成與對象1100相關聯的圖像頂G。
[0051]例如，如在此使用的術語“處理器”可表示硬件實現的數據處理裝置，該硬件實現的數據處理裝置具有被物理地構造為執行期望操作的電路，所述期望操作包括例如被表示為包括在程序中的代碼和/或指令的操作。上述的硬件實現的數據處理裝置的示例包括:微處理器、中央處理單元(CPU)、處理器核、多核處理器、多處理器、專用集成電路(ASIC)以及現場可編程門陣列(FPGA)，但不限于此。執行程序代碼的處理器是被編程的處理器，因此執行程序代碼的處理器是專用計算機。
[0052]透鏡1310可在光從一個或多個光源被發射之后接收由對象1100反射的光。通過本發明構思的至少一個示例實施例的方式，圖像生成裝置1300可包括一個或多個透鏡。穿過透鏡1310的光可被提供給圖像傳感器芯片1330。
[0053]圖像傳感器芯片1330可基于從透鏡1310提供的光來生成一個或多個圖像信號。圖像信號可包括用于生成與對象1100相關聯的圖像MG的信息。可基于圖像信號來生成圖像頂G。圖像信號可被提供給圖像信號處理器1350。
[0054]例如，圖像傳感器芯片1330可包括圖像傳感器像素。圖像傳感器像素可包括一個或多個光通濾波器(light pass filter)以及一個或多個光敏傳感器(photo-sensitivesensor)。例如，光通濾波器中的每個可使紅光、綠光和藍光中的一個通過，但是本發明構思的至少一些示例實施例不受限于該實例。光敏傳感器中的每個可生成具有與穿過各自光通濾波器的光的特性(例如，強度)相應的電特性(例如，電壓)的電信號(即，圖像信號)。例如，一個或多個光通濾波器以及一個或多個光敏傳感器可被設置在像素單元中。例如，對應于每個像素可生成一個圖像信號。
[0055]在此，本發明構思的至少一些示例實施例不限于上面提到的示例。可以以不同的方式來實現光通濾波器的配置、光通濾波器和光敏傳感器的布置以及圖像信號的生成。此夕卜，例如，圖像傳感器芯片1330還可包括各種組件，諸如，紅外光通濾波器和紅外光傳感器。
[0056]此外，根據本發明構思的至少一些示例實施例，圖像傳感器芯片1330還可包括相位檢測像素。相位檢測像素可被用于執行“相位差自動聚焦(phase difference auto-focusing)”。相位檢測像素可生成相位信號。相位信號可被用于計算圖像信號之間的相位差。根據本發明構思的至少一些示例實施例，相位差可被用于聚焦對象以及用于測量對象與圖像傳感器之間的距離。將參照圖2至圖6進一步描述相位檢測像素。
[0057]圖像信號處理器1350可接收由圖像傳感器芯片1330生成的圖像信號和相位信號。圖像信號處理器1350可執行用于處理圖像信號的操作。可基于圖像信號來生成與對象1100相關聯的圖像MG。然而，圖像信號可能不適于生成圖像頂G。為了生成合適的圖像頂G，圖像信號處理器1350可執行圖像信號處理。
[0058]例如，圖像信號處理器1350可執行圖像信號處理，諸如，壞像素校正、去馬賽克(demosaicing)、降噪、透鏡陰影校正、伽瑪校正以及邊緣增強。然而，本發明構思的至少一些示例實施例不限于以上的示例。圖像信號處理器1350還可執行其他類型的圖像信號處理。
[0059]圖像信號處理器1350可通過處理相位信號來聚焦對象1100。此外，根據本發明構思的至少一些示例實施例，圖像信號處理器1350可通過處理相位信號來生成深度圖DM。深度圖DM可以是示出與對象1100和圖像傳感器之間的距離相關聯的信息的圖像。已經描述了圖像信號處理器1350執行處理相位信號、聚焦以及生成深度圖DM。然而，如將在下面描述的，可通過圖像傳感器芯片1330來執行處理相位信號、聚焦、生成深度圖DM中的至少一個及它們的任何組合。
[0060]圖像信號處理器1350可以以硬件來實現。例如，圖像信號處理器1350可包括用于執行圖像信號處理的模擬電路或邏輯電路。可選地，圖像信號處理器1350可被實現在操作處理單元中。例如，圖像信號處理器1350可被實現在包括應用處理器的操作處理裝置中。操作處理裝置可通過執行存儲在只讀存儲器(ROM)中的指令代碼或加載到隨機存取存儲器(RAM)中的程序代碼，來執行圖像信號處理。然而，本發明構思的至少一些示例實施例不限于這些示例。
[0061]根據本發明構思的至少一個示例實施例，如圖1中所示，圖像信號處理器1350可與圖像傳感器芯片1330—起被包括在同一裝置中。至少在圖1所示的示例中，圖像生成裝置1300可被實現在包括圖像傳感器芯片1330和圖像信號處理器1350的便攜式電子裝置(諸如，數碼相機、智能手機、平板以及可穿戴裝置)中。
[0062]根據本發明構思的至少另一示例實施例，與圖1不同，圖像信號處理器1350和圖像傳感器芯片1330可分別被提供在單獨裝置中。至少在本示例實施例中，例如，包括圖像傳感器芯片1330的裝置可僅是圖像捕獲裝置，包括圖像信號處理器1350的裝置可以是包括一個或多個處理器的計算裝置。換句話說，可以以各種方式來實現本發明構思的至少一個示例實施例，并且本發明構思的至少一些示例實施例不受限于圖1中所示的配置。
[0063]根據本發明構思的至少一個示例實施例，如圖1中所示，圖像信號處理器1350可以是與圖像傳感器芯片1330分開提供的圖像信號處理電路、圖像信號處理芯片或圖像信號處理裝置。至少在圖1中所示的示例中，當圖像生成裝置1300是便攜式電子裝置時，圖像傳感器芯片1330可與圖像信號處理器1350分開提供，并且圖像信號處理器1350可被包括在應用處理器中。
[0064]根據本發明構思的至少另一示例實施例，與圖1不同，圖像信號處理器1350可被部分地或全部地包括在圖像傳感器芯片1330中。在該示例實施例中，圖像傳感器芯片1330可生成圖像信號，也執行圖像信號處理。換句話說，可使用各種配置來實現本發明構思的至少一個示例實施例，并且本發明構思的至少一些示例實施例不受限于圖1所示的配置。圖1僅示出用于幫助理解本發明構思的至少一些示例實施例的示例配置。
[0065]根據以下描述的本發明構思的任何示例實施例或可選地根據以下描述的本發明構思的至少一些示例實施例的“圖像生成裝置”的組件可被實現在圖像傳感器芯片1330和圖像信號處理器1350之一中，或者可被實現為被劃分到圖像傳感器芯片1330和圖像信號處理器1350中。可選地，“圖像生成裝置”的組件可與圖像傳感器芯片1330和圖像信號處理器1350 二者分開提供。可使用各種配置來實現本發明構思的至少一些示例實施例。將參照圖7至圖17來描述根據本發明構思的至少一些示例實施例的配置。
[0066]圖2至圖4是示出根據本發明構思的至少一個示例實施例的包括相位檢測像素的圖像傳感器的概念圖。根據本發明構思的至少一個示例實施例的包括相位檢測像素的圖像傳感器1331可被包括在圖1的圖像傳感器芯片1330中。
[0067]參照圖2，圖像傳感器1331可包括像素陣列PA。可通過像素單元PX來形成像素陣列PA。圖像傳感器1331可包括多個圖像傳感器像素和多個相位檢測像素。多個圖像傳感器像素可生成與對象相應的圖像信號。多個相位檢測像素可生成用于計算圖像之間的相位差的相位信號。可通過像素單元PX來布置多個圖像傳感器像素和多個相位檢測像素。下面將參照圖3和圖4更詳細地描述多個圖像傳感器像素和多個相位檢測像素的布置。
[0068]根據本發明構思的至少一個示例實施例，多個相位檢測像素中的每個可被配置為對應于多個圖像傳感器像素中的兩個。參照圖2和圖3，多個圖像傳感器像素中的每個可對應于一個像素單元PX。此外，多個相位檢測像素PPXl至PPXn中的每個可對應于兩個像素單元。換句話說，例如，兩個圖像傳感器像素可被用作一個相位檢測像素PPXl。在該示例實施例中，一個像素單元PX可被用作相位檢測像素以及圖像傳感器像素。
[0069]在以上的示例實施例中，全部成對的圖像傳感器像素可被用作單個相位檢測像素。可選地，多個圖像傳感器像素中的一些可不被用作任何相位檢測像素。例如，當多個圖像傳感器像素的數目為“P”時，多個相位檢測像素的數目可等于或小于(p/2)(即，η < (p/2))。
[0070]根據本發明構思的至少另一示例實施例，多個相位檢測像素可被這樣布置:多個相位檢測像素與多個圖像傳感器像素不重疊。參照圖4，白色四邊形形狀表示圖像傳感器像素IPX，陰影四邊形形狀表示相位檢測像素PPX。換句話說，多個相位檢測像素可被布置在與多個圖像傳感器像素的位置不同的位置中。至少在圖4所示的示例中，相位檢測像素可不被用作圖像傳感器像素。例如，相位檢測像素中的每個可包括白光傳感器，但是本發明構思的至少一些示例實施例不限于此。
[0071]在以上的示例實施例中，在像素陣列PA中包括的像素中的一些可被用作圖像傳感器像素。此外，不被用作圖像傳感器像素的像素可被用作相位檢測像素。根據本發明構思的至少一些示例實施例，在像素陣列PA中包括的全部像素可被用作相位檢測像素。
[0072]在示例實施例中，可對相位檢測像素的配置、相位檢測像素的數目、相位檢測像素的布置和/或相位檢測像素的位置進行各種修改或修正。圖2至圖4僅示出包括多個相位檢測像素的圖像傳感器1331的可能配置中的一些，而本發明構思的至少一些示例實施例不限于此。圖像傳感器1331可被實現為與圖2至圖4中所示的配置不同。
[0073]圖5和圖6是示出使用相位檢測像素的處理的概念圖。例如，在圖像生成裝置1300(參照圖1)中包括的透鏡1310可被配置為是可移動的。更詳細地說，透鏡1310可沿距對象1100的距離增大或減小的方向移動。據此，透鏡1310與對象1100之間的距離可被調整。對象1100可根據透鏡1310的位置而被聚焦或離焦。
[0074]首先，將參照圖5。參照第一情況CASE I，透鏡1310與對象1100之間的距離相對較近。在第一情況CASE I中，透鏡1310離開“聚焦位置”。聚焦位置是用于聚焦對象1100的透鏡1310的位置。因為透鏡1310離開聚焦位置，所以在包括在圖像傳感器芯片1330中的圖像傳感器1331上形成的圖像之間可發生相位差Dl。因此，在第一情況CASE I中，對象1100可被離焦。
[0075]參照第二情況CASE 2，透鏡1310被放置在聚焦位置上。當透鏡1310被放置在聚焦位置上時，在圖像傳感器1331上形成的圖像之間的相位差可為零(O)。因此，在第二情況CASE 2中，對象110可被聚焦。
[0076]參照第三情況CASE 3，透鏡1310與對象1100之間的距離相對較遠。在第三情況CASE 3中，透鏡1310離開聚焦位置。因為透鏡1310離開聚焦位置，所以在圖像傳感器1331上形成的圖像之間可發生相位差D3。因此，在第三情況CASE 3中，對象1100可被離焦。
[0077]在圖像傳感器1331中包括的多個相位檢測像素可被用于聚焦對象。如以上所描述，多個相位檢測像素可生成相位信號。相位信號可包括與在圖像傳感器1331上形成的圖像的位置相關聯的信息。因此，相位信號可被用于計算圖像之間的相位差。可基于計算的相位差來計算透鏡1310的聚焦位置。例如，相位差為O的透鏡1310的位置可以是聚焦位置。
[0078]根據本發明構思的至少一些示例實施例，多個相位檢測像素可被用于聚焦對象1100，并且還可被用于測量對象1100與圖像傳感器1331之間的距離。例如，為了測量對象1100與圖像傳感器1331之間的距離，可參照諸如以下項的附加信息:在圖像傳感器1331上形成的圖像之間的相位差、透鏡1310與圖像傳感器1331之間的距離、透鏡1310的尺寸以及透鏡1310的聚焦位置。
[0079]例如，相應于特定條件(諸如特定聚焦位置和特定相位差)的與對象1100和圖像傳感器1331之間的距離相關聯的信息可被預先準備。圖像生成裝置1300可(例如)以查找表的形式存儲特定條件的信息和準備的信息。根據本發明構思的至少一個示例實施例，查找表可被存儲在包括在圖像生成裝置中的存儲器中。例如，查找表可指示特定條件與準備的信息之間的對應關系。圖像生成裝置1300可計算諸如聚焦位置和相位差的條件，然后可參照存儲的信息獲得與計算的條件相應的對象1100與圖像傳感器1331之間的距離。
[0080]作為另一示例，圖像生成裝置1300可計算諸如相位差以及透鏡1310與圖像傳感器1331之間的距離的條件。圖像生成裝置1300可參照計算的條件來執行數學計算(例如，使用邊長以及邊形成的角度的三角函數計算等)。基于數學計算，圖像生成裝置1300可計算對象1100與圖像傳感器1331之間的距離。
[0081]根據上面提到的示例，可通過圖像生成裝置1300(例如，使用圖像傳感器芯片1330和/或圖像信號處理器1350)來計算對象1100與圖像傳感器1331之間的絕對距離。另一方面，當附加信息未被充分地準備時，可基于相位差信息來計算對象1100與圖像傳感器1331之間的相對距離。可基于對象1100與圖像傳感器1331之間的絕對距離或相對距離，來生成示出與對象1100和圖像傳感器1331之間的距離相關聯的信息的深度圖。
[0082]在此，僅提供上面提到的示例以幫助理解本發明構思的至少一些示例實施例，并且本發明構思的至少一些示例實施例不限于此。可通過各種處理來計算對象1100與圖像傳感器1331之間的距離。具體地說，當使用諸如在圖像傳感器1331上形成的圖像之間的相位差、透鏡1310與圖像傳感器1331之間的距離、透鏡1310的尺寸以及透鏡1310的聚焦位置的附加信息時，可計算更準確的絕對距離。
[0083]現在，參照圖6。當對象1100與圖像傳感器1331之間的距離被計算時，圖像生成裝置1300可生成深度圖。如以上所描述，圖像傳感器1331的像素陣列PA可包括多個相位檢測像素PPX。根據本發明構思的至少一些示例實施例，可通過多個相位檢測像素PPX來生成對象1100的整個部分的深度圖。例如，根據本發明構思的至少一些示例實施例，對象1100的整個部分與圖像傳感器1331之間的距離可被計算，代替僅計算對象1100的一個點或一些相對較小部分與圖像傳感器1331之間的距離。因此，圖像生成裝置1300可生成對象1100的整個部分的深度圖。
[0084]在此，圖6是用于幫助理解本發明構思的至少一些示例實施例的示例概念圖，并且不意在限制本發明構思的至少一些示例實施例。如以上所描述，可使用各種形式來實現相位檢測像素。可對相位檢測像素的配置、相位檢測像素的數目、相位檢測像素的布置以及相位檢測像素的位置進行各種修改或修正。
[0085]圖7是示出根據本發明構思的至少一個示例實施例的圖像生成裝置的框圖。圖8是描述圖7的圖像生成裝置的操作的流程圖。圖9是示出圖7的圖像生成裝置的操作的概念圖。
[0086]參照圖7，圖像生成裝置100可包括相位差計算器103和深度圖生成器104。圖像生成裝置100可根據本發明構思的至少一個示例實施例來生成深度圖DM。
[0087]根據本發明構思的至少一個示例實施例，圖像生成裝置100可包括被具體構造為實現在此描述的由圖像生成裝置100(或其元件)執行的操作中的一些或全部的一個或多個電路或電路系統(例如，硬件)，或者可通過被具體構造為實現在此描述的由圖像生成裝置100 (或其元件)執行的操作中的一些或全部的一個或多個電路或電路系統(例如，硬件)來實現圖像生成裝置100。根據本發明構思的至少一個示例實施例，圖像生成裝置100可包括存儲器以及一個或多個處理器或者通過存儲器以及一個或多個處理器來實現，其中，所述一個或多個處理器執行存儲在存儲器中并包括與在此描述的由圖像生成裝置100(或其元件)執行的操作中的一些或全部相應的指令的計算機可讀代碼(例如，軟件)。根據本發明構思的至少一個示例實施例，可通過例如上述的硬件和執行計算機可讀代碼的處理器的組合，來實現圖像生成裝置100。
[0088]例如，可通過圖1的圖像傳感器芯片1130和/或圖像信號處理器1350來實現圖像生成裝置100。
[0089]為了描述本發明構思的至少一個示例實施例，現在一起參照圖7至圖9。
[0090]在圖8的操作SllO中，圖9的透鏡1310可移動到第一位置。如以上所描述，透鏡1310可沿距圖9的對象1100的距離增大或減小的方向移動。據此，透鏡1310與對象1100之間的距離可被調整。在圖9的時間“tl”處，透鏡1310響應于透鏡位置控制信號可移動到第一位置。例如，第一位置可以是固定的位置。可選地，第一位置可以是可調整的位置。可以以各種方式來選擇或確定第一位置。
[0091]在圖8的操作S120中，可生成第一相位信號PSl。當透鏡1310被放置在第一位置時，對象1100可被捕獲。圖9的圖像傳感器1331可通過透鏡1310接收從對象1100反射的光。在圖像傳感器1331中包括的多個相位檢測像素可(例如)基于反射的光來生成第一相位信號PSl。第一相位信號PS I可包括與當透鏡1310被放置在第一位置時在圖像傳感器1331上形成的圖像的位置相關聯的信息。
[0092]在圖8的操作S130中，可計算第一相位差PD1。相位差計算器103可從圖像傳感器1331接收第一相位信號PS I。相位差計算器103可基于第一相位信號PSl來計算第一相位差roi。第一相位差PDl可以是與當透鏡1310被放置在第一位置時在圖像傳感器1331上形成的圖像相關聯的相位差。
[0093]在圖8的操作S140中，可生成第一深度數據DDl。第一深度數據DDl可以是與圖像傳感器1331的多個相位檢測像素和對象1100之間的距離相關聯的數據。深度圖生成器104可從相位差計算器103接收第一相位差Η)1。深度圖生成器104可基于第一相位差PDl來生成第一深度數據DD1。例如，深度圖生成器104可參照附加信息(諸如透鏡1310與圖像傳感器1331之間的距離、透鏡1310的尺寸和透鏡1310的聚焦位置)以及第一相位差roi，來生成第一深度數據DDl。
[0094]例如，可僅基于第一深度數據DDl來生成深度圖DM。然而，存在第一深度數據DDl根據對象1100被捕獲的環境而包括不準確距離數據的可能性。當第一深度數據DDl包括不準確距離數據時，深度圖DM可被不準確地生成。因此，根據本發明構思的至少一些示例實施例，另一深度數據還可被生成以生成具有更高可靠性的深度圖DM。
[0095]在圖8的操作S150中，透鏡1310可移動到第二位置。第二位置與第一位置不同。在圖9的時間“t2”處，透鏡1310響應于透鏡位置控制信號可移動到第二位置。例如，第二位置可以是固定的位置或可調整的位置。可以以各種方式來選擇或確定第二位置。
[0096]根據本發明構思的至少一個示例實施例，第一位置和第二位置之一可對應于聚焦位置。至少根據本發明構思的本示例實施例，與透鏡1310的聚焦位置相關聯的信息可與生成深度數據一起被獲得。然而，本發明構思的至少一些示例實施例不受限于以上的示例實施例。第一位置和第二位置中的每個可以是除了聚焦位置之外的任意位置。
[0097]參照圖9，當透鏡1310從第一位置移動到第二位置時，透鏡1310與圖像傳感器1331之間的距離可變得較近。然而，本發明構思的至少一些示例實施例不受限于圖9。在一些其他示例實施例中，當透鏡1310從第一位置移動到第二位置時，透鏡1310與圖像傳感器1331之間的距離可變得較遠。圖9示出用于幫助理解本發明構思的至少一些示例實施例的示例。
[0098]在圖8的操作S160中，可生成第二相位信號PS2。當透鏡1310被放置在第二位置時，對象1100可被捕獲。圖像傳感器1331可通過透鏡1310接收從對象1100反射的光。在圖像傳感器1331中包括的多個相位檢測像素可生成第二相位信號PS2。第二相位信號PS2可包括與當透鏡1310被放置在第二位置時在圖像傳感器1331上形成的圖像的位置相關聯的信息。
[0099]在圖8的操作S170中，可計算第二相位差PD2。相位差計算器103可從圖像傳感器1331接收第二相位信號PS2。相位差計算器103可基于第二相位信號PS2來計算第二相位差TO2。第二相位差PD2可以是與當透鏡1310被放置在第二位置時在圖像傳感器1331上形成的圖像相關聯的相位差。
[0100]在圖8的操作S180中，可生成第二深度數據DD2。第二深度數據DD2可以是與圖像傳感器1331的多個相位檢測像素和對象1100之間的距離相關聯的數據。深度圖生成器104可從相位差計算器103接收第二相位差TO2。深度圖生成器104可基于第二相位差PD2來生成第二深度數據DD2。例如，深度圖生成器104可參照附加信息(諸如透鏡1310與圖像傳感器1331之間的距離、透鏡1310的尺寸和透鏡1310的聚焦位置)以及第二相位差TO2，來生成第二深度數據DD2。
[0101]在圖8的操作S190中，可生成深度圖DM。可基于第一深度數據DDl和第二深度數據DD2來生成深度圖DM。深度圖生成器104可基于第一深度數據DDl和第二深度數據DD2來生成深度圖DM。
[0102]如以上所描述，存在第一深度數據DDl包括不準確距離數據的可能性。因此，根據本發明構思的至少一些示例實施例，深度圖生成器104還可生成第二深度數據DD2。當參照多個深度數據DDl和DD2時，在第一深度數據DDl或第二深度數據DD2中包括的不準確距離數據(即，誤差)可被校正。根據本發明構思的至少一個示例實施例的圖像生成裝置100可參照多個深度數據DDl和DD2來生成具有更高可靠性的深度圖DM。將參照圖13至圖17進一步描述參照第一深度數據DDl和第二深度數據DD2生成深度圖DM的處理。
[0103]參照圖7至圖9，描述了透鏡1310移動到第一位置和第二位置，以及兩個深度數據DDl和DD2被生成。然而，為了更準確地生成深度圖DM，可使用三個或更多個透鏡位置以及三個或更多個深度數據。圖7至圖9僅是用于幫助理解本發明構思的至少一些示例實施例的示例，并且本發明構思的至少一些示例實施例不限于此。
[0104]此外，參照圖7至圖9，描述了在當透鏡1310被放置在第一位置時執行的處理完成之后，透鏡1310移動到第二位置。然而，執行根據本發明構思的至少一個示例實施例的處理的順序可根據圖像生成裝置100的設計而被改變或修改。
[0105]例如，透鏡1310可在第一相位信號PSl、第一相位差roi或第一深度數據DDl被生成的同時或在第一相位信號PSl、第一相位差roi或第一深度數據DDl被生成之前移動到第二位置。例如，相位差計算器103可同時地計算第一相位差PDl和第二相位差PD2，或者可早于第一相位差PDl來計算第二相位差TO2。例如，深度圖生成器104可同時地生成第一深度數據DDl和第二深度數據DD2，或者可早于第一深度數據DDl來生成第二深度數據DD2。
[0106]根據本發明構思的至少一些示例實施例，圖像生成裝置100基于幾個深度數據DDl和DD2來生成深度圖DM就足夠了。執行參照圖7至圖9所描述的處理的順序可被不同地改變或修改。本發明構思的至少一些示例實施例不受限于參照圖7至圖9的描述。
[0107]根據本發明構思的至少一個示例實施例的圖像生成裝置100不要求諸如飛行時間(ToF)傳感器、紅外傳感器和立體相機的附加裝置。因此，根據本發明構思的至少一個示例實施例的圖像生成裝置100可在占用較小面積或體積的同時生成深度圖DM。此外，根據本發明構思的至少一些示例實施例，圖像生成裝置100可通過參照多個深度數據DDl和DD2校正誤差來生成具有更高可靠性的深度圖DM。
[0108]圖10是示出根據本發明構思的至少一個示例實施例的圖像生成裝置的框圖。參照圖10，圖像生成裝置2300可包括:透鏡2310、圖像傳感器芯片2330以及圖像信號處理器2350。此外，圖像傳感器芯片2330可包括:圖像傳感器2331、透鏡驅動器2332、相位差計算器2333以及深度圖生成器2334。
[0109]透鏡2130的配置和功能可包括已經參照圖1至圖9描述的透鏡1310的配置和功能。為了描述的簡潔，以下將省略與透鏡2310相關聯的冗余描述。穿過透鏡2310的光可被提供給圖像傳感器芯片2330的圖像傳感器2331。
[0110]圖像傳感器2331可包括多個圖像傳感器像素和多個相位檢測像素。多個圖像傳感器像素可生成與對象相應的圖像信號。多個相位檢測像素可生成被用于計算圖像之間的相位差的第一相位信號PSl和第二相位信號PS2。當透鏡2310被放置在第一位置時可生成第一相位信號PSl，當透鏡2310被放置在第二位置時可生成第二相位信號PS2。
[0111]圖像傳感器2331的配置和功能可包括已經參照圖1至圖9描述的圖像傳感器1331的配置和功能。為了描述的簡潔，以下將省略與圖像傳感器2331相關聯的冗余描述。
[0112]透鏡驅動器2332可生成透鏡位置控制信號LN。透鏡位置控制信號LN可以是用于調整透鏡2310的位置的信號。響應于透鏡位置控制信號LN，透鏡2310可沿著距對象的距離增大或減小的方向移動。據此，透鏡2310與對象之間的距離可被調整。例如，透鏡驅動器2332可基于從圖像信號處理器2350提供的透鏡驅動信號LD來生成透鏡位置控制信號LN。然而，與圖10不同，在一些其他示例實施例中，透鏡驅動器2332可在沒有透鏡驅動信號LD的情況下，通過執行用于控制透鏡2310的位置的操作，來生成透鏡位置控制信號LN。
[0113]相位差計算器2333可分別基于第一相位信號PSl和第二相位信號PS2來計算第一相位差roi和第二相位差TO2。深度圖生成器2334可基于第一相位差roi和第二相位差TO2來生成深度圖DM。
[0114]相位差計算器2333和深度圖生成器2334的配置和功能可包括已經參照圖7至圖9(例如，參照圖像生成裝置100)描述的相位差計算器103和深度圖生成器104的配置和功能。為了描述的簡潔，以下將省略與相位差計算器2333和深度圖生成器2334相關聯的冗余描述。
[0115]在一個示例實施例中，圖像信號處理器2350可對由深度圖生成器2334生成的深度圖DM執行圖像信號處理。因此，圖像信號處理器2350可生成被更加適當地處理的深度圖DM’。然而，與圖10不同，在本發明構思的至少另一示例實施例中，由深度圖生成器2334生成的深度圖DM可在沒有圖像信號處理的情況下，從圖像生成裝置2330被直接地輸出。
[0116]在一個示例實施例中，圖像信號處理器2350可生成用于控制透鏡驅動器2332的透鏡驅動信號LD。然而，與圖10不同，在本發明構思的至少另一示例實施例中，圖像信號處理器2350可在沒有透鏡驅動器2332的情況下，直接地控制透鏡2310的位置。換句話說，圖10示出用于幫助理解本發明構思的至少一些示例實施例的示例配置，并且不意在限制本發明構思的至少一些示例實施例。可使用與圖10中所示的配置不同的配置來實現本發明構思的至少一個示例實施例。
[0117]圖像信號處理器2350的配置和功能可包括圖1的圖像信號處理器1350的配置和功能。為了描述的簡潔，以下將省略與圖像信號處理器2350相關聯的冗余描述。
[0118]根據圖10的示例實施例，相位差計算器2333和深度圖生成器2334可被實現在圖像傳感器芯片2330中。根據本發明構思的至少一個示例實施例，圖像傳感器2331、透鏡驅動器2332、相位差計算器2333以及深度圖生成器2334可被實現在一個圖像傳感器芯片2330中。
[0119]然而，本發明構思的至少一些示例實施例不受限于圖10中所示的配置。圖像生成裝置2300還可包括圖10中未示出的其他組件，或者可不包括圖10中示出的一個或多個組件。圖10僅示出圖像生成裝置2300的示例配置。
[0120]圖11是示出根據本發明構思的至少一個示例實施例的圖像生成裝置的框圖。參照圖11，圖像生成裝置3300可包括:透鏡3310、圖像傳感器芯片3330以及圖像信號處理器3350。此外，圖像信號處理器3350可包括:相位差計算器3353、深度圖生成器3354以及透鏡位置控制器3355。
[0121]透鏡3310的配置和功能可包括已經參照圖1至圖9描述的透鏡1310的配置和功能。為了描述的簡潔，以下將省略與透鏡3310相關聯的冗余描述。穿過透鏡3310的光可被提供給圖像傳感器芯片3330。
[0122]圖像傳感器芯片3330可包括圖像傳感器1331(參照圖2至圖6)。圖像傳感器1331可包括多個圖像傳感器像素和多個相位檢測像素。多個圖像傳感器像素可生成與對象相應的圖像信號。多個相位檢測像素可生成被用于計算圖像之間的相位差的第一相位信號PSl和第二相位信號PS2。當透鏡3310被放置在第一位置時可生成第一相位信號PSl，當透鏡3310被放置在第二位置時可生成第二相位信號PS2。已經參照圖1至圖9描述了圖像傳感器1331的配置和功能。
[0123]相位差計算器3353可從圖像傳感器芯片3330接收第一相位信號PSl和第二相位信號PS2。相位差計算器3353可分別基于第一相位信號PSl和第二相位信號PS2來計算第一相位差I3Dl和第二相位差TO2。深度圖生成器3354可基于第一相位差I3Dl和第二相位差TO2來生成深度圖DM。
[0124]相位差計算器3353和深度圖生成器3354的配置和功能可包括已經參照圖7至圖9(例如，參照圖像生成裝置100)描述的相位差計算器103和深度圖生成器104的配置和功能。為了描述的簡潔，以下將省略與相位差計算器3353和深度圖生成器3354相關聯的冗余描述。
[0125]透鏡位置控制器3355可生成透鏡驅動信號LD。透鏡驅動信號LD可以是用于移動透鏡3310的信號。響應于透鏡驅動信號LD，透鏡3310可沿著距對象的距離增大或減小的方向移動。據此，透鏡3310與對象之間的距離可被調整。然而，與圖11不同，透鏡位置控制器3355可不直接地控制透鏡3310的位置。例如，透鏡位置控制器3355可通過控制另一組件(例如，圖1O的透鏡驅動器2332)來間接地控制透鏡3310的位置。
[0126]在一個示例實施例中，透鏡位置控制器3355可計算透鏡3310的聚焦位置。如以上所描述，聚焦位置可以是用于聚焦對象的透鏡3310的位置。透鏡位置控制器3355可基于第一相位差HH和/或第二相位差TO2來計算聚焦位置。例如，透鏡位置控制器3355可計算并確定相位差為O的透鏡3310的位置作為聚焦位置。當透鏡3310需要移動到聚焦位置時，透鏡位置控制器3355可生成透鏡驅動信號LD以將透鏡3310移動到聚焦位置。
[0127]然而，與以上的描述不同，在本發明構思的至少另一示例實施例中，可通過圖像傳感器芯片3330來計算聚焦位置。當圖像傳感器芯片3330包括單獨的透鏡位置控制器時，圖像傳感器芯片3330可生成用于將透鏡3310移動到計算的聚焦位置的透鏡驅動信號。本發明構思的至少一個示例實施例可被改變或修改為與圖11中所示的配置不同的配置。
[0128]根據本發明構思的至少一些示例實施例，圖像信號處理器3350可對由深度圖生成器3354生成的深度圖DM執行各種類型的圖像信號處理。據此，可生成被更加適當地處理的深度圖DM。換句話說，圖11僅示出用于幫助理解本發明構思的至少一些示例實施例的示例配置，并且不意在限制本發明構思的至少一些示例實施例。可使用與圖11中所示的配置不同的配置來實現本發明構思的至少一個示例實施例。
[0129]根據圖11所示的示例實施例，相位差計算器3353和深度圖生成器3354可被實現在圖像信號處理器3350中。例如，圖像信號處理器3350可被實現在包括應用處理器的操作處理裝置中。根據本發明構思的至少一個示例實施例，相位差計算器3353、深度圖生成器3354以及透鏡位置控制器3355可被實現在包括應用處理器的操作處理裝置中。
[0130]然而，本發明構思的至少一些示例實施例不受限于圖11中所示的配置。圖像生成裝置3300還可包括圖11中未示出的其他組件，或者可不包括圖11中示出的一個或多個組件。圖11僅示出圖像生成裝置3300的示例配置。
[0131]圖12是示出根據本發明構思的至少一個示例實施例的圖像生成裝置的框圖。參照圖12，圖像生成裝置4300可包括:透鏡4310、圖像傳感器芯片4330、圖像信號處理器4350、相位差計算器4373以及深度圖生成器4374。
[0132]透鏡4310的配置和功能可包括已經參照圖1至圖9描述的透鏡1310的配置和功能。為了描述的簡潔，以下將省略與透鏡4310相關聯的冗余描述。穿過透鏡4310的光可被提供給圖像傳感器芯片4330。
[0133]圖像傳感器芯片4330可包括圖像傳感器1331(參照圖2至圖6)。圖像傳感器1331可包括多個圖像傳感器像素和多個相位檢測像素。多個圖像傳感器像素可生成與對象相應的圖像信號。多個相位檢測像素可生成被用于計算圖像之間的相位差的第一相位信號PSl和第二相位信號PS2。當透鏡4310被放置在第一位置時可生成第一相位信號PSl，當透鏡4310被放置在第二位置時可生成第二相位信號PS2。已經參照圖1至圖9描述了圖像傳感器1331的配置和功能。
[0134]圖像信號處理器4350可執行圖像信號處理以生成對象的適當圖像。圖像信號處理器4350的配置和功能可包括圖1的圖像信號處理器1350的配置和功能。為了描述的簡潔，以下將省略與圖像信號處理器4350相關聯的冗余描述。
[0135]相位差計算器4373可從圖像傳感器芯片4330接收第一相位信號PSl和第二相位信號PS2。相位差計算器4373可分別基于第一相位信號PSl和第二相位信號PS2來計算第一相位差I3Dl和第二相位差TO2。深度圖生成器4374可基于第一相位差I3Dl和第二相位差TO2來生成深度圖DM。
[0136]相位差計算器4373和深度圖生成器4374的配置和功能可包括已經參照圖7至圖9(例如，參照圖像生成裝置100)描述的相位差計算器103和深度圖生成器104的配置和功能。為了描述的簡潔，以下將省略與相位差計算器4373和深度圖生成器4374相關聯的冗余描述。
[0137]在一個示例實施例中，圖像信號處理器4350可對由深度圖生成器4374生成的深度圖DM執行圖像信號處理。因此，圖像信號處理器4350可生成被更加適當地處理的深度圖DM’。然而，在本發明構思的至少另一示例實施例中，由深度圖生成器4374生成的深度圖DM可在沒有圖像信號處理的情況下，從圖像生成裝置4300被直接地輸出。
[0138]根據圖12中所示的示例實施例，相位差計算器4373和深度圖生成器4374可與圖像傳感器芯片4330和圖像信號處理器4350分開提供。可選地，與圖10至圖12不同，相位差計算器103和深度圖生成器104可被實現為被分布到圖像傳感器芯片1330和圖像信號處理器1350。根據本發明構思的至少一些示例實施例的相位差計算器103和深度圖生成器104可以以各種配置之一來實現。
[0139]然而，本發明構思的至少一些示例實施例不受限于圖12中所示的配置。圖像生成裝置4300還可包括圖12中未示出的其他組件，或者可不包括圖12中示出的一個或多個組件。圖12示出圖像生成裝置4300的可行示例配置之一。
[0140]如以上所描述，根據本發明構思的至少一個示例實施例的圖像生成裝置可在捕獲對象的同時生成深度圖。根據本發明構思的至少另一示例實施例的圖像生成裝置可通過直接存儲器訪問(DMA)操作，來直接地訪問存儲器裝置或存儲裝置。存儲器裝置或存儲裝置可預先存儲生成的相位信息。在該示例實施例中，圖像生成裝置可基于存儲在存儲器裝置或存儲裝置中的相位信息來生成深度圖。在該示例實施例中，圖像生成裝置可不包括透鏡以及圖像傳感器芯片的功能中的一些功能。本發明構思的至少一個示例實施例可被改變或修改為各種配置中的一個。
[0141]圖13是示出根據本發明構思的至少一個示例實施例的圖像生成裝置的框圖。參照圖13，圖像生成裝置200可包括:相位差計算器203、深度圖生成器204以及相位差預測器206。
[0142]根據本發明構思的至少一個示例實施例，圖像生成裝置200可包括被具體構造為實現在此描述的由圖像生成裝置200(或其元件)執行的操作中的一些或全部的一個或多個電路或電路系統(例如，硬件)，或者可通過被具體構造為實現在此描述的由圖像生成裝置200(或其元件)執行的操作中的一些或全部的一個或多個電路或電路系統(例如，硬件)來實現圖像生成裝置200。根據本發明構思的至少一個示例實施例，圖像生成裝置200可包括存儲器以及一個或多個處理器或者通過存儲器以及一個或多個處理器來實現，其中，所述一個或多個處理器執行存儲在存儲器中并包括與在此描述的由圖像生成裝置200(或其元件)執行的操作中的一些或全部相應的指令的計算機可讀代碼(例如，軟件)。根據本發明構思的至少一個示例實施例，可通過例如上述的硬件和執行計算機可讀代碼的處理器的組合，來實現圖像生成裝置200。
[0143]相位差計算器203、深度圖生成器204以及相位差預測器206可被實現在圖像傳感器芯片1330(參照圖1)和圖像信號處理器1350(參照圖1)之一中，或者可被實現為被分布到圖像傳感器芯片1330和圖像信號處理器1350。可選地，相位差計算器203、深度圖生成器204和相位差預測器206可與圖像傳感器芯片1330和圖像信號處理器1350分開提供。
[0144]相位差計算器203可接收第一相位信號PSl和第二相位信號PS2。相位差計算器203可分別基于第一相位信號PSl和第二相位信號PS2來計算第一相位差roi和第二相位差TO2。深度圖生成器204可基于第一相位差roi和第二相位差TO2來生成深度圖DM。
[0145]相位差計算器203和深度圖生成器204的配置和功能可包括已經參照圖7至圖9(例如，參照圖像生成裝置100)描述的相位差計算器103和深度圖生成器104的配置和功能。為了描述的簡潔，以下將省略與相位差計算器203和深度圖生成器204相關聯的冗余描述。
[0146]相位差預測器206可基于第一相位差PDl來預測將被計算作為第二相位差PD2的值。相位差預測器206可將預測的值PV提供給深度圖生成器204。深度圖生成器204可參照預測的值PV以及第一相位差I3Dl和第二相位差TO2來生成深度圖DM。
[0147]當透鏡1310(參照圖1)被放置在第一位置時，可計算第一相位差PD1。基于第一相位差H)1，可獲得捕獲環境，諸如，透鏡1310的聚焦位置、對象與圖像傳感器1331(參照圖2至圖6)之間的距離以及透鏡1310與圖像傳感器1331之間的距離。當捕獲環境被獲得時，可預測當透鏡1310移動到第二位置時將被計算作為第二相位差TO2的值。
[0148]例如，隨著透鏡1310從第一位置移動到第二位置，第一相位差PDl可早于第二相位差PD2而被計算。相位差預測器206可在透鏡1310移動到第二位置之前，預測將被計算作為第二相位差PD2的值。可選地，相位差預測器206可在透鏡1310移動到第二位置的同時預測將被計算作為第二相位差TO2的值。在此，僅提供該示例以幫助理解本發明構思的至少一些示例實施例，并且該示例不意在限制本發明構思的至少一些示例實施例。
[0149]在一些情況下，由相位差預測器206預測的值PV可與由相位差計算器203實際計算的第二相位差TO2不同。通過示例的方式，當第一相位差roi和第二相位差TO2中的至少一個包括誤差時，預測的值PV可與第二相位差TO2不同。因此，當預測的值PV與第二相位差TO2不同時，有必要校正誤差。
[0150]根據本發明構思的至少一個示例實施例，當預測的值PV與第二相位差TO2之間的差大于參考值時，可執行用于校正誤差的處理。參考值可以是固定的值或可調整的值。參考值可在每個示例實施例中被不同地選擇。根據本發明構思的至少另一示例實施例，當預測的值PV與第二相位差TO2不同時，可執行用于校正誤差的處理。
[0151]可以以各種方式來執行用于校正誤差的處理。根據本發明構思的至少一個示例實施例，為了校正誤差，深度圖生成器204可參照預測的值PV與第二相位差PD2之間的差來生成深度圖DM。通過示例的方式，深度圖生成器204可基于預測的值PV和第二相位差TO2的平均值來生成深度圖DM。
[0152]通過另一示例的方式，深度圖生成器204可采集使相位差被更加準確地計算的與透鏡1310的位置相關聯的信息。例如，深度圖生成器204可在重復捕獲期間或每當特定條件被滿足時周期地采集該信息。深度圖生成器204可基于采集的信息來確定第一相位差roi和第二相位差ro2中的每個的可靠性。深度圖生成器204可將更高的權重分配給在第一相位差PDl和第二相位差PD2之中具有更高可靠性的相位差，并且可計算第一相位差roi和第二相位差TO2的加權平均值。深度圖生成器204可基于計算的加權平均值來生成深度圖DM。
[0153]根據本發明構思的至少另一示例實施例，為了校正誤差，相位差計算器203還可計算其他相位差。例如，透鏡1310可移動到與第一位置和第二位置不同的第三位置。當透鏡1310被放置在第三位置時，圖像傳感器1331的多個相位檢測像素可生成第三相位信號。相位差計算器203可基于第三相位信號來計算第三相位差。深度圖生成器204可基于第一相位差I3Dl、第二相位差TO2和第三相位差來生成深度圖DM。
[0154]當第三相位差被進一步計算時，可確定第一相位差roi和第二相位差TO2中的哪個具有更高的可靠性。例如，當第三相位差比第二相位差ro2更相似于第一相位差roi時，可認為第一相位差roi比第二相位差TO2具有更高的可靠性。在該示例中，深度圖生成器204可將更高的可靠性分配給第一相位差roi和第三相位差，并且可計算第一相位差ro1、第二相位差TO2和第三相位差的加權平均值。深度圖生成器204可基于計算的加權平均值來生成深度圖DM。在一些其他示例實施例中，相位差計算器203還可計算除了第三相位差之外的其他相位差。
[0155]在此，僅提供以上描述的示例實施例以幫助理解本發明構思的至少一些示例實施例。可以以各種方式來改變或修改用于校正誤差的條件和處理。
[0156]圖14是示出根據本發明構思的至少一個示例實施例的圖像生成裝置的框圖。參照圖14，圖像生成裝置300可包括:相位差計算器303、深度圖生成器304以及空間頻率計算器307。
[0157]根據本發明構思的至少一個示例實施例，圖像生成裝置300可包括被具體構造為實現在此描述的由圖像生成裝置300(或其元件)執行的操作中的一些或全部的一個或多個電路或電路系統(例如，硬件)，或者可通過被具體構造為實現在此描述的由圖像生成裝置300(或其元件)執行的操作中的一些或全部的一個或多個電路或電路系統(例如，硬件)來實現圖像生成裝置300。根據本發明構思的至少一個示例實施例，圖像生成裝置300可包括存儲器以及一個或多個處理器或者通過存儲器以及一個或多個處理器來實現，其中，所述一個或多個處理器執行存儲在存儲器中并包括與在此描述的由圖像生成裝置300(或其元件)執行的操作中的一些或全部相應的指令的計算機可讀代碼(例如，軟件)。根據本發明構思的至少一個示例實施例，可通過例如上述的硬件和執行計算機可讀代碼的處理器的組合，來實現圖像生成裝置300。
[0158]相位差計算器303、深度圖生成器304以及空間頻率計算器307可被實現在圖像傳感器芯片1330(參照圖1)和圖像信號處理器1350(參照圖1)之一中，或者可被實現為被分布到圖像傳感器芯片1330和圖像信號處理器1350。可選地，相位差計算器303、深度圖生成器304和空間頻率計算器307可與圖像傳感器芯片1330和圖像信號處理器1350分開提供。
[0159]相位差計算器303可接收第一相位信號PSl和第二相位信號PS2。相位差計算器303可分別基于第一相位信號PSl和第二相位信號PS2來計算第一相位差roi和第二相位差TO2。深度圖生成器304可基于第一相位差roi和第二相位差TO2來生成深度圖DM。
[0160]相位差計算器303和深度圖生成器304的配置和功能可包括已經參照圖7至圖9(例如，參照圖像生成裝置100)描述的相位差計算器103和深度圖生成器104的配置和功能。為了描述的簡潔，以下將省略與相位差計算器303和深度圖生成器304相關聯的冗余描述。
[0161]根據本發明構思的至少一個示例實施例，空間頻率計算器307可接收圖像信號IS。可通過在圖像傳感器1331(參照圖2至圖6)中包括的多個圖像傳感器像素來生成圖像信號
IS。如以上所描述，圖像信號IS可被用于生成對象的圖像。空間頻率計算器307可通過處理圖像信號IS，來生成與捕獲對象的圖像相關聯的空間頻率的信息。
[0162]圖像的空間頻率可與捕獲的將生成圖像的對象是否被聚焦相關聯。當對象被離焦時捕獲的圖像的空間頻率分量可集中分布在低頻區域。另一方面，當對象被聚焦時捕獲的圖像的空間頻率分量可從低頻區域到高頻區域均勻分布。
[0163]根據本發明構思的至少一個示例實施例，當透鏡1310(參照圖1)被放置在第一位置時，空間頻率計算器307可生成第一空間頻率信息。當透鏡1310被放置在第二位置時，空間頻率計算器307可生成第二空間頻率信息。隨著透鏡1310的位置從第一位置改變到第二位置，第一空間頻率信息可與第二空間頻率信息不同。
[0164]空間頻率計算器307可基于第一空間頻率信息和第二空間頻率信息，來獲得當透鏡1310從第一位置移動到第二位置時空間頻率值改變(S卩，增大或減小高頻區域的空間頻率分量的量)的方向。例如，可認為當高頻區域的空間頻率分量的量增大時，空間頻率值沿正方向改變。
[0165]空間頻率計算器307可基于第一空間頻率信息和第二空間頻率信息，來獲得當透鏡1310從第一位置移動到第二位置時空間頻率值改變的量。空間頻率計算器307可為深度圖生成器304提供包括第一空間頻率信息、第二空間頻率信息、空間頻率改變的方向以及空間頻率改變的量等的空間頻率信息SF。
[0166]深度圖生成器304可參照空間頻率信息SF以及第一相位差PDl和第二相位差TO2來生成深度圖DM。具體地說，深度圖生成器304可參考空間頻率值改變的方向和/或空間頻率值改變的量。空間頻率可被用于確定第一相位差PDl和第二相位差PD2中的每個的可靠性。將參照圖15和圖16進一步描述空間頻率的使用。
[0167]圖15是示出根據本發明構思的至少一個示例實施例的圖像生成裝置的框圖。參照圖15，圖像生成裝置400可包括:相位差計算器403、深度圖生成器404、空間頻率計算器407以及可靠性水平計算器408。
[0168]根據本發明構思的至少一個示例實施例，圖像生成裝置400可包括被具體構造為實現在此描述的由圖像生成裝置400(或其元件)執行的操作中的一些或全部的一個或多個電路或電路系統(例如，硬件)，或者可通過被具體構造為實現在此描述的由圖像生成裝置400 (或其元件)執行的操作中的一些或全部的一個或多個電路或電路系統(例如，硬件)來實現圖像生成裝置400。根據本發明構思的至少一個示例實施例，圖像生成裝置400可包括存儲器以及一個或多個處理器或者通過存儲器以及一個或多個處理器來實現，其中，所述一個或多個處理器執行存儲在存儲器中并包括與在此描述的由圖像生成裝置400(或其元件)執行的操作中的一些或全部相應的指令的計算機可讀代碼(例如，軟件)。根據本發明構思的至少一個示例實施例，可通過例如上述的硬件和執行計算機可讀代碼的處理器的組合，來實現圖像生成裝置400。
[0169]相位差計算器403、深度圖生成器404、空間頻率計算器407以及可靠性水平計算器408可被實現在圖像傳感器芯片1330(參照圖1)和圖像信號處理器1350(參照圖1)之一中，或者可被實現為被分布到圖像傳感器芯片1330和圖像信號處理器1350。可選地，相位差計算器403、深度圖生成器404、空間頻率計算器407和可靠性水平計算器408可與圖像傳感器芯片1330和圖像信號處理器1350分開提供。
[0170]相位差計算器403可接收第一相位信號PSl和第二相位信號PS2。相位差計算器403可分別基于第一相位信號PSl和第二相位信號PS2來計算第一相位差roi和第二相位差TO2。深度圖生成器404可基于第一相位差roi和第二相位差TO2來生成深度圖DM。
[0171]相位差計算器403和深度圖生成器404的配置和功能可包括已經參照圖7至圖9(例如，參照圖像生成裝置100)描述的相位差計算器103和深度圖生成器104的配置和功能。為了描述的簡潔，以下將省略與相位差計算器403和深度圖生成器404相關聯的冗余描述。
[0172]空間頻率計算器407可接收由包括在圖像傳感器1331(參照圖2至圖6)中的多個圖像傳感器像素生成的圖像信號IS。空間頻率計算器407可通過處理圖像信號IS來生成空間頻率信息SF。空間頻率計算器407可將空間頻率信息SF提供給深度圖生成器404。
[0173]例如，空間頻率計算器407可通過處理在透鏡1310(參照圖1)被放置在第一位置時生成的第一圖像信號，來生成與捕獲對象的第一圖像相關聯的第一空間頻率信息。空間頻率計算器407可通過處理在透鏡1310被放置在第二位置時生成的第二圖像信號，來生成與捕獲對象的第二圖像相關聯的第二空間頻率信息。空間頻率計算器407可基于第一空間頻率信息和第二空間頻率信息，來獲得空間頻率改變的方向和/或空間頻率改變的量。
[0174]空間頻率計算器407的配置和功能可包括已經參照圖14描述的空間頻率計算器307的配置和功能。為了描述的簡潔，以下將省略與空間頻率計算器407相關聯的冗余描述。
[0175]可靠性水平計算器408可計算與第一相位差HH相關聯的第一可靠性水平。可靠性水平計算器408可計算與第二相位差PD2相關聯的第二可靠性水平。如以上所描述，第一相位差PDl和第二相位差TO2之一或二者可包括誤差。可靠性水平計算器408可計算與包括在第一相位差PDl和第二相位差TO2中的誤差相關聯的可靠性水平RL。例如，誤差的水平越低，可靠性水平越高。
[0176]根據本發明構思的至少一個示例實施例，可靠性水平計算器408可基于空間頻率值改變的方向來計算可靠性水平RL。例如，當透鏡1310的位置根據透鏡1310從第一位置移動到第二位置而變得更靠近于聚焦位置時，高頻區域的空間頻率分量的量可增大。然而，當第一相位差PDl和第二相位差TO2之一或二者包括誤差時，可能看起來雖然透鏡1310的位置變得更靠近于聚焦位置，但是高頻區域的空間頻率分量的量減小。在這種情況下，第一相位差roi或第二相位差TO2可具有較低的可靠性水平。
[0177]根據本發明構思的至少一個示例實施例，可靠性水平計算器408可采集使相位差被更準確地計算的關于透鏡1310的位置的信息。例如，可靠性水平計算器408可在重復捕獲期間或每當特定條件被滿足時周期性地采集信息。可靠性水平計算器408可在第一相位差PDl和第二相位差TO2之中選擇具有較低或較高可靠性水平的相位差。
[0178]作為另一示例，當透鏡1310被放置在與第一位置和第二位置不同的第三位置時，可進一步生成第三相位差。例如，可靠性水平計算器408可通過將第一相位差HH、第二相位差PD2以及第三相位差進行互相比較，來選擇具有較低可靠性水平的相位差。此外，可靠性水平計算器408可為未被選擇的相位差確定較高可靠性水平。
[0179]根據本發明構思的至少一個示例實施例，深度圖生成器404可通過將第一可靠性水平和第二可靠性水平反映到基于第一相位差HH生成的第一深度數據和基于第二相位差PD2生成的第二深度數據，來生成深度圖DM。通過示例的方式，深度圖生成器404可將更高的權重分配給具有更高可靠性水平的相位差，并且可計算加權平均值。深度圖生成器404可基于計算的加權平均值來生成深度圖DM。
[0180]圖16是示出根據本發明構思的至少一個示例實施例的圖像生成裝置的框圖。參照圖16，圖像生成裝置500可包括:相位差計算器503、深度圖生成器504、相位差預測器506、空間頻率計算器507以及可靠性水平計算器508。
[0181]根據本發明構思的至少一個示例實施例，圖像生成裝置500可包括被具體構造為實現在此描述的由圖像生成裝置500(或其元件)執行的操作中的一些或全部的一個或多個電路或電路系統(例如，硬件)，或者可通過被具體構造為實現在此描述的由圖像生成裝置500(或其元件)執行的操作中的一些或全部的一個或多個電路或電路系統(例如，硬件)來實現圖像生成裝置500。根據本發明構思的至少一個示例實施例，圖像生成裝置500可包括存儲器以及一個或多個處理器或者通過存儲器以及一個或多個處理器來實現，其中，所述一個或多個處理器執行存儲在存儲器中并包括與在此描述的由圖像生成裝置500(或其元件)執行的操作中的一些或全部相應的指令的計算機可讀代碼(例如，軟件)。根據本發明構思的至少一個示例實施例，可通過例如上述的硬件和執行計算機可讀代碼的處理器的組合，來實現圖像生成裝置500。
[0182]相位差計算器503、深度圖生成器504、相位差預測器506、空間頻率計算器507以及可靠性水平計算器508可被實現在圖像傳感器芯片1330(參照圖1)和圖像信號處理器1350(參照圖1)之一中，或者可被實現為被分布到圖像傳感器芯片1330和圖像信號處理器1350。可選地，相位差計算器503、深度圖生成器504、相位差預測器506、空間頻率計算器507和可靠性水平計算器508可與圖像傳感器芯片1330和圖像信號處理器1350分開提供。
[0183]相位差計算器503可接收第一相位信號PSl和第二相位信號PS2。相位差計算器503可分別基于第一相位信號PSl和第二相位信號PS2來計算第一相位差roi和第二相位差TO2。深度圖生成器504可基于第一相位差roi和第二相位差TO2來生成深度圖DM。
[0184]相位差計算器503和深度圖生成器504的配置和功能可包括已經參照圖7至圖9(例如，參照圖像生成裝置100)描述的相位差計算器103和深度圖生成器104的配置和功能。為了描述的簡潔，以下將省略與相位差計算器503和深度圖生成器504相關聯的冗余描述。
[0185]相位差預測器506可基于第一相位差PDl來預測將被計算作為第二相位差PD2的值。相位差預測器506可將預測的值PV提供給深度圖生成器504。相位差預測器506的配置和功能可包括圖13的相位差預測器206的配置和功能。為了描述的簡潔，以下將省略與相位差預測器506相關聯的冗余描述。
[0186]空間頻率計算器507可接收圖像信號IS。可通過包括在圖像傳感器1331(參照圖2至圖6)中的多個圖像傳感器像素來生成圖像信號IS。空間頻率計算器507可通過處理圖像信號IS，來生成與捕獲對象的圖像相關聯的空間頻率信息SF。空間頻率計算器507的配置和功能可包括圖14的空間頻率計算器307的配置和功能和/或圖15的空間頻率計算器407的配置和功能。為了描述的簡潔，以下將省略與空間頻率計算器507相關聯的冗余描述。
[0187]可靠性水平計算器508可計算與第一相位差HH相關聯的第一可靠性水平。可靠性水平計算器508可計算與第二相位差TO2相關聯的第二可靠性水平。通過本發明構思的至少一個示例實施例的方式，可靠性水平計算器508可基于由相位差預測器506預測的值PV、第一相位差ro1、第二相位差TO2、空間頻率信息SF以及它們的組合中的至少一個，來計算可靠性水平RL。可靠性水平計算器508的配置和功能可包括圖15的可靠性水平計算器408的配置和功能。為了描述的簡潔，以下將省略與可靠性水平計算器508相關聯的冗余描述。
[0188]在透鏡1310(參照圖1)的移動方向與空間頻率的改變之間必須具有一致性。此外，期望第一相位差PDl和第二相位差TO2不包括誤差，并且由相位差預測器506預測的值PV與由相位差計算器503實際計算的第二相位差TO2相同。當在透鏡1310的移動方向與空間頻率的改變之間沒有一致性時，或者當預測的值PV與第二相位差TO2不同時，可靠性水平計算器508可參照不一致性和誤差來計算可靠性水平RL。
[0189]深度圖生成器504可基于可靠性水平RL以及第一相位差HH和第二相位差TO2來生成深度圖DM。在一個示例實施例中，深度圖生成器504可通過將第一可靠性水平和第二可靠性水平反映到基于第一相位差PDl生成的第一深度數據和基于第二相位差TO2生成的第二深度數據，來生成深度圖DM。已經參照圖15描述了該示例實施例。
[0190]可使用諸如模擬電路和邏輯電路的硬件來實現相位差計算器503、深度圖生成器504、相位差預測器506、空間頻率計算器507和可靠性水平計算器508中的每個。可選地，可通過軟件來實現相位差計算器503、深度圖生成器504、相位差預測器506、空間頻率計算器507和可靠性水平計算器508的功能。
[0191]根據本發明構思的任何示例實施例或可選地根據本發明構思的至少一些示例實施例的圖像生成裝置可占用較小的面積或體積。此外，根據本發明構思的任何示例實施例或可選地根據本發明構思的至少一些示例實施例，圖像生成裝置可通過參照多個深度數據校正誤差，來生成具有更高可靠性的深度圖。
[0192]圖17是示出根據本發明構思的至少一個示例實施例的圖像生成裝置的框圖。參照圖17，圖像生成裝置600可包括:相位差計算器603、深度圖生成器604以及深度圖后處理器609。
[0193]根據本發明構思的至少一個示例實施例，圖像生成裝置600可包括被具體構造為實現在此描述的由圖像生成裝置600(或其元件)執行的操作中的一些或全部的一個或多個電路或電路系統(例如，硬件)，或者可通過被具體構造為實現在此描述的由圖像生成裝置600(或其元件)執行的操作中的一些或全部的一個或多個電路或電路系統(例如，硬件)來實現圖像生成裝置600。根據本發明構思的至少一個示例實施例，圖像生成裝置600可包括存儲器以及一個或多個處理器或者通過存儲器以及一個或多個處理器來實現，其中，所述一個或多個處理器執行存儲在存儲器中并包括與在此描述的由圖像生成裝置600(或其元件)執行的操作中的一些或全部相應的指令的計算機可讀代碼(例如，軟件)。根據本發明構思的至少一個示例實施例，可通過例如上述的硬件和執行計算機可讀代碼的處理器的組合，來實現圖像生成裝置600。
[0194]相位差計算器603、深度圖生成器604以及深度圖后處理器609可被實現在圖像傳感器芯片1330(參照圖1)和圖像信號處理器1350(參照圖1)之一中，或者可被實現為被分布到圖像傳感器芯片1330和圖像信號處理器1350。可選地，相位差計算器603、深度圖生成器604和深度圖后處理器609可與圖像傳感器芯片1330和圖像信號處理器1350分開提供。
[0195]相位差計算器603可接收第一相位信號PSl和第二相位信號PS2。相位差計算器603可分別基于第一相位信號PSl和第二相位信號PS2來計算第一相位差HH和第二相位差TO2。深度圖生成器604可基于第一相位差I3Dl和第二相位差TO2來生成深度圖DM。
[0196]相位差計算器603和深度圖生成器604的配置和功能可包括已經參照圖7至圖9(例如，參照圖像生成裝置100)描述的相位差計算器103和深度圖生成器104的配置和功能。為了描述的簡潔，以下將省略與相位差計算器603和深度圖生成器604相關聯的冗余描述。
[0197]深度圖后處理器609可改變深度圖DM的分辨率。根據本發明構思的至少一個示例實施例，深度圖后處理器609可對對象圖像和深度圖DM執行圖像配準。對象圖像可以是基于由包括在圖像傳感器1331(參照圖2至圖6)中的多個圖像傳感器像素生成的圖像信號而生成的圖像。深度圖后處理器609可通過執行圖像配準來生成具有改變的分辨率的深度圖DM，。
[0198]例如，如圖4中所示，當多個相位檢測像素被配置為與多個圖像傳感器像素不重疊時，深度圖DM可具有比對象圖像的分辨率低的分辨率。深度圖后處理器609可參照對象圖像來估計與深度數據未被獲得的圖像區域相應的深度數據。例如，深度圖后處理器609可通過提取包括在對象圖像中的邊緣分量并對邊緣分量和深度圖DM執行圖像配準，來估計與深度數據未被獲得的圖像區域相應的深度數據。
[0199]在以上所描述的示例中，深度圖后處理器609可基于深度圖DM和估計的深度數據來生成具有改變的分辨率的深度圖DM’。例如，深度圖DM’可通過增強深度圖DM的分辨率而具有與對象圖像的分辨率相同的分辨率。
[0200]然而，本發明構思的至少一些示例實施例不受限于以上的示例。深度圖后處理器609可以以各種方式來改變深度圖DM的分辨率。深度圖DM’可具有與對象圖像的分辨率不同的分辨率。深度圖DM的分辨率可被增強或降低。此外，如圖3中所示，當一個像素單元被用作相位檢測像素以及圖像傳感器像素時，深度圖后處理器609可被應用于改變深度圖DM的分辨率。
[0201]通過一個示例的方式，深度圖后處理器609可被配置為當特定條件被滿足時進行操作。在該示例中，圖像生成裝置600還可包括用于確定深度圖后處理器609是否將進行操作的確定邏輯或確定電路。通過另一示例的方式，圖像生成裝置600還可包括附加控制信號線或附加用戶接口。圖像生成裝置600可通過附加控制信號線或附加用戶接口來接收用于操作深度圖后處理器609的指令。
[0202]圖18是示出根據本發明構思的至少一個示例實施例的包括圖像生成裝置的電子裝置及其接口的框圖。可使用可采用或支持由移動行業處理器接口(M頂P)聯盟提出的接口的數據處理裝置來實現電子系統5000。例如，可使用諸如便攜式通信終端、個人數字助手(PDA)、便攜式媒體播放器(PMP)、智能手機或可穿戴裝置的電子裝置來實現電子系統5000。
[0203]電子系統5000可包括:應用處理器5100、顯示器5220以及圖像傳感器5230。應用處理器5100可包括DigRF主站(master)5110、顯示器串行接口(DSI)主機5120、相機串行接口(CSI)主機5130、物理層(PHY)5140以及圖像信號處理器(ISP)5150。
[0204]DSI主機5120可按照DSI與顯示器5220的DSI裝置5225進行通信。例如，光學串行器(SER)可被實現在DSI主機5120中。例如，光學解串器(DES)可被實現在DSI裝置5225中。
[0205]CSI主機5130可按照CSI與圖像傳感器5230的CSI裝置5235進行通信。例如，光學DES可被實現在CSI主機5130中。例如，光學SER可被實現在CSI裝置5235中。ISP 5150可通過存儲器(例如，工作存儲器(working memOry)5250或應用處理器5100的嵌入式存儲器)和總線來與CSI主機5130進行通信。
[0206]可根據已經參照圖1至圖17描述的本發明構思的至少一些示例實施例中的至少一個來配置ISP 5150、圖像傳感器5230以及它們的任何組合中的至少一個。例如，如圖10中所描述，圖像傳感器5230可將透鏡移動到兩個或更多個位置中的每個位置，可使用多個相位檢測像素來生成多個深度數據，并且可基于多個深度數據來生成深度圖。例如，如圖11中所描述，ISP 5150可生成透鏡驅動信號以將透鏡移動到兩個或更多個位置中的每個位置，并且可基于使用多個相位檢測像素生成的多個深度數據來生成深度圖。以下將省略關于本發明構思的至少一些示例實施例的冗余描述。
[0207]電子系統5000還可包括與應用處理器5100通信的射頻(RF)芯片5240 JF芯片5240可包括:PHY 5242、DigRF從站5244以及天線5246。例如，RF芯片5240的PHY 5242與應用處理器5100的PHY 5140可通過由MIPI聯盟提出的DigRF接口來互相交換數據。
[0208]電子系統5000還可包括工作存儲器5250和嵌入式/卡存儲器5255。工作存儲器5250和嵌入式/卡存儲器5255可存儲從應用處理器5100提供的數據。此外，工作存儲器5250和嵌入式/卡存儲器5255可將存儲在其內的數據提供給應用處理器5100。
[0209]工作存儲器5250可暫時地存儲被應用處理器5100處理的數據或將被應用處理器5100處理的數據。工作存儲器5250可包括易失性存儲器(諸如，靜態隨機存取存儲器(SRAM)、動態RAM(DRAM)和同步DRAM(SDRAM))和/或非易失性存儲器(諸如，閃存、相變RAM(PRAM)、磁阻式RAM(MRAM)、電阻式RAM(ReRAM)和鐵電RAM(FRAM))。嵌入式/卡存儲器5255可不管電源而存儲數據。
[0210]電子系統5000可通過通信模塊(諸如，全球微波互聯接入(Wimax)5260、無線局域網(WLAN)5262、超寬帶(UWB)以及它們的任何組合中的至少一個)來與外部系統進行通信。電子系統5000還可包括用于處理聲音信息的揚聲器5270和麥克風5275。此外，電子系統5000還可包括用于處理位置信息的全球定位系統(GPS)裝置5280。電子系統5000還可包括用于管理與外圍裝置的連接的橋芯片(bridge chip)5290。
[0211]根據本發明構思的至少一些示例實施例，可減小由圖像生成裝置占用的面積或體積。此外，根據本發明構思的至少一些示例實施例，圖像生成裝置可通過參照多個深度數據校正誤差，來生成具有更高可靠性的深度圖。
[0212]應僅從概念的角度來理解每個概念圖中示出的配置。為了理解本發明構思的示例實施例，每個概念圖中示出的每個組件的形狀、結構和尺寸被夸大或縮小。實際實現的配置可具有與每個概念圖的配置不同的物理形狀。本發明構思的至少一些示例實施例不受限于每個概念圖中示出的物理形狀或尺寸。
[0213]提供每個框圖中示出的裝置配置以幫助理解本發明構思的至少一些示例實施例。每個塊可根據功能由更小的塊形成。可選地，多個塊可根據功能形成更大的塊。也就是說，本發明構思的至少一些示例實施例不受限于框圖中所示的組件。
[0214]因此已經描述本發明構思的示例實施例，將顯然的是，可以以許多方式進行變化。這樣的變化不應被視為脫離本發明構思的示例實施例的預期的精神和范圍，并且將對本領域技術人員顯然的所有這樣的修改意在包括在權利要求的范圍內。
【主權項】
1.一種圖像生成裝置，包括: 圖像傳感器，包括被配置為生成與對象相應的圖像信號的多個圖像傳感器像素和被配置為生成被用于計算圖像之間的相位差的第一相位信號和第二相位信號的多個相位檢測像素，其中，第一相位信號在透鏡處于第一位置時被生成，第二相位信號在透鏡處于與第一位置不同的第二位置時被生成； 透鏡驅動器，被配置為調整透鏡的位置以調整透鏡與對象之間的距離； 相位差計算器，被配置為:基于第一相位信號來計算第一相位差，并基于第二相位信號來計算第二相位差； 深度圖生成器，被配置為:分別基于第一相位差和第二相位差生成第一深度數據和第二深度數據，并基于第一深度數據和第二深度數據來生成深度圖，其中，第一深度數據和第二深度數據中的每個與所述多個相位檢測像素和對象之間的距離相關聯。2.如權利要求1所述的圖像生成裝置，還包括: 相位差預測器，被配置為基于第一相位差來預測第二相位差的值。3.如權利要求2所述的圖像生成裝置，其中，相位差計算器被配置為:隨著透鏡在透鏡驅動器的控制下從第一位置移動到第二位置，在第二相位差被計算之前，計算第一相位差， 其中，相位差預測器被配置為:在透鏡移動到第二位置之前或在透鏡移動到第二位置的同時，預測第二相位差的值。4.如權利要求2所述的圖像生成裝置，其中，深度圖生成器被這樣配置:當由相位差預測器預測的值與由相位差計算器計算的第二相位差之間的差大于參考值時，深度圖生成器參照所述差來生成深度圖。5.如權利要求1所述的圖像生成裝置，其中，所述多個相位檢測像素中的每個對應于所述多個圖像傳感器像素中的兩個。6.如權利要求1所述的圖像生成裝置，其中，所述多個相位檢測像素被布置在與所述多個圖像傳感器像素不同的位置中，使得所述多個相位檢測像素與所述多個圖像傳感器像素不重疊。7.如權利要求1所述的圖像生成裝置，還包括: 空間頻率計算器，被配置為:通過處理圖像信號來生成與捕獲對象的圖像相關聯的空間頻率的信息。8.如權利要求7所述的圖像生成裝置，其中，空間頻率計算器被配置為: 當透鏡被放置在第一位置時，生成第一空間頻率信息， 當透鏡被放置在第二位置時，生成第二空間頻率信息。9.如權利要求8所述的圖像生成裝置，其中，空間頻率計算器還被配置為:基于第一空間頻率信息和第二空間頻率信息，來獲得當透鏡從第一位置移動到第二位置時空間頻率值的變化的方向和變化的量中的至少一個， 其中，深度圖生成器被配置為參照空間頻率值的變化的方向和變化的量中的至少一個來生成深度圖。10.如權利要求1所述的圖像生成裝置，還包括: 圖像傳感器芯片，其中，圖像傳感器芯片包括所述圖像傳感器、所述透鏡驅動器、所述相位差計算器和所述深度圖生成器。11.一種圖像生成裝置，包括: 相位差計算器，被配置為:接收由包括在圖像傳感器中的多個相位檢測像素生成的第一相位信號和第二相位信號，基于第一相位信號計算第一相位差，并基于第二相位信號計算第二相位差，其中，第一相位信號在透鏡處于第一位置時被生成，透鏡被配置為沿距對象的距離增大或減小的方向移動，第二相位信號在透鏡處于與第一位置不同的第二位置時被生成； 透鏡位置控制器，被配置為:基于第一相位差和第二相位差中的至少一個來計算用于聚焦對象的透鏡的聚焦位置，并生成透鏡驅動信號以將透鏡移動到聚焦位置； 深度圖生成器，被配置為:分別基于第一相位差和第二相位差生成第一深度數據和第二深度數據，并基于第一深度數據和第二深度數據生成深度圖，其中，第一深度數據和第二深度數據中的每個與所述多個相位檢測像素和對象之間的距離相關聯。12.如權利要求11所述的圖像生成裝置，其中，第一位置和第二位置之一對應于聚焦位置。13.如權利要求11所述的圖像生成裝置，還包括: 相位差預測器，被配置為基于第一相位差預測第二相位差的值； 空間頻率計算器，被配置為通過處理由包括在圖像傳感器中的多個圖像傳感器像素生成的圖像信號，來生成與捕獲對象的圖像相關聯的空間頻率的信息。14.如權利要求13所述的圖像生成裝置，還包括: 可靠性水平計算器，被配置為:基于由相位差預測器預測的值、由相位差計算器計算的第二相位差和當透鏡從第一位置移動到第二位置時空間頻率值的變化的方向中的至少一個，來計算與第一相位差相關聯的第一可靠性水平和與第二相位差相關聯的第二可靠性水平。15.如權利要求14所述的圖像生成裝置，其中，深度圖生成器被配置為:通過基于第一可靠性水平和第二可靠性水平將權重值應用于第一深度數據和第二深度數據，來生成深度圖。16.如權利要求11所述的圖像生成裝置，還包括: 深度圖后處理器，被配置為:通過對對象圖像和深度圖執行圖像配準來改變深度圖的分辨率，其中，對象圖像基于由包括在圖像傳感器中的多個圖像傳感器像素生成的圖像信號而被生成。17.如權利要求11所述的圖像生成裝置，還包括:包括應用處理器的操作處理裝置，操作處理裝置被配置為實現所述相位差計算器、所述透鏡位置控制器和所述深度圖生成器。18.—種被配置為生成深度圖的圖像生成裝置，所述圖像生成裝置包括: 相位差計算器，被配置為:分別基于第一相位信號和第二相位信號計算第一相位差和第二相位差，其中，第一相位信號在透鏡處于第一位置時通過多個相位檢測像素被生成，透鏡被配置為沿距對象的距離增大或減小的方向移動，第二相位信號在透鏡處于與第一位置不同的第二位置時通過所述多個相位檢測像素被生成； 深度圖生成器，被配置為:分別基于第一相位差和第二相位差生成第一深度數據和第二深度數據，并基于第一深度數據和第二深度數據生成深度圖，其中，第一深度數據和第二深度數據中的每個與所述多個相位檢測像素和對象之間的距離相關聯。19.如權利要求18所述的圖像生成裝置，還包括: 相位差預測器，被配置為基于第一相位差預測第二相位差的值， 其中，相位差計算器和深度圖生成器被這樣配置:當由相位差預測器預測的值與由相位差計算器計算的第二相位差不同時， 相位差計算器基于第三相位信號計算第三相位差，其中，第三相位信號在透鏡處于與第一位置和第二位置不同的第三位置時通過所述多個相位檢測像素被生成； 深度圖生成器基于第三相位差來生成與所述多個相位檢測像素和對象之間的距離相關聯的第三深度數據，并且基于第一深度數據至第三深度數據生成深度圖。20.如權利要求18所述的圖像生成裝置，還包括: 空間頻率計算器，被配置為:通過處理當透鏡被放置在第一位置時由多個圖像傳感器像素生成的第一圖像信號，來生成與捕獲對象的第一圖像相關聯的第一空間頻率信息，通過處理當透鏡被放置在第二位置時由所述多個圖像傳感器像素生成的第二圖像信號，來生成與捕獲對象的第二圖像相關聯的第二空間頻率信息，并基于第一空間頻率信息和第二空間頻率信息，來獲得空間頻率值的變化的方向； 可靠性水平計算器，被配置為:基于空間頻率值變化的方向，計算與第一相位差相關聯的第一可靠性水平和與第二相位差相關聯的第二可靠性水平， 其中，深度圖生成器被配置為:通過基于第一可靠性水平和第二可靠性水平將權重值應用于第一深度數據和第二深度數據，來生成深度圖。21.—種圖像生成裝置，包括: 透鏡； 圖像傳感器，包括被配置為生成與對象相應的圖像信號的多個圖像傳感器像素和被配置為生成第一相位信號和第二相位信號的多個相位檢測像素，其中，透鏡的位置相對于圖像傳感器的位置是可移動的，第一相位信號基于透鏡相對于圖像傳感器位于第一位置而被生成，第二相位信號基于透鏡相對于圖像傳感器位于第二位置而被生成； 存儲器，存儲計算機可讀指令； 一個或多個處理器，被配置為執行指令，使得: 基于第一相位信號確定第一相位差， 基于第二相位信號確定第二相位差， 分別基于第一相位差和第二相位差生成第一深度數據和第二深度數據，其中，第一深度數據和第二深度數據中的每個指示所述多個相位檢測像素與對象之間的距離， 基于第一深度數據和第二深度數據生成深度圖。22.如權利要求21所述的圖像生成裝置，還包括: 透鏡驅動器，被配置為選擇性地改變透鏡相對于圖像傳感器的位置。23.如權利要求22所述的圖像生成裝置，其中，所述一個或多個處理器還被配置為:基于第一相位差預測第二相位差的值。24.如權利要求23所述的圖像生成裝置， 其中，所述一個或多個處理器被配置為: 隨著透鏡在透鏡驅動器的控制下從第一位置移動到第二位置，在第二相位差被計算之前，計算第一相位差， 在透鏡在透鏡驅動器的控制下移動到第二位置之前或在透鏡在透鏡驅動器的控制下移動到第二位置的同時，預測第二相位差的值。
【文檔編號】H04N13/02GK105898281SQ201610074226
【公開日】2016年8月24日
【申請日】2016年2月2日
【發明人】王泰植
【申請人】三星電子株式會社