智能照明飛行時間系統和方法與流程

本發明大體涉及相機系統，并且，更具體地，涉及智能照明飛行時間系統和方法。

背景技術：

許多現有的計算系統包括一個或多個傳統的圖像捕獲相機作為集成的外圍設備。當前的趨勢是通過集成深度捕獲到它的圖像部件而加強計算系統成像能力。深度捕獲可以被用于，例如，執行各種智能目標識別功能，例如面部識別(例如安保系統解鎖)或者手勢識別(例如非接觸式用戶界面功能)。

一種被稱為“飛行時間”成像的深度信息捕獲方法從系統發射光到物體并且對圖像傳感器的多個像素中的每一個，測量光的發射和在傳感器上的它的反射的圖像的接收之間的時間。由飛行時間像素產生的圖像對應于目標的三維輪廓，其以在每個不同的(x,y)像素位置的唯一的深度測量(z)為特征。

由于許多具有成像能力的計算系統本質上是可移動的(例如，筆記本電腦、平板電腦、智能手機等)，光源(“照明器”)集成到系統中以達成飛行時間操作呈現許多設計挑戰，例如成本挑戰、封裝挑戰和/或電源消耗挑戰。

技術實現要素：

描述了一種裝置，其包括具有照明器的飛行時間相機系統。所述照明器具有光學部件和光源。所述光學部件和光源被設計以在照明器的發射光功率上限基本上照明在相機系統的視場中較小的區域，較小的區域基本上包含了在視場中的關注目標。

描述了一種裝置，其包括用于在飛行時間相機的照明器的光功率上限，照明關注區域的手段，所述關注區域被成形為包含在飛行時間相機的視場中的關注目標，所述關注區域小于所述視場。裝置還包括用于利用飛行時間測量技術確定在所述區域中的深度輪廓信息的手段。

附圖說明

下述描述和附圖被用于說明本發明的實施例。在附圖中：

圖1a(i)和1a(ii)涉及第一可能的智能照明特征；

圖1b(i)、1b(ii)和1b(iii)涉及分區的智能照明方法；

圖1c(i)和1c(ii)也涉及分區的智能照明方法；

圖1d(i)和1d(ii)涉及另一可能的智能照明特征；

圖1e示出了用于分區的視場的光源的實施例；

圖2a到2e涉及在智能照明系統中的掃描；

圖3示出了智能照明系統的實施例；

圖4a到4c示出了智能照明方法的實施例；

圖5示出了第一照明器實施例；

圖6示出了第二照明器實施例；

圖7示出了第三照明器實施例；

圖8a和8b示出了第四照明器實施例；

圖9示出了2D/3D相機系統；

圖10示出了計算系統。

具體實施方式

智能照明飛行時間系統解決了在背景技術部分提到的一些設計挑戰。如將要在下面討論的，智能照明牽涉對飛行時間系統的發射光的任意或所有的尺寸、形狀或移動的智能操作。飛行時間系統，以及特別地，集成在電池供電系統中的飛行時間系統，通常展現出在對能量供應的需求與對光信號的發射強度和接收強度的需求之間的權衡。

也就是說，隨著照明光信號強度增長，接收到的光信號強度提高。更好的接收的光信號強度引起飛行時間系統的更好的準確性和性能。然而，支持更高的發射光信號強度引起更昂貴的電池解決方案和/或較大的電池壽命上的耗盡，這兩者的任一個可以是在用戶享受和/或具有飛行時間測量的系統的接受上的缺點。

智能照明通過聚集照明光功率到照明的較小的面積中而力爭解決這個問題，所述照明的較小的面積被引導到相機視場中的關注區域上。通過聚焦光功率到照明的較小的面積中，接收的光信號強度和飛行時間系統性能被加強，而不必增加從電池汲取的能量。因此，前述用戶察覺的缺點可以被可接受地最小化。

光的較小區域的使用牽涉將照明的較小的區域引導到相機視場中關注區域的能力。關注區域是，例如，小于相機視場的，并且就獲得深度信息而言比視場中的其他面積優先級更高的在相機視場中的面積。關注區域的示例包括存在其深度信息是被期望的目標的區域或者之前進行的飛行時間測量產生差的接收信號強度的區域。

因此，在在視場中關注區域被識別之后，照明系統接收指示關注區域的信息并將光強度聚集在關注區域上。聚集光強度到關注區域可以牽涉在光照器的功率限度上或在光照器的功率限度附近發射光學光，但是將所述光主要引導到關注區域上。

第一示例包括，對于具有單一光源的照明器，在照明器的功率限度從光源發射光以及將光的較小的“光斑”聚焦在關注區域。第二示例包括，對于具有多個光源的照明器，在照明器的功率限度從其中一個光源發射光以使其他光源的光必需保持關閉以及將光束從照明光源引導到關注區域。

其他智能照明策略可以通過用比全照明器功率小的功率照明關注區域而利用較小的關注區域的照明。例如，如果關注區域足夠小，有關區域的足夠準確的信息可以是用比全照明器功率小的功率可得到的。

各種智能照明系統的可能的特征在下面詳細的討論。通常，然而，智能照明系統可以被設計為改變被照明區域的尺寸和形狀兩者或兩者之一以便照明在相機視場中的關注目標。此外，智能照明系統可以被設計為改變被照明區域的位置，例如，通過在視場中掃描發射束。

如下面討論的圖1a到1d涉及改變被照明區域尺寸和形狀的方面。相比之下，如下面討論的圖2a到2c涉及改變被照明區域位置的方面。

圖1a(i)和1a(ii)說明被照明區域的尺寸可以在將被照明的關注目標的視圖中被調整。也就是說，在圖1a(i)的第一情形111中，第一、較小的關注目標102在相機的視場101中消耗較小的面積。因此，由照明器發射的關注的被照明區域103的尺寸被收縮到包含較小的關注目標102。相比之下，在圖1a(ii)的情形112中，第二、更大的關注目標104在相機的視場101中消耗較大的面積。因此，由照明器發射的關注的被照明區域105被擴展到包含較大的關注目標104。

被照明區域103、105的尺寸的收縮和擴展可以，例如，用具有可移動光學部件(例如，可移動光源、可移動透鏡、可移動反光鏡等)的照明器實現。在照明器中的光學部件的被控制的移動可以被用于可控地設定被照明區域的尺寸。具有可移動光學部件的照明器的示例進一步在下面關于圖5a到5c被更詳細地討論。

可替代地，如圖1b(i)和1b(ii)所示，視場101可以被分區成不同的部分，所述部分可以單獨地被照明(例如，如圖1b(i)所示，視場被分區成九個不同的部分106_1到106_9)。如圖1b(i)的情形121中所示，較小的關注目標107通過照明分區中的一個分區(分區106_1)而被照明。相比之下，如圖1b(ii)的情形122中所示，較大的關注目標109通過照明分區中的四個分區(分區106_1、106_2、106_4和106_5)而被照明。因此，圖1b(ii)的被關注的被照明區域110明顯大于圖1b(i)的被關注的被照明區域108。

參照圖1b(ii)注意到整個的視場可以通過同時照明所有分區，或者，通過接連單獨地照明每個分區(或兩種方法的某種混合)而被照明。前種方法易于引發更弱的接收光信號。后種方法可以用在單獨被照明的分區上更高的光聚集執行，但是以掃描視場需要的時間為代價。這里，接連照明每個分區對應于掃描的形式。掃描進一步在下面關于圖2a到2e更詳細地描述。

在視場中被分區的區域的照明可以用分區的光源實現。圖1b(iii)描繪了示例性的被分區的照明器光源117的頂視圖(向照明器的表面的里面看)，所述照明器光源117具有九個單獨的光源113_1到113_9。在各種實施例中，每個單獨的光源實施為垂直腔側發射激光器(VCSELs)或發光二極管(LEDs)并且負責照明特定分區。所有單獨光源113_1到113_9可以集成，例如，在相同的半導體芯片上。在一實施例中，每個單獨的光源被實施為光源器件(VCSELs或LEDs)的陣列使得整個的光照器功率預算可以用在只照明單一區域(在這種情況下，其他區域的單獨的光源必須關閉)。

如果照明器光源117被用于圖1b(i)的情形121，單獨的光源113_1將被開啟以照明分區106_1。相比之下，如果照明器光源117被用于圖1b(ii)的情形112，單獨的光源113_1、113_2、113_4和113_5將被開啟。更多有關具有分區的視場的照明器的細節和對應的光源實施例進一步在下面更詳細地描述。

圖1c(i)示出了另一個分區方法，其中分區本身不全是相同的尺寸。也就是說，存在具有不同尺寸的不同分區。由于不同尺寸的分區，被照明區域的尺寸可以通過依次照明不同尺寸的分區而改變。例如，如果只有較小的分區被照明并且然后只有較大的分區被照明，則被照明區域的尺寸將擴展。圖1c(i)的分區方法的示例性的光源119如圖1c(ii)所示。注意照明較大分區的單獨的光源比照明較小分區的單獨的光源具有較大的潛在的光學功率輸出(例如，通過具有更多VCSELs或LEDs所說明的)。

注意，對相同發射光功率，被照明區域的尺寸的擴展和/或收縮(無論通過非分區的還是分區的原理)牽涉在被照明區域的尺寸和接收信號的強度之間的權衡。也就是說，對于相同的發射光功率，較小的被照明區域對應于較強的接收信號強度。相比之下，再對于恒定的發射光功率，較大的被照明區域對應于較弱的接收信號強度。

如果較大的被照明區域尺寸被期望但是在接收信號強度上無損失，則存在另一在被照明區域尺寸和將要被照明器消耗的功率的量之間的權衡。也就是說，為了增加被照明區域的尺寸但保持接收光信號強度，照明器(沒有如下述的任何掃描)通常將需要發射更強的光，其將導致照明器消耗更多能量。

一些智能照明系統可以被設計為在圖像傳感器保持最小接收光信號強度。在關注的被照明區域收縮的情況下，光強度可以被降低，因為每單位照明表面積的足夠強的光強度仍可以被保持。相反地，照明器功率可以隨著關注區域的尺寸擴展而增大。

此外，在關注區域較小的情況下，因為將被照明的目標更遠，發射光強度可以只稍微降低、保持恒定或甚至提高，因為接收光信號通常與從反射目標距相機的距離成反比。因此，當確定合適的照明器光功率時，智能照明系統除了考慮關注目標的尺寸還可以考慮它的距離。當設定照明特性時智能照明系統可以考慮的因素的更充分的討論在下面關于圖3被更詳細地描述。

在各種實施例中，被照明區域的形狀可以改變。圖1d(i)示出了第一情形131，當指向束(pointed beam)被指向視場中間時，指向束基本上為圓形，但是，如圖1d(ii)的情形132所示，當相同的束被指向被照明區域的視場的角時，指向束變為形狀更加地橢圓。指向束的移動，如將在下面更詳細地討論的，可以用具有可移動光學部件的照明器實現。

圖1e示出了用于分區視場方法的光源的實施例，其分區本身具有不同的形狀。因此，只照明具有第一形狀的第一分區，然后只照明具有第二、不同形狀的第二分區，將對應地在視場中產生改變形狀的被照明區域。

上面描述的圖1a到1e涉及智能照明系統，所述智能照明系統可以隨著系統試圖適當地照明出現在飛行時間相機系統視場中的不同的關注目標而改變被照明區域的尺寸和/或形狀。

相比之下，圖2a到2c涉及在相機視場中的發射光的掃描。掃描牽涉為了捕獲比被照明區域本身的尺寸大的全部的關注區域，隨著時間接收照明的區域的智能改變。這里，從上面的圖1a到1e回顧，隨著關注區域的擴展，為了保持足夠強的照明和對應的接收信號強度，發射光強度可能不得不增大。可以想象，一些關注區域可以足夠大，其適當的發射光強度超過期望或允許的照明器光預算。

掃描有助于在較大的關注區域上保持或增強接收信號強度，但是發射光功率強度沒有對應增大。也就是說，例如，通過在較大的關注區域上掃描照明的較小的“點”，即使用只足夠照明較小的點的光功率，對于較大的關注區域，深度信息可以被收集。

圖2a示出了如剛剛上面所述的掃描的示例。如圖2a所示，較大的關注目標205通過掃描較小的被照明區域照明，所述掃描最初從在時間T1的位置206到在時間T2的位置207并且然后到在時間T3的位置208并且最后在時間T4的位置209。圖2a的掃描可以例如用具有移動的光學部件的照明器來實現，所述光學部件能夠在視場中以掃描運動指向或掃掠光束。

可替代地或結合地，如圖2b所示，掃描可以用分區照明系統通過以開啟和關閉序列照明不同的分區達成。也就是說，如圖2b所示，第一分區211在時間T1被照明。緊接著，在時間t2，第一分區211被關閉，并且第二分區212被開啟。對于第三和第四分區213、214，類似的序列緊接著在時間t3和t4發生。于是，在所有四個分區中的關注區域可以在時間t1到t4被照明。

圖2c示出了掃描可以是不連貫的。也就是說，圖2a和2b的實施例假設下一個在掃描中將被照明的區域是與之前剛剛被照明的區域相鄰的。相比之下，圖2c說明了掃描可以包括照明不相鄰的兩個分開的區域。這里，在時間T1，第一區域221被照明。然后，在時間T2，第二區域222被照明，所述兩個區域在視場中相互不相鄰。不連貫的掃描可以被執行，例如，當“關注區域”包括在需要照明的視場中的兩個或更多不同的、非相鄰的面積或事項。不連貫掃描可以用分區以及非分區照明策略執行。

注意，圖2c的示例還示出，被照明區域的尺寸可以在掃描序列上改變(被照明區域222比被照明區域221大)。在掃描的過程中改變被照明區域尺寸不限于不連貫掃描并且可以是例如上面討論的圖2a和2b的連續掃描的特征。在分區掃描的情況下，改變被照明區域的尺寸是可能的，例如通過首先轉到第一分區并且然后轉到多個分區。

圖2d進一步示出了某分區的智能照明系統可以被設計為在分區中執行掃描。也就是說，照明器可以既具有分區的光源又具有可移動光學部件，使得在分區中較小的束在分區的表面積中被掃描以有效地照明分區。如圖2d所示，比分區尺寸較小的照明“點”在左上分區中被掃描以有效地照明左上分區。通過連續地或同時掃描每個分區(如在下面進一步關于圖2e的討論)或兩種方法的某種混合，整個的視場可以被掃描。

如上面討論的，各種照明器實施例能夠改變被照明區域的尺寸(通過改變發射光的束的橫截面)，同時其他照明器實施例涵蓋分區的方法，其中視場被分區并且照明器能夠單獨地照明每個分區。圖2d的方法可以被集成到具有這兩個特性的照明器中。也就是說，可以想象，其設計支持改變被照明區域尺寸的照明器可以構想地形成束，所述束足夠大以照明整個分區，并且還形成束，所述束比整個分區小使得它可以在分區中掃描。

圖2e示出了另一分區掃描方法，其中相應的分區同時用它們自己相應的光束掃描。在一實施例中，照明器被設計為不僅同時將分開的光束引導到每個分區還能夠掃描光束。能夠同時掃描在視場中的多個分區的照明器設計的實施例在下面進一步地被更詳細地描述。

注意，雖然圖2d的實施例針對分區的方法，其他實施例可以在區域上掃描，在所述區域中照明器設計不完全包括分區的設計(例如，特定的光束可以被引導到視場中的任何地方)。然而，同時的多束的掃描包括每條束，所述每條束具有在其中掃描的其自身相應的區域。這樣的區域可以被視為在同時多束掃描序列中的分區。

在上面討論的圖2a到2e的任何掃描方法，可以引入在收集關注區域的飛行時間信息所用的時間和關注區域大小之間的權衡。也就是說，對于恒定的被照明區域尺寸(例如，“點尺寸”)，隨著將要被照明的被關注的區域的尺寸增長，將會消耗更多掃描時間。反之，如果關注的區域增長，掃描時間可以通過增加照明的尺寸而降低，但是以增長的發射光功率(如果每單位面積光強度被保持)或者接收信號強度(如果每單位面積光強度被允許降低)為代價。

圖1a到1e和2a到2d的討論著重說明了在智能系統中存在的一些基本權衡，例如：1)在被照明區域尺寸和接收信號強度之間的權衡；2)在接收信號強度和照明器功率消耗之間的權衡；3)在被照明區域尺寸和掃描時間之間的權衡；4)在照明器功率和關注目標和相機之間的距離之間的權衡。另外的權衡可以包括關注目標的反射和發射光功率之間的權衡。這里，一般的飛行時間照明器將發射紅外(IR)光。如果將被照明的關注目標基本上反射IR光，照明器可以發射較小的光功率。相比之下，如果將被照明的關注目標沒有特別好地反射IR光，照明器可以增加它的發射光功率。

哪種權衡和/或哪個方向和任意特定的權衡應該有多重要應該是圍繞任意特定的照明情形的特定的環境的函數。

例如，考慮將要被照明的關注目標具有適中的尺寸并且遠離相機。這里，如果可用的功率預算大并且期望在短時間內完成讀取，智能照明控制系統可以選擇用高照明器功率完全地照明目標區域而不進行任何掃描。相比之下，在另一情況下，其中關注的物體大并且接近相機，但是可用的功率預算小并且缺乏馬上完成讀取的需要，相同的智能照明系統可以選擇形成較小的被照明區域并且在關注的區域上掃描它。

從這些例子，應該清楚的是，智能照明系統可以在用特定的被照明區域大小、照明器功率和是否發生任何掃描，照明特定關注區域之前考慮周圍的情況。

圖3示出了智能照明技術301集成到例如手持平板或智能手機的工作計算系統中。這里，智能照明技術可以，例如，在用于包括飛行時間測量能力的集成相機設備的設備驅動軟件和/或固件中部分或全部地實施。軟件/固件可以，例如，在計算系統的非易失性存儲器中(例如，FLASH固件或系統存儲器中)被存儲。

如圖3所示，智能照明技術軟件/硬件可以被實現為方法的系統，所述方法的系統被設計為被給定對應于深度輪廓圖像捕獲序列的周圍情況的一組輸入信號在前述權衡中尋求適當的平衡。

如圖3所示，智能照明方法301可以從主系統302接收一個或多個下列輸入參數：1)關注目標(其可以具體為目標是什么(例如手、臉等)和/或目標位置的特性和/或在視場中的形狀)；2)飛行時間測量有多么時間緊急(它需要被執行得多塊)；和3)飛行時間系統和/或它的照明器的功率預算(例如，具體為最大允許功率)。產生這些輸入參數的主系統302的部件可以包括智能目標識別軟件應用和/或硬件邏輯電路部件(例如，用于面部識別、手識別等)。主系統302的能量管理軟件、固件和/或硬件可以產生功率預算輸入信息。

智能照明方法301還可以從相機系統303b自身接收輸入信息，例如：1)關注目標與相機之間的距離；2)關注目標的反射性；3)關注目標的位置和/或形狀；4)背景光的強度。由相機提供的任何輸入參數可以在目標的(或者大體上說，視場)最初照明之后被提供。也就是說，例如，作為對來自主系統302的輸入的最初響應，飛行時間系統可以最初照明目標和/或視場作為第一遍。從所述第一遍收集的數據然后被呈現給智能照明方法301使得它們可以根據哪個區域被照明和發射光應該多強而更好地優化目標的捕獲。

為了產生對相機303b圖像捕獲控制命令，智能照明方法301用可應用的輸入參數有效地確定哪種權衡控制和/或哪個方向和任何特定的權衡應該有多重要，所述控制命令指定什么區域被照明、發射光的強度、是否應用任何掃描和例如如果應用，可應用的掃描參數(例如掃描時間、掃描速度、掃描圖案等)。

圖4a到4c示出了圖3的智能照明方法301可以被設計以執行的方法的另一實施例。如圖4a所示，最初，例如基本上覆蓋了相機的視場401的大面積410首先由飛行時間照明器照明。在一些實施例中，如圖4a所示，大面積410可以對應于整個視場401。在其他實施例中，大面積410可以對應于大部分但是小于整個視場401(例如大約視場410的33％、50％、60％、75％)。這里，注意，在視場401中大面積410的照明可以對應于更弱的接收光強度，因為發射的照明在更寬的表面積上被“鋪展”。

接收反射光的圖像傳感器包括測量在每個像素接收信號強度相對某閾值的電路(例如感測放大電路)。那些在弱光強度接收光的像素被識別(例如其接收光強度降低到閾值以下的像素被識別)。在許多情況下，如圖4b所示，預期的是，相鄰的像素組將降低到閾值以下，這進而對應于在視場401中的接收弱光信號的區域411的識別。

這里，圖3的智能照明方法301可以接收所有圖像傳感器的像素的信號強度信息并且應用閾值以確定區域411的尺寸和位置，或者，可替代地，可以只接收從降低到閾值以下的像素的特性并且從它們確定區域411。在識別弱信號區域411時，智能照明方法將如圖4c所示進行到以給飛行時間照明器指定指令以重照明這些相同區域411。

用更多聚集的光執行重照明以“提高(boost)”引導到區域411的光強度。所述聚集通過形成照明光的較小的區域(相較于照明整個視場)來實現，所述照明光，例如，具有與當視場被充溢時發射的照明器強度相同的量。利用更強的光對這些區域的重照明，飛行時間測量應該被完成，在于之前接收弱光信號的像素現在將接收足夠強的光信號。

在具有可移動光學部件的照明器的情況下，需要重照明的視場的部分可以通過移動一個或多個光學部件以將光束引導到每個區域上而被重照明。在具有分區視場的照明器的情況下，需要重照明的視場的部分通過照明他們對應的分區而重照明。在一個實施例中，被用于最初照明整個視場的光功率的相同的總量可以與被用于只照明被重照明的分區的功率總量相同。

圖5到8a、b提供了照明器不同的實施例，所述實施例能夠執行上述智能照明技術。

圖5示出了具有用于調整被照明區域尺寸(通過在光源上垂直移動透鏡)以及掃描照明區域或者至少將照明引導到相機的視場內的任意面積(通過在光源上使透鏡平面傾斜)的可移動透鏡組件501、502的照明器的實施例。

如圖5所示，光源503位于透鏡501下方，并且，當照明時，發射光通過透鏡傳播，并進入相機的視場。光源503例如可以被實施為具有紅外(IR)VCSELs或LEDs陣列的半導體芯片。陣列的使用有助于“增大”最大光輸出功率，其大致與NL共同延伸地進行，其中，N是在陣列中VCSELs/LEDs的數量并且L是每個VCSELs/LEDs的最大輸出功率。在一實施例中，在陣列中的所有VCSELs/LEDs接收相同的驅動電流，使得每個VCSELs/LEDs發射的光功率大約與在陣列中的其他VCSELs/LEDs相同。光輸出功率通過控制驅動電流的大小而控制。

各具有彈簧復位件533、534的一對音圈馬達531、532被用作致動器以限定沿透鏡501的外邊沿的兩個點的每個的垂直位置。透鏡501關于y軸的傾斜角度基本上由第一馬達531對它的復位彈簧533施加的力限定。透鏡502關于x軸的傾斜角度基本上由第一馬達532對它的復位彈簧534施加的力限定。從這些基本的情形，透鏡的任意傾斜角可以被建立為由馬達施加的對應的力以及由彈簧施加的反作用力的函數。透鏡支撐件501與復位彈簧的相對側上可以存在鉸鏈銷或球關節，例如，以允許透鏡支撐件501繞x和y軸樞轉。

此外，透鏡501的垂直位置可以通過相等地致動兩個馬達531、532建立。也就是說，如果兩個馬達531、531均向外伸出相等的量，透鏡將在+z方向被抬高。相應地，如果兩個馬達531、531均向內凹陷相等的量，透鏡將在-z方向被降低。替代上述鉸鏈銷或球關節，一個或多個另外的音圈致動器可以沿透鏡支撐件502的外周被定位以進一步穩定透鏡的傾斜角度和垂直定位兩者(例如三個120°間隔分開的致動器，四個90°間隔分開的致動器等)。

圖6示出了具有可移動光源603的照明器。光源本身可以實施為上面關于圖5討論的光源503。在圖6的方法中，透鏡組件定位基本上保持固定，但是光源安裝在其上的平臺或基底610是根據上面關于圖5的透鏡支撐件502討論的相同的原則可移動的。也就是說，音圈馬達致動器和復位彈簧對631/633、632/634可以被用于實現平臺610關于x和y軸兩者或兩者之一的傾斜角度。改變平臺的傾斜角度改變了發射光到透鏡中的入射角度，其轉而將改變從透鏡發射到相機視場中的光束的指向方向。

第三音圈致動器和復位彈簧對(未示出)可以耦合在除了音圈致動器和復位彈簧對631/633、632/634被定位的兩個邊沿的平臺610的邊沿上以實現平臺610沿z軸的移動，其轉而將影響在相機視場中被照明區域的尺寸(點尺寸)。

圖7示出了另一照明器實施例，其中光源712固定在機械臂713的下側，所述機械臂713以一角度取向，光源以該角度定位以將光引導到安裝在可移動平臺710上的反射鏡714。透鏡和透鏡支撐件在反射鏡上方的位置被固定，使得從反射鏡表面反射的光通過透鏡傳播到相機的視場中。光源可以如上面關于圖5和6所討論的被實施。

一組音圈馬達致動器和復位彈簧對731/733、732/734可以被用于實現平臺710關于x和y軸兩者或兩者之一的傾斜角度。改變平臺710的傾斜角度改變了發射光到透鏡中的入射角度，其轉而將改變從透鏡發射到相機視場中的光束的指向方向。

第三音圈致動器和復位彈簧對(未示出)可以耦合在除了音圈致動器和復位彈簧對731/733、732/734被定位的兩個邊沿的平臺710的邊沿上以實現平臺710沿z軸的移動，其轉而將影響在相機視場中光照區域的尺寸(點尺寸)。

圖6和7的照明器設計的任一個可以被加強以包括如圖5中討論的可移動透鏡布置。向圖6和圖7的設計中加入可移動透鏡能力可以，例如，提供更快的掃描時間和/或從照明器的較大的發射角度。圖6和7的每個可移動平臺610、710可以實施為微機電(MEM)設備以將光源(圖6)或反射鏡(圖7)放置在xy平面上的任意位置。

圖8a和8b示出了照明器的實施例，所述照明器被設計成單獨地照明視場中不同的分區。如圖8a和8b中所示的，照明器801包括具有用于視場中每個分區的光源陣列806_1到806_9的半導體芯片804。雖然圖8a和8b的特定的實施例示出了以正交網格布置的九個視場部分，分區的其他數量和/或布置可以被使用。類似地，雖然每個光源陣列被描繪為相同尺寸的NxN方塊陣列，在相同半導體管芯上包括不同尺寸和/或形狀的陣列的其他陣列圖案和/或形狀可以被使用。每個光源陣列106_1到106_9可以被實施為，例如，VCSELs或LEDs陣列。

根據圖8a和8b，在一實施例中，照明器801還包括光學元件807，所述光學元件807在面對半導體芯片804的底面上具有微透鏡陣列808并且具有用于每個分區的具有不同透鏡結構805的發射表面以將從它的特定的光源陣列接收的光引導到它的對應的視場分區。微透鏡陣列808的每個透鏡基本表現為較小的物鏡，其收集來自下側的光源的發散光并且當光接近發射表面時在光學元件內部將光成形成較小的發散。在一個實施例中，微透鏡被分配給下側的光源陣列的每個光源并且與下側的光源陣列的每個光源對齊，雖然其他的實施例可以存在，在所述其他實施例中，對于任意特定陣列，每個光源有更多或更少的透鏡。

微透鏡陣列808通過捕獲大部分從下側的激光器陣列發射的光學光和形成更聚集的束而加強光學效率。這里，各種陣列的單獨的光源一般具有寬的發射光發散角度。微透鏡陣列808能夠從陣列的光源收集大部分或所有發散的光并且有助于形成具有較小發散角的發射光束。

從光源陣列收集大部分或所有光并且形成更低發散角的束基本上形成更高的光功率束(也就是說，每單位表面積的光強度增大)，引起在傳感器對于被所述束照明的關注區域的更強的接收信號。根據計算，如果從光源陣列的發散角度是60°，降低發射束的發散角度到30°將以4.6的系數提高在傳感器處的信號強度。降低發射光的發散角度到20°將以10.7的系數提高在傳感器處的信號強度。

此外，光學元件807可以被設計成提供被收集光的進一步擴散，這通過，例如，用在IR光譜中為半透明的材料構建元件807和/或另外設計元件807內的光學路徑以施加散射內反射(例如將元件807構造為多層結構)。如上面簡要提到的，光學元件807的發射表面可以包括獨特的透鏡結構805，每個透鏡結構805被成形為將光引導到它的正確的視場分區。如圖8a和8b的實施例所示，每個透鏡結構805具有圓凸形狀。其他實施例可以具有，例如更銳利的梯形形狀或者根本沒有結構。

與上面關于圖5、6和7提供的討論一致，光學元件807還可以為可移動的，這例如通過機械地耦合，例如兩個或三個音圈馬達致動器和復位彈簧對來實現。通過設計光學元件807為可移動的，如上面關于圖2d討論的在分區中掃描單一束可以通過以掃描運動移動光學元件807同時只照亮與被掃描的分區相關聯的光源而達到。此外，如圖2e所示的多個分區的同時掃描可以通過照亮每個分區的相應的光源和以掃描運動移動光學元件807被實現。

圖9示出了集成的傳統相機和飛行時間圖像系統900。系統900具有用于與例如較大的系統/主板電連接的連接器901，所述較大的系統/主板例如臺式電腦、平板電腦或智能手機的系統/主板。根據布局和實施方式，連接器901可以連接于例如與系統/主板進行實際連接的柔性電纜，或連接器901可以直接與系統/主板進行連接。

連接器901固定于平面板902，所述平面板902實施為交替的導電層和絕緣層的多層結構，其中導電層被構圖以形成支持系統900的內部電連接的電子跡線。通過連接器901，命令從較大的主系統被接收，所述命令例如在相機系統900中向配置寄存器寫入配置信息或從配置寄存器讀取配置信息的配置命令。此外，命令可以為例如由上述關于圖3討論的智能技術方法301提供的任何輸出的與智能照明技術系統關聯的任何命令。

RGBZ圖像傳感器903在接收透鏡904下被安裝于平面板902。RGBZ圖像傳感器903包括具有RGBZ單位像素單元的像素陣列。所述RGB像素單元被用于支持傳統“2D”可見光捕獲(傳統的圖片采集)功能。Z像素單元對IR光敏感并且被用于利用飛行時間技術支持3D深度輪廓成像。雖然基本的實施例包括用于可見圖像捕獲的RGB像素，其他的實施例可以使用不同的彩色像素策略(例如，青色、品紅色和黃色)。

圖像傳感器903還可以包括用于數字化來自圖像傳感器的信號的ADC電路以及用于產生用于像素陣列和ADC電路的計時和控制信號的計時和控制電路。

平面板902可以包括信號跡線以將由ADC電路提供的數字信息傳送給連接器901以被主計算系統的更高端的組件處理，所述主計算系統的更高端的組件例如圖像信號處理流水線(例如，其被集成在應用處理器上)。

相機透鏡模塊904被集成在RGBZ圖像傳感器903之上。相機透鏡模塊904包含一個或多個透鏡的系統以聚焦接收到的光到圖像傳感器903。因為相機透鏡模塊904接收可見光可能干擾圖像傳感器的飛行時間像素單元接收IR光，并且，反之，因為相機模塊接收IR光可能干擾圖像傳感器的RGB像素單元接收可見光，圖像傳感器的像素陣列和透鏡模塊903兩者或兩者之一可以包含濾光片系統，所述濾光片系統被布置為基本上阻擋將由RGB像素單元接收的IR光以及基本上阻擋將由飛行時間像素單元接收的可見光。

與如在上面的討論中解釋的，與智能照明技術一致的能夠在視場中照明特定區域的照明器被安裝在平面板902上。照明器905可以被實施為，例如，上面關于圖5到圖8a、b討論的任意照明器。光源驅動器被耦合于照明器的光源907以導致它發射具有特定強度和調制波形的光。

在一實施例中，圖9的集成的系統900支持三種操作模式：1)2D模式；2)3D模式；和3)2D/3D模式。在2D模式的情況下，系統表現為傳統相機。因此，照明器905被禁用并且圖像傳感器被用于通過它的RGB像素單元接收可見圖像。在3D模式的情況下，系統在照明器905的視場下捕獲目標的飛行時間深度信息。因此，照明器905被啟用并且發射IR光(例如開啟-關閉-開啟-關閉…序列)到目標上。所述IR光從物體反射，通過相機透鏡模塊1504接收并且由圖像傳感器的Z像素感測。在2D/3D模式的情況下，上述2D模式和3D模式兩者同時被激活。

圖10示出了例如個人計算系統(例如臺式機或筆記本)或者移動或手持計算系統的示例性計算系統1000的描繪，所述移動或手持計算系統例如平板設備或智能手機。如圖10所示，基本計算系統可以包括設置在應用處理器或多核處理器1050上的中央處理單元1001(其可以包括例如多個通用處理核)和主存儲器控制器1017、系統存儲器1002、顯示器1003(例如觸屏、平板)、局部有線點對點連接(例如USB)接口1004、各種網絡I/O功能1005(例如以太網接口和/或蜂窩調制解調子系統)、無線局域網絡(例如WiFi)接口1006、無線點對點連接(例如藍牙)接口1007和全球定位系統接口1008、各種傳感器1009_1到1009_N、一個或多個相機1010、電池1011、電源管理控制單元1012、揚聲器和麥克風1013以及音頻編碼器/解碼器1014。

應用處理器或多核處理器1050可以包括在它的CPU 1001中的一個或多個通用處理核1015、一個或多個圖形處理單元1016、主存儲器控制器1017、I/O控制功能1018和一個或多個信號處理器流水線1019。通用處理核1015一般執行計算系統的操作系統和應用軟件。圖形處理單元1016一般執行圖形密集型函數(graphics intensive functions)以，例如產生在顯示器1003上呈現的圖形信息。存儲控制功能1017與系統存儲器1002相接口。圖像信號處理流水線1019從相機接收圖像信息并處理原始圖像信息供下游使用。能量管理控制單元1012通常控制系統1000的能量消耗。

每個觸屏顯示器1003、通信接口1004-1007、GPS接口1008、傳感器1009、相機1010和揚聲器/麥克風編碼解碼器1013、1014相對于在適當的情況下還包括集成的外圍設備(例如一個或多個相機1010)的整個計算系統，都可以被視為各種形式的I/O(輸入/輸出)。根據實施方式，這些I/O部件中的各種I/O部件可以被集成在應用處理器/多核處理器1050上或者可以被定位在管芯(die)外或者應用處理器/多核處理器1050的封裝外部。

在一實施例中，與在上面的討論中被解釋的智能照明技術一致，一個或多個相機1010包括能夠在相機視場中照明特定區域的照明器。在應用處理器或其他處理器的通用CPU核(或者具有指令執行流水線以執行程序代碼的其他功能塊)上執行的應用軟件、操作系統軟件、設備驅動器軟件和/或固件可以將智能照明命令或其他命令指向到相機系統和從相機系統接收圖像數據。可以通過相機1010接收的其他命令包括上面討論的用于進入2D、3D或2D/3D系統狀態中的任一狀態或從上述2D、3D或2D/3D系統狀態中任一狀態出來的命令。

智能照明技術本身可以被部分或全部地實施為下列中的任意一個或多個：1)在通過處理核上運行的軟件；2)系統固件(例如BIOS固件)；3)專用邏輯電路(例如設置在下列中的一個或多個：相機1010上，集成在ISP 1090中；與I/O或外圍控制器1080集成)。如上面討論的智能照明技術可以從能量管理控制單元接收輸入信息，所述能量控制單元本身可以被部分或全部地用一個或多個在通用處理核、系統固件、專用邏輯電路等上運行的軟件實施。

本發明的實施例可以包括如上所述的各種過程。所述過程可以在機器可執行指令中體現。所述指令可以被用于引起通用或專用處理器執行某個過程。可替代地，這些過程可以由包含用于執行所述過程的硬連線邏輯的特定硬件部件執行或通過編程的計算部件和定制硬件部件的任意結合執行。

本發明的元件還可以提供為用于存儲機器可執行指令的機器可讀介質。所述機器可讀介質可以包括，但是不限于，軟磁盤、光盤、CD-ROMs、和磁光盤、FLASH存儲器、ROM、RAM、EPROM、EEPROMs、磁性或光學卡、傳播介質或用于存儲電子指令的其他類型的介質/機器可讀介質。例如，本發明可以作為計算機程序下載，所述計算機程序可以通過數據信號的方式從遠程計算機(例如服務器)傳送到請求計算機(例如客戶機)，所述數據信號經由通信連接(例如調制解調或網絡連接)以載波或其他傳播媒介實現。

在前述說明書中，發明已經參考在其中的特定的示例性實施例被描述。然而，顯而易見的是，在不脫離如在所附權利要求中闡述的本發明的更廣泛的精神和范圍的情況下，可以對其進行各種修改和改變。因此，說明書和附圖被認為是說明性的而不是限制性的。