擴展激光深度圖范圍的方法
【專利摘要】本發明描述了用于通過從以不同光強度水平捕捉的和/或在不同傳感器積分時間捕捉的多個圖像的合成圖像得到深度信息而擴展深度圖的動態范圍的方法。在一些實施例中，在用第一光強度的光照明環境的同時，捕捉該環境的初始圖像。隨后在用一個或多個不同光強度的光照明該環境的同時，捕捉一個或多個后續圖像。這一個或多個不同的光強度可基于與之前捕捉的圖像相關聯的像素飽和度而被動態配置。初始圖像和一個或多個后續圖像可通過應用高動態范圍成像技術來被合成為合成圖像。
【專利說明】擴展激光深度圖范圍的方法
[0001]背景
[0002]深度圖一般包括環境的二維圖像，該圖像包括與從特定基準點到環境內的物體的距離有關的深度信息的。特定基準點可與圖像捕捉設備相關聯。二維圖像中的每一像素可與表示距該特定基準點的直線距離的深度值相關聯。可使用各種技術來生成深度圖，諸如結構化光照明和飛行時間技術。
[0003]結構化光照明涉及將光圖案投射到環境中，捕捉反射的光圖案的圖像，然后從相對于所投射的光圖案的、與反射的光圖案相關聯的間隔和/或畸變確定距離信息。光圖案可使用對裸眼不可見的光(例如，IR或UV光)來投射且可包括單點、單線或各種維度圖案(例如，水平和垂直線、或棋盤圖案)。在某些情況中，可能需要若干不同光圖案來生成準確的深度信息。
[0004]飛行時間技術可通過對從光源發射的光花費了多長時間來到達環境內的物體并從圖像傳感器反射回來進行計時來確定到物體的距離。在某些情況中，短光脈沖(或一系列光脈沖)可在第一時間點被投射到環境中，與該短光脈沖相關聯的反射可在第一時間點之后的第二時間點被捕捉。飛行時間系統可調整第一時間點和第二時間點之間的時間差，以便檢測與時間差相關聯的特定距離處(或距離的范圍上)的物體。
[0005]概述
[0006]描述了用于通過從以不同光強度水平捕捉的和/或在不同傳感器積分時間捕捉的多個圖像的合成圖像得到深度信息而擴展深度圖的動態范圍的技術。在一些實施例中，在用第一光強度的光照明環境的同時，捕捉該環境的初始圖像。隨后在用一個或多個不同光強度的光照明該環境的同時，捕捉一個或多個后續圖像。這一個或多個不同的光強度可基于與之前捕捉的圖像相關聯的像素飽和度而被動態配置。初始圖像和一個或多個后續圖像可通過應用高動態范圍成像技術來被合成為合成圖像。
[0007]—個實施例包括使用第一光強度水平將光圖案投射到第一環境中，在第一傳感器積分時間捕捉第一環境的第一圖像，確定與第一圖像相關聯的像素飽和度，并基于像素飽和度設置第二光強度水平。該方法還包括使用第二光強度水平將該光圖案投射到第一環境中，捕捉第一環境的第二圖像，將第一圖像和第二圖像合成為組合圖像，并基于組合圖像輸出深度圖。
[0008]提供本概述是為了以簡化的形式介紹將在以下詳細描述中進一步描述的選擇的概念。本概述不旨在標識出所要求保護的主題的關鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。
[0009]附圖簡述
[0010]圖1描繪了目標檢測和跟蹤系統的一個實施例，其中用戶正在玩拳擊游戲。
[0011]圖2描繪了目標檢測和跟蹤系統和捕捉設備的視野內的環境的一個實施例。
[0012]圖3示出了包括捕捉設備和計算環境的計算系統的一個實施例。
[0013]圖4A描繪了隨著時間投射到環境中的一系列光脈沖的一個實施例。
[0014]圖4B描繪了與圖4A中所描繪的相同的時間段上的一系列傳感器積分時間的一個實施例。
[0015]圖5A描繪了正被投射到環境中的第一光強度的光脈沖的一個實施例。
[0016]圖5B描繪了與圖5A中所描繪的相同的時間段上的一系列傳感器積分時間的一個實施例。
[0017]圖6A描繪了正被投射到環境中的第一光強度的光脈沖的一個實施例。
[0018]圖6B描繪了傳感器積分時間的一個實施例。
[0019]圖6C描繪了隨著時間投射到環境中的一系列光脈沖的一個實施例。
[0020]圖6D描繪了與圖6C中所描繪的相同的時間段上的一系列傳感器積分時間的一個實施例。
[0021]圖6E描繪了用于給定特定距離確定初始光強度的函數的一個實施例。
[0022]圖7A是描述用于擴展深度圖的動態范圍的過程的一個實施例的流程圖。
[0023]圖7B是描述用于從多個圖像生成深度信息的過程的一個實施例的流程圖。
[0024]圖7C是描述用于更新光強度水平和傳感器積分時間的過程的一個實施例的流程圖。
[0025]圖8是游戲和媒體系統的實施例的框圖。
[0026]圖9是移動設備的一個實施例的框圖。
[0027]圖10是計算系統環境的實施例的框圖。
[0028]詳細描述
[0029]描述了用于通過從以不同光強度水平捕捉的和/或在不同傳感器積分時間捕捉的多個圖像的合成圖像得到深度信息而擴展深度圖的動態范圍的技術。在一些實施例中，在用第一光強度的光照明環境的同時，捕捉該環境的初始圖像。隨后在用一個或多個不同光強度的光照明該環境的同時，捕捉一個或多個后續圖像。這一個或多個不同的光強度可基于與之前捕捉的圖像相關聯的像素飽和度而被動態配置。初始圖像和一個或多個后續圖像可通過應用高動態范圍成像技術來被合成為合成圖像。
[0030]可使用深度檢測系統來生成深度圖，深度檢測系統包括用于投射特定光圖案的光源和用于捕捉與該特定光圖案的反射相關聯的一個或多個圖像的光傳感器設備。當與深度圖相關聯的環境(例如，游戲空間)同時包括靠近以及遠離從其生成深度圖的光傳感器設備(例如，相機系統或圖像傳感器)的物體時，深度圖的準確性和動態范圍可能受損。為了使光傳感器設備能夠看到遠處的物體，可能需要較大的光強度(例如，經由較大的光學激光功率)來“照亮”遠處的物體，使得光傳感器設備能夠檢測來自遠處物體的反射光。然而，深度檢測系統使用較大的光強度可能會導致靠近光傳感器設備附近的物體變為飽和或褪色，因此難以辨明任何有意義的深度信息。從而，如果所投射的光強度被設置成對遠處物體照明，則一物體離光傳感器設備越近，該物體的圖像可能會變得越飽和。有時，深度上的差異可能因像素飽和而不能區分。
[0031]而且，具有反射性、半透明或透明表面的物體會提升深度檢測系統的困難程度。例如，如果物體的表面是高度反射性的，則光可能被反射而偏離光傳感器設備或直接朝光傳感器設備聚焦。如果物體的表明是高度透明的，則可能沒有足夠的光被反射回光傳感器設備。因此，除了物體離光傳感器設備的不同距離以外，物體的表面性質也可能導致光傳感器設備捕捉的反射光中的顯著差異。[0032]為本發明的目的，術語“光”可指的是任何種類的光輻射，包括可見光、紅外光和紫外光。
[0033]圖1描繪了目標檢測和跟蹤系統10的一個實施例，其中用戶18正在玩拳擊游戲。目標檢測和跟蹤系統10可用于檢測、識別、分析、和/或跟蹤人類目標(諸如用戶18)和/或非人類目標(諸如用戶18拿著的道具(未示出))。目標檢測和跟蹤系統10可包括用于生成用戶18存在于其中的位置空間環境的深度圖的深度檢測系統。
[0034]如圖1所示，目標檢測和跟蹤系統10可包括計算環境12。計算環境12可包括計算機、游戲系統或控制臺等等。在一個實施例中，計算環境12可包括硬件組件和/或軟件組件，使得計算環境12可用于執行操作系統和諸如游戲應用、非游戲應用等的應用。在一個實施例中，計算系統12可包括可執行存儲在處理器可讀存儲設備上的用于執行此處描述的過程的指令的處理器，如標準化處理器、專用處理器、微處理器等。
[0035]目標檢測和跟蹤系統10還可包括捕捉設備20。在一個實施例中，捕捉設備20可包括可用于在視覺上監視包括諸如用戶18等一個或多個用戶的一個或多個目標的相機。由一個或多個用戶執行的姿勢(包括姿態)可被捕捉、分析、和跟蹤，以便執行對操作系統或應用的用戶界面的一個或多個控制或動作。在一些實施例中，捕捉設備20可包括深度傳感相機。
[0036]用戶可通過移動他或她的身體來創建姿勢。姿勢可包括用戶的運動或姿態，其可被捕捉為圖像數據并解析其意義。姿勢可以是動態的，包括運動，如模仿投球。姿勢可以是靜態姿態，諸如保持其前臂交叉。姿勢也可結合道具，如揮動仿制的劍。
[0037]捕捉設備20可捕捉與一個或多個用戶和/或物體相關的圖像和音頻數據。例如，捕捉設備20可用于捕捉與一個或多個用戶的部分或全部身體移動、姿勢和話音相關的信息。由捕捉設備20捕捉的信息可由計算環境12和/或捕捉設備20內的處理元件來接收，并用于對游戲或其它應用的各方面進行呈現、交互和控制。在一個示例中，捕捉設備20捕捉與特定用戶有關的圖像和音頻數據，并且計算環境12處理所捕捉的信息以便通過執行面部和語音識別軟件來標識該特定用戶。
[0038]在一些實施例中，目標檢測和跟蹤系統10可生成并利用深度圖來檢測和/或跟蹤環境中的物體。深度圖可包括環境中的包括與該環境相關聯的深度信息的圖像或幀。在一個示例中，深度圖像可包括多個觀察到的像素，其中每一觀察到的像素具有相關聯的深度值。例如，每一個像素都可包括深度值，諸如從捕捉設備的觀點到環境中的物體的長度或距離。
[0039]目標檢測和跟蹤系統10可被連接到向諸如用戶18等用戶提供游戲或應用視覺和/或音頻的視聽設備16，如電視機、監視器、高清電視機(HDTV)。例如，計算環境12可包括諸如圖形卡等視頻適配器和/或諸如聲卡等音頻適配器，這些適配器可提供與游戲應用、非游戲應用等相關聯的視聽信號。視聽設備16可從計算環境12接收視聽信號，然后可向用戶18輸出與視聽信號相關聯的游戲或應用視覺和/或音頻。視聽設備16可經由例如，S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜等連接到計算環境12。
[0040]如圖1所示，在計算環境12上執行的應用可以是用戶18可能正在玩的拳擊游戲。計算環境12可使用視聽設備16來向用戶18提供拳擊對手22的視覺表示。計算環境12還可使用視聽設備16來提供用戶18可通過他的或她的移動來控制的玩家化身24的視覺表示。例如，用戶18可在物理空間中揮拳猛擊，這使得玩家化身24在游戲空間中揮拳猛擊。在一個實施例中，目標檢測和跟蹤系統10的計算機環境12和捕捉設備20可用于識別和分析用戶18在物理空間中的重拳，從而使得該重拳可被解釋為對游戲空間中的玩家化身24的游戲控制。
[0041]在一個實施例中，用戶移動可被解釋為可對應于除控制玩家化身24之外的動作的控制。例如，用戶18可以使用特定移動來結束游戲、暫停游戲、保存游戲、選擇級別、查看高分、或與朋友交流。在另一實施例中，目標檢測和跟蹤系統10將目標的移動解釋為游戲領域之外的操作系統和/或應用控制。例如，事實上操作系統和/或應用程序的任何可控方面都可由諸如用戶18等目標的移動來控制。在另一實施例中，用戶18可使用移動來從主用戶界面選擇游戲或其它應用。由此，用戶18的全范圍運動可以用任何合適的方式來獲得、使用并分析以與應用或操作系統進行交互。
[0042]目標檢測和跟蹤系統10及其組件的合適的示例在以下共同待審的專利申請中找到，所有這些專利申請的全部內容都通過引用納入于此:于2009年5月29日提交的名稱為“Environment And/Or Target Segmentation (環境和/或目標分割)”的美國專利申請12/475，094 ;于2009年7月29日提交的名稱為“Auto Generating a VisualRepresentation (自動生成視覺表示)”的美國專利申請12/511，850 ;于2009年5月29日提交的名稱為“Gesture Tool (姿勢工具)”的美國專利申請12/474，655 ;于2009年10月21日提交的名稱為“Pose Tracking Pipeline (姿勢跟蹤流水線)”的美國專利申請12/603, 437 ;于 2009 年 5 月 29 日提交的名稱為“Device for Identifying and TrackingMultiple Humans Over Time (用于隨時間標識和跟蹤多個人類的設備)”的美國專利申請12/475，308 ;于2009年10月7日提交的名稱為“Human Tracking System (人類跟蹤系統)”的美國專利申請12/575，388 ;于2009年4月13日提交的名稱為“Gesture RecognizerSystem Architecture(姿勢識別器系統架構)”的美國專利申請12/422，661 ;于2009年2月23日提交的名稱為“Standard Gestures (標準姿勢)”的美國專利申請12/391，150 ;以及于2009年5月29日提交的名稱為“Gesture Tool (姿勢工具)”的美國專利申請12/474，655。
[0043]圖2描繪了目標檢測和跟蹤系統10和捕捉設備20的視野內的環境300的一個實施例。環境300包括人類對象(用戶18)和非人類對象(椅子19)。如所描繪地，用戶18比椅子19要靠近捕捉設備20得多。在一個實施例中，目標檢測和跟蹤系統10通過合并或合成環境300的兩個或更多個不同的圖像來生成該環境的深度圖。這兩個或更多個不同的圖像中的每一個可在用與不同光強度水平相關聯的光圖案照明環境300時捕捉。通過將環境的兩個或更多個不同圖像合成為合成圖像，與近和遠物體兩者相關聯的信息可被保存。例如，從更高動態范圍的合成圖像生成深度信息可提供對從捕捉設備20到用戶18和椅子19的距離的更準確的判斷。
[0044]在一個實施例中，第一光強度的第一光脈沖被投射到環境300中并被捕捉設備20捕捉。隨后，第二光強度的第二光脈沖被投射到環境300中并被捕捉設備20捕捉。第一光強度可以是比第二光強度低的光強度。在這種情況中，與較低光強度相關聯的第一光脈沖可用于捕捉與用戶18相關聯的深度信息，而與較高光強度相關聯的第二光脈沖可用于捕捉與椅子19相關聯的深度信息(即，較高光強度與較低光強度相比，用于照明較遠距離處的物體)。[0045]目標檢測和跟蹤系統10可修改正被投射到環境中的光的強度(例如，通過增加或減少應用于光源的電流或功率的量)或捕捉設備的曝光時間(例如，通過增加或減少光傳感器積分時間)中的任一個，以便產生與不同光強度等級相關聯的圖像。在一些實施例中，預定數目的不同光強度的光脈沖可被投射到環境300中，且該環境相對于光脈沖中的每一個的相關聯的圖像可隨后被捕捉。
[0046]在生成深度圖之前，目標檢測和跟蹤系統10可執行校準步驟，以便確定特定環境所需的最大光強度水平(例如，通過估計深度檢測系統存在于其中的房間或游戲空間的大小)。目標檢測和跟蹤系統10還可基于功率和性能要求來確定光脈沖的最大數目和/或捕捉步驟的最大數目。例如，如果目標檢測和跟蹤系統10處于低功率模式，則光脈沖的最大數目可被減少。因此，光脈沖的最大數目和/或捕捉步驟的最大數目可隨時間在系統要求改變時被調整。
[0047]圖3示出了包括捕捉設備58和計算環境54的計算系統50的一個實施例。計算系統50是圖1-2的目標檢測和跟蹤系統10的實現的一個示例。例如，計算環境54可與圖1-2中的計算環境12對應，而捕捉設備58可與圖1-2中的捕捉設備20對應。
[0048]在一個實施例中，捕捉設備58可以包括用于捕捉圖像和視頻的一個或多個圖像傳感器。圖像傳感器可以包括CCD圖像傳感器或CMOS傳感器。在一些實施例中，捕捉設備58可包括IR CMOS圖像傳感器。捕捉設備58還可以包括深度相機(或深度傳感相機)，該相機被配置為經由包括例如飛行時間、結構化光、立體圖像等在內的任何合適的技術來捕捉具有深度信息的視頻，包括可包含深度值的深度圖像。
[0049]捕捉設備58可包括圖像相機組件32。在一個實施例中，圖像相機組件32可以包括可捕捉場景的深度圖像的深度相機。深度圖像可包括所捕捉的場景的二維(2-D)像素區域，其中2-D像素區域中的每個像素都可以表示深度值，諸如所捕捉的場景中的物體與圖像相機組件32相距的距離，例如以厘米、毫米等為單位。
[0050]圖像相機組件32可包括可用來對捕捉區域的深度圖像進行捕捉的IR光組件34、三維(3-D)相機36、以及RGB相機38。例如，在飛行時間分析中，捕捉設備58的IR光組件34可以將紅外光發射到捕捉區域上，然后可以使用傳感器，用例如3-D相機36和/或RGB相機38來檢測從捕捉區域中的一個或多個物體的表面反向散射的光。在某些實施例中，可以使用脈沖式紅外光，從而出射光脈沖和相應的入射光脈沖之間的時間可以被測量并被用于確定從捕捉設備58到捕捉區域中的一個或多個物體上的特定位置的物理距離。此外，可將出射光波的相位與入射光波的相位進行比較來確定相移。然后可以使用該相移來確定從捕捉設備到與一個或多個物體相關聯的特定位置的物理距離。
[0051]在另一示例中，捕捉設備58可使用結構化光來捕捉深度信息。在該分析中，圖案化光(即，被顯示為諸如網格圖案或條紋圖案等已知圖案的光)可經由例如IR光組件34被投射到捕捉區域上。在撞擊到捕捉區域中的一個或多個物體(或目標)的表面時，作為響應，圖案可變形。圖案的這種變形可由例如3-D相機36和/或RGB相機38來捕捉并被分析以確定從捕捉設備到一個或多個物體上的特定位置的物理距離。捕捉設備58可包括用于產生準直光的光學器件。在一些實施例中，可使用激光投影儀來創建結構化光圖案。激光投影儀可包括激光器、激光二極管和/或LED。
[0052]在某些實施例中，可將兩個或更多個不同的相機整合到一個集成捕捉設備中。例如，深度相機和視頻相機(例如RGB視頻相機)可以被整合到共同的捕捉設備中。在一些實施例中，可協同使用相同或不同類型的兩個或更多個分開的捕捉設備。例如，可以使用深度相機和分開的視頻相機，可以使用兩個視頻相機，可以使用兩個深度相機，可以使用兩個RGB相機，或者可以使用任何組合和數目的相機。在一個實施例中，捕捉設備58可包括可以從不同的角度觀察捕捉區域的兩個或更多個在物理上分開的相機，以獲取可以被解析以生成深度信息的視覺立體數據。還可通過使用多個檢測器(可以是單色、紅外、RGB或任何其它類型的檢測器)捕捉圖像并執行視差計算，來確定深度。也可使用其它類型的深度圖像傳感器來創建深度圖像。
[0053]如圖3所示，捕捉設備58可以包括話筒40。話筒40可包括可接收聲音并將其轉換成電信號的換能器或傳感器。
[0054]捕捉設備58可以包括可以與圖像相機組件32可操作地通信的處理器42。處理器42可包括標準處理器、專用處理器、微處理器等。處理器42可以執行指令，指令可以包括用于存儲過濾器或簡檔、接收和分析圖像、確定是否已經發生特定情況的指令或任何其它合適的指令。應當理解，至少一些圖像分析和/或目標分析和跟蹤操作可以由一個或多個諸如捕捉設備58的捕捉設備內所包含的處理器來執行。
[0055]捕捉設備58可包括存儲器44，該存儲器可存儲可由處理器42執行的指令、由3_D相機或RGB相機捕捉的圖像或圖像幀、過濾器或簡檔、或任何其它合適的信息、圖像等等。在一個示例中，存儲器44可包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、高速緩存、閃存、硬盤或任何其它合適的存儲組件。如圖4所示，存儲器組件44可以是與圖像捕捉組件32和處理器42進行通信的分開的組件。在另一實施例中，存儲器44可被集成到處理器42和/或圖像捕捉組件32中。在其它實施例中，圖4所示的捕捉設備58的組件32、34、36、38,40,42和44中的部分或全部被容納在單個外殼中。
[0056]捕捉設備58可以經由通信鏈路46與計算環境54進行通信。通信鏈路46可以是包括例如USB連接、火線連接、以太網電纜連接等有線連接和/或諸如無線802.1lb,802.llg、802.1la或802.1ln連接等無線連接。計算環境54可以向捕捉設備58提供時鐘，可以使用該時鐘來通過通信鏈路46確定何時捕捉例如場景。在一個實施例中，捕捉設備58可將由例如3D相機36和/或RGB相機38捕捉的圖像經由通信鏈路46提供給計算環境54。
[0057]如圖3中所示，計算環境54包括與操作系統196通信的圖像和音頻處理引擎194。圖像和音頻處理引擎194包括虛擬數據引擎197、物體和姿勢識別引擎190、結構數據198、處理單元191和存儲器單元192，所有都彼此通信。圖像和音頻處理引擎194處理從捕捉設備58接收的視頻、圖像和音頻數據。為了輔助物體的檢測和/或跟蹤，圖像和音頻處理引擎194可以利用結構數據198以及物體和姿勢識別引擎190。虛擬數據引擎197處理虛擬對象，并記錄與在存儲器單元192中存儲的真實世界環境的各種映射有關的虛擬對象的位置和定向。
[0058]處理單元191可以包括用于執行物體、面部和語音識別算法的一個或多個處理器。在一個實施例中，圖像和音頻處理引擎194可以將物體識別和面部識別技術應用于圖像或視頻數據。例如，物體識別可以用于檢測特定物體(例如足球、汽車或陸標)，并且面部識別可以用于檢測特定人的面部。圖像和音頻處理引擎194可以將音頻和語音識別技術應用于音頻數據。例如，音頻識別可以用于檢測特定聲音。要檢測的特定面部、語音、聲音和物體可以存儲在存儲器單元192中所包含的一個或多個存儲器中。
[0059]在一些實施例中，可以用諸如IR回射標記之類的一個或多個標記來擴充所跟蹤的一個或多個物體，以便改進物體檢測和/或跟蹤。也可以使用平面基準圖像、已編碼AR標記、QR碼和/或條形碼來改進物體檢測和/或跟蹤。在檢測到一個或多個物體以后，圖像和音頻處理引擎194可以向操作系統196報告所檢測的每個物體的標識以及相應的位置和/或定向。
[0060]圖像和音頻處理引擎194可以在執行物體識別時利用結構數據198。結構數據198可以包括關于要跟蹤的目標和/或物體的結構信息。例如，可以存儲人類的骨架模型以幫助識別身體部位。在另一示例中，結構數據198可以包括關于一個或多個無生命物體的結構信息以便幫助識別所述一個或多個無生命物體。
[0061]圖像和音頻處理引擎194還可以在執行物體識別時利用物體和姿勢識別引擎190。在一個示例中，物體和姿勢識別引擎190可以包括姿勢過濾器的集合，每個姿勢過濾器都包括關于骨架模型可執行的姿勢的信息。物體和姿勢識別引擎190可將由捕捉設備58捕捉的數據(其形式為骨架模型以及與其相關聯的移動)與姿勢庫中的姿勢過濾器進行比較來標識用戶(其由骨架模型來表示)何時執行了一個或多個姿勢。在一個示例中，圖像和音頻處理引擎194可以使用物體和姿勢識別引擎190來幫助解釋骨架模型的移動以及檢測特定姿勢的執行。
[0062]關于物體的檢測和跟蹤的更多信息可在2009年12月18日提交的名為“MotionDetection Using Depth Images(使用深度圖像的運動檢測)”的美國專利申請12/641，788,以及名為 “Device for Identifying and Tracking MultipleHumans over Time (用于隨時間標識和跟蹤多個人類的設備)”的美國專利申請12/475，308中找到，這兩個申請的全部內容通過引用納入于此。關于物體和姿勢識別引擎190的更多信息可在2009年4月13日提交的美國專利申請 12/422，661、“Gesture Recognition System Architecture (姿勢識別系統架構)”中找到，該申請的全部內容通過引用納入于此。關于識別姿勢的更多信息可在2009年2月23日提交的名為“Standard Gestures (標準姿勢)”的美國專利申請12/391，150 ;以及2009年5月29日提交的名為“Gesture Tool (姿勢工具)”的美國專利申請12/474,655中找到，這兩個申請的全部內容通過引用納入于此。
[0063]圖4A描繪了隨著時間投射到環境中的一系列光脈沖的一個實施例。如所描繪地，光強度14的第一光脈沖在時間tl和t4之間被投射到環境中，光強度12的第二光脈沖在時間t5和t8之間被投射到環境中，而光強度13的第三光脈沖在時間t9和tl2之間被投射到環境中。在一個實施例中，第一光脈沖由被投射到環境中的初始光脈沖構成。與第一光脈沖相關聯的光強度可被設為與特定光源相關聯的最大光強度，或被設為與距捕捉設備(諸如圖3中的捕捉設備58)的特定距離(或范圍)相關聯的特定光強度。
[0064]圖4B描繪了與圖4A中所描繪的相同的時間段上的一系列傳感器積分時間的一個實施例。如所描繪地，三個傳感器積分時間與圖4A中描繪的三個光脈沖對應。在一些實施例中，諸如圖1-2中的目標檢測和跟蹤系統10的目標檢測和跟蹤系統可在時間tl開始投射第一光脈沖，并在時間t2和t3之間捕捉與第一光脈沖相關聯的第一圖像。目標檢測和跟蹤系統然后可確定與第一圖像相關聯的像素飽和度。之后，后續光脈沖的光強度可取決于與之前捕捉的圖像相關聯的像素飽和度來動態調整。[0065]在一個實施例中，像素飽和度通過確定在第一圖像內飽和的像素的百分比來確定。如果第一圖像具有高于特定百分比閾值的像素飽和度(例如，多于5%的像素是飽和的)，則與下一光脈沖相關聯的光強度水平可被降低。確定與第一圖像相關聯的像素飽和度還可包括確定被分配了可能的最高光強度設置(例如，等于255的8位像素值)的像素的數目或確定被分配了高于特定閾值的光強度(例如，超過等于250的8位像素值的所有值)的像素的數目。
[0066]如所描繪地，在時間t5開始用第一光強度(14)的一半的光強度(12)投射圖4A中的第二光脈沖。在時間t6和t7之間，目標檢測和跟蹤系統捕捉與第二光脈沖相關聯的第二圖像。隨后，確定與第二圖像相關聯的像素飽和度。如果該像素飽和度低于特定閾值，則與隨后的光脈沖相關聯的光強度水平可被提高。用處于第一光脈沖和第二光脈沖的光強度之間的光強度投射第三光脈沖，在時間tlO和til之間第三圖像被捕捉。
[0067]圖5A描繪了在時間tl和t8之間正被投射到環境中的光強度11的光脈沖的一個實施例。圖5B描繪了與圖5A中所描繪的相同的時間段上的一系列傳感器積分時間的一個實施例。如所描繪地，第一圖像在時間t2和t3之間的第一傳感器積分時間期間被捕捉。在某些實施例中，諸如圖1-2中的目標檢測和跟蹤系統10的目標檢測和跟蹤系統可確定與第一圖像相關聯的像素飽和度。如果第一圖像被確定為具有高于特定百分比閾值的像素飽和度(例如，多于5%的像素是飽和的)，則與后續捕捉時間相關聯的傳感器積分時間可被減少。因此，傳感器積分時間可取決于與之前捕捉的圖像相關聯的像素飽和度來動態調整。
[0068]如所描繪地，第二圖像在時間t4和t5之間的第二傳感器積分時間期間被捕捉。因為第一圖像被確定為具有高于特定閾值的像素飽和度，與第二傳感器積分時間相關聯的傳感器積分時間是第一傳感器積分時間的一半。隨后，目標檢測和跟蹤系統可確定與第二圖像相關聯的像素飽和度。如果與第二圖像相關聯的像素飽和度低于特定閾值，則與后續捕捉時間相關聯的傳感器積分時間可被增加。如所描繪地，時間t6和t7之間的第三傳感器積分時間被給予處于第一傳感器積分時間和第二傳感器積分時間之間的積分時間(或曝光時間)的量。
[0069]在某些實施例中，光強度水平和/或傳感器積分時間兩者可取決于與之前捕捉的圖像相關聯的像素飽和度來動態調整。例如，如果與圖像相關聯的像素飽和度高于特定閾值，則光強度水平可被降低且傳感器積分時間可被減少。
[0070]而且，光脈沖的數目和/或傳感器積分時間的數目可受到有多少處理能力、存儲器和時間可用于目標檢測和跟蹤系統的限制。所捕捉的圖像的數目越大，處理和創建合成圖像所需的資源量越大。在許多應用中，生成深度信息所需的時間必須使得投射到最終用戶的視頻流不慢于每秒30幀。
[0071]圖6A描繪了在時間tl和t2之間正被投射到環境中的光強度14的光脈沖的一個實施例。圖6B描繪了時間t3和t4之間的傳感器積分時間的一個實施例。由于傳感器積分時間與光脈沖不重疊，在傳感器積分時間期間捕捉的圖像將取決于光脈沖和傳感器積分時間之間的時間差以及環境內一距離處的物體，該距離與從這些物體反射回的光脈沖的飛行時間延遲相關聯。例如，到達15米外的物體并反射回捕捉設備的飛行時間大約為100納秒(S卩，15米*2/300，000，000米/每秒)。光脈沖(例如，來自激光光源)的脈沖寬度確定其上可查看物體的距離分辨力(即，脈沖寬度越短，就距離而言的分辨力越好)。例如，對3米分辨力，需要10納秒脈沖(即，3米/300，000，000米/每秒)。而且，傳感器積分時間還有可能降低距離分辨力，因為所投射的光可在傳感器積分時間內的任何時間被反射并被捕捉(即，在時間t3捕捉的光與在時間t4捕捉的光相比，很有可能行進了較短的距離)。在最壞的情況下，在時間t2投射的光將在時間t3被捕捉，而在時間tl投射的光將在時間t4被捕捉。因此，所投射的光脈沖和相應的傳感器積分時間之間的時間差可被用于捕捉與距目標檢測和跟蹤系統特定范圍相關聯的距離信息(例如，特定的時間差可被用于捕捉距目標檢測和跟蹤系統10米到20米之間的物體)。
[0072]在一個實施例中，所投射的光脈沖和相應的傳感器積分時間之間的時間差可基于距目標檢測和跟蹤系統的特定距離(或距離的范圍)。例如，與當捕捉與距目標檢測和跟蹤檢測系統較遠距離相關聯的距離信息時相比，當捕捉與距目標檢測和跟蹤系統較近的距離相關聯的距離信息時，圖6a和6B中時間t2和t3之間的時間差可能較小。
[0073]圖6C描繪了隨著時間投射到環境中的一系列光脈沖的一個實施例。如所描繪地，光強度14的第一光脈沖在時間tl和t2之間被投射到環境中，而光強度12 (小于光強度14)的第二光脈沖在時間t5和t6之間被投射到環境中。圖6D描繪了與圖6C中所描繪的相同的時間段上的一系列傳感器積分時間的一個實施例。時間t3和t4之間的第一傳感器積分時間與第一光脈沖對應，且可捕捉環境的第一圖像。時間t7和t8之間的第二傳感器積分時間與第二光脈沖對應，且可捕捉環境的第二圖像。如所描繪地，第一光脈沖的投射和第一傳感器積分時間之間的第一時間差Dl大于第二光脈沖和第二積分時間之間的第二時間差D2。在這種情況下，環境的第一圖像可包括與第一距離范圍相關聯的距離信息，該第一距離范圍同與第二圖像相關聯的第二距離范圍相比，距目標檢測和跟蹤系統較遠。
[0074]在一個實施例中,光脈沖的光強度和光脈沖的投射與相應的傳感器積分時間之間的時間差兩者均可基于距目標檢測和跟蹤系統的捕捉距離來調整。與當捕捉距離距目標檢測和跟蹤系統較遠時相比，當捕捉距離距目標檢測和跟蹤系統較近時，光強度可被降低且時間差可被減小。
[0075]圖6E描繪了用于給定特定距離(或距離的范圍)確定初始光強度的函數的一個實施例。如所描繪地，對與距離dl和d2相關聯的特定距離范圍，對投射到環境中的第一光脈沖，將使用初始光強度13。對于比d2遠的距離，將使用初始光強度14。還可使用查找表和各種線性或非線性函數。在某些實施例中，距離越遠，初始光強度越高。
[0076]在一個實施例中，第一光脈沖和第一傳感器積分時間之間的第一時間差被用于確定距目標檢測和跟蹤系統第一距離范圍內(例如，距目標檢測和跟蹤系統最初10米內)的距離信息。為了確定所投射的光圖案的初始光強度，可使用取決于距目標檢測和跟蹤系統的距離的預定最大光強度的查找表。目標檢測和跟蹤系統隨后可投射不同光強度的多個光脈沖，并全部使用同樣的第一時間差來捕捉與該多個光脈沖相關聯的多個圖像。為了確定距目標檢測和跟蹤系統第二距離范圍內(例如，距目標檢測和跟蹤系統10米到20米內)的距離信息，可使用第二時間差。因為第二距離范圍比第一距離范圍遠，對所投射的光圖案可使用較高的初始光強度。隨后，不同光強度的第二多個光脈沖可被投射到環境中，且可使用第二時間差來捕捉第二多個圖像。
[0077]圖7A是描述用于擴展深度圖的動態范圍的過程的一個實施例的流程圖。圖7A的過程可被連續地以及由一個或多個計算設備執行。圖7A的過程中每一步驟都可由與在其它步驟中所使用的那些計算設備相同或不同的計算設備來執行，且每一步驟不必由單個計算設備來執行。在一個實施例中，圖7A的過程可由諸如圖1-2中的目標檢測和跟蹤系統10之類的目標檢測和跟蹤系統來執行。
[0078]在步驟502中，初始化對光強度水平、傳感器積分時間和最大圖像數目的設置。初始光強度水平和傳感器積分時間可基于距目標檢測和跟蹤系統的特定范圍。最大圖像數目可以是所期望的視頻幀率(例如，每秒30幀)的函數。在步驟504，該光強度水平的光被發射一第一時間段。所發射的光可包括正被投射到環境中的結構化圖案。在步驟506，在傳感器積分時間捕捉多個圖像中的第一圖像。在步驟507，第一圖像被存儲。在一個示例中，第一圖像可被存儲在存儲器緩沖區中。
[0079]在步驟508，判斷是否已經捕捉了最大數目的圖像。如果判斷還未捕捉到最大數目的圖像，則步驟510被執行。在步驟510，確定與第一圖像相關聯的像素飽和度。像素飽和度可以是第一圖像內飽和的像素的數目的函數。像素飽和度可由圖像傳感器內的閾值檢測電路或圖像處理軟件來確定。在步驟512，基于在步驟510確定的像素飽和度更新光強度水平和傳感器積分時間。在步驟514，存儲與更新后的光強度水平和傳感器積分時間相關聯的一個或多個縮放值。在一個示例中，更新后的光強度水平是先前的光強度水平的一半，因此縮放值1/2將被存儲。在步驟514之后，使用更新后的光強度水平和傳感器積分時間再次執行步驟504。
[0080]如果判斷已經捕捉到最大數目的圖像，則步驟516被執行。在步驟516，從多個捕捉到的圖像生成深度信息。在一個實施例中，從基本圖像獲取深度信息，該基本圖像是從多個圖像合成得到的。
[0081]圖7B是描述用于從多個圖像生成深度信息的過程的一個實施例的流程圖。圖7B中描述的過程是用于實現圖7A中步驟516的過程的一個示例。圖7B的過程可被連續地以及由一個或多個計算設備執行。圖7B的過程中每一步驟都可由與在其它步驟中所使用的那些計算設備相同或不同的計算設備來執行，且每一步驟不必由單個計算設備來執行。在一個實施例中，圖7B的過程可由諸如圖1-2中的目標檢測和跟蹤系統10之類的目標檢測和跟蹤系統來執行。
[0082]在步驟522，多個圖像中的每一個被記錄或對齊到一公共坐標系。在圖像記錄期間，目標檢測和跟蹤系統可將在特定環境內拍攝的不同圖像(例如，來自稍微不同的視角和/或在不同時刻拍攝的圖像)記錄到與環境相關聯的公共坐標系中。
[0083]在步驟524，基于圖7A的步驟514中存儲的一個或多個縮放值，多個圖像被合成為一基本圖像。在一個實施例中，基本圖像是通過將高動態范圍成像技術應用于多個圖像而生成的。與傳統數字成像技術相比，高動態范圍成像技術可提供圖像最亮和最暗區域之間的更大的動態照度范圍，從而允許具有高對比度的環境的細節被保存。高動態范圍圖像通常通過捕捉多個圖像(通常使用包圍式曝光)然后將其合并成單個高動態范圍圖像來創建。
[0084]在一些實施例中，更靠近目標檢測和跟蹤系統的圖像中的飽和像素位置被分配與更遠離目標檢測和跟蹤系統的一個或多個圖像相關聯的縮放像素值。在兩個圖像正在被合成的情況中，用來自與較低光強度相關聯的圖像中的關聯縮放像素值替換與較高光強度相關聯的圖像中的飽和像素位置。
[0085]在步驟526，生成與基本圖像相關聯的深度信息。在某些實施例中，可使用考慮結構化光圖案中的畸變和/或結構化光圖案的各部分之間的間隔的圖像處理技術。在步驟528，輸出深度信息。在一個示例中，深度信息被發送給計算環境，諸如圖3中的計算環境54。
[0086]圖7C是描述用于更新光強度水平和傳感器積分時間的過程的一個實施例的流程圖。圖7C中描述的過程是用于實現圖7A中的步驟512的過程的一個示例。圖57C的過程可被連續地以及由一個或多個計算設備執行。圖7C的過程中的每個步驟都可由與在其它步驟中所使用的那些計算設備相同或不同的計算設備來執行，且每個步驟不必由單個計算設備來執行。在一個實施例中，圖7C的過程可由諸如圖1-2中的目標檢測和跟蹤系統10之類的目標檢測和跟蹤系統來執行。
[0087]在步驟542，判斷像素飽和度是否滿足特定閾值。如果判斷像素飽和度滿足特定閾值，則步驟548被執行。在步驟548，光強度水平被降低或傳感器積分時間被減少。在一個示例中，后續光脈沖的光強度水平降低為二分之一。在另一示例中，與后續光脈沖相關聯的傳感器積分時間被減少為四分之一。如果判斷像素飽和度不滿足特定閾值，則步驟546被執行。在步驟546中，光強度水平被提高或傳感器積分時間被增加。在一個示例中，光強度水平被設為處于之前的光強度水平和最大光強度水平(或初始光強度水平)之間的一水平。在一個實施例中，如果像素飽和度低于預定閾值，則不再捕捉其它光脈沖或圖像。
[0088]所公開的技術可以與各種計算系統一起使用。圖8-10提供了可用于實現所公開的技術的實施例的各種計算系統的示例。
[0089]圖8是游戲和媒體系統7201的實施例的框圖，它是圖1_2中計算環境12的一個示例。控制臺7203具有中央處理單元(CPU) 7200以及便于處理器訪問各種類型的存儲器的存儲器控制器7202，各種類型的存儲器包括閃存只讀存儲器(ROM) 7204、隨機存取存儲器(RAM) 7206、硬盤驅動器7208，以及便攜式媒體驅動器7107。在一種實現中，CPU7200包括I級高速緩存7210和2級高速緩存7212，這些高速緩存用于臨時存儲數據并因此減少對硬盤驅動器7208進行的存儲器訪問周期的數量，從而提高了處理速度和吞吐量。
[0090]CPU7200、存儲器控制器7202、以及各種存儲器設備經由一個或多個總線(未示出)互連。所述一個或多個總線可以包括下列各項中一個或多個:串行和并行總線、存儲器總線、外圍總線、使用各種總線架構中的任何一種的處理器或局部總線。作為示例，這樣的架構可以包括工業標準架構(ISA)總線、微通道架構(MCA)總線、增強型ISA (EISA)總線、視頻電子標準協會(VESA)局部總線、以及外圍部件互連(PCI)總線。
[0091]在一個實現中，CPU7200、存儲器控制器7202、R0M7204、以及RAM7206被集成到公用模塊7214上。在此實現中，R0M7204被配置為通過PCI總線和ROM總線(兩者都沒有示出)連接到存儲器控制器7202的閃存ROM。RAM7206被配置為多個雙倍數據速率同步動態RAM (DDR SDRAM)模塊，它們被存儲器控制器7202通過分開的總線(未示出)獨立地進行控制。硬盤驅動器7208和便攜式媒體驅動器7107被示為通過PCI總線和AT附加(ATA)總線7216連接到存儲器控制器7202。然而，在其它實施方式中，也可以在替代方案中應用不同類型的專用數據總線結構。
[0092]三維圖形處理單元7220和視頻編碼器7222構成了視頻處理流水線，用于進行高速度和高分辨率(例如，高清晰度)圖形處理。數據通過數字視頻總線(未示出)從圖形處理單元7220傳輸到視頻編碼器7222。音頻處理單元7224和音頻編解碼器(編碼器/解碼器)7226構成了對應的音頻處理流水線，用于對各種數字音頻格式進行多通道音頻處理。通過通信鏈路(未示出)在音頻處理單元7224和音頻編解碼器7226之間傳送音頻數據。視頻和音頻處理流水線向A/V (音頻/視頻)端口 7228輸出數據，以便傳輸到電視機或其它顯示器。在所示出的實現中，視頻和音頻處理組件7220-7228安裝在模塊7214上。
[0093]圖8示出了包括USB主控制器7230和網絡接口 7232的模塊7214。USB主控制器7230通過總線(未示出)與CPU7200和存儲器控制器7202通信，并用作外圍控制器7205(1)-7205(4)的主機。網絡接口 7232提供對網絡(例如，因特網、家庭網絡等等)的訪問，并可以是各種有線或無線接口組件中的任何一種，包括以太網網卡、調制解調器、無線接入卡、藍牙模塊、電纜調制解調器等等。
[0094]在圖8中描繪的實現中，控制臺7203包括用于支持四個控制器7205(1)-7205(4)的控制器支持子部件7240。控制器支持子部件7240包括支持與諸如，例如，媒體和游戲控制器之類的外部控制設備的有線和無線操作所需的任何硬件和軟件組件。前面板I/O子部件7242支持電源按鈕7213、彈出按鈕7215，以及任何LED (發光二極管)或暴露在控制臺7203的外表面上的其它指示器等多個功能。子部件7240和7242通過一個或多個電纜部件7244與模塊7214進行通信。在其它實現中，控制臺7203可以包括另外的控制器子部件。所示出的實現還示出了被配置為發送和接收可傳遞給模塊7214的信號(例如來自遙控器7290)的光學I/O接口 7235。
[0095]MU7241(1)和 7241 (2)被示為可以分別連接到 MU 端口 “A”7231 (I)和“B”7231 ⑵。附加的MU (例如，MU7241 (3)-7241 (6))被示為可連接到控制器7205 (I)和7205 (3)，即每一個控制器兩個MU。控制器7205(2)和7205(4)也可以被配置成接納MU (未示出)。每一個MU7241都提供附加存儲，在其上面可以存儲游戲、游戲參數、及其它數據。諸如便攜式USB設備之類的附加存儲器設備可用來代替MU。在一些實現中，其它數據可以包括數字游戲組件、可執行的游戲應用，用于擴展游戲應用的指令集、以及媒體文件中的任何一種。當被插入到控制臺7203或控制器中時，MU7241可以被存儲器控制器7202訪問。系統供電模塊7250向游戲系統7201的組件供電。風扇7252冷卻控制臺7203內的電路。
[0096]包括機器指令的應用7260被存儲在硬盤驅動器7208上。當控制臺7203被上電時，應用7260的各個部分被加載到RAM7206和/或高速緩存7210和7212中以供在CPU7200上執行。其它應用也可以存儲在硬盤驅動器7208上以供在CPU7200上執行。
[0097]可以通過簡單地將系統連接到監視器、電視機、視頻投影儀、或其它顯示設備來將游戲和媒體系統7201用作獨立系統。在此獨立模式下，游戲和媒體系統7201使得一個或多個玩家能夠玩游戲或欣賞數字媒體(例如觀看電影或聽音樂)。然而，隨著寬帶連接的集成通過網絡接口 7232而成為可能，游戲和媒體系統7201還可以作為更大的網絡游戲社區的參與者來操作。
[0098]圖9是移動設備8300的一個實施例的框圖，移動設備8300可用于實現圖3中的計算系統50。移動設備可以包括已經整合了無線接收機/發射機技術的膝上型計算機、袖珍計算機、移動電話、個人數字助理、以及手持式媒體設備。
[0099]移動設備8300包括一個或多個處理器8312以及存儲器8310。存儲器8310包括應用8330和非易失性存儲8340。存儲器8310可以是任何種類的存儲器存儲介質類型，包括非易失性和易失性存儲器。移動設備操作系統處理移動設備8300的不同操作，并可包含用于操作的用戶界面，如撥打和接聽電話呼叫、文本消息收發、檢查語音郵件等。應用8330可以是任何種類的程序，如用于照片和/或視頻的相機應用、地址簿、日歷應用、媒體播放器、因特網瀏覽器、游戲、鬧鐘應用、以及其它應用。存儲器8310中的非易失性存儲組件8340可以包含諸如音樂、照片、聯系人數據、日程安排數據、以及其它文件之類的數據。
[0100]所述一個或多個處理器8312還與下列各項通信:RF發射機/接收機8306，其又耦合到天線8302 ;紅外發射機/接收機8308 ;全球定位服務(GPS)接收器8365 ;以及移動/定向傳感器8314，其可以包括加速度計和/或磁力計。RF發射機/接收機8308可以通過諸如藍牙翁或IEEE802.11標準之類的各種無線技術標準來實現無線通信。加速度計可能已經結合在移動設備中以實現諸如下列等應用:智能用戶界面應用，其讓用戶通過姿勢輸入命令；以及定向應用，其可以在移動設備被旋轉時自動地從豎向改變成橫向。可以，例如，通過微機電系統(MEMS)來提供加速度計，該微機電系統是構建在半導體芯片上的微小機械器件(微米尺寸)。可以感測加速度方向、以及定向、振動和震動。所述一個或多個處理器8312還與響鈴器/振動器8316、用戶界面小鍵盤/屏幕8318、揚聲器8320、話筒8322、相機8324、光傳感器8326和溫度傳感器8328進行通信。用戶界面小鍵盤/屏幕可以包括觸敏屏幕顯示器。
[0101]所述一個或多個處理器8312控制無線信號的發射和接收。在發射模式期間，所述一個或多個處理器8312向RF發射機/接收機8306提供來自話筒8322的語音信號，或其它數據信號。發射機/接收機8306通過天線8302來發射信號。響鈴器/振動器8316被用于向用戶發傳入呼叫、文本消息、日歷提醒、鬧鐘提醒或其它通知等信號。在接收模式期間，RF發射機/接收機8306通過天線8302接收來自遠程站的語音信號或數據信號。所接收到的語音信號被提供給揚聲器8320，而接收到的其它數據信號被適當地處理。
[0102]另外，可以使用物理連接器8388來將移動設備8300連接到諸如AC適配器或加電對接底座之類的外部電源，以便對電池8304進行再充電。物理連接器8388還可被用作到外部計算設備的數據連接。該數據連接允許諸如將移動設備數據與另一設備上的計算數據進行同步等操作。
[0103]圖10是計算系統環境2200 (如圖3中的計算系統54)的實施例的框圖。計算系統環境2200包括計算機2210形式的通用計算設備。計算機2210的組件可以包括、但不限于處理單元2220、系統存儲器2230、以及將包括系統存儲器2230在內的各種系統組件耦合到處理單元2220的系統總線2221。系統總線2221可以是若干類型的總線結構中的任一種，包括使用各種總線體系結構中的任一種的存儲器總線、外圍總線、以及局部總線。作為示例，而非限制，這樣的體系結構包括工業標準體系結構(ISA)總線、微通道體系結構(MCA)總線、增強型ISA (EISA)總線、視頻電子技術標準協會(VESA)局部總線和外圍部件互連(PCI)總線。
[0104]計算機2210通常包括各種計算機可讀介質。計算機可讀介質可以是能由計算機2210訪問的任何可用介質，而且包含易失性和非易失性介質、可移動和不可移動介質。作為示例而非局限，計算機可讀介質可以包括計算機存儲介質。計算機存儲介質包括以用于存儲諸如計算機可讀指令、數據結構、程序模塊或其它數據等信息的任何方法或技術實現的易失性和非易失性、可移動和不可移動介質。計算機存儲介質包括，但不限于，RAM、ROM、EEPR0M、閃存或其它存儲器技術，CD-ROM、數字多功能盤(DVD)或其它光盤存儲設備，磁帶盒、磁帶、磁盤存儲設備或其它磁存儲設備，或者能用于存儲所需信息且可以由計算機2210訪問的任何其它介質。上述中任一組合也應包括在計算機可讀介質的范圍之內。
[0105]系統存儲器2230包括易失性和/或非易失性存儲器形式的計算機存儲介質，如只讀存儲器(ROM) 2231和隨機存取存儲器(RAM) 2232。包含諸如在啟動期間幫助在計算機2210內的元件之間傳輸信息的基本例程的基本輸入/輸出系統2233 (BIOS)通常存儲在R0M2231中。RAM2232通常包含處理單元2220可立即訪問和/或當前正在操作的數據和/或程序模塊。作為示例而非限制，圖10示出了操作系統2234、應用程序2235、其它程序模塊2236和程序數據2237。
[0106]計算機2210也可以包括其它可移動/不可移動、易失性/非易失性計算機存儲介質。僅作為示例，圖10示出了從不可移動、非易失性磁介質中讀取或向其寫入的硬盤驅動器2241，從可移動、非易失性磁盤2252中讀取或向其寫入的磁盤驅動器2251，以及從諸如CD ROM或其它光學介質等可移動、非易失性光盤2256中讀取或向其寫入的光盤驅動器2255。可在示例性操作環境中使用的其它可移動/不可移動、易失性/非易失性計算機存儲介質包括但不限于，磁帶盒、閃存卡、數字多功能盤、數字錄像帶、固態RAM、固態ROM等。硬盤驅動器2241通常由例如接口 2240之類的不可移除存儲器接口連接至系統總線2221，而磁盤驅動器2251和光盤驅動器2255通常由例如接口 2250之類的可移除存儲器接口連接至系統總線2221。
[0107]上文討論并在圖10中示出的驅動器及其相關聯的計算機存儲介質為計算機2210提供了對計算機可讀指令、數據結構、程序模塊和其它數據的存儲。例如，在圖10中，硬盤驅動器2241被示為存儲操作系統2244、應用程序2245、其它程序模塊2246和程序數據2247。注意，這些組件可與操作系統2234、應用程序2235、其它程序模塊2236和程序數據2237相同，也可與它們不同。在此操作系統2244、應用程序2245、其它程序模塊2246以及程序數據2247被給予了不同的編號，以說明至少它們是不同的副本。用戶可以通過輸入設備如鍵盤2262和定點設備2261 (通常指鼠標、跟蹤球或觸摸墊)向計算機2210輸入命令和信息。其它輸入設備(未示出)可包括話筒、操縱桿、游戲手柄、圓盤式衛星天線、掃描儀等。這些以及其它輸入設備通常通過耦合到系統總線的用戶輸入接口 2260連接到處理單元2220，但也可通過諸如并行端口、游戲端口或通用串行總線(USB)之類的其它接口和總線結構來連接。監視器2291或其它類型的顯示設備也經由諸如視頻接口 2290之類的接口連接至系統總線2221。除了監視器以外，計算機還可包括諸如揚聲器2297和打印機2296之類的其它外圍輸出設備，它們可通過輸出外圍接口 2295來連接。
[0108]計算機2210可使用到一個或多個遠程計算機(諸如，遠程計算機2280)的邏輯連接而在聯網環境中操作。遠程計算機2280可以是個人計算機、服務器、路由器、網絡PC、對等設備或其它常見網絡節點，且通常包括上文相對于計算機2210描述的許多或所有元件，但在圖10中只示出存儲器存儲設備2281。圖10中所示的邏輯連接包括局域網(LAN)2271和廣域網(WAN)2273，但也可以包括其它網絡。此類聯網環境在辦公室、企業范圍的計算機網絡、內聯網和因特網中是常見的。
[0109]當在LAN聯網環境中使用時，計算機2210通過網絡接口或適配器2270連接到LAN2271。當在WAN聯網環境中使用時，計算機2210通常包括調制解調器2272或用于通過諸如因特網等WAN2273建立通信的其它手段。調制解調器2272可以是內置的或外置的，可經由用戶輸入接口 2260或其它適當的機制連接到系統總線2221。在聯網環境中，相關于計算機2210所示的程序模塊或其部分可被存儲在遠程存儲器存儲設備中。作為示例而非限制，圖10示出了遠程應用程序2285駐留在存儲器設備2281上。應當理解，所示的網絡連接是示例性的，并且可使用在計算機之間建立通信鏈路的其它手段。
[0110]所公開的技術可用各種其它通用或專用計算系統環境或配置來操作。適合在該技術中使用的公知的計算系統、環境和/或配置的示例包括，但不限于，個人計算機、服務器計算機、手持或膝上型設備、多處理器系統、基于微處理器的系統、機頂盒、可編程消費者電子產品、網絡PC、小型機、大型機、包含上述系統或設備中的任一個的分布式計算機環境等。
[0111]所公開的技術可在諸如程序模塊等由計算機執行的計算機可執行指令的一般上下文中描述。一般而言，如此處所述的軟件和程序模塊包括執行特定任務或實現特定抽象數據類型的例程、程序、對象、組件、數據結構和其它類型的結構。硬件或硬件和軟件的組合可代替如此處所述的軟件模塊。
[0112]所公開的技術也可以在任務由通過通信網絡鏈接的遠程處理設備執行的分布式計算環境中實現。在分布式計算環境中，程序模塊可以位于包括存儲器存儲設備在內的本地和遠程計算機存儲介質中。
[0113]出于本文的目的，說明書中引述的“ 一實施例”、“ 一個實施例”、“某些實施例”或“另一實施例”用于描述不同的實施例并且不必然指的是同一實施例。
[0114]出于本文的目的，連接可以是直接連接或間接連接(例如，經由另一方)。
[0115]出于本文的目的，術語對象的“集合”指的是一個或多個對象的“集合”。
[0116]盡管用結構特征和/或方法動作專用的語言描述了本主題，但可以理解，所附權利要求書中定義的主題不必限于上述具體特征或動作。更確切而言，上述具體特征和動作是作為實現權利要求的示例形式公開的。
【權利要求】
1.一種用于擴展深度圖范圍的方法，包括: 使用第一光強度水平將光圖案投射到第一環境中； 在第一傳感器積分時間上捕捉所述第一環境的第一圖像，所述第一圖像與所述第一光強度水平相關聯； 確定與所述第一圖像相關聯的像素飽和度；基于所述像素飽和度，設置與所述第一光強度水平不同的第二光強度水平； 使用所述第二光強度水平將所述光圖案投射到所述第一環境中； 捕捉所述第一環境的第二圖像，所述第二圖像與所述第二光強度水平相關聯；以及 將所述第一圖像和所述第二圖像合成為組合圖像。
2.如權利要求1所述的方法，其特征在于: 所述像素飽和度包括與所述第一圖像相關聯的像素飽和的百分比；以及設置第二光強度水平包括:如果與所述第一圖像相關聯的像素飽和的百分比高于預定百分比，則將所述第二光強度水平設置為比所述第一光強度水平低的強度水平。
3.如權利要求1所述的方法，其特征在于: 設置第二光強度水平包括:如果所述像素飽和度不高于一閾值，則將所述第二光強度水平設置為比所述第一光強度水平高的強度水平。
4.如權利要求1-3中的任一項所述的方法，其特征在于: 將所述第一圖像和所述第二圖像合成為組合圖像包括:向所述組合圖像中與所述第一圖像中的飽和像素位置對應的像素位置分配與所述第二圖像相關聯的縮放像素值。
5.如權利要求1-3中的任一項所述的方法，其特征在于: 將所述第一圖像和所述第二圖像合成為組合圖像包括:對所述第一圖像和所述第二圖像應用高動態范圍成像技術。
6.如權利要求1所述的方法，其特征在于: 將光圖案投射到第一環境中包括使用激光投射所述光圖案； 將光圖案投射到第一環境中發生在第一時間段期間，所述第一傳感器積分時間在所述第一時間段之后；以及 所述第一光強度水平與距所述激光的特定距離相關聯。
7.一種用于擴展深度圖范圍的電子設備，包括: 照明源，所述照明源使用第一光強度水平將光圖案投射到第一環境中； 傳感器，所述傳感器在第一傳感器積分時間上捕捉所述第一環境的第一圖像，所述第一圖像與所述第一光強度水平相關聯；以及 一個或多個處理器，所述一個或多個處理器確定與所述第一圖像相關聯的像素飽和度，所述一個或多個處理器基于所述像素飽和度確定第二光強度水平，所述照明源使用所述第二光強度水平將所述光圖案投射到所述第一環境中，所述傳感器捕捉所述第一環境的第二圖像，所述第二圖像與所述第二光強度水平相關聯，所述第二光強度水平不同于所述第一光強度水平，所述一個或多個處理器從所述第一圖像和所述第二圖像生成組合圖像。
8.如權利要求7所述的電子設備，其特征在于: 所述像素飽和度包括與所述第一圖像相關聯的像素飽和的百分比； 如果與所述第一圖像相關聯的像素飽和的百分比高于預定百分比，則所述一個或多個處理器將所述第二光強度水平設置為比所述第一光強度水平低的強度水平。
9.如權利要求7所述的電子設備，其特征在于: 如果所述像素飽和度不高于一閾值，則所述一個 或多個處理器將所述第二光強度水平設置為比所述第一光強度水平高的強度水平。
10.如權利要求7-9中的任一項所述的電子設備，其特征在于: 所述一個或多個處理器通過對所述第一圖像和所述第二圖像應用高動態范圍成像技術來生成所述組合圖像。
【文檔編號】H04N13/00GK103765879SQ201280041944
【公開日】2014年4月30日 申請日期:2012年8月29日 優先權日:2011年8月30日
【發明者】S·M·薩瑪斯特, D·L·多利特勒 申請人:微軟公司