低光高動態范圍圖像的無運動模糊捕捉的制作方法
【專利說明】低光高動態范圍圖像的無運動模糊捕捉
[0001]背景
[0002]諸如移動電話等移動設備所捕捉的圖像的品質持續改進。然而，部分由于這些移動設備中一些移動設備的小形狀因子，手運動和/或對象運動所導致的圖像模糊仍舊是一個挑戰。而且，隨著移動設備變得更頻繁地在低光照條件下使用，移動設備中的相機經常不具有足夠長的曝光時間來補償光的缺失。此外，移動設備中的相機的動態范圍由于圖像傳感器的縮小的像素尺寸而被限制。結果，移動設備所捕捉的圖像的品質可能低于期望。
[0003]—些現有系統使用光學圖象穩定(0IS)來補償移動。在此類系統中，相機透鏡或圖像傳感器在曝光時間期間被移位以補償相機移動。相機透鏡或圖像傳感器由諸如內置在緊湊相機模塊中的音圈馬達或微機電系統(MEMS)等致動器來機械驅動。現有0IS系統昂貴、消耗大量功率、并且增大了移動設備中的相機模塊的尺寸。在此類系統中，移動設備消耗珍貴的電池電力并且變大。而且，現有0IS系統嘗試僅補償手的顫動所導致的運動模糊，但是不補償由場景內主體移動所導致的運動模糊。此外，現有解決方案沒有解決圖像的高光部分中的像素飽和。
[0004]概述
[0005]本公開的實施例訪問由計算設備所捕捉的圖像。來自與該計算設備相關聯的加速度計和/或陀螺儀的讀數被訪問。每個讀數對應于所訪問圖像中的至少一個圖像。所訪問圖像中的每個圖像的全局移動基于所訪問的讀數被計算。所訪問圖像中的每個圖像被基于所計算的全局移動重新對齊。重新對齊后的所訪問圖像被組合為單一輸出圖像。
[0006]替換地或附加地，來自由計算設備所捕捉的圖像序列的第一圖像和第二圖像被訪問。將與第一圖像中的像素相關聯的強度值和與第二圖像中的相應像素相關聯的強度值相比較。基于所述比較將與第一圖像中的像素相關聯的強度值和與第二圖像中的像素相關聯的強度值累計，從而產生累計強度值。根據累計強度值生成輸出圖像。
[0007]提供該概述以便以簡化形式介紹概念的選集，所述概念在以下詳細描述中被進一步描述。該概述不意圖標識所要求保護的主題的關鍵特征或基本特征，也不意圖被用來幫助確定所要求保護的主題的范圍。
[0008]附圖簡述
[0009]圖1是解說包括與多個計算設備通信的服務器計算設備的基于云的系統的示例性框圖。
[0010]圖2是解說具有可執行組件的計算設備的示例性框圖。
[0011]圖3是解說用于從所訪問圖像產生輸出圖像同時補償所訪問圖像中的全局移動的計算設備的操作的示例性流程圖。
[0012]圖4是解說用于通過補償所訪問圖像中的場景內移動來從所訪問圖像產生輸出圖像的計算設備的操作的示例性流程圖。
[0013]圖5是在補償全局移動和場景內移動之后的輸出圖像生成的示例性框圖。
[0014]圖6是解說用于估計圖像位移的濾波操作的示例性框圖。
[0015]圖7是解說通過拒絕在預期輸出范圍之外的像素強度值來選擇性累計在預期輸出范圍內的像素強度值的示例性圖示。
[0016]圖8是計算設備所捕捉的四個幀的序列的示例性解說。
[0017]圖9A是未經處理的從圖8中示出的四個幀的序列產生的累計幀的示例性解說。
[0018]圖9B是在補償場景內移動之后的從圖8中示出的四個幀的序列產生的累計幀的示例性解說。
[0019]圖10A是“無糾正”的樣本輸出圖像、具有光學圖像穩定(0IS)的樣本輸出圖像、以及在使用圖3和/或圖4中解說的操作處理之后的樣本輸出圖像的示例性解說。
[0020]圖10B解說了來自圖10A的樣本輸出圖像的重新繪制版本。
[0021 ] 在全部附圖中，相應的附圖標記指示相應的部分。
[0022]詳細描述
[0023]參考各圖，本公開的各實施例補償捕捉圖像214時的全局運動和/或場景內運動。在一些實施例中，幀的粹發(burst)由計算設備102捕捉。幀的粹發表示按定義速率(例如，每秒幀數)捕捉的圖像214的序列。加速度計讀數216和/或陀螺儀讀數218與幀一起(即，同時)被捕捉。計算設備102或其他處理實體使用加速度計讀數216和/或陀螺儀讀數218來計算所捕捉幀之間的全局移動。所述幀中的每個幀被基于所計算的全局移動重新對齊。在重新對齊幀之后，將與重新對齊后的幀中的像素相關聯強度值與從參考幀得到的預期強度值相比較。基于該比較，選擇性累計與重新對齊后的幀中的像素相關聯的強度值，且根據選擇性累計的強度值來生成輸出圖像。
[0024]本公開的各方面從而補償了捕捉幀時的全局移動和場景內對象移動。而且，與重新對齊后的幀中的像素相關聯的強度值的選擇性累計組織了幀捕捉期間的飽和(saturat1n)。以此方式，本公開的實施例提供了低成本、低功率且穩健的解決方案，而無需操作與圖像傳感器206 —起駐留在計算設備102的相機模塊中的任何機械或移動部件(例如，與光學圖像穩定相對比)。如此，本公開的各方面補償全局運動和場景內運動兩者，同時阻止捕捉期間的飽和，而不增大相機模塊的尺寸。
[0025]本公開的各方面進一步改善了在低光照條件下移動設備(例如移動電話)所捕捉的圖像214的品質而不具有運動模糊偽像(或具有減少的運動模糊偽像)，從而相對于光學圖像穩定(10S)系統帶來了改善的信噪比(SNR)。通過跨如本文描述的圖像214的猝發針對每個像素選擇性累計強度值，圖像傳感器206的動態范圍因為每個像素能夠在較高光照水平操作而被增大。例如，動態范圍增大N倍，其中N是總幀數。通過擴展相機模塊的動態范圍，阻止圖像傳感器206在高照明下飽和。相對地，輸出圖像的有效曝光時間比傳統圖像傳感器能處理地更長。
[0026]盡管本公開的一些方面被描述為補償全局運動和場景內運動兩者，然而構想了一些實施例補償全局運動或場景內運動。而且，盡管本文所解說和描述的操作可由計算設備102(例如，相機、移動電話、平板等)作為獨立設備執行，一些基于云的實施例構想了與一個或多個計算設備102通信的服務器計算設備106的操作的執行，如接下來參考圖1描述的。
[0027]參考圖1，圖1是解說包括與多個計算設備102通信的服務器計算設備106的基于云的系統的示例性框圖。在圖1的示例中，計算設備102(諸如計算設備#1到計算設備測)經由網絡104與服務器計算設備106通信。計算設備102表示執行指令(例如作為應用程序、操作系統功能或這兩者)以實現本文描述的操作和功能性的任何設備。計算設備102可包括移動計算設備102或任何其它的便攜式設備。在一些實施例中，移動計算設備102包括移動/蜂窩電話、相機、膝上型計算機、圖形輸入板、計算板、上網本、游戲設備和/或便攜式媒體播放器。計算設備102還可包括較不便攜的設備，諸如臺式個人計算機、自助服務終端和桌面設備。另外，計算設備102可以表示一組處理單元或其它計算設備。
[0028]網絡104可包括有線和/或無線網絡。網絡104還可使用任何類型的網絡拓撲和/或通信協議來實現，并可被表示為或以其他方式實現為兩個或更多個網絡的組合，并可包括網際協議(IP)網絡和/或因特網。網絡104還可包括由移動網絡運營商和/或其他移動運營商來管理的移動運營商網絡，諸如通信服務提供商、移動電話提供商和/或因特網服務提供商。
[0029]在操作中，本文描述的功能性可被計算設備102和/或服務器計算設備106中的每一個執行。例如，計算設備102中的每一個可對該計算設備102捕捉的圖像214的序列執行圖像處理。在另一示例中，計算設備102之一將所捕捉圖像214的序列連同相應的加速度計讀數216和/或陀螺儀讀數218 —起發送(例如，實時地、周期性地、間歇地、成批次地等)給服務器計算設備106。服務器計算設備106執行圖像處理并將輸出圖像返回至計算設備102以用于顯示。
[0030]接下來參考圖2，示例性框圖解說了計算設備102的架構。在圖2的示例中，計算設備102包括至少一個圖像傳感器206、至少一個陀螺儀210、至少一個加速度計208、至少一個處理器204、以及至少一個存儲器區域212。圖像傳感器206可以是任何類型的模擬傳感器、諸如電荷藕合器件(CCD)或互補金屬氧化物半導體(CMOS)等數字傳感器、等。本領域已知的其他類型的圖像傳感器206可在計算設備102中使用以捕捉圖像214的序列。
[0031]加速度計208操作以捕捉計算設備102的移動，諸如在捕捉圖像214(例如幀)時。例如，加速度計208提供表示計算設備102的移動的數據。單軸加速度計、多軸加速度計、微機械加速度計、以及其他加速度計均在本公開的范圍內。
[0032]陀螺儀210操作以捕捉計算設備102在捕捉圖像214的序列時的旋轉移動。例如，陀螺儀210提供表示計算設備102的旋轉移動的數據。機械、電子、微芯片封裝微機電系統(MEMS)、固態環激光器、光纖、量子陀螺儀以及其他陀螺儀在本公開的范圍內。
[0033]在一些實施例中，加速度計讀數216和/或陀螺儀讀數218在與計算設備102捕捉圖像214大致、基本或另外地在大約相同的時間被捕捉。例如，加速度計讀數216和/或陀螺儀讀數218與每個圖像214的捕捉同