用于改善計算成像的系統和方法與流程

本申請要求于2014年6月12日提交的題為“Systems and Methods for Image Translation for Computational Imaging”(代理人案卷DU4366PROV)的美國臨時申請序列號62/011,129的權益，其通過引用并入本文。如果本申請與通過引用并入的一個或多個案件之間在語言上存在可能影響對本案件中的權利要求的解釋的任何矛盾或不一致，則這種情況下的權利要求應當被解釋為與本案件中的語言一致。

技術領域

本發明總地涉及計算成像，并且更具體地涉及形成具有改善質量的數字圖像，諸如三維圖像和擴展景深圖像之類。

背景技術：

相機是其中透鏡系統從場景捕獲光并在其焦平面處形成光學圖像的光學儀器。光學圖像表現為形成在記錄介質上的照明圖案，記錄介質諸如是照相膠片或傳感器元件陣列(即，“焦平面陣列”)之類，其典型地位于或接近透鏡系統的焦平面。對于基于照相膠片的相機，所捕獲的圖像與照明圖案成比例并且永久地印在膠片上。然而，數字相機使用對由其焦平面陣列的傳感器元件記錄的照明圖案的數字處理來估計場景的圖像。在常規實踐中，數字處理還提供噪聲降低，以及對不均勻性和失真的校正。不論數字處理的進步如何，在當前相機設計中仍然存在捕獲的圖像具有與在捕獲時刻的照明圖案一一對應(即，與之同構)并成比例的想法。

相機的目的是創建真實世界場景(也稱為真實世界對象)的圖像。真實世界場景是包括三個空間維度、時間和顏色的五維(5D)分布。傳統的相機利用對顏色的交織或分層采樣以及對時間的順序采樣將這些分布折疊到空間中的兩個維度。結果，關于真實世界場景的大量信息沒有被記錄介質恢復，從而降低空間和縱向分辨率并限制所得到的圖像的景深(DOF)。

然而，計算成像提供了恢復大部分之前未被恢復的信息的希望，從而以利用基于膠片的成像系統不可能的方式提高相機的能力。與標準成像方法對比，計算成像不假定場景的物理結構與其重建圖像之間的同構。相反，在計算成像系統的設計中，物理測量結果被“編碼”以使得能夠在圖像重建期間進行計算“解碼”，并從而使得能夠改善重建圖像中的度量(metric)。計算成像已被用來開發數字全景和高動態范圍圖像的相機內計算，以及光場相機，光場相機使得能夠生成三維圖像、增強的景深(EDOF)和選擇性再聚焦(或“后聚焦”)。

在現有技術中已經開發了使用計算成像來改善圖像重建的一些方法，包括像素間插值和編碼孔徑成像系統。

插值可以用來通過“填充”位于焦平面陣列的傳感器元件之間的區域來改善重建圖像的視覺質量。在最佳實踐中，考慮所有顏色層中的值的非線性估計算法被用來根據顏色平面測量結果的聯合集來完成二維空間和一維顏色數據立方體。然而，這些采樣策略假定測量結果與場景圖像同構。不幸的是，這種常規策略沒有考慮場景的對象空間的三維空間結構。換句話說，場景中的深度信息不被恢復。

編碼孔徑成像使光學系統的光學響應(即，其脈沖響應，或“點擴散函數(PSF)”h(x，x'，y，y'，λ，t))“結構化”，并且然后將其生成的光分布重新成像到焦平面陣列上。應當注意到，基于編碼孔徑的采樣是計算成像的示例，因為：(1)光學系統的PSF被編碼，使得測量的數據不與場景數據立方體同構(數據立方體必須根據數字處理來估計)；和(2)因為先前信息(諸如稀疏性或平滑性之類)被應用以允許對場景的解壓縮估計。計算成像需要(1)和(2)兩者來構造對應于h(x，x'，y，y'，λ，t)的精確正向模型以及構造與用來正則化反演的先驗(prior)相對應的精確對象模型。

而另一種計算成像方法依賴于編碼孔徑與光譜色散的組合，其使得能對數據立方體的空間光譜子空間進行高分辨率重建，如Wagadarikar等人在“Single disperser design for coded aperture snapshot spectral imaging”，Applied Optics，Vol.47，第B44-B51頁(2008)中所公開的。此外，圖像獲取期間的編碼孔徑的轉換將時間變化添加到光學系統的PSF，并且使得能夠使用相同的數學策略來從單個記錄幀重建多個時間幀，如Llull等人在“Coded aperture compressive temporal imaging.”Optics Express，Vol.21，第10526-10545頁(2013)中討論的。另外，該策略可以擴展到通過在單幀獲取期間掃描透鏡的焦點位置進行的場景的體積成像，如Yuan等人在arXiv preprint arXiv：1402.6932(2014)中的“Low-Cost Compressive Sensing for Color Video and Depth”中所公開的。另外，編碼孔徑壓縮策略是Brady等人在美國專利No.7,432,843、7,463,174和7,463,179中公開的壓縮測量結果策略的具體示例。

遺憾的是，現有技術的編碼孔徑成像方法是不理想的，因為：(1)用于將代碼平面成像到檢測器上的中繼光學器件增加了光學系統的復雜性和體積；和(2)正向模型的準確特征表示是具有挑戰性的。

技術實現要素：

本發明使得能夠實現用于計算場景的數字圖像以使得所得到的圖像具有增強的空間、時間和/或深度分辨率而沒有現有技術的一些成本和缺點的系統和方法。本發明的實施例非常適合于形成高分辨率圖像，諸如場景的三維圖像和/或增強的景深圖像之類。另外，可以在單個圖像幀期間恢復增加的信息，使得諸如三維視頻之類的實時成像應用是可行的。

本發明在單幀曝光期間采用縱向和橫向圖像平移以編碼光學系統的傳遞函數，從而提高相機采樣效率。這使得能夠使用計算成像技術提高采樣中的信息速率并改善重建圖像質量。本發明的實施例在焦平面陣列上形成光分布，其中所述光分布基于由透鏡系統形成的場景的光學圖像。在焦平面陣列的曝光時段期間，在光分布和焦平面陣列之間同時施加相對的縱向運動和橫向運動，這編碼關于透鏡系統的模糊核的深度信息，從而生成編碼的數字輸出信號。通過利用透鏡系統的模糊核和橫向運動的模型對編碼的數字輸出信號進行去卷積來計算場景的深度信息增強的數字圖像。

例示性實施例是一種相機，其包括共同限定光軸的透鏡系統和焦平面陣列，以及用于在焦平面陣列上施加橫向運動的致動器。透鏡系統在光軸上的第一點處形成光學圖像，這在焦平面陣列上引起光分布，焦平面陣列位于光軸上的第二點。在焦平面陣列的單個曝光時段的持續時間內：(1)透鏡系統的焦距掃描經過焦距范圍，從而相對于焦平面陣列對光分布施加縱向運動；和(2)沿著橫向于光軸的路徑移動焦平面陣列。通過掃描的焦距和焦平面陣列的橫向運動，關于場景的深度信息在焦平面陣列的數字輸出信號中被編碼以形成編碼的數字輸出信號。通過利用針對透鏡系統的模糊核對編碼的數字輸出信號進行去卷積來恢復該深度信息。

在一些實施例中，誘發光分布和焦平面陣列之間的相對運動，使得該運動至少部分地在與光軸正交的平面中。在一些實施例中，相對運動包括在所述平面內的彎曲路徑。在一些實施例中，相對運動包括在所述平面內的圓形路徑。在一些實施例中，相對運動包括在所述平面內的線性路徑。

在一些實施例中，通過移動透鏡系統的至少一部分來誘發相對運動。在一些實施例中，通過移動焦平面陣列來誘發相對運動。在一些實施例中，通過移動焦平面陣列和透鏡系統的至少一部分兩者來誘發相對運動。

在一些實施例中，使用常規相機“光學圖像穩定化”系統來實現光分布和焦平面陣列之間的相對橫向運動。在一些實施例中，經由常規的相機焦點調節來實現光分布和焦平面陣列之間的相對縱向運動。在一些實施例中，通過沿著透鏡系統的光軸物理地移動焦平面陣列來實現光分布和焦平面陣列之間的相對縱向運動。在一些實施例中，通過沿著透鏡系統的光軸相對于焦平面陣列物理地移動透鏡系統的至少一部分來實現光分布和焦平面陣列之間的相對縱向運動。

在一些實施例中，通過利用透鏡系統的校準的多維脈沖響應對編碼的數字輸出信號進行去卷積來計算場景的深度信息增強的數字圖像。

在一些實施例中，使用四維橫向空間、縱向空間和時間數據立方體中的比包括在焦平面陣列中的傳感器像素的數量更多的像素來估計場景的數字圖像。

本發明的實施例是一種用于形成場景的數字圖像的方法，該方法包括：在第一軸上的第一位置處形成光學圖像；將焦平面陣列定位在第一軸上的第二位置處，其中第一位置和第二位置沿著第一軸以第一距離分開；在所述焦平面陣列處接收光分布，所述光分布基于所述光學圖像和第一距離；在第一曝光時段上將所述光分布轉換成數字輸出信號；控制第一位置和第二位置中的至少一個以在第一曝光時段期間掃描第一距離經過第一范圍；和在第一曝光時段期間誘發所述焦平面陣列與所述光分布之間的第一相對運動，其中第一相對運動與第一軸不對準；其中經過第一范圍的第一距離的掃描和第一相對運動共同地編碼所述數字輸出信號以形成編碼的數字輸出信號。

附圖說明

圖1描繪了根據本發明的例示性實施例的計算成像系統的示意圖。

圖2描繪了根據本發明的例示性實施例的用于生成場景的數字圖像的方法的操作。

圖3描繪了根據例示性實施例的透鏡102的焦點在一系列代表性曝光幀上的圖示。

圖4描繪了示出根據本發明，傅里葉(u，v)平面中的支持定義了測量結果系統的“通帶”的示意圖。

圖5描繪了針對具有靜止焦平面陣列的相機的仿真PSF。

圖6A-B描繪了針對相機100的對象空間中的兩個點的仿真PSF，其中在根據本發明的曝光幀期間在橫向方向上線性移動焦平面陣列104的同時獲得PSF。

圖7描繪了根據本發明的例示性實施例，針對在不同范圍處的相機100的仿真PSF。

圖8描繪了被提供作為焦點對準的仿真對象的四個不同的公知的仿真圖像。

圖9描繪了相機100和對象800、802、804和806的布置，其中四個對象位于沿著相機的z軸的不同的距離處。

圖10A描繪了使用一個焦點位置的重建圖像800、802、804和806。

圖10B描述了重建的圖像，其中每個都用其實行核(perpetrating kernal)去卷積。

圖11描繪了用于圖示1002中所描繪的重建圖像的常規模糊核的圖示。

圖12描繪了在具有光分布LD(x)和焦平面陣列104之間的誘發的縱向運動(即，具有透鏡102的焦點掃描)但沒有焦平面陣列的橫向運動的情況下得到的EDOF核的圖示。

圖13描繪了在圖12中所示的EDOF核的橫截面的圖示。圖13中示出的橫截面說明這些焦點掃描核是基本上深度不變的。

圖14A描繪了在具有誘發的縱向運動但是沒有焦平面陣列104的橫向運動的情況下得到的如由EDOF核破壞的重建圖像800、802、804和806。

圖14B描繪了圖示1400中所示的重建圖像。圖示1402中的每個圖像用其實行核去卷積。

圖15描繪了針對在去卷積之后的圖像800、802、804和806的峰值信噪比值的圖示。

圖16描繪了在具有誘發的縱向和線性橫向運動的情況下得到的EDOF核的圖示。圖16示出了針對在v＝10像素/Δt的情況下的目標對象距離的核。

圖17A描繪了在光分布LD(x)和焦平面陣列104之間的誘發的縱向運動以及焦平面陣列在一個維度中的橫向運動的情況下得到的如由EDOF核破壞的重建圖像800、802、804和806。

圖17B描繪了圖示1700中所示的重建圖像。圖示1702中的每個圖像用其實行核去卷積。

圖18描繪了針對如在圖示1702中描繪的去卷積之后的圖像800、802、804和806的峰值信噪比值的圖示。

圖19描繪了在具有光分布LD(x)和焦平面陣列104之間的誘發的縱向運動和焦平面陣列在兩個維度中的橫向運動的情況下得到的模糊核的圖示。

圖20A示出了在具有光分布LD(x)和焦平面陣列104之間的誘發的縱向運動以及焦平面陣列在兩個維度中的橫向運動的情況下得到的如由EDOF核破壞的重建圖像800、802、804和806。

圖20B描繪了圖示2000中所示的重建圖像。圖示2002中的每個圖像用其對應的模糊核去卷積。

圖21描繪了針對如在圖示2002中所描繪的去卷積之后的圖像800、802、804和806的峰值信噪比值的圖示。

具體實施方式

本發明的實施例采用圖像平移作為編碼機制以改善計算成像系統中的重建圖像的質量。具體地，圖像平移包括在成像系統的每個曝光幀期間，成像系統的焦平面陣列與由成像系統的光學器件提供給它的物理光分布之間的同時的相對的橫向和縱向運動。

計算成像依賴于針對物理圖像捕獲過程的模型，其中圖像g(x，y，z，t)(其中x、y和z是透鏡102的圖像空間中的空間坐標)是受成像系統的光學特性——特別是其PSF，h(x，x'，y，y'，z，z'，λ)影響的正在被成像的場景的物理測量結果f(x'，y'，z'，λ，t)的函數(其中x'，y'和z'是透鏡102的對象空間中的空間坐標)。現代數字成像系統中的實際測量結果包括具有適當采樣結構的g(x，y，t)的離散樣本。另外，焦點成像系統通常是“移位不變的”，使得光學系統的脈沖響應僅取決于對象空間和圖像空間空間變量之間的間隔。

圖1描繪了根據本發明的例示性實施例的計算成像系統的示意圖。相機100是用于形成場景112的擴展景深數字圖像的數字相機。相機100包括透鏡102、焦平面陣列104、運動系統106和處理器108。透鏡102和焦平面陣列104被布置為共同定義光軸110。在一些實施例中，相機100被確定尺寸并布置為提供場景112的數字圖像，這些數字圖像：

i.具有改善的空間分辨率；或

ii.具有改善的時間分辨率；或

iii.具有增強的景深；或

iv.基本上是三維圖像；或

v.i、ii、ii和iv的任何組合。

透鏡102是常規的相機透鏡系統，比如適于在手持式數字相機中使用的透鏡系統。透鏡102具有可變焦點并且可以在從z1到z2的聚焦范圍(即，聚焦范圍116)內的任何地方聚焦。在所描繪的示例中，范圍z1和z2與場景112的深度極值一致。本領域技術人員將認識到如何指定、制造和使用透鏡系統102。通常，透鏡102包括多個透鏡元件，其中透鏡元件中的至少一個可相對于其它透鏡元件沿著光軸110獨立地移動以使得能夠進行聚焦控制。

在數學上將相機100的測量結果平面(即，焦平面陣列104的表面)定義為z＝0，場景112與由透鏡102形成的圖像之間的映射可以通過以下來描述：

g(x，y，t)＝∫f(x′，y′，z′，λ，t)h(x，x′，y，y′，z′，λ)dx′dy′dzdλ。 (1)

忽略不均勻的光學像差，對象測量結果映射可以被認為在單個顏色帶內(即，對于任何單個顏色)是移位不變的。結果，上面的方程(1)采取以下形式：

g_i(x，y，t)＝∫f(x′，y′，z′，λ，t)h_i(x-x′，y-y′，-z′，λ)dx′dy′dzdλ， (2)

其中h_i(x，y，z，λ)組合光學PSF和第i個濾色器響應函數。注意到，每個顏色平面可以被認為是僅在對其而言該特定濾色器是激活的像素處被采樣的獨立圖像。

在所描繪的示例中，透鏡102在透鏡的圖像空間中的點(x，y，z)處形成透鏡的對象空間中的所有點(x'，y'，z')的光學圖像，這引起在焦平面陣列104上的光分布LD(z)。如在下面討論的，焦平面陣列上的光分布的配置取決于在透鏡102的圖像空間中場景在相對于焦平面陣列的什么位置形成，這取決于透鏡在其對象空間中被聚焦于的范圍z。

焦平面陣列104是傳感器元件的常規二維陣列，傳感器元件中的每個可操作用于接收光分布LD(z)的一部分并提供具有基于入射到其上的光部分的強度的幅度的對應電信號。適于在本發明的實施例中使用的傳感器元件包括電荷耦合器件(CCD)、光電檢測器、光電二極管、光電晶體管等。

焦平面陣列104向處理器108提供輸出信號114，其中輸出信號114表示入射在其傳感器元件陣列上的光分布。本領域技術人員將認識到，焦平面陣列通常以“曝光時段”為特征，為了包括所附權利要求的本說明書的目的，曝光時段被定義為焦平面陣列將入射在其上的光分布轉換成表示該光分布的輸出信號所需的時間。通常，相機100的每個曝光幀的持續時間等于該曝光時段，其確定相機的幀速率。

致動器106是與焦平面陣列104可操作地耦合的常規機械平移設備，使得致動器可以沿著與光軸110至少部分未對準的路徑移動焦平面陣列。為了包括所附權利要求的本說明書的目的，與光軸110“未對準”被定義為與光軸既不共線也不平行。換句話說，致動器106沿著具有至少一部分的路徑移動焦平面陣列，所述至少一部分與光軸110形成具有在0°與180°之間的幅度的角度。優選地，致動器106沿著具有位于與光軸110基本正交的平面(例如，位于z＝0處的x-y平面)中的至少一部分的路徑移動焦平面陣列。在例示性實施例中，致動器106是常規的光學圖像穩定化系統，諸如常規地包括在手持式數字相機中的那些。在一些實施例中，致動器106是可操作用于在焦平面陣列104上施加運動的另一致動器，其中該運動包括在橫向于光軸110的方向上的路徑。在一些實施例中，致動器106可操作地耦合到透鏡102使得其在透鏡上施加引起入射在焦平面陣列104上的光分布的橫向運動的運動。

在一些實施例中，致動器106是被動系統，其響應于外部施加的運動而使得能夠進行焦平面陣列104上的光分布與焦平面陣列之間的橫向相對運動。為了包括所附權利要求的本說明書的目的，“外部施加的運動”被定義為施加到相機100的外力，諸如握持相機的手的運動等。

處理器108是常規的計算機處理系統，其可操作用于執行對輸出信號114的圖像處理和去卷積以生成場景112的數字圖像。處理器108還向透鏡102、焦平面陣列104和致動器106提供控制信號，以便控制光分布與焦平面陣列之間的相對運動并使該相對運動與焦平面陣列的曝光時段(即，其幀速率)同步。

圖2描繪了根據本發明的例示性實施例的用于生成場景的數字圖像的方法的操作。方法200以操作201開始，其中，對于根據從t＝0到時間t＝T的時間段的曝光時段，焦平面陣列104被啟用以記錄光分布LD(z)。

在操作202，透鏡102的焦點在曝光時段302的持續時間期間掃描經過聚焦范圍116。在操作202中，透鏡102的焦點以恒定速率從z1'到z2'掃過。結果，以下光軸上的位置(以及因此其與焦平面陣列104之間的距離)從P1掃描到P2：在該位置處形成了場景的光學圖像。如在上面簡要提到，通過經由一連串的值掃描光學圖像和焦平面陣列之間的間隔，入射在焦平面陣列上的光分布也連續地改變。為了包括所附權利要求的本說明書的目的，將其定義為相對于焦平面陣列104對光分布LD(z)施加縱向運動。在一些實施例中，通過保持透鏡102的焦點恒定且沿光軸110物理移動焦平面陣列104來實現該相對縱向運動。

圖3描繪了根據例示性實施例的透鏡102的焦點在一系列代表性曝光幀上的圖示。圖示300描繪了在三個曝光幀302上的透鏡102的焦點位置304，每個曝光幀具有T的曝光時段。為了說明的目的，在所描繪的示例中，相機100的曝光幀等于焦平面陣列104的曝光時段104；然而，本領域技術人員將認識到，在不脫離本發明的范圍的情況下，相機的曝光幀可以不同于焦平面陣列的曝光時段。

本領域技術人員將認識到，當透鏡102在范圍z＝z1'處聚焦時，位于平面z1'處的場景112的區域被聚焦在平面z1處(即，位置P1'被聚焦在位置P1處)。這引起焦平面陣列104上的光分布LD(z1)。以類似的方式，當透鏡102在范圍z＝z2'處聚焦時，位于平面z2'處的場景112的區域被聚焦在平面z2處(即，位置P2'被聚焦在位置P2處)。這引起焦平面陣列上的光分布LD(z2)。隨著透鏡102的焦點在z1'和z2'之間掃描，以下光軸110上的點在P1和P2之間移動：在所述點處形成了場景112的光學圖像，并且焦平面陣列上的光分布LD(z)在曝光幀的過程中從LD(z1)到LD(z2)平滑地轉變。

在例示性實施例中，通過在曝光時段302-1期間將透鏡102的焦點從z1'掃到z2'，在曝光時段302-2期間將其從z2'掃回到z2'如此往復，來獲得光分布LD(z)和焦平面陣列104之間的相對縱向運動。這減輕了由于需要在每個曝光幀之后將透鏡102的焦點返回到相同位置而產生的曝光幀之間的延遲。然而，在閱讀本說明書之后，本領域技術人員將認識到，在本發明的范圍內存在各種各樣的替代焦點掃描策略。

在操作203，在每個曝光時段302的持續時間期間誘發光分布LD(z)和焦平面陣列104之間的相對橫向運動。在所描繪的示例中，致動器106在位于z＝0處的x-y平面中的360°圓形路徑中移動焦平面陣列104。優選地，焦平面陣列的路徑導致比焦斑腰部大數倍的光圖案的平移幅度。

本領域技術人員將認識到，借助光分布LD(z)和焦平面陣列104之間的相對的縱向和橫向運動，在每個曝光時段302期間由焦平面陣列記錄的信息是在聚焦范圍116內的無限數量的圖像切片的融合(即，LD(z)在等于T的時間段內的積分)。透鏡102的PSF和焦平面陣列104的路徑的知識使得能夠經由去卷積來恢復場景112的空間信息，如下所述。

針對利用運動編碼的計算成像的正向模型

相機100的正向模型可以提供對于在焦平面陣列104的單個曝光時段期間的圖像平移和焦點掃描是如何提高計算成像系統的采樣效率的洞察。由于對每個顏色平面的獨立考慮是足夠代表性的，因此相機的單色正向模型是足夠的，并且由下式描述：

g(x，y，t)＝∫f(x′，y′，z，t)h(x-x′-η(t)，y-y′-ξ(t)，ζ(t)-z)dx′dy′dz， (3)

其中η、ξ和ζ分別是x、y和z中的依賴于時間的空間平移。

應當注意到，消除這種平移通常是現有技術成像系統的關鍵目標，因為它們引起運動模糊、圖像抖動和散焦。然而，本發明的一個方面是，可以利用這些相對運動來使得能夠進行物理層數據壓縮、增加信息獲取的速率以及改善估計的圖像質量。

本領域技術人員將認識到，空間分辨率受到波衍射、幾何像差和像素采樣的限制。相比之下，時間分辨率僅受焦平面陣列104的像素采樣速率限制。波衍射和幾何像差限制由透鏡102的PSF的結構確定。在空間和時間中的像素采樣限制由以下確定：如Brady等人在“Optical imaging and spectroscopy”，John Wiley&Sons，(2009)中討論的像素采樣函數p_x(x)和p_t(t)。采樣的測量結果數據立方體包括連續函數的離散樣本：

g(x，y，t)＝∫f(x″，y"，z，t)h(x′-x″-η(t′)，y′-y″-ξ(t′)，ζ(t′)-z)p_x(x-x′)px(y-y′)p_t(t-t′)dx"dy"dx′dy′dzdt′. (4)

通過考慮二維空間-時間模型可以容易地理解平移對該測量結果模型的影響，在該二維空間-時間模型下，一維空間圖像作為比如下式的時間的函數而被轉換：

g(x，t)＝∫f(x″，t′)h(x′-x″-vt′)p_x(x-x′)p_t(t-t′)dx″dx′dt′， (5)

其中在數據捕獲期間圖像的線性運動被假定為υ。g(x，t)在空間和時間上的傅立葉變換由下式給出：

傅里葉(u，v)平面中的支持定義了測量結果系統的“通帶”。

圖4描繪了示出根據本發明，傅里葉(u，v)平面中的支持定義了測量結果系統的“通帶”的示意圖。圖示400表明圖像平移的效果是使穿過將在測量結果中表征的通帶的的傅里葉空間中的區域移位。假定矩形通帶，圖中具有沿著u軸的范圍U_max和沿著v軸的范圍V_max的正方形是通過其來獲得測量結果的通帶。在沒有圖像平移的情況下，這也是通過其來獲得對象數據的通帶。然而，運動變換對象映射，使得加粗的平行四邊形表示對象傅立葉空間中的通帶。通帶中的這種變化的影響是使圖像對與通常會觀察到的分量相比頻率更高(例如，更快)的分量敏感，這是以減小在固定頻率處沿著u軸的通帶的范圍為代價的。具體地，在v＝0處的通帶的范圍現在是2V_max/v<2U_max。如果速度是N像素/幀，則在給定頻率處的空間通帶減少了至少N倍。對象空間中的通帶的總面積與樣本空間中的面積相同，即4U_maxV_max，其獨立于圖像速度。

因此，記錄期間的圖像平移的效果是有效采樣通帶中的剪切。如果信息均勻地分布在對象傅里葉空間上，則這種移位對總體信息速率沒有影響。然而，在實踐中，自然圖像中的信息傾向于在低空間和時間頻率處簇合(cluster)。在這種情況下，圖像平移使所記錄的圖像模糊并降低總體信息速率。然而，在許多情況下，低頻信息被良好地表征或是高度可壓縮的，并且的確發現增加最大頻率響應的傳感器平移的潛力是有吸引力的。因為克服了由交錯顏色濾波產生的與子采樣相關聯的混疊極限(limit)，如Kittle等人在“Multi-frame image estimation for coded aperture snapshot spectral imagers”Applied Optics,Vol.49，第6824-6833頁(2010)中所說明的，平移可以是特別有吸引力的。以類似的方式，代碼的平移或圖像平面的平移克服了混疊極限以實現空間超分辨率。

允許在x平面和y平面兩者中進行圖像運動的圖像的多維性質在這方面是特別重要的，因為彎曲路徑中的每幀超過大約10個像素的運動實現了時間頻率分辨率的10倍的凈增加，同時使每個方向上的橫向分辨率降低可以按各種方式理解與圖像平移相關聯的時間分辨率中的增加和帶通的重新形成中的增加。最明顯地，在場景中的對象恰好正作為時間的函數而移動的情況下，如果圖像在相同方向上移動則獲得更好的聚焦和更好的成像。更細微地，如果空間靜止的對象根據時間改變，則其時間演化可以通過圖像運動而被映射到空間模式。例如，如果對象被描述為f(x，t)＝δ(x)f_t(t)，并且假設h(x)＝δ(x)，則具有圖像平移的感測數據由下式給出：

g(x，t)＝∫f_t(t′)p_x(x-vt′)p_t(t-t′)dt′， (7)

將橫向空間采樣近似為p_x(x)＝δ(x)，則：

g(x，t)＝f(x/v)p(t-x/v′)dt′ (8)

這意味著運動將時間信號ft(t)映射到可以用有效帶通2(V_max+vU_max)分析的空間模式。

三維成像

在具有大景深的場景的情況下，或者當場景的對象范圍為未知時，在曝光期間圖像平移的增加提供了具體的優點。在這種情況下，初始PSF由于散焦而模糊，并且運動的影響對于散焦范圍而言不明顯。

在典型的常規相機中，找到正確的聚焦狀態的過程與圖像捕獲的過程分離。無論是由相機用戶手動進行還是經由(使用次級范圍傳感器或圖像對比度分析的)自動聚焦系統進行，透鏡系統通常都被調整以在記錄圖像之前獲得“恰當的”焦點。然而，這種方法對于記錄以下場景是次優的：在場景中對象范圍是動態的或者場景跨越多個范圍。結果，已經開發了用于獲得擴展景深和/或數字重新聚焦的許多替代策略，諸如“波前編碼”策略和“光場”策略之類。在波前編碼中，將像差或“代碼”有意地引入到透鏡孔徑中以產生焦點不變的或編碼的PSF。在光場策略中，微透鏡陣列用于使多范圍采樣交錯。遺憾的是，這些策略減少橫向分辨率以獲得跨范圍的改善成像。

然而，本發明的一個方面是，在焦點掃描期間移動圖像提供與波前編碼和光場成像相同的優點，但沒有它們的一些缺點。圖像運動和焦點掃描的組合可以產生可與使用這些現有技術方法獲得的范圍不變或范圍編碼的PSF相比較的范圍不變或范圍編碼的PSF。然而，與波前編碼和光場成像形成對比，可以適應性地使用運動編碼。例如，一旦已經應用運動來分析聚焦狀態或捕獲擴展景深圖像，則可以關閉或減小運動以允許高橫向分辨率圖像捕獲。

使用圖像平移來對范圍和聚焦狀態編碼的最簡單的方式是分別同時縱向和橫向地平移圖像，如在操作202和203中。用于這種方法的模型是：

g(x，y，t)＝∫f(x″，y"，z，t)h(x′-x″-vt′，y′-y"，αt′-z)p_x(x-x′)p_x(y-y′)p_t(t-t′)dx"dy"dx′dy′dzdt′， (9)

其中ν和α是橫向和焦點經度平移速度。可以示出，在該模型下捕獲的圖像使得能夠進行能與波前編碼和光場成像相比較的單幀擴展景深成像。假設橫向分辨率由光學PSF支配，并且時間采樣涉及在單個時間步長上的測量結果，則記錄的圖像由下式給出：

其中假設場景在捕獲時間幀(即，曝光幀)上是靜態的。在時間上對方程10積分使得能夠將空間PSF定義為：

通過借助高斯模式來近似透鏡102的三維成像脈沖響應，可以為橫向速度ν建模系統脈沖響應(即PSF)。

如在上面討論并且關于操作203，在例示性實施例中，致動器106在位于z＝0處的x-y平面中的360°圓形路徑中移動焦平面陣列104。具體地，相對于由透鏡102形成的圖像，通過將x軸位置設置為η(t)＝acos(ωt)并將y軸位置設置為ξ(t)＝asin(ωt)，焦平面陣列104以圓周運動移動。

本發明的一個方面是，通過在透鏡的焦點掃描期間在x和y方向兩者上平移由透鏡102形成的圖像，可以借助盲去卷積或基于模型的去卷積來重建關于場景112的三維信息。

為了演示由本發明所提供的優點，考慮針對不同橫向速度v的PSF是有益的。

圖5描繪了針對具有靜止焦平面陣列的相機的仿真PSF。圖示500示出了針對為零的橫向速度v的相機100的仿真PSF。圖示500表明，在沒有橫向運動的情況下，PSF是與圓形焦點掃描相關聯的圓對稱模糊。

圖6A-B描繪了針對相機100的對象空間中的兩個(x，y)點的仿真PSF，其中在根據本發明的曝光幀期間在橫向方向上線性移動焦平面陣列104同時獲得PSF。

圖示600示出了針對場景112中的第一對象點的PSF。與圖示500中所示的形成對比，當誘發了由透鏡102形成的圖像與焦平面104之間的相對運動時，三維PSF的縱向結構在橫向時間積分的PSF中展開。

如利用波前編碼和用于獲得擴展景深圖像的其它方法那樣，根據本發明的焦點掃描期間的圖像平移使得能夠形成編碼的PSF，所述編碼的PSF可以被以計算方式去卷積以恢復3D圖像或者全聚焦圖像。

圖示602描繪了針對具有與第一對象點不同的距光軸110的范圍和橫向點的第二對象點的PSF，其中焦平面陣列104根據本發明在橫向方向上線性移動。

場景112中的每個對象點在其相應的范圍和橫向點處誘發PSF。從圖示600和602可以看出，在曝光幀中的焦點掃描期間，PSF被移位以出現在與焦點掃描范圍對應的點處。

然而，應當注意到，盡管可以分析該移位以找到范圍，但是在對象點的橫向位置和范圍之間存在模糊性。如上所述以及關于操作203，可以在焦點掃描期間通過在兩個維度中平移圖像來除去這種模糊性。結果，盡管光分布與焦平面陣列之間的線性的相對橫向運動在本發明的范圍內，具有在兩個橫向維度中的路徑的相對運動是優選的。還應當注意到，在光分布與焦平面陣列之間誘發的相對運動不需要被限制于與光軸110正交的平面，只要該運動包括可以投影到這樣的平面上的至少一部分即可。

圖7描繪了根據本發明的例示性實施例，針對在不同范圍處的相機100的仿真PSF。對于在操作203中誘發的焦平面陣列104的圓周運動，在比焦斑腰部大近似六倍的平移幅度的情況下，圖示700、702、704、706、708和710描繪了在透鏡102的對象空間中的六個不同的z值處針對成像系統觀察到的PSF。

從圖示700、702、704、706、708和710可以看出，每個對象點在其相應的范圍和橫向點處誘發PSF。在焦點掃描期間，PSF被移位以出現在與焦點掃描范圍相對應的點處，這使得本發明的實施例具有與現有技術成像方法相比的顯著優點。

對于在一個焦點掃描上的360°的旋轉速率，PSF中的最大值出現處的角度唯一地指示對象點的范圍。對PSF的分析使得可以找到PSF，并然后通過找到PSF峰值的角度來估計范圍。這種方法的示例由Joshi等人在“PSF estimation using sharp edge prediction”，Computer Vision and Pattern Recognition，Proceedings of the 2008IEEE Conference on Computer Vision and Pattern Recognition 2008，2008年6月23-28日，第1-8頁中描述。

現在回到方法200，在操作203結束時，焦平面陣列104已經記錄了場景112的合成圖像，該合成圖像是在曝光幀302期間在透鏡112的聚焦范圍和焦平面陣列的路徑上合并的圖像的無限切片的融合。

在操作204，焦平面陣列104將該合成圖像作為編碼的數字輸出信號114提供給處理器108。

在操作205，通過用相機100的PSF和針對焦平面陣列104的橫向運動的模型對編碼的數字輸出信號114進行去卷積來重建場景112的數字圖像。

如在上面提到，本發明使得具有以適應性的方式采用運動編碼的能力。這與波前編碼和光場成像相比是顯著的。結果，方法200還包括在曝光幀302結束之后執行的一些可選操作。

在可選操作206，建立場景112的聚焦狀態。在一些實施例中，可選操作206可替代地包括捕捉場景112的擴展景深圖像。

在可選操作207，處理器108控制致動器106以減小焦平面陣列104的橫向運動的幅度(或者，在一些實施例中，完全停止其運動)。

在可選操作208，以常規方式捕獲場景112的高橫向分辨率圖像。

在一些實施例中，基于在曝光幀302-1期間執行的圖像重建來執行操作206，并且在曝光幀302-2期間執行操作207和208。

三維成像示例

為了演示本發明所提供的優點，這里針對三種不同的圖像掃描策略呈現了針對具有擴展景深的場景的仿真圖像重建。

圖8描繪了被提供作為焦點對準的仿真對象的四個不同的公知的仿真圖像。

圖9描繪了相機100和對象800、802、804和806的布置，其中四個對象位于沿著相機的z軸的不同距離處。具體地，圖像800、802、804和806分別在25m、1.3m、0.22m和0.15m的距離z處被建模，而透鏡102的焦點在圖像802上(即，相機被聚焦在1.3米的距離處)。因為Hermite-Gaussian光束是菲涅耳傳播變換的本征函數，所以圖像800、802、804和806的仿真被假設為具有隨著散焦誤差而變化的標準差σ的高斯核。圖像也被近似為利用衍射限制光學器件的奈奎斯特采樣。

基于上面的假設，與距離相機100的圖像空間距離z共軛的對象平面z₀的散焦模糊核h(x，y，z₀，z)如下式根據相對于對象平面的光學散焦以及聚焦光束腰部w₀而變化：

其中散焦影響根據近軸聚焦誤差的像素間距Δ的模糊核的標準差：

并且其中F表示系統焦距，以及D表示入射光瞳直徑。在仿真中，F＝5mm并且D＝1mm。

每個圖像被仿真為如由相機100拍攝的那樣，而相機被聚焦在具有添加的高斯白噪聲的圖像802上。

圖10A描繪了其中使用了一個焦點位置的重建圖像800、802、804和806。

圖10B描述了重建的圖像，其中每個都用其實行核(perpetrating kernal)去卷積。

圖示1000和1002演示了，隨著焦平面陣列104變得與比真實對象距離更近的距離共軛時，相對應的散焦脈沖響應快速惡化。

圖11描繪了用于圖示1002中所描繪的重建圖像的常規模糊核的圖示。應當注意到，圖11中示出的圖示表示在光學圖像和焦平面陣列之間沒有任何相對橫向運動的情況下拍攝的圖像。利用以波長為單位的軸示出了圖示。如本領域技術人員將預期的，被高斯核低通濾波的圖像內的高頻分量通過去卷積是不可恢復的。

然而，本發明的一個方面是，在針對距離相機任意距離的對象的圖像形成過程期間可以保持高的空間和時間頻率。根據本發明，在積分時段T期間使檢測器在透鏡102的圖像空間中掃描距離Δ_z＝αT導致EDOF核：

其中，在下面的仿真中(即，檢測器在圖像體積中掃描透鏡102后面5mm至5.185mm的距離；α＝0.185mm/T)，ξ(t)＝αt并且Δ_z＝185微米。這對應于范圍從25米到15厘米的掃描對象距離。使用十個(在圖像空間中)等間隔的候選范圍收集器(bin)，候選范圍收集器的仿真對象800、802、804和806對應于第一、第二、第六和第十個PSF。

圖12描繪了在具有光分布LD(x)和焦平面陣列104之間的誘發的縱向運動(即，具有透鏡102的焦點掃描)但沒有焦平面陣列的橫向運動的情況下得到的EDOF核的圖示。應該注意到核包括高斯的求和(summation)。

這些焦點掃描核已被Liu等人在“Extended depth-of-field microscopic imaging with a variable focus microscope objective”，Optics Express，Vol.19，第353-362頁(2011)中顯示為幾乎深度不變的。

圖13描繪了在圖12中示出的EDOF核的橫截面的圖示。圖13中示出的橫截面說明這些焦點掃描核是基本上深度不變的。

圖14A描繪了在具有誘發的縱向運動但是沒有焦平面陣列104的橫向運動的情況下得到的如由EDOF核所破壞的重建圖像800、802、804和806。

圖14B描繪了圖示1400中所示的重建圖像。圖示1402中的每個圖像用其實行核去卷積。

圖15描繪了針對去卷積之后的圖像800、802、804和806的峰值信噪比值的圖示。圖示1500、1502、1504和1506示出了與不同核相對的關于候選者的(candidate-wise)峰值信噪比(PSNR)值，其中每個圖示中的正確核分別為1、2、6和10。

如在上面討論的，本發明通過還誘發光分布與焦平面陣列之間的相對橫向運動來增強對它們之間的縱向運動的使用。這使得能夠獲得深度編碼EDOF模糊核。在本發明的一些實施例中，橫向運動僅包括沿著與光軸110正交的平面內的僅一個維度的線性平移。然而，應當注意到，即使簡單的一維平移也給本發明的實施例提供優于現有技術的優點。這些優點可以通過以下的示例來看到：其中通過在x軸方向上以速度v線性地平移焦平面陣列104來獲得深度編碼的EDOF模糊核。該核然后由下式給出：

其中ζ(t)＝αt并且η(t)＝vt。

圖16描繪了在具有誘發的縱向和線性橫向運動的情況下得到的EDOF核的圖示。圖16示出了針對在v＝10像素/T的情況下的目標對象距離的核。

圖17A描繪了在具有光分布LD(x)和焦平面陣列104之間的誘發的縱向運動以及焦平面陣列在一個維度上的橫向運動的情況下得到的如由EDOF核破壞的重建圖像800、802、804和806。

圖17B描繪了圖示1700中所示的重建圖像。圖示1702中的每個圖像用其實行核去卷積。

圖18描繪了針對如在圖示1702中描繪的去卷積之后的圖像800、802、804和806的峰值信噪比值的圖示。圖示1800、1802、1804和1806示出了與不同的核相對的關于候選者的峰值信噪比(PSNR)值，其中每個圖示中的正確核分別是1、2、6和10。注意到，左下和右上圖像在x方向上具有握手(handshake)的外觀特征。這種效果歸因于存在于相應的啞鈴形EDOF PSF的旁瓣中的最大功率。

應當注意到，雖然看起來距離圖像的最佳聚焦距離可以根據二維平移(即，焦平面陣列104在x-y平面中的聚焦和一維平移)唯一地確定，在實踐中，在PSF的位置與焦平面陣列上對應于最佳焦點的真實位置之間存在模糊性。因為真實圖像的內容在焦點對準捕獲之前是未知的，所以在不使用另一度量——即添加光分布與焦平面陣列之間橫向運動的另一維度的情況下不能確定最佳焦點位置。

現在回到例示性實施例，在操作203中，致動器106使焦平面陣列104在與相機100的曝光幀的持續時間在時間上對準的圓形路徑中移動。根據時間來旋轉焦平面陣列使得真實對象路徑能夠被唯一地編碼到測量結果中。在曝光幀期間通過角度θ來旋轉傳感器陣列引起以下形式的模糊核：

其中η(t)＝Acos(θt)、ξ(t)＝Asin(θt)并且ξ(t)＝αt。

圖19描繪了在具有光分布LD(x)與焦平面陣列104之間的誘發的縱向運動以及焦平面陣列在兩個維度上的橫向運動的情況下得到的模糊核的圖示。圖19示出了由在曝光幀302期間在具有5像素半徑的四分之一圓中平移焦平面陣列104而產生的核。

圖20A描繪了在具有光分布LD(x)與焦平面陣列104之間的誘發的縱向運動以及焦平面陣列在兩個維度上的橫向運動的情況下得到的如由EDOF核破壞的重建圖像800、802、804和806。

圖20B描繪了在圖示2000中示出的重建圖像。圖示2002中的每個圖像用其對應的模糊核來去卷積。

圖21描繪了針對如在圖示2002中描述的去卷積之后的圖像800、802、804和806的峰值信噪比值的圖示。圖示2000、2002、2004和2006示出了與不同的核相對的關于候選者的峰值信噪比(PSNR)值，其中每個圖示中的正確核分別是1、2、6和10。注意到，左下和右上圖像在x方向上具有握手的外觀特征。這種效果歸因于存在于相應的啞鈴形EDOF PSF的旁瓣中的最大功率。

如在上面討論的并且關于二維檢測器平移，圖21中所示的PSNR數據建議用該框架來識別最大焦點和正確核。應當注意到，盡管使用誤差準則來評估仿真中的準確性，但是在不脫離本發明的范圍的情況下可以使用其他方法。如本文所示，本發明提供一種用于自動對焦和測距應用的可唯一識別的PSF。

應當理解，本公開僅教導例示性實施例的一個示例，并且本領域技術人員在閱讀本公開之后可以容易地設計本發明的許多變體，并且本發明的范圍將由所附權利要求確定。