用于深度圖生成的數碼相機的配置設置的制作方法
【專利說明】
[0001] 相關申請的奪叉引用
[0002] 本申請涉及2014年11月24日提交的共同未決美國申請序列號14/552, 332和 2014年12月19日提交的美國申請序列號14/576, 936,每個申請的內容在此通過引用整體 并入本文。
技術領域
[0003] 本公開總體上涉及用于預測性地確定數碼相機的配置設置和為了估計由圖像的 數量表示的場景深度而由數碼相機使用那些設置來捕獲的圖像的數量的方法和系統。
[0004] 版權通知
[0005] 本專利文檔的公開的一部分包含受版權保護的材料。版權持有人不反對由如專利 商標局專利文件或者記錄中出現的專利文檔或者專利公開的任何人復制，但否則保留所有 的版權權利。
【背景技術】
[0006] 數碼相機，包括數碼單反（DSLR)相機和集成到移動設備中的數碼相機，通常具有 使得用戶能夠使用不同的用戶定義和相機定義的配置設置的組合來捕獲數字圖像的成熟 的硬件和軟件。數字圖像提供特定場景的數字表示。然后數字圖像可以由其自身處理或者 與其他圖像結合處理以從圖像導出附加信息。例如，一個或者多個圖像可以被處理以估計 場景內所描繪的對象的深度，即，每個對象與照相的位置的距離。針對場景中的每個對象或 者可能地在圖像內的每個像素的深度估計被包括在稱為"深度圖"的文件中。此外，深度圖 可以用于改進現有圖像編輯技術（例如，剪切、孔洞填充、向圖像層的復制等等）。
[0007] 散焦深度是用于使用散焦模糊（即，生成深度圖）估計場景深度的常規技術。使用 這樣的技術的深度估計是可能的，因為成像的場景位置基于用于拍攝圖像的相機的配置設 置（例如，光圈設置和焦距設置）將具有不同的數量的散焦模糊（即，深度信息）。因此，估 計深度涉及估計不同場景位置處的深度信息的數量，不管該深度信息從一個圖像還是從多 個圖像導出。常規地，這樣的估計的精確度依賴于所使用的圖像數和深度信息的數量。這 是因為輸入的圖像數越大，可以針對場景中的任何一個位置（例如，像素）進行比較的深度 信息的數量越大。
[0008] 常規的散焦深度技術將單個圖像中的模糊補丁與關于從現有圖像模型中導出的 場景的某些假設相比較。雖然這些假設對于一些場景可以為真，但是當下面的圖像不具有 足夠的深度信息以符合假設時它們失效。另一常規技術通過處理捕獲為焦點堆棧（即，相 同的光圈，不同的焦距）的多個圖像和將那些圖像對圖像模型進行擬合來估計深度。圖像 數通常對應于對于數碼相機可用的焦距設置的數目。這可以導致效率低下，因為通常拍攝 比需要更多的圖像以提供足夠的深度信息。此外，該技術需要圖像擬合到圖像模型，這可以 導致不精確的深度估計。又一常規技術通過處理捕獲為光圈堆棧（即，相同的焦距，不同的 光圈）的多個圖像來估計深度。類似于焦距堆棧技術，該常規技術需要拍攝很多圖像，當更 少的圖像提供足夠的深度信息時，這可能是低效的。并且即使該光圈堆棧技術通常捕獲比 需要更多的圖像，因為相機配置設置不被預定以保留最優的深度信息，所得到的圖像也通 常具有其中深度信息不充分的區域。因此，通過處理使用該光圈堆棧技術捕獲的圖像而輸 出的深度圖通常非常粗糙。最后，最后一種常規技術處理具有變化的光圈和焦距設置的圖 像的緊湊集（即，數百個圖像），并且比較圖像的緊湊集中的每個像素以估計深度。該常規 技術輸出精確的深度圖，但是仍然需要可能對于捕獲和處理是低效的圖像的緊湊集。
[0009] 因此，常規的散焦深度技術依賴于關于場景的假設，需要用戶捕獲大量的輸入圖 像，需要用戶使用非預定的相機設置的模式來捕獲圖像以保留足夠的深度信息，和/或僅 能夠輸出低質量的深度圖。因此，期望提供改進的解決方案用于預測性地確定待捕獲的最 小圖像數和用于捕獲它們的相機配置設置，使得圖像共同地提供可以生成質量深度圖的足 夠的深度信息。
【發明內容】
[0010] 提供了用于預測性地確定用于在捕獲圖像中使用的圖像捕獲指令的系統和方法， 該圖像可以被處理以生成質量深度圖。特別地，圖像捕獲指令，一旦確定，則指示最小數目 的待拍攝圖像，以及應當用什么光圈和焦距設置對其進行拍攝使得圖像將提供足夠的深度 圖信息，從該深度圖信息可以生成具有某種程度的深度質量的深度圖。在一些示例中，深度 質量由清楚的深度估計（例如，當使用深度似然函數評估時避免多峰的深度估計）表示。圖 像捕獲指令通過使用用于捕獲圖像的數碼相機的校準數據來評估深度辨別力函數的場景 獨立部分而確定。在一些示例中，足夠數量的深度信息意味著，對于深度范圍內的感興趣的 每個深度，最小數目的圖像中的至少兩個圖像內的對應的模糊半徑為約1像素至約2像素。
[0011] 圖像捕獲指令基于（1)標識在待成像的場景中的對象的與相機的最近距離的估 計的輸入，和（2)用于相機的校準數據而確定。對于給定的光圈設置，校準數據限定圖像中 模糊增加隨著圖像中的位置遠離焦平面（即，在場景中完全對焦的平面）移動的速率。例 如，對于較大光圈，與較小光圈相比，校準數據限定模糊隨著圖像中的位置遠離焦平面移動 以較大速率增加。在一些示例中，為確定圖像捕獲指令，圖像特征引擎評估一個或者多個光 圈設置以及遍及在深度范圍內的深度值集合的焦距設置的不同組合，以確定使用哪些配置 設置可以捕獲多少圖像使得每個圖像中的最優模糊半徑是約1像素至約2像素。深度范圍 的最小深度被設置為針對場景輸入的距離估計。深度范圍的最大深度可以是大于最小深度 的任何深度，但是為了方便起見，可以被假設為無窮大。因此，如果針對場景輸入的距離估 計為兩米，則深度范圍可以被設置為兩米至無窮大。
[0012] 為了確保貫穿深度范圍具有足夠的深度信息，圖像特征引擎訪問用于相機的校準 數據，并且使用該數據確定用于在深度范圍內的待捕獲的圖像的配置設置。在一個可以用 于任何相機透鏡的示例中，相機特征引擎將光圈設置保持恒定，并且選擇深度值（在第一 迭代中設置為深度范圍的最小深度）以確定大于深度值的焦距設置，利用該焦距設置，可 以捕獲具有足夠的深度信息的圖像（例如，在該深度值處最優模糊半徑的范圍是約1像素 至2像素）。然后確定大于現有焦距設置的下一深度值，在該下一深度值處，所捕獲的圖像 將仍具有足夠的深度信息（例如，最優模糊半徑的范圍將仍為約1像素至約2像素）并且 確定大于下一深度值的下一焦距設置，在下一焦距設置處所捕獲的圖像將繼續具有足夠的 深度信息。對于整個深度范圍重復該過程，每次輸出焦距設置。所得到的焦距設置的結果 對應于場景的應當被捕獲的圖像數以確保足夠的深度信息對于生成質量深度圖是可用的。 在也可以用于任何相機透鏡的另一示例中，圖像特征引擎使用基于厚透鏡常數對模糊半徑 進行近似的簡化數學函數來確定最優焦距設置的集合。在任一示例的情況下，使用光圈設 置和焦距設置的預定集合來確定圖像捕獲指令。
[0013] 由圖像特征引擎執行的評估確保圖像的數量和對應的焦距設置被確定使得對應 于圖像的景深沒有顯著地重疊，不具有顯著的間隙，并且在深度范圍內同樣地布置。景深是 在間隔的中心處具有焦平面（例如，焦距設置）的深度范圍（例如，兩米至無窮大）內的間 隔。特別地，設置景深間隔使得針對深度范圍內（例如，在兩米處、在五米處、在一百米處等 等）的任何像素確保約1像素至約2像素的最優模糊半徑的范圍，包括在景深間隔內的和 在景深間隔的邊緣處的像素。因此，根據由圖像捕獲指令標識的圖像數，深度范圍將具有超 過一個的景深間隔。在一些示例中，深度范圍最優地具有至少兩個景深間隔。最優模糊半 徑的范圍包括任何像素在整個深度范圍內應當經受的模糊程度。最優模糊半徑的范圍中的 像素可以具有約1像素至約2像素的模糊范圍。當評價遍及深度范圍的深度值集合時，模 糊半徑的該測量可以用作約束條件。
[0014] 提及這些說明性示例不用于限制或者限定本公開，而是提供實例以幫助對其的理 解。在【具體實施方式】中討論附加的示例，并且提供進一步的描述。
【附圖說明】
[0015] 當參考附圖閱讀以下詳細描述時，本公開的這些和其他特征、示例和優點被更好 地理解，其中：
[0016] 圖1是描繪根據至少一個實施例的用于實現涉及確定用于在深度圖生成中使用 的圖像捕獲指令的技術的示例圖像特征引擎、示例圖像捕獲設備及其每個的示例輸入和輸 出的框圖；
[0017] 圖2是描繪根據至少一個實施例的包括用于實現涉及確定用于在深度圖生成中 使用的圖像捕獲指令的技術的服務的示例圖像特征引擎的圖；
[0018] 圖3是描繪根據至少一個實施例的包括用于實現涉及確定用于在深度圖生成中 使用的圖像捕獲指令的技術的假設圖像補丁的示例圖表的圖；
[0019] 圖4是描繪根據至少一個實施例的包括用戶根據確定用于在深度圖生成中使用 的圖像捕獲指令的技術來捕獲場景的示例環境的圖；
[0020] 圖5是描繪根據至少一個實施例的用于實現涉及確定用于在深度圖生成中使用 的圖像捕獲指令的技術的方法的示例的流程圖；
[0021] 圖6是描繪根據至少一個實施例的用于實現涉及確定用于在深度圖生成中使用 的圖像捕獲指令的技術的方法的示例的流程圖；以及
[0022] 圖7是描繪根據至少一個實施例的包括用于實現涉及確定用于在深度圖生成中 使用的圖像捕獲指令的技術的示例用戶設備和示例圖像編輯服務的示例網絡環境的圖。
【具體實施方式】
[0023] 公開了用于確定用于在深度圖生成中使用的確定圖像捕獲指令的計算機實現系 統和方法。如上文所介紹的，深度圖可以通過例如比較散焦模糊中的與兩個或者更多輸入 圖像相關聯的差異生成。
[0024] 本文所描述的技術通過以這樣的方式預測性地確定圖像捕獲指令來克服上文所 指出的缺陷，該方式是場景獨立的，保留足夠的深度信息，最小化拍攝的圖像數，并且確保 質量深度圖可以從圖像中生成。在一些示例中，深度質量由明確的深度估計（例如，當使用 深度似然函數評估時避免多峰的深度估計）表示。深度捕獲指令包括待拍攝的圖像數和每 個圖像的光圈設置和焦距設置。
[0025] 在不依賴于從待捕獲的場景收集的數據、全景對焦或者圖像模型的情況下確定圖 像捕獲指令。作為替代，使用深度辨別力函數的評估的結果來確定圖像捕獲指令以最大化 其場景獨立部分。深度辨別力函數的場景獨立部分特定于特定數碼相機和透鏡。通過最大 化場景獨立部分，確定最優模糊半徑的范圍。如本文所使用的，"模糊半徑"指代由圖像中的 像素經受的并且按照像素測量的模糊的范圍。模糊半徑依賴于用于捕獲圖像的焦距設置和 光圈設置。最優模糊半徑的范圍用于確定圖像捕獲指令。因此，本文所描述的技術被表征 為場景獨立的，因為它們在不考慮待成像的場景的補償的情況下實現并且因此適用于具有 足夠紋理的任何場景。
[0026] 最優模糊半徑的范圍指示，對于高頻內容的區域（例如，在具有紋理（即，非平坦 白色壁）的待捕獲場景中的區域），足夠的深度信息在所捕獲的圖像中將是可用的使得質 量深度圖可以從圖像中生成。因此，通過導致最優模糊半徑的范圍，確定圖像捕獲指令使得 確保足夠的深度信息將是可用的。這也使得能夠生成圖像捕獲指令使得最小化待拍攝的圖 像數。待拍攝的圖像數通過確定一個或者多個焦平面在深度范圍內的位置而確定，在深度 范圍處，聚焦在其上的所捕獲的圖像將提供足夠的深度信息（即，散焦模糊）。確定的焦平 面的位置因此對應于相機的焦距設置并且確定的焦平面的數目對應于場景的待拍攝的圖 像數。焦距平面確定基于固定的光圈設置。特定焦平面的位置根據相機的光圈設置變化。 這是因為光圈影響模糊隨著距離遠離焦平面增加而增加的速率。因此，對于特定相機的特 定設置，圖像捕獲指令可以指示對于給定的深度范圍需要兩個圖像以便保留足夠的深度信 息。然而，對于具有不同的光圈設置的相同的相機，圖像捕獲指令可以指示對于給定的深度 范圍需要三個圖像以便保留足夠的深度信息。
[0027] 在生成之后，向數碼相機的用戶或者向用戶的數碼相機提供圖像捕獲指令使得數 碼相機可以被操作或者控制以使用建議的設置捕獲由圖像捕獲指令建議的圖像數。
[0028] 在一些示例中，為確定圖像捕獲指令