利用變換的目標區域填充的制作方法
【專利說明】利用變換的目標區域填充
【背景技術】
[0001]圖像編輯技術隨著圖像捕獲設備的普及繼續增加而正在變得越來越流行。用戶例 如可以攜帶具有數字相機的移動電話、平板計算機、專用相機等以捕獲場景、例如風景、房 間、體育賽事等的圖像。用戶然后可以運用圖像編輯技術以如希望的那樣修改圖像。
[0002] 編輯技術的一個這樣的示例常稱為可以被用來填充圖像中的目標區域的"空洞填 充"。因而空洞填充可以被用來支持從圖像去除對象、比如從圖像去除人、修復圖像等。為 了執行這一技術，填充通過去除對象而創建的空洞，這通常基于圖像的落在空洞"以外"的 區。
[0003] 然而，常規空洞填充技術可能在圖像中生成可能可為用戶所察覺的不準確。另外， 在一些實例中、比如在立體圖像中使用時這些不準確可能被放大，從而使用這些常規技術 而修改的圖像可能使立體圖像無法用于它們的既定用途。
【發明內容】
[0004] 描述利用變換的目標區域填充技術。在一個或者多個實現方式中，標識將被用來 填充場景的圖像中的目標區域的補片（patch)。使用場景的深度信息來指導將向補片應用 的變換，并且使用經變換的補片來填充圖像中的目標區域的至少一部分。
[0005] 在一個或者多個實現方式中，一種系統包括至少部分在硬件中實施的至少一個模 塊，該至少一個模塊被配置用于使用根據立體圖像計算的視差來計算場景的深度信息。該 系統還包括至少部分在硬件中實施的一個或者多個模塊，該一個或者多個模塊被配置用于 使用至少部分基于計算的深度信息變換的補片來填充立體圖像中的一個或者多個立體圖 像中的目標區域的至少一部分。
[0006] 在一個或者多個實現方式中，一種或者多個計算機可讀存儲介質包括在其上存儲 的指令，這些指令響應于由一個或者多個計算設備執行而使一個或者多個計算設備執行操 作。操作包括使用場景的深度信息來指導將向補片應用的變換以及使用經變換的補片來填 充場景的圖像中的目標區域的至少一部分。
[0007] 此
【發明內容】
以簡化形式介紹以下在【具體實施方式】中進一步描述的概念選集。這 樣，此
【發明內容】
不旨在于標識要求保護的主題內容的實質性特征、也不旨在于在確定要求 保護的主題內容的范圍時用作輔助。
【附圖說明】
[0008] 參照附圖描述【具體實施方式】。在各圖中，標號的最左數位標識該標號在其中首次 出現的圖。在描述和各圖中在不同實例中使用相同標號可以指示相似或者相同項目。在各 圖中代表的實體可以指示一個或者多個實體，因此可以在討論中可互換地指代實體的單數 或者復數形式。
[0009] 圖1是一個示例實施實現方式中的環境的圖示，該環境可操作用于運用這里描述 的涉及到目標區域填充的技術。
[0010] 圖2描繪一個示例實現方式中的系統，場景的圖像在該系統中被捕獲并且被用來 填充目標區域。
[0011] 圖3描繪補片匹配算法的操作示例。
[0012] 圖4是對示例的圖示，這些示例包括來自算法的結果，該算法無變換并且也有擴 展以包括使用變換。
[0013] 圖5是包括目標區域的圖像的圖示，該圖示示出將錨點用于標識將被用來填充目 標區域的源補片。
[0014] 圖6是示出向候選補片使用變換和向鄰近補片使用偏移的圖示。
[0015] 圖7是描繪一個示例實現方式中的過程的流程圖，在該過程中標識補片并且使用 深度信息來變換補片。
[0016] 圖8是描繪一個示例實現方式中的過程的流程圖，在該過程中使用根據立體圖像 計算的視差來計算深度信息并且使用該深度信息以指導向將被用來填充目標區域的補片 的變換。
[0017] 圖9圖示視差圖的示例。
[0018] 圖10-14是技術的圖示，在這些技術中在從立體圖像去除對象之后填充目標區 域，在這些立體圖像中也填充視差圖。
[0019] 圖15是其中保持深度信息的涂鴉去除目標填充技術的示例。
[0020] 圖16-25是技術的圖示，在這些技術中在去除對象之后填充目標區域，其中變換 補片，至少部分使用深度信息來指導該變換。
[0021] 圖26圖示包括示例設備的各種部件的示例系統，該示例設備可以被實施為如參 照圖1-25描述和/或利用的任何類型的計算設備以實施這里描述的技術的實施例。
【具體實施方式】
[0022] 鍵
[0023] 隨著消費級立體相機變得越來越普遍，用戶希望一種用于以對于個體圖像常規地 運用的方式編輯立體圖像的能力。因而，這可能引入維持在編輯的圖像之間的立體保真的 挑戰。然而，這也可以引入用于利用可以從圖像對獲得的附加信息的一組新機會。
[0024] 可以被用來編輯圖像的一種技術的示例涉及到通過來自圖像的包圍目標區域的 其余部分智能地繪制來用內容替換圖像的目標區域，這常稱為空洞填充。常規地運用多種 不同技術以對單個圖像執行這一替換。然而，這些常規技術可能在應用于立體圖像時引起 不一致、由此使立體圖像無法用于它們的既定用途、例如支持立體視覺。
[0025] 因而這里描述如下技術，可以運用這些技術用于如下目標區域填充，可以運用該 目標區域填充用于立體圖像以及個體地用于圖像。在一個實現方式中，描述如下技術，這些 技術涉及到目標區域的完善，這包括使用可以使用深度信息（比如視差、深度傳感器等）而 指導的變換（例如縮放、旋轉、切變）。例如，可以從圖像中的與將填充的目標區域不同的深 度選擇補片。因此可以利用深度信息以選擇將對將使用的補片執行的縮放量作為填充的部 分。也可以利用附加技術作為這一空洞填充的部分、比如如在以下章節中進一步描述的那 樣相比于被向上縮放和非縮放變換而言向被向下縮放給予優先等。
[0026] 在以下討論中，首先描述可以運用這里描述的技術的示例環境。然后描述可以在 示例環境以及其它環境中執行的示例過程。因而，示例過程的執行不限于示例環境，并且示 例環境不限于執行示例過程。雖然以下討論有時描述立體實現方式，但是這些技術也可以 適用于單個圖像以及不是立體的多個圖像。這可以包括相同場景（例如特定地標）的多個 圖像、在不同場景中具有匹配對象（例如在不同位置拍攝的汽車）的多個圖像等。
[0027] 示例環塏
[0028] 圖1是一個示例實現方式中的環境100的圖示，該環境可操作用于運用這里描述 的技術。所示環境100包括可以用多種方式配置的計算設備102和多個圖像捕獲設備104、 106。
[0029] 計算設備102例如可以被配置為桌上型計算機、膝上型計算機、移動設備（例如假 設手持配置、比如平板計算機或者移動電話）等。因此，計算設備102可以范圍從具有大量 存儲器和處理器資源的全資源設備（例如個人計算機、游戲控制臺）到具有有限存儲器和 /或處理資源（例如移動設備）的低資源設備。此外，雖然示出單個計算設備102,但是計 算設備102可以代表多個不同設備、比如由企業用來如關于圖26進一步描述的那樣"在云 端"執行操作的多個服務器。
[0030] 圖像捕獲設備104、106還可以用多種方式配置。這樣的配置的所示示例包括獨立 式相機（比如專用設備、移動電話或者平板計算機的部分）等。也設想其它示例。例如，圖 像捕獲設備104U06中的每個圖像捕獲設備可以被配置為單個立體相機、掃描儀、復印機、 相機、移動設備（例如智能電話）等。在另一示例中，單個圖像捕獲設備可以被用來捕獲場 景的多個圖像、比如如圖所示房間中的籃球、椎標和紙張。
[0031] 圖像捕獲設備104、106被圖示為包括相應的圖像捕獲模塊108、110。圖像捕獲模 塊108U10代表用于比如通過包括用于捕獲、處理和/或存儲圖像112U14的圖像傳感器 以及其它硬件和軟件部件來捕獲相應圖像112、114的功能。
[0032] 圖像112、114在這一示例中為立體的，因為圖像是從所示場景116的不同視角拍 攝的。例如，圖像112、114可以可由用戶查看以獲得對場景的三維深度的感知。圖像112、 114也可以可用來在三維中對場景進行建模、比如確定在各位置的深度。這可以用如以下進 一步描述的多種方式來執行。
[0033] 計算設備102被圖示為包括圖像處理模塊118。圖像處理模塊118代表用于執 行可用來處理圖像的一種或者多種技術的功能。雖然被圖示為在計算設備上本地實施，但 是圖像處理模塊的功能也可以在分布式環境中、如關于圖26進一步描述的那樣經由網絡 120 (例如"在云端"）遠程等被實施。
[0034] 可以由圖像處理模塊118執行的圖像處理的示例可以被表示為立體對應性模塊 122。立體對應模塊122代表用于生成立體對應數據的功能，該立體對應數據可以描述立體 圖像中的哪些像素相互對應而哪些像素可以被表達為視差。立體對應模塊112例如可以處 理圖像112U14以確定場景116的深度以執行三維建模、執行視圖合成、視圖插值、內容操 縱、摳圖（matting)(例如對象去除）、支持增強現實（例如對象插入）等。也設想其它示 例、比如捕獲非立體的圖像112、114、但是仍然提供場景116的不同視圖。
[0035] 表示可以由圖像處理模塊118執行的圖像處理的另一示例為填充模塊12