經由密集運動域向底層視頻序列的圖像編輯傳播的制作方法
【技術領域】
[0001]本發明總地涉及視頻編輯的領域。更具體地，本發明涉及一種用于編輯包括多個幀的視頻序列的方法和裝置。
【背景技術】
[0002]本部分意圖向讀者介紹本領域的各種方面，其可以涉及下文描述和/或要求保護的本發明的各種方面。本討論被認為有助于向讀者提供便于更好地理解本發明的各種方面的背景信息。因此，應理解應從該角度閱讀這些陳述，并且不作為現有技術的認可。
[0003]已知其中修改單個圖像(照片)的照片編輯應用。若干工具當前對于專業藝術家或對于家庭用戶可用。在可以應用的圖像修改任務的巨大調色板中，我們可以提及:重新著色、染色、模糊、繪畫/繪制、與每區域效果應用相關聯的分割/掩蔽、克隆、圖像修補(inpainting)、紋理插入、標識插入、對象移除等。
[0004]隨著現代視頻捕捉、處理和流式系統的出現，由終端用戶捕捉的或來自專業鏡頭(影片、公眾信息、SFX)的大量視頻數據是可用的，并且視頻編輯工具變得更加普及。
[0005]首先，在單個圖像的水平上進行推理，人們希望能夠對整個視頻序列執行前面提及的圖像修改任務。然而，在這種照片編輯應用中手動編輯視頻的每一個幀對于操作者是非常耗時和痛苦的。
[0006]其次，在視頻(多個圖像)的水平上進行推理，在例如Adobe After Effects軟件的多個專業視頻編輯應用中提供了解決方案用于作為整體修改視頻。已知用于從第一幀向隨后的幀傳播信息的方法。例如，與Adobe After Effects軟件捆綁的所謂的工具“ RotoBrush ”有關的文件US2010/0046830A1描述了用于傳播分割掩蔽的方法。其包括通常由用戶提供的初始化，基于從先前分割的幀和原始幀提取的組合顏色模型和運動估計將下一幀自動分割為兩個類(前景/背景)。然而，用于分割的自動時間傳播的這種方法依賴于信息的順序傳播。用戶能夠在繼續傳播到隨后的圖像之前校正自動分割，但是用戶在沒有將處理應用于全部中間幀的情況下，不能校正視頻序列的任何幀和看到傳播到任何其他幀的結果。因此，這種方法不提供對于交互式多幀編輯任務對于序列的若干幀同時顯示結果的顯示界面。在相同領域中，W02012/088477公開了在整個視頻序列上使用掩蔽自動應用顏色或深度信息。此外，W02012/088477提供了顯示界面，其中同時顯示一系列順序幀并且準備經由自動掩蔽調整方法的掩蔽傳播到隨后的幀。然而，W02012/088477并未公開任意修改單個像素。W02012/088477使用掩蔽傳播處理以確定在整個前景或移動對象掩蔽(或分割)上的何處應用圖像變換或不應用圖像變換。第一幀中的掩蔽被識別為對應于隨后的幀中的相同對象。然而，第一幀的每一個像素根本不能與隨后的幀中的像素匹配，并且這不能從掩蔽傳播處理推導。這使得現有技術不可能通過瞬間傳播應用逐點操作。逐像素圖像編輯工具(畫筆、橡皮擦、繪制、油漆桶……)不能使用在W02012/088477中使用的掩蔽一般地外推到視頻。
[0007]第三，在用于修改3D對象的紋理的視頻編輯方法的領域中提供了解決方案。例如，EP1498850公開了基于簡單的紋理圖像自動呈現(render) 3D對象的圖像，通過更新3D模型修改所呈現的圖像和傳播所述修改。然而，該方法不適用于從其中不像在3D合成中的、操作者不能獲取模型的源獲得的視頻圖像。
[0008]視頻編輯應用的高度希望的功能是能夠在像素水平上編輯序列的任何圖像并且自動傳播所述改變到序列的剩余圖像。
【發明內容】
[0009]本發明針對用于同時編輯和可視化若干視頻幀，同時將應用于一個圖像的改變傳播到其他圖像的方法。
[0010]在第一方面中，本發明針對由處理器執行的用于編輯視頻序列的方法，包括下列步驟:顯示所述視頻序列的母幀；捕捉表示由用戶應用于所述顯示的母幀的幀編輯任務的信息，其中所述幀編輯任務修改與所述顯示的母幀的至少一個像素有關的信息；以及同時顯示所述視頻序列的至少一個子幀，其中所捕捉的信息被時間傳播，其中基于所述母幀和所述至少一個子幀之間的運動域(mot1n field)，將表示幀編輯任務的信息傳播到與所顯示的母幀的至少一個像素對應的所述至少一個子幀中的至少一個像素。
[0011]根據進一步的有利特征，所述方法包括顯示將所述母幀鏈接到所述至少一個子幀的視覺元素，其中當由用戶輸入禁用所述視覺元素時，禁用所述捕捉的信息向所述至少一個子幀的時間傳播。
[0012]根據另一有利特征，所述至少一個子幀包括遠離所述母幀至少一個幀的所述視頻序列的任何幀。
[0013]根據另一有利特征，所述捕捉的信息通過從參考類型的運動域從所述母幀時間傳播到所述至少一個子幀。
[0014]根據另一有利特征，通過到參考類型的運動域從所述母幀確定所述至少一個子幀中的所述時間傳播的捕捉的信息。
[0015]根據第一變型，表示編輯任務的所述信息包括其上放置指向元素的所述母幀的像素的位置；以及所述時間傳播的捕捉的信息包括作為與到所述子幀的所述母幀的所述像素相關聯的運動向量的函數的在所述至少一個子幀中的至少一位置。
[0016]根據第二變型，表示編輯任務的所述信息包括其上放置繪畫元素的所述母幀的像素的位置，并且包括所述母幀中與所述繪畫元素相關聯的區域；以及所述時間傳播的捕捉的信息包括作為與到所述子幀的所述母幀的所述像素相關聯的運動向量的函數的在所述至少一個子幀中的至少一位置，并且包括作為所述區域從所述母幀變換到所述子幀的結果的所述至少一個子幀中的區域。
[0017]根據第三變型，表示編輯任務的所述信息包括與多邊形的頂點的有序列表對應的所述母幀中的位置的有序列表；以及所述時間傳播的捕捉的信息包括在所述至少一個子幀中的位置的有序列表，其中在所述至少一個子幀中的每一個位置是與到所述子幀的所述母幀中的每一個位置相關聯的運動向量的函數。
[0018]根據第四變型，表示編輯任務的所述信息包括用于所述母幀的像素組的顏色值；以及所述時間傳播的捕捉的信息包括作為用于所述母幀的所述像素組的顏色值的函數的所述至少一個子幀中的像素的顏色值，其中所述母幀中的所述像素組的位置是與到所述母幀的所述至少一個子幀中的所述像素相關聯的運動向量的函數。
[0019]根據第一到第三變型的改進，當與在所述母幀中的位置對應的在所述至少一個子幀中的位置被封閉在所述至少一個子幀中時，不傳播所述捕捉的信息。
[0020]根據第四變型的改進，當與在所述至少一個子幀中的所述像素的位置對應的在所述母幀中的所述像素組的位置被封閉在所述母幀中時，不傳播所述捕捉的信息。
[0021]根據另一有利特征，所述方法包括響應于用戶輸入選擇子幀作為代替所述母幀的新的母幀的步驟。
[0022]有利地，用于多幀視頻編輯的所述方法允許對于專業用戶加速視頻合成工作流，并且與現有技術相兼容。有利地，用于多幀視頻編輯的所述方法與移動裝置或平板電腦中的實現方法相兼容，只要編輯任務足夠簡單、適用于家庭用戶，并且所述編輯任務例如與文本插入、對象分割和每區域過濾、顏色修改、對象移除有關。這些功能可以隨后被整合到移動應用中，例如Techn icolor PI ay，用于修改和分享個人視頻到社交網絡。多個用戶之間的合作視頻編輯和合成也可以受益于這些工具。
[0023]在第二方面中，本發明針對一種存儲計算機可執行的程序指令以執行所公開的方法的計算機可讀存儲介質。
[0024]在第三方面中，本發明針對一種裝置，包括:至少一個處理器；耦接到所述至少一個處理器的顯示器；以及耦接到所述至少一個處理器的存儲器，其中所述存儲器存儲程序指令，其中能夠由所述至少一個處理器執行所述程序指令以在所述顯示器上執行所公開的方法。
[0025]針對本方法描述的任何特征或變型與意圖處理所公開的方法的裝置以及存儲程序指令的計算機可讀存儲介質相兼容。
【附圖說明】
[0026]現在將參考附圖通過非限制性示例描述本發明的優選特征，附圖中:
[0027]圖1示出根據優選實施例的方法的步驟；
[0028]圖2示出根據本發明的特定實施例的圖形界面的顯示元素；
[0029]圖3示出根據本發明的特定實施例的具有傳播的信息的子幀和母幀；以及
[0030]圖4示出根據本發明的特定實施例的裝置。
【具體實施方式】
[0031]包括傳播處理的用于多幀視頻編輯的這種方法背后的技術是密集運動估計。SP，對于參考圖像的每一個像素，可用運動域分配將參考圖像中的這種像素的位置與視頻序列的另一圖像鏈接的運動向量。在2013年1月17日由相同申請人提交的國際申請PCT/EP13/050870中描述了用于生成運動域的這種方法。該國際申請描述了如何使用多步驟流程方法在視頻序列的兩個幀之間生成改進