用于匹配移動質量控制的系統和方法

用于匹配移動質量控制的系統和方法
【專利摘要】本發明公開了用于匹配移動質量控制的系統和方法。提供用于管理立體圖像中的深度的系統和方法。在一種實現方式中，提供這樣的系統和方法，其使用程序著色器和自動顯現來匹配計算機生成的圖像的深度和原始立體圖像（即使用用于立體成像的兩個攝像機記錄的圖像）的深度。系統和方法可采用棋盤和三平面著色器，并且還可以采用紋理參考對象來實現更方便且直觀的深度匹配。
【專利說明】用于匹配移動質量控制的系統和方法
[0001]相關申請的交叉引用
[0002]本申請要求2012 年 7 月 2 日提交的名為 “TR1-PLANAR CHECKERBOARD FOR MATCHMOVE QC”的美國臨時專利申請序列號61/667，150的優先權權益，該美國臨時專利申請為本申請的受讓人所有并且全部內容通過引用結合于此。
【背景技術】
[0003]以3D方式呈現的電影正廣泛流行。一種實現三維圖像的方式是通過立體拍攝。在立體拍攝中，捕獲兩個圖像并將其呈現給用戶，一個圖像來自左攝像機并且用于觀看者的左眼，一個圖像來自右攝像機并且用于觀看者的右眼。這是為觀看者產生3D圖像的最老的方式之一。
[0004]當今的電影攝影技術通常混合真實動作鏡頭和計算機生成的對象或角色。例如，真實動作演員可以在他們的肩膀上有個計算機生成的蜘蛛，并且CG蜘蛛必須與角色和攝像機兩者一起移動。一種執行該移動的方式是通過匹配移動處理(match move process)或者只是“匹配移動”(也稱為攝像機跟蹤)。標記被放置在真實動作圖像的重要點上，并且這些點的移動定義對CG對象進行成像的虛擬攝像機將如何也移動以匹配實體攝像機。
[0005]雖然匹配移動在兩個維度高度精確，但是當擴展到如同存在于立體拍攝攝像機系統中那樣的多個不同視角時可能存在顯著誤差。因此，需要改善用于這樣的系統的匹配移動。

【發明內容】

[0006]將計算機生成的圖像和圖形的深度與原始立體版(native stereo plate)中的對象的深度匹配可能較困難。在解決匹配移動和逐幀貼合(rotomation)之后，當相比于原始立體圖像深度時，圖像的深度可能不在希望的深度處。例如，使用來自左攝像機的圖像適當地將CG對象與圖像配準可能產生從左(二維)視點看充分的跟蹤；然而，當從右攝像機觀看時，CG對象可能明顯失配。例如，CG對象可能不在相對于表面的正確角度處或者可能浮在表面上。因此，在根據這里公開的原理的系統和方法中，計算機系統通過將諸如棋盤(checkerboard)之類的重復圖案投影在CG對象上，來針對深度檢驗幾何構型,其中CG對象可能與下層的版有一些關系。例如，CG對象可能建模在原始立體版圖像中的特征或結構的表面，或者在其他情況下可能被用作放置CG對象的參考。通過檢驗重復圖案如何在對象上移動并與當播放場景時原始立體圖像如何移動進行比較，用戶可以評估匹配移動系統是否被適當配準。可通過用戶使用適當設計的用戶界面來執行檢驗，或可通過計算環境自動執行檢驗。
[0007]根據本原理的系統和方法通過提供對匹配移動圖像(例如組合真實動作鏡頭和計算機生成對象的圖像)執行質量控制的方便方式，來改善匹配移動。在一個方面，系統和方法管理立體圖像中的深度。例如，計算機系統可使用程序著色器和自動顯現(render)來匹配計算機生成的圖像和原始立體圖像(即使用兩個立體攝像機記錄的圖像)的深度。系統和方法可對于自動深度匹配和采用用戶輸入的深度匹配兩者，采用棋盤圖案和三平面著色器(tr1-planar shader)來使立體深度可視化。系統和方法還可以采用紋理參考對象來實現甚至更方便的質量控制處理。
[0008]在一種具體實現方式中，在3D程序(例如Maya?)中使用三平面著色器來將棋盤或者具有基本相等尺寸的2D圖案元素的類似重復紋理投影在CG對象上。三平面投影是與UV無關的，這意味著幾何構型不需要適當展開或均勻間隔的UV以使得該紋理清楚，這方面有助于復雜表面。三平面著色采用幾何構型的每個面的朝向角，來確定應從哪個世界空間軸發出投影，不論幾何構型、取向或復雜度如何，這都產生較均勻間隔的圖案。
[0009]系統和方法還可以采用用于一個或多個幾何構型的“紋理參考對象”，從而如被最初施加在例如第一幀上的紋理在其動起來時被鎖定到表面，而不像在系統和方法沒有使用該參考的情況下紋理游過幾何構型的表面。使用各種混合模式的任一種將結果圖案合成回版上，然后在該狀態下針對質量對結果圖案進行評估。
[0010]在一方面，本發明致力于一種呈現用于深度評估的圖像的方法，包括:顯示一組原始立體圖像；利用著色器將重復圖案投影到圖像的至少一個表面上；將紋理鎖定到圖像中的至少一個對象的表面；以及將來自所述組的圖像與具有所述圖案的表面合成，并且在顯示器上呈現結果圖像以供評估。
[0011]本發明實現方式可包括下述的一種或多種。重復圖案可以是棋盤圖案，并且著色器可以是三平面著色器。
[0012]在另一方面，本發明致力于一種在匹配移動處理期間執行質量控制的方法，包括:顯示與原始立體版的第一和第二立體拍攝視圖有關的第一系列圖像，所述原始立體版上具有至少一個特征；將與相應第一和第二立體拍攝視圖有關的第二系列圖像投影在CG對象上，所述第二系列匹配移動到所述第一系列并且包括重復圖案；以及在顯示器上呈現結果圖像以供評估。
[0013]本發明實現方式可包括下述的一種或多種。可通過三平面著色器來投影重復圖案。可以將重復圖案投影在第二系列圖像內的CG對象的表面上，并且，該方法還可以包括通過針對所述表面創建紋理參考對象來將重復圖案鎖定到CG對象上。該方法還可以包括評估第二系列相對于原始立體版上的特征的深度，并且在一些情況中可以自動執行評估。該方法還可以包括:將所述特征的點與圖案化對象上的點對應，并且評估還可以包括:檢測原始立體版中的所述特征距觀看平面的第一距離，檢測圖案化對象上的對應點距觀看平面的第二距離，以及提供指示出第一距離和第二距離之間的差的輸出。可以對圖案化對象上的多個點和所述特征上的對應點執行評估，并且通過提供指示出針對所述多個點中的每個點的差值的輸出來以圖形方式執行對輸出的提供。還可以利用用戶輸入來執行評估。該方法還可以包括:提供用戶界面，所述用戶界面用于顯示第一系列圖像和第二系列圖像并且用于接受關于解決不合適的匹配移動的用戶輸入。接受用戶輸入可包括接受改變圖案化對象的位置或取向的用戶輸入，或者還可以包括接受改變攝像機參數(比如旋轉度數或位置)的用戶輸入。該方法還可以包括:基于CG對象的尺寸或CG對象距觀看平面的距離，來計算用于重復圖案的優化間隔。
[0014]在另一種實現方式中，本發明涉及非瞬時的計算機可讀介質，其包括用于使得計算環境執行上述方法的指令。[0015]在另一種實現方式中，本發明致力于一種在匹配移動處理期間輔助質量控制的方法，包括:捕獲與原始立體版的第一和第二立體拍攝視圖有關的第一系列圖像，所述原始立體版上具有至少一個特征，所述第一系列圖像是利用測距成像的(ranged imaging)攝像機拍攝的以使得至少獲得所述特征的深度值；在所述第一系列上疊加與相應第一和第二立體拍攝視圖有關的第二系列圖像，所述第二系列匹配移動到所述第一系列并且包括CG對象，所述CG對象具有與所述特征上的點對應的點；以及其中，通過如下方法執行所述疊加，即所述方法包括設置CG對象的位置使得CG對象的點與所述特征上的對應點重合。
[0016]在又一種實現方式中，本發明致力于一種在匹配移動處理期間輔助質量控制的方法，包括:捕獲與原始立體版的第一和第二立體拍攝視圖有關的第一系列圖像；從第一和第二立體拍攝視圖計算視差圖；從視差圖和包括眼內距離(intraocular distance)在內的攝像機數據，計算第一和第二立體拍攝視圖中的多個點的深度；以及將計算出的深度與CG匹配移動幾何構型的所顯現深度進行比較，以將幾何構型中的點的位置與第一和第二立體拍攝視圖中的對應點進行比較。
[0017]在又一種實現方式中，本發明致力于一種質量控制系統，用于基于第一圖像創建期望的第二圖像，包括:原始立體版圖像模塊，用于顯示與原始立體版的第一和第二立體拍攝視圖有關的第一系列圖像，所述原始立體版上具有至少一個特征；以及投影模塊，用于在所述第一系列上投影與相應第一和第二立體拍攝視圖有關的第二系列圖像，所述第二系列匹配移動到所述第一系列并且包括其上投影有重復圖案的CG對象。
[0018]本發明的實現方式可包括下述的一種或多種。該系統還可以包括:質量控制確定模塊，用于定量地確定當同時順序顯示各個系列時所述第二系列與所述第一系列一起移動的程度。投影模塊可利用三平面著色器來投影所述重復圖案。可以通過針對CG對象的表面創建紋理參考對象，來將所述重復圖案鎖定到所述表面上。
[0019]本發明特定實現方式的優點可包括下述的一種或多種。系統和方法可以提供有關匹配移動的且逐幀貼合的幾何構型的清楚的深度視圖，從而允許這種效果的質量控制方面的顯著改善。通過下文的描述(其包括附圖及權利要求)，其它優點對于本領域技術人員將是清楚的。
【專利附圖】

【附圖說明】
[0020]圖1 (A)-圖1 (C)示出對結構進行成像的一組虛擬立體攝像機，以及來自相應攝像機的每個的視圖。
[0021]圖2(A)-圖2(B)示出來自兩個立體視圖的每個的、原始立體拍攝版中的結構(即桌子)以及投影到桌子上的重復圖案的示意圖。
[0022]圖3是UV映射技術的示意圖示。
[0023]圖4是二平面投影技術的不意圖不。
[0024]圖5 (A)和圖5⑶分別是立方體的UV和三平面投影的圖案的圖示。
[0025]圖6是對電影中的典型場景進行三平面投影的結果圖案的圖示。
[0026]圖7是根據這里公開的原理的用于匹配移動處理的質量控制的第一方法的流程圖。
[0027]圖8是根據這里公開的原理的用于匹配移動處理的質量控制的另一種方法的流程圖。
[0028]圖9是根據這里公開的原理的用于匹配移動處理的質量控制的另一種方法的流程圖。
[0029]圖10示出根據這里公開的原理的系統可位于其中并且通過其可執行各方法的示例性計算環境。
[0030]圖11示出根據這里公開的原理的系統可位于其中并且通過其可執行各方法的另一示例性計算環境。
[0031 ] 全文中相同的附圖標記表示相同的元件。
[0032]具體實現方式
[0033]圖1 (A)示意性示出系統10,其包括對桌子16進行成像的一組立體拍攝攝像機12和14。桌子16上的點17被示出為在距攝像機12的觀看平面距離19處。在圖1⑶和圖1(C)中分別示出來自相應攝像機的結果圖像18和22 (為了進行說明，左眼與右眼的差別已經被夸大)。這些圖示出來自原始立體拍攝版的圖像，并且這里將桌子稱為圖像上的“特征”或“結構”。
[0034]為了在包括這樣的特征或結構的場景中包括CG對象，已經開發出諸如“匹配移動”之類的處理，其中重要標記在原始立體版上的移動被通過場景跟蹤，并被用來通知其中CG對象被可視化的虛擬CG攝像機的移動。
[0035]在非3D圖像序列中，創建匹配在所述組上所拍攝畫面的結構的維度的CG環境，從而當插入CG對象時,該CG對象適當地匹配特征或結構。在一種系統中,這可以看起來像在特定結構(例如桌子、地板、角色等)頂部上疊加的線框。線框應以與攝像機移動的方式相同的方式移動，例如，隨著攝像機移動到場景的各個部分以及放大或縮小而移動。以這種方式，附于線框的CG對象將相對于原始版中的特征或結構看起來適當。
[0036]在3D圖像序列中，因為這樣的線框不僅需要在僅僅兩個維度匹配結構，而且需要在第三維度匹配結構，所以復雜性和困難可能提升。換一種方式說，并且在考慮來自左攝像機和右攝像機的圖像的立體組的情況下，雖然從左攝像機觀看可能看到線框良好地匹配結構，但是當通過右攝像機觀看時可能是失配的。圖2示出該情況，其中圖2(A)示出來自左攝像機的桌子16的視圖，在該視圖中在表示表面的CG對象上疊加重復圖案24。重復圖案24看起來恰當地匹配桌子16的頂部。然而，在示出來自立體拍攝對的相應右攝像機的視圖的圖2(B)中，重復圖案24被安置在桌子16的表面上方。在此情況中，關于左眼的匹配令人滿意，而關于右眼的不令人滿意。在其它情況中，匹配可能甚至對于兩只眼睛看起來都是適當的，但是當以立體方式觀看圖像時，圖案化對象可能看起來浮在表面上方或者具有其它相關聯的偽像(比如在立體圖像之間不同的并且CG匹配移動造成的垂直偏移)。
[0037]根據這里公開的原理的特定系統和方法提供解決這些困難的方便方式，以允許用于立體拍攝系統的對匹配移動處理的更好的質量控制。解決這些困難的一個方面涉及使紋理在表面以及其它CG對象(例如角色)上可視化。這樣的紋理可以是基本上相等尺寸的2D元素的重復圖案，從而當在與一組原始立體版的合成物中看時，可以容易地確定相對和絕對深度。
[0038]圖3 (A)-圖3⑶示出在對象上放置紋理的典型方式。這些圖示出UV映射，其中諸如立方體26 (圖3(A))之類的對象被展開，如在圖3(B)的展開或平鋪對象28中看到的那樣。關于表面的重要細節被提供給映射系統，并且以這種方式系統將小塊鋪放在表面上，這些小塊然后在相遇時被“縫合”在一起。映射系統然后創建紋理，并將紋理施加到展開的對象上，如通過圖3(C)中的紋理32看到的那樣。然后可以重構對象以供使用，如通過圖3(D)中的紋理化立方體34看到的那樣。這樣的UV映射雖然可用于生成紋理但是通常是復雜的處理。
[0039]在圖4中可見在對象上提供紋理的更方便的方法。在圖4的系統36中，對象38位于由x、y和z軸定義的固定3D空間內。在圖4中，采用從三平面著色器生成的“三平面投影”，其中從由軸定義的三個方向的每個投影紋理。附圖示出X投影42、y投影44以及z投影46。根據CG對象上的多邊形主要朝向的軸方向，來沿軸投影紋理。在很多情況中，CG對象的前面和后面可具有類似的入射角，并且對每個的投影可以來自相同的投影軸。
[0040]這樣的投影可以很快地執行，從而提供在對象上放置紋理的更方便的方式。在三平面投影的特定情況中，當從軸投影圖案時，即使是移動且彎曲的對象也將通常具有可視的規則紋理。這是有益的，因為規則尺寸的圖案通常是方便地評估是否關于原始立體版以合適的方式配置CG對象的前提。評估可以是自動的或可以涉及用戶輸入。盡管三平面投影可能是投影規則圖案的特別方便的方式，但是將會理解，還可以使用投影具有基本相似尺寸的2D元素的圖案的其它方式。然而，到三平面有利于特定益處，比如即使在彎曲3D表面上也通常均勻間隔的圖案。相比之下，通過UV紋理，在角色頭部上的圖案的間隔可能與身體上的不同，并且在接合處且當在身體部分之間時可能出現褶皺，使得用于匹配移動處理的質量控制的深度評估更加困難。
[0041]作為具體示例，圖5(A)示出立方體48，其上已經利用三平面投影投影了 2D元素(在該情況中是正方形)的規則重復圖案48。由于規則重復圖案，通常可以容易地看到立方體距等同于攝像機平面的觀看平面的距離。圖5 (B)示出其中已經放置UV投影48’的立方體。盡管可以使用這樣的投影，但是對其的實現非常不方便。
[0042]圖6示出更復雜的情況，比如可能用在電影的場景中的情況，該情況示出在與原始立體版上的特征或結構(以某種方式)相關聯的多個對象上的三平面投影。例如，三平面投影可以是在表示桌子頂部的CG對象上，其中CG對象意欲用作可能站在桌子頂部上的角色的底座。然后可以使用系統和方法的特定實現方式來確保:可以在(在用戶界面上的角色的顯現中的)站在桌子上的角色相對于原始立體版中的桌子的結構出現在正確深度的情況下，來完成對角色的逐幀貼合。
[0043]具體地，圖6(A)和圖6(B)分別示出場景的左和右立體視圖，并且圖6 (C)和圖6(D)示出場景內的椅子、桌子和花瓶的相應左和右細節視圖。作為比較，提供圖6(E)和圖6(F)以分別示出同一場景的UV布局的左和右視圖。除了明顯地更難實現外，可以看到一些UV非常緊密以至于紋理看起來是灰色的而不是黑和白的圖案。
[0044]如上所述，即使在各個版上圖案看起來匹配，也可能在對象上的投影圖案沒有適當地匹配原始立體版中的表面或其它特征的地方、或者在以立體方式觀看時投影圖案看起來漂浮的地方看到偽像。在根據這里公開的原理的系統和方法的特定實現方式中，一種解決方案可以是:改變幾何構型(例如移動CG對象)以使得當以3D方式觀看時其與原始立體版中的期望特征或結構重合，或者在一些情況中，調節虛擬攝像機的參數。還可以根據需要使用其它方案。在不使用這樣的方案的情況下，基于或參考圖案位置來在原始立體版上放置CG對象通常可能導致CG對象的不適當的外觀，例如，浮在表面上方的或者在其他情況下偏離位置的CG對象。
[0045]如上所述，在一些情況中，調節虛擬攝像機的參數可以是合適的，因為如果從測量數據等接收到CG數據，則動畫制作者可能對CG數據的位置較為確定。這樣的攝像機參數可包括立體攝像機的位置、其眼內距離、其取向或旋轉等。
[0046]在改變幾何構型的情況下，調節CG對象的位置以使得其外觀被針對兩個視圖優化，并且使得以立體方式觀看時其深度對于場景且對于CG對象意欲模擬或在其他情況下對應、參考或與之相關的特征(如果有)是合適的。
[0047]圖7的流程圖30中示出根據這里公開的原理的實現方式的一種方法。在該流程圖中，第一步驟(可選的)是:基于諸如觀看平面或攝像機平面與CG對象之間的距離、攝像機視場等之類的參數，自動計算用于規則圖案的理想間隔(步驟67)。這可自動計算出:例如，較遠角色或對象要求例如形成較大2D元素或其它重復圖案的所施加規則圖案的較大間隔，從而其可在攝像機平面或觀看平面處被動畫制作者看到并評估。該能力消除了顯現以確定所施加圖案是否太小或太大的需要。
[0048]下一個步驟可以是:顯示立體版的第一和第二視圖的第一系列圖像(步驟68)。換句話說，原始立體版可以被顯示或在其他情況下被載入存儲器中用于之后的顯示或評估，原始立體版通常定義至少一個特征，比如地板、結構的表面、角色等。可將第二系列圖像投影或疊加在第一系列圖像上(步驟72)，第二系列圖像通常包括被投影在CG對象上的重復圖案，其中CG對象通常對應于、參考或表示原始立體版中的一個或多個特征。
[0049]可以通過將對象的表面定義為紋理參考對象來將圖案鎖定到該表面上(步驟73)。具體地，注意到，諸如上述三平面著色器之類的程序投影著色器從虛擬攝像機投影圖像。但是因為攝像機不移動，所以諸如角色或車輛之類的移動對象看起來像“游”過投影的圖案。因此對于給定CG對象表面，可以通過針對該表面創建紋理參考對象來將重復圖案鎖定到CG對象表面上。這將紋理投影到第一幀上，然后基本將紋理鎖定到隨后幀中的對象上。由于對象并不連續游過投影的圖案，所以當圖案隨著對象移動時可以更容易地使對象及其移動可視化。紋理參考對象可被應用到任何或全部動畫制作的移動角色或對象。盡管并不是在系統和方法的每種實現方式中都要求，但是使用紋理參考對象通常使得對匹配移動處理的評估和判斷更容易、更方便且更直觀。
[0050]然后可以比如通過看其上具有重復圖案的CG對象相對于原始立體版中的特征或結構(尤其是它們意欲表示的那些特征或結構)移動的良好程度，來評估結果(步驟74)。例如，可關于CG對象隨著立體攝像機移動而移動的良好程度、當以3D方式觀看時CG對象是否看起來浮在通過立體攝像機拍攝的特征或結構的前方等等，來進行評估。
[0051]該評估可以通過多種方式進行。在涉及用戶輸入的方式中，可以呈現結果以供在用戶界面上觀看(步驟76)。在使用用戶界面的情況下，用戶可以修改CG對象或攝像機參數等，并確定這樣的修改是否改善了結果。
[0052]還可以自動執行評估(步驟78 )。通常，為了自動確定，可以將原始立體版中的特征的點與圖案化CG對象上的點對應，并且評估可以包括:檢測原始立體版中的特征距觀看平面的第一距離，檢測圖案化CG對象上或其中的對應點距觀看平面的第二距離，以及提供指示出第一和第二距離之間的差的輸出。可以針對圖案上的多個點執行評估，并且輸出可以圖形地指示出針對所述多個點中的每個點或像素的差值。
[0053]在具體示例中，對于逐幀貼合的角色，可執行逐幀貼合的第一階段(pass)，并且可以確定左眼和右眼之間的視差差異。然后可以確定CG對象的深度，并且如果可以確定原始版中的對應特征的深度，則可以輸出誤差圖像，其中深度之間的數值差作為顏色輸出。如果將低于特定預定閾值的差值輸出為黑色像素，并且將高于該閾值的差值輸出為白色像素，則可以調節CG對象或攝像機參數以最大化黑色像素數。在一些情況中，可以通過測距成像的攝像機來確定原始版中的特征的深度，所述測距成像的攝像機可以自動確定深度值并且與像素顏色值一起存儲深度值。
[0054]圖8是其中采用視差圖來計算深度的另一種示例性方法的流程圖40。具體地，可以接收右和左立體版(步驟69)，并通過生成視差圖的若干個商業包中的一個、或者通過指示出兩個視圖的主要沿水平或X軸的差異的圖來處理右和左立體版(步驟71)。然后可使用攝像機數據(例如眼內距離)來將各個點處的視差圖轉換為相應點處的像素深度(步驟75)。然后可以例如通過指示出各個點處的差異的差異圖等，將這些計算出的深度與在和上述那些方法類似的方法中的CG匹配移動幾何構型的所顯現深度進行比較(步驟77)。
[0055]圖9的流程圖20示出根據這里公開的原理的另一種方法。第一步驟(可選的)是顯示或在其他情況下向存儲器載入一組原始立體圖像(步驟51)。下一個步驟是使用著色器將重復圖案投影在圖像的表面上(步驟52)。該圖像例如可以是CG對象，并且該著色器可以是三平面著色器或投影規則圖案的其它著色器。下一個步驟(同樣是可選的)是將紋理鎖定到該表面上(步驟56)。以這種方式，可以更方便地使移動對象的深度可視化。下一個步驟是顯現CG并合成步驟51和52的結果，并在顯示器上呈現該合成物以供評估(步驟54)。通常，動畫制作者將使用這樣的結果來修改攝像機參數或CG幾何構型，以實現期望的藝術效果。
[0056]圖10示出用于匹配移動處理的質量控制的示例性系統50。系統50可包括原始立體版圖像模塊81，其顯示與原始立體版的第一和第二立體拍攝視圖有關的第一系列圖像，所述版上具有至少一個特征。系統50還可以包括投影模塊83，其用于投影與相應第一和第二立體拍攝視圖有關的第二系列圖像，所述第二系列匹配移動到所述第一系列并包括投影在CG對象上的重復圖案，所述CG對象與原始立體版的各方面有關并且在許多情況中與特征有關。投影模塊可以將重復圖案投影或疊加到第二系列圖像中的CG對象的表面上，并且可以通過針對所述表面創建紋理參考對象來將重復圖案鎖定到CG對象上。
[0057]可以使用可選的用戶界面85，其包括質量控制確定模塊87。模塊87可以定量地確定當同時順序顯示各個系列時第二系列與第一系列一起移動的程度。實質上，模塊87確定所投影圖像與立體拍攝版上的期望相應特征相匹配的良好程度，例如，投影是否隨著原始立體攝像機移動，投影是否看起來不期望地浮在原始版的特征上方等。
[0058]已經描述了用于在匹配移動或逐幀貼合場景中使用施加到一個或多個表面的程序紋理來更好地評估深度的系統和方法。該系統和方法改善了對匹配移動效果的質量控制，并實現更方便的對匹配移動效果的質量控制。該系統和方法采用利用三平面著色的圖案(例如棋盤圖案)投影，以允許對CG對象的相對于原始立體版的那些深度的深度進行方便的檢測和確定。該系統和方法還可以采用紋理參考對象，以更方便地使匹配移動場景中的移動對象可視化。[0059]在替代實現方式中，可以采用測距成像的攝像機來獲得深度信息。在第一步驟中，捕獲場景(即原始立體版)的第一和第二立體拍攝視圖的第一系列圖像，第一系列圖像具有至少一個特征或結構。所述圖像利用測距成像的攝像機拍攝，從而至少獲得所述特征的深度值。下一個步驟是至少在特征上投影或疊加與相應第一和第二立體拍攝視圖有關的第二系列圖像，所述第二系列具有其上帶有投影的重復圖案的CG對象。通常，投影在第二系列圖像中的全部CG對象上進行，并且通常至少一個CG對象與原始版中的特征或結構有一些關系。第二系列可以被匹配移動到第一系列。對象上可具有與原始版上(例如特征上)的點對應的點。由于從第一步驟已知原始立體版中的特征的距離，所以可將第二系列放置為使得第二系列中的點距觀看平面的距離等于原始立體版中的特征上的對應點(同樣是距觀看平面)的距離。
[0060]一種實現方式包括一個或多個可編程處理器和用于存儲并運行計算機指令的相應計算機系統組件，所述計算機指令例如用于提供對棋盤圖案的投影并且呈現用于評估深度的圖像的視圖。下面公開一種這樣的計算環境。
[0061]參考圖11，示出用于動畫工作站的示例性計算環境100的表示。
[0062]計算環境100包括控制器76、存儲器82、存儲裝置86、介質裝置92、用戶接口 98、輸入/輸出(I/o)接口 102、以及網絡接口 104。各組件通過共用總線106互連。可替代地，可以使用不同的連接配置，比如在中心處具有控制器的星模式。
[0063]控制器76包括可編程處理器，并控制匹配移動質量控制系統78的操作。控制器76從存儲器82或嵌入式控制器存儲器(未示出)裝載指令，并執行這些指令以控制系統。
[0064]可包括非瞬時計算機可讀存儲器84的存儲器82臨時存儲數據以供系統的其它組件使用。在一種實現方式中，將存儲器82實現為DRAM。在其它實現方式中，存儲器84還包括長期或永久存儲器，比如閃存和/或ROM。
[0065]可包括非瞬時計算機可讀存儲器88的存儲裝置86臨時或長期存儲數據以供系統的其它組件使用，比如用于存儲數據或指令。在一種實現方式中，存儲裝置86是硬盤驅動器或固態驅動器。
[0066]可包括非瞬時計算機可讀存儲器94的介質裝置92接收可拆卸的介質，并向插入的介質讀取和/或寫入數據。在一種實現方式中，介質裝置92是光盤驅動器或盤刻錄器，例如可寫入藍光?.盤驅動器96。
[0067]用戶接口 98包括用于接受用戶輸入(例如對匹配移動結果或上述其它各方面的用戶指示)的構件，并向用戶呈現顯示。在一種實現方式中，用戶接口 98包括鍵盤、鼠標、音頻揚聲器及顯示器。控制器76使用來自用戶的輸入，并調節計算環境的操作。
[0068]I/O接口 102包括一個或多個I/O端口以連接到對應的I/O裝置，比如外部存儲器或補充裝置(如打印機或PDA)。在一種實現方式中，I/O接口 102的端口包括諸如如下端口的端口:USB端口、PCMCIA端口、串行端口、和/或并行端口。在另一種實現方式中，I/O接口 102包括用于與外部裝置無線通信的無線接口。這些I/O接口可被用于連接到一個或多個內容回放裝置。
[0069]網絡接口 104允許與本地網絡的連接，并包括有線和/或無線網絡連接(比如RJ-45或以太網連接)或“W1-Fi”接口(802.11)。可以理解，多種其它類型的網絡連接是可能的，包括WiMax、3G或4G、802.15協議、802.16協議、衛星、藍牙等。[0070]該系統可包括代表這些裝置的其它硬件和軟件(例如電源和操作系統)，盡管為了簡單起見在附圖中未具體示出這些組件。在其它實現方式中，可以使用裝置的不同配置，例如不同的總線或存儲配置或多處理器配置。
[0071]上文已經描述了本發明的各個說明性的實現方式。然而，本領域普通技術人員將認識到，其它實現方式也是可行的并落入本發明范圍內。例如，所公開的系統和方法可應用于電影、電視、視頻游戲等的圖像。雖然還可以采用生成棋盤圖案的其他方式(包括UV著色等)，但是相信，三平面著色可以產生用于立體深度確定和質量控制的尤其方便的比較。盡管已經公開了棋盤圖案，然而可使用任何規則的重復圖案，包括由2D元素(例如基本規則尺寸的2D元素)構成的那些。可以在場景中的全部對象上或在對象的子集上投影規則重復的圖案。盡管當前的技術通常要求諸如動畫制作者之類的用戶修改3D動畫軟件中的參數以調節上述每種方法的距離，但是將會理解，預想到3D動畫軟件的發展將允許對這樣的距離關系的自動修改。因此，本發明不僅限于上述那些實現方式。
【權利要求】
1.一種呈現用于深度評估的圖像的方法，包括: a、顯示一組原始立體圖像； b、利用著色器將重復圖案投影到圖像的至少一個表面上； C、將紋理鎖定到圖像中的至少一個對象的表面；以及 d、將來自所述組的圖像與具有所述圖案的表面合成，并且在顯示器上呈現結果圖像以供評估。
2.根據權利要求1所述的方法，其中，所述重復圖案是棋盤圖案。
3.根據權利要求1所述的方法，其中，所述著色器是三平面著色器。
4.一種在匹配移動處理期間執行質量控制的方法，包括: a、顯示與原始立體版的第一和第二立體拍攝視圖有關的第一系列圖像，所述原始立體版上具有至少一個特征； b、將與相應第一和第二立體拍攝視圖有關的第二系列圖像投影在CG對象上，所述第二系列匹配移動到所述第一系列并且包括重復圖案；以及 C、在顯示器上呈現結果圖像以供評估。
5.根據權利要求4所述的方法，其中，通過三平面著色器來投影所述重復圖案。
6.根據權利要求4所述的方法，其中，將所述重復圖案投影在第二系列圖像內的CG對象的表面上，并且，該方法還包括通`過針對所述表面創建紋理參考對象來將所述重復圖案鎖定到CG對象上。
7.根據權利要求4所述的方法，還包括:評估所述第二系列相對于原始立體版上的特征的深度。
8.根據權利要求7所述的方法，其中，評估是自動執行的。
9.根據權利要求7所述的方法，還包括:將所述特征的點與圖案化對象上的點對應，并且其中，評估包括:檢測原始立體版中的所述特征距觀看平面的第一距離，檢測圖案化對象上的對應點距觀看平面的第二距離，以及提供指示出第一距離和第二距離之間的差的輸出。
10.根據權利要求9所述的方法，其中，對圖案化對象上的多個點和所述特征上的對應點執行評估，并且其中，通過提供針對所述多個點中的每個點指示差值的輸出來以圖形方式執行對輸出的提供。
11.根據權利要求4所述的方法，其中，利用用戶輸入來執行評估。
12.根據權利要求11所述的方法，還包括:提供用戶界面，所述用戶界面用于顯示第一系列圖像和第二系列圖像并且用于接受關于解決不合適的匹配移動的用戶輸入。
13.根據權利要求12所述的方法，其中，接受用戶輸入包括接受改變圖案化對象的位置或取向的用戶輸入。
14.根據權利要求12所述的方法，其中，接受用戶輸入包括接受改變攝像機參數的用戶輸入。
15.根據權利要求14所述的方法，其中，攝像機參數包括旋轉度數或位置。
16.根據權利要求4所述的方法，還包括:基于CG對象的尺寸或CG對象距觀看平面的距離，來計算用于所述重復圖案的優化間隔。
17.—種在匹配移動處理期間執行質量控制的設備，包括:a、用于顯示與原始立體版的第一和第二立體拍攝視圖有關的第一系列圖像的裝置，所述原始立體版上具有至少一個特征； b、用于將與相應第一和第二立體拍攝視圖有關的第二系列圖像投影在CG對象上的裝置，所述第二系列匹配移動到所述第一系列并且包括重復圖案；以及 c、用于在顯示器上呈現結果圖像以供評估的裝置。
18.—種在匹配移動處理期間輔助質量控制的方法，包括: a、捕獲與原始立體版的第一和第二立體拍攝視圖有關的第一系列圖像，所述原始立體版上具有至少一個特征，所述第一系列圖像是利用測距成像的攝像機拍攝的，以便至少獲得所述特征的深度值； b、在所述第一系列上疊加與相應第一和第二立體拍攝視圖有關的第二系列圖像，所述第二系列匹配移動到所述第一系列并且包括CG對象，所述CG對象具有與所述特征上的點對應的點；以及 C、其中，通過如下方法執行所述疊加，即所述方法包括設置CG對象的位置使得CG對象的點與所述特征上的對應點重合。
19.一種在匹配移動處理期間輔助質量控制的方法，包括: a、捕獲與原始立體版的第一和第二立體拍攝視圖有關的第一系列圖像； b、根據第一和第二立體拍攝視圖計算視差圖； C、根據視差圖和包括眼內距離在內的攝像機數據，計算第一和第二立體拍攝視圖中的多個點的深度；以及 d、將計算出的深度與CG匹配移動幾何構型的所顯現深度進行比較，以將幾何構型中的點的位置與第一和第二立體拍攝視圖中的對應點進行比較。
20.一種質量控制系統，用于基于第一圖像創建期望的第二圖像，包括: a、原始立體版圖像模塊，用于顯示與原始立體版的第一和第二立體拍攝視圖有關的第一系列圖像，所述原始立體版上具有至少一個特征；以及 b、投影模塊，用于在所述第一系列上投影與相應第一和第二立體拍攝視圖有關的第二系列圖像，所述第二系列匹配移動到所述第一系列并且包括其上投影有重復圖案的CG對象。
21.根據 權利要求20所述的系統，還包括:質量控制確定模塊，用于定量地確定當同時順序顯示各個系列時所述第二系列與所述第一系列一起移動的程度。
22.根據權利要求20所述的系統，其中，投影模塊利用三平面著色器來投影所述重復圖案。
23.根據權利要求20所述的系統，其中，通過針對CG對象的表面創建紋理參考對象，來將所述重復圖案鎖定到所述表面上。
【文檔編號】G06T7/00GK103530869SQ201310270952
【公開日】2014年1月22日 申請日期:2013年7月1日 優先權日:2012年7月2日
【發明者】B·亨德里克斯 申請人:索尼公司, 索尼圖片技術股份有限公司