捕獲、處理、以及繪制圖像的方法

專利名稱：捕獲、處理、以及繪制圖像的方法
技術領域：
本發明總體上涉及計算機輔助圖像處理，更特別地，涉及捕獲、 編輯和處理、以及繪制圖像的系統和方法。
背景技術：
在當今的數字世界中，執行圖像獲取、圖像處理、以及圖像繪制
(render)技術的計算機和計算機軟件已變得越來越普及。例如，越 來越多的運動圖像、視頻、以及游戲利用圖像處理技術來人為地繪制 圖像。計算機生成的圖像逐漸代替以傳統方式獲得的圖像，在保證特 技效果的情況下尤其如此。
所謂的"動作跟蹤"或"動作捕獲"開始于生物機械學研究中的 分析工具，并隨著技術的成熟而擴展至教育、培訓、體育運動和最近 的用于電影以及視頻游戲的計算機動畫制作。
在當前的技術中，執行者在每個關節附近佩戴標記以通過標記之 間的位置或角度來識別動作。聲學標記、慣性標記、LED標記、磁性 標記或反射標記、或這些標記的任何組合以最佳為期望動作的速率的 至少兩倍的速率被跟蹤至亞毫米位置。動作捕獲計算機軟件記錄位 置、角度、速度、加速度、以及沖量，提供動作的精確數字表示。
在娛樂應用中，動作跟蹤的應用可以降低動畫制作的成本，否則 需要動畫制作者畫出每一幀，或者用更尖端的軟件鍵入由該軟件插值 的幀。動作捕獲節省時間并創作出比手工動畫制作更自然的運動。在 生物機械學、體育運動和培訓中，實時數據可以提供診斷問題或提出 提高性能的方式所必需的信息，例如，對于高爾夫揮桿，需要動作捕 獲技術捕獲高達140英里/小時的動作。
一些缺點仍繼續給動作跟蹤技術造成問題。例如，當前算法和技術在應用于在計算機生成的角色中重現人類特性時常常故障，導致 "卡通風格"的再現。此外，當前的方法和技術常常導致比所期望的 差的分辨率和清晰度，在應用于諸如面部表情等人性化特征時尤其如 此。
因此，需要一種提供增加的分辨率和清晰度的捕獲、處理、以及 繪制圖像的方法。另外，需要一種實現各種修正"定位，，以有助于在 再現中具有更高的分辨率、清晰度、以及整體質量的方法。

發明內容
在一個實施例中，本發明涉及一種用于結合多個數字化標記來捕 獲和處理一 系列圖像的計算機實現方法，該方法包括根據所述多個數 字化標記來識別多個對準跟蹤點，以及利用第 一 圖像幀中的所述多個 對準跟蹤點來確定第一標記在后續的第二圖像幀中的位置，其中，如 果識別到第一標記，則在第二圖像幀中再使用第一標記，而如果未識 別到第 一標記，則在第 一標記的位置周圍的限定區域內搜索匹配的第 二標記，如果在該限定區域內識別到匹配的第二標記，則在后續的第 二圖像幀中使用該匹配的第二標記，而如果在限定區域內未識別到該 匹配的標記，則通過處理幾何互連到第一標記的第二標記的轉換信息 來插值第一標記的最佳猜測位置。
在另 一實施例中，本發明涉及一種用于捕獲和處理一系列圖像的 計算機實現方法，該方法包括結合具有在紋理或顏色方面不同的多個 標記的表面來捕獲第 一 圖像以獲得圖像表示，指定從所述多個標記獲 得的多個對準跟蹤點，以及利用第 一 圖像幀中的所述多個對準跟蹤點 來確定第 一標記在后續的第二圖像幀中的位置，如果找到第 一標記， 則在后續的第二圖像幀中再使用第一標記，如果未找到第一標記，則 在第一標記的位置周圍的限定區域內搜索在紋理或顏色上與第一標 記匹配的第二標記，如果該第二標記位于該限定區域內，則在后續的 第二圖像幀中使用第二標記，并且，如果第二標記不位于限定區域內， 則通過處理幾何互連到第一標記的第三標記的轉換信息來插值笫一標記的最佳猜測位置。
在又一 實施例中，本發明涉及一種包括計算機可用介質的計算機 程序產品，所述計算機可用介質包括用于捕獲和處理一 系列圖像的計 算機可用程序代碼，所述計算機程序產品包括用于結合具有在紋理或 顏色方面不同的多個標記的表面來捕獲第一圖像以獲得圖像表示的 計算機可用程序代碼，用于指定從所述多個標記獲得的多個對準跟蹤 點的計算機可用程序代碼，以及用于利用第 一 圖像幀中的所述多個對 準跟蹤點來確定第 一標記在后續的第二圖像幀中的位置的計算機可
用程序代碼，如果找到該第一標記，則在后續的第二圖像幀中再使用 第一標記，如果未找到該第一標記，則計算機可用程序代碼用于在第 一標記的位置周圍的限定區域內搜索在紋理或顏色上與第一標記匹 配的第二標記，如果該第二標記位于該限定區域內，則在后續的第二 圖像幀中使用第二標記，并且，如果該第二標記不位于該限定區域內， 則計算機可用程序代碼用于通過處理幾何互連到第 一標記的第三標 記的轉換信息來插值第一標記的最佳猜測位置。


圖1示出附著于表面的多個標記； 圖2A示出由計算機軟件解釋的多種標記顏色方案； 圖2B示出用于捕獲結合所述多個標記的表面的多個示例性計算 機系統；
圖3A和3B分別示出原始視頻捕獲圖像和分割后的捕獲圖像； 圖4示出在圖形用戶界面(GUI)中對用于照相機對的多個標記 的識別；
圖5示出在GUI環境中分成三角形的光流跟蹤網格(mesh); 圖6示出在GUI環境中的多個相關聯標記； 圖7示出為圖6的多個相關聯標記生成連接性數據； 圖8再次示出在GUI環境中從第一圖像幀到后續的第二圖像幀 的光流的計算；
10圖9示出在GUI環境中在根據本發明的跟蹤和編輯之后繪制的
圖像對；
圖io示出伴隨有重新映射到不同人臉部上的最終頂點的原始未
處理動作捕獲數據；
圖11示出伴隨有重定目標和最終蒙皮的網格的原始未處理動作 捕獲數據；
圖12是根據本發明的捕獲和識別跟蹤點的示例性方法的流程圖； 圖13是根據本發明的從第一圖像幀經各后續圖像幀利用跟蹤點 的示例性方法的流程圖14是根據本發明的從第一圖像幀經各后續圖像幀識別跟蹤點
的修正技術的流程圖；以及
圖15是可AJt 1"拙.軒斗以直A古《.戀頓.太勞印
性計算機系統，
具體實施例方式
在參照附圖的以下描述中，在一個或多個實施例中描述了本發 明，在附圖中，同樣的附圖標記表示相同或類似的元件。雖然根據用 于實現本發明的目標的最佳方式描述了本發明，但本領域技術人員應 認識到，本發明意圖涵蓋可包括在本發明的精神和范圍內的替代方 案、變型、以及等同方案，本發明的精神和范圍由以下公開和附圖支 持的隨附權利要求及其等同物來限定。
所包括的示意性流程圖總體上被作為邏輯流程圖來闡述。因而， 所示的順序和被標記的步驟可表示提出的方法的一個實施例。可構想 在功能、邏輯、或效果方面與所闡述方法的一個或多個步驟或其部分 等同的其它步驟和方法。另外，所采用的格式和符號用于說明方法的 邏輯步驟，并且應被理解為不限制該方法的范圍。雖然在流程圖中可 采用各種箭頭類型和線型，但它們應被理解為不限制相應方法的范 圍。實際上，可以使用某些箭頭或其它連接符來僅指示方法的邏輯流 程。例如，箭頭可以指示所示方法的列舉步驟之間的具有未指定的持續時間的等待或監測時間段。另外，特定方法發生的順序可嚴格地或 可不嚴格地遵從所示的相應步驟的順序。
此外，可以在一個或多個實施例中以任何適合的方式來組合本發 明的所述特征、結構、或特性。在以下描述中，提供了許多具體細節， 諸如編程、軟件模塊、用戶選擇、網絡事務、數據庫查詢、數據庫結 構、硬件模塊、硬件電路、硬件芯片等的示例，以便提供對本發明的 實施例的透徹理解。然而，本領域技術人員應認識到，可以在沒有所 述具體細節中的一個或多個的情況下、或者在有其它方法、部件、材 料等的情況下實施本發明。在其它實例中，未示出或詳細描述公知的 結構、材料、或操作以免使本發明的各個方面不明顯。
可以實現一種捕獲、處理、以及繪制一系列圖像的方法，該方法 用于減少與目前的捕獲技術相關的上述問題。另外，該方法可產生具 有增加的對比度、清晰度、以及細節的圖像。當具體應用于人性化特 征時，可以實現引人注目的效果。
圖1示出附著于人臉部10的表面的多個標記12、 14、和16。可 以將標記12、 14、和16附著、涂敷、連接、或以其它方式關聯到期 望捕獲的表面10。例如，可以用涂料或粘著劑來涂敷標記12、 14、 和16。標記12、 14、和16可以由多種材料組成。例如，在涉及皮膚 的應用中，可以將標記12涂敷于水貼紙。然后，使用薄層粘結材料 將標記12涂敷于皮膚。
在一個實施例中，可以用染料、熱轉印貼花(iron-on transfer)、 涂料、或粘著劑來將標記12涂敷到布料表面10上。另外，可以將標 記結合到布料本身的表面圖案中。
在視覺上，可以以各種紋理和/或顏色來提供標記12。在一個實 施例中，標記12可以包括具有各種純色的填充圓形標記12。在另一 實施例中，標記12可以包括諸如具有各種顏色的棋盤形圖案的圖案。
轉到圖2A，示出了被捕獲并隨后由計算機軟件解釋的各種標記 顏色和圖案方案18。這里以變化的灰度梯度表示的彩色標記20、 22、 24、和26可以是諸如藍色、橙色、黃色、以及綠色的顏色。彩色圖案標記28、 30、 32、 34、 36、和38可具有與所示的棋盤形圖案相結 合的類似的顏色變化。例如，標記28可包括具有綠色和藍色交替顏 色的棋盤形圖案。
除充當標記12的示例性實施例的彩色標記12之外，可以將任何 表面細節識別為標記12。多個標記12可以屬于具有對比度足夠高的 細節的表面的任何區域。例如，在皮膚上，標記12可以是疤痕、痣、 或表面變色。在皮夾克中，標記12可以是皮革表面中的劃痕或折痕。 在具有印刷物(圖像或文本)的任何表面上，標記12可以是在某方 面獨特的圖像或文本的任何部分。
本質上，任何可見的識別標記可被選為"標記"12，并如同該識 別標記是彩色標記實施例12 —樣在三維空間中被跟蹤。因而，本發 明不僅可以通過三維空間來識別和跟蹤彩色標記12,而且可以通過三 維空間來跟蹤任何表面(特別是表面上的選定細節)的移動和拓樸結 構。
圖2B示出被聯網以執行對象/表面10的圖像獲取功能的多個示 例性計算機系統19。在一個實施例中，配置了一系列的照相機"對" 以實現圖像獲取。具有光學位置23的照相機21和具有光學位置27 的照相機25被配置為第一對。同樣地，可將具有光學位置31的照相 機29配置為第二照相機對中的第一照相機，等等。如圖所示，照相 機21、 25、以及29經由信號承載介質33連接到一系列計算機系統 35、 37、和39。
還示出了示例性計算機系統35以供參考。計算機系統35包括連 接到諸如硬盤驅動器(HDD)或類似存儲部件的大容量存儲設備13 的中央處理單元(CPU) 11。另外，示出了連接到CPU 11的諸如電 可擦除可編程只讀存儲器(EEPROM)或類似存儲部件的存儲器15。 CPU11連接到通信端口 17，通信端口 17繼而連接到耦合計算機系統 37和39的通信網絡19。通信網絡19包括局域網或廣域網及相關部 件(LAN、 WAN)，或者可結合諸如通用串行總線接口 (USB)、 IEEE 802.11無線連接等協議。
13在一個實施例中，每個計算才幾系統35、 37、和39可以最少具有 一個照相機對。附屬照相機對的最大數目可最終取決于各個計算機系 統35、 37和39及其子部件的速度。
每個計算機系統35、 37、和39可在其上安裝軟件，該軟件允許 每個CPU11使任何附屬照相機21、 25、或29與整個系統19中的所 有其它CPU11同步。另外，計算機系統35、 37、和39中的一個或 多個可包括為了在捕獲會話期間捕獲音頻而附加的麥克風(未示出)。
在一個實施例中，附加計算機(未示出)耦合到通信網絡19。 該附加計算機可包括使所有捕獲計算機35、 37、和39同步并驅動捕 獲計算機35、 37、和39進行捕獲的軟件。
當由照相機21 、 25、和29捕獲到圖像數據時，可以以未處理(raw ) 格式將該圖像數據存儲在計算機系統大容量存儲設備13上。在捕獲 之后，可隨后在也可與通過麥克風記錄的任何音頻同步的一系列視頻 "證據，，中處理該未處理數據。
一旦捕獲到數據，并且計算機系統將具有結合的標記信息的圖像 以數字格式存儲在大容量存儲設備13上，則可通過在前述計算機系 統中的一個或多個上執行的軟件來處理該數字信息。作為第一步驟， 可以通過標記分割算法來處理捕獲的視頻的每個存儲"幀"。標記分 割算法用于更好地區分標記12和與標記12相關聯的表面10。轉到圖 3A和3B，分別示出了原始視頻捕獲圖像和分割后的捕獲圖像。圖3A 示出了未處理格式的標記12和表面10的圖像捕獲。在圖3B中示出 了分割后的捕獲圖像。如所示，各個標記12可更容易地與下層表面 10區分開。
在一個實施例中，對于各顏色的標記，每個圖像幀中的像素被根 據該相應像素與相應顏色接近的程度來定級。因此，生成這樣的灰度 級圖像，即該圖像具有所選顏色突出的亮區和所選顏色不突出的暗 區。然后，可以在灰度級圖像中搜索較高密度棋盤形圖案拐角的區域 或亮區的"島，，。然后，可以將該島標記為所選顏色的標記12。
在使用如前文所述的表面細節作為標記12的本發明實施例中，
14可繞過使標記12經過分割算法的處理步驟。作為替代，如將進一步 描述的光流跟蹤信息可形成關于三維空間中的單個標記12的位置的 初始猜測。
轉到圖4，示出了在圖形用戶界面(GUI) 40中對用于照相機對 的多個標記的識別。窗口 42示出了來自雙照相機對中的第一照相機 的第一表示。多個方塊44中的每一個指示特定顏色的被選擇和識別 的標記12。同樣地，窗口 46示出了來自該雙照相機對中的第二照相 機的第二表示，方塊48指示各種顏色的^C識別的標記12。在窗口42 和46下面示出正在所述實施例中使用的各種顏色綠色50、橄欖色 52、藍色54和橙色56。還示出工具菜單對話框58，其允許用戶選擇 多種菜單選項之一以執行將要描述的圖像處理功能。
在每個圖像幀中可識別每個圖像12中的某些標記12或點，該標 記12或點可被使用光流技術更容易地跟蹤到后續圖像幀。在后續圖 像幀中跟蹤所識別的標記12中的每一個。可舍棄不能定位的任何標 記12。然后可使最后確定的標記12的集合在幾何學上分成三角形 (triangulate)而形成二維網格表示。然后可以將所識別的標記12中 的每一個存儲在存儲器中。
圖5再次示出在表面IO的各個圖像幀的GUI環境中分成三角形 的光流跟蹤網格60。作為示例，利用線62和64 4吏多個所選標記12 在幾何學上分成三角形。
在跟蹤動作之前，可以生成表面IO的三維表示。可以在一個步 驟中使在照相機對的每個圖像表示中識別的所識別標記12與該三維 表示的最后生成相關聯。轉到圖6，示出了在GUI環境中的多個相關 聯標記66。再一次地，窗口 68表示雙照相機對的第一圖^f象表示。用 附圖標記O、 1、和2來指示所選的相關聯標記70、 72、和74以供用 戶參考。標記70、 72、和74與窗口 76中所示的雙照相機對的第二圖 像表示中的標記78、 80、和82相關聯。然后可4吏用該相關性來創建 從該雙照相機對的每個照相機投射的各標記的三維標記點。此三維標 記點可被稱為將進一步描述的"跟蹤點"。在下一步驟中，可以識別與每個跟蹤點相關聯的連接性數據，這
樣創建要捕獲的被標記表面10的三維網格表示。圖7示出了生成用 于圖6的多個相關聯標記的連接性數據的過程，結果得到雙照相機對 的每個圖像表示中的三維網格表示84。窗口 86再次表示第一圖像表 示，該第一圖像表示具有如圖所示在幾何上通過連接線96相連的跟 蹤點88、 90、 92、和94。
在涉及臉部表面IO的一個實施例中，用戶可以指定將使用哪些 跟蹤點來跟蹤眼睛周圍的區域。另外，用戶可以指定所謂的"對準 (alignment)跟蹤點"，其可以用來估計對象10或對象10的元件的 總體取向。除用戶已經選擇的對準跟蹤點之外，并不打算使被對準跟 蹤點利用的各個標記12可與其它標記12區分開。
在單獨的實施例中，在捕獲的第一圖像幀上，用戶可以識別先前 已將哪些標記12識別為對準跟蹤點。整個系統19可以使用標記12 來進行標記12/跟蹤點與正被捕獲的表面10的第一 "最佳猜測"對準。
在動作if艮蹤序列期間，可以逐一處理雙照相才幾對中的每一照相 機。用戶可以逐個幀地步進通過一系列動畫圖^f象幀中的每一個，識別 每個動畫圖像幀中的相應的跟蹤解決方案中的誤差。
作為下一步驟，可將來自先前幀的每個所選跟蹤點從自然空間變 換到表面10的局部空間，該局部空間由對準點限定。然后，在當前 圖像幀中，可使用對準跟蹤點的先前位置作為搜索合適的相關聯標記 12的起始點。可以使用先前計算的光流信息來確定相應的標記12從 圖像幀移動到后續圖像幀中的何處。如果在新圖像幀中在相應的位置 處(標記12預期所處的位置)未識別到標記12，則可以使用來自先 前圖像幀的標記12位置來確定表面10的對準并促進從圖像到圖像的 適當流動。
一旦生成了光流信息，則可以將各個相應的對準跟蹤點從表面 10的局部空間變換回到自然空間。然后，隨著每個跟蹤點在幀之間移 動，可再次使用光流信息來跟蹤該跟蹤點的移動。
轉到圖8，再次示出在GUI環境中從第一圖像幀到后續的笫二圖像幀的光流信息110的計算。窗口 112表示雙照相機對中的第一個 照相機的第一圖像表示。標記114和116表示使用線118在三維網格 表示中幾何連接的所選對準跟蹤點114、 116。線119表示所示的從第 一圖像幀到后續的第二圖像幀的光流信息。窗口 120相應地示出來自 雙照相機對中的第二個照相機的表示，示出了對準跟蹤點122、 124、 連接線126、以及光流線127。
如前文所述，光流的計算和跟蹤可以是對選自諸如皮膚變色等表 面細節的標記12的位置的第一初始猜測。作為下一步驟，可以搜索 圍繞標記12的預先限定窗口以估計匹配圖案的光流位置。
如果光流信息未識別到適合的標記12，則可以將更新的自然空 間位置投射到相應的照相機幀中。然后，可對該區域執行對在顏色、 紋理、或圖案方面匹配的附近標記的搜索。
如果未發現適合的標記，則可以通過使用(經由三維網格)幾何 連接到相應的標記12的標記12的轉換信息，使用先前圖像幀的位置 來插值(interpolate)"最佳猜測"位置。
如果用戶識別到跟蹤解決方案中的誤差，則可以使用多種工具來 修正誤差，這些工具根據本發明而結合以適合特定應用。在示例性第 一誤差修正技術中，可以在第一照相機圖像中拖動投射的跟蹤點，直 到匹配的第二標記被重疊。然后，可以將拖動路徑鎖定到系統19中， 防止該匹配的標記被用于另一跟蹤點。在第一照相機圖像中，線可被 從第一照相機中的固定標記12投射到成對的第二照相機的視圖中。 可以使用該投射的線來發現伴隨的成對標記12，因為，通常，正確地 講，標記12應沿著該線放置。如果沒有發現標記，則可以將先前幀 的跟蹤點投射到圖像中。可以使用從跟蹤點到投射線的距離最近點作 為用于相應的圖像幀的適當標記12的位置。
在示例性第二誤差修正技術中，如果對于各圖像幀，各跟蹤點被 標記為不可解，則可以得出將不會識別到適合的標記12的結論。結 果，可以使用與不能在后續圖像幀中定位適合的標記12的跟蹤點相 同的跟蹤算法來計算跟蹤點的最終位置。如果標記12不可見，并且計算機35對于跟蹤點錯誤地識別該標記12,則可以使用第二示例性 技術。
在示例性第三誤差修正技術中，可在三維空間中固定跟蹤點。可 在二個維度中移動各跟蹤點。可以通過在成對圖像中投射一條線，并 選擇從標記12的原始投射位置到該線距離最近的點來計算最終位置。 可替換地，各跟蹤點可在照相機圖像幀中移動，并沿著從當前跟蹤點 投射到成對的第二照相機的線而受約束。
轉到圖9，示出了在GUI環境中在根據本發明的跟蹤和編輯之 后繪制的圖像對128。窗口 130和138分別描繪照相機對的第一和第 二圖像表示。經由連接信息136、 144來提供連接的三維網格。對準 跟蹤點132、 140表示已根據前述修正技術而修正的跟蹤點。對準跟 蹤點134、 142表示已被自動地從第一圖像幀跟蹤到后續的第二圖像 幀的跟蹤點。
根據本發明，可以實現一種跟蹤眼睛瞳孔的運動的技術。"眼睛 跟蹤點"區域可以由用戶來選擇，結果得到圍繞指定眼睛區域的方形 限制框。可以在該方形限制框的內部區域中搜索凹窩和圓圏。如果找 到凹窩，則識別該凹窩并將其指定為瞳孔。如果未識別到凹窩，但找 到圓圏，則使用圓圏的中心作為瞳孔。如果在照相機對的每個圖像中 識別到瞳孔，則可以使三維位置分成三角形，并將數據存儲在系統19 中。
另外，瞳孔跟蹤可以實現先前在第二和第三示例性修正技術中描 述的一種或多種方法。
一旦已在每個照相機對中連續地跟蹤表面，則可以使用來自照相 機對的每個點的跟蹤數據來重建最終網格。如果一個跟蹤點在多于一 個的照相機對中被識別到，則可以使用來自最精確照相機(通常是最 接近于表面10的照相機)的數據。
一旦使用前述技術將捕獲到的跟蹤數據轉換為動畫，則可以將其 應用于任何模型。為此，使數據重定目標(retarget)。重定目標是 這樣實現的，即首先使來自中立姿勢的跟蹤網格與再次處于中立姿勢的要被動畫制作的模型對準。然后，可以使用計算機軟件來將被動畫
制作的表面"粘貼"到新目標的表面。圖10示出在GUI環境146中 伴隨有被重映射到不同人臉上的最終頂點的原始未處理動作捕獲數 據。因而，可看到原始未處理動作捕獲數據148被顯示在界面的左側， 而重映射信息被示為附著于顯示在界面的右側的新模型/目標150。具 有用線156連接的跟蹤點152、 154的三角網格(delta mesh)幫助動 畫制作軟件使所述多個跟蹤點152、 154等適當地排列在新表面150 上。
一旦已將網格重定目標，則可以利用被稱為"蒙皮(skinning)" 的方法將該網格應用于目標。蒙皮方法提供關于頂點將如何相對于各 跟蹤點移動的目標模型頂點的信息。任何特定跟蹤點對源網格中的頂 點的影響量由沿著網格的表面從相應的跟蹤點到要動畫制作的頂點 的距離來確定。結果，多個跟蹤點可以影響任何單個目標頂點。為了 說明，圖11在GUI環境158中描繪了伴隨有重定目標和最終蒙皮的 網格162的原始未處理動作捕獲數據160。
圖12示出根據本發明的捕獲、存儲、和準備圖像以供進一步處 理的示例性方法160。方法160從用戶將標記放置在表面上(步驟164) 開始(步驟162)。如前所述地配置各照相機對(步驟166)。以未 處理格式存儲捕獲的數據(步驟168)。通過標記分割算法來處理視 頻幀(步驟170)，以將標記與表面10區分開。識別多個二維跟蹤點 (步驟172)，然后將它們在幾何學上分成三角形以形成二維網格表 示，其中，存儲與光流跟蹤信息相結合的跟蹤點(步驟174)。
作為下一步驟，使用跟蹤點數據和光流信息來生成表面的三維表 示(176)。在雙照相機對的每個圖像中使各標記/跟蹤點相關聯(步 驟178)。根據相關聯標記而生成多個三維跟蹤點(步驟180)。另 外，對每個選定的三維跟蹤點導出幾何連接性數據，然后同樣地識別 該幾何連接性數據(步驟182、 184)。此后，方法160結束(步驟 186)。
圖13是根據本發明的從第一圖像幀通過后續圖像幀利用跟蹤點的示例性方法的流程圖。另外，圖13示出根據本發明的執行跟蹤功 能以及結合示例性修正定位技術的示例性方法188。方法188從對先 前在方法160中被識別為對準跟蹤點的標記的識別和指定(步驟192 ) 開始(步驟l卯)。如果未識別到后續標記12，則把執行跟蹤點的"最 佳猜測"對準的步驟194作為可選項。
將來自先前圖像幀的各跟蹤點從自然空間變換到局部空間(步驟 196)。作為可能的可選項，利用該跟蹤點的先前位置來搜索適當后 續標記12 (步驟198)。在有或沒有可選步驟194和/或198的幫助的 情況下，試圖確定每個標記/跟蹤點從一個幀移動到后續幀的位置(步 驟200 )。
如果標記12存在于新位置(步驟202 )，則在新的位置上再使 用該標記(步驟204)。否則，在先前標記的位置周圍的限定區域內 搜索適合顏色、紋理、或圖案的匹配標記(步驟206 )。如果發現適 合的匹配(步驟208 )，則使用適合的標記12 (步驟210)。如果未 發現，則使用來自先前幀的標記12的位置來確定適當的對準(步驟 212)。
一旦識別到并指定適合的標記，則如前所述將每個跟蹤點從局部 空間重新變換回到自然空間(步驟214)。再次重新利用前述光流信 息來跟蹤每個跟蹤點在幀之間的移動(步驟216)。
作為附加和可選的修正措施，如果光流信息識別到適合的標記 (步驟218),則在后續圖像幀中利用該適合的標記12 (步驟220)。 可替換地，將自然空間位置投射到照相機幀中(步驟222)。在限定 區域內搜索匹配標記12 (步驟224)。如果發現適合的標記，則利用 該標記(步驟228)。如果未發現，則通過利用幾何連接的標記12的 轉換信息而使用先前幀的位置來插值"最佳猜測"位置(步驟230)。 然后，方法188結束。
最后，圖14是根據本發明的從第一圖像幀通過后續圖像幀識別 跟蹤點的可選修正技術234的流程圖。方法234從在第一圖像表示中 移動投射的跟蹤點直到匹配標記在第二圖像表示中被重疊(步驟238 )開始(步驟236)。然后，將該信息鎖定以防止匹配標記12被另外的 跟蹤點使用(步驟240)。
接下來，從第一照相機中的固定標記12向該對中的第二照相機 的視圖中投射一條投射線(步驟242 )。如果標記12被定位(步驟 244)，則在后續圖像幀中使用標記12 (步驟246)。如果不是這樣， 則將先前幀的跟蹤點信息投射到圖像表示上。在后續圖像幀中使用指 定區域中的從跟蹤點到投射線的距離最近點(步驟248)。然后，方 法234結束(步驟250)。
轉到圖15，示出了示例性計算機系統252，在該示例性系統252 上，可以實現本發明的各方面，諸如前述方法234的各步驟的執行。 工作站254可以包括用于執行所述的各捕獲、處理和繪制步驟的中央 處理設備(CPU) 256、大容量存儲設備258、和用于存儲圖像表示的 存儲設備260、以及用于通過通信網絡264將工作站254鏈接到遠程 計算機系統266、 268的通信端口 262。如本領域的技術人員將認識到 的那樣，可以使用類似的計算設備以多種方式來實現前述方法以適合 特定的應用。
雖然已詳細地說明了本發明的一個或多個實施例，技術人員將認 識到在不脫離以下權利要求所闡述的本發明的范圍的情況下可對那 些實施例進行各種修改和改進。
權利要求
1.一種結合多個數字化標記來捕獲和處理一系列圖像的計算機實現的方法，包括以下步驟根據所述多個數字化標記來識別多個對準跟蹤點；以及利用第一圖像幀中的所述多個對準跟蹤點來確定第一標記在后續的第二圖像幀中的位置，其中，如果識別到所述第一標記，則在第二圖像幀中再使用所述第一標記，并且如果未識別到所述第一標記則在所述第一標記的位置周圍的限定區域內搜索匹配的第二標記，如果在所述限定區域內識別到所述匹配的第二標記，則在所述后續的第二圖像幀中使用所述匹配的第二標記，并且如果在所述限定區域內未識別到所述匹配的標記則通過處理與所述第一標記幾何互連的第二標記的轉換信息來插值第一標記的最佳猜測位置。
2. 權利要求1的方法，其中，在三維網格表示中生成多個互連的數字化標記。
3. 權利要求1的方法，還包括用具有第一光學位置的第一攝像機來捕獲第一圖像以生成第一圖像表示的步驟。
4. 權利要求3的方法，還包括用具有第二光學位置的第二攝像機來捕獲第二圖像以生成第二圖像表示的步驟。
5. 權利要求4的方法，其中，對所述第一圖像表示和第二圖像表示中的每一個執行所述根據所述多個數字化標記來識別多個對準跟蹤點的步驟以及利用第 一 圖像幀中的所述多個對準跟蹤點來確定第一標記在后續的第二圖像幀中的位置的步驟。
6. 權利要求5的方法，還包括使所述第一和第二圖像表示同步以生成表示相關聯的第一和第二圖像表示的合成圖像表示的步驟。
7. 權利要求3的方法，還包括通過標記分割算法來處理第一圖像表示以獲得第 一 圖像分割表示的步驟。
8. 權利要求1的方法，其中，所述多個數字化標記在纟文理或顏色方面不同。
9. 4又利要求1的方法，其中，所述第一標記與匹配的第二標記在顏色或紋理方面匹配。
10. 權利要求l的方法，還包括將所述多個對準跟蹤點從自然空間表示變換至第 一 圖像的局部空間表示的步驟。
11. 權利要求4的方法，還包括以下步驟在第 一 圖像表示中拖動投射的跟蹤點直到匹配的第三標記被重疊；鎖定所述第 一 圖像表示以防止所述匹配的第三標記被進一步使用；以及從第一圖像表示中的匹配的第三標記向第二圖像表示的視圖中投射一條線，其中，如果沿著該線識別到第四標記，則在第二圖像表示的后續的第二圖像幀中使用第四標記，并且如果未識別到第四標記則在后續的第二圖像幀中利用從第一圖像表示中的投射跟蹤點到投射線的距離最近的第五標記。
12. —種用于捕獲和處理一系列圖像的計算機實現的方法，包括以下步驟結合具有多個在紋理或顏色方面不同的標記的表面來捕獲第一圖像以獲得圖像表示；指定根據所述多個標記獲得的多個對準跟蹤點；以及利用第 一 圖像幀中的所述多個對準跟蹤點來確定第 一 標記在后續的第二圖像幀中的位置，如果確定了第一標記的位置，則在后續的第二圖像幀中再使用第一標記，其中，如果未確定第一標記的位置則在第一標記的位置周圍的限定區域內搜索在紋理或顏色方面與第一標記匹配的第二標記，如果第二標記位于該限定區域內，則在后續的第二圖像幀中使用第二標記，并且，如果第二標記未位于該P艮定區域內則通過處理與第 一標記幾何互連的第三標記的轉換信息來插值第 一 標記的最佳猜測位置。
13. 權利要求12的方法，其中，用多個照相機來執行所述捕獲第一圖像的步驟以獲得多個圖像表示。
14. 權利要求13的方法，其中，對所述多個圖像表示中的每一個執行所述指定多個對準跟蹤點的步驟。
15. 權利要求14的方法，還包括使所述多個圖像表示中的每一個同步以生成合成圖像表示的步驟。
16. 權利要求12的方法，還包括通過分割算法來處理所述圖像表示以獲得圖像分割表示的步驟。
17. 權利要求12的方法，還包括將所述多個對準跟蹤點從自然空間表示變換至第 一 圖像的局部空間表示的步驟。
18. 權利要求12的方法，還包括在所述捕獲第一圖像的步驟之后，生成已被分成三角形而形成二維網格表示的多個二維跟蹤點的步驟。
19. 權利要求18的方法，其中，將所述二維網格表示與多個光流跟蹤點組合以生成具有三維跟蹤點的三維網格表示。
20. 權利要求19的方法，其中，所述多個對準跟蹤點選自所述三維網格表示的三維跟蹤點。
21. 權利要求13的方法，還包括以下步驟在圖像表示中拖動投射的跟蹤點，直到在紋理或顏色方面與所述投射的跟蹤點匹配的第三標記被重疊；鎖定所述圖像表示以防止第三標記被進一步使用；以及從所述圖像表示中的第三標記向第二圖像表示的視圖中投射一條線，其中，如果沿著所述線識別到第四標記，則在第二圖像表示的后續的第二圖像幀中使用第四標記，并且如果未識別到第四標記則在后續的第二圖像幀中利用從第一圖像表示中的投射的跟蹤點到投射線的距離最近的第五標記。
22. —種計算機程序產品，包括計算機可用介質，所述計算機可用介質包括用于捕獲和處理一 系列圖像的計算機可用程序代碼，所述計算機程序產品包括計算機可用程序代碼，其用于結合具有在紋理或顏色方面不同的多個標記的表面來捕獲第 一 圖像以獲得圖像表示；計算機可用程序代碼，其用于指定根據所述多個標記獲得的多個對準J艮蹤點；以及計算機可用程序代碼，其用于利用第 一 圖像幀中的所述多個對準跟蹤點來確定第 一標記在后續的第二圖像幀中的位置，如果找到第一標記，則在后續的第二圖像幀中再使用第一標記，其中，如果未找到第一標記計算機可用程序代碼，其用于在第一標記的位置周圍的限定 區域內搜索在紋理或顏色方面與第 一標記匹配的第二標記，如果第二標記位于該限定區域內，則在后續的第二圖像中使用第二標記，并且， 如果第二標記未位于該限定區域內則計算機可用程序代碼，其用于通過處理與第一標記幾 何互連的第三標記的轉換信息來插值第一標記的最佳猜測位置。
23. 權利要求22的計算機程序產品，其中，用多個照相機來執 行捕獲第一圖像的步驟以獲得多個圖像表示。
24. 權利要求23的計算機程序產品，其中，對所述多個圖像表 示中的每一個執行指定多個對準跟蹤點的步驟。
25. 權利要求24的計算機程序產品，還包括使所述多個圖像表 示中的每一個同步以生成合成圖像表示。
26. 權利要求22的計算機程序產品，還包括通過分割算法來處 理所述圖像表示以獲得圖像分割表示。
27. 權利要求22的計算機程序產品，還包括將所述多個對準跟 蹤點從自然空間表示變換至第一圖像的局部空間表示。
28. —種用于捕獲和處理一系列圖像的計算機系統，包括 存儲設備；以及處理設備，電氣連接到所述存儲設備，其中，所述處理設備 結合具有在紋理或顏色方面不同的多個標記的表面來捕獲 第一圖像，生成存儲在所述存儲設備上的圖像表示，指定根據所述多個標記獲得的多個對準跟蹤點，以及利用第 一 圖像幀中的所述多個對準跟蹤點來確定第 一標記 在后續的第二圖像幀中的位置，如果找到第一標記，則在后續的第二 圖像幀中再使用第一標記，其中，如果未找到第一標記，則所述處理設備在第一標記的位置周圍的限定區域內搜索在紋理或顏 色方面與第 一標記匹配的第二標記，如果第二標記位于該限定區域 內，則在后續的第二圖像中使用第二標記，并且，如果第二標記未位 于該限定區域內，則所述處理設備則通過處理與第一標記幾何互連的第三標記的轉換信 息來插值第一標記的最佳猜測位置。
29. 權利要求28的計算機系統，其中，所述處理設備使用多個 照相機來捕獲第一圖像以獲得多個圖像表示。
30. 權利要求28的計算機系統，其中，所述處理設備對所述多 個圖像表示中的每一個指定多個對準跟蹤點。
31. 權利要求28的計算機系統，其中，所述處理設備使所述多 個圖像表示中的每一個同步以生成合成圖像表示。
32. 權利要求28的計算機系統，其中，所述處理設備通過分割 算法來處理所述圖像表示以獲得圖像分割表示。
33. 權利要求28的計算機系統，其中，所述處理設備將所述多 個對準跟蹤點從自然空間表示變換至第 一圖像的局部空間表示。
全文摘要
一種用于捕獲和處理一系列圖像的計算機實現方法結合具有在紋理或顏色方面不同的多個標記的表面來捕獲第一圖像以獲得圖像表示。指定從所述多個標記獲得的多個對準跟蹤點。在第一圖像幀中利用所述多個對準跟蹤點來確定第一標記在后續的第二圖像幀中的位置。如果找到第一標記，則在后續的第二圖像幀中再使用第一標記。否則，在第一標記的位置周圍的限定區域內搜索在紋理或顏色方面與第一標記匹配的第二標記。如果找到第二標記，則在后續的第二圖像中使用第二標記。否則，通過處理幾何互連到第一標記的第三標記的轉換信息來插值第一標記的最佳猜測位置。
文檔編號G06K9/00GK101681423SQ200780052085
公開日2010年3月24日 申請日期2007年12月20日 優先權日2007年1月26日
發明者A·克拉維爾 申請人:撲動公司