用于目標跟蹤的方法和設備的制作方法

專利名稱：用于目標跟蹤的方法和設備的制作方法
技術領域：
本發明涉及一種用于目標跟蹤的方法和設備。
背景技術：
目前，需要跨越一系列圖像跟蹤目標的位置。這種技術的一個例子是在與運動相 關的電視中。在實況捕獲的體育賽事期間，在視頻剪輯期間跟蹤球場上的球的位置是非常 有用的，以便能夠準確地獲得關于該賽事的精彩場面(highlights)和其他信息。然后該準 確捕獲的信息就可以隨后用于形成該體育賽事的計算機仿真。例如，在計算機游戲產業中 有可能在虛擬環境中重建現實生活的體育賽事。為了準確地將現實生活的體育賽事變換到 虛擬環境中，就需要準確并逼真地確定球場上的球的位置，并且使用所捕獲的視頻剪輯在 整個游戲中跟蹤球。實現這一目的的一種方式將是讓操作者觀看所捕獲的體育賽事的圖像，并且對 于每一視頻幀，記錄比方說球場上的球的位置。然而，這種方式有多個缺點。首先，這種方 法是非常耗時和非常費力的。其次，由于在體育場上正在捕獲視頻的電視攝象機不是被固 定在位置上的(即該攝像機搖動和傾斜以追隨球)，這就意味著即使操作者記錄了該球在 每一視頻幀中的位置，其也將不能提供標識球場上球的位置的準確信息。本發明的目的是解決該逼真地確定球場上的球的位置的問題。

發明內容
根據第一方面，提供一種在由至少一個固定在位置上的攝像機捕獲的場所的視頻 中跟蹤目標的方法，該視頻具有第一和第二標記幀，該方法包括在視頻的第一標記幀中檢測第一錨定點；在視頻的第一標記幀和后續幀中檢測該目標在該場所中的位置；在視頻的第二標記幀中檢測第二錨定點；在視頻的第二標記幀中檢測該目標在該場所中的位置；和根據多項式方程來調整該目標在第一標記幀和第二標記幀之間的視頻幀內的場 所中的位置，其中定義標識在所檢測的第一和/或第二錨定點處發生的動作的元數據，并 且該動作是從預定動作列表中選擇的。因為它改善了對場所中的目標建模的真實性，所以這是有利的。這種真實性的改 善是由于下述方式導致的，在該方式中，從場所的視頻剪輯中獲得目標在場所中的位置。該 多項式方程可以擬合目標在該場所中的許多可能的不同運動，而無需所討論的目標的任何 已有知識或物理模型。此外，通過允許從預定的動作列表中選擇標識正在發生的動作的元數據來提供進 一步的優點。這加快了選擇該動作的速度。該多項式方程可以在目標在第一標記視頻幀中的場所中的位置與目標在第二標 記視頻幀中的場所中的位置之間擴展(extend)。
可以選擇該多項式方程的參數，從而使得在所檢測到的該目標在視頻幀中的位置 與由該多項式定義的目標在視頻幀中的場所中的位置之間的誤差測量最小。可以根據目標的方向變化來檢測該第二錨定點。該多項式可以使用多項式插值來生成。該多項式可以使用范德蒙德矩陣來生成。在跟蹤剪輯中的目標之前，該方法可以包括定義與場所中的已知位置相對應的 視頻幀上的多個位置，以及相對于來自該視頻幀的場所中的已知位置來定義視頻中的其他位置。該場所可以包含至少一條直線，并且在跟蹤剪輯中的目標之前，對攝像機所捕獲 的剪輯中的線的位置進行擬合以對應于場所中的直線。可以使用目標的調整后的位置來定義該目標在虛擬環境中的位置。根據本發明的第二方面，提供一種用于在由至少一個固定在位置上的攝像機捕獲 的場所的視頻剪輯中跟蹤目標的設備，該視頻具有第一和第二標記幀，該設備包括第一檢測器，其用于在視頻的第一標記幀中檢測第一錨定點；第二檢測器，其用于在視頻的第一標記幀和后續幀中檢測目標在場所中的位置；第三檢測器，其用于在視頻的第二標記幀中檢測第二錨定點，以及在視頻的第二 標記幀中檢測目標在場所中的位置；和處理器，其用于根據多項式方程來調整目標在第一標記幀和第二標記幀之間的視 頻幀內的場所中的位置，其中定義標識在所檢測的第一和/或第二錨定點處發生的動作的 元數據，并且該動作是從預定動作列表中選擇的。該多項式方程可以在目標在第一標記視頻幀內的場所中的第一位置與目標在第 二標記視頻幀內的場所中的第二位置之間擴展(extend)。可以選擇該多項式方程的參數，從而使得在所檢測到的該目標在視頻的后續幀中 的位置與由該多項式定義的該目標在視頻的后續幀中的場所中的位置之間的誤差測量最可以根據目標的方向變化來檢測該第二錨定點。該多項式可以使用多項式插值來生成。該多項式可以使用范德蒙德矩陣來生成。這是一種有用的計算機內的實施方式，因為與傳統的多項式解決方案相比，更容 易處理其系數被作為矩陣加以計算的多項式。在跟蹤剪輯中的目標之前，處理器可以用于定義與場所中的已知位置相對應的視 頻幀上的多個位置，以及相對于該幀內的場所中的所定義位置來定義該視頻中的其他位置。該場所可以包含至少一條直線，并且在跟蹤剪輯中的目標之前，對攝像機所捕獲 的剪輯中的線的位置進行擬合以對應于場所中的直線。可以使用目標的調整后的位置來定義該目標在虛擬環境中的位置。還提供了一種具有存儲介質和處理器的計算機，該存儲介質包含視頻資料以及 與其相關的調整后的位置數據，該調整后的位置數據是按照根據本發明的任一實施例的方 法生成的；其中該處理器用于生成虛擬環境，該虛擬環境包含位于該虛擬環境中的一位置處的目標，該位置對應于所存儲的與該視頻資料相關的調整后的位置數據。還提供一種存儲介質，其包含視頻資料以及與其相關的被調整的位置數據，該被 調整的位置數據是按照根據本發明的任一實施例的方法生成的。根據另一方面，提供一種用于捕獲和跟蹤場所中的目標的系統，包括至少一個固 定在位置上的攝像機和根據本發明的任一實施例的設備。還提供一種包含計算機可讀指令的計算機程序，當該計算機可讀指令被加載到計 算機上時，配置該計算機以執行根據本發明的任一實施例的方法。一種被配置為在其中或在其上包含計算機程序的存儲介質。


通過將被結合附圖閱讀的說明性實施例的下述詳細描述，將會清楚本發明的上述 和其它目的、特征和優點，在附圖中圖1示出了足球場的俯視圖；圖2示出了根據本發明實施例的圖像處理中心的示意圖；圖3示出了解釋三角測量的示意圖；圖4A示出了來自圖1中的俯視圖中所示的攝像機的足球場的一部分的遠景圖 (prospective view)；圖4B示出了顯示根據實施例的圖4A的圖像中的線校正(linecorrection)的示 意圖；圖5A-5F示出了根據本發明實施例的目標跟蹤的說明性示例；圖6A-6E示出了根據本發明實施例的目標跟蹤的另一說明性示例；圖7A和7B示出了根據本發明實施例的目標跟蹤的另一說明性示例；圖8示出了可以在其上使用本發明實施例的計算機系統。
具體實施例方式參照圖1，其中示出了由比賽區域102A-D界定的足球場。與任何足球場一樣，提供 了多條界定比賽區域的其他線(例如禁區、中圈等)。一條這種線是沿著圖1中所示的禁區 104的邊緣。圖1中還示出了任選的參考點106。雖然在圖1中僅示出了三個參考點，但是在 實施例中，對于每個攝像機選擇任意數量的參考點。這些參考點在比賽期間不改變，并且在 這種情況下位于圖1中禁區的一角處、罰球點處以及球場的一角處。然而，這些參考點106 可以位于球場100上的任何地方。當參照圖4A和4B時，這些參考點的重要性將變得明顯。 這里應該注意的是，雖然前面討論的實施例是關于足球場的，但是任何運動場地或者甚至 是具有靜態布局的場所都可以同樣使用。為了捕獲來自于足球場100的圖像，采用圖1的攝像機布置。特別地，視頻攝像機 108和110位于足球場100上的各個所謂的“18碼線”處。這些攝像機優選為高清晰攝像 機，并且它們的視場朝著球門區延伸。這些攝像機具有靜態的視場。此外提供的是位于足 球場的中線處的攝像機布置112。每個攝像機的視場略有交疊，并且通過把由該攝像機布置 112提供的三個不同視場“縫合(stitching)”在一起來生成整個足球場的合成圖像。該縫
6合是本領域已知的(例如參見GB-A-2444533，其詳述了圖像的配置和縫合)，并且因此這里 不再對這一特定特征進行更詳細的描述。該攝像機布置112包括三個攝像機元件，其中的 每個都是固定在位置上的高清晰攝像機，并且每個都具有靜態的視場。如圖2中所討論的那樣，該18碼攝像機108和110的輸出以及攝像機布置112的 輸出被饋入到圖像處理中心114中。每個攝像機具有固定的視場、已知位置和已知參數(例 如焦距)。因此，由于這些參數是不變的，所以可以使用多個攝像機中的兩個攝像機的輸出 來采用三角測量技術確定球在球場100上的位置。這將針對圖3進行描述。在特定實施例中，使用18碼攝像機108之一的輸出和攝像機布置112的輸出來對 目標在其視場中的位置進行三角測量，并且使用另一 18碼攝像機110和攝像機布置112的 輸出來對目標在其視場中的位置進行三角測量。參照圖2，來自于每個攝像機108和110以及攝像機布置112的輸出被饋入到位于 圖像處理中心114內的圖像處理器200中。該圖像處理器200是特別適于處理高清圖像的 計算機。一個這類處理器可以是所謂的單元處理器。附著到圖像處理器200的是存儲介質202，其用于存儲來自每個18碼攝像機108、 110和攝像機布置112的圖像數據。此外，存儲介質202存儲球場上的球的位置數據以及 其他與視頻內容相關的元數據。元數據是本領域的術語，并且通常意味著“關于數據的數 據”。在圖像處理的環境中，元數據可以包括攝影師的詳情、場所詳情、好球標記(good shot marker)和其他與視頻資料相關的信息。然而，在實施例中，元數據包括與每個視頻幀的內 容相關的信息，例如球員在球場上所處的位置，每一幀中發生的動作詳情，和標識球場上的 球的位置的信息。一般地，元數據包含比視頻數據少的數據。此外，在存儲介質中存儲有校準信息。該校準信息提供允許進行三角測量的信息。 將參考圖1的固定點來描述該校準信息。如上所述，圖1的布置中的每個攝像機被相對于彼 此以及球場100固定在位置上。因此，通過在系統的校準期間定義球場上的多個位置(在 這種情況下為3個，其在球場上的物理位置是已知的)，并且已知球場的尺寸和攝像機的參 數(例如焦距)，圖像處理器200可以生成校準數據，該校準數據定義了每個攝像機的所捕 獲圖像中的每個像素與足球場100上的對應位置之間的關系。換句話說，根據目標在由兩 個攝像機輸出的圖像上的位置來計算該目標在球場100上的位置。該校準信息在執行三角 測量時被使用，并且有時被稱為“攝像機矩陣(camera matrix)”。這在圖3中加以描述。在圖3中，有兩個圖像平面3002和3004，它們是來自于18碼攝像機108之一和攝 像機布置112中的攝像機元件之一的輸出圖像。為了簡單起見，在圖像平面3002和3004 中僅示出了一個目標3006。目標3006位于“現實生活”球場(即3D場所)上的一個位置 處。該目標3006位于圖像平面3002中的位置3012處和圖像平面3004中的位置3014處。 利用三角測量，可以根據目標在圖像平面3002和3004中的位置來確定該目標3006在球場 上的位置。如果存在從圖像平面3002中的目標3012的位置向3D空間中(或者換句話說是 垂直于該圖像平面)畫出的直線3010或窄錐形(narrow cone)，和從圖像平面3004中的目 標3014的位置向3D空間中畫出的相應的直線3008或窄錐形，則線的交叉就被認為是該目 標3006的位置。然而，如本領域技術人員將會認識到的，由于系統的校準中的固有誤差，所以線
73008和3010實際上并不總是會相交。為了解決這個問題，在實施例中，找到連接線3008 和3010的最短向量，并且將該向量的中點確定為目標3006的位置。使用這種方法，如果線 3008和3010確實相交，則目標3006的位置將是交叉點。在系統的校準期間，目標3006將 是參考點106之一，而在目標檢測和跟蹤期間，目標3006將是在球場100上(例如是球員 或球)。回到圖2，存儲介質可以是保持在圖像處理中心114中的硬盤驅動器或光媒介。替 代地，該存儲介質可以是可移動的，例如存儲棒(Memory Stick )。顯然，存儲介質202也 可以是這兩種類型的存儲媒介的組合。用戶終端204也連接到圖像處理器200。雖然未示出，但可以預見該用戶終端將包 括至少一個用戶輸入，以允許操作者向用戶終端提供信息，并隨后提供到圖像處理器200。 附著到用戶終端204的是用戶顯示器206，其顯示由每個攝像機108和110或攝像機布置 112實時地或通過存儲介質202提供的圖像資料。在用戶顯示器206上還顯示圖形用戶界 面，以允許用戶控制圖像處理器200且與圖像處理器200交互。在圖4A中示出了來自于一個18碼攝像機108的視場。如圖4A中所示，其中示出 了兩條線104和104，。實際上，線104，是由18碼攝像機108提供的18碼線的圖像。線 104是足球場100上的真實線。線104’呈現輕微彎曲的現象是由于該18碼攝像機108中 的透鏡畸變而引起的。透鏡畸變具有使直線呈現為彎曲的效果。當使用18碼攝像機108 所捕獲的圖像來估算目標在足球場100上的位置時，該畸變就是個問題。這是因為在生成 校準數據時不可能容易地測量透鏡畸變。因此，在本發明的實施例中，用戶終端204的操作者將查看18碼線攝像機108和 110以及攝像機布置112的每個輸出，并且矯直這些線中的每一條，以確保該透鏡畸變不破 壞在跟蹤目標時所采集的目標在球場100上的位置數據。這種校正可以從圖4B中看出來。 用戶終端204的操作者將該18碼線104重畫成直的。存儲在存儲介質202中的球場尺寸 被更新以結合這些改變。通過在系統的校準期間(即在進行任何目標檢測或跟蹤之前)執行該線校正，會 提高任何隨后被檢測或被跟蹤的目標的定位精度。參照圖5A-5F，可以看到在足球場的中圈附近的多個球員。特別地，在該圖中特別 要關注球員A 400、球員B 401和球員C 402。球員A和球員B為A隊比賽，而球員C為B 隊比賽。如將解釋的那樣，通過圍繞球員的兩個加亮之一來對每個球員加亮。利用A隊的 加亮404來為球員C 402加亮，并且通過B隊的加亮406來為球員A和B加亮。在該圖中， A隊具有作為加亮的實線，而B隊具有作為加亮的虛線。然而，通常這些將是不同的顏色而 非不同類型的線。標識球員A、球員B和球員C的信息被存儲在存儲介質202中，并且各個球員在足 球比賽期間的移動和對應的位置也被存儲在存儲介質202中。用于跟蹤球員的不同技術是 本領域所已知的。例如，在GB-A-2452512中論述了球員跟蹤，并因此在這里將不再進一步 對其進行討論。此外，在實施例中，在每一視頻幀中檢測球410的位置。使用三角測量來計算球場 上球410的位置，并且還將該位置與視頻幀相應地存儲到存儲介質202中。球和球員位置 二者都被存儲為與視頻幀相關的元數據。在足球賽期間跟蹤球410在球場100上的位置。
現在參照圖5B，為了清楚地說明，A隊加亮404和B隊加亮406被去除。當在足球 賽期間球員A 400接到球410時，用戶終端204的操作者對圖像處理器200識別出該特定 視頻幀具有與其相關的動作。由于該視頻幀與比賽同步，因此通過知道該動作發生在哪一 幀中，就可以知道該特定動作發生在比賽期間的什么時間。該動作充當錨標(anchor)，這將 在稍后解釋。響應于操作者將該幀識別為具有與之相關聯的動作，在屏幕上呈現動作選擇 菜單412。該動作選擇菜單允許用戶選擇與該幀相關的多個備選動作中的一個。例如，操作 者將能夠識別出球將被球員A 400用右腳踢。其他的備選選項可以是球員A 400將要用該 左腳踢或截擊球，用他的右腳或左腳運球，控球，頭頂球，或者其他任何適當的動作。另外， 應該注意的是，該動作可以是球已經彈起，出界等。標識該動作的元數據被存儲為與其所對 應的視頻幀相關聯。為了允許用戶有時間從動作選擇框412中選擇正確的選項，視頻鏡頭(video footage)被凍結，或者以某方式暫停。事實上，每當激活動作選擇框時，視頻鏡頭都會被凍 結。雖然球410被自動檢測，并且使用三角測量來計算球410在球場上的位置，但是用戶也 可以在激活動作選擇框時手動標記球410的位置。在圖5C中，看到球410在空中向著球員B 401飛去。該球距離地面的距離為d。 而且，在圖5C中示出了所檢測到的球410的路徑。為了跟蹤飛行的球410，必須在每個連續 幀中檢測球410。如將從圖5C顯見的那樣，所檢測到的球410的路徑是不正確的，因為球在被踢后 不會以這種方式行進。球410的所檢測路徑與該球的實際路徑之間的誤差是由于檢測球的 過程引起的。這是因為在連續幀中會出現球的錯誤檢測，或者因為沒有正確識別球的位置。 其他誤差可能來自于不正確地檢測球的運動，在連續幀之間球410的中心的定位不一致， 錯誤檢測(例如將球員的腳錯誤識別為球410)等等。因此，根據所檢測的球410的路徑而 生成的標識球在足球場100上的位置的任何位置數據將是不正確的。這在圖5D中再次示出，圖5D示出了球進一步沿著該路徑到球員B 401。如所看見 的那樣，球412’的進一步檢測的路徑與球410的實際路徑不一致。如圖5E中所示，當球410到達球員B 401時，用戶終端204的操作者激活第二動 作選擇框414，其創建第二錨標以產生描述與幀相關的動作的元數據，并且標記該視頻幀。 球412’的整個被檢測路徑都是不正確的。因而，如果認為球410遵從所檢測的路徑，則圖 像處理器200將生成不正確的結果。然而，通過打開第二動作選擇框414，用戶終端204的 操作者向圖像處理器指示球已經到達球員B 401以及還指示球410的目的地。這向圖像處 理器200標記了球410已經完成了它從球員A 400到球員B 401的路徑，并且還允許圖像 處理器知道球410的目的地。為了校正球412”的整個錯誤檢測的路徑，圖像處理器200需要對由球412”的整 個所檢測的路徑提供的位置數據執行額外的處理。在本發明的實施例中，通過范德蒙德矩 陣來確定圖5F中所示的球416的已篩選(filtered)路徑(其是被校正的路徑)。作為把 球412”的整個錯誤檢測的路徑放置到范德蒙德矩陣中的結果，(即來自第一次和第二次激 活動作選擇框之間的每一幀的球410的所檢測位置)，會產生類似該所檢測路徑的多項式 形狀的系數。當由用戶終端204的操作者激活第一和第二動作選擇框412和414時，由球 410的位置信息提供該多項式形狀的起點和終點。
換句話說，對于任一特定幀，可以通過如下多項式函數來定義球的位置xi = ao+aiti+a2ti2+. . . +antni(1)其中η是所使用的多項式的次數。因此，對于一組m個幀(即激活第一和第二活動選擇框之間的幀)，上式可以寫成 一個范德蒙德矩陣方程

這個矩陣具有Va = χ的形式，其中需要找到“a”的值以給出多項式系數。所以，Va= xVTVa = VTx 以及a = (VtV) _1Vtx其中如技術人員將會理解的那樣，(VtVF1Vt已知為偽逆(pseud oinversion)。該具有使用上述范德蒙德矩陣生成的系數的多項式提供了圖5F中所示的球416 的已篩選路徑。于是，如在用戶終端204的操作者激活該第一活動選擇框412和第二活動選 擇框414之間的每一幀中確定的球場上球的位置被調整，從而使其適合該生成的多項式。 這就為球提供了非常逼真、更準確的位置數據。這里應當注意的是，雖然在這個例子中使用 了多項式方程，但是也可以使用任何適當類型的方程。例如，給定風速、氣壓、球的表面特 性等的準確知識，就可以為球的運動構建精確的物理模型，并使用圖像處理器200來找到 迭代方案。然而，這需要大量的處理能力以精確求解。然而，該矩陣求逆方法需要更少的處 理能力，因為它使用了對于現代計算機而言廣泛可用并且最優化的標準程序。當然。本發 明并不限于這種方法，并且可以使用其他多項式插值技術，例如Neville算法或Lagrange Form。為了生成精確模擬球的真實路徑的多項式，我們發現六階多項式是足夠的，不過 在樣本大小(即第一和第二激活之間的幀數)受限制的情況下可使用更低階的多項式。圖6A-6E示出了球410在被球員A踢出和被球員B接到之間彈起的情形。與圖5B 一樣，用戶終端204的操作者使用動作選擇框來選擇球已經被球員A用特定的腳踢出。為 了清楚起見，在圖6A中未示出該動作選擇框。在圖6B中，球410在地上彈起。如已經討論 的那樣，由于在每幀中球410的檢測誤差，所以該彈起的球500的所檢測路徑被顯示為不正 確的。然而，當球彈起時，用戶終端204的操作者打開第三選擇框，其中包含了如前所討論 的針對球的多個選項。用戶選擇球彈起，并將其作為與該特定幀相關聯的元數據存儲在存 儲介質202中。在這一階段，圖像處理器200使用如針對圖5F所討論的范德蒙德矩陣來生 成已篩選路徑504。再次，將在每幀中確定的球場上的球的軌跡以及因而球的位置調整為遵 循彈起的球的已篩選路徑的路徑。在已經根據該軌跡調整了球場上球的位置后，將該動作發生時的彈起位置(由第 三動作選擇框標識)和比賽期間的時間(或幀)存儲在存儲介質202中。該視頻繼續并檢測每幀中球的位置。在彈起515和球員B 401的標記位置之間進一步檢測到的該彈起的球的路徑505’也是不正確的。當球410到達球員B 401時，用戶終 端204的操作者打開第四活動選擇框505并選擇適當的動作。動作的該選擇充當錨標或標 記。再次，該動作被存儲為與視頻幀相關的元數據。該彈起的球的進一步檢測到的路徑500”服從于范德蒙德矩陣，并且在彈起515的 所標記位置與用第四活動選擇框標識的球的位置之間生成該彈起的球的另一已篩選路徑 510。如可從圖6E看到的那樣，該彈起的球的路徑事實上由兩部分構成彈起的球的已篩選 路徑504和彈起的球的另一已篩選路徑510。這就顯示出了當球410在地上彈起時它的突 然改變的方向。換句話說，該方向的突然改變可以被確定為是該球的運動方向在較短系列 的幀中改變超過預定角度的點。一個這種角度可以是90°。與簡單地篩選球員A和球員B之間的路徑相比，實施例是有利的。這是因為，如果 對球的所檢測路徑的篩選僅發生在球員A 400和球員B 401之間，那么就會平滑該兩個球 員之間的整個路徑。這將與實際不符。通過當球在地面上彈起時設置“標記”(即使用第三 活動選擇框來標記其發生于的幀)，就可以使球場上的球410的路徑更準確。在實施例中， 可以自動檢測球410的方向的這種快速改變(例如當它彈起時)，并且該球410的方向的 這種快速改變可以用于自動生成該標記和球的位置。而且，當用戶選擇一個動作例如踢球 (左踢、右踢、截擊等)以設置錨定點時，可以根據該方向變化和球離地面的高度來自動確 定第二個球員是頭頂還是截擊經過的球。一旦球員B 401的腳接到了球410，他會希望運球。這就需要該球非常接近球員B 401的腳。由于球410非常接近球員401的鞋，所以球410的檢測就會變得更困難并且會出 現更 多誤差。假定攝像機108、110和攝像機布置112是固定類型，則這是確實存在的。因此，如圖7A中的情況那樣，如果球員運球，則用戶終端204的操作者可以使用與 圖5和6中所述的類似技術來改善通過球檢測采集的位置或數據。在圖7A中，球員B 401將球移動到位置410’。這就給出了一個新位置B 401’(用 虛線示出)。然而，雖然該球員沿曲線方向跑，但所運的球的所檢測路徑600又是錯誤的。 這將導致在連續幀之間確定球場上球的位置的誤差。因此，用戶終端的操作者對于每預定 數量個幀生成標記或錨標。例如，操作者可以每5幀生成標記，或者事實上可以按照他或她 看著合適的任何其他預定數量個幀。在每個標記或錨標后，圖像處理器200使得所運的球 的所檢測路徑600受到運球序列期間的連續錨定點之間的范德蒙德矩陣的約束，其提供了 如圖7B中所示的所運的球的已篩選路徑605。參照圖8，一旦已經為比賽的每一幀估計出球的位置，就整理與比賽相關的元數 據、從每次出現活動選擇框所選擇的動作以及通過球員跟蹤所生成的球員位置信息。該整 理的數據提供了足夠的信息以使用虛擬球員重建該比賽。換句話說，可以創建具有每個球 員的虛擬模型的虛擬球場模型。這些模型可以在通用家庭計算機系統700上創建，例如連 接到網絡705和顯示器715的Playstation 3 710。每一幀中的每個球員的位置信息將通知Playstation 3 710將虛擬球員放置在 虛擬球場上的什么地方。此外，球的已篩選位置信息將通知Playstation 3 710在任何時 候將球放置在什么地方。而且，利用標識所選擇的動作的每次出現的信息，Playstation 3 710將能夠操縱球員的虛擬模型，以使得他或她在正確的時間用正確的腳踢球。利用這種細節水平，可以把現實生活的視頻鏡頭變換(morph)到虛擬環境中以用于計算機游戲。該現實生活游戲的所整理的數據可以在網絡705(例如因特網)上或在包 含該游戲(未示出)的存儲介質上或者兩者的組合上來加以提供。替代地或者額外地，可 以由足球教練或電視評論者進行對游戲的詳細分析。雖然上面已經參照在較短的鏡頭片段中得以校正的球的已篩選路徑進行了描述， 但是應當認識到，這不是實施本發明的唯一方法。在其他實施例中，如上所述，確定比賽的 每一幀的球的位置，并且生成所有錨標以及與該錨標相關的元數據。然后在后期制作以及 對比賽的整個鏡頭應用球的篩選，其中該篩選考慮了該錨標。雖然上述討論涉及足球比賽中的球的跟蹤，但是本發明并不僅限于此。例如，該目 標可以是任何運動中的球，或者甚至是必須被檢測并且隨后通過一系列圖像來跟蹤的任何 目標。此外，雖然前面已經參照圖像處理器200進行了描述，但是本發明的實施例也可 以在計算機上實現。這就意味著，在本發明的實施例中，提供計算機程序，其包含了將計算 機配置為執行如上所述的圖像處理器200的角色的計算機可讀指令。該計算機程序可以在 光存儲介質或固態介質或者甚至是磁盤型介質中加以提供。操作者手動指定錨定點的優點在于，防止影響選擇該錨定點的噪音。在一些運動 中，例如足球，存在許多可能類型的與球交互，并且用于跟蹤的攝像機可能距離該動作很 遠，所以在自動系統中會發生錨定點的錯誤檢測。雖然本文中已經參照附圖具體描述了本發明的說明性實施例，但是應當理解的 是，本發明并不僅限于那些精確的實施例，并且本領域技術人員可以在不背離所附權利要 求限定的本發明的范圍和精神的情況下，在其中實現各種改變和修改。
權利要求
一種在由至少一個固定在位置上的攝像機捕獲的場所的視頻中跟蹤目標的方法，該視頻具有第一和第二標記幀，該方法包括在視頻的第一標記幀中檢測第一錨定點；在視頻的第一標記幀和后續幀中檢測該目標在場所中的位置；在視頻的第二標記幀中檢測第二錨定點；在視頻的第二標記幀中檢測該目標在場所中的位置；和根據多項式方程來調整該目標在第一標記幀和第二標記幀之間的視頻幀內的場所中的位置，其中定義標識在所檢測的第一和/或第二錨定點處發生的動作的元數據，并且該動作是從預定動作列表中選擇的。
2.根據權利要求1的跟蹤方法，其中該多項式方程在目標在第一標記視頻幀內的場所 中的位置與目標在第二標記視頻幀內的場所中的位置之間擴展。
3.根據權利要求2的跟蹤方法，其中選擇該多項式方程的參數，從而使得在所檢測到 的該目標在視頻幀中的位置與由該多項式定義的目標在視頻幀內的場所中的位置之間的 誤差測量最小。
4.根據權利要求1的跟蹤方法，其中根據目標的方向變化來檢測該第二錨定點。
5.根據權利要求1的跟蹤方法，其中使用多項式插值來生成該多項式。
6.根據權利要求5的跟蹤方法，其中使用范德蒙德矩陣生成該多項式。
7.根據權利要求1的跟蹤方法，其中在跟蹤剪輯中的目標之前，該方法包括定義與場 所中的已知位置相對應的視頻幀上的多個位置，以及相對于來自該視頻幀的場所中的已知 位置來定義視頻中的其他位置。
8.根據權利要求1的跟蹤方法，其中該場所包含至少一條直線，并且在跟蹤剪輯中的 目標之前，對攝像機所捕獲的剪輯中的線的位置進行擬合，以對應于場所中的直線。
9.根據權利要求1的跟蹤方法，其中使用目標的調整后的位置來定義該目標在虛擬環 境中的位置。
10.一種用于在由至少一個固定在位置上的攝像機所捕獲的場所的視頻剪輯中跟蹤目 標的設備，該視頻具有第一和第二標記幀，該設備包括第一檢測器，其用于在視頻的第一標記幀中檢測第一錨定點；第二檢測器，其用于在視頻的第一標記幀和后續幀中檢測目標在場所中的位置；第三檢測器，其用于在視頻的第二標記幀中檢測第二錨定點，以及在視頻的第二標記 幀中檢測目標在場所中的位置；和處理器，其用于根據多項式方程來調整目標在第一標記幀和第二標記幀之間的視頻幀 內的場所中的位置，其中定義標識在所檢測的第一和/或第二錨定點處發生的動作的元數 據，并且該動作是從預定動作列表中選擇的。
11.根據權利要求10的設備，其中該多項式方程在目標在第一標記視頻幀內的場所中 的第一位置與目標在第二標記視頻幀內的場所中的第二位置之間擴展。
12.根據權利要求11的設備，其中選擇該多項式方程的參數，從而使得在所檢測到的 該目標在視頻的后續幀中的位置與由該多項式定義的該目標在視頻的后續幀內的場所中 的位置之間的誤差測量最小。
13.根據權利要求10的設備，其中根據目標的方向變化來檢測該第二錨定點。
14.根據權利要求10的設備，其中使用多項式插值來生成該多項式。
15.根據權利要求14的設備，其中使用范德蒙德矩陣生成該多項式。
16.根據權利要求10的設備，其中在跟蹤剪輯中的目標之前，該處理器用于定義與場 所中的已知位置相對應的視頻幀上的多個位置，以及相對于該幀內的場所中的所定義位置 來定義該視頻中的其他位置。
17.根據權利要求10的設備，其中該場所包含至少一條直線，并且在跟蹤剪輯中的目 標之前，對攝像機所捕獲的剪輯中的線的位置進行擬合，以對應于場所中的直線。
18.根據權利要求10的設備，其中使用目標的調整后的位置來定義該目標在虛擬環境 中的位置。
19.一種具有存儲介質和處理器的計算機，該存儲介質包含視頻資料以及與其相關的 按照根據權利要求1的方法生成的調整后的位置數據；其中該處理器用于生成虛擬環境， 該虛擬環境包含了位于該虛擬環境中的一位置處的目標，該位置對應于所存儲的與該視頻 資料相關的調整后的位置數據。
20.一種用于捕獲和跟蹤場所中的目標的系統，包括至少一個固定在位置上的攝像機 和根據權利要求10的設備。
全文摘要
描述了一種用于跟蹤視頻中的目標的設備和方法。特別地，描述了一種改善所捕獲場景中的目標的真實性的方法和設備。該改善是通過標識視頻中的第一和最后幀并且使該目標的所檢測路徑服從于改善了輸出位置數據的校正函數來實現的。
文檔編號G06T7/20GK101894374SQ20101015906
公開日2010年11月24日 申請日期2010年3月31日 優先權日2009年3月31日
發明者D·倫農, R·貝雷斯福德 申請人:索尼株式會社