光學跟蹤方法
【專利摘要】本發明實施例提供一種光學跟蹤方法，本方法中，通過紅外反射膜的反射形成發出紅外光的被跟蹤點的像點，設置多臺攝像機來攝取被跟蹤點的圖像，每臺攝像機攝取到的圖像包括物點圖像和/或像點圖像，其中物點圖像為被跟蹤點的實際圖像，像點圖像為所述像點的圖像；根據攝取到的被跟蹤點的至少兩個物點圖像、至少兩個像點圖像、或至少一個物點圖像和至少一個像點圖像確定被跟蹤點的真實坐標以實現位置跟蹤。當該系統應用于沉浸式虛擬現實環境時，攝像機可以放置在環境的入口處，紅外反射膜設置在環境內的屏幕上，解決了在對被跟蹤點的位置進行運動跟蹤過程中的光線遮擋問題，并保持了沉浸式虛擬現實環境屏幕的完整性，提高了沉浸感。
【專利說明】光學跟蹤方法
【技術領域】
[0001] 本發明實施例涉及位置跟蹤【技術領域】，尤其涉及一種光學跟蹤方法。
【背景技術】
[0002] 虛擬現實通過集成計算機三維模型處理、立體顯示、自然人機交互等技術，提供高 真實感的虛擬仿真環境，使用戶能夠沉浸其中，與虛擬物體和場景進行自然交互，能夠消除 人與虛擬環境間的隔膜，并激發用戶的主動性和想象力。虛擬現實技術結合了計算機圖形 學、計算機仿真技術、人機接口技術、多媒體技術以及傳感技術等多種技術。虛擬現實技術 已被廣泛應用于軍事模擬、醫學訓練、科學計算可視化、虛擬制造、人機工效評估等領域。根 據應用的不同需求，產生了數據頭盔、半沉浸式、沉浸式等不同的虛擬現實產品和系統。
[0003] 沉浸式虛擬現實系統是一種高級的虛擬現實系統，能為觀察者提供一種完全沉浸 的體驗。沉浸式虛擬現實技術在產品設計階段，能實時仿真模擬出產品及產品制造的全過 程，仿真模擬可以縮短產品開發周期，節約成本，具有很大的經濟效益和廣闊的應用前景， 例如應用于航空、軍事等大型復雜產品的研制和模擬等領域。
[0004] 沉浸式虛擬現實系統利用運動跟蹤系統實時檢測位于沉浸式虛擬現實系統中的 被跟蹤點的位置，利用控制系統將被跟蹤點的位置數據生成隨視線變化的仿真圖像。常用 的運動跟蹤技術包括電磁式、超聲波式和紅外光學式：電磁式和超聲波式對系統結構和安 裝環境有較高的要求，難以應用于沉浸式虛擬現實系統；基于紅外光學式的光學運動跟蹤 系統具有跟蹤精度高、跟蹤穩定性好和跟蹤實時性好的特性，被廣泛應用于沉浸式虛擬現 實系統中。
[0005] 下面結合圖1對光學運動跟蹤的原理進行簡述。請參閱圖1，對于空間物體任意一 個被跟蹤點P，如果用攝像機C1觀察，被跟蹤點P在攝像機C1的攝像平面上的圖像為圖像 P1，但無法由圖像P1的位置得知被跟蹤點P的三維位置。但是，如果采用攝像機C1和攝像 機C2同時觀察所述被跟蹤點P，并且如果能確定被跟蹤點P在攝像機C1的攝像平面上的圖 像P1的位置與在攝像機C2的攝像平面上的圖像P2的位置，即可獲得所述被跟蹤點P的真 實坐標。由此可知，至少需要采用兩臺攝像機才能確定空間點的三維位置坐標。
[0006] 然而由于沉浸式虛擬現實系統中遮擋物（通常為觀察者）會對被跟蹤點產生光線 遮擋，影響光學運動跟蹤系統對被跟蹤點的位置的實時跟蹤，從而影響將被跟蹤點的位置 數據生成隨視線變化的仿真圖像的效果。
[0007] 典型的沉浸式虛擬現實系統包括五面沉浸式虛擬現實空間，由于立體圖像的顯示 環境幾乎是封閉的，給光學運動跟蹤系統的安裝帶來了很大挑戰。現有的應用于沉浸式虛 擬現實系統的光學運動跟蹤系統一般通過在沉浸式虛擬現實系統的屏幕的外側按不同角 度安裝多臺攝像機來解決光線遮擋問題，但是截至目前，已建成的沉浸式虛擬現實系統基 本上都不得不采取了開孔的方式在沉浸式虛擬現實系統中安裝光學位置跟蹤系統，需要將 屏幕上與各攝像機對應的部分開孔，以通過攝像機實現對被跟蹤點的位置的實時跟蹤，光 學運動跟蹤系統損害了沉浸式虛擬現實系統的屏幕的完整性，同時降低了沉浸感。
[0008] 目前，沉浸式虛擬現實系統實際的推廣與應用受到光學位置跟蹤系統損害了沉浸 式虛擬現實系統的屏幕的完整性，從而降低沉浸感的制約，進而影響仿真模擬效果，因此保 持沉浸式虛擬現實系統的屏幕的完整性，并實現對被跟蹤點的位置的無遮擋運動跟蹤是沉 浸式虛擬現實系統對產品及產品制造的全過程進行仿真模擬取得廣泛應用必須面對的問 題。同樣的，在其他容易引起光學遮擋的空間定位和運動跟蹤系統（例如駕駛艙人機功效 評估、虛擬裝配校驗等系統）中也存在著類似問題。
【發明內容】
[0009] 本發明實施例提供一種光學跟蹤方法，以解決在對被跟蹤點的位置進行實時跟蹤 過程中的光線遮擋問題，提高定位成功率。
[0010] 本發明實施例提供了一種光學跟蹤方法，應用于包括被跟蹤點、至少兩臺攝像機 以及紅外反射膜的系統中，所述被跟蹤點通過所述紅外反射膜形成像點，每臺攝像機用于 攝取所述被跟蹤點的圖像，該圖像包括物點圖像和/或像點圖像，所述物點圖像為所述被 跟蹤點的實際圖像，所述像點圖像為所述像點的圖像；該方法包括：
[0011] A、每臺攝像機將自身攝取到的所述被跟蹤點的圖像對應的圖像文件發送給處理 器；
[0012] B、所述處理器根據得到的各圖像文件選取所述被跟蹤點的至少兩個圖像，所述至 少兩個圖像為至少兩個物點圖像，至少兩個像點圖像，或至少一個物點圖像和至少一個像 點圖像；
[0013] C、所述處理器根據所述至少兩個圖像確定所述被跟蹤點的真實坐標。
[0014] 本發明實施例提供的物體位置的實時跟蹤方法中，通過在系統中增加紅外反射 膜，使得被跟蹤點通過紅外反射膜形成被跟蹤點的像點，系統中的多臺攝像機攝取被跟蹤 點的圖像，每臺攝像機攝取到的圖像包括物點圖像和/或像點圖像，根據攝取到的被跟蹤 點的至少兩個物點圖像、至少兩個像點圖像、或至少一個物點圖像和至少一個像點圖像確 定被跟蹤點的真實坐標，從而實現了對被跟蹤點的位置跟蹤。本方案中可以根據被跟蹤點 通過紅外反射膜形成的像點圖像確定被跟蹤點的真實坐標，從而解決了在對被跟蹤點的位 置進行實時跟蹤過程中的光線遮擋問題，提高了定位成功率。
【專利附圖】
【附圖說明】
[0015] 為了更清楚地說明本發明，下面將對本發明中所需要使用的附圖做一簡單地介 紹，顯而易見地，下面描述中的附圖是本發明的一些實施例，對于本領域普通技術人員來 講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。
[0016] 圖1為現有技術中光學運動跟蹤的原理圖；
[0017] 圖2為本發明實施例一提供的一種光線跟蹤方法的流程圖；
[0018] 圖3a為本發明實施例二中適用的一種沉浸式虛擬現實系統的結構示意圖；
[0019] 圖3b為本發明實施例二提供的一種適用于圖3a所示的沉浸式虛擬現實系統的光 線跟蹤方法的流程圖；
[0020] 圖3c為本發明實施例二中適用的圖像坐標系和物理坐標系的示意圖；
[0021] 圖3d為本發明實施例二中適用的攝像機坐標系和物理坐標系的示意圖；
[0022] 圖3e為本發明實施例二中適用的攝像機拍攝到的圖像為被跟蹤點的像點圖像的 示意圖；
[0023] 圖4a為本發明實施例三提供的一種光線跟蹤方法的流程圖；
[0024] 圖4b為本發明實施例三中適用的一種被跟蹤點和遮擋物的位置關系的示意圖；
[0025] 圖4c為本發明實施例三中適用的另一種被跟蹤點和遮擋物的位置關系的示意 圖；
[0026] 圖4d為本發明實施例三中適用的再一種被跟蹤點和遮擋物的位置關系的示意 圖；
[0027] 圖5為本發明實施例四提供的一種光線跟蹤方法的流程圖；
[0028] 圖6為本發明實施例五提供的一種光線跟蹤方法的流程圖。
【具體實施方式】
[0029] 為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明實施例 中的技術方案作進一步詳細描述，顯然，所描述的實施例是本發明一部分實施例，而不是全 部的實施例。可以理解的是，此處所描述的具體實施例僅用于解釋本發明，而非對本發明的 限定，基于本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得 的所有其他實施例，都屬于本發明保護的范圍。另外還需要說明的是，為了便于描述，附圖 中僅示出了與本發明相關的部分而非全部內容。
[0030] 實施例一
[0031] 本發明實施例提供的光線跟蹤方法，應用于包括被跟蹤點、至少兩臺攝像機以及 紅外反射膜的系統中，所述被跟蹤點通過所述紅外反射膜形成像點，每臺攝像機用于攝取 所述被跟蹤點的圖像，該圖像包括物點圖像和/或像點圖像，所述物點圖像為所述被跟蹤 點的實際圖像，所述像點圖像為所述像點的圖像；也即，對于設置的任一攝像機來說，根據 攝像機的位置該攝像機可能攝取到物點圖像，或者攝取到像點圖像，或者同時攝取到物點 圖像和像點圖像。參見圖2,該方法包括以下步驟：
[0032] 步驟210 :每臺攝像機將自身攝取到的所述被跟蹤點的圖像對應的圖像文件發送 給處理器；
[0033] 在本步驟中，攝像機可以為電荷f禹合器件（Charge Coupled Device,CO))攝像機， CCD攝像機具有靈敏度高、抗強光、畸變小、體積小、壽命長、抗震動等優點。
[0034] 步驟220 :所述處理器根據得到的各圖像文件選取所述被跟蹤點的至少兩個圖 像，所述至少兩個圖像為至少兩個物點圖像，至少兩個像點圖像，或至少一個物點圖像和至 少一個像點圖像；
[0035] 需要說明的是，在所述至少兩個圖像為至少一個物點圖像和至少一個像點圖像 時，至少一個物點圖像和至少一個像點圖像來源于不同的攝像機。
[0036] 步驟230 :所述處理器根據所述至少兩個圖像確定所述被跟蹤點的真實坐標。
[0037] 本步驟具體是根據步驟220獲取的被跟蹤點的至少兩個圖像確定被跟蹤點的真 實坐標，從而實現對被跟蹤點位置的實時跟蹤。
[0038] 本步驟可以有多種實施方式，所述處理器可以根據被跟蹤點的至少兩個物點圖像 確定被跟蹤點的真實坐標；所述處理器也可以根據被跟蹤點的至少兩個像點圖像確定被跟 蹤點的真實坐標；所述處理器還可以根據被跟蹤點的至少一個像點圖像和至少一個物點圖 像，確定所跟蹤點的真實坐標。
[0039] 本發明實施例提供的光線跟蹤方法中，通過在系統中增加紅外反射膜，使得被跟 蹤點通過紅外反射膜形成被跟蹤點的像點，系統中的多臺攝像機攝取被跟蹤點的圖像，每 臺攝像機攝取到的圖像包括物點圖像和/或像點圖像，根據攝取到的被跟蹤點的至少兩個 物點圖像、至少兩個像點圖像、或至少一個物點圖像和至少一個像點圖像確定被跟蹤點的 真實坐標，從而實現了對被跟蹤點的位置跟蹤。本方案中可以根據被跟蹤點通過紅外反射 膜形成的像點圖像確定被跟蹤點的真實坐標，從而解決了在對被跟蹤點的位置進行實時跟 蹤過程中的光線遮擋問題，提高了定位成功率。
[0040] 需要說明的是，本實施例的方法既可以實時跟蹤一個被跟蹤點，也可以實時跟蹤 多個被跟蹤點，其中，在被跟蹤點為多個時，每臺攝像機通過攝取到的圖像的光線波長，區 分攝取到的圖像對應的被跟蹤點。換言之，不同的被跟蹤點發出的紅外光的光線波長不同， 導致攝取到的被跟蹤點的圖像的光線波長不同，因此基于攝取到的被跟蹤點的圖像的光線 波長，能夠確定圖像對應的被跟蹤點，從而根據各被跟蹤點對應的至少兩個圖像，即可確定 各被跟蹤點對應的真實坐標，實現對多個被跟蹤點位置的實時跟蹤。
[0041] 還需要說明的是，本實施例所應用的系統包括沉浸式虛擬現實系統、駕駛艙人機 功效評估、虛擬裝配校驗等具有對物體進行實時跟蹤需求的系統中，下面的實施例二以沉 浸式虛擬現實系統為例進行說明。
[0042] 實施例二
[0043] 本實施例所提供的光線跟蹤方法可適用于如圖3a所示的沉浸式虛擬現實系統， 如圖3a所示，該系統包括：屏幕31、被跟蹤點A、至少兩臺攝像機32以及紅外反射膜33。
[0044] 其中，所述紅外反射膜33設置于沉浸式虛擬現實系統的屏幕31上。所述至少兩 臺攝像機32設置于所述沉浸式虛擬現實系統的入口處；所述被跟蹤點A通過所述紅外反射 膜33形成像點A 每臺攝像機32用于：攝取所述被跟蹤點A的圖像，該圖像包括物點圖 像和/或像點圖像，所述物點圖像為所述被跟蹤點A的實際圖像，所述像點圖像為所述像點 A '的圖像；以及，將自身攝取到的所述被跟蹤點A的圖像對應的圖像文件發送給處理器； 所述處理器用于：根據得到的各圖像文件選取所述被跟蹤點A的至少兩個圖像，所述至少 兩個圖像為至少兩個物點圖像，至少兩個像點圖像，或至少一個物點圖像和至少一個像點 圖像；以及，根據所述至少兩個圖像確定所述被跟蹤點A的真實坐標。
[0045] 本實施例中，沉浸式虛擬現實系統具體可以是一個多面體（比如六面體），其中一 個面作為系統入口，剩余的面上均設置有屏幕，由各個屏幕所形成的空間為沉浸式虛擬現 實空間，各攝像機安裝在作為系統入口的面的上邊緣位置。紅外反射膜具體可以設置在與 沉浸式虛擬現實系統的入口相對的屏幕上。
[0046] 需要說明的是，沉浸式虛擬現實系統的形狀、屏幕的數量不局限于上述描述的內 容，其他形式的沉浸式虛擬現實系統（比如球幕系統、柱幕系統等）也在本發明的保護范圍 內。
[0047] 本實施例中，被跟蹤點A可以為發射紅外光的主動式被跟蹤點。具體地所述紅外 反射膜33可以采用對可見光的透過率為95%以上、對紅外光的反射率為98%以上的紅外 截止濾光片。
[0048] 請參閱圖3b，為本發明實施例二提供的一種適用于圖3a所示的沉浸式虛擬現實 系統的光線跟蹤方法的流程圖。
[0049] 如圖3b所示，該方法包括：
[0050] 步驟310、至少兩臺攝像機分別攝取位于所述沉浸式虛擬現實空間內的被跟蹤點 的圖像，并將自身攝取到的圖像對應的圖像文件發送到處理器；
[0051] 其中，每臺攝像機32發送的圖像文件中包含被跟蹤點A的物點圖像和/或像點圖 像；所述被跟蹤點A通過所述紅外反射膜33形成像點A '。
[0052] 所述攝像機可以為電荷稱合器件（Charge Coupled Device, CO))攝像機，CO)攝 像機具有靈敏度高、抗強光、畸變小、體積小、壽命長、抗震動等優點。
[0053] 步驟320、所述處理器根據得到的所述圖像文件選取所述被跟蹤點的至少兩個圖 像；
[0054] 其中，所述至少兩個圖像可以為至少兩個物點圖像，至少兩個像點圖像，或至少一 個物點圖像和至少一個像點圖像。需要說明的是，在所述至少兩個圖像為至少一個物點圖 像和至少一個像點圖像時，至少一個物點圖像和至少一個像點圖像來源于不同的攝像機。
[0055] 步驟330、所述處理器根據所述至少兩個圖像確定所述被跟蹤點的真實坐標。
[0056] 在本步驟中，所述處理器可以根據所述至少兩個物點圖像確定所述被跟蹤點的真 實坐標；所述處理器也可以根據所述至少兩個像點圖像確定所述被跟蹤點的真實坐標；所 述處理器還可以根據至少一個像點圖像和至少一個物點圖像，確定所述被跟蹤點的真實坐 標。
[0057] 下面對上述三種情況分別進行說明，假設攝像機32的攝像平面與紅外反射膜33 平行。
[0058] 請參閱圖3c，對于每臺攝像機采集的圖像在計算機內為MXN數組，在圖像上定義 直角坐標系。每一像素的坐標（U，v)分別是該像素在數組中的列數和行數。所以（u，v)是 以像素為單位的圖像坐標系的坐標。而物理坐標系原點是攝像機光軸與圖像平面的交點， 一般處于圖像中心處，圖像坐標系與物理坐標系的關系如下式所示：
[0059]
【權利要求】
1. 一種光學跟蹤方法，其特征在于，應用于包括被跟蹤點、至少兩臺攝像機以及紅外反 射膜的系統中，所述被跟蹤點通過所述紅外反射膜形成像點，每臺攝像機用于攝取所述被 跟蹤點的圖像，該圖像包括物點圖像和/或像點圖像，所述物點圖像為所述被跟蹤點的實 際圖像，所述像點圖像為所述像點的圖像；該方法包括： A、 每臺攝像機將自身攝取到的所述被跟蹤點的圖像對應的圖像文件發送給處理器； B、 所述處理器根據得到的各圖像文件選取所述被跟蹤點的至少兩個圖像，所述至少兩 個圖像為至少兩個物點圖像，至少兩個像點圖像，或至少一個物點圖像和至少一個像點圖 像； C、 所述處理器根據所述至少兩個圖像確定所述被跟蹤點的真實坐標。
2. 根據權利要求1所述的方法，其特征在于，所述系統為沉浸式虛擬現實系統，所述紅 外反射膜設置于所述沉浸式虛擬現實系統內的屏幕上，所述至少兩臺攝像機設置于所述沉 浸式虛擬現實系統的入口處。
3. 根據權利要求1或2所述的方法，其特征在于，所述步驟B包括： 所述處理器對于接收到的每個圖像文件，確定該圖像文件所包含的圖像的數量； 所述處理器判斷包含物點圖像和像點圖像的圖像文件的數量是否不小于2 ; 若是，所述處理器從所包含的圖像的數量等于2的圖像文件中選取所述被跟蹤點的至 少兩個物點圖像，或從所包含的圖像的數量等于2的圖像文件中選取所述被跟蹤點的至少 兩個像點圖像，或從所包含的圖像的數量等于2的圖像文件中選取所述被跟蹤點的至少一 個物點圖像以及與選取的物點圖像來自不同攝像機的至少一個像點圖像。
4. 根據權利要求3所述的方法，其特征在于，在所述處理器判斷包含物點圖像和像點 圖像的圖像文件的數量小于2時，還包括： 增加攝像機，以使總攝像機的數量不小于2 ;重復執行步驟A-步驟C。
5. 根據權利要求3所述的方法，其特征在于，所述處理器根據所包含的圖像的數量等 于2的圖像文件中所包含的兩個圖像的亮度，選取所述被跟蹤點的至少兩個物點圖像，至 少兩個像點圖像，或至少一個物點圖像和至少一個像點圖像。
6. 根據權利要求1或2所述的方法，其特征在于，所述處理器根據得到的各圖像文件選 取所述被跟蹤點的至少兩個像點圖像或至少兩個物點圖像，根據所述至少兩個像點圖像或 至少兩個物點圖像確定所述被跟蹤點的真實坐標，包括： 所述處理器對于各圖像文件，確定該圖像文件中是否包含物點圖像； 所述處理器根據確定結果判斷包含物點圖像的圖像文件的數量是否不小于2 ; 若是，所述處理器選取包含物點圖像的至少兩個圖像文件，根據選取的至少兩個圖像 文件所包含的物點圖像確定所述被跟蹤點的真實坐標。
7. 根據權利要求6所述的方法，其特征在于，在所述處理器判斷包含物點圖像的圖像 文件的數量小于2時，還包括： 所述處理器對于各圖像文件，確定該圖像文件中是否包含像點圖像，根據確定結果判 斷包含像點圖像的圖像文件的數量是否不小于2 ; 若包含像點圖像的圖像文件的數量不小于2,所述處理器選取包含像點圖像的至少兩 個圖像文件，根據選取的至少兩個圖像文件所包含的像點圖像確定所述被跟蹤點的真實坐 標。
8. 根據權利要求7所述的方法，其特征在于，在所述處理器判斷包含像點圖像的圖像 文件的數量小于2時，還包括： 增加攝像機，以使總攝像機的數量不小于2 ;重復執行步驟A-步驟C。
9. 根據權利要求1所述的方法，其特征在于，所述處理器根據得到的各圖像文件選取 所述被跟蹤點的至少一個物點圖像和至少一個像點圖像，根據所述至少一個物點圖像和至 少一個像點圖像確定所述被跟蹤點的真實坐標，包括： 所述處理器判斷接收到的圖像文件中包含物點圖像的圖像文件的數量是否不小于1， 若是，則選取至少一個包含物點圖像的圖像文件；判斷剩余的圖像文件中包含像點圖像的 圖像文件的數量是否不小于1，若是，則從剩余的圖像文件中選取至少一個包含像點圖像的 圖像文件； 所述處理器根據選取的包含物點圖像的圖像文件中的物點圖像、以及選取的包含像點 圖像的圖像文件中的像點圖像，確定所述被跟蹤點的真實坐標。
10. 根據權利要求9所述的方法，其特征在于，在所述處理器判斷接收到的圖像文件中 包含物點圖像的圖像文件的數量小于1，或判斷剩余的圖像文件中包含像點圖像的圖像文 件的數量小于1時，還包括： 增加攝像機，以使總攝像機的數量不小于2 ;重復執行步驟A-步驟C。
【文檔編號】H04N13/00GK104144329SQ201410404481
【公開日】2014年11月12日 申請日期:2014年8月15日 優先權日:2014年8月15日
【發明者】許澍虹, 薛陽, 王子路, 王大偉 申請人:中國商用飛機有限責任公司北京民用飛機技術研究中心, 中國商用飛機有限責任公司