多臺立體相機標定方法和系統的制作方法
【技術領域】
[0001] 本發明總體上涉及圖像和視頻處理領域。更具體地，本發明涉及一種利用高度已 知的移動物體來標定多路雙目立體相機外參的方法和裝置。
【背景技術】
[0002] 當前，對一個現代化的視頻監控系統的要求已經不再局限于和過去一樣，只要求 在二維圖像平面上對物體進行跟蹤識別；而是能在實際的三維立體空間中來精確定位和識 別物體。正是由于這一需求的提出，立體相機標定目前已經成為計算機視覺應用領域的一 個重要組成部分，如何將二維圖像平面提取的信息準確地轉換到三維立體空間中已成為許 多研究者的研究課題。
[0003] 近些年來，對物體進行定位的研究目標之一是擴大立體相機的跟蹤范圍但同時也 要保證不降低對目標進行三維定位的準確度。為了達到這一目標，通常的做法是增加這些 系統中立體相機的數量，使得該系統能覆蓋更廣的區域同時能捕獲到高質量的視頻畫面。 因此，同時對多臺相機進行協調管理，將它們的跟蹤結果統一起來就變得十分重要。更確切 地說，就是要解決兩方面的問題。一方面是將每臺立體相機在立體相機坐標系下的跟蹤結 果統一到一個公共的坐標系中，以方便后續多立體相機跟蹤結果融合的處理。另一方面是 將這個統一的坐標系與真實的物理世界聯系起來。在此，本發明將上述兩個問題的解決過 程統稱為立體相機的標定。
[0004] 現有的立體相機標定的方法大致可以分成自標定方法和基于物體的標定方法兩 大類。基于物體的標定方法又可以再細分為基于三維物體的標定方法和基于二維物體的標 定方法。
[0005] 自標定方法一般是通過將立體相機繞一個未知的靜止的場景移動來實現的。從本 質上說，這種標定方法就是找不同圖像間點或者線的對應關系，進而求出滿足對極約束的 立體相機參數。但是，這種方法的一個顯著的局限性就是必須找到不同圖像間的足夠多的 點線對應關系，但當場景中的特征較少（如角點)，場景非靜止有顯著的變化，或是場景和相 機是相對靜止的時候，該方法將失效。另外一種自標定的方法是通過找消失點來實現的，而 消失點可以通過場景中存在的一些標記(如建筑物相互平行的邊）來定位，進而求出聯系消 失點與這些平行線的立體相機參數。
[0006] 基于物體的標定方法利用幾何信息已知的標定物來實現參數的求取。當這些已知 的幾何信息準確時，這種標定方法的標定精度通常較高。用于標定的物體可以是三維的也 可以是二維的。基于三維物體的標定技術是一種最通用的標定技術，它要求用于標定的物 體的三維幾何信息在標定開始時已知。三維點的坐標和它們在圖像平面上的投影之間的轉 換是通過一個投影矩陣（projection matrix)來實現的。當獲得了足夠多的三維與二維的 對應關系之后，就可以通過直接的線性變換（DLT)來求解投影矩陣中所包含的參數。采用 這種方法所獲得的標定精度通常較高。與較為復雜的基于三維物體的標定方法相比，基于 二維物體的立體相機標定方法則利用一些平面上已知的幾何信息來完成標定。這種方法使 得標定的準備更加簡易可行。操作者通常需要在標定開始前將一些已知的幾何圖案粘貼到 硬紙板上(如采用棋盤格)，然后在待標定的立體相機前移動該硬紙板數次(至少兩次)。這 種方法是通過硬紙板上的點與圖像平面上對應點的單應性來求解立體相機參數的。相對于 基于三維物體的標定方法，基于二維物體的標定方法的標定物的準備更加簡易、好操作，并 且也能達到較好的標定精度。
[0007] 專利US 2012/0229627 Al設計了一個用于檢測移動物體的圖像分析系統，同時可 以分析移動物體的速度。該系統考慮了圖像的透視和尺度等變化，通過立體相機的標定，將 圖像中的坐標點轉換到真實的世界坐標系中。對于該系統，它需要事先將4個反射標記物 放置于道路的兩旁以定義道路路面。然后測量出由這4個反射標記物確定的道路區域的長 度和寬度，然后將測量結果輸入到系統中以完成立體相機的標定。
[0008] 專利US005768443A提出了一種標定多立體相機系統的方法，該系統中的每臺立 體相機可以同時拍攝到同一個物體各個不同部分的圖像。該方法的最終目標是將多臺相機 的視野統一到一個公共坐標系中來進行精確的測量，即使圖像中存在圖像畸變。該發明的 步驟包括：（1)將待標定的攝相機固定于包含有標記的平臺上；(2)確保每臺相機能拍攝到 平臺上的標記；（3)找出拍攝到的每張標記物圖像上的特征點；(4)校正圖像中特征點的失 真；（5)將所有特征點轉換到一個統一的全局坐標系中。該發明一方面考慮了如何將每臺 相機的圖像坐標系轉換到一個統一的物理坐標系中，另一方面，考慮了如何去除圖像的失 真。另外，它的標定是通過平臺上靜止的標記來完成的。
[0009] 如上所述，立體相機自標定技術與基于標定物的標定技術相比，其操作起來更加 方便，不需要事先準備如棋盤格之類的標定物。然而，對于基于尋找消失點和消失線的自標 定技術，盡管它不要求有標定物，但是它要求場景中存在平行線。在一些文獻中，這種技術 采用一個出現在立體相機工作視野中行走的人來標定相機（因為假設人在水平面上行走， 人的身體垂直于水平面，若將人的身體抽象為一根垂直于地面的垂線，則在不同的時刻，人 的身體是相互平行的)。但該方法要求行走的人的腳對于相機可見，但這對于許多室內場景 是不可行的，比如辦公室場景中的存在工作隔間的情況。
【發明內容】
[0010] 為了克服上述技術的缺點，本發明提出了一種基于移動物體的標定多個雙目立體 相機外參的方法。所述標定多臺立體相機的方法包括：
[0011] 根據本發明的一個方面，提供了一種標定多臺立體相機的方法，包括：對所述多臺 立體相機進行系統時間同步；基于每臺立體相機輸出的包含已知高度的標定物的跟蹤結果 圖像所附加的時間戳信息，建立所述多臺立體相機間的視場重疊區域關系圖；從所獲得圖 像中確定標定物的最高點的在各自立體相機的坐標系中的坐標；從所述多臺立體相機中指 定參考立體相機，并以所指定的參考立體相機的坐標系的原點在地面的投影點建立假設的 世界坐標系；基于參考立體相機所拍攝的至少四張圖像中的標定物最高點的坐標，計算參 考立體相機在世界坐標系中的外參；以及以所計算的參考立體相機在世界坐標系中的外參 為參考，逐一根據所建立的多臺立體相機間的視場重疊區域關系圖，基于標定物處于一個 具體視場重疊區域內時最高點的已知世界坐標，計算構成所述具體重疊視場區域的其中一 個待標定立體相機在世界坐標系中的外參。
[0012] 根據本發明標定多臺攝像機的方法，基于每臺立體相機輸出的包含被跟蹤對象的 結果所附加的時間戳信息，建立所述多臺立體相機間的視場重疊區域關系圖的步驟包括： 比較所部署的任意兩臺立體相機對跟蹤對象的跟蹤結果的時間戳，若兩臺立體相機的跟蹤 結果存在相同的時間戳信息，則可以判斷這兩臺立體相機間存在視場區域的重疊，并將這 種關系用視場重疊區域關系圖來表示，其中視場重疊區域關系圖中的節點對應于所述多臺 立體相機中的一臺立體相機，而節點之間的邊代表該邊所連接的兩個節點所代表的立體相 機之間存在視場重置關系。
[0013] 根據本發明標定多臺攝像機的方法，從所獲得圖像中確定標定物的最高點的在各 自立體相機的坐標系中的坐標包括：從每臺立體相機拍攝到的每一幀中分割出屬于標定物 的前景像素；以及根據每一臺立體相機的內部參數參提取到標定物的最高點的圖像坐標， 并將所提取的標定物的最1?點的圖像坐標轉換為在對應立體相機坐標系下的坐標。
[0014] 根據本發明標定多臺攝像機的方法，從所述多臺立體相機中指定參考立體相機可 以以手工指定或者自動選擇的方式來指定。
[0015] 根據本發明標定多臺攝像機的方法，計算構成所述具體重疊視場區域的其中一個 待標定立體相機在世界坐標系中的外參包括：利用參考立體相機的在世界坐標系中的外 參，計算在某一時間戳時處于包含在參考立體相機視場中的視場重疊區域內標定物最高點 在世界坐標系中的坐標；以及獲取同一時間戳下其視場包含所述視場重疊區域的待標定立 體相機所拍攝的圖像，并基于該圖像內標定物最高點在世界坐標系中的坐標計算該待標定 立體相機的光心在世界坐標系中的外參。
[0016] 根據本發明標定多臺攝像機的方法，計算構成所述具體重疊視場區域的其中一個 待標定立體相機在世界坐標系中的外參還包括：利用已標定立體相機的在世界坐標系中的 外參，計算在某一時間戳時處于包含在已標定立體相機視場中的視場重疊區域內標定物最 高點在世界坐標系中的坐標；以及獲取同一時間戳下其視場包含所述視場重疊區域的另一 個待標定立體相機所拍攝的圖像，并基于該圖像內標定物最高點在世界坐標系中的外參計 算該另一個待標定立體相機的光心在世界坐標系中的外參。
[0017] 根據本發明的另一個方面，提供了一種標定多臺立體相機的系統，包括：同步單 元，對所述多臺立體相機進行系統時間同步；視場重疊區域關系圖創建單元，基于每臺立體 相機輸出的包含已知高度的標定物的跟蹤結果圖像所附加的時間戳信息，建立所述多臺立 體相機間的視