一種用于獲得目標的改善的立體圖像的方法和系統的制作方法

專利名稱：一種用于獲得目標的改善的立體圖像的方法和系統的制作方法
技術領域：
本公開涉及用于獲得關注目標的立體圖像信息的方法和設備領域。
背景技術：
存在能夠獲取目標的三維(3D)信息的立體照相機。
在最先進的立體照相機系統中，多個照相機之間的距離是固定的。盡管目標能夠在捕獲的場景到處移動，但是經常不能用最優的精度測量目標的深度。此外，最先進的方法和系統需要在它們的立體照相機設置中的過多數量的照相機和許多的處理能力。

發明內容
本發明的一個目的是為了提供用于獲得關注目標的立體圖像的改善的深度精度的方法和系統。這通過本發明的幾個方面實現。根據本發明的第一個方面，描述了一種用于獲得關注目標的立體圖像改善的深度精度的方法，包括-從第一位置成像關注目標的第一圖像；-從不同于第一位置的第二位置成像關注目標的第二圖像；其中所述方法包括-基于第一圖像和第二圖像，確定關注目標的深度的粗略估計；-基于深度的粗略估計，確定對應于關注目標的改善的深度精度的改善的成像位置集合；-從改善的成像位置集合成像改善的圖像；-基于改善的圖像確定改善的深度。成像位置優選地對應于照相機焦點的位置。在兩個照相機之間的距離可以定義為在它們各自焦點之間的距離(也指的是基線(baseline)距離或基線)。深度是在關注目標和連接第一和第二成像位置的直線之間的距離。根據優選的實施例，深度的粗略估計的確定基于在第一和第二位置之間的距離和視差(disparity)，該視差為在第一圖像和第二圖像之間的三維關注目標的被投影的二維圖像的位置的差別。視差指的是三維真實世界的目標(或點)在兩個照相機的像平面上投影之后在二維圖像位置的差別；所述差別源于在兩個照相機焦點之間的可變的距離。根據優選的實施例深度的粗略估計可由z=b * f/d獲得，其中b為沿著照相機之間的基線的距離，f為焦距，以及d為視差。在立體設置中的照相機通常具有基本上相同的焦距。圖像校正也使得校正過的圖像看起來仿佛它們由一個具有相同焦距的照相機產生。
在離散步驟中測量視差(例如每像素/像素組)。對應于兩個連續的視差步驟的深度中的差別被稱為深度精度(cbpth precision)。對應于兩個連續可能的視差值的兩個連續深度值之間的差別，不等于超過可能的視差值的整個范圍。由于在離散步驟中測量視差，深度也同樣可以僅在離散步驟中測量。對應于視差值(d)的每個深度值(z )的不確定性，由這個深度值(z )的距離提供給低于這個深度值(z )的最接近的可能的深度值(z ’，對應于視差d’ =d+l)和高于這個深度值(z )的最接近的可能的深度值(z”，對應于視差d”=d_l)。這個不確定性確定能夠測量深度有多準確，并因此確定深度精度。根據優選的實施例，改善的成像位置集合包括第一位置或第二位置中的至少一個。根據優選的實施例，改善的成像位置集合的成像位置沿著連接第一位置和第二位
置的直線。 根據優選的實施例，成像第一圖像和成像第二圖像分別由第一和不同的第二照相機實現。根據優選的實施例，第一和第二照相機中的至少一個被移動以將第一和第二照相機帶到改善的成像位置。則所述方法優選地包括通過第一和第二照相機從改善的成像位置集合成像關注目標。根據優選地實施例，所述方法包括在多個照相機中選擇兩個照相機的集合，將所述的兩個照相機的集合帶到對應的改善的成像位置集合，并且通過兩個照相機的集合從所述改善的成像位置集合成像所述關注目標。根據優選的實施例，所述方法包括基于多個照相機的位置和基于改善的成像位置集合，從位于固定的位置的多個照相機中選擇兩個照相機的組合，一第三照相機和一第四照相機，所述多個照相機包括第一和第二照相機，并從所選擇的兩個照相機成像關注目標。優選地可以選擇最接近各自的改善的成像位置的照相機。所述第三和第四照相機可以包括
第一和/或第二照相機。在本發明的任何實施例中，可以實施第一和第二圖像的立體圖像校正。立體圖像校正是重新投影(I■印rojecting)捕獲的圖像到公共圖像平面上的過程，所述公共圖像平面平行于光學中心間的線。立體圖像校正最重要的優點是計算立體對應被減少到一維搜索問題。在兩個校正后圖像中的對應點(對應相同的三維目標的二維點)將取決于在兩個校正后圖像中的相同的線(具有相同的Y坐標)。 在本發明的任何實施例中，能夠實施改善的圖像的立體圖像校正。在本發明的任何實施例中，優選地實施各個照相機的照相機校準。照相機校準通常為確定照相機內在和外在參數的過程，該參數描述為從真實世界三維點到在捕獲的圖像中的二維點的映射。根據本發明的第二方面，一種用于獲得具有關注目標的改善的深度精度的立體圖像的系統，包括-多個成像設備，該成像設備包括用于用于取得關注目標的第一圖像的第一成像設備和用于用于取得關注目標的第二圖像的第二成像設備；-基于第一圖像和第二圖像，用于獲取關注目標的粗略深度的粗略深度獲取裝置；-基于粗略深度，用于確定對應所述關注目標的改善的深度精度的改善的成像位置集合的確定裝置；-用于控制多個成像設備的控制裝置，所述多個成像設備答復從確定裝置接收的改善的成像位置集合，以從對應于改善的成像位置集合的位置成像關注目標。根據本發明的一個實施例，控制裝置包括用于移動所述第一和/或第二成像設備到改善的成像位置集合的裝置。根據實施例，所述系統恰好包括兩個成像設備。根據本發明的實施例，控制裝置包括用于從多個成像設備中選擇第三和第四照相機的裝置，以及用于移動所述第三和第四照相機到改善的成像位置集合的裝置。根據本發明的實施例，所述系統在所述立體照相機設置中可包括多于兩個的成像設備(例如照相機)。在改善的照相機位置集合的確定后，基于例如到最優成像位置的各個 照相機的附近，和/或為照相機關于其他照相機被移動的無障礙的考慮，可以在多個照相機中選擇出兩個照相機的集合。在所述多個照相機中選擇出兩個照相機的集合的選擇后，則能夠帶來對應于(通常能夠移動到)各個改善的成像位置的所述第三和/或第四照相機的
口 O所述系統還可以進一步包括引導裝置，沿著該導引裝置多個成像設備中的至少一個成像設備可被引導。所述引導裝置可被定位從而它對應所述第一位置和所述第二位置。所述引導裝置優選為直的。在另一視圖中，所述引導裝置可允許至少第一和/或第二成像設備沿著直線的移動。所述引導裝置可允許多個成像設備中的所有成像設備的移動。這可優選地沿著直線。根據本發明的另一個實施例，多個成像設備中的每一個位于固定位置；并且控制裝置包括用于從多個成像設備中選擇出兩個成像設備的選擇裝置，所述被選擇的兩個成像設備的位置最優地對應于所述改善的成像位置集合。根據本發明的優選實施例，多個成像設備中的每一個沿著直線定位。所述方法和系統也可用于在捕獲的場景中的多個關注目標。不同的關注目標可通過應用涉及平行于不同目標的單個關注目標的公開的方法處理。該方法則可通過使用根據本發明的第二方面的包括多于兩個(例如三個或四個)照相機的單個系統或多個這樣的系統被應用。例如當涉及兩個關注目標時，單個系統可使用包括四個照相機，其中兩個照相機的第一子系統能夠關聯到第一關注目標，兩個照相機的第二子系統能夠關聯到第二關注目標。本發明的進一步方面通過從屬權利要求描述。從屬權利要求的特征，任何獨立權利要求的特征和其他從屬權利要求的任何特征可被組合，對于本領域技術人員而言認為是適當的，而不僅僅作為權利要求定義的特定的組合。


附圖用于描述本發明的實施例。圖1，圖2和圖3提供為兩個照相機中心之間的不同距離，作為關注目標的深度的函數說明深度精度參數的演化的曲線圖。圖4提供了本發明的一方面的示意圖，在該示意圖中兩個成像位置間的距離是變化的以改善深度精度。圖5提供了本發明的一方面的示意圖，在該示意圖中兩個成像位置間的距離是變化的以為在場景中到處移動的關注目標改善深度精度。
具體實施例方式當結合各自的附圖閱讀時，本發明上述和其他有利的特征和目標將變得更明顯，并且從下面的詳細描述中本發明將被更好地理解。本發明多個方面的描述通過特定實施例和參考某些附圖的方式實施，但是本發明并不局限于此。描述的圖像僅僅是示意性的并且不應當作為限制考慮。通常深度測量的精度不是均勻地分布在整個深度范圍內。在最先進的技術中，因此非常類似的是關注目標(例如視頻會議期間的人臉或在演出期間中的人體)的深度不是 用最優的深度精度測量的，因為關注目標可在被捕捉的場景中到處移動。本公開的優選實施例包括適合于為整個捕捉場景提取深度的基本的立體照相機設置。因為立體照相機設置潛在地還沒有聚焦在關注目標上，相當可能的是關注目標的深度沒有用最優的精度捕獲。通過自動地調節立體照相機設置中的照相機間的距離，可自動地調整深度范圍，在該深度范圍中，關注目標的深度被用最優精度測量。初始和粗略的深度的估計被用于作為初始的指示器，關注目標存在于該指示器中，并且作為深度測量中的最優精度所需要的結果。根據優選實施例，設置被反復調整以便導致關注目標的最優的深度精度。根據優選實施例，在跟蹤關注目標以用最優精度保持這些關注目標在深度范圍中的同時，立體照相機的設置可連續地調整。在圖1-3的曲線圖中說明了理論模型。在這些曲線圖中為不同基線距離(A，B和C ;分別對應40mm, 4mm和1mm)說明了深度精度與深度之間的關系。這些圖指出在立體照相機設置中在深度測量中的精度不是平均地分布于整個深度范圍上，并且依賴于在立體照相機設置中的照相機間的距離。曲線圖在X軸上(圖I 0-50mm ;圖2 :0-200mm ;圖3 0-500mm)描繪的深度范圍不同。例如在圖I中示出，為了更大的深度值，線B比線C顯示出更好的(更低的)深度分辨率(更高的精確度)。這意味著用于測量更大的深度值，可增加立體照相機設置中照相機間的距離(在這種情況下從Imm-線C-到4mm-線B)。注意到線B在一個大約10_的小的深度值處停止。這是部分地因為在根據線B的設置中照相機被放置得太寬，以致于鄰近的目標在立體照相機設置的照相機兩者中都不可見，并且因此深度測量無法進行。改變基線的另一原因可能是由于照明的改變，或由于被遮避的鄰近目標的部分的精度損失。在這種情況下可能需要在立體照相機設置中的照相機之間使用更小的距離。例如可使用根據線C的設置。附圖基于下面描述的關系。兩個照相機提供一個場景的兩個圖像，所述兩個圖像至少是重疊的并且兩者都包括關注目標。優選地所述圖像包括關注目標的至少某些共同特征。關注目標能夠分別被辨認為第一和第二照相機的圖像中的二維點m和m’。相對于某些全局參考系統，則能夠計算出對應于關注目標的真實位置的三維點M的三維坐標。
假設二維點m的坐標為(X，y)，對應二維點m’的坐標為(x’，y’)。在圖像的立體校正之后，y和y’能夠帶入到對應中，并且視差可由d= |x-x’ I給出。然后深度z可由z=(b * f)/d給出，其中b為照相機之間的基線，以及f為在圖像校正后獲得的焦距。焦距€=分辨率/2七&11(0/2)，其中Q代表視野。在攝影中，視野描述了一個通過照相機成像的給定場景的環形區域(也就是公知的視角)。圖4中提供了一個進一步的例子，其示出具有初始設置(I)的立體照相機。所述附圖同樣示出通過立體照相機中兩個照相機中的一個獲得的圖像之一，該圖像具有是人臉的關注目標。關注目標可通過最先進的識別技術(例如人臉識別技術)被檢測和指示。但是立體照相機的初始設置(I)對于關注目標的最優深度測量是不夠的。立體照相機的當前設置(I)的深度測量的最優精度位于不同于我們的關注目標屬于的范圍的深度范圍。但是，具有基線b的當前設置(I)提供關注目標深度的粗略估計，因而立體照相機設置能夠被自動地調整到設置(2)，該設置提供關注目標所屬于的深度范圍中的更好的甚至最優的深度精度。立體照相機的具有基線b’的新設置(2)中的深度范圍展示它的深度測量中的最優精度，該最優精度現在更好地符合所述關注目標所屬于的深度范圍，因此導致在捕獲的場景的區域 中該最優精度在其中所需要的準確的深度測量。如圖5所示，如果一個關注目標(例如一個人)在場景中正在到處移動，在照相機之間的距離的相應調整可能是必要的。例如當人進一步遠離照相機時，能夠通過增加基線距離b到b’(b’ >b)，朝向設置(2)改變設置(I)。當人更接近照相機時，能夠通過再一次減小基線距離b’到b”(b”〈b’)，再一次朝向設置(3)改變設置(2)。如果所述人比在設置
(1)中走得更近，基線距離13”將比13更小(13”〈13)。關注目標例如可以是在他的椅子上向前和向后傾斜的一個人。通過使用最先進的目標識別和跟蹤技術在捕獲的場景中跟蹤(或預測)關注目標的位置，并且例如自動地通過調整立體照相機設置，展示深度測量中的最優精度的深度范圍可與場景中關注目標的移動和位置保持一致。根據本發明的實施例允許在場景中具有深度測量中的最優精度的關注目標的捕獲，無論在哪里所述目標都屬于該場景，以及獨立于場景中關注目標的移動。當關注目標走得更接近時，照相機之間的距離減小。當關注目標移動的更遠時，照相機之間的距離增加。過多數量的照相機和處理能力因此不再需要。雖然在此描述的一些實施例包括一些但不是在其他實施例中包括的其他特征，但是如本領域技術人員能夠理解的，不同實施例的特征的組合意為仍然落入本發明的范圍中，并且形成不同的實施例。而與具體的實施例相關的本發明的原理在上文已體現，能夠清楚地理解的是這些描述僅僅是通過舉例的方式，而不是作為通過附加的權利要求確定的保護范圍的限制。
權利要求
1.用于獲得關注目標的立體圖像的改善的深度精度的方法，包括 -從第一位置成像所述關注目標的第一圖像； -從不同于所述第一位置的第二位置成像所述關注目標的第二圖像；其中所述方法包括 -基于所述第一圖像和所述第二圖像，確定所述關注目標的深度的粗略估計； -基于所述深度的所述粗略估計，確定對應于所述關注目標的改善的深度精度的改善的成像位置集合； -從所述改善的成像位置集合成像改善的圖像； -基于所述改善的圖像確定改善的深度。
2.根據權利要求I的方法，其中確定所述深度的所述粗略估計是基于所述第一和所述第二位置之間的距離和視差，所述視差為在所述第一圖像和所述第二圖像之間的所述關注目標的圖像位置之間的差別。
3.根據權利要求I或2的方法，其中所述改善的成像位置集合包括所述第一位置或所述第二位置中的至少一個。
4.根據上述任一權利要求的方法，其中所述改善的成像位置集合的成像位置沿著連接所述第一位置與所述第二位置的直線。
5.根據上述任一權利要求的方法，包括通過第一和不同的第二照相機成像所述第一圖像和所述第二圖像。
6.根據權利要求5的方法，包括在多個照相機中選擇兩個照相機的集合，將所述兩個照相機的集合帶到對應的所述改善的成像位置集合，并且通過所述兩個照相機的集合從所述改善的成像位置集合成像所述關注目標。
7.根據權利要求5的方法，包括移動所述第一和所述第二照相機中的至少一個，并且通過所述第一和所述第二照相機從所述改善的成像位置集合成像所述關注目標。
8.根據權利要求5的方法，包括基于所述多個照相機的位置和基于所述改善的成像位置集合，在固定位置從多個照相機中選擇出第三和第四照相機，并且從所述選擇的兩個照相機成像所述關注目標。
9.根據上述任一權利要求的方法，包括用于所述第一和第二圖像的立體圖像校正。
10.根據上述任一權利要求的方法，包括用于從所述改善的位置集合獲得的改善的圖像的立體圖像校正。
11.用于獲得具有關注目標的改善的深度精度的立體圖像的系統，包括 -多個成像設備，所述成像設備包括用于獲得所述關注目標的第一圖像的第一成像設備和用于獲得所述關注目標的第二圖像的第二成像設備； -基于所述第一圖像和所述第二圖像，用于獲取所述關注目標的粗略深度的粗略深度獲取裝置； -基于所述粗略深度，用于確定對應于所述關注目標的改善的深度精度的改善的成像位置集合的確定裝置； -用于控制所述多個成像設備的控制裝置，所述多個成像設備答復從所述確定裝置接收的改善成像位置集合，以從對應于所述改善的成像位置集合的位置成像所述關注目標。
12.根據權利要求11的系統，其中所述控制裝置包括用于移動所述第一和/或所述第二成像設備到所述改善的成像位置集合的裝置。
13.根據權利要求11的系統，其中所述控制裝置包括用于從所述多個成像設備中選擇出第三和第四照相機的裝置，和用于移動所述第三和第四照相機到所述改善的成像位置集合的裝置。
14.根據權利要求11至13的系統，包括沿著可被引導的所述多個成像設備中的至少一個的引導裝置。
15.根據權利要求11的系統，其中所述多個成像設備中的每一個位于固定位置；所述控制裝置包括 -用于從所述多個成像裝置中選擇出兩個成像設備的選擇裝置，所述被選擇的兩個成像設備的位置最優地對應于所述改善的成像位置集合；
全文摘要
公開了一種用于獲得關注目標的立體圖像的改善的深度精度的方法，包括從第一位置成像關注目標的第一圖像；從不同于第一位置的第二位置成像關注目標的第二圖像；其中，所述方法包括基于第一圖像和第二圖像，確定關注目標深度的粗略估計；基于深度的粗略估計，確定對應于關注目標改善的深度精度的改善的成像位置集合；從所述改善的成像位置集合成像改善的圖像；基于改善的圖像確定改善的深度。也公開了有關的系統。
文檔編號H04N13/00GK102771128SQ201080054876
公開日2012年11月7日 申請日期2010年11月23日 優先權日2009年12月4日
發明者D·蒂蓋特, J-F·麥克, M·埃爾茨, S·利文斯 申請人:阿爾卡特朗訊公司