利用短程相機校準顯示系統的系統和方法
【技術領域】
[0001]本發明涉及顯示器，并且聚焦但不限于多投影顯示系統，而且更特別地涉及用于利用不準確地知道或根本不知道其鏡頭屬性的相機以及利用可能不能夠對整個顯示系統進行成像的相機來校準顯示系統的系統和方法。
【背景技術】
[0002]利用相機和其它光學傳感器對平鋪(tiled)投影儀系統的校準已經變得越來越司空見慣。自動校準系統的主要目標之一是在沒有專業技師使用的情況下隨著該系統的老化而維持該系統的高品質(諸如線性幾何形狀、均勻的顏色和強度)。例如，期望的是沒有經過訓練的人可以按動圖形用戶界面(GUI)中的“校準”按鈕，那么該系統就重新校準。不期望的是應當要求用戶采取要求利用GUI的許多交互的精細調節過程，這是因為該過程可能費時且要求用戶的關于這部分的訓練。
[0003]特別感興趣的一個平鋪顯示器被設計成用在會議室環境中。在會議室中，預期可以使用MxN短程投影儀來構建高分辨率的顯示器。當用在前投影儀配置中時，短程投影儀是有用的，這是因為一個人可以徑直走到屏幕而不在顯示器上投上影子直到一個人非常靠近屏幕為止。再者，無論用在前投影儀或后投影儀裝備中，投影儀占據小的深度，該小的深度在諸如會議室之類的存在有限空間的設施中是有用的。
[0004]為了校準這樣的系統，常常期望將相機安裝得非常靠近投影儀。期望該定位的一個原因是它允許自包含安裝，這簡化了安裝者的任務，并且更為普遍地降低了安裝費用。該定位還期望在于，它避免了這樣的狀況:橫跨房間空間放置的相機與短程布置相比更加有可能被路過的人阻擋。橫跨房間定位這樣的相機還是不期望的，因為它一般要求從該系統到相機穿設纜線，并且一般需要把這樣的纜線穿設到墻壁中以及圍繞該房間。這會很顯眼并且在公共空間中造成不美外觀。可替代地，能夠證明在墻壁和/或頂棚中安裝不可見的線纜費時且成本高。
[0005]因此，在這樣的設施中短程相機是期望的，這是因為它允許自包含安裝并且避免了不期望的連線布置和視野(the filed of view)的妨礙。然而，當這樣的相機緊挨著顯示器時，出現至少兩個挑戰性效果。第一，可能有必要采用具有魚眼鏡頭或其它廣角鏡頭的多個相機，這是因為相機離屏幕不遠，并且可能難以對重要視野進行成像。魚眼鏡頭會是個問題，這是因為它可能難以準確地測量鏡頭的失真。此外，相機圖像中的場景的失真不僅對鏡頭的屬性敏感，而且它對鏡頭在相機成像器頂部上的定位，以及對相機的位置和朝向非常敏感。該失真朝著鏡頭的外側特別敏感。因而，如果一個人在投影顯示器校準期間依靠魚眼鏡頭的鏡頭模型的準確性，則在屏幕上的所得到的顯示圖像常常出現失真。
[0006]再者挑戰是這樣的事實:可以證明對于利用可能僅幾英寸的短程距離對整個屏幕進行成像是有挑戰性的。
[0007]因而，期望的是創建一種自動校準系統，其操作簡單，不依靠場景的相機失真的準確模型，并且可以處理相機不能夠對整個屏幕進行成像的情形。
【發明內容】
[0008]本發明通過提供下面系統和方法克服了現有技術的缺點:其允許使用其鏡頭未被建模或在有限的準確度的情況下建模、以及可能不能夠對整個投影儀系統進行成像的一個或多個相機對顯示系統的校準。說明性系統和方法通常依靠投影儀的良好建立的模型，而不是相機的良好建立的模型。說明性地，相機主要用來將投影儀映射到一個坐標系上，其中可以使用相機非常精確地建立投影儀之間的重疊，即使相機鏡頭屬性的模型未知或者只知道很少的情況下也是如此。
[0009]本公開的一個或多個方面提供了一種校正投影儀系統的方法，所述投影儀系統具有兩個或更多個投影儀，所述方法利用到一個或多個相機，不要求所述一個或多個相機對整個屏幕進行成像，包括步驟:(a)利用所述一個或多個相機捕獲來自所述投影儀的一個或多個投射圖案；以及將所投射的像素從每個投影儀映射到公共坐標系中，所述映射的步驟不依賴于所述相機的透鏡屬性的模型；以及(b)將所述公共坐標系映射到所述屏幕，而不依賴于所述一個或多個相機的鏡頭屬性的模型。
[0010]在一個示例中，所述投影儀被預校準。
[0011]在一個示例中，所述映射步驟(a)或步驟(b)中的任一個使用所述投影儀的模型來形成。
[0012]在一個示例中，所述投影儀的模型包括來自投影儀映射的理想化模型的失真模型。
[0013]在一個示例中，所建模的投影儀至表面的映射通過測量進行預校準。
[0014]在一個示例中，所預校準的測量在投影儀是所校準的系統的一部分時推斷出。
[0015]在一個示例中，投影儀至所述公共坐標系的映射包括使用所述一個或多個相機測量所述投影機的重疊與所述投影機的重疊的建模之間的差異的步驟。
[0016]在一個示例中，所述投影儀的模型包括來自投影儀映射的理想化模型的失真模型。
[0017]在一個示例中，使用邊緣混合技術將由所述一個或多個相機測量的差異應用在所述兩個或更多個投影儀與所述公共坐標系之間。
[0018]在一個示例中，所述投影儀投射到平坦屏幕上，并且映射到所述公共坐標系的步驟包括使用所述一個或多個相機來找出可選的預校準的投影儀之間的單應矩陣(homographies)。
[0019]在一個示例中，所述投影儀投射到具有已知或參數化的幾何形狀的彎曲屏幕上，所述投影儀可選地被預校準，以及映射到所述公共坐標系的步驟包括使用所述可選預校準投影儀的投影儀至表面的映射的模型。
[0020]在一個示例中，將所述公共坐標系映射到所述屏幕還包括使用所述一個或多個相機定位所述屏幕上的基準點。
[0021 ] 在一個示例中，所述方法還包括存儲強度和顏色信息以及使用所述投影儀的被所述一個或多個相機成像的區域來平衡強度和顏色。
[0022]在一個示例中，所述投影儀被預校準，并且映射到所述公共坐標系的步驟包括使用所述一個或多個相機來找出所述預校準的投影儀之間的單應矩陣。
[0023]在一個示例中，所述投影儀被預校準，并且映射到所述公共坐標系的步驟包括使用所述預校準投影儀的投影儀至表面的映射的模型。
[0024]在一個示例中，所述測量包括在受控環境中測量來自所述投影儀的數據。
[0025]在一個示例中，所述一個或多個相機對所述整個屏幕的第一部分進行成像，從而限定了所述整個屏幕的未被所述一個或多個相機成像的第二部分。
[0026]本公開的另一方面提供了一種用于校準投影儀系統的系統，所述投影儀系統具有兩個或更多個投影儀，所述系統利用到一個或多個相機，不要求所述相機對整個屏幕進行成像，包括:(a) —個或多個相機，其捕獲來自所述投影儀的一個或多個投射圖案的圖像；映射過程，其將所投射的像素從每個投影儀映射到公共坐標系上，所述映射過程不依賴于所述相機的鏡頭屬性的模型；以及(a)所述公共坐標系被映射到所述屏幕，而不依賴于所述一個或多個相機的鏡頭屬性的模型。
[0027]在說明性實施例中，使用短程相機來校準投射在平坦墻壁上的、在水平方向上平鋪的、具有小的重疊的兩投影儀顯示。相機獲取來自每個投影儀的圖案的圖片并且找出投影儀之間在重疊區中的對應關系。例如使用從每個投影儀至公共坐標的單應矩陣可以將投影儀映射到公共坐標系，并且然后將所述公共坐標系映射到所述屏幕。
[0028]所述投影儀的模型可選地可以通過測量投影儀本征參數和來自理想投影儀的失真進行預校準。在不損失普遍性的情況下，用于對投影儀的模型進行預校準的一種方法包括在受控環境下測量來自投影儀的數據。在不損失普遍性的情況下，第二種方法進行對投影儀原位全部校準(例如，使用良好校準的相機對屏幕校準)以及使用該結果反算失真圖案。如果投影儀被預校準，并且希望單應矩陣將投影儀映射到公共坐標系，至公共坐標系的映射變為兩個步驟:去除預校準的失真圖案，然后應用單應矩陣。
[0029]投影儀在公共坐標系中的對應關系和所述重疊的模型以及由相機收集的數據一般將不同。也就是說，模型與數據并未完美擬合。由相機收集的數據被用來找出所述模型與投影儀的實際對應關系之間的差異。所述差異例如由位移場表示，將所述差異部分地應用于每個投影儀，使得兩個應用的組合補償了相機所見到的差異。在具有四個邊緣的邊界區的簡單情況中:在覆蓋區的左邊緣，針對左投影儀的所應用的位移場設定為0，以及針對右投影儀為完全量(full amount)。在重疊區的右邊緣上，針對右投影儀，所應用的位移場設定位零(0)，以及針對左投影儀為完全量。使用邊緣混合類型算法找出對于每個投影儀要應用的位移場，使得總體彌補了由相機看到的差異。這些相同的邊緣混合類型算法可以用于其形狀更復雜的重疊區域。
[0030]一旦針對從投影儀至公共坐標系的映射作出了所有的校正，就將公共坐標系映射到了屏幕，形成了可以使用標準機制和過程來無縫示出橫跨這兩個投影儀的視頻和影像的整體映射。
[0031]在說明性實施例中，提供了一種用于校正投影儀系統的系統和方法，所述投影儀系統具有兩個或更多個投影儀，所述用于校正投影儀系統的系統和方法利用到一個或多個相機，不要求所述相機對整個屏幕進行成像。該系統和方法利用所述一個或多個相機捕獲來自所述投影儀的一個或多個投射圖案。將所投射的像素從