專利名稱：調整投影儀姿態的計算機實現方法和裝置的制作方法
技術領域：
本發明一般地涉及圖像投影儀，更具體地涉及校正被顯示圖像中的梯形失真問題。
背景技術：
圖像投影儀已普遍使用。這些投影儀瞄準垂直顯示表面以進行幻燈片演示或顯示視頻。許多投影儀使用傳輸LCD，并且典型地具有單個透鏡。投影儀可以一次顯示一幅顯示圖像或顯示圖像序列。
這些投影儀典型地設計得使得僅當垂直于顯示表面中心對準投影儀的光軸的時候，才能在顯示表面上顯示未失真的圖像。如果違反了以上前提，則最后輸出圖像可能不是矩形的，并且將最好是梯形、最差是任意的四邊形。此問題稱為梯形失真。
以現有技術中的投影儀，校正梯形失真的一個途徑是，通過平移和旋轉投影儀而移動它來乏味地調整投影儀的物理位置，直到顯示矩形圖像。
1998年8月18日授權給Appel等的美國專利No.5548357，“高架投影儀的梯形失真和聚焦校正”描述了顯示測試幻燈片的系統。用戶識別彼此最平行的線對。該線對標識啟動失真校正程序，該程序利用穿過投影儀的水平面與顯示屏之間的斜角。
1998年8月授權給Woo的美國專利No.5795046，“在顯示圖片的投影系統中預補償非對稱圖片的方法”描述了這樣的系統，其中用戶通過鍵盤向系統中輸入位置信息來補償投影角和梯形誤差。
2003年2月18日授權給Raskar的美國專利No.6520647，“對任意方位的投影儀的自動梯形失真校正”描述了在關于顯示表面任意定位的投影儀中校正梯形失真的方法。相對于顯示表面測量投影儀光軸的仰角、滾轉角和方位角。從仰角、滾轉角和方位角確定平面投影變換矩陣。根據該平面投影變換使由投影儀投影的源圖像變形(warp)，然后再投影到顯示表面上。
但是，數字地變形圖像導致圖像質量的劣化，因為必須重新采樣像素，并丟棄一些像素。
發明內容
本發明調整投影儀相對于顯示表面的姿態。確定顯示表面和投影儀之間的單應性HD，P。單應性HD，P被分解為表達投影儀姿態MP的旋轉和平移參數。確定相應于理想單應性H0的投影儀的理想姿態M0。根據MA＝M0(MP)-1確定姿態調整MA。將MA分解為旋轉和平移調整參數。然后，根據旋轉和平移調整參數機械地調整投影儀到理想姿態M0。
圖1是根據本發明的投影儀系統的結構圖；圖2是根據本發明的具有鄰接圖像的多投影儀系統的結構圖；圖3是根據本發明的調整投影儀姿態的方法的流程圖；以及圖4是根據本發明的具有重疊圖像的多投影儀系統的結構圖。
具體實施例方式
如圖1所示，根據本發明的投影儀顯示系統100包括具有真實世界(x，y，z)坐標中的任意姿態Mp的投影儀100，以及(u，v)坐標系中的顯示表面120。坐標系可以具有范圍
中的規格化值，或實際物理尺寸。投影儀和顯示表面的縱橫比基本匹配。所謂姿態，我們特指圍繞三個軸的旋轉和平移。投影儀相對于顯示表面的姿態是任意且未知的。因此，存在本發明機械地解決的潛在的梯形失真問題。
本系統也可以包括光學傳感器，例如，光學傳感器安裝在攝影機140中作為CCD柵格。投影儀和攝影機連接到執行根據本發明的方法300的處理器150。投影儀和攝像機的內部參數和徑向失真是已知的。
或者，顯示屏可以包括安裝在顯示表面上已知位置的光電傳感器160。通過電線、光纖電纜或無線鏈路將光電傳感器連接到處理器150。
可以從前面或背面觀察顯示表面。顯示表面包括位置已知的可辨別特征，比如角121和邊122。投影儀可以顯示輸出圖像170或圖像序列，即，視頻。投影儀安裝在平臺130上，平臺130有六個外部自由度以產生投影儀相對于平面120的一些任意姿態。連接點131可以改變投影儀的姿態Mp。以電動機驅動連接點131。
如上所述，輸出圖像170可以是某些任意的失真四邊形，不一定與顯示表面對準。需要校正這樣的失真使得被顯示圖像是矩形并且與顯示表面邊緣對準，而不用數字地變形被顯示圖像。
投影儀110在圖像坐標系中顯示輸出圖像。投影儀具有四個內部自由度以執行水平移動、垂直移動、變焦和歪斜。通常通過移動透鏡進行圖像的移動，通過里外移動透鏡實現變焦，并且通過同時水平和垂直地移動進行歪斜。
如圖2所示，本發明也可以用于多投影儀系統200。多個投影儀110-113顯示的圖像既可以是鄰接的，如圖2，也可以是重疊的，如圖4。
基于攝影機的技術所需的顯示矩形是D。顯示矩形D可以是全部或部分的顯示表面120。對于投影儀的理想姿態M0，輸出圖像170基本上匹配顯示表面120，并且投影儀的光軸垂直地對準顯示表面的中心。
這可以根據理想的單應性H0通過縮放、旋轉和平移投影儀來完成。如果投影儀和顯示表面具有相同的縱橫比，則沿z軸的縮放可以通過變焦完成。平移是沿x軸和y軸的。旋轉可以沿任何軸。
如圖3所示，根據本發明的方法，在顯示輸出圖像170時我們獲得310顯示表面120的輸入圖像180。輸出圖像包括不同圖案。
從輸入圖像，我們檢測顯示表面的特征，例如，四個角121，或邊122。我們也從輸入圖像180檢測輸出圖像170的圖案中的特征，包括四個位置171-174。應理解，三個特征和位置就足夠了，但是為了提高精確度使用了四個。
根據檢測到的特征和位置并且使用常規的已知技術，我們確定320攝影機和顯示表面之間的單應性HC，D321，以及攝影機和投影儀之間的單應性HC，P322。
使用單應性321和322，我們根據下式將顯示表面的坐標(u，v)關聯到投影儀坐標(x，y)[wx wy w]T＝HD，P[u v 1]T＝HC，D(HC，P)-1[u v 1]T，其中w是投影坐標的齊次系數，T表示轉置，并且HD，P是顯示表面和投影儀之間的單應性。
然后，我們將單應性HD，P分解為表達投影儀110的姿態MP331的旋轉和平移參數，如下。對于針孔設備，立體投影矩陣PP根據下式將3D點投影到2D圖像平面上PP＝AP[R|t]＝AP[r1r2r3|t]＝APMP，其中AP是包括投影儀內部參數的3×3矩陣，即，焦距和主點，并且R和t是投影儀的外部參數，并且MP表示姿態，即，投影儀的旋轉和平移。矩陣R是3×3旋轉矩陣，具有列r1、r2和r3作為旋轉參數，并且t是平移參數。
如果顯示表面上的3D點按照投影儀坐標系表示，并且R和t相對于該坐標系表示，則該點從投影儀到圖像平面上的投影可以表示為wxwywT≅APr1r2r3|tXYZ1T,]]>其中“ ”表示根據比例限定，并且X，Y和Z是3D空間中點的坐標。
我們將顯示表面定義為3D空間中的平面。不失一般性，我們假設3D平面是與Z＝0共面的，即，點可以表示為(U，V，0，1)T。使用上式中的這些點，有wxwywT≅APr1r2r3|tUV01T]]>≅APr1r2|tUV1T]]>≅HD,PUV1T]]>換言之，我們有HD，P＝AP[r1r2|t]·假如我們已知矩陣AP，我們有(AP)-1HD，P＝(AP)-1AP[r1r2|t]＝[r1r2|t]，并且r3可以從r1×r2確定。
或者，我們可以確定最佳正交矩陣以找到旋轉參數r1、r2、r3。這是我們按照旋轉和平移參數確定330投影儀的姿態MP＝[r1r2r3|t]331所需要的全部信息。
對于理想姿態M0，單應性是H0。已知投影儀的內部參數AP，我們可以確定投影儀的理想姿態M0以顯示具有投影儀與顯示表面之間的單應性H0的矩形。該理想姿態是M0＝(AP)-1H0。
已知任意姿態MP，我們確定旋轉和平移調整MA341以將任意姿態MP變換為理想姿態M0。使用M0＝MAMP，即，我們確定340 MA＝M0(MP)-1。
我們將MA分解為安裝了電動機的連接點(motorized joint)131的旋轉角和平移參數以使用安裝了電動機的連接點131直接調整350安裝在有六個自由度的平臺130上的投影儀110。
在這一點上，可以獲得另一個輸入圖像以檢驗360調整的精確度，并且可以重復355步驟310、320、330和340直到獲得361所需精度的結果。
基于光電傳感器的技術代替攝影機140，我們可以使用安裝在顯示屏120上已知位置的光電傳感器160。
被顯示的輸出圖像170的范圍覆蓋所有光電傳感器。盡管三個傳感器就足以確定單應性321和322，但是我們使用四個以提高結果的精確度。
如上述基于攝影機的技術，我們使用傳感器160檢測輸出圖像170中的四個位置，參見美國專利申請序列號10/635404，Lee等在2003年8月6日提交的“使用離散的光學傳感器校準投影儀到任意形狀表面的方法和系統”，并且通過引用將其包括在此。
也就是，我們使用投影儀用稱為二進制編碼圖案的序列照明光電傳感器。該二進制編碼圖案包含交替的黑和白部分。我們使用水平序列照明一次，再使用垂直序列照明一次。在投影的序列中，光電傳感器記錄是否檢測到白的部分(高亮度)或黑的部分(低亮度)。結果，我們獲得水平和垂直序列的二進制數序列。該二進制數序列編碼投影儀的像素的位置。
然后，我們使用如上所述的方法300以確定單應性，并且據此進行處理。
多投影儀顯示在多投影儀顯示系統的情況中，我們區別兩種情況如圖2中所示鄰接的輸出圖像，以及如圖4中所示重疊的輸出圖像。
如果是如圖2中鄰接的輸出圖像，則預先定義與每個輸出圖像相關的矩形，并且我們可以單獨對每個投影儀應用方法300。
在如圖4中重疊的輸出圖像的情況下，我們調整重疊區域400中亮度的增加。這可以通過兩個途徑完成。
第一，我們可以數字地修改投影儀的幀緩沖器151中的像素亮度，參見通過引用包括在此的美國專利6677956和專利6781591。
第二，可以在各個攝影機的透鏡前適當位置放置減小亮度的過濾器410-413。對于第二種技術，所需顯示矩形是預先確定的，并且據此設計過濾器。例如，輸出圖像的一些區域僅與一幅相鄰圖像重疊，而其它一些區域與多個輸出圖像重疊。
優點是，光學過濾器修改像素亮度使得重疊區域中黑色的級別與不重疊區域中黑色的級別相同。在現有技術中，這種過濾器已經用于多投影儀飛行模擬器系統。這些過濾器可以安裝在六個自由度的平臺上以將過濾器恰當地對準以產生所需陰影。
盡管已經通過優選實施例的實例方式描述了本發明，但應理解，可以在本發明的精神和范圍內做出各種其它更改和修正。因此，覆蓋本發明的真正精神和范圍內的所有這些變更和修改是所附權利要求的目的。
權利要求
1.一種用于調整投影儀相對于顯示表面的姿態的計算機實現方法，包括確定顯示表面和投影儀之間的單應性HD，P；將單應性HD，P分解為表示投影儀姿態MP的旋轉和平移參數；確定相應于理想單應性H0的投影儀理想姿態M0；根據MA＝M0(MP)-1確定姿態調整MA；將姿態調整MA分解為旋轉和平移調整參數；以及根據旋轉和平移調整參數將投影儀機械地調整到理想姿態M0。
2.根據權利要求1的方法，其中，所述投影儀安裝在包括安裝了電動機的連接點的六個自由度的平臺上，并且該方法還包括提供旋轉和平移調整參數給安裝了電動機的連接點以將投影儀調整到理想姿態M0。
3.根據權利要求1的方法，其中，光學傳感器安裝在攝影機中，并且該方法還包括以投影儀在顯示表面上顯示輸出圖像，所述顯示表面在已知位置具有可檢測的特征，并且所述輸出圖像在已知位置包括預先確定的圖案；獲取顯示表面的輸入圖像和輸出圖像；檢測輸入圖像中的所述特征和位置；從所述特征和位置確定攝影機和顯示表面之間的單應性HC，D以及攝影機和投影儀之間的單應性HC，P；以及從單應性HC，D和HC，P確定單應性HD，P。
4.根據權利要求1的方法，其中，光學傳感器是安裝在顯示表面上已知位置的光電傳感器，并且該方法還包括以投影儀在顯示表面上顯示輸出圖像序列，所述輸出圖像序列包括在已知位置的預先確定的圖案；使用光電傳感器從輸出圖像序列檢測特征和位置；以及使用光電傳感器從輸出圖像序列中的特征和位置確定單應性HD，P。
5.根據權利要求1的方法，其中根據M0＝(AP)-1H0確定理想姿態，其中AP是包括投影儀內部參數的矩陣。
6.根據權利要求1的方法，其中，從前面觀看顯示表面。
7.根據權利要求1的方法，其中，從后面觀看顯示表面。
8.根據權利要求1的方法，其中，存在顯示鄰接圖像的多個投影儀，并且單獨調整每個投影儀。
9.根據權利要求3或4的方法，還包括根據下式將顯示表面的坐標(u，v)關聯到投影儀坐標的坐標(x，y)[wx wy w]T＝HD，P[u v 1]T＝HC，D(HC，P)-1[u v 1]T，其中w是投影坐標的齊次系數，T表示轉置，并且立體投影矩陣PP根據下式將3D點投影到2D圖像平面上PP＝AP[R|t]＝AP[r1r2r3|t]＝APMP，其中AP是包括投影儀內部參數和主點的3×3矩陣，并且R和t是投影儀的外部參數，矩陣R是3×3旋轉矩陣，具有列r1、r2和r3作為旋轉參數，并且t是平移參數。
10.根據權利要求9的方法，其中，理想姿態M0是M0＝(AP)-1H0，并且M0＝MAMP，以及MA＝M0(MP)-1。
11.根據權利要求1的方法，其中，存在顯示重疊圖像的多個投影儀，該方法還包括調整重疊區域中亮度的增加。
12.根據權利要求11的方法，其中，所述亮度調整在投影儀的幀緩沖器中數字地執行。
13.根據權利要求11的方法，其中，所述亮度調整用減小亮度的過濾器光學地執行。
14.一種用于調整投影儀相對于顯示表面的姿態的裝置，包括六個自由度的平臺，包括安裝了電動機的連接點；安裝在所述六個自由度的平臺上的投影儀；顯示表面；用于確定顯示表面和投影儀之間的單應性HD，P的部件；用于將單應性HD，P分解為表示投影儀姿態MP的旋轉和平移參數的部件；用于確定相應于理想單應性H0的投影儀理想姿態M0的部件；用于根據MA＝M0(MP)-1確定姿態調整MA的部件；用于將姿態調整MA分解為旋轉和平移調整參數的部件；以及用于提供旋轉和平移調整參數給電動機以將投影儀調整到理想姿態M0的部件。
全文摘要
本申請涉及一種調整投影儀相對于顯示表面的姿態的方法。確定顯示表面和投影儀之間的單應性H
文檔編號H04N9/31GK101091137SQ20068000156
公開日2007年12月19日 申請日期2006年3月9日 優先權日2005年3月21日
發明者拉梅施·拉斯卡, 杰羅恩·范·巴阿 申請人:三菱電機株式會社