專利名稱：多投影拼接幾何校正方法及校正裝置的制作方法
技術領域：
本發明涉及圖像處理技術，尤其涉及一種多投影拼接幾何校正方法及校正裝置。
背景技術：
大屏幕顯示系統是一個多路輸入、超大單屏的顯示系統。在大屏幕拼接系統中，顯示出來的是一幅整體的畫面，它由各信號源的圖像拼接而成。每臺設備只顯示圖像的一部分。弧幕背投是指從弧幕背面，分別投影圖像到弧幕中。為了得到較好的顯示效果，需要對投影儀中的圖像進行校準。現有技術存在一些幾何校準方案，但是，現有方案中需要較復雜的數學模型建立或者需要過多的圖像映射變換過程。
發明內容
本發明實施例提供一種多投影拼接幾何校正方法及校正裝置，采用較少的圖像映射實現幾何校準。本發明實施例提供一種多投影拼接幾何校正方法，包括獲取攝像機到3D弧幕的映射關系；根據投影儀到攝像機的映射關系、所述攝像機到3D弧幕的映射關系以及3D弧幕到輸入超分辨率圖像映射關系，得到投影儀幀緩存圖像變換映射表；
根據所述投影儀幀緩存圖像變換映射表，對投影儀要投影的圖像進行幾何配準校正。本發明實施例提供一種校正裝置，包括獲取模塊，用于獲取攝像機到3D弧幕的映射關系；確定模塊，用于根據投影儀到攝像機的映射關系、所述獲取模塊得到的所述攝像機到3D弧幕的映射關系以及3D弧幕到輸入超分辨率圖像映射關系，得到投影儀幀緩存圖像變換映射表；校正模塊，用于根據所述投影儀幀緩存圖像變換映射表，對投影儀要投影的圖像進行幾何配準校正。由上述技術方案可知，本發明實施例在求解投影儀幀緩存圖像變換映射表時，所需的圖像映射關系較少，因此可以采用較少的圖像映射實現多投影時的幾何校準，實現方法簡便易行。
為了更清楚地說明本發明實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。圖I為本發明第一實施例的方法流程示意圖2為本發明第二實施例的方法流程示意圖；圖3為本發明第二實施例中3D弧幕在世界坐標系中的圖像及攝像機對該3D弧幕的拍攝圖像的示意圖；圖4為本發明第二實施例中攝像機針孔成像模型的示意圖；圖5為本發明第二實施例中求解攝像機內外參數的實現方式一的流程示意圖；圖6為本發明第二實施例中求解攝像機內外參數的實現方式二的流程示意圖；圖7為本發明第二實施例中3D弧幕的2D參數化表示示意圖；圖8為本發明第二實施例中完整輸入圖像坐標與3D弧幕坐標相同的2D參數化表示示意圖； 圖9為本發明第二實施例的方法流程不意圖；圖10為本發明第三實施例中3D弧幕與虛擬2D平幕的示意圖；圖11為本發明第三實施例中攝像機圖像的示意圖；圖12為本發明第三實施例中虛擬攝像機圖像的示意圖；圖13為本發明第四實施例的裝置結構示意圖。
具體實施例方式為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。圖I為本發明第一實施例的方法流程示意圖，包括步驟11 :校正裝置獲取攝像機到3D弧幕的映射關系；其中，攝像機到3D弧幕的映射關系可以通過兩個虛擬平幕作為中間參數確定，此時可以包括根據攝像機圖像與虛擬攝像機圖像的映射關系，以及虛擬攝像機圖像與虛擬2D平幕的映射關系，得到攝像機與虛擬2D平幕的映射關系；根據所述攝像機與虛擬2D平幕的映射關系，以及虛擬2D平幕與3D弧幕的映射關系，得到攝像機到3D弧幕的映射關系。或者，攝像機到3D弧幕的映射關系也可以通過攝像機內外參數作為中間參數確定，此時可以包括根據對3D弧幕的拍攝圖像，及所述3D弧幕的幾何信息，求解攝像機內外參數；根據所述攝像機內外參數及所述3D弧幕的2D坐標，得到攝像機到3D弧幕的映射關系O上述兩種方法可以具體參見下述實施例。步驟12 :校正裝置根據投影儀到攝像機的映射關系、所述攝像機到3D弧幕的映射關系以及3D弧幕到輸入超分辨率圖像映射關系，得到投影儀幀緩存圖像變換映射表；其中，通過步驟11可以確定攝像機到3D弧眷的映射關系—D。另外，投影儀到攝像機的映射關系FUi = 1,2,3)(以3個投影儀進行拼接為例)可以采用現有技術實現，例如，可以采用如下方式確定I)制作特征blob模板圖；2) 3個投影儀分別投影到3D弧幕；3)分別由固定位置與參數的攝像機拍攝，獲得3個攝像機圖像；
4)對該3個攝像機圖像進行特征檢測，并建立與已知特征blob位置信息的模板圖間的點對映射關系；此時的映射是稀疏的。5)應用Rational Bezier Patch曲面插值算法,建立致密的投影儀到攝像機圖像的映射。至此，將得到的致密的投影儀到攝像機圖像的映射作為上述的投影儀到攝像機圖像的映射關系FUi = 1，2，3)。再者，3D弧幕到輸入超分辨率圖像映射關系FD —311可以采用如下方式確定此映射變換公式如下(mx, my) = FD —Su(s, t) = (s, t)·
其中，D表示投影幕(Display), Su表示輸入超分辨率(SuperImage)圖像；Ov my)，(s，t)分別為輸入超分辨率圖像中的點，3D弧幕的2D坐標點；由于輸入超分辨率圖像的坐標含義與3D弧幕的2D坐標定義一致，則顯然有
\s = mx
[t = my因此，Fd — Su為單位變換。通過上述計算，得到了投影儀到攝像機的映射關系0卜。(i = 1，2，3)、攝像機到3D弧幕的映射關系Fp11以及3D弧幕到輸入超分辨率圖像映射關系FD —su，之后，可以根據上述3個映射關系，得到投影儀幀緩存圖像變換映射表。具體可以如下首先，根據上述3個映射關系級聯得到FiUaO+ = 1，2，3)，即，(jnx, fny ) — FD—Su (Fc—D (Fp—c (x,少)))= FcHc(x,y))=F^Su(x,y)其中，(x，y)為投影儀幀圖像點的坐標。之后，根據€‘(/ = 1,2,3)得到投影儀幀圖像中某一點對應的輸入超分辨率圖像中的點，根據輸入超分辨率圖像中的點計算顏色值并賦給該投影儀幀圖像中的點，例如，(xl，yl)對應(mxl，myl)，則可以將!!^，myl鄰近的點(點的個數可以設定)進行插值計算得到的顏色值賦給(xl, yl)。之后，通過顏色比對確定投影儀幀緩存圖像變換映射表另RGB (X，y) = RGB (mPff_x,mPW—y),則得到點(x,y)到點(mPW—x, mPW—y)的映射 F11^ PW(i = 1,2,3), RGB (mPff x,mPff y)的值為輸入超分辨率圖像中的點的顏色值。即選取一個點(X，y)，計算得到該點的顏色值RGB(X，y)，之后找到具有相同顏色值RGB (X, y) = RGB (mPff x, mPff y)的點(mPW—x, mPff y),即得到變換關系(mPW _x,mPW _y) = F'P^PW(i = l,2,3)(x,y)上述的RGBO表示顏色值。至此則得到了投影儀幀緩存圖像變換映射表戶卜 (1 = 1，2，3)。步驟13 :校正裝置根據所述投影儀幀緩存圖像變換映射表，對投影儀要投影的圖像進行幾何配準校正。
S卩，在得到投影儀幀緩存圖像變換映射表Ρρ — ρ α = 1,2,3)之后，可以對投影儀中的緩存圖像進行幾何配準校正，即校正后的點的坐標(mPW x，mPW y)與校正前點的坐標(X，y)的關系為(mPff x, mPW—y) = F1p^PW(x, y) (i = 1,2,3)。另外，上述的校正裝置可以為獨立的裝置，其對投影儀中待緩存的圖像進行上述幾何配準校正后，將校正后的圖像發送給投影儀進行緩存后投影。也可以是，該校正設備內嵌在投影儀中以在緩存前進行校正。本實施例在求解投影儀幀緩存圖像變換映射表時，所需的圖像映射關系較少，因此可以采用較少的圖像映射實現多投影時的幾何校準，實現方法簡便易行。圖2為本發明第二實施例的方法流程示意圖，本實施例以攝像機內外參數作為中間參數確定攝像機到3D弧幕的映射關系。參見圖2，本實施例包括
步驟21 :根據對3D弧幕的拍攝圖像，及所述3D弧幕的幾何信息，求解攝像機內外參數；優選的，本發明實施例的3D弧幕的幾何信息是已知的。在實際多點視頻會議應用中，3D弧幕，特別是柱面弧幕多投影系統更能給用戶帶來沉浸式體驗，本地與遠端用戶更有身處同一會場的感覺。并且，柱面弧幕產品化，大批量定制化更容易，柱面弧幕的規格容易實現定制下來。規則化的、已知信息的3D柱面弧幕用于多投影拼接系統中，在求解各種變換映射時，就沒有必要再去求解投影幕幾何信息了，直接使用已知幾何信息即可。而現有技術中通常使用各種復雜的方式求解該3D弧幕的幾何信息，但是，隨著3D弧幕定制化的出現，本發明實施例可以采用定制化的3D弧幕，即可以在幾何校準時獲取已知的3D弧幕的幾何信息。當然，如果對幾何校正有非常高的精度要求，也可以將已知的3D弧幕信息作為3D弧幕幾何信息的初始估計，之后再采用各種方法獲取更為精確的3D弧幕幾何信息。求解攝像機內外參數可以如下首先，關于3D弧幕圖3為本發明實施例中3D弧幕在世界坐標系中的圖像及攝像機對該3D弧幕的拍攝圖像的示意圖，參見圖3，3D弧幕包括4個頂點A、B、C和D，3D弧幕的上下兩個曲線分別為圓弧AB和圓弧CD，左右線段分別為線段AD和線段BC。當3D弧幕的幾何信息是已知的，則線段AB、⑶、AD、BC的長度、圓弧AB的長度、圓弧CD的長度、圓弧AB的半徑及圓弧CD的半徑均是已知的。其次，關于3D與2D的對應關系攝像機采用的是針孔模型，圖4為本發明實施例中攝像機針孔成像模型的示意圖，在該針孔模型下，攝像機按透視射影變換將3D世界空間P3的點的齊次表達式為M = (X，y，z，1)τ，投影到2D圖像空間P2的點的齊次表達式為m= (u，v，l)T。用公式標定可寫成m ^ HM = K(R T)M其中，H表示3X4的攝像機投影矩陣， 表示方程兩邊在相差一個比例因子的意義下相等。(R T)為由R和T組成的一個大矩陣。假設攝像機光心不在無窮遠平面上，攝像機投影矩陣H可做如下分解H = K (R T)
K、R、T為待求解的攝像機內外參數，其中，K為攝像機的內部參數，R為攝像機相對于世界坐標系的旋轉矩陣，T為攝像機相對于世界坐標系的平移矩陣。攝像機內外參數可以參照如下描述攝像機標定的目的是獲得攝像機的內部參數K和外部參數(包括旋轉矩陣R和平移向量T)，攝像機內部的幾何和光學特性，即為內部參數；攝像機坐標系相對于空間坐標系的位置關系，即為外部參數。K為一個表示攝像機內部參數的上三角矩陣，如下
權利要求
1.一種多投影拼接幾何校正方法，其特征在于，包括 犾取攝像機到3D弧.的映射關系； 根據投影儀到攝像機的映射關系、所述攝像機到3D弧幕的映射關系以及3D弧幕到輸入超分辨率圖像映射關系，得到投影儀幀緩存圖像變換映射表； 根據所述投影儀幀緩存圖像變換映射表，對投影儀要投影的圖像進行幾何配準校正。
2.根據權利要求I所述的方法，其特征在于，所述獲取攝像機到3D弧幕的映射關系，包括 根據攝像機圖像與虛擬攝像機圖像的映射關系，以及虛擬攝像機圖像與虛擬2D平幕的映射關系，得到攝像機與虛擬2D平幕的映射關系； 根據所述攝像機與虛擬2D平幕的映射關系，以及虛擬2D平幕與3D弧幕的映射關系，得到攝像機到3D弧幕的映射關系。
3.根據權利要求I所述的方法，其特征在于，所述獲取攝像機到3D弧幕的映射關系，包括 根據對3D弧幕的拍攝圖像，及所述3D弧幕的幾何信息，獲取攝像機內外參數； 根據所述攝像機內外參數及所述3D弧幕的2D坐標，得到攝像機到3D弧幕的映射關系O
4.根據權利要求3所述的方法，其特征在于，所述3D弧幕的幾何信息為已知信息。
5.根據權利要求3或4所述的方法，其特征在于，所述根據對3D弧幕的拍攝圖像，及所述3D弧幕的幾何信息，獲取攝像機內外參數，包括 根據所述拍攝圖像中上下曲線的點的數目，對所述3D弧幕的上下曲線進行等間隔采樣，并建立拍攝圖像的點與3D弧幕的采樣點之間的對應關系； 根據設定的初始的攝像機的內外參數及所述3D弧幕的幾何信息得到所述3D弧幕采樣點對應的2D坐標，并獲取拍攝圖像中點的2D坐標與3D弧幕的采樣點對應的2D坐標的誤差和； 如果所述誤差和不滿足精度要求，則更新所述初始的攝像機的內外參數，并采用更新后的攝像機的內外參數重新計算所述3D弧幕的采樣點對應的2D坐標，直至所述誤差和滿足精度要求； 獲取誤差和滿足精度要求時對應的攝像機的內外參數。
6.根據權利要求3或4所述的方法，其特征在于，所述根據對3D弧幕的拍攝圖像，及所述3D弧幕的幾何信息，獲取攝像機內外參數，包括 根據所述3D弧幕的幾何信息及設定的初始的攝像機的內外參數，計算3D弧幕的曲線對應的2D曲線； 計算3D弧幕的曲線對應的2D曲線與拍攝圖像的曲線之間的距離； 如果所述距離不滿足精度要求，則更新所述初始的攝像機的內外參數，并采用更新后的攝像機的內外參數重新計算3D弧幕的曲線對應的2D曲線，直至所述距離滿足精度要求； 獲取距離滿足精度要求時對應的攝像機的內外參數。
7.一種校正裝置，其特征在于，包括 獲取模塊，用于獲取攝像機到3D弧幕的映射關系；確定模塊，用于根據投影儀到攝像機的映射關系、所述獲取模塊得到的所述攝像機到3D弧幕的映射關系，以及3D弧幕到輸入超分辨率圖像映射關系，得到投影儀幀緩存圖像變換映射表； 校正模塊，用于根據所述投影儀幀緩存圖像變換映射表，對投影儀要投影的圖像進行幾何配準校正。
8.根據權利要求7所述的裝置，其特征在于，所述獲取模塊包括第一單元，所述第一單元用于 根據攝像機圖像與虛擬攝像機圖像的映射關系，以及虛擬攝像機圖像與虛擬2D平幕的映射關系，得到攝像機與虛擬2D平幕的映射關系； 根據所述攝像機與虛擬2D平幕的映射關系，以及虛擬2D平幕與3D弧幕的映射關系，得到攝像機到3D弧幕的映射關系。
9.根據權利要求7所述的裝置，其特征在于，所述獲取模塊包括第二單元，所述第二單元用于 根據對3D弧幕的拍攝圖像，及所述3D弧幕的幾何信息，獲取攝像機內外參數； 根據所述攝像機內外參數及所述3D弧幕的2D坐標，得到攝像機到3D弧幕的映射關系O
10.根據權利要求9所述的裝置，其特征在于，所述第二單元獲取的所述3D弧幕的幾何信息為已知信息。
11.根據權利要求9或10所述的裝置，其特征在于，所述第二單元具體用于 根據所述拍攝圖像中上下曲線的點的數目，對所述3D弧幕的上下曲線進行等間隔采樣，并建立拍攝圖像的點與3D弧幕的采樣點之間的對應關系； 根據設定的初始的攝像機的內外參數及所述3D弧幕的幾何信息得到所述3D弧幕采樣點對應的2D坐標，并獲取拍攝圖像中點的2D坐標與3D弧幕的采樣點對應的2D坐標的誤差和； 如果所述誤差和不滿足精度要求，則更新所述初始的攝像機的內外參數，并采用更新后的攝像機的內外參數重新計算所述3D弧幕的采樣點對應的2D坐標，直至所述誤差和滿足精度要求； 獲取誤差和滿足精度要求時對應的攝像機的內外參數；并 根據所述攝像機內外參數及所述3D弧幕的2D坐標，得到攝像機到3D弧幕的映射關系O
12.根據權利要求9或10所述的裝置，其特征在于，所述第二單元具體用于 根據所述3D弧幕的幾何信息及設定的初始的攝像機的內外參數，計算3D弧幕的曲線對應的2D曲線； 計算3D弧幕的曲線對應的2D曲線與拍攝圖像的曲線之間的距離； 如果所述距離不滿足精度要求，則更新所述初始的攝像機的內外參數，并采用更新后的攝像機的內外參數重新計算3D弧幕的曲線對應的2D曲線，直至所述距離滿足精度要求； 獲取距離滿足精度要求時對應的攝像機的內外參數；并 根據所述攝像機內外參數及所述3D弧幕的2D坐標，得到攝像機到3D弧幕的映射關系。
全文摘要
本發明提供一種多投影拼接幾何校正方法及校正裝置。該方法包括獲取攝像機到3D弧幕的映射關系；根據投影儀到攝像機的映射關系、所述攝像機到3D弧幕的映射關系以及3D弧幕到輸入超分辨率圖像映射關系，得到投影儀幀緩存圖像變換映射表；根據所述投影儀幀緩存圖像變換映射表，對投影儀要投影的圖像進行幾何配準校正。本發明可以簡單有效地實現校正。
文檔編號G06F3/14GK102841767SQ20111016965
公開日2012年12月26日 申請日期2011年6月22日 優先權日2011年6月22日
發明者李凱, 王靜, 趙光耀, 劉源 申請人:華為終端有限公司