廣角傳感器陣列模塊及其圖像校正方法、操作方法與應用的制作方法

專利名稱：廣角傳感器陣列模塊及其圖像校正方法、操作方法與應用的制作方法
廣角傳感器陣列模塊及其圖像校正方法、操作方法與應用 發(fā)明領域
本發(fā)明系關于一種圖像傳感器，特別是關于一種具有多傳感器的廣角傳 感器陣列模塊及其圖像校正方法、操作方法與應用。
背景技術：
現(xiàn)有技術中，可通過采用廣角鏡頭或魚眼鏡頭以增加圖像傳感器的視角 范圍，然而此類鏡頭通常具有較高的成本。因此，本領域提出了通過利用多 個一般的圖像傳感器以組成較寬廣的視野并降低成本的方法。例如美國專利
公開第2005/0025313號公開了一種"利用多個窄視角圖像以形成廣視角圖像 的數(shù)字圖像系統(tǒng)(Digital imaging system for creating a wide-angle image from multiple narrow angle images)",其包括多個圖像裝置。每個圖像裝置具有預 設視角以及于選定時間采集圖像的機制。所述圖像裝置中每個圖像裝置的視 角被設置為與其相鄰圖像裝置的視角相重疊。所述數(shù)字圖像系統(tǒng)還包括控制 模塊控制所述圖像裝置于同一時間各自采集圖像，且每個圖像裝置所采集的 圖像將被合成為廣視角圖像。
因此，如何合成多個獨立圖像以形成廣視角圖像即成為一個重要的課 題。本發(fā)明提供一種利用轉(zhuǎn)換矩陣合成多個圖像的廣角傳感器陣列模塊，所 述轉(zhuǎn)換矩陣系表示各獨立圖像裝置間的相對空間關系并預先存儲于所述廣 角傳感器陣列模塊中。此外，若圖像裝置間的相對空間關系可預先得知，則 每個圖像裝置的視角不需與相鄰圖像裝置的視角相重疊，可進一步增加廣角 傳感器陣列模塊的組合視角范圍
發(fā)明內(nèi)容
本發(fā)明的一個目的在于提供一種廣角傳感器陣列模塊，其利用至少兩個 一般的圖像傳感器以增加傳感器陣列模塊的視角范圍，因而所述廣角傳感器 陣列模塊中不需采用高價格的特殊鏡頭，可有效降低模塊成本。
本發(fā)明另一個目的在于提供一種廣角傳感器陣列模塊的圖像校正方法， 其預先根據(jù)至少兩個圖像傳感器彼此間的相對空間關系以計算出至少一個 轉(zhuǎn)換矩陣。此外，當圖像傳感器彼此間的相對空間關已預先得知，則每個圖 像裝置的視角不需與相鄰圖像裝置的視角相重疊，可進而增加整體視角范 圍。
本發(fā)明再一個目的在于提供一種廣角傳感器陣列模塊的圖像操作方法， 其利用預先存儲于所述廣角傳感器陣列模塊中的轉(zhuǎn)換矩陣正確地完成多個 圖像的合成，從而形成廣視角圖像。
本發(fā)明再一個目的在于提供一種廣角傳感器陣列模塊的應用，其中所述 廣角傳感器陣列模塊應用于指向定位系統(tǒng)，可有效增加所述指向定位系統(tǒng)的 視角范圍并降低系統(tǒng)成本。
為達上述目的，本發(fā)明提供一種用于產(chǎn)生一組合圖像的廣角傳感器陣列 模塊，所述廣角傳感器陣列模塊包括第一圖像傳感器、第二圖像傳感器、存 儲單元及處理器。所述第一圖像傳感器用于采集第一圖像。所述第二圖像傳 感器用于采集第二圖像，且所述第二圖像傳感器與所述第一圖像傳感器具有 相對空間關系。所述存儲單元存儲至少一個轉(zhuǎn)換矩陣，其中該轉(zhuǎn)換矩陣根據(jù) 所述第一圖像傳感器與所述第二圖像傳感器的所述相對空間關系所求得。所 述處理器利用所述轉(zhuǎn)換矩陣組合所述第一圖像及所述第二圖像為組合圖像。
根據(jù)本發(fā)明的另一特點，本發(fā)明還提供一種廣角傳感器陣列模塊的圖像 校正方法，所述廣角傳感器陣列模塊包括第一圖像傳感器和第二圖像傳感 器，所述圖像校正方法包括下列步驟提供至少三個校正點，其中所述校正 點形成參考空間坐標軸且所述校正點具有參考空間坐標；用所述第一圖像傳 感器采集包括前述校正點中至少三個校正點以形成第一圖像，其中所述第一圖像形成第一圖像坐標軸且所述第一圖像中的校正點具有第一圖像坐標；根 據(jù)所述參考空間坐標和所述第一圖像坐標求得第一轉(zhuǎn)換矩陣；用所述第二圖 像傳感器采集包括前述校正點中至少三個校正點以形成第二圖像，其中所述 第二圖像形成第二圖像坐標軸且所述第二圖像中的校正點具有第二圖像坐 標；根據(jù)所述參考空間坐標和所述第二圖像坐標求得第二轉(zhuǎn)換矩陣；以及利 用所述第一轉(zhuǎn)換矩陣和/或所述第二轉(zhuǎn)換矩陣將所述第一圖像和/或所述第二 圖像轉(zhuǎn)換到虛擬平面。
根據(jù)本發(fā)明的另一特點，本發(fā)明再提供一種廣角傳感器陣列模塊的圖像 校正方法，所述廣角傳感器陣列模塊包括第一圖像傳感器和第二圖像傳感 器，所述圖像校正方法包括下列步驟決定所述第一圖像傳感器與所述第二 圖像傳感器的相對空間關系；根據(jù)所述相對空間關系求得至少一個轉(zhuǎn)換矩 陣；以及利用所述轉(zhuǎn)換矩陣將所述第一圖像傳感器所采集的圖像和/或所述第 二圖像傳感器所采集的圖像轉(zhuǎn)換到虛擬平面。
根據(jù)本發(fā)明的另一特點，本發(fā)明再提供一種廣角傳感器陣列模塊的操作 方法，所述廣角傳感器陣列模塊包括第一圖像傳感器、第二圖像傳感器和存 儲單元存儲有至少一個轉(zhuǎn)換矩陣，該轉(zhuǎn)換矩陣是根據(jù)所述第一圖像傳感器與 所述第二圖像傳感器的相對空間關系所求得，所述操作方法包括下列步驟 以所述第一圖像傳感器采集第三圖像；以所述第二圖像傳感器采集第四圖 像；利用所述轉(zhuǎn)換矩陣將所述第三圖像和/或所述第四圖像轉(zhuǎn)換到虛擬平面； 決定所述虛擬平面中所采集物體圖像的至少一個特征參數(shù)；及傳輸所述特征 參數(shù)到圖像顯示裝置或存儲裝置。
根據(jù)本發(fā)明的另一特點，本發(fā)明再提供一種廣角傳感器陣列模塊的操作 方法，所述廣角傳感器陣列模塊包括第一圖像傳感器、第二圖像傳感器及存 儲有至少一個轉(zhuǎn)換矩陣的存儲單元，所述轉(zhuǎn)換矩陣是根據(jù)所述第一圖像傳感 器與所述第二圖像傳感器的相對空間關系所求得，所述操作方法包括下列步 驟以所述第一圖像傳感器采集第三圖像；采集所述第三圖像中的物體圖像的第一特征參數(shù)；以所述第二圖像傳感器采集第四圖像；采集所述第四圖像 中的物體圖像的第二特征參數(shù)；利用所述轉(zhuǎn)換矩陣將所述第一特征參數(shù)和所 述第二特征參數(shù)轉(zhuǎn)換到虛擬平面；以及傳輸所述特征參數(shù)到圖像顯示裝置或 存儲裝置。根據(jù)本發(fā)明的另一特點，本發(fā)明再提供一種指向定位系統(tǒng)，包括廣角傳 感器陣列模塊、至少一個光源及圖像顯示裝置。所述廣角傳感器陣列模塊用 于產(chǎn)生組合圖像并具有組合視角，所述廣角傳感器陣列包括第一圖像傳感 器用于采集第一圖像；第二圖像傳感器用于采集第二圖像，所述第二圖像傳 感器與所述第一圖像傳感器具有相對空間關系；及圖像處理單元，存儲有轉(zhuǎn) 換矩陣并利用該轉(zhuǎn)換矩陣組合所述第一圖像及所述第二圖像為組合圖像，其 中所述轉(zhuǎn)換矩陣是根據(jù)所述第一圖像傳感器與所述第二圖像傳感器的相對 空間關系所求得。所述光源位于所述組合視角內(nèi)。所述圖像顯示裝置耦合連 接所述廣角傳感器陣列模塊，用于將所述光源的圖像結合于所述組合圖像并 顯示所述組合圖像及所述光源圖像。本發(fā)明的廣角傳感器陣列模塊及其操作方法與應用，利用于校正模式中 預先求得的至少一個轉(zhuǎn)換矩陣進行多個圖像的合成，可有效增加所述廣角傳 感器陣列模塊的整體視角，以增加其實用性。此外，由于所述廣角傳感器陣列模塊中不需使用特殊鏡頭，可有效降低成本。


圖la是本發(fā)明實施例的廣角傳感器陣列模塊的示意圖；圖lb是本發(fā)明實施例的廣角傳感器陣列模塊的另一示意圖；圖2是本發(fā)明實施例的廣角傳感器陣列模塊的操作方法的流程圖；圖3是本發(fā)明實施例的廣角傳感器陣列模塊的校正模式的流程圖；圖4a是本發(fā)明實施例的廣角傳感器陣列模塊的校正模式的操作示意圖；圖4b是圖4a的廣角傳感器陣列模塊的校正模式的操作示意圖的上視圖；圖5a顯示了以定位點的參考空間坐標軸為基準的定位點圖像的示意圖； 圖5b顯示了以第一圖像傳感器的第一圖像坐標軸為基準所采集的定位 點圖像的示意圖；圖5c顯示了以第二圖像傳感器的第二圖像坐標軸為基準所采集的定位點圖像的示意圖；圖5d顯示了不同坐標軸間定位點圖像的坐標轉(zhuǎn)換的示意圖；圖6a是本發(fā)明實施例的廣角傳感器陣列模塊的校正模式的另一操作示意圖，其中使用6個定位點進行校正；圖6b顯示了圖6a中不同坐標軸間定位點圖像的坐標轉(zhuǎn)換的示意圖； 圖7a是本發(fā)明實施例的廣角傳感器陣列模塊的校正模式的另一操作示意圖，其中使用8個定位點進行校正；圖7b顯示了圖7a中不同坐標軸間定位點圖像的坐標轉(zhuǎn)換的示意圖； 圖8a是本發(fā)明實施例的廣角傳感器陣列模塊的校正模式的另一操作示意圖；圖8b是圖8a的廣角傳感器陣列模塊的校正模式的操作示意圖的上視圖；圖9a顯示了圖8a中以定位點的參考空間坐標軸為基準的定位點圖像的 示意圖；圖9b顯示了圖8a中以第一圖像傳感器的第一圖像坐標軸為基準所采集 的定位點圖像的示意圖；圖9c顯示了圖8a中以第二圖像傳感器的第二圖像坐標軸為基準所采集 的定位點圖像的示意圖；圖10a是本發(fā)明實施例的廣角傳感器陣列模塊的操作模式的流程圖；圖10b是本發(fā)明實施例的廣角傳感器陣列模塊的操作模式的另一流程圖；12圖lla是本發(fā)明實施例的廣角傳感器陣列模塊的操作模式的應用示意圖；圖llb顯示了圖lla的廣角傳感器陣列模塊的第一圖像傳感器所采集的圖像;圖llc顯示了圖lla的廣角傳感器陣列模塊的第二圖像傳感器所采集的圖像;圖lld顯示了圖lla的廣角傳感器陣列模塊所采集的組合圖像。主要元件符號說明 1,1'廣角傳感器陣列模塊 21 處理器 23 傳輸接口單元 Sj第一圖像傳感器 VAt第一視角P。P4定位點pr，~p4"定位點圖像n,第一圖像傳感器的中央法線2圖像處理單元 22存儲單元 VA,VA' 組合視角 S2第二圖像傳感器 VA2 第二視角P,' P4'定位點圖像n組合視角的中央法線H2第二圖像傳感器的中央法線e,，-o組合視角的中央法線與ni間的橫向角度差 02，① 組合視角的中央法線與n2間的橫向角度差e定位點空間坐標z軸的圖像坐標z軸間的縱向角度差31~32步驟 310 313步驟3211-3215步驟 3221-3226步驟T3，T4光源 I3第三圖像I4 第四圖像 CI組合圖像 Hl5H2 轉(zhuǎn)換矩陣1具體實施方式
為了讓本發(fā)明的上述和其他目的、特征及優(yōu)點能更明顯，下文特舉本發(fā) 明實施例，并配合所附圖示，作詳細說明如下。在本說明書的說明內(nèi)容中， 類似的元件是以相同的編號表示。請參照圖la及l(fā)b所示，其顯示了根據(jù)本發(fā)明實施例的廣角傳感器陣列模塊i及r的示意圖。所述廣角傳感器陣列模塊i及r包括第一圖像傳感器S,、第二圖像傳感器S2以及圖像處理單元2，其包括處理器21、存儲單元 22和傳輸接口單元23。此外，所述廣角傳感器陣列模塊1及l(fā)'還可以包括設置于所述第一圖像傳感器S,和所述第二圖像傳感器S2前方的多個透鏡或透鏡組(未圖示)，用于提高所述圖像傳感器的感光效率；所述圖像處理單元2還可以包括用于提供所述廣角傳感器陣列模塊i及r操作時所需的電力的電力供應單元(未圖示)。所述第一和第二圖像傳感器Si及S2例如可為CCD圖像傳感器或CMOS 圖像傳感器，但并不限于此。所述第一圖像傳感器S,用于采集圖像，并具有 第一視角VA1;所述第二圖像傳感器S2用于采集圖像，并具有第二視角VA2;所述廣角傳感器陣列模塊i及r則用于釆集組合圖像，并分別具有組合視角VA及VA'，該組合視角VA及VA'由所述第一視角VA,和所述第二視角VA2 組合而成，因此VA(VA，VAi且VA(VA')〉VA2。此外，此實施例中雖僅以兩 個圖像傳感器做說明，然而在實際上根據(jù)不同的應用，所述廣角傳感器陣列模塊i及r可以具有兩個以上圖像傳感器。請再參照圖la所示，所述廣角傳感器陣列模塊1中，所述第一圖像傳 感器S,和所述第二圖像傳感器S2平行地設置，也就是說所述第一圖像傳感 器Si的第一視角VA,的中央法線m、所述第二圖像傳感器S2的第二視角VA2 的中央法線ri2與所述組合視角VA的中央法線間不具有角度差。所述第一圖 像傳感器S,和所述第二圖像傳感器S2耦合連接所述圖像處理單元2。所述圖像處理單元2的處理器21用于處理所述第一圖像傳感器S,和所述第二圖 像傳感器S2所采集的圖像，例如圖像校正、圖像合成、特征采集及失真補償 等。所述存儲單元22用于存儲所述第一圖像傳感器S,和所述第二圖像傳感 器S2所采集的圖像和/或所述處理器21所處理過的圖像，并存儲多個參數(shù)以 供所述處理器21處理所述第一圖像傳感器S!和所述第二圖像傳感器S2所采 集的圖像，例如所述第一圖像傳感器S!和所述第二圖像傳感器S2間的空間 距離和所述中央法線n!、化及n間的夾角e(圖la中0=0° )。所述傳輸接口 單元23用于將所述廣角傳感器陣列模塊1及r所采集的圖像傳輸?shù)嚼鐖D 像顯示器(未圖示)進行顯示或記憶裝置進行存儲。本發(fā)明利用所述圖像處理 單元2處理并合成所述第一圖像傳感器S!和所述第二圖像傳感器S2所采集 的圖像，以使所述廣角傳感器陣列模塊1可具有較寬廣組合視角VA。請再參照圖lb所示，所述廣角傳感器陣列模塊l'為所述廣角傳感器陣 列模塊1的替代實施例，其中所述第一圖像傳感器Si和所述第二圖像傳感器S2彼此間具有角度差e-e,+02，亦即所述第一視角va,的中央法線ni與所述組合視角va的中央法線間具有第一角度差e1;所述第二視角VA2的中央法 線n2與所述組合視角VA的中央法線間具有第二角度差e2，其中所述第一角度差"可等于或不等于所述第二角度差e2。在此實施例中，所述存儲單元22中存儲有所述第一圖像傳感器S,和所述第二圖像傳感器S2間的相對空間關系的各種參數(shù)，例如空間距離、所述第一角度差e,、所述第二角度差e2以及根據(jù)所述參數(shù)所求得圖像間的轉(zhuǎn)換矩陣；所述處理器21則利用所述轉(zhuǎn) 換矩陣形成虛擬平面。在此替代實施例中，所述圖像處理單元2同樣處理并 合成所述第一圖像傳感器S,和所述第二圖像傳感器S2所采集的圖像，以使所述廣角傳感器陣列模塊r具有較寬廣的組合視角VA'，其中VA'〉VA。此 外，本發(fā)明的廣角傳感器陣列模塊i及r可應用于指向定位系統(tǒng)，例如光槍游戲的光槍指向定位或指向器(pointer)的指向定位，以減少指向定位系統(tǒng)的 使用視角限制。請參照圖2所示，其顯示了本發(fā)明實施例的廣角傳感器陣列模塊i及r
的操作方法的流程圖，其包括校正模式31和操作模式32。所述校正模式31
在所述廣角傳感器陣列模塊i及r出廠前或在第一次使用前所執(zhí)行，用于獲
得所述第一圖像傳感器S,和所述第二圖像傳感器S2間的相對空間關系的各
種參數(shù)，并據(jù)以求得兩圖像間的轉(zhuǎn)換矩陣以形成虛擬平面；所述操作模式32
包括將所述第一圖像傳感器Si和所述第二圖像傳感器S2所采集的圖像合成
到所述虛擬平面以及采集圖像中的物體特征等步驟。所述校正模式31和所 述操作模式32的詳細執(zhí)行方式將于下面的段落中說明。
請參照圖3所示，其顯示了本發(fā)明實施例的校正模式31的流程圖，包 括下列步驟提供至少三個校正點于第一圖像傳感器和第二圖像傳感器的視 角內(nèi)，其中所述校正點具有參考空間坐標軸(步驟310);以所述第一圖像傳
感器采集第一圖像，其具有第一圖像坐標軸(步驟3111);求得所述第一圖像 中所述校正點的圖像坐標(步驟3112);根據(jù)所述參考空間坐標軸和所述第一 圖像坐標軸的相對空間關系求得第一轉(zhuǎn)換矩陣(步驟3113);以所述第二圖像 傳感器采集第二圖像，其具有第二圖像坐標軸(步驟3121);求得所述第二圖
像中所述校正點的圖像坐標(步驟3122);根據(jù)所述參考空間坐標軸和所述第 二圖像坐標軸的相對空間關系求得第二轉(zhuǎn)換矩陣(步驟3123);以及利用所述
第一轉(zhuǎn)換矩陣將所述第一圖像轉(zhuǎn)換到虛擬平面和/或利用所述第二轉(zhuǎn)換矩陣
將所述第二圖像轉(zhuǎn)換到所述虛擬平面(步驟313)。
請參照圖4a及4b所示，圖4a顯示本發(fā)明實施例的校正模式31的一種 實施方式，圖4b則為圖4a的上視圖。在此實施方式中，利用所述廣角傳感 器陣列模塊l'采集空間中4定位點P廣P4的圖像以作為校正參數(shù)，其中所述
定位點P廣P4例如可為紅外光發(fā)光二極體或紅外光鐳射二極體，且所述定位
點Pi P4位于所述第一視角VAi與所述第二視角VA2的重疊區(qū)域(步驟310)。 所述定位點PrP4具有(x,y,4軸的參考空間坐標軸；所述廣角傳感器陣列模 塊l，基于(X,Y,Z)軸的空間坐標軸采集圖像，且所述第一和第二圖像傳感器
16擁有各自的圖像坐標軸，例如所述第一圖像傳感器具有(X,，Y,Z^軸的第一圖 像坐標軸；所述第二圖像傳感器具有(X2,Y，Z^軸的第二圖像坐標軸。于此實 施方式中，所述第一圖像傳感器Si和所述第二圖像傳感器S2間具有橫向角 度差而不具有縱向角度差，例如所述第一圖像傳感器S,的中央法線 mPd,O，Z,)與所述定位點P廣P4的參考空間坐標軸的z軸間具有第一角度差 e產(chǎn)-(D;所述第二圖像傳感器S2的中央法線ri2(X2，0，Z2)與所述定位點PHP4 的參考空間坐標軸的z軸間具有第二角度差02=。(圖4b)。
圖5a顯示以所述定位點P廣P4的參考空間坐標軸為基準的定位點圖像。 圖5b顯示所述第一圖像傳感器S,所釆集的定位點圖像Pr P4'(第一圖像)， 其以所述第一圖像坐標軸為基準(步驟3111)，并可計算出所述第一圖像中各 定位點的圖像坐標(步驟3112)。通過坐標變換則可求得所述參考空間坐標軸 與所述第一圖像坐標軸間的轉(zhuǎn)換矩陣H,如式(l)(步驟3113):
仏=
cos(-O) 0 - sin(-O). 0 1 0
sin(—①)0 cos(_0)
(1)
也就是說，若以所述定位點P廣P4的參考空間坐標軸為基準的定位點
P廣P4圖像坐標已知為(x，y，z)，則可通過所述轉(zhuǎn)換矩陣&將圖像坐標(x,y，z) 轉(zhuǎn)換為以所述第一圖像傳感器S,的第一圖像坐標軸為基準的圖像坐標如式 (2)，
<formula>formula see original document page 17</formula>同理，圖5c顯示所述第二圖像傳感器S2所采集的定位點圖像Pr' P4"(第
二圖像)，其以所述第二圖像坐標軸為基準(步驟3121)，并可計算出所述第二 圖像中各定位點的圖像坐標(步驟3122)。同理，通過坐標變換則可求得所述 參考空間坐標軸與所述第二圖像坐標軸間的轉(zhuǎn)換矩陣H2如式(3)(步驟 3123):<formula>formula see original document page 18</formula>
(3)
也就是說，若以所述定位點P,~P4的參考空間坐標軸為基準的定位點
P, P4圖像坐標已知為(x,y,z)，則可通過所述轉(zhuǎn)換矩陣H2將圖像坐標(x,y,z) 轉(zhuǎn)換為以所述第二圖像傳感器S2的第二圖像坐標軸為基準的圖像坐標如式 (4)，
<formula>formula see original document page 18</formula>
上述求得的轉(zhuǎn)換矩陣H,及H2表示所述第一圖像傳感器S,與所述第二圖 像傳感器S2相對的空間關系，最后利用所述第一轉(zhuǎn)換矩陣H,將所述第一圖
像轉(zhuǎn)換到虛擬平面和/或利用所述第二轉(zhuǎn)換矩陣H2將所述第二圖像轉(zhuǎn)換到所
述虛擬平面(步驟313)，其中所述虛擬平面可以以所述定位點P, P4的參考空 間坐標軸為基準(即所述第一圖像和所述第二圖像分別通過轉(zhuǎn)換矩陣轉(zhuǎn)換到 所述參考空間坐標軸)、以所述第一圖像傳感器S,的第一圖像坐標軸為基準 (即所述第二圖像通過轉(zhuǎn)換矩陣轉(zhuǎn)換到所述第一圖像坐標軸)或以所述第二圖 像傳感器S2的第二圖像坐標軸為基準(即所述第一圖像通過轉(zhuǎn)換矩陣轉(zhuǎn)換到 所述第二圖像坐標軸)。
此外，當圖像傳感器間的相對空間關系為未知時，利用所述第一圖像傳 感器S,所采集的定位點圖像Pr P4'的坐標和預先設定的所述定位點P廣P4 的圖像坐標，例如(x，y,z)，即可根據(jù)式(2沐得第一轉(zhuǎn)換矩陣Hn同理，禾擁 所述第二圖像傳感器S2所采集的定位點圖像Pr' P4"的坐標和預先設定的所 述定位點P,~P4的圖像坐標，即可根據(jù)式(4)求得第二轉(zhuǎn)換矩陣H2。
請參照圖5d所示，其顯示將所述第一圖像和所述第二圖像通過轉(zhuǎn)換矩 陣轉(zhuǎn)換到所述虛擬平面的實施例。例如當以所述定位點P, P4的參考空間坐 標軸為基準時，所述定位點的坐標為P產(chǎn)(-U)、 P2=(l,l)、 PH-1,-1)及 P4=(l，-1)。若己知圖像傳感器間的相對空間關系(即已知轉(zhuǎn)換矩陣)，則可透
18過所述轉(zhuǎn)換矩陣Hi轉(zhuǎn)換為以所述第一圖像坐標軸為基準的圖像坐標(圖5d
的左下圖)或透過所述轉(zhuǎn)換矩陣H2轉(zhuǎn)換為以所述第二圖像坐標軸為基準的圖
像坐標(圖5d的右下圖)。此外，若以所述第一圖像坐標為基準，所述定位點
P," P4"經(jīng)過兩次轉(zhuǎn)換矩陣則可轉(zhuǎn)換到以所述第一圖像坐標軸為基準的虛擬
平面上，并分別相應對于定位點P,' P4，；同理，若以所述第二圖像坐標軸為
基準，所述定位點Pf P4'經(jīng)過兩次轉(zhuǎn)換矩陣則可轉(zhuǎn)換到以所述第二圖像坐標 軸為基準的虛擬平面上，并分別相應對于定位點P, P4"。
可以了解的是，定位點的數(shù)目并不限于4個。由于至少需要3個定位點 才能形成參考空間坐標軸，因此在本發(fā)明中，所述第一視角VA,和所述第二 視角VA2的視角區(qū)域內(nèi)分別至少需設置3定位點。圖6a及6b則顯示本發(fā)明 的校正模式31中利用6個定位點的實施方式；圖7a及7b則顯示本發(fā)明的 校正模式31中利用8個定位點的實施方式，因其轉(zhuǎn)換矩陣的計算方式類似 于使用4個定位點的實施方式，于此不再贅述。
請參照圖8a及8b所示，圖8a顯示本發(fā)明實施例的校正模式31的替代 實施例，圖8b則為圖8a的上視圖。在此替代實施例中，所述廣角傳感器陣 列模塊l'同樣采集空間中4個定位點P廣P4的圖像以作為校正參數(shù)，其中所 述定位點P。P4位于所述第一視角VA,與所述第二視角VA2的重疊區(qū)域(步驟 310)。所述定位點P廣P4具有(x，y,z)軸的參考空間坐標軸；所述廣角傳感器 陣列模塊l，基于(X,Y，Z)軸的空間坐標軸采集圖像，且所述第一和第二圖像 傳感器擁有各自的圖像坐標軸，例如所述第一圖像傳感器具有(Xi,Y，Z^軸的 第一圖像坐標軸；所述第二圖像傳感器具有(X2,Y，Z2)軸的第二圖像坐標軸。 在替代實施例中，所述第一圖像傳感器S,和所述第二圖像傳感器S2間具有 橫向角度差以及縱向角度差，例如所述第一圖像傳感器S,的中央法線 m(XhO，Z,)與所述定位點Pr^4的參考空間坐標軸的z軸間具有橫向第一角度
差e產(chǎn)-o以及縱向角度差e;所述第二圖像傳感器S2的中央法線n2(x2，o,z2) 與所述定位點Pi P4的參考空間坐標軸的z軸間具有橫向第二角度差e^①以及縱向角度差e，其中所述第一圖像傳感器s！的中央法線ni與所述定位點
Pr^P4的參考空間坐標軸的z軸間的縱向角度差也可不等于所述第二圖像傳 感器S2的中央法線n2與所述定位點Pi P4的參考空間坐標軸的z軸間的縱向 角度差。
請參照圖9a至9c所示，圖9a顯示以所述定位點Pr^4的參考空間坐標 軸為基準的定位點圖像。圖9b顯示所述第一圖像傳感器S,所采集的定位點 圖像P,， P4'，其以所述第一圖像坐標軸為基準(步驟3111)，并可求得各定位 點圖像坐標(步驟3112)。通過坐標變換則可求得所述參考空間坐標軸與所述 第一圖像坐標軸間的x軸方向轉(zhuǎn)換矩陣H^如式(5)以及y軸方向轉(zhuǎn)換矩陣 H,y如式(6)(步驟3113):
<formula>formula see original document page 20</formula>接著可求得所述參考空間坐標軸與所述第一圖像坐標軸間的轉(zhuǎn)換矩陣 H,如式(7):
<formula>formula see original document page 20</formula>(7)
也就是說，若以所述定位點Pr^P4的參考空間坐標軸為基準的定位點 P廣P4圖像坐標已知為(x,y,z)，則可通過所述轉(zhuǎn)換矩陣&將圖像坐標為(x，y，z) 轉(zhuǎn)換為以所述第一圖像傳感器Si的第一圖像坐標軸為基準的圖像坐標如式 (8)，
<formula>formula see original document page 20</formula>
同理，圖9C顯示所述第二圖像傳感器S2所采集的定位點圖像Pr' P4其以所述第二圖像坐標為基準(步驟3121)，同樣可求得各定位點的坐標(步驟
3122) 。通過坐標變換則可求得所述參考空間坐標軸與所述第二圖像坐標軸 間的x軸方向轉(zhuǎn)換矩陣H^如式(9)及y軸方向轉(zhuǎn)換矩陣H2y如式(10)(步驟
3123) :
仏，=
co< (D」 0 - w'w「 <!>, 0 1 0
O J 0 cos/<D
10 0 .
0 譜W — 0 ^力W
(9)
(10)
接著可求得所述參考空間坐標軸與所述第二圖像坐標軸間的轉(zhuǎn)換矩陣 H2如式(ll):
//2 = 7/2;^//^ =
cos(①)-sin(O) sin(0) - sin(O) cos(0)' 0 cos(60 -sin(S)
sin(O)cos(O)sin(0) cos(O)cos(S)
也就是說，若以所述定位點Pi P4的參考空間坐標軸為基準的定位點
P廣P4圖像坐標己知為(x，y，z)，則可通過所述轉(zhuǎn)換矩陣H2將圖像坐標為(x，y，z) 轉(zhuǎn)換為以所述第二圖像傳感器S2的第二圖像坐標軸為基準的圖像坐標如式 (12)，
jc cos(O) - O sin(0) + z cos(。) sin(O)
仏x少=ycos(6) —zsin(0)(12)
x sin(O) + O sin(。 + z cos(0)) cos(O)
此外，當圖像傳感器間的相對空間關系為未知時，利用所述第一圖像傳
感器s!所采集的定位點圖像pr P4'的坐標和預先設定的所述定位點P,~P4
的圖像坐標，例如(x，y,z)，即可根據(jù)式(8)求得第一轉(zhuǎn)換矩陣H,;同理，利用
所述第二圖像傳感器S2所采集的定位點圖像P, P4"的坐標和預先設定的所
述定位點Pi P4的圖像坐標，即可根據(jù)式(12)求得第二轉(zhuǎn)換矩陣H2。
執(zhí)行所述校正模式31后所求得的所述轉(zhuǎn)換矩陣(&、 H2)以及虛擬平面， 將預先被存儲于所述圖像處理單元2的存儲單元22以供所述處理器21在操
21作模式32中使用。
在另一替代實施例中，所述第一圖像傳感器S,和所述第二圖像傳感器 S2可設置于預制框架(未圖示)上，且當所述第一圖像傳感器S,和所述第二圖 像傳感器S2設置于所述框架時，圖像傳感器彼此間的相對空間關系已預先得 知。例如己預先知道所述第一圖像傳感器S,的中央法線與所述第二圖像傳感
器S2的中央法線間所具有的橫向角度差和/或縱向角度差。因此在此替代實
施例的校正模式31中，則不須分別設置至少三個定位點于所述第一圖像傳 感器S,和所述第二圖像傳感器S2的視角區(qū)域內(nèi)，可直接利用圖像傳感器彼 此間的相對空間關系以計算轉(zhuǎn)換矩陣，并利用所述轉(zhuǎn)換矩陣求得虛擬平面， 最后將所述轉(zhuǎn)換矩陣和虛擬平面存儲于所述存儲單元22內(nèi)。此時，所述虛 擬平面可以以所述第一圖像傳感器S,的第一圖像坐標軸為基準(即所述第二 圖像傳感器S2所采集的圖像可通過所述轉(zhuǎn)換矩陣轉(zhuǎn)換到所述第一圖像坐標
軸)或以所述第二圖像傳感器S2的第二圖像坐標軸為基準(即所述第一圖像傳
感器S,所采集的圖像可通過所述轉(zhuǎn)換矩陣轉(zhuǎn)換到所述第二圖像坐標軸)。
請再參照圖2所示，如前所述，所述校正模式31為所述廣角傳感器陣 列模塊1及l(fā)'出廠前或使用前所執(zhí)行的初始校正程序，在實際使用階段(操 作模式32)則不需重復進行所述校正模式31。以下接著說明操作模式32。
請參照圖10a所示，其顯示本發(fā)明實施例的廣角傳感器陣列模塊1及r 的操作模式32的流程圖，其包括用第一圖像傳感器采集第三圖像(步驟 3211);用第二圖像傳感器采集第四圖像(步驟3212);利用所述轉(zhuǎn)換矩陣將所 述第三圖像和所述第四圖像合成到虛擬平面(步驟3213);釆集所述組合圖像 中的物體特征(步驟3214)以及傳送所述物體特征參數(shù)(步驟3215)。
請參照圖10a及l(fā)la至lld所示，以下利用應用實施例來說明所述廣角 傳感器陣列模塊1及l(fā)'的操作模式32。此時，所述廣角傳感器陣列模塊r 應用于指向定位系統(tǒng)，且所述第一圖像傳感器Si的第一視角VA!和所述第 二圖像傳感器S2的第二視角VA2內(nèi)分別具有例如光槍的瞄準器或指向器(pointer)的光源丁3及T4。首先用所述第一圖像傳感器S,采集第三圖像13涉 驟3211)并用所述第二圖像傳感器S2采集第四圖像14(步驟3212);接著所述 處理單元21利用預先存儲于所述存儲單元22的轉(zhuǎn)換矩陣，例如校正模式31 所求得的轉(zhuǎn)換矩陣H,及H2，將所述第三圖像13和所述第四圖像14合成到虛 擬平面上以形成組合圖像CI，其具有組合視角VA。如前所述，所述虛擬平 面可以以所述第三圖像13或所述第四圖像14的圖像坐標軸為基準；接著所述 處理器21采集所述組合圖像CI中物體圖像的特征參數(shù)，例如物體的坐標、 面積、色彩、方向性、邊界、端點數(shù)以及長寬比等參數(shù)(步驟3214);最后通 過所述傳輸接口單元23將所述物體參數(shù)傳送至圖像顯示器或存儲裝置(未圖 示)，其中所述圖像顯示器例如可以是電視屏幕、投影幕、游戲機屏幕或電 腦屏幕，其可將所述光源T3及T4的圖像坐標結合于所述組合圖像CI并顯示 所述光源T3及丁4及所述組合圖像CI的圖像。
請參照圖10b及l(fā)la至lld所示，接著說明本發(fā)明實施例的廣角傳感器 陣列模塊1及l(fā)'的操作模式32的另一替代實施例，包括下列步驟以第一 圖像傳感器采集第三圖像(步驟3221);采集第三圖像的物體特征(步驟3222); 以第二圖像傳感器采集第四圖像(步驟3223);采集第四圖像的物體特征(步驟 3224);利用所述轉(zhuǎn)換矩陣將所述第一和所述第二特征參數(shù)合成到虛擬平面 (步驟3226);以及傳送所述物體特征參數(shù)(步驟3215)。本替代實施例與圖10a 的差異在于，所述第三及第四圖像被采集后，所述處理器11則分別先采集 圖像中物體的特征參數(shù)，再利用存儲于所述存儲單元22中的轉(zhuǎn)換矩陣將所 述物體參數(shù)合成到所述虛擬平面。最后同樣經(jīng)過所述傳輸接口單元23將所 述物體參數(shù)傳送到圖像顯示器或存儲裝置。由此，本發(fā)明通過設置至少兩個 圖像傳感器于廣角傳感器陣列模塊1及l(fā)'中，可有效增加指向定位系統(tǒng)的視 角范圍(如圖lld)。
綜上所述，由于可通過使用多個圖像傳感器以增加圖像感測模塊的視角 范圍，因此如何正確合成多個圖像成為一個重要的課題。有鑒于此，本發(fā)明提出一種廣角傳感器陣列模塊及其圖像校正方法及操作方法，透過預先存儲 至少一個轉(zhuǎn)換矩陣于所述廣角傳感器陣列模塊中，并在操作時利用所述轉(zhuǎn)換 矩陣正確地組合圖像。此外，本發(fā)明的廣角傳感器陣列模塊可應用于指向定 位系統(tǒng)，例如槍擊游戲，可有效增加指向定位系統(tǒng)的操作視角范圍，并降低 系統(tǒng)成本。
雖然本發(fā)明已以上述優(yōu)選實施例公開，然其并非用于限定本發(fā)明，任何 本發(fā)明所屬技術領域中具有通常知識者，在不脫離本發(fā)明的精神和范圍內(nèi)， 可以作各種變化與修改。因此本發(fā)明的保護范圍當根據(jù)附加的權利要求書所 要求的范圍為準。
權利要求
1、一種廣角傳感器陣列模塊，用于產(chǎn)生組合圖像，該廣角傳感器陣列模塊包括第一圖像傳感器，用于采集第一圖像；第二圖像傳感器，用于采集第二圖像，且該第二圖像傳感器與所述第一圖像傳感器具有相對空間關系；存儲單元，存儲至少一個轉(zhuǎn)換矩陣，其中該轉(zhuǎn)換矩陣是根據(jù)所述第一圖像傳感器與所述第二圖像傳感器的所述相對空間關系所求得；以及處理器，利用所述轉(zhuǎn)換矩陣將所述第一圖像和所述第二圖像組合為組合圖像。
2、根據(jù)權利要求1所述的廣角傳感器陣列模塊，其中所述相對空間關 系為所述第一圖像傳感器與所述第二圖像傳感器間的橫向方向夾角。
3、根據(jù)權利要求2所述的廣角傳感器陣列模塊，其中所述橫向方向夾 角為2(D，所述轉(zhuǎn)換矩陣為cos(—(1)) 0 - sin(—(D) 0 1 0sin(-(D) 0 cos(—和/或cos(O) 0 _ sin(①)-0 1 0sin(O)) 0 cos(<D)
4、根據(jù)權利要求1所述的廣角傳感器陣列模塊，其中所述相對空間關 系為所述第一圖像傳感器與所述第二圖像傳感器間的橫向方向夾角和縱向 方向夾角。
5、根據(jù)權利要求4所述的廣角傳感器陣列模塊，其中所述橫向方向夾 角為20)，所述縱向方向夾角為仏所述轉(zhuǎn)換矩陣為<formula>formula see original document page 3</formula>禾口/或<formula>formula see original document page 3</formula>
6、 根據(jù)權利要求1所述的廣角傳感器陣列模塊，還包括用于設置所述 第一圖像傳感器和所述第二圖像傳感器的框架，以使所述第一圖像傳感器與 所述第二圖像傳感器間具有所述相對空間關系。
7、 一種廣角傳感器陣列模塊的圖像校正方法，所述廣角傳感器陣列模 塊包括第一圖像傳感器和第二圖像傳感器，所述圖像校正方法包括下列步驟提供至少三個校正點，其中所述校正點形成參考空間坐標軸且所述校正點具有參考空間坐標；用所述第一圖像傳感器采集包括前述校正點中至少三個校正點以形成第一圖像，其中所述第一圖像形成第一圖像坐標軸且所述第一圖像中的校正點具有第一圖像坐標；根據(jù)所述參考空間坐標和所述第一圖像坐標求得第一轉(zhuǎn)換矩陣； 用所述第二圖像傳感器采集包括所述校正點中至少三個校正點以形成第二圖像，其中所述第二圖像形成第二圖像坐標軸且所述第二圖像中的校正點具有第二圖像坐標；根據(jù)所述參考空間坐標和所述第二圖像坐標求得第二轉(zhuǎn)換矩陣；以及 利用所述第一轉(zhuǎn)換矩陣和/或所述第二轉(zhuǎn)換矩陣將所述第一圖像和/或所述第二圖像轉(zhuǎn)換到虛擬平面。
8、 根據(jù)權利要求7所述的圖像校正方法，其中所述參考空間坐標軸、所述第一圖像坐標軸和所述第二圖像坐標軸為三維直角坐標系統(tǒng)。
9、 根據(jù)權利要求7所述的圖像校正方法，其中所述虛擬平面是基于所述參考空間坐標軸、所述第一圖像坐標軸和所述第二圖像坐標軸其中之一。
10、 根據(jù)權利要求9所述的圖像校正方法，其中當虛擬平面基于所述參考空間坐標軸時，利用所述第一轉(zhuǎn)換矩陣將所述第一圖像轉(zhuǎn)換到所述虛擬平面和利用所述第二轉(zhuǎn)換矩陣將所述第二圖像轉(zhuǎn)換到所述虛擬平面。
11、 根據(jù)權利要求9所述的圖像校正方法，其中當虛擬平面基于所述第一圖像坐標軸時，利用所述第一和第二轉(zhuǎn)換矩陣將所述第二圖像轉(zhuǎn)換到所述虛擬平面。
12、 根據(jù)權利要求9所述的圖像校正方法，其中當虛擬平面基于所述第二圖像坐標軸時，利用所述第一和第二轉(zhuǎn)換矩陣將所述第一圖像轉(zhuǎn)換到所述虛擬平面。
13、 一種廣角傳感器陣列模塊的圖像校正方法，所述廣角傳感器陣列模塊包括第一圖像傳感器和第二圖像傳感器，所述圖像校正方法包括下列步驟決定所述第一圖像傳感器與所述第二圖像傳感器的相對空間關系；根據(jù)所述相對空間關系求得至少一個轉(zhuǎn)換矩陣；以及利用所述轉(zhuǎn)換矩陣將所述第一圖像傳感器所采集的圖像和/或所述第二圖像傳感器所采集的圖像轉(zhuǎn)換到虛擬平面。
14、 根據(jù)權利要求13所述的圖像校正方法，其中所述相對空間關系為所述第一圖像傳感器與所述第二圖像傳感器間的橫向方向夾角和/或縱向方向夾角。
15、 根據(jù)權利要求13所述的圖像校正方法，其中所述虛擬平面是基于所述第一圖像傳感器的坐標軸或所述第二圖像傳感器的坐標軸。
16、 根據(jù)權利要求13所述的圖像校正方法，其中所述第一圖像傳感器和第二圖像傳感器的視角可重疊或不重疊。
17、 一種廣角傳感器陣列模塊的操作方法，所述廣角傳感器陣列模塊包括第一圖像傳感器、第二圖像傳感器和存儲有至少一個轉(zhuǎn)換矩陣的存儲單元，該轉(zhuǎn)換矩陣是根據(jù)所述第一圖像傳感器與所述第二圖像傳感器的相對空間關系所求得，所述操作方法包括下列步驟用所述第一圖像傳感器采集第三圖像；用所述第二圖像傳感器采集第四圖像；利用所述轉(zhuǎn)換矩陣將所述第三圖像和/或所述第四圖像轉(zhuǎn)換到虛擬平面；以及采集所述虛擬平面中所采集物體圖像的至少一個特征參數(shù)。
18、 根據(jù)權利要求17所述的操作方法，其中所述特征參數(shù)是選自物體的坐標、面積、色彩、方向性、邊界、端點數(shù)以及長寬比構成的組中的一種或幾種的組合。
19、 根據(jù)權利要求17所述的操作方法，其中所述第一圖像傳感器與所述第二圖像傳感器的所述相對空間關系為所述第一圖像傳感器與所述第二圖像傳感器間的橫向方向夾角和/或縱向方向夾角。
20、 一種廣角傳感器陣列模塊的操作方法，所述廣角傳感器陣列模塊包括第一圖像傳感器、第二圖像傳感器和存儲有至少一個轉(zhuǎn)換矩陣的存儲單元，該轉(zhuǎn)換矩陣是根據(jù)所述第一圖像傳感器與所述第二圖像傳感器的相對空間關系所求得，所述操作方法包括下列步驟用所述第一圖像傳感器采集第三圖像；采集所述第三圖像中的物體圖像的第一特征參數(shù)；用所述第二圖像傳感器采集第四圖像；采集所述第四圖像中的物體圖像的第二特征參數(shù)；以及利用所述轉(zhuǎn)換矩陣將所述第一特征參數(shù)和所述第二特征參數(shù)轉(zhuǎn)換到虛擬平面。
21、 根據(jù)權利要求20所述的操作方法，其中所述第一和第二特征參數(shù)是選自物體的坐標、面積、色彩、方向性、邊界、端點數(shù)以及長寬比構成的組中的一種或幾種的組合。
22、 根據(jù)權利要求20所述的操作方法，其中所述第一圖像傳感器與所述第二圖像傳感器的所述相對空間關系為所述第一圖像傳感器與所述第二圖像傳感器間的橫向方向夾角和/或縱向方向夾角。
23、 一種指向定位系統(tǒng)，包括廣角傳感器陣列模塊，用于產(chǎn)生組合圖像并具有組合視角，所述廣角傳感器陣列包括第一圖像傳感器，用于采集第一圖像；第二圖像傳感器，用于釆集第二圖像，該第二圖像傳感器與所述第一圖像傳感器具有相對空間關系；以及圖像處理單元，存儲有轉(zhuǎn)換矩陣并利用該轉(zhuǎn)換矩陣將所述第一圖像和所述第二圖像組合為組合圖像，其中所述轉(zhuǎn)換矩陣是根據(jù)所述第一圖像傳感器與所述第二圖像傳感器的相對空間關系所求得；至少一個光源，位于所述組合視角內(nèi)；以及圖像顯示裝置，耦合連接所述廣角傳感器陣列模塊，用于將所述光源的圖像坐標與所述組合圖像結合并顯示所述組合圖像和所述光源圖像。
24、根據(jù)權利要求23所述的指向定位系統(tǒng)，其中所述光源為光槍的瞄準器或指向器。
全文摘要
一種用于產(chǎn)生組合圖像的廣角傳感器陣列模塊，該廣角傳感器陣列模塊包括第一圖像傳感器、第二圖像傳感器、存儲單元及處理器。該第一圖像傳感器用于采集一第一圖像。該第二圖像傳感器用于采集一第二圖像并與該第一圖像傳感器具有相對空間關系。該存儲單元存儲至少一個轉(zhuǎn)換矩陣，該轉(zhuǎn)換矩陣是根據(jù)該第一圖像傳感器與該第二圖像傳感器的相對空間關系所求得。所述處理器利用所述轉(zhuǎn)換矩陣組合所述第一圖像及所述第二圖像為組合圖像。本發(fā)明另提供一種廣角傳感器陣列模塊的圖像校正方法、操作方法與應用。
文檔編號H04N5/335GK101656840SQ20081014579
公開日2010年2月24日 申請日期2008年8月22日 優(yōu)先權日2008年8月22日
發(fā)明者古人豪, 林志新, 蔡彰哲, 趙子毅, 陳信嘉 申請人:原相科技股份有限公司