攝像機校準裝置、攝像機校準系統及攝像機校準方法
【技術領域】
[0001 ]本發明涉及攝像機校準裝置、攝像機校準系統及攝像機校準方法。
【背景技術】
[0002]目前，為了提高例如車輛后退時的可視性，已知如下裝置:將由車載攝像機拍攝了的車輛后方的圖像顯示于車載監視器，使對駕駛員來說是視野死角的車輛后方附近的狀況作為顯示于車載監視器的圖像進行視認。
[0003]在這種裝置中，為了適當校準(校正)顯示于車載監視器的圖像，在車輛后方設置校準用標識，一邊觀察車載監視器所映照的校準用標識的圖像，一邊調整車載攝像機的安裝狀態，以使得在車載監視器上適當映照該校準用標識的圖像。另外，還通過對從車載攝像機得到的圖像實施基于校準用標識的圖像的規定的運算處理，適當校準顯示于車載監視器的圖像。
[0004]近年來，為了使駕駛員等能夠看到車輛周圍的狀況，利用多個車載攝像機拍攝車輛的整個周圍，將從各車載攝像機得到的多個圖像分別變換成從正上方俯視車輛那樣的圖像(俯瞰圖像)，并且進行調整了各圖像間的位置的繪圖，由此，獲得單一視點變換合成圖像的裝置也能夠實用化。
[0005]在這種裝置中，需要在例如相鄰的兩個圖像間細致地進行對位，因此，期望精度更高的校準技術。
[0006]但是，在現有的校準方法中，需要嚴格規定校準用標識與車輛的相對的位置關系，需要在將車輛設置于規定位置后，對該車輛細致地設置校準用標識，或者，在將校準用標識設置于規定位置后，對該校準用標識細致地設置車輛。因此，例如為了在車輛的生產線上提高車輛與校準用標識的對位精度，需要花費巨額的費用改造設備。另外，例如在一旦從生產現場出庫后，在銷售、服務公司的維修保養部門等變更校準的情況下(在修理的情況下或在追加車載攝像機的情況下等)，需要每次對車輛細致地設置校準用標識，從而存在校準的作業工序復雜的問題。
[0007]對于這種問題，專利文獻1中公開了一種有助于簡化校準環境的維修保養的攝像機校準裝置。
[0008]在專利文獻1所公開的攝像機校準裝置中，求取用于將來自N臺攝像機的各拍攝圖像投影在規定面上進行合成的參數的參數導出單元，基于配置于各公共拍攝區域內的校準圖案的各攝像機的拍攝結果，求取上述參數，各校準圖案相互獨立地配置。
[0009]現有技術文獻
[0010]專利文獻
[0011]專利文獻1:日本特開2008 —187566號公報
【發明內容】
[0012 ]發明要解決的技術問題
[0013]根據專利文獻1公開的攝像機校準裝置，通過利用配置于各公共拍攝區域內的校準圖案的拍攝結果，可以在共有公共拍攝區域的多個攝像機間進行圖像的對位，可以導出用于合成各拍攝圖像的參數。另外，各校準圖案相互獨立地配置，因此，可以簡化校準環境的維修保養。
[0014]但是，在專利文獻1公開的攝像機校準裝置中，需要利用配置于各公共拍攝區域內的校準圖案的拍攝結果，在應用于例如公共汽車或卡車、大型的建設用機械等之類的大型車輛的情況下，攝像機的設置位置通常變高，據此，在圖像上較小地映照校準圖案，因此，不易細致地設定圖像上的特征點(校準圖案)的位置。因此，需要準備與車輛的體格對應的校準圖案，在例如建設機械等大型車輛中，需要準備1?3米左右大小的校準圖案。而且，這樣校準圖案變大時，會發生操作員不易進行校準作業時的校準圖案的搬運或設置作業的問題和需要準備用于校準圖案的較大的保管場所的問題。
[0015]本發明是鑒于上述問題而完成的，其目的在于，提供一種攝像機校準裝置、攝像機校準系統及攝像機校準方法，其能夠大幅減輕伴隨校準作業時的校準圖案的搬運或設置作業而給作業者帶來的負擔，且能夠使校準圖案的保管場所顯著地小型化。
[0016]用于解決問題的技術方案
[0017]為了解決上述問題，本發明提供一種攝像機校準裝置，其對具有配置有至少兩個校準圖案的公共攝像區域的多個攝像機拍攝的圖像彼此進行校準，其特征在于，包括:圖像變換部，其基于根據各攝像機的初始參數變換成俯瞰視點(俯視)的投影矩陣，變換各攝像機拍攝的圖像，生成變換圖像;誤差評價部，其計算上述變換圖像中的從所述多個攝像機選擇的基準攝像機所得到的變換圖像與上述基準攝像機以外的攝像機所得到的變換圖像的誤差;投影矩陣更新部，其基于所述誤差更新投影矩陣，使各攝像機的公共攝像區域的影像一致;攝像機參數計算部，其基于更新后的投影矩陣，計算包含關于各攝像機相對于地面的姿態(朝向)的外部參數的攝像機參數。
[0018]本發明還提供一種攝像機校準系統，其特征在于，包括:所述攝像機校準裝置;具有公共攝像區域的多個攝像機;合成圖像生成裝置，其使用從所述攝像機校準裝置得到的各攝像機的攝像機參數，對由所述多個攝像機拍攝的圖像彼此進行校準，生成合成圖像;顯示所述合成圖像的顯示裝置。
[0019]本發明還提供一種攝像機校準方法，其對具有配置有至少兩個校準圖案的公共攝像區域的多個攝像機拍攝的圖像彼此進行校準，其特征在于，基于根據各攝像機的初始參數變換成俯瞰視點的投影矩陣，變換由各攝像機拍攝的圖像，生成變換圖像，計算所述變換圖像中的從所述多個攝像機選擇的基準攝像機所得到的變換圖像與所述基準攝像機以外的攝像機所得到的變換圖像的誤差，基于所述誤差更新投影矩陣，使各攝像機的公共攝像區域的影像一致，基于更新后的投影矩陣，計算包含與各攝像機相對于地面的姿態相關的外部參數的攝像機參數。
[0020]發明效果
[0021]根據本發明，在攝像機圖像的校準時不需要使用公共攝像區域中的校準圖案的特征點的配置關系，能夠將該校準圖案的數量及尺寸抑制為最低需要限度，因此，能夠大幅減輕伴隨校準作業時的校準圖案的搬運或設置作業而給作業者帶來的負擔，并且能夠使得用于校準作業的校準圖案的保管場所顯著地小型化。
[0022]上述以外的技術問題、結構和效果能夠通過以下實施方式的說明進一步明確。
【附圖說明】
[0023]圖1是表示本發明的攝像機校準系統的實施方式的整體結構的圖。
[0024]圖2是示意性地表示各攝像機的設置位置和攝像區域的俯視圖。
[0025]圖3是說明圖1所示的攝像機校準裝置進行的攝像機的校準運算處理的圖，是示意性地表示配置于校準目標的車輛和校準圖案的俯視圖。
[0026]圖4是表示圖1所示的攝像機校準裝置的基本結構的基本結構圖。
[0027]圖5是說明圖1所示的攝像機校準系統進行的攝像機校準方法的流程圖。
【具體實施方式】
[0028]以下，參照【附圖說明】本發明的攝像機校準裝置及攝像機校準系統的實施方式。此夕卜，以下主要說明對由搭載于車輛的車載攝像機拍攝的圖像彼此進行校準(校正)的情況，但本實施方式的攝像機校準裝置和攝像機校準系統也可以適用于對由安裝于車輛以外的設備上的多個攝像機拍攝的圖像彼此進行校準的情況。另外，以下，對使用4臺攝像機且相鄰的兩臺攝像機彼此具有公共攝像區域的情況進行說明，但系統整體的攝像機的臺數及拍攝公共攝像區域的攝像機的臺數可以根據使用者等要求進行適當變更。另外，如以下說明，除了使用校準目標進行校準以外，也可以不使用校準目標而使用存在于公共攝像區域的特征物體來進行校準。
[0029]<攝像機校準系統的實施方式>
[0030]圖1是表示本發明的攝像機校準系統的實施方式的整體結構的圖。圖示的攝像機校準系統100主要包括:具有4臺攝像機111?114的攝像裝置101、攝像機接口 10 2、圖像存儲裝置(RAM) 104、參數存儲裝置(ROM) 105、輸入裝置106、具有攝像機校準裝置108和合成圖像生成裝置109的運算裝置103、顯示裝置107。
[0031]構成攝像裝置101的各攝像機111?114分別如圖2所示，設置于例如車輛1的前后左右，利用該4臺攝像機111?114拍攝包含校準目標R的車輛1的周圍的圖像。
[0032]校準目標R具有后述的作為校準用標識的校準圖案(參照圖3)等的攝像機的校準所需要的信息，各攝像機111?114分別在攝像機圖像的校準時拍攝校準目標R，且將拍攝的圖像經由攝像機接口 102發送至運算裝置103。此外，圖2中的虛線表示各攝像機111?114的拍攝區域，為了細致地校準攝像機圖像，相鄰的攝像機具有重復部分，即被雙方的攝像機共同地拍攝的區域(以下，稱為“公共攝像區域”。)RK1?RK4。運算裝置103利用攝像機校準裝置108計算用于對各攝像機111?114拍攝的圖像彼此進行校準的攝像機參數。
[0033]利用攝像機校準裝置108計算出攝像機參數后，該攝像機參數被發送至合成圖像生成裝置109。另外，由攝像機111?114拍攝的圖像經由攝像機接口 102被發送至運算裝置103，由運算裝置103中的合成圖像生成裝置109利用上述攝像機參數進行視點變換、合成后，被發送至顯示裝置107，經由顯示裝置107作為從正上方俯視車輛1的圖像(俯瞰圖像)提示給使用者等。此外，本實施方式中，由于對從各攝像機111?114得到的圖像進行視點變換、合成，生成車輛1的周圍的俯瞰圖像，因此優選各攝像機111?114采用例如魚眼攝像機等的可拍攝大角度的攝像機。
[0034]如上所述，攝像機接口102將各攝像機111?114發送來的圖像信號適當采樣后，發送至運算裝置103。
[0035]圖像存儲裝置(RAM)104中儲存各攝像機111?114拍攝的圖像和運算裝置103運算的各種運算結果。
[0036]另外，在參數存儲裝置(R0M)105中例如寫入儲存有:關于各攝像機111?114的設置位置、姿態(設置角度，朝向)的設計值等(將它們稱為外部參數)；關于各攝像機111?114的焦點距離、像素尺寸、光軸中