圖像生成設備、圖像顯示系統、參數獲取設備、圖像生成方法和參數獲取方法
【技術領域】
[0001]本發明涉及一種用于生成對車輛周圍加以指示的圖像的技術。
【背景技術】
[0002]在現有技術中，配置為生成對車輛(例如，汽車)周圍加以指示的圖像并將該圖像顯示在車輛內的顯示設備上的圖像顯示技術是所熟知的。通過使用所述圖像顯示系統，用戶(以駕駛員作為代表示例)基本上可以實時檢查所述車輛的周圍情況。
[0003]此外，近幾年還提出了一種圖像顯示系統，配置為合成多個捕獲圖像、生成合成圖像(指示從虛擬視點觀看到的車輛周圍)并顯示所述合成圖像(例如，參考專利文獻I)。在所述圖像顯示系統中，能夠生成俯瞰圖像(overhead image)，所述俯瞰圖像是如同從車輛上方觀看車輛周圍的合成圖像。用戶可以通過在視覺上識別所述合成圖像，來檢查車輛周圍的整體情況。
[0004]現有技術文獻
[0005]專利文獻
[0006]【專利文獻I】日本專利申請公開N0.2011-15174A
【發明內容】
[0007]本發明要解決的問題
[0008]通常向可以從展開狀態轉變到折疊狀態的側鏡提供側面攝像機，所述側面攝像機配置為捕獲多個捕獲圖像中指示車輛側面的捕獲圖像。由于這個原因，當將側鏡從展開狀態轉變到折疊狀態時，還改變向側鏡提供的側面攝像機的光軸方向。
[0009]因此，當通過與展開狀態下的側鏡相同的方法根據由折疊狀態下的側鏡獲得的捕獲圖像而生成合成圖像時，可以生成使得在不匹配情況下合成拍攝對象的圖像的合成圖像。
[0010]因此，本發明的目的在于提供一種用于生成合成圖像的技術，在合成圖像中相匹配地合成拍攝對象的圖像，而無論側鏡的狀態。
[0011]解決問題的手段
[0012]為了實現以上目的，根據本發明的一個方面，提供了一種用于具有側鏡的車輛的圖像生成設備，所述圖像生成設備包括:圖像獲取裝置，用于獲取通過多個攝像機獲得的多個捕獲圖像，所述多個攝像機包括設置在側鏡中的側面攝像機；生成裝置，用于通過使用針對各捕獲圖像而限定的目標區域，生成指示從虛擬視點觀看到的車輛周圍的合成圖像；以及狀態獲取裝置，用于獲取側鏡的展開狀態或折疊狀態，其中所述生成裝置根據所述側鏡的展開狀態或折疊狀態來改變目標區域。
[0013]根據上述圖像生成設備，在由設置于側鏡內的攝像機獲得的捕獲圖像中限定的目標區域根據側鏡的狀態改變。因此，能夠生成合成圖像，在合成圖像中相匹配地合成拍攝對象的圖像，而無論側鏡的狀態。
[0014]生成裝置可以在側鏡的展開狀態下根據第一參數限定目標區域，并且可以在側鏡的折疊狀態下根據第二參數限定目標區域。這里，第一參數指示在側鏡展開狀態下側面攝像機的光軸方向的誤差，第二參數指示在側鏡折疊狀態下側面攝像機的光軸方向的誤差。
[0015]根據以上配置，可以根據側鏡展開狀態和側鏡折疊狀態的每個狀態下光軸方向的誤差，限定目標區域，使得能夠更精確地生成合成圖像。
[0016]圖像生成設備還可以包括:第一參數獲取裝置，用于在側鏡的實際展開狀態下獲取第一參數；以及第二參數獲取裝置，用于在側鏡的實際折疊狀態下獲取第二參數。
[0017]根據以上配置，能夠正確地獲取生成合成圖像所需的第一參數和第二參數。
[0018]在圖像生成設備中，生成裝置可以通過將兩個捕獲圖像混合，在合成圖像中的多個捕獲圖像之間生成邊界部分，其中對應邊界部分夾在兩個捕獲圖像之間。
[0019]根據以上配置，當通過混合所述兩個捕獲圖像來在合成圖像中的捕獲圖像之間生成邊界部分時，能夠正確地相互交疊拍攝對象的圖像。
[0020]在所述圖像生成設備中，生成裝置可以在側鏡的展開狀態和折疊狀態中的一個狀態下，通過混合兩個捕獲圖像，在合成圖像中的多個捕獲圖像之間生成邊界部分，其中對應邊界部分夾在兩個捕獲圖像之間；并在側鏡的展開狀態和折疊狀態中的另一狀態下時，利用未使用捕獲圖像的掩膜圖像來顯示合成圖像中的多個捕獲圖像之間的邊界部分。
[0021]根據以上配置，在側鏡的一個狀態下，由于通過混合所述兩個捕獲圖像來生成合成圖像中的捕獲圖像之間的邊界部分，因此能夠生成自然圖像。此外，在側鏡的另一狀態下，由于利用掩膜圖像來顯示合成圖像中的捕獲圖像之間的邊界部分，因此能夠防止不匹配地交疊和顯示所述拍攝對象的圖像。
[0022]為了實現上述目的，根據本發明的第二方面，提供了一種用于車輛的圖像顯示系統，所述圖像顯示系統包括:根據第一方面的圖像生成設備；以及顯示設備，配置為顯示從圖像生成設備輸出的合成圖像。
[0023]為了實現以上目的，根據本發明的第三方面，提供了一種用于具有側鏡的車輛的圖像生成方法，所述方法包括以下處理:(a)獲取由多個攝像機獲得的多個捕獲圖像，所述多個攝像機包括設置在側鏡中的側面攝像機；(b)通過使用針對各捕獲圖像而限定的目標區域來生成合成圖像，所述合成圖像指示從虛擬視點觀看到的車輛周圍；以及(C)獲取側鏡的展開狀態或折疊狀態，其中所述處理(b)包括根據所述側鏡的展開狀態或折疊狀態來改變目標區域的處理。
[0024]根據上述圖像顯示系統和圖像生成方法，能夠完成與根據第一方面的圖像生成設備相同的效果。
[0025]為了實現上述目的，根據本發明的第四方面，提供了一種參數獲取設備，配置為獲取與設置在車輛側鏡中的攝像機相關的參數，所述參數獲取設備包括:獲取裝置，用于獲取側鏡的展開狀態或折疊狀態；第一參數獲取裝置，用于在側鏡的實際展開狀態下獲取第一參數，第一參數指示所述攝像機的光軸方向的誤差；以及第二參數獲取裝置，用于在側鏡的實際折疊狀態下獲取第二參數，第二參數指示所述攝像機的光軸方向的誤差。
[0026]為了實現以上目的，根據本發明的第五方面，提供了一種參數獲取方法，獲取與設置在車輛側鏡中的攝像機相關的參數，所述方法包括:(a)獲取側鏡的展開狀態或折疊狀態的處理；(b)第一參數處理，在側鏡的實際展開狀態下獲取第一參數，所述第一參數指示所述攝像機的光軸方向的誤差；以及(C)第二參數處理，在側鏡的實際折疊狀態下獲取第二參數，所述第二參數指示所述攝像機的光軸方向的誤差。
[0027]根據所述參數獲取設備和參數獲取方法，能夠在側鏡的展開狀態和折疊狀態中的每個狀態下，正確地獲取生成正確合成圖像所需的第一參數和第二參數。
【附圖說明】
[0028]圖1示出了根據第一示例實施例的圖像顯示系統的配置。
[0029]圖2示出了設置在圖1的圖像顯示系統中的攝像機捕獲圖像所沿的方向。
[0030]圖3示出了設置在圖1的圖像顯示系統中的圖像合成單元生成合成圖像的方法。
[0031]圖4示出了圖3的立體曲面的部分和捕獲圖像之間的對應關系。
[0032]圖5示出了由設置在圖1的圖像顯示系統中的圖像調整單元生成的顯示圖像的示例。
[0033]圖6示出了安裝有圖1的圖像顯示系統的車輛的側鏡的折疊狀態。
[0034]圖7示出了由設置在圖1的圖像顯示系統的左側攝像機獲取的捕獲圖像的示例。
[0035]圖8示出了獲取圖7的捕獲圖像的情況。
[0036]圖9示出了在由設置在圖1的圖像顯示系統中的左側攝像機獲取的捕獲圖像中的目標區域。
[0037]圖10示出了圖1的圖像顯示系統的操作流程。
[0038]圖11示出了根據第二示例實施例的圖像顯示系統的配置。
[0039]圖12示出了當圖11的圖像顯示系統執行校準處理時車輛的情況。
[0040]圖13示出了用于校準處理使用的標記部件(marking member)的外觀。
[0041]圖14示出了校準處理的流程。
[0042]圖15示出了針對校準處理的捕獲圖像的示例。
[0043]圖16示出了圖11的圖像顯示系統的操作流程。
[0044]圖17示出了在由設置于圖11的圖像顯示系統中的左側攝像機獲取的捕獲圖像中的目標區域。
[0045]圖18示出了在由設置在圖11的圖像顯示系統中的左側攝像機獲取的捕獲圖像中的目標區域。
[0046]圖19示出了當根據第三示例實施例的圖像顯示系統生成合成圖像時，在立體曲面的部分和捕獲圖像之間的對應關系。
[0047]圖20示出了由根據第三示例實施例的圖像顯示系統生成的合成圖像的示例。
【具體實施方式】
[0048]下文中，將參考附圖描述本發明的示例實施例。
[0049]〈第一示例實施例〉
[0050]<1-1.配置〉
[0051]圖1示出了根據第一示例實施例的圖像顯示系統10的配置。圖像顯示系統10用于車輛(在該示例實施例中，為汽車)，并具有生成圖像并在該車輛內顯示該圖像的功能，其中所述圖像指示車輛的周圍區域。通過使用圖像顯示系統10，圖像顯示系統10的用戶(駕駛員，作為代表示例)可以實質上實時識別車輛的周圍情況。
[0052]如圖1所示，圖像顯示系統10具有多個攝像機5、圖像生成設備2、顯示設備3和操作按鈕4。每個攝像機5被配置為捕獲車輛的周圍以便獲取捕獲圖像并將所獲取的捕獲圖像輸入到圖像生成設備2。圖像生成設備2配置為通過使用指示車輛周圍的捕獲圖像，生成顯示圖像以便顯示在顯示設備3上。顯示設備3配置為顯示圖像生成設備2中生成的顯示圖像。此外，操作按鈕4配置為接收用戶的操作。
[0053]每個攝像機5都具有鏡頭和捕獲元件，并且配置為電學獲取指示車輛周圍的捕獲圖像。所述多個攝像機5包括前置攝像機5F、后置攝像機5B、左側攝像機5L和右側攝像機5R。如圖2所示，四個攝像機5F、5B、5L、5R布置在車輛9的不同位置處，并配置為捕獲車輛9的周圍的不同方向。
[0054]圖2示出了四個攝像機5F、5B、5L、5R捕獲圖像所沿的方向。將前置攝像機5F設置在車輛9的前端，將其光軸5Fa面向車輛9的直線行駛方向。將后置攝像機5B設置在車輛9的后端，將其光軸5Ba面向與車輛9的直線行駛方向相反的方向。
[0055]此外，將左側攝像機5L設置在布置于車輛9的左側表面上的左側鏡93L中。與此同時，將右側攝像機5R設置在布置于車輛