專利名稱：合成圖像生成設(shè)備和存儲其程序的計算機可讀介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種將從捕捉裝置接收到的輸入圖像變換成輸出圖 像，并且，根據(jù)需要通過在經(jīng)變換的圖像上疊加覆蓋圖像而生成輸出 圖像的合成圖像生成設(shè)備。另外，本發(fā)明涉及一種存儲用于使得計算 機用作合成圖像生成設(shè)備的程序的計算機可讀介質(zhì)。
背景技術(shù)：
通常，這樣一種系統(tǒng)已經(jīng)被研究并且投入實際應(yīng)用，其中為從車 輛捕捉視像而由照相機攝取的捕捉圖像被顯示在車輛艙室中從而 例如駕駛員能夠看見所捕捉的圖像，并且另外，所捕捉的圖像與在所 捕捉圖像上疊加的計算機生成圖像一起顯示。存在各種內(nèi)容，其可被 設(shè)想作為在照相機攝取的捕捉圖像上疊加的特殊內(nèi)容，例如其中應(yīng)該 予以關(guān)注的物體、例如道牙石和輪擋，以及行人被加亮的內(nèi)容，其中 通過延伸車輛側(cè)邊緣而繪制輔助線的內(nèi)容，以及其中作為導(dǎo)航顯示器 在車輛前視圖的圖像上顯示表示行駛方向的箭頭的內(nèi)容。
作為這種系統(tǒng)的 一 個實例，在日本專利申請公開
No.2006-238131 (JP-A-2006-23 8131)中描述了 一件發(fā)明，該發(fā)明涉及車 輛附近監(jiān)視系統(tǒng)，該系統(tǒng)顯示由用于捕捉車輛視像的捕捉裝置所 攝取的捕捉圖像作為背景圖像并且以半透明的方式顯示所述車輛。
然而，在JP-A-2006-238131中，根據(jù)坐標(biāo)變換表中的數(shù)據(jù)使用所 捕捉圖像及其歷史等生成合成圖像作為背景圖像，并且然后繪圖操作 裝置執(zhí)行繪圖操作(JP-A-2006-238131中
段)。因此，整個系統(tǒng)的 尺寸和成本增加。然而，對于降低車載設(shè)備的尺寸和成本存在強烈需
求，并且需要對其進行改進。
發(fā)明內(nèi)容
本發(fā)明提供一種合成圖像生成設(shè)備，由此能夠減少用于實現(xiàn)在通 過變換從捕捉裝置接收的輸入圖像而獲得的圖像上疊加覆蓋圖像的過 程所需要的成本，并且本發(fā)明還提供一種用于使得計算機用作所述合 成圖像生成設(shè)備的計算機可讀介質(zhì)存儲程序。
根據(jù)本發(fā)明的第一方面合成圖像生成設(shè)備包括幾何變換表，所 述幾何變換表在從捕捉裝置接收的輸入圖像上指定與輸出圖像的像素 位置相應(yīng)的坐標(biāo)；以及輸出圖像生成裝置，所述輸出圖像生成裝置通 過在根據(jù)幾何變換表對輸入圖像進行幾何變換而獲得的圖像上疊加覆 蓋圖像而生成輸出圖像，所述覆蓋圖像基于與幾何變換表中的輸出圖 像的像素位置相關(guān)聯(lián)的覆蓋數(shù)據(jù)。
通常，"覆蓋"意指圖像數(shù)據(jù)的疊加，并且"覆蓋圖像"在這里意 指在通過對捕捉圖像進行幾何變換而獲得的背景圖像上疊加的另外地 顯示的圖像或者像素，例如計算機生成圖像。術(shù)語"覆蓋數(shù)據(jù)"意指 在背景圖像上疊加"覆蓋圖像"所需要的數(shù)據(jù)。
利用以上第一方面，用于顯示覆蓋圖像的覆蓋數(shù)據(jù)與幾何變換表 中的輸出圖像的像素位置相關(guān)聯(lián)，并且基于這種關(guān)聯(lián)，執(zhí)行在幾何變 換圖像上疊加覆蓋圖像的過程，從而能夠利用單一幾何變換表執(zhí)行一 般幾何變換和覆蓋圖像的疊加。因此，特別地，與其中在執(zhí)行幾何變 換之后疊加覆蓋圖像的情形相比，在其中規(guī)則圖像作為覆蓋圖像疊加 的情形中，能夠減少實現(xiàn)在通過變換從捕捉裝置接收的輸入圖像而獲 得的圖像上疊加覆蓋圖像的過程所需要的成本。注意特別地當(dāng)在車輛 中安裝所述設(shè)備時，所述設(shè)備在空間、成本和重量方面是非常有利的。
在根據(jù)第一方面的合成圖像生成設(shè)備中，所述覆蓋數(shù)據(jù)可以包括每一個均表示在輸出圖像中的給定像素位置處顯示的顯示顏色的數(shù) 據(jù)。
在根據(jù)第一方面的合成圖像生成設(shè)備中，所述顯示顏色可以是亮 度數(shù)值。特別地，當(dāng)所述圖像不是彩色圖像時，規(guī)定覆蓋圖像的灰度。
在根據(jù)第一方面的合成圖像生成設(shè)備中，所述輸出圖像生成裝置 可以對于輸出圖像的每一個像素選擇幾何變換操作和覆蓋操作中的一 個操作。
在根據(jù)第一方面的合成圖像生成設(shè)備中，在幾何變換操作中，可 以執(zhí)行輸入圖像的畸變校正。
在根據(jù)第一方面的合成圖像生成設(shè)備中，所述幾何變換表可以包 括表示將顯示幾何變換圖像和覆蓋圖像中的哪一個的選擇標(biāo)志。
在根據(jù)第一方面的合成圖像生成設(shè)備中，所述覆蓋數(shù)據(jù)可以包括 每一個均表示在輸出圖像中的給定像素位置處的混合系數(shù)的數(shù)據(jù)。
在根據(jù)第一方面的合成圖像生成設(shè)備中，可以利用幾何變換表規(guī) 定在根據(jù)混合系數(shù)執(zhí)行混合操作之后顯示的覆蓋圖像的每一個像素的 顯示顏色。
在根據(jù)第一方面的合成圖像生成設(shè)備中，所述輸出圖像生成裝置 可以包括補數(shù)器、乘法器和加法器，它們用于執(zhí)行其中根據(jù)幾何變換 表對輸入圖像進行幾何變換的操作以及其中通過執(zhí)行內(nèi)分點計算而根 據(jù)在覆蓋數(shù)據(jù)中包括的混合系數(shù)執(zhí)行混合操作的操作。
在根據(jù)第一方面的合成圖像生成設(shè)備中，所述輸出圖像生成裝置 可以通過關(guān)于為其提供覆蓋數(shù)據(jù)的輸出圖像的像素，基于所述覆蓋數(shù)
據(jù)替換圍繞具有在輸入圖像上指定的坐標(biāo)的點的像素的像素數(shù)值的至 少一部分然后使用圍繞在所述幾何變換表中具有指定的坐標(biāo)的點的像 素的像素數(shù)值執(zhí)行插值而生成輸出圖像。
根據(jù)本發(fā)明第二方面的合成圖像生成設(shè)備包括幾何變換表，所 述幾何變換表在從捕捉裝置接收的輸入圖像上指定與輸出圖像的像素 位置相應(yīng)的坐標(biāo)；以及輸出圖像生成裝置，所述輸出圖像生成裝置通 過使用圍繞在幾何變換表中具有指定的坐標(biāo)的點的像素的像素數(shù)值執(zhí) 行插值而生成輸出圖像，其中關(guān)于為其提供覆蓋數(shù)據(jù)的輸出圖像的像 素，所述輸出圖像生成裝置通過基于覆蓋數(shù)據(jù)替換圍繞具有在所述輸 入圖像上指定的坐標(biāo)的點的像素的像素數(shù)值的至少一部分然后執(zhí)行插 值而生成所述輸出圖像。
在根據(jù)第二方面的合成圖像生成設(shè)備中，所述插值可以是雙線性 插值。
根據(jù)第二方面的合成圖像生成設(shè)備還可包括坐標(biāo)轉(zhuǎn)換裝置，所述 坐標(biāo)轉(zhuǎn)換裝置在幾何變換表中將在輸入圖像上指定的坐標(biāo)的行方向的 坐標(biāo)的小數(shù)部分變換成表示混合系數(shù)的數(shù)值，其中關(guān)于為其提供覆蓋 數(shù)據(jù)的輸出圖像的像素，所述輸出圖像生成裝置可以通過基于通過所 述坐標(biāo)轉(zhuǎn)換裝置將行方向坐標(biāo)的小數(shù)部分變換成的所述數(shù)值執(zhí)行混合 操作而生成所述輸出圖像。
在根據(jù)第二方面的合成圖像生成設(shè)備中，所述插值可以是雙線性 插值，并且當(dāng)利用坐標(biāo)轉(zhuǎn)換裝置將行方向坐標(biāo)的小數(shù)部分變換成的數(shù) 值等于或者大于0.5時，相對于具有所述坐標(biāo)的點的上側(cè)的兩個像素的 像素數(shù)值可以被顯示顏色替換；并且當(dāng)利用坐標(biāo)轉(zhuǎn)換裝置將行方向坐 標(biāo)的小數(shù)部分變換成的數(shù)值小于0.5時，相對于具有所述坐標(biāo)的點的下 側(cè)的兩個像素的像素數(shù)值可以被顯示顏色替換。
在根據(jù)第二方面的合成圖像生成設(shè)備中，所述插值可以是雙線性 插值，并且當(dāng)利用所述坐標(biāo)轉(zhuǎn)換裝置將所述小數(shù)部分變換成的混合系 數(shù)大于閾值時，圍繞具有在所述輸入圖像中所述坐標(biāo)的點的像素的像 素數(shù)值可以全部被顯示顏色替換。
根據(jù)第二方面的合成圖像生成設(shè)備還可包括坐標(biāo)轉(zhuǎn)換裝置，所述 坐標(biāo)轉(zhuǎn)換裝置在幾何變換表中將在輸入圖像上指定的坐標(biāo)的列方向坐 標(biāo)的小數(shù)部分變換成表示混合系數(shù)的數(shù)值，其中關(guān)于為其提供覆蓋數(shù) 據(jù)的輸出圖像的像素，所述輸出圖像生成裝置可以通過基于利用所述 坐標(biāo)轉(zhuǎn)換裝置將列方向坐標(biāo)的小數(shù)部分變換成的數(shù)值執(zhí)行混合操作而 生成輸出圖像。
在根據(jù)第二方面的合成圖像生成設(shè)備中，所述插值可以是雙線性 插值，并且當(dāng)利用坐標(biāo)轉(zhuǎn)換裝置將列方向坐標(biāo)的小數(shù)部分變換成的數(shù) 值等于或者大于0.5時，相對于具有所述坐標(biāo)的點的上側(cè)的兩個像素的 像素數(shù)值可以被顯示顏色替換；并且當(dāng)利用坐標(biāo)轉(zhuǎn)換裝置將列方向坐 標(biāo)的小數(shù)部分變換成的數(shù)值小于0.5時，相對于具有所述坐標(biāo)的點的左
側(cè)的兩個像素的像素數(shù)值可以被顯示顏色替換。
在根據(jù)第二方面的合成圖像生成設(shè)備中，所述插值可以是雙線性 插值，并且當(dāng)利用所述坐標(biāo)轉(zhuǎn)換裝置將所述小數(shù)部分變換成的混合系 數(shù)大于閾值時，圍繞具有在所述輸入圖像中所述坐標(biāo)的點的像素的像 素數(shù)值可以全部被顯示顏色替換。
根據(jù)本發(fā)明第三方面的存儲程序的計算機可讀介質(zhì)是一種存儲用 于使得計算機用作根據(jù)以上方面的合成圖像生成設(shè)備的程序的計算機 可讀介質(zhì)。
本發(fā)明提供一種合成圖像生成設(shè)備，由此能夠減少實現(xiàn)在通過變 換從捕捉裝置接收的輸入圖像獲得的圖像上疊加覆蓋圖像的過程所需
要的成本，并且本發(fā)明還提供一種存儲用于使得計算機用作合成圖像 生成設(shè)備的程序的計算機可讀介質(zhì)。
附圖簡要說明
參考附圖從下面對優(yōu)選實施例說明，本發(fā)明前面的和/或另外的目 的、特征及優(yōu)點將變得更加明顯，其中相同的數(shù)字用于代表相同的元 件并且其中
圖1是示出根據(jù)本發(fā)明第一實施例的合成圖像生成設(shè)備1以及與 之相連接的設(shè)備等的圖表；
圖2是表示第一實施例的幾何變換表11的圖表；
圖3是示出在第一實施例中在輸入圖像中的坐標(biāo)和輸出圖像中的 坐標(biāo)之間的對應(yīng)關(guān)系的圖表；
圖4A是示出根據(jù)實施例第一在畸變校正之前的輸入圖像的一個 實例的圖表；
圖4B是示出根據(jù)第一實施例在畸變校正之前的輸出圖像的一個 實例的圖表；
圖5是示出在第一實施例中在向后停車操作期間用于引導(dǎo)的其中 在車輛后視圖的圖像上疊加表示車輛寬度的延長線的情形的圖表；
圖6是示出利用第一實施例的輸出圖像生成部分21執(zhí)行的特征過
程的流程的流程圖7是示出根據(jù)本發(fā)明第二實施例的合成圖像生成設(shè)備2以及與
之相連接的設(shè)備等的圖表；
圖8A是表示第二實施例的幾何變換表12的圖表；
圖8B是表示第二實施例的另一幾何變換表12的圖表；
圖9是是示出利用第二實施例的輸出圖像生成部分22執(zhí)行的特征
過程的流程的流程圖10是示出根據(jù)本發(fā)明第三實施例的合成圖像生成設(shè)備3以及與
之相連接的設(shè)備等的圖表；
圖11是表示幾何變換表13以及在第三實施例中在輸入圖像中的 坐標(biāo)和輸出圖像中的坐標(biāo)之間的對應(yīng)關(guān)系的圖表； 圖12是示出利用第三實施例的輸出圖像生成部分23執(zhí)行的特征 過程的流程的流程圖13是示出根據(jù)本發(fā)明第四實施例的合成圖像生成設(shè)備4以及與 之相連接的設(shè)備等的圖表；
圖14是表示第四實施例的幾何變換表14的圖表；
圖15A是示出一種情形的圖表，其中根據(jù)第四實施例的輸出圖像 生成部分24B利用顯示顏色替換在輸入圖像中圍繞具有其小數(shù)部分被 變換的坐標(biāo)的點的像素的一個部分的像素數(shù)值，所述的點相應(yīng)于輸出 圖像的像素；
圖15B是示出一種情形的圖表，其中根據(jù)第四實施例的輸出圖像 生成部分24B利用顯示顏色替換在輸入圖像中圍繞具有其小數(shù)部分被 變換的坐標(biāo)的點的像素的不同部分的像素數(shù)值，所述的點相應(yīng)于輸出 圖像的像素；
圖16是示出由第四實施例的坐標(biāo)變換部分24A和輸出圖像生成部 分24B執(zhí)行的特征過程的流程的流程圖17是示出根據(jù)本發(fā)明第五實施例的合成圖像生成設(shè)備5以及與 之相連接的設(shè)備等的圖表；
圖18是示出第五實施例的輸出圖像生成部分25的硬件配置的實 例的圖表；
圖19是用于描述第五實施例的輸出圖像生成部分25的操作的時 序圖；并且
圖20是示出在第五實施例中在代表坐標(biāo)Xi的小數(shù)部分的二進制 表達(dá)和十進制表達(dá)及其補數(shù)之間的對應(yīng)關(guān)系的圖表。
具體實施例方式
將在下面描述根據(jù)本發(fā)明第一實施例的合成圖像生成設(shè)備1。合成 圖像生成設(shè)備1被安裝在例如車輛中，并且在顯示設(shè)備上顯示圖像， 通過在從車輛由照相機捕捉的視圖的圖像上疊加覆蓋圖像而獲得所述 圖像。"覆蓋圖像"這里意指在通過對捕捉圖像進行幾何變換而獲得的 背景圖像上疊加的另外地顯示的圖像或者像素，例如計算機生成的圖
像。
圖1是示出根據(jù)本發(fā)明第一實施例的合成圖像生成設(shè)備1、與之相 連接的設(shè)備等的圖表。照相機30和顯示設(shè)備40被連接到合成圖像生 成設(shè)備1。
照相機30是使用例如電荷耦合設(shè)備(CCD)、互補金屬氧化物半導(dǎo) 體(CMOS)等的照相機。照相機30例如靠近車輛尾部處的車號牌設(shè)置， 并且從所述車輛捕捉廣角后視圖的圖像。注意這種布置僅僅是一個實 例，并且在能夠應(yīng)用本發(fā)明的設(shè)備中，沿其從車輛捕捉圖像的方向， 例如向前方向、沿對角向前方向、側(cè)向方向、向上方向或者向下方向 以及捕捉圖像的角度是任意的。
照相機30例如包括照相機透鏡32、圖像傳感器34以及電子控制 器36。將基于照相機30是CCD照相機的假設(shè)進行下面的說明。照相 機透鏡32包括能夠廣角成像的魚眼透鏡。圖像傳感器34是例如行間 (interline)圖像傳感器，其中作為用于執(zhí)行光電轉(zhuǎn)換的光線接收元件的 光電二極管和與相應(yīng)的光電二極管相關(guān)的CCD被以二維方式布置在平 面上。另外，所述圖像傳感器具有在光電二極管和相關(guān)CCD之間用作 模擬開關(guān)的傳輸門。用于收集光線的顯微透鏡被安裝在每一個光電二 極管的前側(cè)(照相機透鏡32側(cè))上。圖像傳感器不限于行間圖像傳感器。 可以使用全幀轉(zhuǎn)移圖像傳感器或者幀轉(zhuǎn)移圖像傳感器，其中CCD自身 用作光線接收元件。
在電子控制器36中，例如以組合方式使用微型計算機、電子電路 等，并且電子控制器36通過控制圖像傳感器34所具有的傳輸門的打 開/關(guān)閉定時而調(diào)節(jié)照相機30的快門速度和捕捉頻率(例如每秒幾十 次)。電子控制器36對從圖像傳感器34的輸出電路輸出的數(shù)據(jù)執(zhí)行增 益控制以及相關(guān)雙采樣(CDS)。
顯示設(shè)備40是點矩陣液晶顯示面板、點矩陣有機發(fā)光顯示面板等， 其中以矩陣方式規(guī)則地排列像素。在這種面板中，對于每一個像素設(shè) 置用于驅(qū)動像素的有源元件，并且對于每一個像素控制根據(jù)像素數(shù)值
的亮度數(shù)值(顯示顏色)。像素數(shù)目例如為640x480(VGA)、 800x600(SVGA)等。注意顯示設(shè)備40可以是探測顯示表面上的電壓的 變化以接收各種輸入的觸摸面板顯示器。
合成圖像生成設(shè)備1是微型計算機或者大規(guī)模集成電路(LSI)，其 中經(jīng)由內(nèi)部總線連接中央處理單元(CPU)、隨機存取存儲器(RAM)、只 讀存儲器(ROM)、快速存儲器以及輸入/輸出接口。例如，在合成圖像 生成設(shè)備1的快速存儲器中存儲幾何變換表11。合成圖像生成設(shè)備1 具有作為功能模塊的輸出圖像生成部分21，所述輸出圖像生成部分當(dāng) CPU執(zhí)行在ROM(可以被視為本發(fā)明的"計算機可讀介質(zhì)")中存儲的 系統(tǒng)實現(xiàn)程序時發(fā)揮作用，所述的系統(tǒng)實現(xiàn)程序可以被視為本發(fā)明的 "程序"。
圖2是表示第一實施例的幾何變換表11的圖表。幾何變換表11 在由照相機30捕捉的輸入圖像上指定與在顯示設(shè)備40上顯示的輸出 圖像的像素位置對應(yīng)的坐標(biāo)。換言之，幾何變換表11可以被視為一種 表格，該表格在由照相機30捕捉的輸入圖像上與輸出圖像的像素位置 對應(yīng)地定義坐標(biāo)系統(tǒng)。按照用于執(zhí)行輸出圖像光柵掃描的順序(按照輸 出圖像的坐標(biāo)順序)布置幾何變換表11的元素，從而當(dāng)使用輸出圖像的 像素坐標(biāo)(Xo， Yo)作為輸入來參考幾何變換表11時，檢索到輸入圖像 的坐標(biāo)(Xi， Yi)。
當(dāng)輸出圖像的像素位置和輸入圖像的像素位置一一對應(yīng)時，坐標(biāo) (Xo， Yo)和坐標(biāo)(Xi， Yi)—一對應(yīng)。然而，在下述本發(fā)明的一般幾何變 換的情形中，輸出圖像的像素位置和輸入圖像的像素位置并不一一對 應(yīng)，因此，存在這樣一種情形，其中雖然輸出圖像的坐標(biāo)(Xo， Yo)是 整數(shù)，但是輸入圖像的坐標(biāo)(Xi， Yi)是具有十進制小數(shù)的實數(shù)。
圖3是示出在本發(fā)明第一實施例中在輸入圖像中的坐標(biāo)和輸出圖 像中的坐標(biāo)之間的對應(yīng)關(guān)系的圖表。在圖3中，網(wǎng)格交叉點代表位于 輸入圖像和輸出圖像中的像素位置。在輸出圖像中的坐標(biāo)(Xo， Yo)與 像素位置一致，而在輸入圖像中的坐標(biāo)(Xi， Yi)不與像素位置一致。然
而，當(dāng)以此方式在前地確定對應(yīng)關(guān)系時，實現(xiàn)了一般幾何變換(在該實 施例中的畸變校正)。
將簡要地描述在坐標(biāo)(Xo， Yo)和坐標(biāo)(Xi， Yi)之間的對應(yīng)關(guān)系。圖
4A是示出在畸變校正之前的輸入圖像實例的圖表。圖4B是示出在畸
變校正之前的輸出圖像實例的圖表。例如，當(dāng)畸變程度隨著沿向上或 者向下方向與圖像中心的距離增加時，根據(jù)像素的豎直位置使用幾何
變換在畸變校正中沿著寬度方向移位相互關(guān)聯(lián)的輸入圖像的像素位置 和輸出圖像的像素位置。特別地，線段VI和線段V2上的像素被分別 地映射到具有不同長度的線段Wl和線段W2上的像素。當(dāng)每像素畸變 量(沿著輸入圖像中的豎直方向)是oc，并且在線段VI和V2之間的像素 數(shù)目是L時，在線段V2上的像素的位置與在線段W2上的像素位置相 關(guān)聯(lián)從而線段W2比線段Wl長L.oc。結(jié)果，通過給定坐標(biāo)變換等式(高 階多項式)確定在坐標(biāo)(Xo， Yo)和坐標(biāo)(Xi， Yi)之間的對應(yīng)關(guān)系。
與這種校正和變換有關(guān)的對應(yīng)關(guān)系例如在輸送車輛之前被存儲在 合成圖像生成設(shè)備1的ROM等中，并且利用根據(jù)需要予以考慮的車身 高度校正的數(shù)值作為幾何變換表11被讀取到快速存儲器等。
下面，將參考圖2和3描述確定輸入圖像在坐標(biāo)(Xi， Yi)處的像素 數(shù)值的方法。輸出圖像生成部分21通過在圍繞具有坐標(biāo)(Xi， Yi)的點 的像素的像素數(shù)值上執(zhí)行所謂的雙線性插值確定輸入圖像在坐標(biāo)(Xi， Yi)處的像素數(shù)值，所述雙線性插值是線性插值到二維情形的擴展。特 別地，使用下面的等式(l)獲得的像素數(shù)值被計算為輸入圖像在坐標(biāo) (Xi， Yi)處的像素數(shù)值，并且被設(shè)為輸出圖像在坐標(biāo)(Xo， Yo)處的像素 數(shù)值。為了簡明起見，在于輸入圖像上定義的坐標(biāo)系統(tǒng)中，單元柵格 的一側(cè)的長度具有數(shù)值"1"。注意這種方法僅僅是一個實例，并且可 以使用另一種方法確定輸入圖像在坐標(biāo)(Xi， Yi)處的像素數(shù)值。當(dāng)輸入 圖像的像素位置與坐標(biāo)(Xi， Yi) —致時，可以使用輸入圖像的像素的初 始像素數(shù)值而不執(zhí)行這種插值。
像素數(shù)值(Xi， Yi)={GlX(l-(Xi的小數(shù)部分))+G2X(Xi的小數(shù)部 分》x(Yi的小數(shù)部分)+(G3X(l-(Xi的小數(shù)部分》+G4X(Xi的小數(shù)部 分))x(l-Yi的小數(shù)部分) (1)
另外，在第一實施例的幾何變換表11中，包括表示顯示幾何變換 圖像和覆蓋圖像中的哪一個圖像的選擇標(biāo)志。所述選擇標(biāo)志被設(shè)為表 示幾何變換圖像的數(shù)值"0"，或者設(shè)為表示覆蓋圖像的數(shù)值"1"。關(guān) 于其選擇標(biāo)志被設(shè)為數(shù)值"1"的輸出坐標(biāo)(圖2中的(Xp， Yp))，而不 是或者除了輸入圖像的相應(yīng)的坐標(biāo)，輸入將被顯示的顏色(這里也被稱 作"顯示顏色")的說明。特別地，覆蓋數(shù)據(jù)(在第一實施例中的選擇標(biāo) 志和顯示顏色)與輸出圖像的像素的位置(坐標(biāo))相關(guān)聯(lián)。
關(guān)于當(dāng)選擇標(biāo)志的數(shù)值為"l"時規(guī)定選擇標(biāo)志以及規(guī)定顯示顏色， 在前地存儲于ROM等中的數(shù)據(jù)可以被自動地包括在幾何變換表11中， 或者外部設(shè)備可以根據(jù)需要設(shè)定所述數(shù)值。其中前者適用的一種可設(shè) 想的情形是這樣一種情形，其中，當(dāng)如在第一實施例的情形中那樣捕 捉并且顯示車輛的后視圖時，表示車輛寬度的延長線被疊加在車輛后 視圖的圖像上以便在例如向后停車運行期間用作引導(dǎo)(見圖5)。其中后 者適用的一種情形是這樣一種情形，其中，當(dāng)例如捕捉并且顯示車輛 的前視圖時，根據(jù)由導(dǎo)航系統(tǒng)提供的路線引導(dǎo)的路線表示被疊加在例 如車輛的前視圖的圖像上。
在輸出圖像生成部分21中，使用如上所述的等式(l)獲得的像素數(shù) 值被設(shè)為關(guān)于其選擇標(biāo)志的數(shù)值為"O"的輸出圖像的像素的像素數(shù)值，
并且在幾何變換表11中規(guī)定的顯示顏色被設(shè)為關(guān)于其選擇標(biāo)志的數(shù)值 為"1"的輸出圖像的像素的像素數(shù)值。因此，通過在根據(jù)幾何變換表 11對輸入圖像進行幾何變換而獲得的圖像上，疊加覆蓋圖像而生成輸 出圖像，所述覆蓋圖像基于與在幾何變換表11中的輸出圖像的像素位 置相關(guān)聯(lián)的覆蓋數(shù)據(jù)。
圖6是示出由第一實施例的輸出圖像生成部分21執(zhí)行的特征過程 的流程的流程圖。例如以預(yù)定循環(huán)反復(fù)地執(zhí)行所述流程。
首先，輸出圖像生成部分21讀取在幾何變換表11中與第一輸出
像素有關(guān)的數(shù)據(jù)(sioo)。
然后，輸出圖像生成部分21確定與該輸出像素相關(guān)的選擇標(biāo)志是 具有數(shù)值"0"還是"1" (S102)。如上所述，當(dāng)選擇標(biāo)志的數(shù)值為"0" 時，通過幾何變換(以及插值)獲得的像素數(shù)值被設(shè)為輸出圖像的像素數(shù) 值(S104)，而當(dāng)選擇標(biāo)志的數(shù)值為"1"時，在幾何變換表11中規(guī)定的 顯示顏色被設(shè)為輸出圖像的像素數(shù)值(S106)。
隨后，確定是否已經(jīng)對于所有的輸出像素確定像素數(shù)值(S108)，并
且當(dāng)尚未對于所有的輸出像素確定像素數(shù)值時，讀取與下一輸出像素 有關(guān)的數(shù)據(jù)(SllO)，并且執(zhí)行從S102起的步驟。
在另一方面，當(dāng)已經(jīng)對于所有的輸出像素確定像素數(shù)值時，所確 定的圖像數(shù)據(jù)集作為一個幀的合成圖像數(shù)據(jù)被輸出到顯示設(shè)備 40(S112)。
利用根據(jù)第一實施例的合成圖像生成設(shè)備l，在幾何變換表11中， 用于顯示覆蓋圖像的覆蓋數(shù)據(jù)與輸出圖像的像素位置相關(guān)聯(lián)，并且基 于這種關(guān)聯(lián)，執(zhí)行在幾何變換圖像上疊加覆蓋圖像的過程，從而能夠 利用單一幾何變換表11執(zhí)行一般幾何變換和覆蓋圖像疊加。因此，特別地在其中規(guī)則圖像作為覆蓋圖像疊加的情形中，與其中在執(zhí)行幾何 變換之后疊加覆蓋圖像的情形相比，能夠減少實現(xiàn)在通過變換從捕捉 裝置接收的輸入圖像而獲得的圖像上疊加覆蓋圖像的過程所需要的成 本。
將在下面描述根據(jù)本發(fā)明第二實施例的合成圖像生成設(shè)備2。合成 圖像生成設(shè)備2不同于根據(jù)第一實施例的合成圖像生成設(shè)備1之處在 于當(dāng)疊加覆蓋圖像時執(zhí)行混合過程(例如OC-混合)。
第二實施例的合成圖像生成設(shè)備2包括幾何變換表12和輸出圖像
生成部分22(見圖7)。合成圖像生成設(shè)備2的硬件構(gòu)件以及它的照相機 30和顯示設(shè)備40類似于第一實施例的合成圖像生成設(shè)備1的那些，因 此省略這些構(gòu)件的說明。進而，幾何變換也類似于第一實施例的幾何 變換，并且省略其說明。
圖8A是表示第二實施例的幾何變換表12的圖表。替代或者除了 在第一實施例的幾何變換表11中包括的選擇標(biāo)志之外，第二實施例的 幾何變換表12包括混合系數(shù)。特別地，覆蓋數(shù)據(jù)(在第二實施例中的混 合系數(shù))與輸出圖像的像素位置(坐標(biāo))相關(guān)聯(lián)。注意也在第二實施例中， 如在第一實施例的情形中那樣，選擇標(biāo)志可以被包括在幾何變換表12 中。
在第二實施例中的混合系數(shù)是用于cx-混合過程的混合系數(shù)a。特別 地，混合系數(shù)意指當(dāng)執(zhí)行半透明處理時使用的暗度，并且被設(shè)為數(shù)值 "0"和"1"之間(包括"0"和"1")。注意可以在數(shù)值"0"和"1" 之間(包括"0"和"1")的范圍之外設(shè)置混合系數(shù)。關(guān)于規(guī)定混合系數(shù)， 在前存儲于ROM等中的數(shù)據(jù)可以被自動地包括在幾何變換表12中， 或者外部設(shè)備可以根據(jù)需要設(shè)定混合系數(shù)。
使用利用第一實施例的等式(l)獲得的像素數(shù)值Ga以及規(guī)定覆蓋
圖像的顯示顏色的像素數(shù)值Gb，輸出圖像生成部分22利用下面的等式
(2)計算像素數(shù)值。結(jié)果，覆蓋圖像被顯示從而當(dāng)混合系數(shù)oc增加時覆蓋
圖像的透明度增加。關(guān)于其混合系數(shù)被設(shè)為數(shù)值"o"(或者混合系數(shù)未
被設(shè)定)的輸出圖像的像素，利用以上等式(l)獲得的像素數(shù)值Ga被自 然地用作像素數(shù)值。
像素數(shù)值G=(l-a)xGa+ocxGb ... (2)
因此，通過在通過根據(jù)幾何變換表12對輸入圖像進行幾何變換而 獲得的圖像上疊加覆蓋圖像而生成輸出圖像，所述覆蓋圖像基于與幾 何變換表12中的輸出圖像的像素位置相關(guān)聯(lián)的覆蓋數(shù)據(jù)。
圖9是示出由第二實施例的輸出圖像生成部分22執(zhí)行的特征過程 的流程的流程圖。該流程例如以預(yù)定循環(huán)被反復(fù)地執(zhí)行。
首先，輸出圖像生成部分22讀取幾何變換表12中的與第一輸出 像素有關(guān)的數(shù)據(jù)(S200)。
然后，使用以上等式(2)計算的像素數(shù)值被設(shè)為輸出圖像的像素數(shù) 值(S202)。特別地，通過執(zhí)行插值過程和混合過程確定輸出圖像的像素 數(shù)值。
隨后，確定是否己經(jīng)對于所有的輸出像素確定像素數(shù)值(S204)，并 且當(dāng)尚未對于所有的輸出像素確定像素數(shù)值時，讀取與下一輸出像素 有關(guān)的數(shù)據(jù)(S206)，并且執(zhí)行從S202起的步驟。在另一方面，當(dāng)己經(jīng) 對于所有的輸出像素確定像素數(shù)值時，所確定的圖像數(shù)據(jù)集作為一個 幀的合成圖像數(shù)據(jù)被輸出到顯示設(shè)備40(S20S)。
根據(jù)第二實施例的合成圖像生成設(shè)備2，如在第一實施例的合成圖 像生成設(shè)備1的情形中那樣，能夠減少實現(xiàn)在通過變換從捕捉裝置接
收的輸入圖像而獲得的圖像上疊加覆蓋圖像的過程所需要的成本，并 且另外，能夠在其半透明處理之后將幾何變換圖像和覆蓋圖像相結(jié)合、 執(zhí)行反混淆過程等。
在第二實施例中，可以對于每一個像素使用幾何變換表12規(guī)定覆 蓋圖像的顯示顏色。這種情形的幾何變換表12的一個實例示于圖8B
中。同樣在此情形中，如果對于每一個像素從幾何變換表12讀取像素 數(shù)值Gb，則能夠使用以上等式(2)。
將在下面描述根據(jù)本發(fā)明第三實施例的合成圖像生成設(shè)備3。合成 圖像生成設(shè)備3不同于根據(jù)第一實施例的合成圖像生成設(shè)備1之處在 于圍繞具有在輸入圖像上指定的坐標(biāo)的點的像素的部分的或者所有的 像素數(shù)值被包括于覆蓋數(shù)據(jù)中的顯示顏色替換以執(zhí)行覆蓋圖像的疊 加。
第三實施例的合成圖像生成設(shè)備3包括幾何變換表13和輸出圖像 生成部分23(見圖10)。合成圖像生成設(shè)備3的硬件構(gòu)件以及它的照相 機30和顯示設(shè)備40類似于第一實施例的合成圖像生成設(shè)備1的那些， 因此省略這些構(gòu)件的說明。
因為覆蓋圖像的疊加被結(jié)合在第一和第二實施例的幾何變換過程 中，所以這些過程將被一起地描述。圖11是表示在第三實施例中的幾 何變換表13以及在輸入圖像中的坐標(biāo)和輸出圖像中的坐標(biāo)之間的對應(yīng) 關(guān)系的圖表。幾何變換表13在由照相機30捕捉的輸入圖像上指定在 顯示設(shè)備40上顯示的輸出圖像的像素位置相應(yīng)的坐標(biāo)。另外，第三實 施例的幾何變換表13包括圍繞具有在輸入圖像上指定的坐標(biāo)的點的像 素的顯示顏色和替換指令，所述替換指令指示哪些像素數(shù)值將被所規(guī) 定的顯示顏色替換。
例如提供替換指令作為與圍繞具有在輸入圖像上指定的坐標(biāo)的點
的像素相應(yīng)的4位數(shù)據(jù)。特別地，第一位表示左上像素的像素數(shù)值是 否將被顯示顏色替換(當(dāng)進行替換時為"0"，并且當(dāng)不進行替換時為 "l")，第二位表示左下像素的像素數(shù)值是否將被顯示顏色替換，第三 位表示右上像素的像素數(shù)值是否將被顯示顏色替換，并且第四位表示 右下像素的像素數(shù)值是否將被顯示顏色替換。以此方式，能夠?qū)崿F(xiàn)類 似于如在第二實施例的情形中那樣當(dāng)以預(yù)定數(shù)目的級別規(guī)定混合系數(shù) 時的效果。特別地，當(dāng)?shù)谝坏降谒奈欢季哂袛?shù)值"1"時，結(jié)果與當(dāng)在 第二實施例中混合系數(shù)被設(shè)為1時的結(jié)果相同，并且當(dāng)?shù)谝坏降谒奈?中的一個、兩個或者三個被設(shè)為數(shù)值"1"時，結(jié)果與當(dāng)以三個級別規(guī) 定混合系數(shù)時的結(jié)果相同(在第二實施例中能夠任意地規(guī)定混合系數(shù))。 因此，考慮到因為執(zhí)行以上等式(2)的計算的需要被消除，處理負(fù)荷能 夠被相應(yīng)地降低，可以說即使準(zhǔn)確度低于第二實施例的合成圖像生成 設(shè)備2的準(zhǔn)確度，第三實施例的合成圖像生成設(shè)備3也能夠在其半透 明處理之后利用更加簡單的操作結(jié)合幾何變換圖像和覆蓋圖像、執(zhí)行 反混淆過程等。
關(guān)于替換指令，以及顯示顏色的規(guī)定，在前存儲于ROM等中的數(shù) 據(jù)可以被自動地包括在幾何變換表13中，或者外部設(shè)備可以根據(jù)需要 確定替換和顯示顏色。進而，畸變校正類似于第一實施例的畸變校正， 并且省略其說明。
如在第一實施例的情形中，通過基于圍繞具有坐標(biāo)(Xi， Yi)的點的 像素的像素數(shù)值(當(dāng)如上所述像素數(shù)值被顏色替換時規(guī)定的顯示顏色) 使用以上等式(l)執(zhí)行插值，輸出圖像生成部分23確定在具有坐標(biāo)(Xi， Yi)的點處輸入圖像的像素數(shù)值。因此，通過在通過根據(jù)幾何變換表13 對輸入圖像進行幾何變換而獲得的圖像上疊加覆蓋圖像而生成輸出圖 像，所述覆蓋圖像基于幾何變換表13中的與輸出圖像的像素位置相關(guān) 聯(lián)的覆蓋數(shù)據(jù)。
圖12是示出由第三實施例的輸出圖像生成部分23執(zhí)行的特征過
程的流程的流程圖。例如以預(yù)定循環(huán)反復(fù)地執(zhí)行所述流程。
首先，輸出圖像生成部分23讀取幾何變換表13中的與第一輸出
像素有關(guān)的數(shù)據(jù)(S300)。
然后，確定與有關(guān)輸出像素相關(guān)的替換指令的第一位是否具有數(shù)
值"1"(S302)，并且當(dāng)輸入圖像的圍繞具有坐標(biāo)(Xi， Yi)的點的像素的 像素數(shù)值的第一位具有數(shù)值"1"時，左上像素的像素數(shù)值被顯示顏色 替換(S304)。然后，確定第二位是否具有數(shù)值"1" (S306)，并且當(dāng)?shù)?二位具有數(shù)值"1"時，左下像素的像素數(shù)值被顯示顏色替換(S308)。 然后，確定第三位是否具有數(shù)值"1" (S310)，并且當(dāng)?shù)谌痪哂袛?shù)值 "1"時，右上像素的像素數(shù)值被顯示顏色替換(S312)。然后，確定第 四位是否具有數(shù)值"1" (S314)，并且當(dāng)?shù)谒奈痪哂袛?shù)值"1"時，右下 像素的像素數(shù)值被顯示顏色替換(S316)。
然后，通過使用在替換之后的數(shù)據(jù)(當(dāng)無替換指令時的初始數(shù)據(jù)) 執(zhí)行插值而獲得的像素數(shù)值被設(shè)為輸出圖像有關(guān)的像素的像素數(shù)值 (S318)。
隨后，確定是否已經(jīng)對于所有的輸出像素確定像素數(shù)值(S320)，并 且當(dāng)尚未對于所有的輸出像素確定像素數(shù)值時，讀取與下一輸出像素 有關(guān)的數(shù)據(jù)(S322)，并且執(zhí)行從S302起的步驟。
在另一方面，當(dāng)已經(jīng)對于所有的輸出像素確定像素數(shù)值時，所確 定的圖像數(shù)據(jù)集作為一個幀的合成圖像數(shù)據(jù)被輸出到顯示設(shè)備 40(S324)。
根據(jù)第三實施例的合成圖像生成設(shè)備3，如在第一實施例的合成圖 像生成設(shè)備1的情形中那樣，能夠減少實現(xiàn)在通過變換從捕捉裝置接 收的輸入圖像而獲得的圖像上疊加覆蓋圖像的過程所需要的成本，并
且另外地，雖然準(zhǔn)確度低于第二實施例的準(zhǔn)確度，但是能夠通過比第 二實施例的操作更加簡單的操作在其半透明處理之后將幾何變換圖像 和覆蓋圖像相結(jié)合、執(zhí)行反混淆過程等。
將在下面描述根據(jù)本發(fā)明第四實施例的合成圖像生成設(shè)備4。合成 圖像生成設(shè)備4不同于根據(jù)第一實施例的合成圖像生成設(shè)備1之處在 于圍繞具有在輸入圖像上指定的坐標(biāo)的點的像素的像素數(shù)值的一部分 被包括于覆蓋數(shù)據(jù)中的顯示顏色替換。
第四實施例的合成圖像生成設(shè)備4包括幾何變換表14、坐標(biāo)變換
部分24A、以及輸出圖像生成部分24B(見圖13)。合成圖像生成設(shè)備4 的硬件構(gòu)件、以及它的照相機30和顯示設(shè)備40類似于第一實施例的 合成圖像生成設(shè)備1的那些，因此省略這些構(gòu)件的說明。
圖14是表示第四實施例的幾何變換表14的圖表。幾何變換表14 在由照相機30捕捉的輸入圖像上指定與在顯示設(shè)備40上顯示的輸出 圖像的像素位置相應(yīng)的坐標(biāo)。另外，第四實施例的幾何變換表14包括 顯示顏色。
坐標(biāo)變換部分24A使用給定程序等將與輸出圖像的特定坐標(biāo)(例 如為其設(shè)定顯示顏色的坐標(biāo))相應(yīng)的輸入圖像的坐標(biāo)(Xi， Yi)的行方向 (Y方向)坐標(biāo)的小數(shù)部分轉(zhuǎn)換成混合系數(shù)a。
在此情形中，關(guān)于其坐標(biāo)小數(shù)部分被轉(zhuǎn)換的輸出圖像的像素，在 圍繞由與和輸出圖像有關(guān)的像素對應(yīng)的由輸入圖像的坐標(biāo)(Xi， Yi)代表 的點的像素的沿著列方向(X方向)排列的兩個像素的像素數(shù)值被顯示 顏色替換之后，輸出圖像生成部分24B執(zhí)行插值，并且通過使用在替 換之后的數(shù)據(jù)根據(jù)以上等式(l)執(zhí)行插值而獲得的像素數(shù)值被設(shè)為與輸 出圖像有關(guān)的像素的像素數(shù)值(見圖15A)。
以此方式，被顯示顏色替換的像素數(shù)值被利用混合系數(shù)a加權(quán)并且 在輸出圖像的像素數(shù)值上得到反映(見以上等式(l))。因此，通過在通過 根據(jù)幾何變換表14對輸入圖像進行幾何變換而獲得的圖像上疊加覆蓋
圖像而生成輸出圖像，所述覆蓋圖像是基于與幾何變換表14中的輸出
圖像的像素位置相關(guān)聯(lián)的覆蓋數(shù)據(jù)的。
在輸入圖像的圍繞具有坐標(biāo)(Xi， Yi)的點的像素中，沿著列方向(X 方向)排列的兩個像素是位于具有坐標(biāo)(Xi， Yi)的點的上側(cè)上的兩個像 素，或者位于其下側(cè)上的兩個像素，因此，必須決定哪兩個像素將進 行像素數(shù)值替換。在這方面，所述的兩個像素可以被固定為或者位于 上側(cè)上的那些或者位于下側(cè)上的那些。可替代地，可以采用一種配置， 其中當(dāng)進行變換的坐標(biāo)的小數(shù)部分等于或者大于0.5時上側(cè)的兩個像 素的像素數(shù)值被替換，而當(dāng)小數(shù)部分小于0.5時下側(cè)的兩個像素被替 換。利用這種配置，能夠使得輸入圖像的像素中具有更高權(quán)重的像素 的像素數(shù)值保持不變。
可替代地，可以采用一種配置，其中，取代總是替換輸入圖像的 圍繞具有坐標(biāo)(Xi， Yi)的點的像素的沿著列方向(X方向)排列的兩個像 素的像素數(shù)值，當(dāng)混合系數(shù)a(小數(shù)部分)小于閾值al時不執(zhí)行替換，而 當(dāng)混合系數(shù)a(小數(shù)部分)大于a2(aKa2)時輸入圖像的圍繞具有坐標(biāo) (Xi， Yi)的點的所有像素的像素數(shù)值被顯示顏色替換。
坐標(biāo)變換部分24A可以使用給定程序等將與輸出圖像的具有坐標(biāo) (例如為其設(shè)定顯示顏色的坐標(biāo))的特定點相應(yīng)的輸入圖像的坐標(biāo)(Xi， Yi)的列方向(X方向)坐標(biāo)的小數(shù)部分變換成混合系數(shù)a。在此情形中， 關(guān)于其坐標(biāo)小數(shù)部分被轉(zhuǎn)換的輸出圖像的像素，在圍繞由與和輸出圖 像有關(guān)的像素對應(yīng)的由輸入圖像的坐標(biāo)(Xi， Yi)代表的點的像素的沿著 行方向(Y方向)排列的兩個像素的像素數(shù)值被顯示顏色替換之后，輸出 圖像生成部分24B執(zhí)行插值。
如在其中行方向(Y方向)上的坐標(biāo)的小數(shù)部分被轉(zhuǎn)換成混合系數(shù)a
的情形中那樣，同樣當(dāng)列方向(x方向)上的坐標(biāo)的小數(shù)部分被轉(zhuǎn)換成混
合系數(shù)(X時，在其上執(zhí)行替換的一側(cè)可以被固定為右側(cè)或者左側(cè)；然而， 可以采用一種配置，其中當(dāng)進行轉(zhuǎn)換的坐標(biāo)的小數(shù)部分等于或者大于
0.5時右側(cè)的兩個像素被替換，并且當(dāng)其小數(shù)部分小于0.5時左側(cè)的兩
個像素被替換?？商娲?，可以采用一種配置，其中，取代總是替換
輸入圖像的圍繞具有坐標(biāo)(Xi， Yi)的點的像素的沿著列方向(X方向)排 列的兩個像素的像素數(shù)值，當(dāng)混合系數(shù)a(小數(shù)部分)小于閾值al時不執(zhí) 行替換，而當(dāng)混合系數(shù)a(小數(shù)部分)大于cx2(ctKa2)時，輸入圖像的圍繞 具有坐標(biāo)(Xi， Yi)的點的所有像素的像素數(shù)值被顯示顏色替換。
關(guān)于規(guī)定顯示顏色，在前存儲于ROM等中的數(shù)據(jù)可以被自動地包 括在幾何變換表14中，或者外部設(shè)備可以根據(jù)需要確定顯示顏色。
圖16是示出由第四實施例的坐標(biāo)變換部分24A和輸出圖像生成部 分24執(zhí)行的特征過程的流程的流程圖。例如以預(yù)定循環(huán)反復(fù)地執(zhí)行所 述流程。
首先，坐標(biāo)變換部分24A讀取幾何變換表14中的與第一輸出像素 有關(guān)的數(shù)據(jù)(S400)。
然后，確定是否對于有關(guān)輸出像素規(guī)定顯示顏色(S402),并且當(dāng)規(guī) 定顯示顏色時，與根據(jù)上述方法讀取的輸出圖像的坐標(biāo)相應(yīng)的在輸入 圖像的坐標(biāo)(Xi， Yi)的行方向(Y方向)中的坐標(biāo)的小數(shù)部分被變換成混 合系數(shù)a(S404)。
輸出圖像生成部分24B設(shè)定通過使用在替換之后的數(shù)據(jù)(當(dāng)無替換 指令時的初始數(shù)據(jù))執(zhí)行插值獲得的像素數(shù)值作為輸出圖像的像素數(shù)值 (S楊)。
隨后，確定是否已經(jīng)對于所有的輸出像素確定像素數(shù)值(S408)，并 且當(dāng)尚未對于所有的輸出像素確定像素數(shù)值時，讀取與下一輸出像素
有關(guān)的數(shù)據(jù)(S410)，并且執(zhí)行從S402起的步驟。
另一方面，當(dāng)已經(jīng)對于所有的輸出像素確定像素數(shù)值時，所確定 的圖像數(shù)據(jù)集作為一個幀的合成圖像數(shù)據(jù)被輸出到顯示設(shè)備40(S412)。
根據(jù)第四實施例的合成圖像生成設(shè)備4，如在第一實施例的合成圖 像生成設(shè)備1的情形中那樣，能夠減少實現(xiàn)通過變換從捕捉裝置接收 的輸入圖像而獲得的圖像上疊加覆蓋圖像的過程所需要的成本，并且 另外，能夠在其半透明處理之后結(jié)合幾何變換圖像和覆蓋圖像、執(zhí)行 反混淆過程等。另外，因為能夠在幾何變換表14中省去用于混合系數(shù) 的域，所以能夠防止幾何變換表14的大小變得太大。
將在下面描述根據(jù)本發(fā)明第五實施例的合成圖像生成設(shè)備5。作為 示出輸出圖像生成部分21的特殊和簡單的配置的實施例的合成圖像生 成設(shè)備5實現(xiàn)與根據(jù)第二實施例的合成圖像生成設(shè)備2的功能類似的 功能，所述功能能夠通過使用幾何變換表12規(guī)定覆蓋圖像的顯示顏色。 特別地，合成圖像生成設(shè)備5執(zhí)行所謂的雙線性插值，并且同時，執(zhí) 行根據(jù)以上等式(2)的混合過程。
第五實施例的合成圖像生成設(shè)備5包括幾何變換表15和輸出圖像 生成部分25(見圖17)。第五實施例的合成圖像生成設(shè)備5不必為高級 計算機系統(tǒng)，并且僅需具有在其中存儲幾何變換表15的存儲介質(zhì)，以 及具有在下面描述的硬件配置的輸出圖像生成部分25。幾何變換表15 的內(nèi)容與圖8B所示那些相同。
圖18是示出第五實施例的輸出圖像生成部分25的硬件配置實例
的圖表。這種配置被設(shè)計成使得通過考慮到幾何變換過程和混合過程 均為其中利用內(nèi)分比將兩個數(shù)值加權(quán)的計算(內(nèi)分點計算)，提供用于計 算利用內(nèi)分比加權(quán)的數(shù)值的計算器并且使用計算器四次而實現(xiàn)幾何變 換過程和混合過程。利用這種配置，能夠利用簡單硬件配置(而不使用 高級計算機系統(tǒng))實現(xiàn)幾何變換過程和混合過程，因此能夠減少設(shè)備的 尺寸和成本。
在下面的說明中，雙線性插值被劃分成多個步驟，相對于X方向 上像素的插值數(shù)值被稱作第一插值數(shù)值，相對于x方向下像素的插值 數(shù)值被稱作第二插值數(shù)值，并且相對于Y方向第一和第二插值數(shù)值的 插值數(shù)值被稱作第三插值數(shù)值。
輸出圖像生成部分25包括選擇器A、選擇器B、選擇器C、補數(shù) 器、乘法器A、乘法器B、加法器、第一寄存器、第二寄存器以及輸出 寄存器。選擇器A接收左上像素數(shù)值、左下像素數(shù)值、以及第一寄存 器的數(shù)值。選擇器B接收右上像素數(shù)值、右下像素數(shù)值、以及第二寄 存器的數(shù)值。選擇器C接收在輸入圖像上指定的坐標(biāo)(Xi， Yi)的Xi和 Yi的小數(shù)部分、以及混合系數(shù)。
將在下面參考圖19所示的時序圖描述輸出圖像生成部分25的運 行。首先，為了獲得第一插值數(shù)值，選擇器A選擇左上像素的像素數(shù) 值，選擇器B選擇右上像素的像素數(shù)值，并且選擇器C選擇Xi(Tl)的 小數(shù)部分。Xi的小數(shù)部分是例如代表小數(shù)部分?jǐn)?shù)值的4位二進制數(shù)值。 該4位二進制數(shù)值本身作為乘數(shù)被供給到乘法器B，并且其補數(shù)被供給 到乘法器A。在二進制和十進制這兩種情形中，補數(shù)指一的補數(shù)(l-(初 始數(shù)))。圖20示出在代表小數(shù)部分的二進制表達(dá)和十進制表達(dá)之間的 對應(yīng)關(guān)系及其補數(shù)。
因此，左上像素的像素數(shù)值作為被乘數(shù)被供給到乘法器A，并且 (l-(Xi的小數(shù)部分))的數(shù)值作為乘數(shù)被供給到乘法器A。右上像素的像 素數(shù)值作為被乘數(shù)被供給到乘法器B，并且Xi的小數(shù)部分的數(shù)值作為 乘數(shù)被供給到乘法器B。因此，來自加法器的輸出成為第一插值數(shù)值。
第一插值數(shù)值被保存在第一寄存器中。
然后，選擇器A選擇左下像素的像素數(shù)值，選擇器B選擇右下像 素的像素數(shù)值，并且選擇器C選擇Xi(T2)的小數(shù)部分。因此，來自加 法器的輸出成為第二插值數(shù)值。第二插值數(shù)值被保存在第二寄存器中。
隨后，選擇器A選擇第一寄存器的數(shù)值，選擇器B選擇第二寄存 器的數(shù)值，并且選擇器C選擇Yi(T3)的小數(shù)部分。
因此，第一插值數(shù)值作為被乘數(shù)被供給到乘法器A，并且(l-(Yi 的小數(shù)部分))的數(shù)值作為乘數(shù)被供給到乘法器A。同時，第二插值數(shù)值 作為被乘數(shù)被供給到乘法器B，并且Yi的小數(shù)部分的數(shù)值作為乘數(shù)被 供給到乘法器B。因此，來自加法器的輸出成為第三插值數(shù)值。第三插 值數(shù)值被保存在第一寄存器中。
最終，選擇器A選擇第一寄存器的數(shù)值，選擇器B選擇顯示顏色， 并且選擇器C選擇混合系數(shù)(T4)。
因此，第三插值數(shù)值作為被乘數(shù)被供給到乘法器A，并且(l-(混合 系數(shù)))的數(shù)值作為乘數(shù)被供給到乘法器A。顯示顏色作為被乘數(shù)被供給 到乘法器B，并且混合系數(shù)的數(shù)值作為乘數(shù)被供給到乘法器B。因此， 來自加法器的輸出成為已經(jīng)經(jīng)歷a-混合過程的輸出像素數(shù)值。該數(shù)值 被保存在輸出寄存器中(T5)。
雖然采用其中首先執(zhí)行關(guān)于X方向的插值然后執(zhí)行關(guān)于Y方向的 插值的步驟，但是可以采用其中首先執(zhí)行關(guān)于Y方向的插值然后執(zhí)行 關(guān)于X方向的插值的步驟。另外，雖然在以上說明中提供兩個乘法器， 但是可以采用其中使用一個乘法器并且在兩個步驟中分別地并且順序 地執(zhí)行兩次乘法的配置。
雖然已經(jīng)參考實施例描述了本發(fā)明，但是本發(fā)明絕不限于這些實 施例，并且可以作出各種修改和替換而不背離本發(fā)明的精神和范圍。
例如，覆蓋圖像不限于其顯示顏色被規(guī)定的計算機生成圖像，而 可以為從另一照相機接收的捕捉圖像等。
本發(fā)明能夠用于圖像處理器制造、汽車制造、汽車部件制造等領(lǐng)域。
雖然已經(jīng)參考其實施例描述了本發(fā)明，但是應(yīng)該理解本發(fā)明不限 于所述實施例或者構(gòu)造。相反，本發(fā)明旨在涵蓋各種修改和等價布置。 另外，雖然以作為實例的各種組合和配置示出實施例的各種元件，但 是包括更多、更少或者僅僅一個元件的其它組合和配置也位于本發(fā)明 的精神和范圍中。
權(quán)利要求
1. 一種合成圖像生成設(shè)備(1、2、3、4、5)，包括幾何變換表(11、12、13、14、15)，所述幾何變換表(11、12、13、14、15)在從捕捉裝置(30)接收的輸入圖像上指定與輸出圖像的像素位置對應(yīng)的坐標(biāo)；以及輸出圖像生成裝置(21、22、23、24B、25)，所述輸出圖像生成裝置(21、22、23、24B、25)通過在根據(jù)所述幾何變換表(11、12、13、14、15)對所述輸入圖像進行幾何變換而獲得的圖像上疊加覆蓋圖像而生成所述輸出圖像，所述覆蓋圖像基于與所述幾何變換表(11、12、13、14、15)中的所述輸出圖像的像素位置相關(guān)聯(lián)的覆蓋數(shù)據(jù)。
2. 根據(jù)權(quán)利要求1的合成圖像生成設(shè)備(l、 2、 3、 4、 5)，其中所述覆蓋數(shù)據(jù)包括每一個均表示在所述輸出圖像中的給定像素位置處顯 示的顯示顏色的數(shù)據(jù)。
3. 根據(jù)權(quán)利要求2的合成圖像生成設(shè)備(l、 2、 3、 4、 5)，其中所述顯示顏色是亮度數(shù)值。
4. 根據(jù)權(quán)利要求1的合成圖像生成設(shè)備(l、 2、 3、 4、 5)，其中所 述輸出圖像生成裝置(21、 22、 23、 24B、 25)對于所述輸出圖像的每一 個像素選擇幾何變換操作和覆蓋操作中的一個操作。
5. 根據(jù)權(quán)利要求1的合成圖像生成設(shè)備(l、 2、 3、 4、 5)，其中在 所述幾何變換操作中，執(zhí)行所述輸入圖像的畸變校正。
6. 根據(jù)權(quán)利要求1的合成圖像生成設(shè)備(l、 2、 3、 4、 5)，其中所 述幾何變換表(ll、 12、 13、 14、 15)包括選擇標(biāo)志，所述選擇標(biāo)志表示 顯示所述幾何變換圖像和所述覆蓋圖像中的哪一個圖像。
7. 根據(jù)權(quán)利要求1到6中任一項的合成圖像生成設(shè)備(2、 3、 4、 5)，其中所述覆蓋數(shù)據(jù)包括每一個均表示在所述輸出圖像中的給定像素 位置處的混合系數(shù)的數(shù)據(jù)。
8. 根據(jù)權(quán)利要求7的合成圖像生成設(shè)備(2、 3、 4、 5)，其中所述 幾何變換表(12、 13、 14、 15)規(guī)定在根據(jù)所述混合系數(shù)執(zhí)行混合操作之 后顯示的所述覆蓋圖像的每一個像素的顯示顏色。
9. 根據(jù)權(quán)利要求7的合成圖像生成設(shè)備(2、 3、 4、 5)，其中所述 輸出圖像生成裝置(22、 23、 24B、 25)包括補碼器、乘法器和加法器， 所述補數(shù)器、所述乘法器和所述加法器用于通過執(zhí)行內(nèi)分點計算而執(zhí) 行根據(jù)所述幾何變換表(12、 13、 14、 15)對所述輸入圖像進行幾何變換 的操作以及根據(jù)在所述覆蓋數(shù)據(jù)中包括的所述混合系數(shù)執(zhí)行混合操作 的操作。
10. 根據(jù)權(quán)利要求1到6中任一項的合成圖像生成設(shè)備，其中， 關(guān)于被提供所述覆蓋數(shù)據(jù)的所述輸出圖像的像素，所述輸出圖像生成 裝置(23、 24B)通過基于所述覆蓋數(shù)據(jù)替換圍繞具有在所述輸入圖像上 指定坐標(biāo)的點的像素的至少一部分像素數(shù)值，然后使用圍繞著在所述 幾何變換表中具有指定坐標(biāo)的點的像素的像素數(shù)值來執(zhí)行插值，從而 生成所述輸出圖像。
11. 一種合成圖像生成設(shè)備(3、 4)，包括幾何變換表(13、 14)，所述幾何變換表(13、 14)在從捕捉裝置(30)接收的輸入圖像上指定與輸出圖像的像素位置對應(yīng)的坐標(biāo)；以及輸出圖像生成裝置(23、 24B)，所述輸出圖像生成裝置(23、 24B)通過使用圍繞著在所述幾何變換表中具有指定坐標(biāo)的點的像素的像素 數(shù)值來執(zhí)行插值而生成所述輸出圖像，其中，關(guān)于被提供覆蓋數(shù)據(jù)的所述輸出圖像的像素，所述輸出圖 像生成裝置(23、 24B)通過基于所述覆蓋數(shù)據(jù)替換所述輸入圖像上圍繞 具有被指定的所述坐標(biāo)的所述點的所述像素的像素數(shù)值的至少一部 分，然后執(zhí)行所述插值，從而生成所述輸出圖像。
12. 根據(jù)權(quán)利要求11的合成圖像生成設(shè)備(3、 4)，其中所述插值 是雙線性插值。
13. 根據(jù)權(quán)利要求11的合成圖像生成設(shè)備(4)，還包括坐標(biāo)轉(zhuǎn)換裝 置(24A)，所述坐標(biāo)轉(zhuǎn)換裝置(24A)將所述幾何變換表(14)中被指定在所 述輸入圖像上的坐標(biāo)的行方向的坐標(biāo)的小數(shù)部分轉(zhuǎn)換成表示混合系數(shù) 的數(shù)值，其中，關(guān)于被提供所述覆蓋數(shù)據(jù)的所述輸出圖像的像素，所述輸 出圖像生成裝置(24B)通過基于由所述坐標(biāo)轉(zhuǎn)換裝置(24A)將所述行方 向的坐標(biāo)的小數(shù)部分轉(zhuǎn)換成的所述數(shù)值執(zhí)行混合操作而生成所述輸出 圖像。
14. 根據(jù)權(quán)利要求13的合成圖像生成設(shè)備(4)，其中 所述插值是雙線性插值；并且當(dāng)由所述坐標(biāo)轉(zhuǎn)換裝置(24A)將所述行方向的坐標(biāo)的小數(shù)部分轉(zhuǎn) 換成的所述數(shù)值等于或大于0.5時，相對于具有所述坐標(biāo)的所述點的上 側(cè)的兩個像素的像素數(shù)值被顯示顏色替換；并且當(dāng)由所述坐標(biāo)轉(zhuǎn)換裝置(24A)將所述行方向的坐標(biāo)的小數(shù)部分轉(zhuǎn) 換成的所述數(shù)值小于0.5時，相對于具有所述坐標(biāo)的所述點的下側(cè)的兩 個像素的像素數(shù)值被顯示顏色替換。
15. 根據(jù)權(quán)利要求13的合成圖像生成設(shè)備(4)，其中 所述插值是雙線性插值，并且當(dāng)由所述坐標(biāo)轉(zhuǎn)換裝置(24A)將所述小數(shù)部分轉(zhuǎn)換成的所述混合 系數(shù)大于閾值時，所述輸入圖像中圍繞具有所述坐標(biāo)的所述點的所述 像素的像素數(shù)值全部被顯示顏色替換。 4
16. 根據(jù)權(quán)利要求11的合成圖像生成設(shè)備(4)，還包括坐標(biāo)轉(zhuǎn)換裝 置(24A)，所述坐標(biāo)轉(zhuǎn)換裝置(24A)將所述幾何變換表(14)中被指定在所 述輸入圖像上的坐標(biāo)的列方向的坐標(biāo)的小數(shù)部分轉(zhuǎn)換成表示混合系數(shù) 的數(shù)值，其中，關(guān)于被提供所述覆蓋數(shù)據(jù)的所述輸出圖像的像素，所述輸 出圖像生成裝置(24B)通過基于由所述坐標(biāo)轉(zhuǎn)換裝置(24A)將所述列方 向的坐標(biāo)的小數(shù)部分轉(zhuǎn)換成的所述數(shù)值執(zhí)行混合操作而生成所述輸出 圖像。
17. 根據(jù)權(quán)利要求16的合成圖像生成設(shè)備(4)，其中 所述插值是雙線性插值；并且當(dāng)由所述坐標(biāo)轉(zhuǎn)換裝置(24A)將所述列方向的坐標(biāo)的小數(shù)部分轉(zhuǎn) 換成的所述數(shù)值等于或大于0.5時，相對于具有所述坐標(biāo)的所述點的右 側(cè)的兩個像素的像素數(shù)值被顯示顏色替換；并且當(dāng)由所述坐標(biāo)轉(zhuǎn)換裝置(24A)將所述列方向的坐標(biāo)的小數(shù)部分轉(zhuǎn) 換成的所述數(shù)值小于0.5時，相對于具有所述坐標(biāo)的所述點的左側(cè)的兩 個像素的像素數(shù)值被顯示顏色替換。
18. 根據(jù)權(quán)利要求16的合成圖像生成設(shè)備(4)，其中 所述插值是雙線性插值，并且當(dāng)由所述坐標(biāo)轉(zhuǎn)換裝置(24A)將所述小數(shù)部分轉(zhuǎn)換成的所述混合 系數(shù)大于閾值時，圍繞具有所述輸入圖像中所述坐標(biāo)的點的所述像素 的像素數(shù)值全部被顯示顏色替換。
19. 一種計算機可讀介質(zhì)，存儲用于使得計算機用作根據(jù)權(quán)利要 求1到6中任一項的合成圖像生成設(shè)備(l、 2、 3、 4、 5)的程序。
20. —種計算機可讀介質(zhì)，存儲用于使得計算機用作根據(jù)權(quán)利要 求11到18中任一項的合成圖像生成設(shè)備(l、 2、 3、 4、 5)的程序。
全文摘要
合成圖像生成設(shè)備和存儲用于使得計算機用作合成圖像生成設(shè)備的程序的計算機可讀介質(zhì)，該合成圖像生成設(shè)備(1)包括幾何變換表(11)，所述幾何變換表在從捕捉裝置(30)接收的輸入圖像上指定與輸出圖像的像素位置相應(yīng)的坐標(biāo)；以及輸出圖像生成裝置(21)，輸出圖像生成裝置通過在通過根據(jù)幾何變換表對輸入圖像進行幾何變換而獲得的圖像上疊加覆蓋圖像而生成輸出圖像，所述覆蓋圖像基于幾何變換表中與輸出圖像的像素位置相關(guān)聯(lián)的覆蓋數(shù)據(jù)。該合成圖像生成設(shè)備能夠減少用于實現(xiàn)在通過變換從捕捉裝置接收的輸入圖像而獲得的圖像上疊加覆蓋圖像的過程所需要的成本。
文檔編號G06T1/00GK101388968SQ20081021293
公開日2009年3月18日 申請日期2008年9月10日 優(yōu)先權(quán)日2007年9月10日
發(fā)明者加藤孝三, 太田充彥 申請人:豐田自動車株式會社