圖像處理裝置和圖像處理方法

圖像處理裝置和圖像處理方法
【專利摘要】本發(fā)明提出了一種圖像處理裝置和圖像處理方法，其能夠獲得圖案照射紅外線圖像以及無(wú)圖案照射紅外線圖像，以通過(guò)控制紅外線圖案照射定時(shí)來(lái)獲得更準(zhǔn)確的深度信息。[解決方案]本發(fā)明提供了一種圖像處理裝置，其包括：圖案照射單元，所述圖案照射單元將紅外線圖案照射到目標(biāo)物體的表面上；以及紅外線圖像捕捉單元，所述紅外線圖像捕捉單元捕捉紅外線圖像。所述圖案照射單元在與紅外線圖像捕捉單元的圖像捕捉定時(shí)對(duì)應(yīng)的預(yù)定定時(shí)處進(jìn)行照射。所述紅外線圖像捕捉單元獲得：圖案投影紅外線圖像，在所述圖案投影紅外線圖像中，將由所述圖案照射單元照射的所述圖案投影到所述目標(biāo)物體上；以及無(wú)圖案紅外線圖像，在所述無(wú)圖案紅外線圖像中，未將所述圖案投影到所述目標(biāo)物體上。
【專利說(shuō)明】
圖像處理裝置和圖像處理方法
技術(shù)領(lǐng)域
[0001]本公開涉及一種圖像處理裝置和圖像處理方法。
【背景技術(shù)】
[0002]近年來(lái)，作為生成物體的三維圖像的方法，比如專利文獻(xiàn)I中所公開的系統(tǒng)，發(fā)出紅外(IR)線并且獲得物體的深度信息從而生成三維圖像的系統(tǒng)已經(jīng)得到廣泛認(rèn)可。
[0003]具體地，利用人眼不可見的紅外線的特點(diǎn)，該系統(tǒng)通過(guò)使用紅外線將圖案照射到物體的表面上并且利用紅外線攝像機(jī)捕捉圖像，從而基于捕捉到的圖像更詳細(xì)地并且更準(zhǔn)確地獲得物體的表面形狀。
[0004]引用列表
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:JP2008-537190 A

【發(fā)明內(nèi)容】

[0007]技術(shù)問(wèn)題
[0008]然而，存在如下問(wèn)題:將紅外線圖案照射到物體上可能會(huì)引起信息損失，諸如，物體的輪廓以及在物體的表面上的圖案(它們是物體最初具有的特征)，并且，取決于條件，可能無(wú)法獲得準(zhǔn)確的物體形狀。
[0009]雖然也存在另外使用用于捕捉紋理的可見光攝像機(jī)的系統(tǒng)，但是在該情況下，除了用于檢測(cè)深度的紅外線攝像機(jī)之外，還需要其它類型的攝像機(jī)，并且出現(xiàn)了系統(tǒng)成本增加的問(wèn)題。此外，出現(xiàn)了如下問(wèn)題:由于用于準(zhǔn)確地匹配由多種類型的攝像機(jī)捕捉到的捕捉圖像的位置的信號(hào)處理的增加，系統(tǒng)變得非常大。
[0010]此外，存在如下問(wèn)題:如果由投影儀投影的可見光圖像與物體重疊，那么即使利用可見光攝像機(jī)，也無(wú)法獲得準(zhǔn)確的物體形狀。
[0011]因此，本公開提出了一種圖像處理裝置和圖像處理方法，其能夠獲得圖案照射紅外線圖像以及無(wú)圖案照射紅外線圖像，以通過(guò)控制紅外線圖案照射定時(shí)來(lái)獲得更準(zhǔn)確的深度信息。
[0012]問(wèn)題的解決方案
[0013]根據(jù)本公開，提供了一種圖像處理裝置，其包括:圖案照射單元，該圖案照射單元將紅外線圖案照射到目標(biāo)物體的表面上；以及紅外線圖像捕捉單元，該紅外線圖像捕捉單元捕捉紅外線圖像。圖案照射單元在與紅外線圖像捕捉單元的圖像捕捉定時(shí)對(duì)應(yīng)的預(yù)定定時(shí)處進(jìn)行照射。紅外線圖像捕捉單元獲得:圖案投影紅外線圖像，在該圖案投影紅外線圖像中，將由圖案照射單元照射的圖案投影到目標(biāo)物體上；以及無(wú)圖案紅外線圖像，在該無(wú)圖案紅外線圖像中，未將圖案投影到目標(biāo)物體上。
[0014]根據(jù)本公開，提供了一種圖像處理方法，其包括:通過(guò)圖案照射單元將紅外線圖案照射到目標(biāo)物體的表面上；以及通過(guò)紅外線圖像捕捉單元捕捉紅外線圖像。圖案照射單元在與紅外線圖像捕捉單元的圖像捕捉定時(shí)對(duì)應(yīng)的預(yù)定定時(shí)處進(jìn)行照射。紅外線圖像捕捉單元獲得:圖案投影紅外線圖像，在該圖案投影紅外線圖像中，將由圖案照射單元照射的圖案投影到目標(biāo)物體上；以及無(wú)圖案紅外線圖像，在該無(wú)圖案紅外線圖像中，未將圖案投影到目標(biāo)物體上。
[0015]效果
[0016]如上面所描述的，根據(jù)本公開，通過(guò)控制照射紅外線圖案的定時(shí)，可以獲得圖案照射紅外線圖像和無(wú)圖案照射紅外線圖像，以獲得更準(zhǔn)確的深度信息。
[0017]此外，上述效果并不一定是限制性的，連同這些效果或者替代這些效果，可以展示出期望被引入本說(shuō)明書的任何效果或者可以從本說(shuō)明書中期望的其它效果。
【附圖說(shuō)明】
[0018]圖1是示出了根據(jù)第一實(shí)施例的圖像處理裝置的配置的框圖。
[0019]圖2是示出了根據(jù)第一實(shí)施例的IR隨機(jī)圖案照射單元的結(jié)構(gòu)的示意圖。
[0020]圖3是用于圖示根據(jù)第一實(shí)施例的通過(guò)立體圖像匹配單元進(jìn)行的塊匹配方法的示意圖。
[0021]圖4示出了根據(jù)第一實(shí)施例的通過(guò)切掉從定時(shí)控制單元輸出的脈沖波形的部分而獲得的示意圖。
[0022]圖5是用于圖示通過(guò)使用單目IR攝像機(jī)來(lái)檢測(cè)深度信息的情況的示意圖。
[0023]圖6是示出了根據(jù)第二實(shí)施例的圖像處理裝置的配置的框圖。
[0024]圖7示出了根據(jù)第二實(shí)施例的通過(guò)切掉從定時(shí)控制單元輸出的脈沖波形的部分而獲得的示意圖。
[0025]圖8是示出了根據(jù)第三實(shí)施例的圖像處理裝置的配置的框圖。
[0026]圖9是示出了計(jì)算量減少的情況和計(jì)算量未減少的情況的深度圖像的示例的示意圖。
[0027]圖10是根據(jù)第三實(shí)施例的用于圖示高分辨率深度圖像的生成的示意圖。
【具體實(shí)施方式】
[0028]在下文中，將參照附圖來(lái)詳細(xì)描述本公開的實(shí)施例。在本說(shuō)明書和附圖中，使用相同的附圖標(biāo)記來(lái)表示具有大體上相同的功能和結(jié)構(gòu)的元件，從而省略了重復(fù)描述。
[0029]另外，將按照以下順序進(jìn)行描述。
[0030]1、根據(jù)第一實(shí)施例的圖像處理裝置_] 卜1、配置
[0032]1-2、操作
[0033]1-3、補(bǔ)充
[0034]1-4、效果
[0035]2、根據(jù)第二實(shí)施例的圖像處理裝置
[0036]2-1、配置
[0037]2-2、操作
[0038]2-3、效果
[0039]3、根據(jù)第三實(shí)施例的圖像處理
[0040]3-1、配置
[0041]3-2、操作
[0042]3-3、效果
[0043]4、概述
[0044]《1、根據(jù)第一實(shí)施例的圖像處理裝置》
[0045]〈1-1、配置〉
[0046]首先，下面將參照?qǐng)D1來(lái)描述根據(jù)本公開的第一實(shí)施例的圖像處理裝置10-1的配置。圖1是示出了根據(jù)第一實(shí)施例的圖像處理裝置10-1的配置的框圖。
[0047]如圖1所示，根據(jù)本實(shí)施例的圖像處理裝置10-1具有定時(shí)控制單元101、IR立體攝像機(jī)102、IR隨機(jī)圖案照射單元103、IR照射單元104、隨機(jī)圖案LR圖像存儲(chǔ)單元105、IR圖像存儲(chǔ)單元106、立體圖像匹配單元107、深度圖像存儲(chǔ)單元108、圖像識(shí)別單元109、以及識(shí)別結(jié)果存儲(chǔ)單兀110。
[0048](定時(shí)控制單元)
[0049]定時(shí)控制單元101由控制電路組成，該控制電路將脈沖輸出至IR立體攝像機(jī)102、IR隨機(jī)圖案照射單元103和IR照射單元104。定時(shí)控制單元101控制IR隨機(jī)圖案照射單元103和IR照射單元104來(lái)在，例如，IR立體攝像機(jī)102捕捉圖像的定時(shí)處交替地進(jìn)行照射，從而能夠交替地捕捉圖案照射圖像和無(wú)圖案照射圖像。稍后將參照?qǐng)D4來(lái)描述通過(guò)定時(shí)控制單元1I進(jìn)行的圖像捕捉和照射定時(shí)的具體操作控制。
[0050](IR立體攝像機(jī))
[0051]IR立體攝像機(jī)102是紅外線圖像捕捉單元的示例，該紅外線圖像捕捉單元由能夠僅僅捕捉IR(紅外線)區(qū)域的兩個(gè)攝像機(jī)組成。具體地，IR立體攝像機(jī)102可以捕捉僅僅IR區(qū)域的圖像，例如，通過(guò)安裝可見光截止濾光器。另外，按照生成足夠視差的間隔來(lái)定位組成IR立體攝像機(jī)1 2的兩個(gè)攝像機(jī)。在這兩個(gè)攝像機(jī)中，因?yàn)樵趤?lái)自定時(shí)控制單元1I的IR立體攝像機(jī)控制脈沖201(參見圖4)的上升邊沿釋放快門(捕捉圖像)，所以在兩個(gè)攝像機(jī)之間的圖像捕捉中未發(fā)生時(shí)滯。
[0052](IR隨機(jī)圖案照射單元)
[0053]IR隨機(jī)圖案照射單元103是將紅外線(IR)圖案照射到目標(biāo)物體的表面上的圖案照射單元的示例，并且其照射IR隨機(jī)圖案。此處，圖2示出了根據(jù)第一實(shí)施例的IR隨機(jī)圖案照射單元103的結(jié)構(gòu)。
[0054]如圖2所述，IR隨機(jī)圖案照射單元103具有光發(fā)射控制單元301、IR光源302、IR隨機(jī)圖案掩模303、以及投影透鏡304。
[0055]光發(fā)射控制單元301根據(jù)從定時(shí)控制單元101輸入的IR隨機(jī)圖案照射單元控制脈沖(參見圖4)的上升，通過(guò)使電流流至IR光源302—段時(shí)間來(lái)控制光發(fā)射。在本實(shí)施例中，光發(fā)射控制單元301在IR隨機(jī)圖案照射單元控制脈沖202為高的同時(shí)使恒定電流流動(dòng)。
[0056]例如，IR光源302是紅外線發(fā)射單元并且利用紅外線LED(發(fā)光二極管)來(lái)實(shí)現(xiàn)。當(dāng)光發(fā)射控制單元301使電流流動(dòng)時(shí)，IR光源302照射紅外線波長(zhǎng)(例如，大約850nm的波長(zhǎng))。從IR光源302照射的紅外線穿過(guò)隨機(jī)圖案掩模303。
[0057]例如，利用已經(jīng)經(jīng)過(guò)通過(guò)電鑄而進(jìn)行的微小的并且隨機(jī)的鉆孔處理的金屬網(wǎng)板來(lái)實(shí)現(xiàn)隨機(jī)圖案掩模303。例如，通過(guò)隨機(jī)地對(duì)點(diǎn)進(jìn)行定位并且然后將這些點(diǎn)作為生成器來(lái)生成Voronoi圖，來(lái)實(shí)現(xiàn)隨機(jī)網(wǎng)。雖然，另外，也可以例如通過(guò)在薄膜上打印隨機(jī)圖案或者點(diǎn)或者在玻璃上使用蝕刻來(lái)投影微小隨機(jī)圖案，但是，通過(guò)使用通過(guò)電鑄而進(jìn)行的微小鉆孔處理，紅外線能夠穿過(guò)隨機(jī)圖案而不減弱。
[0058]投影透鏡304使由穿過(guò)隨機(jī)圖案掩模303的紅外線形成的IR隨機(jī)圖案310投影到目標(biāo)物體上。雖然，在圖2所示的示例中，為了簡(jiǎn)單起見，將投影透鏡304示出為單個(gè)透鏡，但是根據(jù)既定用途(諸如，必要的視角和聚焦距離)，投影透鏡實(shí)際上可以由多個(gè)凹透鏡和凸透鏡組成。
[0059](IR照射單元)
[0060]IR照射單元具有發(fā)出無(wú)圖案紅外線的功能。因?yàn)镮R照射單元104的具體結(jié)構(gòu)是通過(guò)從圖2所示的IR隨機(jī)圖案照射單元103移除隨機(jī)圖案掩模303而獲得的，并且除了該部件之外的部件都相同，所以此處將省略對(duì)其的描述。在配置中包括進(jìn)IR照射單元104提供了可以獲得更明亮的IR圖像的效果。
[0061]IR照射單元104并不是根據(jù)本實(shí)施例的圖像處理裝置10-1中的必要部件，并且，如果存在適度地包括紅外線的環(huán)境光(諸如，燈泡)，那么可以省略該IR照射單元104。另外，因?yàn)镮R照射單元104不需要照射IR隨機(jī)圖案310，所以，如果存在可以均勻發(fā)出紅外線的環(huán)境(諸如，當(dāng)在目標(biāo)物體(對(duì)象)與IR照射單元104之間的距離足夠近時(shí))，那么也可以省略光學(xué)透鏡(諸如，投影透鏡304)。
[0062](隨機(jī)圖案LR圖像存儲(chǔ)單元)
[0063]當(dāng)IR隨機(jī)圖案照射單元103投影IR隨機(jī)圖案310時(shí)，隨機(jī)圖案LR圖像存儲(chǔ)單元105存儲(chǔ)由IR立體攝像機(jī)102捕捉到的兩個(gè)IR隨機(jī)圖案照射圖像(L圖像和R圖像)，該IR立體攝像機(jī)102由兩個(gè)紅外線攝像機(jī)(左攝像機(jī)、右攝像機(jī))組成。
[0064](立體圖像匹配單元)
[0065]立體圖像匹配單元107是通過(guò)使用在隨機(jī)圖案LR圖像存儲(chǔ)單元105中存儲(chǔ)的LR圖像來(lái)生成具有深度信息的深度圖像的深度計(jì)算單元。雖然可以使用各種傳統(tǒng)所熟知的技術(shù)作為生成深度圖像的方法，但是此處使用塊匹配方法作為示例。在下文中，將參照?qǐng)D3來(lái)詳細(xì)描述該方法。
[0066]圖3是用于圖示了根據(jù)第一實(shí)施例的通過(guò)立體圖像匹配單元107進(jìn)行的塊匹配方法的示意圖。在圖3所示的示例中，針對(duì)每個(gè)塊，匹配由組成IR立體攝像機(jī)102的右側(cè)攝像機(jī)捕捉到的隨機(jī)圖案R圖像701和由左側(cè)攝像機(jī)捕捉到的隨機(jī)圖案L圖像702。
[0067]具體地，當(dāng)按照每8X8的塊進(jìn)行圖像匹配時(shí)，從L圖像702搜索在由右攝像機(jī)捕捉至IJ的R圖像701中以目標(biāo)像素704為中心靠近8 X 8像素的塊705的塊，從而獲得視差。更加具體地，立體圖像匹配單元107為在L圖像702中的搜索范圍706中的所有水平像素中的每個(gè)像素，在隨機(jī)圖案R圖像中的8 X 8的塊705與在隨機(jī)圖案L圖像中的8 X 8的塊707像素之間進(jìn)行圖像比較。例如，當(dāng)搜索范圍706具有64個(gè)像素時(shí)，為作為輸入圖像的R圖像701的每個(gè)像素進(jìn)行64次塊圖像匹配，并且為作為輸入圖像的R圖像701的所有像素進(jìn)行此操作。
[0068]由此，當(dāng)立體圖像匹配單元107以每個(gè)塊為基礎(chǔ)進(jìn)行右圖像和左圖像的匹配時(shí)，SP使是表面無(wú)特征(平坦無(wú)圖案)的目標(biāo)物體，諸如，例如，到目前為止還尚未經(jīng)過(guò)匹配的白盒，也可以通過(guò)使用IR隨機(jī)圖案照射圖像來(lái)準(zhǔn)確地進(jìn)行匹配。
[0069]進(jìn)一步地，對(duì)組成IR立體攝像機(jī)102的右攝像機(jī)和左攝像機(jī)進(jìn)行固定，進(jìn)而固定攝像機(jī)之間的距離(基線長(zhǎng)度)。因此，可以基于通過(guò)塊匹配而獲得的視差以及基線長(zhǎng)度來(lái)獲得深度。
[0070]通過(guò)對(duì)所有像素進(jìn)行上述匹配處理，可以獲得整個(gè)畫面的深度圖像。
[0071](深度圖像存儲(chǔ)單元)
[0072]深度圖像存儲(chǔ)單元108存儲(chǔ)由立體圖像匹配單元107獲得的深度圖像。
[0073](IR圖像存儲(chǔ)單元)
[0074]當(dāng)IR照射單元104進(jìn)行照射時(shí)，IR圖像存儲(chǔ)單元106存儲(chǔ)由IR立體攝像機(jī)102捕捉至IJ的IR圖像(無(wú)圖案照射圖像)。此處，在IR圖像存儲(chǔ)單元106中存儲(chǔ)的IR圖像可以是由組成IR立體攝像機(jī)102的左攝像機(jī)或者右攝像機(jī)捕捉到的圖像。具體地，僅僅可以使用由左攝像機(jī)捕捉到的L圖像或者僅僅可以使用由右攝像機(jī)捕捉到的R圖像，或者可替代地，可以根據(jù)用途來(lái)存儲(chǔ)和使用由兩個(gè)攝像機(jī)捕捉到的LR圖像。
[0075](圖像識(shí)別單元)
[0076]圖像識(shí)別單元109基于在IR圖像存儲(chǔ)單元106中存儲(chǔ)的IR圖像(無(wú)圖案紅外線圖像)來(lái)進(jìn)行傳統(tǒng)所熟知的圖像識(shí)別處理(例如，利用差分濾波器的邊沿檢測(cè)處理)，包括:識(shí)別目標(biāo)物體的輪廓和進(jìn)行字符識(shí)別。
[0077]具體地，在比如組成字符的線是重要信息的字符識(shí)別等圖像處理的情況下，如果使用了在隨機(jī)圖案LR圖像存儲(chǔ)單元105中存儲(chǔ)的、在其上投影有隨機(jī)圖案的圖像，那么隨機(jī)圖案使得在該字符上生成意外的陰影，從而導(dǎo)致識(shí)別率下降。另外，如果使用了隨機(jī)圖案照射圖像，那么在邊沿檢測(cè)處理(諸如，差分濾波)中不僅檢測(cè)到對(duì)象的輪廓，還檢測(cè)到隨機(jī)圖案的輪廓，并且無(wú)法準(zhǔn)確地獲得對(duì)象的輪廓。因此，圖像識(shí)別單元109使用在IR圖像存儲(chǔ)單元106中存儲(chǔ)的、在其上未照射有隨機(jī)圖案的IR圖像，從而準(zhǔn)確地識(shí)別出寫在目標(biāo)物體的表面上的字符(諸如，書名)以及目標(biāo)物體的輪廓。
[0078]進(jìn)一步地，當(dāng)在物體的輪廓是識(shí)別目標(biāo)物體的形狀的重要信息的圖像處理中使用可見光攝像機(jī)時(shí)，其可以使輪廓的識(shí)別率下降。例如，如果將可見光圖像從投影儀投影到桌子等上，并且用戶進(jìn)行針對(duì)投影到桌子上的圖像而手動(dòng)輸入的操作，那么將手的位置、手的形狀、以及手形狀的變化等用作操作輸入信息。在這種情況下，如果使用了可見光攝像機(jī)，那么在作為目標(biāo)物體的手的表面上反射出投影圖像，并且因此，手的形狀和輪廓的識(shí)別率下降。因此，根據(jù)本實(shí)施例的圖像識(shí)別單元109使用由利用紅外線攝像機(jī)實(shí)現(xiàn)的IR立體攝像機(jī)102捕捉的IR圖像，從而準(zhǔn)確地識(shí)別手的形狀和輪廓，而不受在手表面上反射出的投影可見光圖像的影響。
[0079](識(shí)別結(jié)果存儲(chǔ)單元)
[0080]識(shí)別結(jié)果存儲(chǔ)單元110存儲(chǔ)在圖像識(shí)別單元109中識(shí)別到的結(jié)果。
[0081]具有上述配置的圖像處理裝置10-1可以識(shí)別并且輸出目標(biāo)物體(對(duì)象)的三維形狀(深度圖像)、寫在目標(biāo)物體的表面上的字符、以及目標(biāo)物體的輪廓。接下來(lái)，將參照?qǐng)D4來(lái)具體描述通過(guò)定時(shí)控制單元101進(jìn)行的圖像捕捉和照射定時(shí)的操作控制。
[0082]〈1-2、操作〉
[0083]圖4是通過(guò)切掉從定時(shí)控制單元101輸出的脈沖波形的部分而獲得的示意圖。如圖4所示，控制脈沖201是發(fā)送至IR立體攝像機(jī)102的控制脈沖，并且IR立體攝像機(jī)102設(shè)計(jì)為在該脈沖的上升邊沿處釋放快門(捕捉圖像)。
[0084]另外，控制脈沖202和203是分別發(fā)送至IR隨機(jī)圖案照射單元103和IR照射單元104的控制脈沖，并且照射單元設(shè)計(jì)為在這些脈沖的上升邊沿處接通IR光源一段時(shí)間。IR隨機(jī)圖案照射單元103和IR照射單元104的控制定時(shí)設(shè)置為在IR立體攝像機(jī)控制脈沖201的半周期內(nèi)交替地引起光發(fā)射，如圖4所示。具體地，隨機(jī)圖案照射單元103在IR立體攝像機(jī)控制脈沖201的奇數(shù)定時(shí)或者偶數(shù)定時(shí)(IR立體攝像機(jī)102捕捉圖像的定時(shí))處進(jìn)行照射(發(fā)射光)，并且IR照射單元104在與隨機(jī)圖案照射單元103進(jìn)行光發(fā)射的定時(shí)不同的定時(shí)處發(fā)射光。
[0085]這樣，IR立體攝像機(jī)102可以及時(shí)交替地獲得其上照射有隨機(jī)圖案的目標(biāo)物體的圖像(圖案投影紅外線圖像)以及其上未照射有任何圖案的IR的目標(biāo)物體的圖像。
[0086]IR隨機(jī)圖案照射單元103和IR照射單元104的照射控制定時(shí)并不限于圖4所示的示例。根據(jù)用途，也可以在與IR立體攝像機(jī)102(IR立體攝像機(jī)控制脈沖201)進(jìn)行圖像捕捉的定時(shí)對(duì)應(yīng)的預(yù)定定時(shí)處輸出這些照射控制定時(shí)。例如，如果期望更準(zhǔn)確地識(shí)別出快速移動(dòng)的目標(biāo)物體(例如，手)的形狀，那么使隨機(jī)圖案照射單元103進(jìn)行的照射的定時(shí)的數(shù)量增加，并且使IR照射單元在與隨機(jī)圖案照射單元103進(jìn)行照射的定時(shí)不同的定時(shí)處進(jìn)行照射。具體地，將控制脈沖輸出至隨機(jī)圖案照射單元103，該控制脈沖使隨機(jī)圖案照射單元103按照預(yù)定間隔(諸如，連續(xù)進(jìn)行多次照射，并且然后保持一次暫停的間隔)進(jìn)行照射，并且將控制脈沖輸出至IR照射單元104，在隨機(jī)圖案照射單元103進(jìn)行多次照射之后，該控制脈沖使IR照射單元104進(jìn)行一次照射。
[0087]在任何情況下，定時(shí)控制單元101都可以使IR立體攝像機(jī)102能夠及時(shí)在不同的定時(shí)處獲得其上照射有隨機(jī)圖案的目標(biāo)物體的圖像(圖案投影紅外線圖像)以及其上進(jìn)行了無(wú)圖案IR照射的目標(biāo)物體的圖像(無(wú)圖案紅外線圖像)。
[0088]在獲得圖像之后，如上面所描述的，當(dāng)圖像識(shí)別單元109進(jìn)行圖像處理(諸如，字符識(shí)別)時(shí)，立體圖像匹配單元107生成深度圖像。
[0089]〈1-3、補(bǔ)充〉
[0090]接下來(lái)，將對(duì)本實(shí)施例做出補(bǔ)充闡釋。雖然在上述實(shí)施例中通過(guò)使用IR立體攝像機(jī)102來(lái)檢測(cè)深度信息，但是本實(shí)施例并不限于此，并且也可以通過(guò)使用單目IR攝像機(jī)來(lái)檢測(cè)深度信息。
[0091 ]在這種情況下，圖像處理裝置10-1提前存儲(chǔ)用于IR照射的隨機(jī)圖案并且在存儲(chǔ)的隨機(jī)圖案與由一個(gè)IR攝像機(jī)捕捉到的圖像之間進(jìn)行塊匹配，從而計(jì)算深度。在下文中，將參照?qǐng)D5進(jìn)行描述。
[0092]圖5是用于圖示通過(guò)使用單目IR攝像機(jī)112來(lái)檢測(cè)深度信息的情況的示意圖。圖5所示的單目IR攝像機(jī)112與IR隨機(jī)圖案照射單元103之間的距離d是已知的。
[0093]圖像處理單元10-1基于在由IR攝像機(jī)112捕捉到的圖像上的經(jīng)過(guò)匹配的隨機(jī)圖案的坐標(biāo)值，并且具體地，基于在目標(biāo)物體S上反射出的隨機(jī)圖案的坐標(biāo)位置，通過(guò)使用已知距離d，來(lái)計(jì)算深度。更加具體地，圖像處理裝置10-1估計(jì)圖案的坐標(biāo)位置，如果目標(biāo)物體S不存在，那么在墻表面上反射出該圖案，并且根據(jù)在估計(jì)的坐標(biāo)位置與在目標(biāo)物體S上反射出的隨機(jī)圖案的坐標(biāo)位置之間的視差來(lái)檢測(cè)深度信息。
[0094]〈1-4、效果〉
[0095]如上面所描述的，利用第一實(shí)施例，即使物體在其表面上無(wú)特征，也可以通過(guò)將紅外線隨機(jī)圖案照射到物體上來(lái)獲得準(zhǔn)確的深度信息。進(jìn)一步地，通過(guò)獲得其上未照射有隨機(jī)圖案的紅外線圖像，也可以精確地進(jìn)行圖像處理，該圖像處理不要求隨機(jī)圖案或者在準(zhǔn)確度方面受隨機(jī)圖案的影響。
[0096]進(jìn)一步地，因?yàn)榘凑辗謺r(shí)方式使用攝像機(jī)來(lái)獲得深度并且處理圖像，所以不需要調(diào)整兩個(gè)攝像機(jī)的位置，并且可以容易地匹配兩個(gè)產(chǎn)生的位置。
[0097]進(jìn)一步地，通過(guò)交替地接通IR隨機(jī)圖案照射單元103和IR照射單元104以與快門定時(shí)(圖像捕捉的定時(shí))同步，延長(zhǎng)了照射單元的光發(fā)射間隔，并且可以減小光發(fā)射占空比。然后，由于可以減小光發(fā)射占空比，所以可以增加一詞流動(dòng)的電流量并且可以提供更明亮的光發(fā)射。這樣，可以獲得對(duì)在圖像捕捉之后的圖像處理有效的效果，諸如，能夠使快門速度增加或者使增益減小以抑制噪音。
[0098]《2、根據(jù)第二實(shí)施例的圖像處理裝置》
[0099]接下來(lái)，將參照?qǐng)D6和圖7來(lái)描述根據(jù)第二實(shí)施例的圖像處理裝置10-2。
[0100]〈2-1、配置〉
[0101]圖6是示出了根據(jù)第二實(shí)施例的圖像處理裝置10-2的配置的框圖。如圖6所示，圖像處理裝置10-2具有定時(shí)控制單元401、IR立體攝像機(jī)402、IR攝像機(jī)403、IR隨機(jī)圖案照射單元404、IR照射單元405、隨機(jī)圖案LR圖像存儲(chǔ)單元105、IR圖像存儲(chǔ)單元106a、立體圖像匹配單元107、深度圖像存儲(chǔ)單元108、圖像識(shí)別單元109、以及識(shí)別結(jié)果存儲(chǔ)單元110。
[0102]因?yàn)殡S機(jī)圖案LR圖像存儲(chǔ)單元105、立體圖像匹配單元107、深度圖像存儲(chǔ)單元108、圖像識(shí)別單元109、以及識(shí)別結(jié)果存儲(chǔ)單元110與參照?qǐng)D1描述的在第一實(shí)施例中的這些單元相似，所以此處將省略對(duì)它們的描述。
[0103](定時(shí)控制單元)
[0104]定時(shí)控制單元401由控制電路組成，該控制電路將脈沖輸出至IR立體攝像機(jī)402、IR攝像機(jī)403、IR隨機(jī)圖案照射單元404、以及IR照射單元405。稍后將參照?qǐng)D7來(lái)描述通過(guò)定時(shí)控制單元401而進(jìn)行的圖像捕捉和照射定時(shí)的控制。
[0105](IR隨機(jī)圖案照射單元)
[0106]雖然IR隨機(jī)圖案照射單元404的結(jié)構(gòu)與參照?qǐng)D2所描述的第一實(shí)施例的IR隨機(jī)圖案照射單元103相似，但是其與IR隨機(jī)圖案照射單元103的不同之處在于:選擇光源以使IR光源302的波長(zhǎng)變成，例如，850nmo
[0107](IR照射單元)
[0108]雖然IR照射單元405的結(jié)構(gòu)也與根據(jù)第一實(shí)施例的IR照射單元104相似，但其與IR照射單元104的不同之處在于:選擇光源以使IR光源的波長(zhǎng)變成，例如，750nm。
[0109](IR立體攝像機(jī))
[0110]IR立體攝像機(jī)402具有帶通濾波器、低通濾波器或者允許例如在IR(紅外線)區(qū)域中的大約850nm的波長(zhǎng)穿過(guò)的高通濾波器，并且IR立體攝像機(jī)402具有結(jié)構(gòu)，在該結(jié)構(gòu)中，具有除了850nm之外的光具有降低的密度并且不容易被暴露。這樣，IR立體攝像機(jī)402可以捕捉其上疊加有從IR隨機(jī)圖案照射單元404照射的隨機(jī)圖案的目標(biāo)物體的圖像。
[0111](IR 攝像機(jī))
[0112]IR攝像機(jī)403具有帶通濾波器、低通濾波器或者允許例如在IR(紅外線)區(qū)域中的大約750nm的波長(zhǎng)穿過(guò)的高通濾波器，并且IR攝像機(jī)403具有結(jié)構(gòu)，在該結(jié)構(gòu)中，具有除了750nm之外的光具有降低的密度并且不容易被暴露。這樣，因?yàn)镮R攝像機(jī)403切斷了從隨機(jī)圖案照射單元404照射的波長(zhǎng)，所以可以捕捉(無(wú)圖案)圖像，在該圖像中，未將隨機(jī)圖案疊加在對(duì)象上。
[0113]可以利用至少一個(gè)紅外線攝像機(jī)來(lái)實(shí)現(xiàn)IR攝像機(jī)403。
[ΟΙ14] (IR圖像存儲(chǔ)單元)
[0115]IR圖像存儲(chǔ)單元106a存儲(chǔ)由利用至少一個(gè)紅外線攝像機(jī)實(shí)現(xiàn)的IR攝像機(jī)403捕捉到的一個(gè)圖像。
[0116]具有上述配置的圖像處理裝置10-2可以識(shí)別和輸出目標(biāo)物體(對(duì)象)的三維形狀(深度圖像)、寫在目標(biāo)物體的表面上的字符以及目標(biāo)物體的輪廓，如同第一實(shí)施例。
[0117]〈2-2、操作〉
[0118]接下來(lái)，將參照?qǐng)D7來(lái)詳細(xì)描述通過(guò)定時(shí)控制單元401而進(jìn)行的圖像捕捉和照射定時(shí)的操作控制。
[0119]圖7是通過(guò)切掉從定時(shí)控制單元401輸出的脈沖波形中的部分而獲得的示意圖。如圖7中的定時(shí)波形所示，輸入至塊的控制脈沖501至504是同步脈沖。
[0120]IR立體攝像機(jī)402和IR攝像機(jī)403設(shè)計(jì)為在同步脈沖的上升邊沿處釋放它們的快門。另外，IR立體攝像機(jī)402和IR攝像機(jī)403設(shè)計(jì)為在同步脈沖的上升邊沿處打開IR光源一段時(shí)間。
[0121]換言之，根據(jù)本實(shí)施例的定時(shí)控制單元401將IR立體攝像機(jī)402和IR攝像機(jī)403進(jìn)行圖像捕捉的定時(shí)以及IR隨機(jī)圖案照射單元404和IR照射單元405進(jìn)行照射的定時(shí)控制為相同的定時(shí)。
[0122]即使IR立體攝像機(jī)402在通過(guò)IR隨機(jī)圖案照射單元404照射隨機(jī)圖案的定時(shí)處捕捉圖像，IR攝像機(jī)403也具有用于切斷如上所描述的隨機(jī)圖案的照射波長(zhǎng)的濾波器，并且因此，可以捕捉(無(wú)圖案)圖像，在該圖像中，未將隨機(jī)圖案疊加在對(duì)象上。這樣，可以獲得具有圖案的紅外線圖像以及無(wú)圖案紅外線圖像，但不生成時(shí)滯。
[0123]在獲得圖像之后，如同第一實(shí)施例，當(dāng)圖像識(shí)別單元109進(jìn)行圖像處理(諸如，字符識(shí)別)時(shí)，立體圖像匹配單元107生成深度圖像。
[0124]〈2-3、效果〉
[0125]由于具有上述配置的第二實(shí)施例，如同第一實(shí)施例，可以獲得如下效果:計(jì)算物體在其表面無(wú)特征，也可以獲得準(zhǔn)確的深度信息，并且可以準(zhǔn)確地進(jìn)行根據(jù)準(zhǔn)確性等的不需要隨機(jī)圖案或者受到隨機(jī)圖案的影響的圖像處理。
[0126]進(jìn)一步地，在第二實(shí)施例中，不像第一實(shí)施例，按照預(yù)定波長(zhǎng)照射IR隨機(jī)圖案，并且捕捉圖像，從而使安裝有預(yù)定波長(zhǎng)穿過(guò)的光學(xué)濾波器的IR立體攝像機(jī)402與安裝有切斷預(yù)定波長(zhǎng)的光學(xué)濾波器的IR攝像機(jī)403同步。這產(chǎn)生了如下效果:在沒有在其上投影有隨機(jī)圖案的圖像與其上未投影有隨機(jī)圖案的圖像之間產(chǎn)生時(shí)滯的情況下，兩個(gè)圖像處理結(jié)果更加容易同步和相關(guān)聯(lián)。
[0127]《3、根據(jù)第三實(shí)施例的圖像處理裝置》
[0128]接下來(lái)，將參照?qǐng)D8至圖10來(lái)描述根據(jù)第三實(shí)施例的圖像處理裝置10-3。由于本實(shí)施例，可以減輕通過(guò)根據(jù)上述實(shí)施例的立體圖像匹配單元107而進(jìn)行的計(jì)算處理的負(fù)載并且也生成高分辨率深度圖像。
[0129]〈3-1、配置〉
[0130]圖8是示出了根據(jù)第三實(shí)施例的圖像處理裝置10-3的配置的框圖。如圖8所示，圖像處理裝置10-3具有定時(shí)控制單元101、IR立體攝像機(jī)102、IR隨機(jī)圖案照射單元103、IR照射單元104、隨機(jī)圖案LR圖像存儲(chǔ)單元105、IR圖像存儲(chǔ)單元106、立體圖像匹配單元107a、深度圖像存儲(chǔ)單元108a、圖像識(shí)別單元109、識(shí)別結(jié)果存儲(chǔ)單元110、高分辨率深度計(jì)算單元609、以及高分辨率深度圖像存儲(chǔ)單元610。
[0131 ]因?yàn)槎〞r(shí)控制單元101、IR立體攝像機(jī)102、IR隨機(jī)圖案照射單元103、IR照射單元104、隨機(jī)圖案LR圖像存儲(chǔ)單元105、IR圖像存儲(chǔ)單元106、圖像識(shí)別單元109、以及識(shí)別結(jié)果存儲(chǔ)單元110與參照?qǐng)D1描述的第一實(shí)施例中的這些單元相似，所以此處將省略對(duì)它們的描述。
[0132](立體圖像匹配單元)
[0133]立體圖像匹配單元107a基于其上投影有隨機(jī)圖案的在隨機(jī)圖案LR圖像存儲(chǔ)單元105中存儲(chǔ)的目標(biāo)物體的LR圖像來(lái)生成深度圖像。此處，雖然生成深度圖像的各種方法是可能的，但是如果使用了已經(jīng)參照?qǐng)D3而描述的塊匹配方法，那么對(duì)作為輸入圖像的R圖像701中的所有像素進(jìn)行匹配，并且存在計(jì)算量非常大的問(wèn)題。因此，如果這種計(jì)算處理由軟件實(shí)現(xiàn)，那么無(wú)法對(duì)齊進(jìn)行實(shí)時(shí)處理，并且如果其由專用軟件(諸如，LSI(大規(guī)模集成))實(shí)現(xiàn)，那么增加電路的規(guī)模，從而導(dǎo)致LSI的成本增加。
[0134]鑒于此，為了減小塊匹配中的計(jì)算量，可以執(zhí)行減小作為輸入圖像的R圖像701和L圖像702的大小的方法、以及減小匹配次數(shù)的方法，從而通過(guò)對(duì)每?jī)蓚€(gè)像素或者四個(gè)像素，但是并不是R圖像701中的所有像素進(jìn)行水平匹配和垂直匹配來(lái)使匹配次數(shù)下降。然而，雖然這些方法對(duì)減小計(jì)算量有很好的效果，但是它們具有使獲得的深度信息的分辨率降低的問(wèn)題。在下文中，圖9示出了根據(jù)計(jì)算量的深度圖像的示例。在圖9所示的深度圖像801、802a和803b中，圖像中的較深的顏色指示離攝像機(jī)遠(yuǎn)，然而，較淺的顏色指示離攝像機(jī)近。
[0135]圖9是示出了在計(jì)算量未減少時(shí)和在計(jì)算量減少時(shí)獲得的深度圖像的示例的示意圖。如圖9所示，在計(jì)算量未減少時(shí)獲得的(高分辨率)深度圖像801中，如果捕捉到手作為目標(biāo)物體，那么甚至可以識(shí)別出手指的形狀。
[0136]另一方面，在捕捉到作為相同目標(biāo)物體的手的圖像并且計(jì)算量減小時(shí)獲得的(低分辨率)深度圖像802a中，無(wú)法識(shí)別出手指的形狀。深度圖像802a是在減小作為輸入圖像的R圖像701和L圖像702的大小的方法用作減小計(jì)算量的方法時(shí)生成的低分辨率深度圖像。進(jìn)一步地，在圖9所示的示例中，也示出了通過(guò)放大深度圖像802a而獲得的深度圖像802b，以與深度圖像801進(jìn)行比較。
[0137]由此，當(dāng)計(jì)算量減小時(shí)，無(wú)法識(shí)別出目標(biāo)物體的形狀，并且因此，當(dāng)手指的形狀是重要信息時(shí)，其變得特別不確定。因此，在本實(shí)施例中，下述高分辨率深度計(jì)算單元609使IR圖像的輪廓圖像與低分辨率深度圖像同步，從而生成高分辨率深度圖像。
[0138](深度圖像存儲(chǔ)單元)
[0139]深度圖像存儲(chǔ)單元108a存儲(chǔ)在立體圖像匹配單元107a中生成并且計(jì)算量減小的低分辨率深度圖像。
[0140](高分辨率深度計(jì)算單元)
[0141]高分辨率深度計(jì)算單元609從識(shí)別結(jié)果存儲(chǔ)單元110獲得基于IR圖像而識(shí)別出的目標(biāo)物體的輪廓信息。如在第一實(shí)施例中所描述的，識(shí)別結(jié)果存儲(chǔ)單元110存儲(chǔ)由圖像識(shí)別單元109基于IR圖像而識(shí)別出的目標(biāo)物體的輪廓信息。另外，高分辨率深度計(jì)算單元609從深度圖像存儲(chǔ)單元108a獲得基于已經(jīng)減小以減小計(jì)算量的的LR圖像而生成的低分辨率深度圖像。
[0142]然后，高分辨率深度計(jì)算單元609基于目標(biāo)物體的輪廓信息和低分辨率深度圖像來(lái)生成高分辨率深度圖像。在下文中，將參照?qǐng)D10來(lái)做出描述。
[0143]圖10是根據(jù)本實(shí)施例的用于圖示高分辨率深度圖像的生成的示意圖。圖10所示的IR圖像901是在IR照射單元104進(jìn)行照射的時(shí)候已經(jīng)由IR立體攝像機(jī)102捕捉到并且在IR圖像存儲(chǔ)單元106中存儲(chǔ)的無(wú)隨機(jī)圖案IR圖像。另外，輪廓圖像902是具有由圖像識(shí)別單元109基于在IR圖像存儲(chǔ)單元106中存儲(chǔ)的IR圖像901，通過(guò)應(yīng)用差分濾波器而獲得的目標(biāo)物體的輪廓信息的圖像。在識(shí)別結(jié)果存儲(chǔ)單元110中存儲(chǔ)這種輪廓圖像902。
[0144]另一方面，低分辨率深度圖像802a是由立體圖像匹配單元107a通過(guò)減小作為輸入圖像的L圖像和R圖像以減小計(jì)算量而生成的深度圖像。作為輸入的L圖像和R圖像是具有在IR隨機(jī)圖案照射單元103進(jìn)行照射的時(shí)候由IR立體攝像機(jī)102捕捉到的隨機(jī)圖案的IR圖像。在深度圖像存儲(chǔ)單元108a中存儲(chǔ)由立體圖像匹配單元107a生成的深度圖像802a。
[0145]然后，高分辨率深度計(jì)算單元609獲得并且同步在深度圖像存儲(chǔ)單元108a中存儲(chǔ)的低分辨率深度圖像802a和在識(shí)別結(jié)果存儲(chǔ)單元110中存儲(chǔ)的IR圖像的輪廓圖像902。具體地，高分辨率深度計(jì)算單元609擴(kuò)大在圖10中所示的低分辨率深度圖像802a，并且使放大的深度圖像802b與輪廓圖像902同步。
[0146]在圖10所示的同步圖像903中，可以通過(guò)輪廓來(lái)識(shí)別手指的形狀。此處，高分辨率深度計(jì)算單元609在輪廓內(nèi)利用具有從深度圖像802b中獲得的有效深度值的最外邊緣像素的值來(lái)代替無(wú)有效深度值的深色區(qū)域，以填充該區(qū)域，從而獲得高分辨率深度圖像904。
[0147]在高分辨率深度圖像存儲(chǔ)單元610中存儲(chǔ)具有由高分辨率深度計(jì)算單元609生成的高清輪廓信息的深度圖像904。
[0148]〈3-2、操作〉
[0149]已經(jīng)具體描述了根據(jù)本實(shí)施例的圖像處理裝置10-3的配置以及高分辨率深度圖像的生成。通過(guò)圖像處理裝置10-3的定時(shí)控制單元101而進(jìn)行的圖像捕捉和照射定時(shí)的控制與參照?qǐng)D4所描述的第一實(shí)施例相似，并且因此，此處將省略對(duì)其的描述。
[0150]〈3-3.效果〉
[0151]如上面所描述，由于第三實(shí)施例，可以減小在深度計(jì)算方面的計(jì)算量，例如，通過(guò)減小輸入圖像或者進(jìn)行降低，并且獲得高分辨率深度圖像。
[0152]另外，如同第一實(shí)施例，通過(guò)基于其上投影有IR隨機(jī)圖案的圖像來(lái)獲得深度信息，可以甚至從無(wú)圖案的平坦對(duì)象獲得深度信息。進(jìn)一步地，通過(guò)使用其上未投影有IR隨機(jī)圖案的圖像，可以準(zhǔn)確地進(jìn)行目標(biāo)物體的邊沿處理。
[0153]根據(jù)第三實(shí)施例的第三圖像處理裝置10-3的配置并不限于圖8所示的示例。例如，圖像處理裝置10-3可以具有在第二實(shí)施例中所示的定時(shí)控制單元401、IR隨機(jī)圖案照射單元404、IR立體攝像機(jī)402、IR攝像機(jī)403、IR照射單元405和IR圖像存儲(chǔ)單元106a，來(lái)代替定時(shí)控制單元101、IR隨機(jī)圖案照射單元103、IR立體攝像機(jī)102、IR照射單元104和IR圖像存儲(chǔ)單元106。
[0154]《4、總結(jié)》
[0155]如上面所描述，根據(jù)本公開的實(shí)施例的圖像處理裝置10-1至10-3控制紅外線圖案照射的定時(shí)，從而獲得其上照射有圖案的紅外線圖像以及其上未照射有圖案的紅外線圖像，以獲得更加準(zhǔn)確的深度信息。
[0156]上面已經(jīng)參照附圖描述了本公開的優(yōu)選實(shí)施例，同時(shí)，本公開并不限于上述示例。本領(lǐng)域技術(shù)人員可以發(fā)現(xiàn)在所附權(quán)利要求書的范圍內(nèi)的變更和修改，并且應(yīng)該理解，它們將天生在本公開的技術(shù)范圍內(nèi)。
[0157]例如，可以創(chuàng)建用于使集成到上述圖像處理裝置10-1至10-3中的硬件(諸如，CPU、ROM和RAM)能夠進(jìn)行圖像處理裝置10-1至10-3的功能的計(jì)算機(jī)程序。
[0158]進(jìn)一步地，在第二實(shí)施例和第三實(shí)施例中，也可以按照與在第一實(shí)施例的補(bǔ)充中所描述的方式相似的方式來(lái)進(jìn)行基于由單目IR攝像機(jī)112捕捉到的IR圖像以及預(yù)先存儲(chǔ)的隨機(jī)圖案來(lái)生成深度信息。
[0159]另外，本說(shuō)明書中所描述的效果僅僅是說(shuō)明性和示范性的，而不是限制性的。換言之，根據(jù)本公開的技術(shù)可以呈現(xiàn)對(duì)本領(lǐng)域技術(shù)人員顯而易見的其它效果連同基于本說(shuō)明書的效果，而不是顯示基于本說(shuō)明書的效果。
[0160]另外，本技術(shù)還可以如下配置。
[0161](I)
[0162]一種圖像處理裝置，其包括:
[0163]圖案照射單元，該圖案照射單元將紅外線圖案照射到目標(biāo)物體的表面上；以及
[0164]紅外線圖像捕捉單元，該紅外線圖像捕捉單元捕捉紅外線圖像，其中，
[0165]圖案照射單元在與紅外線圖像捕捉單元的圖像捕捉定時(shí)對(duì)應(yīng)的預(yù)定定時(shí)處進(jìn)行照射，并且
[0166]高紅外線圖像捕捉單元獲得:圖案投影紅外線圖像，在該圖案投影紅外線圖像中，將由圖案照射單元照射的圖案投影到目標(biāo)物體上；以及無(wú)圖案紅外線圖像，在該無(wú)圖案紅外線圖像中，未將圖案投影到目標(biāo)物體上。
[0167](2)
[0168]根據(jù)(I)所述的圖像處理裝置，其中，圖案照射單元按照紅外線圖像捕捉單元的圖像捕捉定時(shí)的預(yù)定間隔同時(shí)照射。
[0169](3)
[0170]根據(jù)(2)所述的圖像處理裝置，其中，圖案照射單元在紅外線圖像捕捉單元的圖像捕捉定時(shí)的奇數(shù)定時(shí)或者偶數(shù)定時(shí)處照射。
[0171](4)
[0172]根據(jù)(2)或者(3)所述的圖像處理裝置，其進(jìn)一步包括:
[0173]紅外線照射單元，該紅外線照射單元無(wú)圖案，其中，
[0174]在紅外線圖像捕捉單元的圖像捕捉定時(shí)中，紅外線照射單元在與圖案照射單元的照射定時(shí)不同的定時(shí)處照射無(wú)圖案紅外線。
[0175](5)
[0176]根據(jù)(4)所述的圖像處理裝置，其中，紅外線照射單元與圖案照射單元交替地照射無(wú)圖案紅外線。
[0177](6)
[0178]根據(jù)(I)至(5)中的任一項(xiàng)所述的圖像處理裝置，其進(jìn)一步包括:
[0179]第一深度計(jì)算單元，該第一深度計(jì)算單元基于由紅外線圖像捕捉單元捕捉到的圖像投影紅外線圖像以及預(yù)先存儲(chǔ)的并且由圖案照射單元照射的圖案來(lái)進(jìn)行塊匹配，以計(jì)算目標(biāo)物體的深度信息。
[0180](7)
[0181]根據(jù)(I)至(5)中的任一項(xiàng)所述的圖像處理裝置，其中，
[0182]紅外線圖像捕捉單元包括兩個(gè)或者多個(gè)紅外線圖像捕捉單元，并且
[0183]圖像處理裝置進(jìn)一步包括:
[0184]第二深度計(jì)算單元，該第二深度計(jì)算單元基于由該兩個(gè)或者多個(gè)紅外線圖像捕捉單元從多個(gè)視點(diǎn)捕捉到的圖案投影紅外線圖像來(lái)進(jìn)行塊匹配，以計(jì)算目標(biāo)物體的深度信息。
[0185](8)
[0186]根據(jù)(I)所述的圖像處理裝置，其中，
[0187]圖案照射單元通過(guò)使用預(yù)定波長(zhǎng)的紅外線來(lái)照射圖案，
[0188]紅外線圖像捕捉單元包括第一紅外線圖像捕捉單元和第二紅外線圖像捕捉單元，
[0189]第一紅外線圖像捕捉單元包括允許被圖案照射單元照射的波長(zhǎng)附近的紅外線穿過(guò)的帶通濾波器、低通濾波器以及高通濾波器中的至少一個(gè)，并且
[0190]第二紅外線圖像捕捉單元包括切斷具有被圖案照射單元照射的波長(zhǎng)的紅外線的帶通濾波器、低通濾波器以及高通濾波器中的至少一個(gè)。
[0191](9)
[0192]根據(jù)(8)所述的圖像處理裝置，其進(jìn)一步包括:
[0193]紅外線照射單元，該紅外線照射單元無(wú)圖案，其中，
[0194]該第二紅外線圖像捕捉單元包括允許由圖案照射單元照射的波長(zhǎng)附近的紅外線穿過(guò)的帶通濾波器、低通濾波器以及高通濾波器中的至少一個(gè)。
[0195](10)
[0196]根據(jù)(9)所述的圖像處理裝置，其中，第一紅外線圖像捕捉單元和第二紅外線圖像捕捉單元進(jìn)行圖像捕捉的定時(shí)以及紅外線照射單元和圖案照射單元進(jìn)行照射的定時(shí)全部是相同的定時(shí)。
[0197](11)
[0198]根據(jù)(I)至5和8至(10)中的任一項(xiàng)所述的圖像處理裝置，其進(jìn)一步包括:
[0? 99]第三深度計(jì)算單元，該第三深度計(jì)算單元基于由紅外線圖像捕捉單元捕捉到的圖像投影紅外線圖像以及預(yù)先存儲(chǔ)的并且由圖案照射單元照射的圖案來(lái)進(jìn)行需要減少的計(jì)算量的塊匹配，以計(jì)算目標(biāo)物體的低分辨率深度信息。
[0200] (12)
[0201]根據(jù)(I)至5和8至(10)中的任一項(xiàng)所述的圖像處理裝置，其中，
[0202]紅外線圖像捕捉單元包括兩個(gè)或者多個(gè)紅外線圖像捕捉單元，并且
[0203]圖像處理裝置進(jìn)一步包括:
[0204]第四深度計(jì)算單元，該第四深度計(jì)算單元基于由兩個(gè)或者多個(gè)紅外線圖像捕捉單元從多個(gè)視點(diǎn)捕捉到的圖案投影紅外線圖像來(lái)進(jìn)行需要減少的計(jì)算量的塊匹配，以計(jì)算目標(biāo)物體的低分辨率深度信息。
[0205](13)
[0206]根據(jù)(12)所述的圖像處理裝置，其進(jìn)一步包括:
[0207]高分辨率深度計(jì)算單元，該高分辨率深度計(jì)算單元基于由第四深度計(jì)算單元計(jì)算得到的低分辨率深度信息以及從無(wú)圖案紅外線圖像中提取到的目標(biāo)物體的輪廓信息，來(lái)計(jì)算目標(biāo)物體的高分辨率深度信息。
[0208](14)
[0209]根據(jù)(I)至(14)中的任一項(xiàng)所述的圖像處理裝置，其中，圖案是隨機(jī)圖案。
[0210](15)
[0211]根據(jù)(I)至(14)中的任一項(xiàng)所述的圖像處理裝置，其中，圖案是通過(guò)使紅外線穿過(guò)電鑄形成的掩模而形成。
[0212](16)
[0213]一種圖像處理方法，其包括:
[0214]通過(guò)圖案照射單元將紅外線圖案照射到目標(biāo)物體的表面上；以及
[0215]通過(guò)紅外線圖像捕捉單元捕捉紅外線圖像，其中，
[0216]圖案照射單元在與紅外線圖像捕捉單元的圖像捕捉定時(shí)對(duì)應(yīng)的預(yù)定定時(shí)處進(jìn)行照射，并且
[0217]紅外線圖像捕捉單元獲得:圖案投影紅外線圖像，在該圖案投影紅外線圖像中，將由圖案照射單元照射的圖案投影到目標(biāo)物體上；以及無(wú)圖案紅外線圖像，在該無(wú)圖案紅外線圖像中，未將圖案投影到目標(biāo)物體上。
[0218]附圖標(biāo)記列表
[0219]10-1、10-2、10-3 圖像處理裝置
[0220]101、401定時(shí)控制單元
[0221]102,402 IR立體攝像機(jī)
[0222]112單目IR攝像機(jī)
[0223]403 IR攝像機(jī)
[0224]103,404 IR隨機(jī)圖案照射單元
[0225]104 IR照射單元
[0226]105隨機(jī)圖案LR圖像存儲(chǔ)單元
[0227]106、106a IR圖像存儲(chǔ)單元
[0228]107、107a立體圖像匹配單元
[0229]108、108a深度圖像存儲(chǔ)單元
[0230]109圖像識(shí)別單元
[0231]HO識(shí)別結(jié)果存儲(chǔ)單元
[0232]201,501 IR立體攝像機(jī)控制脈沖
[0233]202,503 IR隨機(jī)圖案照射單元控制脈沖
[0234]203、504 IR照射單元控制脈沖
[0235]301光發(fā)射控制單元
[0236]302 IR光源
[0237]303 IR隨機(jī)圖案掩模
[0238]304投影透鏡
[0239]310 IR隨機(jī)圖案
[0240]502 IR攝像機(jī)控制脈沖
[0241]609高分辨率深度計(jì)算單元
[0242]610高分辨率深度圖像存儲(chǔ)單元
[0243]801在計(jì)算量減小時(shí)獲得的深度圖像
[0244]802a在計(jì)算量未減小時(shí)獲得的深度圖像
[0245]802b在計(jì)算量減小時(shí)獲得的(放大的)深度圖像
[0246]901 IR 圖像
[0247]902輪廓圖像
[0248]903同步圖像
[0249]904高分辨率深度圖像。
【主權(quán)項(xiàng)】
1.一種圖像處理裝置，其包括: 圖案照射單元，所述圖案照射單元將紅外線圖案照射到目標(biāo)物體的表面上；以及 紅外線圖像捕捉單元，所述紅外線圖像捕捉單元捕捉紅外線圖像，其中， 所述圖案照射單元在與所述紅外線圖像捕捉單元的圖像捕捉定時(shí)對(duì)應(yīng)的預(yù)定定時(shí)處進(jìn)行照射，并且 所述紅外線圖像捕捉單元獲得:圖案投影紅外線圖像，在所述圖案投影紅外線圖像中，將由所述圖案照射單元照射的所述圖案投影到所述目標(biāo)物體上；以及無(wú)圖案紅外線圖像，在所述無(wú)圖案紅外線圖像中，所述圖案未被投影到所述目標(biāo)物體上。2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖案照射單元按照所述紅外線圖像捕捉單元的圖像捕捉定時(shí)的預(yù)定間隔同時(shí)照射。3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述圖案照射單元在所述紅外線圖像捕捉單元的圖像捕捉定時(shí)的奇數(shù)定時(shí)或者偶數(shù)定時(shí)處照射。4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其進(jìn)一步包括: 紅外線照射單元，所述紅外線照射單元無(wú)圖案，其中， 在所述紅外線圖像捕捉單元的圖像捕捉定時(shí)中，所述紅外線照射單元在與所述圖案照射單元的照射定時(shí)不同的定時(shí)處照射無(wú)圖案紅外線。5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述紅外線照射單元與所述圖案照射單元交替地照射所述無(wú)圖案紅外線。6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其進(jìn)一步包括: 第一深度計(jì)算單元，所述第一深度計(jì)算單元基于由所述紅外線圖像捕捉單元捕捉到的所述圖像投影紅外線圖像以及預(yù)先存儲(chǔ)的并且由所述圖案照射單元照射的圖案來(lái)進(jìn)行塊匹配，以計(jì)算所述目標(biāo)物體的深度信息。7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述紅外線圖像捕捉單元包括兩個(gè)或者多個(gè)紅外線圖像捕捉單元，并且 所述圖像處理裝置進(jìn)一步包括: 第二深度計(jì)算單元，所述第二深度計(jì)算單元基于由所述兩個(gè)或者多個(gè)紅外線圖像捕捉單元從多個(gè)視點(diǎn)捕捉到的圖案投影紅外線圖像來(lái)進(jìn)行塊匹配，以計(jì)算所述目標(biāo)物體的深度?目息O8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述圖案照射單元通過(guò)使用預(yù)定波長(zhǎng)的紅外線來(lái)照射所述圖案， 所述紅外線圖像捕捉單元包括第一紅外線圖像捕捉單元和第二紅外線圖像捕捉單元，所述第一紅外線圖像捕捉單元包括允許由所述圖案照射單元照射的波長(zhǎng)附近的紅外線穿過(guò)的帶通濾波器、低通濾波器以及高通濾波器中的至少一個(gè)，并且 所述第二紅外線圖像捕捉單元包括切斷具有由所述圖案照射單元照射的波長(zhǎng)的紅外線的帶通濾波器、低通濾波器以及高通濾波器中的至少一個(gè)。9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其進(jìn)一步包括: 紅外線照射單元，所述紅外線照射單元無(wú)圖案，其中， 所述第二紅外線圖像捕捉單元包括允許由所述圖案照射單元照射的波長(zhǎng)附近的紅外線穿過(guò)的帶通濾波器、低通濾波器以及高通濾波器中的至少一個(gè)。10.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中，所述第一紅外線圖像捕捉單元和所述第二紅外線圖像捕捉單元進(jìn)行圖像捕捉的定時(shí)以及所述紅外線照射單元和所述圖案照射單元進(jìn)行照射的定時(shí)全部是相同的定時(shí)。11.根據(jù)權(quán)利要求1所述的圖像處理裝置，其進(jìn)一步包括: 第三深度計(jì)算單元，所述第三深度計(jì)算單元基于由所述紅外線圖像捕捉單元捕捉到的所述圖像投影紅外線圖像以及預(yù)先存儲(chǔ)的并且由所述圖案照射單元照射的圖案來(lái)進(jìn)行需要減少的計(jì)算量的塊匹配，以計(jì)算所述目標(biāo)物體的低分辨率深度信息。12.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述紅外線圖像捕捉單元包括兩個(gè)或者多個(gè)紅外線圖像捕捉單元，并且 所述圖像處理裝置進(jìn)一步包括: 第四深度計(jì)算單元，所述第四深度計(jì)算單元基于由所述兩個(gè)或者多個(gè)紅外線圖像捕捉單元從多個(gè)視點(diǎn)捕捉到的圖案投影紅外線圖像來(lái)進(jìn)行需要減少的計(jì)算量的塊匹配，以計(jì)算所述目標(biāo)物體的低分辨率深度信息。13.根據(jù)權(quán)利要求12所述的圖像處理裝置，其進(jìn)一步包括: 高分辨率深度計(jì)算單元，所述高分辨率深度計(jì)算單元基于由所述第四深度計(jì)算單元計(jì)算得到的所述低分辨率深度信息以及從所述無(wú)圖案紅外線圖像中提取到的所述目標(biāo)物體的輪廓信息，來(lái)計(jì)算所述目標(biāo)物體的高分辨率深度信息。14.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖案是隨機(jī)圖案。15.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖案是通過(guò)使紅外線穿過(guò)電鑄形成的掩模而形成。16.—種圖像處理方法，所述圖像處理方法包括: 通過(guò)圖案照射單元將紅外線圖案照射到目標(biāo)物體的表面上；以及 通過(guò)紅外線圖像捕捉單元捕捉紅外線圖像，其中， 所述圖案照射單元在與紅外線圖像捕捉單元的圖像捕捉定時(shí)對(duì)應(yīng)的預(yù)定定時(shí)處進(jìn)行照射，并且 所述紅外線圖像捕捉單元獲得:圖案投影紅外線圖像，在所述圖案投影紅外線圖像中，將由所述圖案照射單元照射的所述圖案投影到所述目標(biāo)物體上；以及無(wú)圖案紅外線圖像，在所述無(wú)圖案紅外線圖像中，所述圖案未被投影到所述目標(biāo)物體上。
【文檔編號(hào)】G01B11/25GK105829829SQ201480069661
【公開日】2016年8月3日
【申請(qǐng)日】2014年10月31日
【發(fā)明人】永田政晴, 松井康浩
【申請(qǐng)人】索尼公司