用于在深度估計(jì)過程中使用增強(qiáng)的場景檢測的系統(tǒng)和方法

用于在深度估計(jì)過程中使用增強(qiáng)的場景檢測的系統(tǒng)和方法
【專利摘要】本公開涉及用于在深度估計(jì)過程中使用增強(qiáng)的場景檢測的系統(tǒng)和方法。用于執(zhí)行增強(qiáng)的場景檢測過程的系統(tǒng)包括用于捕捉攝像目標(biāo)的模糊圖像的傳感器設(shè)備。每個(gè)模糊圖像都對應(yīng)于從通常是圓盤模糊場景的第一場景類型以及通常是高斯場景類型的第二場景類型檢測到的場景類型。場景檢測器執(zhí)行初始場景檢測過程以識別模糊圖像的候選場景類型。然后，場景檢測器執(zhí)行增強(qiáng)的場景檢測過程以識別模糊圖像的最終場景類型。
【專利說明】用于在深度估計(jì)過程中使用增強(qiáng)的場景檢測的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明總體上涉及用于分析圖像數(shù)據(jù)的技術(shù)，更特別地，涉及用于在深度估計(jì)過程中使用增強(qiáng)的場景檢測的系統(tǒng)和方法。
【背景技術(shù)】
[0002]實(shí)現(xiàn)用于分析圖像數(shù)據(jù)的有效率的方法是現(xiàn)代電子設(shè)備的設(shè)計(jì)者和制造商的重要考慮。然而，用電子設(shè)備有效率地分析圖像數(shù)據(jù)會給系統(tǒng)設(shè)計(jì)者帶來相當(dāng)大的挑戰(zhàn)。例如，對增強(qiáng)的設(shè)備功能和性能的增大的需求可能需要更多系統(tǒng)處理能力且要求額外的硬件資源。處理或硬件要求的提高也可能由于生產(chǎn)成本的提高以及操作效率不高而導(dǎo)致相應(yīng)的負(fù)面經(jīng)濟(jì)影響。
[0003]此外，執(zhí)行各種高級操作的增強(qiáng)設(shè)備功能可以向系統(tǒng)用戶提供額外的好處，但是也可能給對各種設(shè)備組件的控制和管理帶來增大的需求。例如，有效地分析數(shù)字圖像數(shù)據(jù)的增強(qiáng)的電子設(shè)備可能由于所涉及的大量和復(fù)雜的數(shù)字?jǐn)?shù)據(jù)而得益于有效率的實(shí)現(xiàn)。
[0004]由于對系統(tǒng)資源的增長需求以及顯著增大的數(shù)據(jù)大小，顯然，開發(fā)用于分析圖像數(shù)據(jù)的新技術(shù)是相關(guān)電子技術(shù)關(guān)心的問題。因此，由于所有前述理由，開發(fā)用于分析圖像數(shù)據(jù)的有效系統(tǒng)是現(xiàn)代電子設(shè)備的設(shè)計(jì)者、制造商以及用戶的重要考慮。

【發(fā)明內(nèi)容】

[0005]根據(jù)本發(fā)明，公開了用于在深度估計(jì)過程中使用增強(qiáng)的場景檢測的系統(tǒng)和方法。在一實(shí)施例中，攝像機(jī)最初捕捉圖像I。然后，改變攝像機(jī)的焦距設(shè)置。然后，攝像機(jī)捕捉比前一次捕捉到的圖像I更模糊的(焦點(diǎn)未對準(zhǔn))的離焦模糊圖像2。
[0006]場景檢測器或其他適當(dāng)?shù)膶?shí)體執(zhí)行初始場景檢測過程以產(chǎn)生候選場景類型。例如，場景檢測器可以將捕捉到的圖像I和圖像2識別為候選圓盤場景的一部分。相反，場景檢測器可以將捕捉到的圖像I和圖像2識別為高斯場景的一部分。根據(jù)本發(fā)明，然后，場景檢測器對圓盤模糊候選執(zhí)行增強(qiáng)的場景分析過程，由此驗(yàn)證這些檢測結(jié)果是準(zhǔn)確的。增強(qiáng)的場景分析過程可以包括半徑分析過程和/或配準(zhǔn)分析過程。
[0007]在半徑分析過程中，場景檢測器最初統(tǒng)計(jì)兩個(gè)圓盤模糊候選中的每個(gè)中的飽和像素的數(shù)量，然后，使用兩個(gè)飽和像素總數(shù)來計(jì)算兩個(gè)相應(yīng)的圓盤模糊候選的半徑值。然后，場景檢測器利用兩個(gè)半徑值來計(jì)算圓盤模糊候選的當(dāng)前半徑變化率。場景檢測器將當(dāng)前半徑變化率與預(yù)定義的校準(zhǔn)半徑變化率進(jìn)行比較。在某些實(shí)施例中，可以從表達(dá)模糊半徑大小和焦深距離值的線性關(guān)系的校準(zhǔn)半徑變化曲線導(dǎo)出預(yù)定義的校準(zhǔn)半徑變化率。
[0008]然后，場景檢測器判斷當(dāng)前半徑變化率是否匹配預(yù)定義的校準(zhǔn)半徑變化率。如果否，那么場景檢測器將圓盤模糊候選重新分類為高斯模糊。然而，如果當(dāng)前半徑變化率匹配預(yù)定義的校準(zhǔn)半徑變化率，那么場景檢測器為兩個(gè)圓盤模糊候選保留原始檢測結(jié)果。
[0009]在配準(zhǔn)分析過程中，場景檢測器或其他適當(dāng)?shù)膶?shí)體最初訪問兩個(gè)圓盤模糊候選。然后，場景檢測器對圓盤模糊候選執(zhí)行配準(zhǔn)分析過程，以驗(yàn)證這些檢測結(jié)果是準(zhǔn)確的。配準(zhǔn)分析過程可以通過利用任何有效的技術(shù)來執(zhí)行。例如，在某些實(shí)施例中，場景檢測器可以通過判斷來自一個(gè)模糊圖像的每個(gè)飽和像素是否也在另一模糊圖像中在相同像素坐標(biāo)位置處飽和，來評估圓盤模糊候選的配準(zhǔn)特征。
[0010]于是，場景檢測器判斷兩個(gè)模糊圖像是否對準(zhǔn)。如果由于良好的配準(zhǔn)特性而場景檢測器判斷圓盤模糊候選被正確地分類，那么場景檢測器保留圓盤檢測結(jié)果。然而，如果由于不良配準(zhǔn)特性而場景檢測器判斷圓盤模糊候選被不正確地分類，那么場景檢測器將圓盤模糊候選重新分類為高斯模糊圖像。然后，深度估計(jì)器可以選擇并執(zhí)行適當(dāng)?shù)纳疃裙烙?jì)過程。因此，本發(fā)明提供用于使用用于執(zhí)行深度估算過程的增強(qiáng)的場景檢測的改善的系統(tǒng)和方法。
【專利附圖】

【附圖說明】
[0011]圖1是根據(jù)本發(fā)明的攝像設(shè)備的一實(shí)施例的框圖；
[0012]圖2是根據(jù)本發(fā)明的圖1的捕捉子系統(tǒng)的一實(shí)施例的框圖；
[0013]圖3是根據(jù)本發(fā)明的圖1的控制模塊的一實(shí)施例的框圖；
[0014]圖4是根據(jù)本發(fā)明的圖3的存儲器的一實(shí)施例的框圖；
[0015]圖5是根據(jù)本發(fā)明的用于捕捉離焦模糊圖像的一示例性實(shí)施例的圖；
[0016]圖6是根據(jù)本發(fā)明一實(shí)施例的示例性匹配曲線的曲線圖；
[0017]圖7是根據(jù)本發(fā)明一實(shí)施例的模糊圖像的示例性高斯模型的曲線圖；
[0018]圖8是根據(jù)本發(fā)明一實(shí)施例的模糊圖像的示例性圓盤模型的曲線圖；
[0019]圖9是根據(jù)本發(fā)明一實(shí)施例的兩個(gè)飽和高斯模糊圖像的曲線圖；
[0020]圖10是根據(jù)本發(fā)明一實(shí)施例的兩個(gè)飽和圓盤模糊圖像的曲線圖；
[0021]圖11A-11C是根據(jù)本發(fā)明一實(shí)施例用于執(zhí)行增強(qiáng)的深度估計(jì)過程的方法步驟的流程圖；
[0022]圖12A是示出根據(jù)本發(fā)明一實(shí)施例的兩個(gè)圓盤模糊圖像的良好配準(zhǔn)(registration)特性的兩個(gè)圖；
[0023]圖12B是示出根據(jù)本發(fā)明一實(shí)施例的兩個(gè)高斯模糊圖像的不良配準(zhǔn)特性的兩個(gè)圖；
[0024]圖13是根據(jù)本發(fā)明一實(shí)施例的示例性校準(zhǔn)了的半徑變化曲線的曲線圖；以及
[0025]圖14A-14B是根據(jù)本發(fā)明一實(shí)施例的用于執(zhí)行增強(qiáng)的場景檢測過程的方法步驟的流程圖。
【具體實(shí)施方式】
[0026]本發(fā)明涉及圖像數(shù)據(jù)分析技術(shù)中的改善。提供下面的描述以使本領(lǐng)域普通技術(shù)人員實(shí)現(xiàn)并使用本發(fā)明，下面的描述是在專利申請以及其要求的情境中提供的。對所公開的實(shí)施例的各種修改對本領(lǐng)域技術(shù)人員來說是顯而易見的，此處的一般原理可以適用于其他實(shí)施例。因此，本發(fā)明不限于所示出的實(shí)施例，而是具有根據(jù)與此處所描述的原理和特點(diǎn)一致的最寬范圍。
[0027]本發(fā)明包括用于執(zhí)行增強(qiáng)的場景檢測過程的系統(tǒng)和方法，并包括用于捕捉攝像目標(biāo)的模糊圖像的傳感器設(shè)備。每個(gè)模糊圖像都對應(yīng)于從第一場景類型(通常是圓盤模糊場景)以及第二場景類型(通常是高斯場景類型)檢測到的場景類型。場景檢測器執(zhí)行初始場景檢測過程以識別模糊圖像的候選場景類型。然后，場景檢測器執(zhí)行增強(qiáng)的場景檢測過程，以識別模糊圖像的最終場景類型。
[0028]現(xiàn)在參考圖1，示出根據(jù)本發(fā)明的攝像設(shè)備110的一實(shí)施例的框圖。在圖1的實(shí)施例中，攝像設(shè)備Iio可包括但不限于捕捉子系統(tǒng)114、系統(tǒng)總線116以及控制模塊118。在圖1的實(shí)施例中，捕捉子系統(tǒng)114可以在光學(xué)上耦合到攝像目標(biāo)112，還可以通過系統(tǒng)總線116電耦合到控制模塊118。
[0029]在替選實(shí)施例中，除結(jié)合圖1的實(shí)施例所討論的那些組件之外，或代替它們，攝像設(shè)備110還可以容易地包括各種其他組件。另外，在某些實(shí)施例中，本發(fā)明可以替選地實(shí)現(xiàn)在除了圖1的攝像設(shè)備110以外的任何適當(dāng)類型的電子設(shè)備中。例如，攝像設(shè)備110可以替選地實(shí)現(xiàn)為成像設(shè)備、計(jì)算機(jī)設(shè)備或消費(fèi)電子設(shè)備。
[0030]在圖1的實(shí)施例中，一旦攝像機(jī)110的捕捉子系統(tǒng)114自動聚焦在目標(biāo)112上，攝像機(jī)用戶就可以請求攝像設(shè)備110捕捉對應(yīng)于目標(biāo)112的圖像數(shù)據(jù)。然后，控制模塊118可以優(yōu)選地通過系統(tǒng)總線116指示捕捉子系統(tǒng)114捕捉表示目標(biāo)112的圖像數(shù)據(jù)。然后，可以通過系統(tǒng)總線116將捕捉到的圖像數(shù)據(jù)傳輸?shù)娇刂颇K118，控制模塊118可以響應(yīng)地對圖像數(shù)據(jù)執(zhí)行各種過程和功能。系統(tǒng)總線116也可以雙向地在捕捉子系統(tǒng)114和控制模塊118之間傳遞各種狀態(tài)和控制信號。
[0031]現(xiàn)在參考圖2，示出了根據(jù)本發(fā)明的圖1的捕捉子系統(tǒng)114的一實(shí)施例的框圖。在圖2的實(shí)施例中，捕捉子系統(tǒng)114優(yōu)選地包括但不限于快門218、透鏡220、圖像傳感器224、紅、綠和藍(lán)(R/G/B)放大器228、模數(shù)(A/D)轉(zhuǎn)換器230、以及接口 232。在替選實(shí)施例中，除結(jié)合圖2的實(shí)施例所討論的那些組件之外，或代替它們，捕捉子系統(tǒng)114還可以容易地包括各種其他組件。
[0032]在圖2的實(shí)施例中，捕捉子系統(tǒng)114可以通過沿光路236入射在圖像傳感器224上的反射光來捕捉對應(yīng)于目標(biāo)112的圖像數(shù)據(jù)?？蓛?yōu)選包括電荷耦合器件(CCD)的圖像傳感器224可以響應(yīng)地生成表示目標(biāo)112的一組圖像數(shù)據(jù)。然后，可以通過放大器228、A/D轉(zhuǎn)換器230以及接口 232來路由圖像數(shù)據(jù)。圖像數(shù)據(jù)通過系統(tǒng)總線116從接口 232傳遞到控制模塊118，以用于適當(dāng)?shù)奶幚砗痛鎯ΑｎA(yù)期諸如CMOS或線性陣列之類的其他類型的圖像捕捉傳感器也可在本發(fā)明中用于捕捉圖像數(shù)據(jù)。下面將結(jié)合圖3-14進(jìn)一步討論攝像機(jī)110的使用和功能。
[0033]現(xiàn)在參考圖3，示出根據(jù)本發(fā)明的圖1的控制模塊118的一實(shí)施例的框圖。在圖3的實(shí)施例中，控制模塊118優(yōu)選包括但不僅限于取景器308、中央處理單元(CPU) 344、存儲器346以及一個(gè)或多個(gè)輸入/輸出接口(I/O) 348。取景器308、CPU344、存儲器346以及1/0348優(yōu)選都耦合到公共系統(tǒng)總線116，并通過公共系統(tǒng)總線116進(jìn)行通信，公共系統(tǒng)總線116還與捕捉子系統(tǒng)114進(jìn)行通信。在替換實(shí)施例中，除了結(jié)合圖3的實(shí)施例所討論的那些組件之外，或代替它們，控制模塊118還可以容易地包括各種其他組件。
[0034]在圖3的實(shí)施例中，CPU344可以實(shí)現(xiàn)為包括任何適當(dāng)?shù)奈⑻幚砥髟O(shè)備?？闪磉x地，CPU344可以使用任何其他適當(dāng)?shù)募夹g(shù)來實(shí)現(xiàn)。例如，CPU344可以實(shí)現(xiàn)為包括某些專用集成電路(ASIC)或其他適當(dāng)?shù)碾娮釉O(shè)備。存儲器346可以實(shí)現(xiàn)為一個(gè)或多個(gè)適當(dāng)?shù)拇鎯υO(shè)備，包括但不限于只讀存儲器、隨機(jī)存取存儲器以及諸如軟盤設(shè)備、硬盤設(shè)備或閃存之類的各種類型的非易失性存儲器。1/0348可以提供用于促進(jìn)攝像設(shè)備110與任何外部實(shí)體(包括系統(tǒng)用戶或另一電子設(shè)備)之間的雙向通信的一個(gè)或多個(gè)有效接口。1/0348可以使用任何適當(dāng)?shù)妮斎牒?或輸出設(shè)備來實(shí)現(xiàn)。下面將結(jié)合圖4到14來進(jìn)一步討論控制模塊118的操作和使用。
[0035]現(xiàn)在參考圖4，示出根據(jù)本發(fā)明的圖3的存儲器346的一實(shí)施例的框圖。在圖4的實(shí)施例中，存儲器346可包括但不限于攝像應(yīng)用412、操作系統(tǒng)414、深度估計(jì)器416、圖像數(shù)據(jù)418、估計(jì)數(shù)據(jù)420、自動聚焦模塊422以及場景檢測器424。在替換實(shí)施例中，除結(jié)合圖4的實(shí)施例所討論的那些組件之外，或代替它們，存儲器346還可以包括各種其他組件。
[0036]在圖4的實(shí)施例中，攝像應(yīng)用412可以包括優(yōu)選由CPU344 (圖3)運(yùn)行以執(zhí)行攝像設(shè)備110的各種功能和操作的程序指令。攝像應(yīng)用412的特定本質(zhì)和功能優(yōu)選根據(jù)諸如相應(yīng)的攝像設(shè)備110的類型和特定用途之類的因素而變化。
[0037]在圖4的實(shí)施例中，操作系統(tǒng)414優(yōu)選控制并協(xié)調(diào)攝像設(shè)備110的底層功能。根據(jù)本發(fā)明，深度估計(jì)器416可以控制并協(xié)調(diào)深度估算過程以促進(jìn)攝像機(jī)110中的自動聚焦特征。在圖4的實(shí)施例中，圖像數(shù)據(jù)418可以包括由攝像設(shè)備110捕捉到的攝像目標(biāo)112的一個(gè)或多個(gè)圖像。估計(jì)數(shù)據(jù)420可以包括用于執(zhí)行深度估算過程的任何類型的信息或數(shù)據(jù)。在圖4的實(shí)施例中，自動聚焦模塊422可以使用深度估算過程的結(jié)果來執(zhí)行攝像設(shè)備110的自動聚焦過程。在圖4實(shí)施例中，場景檢測器424可以執(zhí)行根據(jù)本發(fā)明的各種增強(qiáng)的場景檢測過程。下面將結(jié)合圖11-14來進(jìn)一步討論涉及場景檢測器424的操作的更多細(xì)節(jié)。
[0038]現(xiàn)在參考圖5，示出根據(jù)本發(fā)明的捕捉離焦模糊圖像518的一示例性實(shí)施例的圖示。圖5的實(shí)施例用于示范，在替選實(shí)施例中，本發(fā)明可以使用各種其他配置和元件來捕捉離焦模糊圖像518。
[0039]在圖5的實(shí)施例中，攝像機(jī)110的傳感器224 (見圖2)可以捕捉攝像目標(biāo)或場景112的離焦模糊圖像518以用于執(zhí)行深度估計(jì)過程。可以通過將透鏡220調(diào)整到除正確對焦透鏡位置之外的位置來創(chuàng)建離焦模糊圖像518，正確對焦透鏡位置取決于目標(biāo)112、透鏡220以及傳感器224的相對位置。
[0040]在一實(shí)施例中，可以將兩個(gè)不同的離焦模糊圖像518進(jìn)行比較，以導(dǎo)出深度估計(jì)?？梢詾楸舜讼嗑嘁粋€(gè)景深的兩個(gè)模糊圖像518計(jì)算模糊差異。可以使用模糊差異和已知匹配曲線的斜率來確定給定目標(biāo)112的深度。下面將結(jié)合圖6-14來進(jìn)一步討論用于深度估計(jì)的離焦模糊圖像的生成和使用。
[0041]現(xiàn)在參考圖6，示出根據(jù)本發(fā)明一實(shí)施例的示例性匹配曲線714的曲線圖。圖6的實(shí)施例用于示范，在替換實(shí)施例中，本發(fā)明可以實(shí)現(xiàn)為使用具有除了結(jié)合圖6的實(shí)施例所討論的那些配置和參數(shù)中的某些之外或代替它們的配置和參數(shù)的匹配曲線。
[0042]在某些實(shí)施例中，可以捕捉模糊圖像I和更離焦的模糊圖像2，可以利用高斯內(nèi)核(例如，帶有小方差的3X3高斯矩陣)來卷積較銳利的圖像1，以產(chǎn)生卷積圖像I。將卷積圖像I與模糊圖像2進(jìn)行比較。重復(fù)此過程，直到兩個(gè)模糊圖像匹配。然后，可以繪制迭代次數(shù)對照景深(或以一個(gè)DOF遞增的圖像編號)的曲線圖，以產(chǎn)生模糊匹配曲線，模糊匹配曲線可用于估計(jì)從任何離焦位置到對焦位置的距離。在授予Li等人的美國專利N0.8，045，046中進(jìn)一步討論了關(guān)于前面的深度估計(jì)技術(shù)的更多細(xì)節(jié)，該專利通過引用合并于此。[0043]現(xiàn)在參考圖7，示出根據(jù)本發(fā)明一實(shí)施例的模糊圖像518 (圖5)的示例性高斯模型718的曲線圖。圖7的實(shí)施例用于示范，在替選實(shí)施例中，本發(fā)明可以使用帶有除結(jié)合圖7的實(shí)施例所討論的那些以外的元素和配置的高斯模型。
[0044]在圖7的實(shí)施例中，在垂直軸上表示亮度，在水平軸上表示像素。在圖7的曲線圖中，高斯模型718顯示了典型的鐘形曲線形狀。然而，并非所有的模糊圖像518都通過使用高斯模型718來很好地表示。取決于攝像目標(biāo)或場景的圖像特性，某些非高斯模型可能更有效。
[0045]現(xiàn)在參考圖8，示出根據(jù)本發(fā)明一實(shí)施例的模糊圖像518的示例性圓盤模型的曲線圖。圖8的實(shí)施例用于示范，在替選實(shí)施例中，本發(fā)明可以使用帶有除結(jié)合圖8的實(shí)施例所討論的那些以外的元素和配置的圓盤模型。
[0046]在圖8的實(shí)施例中，在垂直軸上表示亮度，在水平軸上表示像素。在圖8的曲線圖中，圓盤模型818顯示了典型的銳利邊緣形狀。取決于攝像目標(biāo)或場景的圖像特性，諸如圓盤模型818之類的某些非高斯模型可能更有效。例如，圓盤模型818可能對于包括諸如燭光之類的非常亮的光源的黑夜場景更好。
[0047]現(xiàn)在參考圖9，示出根據(jù)本發(fā)明一實(shí)施例的兩個(gè)飽和高斯圖像918和922的圖示。圖9的實(shí)施例用于示范，在替選實(shí)施例中，本發(fā)明可以使用帶有除結(jié)合圖9的實(shí)施例所討論的那些以外的元素和配置的高斯圖像。
[0048]在圖9的實(shí)施例中，疊加地示出了第一高斯模糊圖像918和第二高斯模糊圖像922的波形。由于圖像918聚焦得更好，因此其波形形狀比圖像922的波形更窄且更高。在圖9的實(shí)施例中，高斯圖像被削平/飽和，因?yàn)樗鼈兌汲隽孙柡烷撝邓?26。
[0049]在圖9的實(shí)施例中，曲線圖還包括包括第一邊緣區(qū)域930(a)和第二邊緣區(qū)域930(b)的邊緣區(qū)域930。第一邊緣區(qū)域930(a)是圖9的曲線圖左側(cè)的小于飽和閾值926并在波形922和波形918的左側(cè)之間的區(qū)域。第二邊緣區(qū)域930(b)是圖9的曲線圖右側(cè)的小于飽和閾值926并在波形922和波形918的右側(cè)之間的區(qū)域。下面結(jié)合圖10-14進(jìn)一步討論用于檢測包含高斯模糊圖像的高斯場景的某些技術(shù)。
[0050]現(xiàn)在參考圖10，示出根據(jù)本發(fā)明一實(shí)施例的兩個(gè)飽和圓盤圖像1018和1022的圖示。圖10的實(shí)施例用于示范，在替選實(shí)施例中，本發(fā)明可以使用帶有除結(jié)合圖10的實(shí)施例所討論的那些以外的元素和配置的圓盤圖像。
[0051]在圖10的實(shí)施例中，疊加地示出了第一圓盤模糊圖像1018和第二圓盤模糊圖像1022的波形。由于圖像1018聚焦得更好，因此其波形形狀比圖像1022的波形更窄且更高。在圖10的實(shí)施例中，圓盤圖像被削平(clipped)/飽和，因?yàn)樗鼈兌汲鲲柡烷撝邓?026。
[0052]在圖10的實(shí)施例中，曲線圖還包括包括第一邊緣區(qū)域1030(a)和第二邊緣區(qū)域1030(b)的邊緣區(qū)域1030。第一邊緣區(qū)域1030(a)是圖10的曲線圖左側(cè)的小于飽和閾值1026并在波形1022和波形1018的左側(cè)之間的陰影區(qū)。第二邊緣區(qū)域1030(b)是圖10的曲線圖右側(cè)的小于飽和閾值1026并在波形1022和波形1018的右側(cè)之間的陰影區(qū)。圖10是圓盤模糊的一維示例。對于二維圖像，邊緣區(qū)域是兩個(gè)圓盤的邊界之間的環(huán)形區(qū)域。
[0053]根據(jù)本發(fā)明，深度估計(jì)器416 (圖4)可能需要判斷特定場景是高斯場景還是圓盤場景，以便選擇適當(dāng)?shù)纳疃裙烙?jì)過程。例如，結(jié)合上面的圖6，討論了基本深度估計(jì)過程，如Li等人的美國專利N0.8，045，046所公開的那樣。
[0054]另外，在2012年3月22日提交的Li等人的題為“System And Method ForPerforming Depth Estimation Utilizing Pillbox Defocused Images” 的美國專利申請N0.13/426, 828中公開了高斯化深度估計(jì)過程以及填充框(fillbox)過程，其通過引用合并于此。當(dāng)捕捉到的圖像沒有被削平時(shí)，該高斯化深度估計(jì)過程可以處理高斯模糊和非高斯模糊。
[0055]當(dāng)捕捉到的圖像被削平(曝光過度或曝光不足)時(shí)，深度估計(jì)器416必須判斷是將它們當(dāng)作高斯模糊還是圓盤模糊。在削平的圓盤模糊的情況下，深度估計(jì)器416可以使用上文引用的填充框過程和高斯化過程。在高斯模糊的情況下，深度估計(jì)器416可以使用在 2012 年 3 月 9 日提交的 Li 等人的題為 “System And Method For Performing DepthEstimation With Defocused Images Under Extreme Lighting Conditions” 的美國專利申請N0.13/416,049中所公開的削平像素替換過程，該專利申請通過引用合并于此。
[0056]關(guān)于圖9-10的實(shí)施例，當(dāng)與飽和高斯模糊(圖9)相比時(shí)，飽和圓盤圖像(圖10) —般具有更銳利的邊緣。由于邊緣區(qū)域的幾何形狀，與高斯模糊(見圖9)相比，對于圓盤模糊，邊緣區(qū)域1030中的平均亮度差異可示為更大。根據(jù)本發(fā)明，深度估計(jì)器416可以使用此屬性來檢測高斯場景或圓盤場景。當(dāng)檢測到圓盤場景時(shí)，可以使用前面的填充框過程和高斯化過程。相反，當(dāng)檢測到高斯場景時(shí)，可以使用削平像素替換過程。
[0057]在某些情況下，高斯模糊可能被錯(cuò)誤地分類為圓盤模糊。因此，根據(jù)本發(fā)明，場景檢測器424 (圖4)可以使用多種技術(shù)來重新評估這些錯(cuò)誤的圓盤候選，并潛在地將它們重新分類為高斯模糊。下面將結(jié)合圖11-14進(jìn)一步討論用于執(zhí)行增強(qiáng)的場景檢測過程的一個(gè)實(shí)施例的更多細(xì)節(jié)。
[0058]現(xiàn)在參考圖11A-11C，示出根據(jù)本發(fā)明一實(shí)施例的用于執(zhí)行增強(qiáng)的深度估計(jì)過程的方法步驟的流程圖。圖11的實(shí)施例用于示范，在替選實(shí)施例中，本發(fā)明可以使用除結(jié)合圖11的實(shí)施例所討論的那些步驟和工序以外的各種步驟和工序。
[0059]在圖1lA的實(shí)施例中，在步驟1114中，攝像機(jī)110最初捕捉圖像I。在步驟1118中，改變攝像機(jī)Iio的焦點(diǎn)設(shè)置。例如，在圖1lA的實(shí)施例中，可以調(diào)整焦點(diǎn)設(shè)置，以將攝像機(jī)110的焦點(diǎn)縮小一個(gè)或多個(gè)景深(D0F)。在步驟1122中，攝像機(jī)110捕捉比先前捕捉的圖像I更模糊的(焦點(diǎn)未對準(zhǔn))的離焦圖像2。
[0060]在步驟1126中，場景檢測器424或其他適當(dāng)?shù)膶?shí)體定義用于在高斯場景和圓盤場景之間選擇的檢測閾值。在步驟1130中，場景檢測器424計(jì)算圖像I和圖像2之間的邊緣區(qū)域平均亮度差異，如上文結(jié)合圖10所討論的那樣。然后，圖1lA的過程可以通過連接字母“A”轉(zhuǎn)到圖1lB的步驟1134。
[0061]在步驟1134和1138中，場景檢測器424將所計(jì)算的邊緣區(qū)域平均亮度差異與所定義的檢測閾值進(jìn)行比較。如果沒有超出檢測閾值，則在步驟1146中，場景檢測器424將所捕捉的圖像I和圖像2識別為高斯場景的一部分，在步驟1150中，深度估計(jì)器416(圖4)可以選擇并執(zhí)行適于高斯場景的適當(dāng)深度估計(jì)過程。
[0062]然而，如果在步驟1134和1138中超出檢測閾值，則在步驟1142中，場景檢測器424將所捕捉的圖像I和圖像2識別為圓盤模糊候選。然后，圖1lB的過程可以通過連接字母“B”轉(zhuǎn)到圖1lC的步驟1154。在圖1lC的步驟1154和1158中，場景檢測器424對在前面的步驟1142中產(chǎn)生的圓盤模糊候選執(zhí)行增強(qiáng)的場景分析過程，由此驗(yàn)證這些檢測結(jié)果是準(zhǔn)確的。
[0063]如果場景檢測器424判斷圓盤模糊候選被正確地分類，那么在步驟1162中，場景檢測器424保留來自圖1lB的步驟1142的圓盤檢測結(jié)果。然而，如果場景檢測器424判斷在圖1lB的步驟1142中圓盤模糊候選被不正確地分類，那么在步驟1164中，場景檢測器424將圓盤模糊候選重新分類為高斯模糊圖像。然后，深度估計(jì)器416可以選擇并執(zhí)行適當(dāng)?shù)纳疃裙烙?jì)過程。下面將結(jié)合圖12A-14B來進(jìn)一步討論前面的步驟1154的用于執(zhí)行增強(qiáng)的場景分析過程的更多細(xì)節(jié)。
[0064]現(xiàn)在參考圖12A，示出根據(jù)本發(fā)明一實(shí)施例的兩個(gè)圓盤模糊圖像的良好配準(zhǔn)特性的兩個(gè)圖示。圖12A的實(shí)施例用于示范，在替選實(shí)施例中，本發(fā)明可以使用除結(jié)合圖12A的實(shí)施例所討論的那些以外的良好配準(zhǔn)特性。
[0065]在圖12A的實(shí)施例中，示出兩個(gè)圓盤圖像1226和1230的側(cè)面輪廓1214，圓盤圖像1226和1230類似于上面關(guān)于圖10顯示和討論的圓盤圖像1018和1022。側(cè)面輪廓1214還包括飽和水平1222。圖12A的實(shí)施例還包括圓盤圖像1226和1230的頂部輪廓1218。頂部輪廓1218示出良好的配準(zhǔn)特性，在飽和水平1222處，圓盤圖像1226在圓盤圖像1230的內(nèi)側(cè)居中。
[0066]根據(jù)本發(fā)明，可以通過使用任何適當(dāng)?shù)臉?biāo)準(zhǔn)來定義良好配準(zhǔn)。例如，在本發(fā)明一實(shí)施例中，如果來自一個(gè)模糊圖像的每個(gè)飽和像素也在另一模糊圖像中在相同像素坐標(biāo)位置處飽和，則頂部輪廓1218可以表現(xiàn)出良好的配準(zhǔn)特性。因此，本發(fā)明可以在上文所討論的增強(qiáng)的場景檢測過程中執(zhí)行配準(zhǔn)分析過程，以由此重新評估并有可能重新歸類候選圓盤模糊圖像。下面將結(jié)合圖12B-14B來進(jìn)一步討論關(guān)于配準(zhǔn)分析過程的更多細(xì)節(jié)。
[0067]現(xiàn)在參考圖12B，示出根據(jù)本發(fā)明一實(shí)施例的兩個(gè)高斯模糊圖像的不良配準(zhǔn)特性的兩個(gè)圖示。圖12B的實(shí)施例用于示范，在替選實(shí)施例中，本發(fā)明可以使用除結(jié)合圖12B的實(shí)施例所討論的那些以外的不良配準(zhǔn)特性。
[0068]在圖12B的實(shí)施例中，示出與上面結(jié)合圖9顯示并討論的高斯圖像918和922類似的兩個(gè)高斯圖像1254和1258的側(cè)面輪廓1242。側(cè)面輪廓1242還包括飽和水平1250。圖12B的實(shí)施例還包括高斯圖像1254和1258的頂部輪廓1246。頂部輪廓1246示出了不良配準(zhǔn)特性，在飽和水平1250處，圖像1254和圖像1258兩者中沒有一個(gè)在另一圖像內(nèi)居中。
[0069]根據(jù)本發(fā)明，可以通過使用任何適當(dāng)?shù)臉?biāo)準(zhǔn)來定義不良配準(zhǔn)。例如在本發(fā)明一實(shí)施例中，如果來自一個(gè)模糊圖像的每個(gè)飽和像素在另一模糊圖像中的相同像素坐標(biāo)位置處不也飽和，則頂部輪廓1246可以表現(xiàn)出不良配準(zhǔn)特性。因此，本發(fā)明可以在上文所討論的增強(qiáng)的場景檢測過程中執(zhí)行配準(zhǔn)分析過程，以由此重新評估圓盤模糊圖像候選，并有可能將它們重新分類為高斯模糊圖像。下面將結(jié)合圖14B來進(jìn)一步討論關(guān)于配準(zhǔn)分析過程的更多細(xì)節(jié)。
[0070]現(xiàn)在參考圖13，示出根據(jù)本發(fā)明一實(shí)施例的示例性校準(zhǔn)了的半徑變化曲線1314的曲線圖。圖13的實(shí)施例用于示范，在替選實(shí)施例中，本發(fā)明可以實(shí)現(xiàn)為使用帶有除結(jié)合圖13的實(shí)施例所討論的那些配置和參數(shù)中的某些之外，或代替它們的配置和參數(shù)的半徑速率曲線。[0071]圖13的曲線圖在垂直軸上呈現(xiàn)透鏡點(diǎn)擴(kuò)散函數(shù)(PSF)的模糊半徑大小，在水平軸上呈現(xiàn)與對焦位置的焦深(DOF)距離。在圖13的實(shí)施例中，曲線1214是模糊半徑大小與DOF距離的線性關(guān)系的示例。此線性關(guān)系是圓盤模糊圖像的特征，也是高斯模糊圖像非典型的。通過利用此現(xiàn)有知識，可以有效地通過基于不同模糊水平分析模糊半徑如何變化，來對目標(biāo)場景的模糊類型進(jìn)行分類。
[0072]例如，假設(shè)有帶有圓形PSF的透鏡系統(tǒng)。在此情況下，根據(jù)景深(DOF)的定義，PSF的半徑關(guān)于DOF距離線性地變化。請注意，諸如PSF大小和所支持的DOF范圍之類的透鏡特性取決于特定的系統(tǒng)。本發(fā)明使用此類現(xiàn)有知識來判斷目標(biāo)場景是否可能是圓盤模糊。
[0073]在某些實(shí)施例中，可以通過統(tǒng)計(jì)飽和像素來確定圓盤模糊圖像的半徑。例如，考慮下列場景。圓盤模糊的半徑(透鏡PSF的脈沖響應(yīng))可定義為目標(biāo)區(qū)域中的飽和像素的數(shù)量的平方根。通過考慮透鏡PSF的現(xiàn)有知識(可以表示為半徑變化/DOF變化)，利用圖13的半徑變化曲線1314來評估兩個(gè)場景之間的DOF距離，本發(fā)明可以判斷目標(biāo)模糊是否可能是圓盤模糊。
[0074]換言之，如果目標(biāo)模糊是圓盤，則對于給定的DOF距離，應(yīng)該有模糊大小變化的預(yù)期特征率。然而，對于高斯模糊，特征將是隨機(jī)的或場景相關(guān)的，幾乎與透鏡PSF不相關(guān)。此夕卜，假設(shè)對于相同場景，捕捉不同模糊程度的兩個(gè)圖像，如果模糊類型是圓盤模糊，那么不同模糊水平的兩個(gè)圓盤模糊應(yīng)良好地配準(zhǔn)，圓盤的中心幾乎位于相同位置。關(guān)于兩個(gè)飽和區(qū)域?qū)?zhǔn)得如何的該信息也可用于有助于模糊類型澄清。因此，所提出的場景澄清減少了由設(shè)計(jì)用于高斯模糊到圓盤模糊(反之亦可)的圖像處理算法所引起的不正確分類結(jié)果。
[0075]因此，本發(fā)明提供用于通過基于不同的模糊水平分析模糊圖像如何變化來識別目標(biāo)場景的模糊類型的增強(qiáng)的技術(shù)。在對這些模糊圖像變化的分析中，本發(fā)明使用飽和像素計(jì)數(shù)來求圓盤模糊的半徑大小的近似值。然后，本發(fā)明可以使用飽和像素計(jì)數(shù)來判斷目標(biāo)模糊是否是圓盤。此外，本發(fā)明可以基于不同模糊水平的兩個(gè)圓盤模糊的配準(zhǔn)來檢查圓盤模糊的理想性。下面將結(jié)合圖14A和14B進(jìn)一步討論用于執(zhí)行增強(qiáng)的場景檢測過程的更多細(xì)節(jié)。
[0076]現(xiàn)在參考圖14A-14B，示出根據(jù)本發(fā)明一實(shí)施例的用于執(zhí)行增強(qiáng)的場景檢測過程的方法步驟的流程圖。根據(jù)本發(fā)明一實(shí)施例，圖14A描繪了半徑分析過程，圖14B描繪了配準(zhǔn)分析過程。在某些實(shí)施例中，圖14A和14B的各實(shí)施例可以對應(yīng)于上文在圖1lC的步驟1154中提及的增強(qiáng)的場景分析過程。
[0077]圖14的實(shí)施例用于示范，在替選實(shí)施例中，本發(fā)明可以容易地使用除結(jié)合圖14的實(shí)施例所討論的那些步驟和工序以外的各個(gè)步驟和工序。例如，可以單獨(dú)執(zhí)行圖14A的過程或圖14B以重新評估圓盤模糊候選。另外，在某些實(shí)施例中，圖14B的過程可以在圖14A的過程之前執(zhí)行。
[0078]在圖14A的實(shí)施例中的步驟1414中，場景檢測器424 (圖4)或其他適當(dāng)?shù)膶?shí)體最初統(tǒng)計(jì)來自前面的圖1IC的步驟1142的兩個(gè)圓盤模糊候選中的每個(gè)中的飽和像素的數(shù)量。在步驟1418中，場景檢測器424使用兩個(gè)飽和像素總數(shù)來計(jì)算兩個(gè)相應(yīng)的圓盤模糊候選的半徑值，如上文結(jié)合圖13所討論的那樣。
[0079]在步驟1422中，場景檢測器424利用兩個(gè)半徑值來計(jì)算圓盤模糊候選的當(dāng)前半徑變化率。在步驟1426中，場景檢測器424將當(dāng)前半徑變化率與預(yù)定義的校準(zhǔn)半徑變化率進(jìn)行比較。在某些實(shí)施例中，如上文結(jié)合圖13所討論的那樣，可以從校準(zhǔn)的半徑變化曲線1314導(dǎo)出預(yù)定義的校準(zhǔn)半徑變化率。
[0080]在步驟1430中，場景檢測器424判斷當(dāng)前半徑變化率是否匹配預(yù)定義的校準(zhǔn)半徑變化率。如果否，那么在步驟1434中，場景檢測器424將圓盤模糊候選重新分類為高斯模糊。然而，如果當(dāng)前半徑變化率匹配預(yù)定義的校準(zhǔn)半徑變化率，那么場景檢測器424為兩個(gè)圓盤模糊候選保留原始檢測結(jié)果。然后，圖14A的過程可以通過連接字母“A”轉(zhuǎn)到圖14B的步驟1442。
[0081]在圖14B的實(shí)施例中的步驟1442中，場景檢測器424或其他適當(dāng)?shù)膶?shí)體最初訪問來自前面的圖14A的步驟1438的兩個(gè)圓盤模糊候選。在步驟1446中，場景檢測器424對圓盤模糊候選執(zhí)行配準(zhǔn)分析過程，以再次驗(yàn)證這些檢測結(jié)果是準(zhǔn)確的。配準(zhǔn)分析過程可以通過利用任何有效的技術(shù)來執(zhí)行。例如，在某些實(shí)施例中，場景檢測器424可以通過判斷來自一個(gè)模糊圖像的每個(gè)飽和像素是否也在其他模糊圖像中在相同像素坐標(biāo)位置處飽和，來評估圓盤模糊候選的配準(zhǔn)特征，如上文結(jié)合圖12A和12B所討論的那樣。
[0082]在步驟1450中，場景檢測器424判斷兩個(gè)模糊圖像是否對準(zhǔn)。如果場景檢測器424判斷圓盤模糊候選被正確地分類，那么在步驟1454中，場景檢測器424保留來自圖14A的步驟1438的圓盤檢測結(jié)果。然而，如果場景檢測器424判斷圓盤模糊候選被不正確地分類，那么在步驟1458中，場景檢測器424將圓盤模糊候選重新分類為高斯模糊圖像。然后，深度估計(jì)器416 (圖4)可以選擇并執(zhí)行適當(dāng)?shù)纳疃裙烙?jì)過程。因此，本發(fā)明提供用于使用用于執(zhí)行深度估計(jì)過程的增強(qiáng)的場景檢測的改善的系統(tǒng)和方法。
[0083]上文參考某些實(shí)施例說明了本發(fā)明。鑒于本發(fā)明，其他實(shí)施例將對本領(lǐng)域技術(shù)人員是顯而易見的。例如，本發(fā)明可以容易地使用除在上文的各實(shí)施例中所描述的那些配置和技術(shù)以外的配置和技術(shù)來實(shí)現(xiàn)。另外，本發(fā)明可以有效地與除上文所描述的那些以外的系統(tǒng)結(jié)合使用。因此，對所討論的各實(shí)施例的這些及其他變化也被只通過所附權(quán)利要求書來限制的本發(fā)明涵蓋。
【權(quán)利要求】
1.一種用于執(zhí)行增強(qiáng)的場景檢測過程的系統(tǒng)，包括: 傳感器設(shè)備，用于捕捉攝像目標(biāo)的模糊圖像，所述模糊圖像每個(gè)都對應(yīng)于從第一場景類型和第二場景類型檢測到的場景類型；以及 場景檢測器，其執(zhí)行初始場景檢測過程以識別所述模糊圖像的候選場景類型，然后，所述場景檢測器執(zhí)行所述增強(qiáng)的場景檢測過程以識別所述模糊圖像的最終場景類型。
2.如權(quán)利要求1所述的系統(tǒng)，其中，所述第一場景類型是高斯場景類型，所述第二場景類型是圓盤場景類型。
3.如權(quán)利要求2所述的系統(tǒng)，其中，所述傳感器設(shè)備和所述場景生成器實(shí)現(xiàn)在電子攝像設(shè)備中。
4.如權(quán)利要求3所述的系統(tǒng)，其中，所述電子攝像設(shè)備包括深度估計(jì)器，所述深度估計(jì)器利用來自所述增強(qiáng)的場景檢測過程的場景檢測結(jié)果來選擇適當(dāng)?shù)纳疃裙烙?jì)算法。
5.如權(quán)利要求4所述的系統(tǒng)，其中，所述電子攝像設(shè)備利用由所述深度估計(jì)算法所產(chǎn)生的一個(gè)或多個(gè)深度值來執(zhí)行自動聚焦過程。
6.如權(quán)利要求1所述的系統(tǒng)，其中，所述模糊圖像由于超出所述傳感器設(shè)備的飽和閾值水平而被削平。
7.如權(quán)利要求6所述的系統(tǒng)，其中，所述傳感器設(shè)備通過利用第一透鏡位置來捕捉對應(yīng)于所述攝像目標(biāo)的第一圖像1，然后所述攝像設(shè)備被調(diào)整到不同于所述第一透鏡位置的第二透鏡位置，所述 傳感器設(shè)備通過利用所述第二透鏡位置來捕捉對應(yīng)于所述攝像目標(biāo)的圖像2，所述模糊圖像包括所述圖像I和所述圖像2。
8.如權(quán)利要求2所述的系統(tǒng)，其中，所述候選場景類型最初是圓盤候選類型。
9.如權(quán)利要求8所述的系統(tǒng)，其中，所述場景檢測器對所述圓盤候選類型的所述模糊圖像執(zhí)行半徑分析過程。
10.如權(quán)利要求9所述的系統(tǒng)，其中，所述場景檢測器統(tǒng)計(jì)所述模糊圖像中的每個(gè)中的飽和像素總數(shù)。
11.如權(quán)利要求10所述的系統(tǒng)，其中，所述場景檢測器利用所述飽和像素總數(shù)來計(jì)算所述模糊圖像中的每個(gè)的半徑值。
12.如權(quán)利要求11所述的系統(tǒng)，其中，所述半徑值等于所述模糊圖像中的每個(gè)的所述飽和像素總數(shù)的平方根。
13.如權(quán)利要求12所述的系統(tǒng)，其中，所述場景檢測器利用所述半徑值來計(jì)算所述模糊圖像的當(dāng)前半徑變化率。
14.如權(quán)利要求13所述的系統(tǒng)，其中，所述當(dāng)前半徑變化率等于所述半徑值隨所述模糊圖像的焦深距離改變的變化。
15.如權(quán)利要求13所述的系統(tǒng)，其中，所述場景檢測器比較所述當(dāng)前半徑變化率和預(yù)定義的校準(zhǔn)半徑變化率，以判斷是否存在匹配結(jié)果，如果所述匹配結(jié)果存在，則所述場景檢測器為所述模糊圖像保留所述圓盤候選類型，如果所述匹配結(jié)果不存在，則所述場景檢測器將所述圓盤候選類型重新分類為高斯模糊類型。
16.如權(quán)利要求19所述的系統(tǒng)，其中，所述場景檢測器從校準(zhǔn)半徑變化曲線獲取所述預(yù)定義的校準(zhǔn)半徑變化率，所述校準(zhǔn)半徑變化曲線描繪模糊半徑大小和焦深距離值的線性關(guān)系。
17.如權(quán)利要求8所述的系統(tǒng)，其中，所述場景檢測器對圓盤候選類型的所述模糊圖像執(zhí)行配準(zhǔn)分析過程，所述配準(zhǔn)分析過程可與半徑分析過程獨(dú)立地且相結(jié)合地交替執(zhí)行。
18.如權(quán)利要求17所述的系統(tǒng)，其中，如果存在良好配準(zhǔn)特性，則所述場景檢測器為所述模糊圖像保留所述圓盤候選類型，如果存在不良配準(zhǔn)特性，則所述場景檢測器將所述圓盤候選類型重新分類為高斯模糊類型。
19.如權(quán)利要求18所述的系統(tǒng)，其中，如果來自所述模糊圖像之一的每個(gè)飽和像素在所述模糊圖像中的另一個(gè)中在相同像素坐標(biāo)位置處也飽和，則所述場景檢測器判斷存在良好配準(zhǔn)特性，如果來自所述模糊圖像之一的每個(gè)飽和像素在所述模糊圖像中的另一個(gè)中在相同像素坐標(biāo)位置處也飽和，則所述場景檢測器判斷存在不良配準(zhǔn)特性。
20.一種用于執(zhí)行增強(qiáng)的場景檢測過程的方法，該方法執(zhí)行以下步驟: 使用傳感器設(shè)備來捕捉攝像目標(biāo)的模糊圖像，所述模糊圖像每個(gè)都對應(yīng)于從第一場景類型和第二場景類型檢測到的場景類型；以及 提供場景檢測器，該場景檢測器執(zhí)行初始場景檢測過程以識別所述模糊圖像的候選場景類型，然后所述場景檢測器執(zhí)行所述增強(qiáng)的場景檢測過程以識別所述模糊圖像的最終場景類型。
【文檔編號】G06T7/00GK103685861SQ201310379729
【公開日】2014年3月26日 申請日期:2013年8月28日 優(yōu)先權(quán)日:2012年8月29日
【發(fā)明者】宮城健輔, 李平山 申請人:索尼公司