圖像處理方法和圖像處理裝置的制作方法

專利名稱：圖像處理方法和圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及能夠分離圖像的背景區(qū)域的圖像處理方法和圖像處理設(shè)備。
背景技術(shù)：
近年來，帶有照相機(jī)的可視通信設(shè)備已經(jīng)開始投入廣泛應(yīng)用。例如，用于多人同時(shí)參加的電視會(huì)議的系統(tǒng)在商業(yè)領(lǐng)域是已知的，而利用網(wǎng)絡(luò)照相機(jī)的通信系統(tǒng)在個(gè)人領(lǐng)域是已知的。在這樣的系統(tǒng)中，另一方的顯示圖像被顯示在顯示裝置上，并且捕獲視覺觀察顯示裝置的屏幕的用戶的圖像，以作為拍攝物體的圖像。通過包含公共線路和專用線路等的網(wǎng)絡(luò)將得到的圖像信號(hào)發(fā)送到在另一方處的圖像處理裝置，由此有可能使得兩個(gè)用戶都具有真實(shí)的感覺。
但是，那些系統(tǒng)共有的一個(gè)問題是，期望不將除人物之外的區(qū)域的信息發(fā)送到另一方。將由一臺(tái)照相機(jī)捕獲的圖像的所有信息都發(fā)送到另一方的現(xiàn)有系統(tǒng)包含這樣的局限性，即必須將系統(tǒng)安裝在其圖像可以顯示給另一方的地點(diǎn)。
因此，希望有一種方法，在其中人物的圖像部分(前景)和背景的圖像部分彼此分離，對(duì)背景的圖像部分施行某種圖像處理或其它處理等等。
即，從一臺(tái)照像機(jī)系統(tǒng)所捕獲的移動(dòng)的圖像中分離出包含諸如用戶的移動(dòng)對(duì)象的圖像的前景區(qū)域，并對(duì)分離出的移動(dòng)對(duì)象的圖像施行預(yù)定的處理，從而使得幾乎不受背景特征影響的、健壯(robust)的圖像處理變?yōu)榭赡?。此外，?dāng)不希望將關(guān)于背景的信息發(fā)送到另一方時(shí)，前景和背景是彼此分離的，并且僅僅發(fā)送關(guān)于前景的信息，從而實(shí)現(xiàn)健壯的圖像處理。
這里，當(dāng)考慮到將背景和前景彼此分離的方法時(shí)，例如，已知使用熱傳感器確定人物區(qū)域并對(duì)背景區(qū)域施行預(yù)定的圖像處理的方法(例如見專利文獻(xiàn)1)，基于背景差異、幀間差異和立體方法檢測(cè)移動(dòng)區(qū)域以形成前景的方法(例如見專利文獻(xiàn)2)，確定距離范圍并輸出關(guān)于落在該距離范圍內(nèi)的圖像的信息的方法(例如見專利文獻(xiàn)3)等。
專利文獻(xiàn)1已公開的日本專利公報(bào)No.Hei 9-200714專利文獻(xiàn)2已公開的日本專利公報(bào)No.2000-20722專利文獻(xiàn)3已公開的日本專利公報(bào)No.2000-200359發(fā)明內(nèi)容但是，在專利文獻(xiàn)1中公開的使用熱傳感器確定人物區(qū)域并對(duì)背景區(qū)域施行預(yù)定的圖像處理的方法的情況中，熱傳感器通常價(jià)格很高，并且必須提供可視通信設(shè)備所要求的傳感器，而不是照相機(jī)。此外，在專利文獻(xiàn)2所公開的基于背景差異、幀間差異和立體方法確定移動(dòng)區(qū)域以形成前景的方法的情況中，由于采用了背景差異，必須提前獲得其中沒有捕獲人物圖像的圖像。因此，這種方法在便利方面存在問題。并且，在專利文獻(xiàn)3所公開的確定距離范圍并輸出關(guān)于落在該距離范圍內(nèi)的圖像的信息的方法的情況中，當(dāng)通過使用立體方法測(cè)量距離時(shí)，如果在輸入場(chǎng)景中包含許多重復(fù)的圖案或者包藏的區(qū)域，則很難以高精度執(zhí)行距離測(cè)量。不僅如此，當(dāng)考慮到其它技術(shù)時(shí)，已知分割捕獲的圖像的區(qū)域的方法、識(shí)別人物的方法等。但是，那些方法并不是考慮到健壯性特性和精度而建立的。
由于現(xiàn)有技術(shù)中的上述問題，本發(fā)明期望提供一種圖像處理方法和圖像處理裝置，其能夠通過使用從多個(gè)照相機(jī)捕獲的圖像將立體方法和估計(jì)背景的方法彼此結(jié)合以達(dá)到分離圖像的背景區(qū)域的目的。
通過下面將要說明的優(yōu)選實(shí)施例，本發(fā)明的其它目的和由本發(fā)明得到的具體優(yōu)點(diǎn)將變得更加清楚。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供一種圖像處理方法，包括步驟捕獲步驟，使用至少兩臺(tái)照相機(jī)從不同的視點(diǎn)捕獲一個(gè)物體的圖像以得到彼此同時(shí)的輸入圖像；背景區(qū)域估計(jì)步驟，對(duì)于在捕獲的步驟得到的每一個(gè)輸入圖像，基于背景區(qū)域是遠(yuǎn)距離的并且具有平的表面的假設(shè)，根據(jù)執(zhí)行全局圖像重疊之后的相似程度，估計(jì)背景區(qū)域；距離圖像生成步驟，對(duì)于除了在背景區(qū)域估計(jì)步驟估計(jì)出的背景區(qū)域中的那些點(diǎn)之外的點(diǎn)，通過利用立體方法執(zhí)行距離測(cè)量，生成距離圖像；以及背景分離圖像生成步驟，通過參照在距離圖像生成步驟生成的距離圖像，從每個(gè)輸入圖像中除去預(yù)定距離或更遠(yuǎn)的區(qū)域的圖像，生成背景分離的圖像。
優(yōu)選地，在根據(jù)本發(fā)明的實(shí)施例的圖像處理方法中，在背景區(qū)域估計(jì)步驟中，計(jì)算輸入圖像之間移動(dòng)的量、不超過閾值的全局移動(dòng)的量，從而執(zhí)行全局圖像重疊，其中，輸入圖像之間移動(dòng)的量使得整個(gè)圖像的亮度誤差在輸入圖像之間變得最小，閾值是依據(jù)分離邊界而確定的，背景區(qū)域根據(jù)所述分離邊界被分離。
優(yōu)選地，在背景區(qū)域估計(jì)步驟中，該估計(jì)是通過將具有高于預(yù)定閾值的局部相似程度的區(qū)域作為背景區(qū)域而執(zhí)行的。
此外，優(yōu)選地，在根據(jù)本發(fā)明的實(shí)施例的圖像處理方法中，例如，在背景區(qū)域估計(jì)步驟中，在任何需要的時(shí)候更新/添加用于根據(jù)局部相似程度估計(jì)背景區(qū)域的背景模板。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供一種圖像處理裝置，包括用于在其中存儲(chǔ)彼此同時(shí)的輸入圖像的數(shù)據(jù)的存儲(chǔ)器件，其中輸入圖像是通過使用至少兩臺(tái)照相機(jī)從不同視點(diǎn)拍攝一個(gè)物體而得到的；背景區(qū)域估計(jì)處理單元，用于對(duì)于每一個(gè)彼此同時(shí)的輸入圖像，基于背景區(qū)域是遠(yuǎn)距離的并且具有平的表面的假設(shè)，在執(zhí)行全局圖像重疊之后，基于局部相似程度估計(jì)背景區(qū)域，其中，輸入圖像的數(shù)據(jù)被存儲(chǔ)在所述存儲(chǔ)器件中；距離圖像生成處理單元，用于對(duì)于除了在背景區(qū)域估計(jì)處理單元估計(jì)出的背景區(qū)域中的那些點(diǎn)之外的點(diǎn)，利用立體方法執(zhí)行距離測(cè)量，生成距離圖像；以及背景分離圖像生成處理單元，用于通過參照在距離圖像生成處理單元生成的距離圖像，從每個(gè)輸入圖像中除去預(yù)定距離或更遠(yuǎn)的區(qū)域的圖像，生成背景分離圖像。
優(yōu)選地，背景區(qū)域估計(jì)處理單元計(jì)算在輸入圖像之間移動(dòng)的量、全局移動(dòng)的量，從而執(zhí)行全局圖像重疊，其中，在輸入圖像之間移動(dòng)的量使得整個(gè)圖像的亮度誤差在輸入圖像之間變得最小，全局移動(dòng)的量不超過根據(jù)分離邊界確定的閾值，背景區(qū)域依據(jù)該分離邊界被分離。
此外，優(yōu)選地，背景區(qū)域估計(jì)處理單元將具有高于預(yù)定閾值的局部相似程度的區(qū)域估計(jì)為背景區(qū)域。
并且，優(yōu)選地，在根據(jù)本發(fā)明的另一個(gè)實(shí)施例的圖像處理裝置中，背景區(qū)域估計(jì)處理單元在任何需要的時(shí)候更新/添加用于根據(jù)局部相似程度估計(jì)背景區(qū)域的背景模板。
根據(jù)本發(fā)明，執(zhí)行全局和局部背景估計(jì)使得有可能更準(zhǔn)確地生成距離圖像。從而能夠?qū)⑶熬昂捅尘氨舜朔蛛x。使用了整個(gè)圖像的重疊并估計(jì)了大致的背景區(qū)域，從而對(duì)于具有許多重復(fù)圖案和包藏區(qū)域的場(chǎng)景能夠獲得健壯的結(jié)果。此外，背景模板堆棧在任何需要的時(shí)候被更新/添加，這使得對(duì)于隨時(shí)間的逝去帶來的環(huán)境的改變更加健壯。


圖1是示出應(yīng)用了本發(fā)明的可視通信設(shè)備的結(jié)構(gòu)方框圖；圖2用于解釋基于立體方法測(cè)量距離的方法；圖3的流程圖示出了在圖1所示的可視通信設(shè)備中用于將背景和前景彼此分離的處理的流程；圖4用于解釋由圖3所示的用于將背景和前景彼此分離的處理中步驟S2的處理所執(zhí)行的圖像正規(guī)化(normalize)處理；圖5的流程圖示出了由圖3所示的用于將背景和前景彼此分離的處理中步驟S3的處理所執(zhí)行的背景區(qū)域掩碼(mask)計(jì)算處理的流程；圖6示出了輸入圖像的例子；圖7的功能方框圖示出了圖1所示的可視通信設(shè)備中的背景估計(jì)處理單元的結(jié)構(gòu)；圖8示出了圖像重疊(superimposition)的例子；圖9的流程圖示出了圖5所示的背景區(qū)域掩碼計(jì)算處理中步驟S3-1的全局移動(dòng)(shift)量計(jì)算處理的流程；圖10示出了圖5所示的背景區(qū)域掩碼計(jì)算處理中步驟S3-2的局部相似程度計(jì)算處理的要點(diǎn)；圖11的流程圖示出了圖5所示的背景區(qū)域掩碼計(jì)算處理中步驟S3-2的局部相似程度計(jì)算處理的流程；圖12示出了圖5所示的背景區(qū)域掩碼計(jì)算處理中步驟S3-3的背景模板堆棧比較處理的要點(diǎn)；圖13的流程圖示出了圖5所示的背景區(qū)域掩碼計(jì)算處理中步驟S3-3的背景模板堆棧比較處理的流程；圖14的流程圖示出了圖5所示的背景區(qū)域掩碼計(jì)算處理中步驟S3-4的背景模板更新處理的流程；以及圖15示出了輸入圖像和背景區(qū)域掩碼。
具體實(shí)施例方式
在下文中，將參照附圖詳細(xì)說明本發(fā)明的優(yōu)選實(shí)施例。順便提及，應(yīng)該理解，本發(fā)明并不意味著局限于下列實(shí)施例，因此在不脫離本發(fā)明的要旨的前提下，本領(lǐng)域的技術(shù)人員可以任意進(jìn)行各種改變。
例如，本發(fā)明被應(yīng)用于具有圖1所示結(jié)構(gòu)的可視通信設(shè)備10。
可視通信設(shè)備10具有通過使用由多個(gè)照相機(jī)捕獲的多幅圖像估計(jì)背景區(qū)域的功能、以及通過利用基于立體方法的距離測(cè)量將背景和前景彼此分離的功能?？梢曂ㄐ旁O(shè)備10包含基準(zhǔn)照相機(jī)1、檢測(cè)照相機(jī)2、幀存儲(chǔ)器3、背景區(qū)域估計(jì)處理單元4、距離圖像生成處理單元5和背景分離的圖像生成處理單元6。
假設(shè)對(duì)可視通信設(shè)備10中所使用的多個(gè)照相機(jī)已經(jīng)預(yù)先執(zhí)行了校準(zhǔn)。由于在本實(shí)施例中必須使用兩臺(tái)或兩臺(tái)以上的照相機(jī)，因此將參考使用兩臺(tái)照相機(jī)(基準(zhǔn)照相機(jī)1和檢測(cè)照相機(jī)2)的情況給出以下的說明。校準(zhǔn)是這樣的，即獲得對(duì)于基準(zhǔn)照相機(jī)1的點(diǎn)m和對(duì)于檢測(cè)照相機(jī)2的、與點(diǎn)m相對(duì)應(yīng)的點(diǎn)m’，并計(jì)算出用于距離測(cè)量的照相機(jī)之間的約束條件。
在可視通信設(shè)備10中，由基準(zhǔn)照相機(jī)1和檢測(cè)照相機(jī)2同時(shí)捕獲的彩色圖像的數(shù)據(jù)在幀存儲(chǔ)器3中累積，并且背景區(qū)域估計(jì)處理單元4估計(jì)背景區(qū)域。隨后，距離圖像生成處理單元5參考除由背景區(qū)域估計(jì)處理單元4估計(jì)出的背景區(qū)域中那些點(diǎn)之外的點(diǎn)、利用立體方法執(zhí)行距離測(cè)量，其中的立體方法將在后面說明。背景分離的圖像生成處理單元6確定最終的背景區(qū)域，如果需要?jiǎng)t執(zhí)行處理，并輸出關(guān)于背景分離的圖像的數(shù)據(jù)。
這里，將說明一般的照相機(jī)校準(zhǔn)和距離測(cè)量方法。
在本例中，將圖像上的點(diǎn)m和空間中的點(diǎn)M分別記為m＝[u，v]T和M＝[x，y，z]T，并且將在齊次坐標(biāo)系中對(duì)那些點(diǎn)的描述分別記為m~＝[u，v，l]T和M~＝[x，y，z，l]T?？臻g中的點(diǎn)M和圖像上的點(diǎn)m的關(guān)系由式1給出sm~＝Ａ·[R t]·M~＝P·M~ (式1)其中s是比例因子，矩陣[R t]被稱為外部參數(shù)，并且表示照相機(jī)在空間中的位置，R和t分別表示旋轉(zhuǎn)矩陣和變換矩陣。矩陣A被稱為照相機(jī)的內(nèi)部參數(shù)，由式2給出A=αγu00βv0001]]>(式2)其中(u0，v0)表示圖像中心，α＝-f/ku和β＝-f·kv/sinθ分別表示u軸的比例因子和v軸的比例因子，并且γ＝f·ku·cosθ表示兩軸的扭轉(zhuǎn)(twisting)。此外，矩陣P＝A·[R t]是3×4的投影矩陣，空間中的點(diǎn)通過該矩陣投影到圖像表面上。上述說明示出了在不考慮透鏡失真影響的理想條件下的變換。但是，由于實(shí)際上不能忽略失真的影響，因此將添加透鏡失真作為照相機(jī)參數(shù)。在失真坐標(biāo)系中的點(diǎn)md＝[ud vd]T和點(diǎn)m＝[u v]T的關(guān)系能夠用式3表示u＝ud+(ud-cu)·k·rd2v＝vd+(vd-cv)·k·rd2(式3)其中rd2由((ud-cu)2+(vd-cv)2sv2)表示，(cu，cv)表示失真中心，sv表示寬高比。
隨后將說明基于立體方法的距離測(cè)量方法。
如圖2所示，將在基準(zhǔn)照相機(jī)1和檢測(cè)照相機(jī)2上的投影矩陣分別記為P和P’，并且將在由基準(zhǔn)照相機(jī)1和檢測(cè)照相機(jī)2捕獲的圖像上的點(diǎn)分別記為m和m’。但是，假設(shè)如式3所示，從各自圖像中的那些點(diǎn)上除去了失真的影響。當(dāng)測(cè)量到點(diǎn)M的距離時(shí)，必須檢測(cè)與在基準(zhǔn)圖像上的點(diǎn)m相對(duì)應(yīng)的、在檢測(cè)圖像上的點(diǎn)m’。如圖2所示，由于點(diǎn)m’位于被稱為epipola線的直線1上，為了檢測(cè)在檢測(cè)圖像上與點(diǎn)m相對(duì)應(yīng)的點(diǎn)，必須在這條線上進(jìn)行搜索。epipola線是通過將照相機(jī)中心和點(diǎn)m之間的直線上的點(diǎn)投影到檢測(cè)照相機(jī)2上而得到的點(diǎn)的集合。例如，當(dāng)在空間中Z軸方向的測(cè)量范圍被記為(Z0-Zn)時(shí)，epipola線變?yōu)樵邳c(diǎn)m0′和mn′之間的直線，其中點(diǎn)m0′和mn′是通過投影對(duì)應(yīng)于各自距離的點(diǎn)M0和Mn而獲得的。在實(shí)際的搜索中，位于距離Zi的點(diǎn)被投影在檢測(cè)圖像上，測(cè)量與在基準(zhǔn)圖像上的點(diǎn)的相似程度，并且確定圖像之間的點(diǎn)之間的對(duì)應(yīng)性。
下面示出將投影到基準(zhǔn)照相機(jī)1的點(diǎn)m上的、在距離Zi的點(diǎn)Mi投影到檢測(cè)圖像上的點(diǎn)mi′的過程。
根據(jù)式1的、通過點(diǎn)m的視線上的點(diǎn)可由式4表示M~＝sP+·m~+P⊥(式4)
其中P+是偽逆矩陣。偽逆矩陣P+由式5定義P+＝PT(PPT)-1(式5)此外，由于P⊥成為滿足式6的向量，并且總是投影到原點(diǎn)，因此它實(shí)際表示光學(xué)中心并且可以從式6計(jì)算得到。
P·P⊥＝0P⊥＝(I-PP+)ω(式6)其中ω是任意的四維向量。
式4代表通過光學(xué)中心和基準(zhǔn)圖像上的點(diǎn)m的所有點(diǎn)。但是，將距離設(shè)置為Zi使得有可能確定比例因子并確定空間中的點(diǎn)Mi。當(dāng)使用投影矩陣P’投影該點(diǎn)時(shí)，能夠計(jì)算出檢測(cè)圖像上的點(diǎn)mi’。
從前面的描述，為了得到空間中的點(diǎn)，必須單獨(dú)地獲得照相機(jī)1和2各自的照相機(jī)參數(shù)A、R、t、A’、R’和t’，或者必須直接計(jì)算出投影矩陣P和P’并進(jìn)一步計(jì)算出照相機(jī)1和2各自的失真參數(shù)k1、cu1、cv1、sv1、k2、cu2、cv2和sv2。這樣，計(jì)算這些參數(shù)成為照相機(jī)校準(zhǔn)。
圖3示出了在可視通信設(shè)備10中將背景和前景彼此分離的處理的流程。
即，在可視通信設(shè)備10中，首先使用基準(zhǔn)照相機(jī)1和檢測(cè)照相機(jī)2從不同的視點(diǎn)拍攝一個(gè)物體，以獲得彼此同時(shí)的輸入彩色圖像(步驟S1)。將得到的輸入圖像的數(shù)據(jù)存儲(chǔ)到幀存儲(chǔ)器3中。
隨后，背景區(qū)域估計(jì)處理單元4使用上述校準(zhǔn)參數(shù)從存儲(chǔ)在幀存儲(chǔ)器3中的每個(gè)輸入圖像的數(shù)據(jù)中除去透鏡失真的影響，并執(zhí)行圖像正規(guī)化(步驟S2)。
即，由于每個(gè)輸入圖像都受到透鏡失真的影響，因此使用式3從其中除去透鏡失真的影響。此外，如圖4所示，圖像正規(guī)化是這樣的，即，將使用兩個(gè)照相機(jī)1和2從不同的視點(diǎn)c1和c2拍攝一個(gè)物體而獲得的圖像IL和IR變換成就像是使用平行的照相機(jī)(具有平行的光軸的左手側(cè)和右手側(cè)的照相機(jī))拍攝該物體而獲得的圖像IL和IR。結(jié)果，使得原本不是彼此平行的epipola線變得并行，并且與光學(xué)中心(視點(diǎn)c1和c2)之間的直線平行。當(dāng)獲得作為校準(zhǔn)參數(shù)的投影矩陣P和P’時(shí)，通過利用例如下面的參考文獻(xiàn)中公開的方法，能夠獲得圖4所示的變換矩陣TH1和TH2。使用作為結(jié)果的變換矩陣TH1和TH2變換輸入圖像，以生成基準(zhǔn)照相機(jī)圖像Ib和檢測(cè)照相機(jī)圖像Id。[參考文獻(xiàn)Andrea Fusiello，Emanuele Trucco和Alessandro VerriA compactalgorithm for rectification of stereo pairs(用于校正立體像對(duì)的簡(jiǎn)單算法)，Machine Vision and Application(2000)12，16到22頁]即，變換矩陣是根據(jù)左手側(cè)和右手側(cè)照相機(jī)的投影矩陣P和P’計(jì)算出的。
實(shí)際上，投影矩陣P和P’被轉(zhuǎn)換成使得在獲取投影矩陣P時(shí)所使用的左手側(cè)照相機(jī)的XYZ坐標(biāo)系中的X軸變成與照相機(jī)1和2各自的光學(xué)中心c1和c2之間的直線平行，并且Y’軸變?yōu)榕c包含Z軸以及光學(xué)中心c1和c2之間的直線(X’軸)的平面垂直。變換矩陣是從修正過的投影矩陣Pn和Pn’計(jì)算出的。
在下文中將說明計(jì)算修正的投影矩陣Pn和Ph’的過程。并且，下面將給出關(guān)于從作為結(jié)果的矩陣Pn和Pn’以及投影矩陣P和P’計(jì)算出變換矩陣TH1和TH2的過程的說明。
(i)光學(xué)中心的計(jì)算當(dāng)投影矩陣P和P’由式7描述時(shí)，光學(xué)中心c1＝[xc1，yc1，zc1]T和c2＝[xc2，vc2，zc2]T由式8給出 (式7)c1＝-Q-1qc2＝-Q′-1q′ (式8)(ii)X’、Y’和Z’軸的計(jì)算如上所述，X’軸是連接光學(xué)中心的向量。因此，當(dāng)由v1＝[x1，y1，z1]T表示時(shí)，X’軸的向量v1通過式9獲得v1＝(c1-c2) (式9)此外，如上所述，Y’軸的向量v2＝[x2，y2，z2]T是與X’軸和Z軸垂直的向量。因此，當(dāng)投影矩陣P由式10表達(dá)時(shí)，Y’軸的向量v2由v2＝r3∧v1表示。
(式10)并且，Z’軸的向量v3＝[x3，y3，z3]T是與X’軸和Y’軸垂直的向量，由式11表示v3＝v1∧v2 (式11)(iii)投影矩陣Pn和Pn’的計(jì)算投影矩陣Pn和Pn’由式12描述Pn＝An·[Rntn]Pn′＝An·[Rntn′] (式12)在新的投影矩陣中，內(nèi)部參數(shù)和外部參數(shù)的旋轉(zhuǎn)分量變成彼此相同。因此，為了計(jì)算投影矩陣Pn和Pn’，必須計(jì)算內(nèi)部和外部參數(shù)An、Rn、tn和tn’。內(nèi)部參數(shù)An是使用投影矩陣P和P’的內(nèi)部參數(shù)由式13計(jì)算出的An=12(A+A′)]]>(式13)此外，外部變量Rn是通過使用按照上述過程計(jì)算出的X’軸、Y’軸和Z’軸的向量v1、v2和v3由式14計(jì)算出的。
Rn=v1′Tv2′Tv3′T]]>(式14)v1′＝v1/‖v1‖v2′＝v2/‖v2‖v3′＝v3/‖v3‖(式14)并且，外部變量tn和tn’是通過使用根據(jù)式7的光學(xué)中心c1和c2以及外部變量Rn由式15計(jì)算出的tn＝-Rnc1tn′＝-Rnc2(式15)投影矩陣Pn和Pn’可以根據(jù)上述對(duì)內(nèi)部和外部參數(shù)An、Rn、tn和tn’的計(jì)算由表達(dá)式12計(jì)算得到。
(iv)變換矩陣TH1和TH2的計(jì)算在這一部分，下面將給出關(guān)于通過使用投影矩陣P、P’、Pn和Pn’來計(jì)算變換矩陣TH1和TH2的方法的說明。
當(dāng)被捕獲的圖像上的點(diǎn)m~＝[u，v，1]T被假定為正規(guī)化圖像上的點(diǎn)m~n＝[u，v，1]T時(shí)，空間中的點(diǎn)m~＝[x，y，z，1]T和點(diǎn)m~n之間的關(guān)系可以由式16描述m~＝PM~＝[Q|-Qc1]M~m~n＝PnM~＝[Qn|-Qnc1]M~ (式16)
根據(jù)式16，通過點(diǎn)m~和點(diǎn)m~n的直線可以由式17表示M~＝sQ-1m~+c1M~n＝snQn-1m~n+c1(式17)因此，點(diǎn)m~和點(diǎn)m~n之間的關(guān)系可以由式18說明m~n＝λQnQ-1m~ (式18)由于變換矩陣是被捕獲的圖像上的點(diǎn)m通過其投影到正規(guī)化圖像上的點(diǎn)mn的矩陣，因此矩陣QnQ-1即為變換矩陣。換句話說，變換矩陣TH1和TH2可以由式19計(jì)算得到TH1＝QnQ-1TH2＝Qn′Q′-1(式19)隨后，背景區(qū)域估計(jì)處理單元4計(jì)算背景區(qū)域掩碼Rbbg(u，v)和Rdbg(u，v)(步驟S3)。
在本例中，假設(shè)背景區(qū)域在遠(yuǎn)處并且在一個(gè)平面附近。圖5示出了實(shí)際計(jì)算背景區(qū)域掩碼Rbbg(u，v)和Rdbg(u，v)的處理的流程。在背景區(qū)域掩碼Rbbg(u，v)和Rdbg(u，v)中，將背景區(qū)域記為「1」，將其它部分記為「0」。
例如，在如圖6所示的輸入圖像Ib(u，v)和Id(u，v)的情況下，背景區(qū)域具有許多重復(fù)的圖案和大塊的包藏區(qū)域。因此，當(dāng)使用通常的基于局部區(qū)域的比較方法時(shí)，不能以高精度確定相應(yīng)的單元。于是，首先使用全局圖像重疊技術(shù)估計(jì)背景區(qū)域。
這里，如圖7的功能方框圖所示的背景區(qū)域處理單元包含全局移動(dòng)量計(jì)算單元41、背景像素估計(jì)單元42和更新處理單元43。
于是，在如圖5所示的步驟S3的處理中，首先，在第一個(gè)步驟S3-1的處理中，全局移動(dòng)量計(jì)算單元41執(zhí)行用于獲得移動(dòng)量bg_shift的全局移動(dòng)量計(jì)算處理，以便如式20所示，使得對(duì)于其數(shù)據(jù)存儲(chǔ)在幀存儲(chǔ)器FM1中的左手側(cè)和右手側(cè)的輸入圖像Ib(u，v)和Id(u，v)來說，整個(gè)圖像的亮度誤差達(dá)到最小。然后，全局移動(dòng)量計(jì)算單元41將有關(guān)作為結(jié)果的移動(dòng)量bg_shift的數(shù)據(jù)存儲(chǔ)到存儲(chǔ)器M1中。
E_g=Σi|Ib(ui,vi)-Id(ui-bg_shift,vi)|]]>(式20)但是，在本例中假設(shè)背景區(qū)域在遠(yuǎn)處，并且0≤bg_shift＜SHIFT_THRESH成立。SHIFT_THRESH是根據(jù)前景和背景之間的分離邊界自適應(yīng)地確定的閾值。期望在特定距離上和在特定距離之后的區(qū)域不被見到，即，將這一區(qū)域作為背景，從而確定閾值。此外，由于圖像處理是基于背景是平面的假設(shè)而執(zhí)行的，因此這減小了輸入圖像Ib(u，v)和Ib(u，v)的分辨率。因此，從式20計(jì)算移動(dòng)量bg_shift。由于在步驟S2的處理中對(duì)輸入圖像Id(u，v)和Id(u，v)進(jìn)行了正規(guī)化，因此在本例中只獲取在u軸方向的移動(dòng)量。
圖8示出了圖像重疊的例子，圖9示出了步驟S3-1的全局移動(dòng)量計(jì)算處理的具體流程。
更確切地說，在步驟S3-1的全局移動(dòng)量計(jì)算處理中，首先，shift和E_min被分別初始化為0和MAX(步驟S3-1A)。接著，得到E_g＝0，i＝0，即，變量E_g和i被復(fù)位為「0」(步驟S3-1B)。
接下來，得到E_gt+＝|Ib(ui，vi)-Id(ui-shift，vi)|，即，相對(duì)于輸入圖像Ib(u，v)和Id(u，v)得到Ib(ui，vi)和Id(ui-shift，vi)之間差的絕對(duì)值之和(步驟S3-1C)。然后變量i增加(步驟S3-1D)。隨后判定增加的變量i是否大于圖像尺寸(步驟S3-1E)。
當(dāng)在步驟S3-1E的判定結(jié)果顯示為否時(shí)，操作返回到步驟S3-1C的處理，并且重復(fù)地執(zhí)行從步驟S3-1C到步驟S3-1E的處理。結(jié)果，當(dāng)在步驟S3-1E的判定結(jié)果顯示為是時(shí)，判定表示Ib(ui，vi)和Id(ui-shift，vi)之差的絕對(duì)值之和的變量E_g是否小于變量E_min(步驟S3-1F)。
當(dāng)在步驟S3-1F的判定結(jié)果顯示為是時(shí)，使得變量E_min等于表示上述絕對(duì)值之和的變量E_g的值，并且使得移動(dòng)量bg_shift等于變量shift的值(步驟S3-1G)。其后，變量shift增加(步驟S3-1H)。另一方面，當(dāng)在步驟S3-1F的判定結(jié)果顯示為否時(shí)，變量shift立即增加(步驟S3-1H)。
然后，判定在步驟S3-1H增加的變量shift是否大于閾值SHIFT_THRESH(步驟S3-1I)。
當(dāng)在步驟S3-1I的判定結(jié)果顯示為否時(shí)，操作返回到步驟S3-1B的處理。然后重復(fù)地執(zhí)行從步驟S3-1B到步驟S3-1I的處理，直到增加的變量shift變得大于閾值SHIFT_THRESH為止。結(jié)果，當(dāng)在步驟S3-1I的判定結(jié)果顯示為是時(shí)，全局移動(dòng)量計(jì)算處理完成。
接下來，在步驟S3-2的處理中，背景像素估計(jì)單元42通過使用在步驟S3-1的全局移動(dòng)量計(jì)算處理中獲得的移動(dòng)量bg_shift，執(zhí)行關(guān)于左手側(cè)和右手側(cè)的輸入圖像Ib(u，v)和Id(u，v)的局部匹配，其中，左手側(cè)和右手側(cè)的輸入圖像Ib(u，v)和Id(u，v)兩者的數(shù)據(jù)都存儲(chǔ)在幀存儲(chǔ)器FM1中。更具體地說，如圖10所示，計(jì)算出在M×N的窗口尺寸內(nèi)的亮度誤差E_1。當(dāng)E_1＜THRESH_L時(shí)，將圖像Ib和Id的點(diǎn)(ui，vi)和(ui-bg_shift，vi)作為背景區(qū)域。換句話說，得到Rbbg(ui，vi)＝1和Rdbg(ui-bg_shift，vi)＝1。通過局部匹配估計(jì)出的背景區(qū)域的數(shù)據(jù)被作為背景區(qū)域掩碼Rbbg和Rdbg分別存儲(chǔ)在幀存儲(chǔ)器FM2和M2中。圖11示出了步驟S3-2的處理的具體流程。
即，在步驟S3-2的處理中，首先，執(zhí)行用于得到i＝0、Rbbg≤全0以及Rdbg≤全0的初始化(步驟S3-2A)。然后，得到j(luò)＝0和E_1＝0，即，變量j和E_1被復(fù)位為「0」(步驟S3-2B)。
接著，得到E_1+＝|Ib(uij，vij)-Id(uij-bg_shift，vij)|，即，得到Ib(uij，vij)和Id(uij-bg_shift，vij)之間差的絕對(duì)值之和，作為亮度誤差E_1(步驟S3-2C)。然后變量j增加(步驟S3-2D)。判定增加的變量j是否變得大于M×N的窗口尺寸(步驟S3-2E)。
當(dāng)在步驟S3-2E中的判定結(jié)果顯示為否時(shí)，操作返回到步驟S3-2C的處理，并且重復(fù)地執(zhí)行從步驟S3-2C到步驟S3-2E的處理。結(jié)果，當(dāng)在步驟S3-2E的判定結(jié)果變?yōu)轱@示是時(shí)，判定作為結(jié)果的在M×N的窗口尺寸內(nèi)的亮度誤差E_1是否小于閾值THRESH_L(步驟S3-2F)。
當(dāng)在步驟S3-2F的判定結(jié)果顯示為是時(shí)，在得到Rbbg(ui，vi)＝1和Rdbg(ui-bg_shift，vi)＝1之后，即，將圖像Ib和Id的點(diǎn)(ui，vi)和(ui-bg_shift，vi)作為背景區(qū)域(步驟S3-2G)之后，變量i增加(步驟S3-2H)。另一方面，當(dāng)在步驟S3-2F的判定結(jié)果顯示為否時(shí)，變量i立即增加(步驟S3-2H)。
判定在步驟S3-2H增加的變量i是否大于圖像尺寸(步驟S3-2I)。
當(dāng)在步驟S3-2I的判定結(jié)果顯示為否時(shí)，操作返回到步驟S3-2B的處理。重復(fù)地執(zhí)行從步驟S3-2B到步驟S3-2I的處理，直到增加的變量i變得大于圖像尺寸為止。結(jié)果，當(dāng)在步驟S3-2I的判定結(jié)果變?yōu)轱@示是時(shí)，局部相似程度計(jì)算處理完成。
接著，在步驟S3-3的處理中，由基準(zhǔn)照相機(jī)1捕獲的圖像Ib和由檢測(cè)照相機(jī)2捕獲的圖像Id分別與背景模板堆棧bgBufb和bgBufd比較。背景模板堆棧bgBufb和bgBufd中的每一個(gè)都是局部圖像的堆棧，其中的局部圖像是通過在時(shí)刻(T-1)的幀中切除掉作為背景的點(diǎn)的外圍區(qū)域(M×N)而獲得的。并且，背景模板堆棧bgBufb和bgBufd中的每一個(gè)都具有含有(M×N)的尺寸及其中心坐標(biāo)(ui，vi)的亮度信息。執(zhí)行堆放在背景模板堆棧bgBufb中的每一個(gè)模板與由基準(zhǔn)照相機(jī)1捕獲的圖像Ib(ui，vi)之間的匹配，并計(jì)算亮度誤差E_T。當(dāng)E_T＜THRESH_T時(shí)，點(diǎn)(ui，vi)被作為背景區(qū)域，并且得到Rbbg(ui，vi)＝1。背景模板堆棧bgBufd被用于由檢測(cè)照相機(jī)2捕獲的圖像Id，并且執(zhí)行與圖像Ib相同的處理以生成背景區(qū)域掩碼Rdbg(u，v)。圖12示出了對(duì)于基準(zhǔn)照相機(jī)1的步驟S3-3的處理的要點(diǎn)，圖13示出了步驟S3-3的處理的具體流程。
即，在步驟S3-3的處理中，首先，變量i被初始化為「0」(步驟S3-3A)，然后得到j(luò)＝0，即，變量j隨后被復(fù)位為「0」(步驟S3-3B)。
接著，得到E_T＝∑|Ibj-bgBufb[i]|，即，得到Ibj和bgBufb[i]之間差的絕對(duì)值之和，作為關(guān)于輸入圖像Ib(u，v)和Id(u，v)的亮度誤差E_T(步驟S3-3C)。然后判定作為結(jié)果的亮度誤差E_T是否小于閾值E_T＜THRESH_T(步驟S3-3D)。
當(dāng)在步驟S3-3D的判定結(jié)果顯示為是時(shí)，在將Rbbg(ui，vi)，即，點(diǎn)(ui，vi)作為背景區(qū)域(步驟S3-3E)之后，變量j增加(步驟S3-3F)。然后判定增加的變量j是否變得大于圖像尺寸(步驟S3-3G)。
當(dāng)在步驟S3-3G的判定結(jié)果顯示為否時(shí)，操作返回到步驟S3-3C的處理，并且重復(fù)地執(zhí)行從步驟S3-3C到步驟S3-3G的處理。結(jié)果，當(dāng)在步驟S3-3G的判定結(jié)果變?yōu)槭菚r(shí)，變量i增加(步驟S3-3H)。另一方面，當(dāng)在步驟S3-3D的判定結(jié)果顯示為否時(shí)，變量i立即增加(步驟S3-3H)。
然后判定在步驟S3-3H增加的變量i是否大于堆棧尺寸(步驟S3-3I)。
當(dāng)在步驟S3-3I的判定結(jié)果顯示為否時(shí)，操作返回到步驟S3-3B的處理。然后重復(fù)地執(zhí)行從步驟S3-3B到步驟S3-3I的處理，直到增加的變量i大于堆棧尺寸為止。結(jié)果，當(dāng)在步驟S3-3I的判定結(jié)果變?yōu)轱@示是時(shí)，用于比較模板的處理完成。
隨后，在步驟S3-4的處理中，更新處理單元43使用在上述處理中生成的背景區(qū)域掩碼Rbbg(u，v)和Rdbg(u，v)更新背景模板堆棧。更具體地說，具有背景區(qū)域掩碼值1的點(diǎn)(ui，vi)的、M×N的外圍像素的區(qū)域Rn(即，被估計(jì)為背景的區(qū)域)被切除，并且隨后以該背景模板堆棧作為基準(zhǔn)。當(dāng)之前存在點(diǎn)(ui，vi)的背景模板時(shí)，對(duì)已存在的模板和新的模板Rn進(jìn)行平均。另一方面，當(dāng)之前不存在點(diǎn)(ui，vi)的背景模板時(shí)，則堆疊新的模板。圖14示出了對(duì)于基準(zhǔn)照相機(jī)1的更新處理的具體流程。
即，在步驟S3-4的處理中，首先，變量i和j被初始化為「0」(步驟S3-4A)。
接著，得到va1＝Rbbg(ui，vi)，即，使得變量va1等于Rbbg(ui，vi)的值(步驟S3-4B)，并判定變量va1的值是否為「1」(步驟S3-4C)。
當(dāng)在步驟S3-4C的判定結(jié)果顯示為是時(shí)，以bgBufb[j]的坐標(biāo)(bfuj，bfvj)作為基準(zhǔn)(步驟S3-4D)。然后判定坐標(biāo)(bfuj，bfvj)是否與點(diǎn)(uj，vj)一致(步驟S3-4E)。
當(dāng)在步驟S3-4E的判定結(jié)果顯示為是時(shí)，在更新了bgBufb[j]的模板(步驟S3-4F)之后，變量i增加(步驟S3-4G)。另一方面，當(dāng)在步驟S3-4E判定的結(jié)果顯示為否時(shí)，變量j立即增加(步驟S3-4G)。
接著，判定在步驟S3-4G增加的變量j是否變得大于堆棧尺寸(步驟S3-4H)。
當(dāng)在步驟S3-4H的判定結(jié)果顯示為否時(shí)，操作返回到步驟S3-4D的處理，并隨后重復(fù)地執(zhí)行從步驟S3-4D到步驟S3-4H的處理。結(jié)果，當(dāng)在步驟S3-4H的判定結(jié)果變?yōu)槭菚r(shí)，將點(diǎn)(uj，vj)的模板添加到bgBufb(步驟S3-4I)，并且變量i增加(步驟S3-4J)。另一方面，當(dāng)在步驟S3-4C的判定結(jié)果顯示為否時(shí)，變量i立即增加(步驟S3-4J)。
然后判定在步驟S3-4J增加的變量i是否大于變量i的圖像尺寸(步驟S3-4K)。
當(dāng)在步驟S3-4K的判定結(jié)果顯示為否時(shí)，操作返回到步驟S3-4B的處理，并且接著重復(fù)地執(zhí)行從步驟S3-4B到步驟S3-4K的處理，直到增加的變量i大于圖像尺寸為止。結(jié)果，當(dāng)在步驟S3-4K的判定結(jié)果變?yōu)轱@示是時(shí)，更新背景模板的處理完成。
接著，距離圖像生成處理單元5通過使用在步驟S3的處理中生成的背景區(qū)域掩碼Rbbg(u，v)和Rdbg(u，v)來計(jì)算距離信息(步驟S4)。
這里，在步驟S4的處理中，根據(jù)在步驟S3的處理中生成的背景區(qū)域掩碼Rbbg(u，v)和Rdbg(u，v)的信息生成距離圖像Db(u，v)和Dd(u，v)。由于輸入圖像Ib(u，v)和Id(u，v)在步驟S2的處理中被正規(guī)化，因此在步驟S4的處理中的距離圖像的值被設(shè)置為在u軸方向上的移動(dòng)量。換句話說，當(dāng)與在基準(zhǔn)照相機(jī)圖像Ib(u，v)上的點(diǎn)Ib(ui，vi)相對(duì)應(yīng)的點(diǎn)被作為在檢測(cè)照相機(jī)圖像Id(u，v)上的點(diǎn)Id(ui-shift，vi)時(shí)，得到Db(ui，vi)＝shift。由多種已知的方法可以作為搜索相應(yīng)點(diǎn)的方法。但是在本例中，通過搜索在基準(zhǔn)照相機(jī)圖像Ib(u，v)上的點(diǎn)(ui，vi)的M×N的外圍區(qū)域和在檢測(cè)照相機(jī)圖像Id(u，v)上的點(diǎn)(ui-shift，vi)的M×N的外圍區(qū)域之間的亮度誤差變得最小時(shí)的點(diǎn)來獲得相對(duì)應(yīng)的點(diǎn)。同時(shí)，如圖15所示，通過使用背景區(qū)域掩碼信息在搜索中排除任何構(gòu)成背景區(qū)域的點(diǎn)(背景區(qū)域掩碼為1)。結(jié)果，與對(duì)于以區(qū)域?yàn)榛A(chǔ)對(duì)整個(gè)普通輸入圖像的匹配相比，能夠更準(zhǔn)確地執(zhí)行匹配。
背景分離圖像生成處理單元6通過參照在步驟S4的處理中生成的距離區(qū)域圖像Db(u，v)和Dd(u，v)，從輸入圖像Ib(u，v)和Id(u，v)中除去任何具有等于或小于閾值的距離的點(diǎn)(ui，vi)，隨后，背景分離圖像生成處理單元6生成背景分離的圖像Ib′(u，v)和Id′(u，v)(步驟S5)，并輸出作為結(jié)果的背景分離的圖像Ib′(u，v)和Id′(u，v)(步驟S6)。在本例的閾值處理中，每個(gè)在特定距離或更遠(yuǎn)的點(diǎn)被作為背景。
對(duì)于在上述處理中生成的背景分離的圖像Ib′(u，v)和Id′(u，v)，針對(duì)輸入圖像Ib(u，v)和Id(u，v)執(zhí)行了全局和局部的背景估計(jì)，生成了距離圖像，并對(duì)距離圖像執(zhí)行了背景分離。結(jié)果，背景分離變得可能，并且與利用生成整個(gè)輸入圖像Ib(u，v)和Id(u，v)的距離圖像的方法相比，其更加準(zhǔn)確，并且，隨后執(zhí)行了背景分離。此外，在任何需要的時(shí)候背景模板堆棧都被更新/添加，這對(duì)于由于時(shí)間的逝去而帶來的環(huán)境改變變得更加健壯。并且，使用了整個(gè)圖像的重疊，并且估計(jì)了大致的背景區(qū)域，從而能夠?qū)τ诂F(xiàn)場(chǎng)以及具有許多重復(fù)圖案和包藏區(qū)域的景象獲得健壯的結(jié)果。
雖然使用特定的條件說明了本發(fā)明的優(yōu)選實(shí)施例，但是這一說明僅僅是出于說明性的目的，應(yīng)該理解，在不脫離所附權(quán)利要求的精神和范圍的前提下，可以進(jìn)行改變和修改。
權(quán)利要求
1.一種圖像處理方法，包括步驟使用至少兩臺(tái)照相機(jī)從不同的視點(diǎn)捕獲一個(gè)物體的圖像以得到彼此同時(shí)的輸入圖像；對(duì)于在所述捕獲的步驟得到的每一個(gè)輸入圖像，基于背景區(qū)域是遠(yuǎn)距離的并且具有平的表面的假設(shè)，根據(jù)執(zhí)行全局圖像重疊之后的相似程度，估計(jì)背景區(qū)域；對(duì)于除了在所述背景區(qū)域估計(jì)步驟估計(jì)出的背景區(qū)域中的那些點(diǎn)之外的點(diǎn)，通過利用立體方法執(zhí)行距離測(cè)量，生成距離圖像；以及通過參照在所述距離圖像生成步驟生成的距離圖像，從每個(gè)輸入圖像中除去預(yù)定距離或更遠(yuǎn)的區(qū)域的圖像，生成背景分離的圖像。
2.如權(quán)利要求1所述的圖像處理方法，其中，在所述背景區(qū)域估計(jì)步驟中，計(jì)算輸入圖像之間移動(dòng)的量、不超過閾值的全局移動(dòng)的量，從而執(zhí)行全局圖像重疊，其中，所述輸入圖像之間移動(dòng)的量使得整個(gè)圖像的亮度誤差在輸入圖像之間變得最小，所述閾值是依據(jù)分離邊界而確定的，背景區(qū)域根據(jù)所述分離邊界被分離。
3.如權(quán)利要求1所述的圖像處理方法，其中，在所述背景區(qū)域估計(jì)步驟中，該估計(jì)是通過將具有高于預(yù)定閾值的局部相似程度的區(qū)域作為背景區(qū)域而執(zhí)行的。
4.如權(quán)利要求1所述的圖像處理方法，其中，在所述背景區(qū)域估計(jì)步驟中，在任何需要的時(shí)候更新/添加用于根據(jù)局部相似程度估計(jì)背景區(qū)域的背景模板。
5.一種圖像處理裝置，包括用于在其中存儲(chǔ)彼此同時(shí)的輸入圖像的數(shù)據(jù)的存儲(chǔ)器件，所述輸入圖像是通過使用至少兩臺(tái)照相機(jī)從不同視點(diǎn)拍攝一個(gè)物體而得到的；背景區(qū)域估計(jì)處理單元，用于對(duì)于每一個(gè)彼此同步的輸入圖像，基于背景區(qū)域是遠(yuǎn)距離的并且具有平的表面的假設(shè)，在執(zhí)行全局圖像重疊之后的局部相似程度來估計(jì)背景區(qū)域，其中，所述輸入圖像的數(shù)據(jù)被存儲(chǔ)在所述存儲(chǔ)器件中；距離圖像生成處理單元，用于對(duì)于除了在所述背景區(qū)域估計(jì)處理單元估計(jì)出的背景區(qū)域中的那些點(diǎn)之外的點(diǎn)，利用立體方法執(zhí)行距離測(cè)量，生成距離圖像；以及背景分離圖像生成處理單元，用于通過參照在所述距離圖像生成處理單元生成的距離圖像，從每個(gè)輸入圖像中除去預(yù)定距離或更遠(yuǎn)的區(qū)域的圖像，生成背景分離圖像。
6.如權(quán)利要求5所述的圖像處理裝置，其中，所述背景區(qū)域估計(jì)處理單元計(jì)算在輸入圖像之間移動(dòng)的量、全局移動(dòng)的量，從而執(zhí)行全局圖像重疊，其中，所述在輸入圖像之間移動(dòng)的量使得整個(gè)圖像的亮度誤差在輸入圖像之間變得最小，所述全局移動(dòng)的量不超過根據(jù)分離邊界確定的閾值，背景區(qū)域依據(jù)所述分離邊界被分離。
7.如權(quán)利要求5所述的圖像處理裝置，其中，所述背景區(qū)域估計(jì)處理單元將具有高于預(yù)定閾值的局部相似程度的區(qū)域估計(jì)為背景區(qū)域。
8.如權(quán)利要求5所述的圖像處理裝置，其中，所述背景區(qū)域估計(jì)處理單元在任何需要的時(shí)候更新/添加用于根據(jù)局部相似程度估計(jì)背景區(qū)域的背景模板。
全文摘要
本發(fā)明的目的在于通過利用結(jié)合立體方法的估計(jì)背景的方法，使用多個(gè)照相機(jī)分離圖像的背景區(qū)域。通過使用至少兩個(gè)照相機(jī)從不同的視點(diǎn)對(duì)一個(gè)物體拍攝圖像而獲得的、彼此同時(shí)的輸入圖像的數(shù)據(jù)被存儲(chǔ)在幀存儲(chǔ)器中。背景區(qū)域估計(jì)處理單元基于背景區(qū)域是遠(yuǎn)距離的并且具有平的表面的假設(shè)，對(duì)其數(shù)據(jù)存儲(chǔ)在幀存儲(chǔ)器中的、彼此同時(shí)的輸入圖像執(zhí)行全局圖像重疊。然后，背景區(qū)域估計(jì)處理單元根據(jù)局部相似程度估計(jì)背景區(qū)域。距離圖像生成處理單元通過利用立體方法對(duì)除了在估計(jì)的背景區(qū)域中的那些點(diǎn)之外的點(diǎn)執(zhí)行距離測(cè)量以生成距離圖像。背景分離圖像生成處理單元通過參照作為結(jié)果的距離圖像從輸入圖像中除去預(yù)定距離或更遠(yuǎn)的區(qū)域的圖像以生成背景分離的圖像。
文檔編號(hào)G06T11/60GK1758720SQ200510108440
公開日2006年4月12日 申請(qǐng)日期2005年10月8日 優(yōu)先權(quán)日2004年10月6日
發(fā)明者巖井嘉昭 申請(qǐng)人:索尼株式會(huì)社