專利名稱：一種從二維圖像序列檢測(cè)平面區(qū)域的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及機(jī)器人視覺(jué)中2D圖像分析和處理技術(shù)，具體地說(shuō)是從兩幅或多幅2D 圖像中提取出同一空間平面點(diǎn)，并估計(jì)出平面參數(shù)從而實(shí)現(xiàn)平面區(qū)域檢測(cè)的方法。
背景技術(shù)：
在機(jī)器視覺(jué)的圖像處理技術(shù)中，如果采用平面特征來(lái)描述一個(gè)場(chǎng)景，可以改善結(jié) 果的精度、穩(wěn)定性和計(jì)算過(guò)程的收斂速度等。傳統(tǒng)的基于2D圖像來(lái)分析三維空間平面的方 法，主要有有基于透視不變量的方法，利用空間平面投影時(shí)滿足的一些透視不變量來(lái)判斷 是否是平面；通過(guò)簡(jiǎn)化攝像機(jī)和場(chǎng)景之間的相對(duì)位置關(guān)系，使得攝像機(jī)移動(dòng)成像時(shí)，同平面 點(diǎn)的成像滿足一定的約束，來(lái)得到平面信息等。這些方法存在的主要問(wèn)題是(1)基于先 驗(yàn)假設(shè)的環(huán)境知識(shí)對(duì)圖像進(jìn)行處理，通常在人造環(huán)境中比較適用，這類環(huán)境中存在大量的 結(jié)構(gòu)化信息，但對(duì)于復(fù)雜的自然場(chǎng)景，一旦無(wú)法定位這些結(jié)構(gòu)化信息，該類方法就失效了 ；—些基于2D圖像的分析方法，分析結(jié)果依賴于特征提取的精度，因此對(duì)噪聲、誤差等敏 感，因此對(duì)圖像的成像質(zhì)量、特征定位精度要求很嚴(yán)格，這在實(shí)際應(yīng)用中存在很多限制。
發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題是，提供一種在提取的圖像特征點(diǎn)存在噪聲的情況下， 穩(wěn)定可靠地檢測(cè)出2D圖像中的平面點(diǎn)以及可靠檢測(cè)出多個(gè)平面區(qū)域的方法。為了解決上述技術(shù)問(wèn)題，本發(fā)明的技術(shù)解決方案提供一種從二維圖像序列中檢測(cè) 平面區(qū)域的方法，根據(jù)同平面點(diǎn)應(yīng)當(dāng)滿足平面單因矩陣約束的特點(diǎn)，對(duì)平面參數(shù)進(jìn)行穩(wěn)定 估計(jì)，實(shí)現(xiàn)同平面點(diǎn)的歸類，并可檢測(cè)出2D圖像上多個(gè)平面區(qū)域。所述的方法，其包括下列主要步驟
a)對(duì)用攝像機(jī)拍攝的兩幅或多幅圖像進(jìn)行處理，提取得到多個(gè)2D圖像特征點(diǎn)；并建立 不同圖像上多個(gè)2D特征點(diǎn)之間的對(duì)應(yīng)關(guān)系；選取其中任意一幅圖像作為參考圖像；
b)在參考圖像上，建立一個(gè)區(qū)域作為種子區(qū)域，利用種子區(qū)域內(nèi)的特征點(diǎn)及這些特征 點(diǎn)在其它圖像中的對(duì)應(yīng)點(diǎn)計(jì)算得到一組初始平面參數(shù)；
c)根據(jù)初始平面參數(shù)，計(jì)算平面單應(yīng)矩陣，在剩余特征點(diǎn)中，篩選出和初始平面距離小 于閾值的所有點(diǎn)，稱之為“初選點(diǎn)集”；
d)針對(duì)初選點(diǎn)集，重新估計(jì)平面參數(shù)，并根據(jù)平面參數(shù)，計(jì)算所有點(diǎn)到該平面的距離， 并標(biāo)記出所有距離小于閾值的點(diǎn)，記錄當(dāng)前得到的平面參數(shù)和對(duì)應(yīng)的特征點(diǎn)；
e)將步驟d)中標(biāo)記出來(lái)的點(diǎn)移去，對(duì)剩下的所有點(diǎn)，重復(fù)步驟b)、c)、d)，直到所有的 點(diǎn)標(biāo)記完畢，或者剩余點(diǎn)的個(gè)數(shù)小于一定值，則結(jié)束。步驟a)中所述圖像是單個(gè)攝像機(jī)在兩個(gè)或者多個(gè)位置下獲取的圖像，或者是兩個(gè) 或者多個(gè)攝像機(jī)在同一時(shí)刻獲得的圖像，或者圖像序列。本方法中要檢測(cè)的平面區(qū)域可以是單個(gè)的也可以是是多個(gè)。步驟d)針對(duì)對(duì)初選點(diǎn)集的采用LMEDS算法或魯棒估計(jì)方法來(lái)估計(jì)平面參數(shù)。
本發(fā)明與已有的平面檢測(cè)技術(shù)相比具有如下優(yōu)點(diǎn)
在參考圖像中選擇種子區(qū)域內(nèi)的特征點(diǎn)來(lái)估計(jì)平面參數(shù)，在估計(jì)平面參數(shù)時(shí)采用魯棒 方法，減小了噪聲、乃至錯(cuò)誤匹配點(diǎn)對(duì)計(jì)算結(jié)果的影響，穩(wěn)定性有很大提高；同時(shí)，平面點(diǎn)的 判別不依賴任何關(guān)于場(chǎng)景的先驗(yàn)假設(shè)，有較好的通用性。
圖1是本發(fā)明提出的平面檢測(cè)方法流程圖； 圖2是二維圖像平面上，種子區(qū)域的建立示意圖； 圖3是二維圖像平面上，種子區(qū)域的增長(zhǎng)示意圖； 圖4是平面的檢測(cè)與提取示意圖。
具體實(shí)施例方式本發(fā)明具體實(shí)現(xiàn)原理及過(guò)程如下
同一個(gè)攝像機(jī)在兩個(gè)不同位置下對(duì)同一場(chǎng)景進(jìn)行成像(或者兩個(gè)攝像機(jī)同時(shí)對(duì)一個(gè)場(chǎng) 景成像，原理是一樣的)，場(chǎng)景中屬于同一個(gè)空間平面內(nèi)的點(diǎn)，在兩幅圖像中的坐標(biāo)位置，應(yīng) 當(dāng)滿足平面單應(yīng)矩陣約束，即
Pi ccHpi
這里乂，Pi為兩幅圖像上，同一空間點(diǎn)對(duì)應(yīng)的圖像坐標(biāo)，H為平面單應(yīng)矩陣。在空間中，不在同一直線上的三個(gè)點(diǎn)可唯一決定一個(gè)平面，空間平面可以用參數(shù) [ 叉-rff來(lái)描述，其中η是空間平面的法向矢量，d是空間平面到攝像機(jī)系圓點(diǎn)的距離。該
空間平面參數(shù)可以用三個(gè)特征點(diǎn)，用線性方法計(jì)算得到。在圖像平面上，定義點(diǎn)到平面的距離為
4(Pi，P'i -H) = !Pi - H"Vi If +Il^i - Hpj『
在平面檢測(cè)時(shí)，首先對(duì)獲取的圖像提取2D特征點(diǎn)，并建立特征之間的對(duì)應(yīng)關(guān)系。在參考圖像上，選擇其中一個(gè)特征點(diǎn)(一般可從圖像的中心區(qū)域的點(diǎn)開(kāi)始)為 中心點(diǎn)(如Λ.)，在一個(gè)給定的半徑R范圍(種子區(qū)域)內(nèi)選擇三個(gè)特征點(diǎn)，所選取的三個(gè) 特征點(diǎn)要求能構(gòu)成一個(gè)三角形，以及在其它圖像中的對(duì)應(yīng)點(diǎn)，計(jì)算得到一組空間平面參數(shù)如果以該組平面參數(shù)重新計(jì)算該種子區(qū)域各點(diǎn)的誤差，如果誤差值較大的點(diǎn)的個(gè) 數(shù)大于一定值，則舍棄該種子區(qū)域，選擇另一個(gè)特征點(diǎn)及其鄰域的點(diǎn)構(gòu)成一個(gè)種子區(qū)域，如 圖3所示，重復(fù)上述過(guò)程，直到找到一個(gè)合理的種子區(qū)域?yàn)橹?，并記錄?duì)應(yīng)的平面參數(shù)值。
根據(jù)得到的一組平面參數(shù)值，可以計(jì)算對(duì)應(yīng)的平面單應(yīng)矩陣 H=K(I^irWr)K-1.
式中，(R, )為攝像機(jī)的外部參數(shù)，R為旋轉(zhuǎn)矩陣，t為平移矢量，K為攝像機(jī)的內(nèi)參數(shù) 矩陣，(R，i，K)可以通過(guò)攝像機(jī)的標(biāo)定得到，在本發(fā)明中，我們假定通過(guò)攝像機(jī)標(biāo)定的方法 得到這些參數(shù)。(AiZ)為計(jì)算得到的平面參數(shù)。然后將參考圖像平面上所有的特征點(diǎn)及其在其它圖像中的對(duì)應(yīng)點(diǎn)，根據(jù)點(diǎn)到平面 的距離公式，計(jì)算出各個(gè)點(diǎn)對(duì)的距離誤差值。將所有誤差值小于一個(gè)閾值的點(diǎn)初步歸類為 同一平面的點(diǎn)，即得到“初選點(diǎn)集”。此處所說(shuō)閥值根據(jù)本領(lǐng)域技術(shù)人員的經(jīng)驗(yàn)得到。對(duì)于初選點(diǎn)集，可以采用LMEDS方法，再次優(yōu)化計(jì)算可得到更為穩(wěn)定的平面參數(shù)， 根據(jù)更新后的平面參數(shù)去除距離誤差較大值點(diǎn)，剩下的點(diǎn)就是屬于該平面內(nèi)的點(diǎn)。將這些
點(diǎn)標(biāo)記出來(lái)，不再參與后續(xù)的處理，以減小計(jì)算量。如圖4所示，^r1為檢測(cè)得到的一個(gè)同平
面的點(diǎn)集(用虛線圈出的點(diǎn))。對(duì)剩余的特征點(diǎn)，采用同樣的過(guò)程，即先確定一個(gè)種子區(qū)域，然后計(jì)算種子區(qū)域的 平面參數(shù)(A d),以及平面單應(yīng)矩陣(功，然后計(jì)算各個(gè)點(diǎn)到該平面的距離誤差值(^)，根據(jù) 閾值去除誤差值大的點(diǎn)，得到一組新的平面點(diǎn)及其對(duì)應(yīng)參數(shù)。重復(fù)上述過(guò)程，直到剩余特征 點(diǎn)的個(gè)數(shù)少于一定值，處理過(guò)程結(jié)束。一般來(lái)說(shuō)，在圖像特征提取過(guò)程中特征點(diǎn)的定位是有噪聲的，另外，特征點(diǎn)的對(duì)應(yīng) 性建立過(guò)程，可能會(huì)產(chǎn)生錯(cuò)誤的匹配點(diǎn)等因素，本發(fā)明通過(guò)采用魯棒參數(shù)估計(jì)方法減少了 這些因素對(duì)平面檢測(cè)結(jié)果的影響，使得結(jié)果更為可靠。本發(fā)明提出的方法直接對(duì)二維灰度 圖像進(jìn)行處理，也沒(méi)有對(duì)場(chǎng)景設(shè)定先驗(yàn)的約束條件，更具有普遍性。本發(fā)明能夠?qū)崿F(xiàn)穩(wěn)定、可靠的平面檢測(cè)，可用于機(jī)器人視覺(jué)導(dǎo)航，環(huán)境建模，計(jì)算 機(jī)視覺(jué)、圖像處理與分析等領(lǐng)域的需要。下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明。實(shí)施例一
一臺(tái)攝像機(jī)安裝在一個(gè)移動(dòng)機(jī)器人上。實(shí)驗(yàn)時(shí)，移動(dòng)機(jī)器人在遙控模式下，帶著攝像機(jī) 從一個(gè)位置運(yùn)動(dòng)到另一個(gè)位置，在兩個(gè)位置下，獲取了兩幅圖像。攝像機(jī)的內(nèi)參數(shù)矩陣為
在第二個(gè)位置下，烏= = [-0.4 O 0.02f。 按照?qǐng)D1所示步驟操作，對(duì)獲取的兩幅圖像進(jìn)行特征點(diǎn)提取及建立匹配關(guān)系， 選其中一幅圖作參考圖像，在參考圖像上建立種子區(qū)域，然后計(jì)算種子區(qū)域的平面參數(shù) in, d\以及平面單應(yīng)矩陣(功，然后用魯棒算法計(jì)算各個(gè)點(diǎn)到該平面的距離誤差值(^)，根 據(jù)設(shè)定的閾值去除誤差值大的點(diǎn)，得到一組新的平面點(diǎn)及其對(duì)應(yīng)參數(shù)。重復(fù)上述過(guò)程，直到
2676.6 285 6將世界坐標(biāo)系設(shè)于第一個(gè)位置下攝像機(jī)的光軸中心處，
則第一個(gè)位置下攝像機(jī)的外參數(shù)矩陣是
5剩余特征點(diǎn)的個(gè)數(shù)少于一定值，處理過(guò)程結(jié)束。 實(shí)驗(yàn)結(jié)果如下圖像中只有一個(gè)平面，計(jì)算得到平面參數(shù)為
η
.實(shí)施例:
0 2141,8 2SG兩個(gè)小型CMOS攝像機(jī)固定在 O O 1
-塊PCB板上，被安裝在一輛小車上。兩個(gè)CMOS攝像機(jī)的相對(duì)位置經(jīng)過(guò)標(biāo)定的，參數(shù)如下
I of兩個(gè)CM0S攝像機(jī)之間的相對(duì)位置為
實(shí)驗(yàn)過(guò)程同實(shí)施例一中的步驟。
實(shí)驗(yàn)結(jié)果如下圖像中有兩個(gè)互相垂直的平面，一個(gè)是地面，另一個(gè)是與之垂直的 墻壁。兩個(gè)平面的參數(shù)為
權(quán)利要求
一種從二維圖像序列檢測(cè)平面區(qū)域的方法，其特征在于，根據(jù)同平面點(diǎn)應(yīng)當(dāng)滿足平面單應(yīng)矩陣約束的特點(diǎn)，對(duì)平面參數(shù)進(jìn)行穩(wěn)定估計(jì)和判別，實(shí)現(xiàn)對(duì)圖像序列中平面區(qū)域的檢測(cè)；其包括以下主要步驟a)對(duì)用攝像機(jī)拍攝的兩幅或多幅圖像進(jìn)行處理，提取得到多個(gè)2D圖像特征點(diǎn)；并建立不同圖像上多個(gè)2D特征點(diǎn)之間的對(duì)應(yīng)關(guān)系；選取其中任意一幅圖像作為參考圖像；b)在參考圖像上，建立一個(gè)區(qū)域作為種子區(qū)域，利用種子區(qū)域內(nèi)的特征點(diǎn)及這些特征點(diǎn)在其它圖像中的對(duì)應(yīng)點(diǎn)計(jì)算得到一組初始平面參數(shù)；c)根據(jù)初始平面參數(shù)，計(jì)算平面單應(yīng)矩陣，在剩余特征點(diǎn)中，篩選出和初始平面距離小于閾值的所有點(diǎn)，稱之為“初選點(diǎn)集”；d)針對(duì)初選點(diǎn)集，重新估計(jì)平面參數(shù)，并根據(jù)平面參數(shù)，計(jì)算所有點(diǎn)到該平面的距離，并標(biāo)記出所有距離小于閾值的點(diǎn)，記錄當(dāng)前得到的平面參數(shù)和對(duì)應(yīng)的特征點(diǎn)；e)將步驟d)中標(biāo)記出來(lái)的點(diǎn)移去，對(duì)剩下的所有點(diǎn)，重復(fù)步驟b)、c)、d)，直到所有的點(diǎn)標(biāo)記完畢，或者剩余點(diǎn)的個(gè)數(shù)小于一定值，則結(jié)束。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于步驟a)中所述圖像是單個(gè)攝像機(jī)在兩個(gè) 或者多個(gè)位置下獲取的圖像，或者是兩個(gè)或者多個(gè)攝像機(jī)在同一時(shí)刻獲得的圖像，或者圖 像序列。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于要檢測(cè)的平面區(qū)域是單個(gè)的，或者是多個(gè)。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于步驟d)針對(duì)對(duì)初選點(diǎn)集的采用LMEDS算 法或魯棒估計(jì)方法來(lái)估計(jì)平面參數(shù)。
全文摘要
一種從二維圖像序列檢測(cè)平面區(qū)域的方法，屬于圖像處理技術(shù)領(lǐng)域，首先對(duì)圖像序列中的前后兩幅或者多幅圖像進(jìn)行處理，提取得到圖像上的一系列2D特征點(diǎn)，然后建立不同圖像上2D特征點(diǎn)的對(duì)應(yīng)關(guān)系；然后根據(jù)3D空間內(nèi)，同一個(gè)空間平面上的點(diǎn)在不同圖像上投影應(yīng)當(dāng)滿足的約束條件，來(lái)判別所提取的2D特征點(diǎn)是否屬于同一空間平面；從而將2D特征點(diǎn)初步劃分為不同平面區(qū)域的點(diǎn)，對(duì)初步分類后的2D特征點(diǎn)采用一種魯棒估計(jì)算法對(duì)平面參數(shù)進(jìn)行參數(shù)估計(jì)，并排除干擾點(diǎn)，實(shí)現(xiàn)對(duì)2D特征點(diǎn)的平面劃分及對(duì)應(yīng)平面的參數(shù)估計(jì)。本發(fā)明能在有噪聲的數(shù)據(jù)環(huán)境下穩(wěn)定的分割出屬于同一平面的特征點(diǎn)，并能準(zhǔn)確地計(jì)算出對(duì)應(yīng)平面的參數(shù)，在不需要對(duì)3D場(chǎng)景做任何先驗(yàn)假設(shè)的前提下，實(shí)現(xiàn)對(duì)2D圖像內(nèi)平面特征的分析。
文檔編號(hào)G01C11/08GK101968357SQ20101028889
公開(kāi)日2011年2月9日 申請(qǐng)日期2010年9月21日 優(yōu)先權(quán)日2010年9月21日
發(fā)明者宋永瑞, 王忠立 申請(qǐng)人:北京交通大學(xué)