基于局部坐標系特征描述的圖像匹配方法
【專利摘要】本發明公開了一種基于局部坐標系特征描述的圖像匹配方法，主要解決了現有方法存在主方向估計誤差，圖像匹配的正確率低的問題。其實現步驟是：1.對兩幅輸入圖像進行灰度化處理；2.提取每幅圖像的特征點，建立每個特征點的N個支撐區域；3.將每個支撐區域劃分為k個子區域；4.構造每個支撐區域的特征描述向量集；5.利用支撐區域的特征描述向量構建每個特征點的特征描述向量集，并對其歸一化得到每個特征點的特征描述符；6.利用兩幅圖像中特征點的特征描述符進行圖像匹配，輸出匹配的特征點對。本發明相比傳統的局部特征描述方法，在進行圖像匹配時不僅避免了主方向估計誤差，而且提高了匹配正確率，可用于目標跟蹤、物體識別和圖像檢索。
【專利說明】基于局部坐標系特征描述的圖像匹配方法
【技術領域】
[0001]本發明涉及圖像處理【技術領域】，特別是涉及圖像匹配方法，可用于目標跟蹤、物體識別和圖像檢索。
【背景技術】
[0002]圖像匹配是計算機視覺和數字圖像處理領域的重要組成部分，但由于不同的成像時間、距離、角度等因素導致了圖像的平移、旋轉、縮放等問題，這都給圖像匹配帶來了很大難度。近幾年，基于圖像特征描述符的圖像匹配技術在目標跟蹤、物體識別等領域得到了顯著發展。
[0003]局部特征描述方法因其能夠重點描述圖像的特征區域，與全局特征描述相比，節約了計算量，成為近幾年研究的熱點。局部特征描述大致分為兩步:提取興趣點和計算特征描述符。提取興趣點用來確定提取特征的位置或局部區域；計算特征描述符用來描述該局部區域，一個描述符的好壞直接影響特征點或特征區域的區分性能。
[0004]傳統的局部特征描述方法，如尺度不變特征變換匹配算法(SIFT)采用高斯差分函數(DOG)檢測子，將特征區域確定為各向同尺度變化的圓形區域，這種方法雖然具有良好的尺度不變性，但其并不具備仿射不變性，對有仿射變化的圖像其生成的描述符的可區分性差。此外，由于SIFT采用直方圖統計主方向，再進行主方向旋轉以達到旋轉不變性，會對主方向估計帶來較大誤差，嚴重影響圖像匹配的正確率。
【發明內容】
[0005]本發明的目的在于針對上述已有技術的不足，提出一種基于局部坐標系特征描述的圖像匹配方法，以避免主方向估計帶來的誤差，提高圖像匹配的正確率。
[0006]實現本發明目的關鍵是對每個特征區域做仿射歸一化處理，對每個特征點的樣本點建立它的局部坐標系進行梯度描述，利用每個特征點生成的特征描述符進行基于歐氏距離的圖像匹配。其技術方案包括如下步驟:
[0007](I)輸入兩幅待匹配的圖像，分別對這每幅圖像進行灰度化處理，得到兩幅灰度圖像 I1、I2 ;
[0008](2)提取每幅灰度圖像的特征點及特征區域，建立每個特征點的N個圓形支撐區域；
[0009]2a)用Hessian仿射檢測器提取每幅灰度圖像的特征點及特征區域，其中特征區域是以特征點為圓心的橢圓，其長軸為a，短軸為b ；
[0010]2b)對每個特征點建立以特征區域為起始位置均勻增大的N個嵌套橢圓，作為支撐區域，每個支撐區域的長軸Si = a+2 (1-1),短軸h = b+2 (1-1), i = I, 2,..., N, N個嵌套橢圓的圓心是其對應的特征點；
[0011]2c)將每個特征點的每個支撐區域由橢圓形狀規范為大小相同的圓形形狀；
[0012](3)將一個特征點的一個支撐區域中的所有像素點作為該區域的樣本點，根據灰度值對這些樣本點進行升序排序，得到支撐區域樣本點的有序集合，再按照樣本點個數把支撐區域等分為k個子區域；
[0013](4)構造一個特征點的一個支撐區域中的k個子區域的特征描述向量集；
[0014]4a)建立一個子區域中每個樣本點的局部坐標系，該坐標系的Y軸正向是特征點與該樣本點的向量方向，X軸正向是按順時針與Y軸正向正交的方向；
[0015]4b)在每個局部坐標系下采樣8個像素點，依次記為X1，X2, , X8,計算這些像素點之間的灰度梯度，并求出每個局部坐標系中每個兩兩正交的灰度梯度的幅值m(x)和方
向 Θ (X);
[0016]4c)用梯度直方圖統計方法將每個灰度梯度的幅值和方向(m(x)，θ (χ))映射至一個 d 維的向量 P1 = (fi, f2,..., fv,..., fd), V = I, 2,..., d, I = I, 2,..., k ；
[0017]4d)重復執行步驟4a) _4c)共k次，得到一個支撐區域中k個子區域的特征描述向量集 Mh = (P1, P2,...，Pn,...，Pk)，η = 1，2，...，k，h = I, 2,..., N ；
[0018](5)重復執行步驟(3)和(4)共N次，得到一個特征點的特征描述向量集F =(M1, M2,..., Mh,..., Mn) = (f1； f2,..., fz,..., fNXkxd), z = I, 2,..., NXkXd ；
[0019](6)對一個特征點的特征描述向量集F進行歸一化，得到一個特征點的特征描述付記為:Q — (Qi, Q2)....，Qz,...，QNXkXd);`[0020](7)重復執行步驟(5)和(6)，得到灰度圖像I1U2中每個特征點的特征描述符，其中:
[0021]灰度圖像I1中一個特征點的特征描述符記為:01.U，Z1 =1，2，...，4X6X8 ；
[0022]灰度圖像I2中一個特征點的特征描述符記為:0 =(#，#，...#Z2 =I, 2,, 4X6X8 ；
[0023](8)將灰度圖像I1中的每個特征點的特征描述符與灰度圖像灰度I2中的每個特征點的特征描述符進行基于歐氏距離的圖像匹配，得到灰度圖像I1與灰度圖像I2匹配的特征點對，完成圖像匹配。
[0024]本發明與現有技術相比具有以下優點:
[0025]第一，本發明通過將每個特征點的支撐區域規范為大小相同的標準圓形支撐區域，使得每個特征點的特征描述符具有仿射不變性，能夠有效匹配具有仿射形變的圖像。
[0026]第二，本發明通過建立圖像旋轉不變的局部坐標系，克服了使用主方向估計帶來的估計誤差，使得圖像匹配的正確率得到有效提高。
【專利附圖】
【附圖說明】
[0027]圖1是本發明的實現流程圖；
[0028]圖2為基于一個樣本點的局部坐標系；
[0029]圖3為本發明使用的兩幅待匹配圖像；
[0030]圖4是分別采用本發明方法和傳統的SIFT方法對圖3進行匹配得到的性能比較圖。【具體實施方式】
[0031]以下參照附圖對本發明的具體實現及效果做進一步的詳細說明。
[0032]參照圖1，本發明的實施步驟如下:
[0033]步驟1，輸入兩幅待匹配的圖像，并分別對每幅圖像進行灰度化處理，得到兩幅灰度圖像I1和12。
[0034]步驟2，提取每幅灰度圖像的特征點及特征區域，建立每個特征點的4個圓形支撐區域。
[0035](2.1)用Hessian仿射檢測器提取每幅灰度圖像的特征點及特征區域，其中特征區域是以特征點為圓心的橢圓，其長軸為a，短軸為b ；
[0036](2.2)對每個特征點建立以特征區域為起始位置均勻增大的4個嵌套橢圓，作為支撐區域，每個支撐區域的長軸Si = a+2 (1-1),短軸h = b+2 (1-1), i = 1，2，...，4,4個嵌套橢圓的圓心是其對應的特征點；
[0037](2.3)按如下公式將每個特征點的每個支撐區域由橢圓形狀規范為大小相同的圓形形狀:
I 1.[0038].V=-/i 2A-,
V
[0039]其中，χ’為橢圓形狀區域中的坐標，r為圓形形狀的半徑，r = 20個像素點，A為橢圓形狀的形狀矩陣，X為圓形形狀區域中對應的坐標，X點的灰度值等于X’點的灰度值。
[0040]步驟3，將一個支撐區域中的所有像素點作為該區域的樣本點，根據灰度值對這些樣本點進行升序排序，得到支撐`區域樣本點的有序集合，再按照樣本點個數把支撐區域等分為6個子區域。
[0041]步驟4，構造一個支撐區域每個子區域的特征描述向量集。
[0042](4.1)建立一個子區域中每個樣本點的局部坐標系，如圖2所示，其中P為子區域所在支撐區域的特征點，χ為樣本點，坐標系的Y軸正向是樣本點χ與該特征點P的向量方向，X軸正向是按順時針與Y軸正向正交的方向；
[0043](4.2)在每個局部坐標系下采樣8個像素點，如圖2所示，這些像素點從局部坐標系下的X正半軸、X負半軸、Y正半軸、Y負半軸及坐標軸夾角45°方向上各采一個像素點得到，每個像素點與這個局部坐標系所在的樣本點相距4個像素點，得到的8個像素點記為:
I 28X , X ,..., X ；
[0044](4.3)計算每個局部坐標系下每個像素點與其最大像素間隔的像素點的灰度梯度，即:
[0045]Dx (χ) = I (χ1) -1 (χ5)，
[0046]Dy (χ) = I (χ3) -1 (χ7),
[0047]Dx' (χ) = I (χ2) -1 (χ6),
[0048]D； (χ) = Ι(χ4)-Ι(χ8),
[0049]其中，I (Xi)是像素點Xi的灰度值，i = 1,2,...,8,
[0050]Dx(X)是像素點X1與像素點X5的灰度梯度，X5是X1的最大像素間隔像素點，
[0051]Dy(X)是像素點X3與像素點X7的灰度梯度，X7是X3的最大像素間隔像素點，
[0052]D’ X(x)是像素點X2與像素點X6的灰度梯度，X6是X2的最大像素間隔像素點，[0053]D\(x)是像素點X4與像素點X8的灰度梯度，X8是X4的最大像素間隔像素點；
[0054](4.4)計算每個局部坐標系下每個兩兩正交梯度之間的幅值m(x)和方向θ (χ):
[0055]
【權利要求】
1.一種基于局部坐標系特征描述的圖像匹配方法，包括如下步驟: (1)輸入兩幅待匹配的圖像，分別對這每幅圖像進行灰度化處理，得到兩幅灰度圖像T T.丄1、丄2 , (2)提取每幅灰度圖像的特征點及特征區域，建立每個特征點的N個圓形支撐區域； 2a)用Hessian仿射檢測器提取每幅灰度圖像的特征點及特征區域，其中特征區域是以特征點為圓心的橢圓，其長軸為a，短軸為b ； 2b)對每個特征點建立以特征區域為起始位置均勻增大的N個嵌套橢圓，作為支撐區域，每個支撐區域的長軸Si = a+2 (1-1),短軸h = b+2 (i_l), i = I, 2,..., N, N個嵌套橢圓的圓心是其對應的特征點； 2c)將每個特征點的每個支撐區域由橢圓形狀規范為大小相同的圓形形狀； (3)將一個特征點的一個支撐區域中的所有像素點作為該區域的樣本點，根據灰度值對這些樣本點進行升序排序，得到支撐區域樣本點的有序集合，再按照樣本點個數把支撐區域等分為k個子區域； (4)構造一個特征點的一個支撐區域中的k個子區域的特征描述向量集； 4a)建立一個子區域中每個樣本點的局部坐標系，該坐標系的Y軸正向是特征點與該樣本點的向量方向，X軸正向是按順時針與Y軸正向正交的方向； 4b)在每個局部坐標系下采樣8個像素點，依次記為X1，X2,, X8,計算這些像素點之間的灰度梯度，并求出每個局部坐標系中每個兩兩正交的灰度梯度的幅值m(x)和方向Θ (X)； 4c)用梯度直方圖統計方法將一個子區域中每個灰度梯度的幅值和方向(m(x)，θ (X))映射至一個 d 維的向量 P1 = (fi, f2,..., fv,..., fd), V = I, 2,..., d, I = I, 2,..., k ； 4d)重復執行步驟4a) -4c)共k次，得到一個支撐區域中k個子區域的特征描述向量集 Mh = (P1, P2,..., Pn,..., Pk), η = I, 2,..., k, h = I, 2,..., N ； (5)重復執行步驟(3)和(4)共N次，得到一個特征點的特征描述向量集F=(M1, M2,...,Mh,...，Mn) = (fi, fNXkxd)，z = 1，2，...，NXkXd ; (6)對一個特征點的特征描述向量集F進行歸一化，得到一個特征點的特征描述符記為(QlJ Q2j....，Qzj...，QNXkXd); (7)重復執行步驟(5)和(6)，得到灰度圖像IpI2中每個特征點的特征描述符，其中: 灰度圖像I1中一個特征點的特征描述符記為:0 =吣泌,…為…?) , Z1 =1，2，...，NXkXd ； 灰度圖像I2中一個特征點的特征描述符記為:G4 =WiW2，Z2 =1，2，...，NXkXd ； (8)將灰度圖像I1中的每個特征點的特征描述符與灰度圖像灰度I2中的每個特征點的特征描述符進行基于歐氏距離的圖像匹配，得到灰度圖像I1與灰度圖像I2匹配的特征點對，完成圖像匹配。
2.根據權利要求1所述的一種基于局部坐標系特征描述的圖像匹配方法，其中步驟2c)所述的將每個特征點的每個支撐區域由橢圓形狀規范為大小相同的圓形形狀，按如下公式進行:
3.根據權利要求1所述的一種基于局部坐標系特征描述的圖像匹配方法，其中步驟4b)所述的在每個局部坐標系下采樣8個像素點，是從局部坐標系下的X正半軸、X負半軸、Y正半軸、Y負半軸及坐標軸夾角45°方向上各采一個像素點得到，每個像素點與這個局部坐標系所在的樣本點相距4個像素點。
4.根據權利要求1所述的一種基于局部坐標系特征描述的圖像匹配方法，其中步驟4b)所述的計算這些像素點之間的灰度梯度，是計算每個像素點與其最大像素間隔的像素點的灰度梯度，計算公式如下:
Dx (X) = I (X1) -1 (X5),
Dy (X) = I (X3) -1 (X7),
Dx' (X) = I (X2) -1 (X6),
Dy，(X) = I (X4) -1 (X8), 其中，I(Xi)是像素點Xi的灰度值，i = 1,2,...,8, Dx(X)是像素點X1與像素點X5的灰度梯度，X5是X1的最大像素間隔像素點， Dy(X)是像素點X3與像素點X7的灰度梯度，X7是X3的最大像素間隔像素點， D'x(x)是像素點X2與像素點X6的灰度梯度，X6是X2的最大像素間隔像素點， D\(x)是像素點X4與像素點X8的灰度梯度，X8是X4的最大像素間隔像素點。
5.根據權利要求1或4所述的一種基于局部坐標系特征描述的圖像匹配方法，其中步驟4b)所述的求出每一個局部坐標系中每個兩兩正交梯度之間的幅值Hl(X)和方向Θ (X)，按如下公式進行:
6.根據權利要求1所述的一種基于局部坐標系特征描述的圖像匹配方法，其中所述步驟4c)中用梯度直方圖統計方法將每個灰度梯度的幅值和方向(m(x)，θ (χ))映射至一個d維的向量P1 = (fi, f2,...，fv,...，fd)，按如下步驟進行: 4cl)將O~2JI的梯度直方圖分成d等分，得到d個方向塊，每個方向塊的大小為=Clirj=(2 π /d) * (j-1), j = I, 2,..., d ； 4c2)將每個灰度梯度的方向θ (χ)線性分配到與它相鄰方向塊上，計算向量P1中每一維fv的值:
7.根據權利要求1所述的一種基于局部坐標系的特征描述方法，其中步驟(8)所述的將灰度圖像I1中的每個特征點的特征描述符與灰度圖像灰度I2中的每個特征點的特征描述符進行基于歐氏距離的圖像匹配，按如下步驟進行: 7a)計算灰度圖像I1中一個特征點的特征描述AC)和灰度圖像I2中每個特征點的特征描述符β/2之間的歐式距離D，找出它們中的最小歐氏距離，并記錄得到這個最小歐式距離的兩個特征點； 7b)對最小歐式距離進行判斷:若最小歐式距離小于閾值th = 0.8，則這兩個特征點匹配，反之圖像I1中的這個特征點在圖像I2中沒有匹配的特征點； 7c)重復步驟7a)和7b)，遍歷圖像I1中的每個特征點的特征描述符，得到圖像I1中的每個特征點與圖像I2中的特征點的匹配情況，輸出灰度圖像I1與灰度圖像I2匹配的特征點對。
【文檔編號】G06K9/64GK103632142SQ201310637523
【公開日】2014年3月12日 申請日期:2013年11月29日 優先權日:2013年11月29日
【發明者】于昕, 焦李成, 侯曉麗, 馬文萍, 馬晶晶, 侯彪, 劉坤 申請人:西安電子科技大學