圖案提取設備、圖像投影設備、圖案提取方法和程序的制作方法

圖案提取設備、圖像投影設備、圖案提取方法和程序的制作方法
【專利摘要】提供即使存在圖像圖案的有缺陷的特征點時也能夠通過對有缺陷的特征點插值而提取所有特征點的圖案提取設備、圖案提取方法和程序。本發明的圖案提取設備基于被投影的圖像圖案的捕捉圖像提取要被插值的特征點，并且通過使用位于要被插值的特征點附近的附近特征點對要被插值的特征點插值。此外，本發明的圖案提取設備將附近特征點劃分為組，計算組的外推坐標，并且考慮到外推的重要性而計算要被插值的特征點的坐標。
【專利說明】圖案提取設備、圖像投影設備、圖案提取方法和程序

【技術領域】
[0001]本發明涉及已投影圖像的失真校正，更具體地，涉及提取被包括在已投影圖像圖案中的特征點(特性點)的圖案提取設備、圖像投影設備、圖案提取方法和程序。

【背景技術】
[0002]傳統上，當由諸如投影儀的投影設備將圖像投影到屏幕上時，取決于投影設備和屏幕之間的相對位置關系，已投影圖像可能失真為梯形形狀(梯形失真)。此外，由于屏幕表面的局部凹陷和凸起或者扭曲，已投影圖像可能非線性失真。
[0003]為了校正這樣的失真，已經有已知的技術，其中通過數字相機捕捉屏幕的圖像，包括布置的特定圖形的圖像圖案被投影在該屏幕上，基于從實際捕捉的圖像提取的特征點的位置與該特征點的相應理想位置之間的差來計算失真，并且通過校正該失真來校正該圖像。
[0004]作為這樣的傳統技術的例子，專利文獻I公開了一種圖像校正設備，其中包括以相等間隔布置的特征點的圖案(特征點圖案)被投影在屏幕上并且被捕捉，通過使用在所捕捉的圖像中包括的特征點的坐標計算由于投影引起的失真量，并且基于所計算的失真量來校正已投影圖像。


【發明內容】

[0005]本發明要解決的問題
[0006]但是，在專利文獻I公開的圖像校正設備中，在捕捉投影在屏幕上的特征點圖案的圖像的情況下，如果環境條件不滿意，則所捕捉的圖像的質量可能降低。因此，可能變得難以檢測應該存在于所捕捉的圖像中的所有特征點。例如，在如圖1所示的質量降低的圖像中，本應存在于柵格交叉處的相應柵格點中的特征點可能丟失(遺漏或不可檢測)。因而，可能變得難以計算在特征點丟失的位置處的失真量，并且可能不能完全校正圖像。
[0007]考慮到以上傳統技術問題做出本發明，并且本發明可以提供即使在圖形圖案中的一些特征點遺漏時也可以通過對遺漏的特征點插值而使用所有特征點的圖案提取設備、圖像投影設備、圖案提取方法和程序。
[0008]用于解決問題的手段
[0009]為了解決上述問題，根據本發明的實施例的圖案提取設備基于圖像圖案的捕捉圖像提取要被插值的特征點，并且通過使用位于要被插值的特征點附近的特征點對要被插值的特征點插值。
[0010]本發明的效果
[0011]根據本發明，通過使用上述配置，可能變得即使在圖像圖案中的一些特征點遺漏時也能夠通過對遺漏的特征點插值而提取所有特征點。

【專利附圖】

【附圖說明】
[0012]圖1是示出作為傳統技術中的問題的遺漏節點的圖；
[0013]圖2是示出根據本發明的實施例的圖案提取設備的配置的圖；
[0014]圖3例示根據實施例的校正圖案；
[0015]圖4是例示由根據本發明的實施例的圖案提取設備執行的處理的流程圖；
[0016]圖5是示出要在本發明的實施例中使用的狀態值的表；
[0017]圖6是示意性示出在本發明的實施例中使用的外推的圖；
[0018]圖7是示意性示出根據本發明的實施例的插值處理的圖；
[0019]圖8是示出要在本發明的實施例中使用的狀態值的表；
[0020]圖9是示意性示出參考圖8所述的根據實施例的插值處理的圖；
[0021]圖10是示出由根據本發明的實施例的圖案提取設備進行的處理的流程圖；
[0022]圖11是示意性示出參考圖10所述的根據實施例的插值處理的圖；
[0023]圖12是示出執行根據本發明的實施例的程序的信息處理裝置的圖；
[0024]圖13是示意性示出根據本發明的另一實施例的插值處理的圖；
[0025]圖14是示出根據本發明的實施例的圖13的插值處理的流程圖；
[0026]圖15是示意性示出根據實施例使用多個捕捉的圖像對校正圖案的特征點插值的處理的圖；
[0027]圖16是示意性示出根據另一實施例使用多個捕捉的圖像對校正圖案的特征點插值的處理的另一個圖；以及
[0028]圖17是示出通過將上限設置為與參考特征點的附近區域對應的距離來指定附近特征點的方法的圖。

【具體實施方式】
[0029]參考以下描述的實施例描述本發明。但是，應該注意，本發明不限于以下描述的實施例。圖2是示出根據本發明的實施例的圖案提取設備的配置的圖。
[0030]圖案提取設備200是插值并提取被包括在投影在屏幕等上的校正圖案的所捕捉圖像中的特征點的設備。在此實施例中，圖案提取設備200可以實現為諸如專用集成電路(ASIC)的半導體器件，并且可以并入到諸如投影儀的圖像投影設備中。
[0031]圖案提取設備200使用在所捕捉圖像中包括的特征點的坐標，對在所捕捉圖像中有缺陷的特征點插值，并且提取所有的特征點。為此，圖案提取設備200包括插值控制部分201、插值目標提取部分202、插值部分203、狀態更新部分204以及存儲部分205。圖案提取設備200中所包括的功能部件可以通過使用半導體集成電路而實現。
[0032]插值控制部分201是控制插值目標提取部分202、插值部分203、狀態更新部分204和存儲部分205的功能部件，以便對在校正圖案中的特征點插值，該特征點在所捕捉的圖像中是有缺陷的，以及以便提取所有特征點。
[0033]插值目標提取部分202是提取要作為插值處理的目標的特征點的功能部件。插值部件203是對要插值的特征點的坐標進行插值的功能部件。狀態更新部分204是更新要存儲在狀態緩沖器207中的指示校正圖案的特征點的狀態的狀態信息的功能部件。
[0034]存儲部分205包括坐標數據緩沖器206和狀態緩沖器207。坐標數據緩沖器206存儲作為從所捕捉圖像獲取的校正圖案的特征點的坐標信息的坐標。狀態緩沖器207存儲從所捕捉圖像獲取的校正圖案的特征點的狀態信息。此外，被包括在以下描述的校正圖案中的圖案不限于是諸如黑色圓圈的圓形圖案的圖案。即，校正圖案中的圖案可以是任何其他圖案(例如圖形或圖像)，只要可以(成功)提取位于原始圖像的坐標處的圖案即可(即，只要原始圖案中的圖案的正確位置已知以便與觀察的數據(圖像數據)中的相應特征點比較即可)。這樣的圖案可以是包括例如矩形圖形、人的輪廓以及諸如山的自然對象的圖形的圖像。
[0035]圖3是示出根據實施例的校正圖案的圖。校正圖案300是要由投影儀投影在屏幕上以便校正已投影圖像中的失真的圖像圖案。在校正圖案300中，在M乘N矩陣中的柵格上以相等間隔布置黑色圓圈。
[0036]校正圖案302是在投影儀投影校正圖案300時投影在屏幕上的圖像圖案。當與校正圖案300比較時，校正圖案302的形狀變形為具有梯形形狀并且校正圖案302的黑色圓圈的位置可能不規則地偏移。
[0037]使用諸如數字相機的圖像捕捉設備來捕捉校正圖案302的圖像，并且從所捕捉的圖像中提取作為特征點的黑色圓圈。這樣做，獲取了特征點的坐標。此外，在以下，處于所捕捉的圖像中并且與柵格的第i行第j列(0<i< (M-1)，0 ( j ( (N-1))中的柵格點對應的特征點的坐標被表示為(x[i，j],y[i, j])。而且，作為特征點的狀態信息的狀態值被表示為 S[i, j] ο
[0038]圖4是示出有根據實施例的圖案提取設備執行的根據實施例的處理的流程圖。在圖4中，處理開始于步驟S400。在步驟S401中，插值控制部分201初始化分別存儲在存儲部分205的坐標數據緩沖器206和狀態緩沖器207中的坐標數據和狀態值。
[0039]具體地，插值控制部分201將被包括在所捕捉圖像中的校正圖案的特征點的坐標與校正圖案中的已知特征點的坐標比較，并且確定與已知特征點對應的特征點是否存在于所捕捉圖像中。然后，插值控制部分201依據相應特征點是否存在于所捕捉圖像中而不同地初始化特征點的坐標和狀態值，如公式I所示。
[0040]情況1:相應特征點存在。
[0041](x[i, j], y[i, j])=相應特征點的(x坐標，y坐標)
[0042]S[i，j] = 1(已確認)
[0043]情況2:不存在相應特征點
[0044](x[i, j], y[i, j]) = (0, 0)
[0045]S[i, j] = 0(未確認)公式 I
[0046]
[0047]當相應特征點存在時(即，當所捕捉圖像的特征點存在時)，所捕捉圖像的特征點的坐標被設置為相應特征點的已知坐標。另一方面，當不存在相應特征點時(即，當所捕捉圖像的特征點有缺陷(遺漏)時)，所捕捉數據的特征點的坐標被設置為(0，0)。
[0048]此實施例的狀態值可以具有如圖5所示的值。狀態值“O”表示未確認的狀態，其中特征點未被插值。狀態值“I”表示確認的狀態，其中子從初始狀態起特征點已經存在。狀態值“ 2 ”表示特征點被插值的狀態。
[0049]在步驟S402，插值目標提取部分202參考狀態緩沖器207，并且提取“未確認的”特征點(即，具有狀態值s [i，j] = O的特征點)。在步驟S403中，插值部分計算在步驟S402中提取的未確認的特征點的坐標。
[0050]在此實施例中，如圖6所示，位于要被插值的特征點(PO)附近的八個特征點(Pl到P8)被劃分成組。然后，計算各組的外推(extrapolat1n)坐標。在考慮了外推的重要性之后，從外推坐標得出要被插值的特征點(PO)的坐標。這樣做，未確認的特征點被插值。
[0051]更具體地，插值部分203計算包括特征點P1、P2和P4的組“a”的外推坐標(xa, ya)、包括特征點P2、P3和P5的組“b”的外推坐標(xb, yb)、包括特征點P4、P6和P7的組“c”的外推坐標(xc，yc)、包括特征點P5、P7和P8的組“d”的外推坐標(xd, yd)、以及作為指示外推的重要性的信息的相應標記Fa、Fb、Fe和Fd。
[0052](I)組 “a，，
[0053]i)當特征點P1、P2和P4存在并且狀態是未確認時
[0054](xa, ya) = (x2+x4_xl, y2+y4-yl)
[0055]Fa = I
[0056]ii)否則
[0057](xa, ya) = (O, O)
[0058]Fa = O
[0059](2)組 “b”
[0060]當特征點P2、P3和P5存在并且狀態是未確認時
[0061](xb, yb) = (χ2+χ5-χ3, y2+y5-y3)
[0062]Fa = I
[0063]ii)否則
[0064](xb, yb) = (O, O)
[0065]Fa = O
[0066](3)組 “c”
[0067]當特征點P4、P6和P7存在并且狀態是未確認時
[0068](xc, yc) = (x4+x7_x6, y4+y7-y6)
[0069]Fa = I
[0070]ii)否則
[0071](xc, yc) = (O, O)
[0072]Fa = O
[0073](4)組 “d”
[0074]當特征點P5、P7和P8存在并且狀態是未確認時
[0075](xd, yd) = (x5+x7_x8, y5+y7-y8)
[0076]Fa = I
[0077]ii)否則
[0078](xd, yd) = (0,0)
[0079]Fa = 0公式 2
[0080]
[0081]在此,符號(xl, yl) > (x2, y2)、(x3, y3)、(x4, y4)、(x5, y5)、(x6, y6)、(x7, y7)和(x8, y8)分別表示特征點Pl到P8的坐標。當在要被插值的特征點附近存在特征點并且這些特征點的狀態不是“未確認”(即，外推重要)時，值“I”被設置給標記Fa、Fb、Fe和Fd。另一方面，當因為例如要被插值的特征點位于捕捉圖像的邊緣部分(例如上部或下部邊緣部分)所以在要被插值的特征點附近不存在特征點時，值“O”被設置給標記Fa、Fb、Fe和Fd0
[0082]此外，插值部分203可以通過使用以下公式3得到特征點的插值坐標。
[0083]x[i，j] = (xa+xb+xc+xd) / (Fa+Fb+Fc+Fd)
[0084]y [i, j] = (ya+yb+yc+yd) / (Fa+Fb+Fc+Fd)公式 3
[0085]
[0086]此外，當所有外推都不重要時(即，當Fa = Fb = Fe = Fd = O時)，假設不計算要被插值的特征點(PO)的插值坐標。
[0087]接下來，在步驟S404中，狀態更新部分204將在先前的步驟S403中被插值的特征點的狀態值更新為指示該特征點已經被插值的值(S[i，j] = 2)。
[0088]在步驟S405中，插值控制部分201參考在狀態緩沖器207中存儲的特征點的狀態值，并且確定是否存在未確認的特征點。當確定存在未確認的特征點時(步驟S405中的是)，處理回到步驟S402，并且重復地執行步驟S402到步驟S405的處理，直到不存在未確認的特征點。
[0089]另一方面，當確定不存在特征點時(步驟S405中的否)，處理分支到步驟S406。在步驟S406中，插值控制部分201基于以下公式4計算差值處理的置信度等級“C”。
[0090]D = 1000X (插值的特征點的數量)/(MXN)
[0091]C = MAX{100-D, 0}公式 4
[0092]
[0093]其中“C”和“D”是變量，MAX {}表示輸出括號“ {} ”中的最大值的函數。
[0094]例如，當被插值的特征點與所有特征點的比率是I %時，置信度等級“C”是90 %。此外，當被插值的特征點與所有特征點的比率是2%時，置信度等級“C”是80%。置信度等級“C”以及特征點的坐標的數據可以作為圖案提取結果輸出到外部設備。
[0095]圖7示意性示出根據上述的實施例的插值處理。根據圖7的實施例，在初始狀態下存在三個未確認的特征點700、701和702。在這些特征點之中，能夠使用附近的特征點對特征點701和702進行插值。因此，在第一插值處理中，這些特征點701和702被插值。在插值之后的特征點711和712的狀態值被設置為指示特征點被插值的狀態的值(即，S[i，j]=2)。
[0096]作為第一插值的結果，計算特征點711的坐標。因而，變得能夠對未確認的特征點700進行插值。通過進行第二插值處理，未確認的特征點700被插值。在插值之后的特征點720的狀態值被設置為指示特征點被插值的狀態的值(即S[i，j] = 2)。在圖7的實施例中，在第二插值處理之后，沒有未確認的特征點。因此，處理結束。
[0097]如上所述，根據實施例，即使在由于所捕捉圖像的質量降低導致校正圖案的一些特征點有缺陷時，也變得能夠計算有缺陷的特征點的坐標，使得可以完全提取所有特征點。因而，變得能夠完善地計算在所捕捉圖像中出現的校正圖案與要投影的原始校正圖案之間的失真量。
[0098]此外，在此實施例中，可以與特征點的坐標一起獲取置信度等級。基于置信度等級的值(水平)，用戶可以關注插值的可靠性或準確性，以便可以進一步改善可用性。而且，變得能夠基于特征點的置信度等級水平使用另一圖像處理算法來提取特征點。
[0099]圖8示出在根據另一實施例的圖案提取設備中使用的其他狀態值。在下文中，參考圖8和圖9，描述在此實施例中的狀態值的使用與參考圖2到圖7所述的實施例中的狀態值的使用之間的差別。
[0100]在圖8的實施例中，存在可以設置為狀態值的值“O”到“3”。狀態值“O”表示其中特征點未被插值的未確認的狀態。狀態值“I”表示其中自從初始狀態起特征點已經存在的確認的狀態。狀態值“2”表示其中使用具有狀態值“I”的特征點對特征點插值(插值“A”)的狀態。狀態值“3”表示其中使用已經被插值的特征點對特征點插值(插值“B”的狀態。)
[0101]在此實施例中，在圖4的步驟S403中，為了計算未確認的特征點的坐標，插值部分203參考在狀態緩沖器207中存儲的外推中所使用的特征點的狀態值，確定在特征點之中是否存在已經被插值的特征點，并且將確定結果與要被插值的特征點相關聯并存儲。
[0102]接下來，在步驟S404中的狀態值的更新處理中，狀態更新部分204基于由插值部分203存儲的確定結果來確定在外推中使用的附近特征點之中是否存在已經被插值的特征點。
[0103]當確定在外推中使用的附近特征點之中沒有已經被插值的特征點時，狀態更新部分204將在先前的步驟S403中插值的特征點的狀態值更新為指示插值“A”的值(即S[i，j]=2)。另一方面，當確定在外推中使用的附近特征點之中存在已經被插值的特征點時，狀態更新部分204將在先前的步驟S403中插值的特征點的狀態值更新為指示插值“B”的值(即 S[i, j] = 3) ο
[0104]接下來，在步驟S406中的置信度等級的計算處理中，插值控制部分201基于以下公式5計算置信度等級“C”。
[0105]DA = 1000X (具有插值“A”狀態的插值的特征點的數量)/(MXN)
[0106]DB = 2000 X (具有插值“B”狀態的插值的特征點的數量)/(ΜXN)
[0107]C = MAX{100-DA-DB, 0}公式 5
[0108]
[0109]其中“C”、“DA”和“DB”是變量，并且MAX{}表示輸出括號“ {} ”中的最大值的函數。
[0110]例如，當具有插值“A”狀態的插值的特征點與所有特征點的比率是I %時，置信度等級“C”是90 %。當具有插值“B”狀態的插值的特征點與所有特征點的比率是I %時，置信度等級“C”是80%。S卩，如上所述，已經使用插值的特征點對具有插值“B”狀態的特征點插值。因此，具有插值“B”狀態的特征點的置信度等級可能低于具有插值“A”狀態的特征點的置信度等級。如上所述，在此實施例中，當特征點被插值時，可能變得能夠取決于被用于插值的特征點的狀態而計算插值處理的可靠性和準確度。
[0111]圖9示意性示出根據參考圖8所述的此實施例的插值處理。在圖9的此實施例中，在初始狀態下存在三個未確認的特征點900、901和902。在這些特征點之中，使用附近特征點對特征點901和902進行外推。因此，在第一插值處理中，那些特征點901和902可以被插值。此外，可以不使用具有插值“A”狀態或者插值“B”狀態的任何特征點來進行第一插值處理。因此，在插值之后的特征點911和912的狀態是插值“A” (即S[i，j] = 2)。
[0112]作為在第一插值處理中的特征點911的坐標的計算結果，變得能夠對未確認的特征點900進行插值。因而，通過進行第二插值處理，未確認的特征點900可以被插值。在第二插值處理中，由于使用在第一插值處理中已經被插值的特征點911，所以在插值之后的特征點920的狀態是插值“B”(即S[i，j] =3)。在圖9的實施例中，在第二插值處理之后，沒有剩余的未確認的特征點。因此，插值處理結束。
[0113]圖10是由根據此實施例的圖案提取設備進行的處理的流程圖。在以下，參考圖10和圖11，描述在此實施例中的狀態值的使用與在參考圖8和9所述的實施例中的狀態值的使用之間的差別。
[0114]在圖10的處理中，處理開始于步驟S1000。在步驟S1001中，插值控制部分201通過使用公式I初始化分別在存儲部分205的坐標數據緩沖器206和狀態緩沖器207中存儲的坐標和狀態值。
[0115]在步驟S1002中，插值目標提取部分202參考狀態緩沖器207，并且提取未確認的特征點(即其中s[i，j] = O的特征點)以及具有插值“B”狀態(即S[i，j] = 3)的特征點。在步驟S1003中，類似于圖4中的步驟S403，插值部分203計算在步驟S1002中提取的未確認的特征點以及具有插值“B”狀態的特征點的坐標。
[0116]在步驟S1003，在具有插值“B”狀態的特征點的計算中，插值部分203基于以下公式6計算差“DP”，該差是在之前的插值處理中計算的具有插值“B”狀態的特征點的坐標(xp，yp)與在此插值處理中計算的具有插值“B”狀態的特征點的坐標(x，y)之間的差。
[0117]DP = SQRT{ (x-xp) ~2+(y_yp) ~2}公式 6
[0118]
[0119]其中，“ SQRT {} ”表示平方根~ ”表示冪。
[0120]此外，在步驟S1003中，類似于圖8的實施例，在特征點的坐標的計算中，插值部分203參考在狀態緩沖器207中存儲的在外推中使用的特征點的狀態值，確定已經被插值的特征點是否被包括在這些特征點中，并且將確定結果與要被插值的特征點相關聯并存儲。
[0121]接下來，在以下的更新狀態值的步驟S1004中，狀態更新部分204使用由插值部分203存儲的確定結果，并且確定在外推中使用的附近特征點之中是否存在已經被插值的特征點。當確定在外推中使用的附近特征點之中沒有已經被插值的特征點時，狀態更新部分204將在先前的步驟S1003的處理中被插值的特征點的狀態值更新為指示插值“A”狀態的值(即 S[i, j] = 2)。
[0122]另一方面，當確定在外推中使用的附近特征點之中存在已經被插值的特征點時，狀態更新部分204進一步確定差DP是否小于或等于閾值DT。優選地，閾值DT可以是指示等于使用確認的特征點的插值中的置信度等級的置信度等級的值。
[0123]當差DP小于或等于閾值DT時，狀態更新部分204將在先前的步驟S1003中已經被插值的特征點的狀態值更新為指示插值“A”狀態的值(即S[i，j] = 2)。另一方面，當確定差DP大于閾值DT時，狀態更新部分204將在先前的步驟S1003中已經被插值的特征點的狀態值更新為指示插值“B”狀態的值(即S[i，j] = 3)。
[0124]在步驟S1005中，插值控制部分201使用公式5并計算差值處理的置信度等級“C”。在此實施例中，即使當在外推中使用的附近特征點包括已經被插值的特征點時，如果通過先前的插值處理獲取的坐標接近通過此插值處理獲取的坐標，則可以認為實現了穩定的收斂，并且可以給出更高的置信度等級“C”。
[0125]在步驟S1006中，插值控制部分201確定置信度等級“C”是否大于或等于閾值T或者置信度等級“C”是否與作為先前的出租車里的置信度等級的置信度等級“Cp”相同。閾值T可以基于期望的插值可靠性和準確度而任意設置。此外，假設置信度等級“Cp”的初始值被設置為不可能作為置信度等級的值(例如999)。
[0126]當確定置信度等級“C”小于閾值T并且置信度等級“C”不同于置信度等級“Cp”時(步驟S1006中的否)，處理前進(分支)到步驟S1007。在步驟S1007中，插值控制部分201將在步驟S1005中獲取的置信度等級“C”的值設置為置信度等級“Cp”的值。然后，處理回到步驟S1002。另一方面，當確定置信度等級“C”大于或等于閾值T或者置信度等級“C”等于置信度等級“Cp”時(步驟S1006中的是)，處理在步驟S1008中結束。
[0127]在此實施例中，當置信度等級“C”大于或等于某個置信度等級值時或者當置信度等級“C”收斂于某個置信度等級時，插值處理可以終止。但是，根據另一實施例，當置信度等級“C”達到由用戶指定的置信度等級時，插值處理可以終止。
[0128]圖11示意性示出公交車框圖10所述的實施例的插值處理。在圖11的實施例中，存在六個未確認的特征點1100到1105。在這些特征點之中，可以通過使用各自的附近特征點僅對特征點1100、1102、1103和1105進行外推。因此，對這些特征點1100、1102、1103和1105進行插值。在各自的插值處理中，不使用已經被插值的特征點。因此，在插值處理之后的特征點1100、1102、1103和1105的狀態是插值“A” (即S[i, j] = 2)。
[0129]由于計算了特征點1100、1102、1103和1105的坐標，所以可以進一步對未確認的特征點1101和1104進行外推。因此，通過進行第二插值處理，未確認的特征點1101和1104被插值。作為第二差值處理的結果，由于使用在第一插值處理中已經被插值的特征點，使用在插值之后的特征點1121和1124的狀態是插值“B” (即S[i，j] = 3)。
[0130]接下來，如上所述，因為特征點1121和1124的狀態是插值“B”(即S[i，j] =3)，所以對他重點1121和1124進行另外的插值處理。在對他重點1121進行的插值中，盡管使用已經被插值的特征點，但是因為此插值的差DP小于閾值DT，所以在插值之后的特征點1131的狀態是插值“A”(即S[i，j] =2)。另一方面，在對特征點1124進行的插值中，因為此插值的差DP大于閾值DT，所以在插值之后的特征點1134的狀態維持在插值“B”(即S[i, j] = 3) ο
[0131]接下來，由于特征點的狀態是插值“B”(即S[i，j] = 3)，所以對特征點1134進行另外的插值。在此插值中，盡管使用已經被插值的特征點，但是因為在此實施例的插值中差DP小于或等于閾值DT，所以特征點1144的狀態變為插值“A” (即S[i, j] = 2)。
[0132]在圖10和11的實施例中，不僅可以對未確認的特征點而且可以對具有插值“B”狀態的特征點(即具有較低置信度等級的特征點)重復地進行插值處理。因此，可能變得能夠改進差值處理的可靠性。
[0133]圖12示出根據實施例的包括圖案提取設備的信息處理裝置。信息處理裝置1200可以是包括例如桌面計算機、平板型計算機和膝上型計算機的計算機。信息處理裝置1200包括處理器1201、只讀存儲器(ROM) 1202、隨機存取存儲器(RAM) 1203、硬盤設備(HDD) 1204、外部設備連接接口 1205和網絡接口 1206。
[0134]處理器1201是執行由信息處理裝置1200進行的處理的設備。可以使用諸如中央處理單元(CPU)和微處理器單元(MPU)的各種處理器作為處理器1201。ROM 1202是存儲諸如B1S的引導程序的非易失性存儲器。
[0135]RAM 1203是提供用于程序執行的空間的非易失性存儲器。信息處理裝置1200通過在諸如WINDOWS (注冊商標)系列、Mac (注冊商標)OS、UNIX (注冊商標)、LINUX (注冊商標)等的操作系統的控制下加載并執行以諸如匯編、C、C++、Java(注冊商標)、JAVASCRIPT (注冊商標)、PERL、RUBY、PYHON等的程序語言描述的根據實施例的程序來在信息處理裝置1200上實現上述功能部件。
[0136]硬盤設備1204是存儲根據本發明的實施例的程序以及各種數據的大規模非易失性存儲器。根據實施例的程序可以存儲在諸如CD-ROM、MO、軟盤、EEPROM、EPROM等的要安裝的設備可讀記錄介質中。此外，根據實施例的程序還可以經由網絡安裝。硬盤設備1204可以存儲被包括在校正圖案的所捕捉圖像中的特征點的坐標數據。
[0137]網絡接口 1206是連接到外部網絡的接口并且是諸如LAN線纜連接器、模塊線纜連接器等的物理接口。圖案提取結果可以經由網絡接口 1206傳送到外部設備。
[0138]外部設備連接接口 1205是連接到諸如鼠標和鍵盤的輸入設備、顯示設備、打印設備、圖像捕捉設備等的接口，并且是諸如USB端口的物理接口。被包括在所捕捉圖像中的校正圖案的特征點的坐標數據可以從經由外部設備連接接口 1205連接的諸如數字相機的圖像捕捉設備獲取。圖案提取結果可以經由外部設備連接接口 1205輸出到顯示設備和打印設備。
[0139]圖13示意性示出根據本發明的另一實施例的插值處理。在圖13的實施例中，使用校正圖案1300，其中不在網格交叉點上布置其特征點。
[0140]校正圖案1300是要由諸如投影儀的投影設備投影的圖像圖案。校正圖案1310是由投影設備從校正圖案1300投影的圖像圖案。在校正圖案1310中，作為特征點的黑色圓圈的位置不規則地偏移，并且一個特征點是有缺陷的(遺漏)。
[0141]在此實施例中，圖案提取設備200指定校正圖案1300的與有缺陷的特征點1311對應的特征點1321(下文中可以稱為“參考特征點”)，并且進一步指定位于該參考特征點1321附近的附近特征點1322、1323和1324。然后，圖案提取設備200通過使用參考特征點1321以及附近特征點1322、1323和1324的指定的坐標以及位于有缺陷的特征點1311附近的附近特征點1332、1333和1334的坐標來計算有缺陷的特征點1311的坐標。
[0142]圖14是示出參考圖13所述的插值處理的流程圖。在圖14的處理中，處理開始于步驟S1400。在步驟S1401中，插值控制部分201或者插值目標提取部分202將被包括在要投影的校正圖案中的特征點與被包括在已投影的校正圖案中的特征點比較，并且制定在其之間不對應的特征點(即參考特征點)。
[0143]在步驟S1402中，插值部分203指定在該參考特征點附近的多個特征點(附近特征點)。在此實施例中，插值部分203可以通過使用參考特征點的坐標以及被包括在原始校正圖案中的特征點的坐標計算被包括在原始校正圖案中的特征點與參考特征點之間的歐幾里得距離來指定附近特征點。
[0144]在步驟S1403中，插值部分203通過使用參考特征點的坐標、在參考特征點附近的分級特征點的坐標、以及在有缺陷的特征點附近的附近特征點的坐標來計算有缺陷的特征點的坐標。
[0145]具體地,插值部分203通過將在參考特征點附近的附近特征點的坐標(xa, ya)、(xb, yb)和(xc, yc)以及在有缺陷的特征點附近的附近特征點的坐標(Xa, Ya)、(Xb, Yb)和(Xe, Yc)代入以下公式7中來計算仿射系數“a”、“b”、“c”、“d”、“e”和“f”。此外，插值部分203可以通過將得到的仿射系數應用于公式7中并且代入參考特征點的坐標(xd，yd)來計算有缺陷的特征點的坐標(Xd，Yd)。
[0146]X = a*x+b*y+e
[0147]Y = c*x+d*y+f公式 7
[0148]
[0149]在步驟S1404中，插值控制部分201通過使用在步驟S1401中的比較結果來確定是否存在另一有缺陷的特征點。當確定存在另一有缺陷的特征點時(步驟S1404中的是)，處理回到步驟S1401以計算該有缺陷的特征點的坐標。另一方面，當確定沒有其他的有缺陷的特征點時(步驟S1404中的否)，處理在步驟S1405中結束。
[0150]在此實施例中，更靠近參考特征點的較高等級的特征點被用作附近特征點。但是，在另一實施例中，作為例如第一、第二和第四等級的特征點的任意等級的特征點可以用作附近特征點。此外，在此實施例中，使用三個特征點來對有缺陷的特征點插值。但是，在另一實施例中，可以使用四個或更多附近特征點來對有缺陷的特征點插值。
[0151]此外，在此實施例中，當指定在參考特征點附近的附近特征點時，不設置(使用)在特征點與參考特征點之間的距離的上限而指定那些附近特征點，其中通過該距離確定特征點位于參考特征點附近。但是，在另一實施例中，可以通過設置(使用)距離的上限而指定附近特征點，其中通過該距離可以指定特征點位于參考特征點附近。
[0152]圖17示出通過設置距離的上限來指定附近特征點的方法，其中通過該距離可以將特征點指定為在參考特征點附近的附近特征點。在下文中，參考圖17，描述了通過設置距離的上限指定附近特征點并且對有缺陷的特征點插值的方法，其中通過該距離可以將它重點指定為在參考特征點附近的附近特征點。
[0153]在圖17的實際投影的校正圖案1700中，存在三個有缺陷的特征點。如參考圖14所述的，插值部分203指定與有缺陷的特征點對應的參考特征點。在此實施例中，假設首先指定參考特征點1701。
[0154]此外，插值部分203確定在離作為范圍的中心的參考特征點1701預定距離1702的范圍內沒有缺陷(遺漏)的特征點的預定數目。在此實施例中，任意的歐幾里得距離可以被用作該預定距離。
[0155]如圖17所示，在離作為范圍的中心的參考特征點1701預定距離1702的范圍內僅有一個沒有缺陷的特征點。因此，插值部分203不對與該參考特征點1701對應的有缺陷的特征點插值，并且對另一有缺陷的特征點進行差值處理。
[0156]接下來，插值部分203指定與另一有缺陷的特征點對應的參考特征點1703。如圖17所示，在離作為中心的參考特征點1703預定距離1704的范圍內存在三個沒有缺陷的特征點1705、1706和1707。因此，插值部分203通過使用這三個特征點的坐標以及參考特征點1703的坐標來對于該參考特征點1703對應的有缺陷的特征點插值。以相同的方式，插值部分203通過使用沒有缺陷的特征點1707、1709和1710的坐標以及參考特征點1708的坐標對與該參考特征點1708對應的有缺陷的特征點插值。
[0157]此外，插值部分203通過使用存在于離作為范圍的中心的參考特征點1701預定距離1702的范圍內的特征點1710以及插值的特征點1720和1721對與參考特征點1701對應的有缺陷的特征點插值。因此，在圖17的實施例中，插值的特征點1720和1721的狀態信息指示插值“A”，并且插值的特征點1722的狀態信息指示插值“B”。
[0158]圖15示意性示出根據實施例通過使用多個捕捉圖像對校正圖案的特征點插值的處理。在下文中，參考圖15，描述了其中使用捕捉圖像中的兩個來對校正圖案的特征點插值的處理。此外，在另一實施例中，可以使用捕捉圖像中的三個或更多。
[0159]第一捕捉圖像1500是由圖像捕捉設備產生的校正圖案的捕捉圖像。第二捕捉圖像1510是從與第一捕捉圖像1500相同的位置但是在諸如不同的曝光時間以及不同的白平衡設置的不同條件下捕捉的相同的校正圖案的捕捉圖像。
[0160]在另一實施例中，可以通過校正伽馬值改變第一捕捉圖像的色調來產生第二捕捉圖像。此外，當通過對第一捕捉圖像數字化而進行插值時，可以通過改變用于數字化的閾值而獲得要被插值的圖像。
[0161]在第一捕捉圖像1500中，應該在區域1503、1505和1506中的特征點是有缺陷的(遺漏的)。在第二捕捉圖像1510中，應該在區域1514和1516中的特征點是有缺陷的(遺漏的)。
[0162]在圖15的實施例中，插值控制部分201或者插值目標提取部分202通過使用被包括在第一捕捉圖像1500中的特征點的坐標信息和被包括在第二捕捉圖像1510中的特征點的坐標信息提取應該在有缺陷的部分1526中的要被插值的特征點。
[0163]在圖15的實施例中，作為特征點1522的坐標，使用特征點1502的坐標以及特征點1512的坐標的平均值。此外，作為特征點1523和1525的坐標，分別使用特征點1513和1515的坐標。此外，作為特征點1528的坐標，使用特征點1508的坐標以及特征點1518的坐標的平均值，并且作為特征點1529的坐標，使用特征點1509的坐標以及特征點1519的坐標的平均值。
[0164]插值部分203通過使用如上所述可以用于計算的在有缺陷的部分1526中的特征點附近的特征點的坐標計算有缺陷的部分1526中的特征點的坐標。
[0165]如上所述，在此實施例中，通過使用多個捕捉圖像提取插值目標，可能變得能夠減少要被插值的特征點的數目并且改進插值的準確度。
[0166]圖16示意性示出根據另一實施例使用多個捕捉圖像對校正圖案的特征點插值的另一方法。在此實施例中，圖案提取設備200不僅包括圖2的功能部件而且包括坐標校正部分，該坐標校正部分校正被包括在所捕捉圖像中的特征點的坐標和/或由插值部分203計算的特征點的坐標。再現位置，參考圖16，描述了通過使用捕捉圖像中的兩個來對校正圖案的特征點插值的方法。此外，在另一實施例中，可以使用捕捉圖像中的三個或更多。
[0167]第一捕捉圖像1600是由圖像捕捉設備產生的校正圖案的捕捉圖像。第二捕捉圖像1620是從與第一捕捉圖像1600相同的位置但是在諸如不同曝光時間和不同白平衡設置的不同條件下捕捉的相同的校正圖案的捕捉圖像。
[0168]在另一實施例中，如在圖15的實施例中那樣，可以通過校正伽馬值改變第一捕捉圖像的色調而產生第二捕捉圖像。此外，當通過對第一捕捉圖像數字化而進行插值時，可以通過改變用于數字化的閾值而獲得要被插值的圖像。
[0169]圖像1610是通過對第一捕捉圖像1600插值而產生的圖像。在圖16的實施例中，通過對第一捕捉圖像1600進行的第一插值處理而對有缺陷的部分1603和1607插值，并且獲取特征點1613和1617的坐標。此外，通過第二插值處理，有缺陷的部分1605被插值，并且獲取特征點1615的坐標。
[0170]圖像1630是通過對第二捕捉圖像1620插值而產生的圖像。在圖16的實施例中，通過對第二捕捉圖像1620進行的第一操作處理而對有缺陷的部分1622、1624和1627插值，并且獲取特征點1632、1634和1637的坐標。此外，通過第二插值處理，有缺陷的部分1623和1626被插值，并且獲取特征點1633和1636的坐標。此外，通過第三插值處理，有缺陷的部分1625被插值，并且獲取特征點1635的坐標。
[0171]坐標校正部分通過使用第一捕捉圖像的特征點的坐標、第二捕捉圖像的特征點的坐標、通過對第一捕捉圖像插值獲取的特征點的坐標和/或通過對第二捕捉圖像插值獲取的特征點的坐標來校正該校正圖案的特征點的坐標。
[0172]更具體地，如果在兩個捕捉圖像之間彼此對應的兩個特征點不是有缺陷的(遺漏的)，則坐標校正部分使用這兩個特征點的平均值作為校正值。例如，坐標校正部分計算單元步驟特征1600的特征點1601以及第二捕捉圖像1620的特征點1621的平均值以獲取特征點1641的校正值。
[0173]此外，如果在兩個捕捉圖像之間彼此對應的特征點中的僅一個有缺陷(遺漏)，坐標校正部分使用沒有缺陷的特征點的坐標作為校正值。例如，坐標校正部分使用第一捕捉圖像的特征點1602、1604和1606的坐標分別作為特征點1642、1644和1646的校正值。
[0174]此外，如果在兩個捕捉圖像之間彼此對應的兩個特征點都有缺陷(遺漏)，則坐標校正部分通過對被插值的特征點的坐標加權平均來計算校正值。
[0175]例如，如像特征點1643那樣，對第一捕捉圖像1600進行插值處理一次，并且對第二捕捉圖像1620進行插值處理兩次。在此情況下，坐標校正部分可以通過將第一捕捉圖像1600的特征點1613的坐標乘以加權值(2/3)、將第二捕捉圖像1620的特征點1633的坐標乘以加權值(1/3)并且對乘積求和來計算校正值。
[0176]關于特征點1645，對第一捕捉圖像1600進行插值處理一次，并且對第二捕捉圖像1620進行插值處理三次。在此情況下，坐標校正部分可以通過將第一捕捉圖像1600的特征點1615的坐標乘以加權值(3/5)、將第二捕捉圖像1620的特征點1635的坐標乘以加權值(2/5)并且對乘積求和來計算校正值。這樣做，可能變得能夠通過對目前為止已經被插值更少次數的特征點(即具有較高可靠性的特征點)的坐標放置較高的權重來進行校正。
[0177]關于特征點1647，對第一捕捉圖像1600進行插值處理一次，并且對第二捕捉圖像1620進行插值處理一次。在此情況下，坐標校正部分可以通過將第一捕捉圖像1600的特征點1617的坐標乘以加權值(1/2)、將第二捕捉圖像1620的特征點1637的坐標乘以加權值(1/2)并且對乘積求和來計算校正值。
[0178]在此實施例中，通過對被插值的特征點的坐標加權平均來獲取校正值。但是，在另一實施例中，可以使用已經被插值更少次數的特征點的坐標作為校正值。此外，在另一實施例中，可以通過使用三個或更多捕捉圖像來校正特征點的坐標。在此情況下，作為要在特征點的坐標的加權平均中使用的加權值，可以使用任意的值。例如，當使用三個捕捉圖像時，可以按照插值次數的升序使用值“3/6 ”、“2/6”和“1/6”作為要在特征點的加權平均中使用的加權值。此外，在描述中，使用圓形圖案(例如黑色圓圈)。但是，本發明不限于在此所述的圓形圖案。即，例如，也可以使用任何其他適當的圖案作為用于實行本發明的圖案。
[0179]盡管為了完整和清楚的公開關于具體實施例描述了本發明，但是所附權利要求并不因此受限，而是將被理解為包含了正當地落在在此所述的基本教導內的對本領域技術人員可能發生的所有修改和替換構成。
[0180]本申請基于2012年5月21日提交的日本專利申請第2012-115526號、2013年3月7日提交的日本專利申請第2013-045300號以及2013年3月15日提交的日本專利申請第2013-052976號，并且要求它們的優先權的權益，其全部內容通過引用合并于此。
[0181]參考標記的描述
[0182]200:圖案提取設備
[0183]201:插值控制部分
[0184]202:插值目標提取部分
[0185]203:插值部分
[0186]204:狀態更新部分
[0187]205:存儲部分
[0188]206:坐標數據緩沖器
[0189]207:狀態緩沖器
[0190]現有技術文獻
[0191][專利文獻I]日本公開的專利申請公開第2010-028411號
【權利要求】
1.一種用于提取圖像圖案的圖案提取設備，該圖案提取設備包括: 插值目標提取單元，配置為基于被投影的圖像圖案的捕捉圖像提取要被插值的特征點；以及 插值單元，配置為通過使用位于所述要被插值的特征點附近的附近特征點對所述要被插值的特征點插值。
2.根據權利要求1所述的圖案提取設備， 其中該插值單元配置為將所述附近特征點劃分為組，計算所述組的外推坐標，并且考慮到所述外推的重要性而計算要所述被插值的特征點的坐標。
3.根據權利要求1或2所述的圖案提取設備，還包括: 更新單元，配置為更新指示所述特征點的狀態的狀態信息， 其中所述插值目標提取單元配置為通過使用所述狀態信息來提取所述特征點。
4.根據權利要求1到3的任意一項所述的圖案提取設備，包括: 置信度等級計算單元，配置為計算由所述插值單元執行的插值的置信度等級。
5.根據權利要求1到4的任意一項所述的圖案提取設備， 其中所述插值單元配置為對所述要被插值的特征點重復地進行插值。
6.根據權利要求1所述的圖案提取設備， 其中所述插值單元配置為通過使用被包括在要被投影的圖像圖案中的并且與作為所述要被插值的特征點的有缺陷的特征點對應的特征點的坐標、被包括在所述要被投影的圖像圖案中的并且位于與所述有缺陷的特征點對應的特征點附近的特征點的坐標、以及位于所述有缺陷的特征點附近的附近特征點的坐標，來計算被包括在所述要被投影的圖像圖案中的并且要被插值的所述有缺陷的特征點的坐標。
7.根據權利要求1到6的任意一項所述的圖案提取設備， 其中所述插值目標提取單元配置為通過使用被投影的圖像圖案的多個捕捉圖像來提取所述要被插值的特征點。
8.根據權利要求1到6的任意一項所述的圖案提取設備， 其中所述插值目標提取單元和所述插值單元配置為對被投影的圖像圖案的多個捕捉圖像的每個進行處理， 其中該圖案提取設備還包括校正單元，所述校正單元配置為通過使用被包括在捕捉圖像中的特征點的坐標以及由所述插值單元計算的特征點的坐標的至少一個，來校正所述要被插值的特征點的坐標和被包括在捕捉圖像中的特征點的坐標的至少一個。
9.根據權利要求1到8的任意一項所述的圖案提取設備， 其中所述插值單元配置為設置位于離所述要被插值的特征點預定距離的范圍內的特征點作為附近特征點。
10.一種圖像投影設備，包括根據權利要求1到9的任意一項所述的圖案提取設備。
11.一種由圖案提取設備執行的圖案提取方法，該圖案提取方法包括: 基于被投影的圖像圖案的捕捉圖像提取要被插值的特征點的步驟；以及 通過使用位于所述要被插值的特征點附近的附近特征點對所述要被插值的特征點插值的步驟。
12.根據權利要求11所述的圖案提取方法， 其中在所述插值的步驟中，將所述附近特征點劃分為組，計算所述組的外推坐標，并且考慮到所述外推的重要性而計算所述要被插值的特征點的坐標。
13.根據權利要求11或12所述的圖案提取方法，還包括: 更新指示所述特征點的狀態的狀態信息的步驟， 其中在所述提取的步驟中，通過使用所述狀態信息來提取所述特征點。
14.根據權利要求11到13的任意一項所述的圖案提取方法，還包括: 計算所述插值的置信度等級的步驟。
15.根據權利要求11到14的任意一項所述的圖案提取方法， 其中在插值的步驟中，對要被插值的特征點重復地進行插值
16.根據權利要求11所述的圖案提取方法， 其中在所述插值的步驟中，通過使用被包括在要被投影的圖像圖案中的并且與作為所述要被插值的特征點的有缺陷的特征點對應的特征點的坐標、被包括在所述要被投影的圖像圖案中的并且位于與所述有缺陷的特征點對應的特征點附近的特征點的坐標、以及位于所述有缺陷的特征點附近的附近特征點的坐標，來計算被包括在所述要被投影的圖像圖案中的并且要被插值的所述有缺陷的特征點的坐標。
17.根據權利要求11到16的任意一項所述的圖案提取方法， 其中在所述提取的步驟中，通過使用被投影的圖像圖案的多個捕捉圖像來提取所述要被插值的特征點。
18.根據權利要求11到16的任意一項所述的圖案提取方法， 其中所述提取和插值的步驟對被投影的圖像圖案的多個捕捉圖像的每個進行， 其中該圖案提取方法還包括校正的步驟，其中通過使用被包括在捕捉圖像中的特征點的坐標以及由所述插值步驟計算的特征點的坐標的至少一個，來校正所述要被插值的特征點的坐標和被包括在捕捉圖像中的特征點的坐標的至少一個。
19.根據權利要求11到18的任意一項所述的圖案提取方法， 其中在所述插值的步驟中，設置位于離所述要被插值的特征點預定距離的范圍內的特征點作為附近特征點。
20.一種程序，致使圖案提取設備執行根據權利要求11到19的任意一項的圖案提取方法。
【文檔編號】H04N5/74GK104365086SQ201380031675
【公開日】2015年2月18日 申請日期:2013年5月16日 優先權日:2012年5月21日
【發明者】內山幸央, 長谷川史裕 申請人:株式會社理光