圖像處理裝置、主題識別方法和程序的制作方法

圖像處理裝置、主題識別方法和程序的制作方法
【專利摘要】本圖像處理裝置設置有：第一局部特征值生成單元、對應點計算單元、相對對應點信息計算單元、對應點選擇單元和判定單元。第一局部特征值生成單元在第一圖像中計算包括第一特征點的第一局部特征值信息集合。對應點計算單元在第二圖像中計算第一特征點與包含在從第二圖像中計算的第二局部特征值信息集合中的第二特征點之間的對應關系作為對應信息。相對對應點信息計算單元基于第一局部特征值信息集合、第二局部特征值信息集合和對應信息計算特征點的尺度之間的相對關系作為對應點相對尺度信息。對應點選擇單元基于對應點相對尺度信息對特征點執行成簇，并選擇至少一個特征點。判定單元基于所選擇的特征點針對每個簇判定主題的相同性。
【專利說明】
圖像處理裝置、主題識別方法和程序
[0001] 相關申請的交叉引用
[0002] 本申請基于2013年12月26日提交的日本專利申請第2013-268852并要求其優先權 權益，其內容通過參考整體結合于此。
技術領域
[0003] 本發明涉及圖像處理裝置、拍攝主題識別方法和程序。
【背景技術】
[0004] 為了針對遮擋或者攝影大小或角度的變化而可靠地識別圖像中的拍攝主題，提出 了一種系統，該系統提取圖像中的特性點（以下稱為特征點)并且在每個特征點周圍的局部 區域中提取特征值或量（以下稱為局部特征值或量）。作為這種系統的典型實例，在專利文 獻1中公開了使用SIFT(尺度不變特征變換)特征或特征值以識別拍攝主題的裝置。在專利 文獻2中公開了這樣的技術:使用特征值形成被檢索的圖像的指標，并且基于如此準備的指 標計算圖像的相似度。
[0005] 引用列表
[0006] 專利文獻
[0007] 專利文獻1:美國專利No. 6711293
[0008] 專利文獻2:日本專利公開NO.JP2004-341940A

【發明內容】

[0009] 技術問題
[0010] 上面的技術文獻的公開內容通過參考結合于此。從本發明的觀點進行以下分析。 [0011]在專利文獻1所示的技術中，基于第一局部特征值的集合中的每個局部特征值與 第二局部特征值的集合中的每個局部特征值之間的距離，識別不同圖像之間的相同或相似 的拍攝主題。因此，在專利文獻1公開的技術中，如果在噪聲等的影響下在特征點之間的匹 配中引起錯誤，則相關或匹配中引起的錯誤越嚴重，識別精度變得越低。這同樣適用于專利 文獻2的情況，即，在特征點匹配中引起的錯誤越嚴重，則所計算的相似度的精度越低。
[0012] 因此，本發明的目的在于提供一種圖像處理裝置、拍攝主題識別方法和程序，其 中，即使存在在特征點匹配中引起的錯誤，也可以有助于抑制主題識別精度的劣化。
[0013] 解決問題的技術方案
[0014] 在本發明的第一方面中，提供了具有以下功能的圖像處理裝置。該圖像處理裝置 包括第一局部特征值生成單元，該第一局部特征值生成單元從第一圖像檢測第一特征點中 的一個或多個第一特征點，并且從包括所檢測的每個第一特征點的預設范圍的區域計算關 于與每個第一特征點相對應的第一局部特征值的信息集合。
[0015] 該圖像處理裝置還包括對應點計算單元，該對應點計算單元計算在第一特征點與 第二特征點之間的對應關系作為關于對應點的信息，其中該第二特征點被包含在關于從第 二圖像計算的第二局部特征值的信息集合中。
[0016]該圖像處理裝置還包括相對對應點尺度大小計算單元，該相對對應點尺度尺寸計 算單元基于第一局部特征值的信息的集合、關于第二局部特征值的信息的集合和關于對應 點的信息來計算第一特征點的尺度與第二特征點的尺度之間的關系作為關于對應點的相 對尺度大小的信息。
[0017]該圖像處理裝置還包括對應點選擇單元，該對應點選擇單元基于關于對應點的相 對尺度大小的信息來對第一特征點和第二特征點中的至少一種執行成簇，并且基于成簇的 結果選擇至少一個特征點。
[0018] 此外，該圖像處理裝置包括判定單元，該判定單元基于由對應點選擇單元選擇的 特征點逐簇地將第一圖像和第二圖像相互比較，并且判定可能的拍攝主題的相同性。
[0019] 在本發明的第二方面中，提供了一種拍攝主題識別方法，包括以下步驟：
[0020] 從第一圖像檢測第一特征點中的一個或多個第一特征點，從包括所檢測的每個第 一特征點的預設范圍的區域計算關于與每個第一特征點相對應的第一局部特征值的信息 集合，
[0021] 計算在第一特征點與第二特征點之間的對應關系作為關于對應點的信息，其中該 第二特征點被包含在關于從第二圖像計算的第二局部特征值的信息集合中，以及
[0022] 基于關于第一局部特征值的信息的集合、關于第二局部特征值的信息的集合和關 于對應點的信息來計算第一特征點的尺度與第二特征點的尺度之間的關系作為關于對應 點的相對尺度大小的信息。
[0023] 該方法還包括以下步驟:基于關于對應點的相對尺度大小的信息來對第一特征點 和第二特征點中的至少一種執行成簇，并且基于成簇的結果選擇至少一個特征點，以及 [0024]基于所選擇的特征點逐簇地將第一圖像和第二圖像相互比較，并且判定可能的拍 攝主題的相同性。
[0025]應該注意，本方法與特定機器相關聯，該機器是利用第二圖像內的另一拍攝主題 判定第一圖像內的拍攝主題的相同性的圖像處理裝置。
[0026]在本發明的第三方面中，提供了一種程序，該程序使得控制圖像處理裝置的計算 機執行以下處理：
[0027] 從第一圖像檢測第一特征點中的一個或多個第一特征點，以從包括所檢測的每個 第一特征點的預設范圍的區域計算關于與所檢測的每個第一特征點相對應的第一局部特 征值的信息集合，
[0028] 計算在第一特征點與第二特征點之間的對應關系作為關于對應點的信息，其中該 第二特征點被包含在關于從第二圖像計算的第二局部特征值的信息集合中，以及
[0029] 基于關于第一局部特征值的信息的集合、關于第二局部特征值的信息的集合和關 于對應點的信息來計算第一特征點的尺度與第二特征點的尺度之間的關系作為關于對應 點的相對尺度大小的信息。
[0030] 該程序還使得計算機執行以下處理：
[0031] 基于關于對應點的相對尺度大小的信息來對第一特征點和第二特征點中的至少 一種執行成簇，并且基于成簇的結果選擇至少一個特征點，以及
[0032]基于所選擇的特征點逐簇地將第一圖像和第二圖像相互比較，并且判定可能的拍 攝主題的相同性。
[0033]應該注意，本程序可以記錄在計算機可讀存儲介質上，該介質可以是諸如光學存 儲介質的非瞬態存儲器。本發明可以實施為計算機程序產品。
[0034]本發明的有益效果
[0035] 在本發明的上述方面中，提供了一種圖像處理裝置、拍攝主題識別方法或程序，其 中，即使在存在特征點匹配中引起的錯誤的情況下也可以有助于抑制主題識別精度的劣 化。
【附圖說明】
[0036] 圖1是示出傳統的圖像處理裝置的結構的框圖。
[0037] 圖2是示出示例性實施例1的結構的框圖。
[0038]圖3是示出示例性實施例1的操作的流程圖。
[0039] 圖4是示出示例性實施例2的結構的框圖。
[0040] 圖5是示出示例性實施例2的操作的流程圖。
[0041 ]圖6是示出示例性實施例3的結構的框圖。
[0042]圖7是示出示例性實施例3的操作的流程圖。
[0043]圖8是示出修改例1的結構的框圖。
[0044] 圖9是示出修改例1的操作的流程圖。
[0045] 圖10是示出示例性實施例4的結構的框圖。
[0046] 圖11是示出示例性實施例4的操作的流程圖。
[0047]圖12是示出修改例2的結構的框圖。
[0048] 圖13是示出修改例2的操作的流程圖。
[0049] 圖14是示出示例性實施例5的結構的框圖。
[0050] 圖15是示出示例性實施例5的操作的流程圖。
[00511圖16是示出修改例3的結構的框圖。
[0052]圖17是示出修改例3的操作的流程圖。
[0053]圖18是示出修改例4的結構的框圖。
[0054]圖19是示出修改例4的操作的流程圖。
[0055]圖20是示出修改例5的結構的框圖。
[0056] 圖21是示出修改例5的操作的流程圖。
[0057] 圖22是示出示例性實施例6的結構的框圖。
[0058] 圖23是示出示例性實施例6的操作的流程圖。
[0059]圖24是示出修改例6的結構的框圖。
[0060]圖25是示出修改例6的操作的流程圖。
[00611圖26是示出修改例7的結構的框圖。
[0062]圖27是示出修改例7的操作的流程圖。
[0063]圖28是示出修改例8的結構的框圖。
[0064]圖29是示出修改例8的操作的流程圖。
[0065]圖30是示出修改例9的結構的框圖。
[0066]圖31是示出修改例9的操作的流程圖。
[0067]圖32是示出修改例10的結構的框圖。
[0068]圖33是示出修改例10的操作的流程圖。
[0069]圖3 4是示出修改例11的結構的框圖。
[0070]圖35是示出修改例11的操作的流程圖。
[0071]圖36是示出修改例12的結構的框圖。
[0072]圖37是示出修改例12的操作的流程圖。
[0073]圖38是示出修改例13的結構的框圖。
[0074]圖39是示出修改例13的操作的流程圖。
[0075]圖40是示出修改例14的結構的框圖。
[0076]圖41是示出修改例14的操作的流程圖。
[0077I圖42是示出示例性實施例7的結構的框圖。
[0078]圖43是示出示例性實施例7的操作的流程圖。
[0079]圖44是示出修改例15的結構的框圖。
[0080]圖45是示出修改例15的操作的框圖。
[0081 ]圖46是示出修改例16的結構的框圖。
[0082]圖47是示出修改例16的操作的流程圖。
[0083]圖48是示出修改例17的結構的框圖。
[0084]圖49是示出修改例17的操作的流程圖。
[0085]圖50是示出修改例18的結構的框圖。
[0086]圖51是示出修改例18的操作的流程圖。
[0087]圖52是示出修改例19的結構的框圖。
[0088]圖53是示出修改例19的操作的流程圖。
[0089]圖54是示出修改例20的結構的框圖。
[0090]圖55是示出修改例20的操作的流程圖。
[0091]圖56是示出修改例21的結構的框圖。
[0092]圖57是示出修改例21的操作的流程圖。
[0093]圖58是示出修改例22的結構的框圖。
[0094]圖59是示出修改例22的操作的流程圖。
[0095]圖60是示出修改例23的結構的框圖。
[0096]圖61是示出修改例23的操作的流程圖。
[0097]圖62是示出特征點的示例性尺度大小的示意圖。
[0098]圖63是示出圖像中的特征點的標準化尺度大小的示例性分布的圖表。
[00"]圖64是示出特征點的示例性方向的示意圖。
【具體實施方式】
[0100] 首先，參照圖1將作為概述澄清優選方式。應該注意，在本概述中僅作為示例而輸 入附圖中使用的符號，以幫助理解而不用于限制本發明的范圍。
[0101] 如上所述，期望一種圖像處理裝置，其中即使在存在特征點匹配中引起的錯誤的 情況下，也可以有助于抑制主題識別精度的劣化。
[0102] 因此作為示例呈現如圖1所示的圖像處理裝置10。圖像處理裝置10包括第一局部 特征值生成單元11、對應點計算單元13、相對對應點尺度大小計算單元14、對應點選擇單元 15和判定單元16。
[0103] 第一局部特征生成單元11從第一圖像檢測一個或多個第一特征點。此外，第一局 部特征值生成單元11從包括所檢測的每個第一特征點的預設程度或范圍的區域計算與每 個這種第一特征點相對應的第一局部特征值信息的集合。
[0104] 對應點計算單元13計算在第一特征點和第二特征點之間的對應關系作為關于對 應點的信息，其中該第二特征點被包含在從第二圖像計算的第二局部特征值信息的集合 中。這里通過關于對應點的信息表示第一圖像的任選特征點與第二圖像中的哪個特征點相 匹配的信息。
[0105] 相對對應點尺度大小計算單元14基于第一局部特征值信息的集合、第二特征值信 息的集合和關于對應點的信息來計算第一特征點的尺度與第二特征點的尺度之間的關系 作為關于對應點的相對尺度大小的信息。
[0106] 對應點選擇單元15基于關于對應點的相對尺度大小的信息來對第一特征點和第 二特征點中的至少一種執行成簇，并且基于成簇的結果選擇至少一個特征點。因此，對應點 選擇單元15基于特征點的尺度關系選擇通過成簇被分組成滿足預設條件的簇的特征點。因 此，即使對應點計算單元13找到錯誤或不正確的對應關系，對應點選擇單元15也可以排除 顯現錯誤對應關系的特征點。
[0107] 判定單元16基于由對應點選擇單元15選擇的特征點逐簇地將第一圖像和第二圖 像進行相互比較。
[0108] 因此，利用可以消除顯現錯誤對應關系的特征點的圖像處理裝置10,可以防止基 于不正確的特征點錯誤地識別拍攝主題。從而，即使在存在匹配特征點中引起的錯誤的情 況下，圖像處理裝置10也可以有助于抑制主體識別精度的劣化。
[0109] [示例性實施例1]
[0110] 現在將參照附圖詳細描述示例性實施例1。
[0111] (示例性實施例1的結構）
[0112] 參照圖2,將描述示例性實施例1。圖2描繪了示出本示例性實施例1的圖像處理裝 置20的功能結構的框圖。如圖2所示，圖像處理裝置20包括第一局部特征值生成單元201、第 二局部特征值生成單元202、對應點計算單元203、相對對應點尺度大小計算單元204、對應 點選擇單元205和判定單元206。順便提及，并不旨在將圖像處理裝置20限于圖2所示的結 構。在以下的說明中，僅通過例示的方式，假設第一圖像包括一個或多個相同或相似的拍攝 主題，并且第二圖像包括唯一的拍攝主題，而不旨在用于將第一圖像和第二圖像限于所例 示的結構。
[0113] (特征值的生成）
[0114]第一局部特征值生成單元201從第一圖像檢測特征點，其中特征點的數量滿足預 設條件，并且針對包括特征點本身的所檢測的每個特征點的周圍或相鄰區域生成局部特征 值。例如，預設條件可以表示特征點的數量將超過預設閾值。
[0115]具體地，第一局部特征值生成單元201向相對對應點尺度大小計算單元204輸出由 所檢測的對應特征點的尺度大小組成的第一尺度信息的集合。第一局部特征值生成單元 201根據所檢測的每個特征點的坐標值生成局部特征值，并且向對應點計算單元203輸出由 所生成的局部特征值組成的第一局部特征值的集合。
[0116]特征值的尺度大小例如是附隨于每個特征點的關于大小或幅度的信息，并且從包 括特征點本身的每個特征點的周圍圖像區域計算。優選地，特征點的尺度大小隨著包括特 征點的周圍區域的大小增加或減小而變化。尺度大小伴隨周圍區域的大小增加或減小的這 種變化例如可以是線性的、對數的或指數的。
[0117]第二局部特征值生成單元202類似于第一局部特征值生成單元201進行操作，以生 成由第二圖像的相應特征點的局部特征值組成的第二局部特征值的集合以及由第二圖像 的相應特征點的尺度大小組成的第二尺度信息的集合。第二局部特征值生成單元202向對 應點計算單元203輸出第二局部特征值的集合。第二局部特征值生成單元202也向相對對應 點尺度大小計算單元204輸出第二尺度信息的集合。在本文公開的所有示例性實施例中，第 二圖像的相應特征點的局部特征值可以在開始處生成并例如存儲在數據庫中。即，可以使 用由此在開始處這樣準備并且存儲在數據庫中而不是存儲在第二局部特征值生成單元202 中的局部特征值的集合。
[0118](對應點的計算）
[0119]對應點計算單元203使用第一局部特征值生成單元201輸出的第一局部特征值的 集合以及第二局部特征值生成單元202輸出的第二局部特征值的集合來生成滿足對應點的 預設條件的數量。預設條件可以表示關于對應點的信息的數量將超過預設閾值。
[0120]具體地，對應點計算單元203計算第一圖像的任選特征點與第二圖像的任選特征 點之間的距離作為局部特征值之間的距離。對應點計算單元203基于所計算的局部特征值 之間的距離來計算滿足第一局部特征值的集合和第二局部特征值的集合之間的匹配關系 的預設條件的數量。
[0121]作為特征點之間的距離，例如可以使用歐式距離。可以計算具有最小距離值的特 征點作為匹配特征點。可能存在不顯現對應關系的特征點。作為用于評估的措施，可以使用 最小距離值與第二最小距離值之間的比率來判定對應關系的可能存在。期望地適當判定特 征點檢測的技術，使得上面所示技術僅僅是示例性的而不用于進行限制。
[0122] 對應點計算單元203向相對對應點尺度大小計算單元204輸出由所計算的匹配關 系組成的關于對應點的信息的集合。
[0123] (對應點的相對尺度大小的計算）
[0124] 相對對應點尺度大小計算單元204使用對應點計算單元203輸出的關于對應點的 信息的集合、第一局部特征值生成單元201輸出的第一尺度信息的集合以及第二局部特征 值生成單元202輸出的第二尺度信息的集合來計算圖像之間相關的超過特征點的尺度大小 的關系的預設條件的數量，以下稱為對應點。相對對應點尺度大小計算單元204向對應點選 擇單元205輸出由所計算的關系組成的關于對應點的相對尺度大小的信息的集合。
[0125] 具體地，對應點的相對尺度大小例如可以是對應點的尺度大小的比率。例如，等式 1
[0126] [等式 1]
[0127] o = s(q)/s(p)
[0128] 可用于計算尺度大小的比率。在上述等式中，〇表示對應點的尺度比率，s(q)表示 從第一圖像檢測的第q個特征點的尺度大小，以及S(P)表示從第二圖像檢測的第P個特征點 的尺度大小。特征點的尺度大小的對數例如可用于計算尺度比。
[0129] 在從特征點提取出具有對數函數特性的尺度大小的情況下，對應點的相對尺度大 小例如可以是對應點的尺度大小的差。為了計算尺度大小的差，例如可以使用等式2:
[0130] [等式 2]
[0131] 0，=s，（q)-s，（ p)
[0132] 其中，σ'表示對應點的尺度大小的差值，s'（q)表示從第一圖像檢測的第q個特征 點的尺度大小，以及s'（P)表示從第二圖像檢測的第P個特征點的尺度大小。
[0133] 參照圖62，將闡述特征點的尺度大小的特性。圖6 2示出了所捕捉的圖像10001的拍 攝主題在圖像10002中尺寸加倍的實例。箭頭的尺寸表示尺度大小的尺寸。特征點的尺度大 小具有與圖像中的拍攝主題的大小相關聯變化的特性。即，如圖62所示，特征點的尺度大小 具有這種特性:如果圖像中的拍攝主題的尺寸加倍，則特征點的尺度大小也加倍。此外，特 征點的尺度大小具有這樣的特性:如果圖像中的拍攝主題尺寸減半，則尺度值也減半。也就 是說，由等式1和2計算的對應點的相對尺度大小具有以下特性:在第一圖像的特征點與第 二圖像的特征點之間正確匹配的情況下，變得從一個拍攝主題到另一個拍攝主題是恒定 的。
[0134] (對應點的選擇）
[0135] 對應點選擇單元205使用相對對應點尺度大小計算單元204輸出的關于對應點的 相對尺度大小的信息的集合來對特征點執行成簇。對應點選擇單元205基于成簇的結果選 擇特征點。具體地，對應點選擇單元205可以在任選簇中包含的對應點的數量不小于預設閾 值的情況下選擇包含在該任選簇中的特征點。
[0136] 對應點選擇單元205向判定單元206輸出由簇信息和關于這樣選擇的匹配特征點 的信息的集合組成的選擇信息的集合。
[0137] 現在將詳細描述對特征點的成簇。
[0138] 為了對特征點執行成簇，可以使用這樣的方法:計算包含在第一圖像中且與另一 圖像中的特征點相關的任選匹配特征點的相對尺度大小的位置與每個簇的中心之間的距 離，并且第一圖像中的特征點被分組成其中所計算距離最小的簇。在這種情況下，如果在任 選簇中包含具有對應點的相對尺度大小的相似度測量值小于預設閾值的這種特征點，則可 以從任選簇中去除對應點的相對尺度大小與簇中心具有較長距離的這種特征點，并且分組 成不同簇。順便提及，歐式距離、馬氏距離或街區距離可用作簇中心與對應點的相對尺度大 小的位置之間的距離。
[0139] 在對特征點執行成簇的過程中，可以使用這樣的方法:計算所有值之間的距離，并 且使用圖切割通過成簇來選擇如此計算的距離。在這種情況下，生成這樣的圖：其中包含在 第一圖像中且與另一圖像相關的特征點是節點并且特征點之間的距離是節點之間的邊緣。 對于圖切割來說，可以使用標準化切割、已知技術或馬爾克夫簇算法。關于標準化切割或馬 爾克夫簇算法的細節，省略對應的描述。
[0140]在通過成簇選擇特征點的過程中，可以使用k均值方法、已知技術、LBG(Linde-Buzo-Gray)方法或LBQ(學習貝葉斯量子化)方法。關于k均值方法、LBG方法或LBQ方法的細 節，省略對應的描述。
[0141] 通過成簇選擇特征點的過程中，可以使用這樣的方法:其中對于任選大小的每個 分析區域，包含于其中的特征點的數量被計數，并且如果計數值不小于預設閾值，則包含在 所考慮的分析區域中的特征點被分組成同一簇。
[0142] 為了生成分析區域，可以使用這樣的方法:其中第一圖像被分裂為柵格，每一個柵 格都具有任選大小，每一個這種柵格然后被用作分析區域。分析區域可以與另一分析區域 重疊或者不重疊。分析區域的大小可以是固定的或可變的。如果分析區域的大小可變，則可 以使用這樣的方法:其中分析區域的中心越接近于圖像中心，則分析區域的大小越小，或者 分析區域的中心與圖像中心之間的距離越大，則分析區域的大小越大。
[0143] 在通過成簇選擇特征點的過程中，可以使用這樣的方法:其中包含在分析區域中 的特征點(計數值不小于預設閾值)被分組成同一簇，或者其中包含在分析區域中和周圍分 析區域中的特征點被分組成同一簇。還可以使用這樣的方法:其中如果多個分析區域(每一 個的計數值都不小于預設閾值)相鄰或重疊，則包含在這種分析區域中的特征點被分組成 同一簇或者不同簇。
[0144] 以這種方式通過成簇選擇特征點，處理速度可以高于使用馬爾克夫簇算法、k均值 方法或LBS方法的情況。
[0145] (判定）
[0146]判定單元206使用對應點選擇單元205輸出的選擇信息的集合逐簇地判定在不同 圖像之間相同或相似的拍攝主題。例如，如果所選擇的特征點的數量超過給定閾值，則可以 作出這樣的判定:感興趣的簇是與第二圖像相同或相似的拍攝主題。判定單元206輸出判定 的結果。
[0147] 現在將詳述判定的處理。
[0148] 例如，如果所選擇的特征點的數量超過特定(預定）閾值，則判定單元206可以判定 感興趣的簇與第二圖像的拍攝主題相同或相似。
[0149] 判定單元206還可以使用所發現的不同圖像的特征點之間的對應關系執行幾何驗 證，以判定拍攝主題的相同性或相似性。例如，可以假設對應點的坐標值之間的幾何關系是 單應性的并且使用魯棒估計技術來估計單應性參數以找到輸入對應關系相對于估計參數 的異常值，從而基于異常值的數量給出可能的拍攝主題相同性或相似性的判定。不對使用 的魯棒估計方法做出限制，使得例如可以使用RANSAC(隨機采樣一致性)或最小二乘法。
[0150] 判定單元206可以根據形成點對的兩個對應點的坐標值估計尺度或旋轉的變化， 其中兩個對應點屬于感興趣的簇。然后，判定單元206可基于兩個對應點的相對尺度大小或 者方向信息的差值來估計尺度或旋轉的變化。然后，判定單元206可以將通過相應方法計算 的尺度或旋轉的變化相互進行比較。如果在如此比較的尺度或旋轉的變化之間存在足夠的 相似性，則感興趣的簇可以被判定為與第二圖像相同。具體地，形成對應點對的兩個對應點 被認為在感興趣的簇中，并且具有屬于第一圖像的形成對應點對的兩個特征點作為端點的 線段與具有屬于第二圖像的分別與上述兩個對應點匹配的兩個特征點作為端點的線段進 行比較。判定單元206計算兩個線段的尺度或旋轉的變化。判定單元206將如此計算的尺度 或旋轉的變化與基于對應點的相對尺度大小或方向信息差計算的尺度或旋轉的變化進行 比較。在兩個線段的比較中，可以使用尺度和旋轉的變化中的一個或兩個。找到基于對應點 的方向信息的差值和相對尺度大小從對應點對計算的尺度和旋轉的變化的兩個值。這兩個 值可以獨立使用或者兩個值中的任一個可用于比較線段。或者，可以使用兩個值的平均值。 可以使用屬于感興趣的簇的對應點對的兩個任選對應點來執行拍攝主題相同性的判定。還 可以檢查感興趣的簇中的N數量(N> 1)的對應點對的集合，并且在具有多個對應點對被判定 為與第二圖像相同的情況下，在超過特定(預定）比例時判定感興趣的簇與第二圖像相同。 順便提及，N可以是屬于感興趣的簇的對應點對的全部或部分。
[0151] 判定單元206還可以從兩個或多個對應點對的坐標值估計尺度或旋轉的變化，其 中對應點對屬于感興趣的簇。然后，判定單元206可以基于對應點的相對尺度大小或方向信 息差來估計尺度或旋轉的變化。然后，判定單元206可以將通過相應方法計算的尺度或旋轉 的變化相互進行比較。如果在如此比較的尺度或旋轉的變化之間具有足夠的相似性，則感 興趣的簇可以被判定為與第二圖像相同。具體地，在感興趣的簇中采用N數量的對應點對， 并且將每一個都具有屬于第一圖像1的形成對應點對的兩個特征點作為端點的N數量的線 段分別與每一個都具有屬于第二圖像且與上述兩個特征點匹配的兩個特征點作為端點的N 數量的線段進行比較。判定單元206計算兩個圖像中的兩條線段的尺度或旋轉的變化。判定 單元206將如此計算的尺度或旋轉的變化與基于對應點的相對尺度大小或方向信息之間的 差異計算的尺度或旋轉的變化進行比較。在比較兩條線段的過程中，可以使用尺度和旋轉 變化中的一個或兩個。在從N個對應點對計算尺度或旋轉的變化中，可以使用對應點的N個 相對尺度大小或者方向信息的N個不同值的平均或中間值，或者從任意對應點對計算的值。 在基于對應點的相對尺度大小或方向信息差異估計尺度或旋轉的變化中，可以使用對應點 的N個相對尺度大小或者對應點的方向信息的N個不同值的平均或中間值。或者可以使用從 任意對應點對計算的平均或中間值。順便提及，N可以是屬于感興趣的簇的對應點對的數量 的全部或部分。
[0152] 對于判定單元206,還可以將例如通過魯棒估計技術所估計的對應點的坐標值的 幾何變換模型與基于對應點的相對尺度大小或方向信息差異估計的對應點的幾何變換模 型進行比較。在兩個幾何模型之間的相似性足夠高的情況下，判定單元206可以判定感興趣 的簇與第二圖像相同。相似性變換模型、仿射變換模型或單應性模型例如可以被用作對應 點的坐標值的幾何變換模型。
[0153] 為了基于對應點的相對尺度大小或方向信息差異估計對應點的幾何變換模型，可 以使用以下等式作為實例：
[0154] [等式 3]
[0155]
[0156] 在上述等式中，(?表示對應點的相對尺度大小的值，包括第一圖像的第i個特征點 的尺度大小和第二圖像的第j個特征點的尺度大小，以及PU是特征點i和j的方向信息之間 的差值。
[0157] 在判定兩個幾何變換模型之間的相似性的過程中，當估計的變換模型的尺度參數 和旋轉參數之間的距離值的總和小于閾值時或者如果參數之間的所有距離值都小于閾值， 則可以判定為彼此相似。
[0158] 通過將基于不同指標計算的兩個幾何變換模型相互比較以檢查感興趣的簇和第 二圖像之間的可能相同性，與使用兩個幾何變換模型中的任一個進行判定的情況相比，判 定可以更加穩健。
[0159] (示例性實施例1的操作）
[0160] 現在將更詳細地描述示例性實施例1的操作。
[0161] 圖3描繪了示出本示例性實施例的操作的流程圖。
[0162] 第一局部特征值生成單元201從第一圖像檢測特征點，其中特征點的數量滿足預 設條件，而第二局部特征值生成單元202從第二圖像檢測特征點，其中特征點的數量滿足預 設條件(步驟S301)。然后，第一和第二局部特征值生成單元201、202根據特征點的坐標值生 成局部特征值和尺度信息（步驟S302)。對應點計算單元203基于第一局部特征值信息的集 合的任選局部特征值與第二局部特征值信息的集合的任選局部特征值之間的距離找到圖 像之間的特征點的對應關系（步驟S303)。相對對應點尺度大小計算單元204使用第一尺度 信息的集合、第二尺度信息的集合和關于對應點的信息的集合來計算尺度關系（S304)。對 應點選擇單元205基于對應點的相對尺度大小對特征點執行成簇，并且基于成簇的結果選 擇特征點（步驟S305)。判定單元206例如基于所選擇的特征點的數量逐簇地檢查圖像之間 的相似性或相同性(步驟S306)。
[0163] (示例性實施例1的有益效果）
[0164] 如上所述，在示例性實施例1中，圖像處理裝置10基于關于對應點的相對尺度大小 的信息對特征點執行成簇，同時逐簇地判定圖像之間的拍攝主題的相同性或相似性。順便 提及，圖像之間正確匹配的特征點之間的相對尺度大小變得從一個拍攝主題到另一個拍攝 主題是恒定的，使得通過使用關于對應點的相對尺度大小的信息對特征點執行成簇，可以 消除第一圖像和第二圖像的特征點之間的錯誤或不正確的匹配事件，并因此精確地識別在 不同圖像之間相同或相似的拍攝主題。
[0165] [示例性實施例2]
[0166] 現在將詳細描述示例性實施例2。在本示例性實施例中，通過成簇來選擇特征點， 因為在特征點的成簇時對相對尺度大小的范圍施加限制。在以下描述中，與示例性實施例1 相同或相似的結構通過不例性實施例1中的相同符號來表不，并且省略對應的描述。這同樣 適用于示例性實施例3等。
[0167] 圖4描繪了示出根據示例性實施例2的圖像處理裝置40的功能結構的框圖。參照圖 4,圖像處理裝置40在結構上類似于圖2所示的圖像處理裝置20,差別在于對應點選擇單元 401的結構以及操作。
[0168] 對應點選擇單元401使用相對對應點尺度大小計算單元204輸出的關于對應點的 相對尺度大小的信息的集合以及相對尺度大小的范圍對第一圖像中包含的特征點執行成 簇。可以使用示例性實施例1的方法來執行特征點的成簇以及對應點的選擇，因此這里省略 詳細的說明。
[0169] 相對尺度大小的范圍的值可以是通過經驗和觀察得到的值、利用學習數據通過機 械學習得到的值或者通過無教導的成簇從關于對應點的相對尺度大小的信息集合計算的 值。
[0170] 僅一個相對尺度大小范圍是足夠的，然而，可以使用兩個或多個相對尺度大小范 圍。如果兩個圖像的特征點之間的匹配是正確的，則對應點的相對尺度大小從一個拍攝主 題到另一個是恒定的。因此，這足以使對應點選擇單元401將相對尺度大小值例如在相對尺 度大小值的范圍中分布的特征點分類到同一簇中。為了對特征點執行成簇以及選擇對應 點，可以使用與示例性實施例1相同的方法，因此省略詳細的說明。
[0171] (示例性實施例2的操作）
[0172] 圖5描繪了示出本示例性實施例的操作的流程圖。將參照圖6說明本示例性實施例 的操作。由于圖5的步驟S501至S503以及S506與圖3所示的步驟S301至S303以及S306相同， 所以省略詳細說明。
[0173] 在執行圖5所示的步驟S501-S503的處理之后，相對對應點尺度大小計算單元204 使用第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來計算尺度關 系(步驟S504)。對應點選擇單元401基于對應點的相對尺寸大小和相對尺度大小的范圍對 特征點執行成簇，以基于成簇的結果選擇特征點（步驟S505)。然后，處理進行到圖5所示的 步驟S506。
[0174] (示例性實施例2的有益效果）
[0175]通過示例性實施例2，可以得到類似于示例性實施例1的有益效果。此外，可以減小 計算量，因為僅對具有在相對尺度大小值范圍內的相對尺度大小信息的特征點執行成簇。
[0176] [示例性實施例3]
[0177] 現在將詳細描述示例性實施例3。在本示例性實施例中，對應點的相對尺度大小被 標準化。
[0178] 圖6示出了根據示例性實施例3的圖像處理裝置60的功能結構的框圖。參照圖6,圖 像處理裝置60在結構上類似于圖2所示的圖像處理裝置20,然而，圖像處理裝置60的不同在 于標準化相對對應點尺度大小計算單元601的結構以及操作。
[0179]標準化相對對應點尺度大小計算單元601使用對應點計算單元203輸出的關于對 應點的信息的集合、第一局部特征值生成單元201輸出的第一尺度信息的集合以及第二局 部特征值生成單元202輸出的第二尺度信息的集合來計算滿足對應點的相對尺度大小的預 設條件的數量，這表示對應點的尺度大小的關系。
[0180] 然后，標準化相對對應點尺度大小計算單元601使用用于標準化的乘數 (multiplier)來標準化如此計算的對應點的相對尺度大小值，從而生成包括對應點的標準 化相對尺度大小值的關于對應點的標準化相對尺度大小的信息的集合。
[0181] 由此生成的關于對應點的標準化相對尺度大小的信息的集合被輸出至對應點選 擇單元205。在對應點的相對尺度大小的計算中，可以使用上面參照示例性實施例1描述的 相對對應點尺度大小計算單元204的方法。
[0182] 以下詳細描述如何標準化對應點的相對尺度大小。
[0183] 在標準化對應點的相對尺度大小的過程中，可以使用等式4:
[0184] [等式 4]
[01 85] Onormalized (π )-〇 (ll)/z (ll)
[0186] 其中，Oncirmalize3d表示對應點的標準化相對尺度大小值，σ (η)是第η個對應點的相對 尺度大小值，諸如第一圖像的第q個特征點和第二圖像的第P個特征點，以及ζ是用于標準化 的乘數。
[0187] 用于標準化的乘數例如可以是第二圖像的大小、第二圖像中的拍攝主題的實際大 小或者第二圖像中的拍攝主題的圖像大小。圖像大小例如可以是圖像的寬度、高度、像素數 量或者縱橫比。拍攝主題的實際大小可以是其寬度或高度。拍攝主題的圖像大小例如可以 是圖像中的拍攝主題的寬度、高度、像素數量或縱橫比。
[0188]圖63示出了對應點的標準化相對尺度大小值的實例。在圖63中，橫坐標表示標準 化相對尺度大小值的對數，以及縱坐標表示頻率。如圖63所示，標準化相對尺度大小值具有 這樣的特性:如果不同圖像的特征點之間的匹配是正確的，則其變得從圖像中的一個拍攝 主題到另一個拍攝主題是恒定的。因此，足以使對應點選擇單元205對特征點執行成簇，使 得顯現不小于預設頻率的相對尺度大小值的特征點將被分組到同一簇中。對于成簇，可以 使用類似于示例性實施例1所示的方法。
[0189](示例性實施例3的操作）
[0190]參照圖7將詳細闡述本示例性實施例的操作，圖7描繪了示出本示例性實施例的操 作的流程圖。順便提及，圖7所示的步驟S701-S703以及步驟S706與圖3所示的步驟S301-S303以及步驟S306相同，因此這里不再進行描述。
[0191] 在執行圖7所示的步驟S701-S703的處理之后，標準化相對對應點尺度大小計算單 元601基于第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來計算 尺度關系，并且然后例如使用拍攝主題的實際大小或圖像大小來標準化這樣計算的尺度關 系(步驟S704)。對應點選擇單元205基于關于對應點的標準化相對尺度大小的信息的集合 對特征點執行成簇，并基于成簇的結果選擇特征點（步驟S705)。然后，處理前進到圖7所示 的步驟S706。
[0192] (示例性實施例3的有益效果）
[0193] 通過示例性實施例3,可以得到類似于示例性實施例1的有益效果。此外，如果不同 圖像之間正確相關的特征點之間的相對尺度大小被標準化，則對應點的標準化相對尺度大 小變得從包含在第一圖像中的一個拍攝主題到另一個拍攝主題是恒定的。因此，通過對特 征點執行成簇，基于對應點的標準化相對尺度大小，可以排除第一圖像的特征點與第二圖 像的特征點之間的錯誤匹配。這種錯誤匹配會發生在試圖將具有相同圖案部分(諸如標志） 但大小不同的拍攝主題的特征點相關聯時。因此，即使涉及圖像之間的大小不同的拍攝主 題，也可以比示例性實施例1更加精確地識別這種拍攝主題。
[0194] [示例性實施例4]
[0195] 現在將詳細描述示例性實施例4。本示例性實施例基于特征點的相對方向的狀態 來執行成簇。
[0196] 圖10描繪了示出根據示例性實施例4的圖像處理裝置100的功能結構的框圖。參照 圖10,圖像處理裝置100包括第一局部特征值生成單元1001、第二局部特征值生成單元 1002、對應點計算單元203、相對對應點方向計算單元1003、對應點選擇單元1004和判定單 元206。由于對應點計算單元203和判定單元206的操作與示例性實施例相同，所以省略對應 的說明。
[0197] (特征值的生成）
[0198] 第一局部特征值生成單元1001從第一圖像檢測特征點，其中特征點的數量滿足預 設條件，同時從所檢測的對應特征點的坐標值中生成在包括每個特征點的周圍區域(相鄰 區域）中的多個局部特征值。第一局部特征值生成單元1001向對應點計算單元203輸出由所 產生的局部特征值組成的第一局部特征值的集合。
[0199] 第一局部特征值生成單元1001還計算從第一圖像檢測的特征點的方向信息，并將 由所計算的特征點的方向信息組成的第一方向信息的集合輸出至相對對應點方向計算單 元 1003。
[0200] 特征點的方向信息是關于每個特征點附隨的方向（角度)的信息，并且從包括特征 點的區域(相鄰區域）的圖像中計算其值。優選地，在包括特征點的區域的圖像被旋轉的情 況下，也旋轉特征點附隨的角度。作為實例，第一局部特征值生成單元1001可以計算包括感 興趣的特征點的圖像區域的亮度梯度的方向來作為特征點的方向信息。
[0201] 或者，第一局部特征值生成單元1001可以將包括任選特征點的周圍區域劃分為4 X 4小塊(patch)區域以計算如此形成的小塊區域中的亮度變化來作為特征點的方向信息。 具有所計算的最大亮度變化的方向可用作特征點的方向信息。
[0202] 或者，第一局部特征值生成單元1001可以使用小波濾波器來計算小波系數的較高 強度的方向來作為特征點的方向信息。
[0203]通過類似于第一局部特征值生成單元1001的操作，第二局部特征值生成單元1002 可以產生由第二圖像的相應特征點的局部特征值組成的第二局部特征值的集合以及由第 二圖像的相應特征點的方向信息組成的第二方向信息的集合。第二局部特征值生成單元 1002向對應點計算單元203輸出第二局部特征值的集合。第二局部特征值生成單元1002還 將第二方向信息的集合輸出至相對對應點方向計算單元1003。
[0204]相對對應點方向計算單元1003使用對應點計算單元203輸出的關于對應點的信息 的集合、第一局部特征值生成單元1001輸出的第一方向信息的集合和第二局部特征值生成 單元1002輸出的第二方向信息的集合來計算超過對應點的方向信息的關系的預設條件的 數量，以下稱為關于對應點的相對方向的信息。相對對應點方向計算單元1003將由所計算 的關于對應點的相對方向的信息組成的關于對應點的相對方向的信息的集合輸出至對應 點選擇單元1004。
[0205] 以下詳細描述如何計算關于對應點的相對方向的信息。
[0206] 可以使相對對應點方向計算單元1003計算對應點的方向信息的差值作為關于對 應點的相對方向的信息。在對應點的方向信息的差值的計算中，可以使用等式5:
[0207] [等式5]
[0208] P = 0(q)-0(p)
[0209] 其中，P表示對應點的方向信息的差值，0(q)表示從第一圖像檢測的第q個特征點 的方向信息，以及θ(ρ)表示從第二圖像檢測的第P個特征點的方向信息。
[0210]如果從特征點中提取具有指數函數性質的方向信息，則對應點的相對方向例如可 以是對應點的方向信息的比率。在方向信息的比率的計算中，可以例如使用等式6:
[0211] [等式6]
[0212] p，=0，（q)/0，（p)
[0213]其中，p '表示對應點的方向信息的比率。
[0214]現在參照圖64，將解釋特征點的方向信息的性質。圖64示出了圖像10012的拍攝主 題相對于圖像10011的拍攝主題旋轉了45°的實例。圖64的箭頭的方向表示特征點的方向信 息。如圖64所示，特征點的方向信息具有響應于圖像中的拍攝主題的旋轉而相對變化的性 質。即，如果圖像中的拍攝主題旋轉45°，則圖像中的所有特征點的方向信息旋轉45°。從而， 通過等式5和等式6計算的對應點的相對方向具有以下性質:在第一圖像的特征點與第二圖 像的特征點正確匹配的情況下，從一個拍攝主題到另一個拍攝主題是恒定的。
[0215] 對應點選擇單元1004使用相對對應點方向計算單元1003輸出的關于對應點的相 對方向的信息的集合對第一圖像中包含的特征點執行成簇。基于成簇的結果，對應點選擇 單元1004選擇特征點以輸出所選信息的集合。特征點的選擇以及所選信息的集合的輸出與 先前的示例性實施例相同，因此不再詳細說明。
[0216] 可以使對應點選擇單元1004執行成簇，使得具有對應點的相對方向的高相似度 (小距離值）的特征點將被分組到同一簇中。在對特征點執行成簇的過程中，可以使用由示 例性實施例1的對應點選擇單元205用于基于對應點的相對尺度大小通過成簇來選擇特征 點的相同方法。如果給定簇中包含的特征點的數量不小于預設閾值，則可以選擇該簇中包 含的特征點。
[0217](示例性實施例4的操作）
[0218] 圖11描繪了示出本示例性實施例的操作的流程圖。由于圖11所示的步驟SllOl-S1103和S1106與圖3所示的步驟S301-S303和S306相同，所以省略詳細說明。
[0219] 在執行圖11所示的步驟SI 101-S1103的處理之后，相對對應點方向計算單元1003 使用第一方向信息的集合、第二方向信息的集合和關于對應點的信息的集合來計算關于對 應點的相對方向的信息（步驟S1104)。對應點選擇單元1004基于關于對應點的相對方向的 信息的集合對特征點執行成簇，并且基于成簇的結果選擇特征點（步驟S1005)。然后，處理 前進到圖5所示的步驟S1106。
[0220](示例性實施例4的有益效果）
[0221 ]通過示例性實施例4,基于關于對應點的相對方向的信息通過成簇來選擇特征點， 并且逐簇地對圖像之間相同或相似的拍攝主題進行判定。由于圖像之間正確匹配的特征點 之間的相對方向從一個拍攝主題到另一個拍攝主題是恒定的，所以可以通過使用關于對應 點的相對方向的信息通過成簇選擇特征點來去除第一圖像的特征點與第二圖像的特征點 之間的錯誤對應關系。如此，可以高精度地識別圖像之間相同或相似的拍攝主題。
[0222] [示例性實施例5]
[0223] 現在將詳細描述示例性實施例5。本示例性實施例使用關于對應點的相對尺度大 小的信息和關于對應點的相對方向的信息來用于成簇。
[0224] 圖14描繪了示出根據示例性實施例5的圖像處理裝置140的功能結構的框圖。參照 圖14,圖像處理裝置140包括第一局部特征值生成單元1401、第二局部特征值生成單元 1402、對應點計算單元203、相對對應點尺度大小計算單元204、相對對應點方向計算單元 1003、對應點選擇單元1403和判定單元206。對應點計算單元203、相對對應點方向計算單元 1003和判定單元206在結構和操作上與上述示例性實施例的對應部件是相同的，因此為了 簡化不再說明。
[0225] (特征值的生成）
[0226] 第一局部特征值生成單元1401生成關于第一局部特征值的信息的集合和第一尺 度信息的集合。第一局部特征值生成單元1401向對應點計算單元203輸出所生成的關于第 一局部特征值的信息的集合，同時向相對對應點尺度大小計算單元204輸出第一尺度信息 的集合。第一局部特征值生成單元1401向相對對應點方向計算單元1003輸出第一方向信息 的集合。
[0227] 第二局部特征值生成單元1402生成第二局部特征值的集合、第二尺度信息的集合 和第二方向信息的集合，并將第二局部特征值的集合輸出至對應點計算單元203。第二局部 特征值生成單元1402還將第二尺度信息的集合輸出至相對對應點尺度大小計算單元204， 同時將第二方向信息的集合輸出至相對對應點方向計算單元1003。
[0228] (對應點的選擇）
[0229]對應點選擇單元1403使用相對對應點尺度大小計算單元204輸出的關于對應點的 相對尺度大小的信息的集合以及相對對應點方向計算單元1003輸出的相對對應點方向信 息的集合來對包含在第一圖像中的特征點執行成簇。
[0230] 優選地，對應點選擇單元1403執行成簇，使得其中關于對應點的尺度的信息的相 似度以及對應點的相對方向的相似度超過相應預設閾值的特征點將被分組到同一簇中。為 了對特征點執行成簇并基于對應點的相對尺度大小和相對方向選擇對應點，可以使用與示 例性實施例1使用的相同方法。
[0231] (示例性實施例5的操作）
[0232] 圖15描繪了示出本示例性實施例的操作的流程圖，現在將參照圖15進行詳細描 述。由于圖15所示的步驟S1501-S1503和S1506與圖3所示的步驟S301-S303和S306相同，因 此省略詳細說明。
[0233] 在執行圖15所示的步驟S1501-S1503的處理之后，相對對應點尺度大小計算單元 204基于關于對應點的信息的集合、第一尺度信息的集合和第二尺度信息的集合來計算尺 度關系。相對對應點方向計算單元1003基于關于對應點的信息的集合、第一方向信息的集 合和第二方向信息的集合來計算關于對應點的相對方向的信息（S1504)。對應點選擇單元 1403基于關于對應點的相對尺度大小的信息的集合以及關于對應點的相對方向的信息的 集合來對特征點執行成簇，并且基于成簇的結果選擇特征點（步驟S1505)。然后，處理前進 到圖15所述的步驟S1506。
[0234] (示例性實施例5的有益效果）
[0235] 通過示例性實施例5,可以得到與示例性實施例1相似的有益效果。此外，圖像之間 正確匹配的特征點的相對方向可以變得從一個拍攝主題到另一個拍攝主題是恒定的。此 外，通過示例性實施例5,其中使用關于相對方向的信息通過成簇來選擇特征點，可以消除 第一圖像的特征點與第二圖像的特征點之間的錯誤匹配。因此，通過示例性實施例5,識別 精度可以高于示例性實施例1。
[0236] [示例性實施例6]
[0237] 現在將詳細說明示例性實施例6。本示例性實施例使用特征點的坐標值用于成簇。
[0238] 圖22描繪了示出根據示例性實施例6的圖像處理裝置220的結構的框圖。參照圖 22,圖像處理裝置220與圖2所示的圖像處理裝置20的結構相似，除了第一局部特征值生成 單元2201和對應點選擇單元2202的結構和操作。
[0239](特征值的生成）
[0240]通過類似于示例性實施例1的第一局部特征值生成單元201的操作，第一局部特征 值生成單元2201生成第一局部特征值的集合，其隨后被輸出至對應點計算單元203。第一局 部特征值生成單元2201還將從特征點生成的第一尺度信息的集合輸出至相對對應點尺度 大小計算單元204,同時將從第一圖像檢測的由特征點的坐標值組成的第一坐標值信息的 集合輸出至對應點選擇單元2202。
[0241](特征點的選擇）
[0242]對應點選擇單元2202使用相對對應點尺度大小計算單元204輸出的關于對應點的 相對尺度大小的信息的集合以及第一局部特征值生成單元2201輸出的第一坐標值信息的 集合來對包含在第一圖像中的特征點執行成簇。對應點選擇單元2202基于成簇的結果選擇 特征點以輸出所選擇的信息。特征點的選擇以及所選信息的集合的輸出與上述示例性實施 例中相同，因此為了簡化不再說明。
[0243] 現在將詳細描述對應點的選擇。
[0244] 對應點選擇單元2202向判定單元206輸出選擇信息的集合和成簇信息的集合，選 擇信息的集合包括關于所選特征點的對應點的信息的集合并由其組成。成簇信息的集合由 關于多個簇(每一個都包含一個或多個特征點）的信息組成。
[0245] 還可以使對應點選擇單元2202例如基于關于對應點的相對尺度大小的信息的集 合來對特征點執行成簇，基于成簇的結果選擇特征點，并基于第一坐標值信息的集合來對 如此選擇的特征點執行成簇。
[0246] 還可以使對應點選擇單元2202使用關于對應點的相對尺度大小的信息和關于第 一坐標值的信息的集合二者來對特征點執行成簇。對于特征點的成簇，可以使用在上述示 例性實施例中使用的方法，因此為了簡化不再進行對應的說明。
[0247] (示例性實施例6的操作）
[0248] 圖23描繪了示出本示例性實施例的操作的流程圖，現在將參照圖23詳細說明。由 于圖23所示的步驟S2301-S2303和S2306與圖3所示的步驟S301-S303和S306相同，因此省略 詳細說明。
[0249] 在執行圖23所示的步驟S2301-S2303的處理之后，相對對應點尺度大小計算單元 204使用第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來計算尺 度關系（步驟S2304)。對應點選擇單元2202基于關于對應點的相對尺度大小的信息的集合 以及第一坐標值信息的集合來對特征點執行成簇，以基于成簇的結果選擇特征點（步驟 S2305)。然后，處理前進到圖23所示的步驟S2306。
[0250](示例性實施例6的有益效果）
[0251] 通過示例性實施例6,可以得到與示例性實施例1相似的有益效果。此外，使用圖像 中的特征點的坐標值通過成簇來選擇特征點，并且可以基于簇識別兩個圖像之間相同或相 似的拍攝主題。因此，在示例性實施例6中，使得兩個圖像之間正確匹配的特征點根據拍攝 主題被高密度聚集到一起，使得通過基于坐標值信息對特征點執行成簇，即使在存在相同 尺度的多個拍攝主題的情況下，也可以比示例性實施例1更正確地單獨識別拍攝主題。
[0252] [示例性實施例7]
[0253] 現在將詳細解釋示例性實施例7。本示例性實施例計算特征點的相對坐標值并使 用如此計算的相對坐標值用于成簇。
[0254] (示例性實施例7)
[0255] 圖42示出了根據示例性實施例7的圖像處理裝置420的功能結構的框圖。參照圖 42,圖像處理裝置420在結構上類似于圖14所示的圖像處理裝置140,其中不同在于第二局 部特征值生成單元4201、相對坐標值計算單元4202和對應點選擇單元4203的結構和操作。 [0256](特征值的生成）
[0257]第一局部特征值生成單元3401生成第一局部特征值的集合、第一方向信息的集合 和第一坐標值信息的集合，它們被分別輸出至對應點計算單元203、相對對應點方向計算單 元1003和對應點選擇單元4203。第一局部特征值生成單元3401還將通過與圖2所示第一局 部特征值生成單元201相似的操作生成的第一尺度信息的集合輸出至相對對應點尺度大小 計算單元204。
[0258]第二局部特征點生成單元4201分別將第二局部特征值的集合、第二尺度信息的集 合、第二方向信息的集合和第二坐標值信息的集合輸出至對應點計算單元203、相對對應點 尺度大小計算單元204、相對對應點方向計算單元1003和相對坐標值計算單元4202。
[0259](相對坐標值的生成）
[0260]相對坐標值計算單元4202使用相對對應點尺度大小計算單元204輸出的關于對應 點的相對尺度大小的信息的集合、相對對應點方向計算單元1003輸出的相對對應點方向信 息的集合、第一局部特征值生成單元3401輸出的第一坐標值信息的集合、第二局部特征值 生成單元4201輸出的第二坐標值信息的集合以及基準點的坐標值來將第一圖像的特征點 的坐標值轉換為任選坐標系上的點。相對坐標值計算單元4202將如此轉換的坐標值（以下 稱為對應點的相對坐標值)輸出至對應點選擇單元4203。基準點是指預設坐標值，其例如可 以是與針對第二圖像使用的笛卡爾坐標系相同的坐標系中的任選點。在以下說明中，假設 拍攝主題的中心點是基準點。
[0261 ]以下詳細說明如何計算對應點的相對坐標值。
[0262] 相對坐標值計算單元4202基于基準點的坐標值（作為第二圖像中的可選基準點 (諸如拍攝主題的中心點））、第二坐標值信息的集合、關于對應點的相對尺度大小的信息的 集合、關于對應點的相對方向的信息的集合以及第一坐標值信息的集合來計算第一圖像中 的每個拍攝主題的中心點。相對坐標值計算單元4202向對應點選擇單元4203輸出由所計算 的攝影主題的中心點形成的關于相對坐標值的信息的集合。
[0263] 為了計算對應點的相對坐標值，可以使用通過以下等式7表示的等式：
[0264] 「等忒 7?
[0265]
[0266] 其中，i和j分別表示第一圖像和第二圖像的特征點數量，V1表示第一圖像的第i個 特征點的坐標值，〇i j表示對應點的相對尺度大小，Pi j表示對應點的相對方向，Ci j表示第一 圖像中的拍攝主題的中心的坐標值，以及u/表示從第二圖像的第j個特征點到第二圖像中 的拍攝主題的中心的矢量。例如可以根據以下等式8來計算該矢量：
[0267] [等式 8]
[0268] UjJ=Lxc-Xj yc-yj]T
[0269] 其中，X謙示第j個特征點的X坐標值，yi表示第j個特征點的y坐標值，X。表示所選 第二圖像的基準點的X坐標值，以及y。表示第二圖像的基準點的y坐標值。
[0270] (對應點的選擇）
[0271] 對應點選擇單元4203使用相對坐標值計算單元4202輸出的相對坐標值信息的集 合以及相對對應點尺度大小計算單元204輸出的關于對應點的相對尺度大小的信息的集合 來對包含在第一圖像中的特征點執行成簇。對應點選擇單元4203基于成簇的結果選擇特征 點，以輸出所選信息的集合。特征點的選擇以及所選信息的集合的輸出與上述示例性實施 例相同，因此不再詳細描述。
[0272] 為了基于對應點的相對尺度大小對特征點成簇以及選擇對應點，對應點選擇單元 4203例如可以使用類似于示例性實施例6中使用的方法。為了基于相對坐標值信息的集合 對特征點成簇以及選擇對應點，對應點選擇單元可以使用類似于示例性實施例6使用的方 法以基于第一坐標值信息的集合對對應點執行成簇。
[0273] 相對坐標值計算單元4202可以不使用例如基準點的坐標值。在這種情況下，相對 坐標值計算單元4202和對應點選擇單元4203可以以下方式來操作。
[0274]相對坐標值計算單元4202基于第二坐標值信息的集合、關于對應點的相對尺度大 小的信息的集合、關于對應點的相對方向的信息的集合以及第一坐標值信息的集合來計算 第一圖像中的每個特征點和第二圖像中的每個特征點的相對位移。相對坐標值計算單元 4202向對應點選擇單元4203輸出由所計算的相對位移組成的相對坐標值信息的集合。
[0275] 在這種情況下，可以使用由以下等式9表示的等式：
[0276] [等式 9]
[0277]
[0278] 來計算對應點的相對坐標值。在上述等式中，Vlj表示相對位移，以及Vj表示第二圖 像中的第j個特征點的坐標值。
[0279] 圖像之間相同的拍攝主題的對應點的相對位移是恒定的，使得在對特征點執行成 簇或者基于相對坐標值信息的集合選擇對應點的過程中，例如，對應點選擇單元4203可使 用類似于示例性實施例6中使用的方法以基于第一坐標值信息的集合對特征點執行成簇。 [0280]如果沒有輸入基準點的坐標值，則相對坐標值計算單元4202可以上述相同的方式 計算相對坐標值信息的集合。盡管沒有明確表示，但這同樣適用于以下示例性實施例。
[0281] (示例性實施例7的操作）。
[0282] 參照圖43將詳細說明本示例性實施例的操作，圖43描繪了示出本示例性實施例的 操作的流程圖。圖43所示的步驟S4301-S4303和S4306與上述步驟S301-S303和S306相同，因 此不再詳細描述。
[0283] 在執行圖43所示的步驟S4301-S4303的處理之后，相對對應點尺度大小計算單元 204基于第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來計算尺 度關系，同時相對對應點方向計算單元1003基于第一方向信息的集合、第二方向信息的集 合和關于對應點的信息的集合來計算關于對應點的相對方向的信息（步驟S4304)。相對坐 標值計算單元4202使用關于對應點的相對尺度大小的信息的集合、關于對應點的相對方向 的信息的集合、基準點的坐標值、第一坐標值信息的集合和第二坐標值信息的集合來計算 相對坐標值(步驟S4305)。對應點選擇單元4203基于相對坐標值信息的集合和關于對應點 的相對尺度大小的信息的集合來對特征點執行成簇，并基于成簇的結果選擇特征點（步驟 S4306)。然后，處理前進到圖43所示的步驟S4307。
[0284] (示例性實施例7的有益效果）
[0285] 通過示例性實施例7,不僅可以得到類似于示例性實施例1的有益效果，而且還可 以比示例性實施例1更精確地對特征點進行分組，因為在進行到成簇之前關于拍攝主題的 中心收集第一圖像的特征點。因此，在示例性實施例7中，可以比示例性實施例1更加精確地 識別圖像中的相同或類似的拍攝主題。
[0286] 現在將示出上述示例性實施例的特定修改例。
[0287][修改例1]
[0288]現在將參照圖8示出修改例1，圖8是示出根據修改例1的圖像處理裝置80的功能結 構的框圖。參照圖8,圖像處理裝置80在結構上類似于圖6所示的圖像處理裝置60,其中不同 在于對應點選擇單元401的結構和操作。順便提及，對應點選擇單元401在結構和操作上類 似于示例性實施例2，因此這里不再詳細說明。
[0289] (修改例1的操作）
[0290] 現在將參照圖9示出修改例1，其中圖9描繪了示出修改例1的操作的流程圖。由于 圖9所示的步驟S901-S903和S906與圖3所示的步驟S301-S303和S306相同，因此省略詳細說 明。
[0291] 在執行圖9所示的步驟S901-S903的處理之后，標準化相對對應點尺度大小計算單 元601使用第一尺度信息的集合、第二尺度信息的集合以及關于對應點的信息的集合來計 算尺度關系，并且基于拍攝主題的圖像大小或者其實際大小或整個大小來標準化尺度關系 (步驟S904)。對應點選擇單元401基于關于對應點的標準化相對尺度大小的信息的集合和 相對尺度大小的范圍來對特征點執行成簇，并基于成簇的結果選擇特征點（步驟S905)。然 后，處理前進到圖9所示的步驟S906。
[0292] (修改例1的有益效果）
[0293] 通過修改例1，不僅可以得到類似于示例性實施例3的有益效果，而且與示例性實 施例3相比還可以減小計算量，因為通過成簇僅選擇具有在相對尺度大小范圍內的標準化 相對尺度大小的特征點。
[0294] [修改例2]
[0295] 參照圖12,將示出修改例2。圖12描繪了示出根據修改例2的圖像處理裝置120的功 能結構的框圖。參照圖12,圖像處理裝置120在結構上類似于圖10所示的圖像處理裝置100， 其中不同在于對應點選擇單元1201的結構和操作。
[0296]對應點選擇單元1201使用相對對應點方向計算單元1003輸出的關于對應點的相 對方向的信息的集合以及相對尺度大小的范圍來對包含在第一圖像中的特征點執行成簇。
[0297] 相對方向的范圍可以是通過經驗或觀察得到的值、通過使用根據無教導的成簇從 關于對應點的相對方向的信息的集合計算的學習數據或值進行機器學習得到的值。相對方 向的范圍的數量可以是一個或任何適當的多個數量。
[0298] 如果不同圖像之間的特征點的匹配是正確的，則關于對應點的相對方向的信息從 一個拍攝主題到另一個拍攝主題是恒定的。因此，足以使對應點選擇單元1201將具有在相 對方向范圍內分布的相對方向信息的特征點分組到同一簇中。為了對特征點進行成簇以及 選擇對應點，例如可以使用類似于修改例1中使用的方法。
[0299] (修改例2的操作）
[0300] 圖13描繪了示出修改例2的操作的流程圖。參照圖13,將詳細說明修改例2的操作。 圖13所示的步驟S1301-S1303和S1306與圖3所示的步驟S301-S303和S306相同，因此不再詳 細說明。
[0301] 在執行圖13所示的步驟S1301-S1303的處理之后，相對對應點方向計算單元1003 基于第一方向信息的集合、第二方向信息的集合和關于對應點的信息的集合來計算關于對 應點的相對方向的信息（步驟S1304)。對應點選擇單元1201基于關于對應點的相對方向的 信息的集合和相對方向的范圍來對特征點執行成簇，并基于成簇的結果選擇特征點（步驟 Sl 305)。然后，處理前進到圖13所示的步驟Sl 306。
[0302](修改例2的有益效果）
[0303]通過修改例2,可以得到類似于示例性實施例4的有益效果。此外，計算量可以小于 示例性實施例4中的計算量，因為僅對具有在相對方向的范圍內的方向信息的特征點執行 成簇。
[0304][修改例3]
[0305]現在將參照圖16示出修改例3，圖16是示出根據修改例3的圖像處理裝置160的功 能結構的框圖。參照圖16,圖像處理裝置160在結構上類似于圖14所示的圖像處理裝置140， 其中不同在于對應點選擇單元1601的結構以及操作。
[0306] 對應點選擇單元1601使用關于對應點的相對尺度大小的信息的集合、關于對應點 的相對方向的信息的集合、對應點的相對尺度大小的范圍以及對應點的相對方向的范圍來 對包含在第一圖像中的特征點執行成簇，其中相對對應點尺度大小計算單元204輸出關于 對應點的相對方向的信息的集合，并且相對對應點方向計算單元1003輸出關于對應點的相 對方向的信息的集合。
[0307] 如果圖像之間的特征點的相關或匹配是正確的，則關于對應點的相對尺度大小值 和相對方向的信息變得從一個拍攝主題到另一個拍攝主題是恒定的。因此，足以使對應點 選擇單元1601將具有關于對應點的相對尺度大小的信息、在相對方向范圍內分布的關于對 應點的相對方向的信息以及關于對應點的相對方向的信息的特征點分組到同一簇中。為了 對特征點進行成簇以及選擇對應點，可以使用類似于示例性實施例5中使用的方法。
[0308](修改例3的操作）
[0309] 現在將參照圖17示出修改例3的操作，圖17描繪了示出修改例3的操作的流程圖。 圖17所示的步驟S1701-S1703和S1706與圖3所示的步驟S301-S303和S306相同，因此省略詳 細說明。
[0310] 在執行圖17所示的步驟S1701-S1703的處理之后，相對對應點尺度大小計算單元 204基于第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來計算尺 度關系。相對對應點方向計算單元1003基于第一方向信息的集合、第二方向信息的集合以 及關于對應點的信息的集合來計算關于對應點的相對方向的信息（步驟S1704)。對應點選 擇單元1601基于關于對應點的相對尺度大小的信息的集合、關于對應點的相對方向的信息 的集合、相對尺度大小的范圍和相對方向的范圍來對特征點執行成簇，并基于成簇的結果 選擇特征點（步驟Sl 705)。然后，處理前進到圖17所示的步驟Sl 706。
[0311] (修改例3的有益效果）
[0312] 通過修改例3,可以得到類似于示例性實施例5的有益效果。此外，計算量可以小于 示例性實施例5中的計算量，因為僅對具有在相對尺度大小范圍內的關于對應點的相對尺 度大小的信息以及在相對方向范圍內的關于對應點的相對方向的信息的特征點執行成簇。 [0313][修改例4]
[0314]現在將參照圖18示出修改例4,圖18是示出根據修改例4的圖像處理裝置180的功 能結構的框圖。參照圖18,圖像處理裝置180在結構上類似于圖14所示的圖像處理裝置140， 其中不同在于標準化相對對應點尺度大小計算單元601的結構以及操作。標準化相對對應 點尺度大小計算單元601的操作類似于修改例1，因此不再詳細描述。
[0315](修改例4的操作）
[0316] 將參照圖19詳細示出修改例4的操作，圖19示出了圖示操作的流程圖。圖19所示的 步驟S1901-S1903和S1906與圖3所示的步驟S301-S303和S306相同，因此不再詳細說明。
[0317] 在執行圖19所示的步驟S1901-S1903的處理之后，標準化相對應對應點尺度大小 計算單元601基于第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合 來計算尺度關系，并基于攝影主題的圖像大小或其實際大小來對如此計算的尺度關系進行 標準化。相對對應點方向計算單元1003基于第一方向信息的集合、第二方向信息的集合和 關于對應點的信息的集合來計算關于對應點的相對方向的信息（步驟S1904)。對應點選擇 單元1403基于關于對應點的標準化相對尺度大小的信息以及關于對應點的相對方向的信 息來對特征點執行成簇，并基于成簇的結果選擇特征點（步驟S1905)。然后，處理前進到圖 19所示的步驟S1906。
[0318](修改例4的有益效果）
[0319]通過修改例4,可以得到與示例性實施例5相同的有益效果。此外，在圖像之間正確 匹配的特征點之間的相對尺度大小被標準化的情況下，對應點的標準化相對尺度大小變得 從第一圖像中的一個攝影主題到另一個攝影主題是恒定的。因此，與示例性實施例5中相 比，可以更正確地識別拍攝主題。
[0320] [修改例5]
[0321] 現在將參照圖20示出修改例5,圖20是示出根據修改例5的圖像處理裝置200的功 能結構的框圖。參照圖20,圖像處理裝置200在結構上類似于圖18所示的圖像處理裝置180， 其中不同在于對應點選擇單元1601的結構以及操作。對應點選擇單元1601的操作類似于修 改例3，因此省略對應的描述。
[0322] 將參照示出圖示操作的流程圖的圖21詳細描述修改例5的操作。由于圖21所示的 步驟S2101-2103和S2106與圖3所示的步驟S301-S303和S306相同，因此省略詳細說明。
[0323] 在執行圖21所示的步驟S2101-S2103的處理之后，標準化相對對應點尺度大小計 算單元601基于第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來 計算尺度關系，并基于拍攝主題的圖像大小或其實際大小對如此計算的尺度關系進行標準 化。相對對應點方向計算單元1003使用第一方向信息的集合、第二方向信息的集合和關于 對應點的信息的集合來計算關于對應點的相對方向的信息（步驟S2104)。對應點選擇單元 1601基于關于對應點的標準化相對尺度大小的信息的集合、關于對應點的相對方向的信息 的集合、相對尺度大小的范圍和相對方向的范圍對特征點執行成簇，并基于成簇的結果選 擇特征點(步驟S2105)。然后，處理前進到圖21所示的步驟S2106。
[0324] (修改例5的有益效果）
[0325] 通過修改例5,可以得到類似于修改例4的有益效果。此外，僅對具有在相對尺度大 小范圍內的標準化相對尺度大小的特征點以及具有在相對方向范圍內的方向信息的特征 點執行成簇，所以計算量可以小于修改例4中的計算量。
[0326] [修改例6]
[0327] 將參照圖24示出修改例6，圖24示出了圖示根據修改例6的圖像處理裝置240的功 能結構的框圖。參照圖24,圖像處理裝置240在結構上類似于圖22所示的圖像處理裝置220， 其中不同在于對應點選擇單元2401的結構以及操作。
[0328]對應點選擇單元2401基于關于對應點的相對尺度大小的信息的集合、相對尺度大 小的范圍、特征點的坐標值和坐標值的范圍來對包含在第一圖像中的特征點執行成簇，其 中相對對應點尺度大小計算單元204輸出關于對應點的相對尺度大小的信息的集合，并且 其中第一局部特征值生成單元2201輸出特征點的坐標值。
[0329] 相對坐標值的范圍例如可以是表示圖像中存在拍攝主題范圍的范圍的坐標值。為 了計算圖像中存在拍攝主題范圍的范圍，可以通過經驗或觀察找到限制點P和q的矩形。或 者，可以使用學習數據機械地計算拍攝主題的存在概率(表示圖像中最可能存在拍攝主題 的區域），并且可以使用具有大于預設值的概率密度的這種區域作為存在拍攝主題范圍的 范圍。可以使用一個或多個相對坐標值的范圍。
[0330] 如果不同圖像之間的特征點的相關或匹配是正確的，則對應點的相對尺度大小值 變得從一個拍攝主題到另一個拍攝主題是恒定的。因此，對應點選擇單元2401足以將具有 在相對尺度大小范圍內分布的相對尺度大小的特征點分組到同一簇中。對應點選擇單元 2401還足以將位于相對坐標值范圍內的特征點分組到同一簇中。為了基于相對尺度大小進 行成簇以及基于坐標值進行成簇，可以使用類似于示例性實施例1或6中使用的方法。為了 選擇對應點，可以使用類似于修改例5中使用的方法。
[0331]對應點選擇單元2401還可以基于關于對應點的相對方向的信息的集合對特征點 執行成簇，基于成簇的結果選擇特征點，然后基于第一坐標值信息的集合對如此選擇的特 征點執行成簇。對應點選擇單元2401還可以例如基于第一坐標值信息的集合對特征點執行 成簇，基于成簇的結果選擇特征點，并且基于關于對應點的相對方向的信息的集合對如此 選擇的特征點執行成簇。對應點選擇單元2401還可以使用關于對應點的相對方向的信息的 集合和第一坐標值信息的集合二者來對特征點執行成簇。
[0332] (修改例6的操作）
[0333] 將參照示出圖示操作的流程圖的圖25來詳細描述修改例6的操作。由于圖25所示 的步驟S2501-S2503和S2506分別與圖3所示的步驟S301-S303和S306相同，因此這里省略詳 細說明。
[0334] 在執行圖25所示的步驟S2501-S2503的處理之后，相對對應點尺度大小計算單元 204基于第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來計算尺 度關系（步驟S2504)。對應點選擇單元2401基于關于對應點的相對尺度大小的信息的集合、 第一坐標值信息的集合、相對尺度大小的范圍和相對坐標值的范圍來對特征點執行成簇， 并基于成簇的結果選擇特征點（S2505)。然后，處理前進到圖25所示的步驟S2506。
[0335] (修改例6的有益效果）
[0336] 通過修改例6,可以得到類似于示例性實施例6的有益效果。此外，計算量可以小于 示例性實施例6,因為僅對具有在相對尺度大小范圍內的相對尺度大小值的特征點以及具 有在相對坐標值范圍內的坐標值的特征點執行成簇。
[0337] [修改例7]
[0338] 現在參照圖26,將說明修改例7。圖26描繪了示出根據修改例7的圖像處理裝置260 的功能結構的框圖。參照圖26,圖像處理裝置260在結構上類似于圖22所示的圖像處理裝置 220的結構，其中不同在于標準化相對對應點尺度大小計算單元601的結構以及操作。由于 標準化相對對應點尺度大小計算單元601的操作與示例性實施例1中相同，因此這里省略對 應的說明。
[0339] (修改例7的操作）
[0340] 將參照示出圖示操作的流程圖的圖27來詳細描述修改例7的操作。應該注意，由于 圖27所示的步驟S2701-S2703和S2706與圖3所示的步驟S301-S303和S306分別相同，因此為 了簡化這里不再詳細說明。
[0341] 在執行圖27所示的步驟S2701-S2703的處理之后，標準化相對對應點尺度大小計 算單元601基于第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來 計算尺度關系。標準化相對對應點尺度大小計算單元601使用拍攝主題的圖像大小或實際 大小來標準化如此計算的尺度關系（步驟S2704)。對應點選擇單元2202基于關于對應點的 標準化相對尺度大小的信息和第一坐標值信息的集合來對特征點執行成簇，并基于成簇的 結果選擇特征點（步驟S2705)。然后，處理前進到圖27所示的步驟S2706。
[0342] (修改例7的有益效果）
[0343] 通過修改例7,可以得到類似于示例性實施例6的有益效果。此外，由于圖像之間正 確相關的特征點之間的相對尺度大小被標準化，所以對應點的標準化相對尺度大小從第一 圖像中的一個拍攝主題到另一個拍攝主題是恒定的。因此，可以比示例性實施例6更加精確 地識別拍攝主題。
[0344] [修改例8]
[0345] 現在參照圖28，將說明修改例8。圖28描繪了示出根據修改例8的圖像處理裝置280 的功能結構的框圖。參照圖28,圖像處理裝置280在結構上類似于圖26所示的圖像處理裝置 260的結構，其中不同在于對應點選擇單元2401的結構以及操作。對應點選擇單元2401的操 作與修改例6中的類似，因此這里省略對應的說明。
[0346] (修改例8的操作）
[0347] 將參照示出圖示操作的流程圖的圖29來詳細描述修改例8的操作。應該注意，由于 圖29所示的步驟S2901-S2903和S2906與圖3所示的步驟S301-S303和S306分別相同，因此這 里不再詳細說明。
[0348] 在執行圖29所示的步驟S2901-S2903的處理之后，標準化相對對應點尺度大小計 算單元601基于第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來 計算尺度關系，并基于拍攝主題的實際大小或圖像大小對如此計算的尺度關系進行標準化 (步驟S2904)。對應點選擇單元2401基于對應點的相對尺度大小、第一坐標值信息的集合、 相對尺度大小的范圍和相對坐標值的范圍來對特征點執行成簇，并基于成簇的結果選擇特 征點（步驟S2905)。然后，處理前進到圖29所示的步驟S2906。
[0349] (修改例8的有益效果）
[0350] 通過修改例8,可以得到類似于示例性實施例7的有益效果。此外，由于僅對具有在 標準化相對尺度大小范圍內的相對尺度大小值的特征點和具有在特征點的坐標值范圍內 的坐標信息的特征點執行成簇，因此計算量可以小于修改例7中的計算量。
[0351] [修改例9]
[0352] 現在參照圖30,將說明修改例9。圖30描繪了示出根據修改例9的圖像處理裝置300 的功能結構的框圖。參照圖30,圖像處理裝置300在結構上類似于圖10所示的圖像處理裝置 100,其中不同在于第一局部特征值生成單元3001和對應點選擇單元3002的結構以及操作。
[0353] 第一局部特征值生成單元3001將通過類似于示例性實施例1的第一局部特征值生 成單元201的操作生成的第一方向信息的集合輸出至相對對應點方向計算單元1003。第一 局部特征值生成單元3001還分別將通過類似于示例性實施例6的第一局部特征值生成單元 2201的操作所生成的關于第一局部特征值的信息的集合和關于第一坐標值的信息的集合 輸出至對應點計算單元203和對應點選擇單元3302。
[0354]對應點選擇單元3002使用相對對應點方向計算單元1003輸出的關于對應點的相 對方向的信息的集合以及第一局部特征值生成單元3001輸出的第一坐標值信息的集合來 對包含在第一圖像中的特征點執行成簇。
[0355] (修改例9的操作）
[0356] 將參照示出圖示操作的流程圖的圖31來詳細描述修改例9的操作。應該注意，由于 圖31所示的步驟S3101-S3103和S3106與圖3所示的步驟S301-S303和S306分別相同，因此省 略這里對應的詳細說明。
[0357] 在執行圖31所示的步驟S3101-S3103的處理之后，相對對應點方向計算單元1003 基于第一方向信息的集合、第二方向信息的集合和關于對應點的信息的集合來計算關于對 應點的相對方向的信息（步驟S3104)。對應點選擇單元3002基于關于對應點的相對方向的 信息的集合和第一坐標值信息的集合來對特征點執行成簇，并基于成簇的結果選擇特征點 (步驟S3105)。然后，處理前進到圖31所示的步驟S3106。
[0358] (修改例9的有益效果）
[0359] 通過修改例9,可以得到類似于示例性實施例4的有益效果。此外，使得圖像之間正 確相關的特征點根據拍攝主題而密集地聚集，從而通過基于坐標值對特征點執行成簇，即 使在存在具有相同相對方向的多個拍攝主題的情況下，也可以比示例性實施例4更加精確 地單獨識別拍攝主題。
[0360] [修改例10]
[0361] 現在參照圖32,將說明修改例10。圖32描繪了示出根據修改例10的圖像處理裝置 320的功能結構的框圖。參照圖32,圖像處理裝置320在結構上類似于圖30所示的圖像處理 裝置300,其中不同在于對應點選擇單元3201的結構以及操作。因此，以下說明針對對應點 選擇單元3201。
[0362] 對應點選擇單元3201使用關于對應點的相對方向的信息的集合、相對方向的范 圍、特征點的坐標值和坐標值的范圍來對包含在第一圖像中的特征點執行成簇，其中相對 對應點方向計算單元1003輸出關于對應點的相對方向的信息的集合，并且其中第一局部特 征值生成單元3001輸出特征點的坐標值。
[0363] 對應點選擇單元3201還可以例如基于關于對應點的相對方向的信息的集合來對 特征點執行成簇，然后基于成簇的結果選擇特征點，并且隨后基于第一坐標值信息的集合 對如此選擇的特征點執行成簇。對應點選擇單元3201還可以例如基于第一坐標值信息的集 合執行成簇，然后基于成簇的結果選擇特征點，并且隨后基于關于對應點的相對方向的信 息的集合對如此選擇的特征點執行成簇。對應點選擇單元3201還可以例如基于關于對應點 的相對方向的信息的集合和第一坐標值信息的集合二者來對特征點執行成簇。
[0364] (修改例10的操作）
[0365] 將參照示出圖示操作的流程圖的圖33來詳細描述修改例10的操作。應該注意，由 于圖33所示的步驟S3301-S3303和S3306分別與圖3所示的步驟S301-S303和S306相同，因此 省略對應說明。
[0366] 在執行圖33所示的步驟S3301-S3303的處理之后，相對對應點方向計算單元1003 基于第一方向信息的集合、第二方向信息的集合和匹配值信息的集合來計算關于對應點的 相對方向的信息（步驟S3304)。對應點選擇單元3201基于關于對應點的相對方向的信息的 集合、第一坐標值信息的集合、相對方向的范圍和相對坐標值的范圍來對特征點執行成簇， 并基于成簇的結果選擇特征點（步驟S3305)。然后，處理前進到圖33所示的步驟S3306。
[0367] (修改例10的有益效果）
[0368] 通過修改例10,可以得到類似于修改例9的有益效果。此外，由于僅對具有在相對 方向范圍內的關于相對方向的信息的特征點和具有在相對坐標值范圍內的坐標值的特征 點執行成簇，因此計算量可以小于修改例9中的計算量。
[0369] [修改例11]
[0370]現在參照圖34,將說明修改例11。圖34描繪了示出根據修改例11的圖像處理裝置 340的功能結構的框圖。參照圖34,圖像處理裝置340在結構上類似于圖14所示的圖像處理 裝置140,其中不同在于第一局部特征值生成單元3401和對應點選擇單元3402的結構以及 操作。
[0371]通過類似于圖30所示的第一局部特征值生成單元3001執行的操作，第一局部特征 值生成單元3401生成第一局部特征值的集合、第一方向信息的集合和第一坐標值信息的集 合，它們被分別輸出至對應點計算單元203、相對對應點方向計算單元1003和對應點選擇單 元3402。第一局部特征值生成單元3401還向相對對應點尺度大小計算單元204輸出通過類 似于示例性實施例1的第一局部特征值生成單元201執行的操作所生成的第一尺度信息的 集合。
[0372]對應點選擇單元3402使用相對對應點尺度大小計算單元204輸出的關于對應點的 相對尺度大小的信息的集合、相對對應點方向計算單元1003輸出的關于對應點的相對方向 的信息的集合以及第一局部特征值生成單元3401輸出的第一坐標值信息的集合來對包含 在第一圖像中的特征點執行成簇。
[0373] (修改例11的操作）
[0374] 將參照示出圖示操作的流程圖的圖35來詳細描述修改例11的操作。應該注意，由 于圖35所示的步驟S3501-3503和S3506分別與圖3所示的步驟S301-S303和S306相同，因此 省略對應的說明。
[0375] 在執行圖35所示的步驟S3501-S3503的處理之后，相對對應點尺度大小計算單元 204基于第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來計算尺 度關系。相對對應點方向計算單元1003基于第一方向信息的集合、第二方向信息的集合和 關于對應點的信息的集合來計算關于對應點的相對方向的信息（步驟S3504)。對應點選擇 單元3402基于關于對應點的相對尺度大小的信息的集合、關于對應點的相對方向的信息的 集合以及第一坐標值信息的集合來對特征點執行成簇，并基于成簇的結果選擇特征點（步 驟S3505)。然后，處理前進到圖35所示的步驟S3506。
[0376] (修改例11的有益效果）
[0377] 通過修改例11，可以得到類似于示例性實施例5的有益效果。此外，使用圖像中的 特征點的坐標值通過成簇來選擇圖像中的特征點，并且逐簇地判定不同圖像之間相同或相 似的拍攝主題。使得圖像之間正確匹配的特征點根據拍攝主題被密集地聚集在一起，從而 通過基于坐標值信息對特征點執行成簇，即使在存在具有相同尺度或相同相對方向的多個 拍攝主題的情況下，示例性實施例11與示例性實施例5相比也可以更精確地單獨識別拍攝 主題。
[0378] [修改例I2]
[0379] 現在將參照圖36說明修改例12，圖36示出了根據修改例12的圖像處理裝置360的 功能結構。參照圖36,圖像處理裝置360在結構上類似于圖34所示的圖像處理裝置340,其中 不同在于對應點選擇單元3601的結構以及操作。
[0380]對應點選擇單元3601使用相對對應點尺度大小計算單元204輸出的關于對應點的 相對尺度大小的信息的集合、相對對應點方向計算單元1003輸出的關于對應點的相對方向 的信息的集合、第一局部特征值生成單元3401輸出的第一坐標值信息的集合、相對尺度大 小的范圍、相對方向的范圍以及相對坐標值的范圍來對包含在第一圖像中的特征點執行成 簇。
[0381] (修改例12的操作）
[0382] 將參照示出圖示操作的流程圖的圖37來詳細描述修改例12的操作。應該注意，由 于圖37所示的步驟S3701-3703和S3706分別與圖3所示的步驟S301-S303和S306相同，因此 省略對應的說明。
[0383] 在執行圖37所示的步驟S3701-S3703的處理之后，相對對應點尺度大小計算單元 204使用第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來計算尺 度關系。相對對應點方向計算單元1003基于第一方向信息的集合、第二方向信息的集合和 關于對應點的信息的集合來計算關于對應點的相對方向的信息（步驟S3704)。對應點選擇 單元3601基于關于對應點的相對尺度大小的信息的集合、關于對應點的相對方向的信息的 集合、關于第一坐標值的信息的集合、相對尺度大小的范圍、相對方向的范圍以及相對坐標 值的范圍來對特征點執行成簇，并基于成簇的結果選擇特征點（步驟S3705)。然后，處理前 進到圖37所示的步驟S3706。
[0384] (修改例12的有益效果）
[0385] 通過修改例12,可以得到類似于修改例11的有益效果。此外，由于僅對具有在相對 尺度大小范圍內的相對尺度大小信息的特征點、具有在相對方向范圍內的相對方向信息的 特征點和具有在相對坐標值范圍內的坐標值信息的特征點執行成簇，所以計算量可以小于 修改例11中的計算量。
[0386] [修改例13]
[0387] 現在參照圖38,將說明修改例13。圖38描繪了示出根據修改例13的圖像處理裝置 380的功能結構的框圖。參照圖38,圖像處理裝置380在結構上類似于圖34所示的圖像處理 裝置340,其中不同在于標準化相對對應點尺度大小計算單元601的結構以及操作。由于標 準化相對對應點尺度大小計算單元601的操作與示例性實施例14中的相同，因此為了簡化 不再詳細說明。
[0388] (修改例13的操作）
[0389] 將參照示出圖示操作的流程圖的圖39來詳細描述修改例13的操作。由于圖39所示 的步驟S3901-3903和S3906分別與圖3所示的步驟S301-S303和S306相同，因此省略對應的 說明。
[0390] 在執行圖39所示的步驟S3901-S3903的處理之后，標準化相對對應點尺度大小計 算單元601基于第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來 計算尺度關系。相對對應點方向計算單元1003基于第一方向信息的集合、第二方向信息的 集合和關于對應點的信息的集合來計算關于對應點的相對方向的信息（步驟S3904)。對應 點選擇單元3402基于關于對應點的相對尺度大小的信息的集合、關于對應點的相對方向的 信息的集合以及第一坐標值信息的集合來對特征點執行成簇，并基于成簇的結果選擇特征 點（步驟S3905)。然后，處理前進到圖39所示的步驟S3906。
[0391] (修改例13的有益效果）
[0392] 通過修改例13，可以得到類似于修改例11的有益效果。此外，在圖像之間正確匹配 的特征點之間的相對尺度大小被標準化的情況下，由此標準化的對應點的相對尺度大小變 得從一個拍攝主題到另一個拍攝主題是恒定的。因此，與修改例11相比，可以更精確地識別 拍攝主題。
[0393] [修改例14]
[0394] 現在參照圖40,將說明修改例14。圖40描繪了示出根據修改例14的圖像處理裝置 400的功能結構的框圖。參照圖40,圖像處理裝置400在結構上類似于圖38所示的圖像處理 裝置380,其中不同在于對應點選擇單元3601的結構以及操作。對應點選擇單元3601的操作 與示例性實施例12中的相同，因此這里為了簡化不再詳細說明。
[0395] (修改例14的操作）
[0396] 將參照示出圖示操作的流程圖的圖41來詳細描述修改例14的操作。由于圖41所示 的步驟S4101-S4103和S4106分別與圖3所示的步驟S301-S303和S306相同，因此省略對應的 說明。
[0397] 在執行圖41所示的步驟S4101-S4103的處理之后，標準化相對對應點尺度大小計 算單元601基于第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來 計算尺度關系。標準化相對對應點尺度大小計算單元601還例如基于拍攝主題的實際整體 大小或圖像大小對由此計算的尺度關系進行標準化。相對對應點方向計算單元1003使用第 一方向信息的集合、第二方向信息的集合和關于對應點的信息的集合來計算關于對應點的 相對方向的信息（步驟S4104)。對應點選擇單元3601使用關于對應點的標準化相對尺度大 小的信息的集合、關于對應點的相對方向的信息的集合、第一坐標值信息的集合、相對尺度 大小的范圍、相對方向的范圍以及相對坐標值的范圍來對特征點執行成簇，并基于成簇的 結果選擇特征點（步驟S4105)。然后，處理前進到圖41所示的步驟S4106。
[0398] (修改例14的有益效果）
[0399] 通過修改例14,可以得到類似于修改例13的有益效果。此外，僅對具有在相對尺度 大小范圍內的標準化相對尺度大小的特征點、具有在相對方向范圍內的方向信息的特征點 和在相對坐標值范圍內的特征點執行成簇。因此，計算量可以小于修改例13中的計算量。
[0400] [修改例15]
[0401]現在參照圖44,將說明修改例15。圖44描繪了示出根據修改例15的圖像處理裝置 440的功能結構的框圖。參照圖44,圖像處理裝置440在結構上類似于圖42所示的圖像處理 裝置420,其中不同在于對應點選擇單元4401的結構以及操作。
[0402]對應點選擇單元4401使用相對對應點尺度大小計算單元204輸出的關于對應點的 相對尺度大小的信息的集合、相對坐標值計算單元4202輸出的關于相對坐標值的信息的集 合以及相對坐標值的范圍來對特征點執行成簇。
[0403](修改例15的操作）
[0404]將參照示出圖示操作的流程圖的圖45來詳細描述修改例15的操作。由于圖45所示 的步驟S4501-S4503和S4506分別與圖3所示的步驟S301-S303和S306相同，因此省略對應的 說明。
[0405] 在執行圖45所示的步驟S4501-S4503的處理之后，相對對應點尺度大小計算單元 2 04計算對應點的相對尺度大小，同時相對對應點方向計算單元10 0 3計算對應點的相對方 向（步驟S4504)。相對坐標值計算單元4202使用關于對應點的相對尺度大小的信息的集合、 關于對應點的相對方向信的信息的集合、基準點的坐標值、第一坐標值信息的集合和第二 坐標值信息的集合來計算相對坐標值(步驟S4505)。對應點選擇單元4401基于關于對應點 的相對尺度大小的信息的集合、相對尺度大小的范圍、相對坐標值信息的集合和相對坐標 值的范圍來對特征點執行成簇，并基于成簇的結果選擇特征點（步驟S4506)。然后，處理前 進到圖45所示的步驟S4507。
[0406] 通過修改例15,可以得到類似于修改例7的有益效果。此外，僅對具有在相對尺度 大小值范圍內的相對尺度大小值的特征點和具有在相對坐標值范圍內的相對坐標值的特 征點執行成簇。因此，計算量可以小于修改例7中的計算量。
[0407] [修改例16]
[0408]現在參照圖46，將說明修改例16。圖46描繪了示出根據修改例16的圖像處理裝置 460的功能結構的框圖。參照圖46,圖像處理裝置460在結構上類似于圖42所示的圖像處理 裝置420,其中不同在于標準化相對對應點尺度大小計算單元601的結構以及操作。由于標 準化相對對應點尺度大小計算單元601的操作與示例性實施例14中的相同，因此這里為了 簡化不再詳細說明。
[0409] (修改例16的操作）
[0410] 將參照示出圖示操作的流程圖的圖47來詳細描述修改例16的操作。應該注意，由 于圖47所示的步驟S4701-S4703和S4707分別與圖3所示的步驟S301-S303和S306相同，因此 省略對應的說明。
[0411] 在執行圖47所示的步驟S4701-S4703的處理之后，標準化相對對應點尺度大小計 算單元601使用第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來 計算尺度關系，并且例如基于拍攝主題的實際大小或者圖像大小對如此計算的尺度關系進 行標準化。另一方面，相對對應點方向計算單元1003基于第一方向信息的集合、第二方向信 息的集合和關于對應點的信息的集合來計算關于對應點的相對方向的信息(步驟S4704)。 相對坐標值計算單元4202使用關于對應點的標準化相對尺度大小的信息的集合、關于對應 點的相對方向的信息的集合、基準點的坐標值、第一坐標值信息的集合和第二坐標值信息 的集合來計算相對坐標值(步驟S4705)。對應點選擇單元4203基于關于對應點的標準化相 對尺度大小的信息的集合、相對尺度大小的范圍、相對坐標值信息的集合和相對坐標值的 范圍來對特征點執行成簇，并基于成簇的結果選擇特征點（步驟S4706)。然后，處理前進到 圖47所示的步驟S4704。
[0412](修改例16的有益效果）
[0413] 通過修改例16,可以得到類似于示例性實施例7的有益效果。此外，在不同圖像之 間正確匹配的特征點之間的相對尺度大小被標準化的情況下，匹配尺度的相對尺度大小變 得從第一圖像中的一個拍攝主題到另一個拍攝主題是恒定的。從而，即使在修改例16中涉 及圖像之間大小不同的拍攝主題，其中使用對應點的標準化相對尺度大小值對特征點執行 成簇，與示例性實施例7相比，仍可以更精確地識別這些拍攝主題。
[0414] [修改例17]
[0415] 現在參照圖48，將說明修改例17。圖48是示出了根據本修改例的圖像處理裝置480 的功能結構的框圖。圖像處理裝置480在結構上類似于圖46所示的圖像處理裝置460,其中 不同在于對應點選擇單元4401的結構以及操作。由于對應點選擇單元4401的結構類似于修 改例16的對應部件，所以這里省略詳細說明。
[0416] (修改例17的操作）
[0417] 將參照示出圖示操作的流程圖的圖49來詳細描述修改例17的操作。由于圖49所示 的步驟S4901-S4903和S4907分別與圖3所示的步驟S301-S303和S306相同，因此為簡明起見 不再詳細說明。
[0418] 在執行圖49所示的步驟S4901-S4903的處理之后，標準化相對對應點尺度大小計 算單元601基于第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來 計算尺度關系。然后，標準化相對對應點尺度大小計算單元基于拍攝主題的圖像大小或其 實際大小來對如此計算的尺度關系進行標準化。相對對應點方向計算單元1003基于第一方 向信息的集合、第二方向信息的集合和關于對應點的信息的集合來計算關于對應點的相對 方向的信息（步驟S4904)。相對坐標值計算單元4202使用關于對應點的標準化相對尺度大 小的信息的集合、關于對應點的相對方向的信息的集合、基準點的坐標值、第一坐標值信息 的集合和第二坐標值信息的集合來計算相對坐標值(步驟S4905)。對應點選擇單元4401基 于關于對應點的相對尺度大小的信息的集合、相對尺度大小的范圍、關于相對坐標值的信 息的集合以及相對坐標值的范圍來對特征點執行成簇，并基于成簇的結果選擇特征點（步 驟S4906)。然后，處理前進到圖49所示的步驟S4907。
[0419](修改例17的有益效果）
[0420]通過修改例17，可以得到類似于示例性實施例15的有益效果。此外，由于對應點的 標準化相對尺度大小變得從第一圖像中的一個拍攝主題到另一個拍攝主題是恒定的，所以 可以通過基于對應點的標準化相對尺度大小值對特征點執行成簇來得到類似于修改例16 的有益效果。此外，在本示例性實施例中，僅對具有在相對尺度大小范圍內的相對尺度大小 值的特征點和具有在相對坐標值范圍內的相對坐標值的特征點執行成簇。因此，計算量可 以小于修改例16中的計算量。
[0421] [修改例18]
[0422] 將參照圖50說明修改例18，圖50示出了圖示根據修改例18的圖像處理裝置500的 功能結構的框圖。參照圖50,圖像處理裝置500在結構上類似于圖34所示的圖像處理裝置 340,其中不同在于第二局部特征值生成單元4201、相對坐標值計算單元4202和對應點選擇 單元5001的結構以及操作。第二局部特征值生成單元4201和相對坐標值計算單元4202的結 構和操作類似于修改例17使用的對應部件，因此這里為了簡化不再詳細說明。
[0423]對應點選擇單元5001使用相對坐標值計算單元4202輸出的相對坐標值信息的集 合和相對對應點方向計算單元1003輸出的關于對應點的相對方向的信息的集合來對特征 點執行成簇，并基于成簇的結果選擇特征點。
[0424] 將參照示出圖示操作的流程圖的圖51來詳細描述修改例18的操作。由于圖51所示 的步驟S5101-S5103和S5107分別與圖3所示的步驟S301-S303和S306相同，因此這里為了簡 化不再詳細說明。
[0425] 在執行圖51所示的步驟S5101-S5103的處理之后，相對對應點尺度大小計算單元 204基于第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來計算尺 度關系。相對對應點方向計算單元1003基于第一方向信息的集合、第二方向信息的集合和 關于對應點的信息的集合來計算關于對應點的相對方向的信息（步驟S5104)。相對坐標值 計算單元4202使用關于對應點的相對尺度大小的信息的集合、關于對應點的相對方向的信 息的集合、基準點的坐標值、第一坐標值信息的集合和第二坐標值信息的集合來計算相對 坐標值(步驟S5105)。對應點選擇單元5001基于關于對應點的相對方向的信息的集合和關 于相對坐標值的信息的集合來對特征點執行成簇，并基于成簇的結果選擇特征點（步驟 S5106)。然后，處理前進到圖51所示的步驟S5107。
[0426] (修改例18的有益效果）
[0427] 通過修改例18,可以得到類似于修改例11的有益效果。此外，在前進到成簇之前圍 繞拍攝主題的中心收集第一圖像的特征點，使得成簇精度可高于修改例11。從而，與修改例 11相比，可以更精確地識別圖像內的相同或相似拍攝主題。
[0428] [修改例19]
[0429] 將參照圖52說明修改例19，圖52示出了圖示根據修改例19的圖像處理裝置520的 功能結構的框圖。參照圖52,圖像處理裝置520在結構上類似于圖50所示的圖像處理裝置 500,其中不同在于對應點選擇單元5201的結構以及操作。
[0430]對應點選擇單元5201使用相對坐標值計算單元4202輸出的相對坐標值信息的集 合、相對坐標值的范圍、相對對應點方向計算單元100 3輸出的關于對應點的相對方向的信 息的集合和相對方向的范圍來對特征點執行成簇。
[0431] (修改例19的操作）
[0432] 將參照示出圖示操作的流程圖的圖53來詳細描述修改例19的操作。應該注意，由 于圖53所示的步驟S5301-S5303和S5307分別與圖3所示的步驟S301-S303和S306相同，因此 省略對應的說明。
[0433] 在執行圖53所示的步驟S5301-S5303的處理之后，相對對應點尺度大小計算單元 204基于第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來計算尺 度關系，同時相對對應點方向計算單元1003基于第一方向信息的集合、第二方向信息的集 合和關于對應點的信息的集合來計算關于對應點的相對方向的信息（步驟S5304)。相對坐 標值計算單元4202使用關于對應點的相對尺度大小的信息的集合、關于對應點的相對方向 的信息的集合、基準點的坐標值、第一坐標值信息的集合和第二坐標值信息的集合來計算 相對坐標值(步驟S5305)。對應點選擇單元5201基于關于對應點的相對方向的信息的集合、 相對坐標值信息的集合、相對方向的范圍和相對坐標值的范圍來對特征點執行成簇，并基 于成簇的結果選擇特征點（步驟S5306)。然后，處理前進到圖53所示的步驟S5307。
[0434] (修改例19的有益效果）
[0435] 通過修改例19，可以得到類似于修改例18的有益效果。此外，僅對具有在相對方向 范圍內的相對方向值的特征點和具有在相對坐標值范圍內的相對坐標值的特征點執行成 簇。因此，計算量可以小于修改例18中的計算量。
[0436] [修改例20]
[0437] 將參照圖54說明修改例20,圖54描繪了示出根據修改例20的圖像處理裝置540的 功能結構的框圖。參照圖54,圖像處理裝置540在結構上類似于圖42所示的圖像處理裝置 420,其中不同在于對應點選擇單元5401的結構以及操作。
[0438]對應點選擇單元5401使用相對坐標值計算單元4202輸出的關于相對坐標值的信 息的集合、相對對應點尺度大小計算單元204輸出的關于對應點的相對尺度大小的信息的 集合和相對對應點方向計算單元1003輸出的關于對應點的相對方向的信息的集合來對特 征點執行成簇。
[0439](修改例20的操作）
[0440]將參照示出圖示操作的流程圖的圖55來詳細描述修改例20的操作。應該注意，由 于圖55所示的步驟S5501-S5503和S5507分別與圖3所示的步驟S301-S303和S306相同，因此 省略對應的說明。
[0441 ] 在執行圖55所示的步驟S5501-S5503的處理之后，相對對應點尺度大小計算單元 204基于第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來計算尺 度關系，同時相對對應點方向計算單元1003基于第一方向信息的集合、第二方向信息的集 合和關于對應點的信息的集合來計算關于對應點的相對方向的信息（步驟S5504)。相對坐 標值計算單元4202使用關于對應點的相對尺度大小的信息的集合、關于對應點的相對方向 的信息的集合、基準點的坐標值、第一坐標值信息的集合和第二坐標值信息的集合來計算 相對坐標值(步驟S5505)。對應點選擇單元5401基于關于對應點的相對尺度大小的信息的 集合、關于對應點的相對方向的信息的集合以及相對坐標值信息的集合來對特征點執行成 簇，并基于成簇的結果選擇特征點（步驟S5506)。然后，處理前進到圖55所示的步驟S5507。
[0442] (修改例20的有益效果）
[0443] 通過修改例20,可以得到類似于示例性實施例7的有益效果。此外，圖像之間正確 匹配的特征點之間的相對方向變得從一個拍攝主題到另一個拍攝主題是恒定的，使得通過 基于關于對應點的相對方向的信息對特征點執行成簇，可以消除第一圖像的特征點與第二 圖像的特征點之間的錯誤匹配事件。因此，通過本示例性實施例，可以比示例性實施例7更 加精確地識別圖像中的相同或相似拍攝主題。
[0444] [修改例21]
[0445] 現在將參照圖56說明修改例21，圖56是示出了根據修改例21的圖像處理裝置560 的功能結構的框圖。參照圖56,圖像處理裝置560在結構上類似于圖54所示的圖像處理裝置 540,其中不同在于對應點選擇單元5601的結構以及操作。
[0446]對應點選擇單元5601使用相對坐標值計算單元4202輸出的關于相對坐標值的信 息的集合、輸出的相對坐標值的范圍、相對對應點尺度大小計算單元204輸出的關于對應點 的相對尺度大小的信息的集合、相對對應點方向計算單元1003輸出的關于對應點的相對方 向的信息的集合和相對方向的范圍來對特征點執行成簇。
[0447] (修改例21的操作）
[0448] 將參照示出圖示操作的流程圖的圖57來詳細描述修改例21的操作。應該注意，圖 57所示的步驟S5701-S5703和S5707分別與圖3所示的步驟S301-S303和S306相同，因此省略 這里的詳細說明。
[0449] 在執行圖57所示的步驟S5701-S5703的處理之后，相對對應點尺度大小計算單元 204基于第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來計算尺 度關系，同時相對對應點方向計算單元1003基于第一方向信息的集合、第二方向信息的集 合和關于對應點的信息的集合來計算關于對應點的相對方向的信息（步驟S5704)。相對坐 標值計算單元4202使用關于對應點的相對尺度大小的信息的集合、關于對應點的相對方向 的信息的集合、基準點的坐標值、第一坐標值信息的集合和第二坐標值信息的集合來計算 相對坐標值(步驟S5705)。對應點選擇單元5601基于關于對應點的相對尺度大小的信息的 集合、關于對應點的相對方向的信息的集合、相對坐標值信息的集合、相對尺度大小的范 圍、相對方向的范圍和相對坐標值的范圍來對特征點執行成簇，并基于成簇的結果選擇特 征點（步驟S5706)。然后，處理前進到圖57所示的步驟S5707。
[0450](修改例21的有益效果）
[0451] 通過修改例21，可以得到類似于修改例20的有益效果。此外，由于僅對在具有相對 尺度大小范圍內的相對尺度大小值的特征點、具有在相對方向范圍內的方向信息的特征點 和具有在相對坐標值范圍內的相對坐標值的特征點執行成簇，所以計算量可小于修改例20 中的計算量。
[0452] [修改例22]
[0453] 將參照圖58說明修改例22，圖58描繪了示出根據修改例22的圖像處理裝置580的 功能結構的框圖。參照圖58,圖像處理裝置580在結構上類似于圖54所示的圖像處理裝置 540,其中不同在于標準化相對對應點尺度大小計算單元601的結構以及操作。由于標準化 相對對應點尺度大小計算單元601的操作與修改例17中的相同，因此為了簡化不再詳細說 明。
[0454] (修改例22的操作）
[0455] 將參照示出圖示操作的流程圖的圖59來詳細描述修改例22的操作。應該注意，由 于圖59所示的步驟S5901-S5903和S5907分別與圖3所示的步驟S301-S303和S306相同，因此 省略對應的說明。
[0456] 在執行圖59所示的步驟S5901-S5903的處理之后，標準化相對對應點尺度大小計 算單元601基于第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來 計算尺度關系，并且基于拍攝主題的實際大小或圖像大小來對如此計算的尺度關系進行標 準化。相對相對對應點方向計算單元1003使用第一方向信息的集合、第二方向信息的集合 和關于對應點的信息的集合來計算關于對應點的相對方向的信息（步驟S5904)。相對坐標 值計算單元4202使用關于對應點的相對尺度大小的信息的集合、關于對應點的相對方向的 信息的集合、基準點的坐標值、第一坐標值信息的集合和第二坐標值信息的集合來計算相 對坐標值(步驟S5905)。對應點選擇單元5401基于關于對應點的相對尺度大小的信息的集 合、關于對應點的相對方向的信息的集合以及關于相對坐標值信息的集合來對特征點執行 成簇，并基于成簇的結果選擇特征點（步驟S5906)。然后，處理前進到圖59所示的步驟 S5907〇
[0457] (修改例22的有益效果）
[0458] 通過修改例22,可以得到類似于示例性實施例20的有益效果。此外，在不同圖像之 間正確匹配的特征點之間的相對尺度大小被標準化的情況下，匹配尺度相對尺度大小變得 從第一圖像中的一個拍攝主題到另一個拍攝主題是恒定的。從而，如果在修改例22中涉及 圖像之間大小不同的拍攝主題，其中基于對應點的標準化相對尺度大小值對特征點執行成 簇，可以比示例性實施例20更精確地識別拍攝主題。
[0459] [修改例23]
[0460]將參照圖60說明修改例23,圖60描繪了示出根據修改例23的圖像處理裝置600的 功能結構的框圖。參照圖60,圖像處理裝置600在結構上類似于圖58所示的圖像處理裝置 580,其中不同在于對應點選擇單元5601的結構以及操作。由于對應點選擇單元5602的操作 與修改例21中的相同，所以省略詳細說明。
[0461] (修改例23的操作）
[0462] 將參照示出圖示操作的流程圖的圖61來詳細描述修改例23的操作。應該注意，由 于圖61所示的步驟S6101-S6103和S6107分別與圖3所示的步驟S301-S303和S306相同，因此 省略對應的說明。
[0463] 在執行圖61所示的步驟S6101-S6103的處理之后，標準化相對對應點尺度大小計 算單元601基于第一尺度信息的集合、第二尺度信息的集合和關于對應點的信息的集合來 計算尺度關系，并且使用拍攝主題的實際大小或圖像大小等對計算的尺度關系進行標準 化。相對對應點方向計算單元1003基于第一方向信息的集合、第二方向信息的集合和關于 對應點的信息的集合來計算關于對應點的相對方向的信息（步驟S6104)。相對坐標值計算 單元4202使用關于對應點的相對尺度大小的信息的集合、關于對應點的相對方向的信息的 集合、基準點的坐標值、第一坐標值信息的集合和第二坐標值信息的集合來計算相對坐標 值(步驟S6105)。對應點選擇單元5601基于關于對應點的相對尺度大小的信息的集合、關于 對應點的相對方向的信息的集合、關于相對坐標值信息的集合、相對尺度大小的范圍、相對 方向的范圍和相對坐標值的范圍來對特征點執行成簇，并基于成簇的結果選擇特征點（步 驟S6106)。然后，處理前進到圖61所示的步驟S6107。
[0464] (修改例23的有益效果）
[0465] 通過修改例23,可以得到類似于示例性實施例22的有益效果。此外，僅對具有在相 對尺度大小范圍內的相對尺度大小的特征點、具有在相對方向范圍內的相對方向信息的特 征點和具有在相對坐標值范圍內的相對坐標值的特征點執行成簇。因此，計算量可小于修 改例22中的計算量。
[0466] 上面描述的示例性實施例的部分或所有可表示為如下方式，但不限于此。
[0467] [方式 1]
[0468] 方式1與根據第一方面的圖像處理裝置相同。
[0469] [方式 2]
[0470] 一種圖像處理裝置，包括：
[0471]第一局部特征值生成單元，從第一圖像檢測第一特征點中的一個或多個第一特征 點，并且從包括所檢測的每一個第一特征點的預設范圍的區域計算與每個第一特征點對應 的關于第一局部特征值的信息的集合；
[0472] 對應點計算單元，計算第一特征點與包含在從第二圖像中計算的關于第二局部特 征值的信息的集合中的第二特征點之間的對應關系作為關于對應點的信息；
[0473] 相對對應點方向計算單元，基于關于第一局部特征值的信息的集合、關于第二局 部特征值的信息的集合和關于對應點的信息來計算第一特征點的方向與第二特征點的方 向之間的關系作為關于對應點的相對方向的信息；
[0474] 對應點選擇單元，基于關于對應點的相對方向的信息來對第一特征點和第二特征 點中的至少一種執行成簇，并且基于成簇的結果選擇至少一個特征點；以及
[0475] 判定單元，基于由對應點選擇單元選擇的特征點，逐簇地將第一圖像與第二圖像 相互比較，并且判定可能的拍攝主題的相同性。
[0476] [方式 3]
[0477] 根據方式1的圖像處理裝置，其中，相對對應點信息計算單元對關于對應點的相對 尺度大小的信息進行標準化。
[0478] [方式 4]
[0479] 根據方式1至3中任一項的圖像處理裝置，其中，對應點選擇單元基于相對對應點 信息和第一特征點的坐標值來對第一特征點執行成簇。
[0480] [方式 5]
[0481] 根據方式1至4中任一項的圖像處理裝置，其中，對應點選擇單元生成將所選特征 點的關于對應點的信息與簇信息中的一個或多個簇信息彼此相關聯的選擇信息。
[0482] [方式 6]
[0483] 根據方式1至5中任一項的圖像處理裝置，還包括:相對坐標值計算單元，從第二圖 像中選擇基準點，并基于第一特征點、第二特征點和相對對應點信息來計算第一特征點和 基準點之間的關系作為相對坐標信息。
[0484] [方式 7]
[0485] 根據方式1至6中任一項的圖像處理裝置，其中，對應點選擇單元基于相對對應點 信息和相對對應點信息的預設范圍來對第一特征點和第二特征點中的至少一種執行成簇。
[0486] [方式 8]
[0487] 方式8與根據第二方面的拍攝主題識別方法相同。
[0488] [方式 9]
[0489] -種用于識別拍攝主題的方法，包括以下步驟：
[0490] 從第一圖像檢測第一特征點中的一個或多個第一特征點，并且從包括所檢測的每 一個第一特征點的預設范圍的區域計算與每個第一特征點對應的關于第一局部特征值的 信息的集合；
[0491] 計算第一特征點與包含在從第二圖像中計算的關于第二局部特征值的信息的集 合中的第二特征點之間的對應關系作為關于對應點的信息；
[0492] 基于關于第一局部特征值的信息的集合、關于第二局部特征值的信息的集合和關 于對應點的信息來計算第一特征點的方向與第二特征點的方向之間的關系作為關于對應 點的相對方向的信息；
[0493] 基于關于對應點的相對方向的信息對第一特征點和第二特征點中的至少一種執 行成簇，并且基于成簇的結果選擇至少一個特征點；以及
[0494] 基于所選擇的特征點，逐簇地將第一圖像與第二圖像相互比較，并且判定可能的 拍攝主題的相同性。
[0495] [方式 10]
[0496]方式10與根據第三方面的程序相同。
[0497][方式11]
[0498] 一種程序，使控制圖像處理裝置的計算機執行以下處理：
[0499] 從第一圖像檢測第一特征點中的一個或多個第一特征點，并且從包括所檢測的每 一個第一特征點的預設范圍的區域計算與每個第一特征點對應的關于第一局部特征值的 信息的集合；
[0500] 計算第一特征點與包含在從第二圖像中計算的關于第二局部特征值的信息的集 合中的第二特征點之間的對應關系作為關于對應點的信息；
[0501] 基于關于第一局部特征值的信息的集合、關于第二局部特征值的信息的集合和關 于對應點的信息來計算第一特征點的方向與第二特征點的方向之間的關系作為關于對應 點的相對方向的信息；
[0502] 基于關于對應點的相對方向的信息對第一特征點和第二特征點中的至少一種執 行成簇，并且基于成簇的結果選擇至少一個特征點；以及
[0503]基于所選擇的特征點，逐簇地將第一圖像與第二圖像相互比較，并且判定可能的 拍攝主題的相同性。
[0504] 上面引用的專利文獻的公開內容將通過參考結合于此。應該注意，基于本發明的 基本教導概念，可以在包括權利要求的本發明的公開概念內修改或調整示例性實施例和實 例。在本發明的公開范圍內可以實現所公開元件的多種組合或選擇，包括權利要求的元件、 實例或示例性實施例和附圖。應該理解，本發明可以包括各種變化和修改，本領域技術人員 根據包括權利要求和發明的教導概念的公開可以實現這些變化和修改。具體地，即使沒有 明確的表述，也可以具體地規定任何任選的數位或者包含在本文闡述的數值范圍中的子范 圍。
[0505] 參考標號列表
[0506] 10、20、40、60、80、100、120、140、160、180、200、220、240、260、280、300、320、340、 360、380、400、420、440、460、480、500、520、540、560、580、600 圖像處理裝置
[0507] 11第一局部特征值生成單元
[0508] 13對應點計算單元
[0509] 14相對對應點尺度大小計算單元
[0510] 15對應點選擇單元
[0511] 16判定單元
[0512] 101、201、1001、1401、2201、3001、3401 第一局部特征值生成單元
[0513] 102、202、1002、1402、4201第二局部特征值生成單元
[0514] 103、203對應點計算單元
[0515] 104、206 判定單元
[0516] 204相對對應點尺度大小計算單元
[0517] 205、401、1004、1201、1403、1601、2202、2401、3002、3201、3402、3601、4203、4401、 5001、5201、5401、5601對應點選擇單元
[0518] 601標準化相對對應點尺度大小計算單元
[0519] 1003相對對應點方向計算單元
[0520] 4202相對坐標值計算單元
[0521] 10001、10002、10011、10012 圖像
【主權項】
1. 一種圖像處理裝置，包括： 第一局部特征值生成單元，所述第一局部特征值生成單元從第一圖像檢測第一特征點 中的一個或多個第一特征點，并且從包括所檢測的每個第一特征點的預設范圍的區域計算 與每個第一特征點對應的關于第一局部特征值的信息的集合； 對應點計算單元，所述對應點計算單元計算所述第一特征點與第二特征點之間的對應 關系作為關于對應點的信息，所述第二特征點被包含在從第二圖像計算的關于第二局部特 征值的信息的集合中； 相對對應點尺度大小計算單元，所述相對對應點尺度大小計算單元基于所述關于第一 局部特征值的信息的集合、所述關于第二局部特征值的信息的集合和所述關于對應點的信 息來計算所述第一特征點的尺度與所述第二特征點的尺度之間的關系作為關于對應點的 相對尺度大小的信息； 對應點選擇單元，所述對應點選擇單元基于所述關于對應點的相對尺度大小的信息對 所述第一特征點和所述第二特征點中的至少一種執行成簇，并且基于所述成簇的結果選擇 至少一個特征點；以及 判定單元，所述判定單元基于由所述對應點選擇單元選擇的特征點，逐簇地將所述第 一圖像與所述第二圖像相互比較，并且判定可能的拍攝主題的相同性。2. -種圖像處理裝置，包括： 第一局部特征值生成單元，所述第一局部特征值生成單元從第一圖像檢測第一特征點 中的一個或多個第一特征點，并且從包括所檢測的每個第一特征點的預設范圍的區域計算 與每個第一特征點對應的關于第一局部特征值的信息的集合； 對應點計算單元，所述對應點計算單元計算所述第一特征點與第二特征點之間的對應 關系作為關于對應點的信息，所述第二特征點被包含在從第二圖像計算的關于第二局部特 征值的信息的集合中； 相對對應點方向計算單元，所述相對對應點方向計算單元基于所述關于第一局部特征 值的信息的集合、所述關于第二局部特征值的信息的集合和所述關于對應點的信息來計算 所述第一特征點的方向與所述第二特征點的方向之間的關系作為關于對應點的相對方向 的信息； 對應點選擇單元，所述對應點選擇單元基于所述關于對應點的相對方向的信息對所述 第一特征點和所述第二特征點中的至少一種執行成簇，并且基于所述成簇的結果選擇至少 一個特征點；以及 判定單元，所述判定單元基于由所述對應點選擇單元選擇的特征點，逐簇地將所述第 一圖像與所述第二圖像相互比較，并且判定可能的拍攝主題的相同性。3. 根據權利要求1所述的圖像處理裝置，其中， 所述相對對應點信息計算單元對所述關于對應點的相對尺度大小的信息進行標準化。4. 根據權利要求1至3中任一項所述的圖像處理裝置，其中， 所述對應點選擇單元基于所述相對對應點信息和所述第一特征點的坐標值來對所述 第一特征點執行成簇。5. 根據權利要求1至4中任一項所述的圖像處理裝置，其中， 所述對應點選擇單元生成將所選擇的特征點的所述關于對應點的信息與簇信息中的 一個或多個簇信息彼此相關聯的選擇信息。6. 根據權利要求1至5中任一項所述的圖像處理裝置，還包括： 相對坐標值計算單元，所述相對坐標值計算單元從所述第二圖像選擇基準點，并基于 所述第一特征點、第二特征點和所述相對對應點信息來計算所述第一特征點和所述基準點 之間的關系作為相對坐標信息。7. 根據權利要求1至6中任一項所述的圖像處理裝置，其中， 所述對應點選擇單元基于所述相對對應點信息和所述相對對應點信息的預設范圍來 對所述第一特征點和所述第二特征點中的至少一種執行成簇。8. -種用于識別拍攝主題的方法，包括以下步驟： 從第一圖像檢測第一局部特征點中的一個或多個第一局部特征點，從包括所檢測的每 個第一特征點的預設范圍的區域計算與每個第一特征點對應的關于第一局部特征值的信 息的集合； 計算所述第一特征點與第二特征點之間的對應關系作為關于對應點的信息，所述第二 特征點被包含在從第二圖像計算的關于第二局部特征值的信息的集合中； 基于所述關于第一局部特征值的信息的集合、所述關于第二局部特征值的信息的集合 和所述關于對應點的信息來計算所述第一特征點的尺度與所述第二特征點的尺度之間的 關系作為關于對應點的相對尺度大小的信息； 基于所述關于對應點的相對尺度大小的信息對所述第一特征點和所述第二特征點中 的至少一種執行成簇，并且基于所述成簇的結果選擇至少一個特征點；以及 基于所選擇的特征點，逐簇地將所述第一圖像與所述第二圖像相互比較，并且判定可 能的拍攝主題的相同性。9. 一種用于識別拍攝主題的方法，包括以下步驟： 從第一圖像檢測第一局部特征點中的一個或多個第一局部特征點，從包括所檢測的每 個第一特征點的預設范圍的區域計算與每個第一特征點對應的關于第一局部特征值的信 息的集合； 計算所述第一特征點與第二特征點之間的對應關系作為關于對應點的信息，所述第二 特征點被包含在從第二圖像計算的關于第二局部特征值的信息的集合中； 基于所述關于第一局部特征值的信息的集合、所述關于第二局部特征值的信息的集合 和所述關于對應點的信息來計算所述第一特征點的方向與所述第二特征點的方向之間的 關系作為關于對應點的相對方向的信息； 基于所述關于對應點的相對方向的信息對所述第一特征點和所述第二特征點中的至 少一種執行成簇，并且基于所述成簇的結果選擇至少一個特征點；以及 基于所選擇的特征點，逐簇地將所述第一圖像與所述第二圖像相互比較，并且判定可 能的拍攝主題的相同性。10. -種程序，所述程序使得控制圖像處理裝置的計算機執行以下處理： 從第一圖像檢測第一特征點中的一個或多個第一特征點，從包括所檢測的每個第一特 征點的預設范圍的區域計算與每個第一特征點對應的關于第一局部特征值的信息的集合； 計算所述第一特征點與第二特征點之間的對應關系作為關于對應點的信息，所述第二 特征點被包含在從第二圖像計算的關于第二局部特征值的信息的集合中； 基于所述關于第一局部特征值的信息的集合、所述關于第二局部特征值的信息的集合 和所述關于對應點的信息來計算所述第一特征點的尺度與所述第二特征點的尺度之間的 關系作為關于對應點的相對尺度大小的信息； 基于所述關于對應點的相對尺度大小的信息對所述第一特征點和所述第二特征點中 的至少一種執行成簇，并且基于所述成簇的結果選擇至少一個特征點；以及 基于所選擇的特征點，逐簇地將所述第一圖像與所述第二圖像相互比較，判定可能的 拍攝主題的相同性。
【文檔編號】G06T7/00GK105849776SQ201480071107
【公開日】2016年8月10日
【申請日】2014年12月25日
【發明人】包蕊寒, 比嘉恭太
【申請人】日本電氣株式會社