專利名稱：用于檢索和比較圖像的方法和裝置的制作方法
技術領域：
本發明是針對一種用于搜索和比較圖像的方法和裝置，更具體地是針對一種用于把一個或多個參考圖像與一個或多個本地或遠端位置的候選圖像進行比較的方法和裝置。
許多公司使用或開發圖像或圖形文件的數據庫。可以在中心或遠程地定位這些數據庫。例如，一個公司可以保存或保持與該公司開發并銷售的產品的制造、裝配以及維修有關的圖表或其它圖像的一個數據庫。作為另外一個例子，一個公司可以存儲這家公司具有可用于出售或出租的藝術品海報、繪畫、古董不動產等等的圖片或圖像。尋找一個具體圖象的人們或者試圖在他們可以創建或提供的圖象與數據庫中的攝像之間查找匹配的人們經常檢索這些圖像數據庫。用戶可以從一臺計算機、終端或其它客戶機設備(其可以本地或直接地連接到該數據庫服務器或者它可以通過一個局域或廣域計算機或其它通信網遠程地連接到該數據庫服務器)接入該數據庫服務器。可是，經常，通過圖像數據庫快速檢索或把用戶提供的圖像與圖像數據庫中的圖像有效地比較的能力上的缺陷顯著地降低了圖像數據庫的功用。
互聯網和環球網的發展已經創建了可被用戶利用一個啟用瀏覽器計算機、終端或其它客戶機設備進行訪問的網站增殖。互聯網和環球網擔當著一個大且連續發展的圖像文件存儲處或分布式數據庫。不幸的是，互聯網與環球網的迅速發展也已經導致許多圖像的未經認可且非法的使用、拷貝、操作、修改以及散布并且已經增加了盜印軟件文件、音樂聲音文件、文本文件以及其它數字或電子文件和形象的能力。
一旦一個圖像數據庫或存儲處被創建，則常常希望為了一個具體的圖像檢索該數據庫或者把數據庫中的圖像(在這里是指候選圖像)與用戶、設備、軟件應用等等所提供的其它圖像(常常是指參考圖像)進行比較。候選圖像可能中心地位于一個或多個圖像數據庫中。可替代地，可以以一種分布式的方式把圖像例如儲存在連接到環球網上的很多網站上。無論候選圖像位于哪里或者如何儲存，用戶都期望找出這些候選圖像并且把它們與用戶提供的參考圖像比較一下。
關心它的軟件文件、音樂或聲音文件、文本文件和其它數字或電子文件或圖像已經被不法使用或粘貼在一個或多個網站上的人或公司可能為了這些不法使用或粘貼或拷貝文件想搜索環球網以及粘貼和存儲它們的那些網站。例如，沃特.狄斯尼公司可能關心它自己的卡通人物圖像，例如唐老鴨或米老鼠未經許可已經被使用或粘貼在一個網站上。因此，沃特.狄斯尼公司可能要檢索環球網尋找這些圖像。另外一個公司，例如Microsoft公司，關心它的一個軟件程序已經被不法拷貝到通過環球網可訪問的一個網站上，則它可能想搜索環球網尋找該軟件程序的不法粘貼拷貝。
不幸的是，把兩個圖像或兩個數字文件進行比較可能是一個非常消耗時間的過程。因此，盡管有圖像和模式識別中的尖端技術，這里依然需要一種有效的裝置和方法來搜索一個或多個候選圖像并把這些候選圖像與一個或多個參考圖像進行比較。優選地，圖像對比將識別并發現候選圖像中呈現的模型而不管候選圖像中模型的比例、形狀、旋轉或轉換。另外，該裝置和方法將最好允許從圖像的集中和/或分布式數據庫或倉庫中檢索候選圖像用于與參考圖像比較。
本發明的另外一個目的是提供一種用于把參考圖像與候選圖像進行比較的方法和裝置。
本發明的進一步目的是提供一種方法和裝置，用于把儲存在一個或多個集中或分布式圖像數據庫中的圖像與用戶或客戶機設備創建、選擇、識別或提供的一個或多個參考圖像進行比較。
本發明的另外一個目的是提供一種用于有效比較聲音和音樂文件、軟件文件、文本文件、圖形文件以及其它圖像的方法和裝置。
本發明的另外一個目的是提供一種方法和裝置，用于搜索并尋找盜印的、非法的或其他未經認可的聲音和音樂文件、軟件文件、文本文件、圖形文件以及圖像的拷貝。
本發明的進一步目的是提供一種方法和裝置，用于搜索具有選定的或理想的質地、顏色、形狀、大小等等的圖像。
本發明另外的目的、優點和新特征將在隨后的說明書中部分地闡明，并且對本領域的技術人員來說在參閱下列之后各部分將變得顯而易見或者可以通過本發明的實踐中獲悉。以上的和優點可以通過實施本發明得到并且特別地聯合在附加權利要求中被指出。
為了獲得前述的和其它目的并按照本發明的目的，正如在此處具體表達和明白地描述的一樣，用于使用戶能夠比較一個或多個圖像的方法包括產生一個或多個參考圖像；產生一個或多個候選圖像；利用光學相關來把一個或多個參考圖像與一個或多個候選圖像進行比較；并把比較結果提供給用戶。
為了進一步獲得前述的和其它目的并按照本發明的目的，正如在此處具體表達和明白地描述的一樣，用于使用戶能夠搜索可能儲存在一個或多個網站中或上的一個或多個圖像的方法包括產生一個或多個參考圖像；搜索一個或多個網站以便尋找一個或多個候選圖像；從一個或多個網站中取得或下載一個或多個候選圖像；和把一個或多個候選圖像與一個或多個參考圖像進行比較。
還是為了獲得前述的和其它目的并按照本發明的目的，正如在此處具體表達和明白地描述的一樣，用于使用戶能夠比較一個或多個圖像的裝置包括用于產生一個或多個參考圖像的裝置；用于產生一個或多個候選圖像的裝置；用于把一個或多個參考圖像與一個或多個候選圖像進行比較的光學相關裝置；和用于把比較結果提供給用戶的裝置。
還是為了獲得前述的和其它目的并按照本發明的目的，正如在此處具體表達和明白地描述的一樣，一種制造的項目包括一臺計算機可用介質，具有嵌入其中的用于比較圖像的一個計算機可讀程序代碼裝置，在所述制造項目中的計算機可讀程序代碼裝置包括用于產生一個或多個參考圖像的裝置；用于產生一個或多個候選圖像的裝置；用于把一個或多個參考與一個或多個候選圖像進行比較的裝置；和用于把比較結果提供給用戶的裝置。
還是為了獲得前述的和其它目的并按照本發明的目的，正如在此處具體表達和明白地描述的一樣，一種機器可讀的程序存儲設備，明白地具體表達了可由機器執行的指令程序以便完成用于比較圖像的一種方法，該方法包括產生一個或多個參考圖像；產生一個或多個候選圖像；利用光學相關來把一個或多個參考與一個或多個候選圖像進行比較；并把比較結果提供給用戶。
還是為了獲得前述的和其它目的并按照本發明的目的，正如在此處具體表達和明白地描述的一樣，一種用于使用戶或設備能夠比較一個或多個圖像的方法包括產生一個參考圖像；產生一個候選圖像；創建所述參考圖像的一個較低分辯率版本；創建所述候選圖像的一個較低分辯率版本；和把所述參考圖像的所述較低分辯率版本與所述候選圖像的所述較低分辯率版本進行比較。
還是為了獲得前述的和其它目的并按照本發明的目的，正如在此處具體表達和明白地描述的一樣，一種用于使用戶能夠搜索可能儲存在一個或多個網站中或上的一個或多個圖像的裝置包括用于產生一個或多個參考圖像的裝置；用于搜索一個或多個網站以便尋找一個或多個候選圖像的裝置；用于從所述一個或多個網站中取得或下載一個或多個候選圖像的裝置；和用于把一個或多個候選圖像與一個或多個參考圖像進行比較的裝置。
還是為了獲得前述的和其它目的并按照本發明的目的，正如在此處具體表達和明白地描述的一樣，一種用于使用戶或設備能夠比較一個或多個圖像的裝置包括用于產生一個參考圖像的裝置；用于產生一個候選圖像的裝置；用于創建所述參考圖像的一個較低分辯率版本的裝置；用于創建所述候選圖像的一個較低分辯率版本的裝置；和用于把所述參考圖像的所述較低分辯率版本與所述候選圖像的所述較低分辯率版本進行比較的裝置。
結合在說明書中并形成說明書一部分的所述附圖，說明了本發明的優選實施例，并且和說明書一起來解釋本發明的原理。
圖1是按照本發明的原理的一種方法的第一實施例的總流程圖；圖2是可以使用圖1方法的一種系統的方框圖表示；圖3是利用圖1的方法可被使用的一種典型的參考圖像；圖4是可以與圖3的參考圖像進行比較的一種典型的候選圖像；圖5是可以與圖4的參考圖像進行比較的另外一個典型的候選圖像；圖6是可以與圖4的參考圖像進行比較的另外一個典型的候選圖像；圖7是利用空間光調制器的一種典型的光學相關系統的方框圖，其可與圖1的方法一起使用；圖8是可以與圖4的參考圖像進行比較的另外一種典型的候選圖像；圖9是可以與圖4的參考圖像進行比較的另外一個典型的候選圖像；圖11是圖1方法的一種替換實現；圖12是圖1方法的另外一個替換實現；圖13是按照本發明原理的一種方法的第二實施例的總流程圖；圖14是利用空間光調制器的一種典型的光學系統的方框圖，其可與圖13的方法一起使用；圖15是利用圖14的光學系統能被使用的一種典型的參考圖像；圖16是由圖15的空間光調制器形成的掩模(mask)和圖像的一個放大的典型視圖，——沿著圖14的線16-16所獲得；圖17是由圖15的空間光調制器形成的掩模和圖像的另外一個放大的典型視圖，——也是沿著圖14的線16-16所獲得；圖18是當掩模的選定單元被設置為防止光經過它們時圖17的掩模和圖像的一個典型視圖；圖19是當掩模的選定單元被設置為防止光經過它們時圖17的掩模和圖像的另外一個典型視圖；圖20是利用圖14的光學系統所使用的像素、傳感器、光電二極管或CCD的檢測器或光電二極管設備的一個配置；和圖21是利用圖14的光學系統所使用的像素、傳感器、光電二極管或CCD的檢測器或光電二極管設備的另外一個配置。
最佳實施方式按照本發明的方法的第一實施例100在附圖1中被說明并且包括步驟102，其中，用戶、計算機、可應用的或其它的設備創建、識別、選擇、提供或者另外產生一個或多個參考、濾除或檢索該用戶、計算機或其它設備想要檢索的圖像；步驟104，其中，一個或多個候選或目標圖像被取得或者另外被提供或產生，其要與在步驟102期間由用戶、計算機、可應用的或其它設備所產生的一個或多個參考圖像進行比較；步驟106，把一個或多個候選圖像與一個或多個參考圖像進行比較；和步驟108，向用戶、計算機、軟件應用或其它設備指示或提供在步驟108期間操作的在參考圖像和候選圖像之間的比較結果以及在步驟106期間比較的一個或多個候選圖像和一個或多個參考圖像之間相關或匹配的程度。在下面將更詳細地討論方法100和步驟102，104，106，108的每一個。
方法100的一個顯著優勢是方法100允許有效且相對高速地比較一個或多個參考圖像與一個或多個候選圖像。另外，候選圖像可以位于一個或多個集中的或分布式的應用服務器、數據庫服務器、網站服務器或其它設備上或中。最好利用光學處理技術來執行在步驟106期間參考圖像與候選圖像的比較。在方法100中，更明確地，最好利用光學相關和空間光調制器來執行一個或多個參考圖像與一個或多個候選圖像的比較。正如在下面將更詳細地討論的一樣，一個空間光調制器可以允許在很短一段時間中創建一系列圖像并且空間光調制器可用于在一個光學相關系統中創建參考圖像與候選圖像。光學相關允許利用空間光調制器所產生的候選圖像和參考圖像有效并通常實時地進行比較，即使該候選圖像和參考圖像是以不同的格式被儲存，即，GIF，JPEG，BMP，TIF等等。
方法100的另外一個顯著優點是術語″圖像″被非常寬泛地解釋并且不但包括圖形、圖片和其它標準的圖示文件，而且包括軟件文件、文本文件、音樂和聲音文件等等。即，由于任何信息或數據的數字文件本質上都是一系列0和1，所以數字文件可以被作為方法100目的的一個圖像來對待，而不管該數字文件是否是一個圖形圖像、一個文本文件、一個音樂或聲音文件、一個軟件程序等等。因此，方法100提供并明確打算搜索并比較候選圖像與參考圖像，其中，候選圖像和參考圖像表示軟件文件、文本文件、音樂和聲音文件、圖形等等。
一種典型計算機或通信網或配置200(在其中或在其上可以使用方法100)在圖2中被說明并且包括一個中央計算機、控制器、終端或其它客戶機設備或被本地連接到一個或多個數據庫業務、應用服務器上的計算機系統202、或者在其上儲存了圖像數據庫或倉庫的一個或多個圖像的存儲設備204、205。另外，通過計算機網絡208，客戶機設備202也被連接或可連接到其它數據庫服務器、應用服務器、或者圖像倉庫206、207。客戶機設備202也可以連接或可連接到諸如圖像存儲設備210之類的其它本地設備和/或連接到諸如網站212，214，214，214(在其上或在其中可以儲存或使用一個或多個圖像)之類的其它遠程服務器或設備上。客戶機設備也被連接到一個光學相關系統220上，在其中或在其上可以進行參考圖像或候選圖像之間的比較。為了解釋而不是限制方法100的目的，客戶機設備202將被討論為與數據庫和/或應用服務器204，205，207，208、圖像存儲設備210、網站212，214，216，218以及光學相關系統220分離并且不同。可是，客戶機設備202還可以與一個或多個數據庫和/或應用服務器204，205、圖像存儲設備210或光學相關系統220相結合并且方法100不應該被解釋為阻止這些可能性。另外，客戶機設備202還可以起到一個數據庫服務器、網站或其它設備的作用，其可通過計算機網絡208從網站、服務器以及諸如客戶機設備222之類的客戶機設備來訪問。而且，客戶機設備202可以允許遠程用戶訪問該客戶機設備202以便允許由客戶機設備202為用戶執行或協調方法100中的一些或所有步驟。
在客戶機設備202和數據庫服務器204，205、圖像存儲設備210以及光學相關系統220之間的本地連接可以通過直接連接、撥叫式連接、局域網、無線或蜂窩網絡等等來執行，并且，在客戶機設備202如何與數據庫服務器204，205，207，208、圖像存儲設備210、網站212，214，216，218、光學相關系統220或客戶機設備222進行通信以及如何與它們連接方面，在此公開的方法都不應該以任何方式被限制。
現在返回來參考圖1，現在將相對于圖2中說明的系統配置200來更詳細地討論方法100。正如先前討論的，在步驟102期間，一個用戶、計算機、應用或其它設備最好通過創建、提供、或選擇用戶、計算機或其它設備在搜索中感興趣的一個或多個圖像來產生一個或多個參考圖像。正如本發明所想，一個用戶通常將利用客戶機設備202或客戶機設備222來操作這樣一個步驟。
在步驟102期間，其中，一個用戶、計算機、應用、或其它設備產生一個或多個參考圖像或源圖像，該用戶、計算機或其它設備可以提供具體的圖像或圖片給用戶、計算機、應用或其它設備感興趣的客戶機設備202或客戶機設備222，用戶可以利用存在于客戶機設備202或客戶機設備222上繪圖、圖示、插圖、掃描或其它軟件來創建圖像，和/或用戶、計算機、應用或其它設備可以從由客戶機設備202或客戶機設備222提供的圖像中選擇。在步驟102期間可以產生或提供一個以上的參考圖像并且參考圖像的顏色、形狀、大小、質地等等可以不同。因此，例如，在步驟102期間一個用戶可以創建、提供或選擇包括用戶正在尋找的形狀的一個或多個參考圖像、包括用戶正在尋找的形狀和顏色的一個或多個參考圖像、以及包括用戶正在尋找的形狀、顏色和質地的一個或多個參考圖像。作為另外一個例子，在步驟102期間一個用戶可以產生鴨子、建筑規劃、坦克、設計圖表、車輛、車庫、噴氣發動機、嫌疑犯照片等等基本的或通常的參考圖像并且用戶可能對找出類似的候選圖像感興趣。作為第三個例子，對尋找沃特.狄斯尼人物圖像感興趣的一個用戶可以在步驟102期間產生一個或多個不同的米老鼠或唐老鴨的圖像。
為了在步驟102期間產生參考圖像，用戶可以利用本領域熟知的常規軟件來合并制圖。例如，繪制一個圓周，首先點擊表示圓周的一個制標然后″點擊并拖曳″電腦鼠標使得改變圓周的大小。通過用具有類似于在候選圖像中搜索內容的一個圖象并裁剪該圖像以使從整個圖像中略去多余的內容，用戶也可以創建一個參考圖像。通過選擇這些圖像成分并利用邏輯或布爾函數或操作符來把這些成分合并到單個圖像中，用戶可以邏輯上合并多個像素；例如，(鴨子)與(池塘)以及(多云的天空)。
雖然前面的討論已經集中注意力在用戶產生一個或多個參考圖像上，應當指出，沒有用戶，即沒有人類的干預也可以創建、選擇、提供或者產生該參考圖像。也就是說，方法100不需要任何具體的創建、選擇、提供或者產生參考圖像的方法并且明確期望方法100允許在步驟102期間的參考圖像和在步驟104期間，候選圖像電子的、自動的、協助的或者計算機化的產生。
一旦一個或多個參考圖像在步驟102期間被創建、提供、選擇或者產生，則在步驟106期間要與該參考圖像進行比較的一個或多個候選圖像在步驟104期間被提供或者產生。客戶機設備202或者存在并操作在客戶機設備202上的一種應用可以從一個或多個圖像源或數據庫中取得或提供候選圖像。例如，客戶機設備202可以從一個或多個數據庫服務器204，205，206，207和/或圖像存儲設備2 10中取得一個或多個候選圖像。
可替代地，或者另外，為了從一個或多個數據庫服務器204，205，206，207和/或圖像存儲設備210中取得一個或多個候選圖像，控制器或者客戶機設備202或者另外一個應用或設備可以使用存在并操作在客戶機設備202上的瀏覽器或其它軟件來從一個或多個網站212，214，216，218中取得或下載一個或多個候選圖像。該用戶、應用或客戶機設備202可以選擇具體的網站來查看或開始，或者客戶機設備可以開始對一些或所有網站的隨機系統搜索。
總的來說，在諸如客戶機設備202之類的一個客戶機設備和通過環球網可從或利用客戶機設備進行訪問的一個網站服務器(例如網站212)之間通信是可能的，這是為實現此種通信所建立的協定和協議的結果。更明確地，傳輸控制協議/因特網協議(TCP/IP)、文件傳送協議(FTP)、超級文本傳送協議(HTTP)以及超級文本標記語言(HTML)允許客戶機設備和支持或遵循這些協議或協定的網站之間的通信。在此類通信期間，通過存在并操作在客戶機設備202上的瀏覽器或其它專門化軟件與網站服務器上的軟件聯合工作，可以從網站取得或下載HTML適應文件、圖像、數字文件等等。因此，在步驟104期間可以從一個或多個網站中取得或下載一個或多個候選圖像用于與在步驟102期間創建、提供或選擇的參考圖像進行比較。例如，軟件可以從一個網站下載或取得一個HTML文件，檢索HTML文件的文本來找出圖形文件(JPEG，GIF等等)或包含在該HTML文件中的其它圖像參考，然后僅僅下載或取得該圖示文件用于進一步的處理和比較。總的來說，該網頁決不需要被顯示在屏幕上或者顯示給用戶。
上面剛描述的從網站取得可能的候選圖像的一種替換方法是創建并使用一個或多個軟件程序來明確地漫游并搜索環球網以便尋找并取得候選圖像。這類軟件程序常常被稱為“機器人(Robots)”或“大蜘蛛(Spiders)”或者“Web游俠(Wanderers)”并且它們可用來漫游環球網并以一種隨機的、受控制的或者自激的方式訪問網站來在網站中或網站上搜索圖像或其它信息。該軟件程序可以發送圖像給客戶機設備202或者其它的指定位置、設備或電子地址，或者使圖像被發給客戶機設備202或者其它的指定位置、服務器或其它設備、或者電子地址。例如，該軟件程序可以傳送或發送被該軟件程序發現的可能的候選圖像給數據庫服務器204和/或數據庫服務器205用于短期或長期存儲。該軟件程序也可以發送其它信息給數據庫服務器204和/或數據庫服務器205，例如與從中取得圖像的網站的內容有關的信息、從中取得圖像的網站的一致性資源定位器(URL)等等。客戶機設備202在查找或搜索候選圖像時，可以在數據庫服務器204、205中操作一個圖像搜索和/或從數據庫服務器204、205中取得圖像而不必訪問計算機網絡208。從數據庫服務器204，205中完成候選圖像取得之后，儲存在數據庫服務器204，205中的圖像可以被刪除或者被儲存而在另外一個搜索期間用作候選圖像。在這個示例中，忙碌于并受所搜索環球網的“機器人(Robots)”或“大蜘蛛(Spiders)”或者“Web游俠(Wanderers)”本質上創建分布式的圖像數據庫或倉庫之外的一個集中的圖像數據庫或倉庫。″機器人(Robots)″或″大蜘蛛(Spiders)″或者″Web游俠(Wanderers)″只有在步驟102之后可以開始操作或者它們可以是連續操作如此以使不斷地建立一個集中的可能候選圖像數據庫用于在步驟104或整個方法100的多次或重復的實施期間可被客戶機設備202使用或訪問。
在一個或多個候選圖像在步驟104期間被查找、取得、下載等等之后，每一候選圖像最好與在步驟102期間產生的每一參考圖像進行比較或者進行相關并且在步驟106期間確定兩個圖像之間的相關性或匹配性數量。在步驟106期間的參考圖像和候選圖像之間的比較可以在步驟104完成之前開始。那就是說，步驟104和106重疊進行以使在步驟104期間一提供候選圖像則在步驟106期間就立刻可以開始候選圖像和參考圖像之間的比較。而且，候選圖像序列的一個隊列可以在步驟104期間被創建以使光學相關系統220始終具有至少一個候選圖像準備用于在步驟106期間與一個或多個參考圖像比較。當然，光學相關系統220可以如此設計以使一個參考圖像和一個候選圖像之間一個以上的比較可同時地發生并且明確期望可以在一臺可升級的計算機環境中執行方法100如此以便可以同時地發生或處理參考圖像和候選圖像之間的眾多比較。
正如先前在上面討論的，光學相關是一種有用的工具，可用于實時識別并檢測視覺模型并且在高速模式識別或比較中具有極大的使用潛能。結果，最好在步驟106期間使用光學相關以便得到相對快速并有效的參考圖像和候選圖像的比較。
許多光學相關系統的一個關鍵組件是用于創建要被比較的圖像的裝置和方法。正如先前在上面討論的，空間光調制器(SLM)的開發已經提供了實時或接近實時地創建使用光學相關技術可以被比較的圖像的一種能力。一個空間光調制器可用于直接地創建或顯示一個圖像或一個圖像的傅里葉變換。一個圖像的傅里葉變換是允許該圖像的許多特性更容易并快速確定和比較的一種變換。
總的來說，一個電氣地或電子地編址的空間光調制器(ESLM)或者一個光學地編址的空間光調制器(OASLM)是電可訪問的或光學控制的像素的二維柵格，其可以作用為一個可再用的和可編程的幻燈片、掩模或攝影片以便實時地創建圖像。因此，ESLM把電信號轉換為形成圖像的并且空間地調制經過該ESLM的光的像素，其。在一個OASLM中，經過OASLM的光使像素操作在或者透明的或者不透明的狀態中直到該OASLM被復位為止，從而允許該OASLM形成一個圖像，其空間地調制經過OASLM的光直到該OASLM被復位為止。
空間光調制器中的每一像素單獨可控以使像素的柵格可用于創建任何期望的圖像的一種近似。在一個典型空間光調制器中，每個像素可以具有十乘十微米的大小并且該空間光調制器可以具有八百像素乘六百像素的一個分辯率。該空間光調制器可以以非常高的速度在圖像之間轉換或者改變圖像并且一個典型空間光調制器可能每秒能夠創建在六十到二百五十五個不同的圖像。
可以使用許多不同類型的相關器結構完成光學相關。最常見的是4-f相關器，其中，一個參考圖像被數字地進行傅里葉變換并且該數字的傅里葉變換被顯示在濾波空間光調制器上。多個候選圖像被顯示在一個輸入空間光調制器上并且這樣被調制的光通過一個透鏡被進行光學傅里葉變換。輸入光的此傅里葉變換乘以第二濾波空間光調制器并且結果的光乘積然后被一個透鏡進行傅里葉變換。此第二傅里葉變換被諸如CCD檢測器陣列或者靈敏像素(smart pixel)設備之類的一個傳感器檢測。結果的信號表示候選與參考的相似性以及它在輸入圖像中的位置。
用于本發明的一種優選的光學相關器結構是一個聯合變換相關器。總的來說在一個聯合變換相關器中，通過由一個光學地編址的空間光調制器(OASLM)創建的一個圖像來調制一個相干光源并被一個透鏡進行傅里葉變換。該聯合變換，即，候選與參考圖像的傅里葉變換的光干涉，被入射在一個光學地編址的空間光調制器的檢測器一側上。此結果造成在該光學地編址的空間光調制器的轉換平面上的液晶方面上的一個調制模型。相干光被該光學地編址的空間光調制器的轉換平面調制并被一個透鏡進行傅里葉變換。此第二傅里葉變換入射到諸如CCD照相機或在別處描述的重心檢測器陣列對偶之類的檢測裝置上。更明確地，在一個聯合變換相關器中，通過諸如Colorado MicrodisplayCMD8X6P微顯示器之類的兩個微顯示器輸入或創建參考和候選圖像。利用來自所述發光二極管(LED)中的相干激光或非相干光，從顯示的這些圖像中而來的圖像被成象在一或二個光學地編址的空間光調制器上，例如，一個Hamamatsu PAL-SLM685空間光調制器。這兩個圖像然后被一個透鏡進行傅里葉變換并使用相干激光投影在相關平面中的第三空間光調制器上。再一次利用相干激光，最后一個透鏡把結果的反傅里葉變換結果聚焦在一個或多個檢測器上。用這種方式把輸入建構到光學相關器中具有勝過通常的聯合變換相關器和4-f相關器的四個優點第一，通過利用非相干光把來自微顯示器的參考和候選圖像成象在光學地編址的空間光調制器上，避免了對微顯示器中高光學質量的需要，從而允許使用現成的微顯示器；第二，由于非相干光照明的特性，輸入微顯示器不需要彼此非常對準；第三，不需要預計算一個傅里葉變換的參考圖像，而這在使用一個4-f相關器光學地實現此轉換時是必需的；第四，由于相關器的每一階段使用一個光學地編址的空間光調制器來傳送圖像并且沒有光直接地從在各級間耦合，所以每級可以獨立地被對準和校準。
關于一個聯合變換光學相關器的總結構和操作的信息可以在U.S.專利No.5,119,443中找到。
由光學相關提供的對于圖像匹配的另外一個優點是這樣的事實，即，即使參考圖像和候選圖像是類似的而不是完全相同的時候也可以找到參考圖像和候選圖像或者參考圖像的部分和候選圖像的部分之間的相關或匹配。例如，假定一個用戶期望搜索一個參考圖像230，其包括一個成三角形形狀的組件232，如圖3中所說明的。利用光學相關比較參考圖像230與也包括一個成三角形形狀的組件236的一個候選圖像234(如圖4中所說明的)，將導致參考圖像230與候選圖像234之間的一個高度匹配或相關，即使候選圖像234中成三角形形狀的組件236位于與參考圖像230中成三角形形狀的組件232不同的一個位置中。
如果利用光學相關把諸如圖5中說明的候選圖像238之類的一個候選圖像與參考圖像230進行比較，則在該候選圖像238和參考圖像230之間將找到一個高度的匹配或相關，這樣的比較表示候選圖像238包括三個成三角形形狀的組件240，242，246，所有這些與參考圖像230中成三角形形狀的組件232類似，但是位置在與參考圖像230中成三角形形狀的組件232不同的候選圖像238中的位置上。
在諸如參考圖像230的一個參考圖像中的形狀或組件與諸如圖6中說明的候選圖像246的包括其它形狀的候選圖像之間也將找到一個高度的相關。候選圖像246包括一個成三角形形狀的組件247以及一個圓形形狀的組件248和一個橢圓形形狀的組件249。利用光學相關比較參考圖像230和候選圖像246將表示在參考圖像230中成三角形形狀的組件232與候選圖像246中成三角形形狀的組件247之間的一個匹配，不管成三角形形狀的組件232，246位于它們各自圖像中的不同位置的事實而且不管候選圖像246包括參考圖像230中未找到的另外組件的事實。
光學相關和空間光調制器的操作和使用是在本領域普通技術人員的能力范圍之內，于是為了本發明的方法100簡潔或說明的目的，不需要對光學相關和空間光調制器的原理作進一步的討論或解釋。關于光學相關、光學相關器和光學相關系統以及空間光調制器的操作、結構和使用的其他以及更詳細信息可以在U.S.專利No.5,173,954、U.S.專利No.5,220,622、U.S.專利No.5,257,322、U.S.專利No.5,323,472、U.S.專利No.5,418,380、U.S.專利No.5,841,907中找到，所有些專利被參考結合于此。
雖然利用空間光調制器的光學相關是現有技術中已知的并且方法100不要求光學相關系統的具體實現，但是適合用于方法100的一個通用光學相關系統作為光學相關系統220在圖7中被說明并將在下面被更詳細地討論。光學相關系統220包括兩個空間光調制器(SLM)250，252。空間光調制器250最好用于創建或再生候選圖像(組)，空間光調制器252用于創建或再生參考圖像(組)或參考圖像(組)的傅里葉變換。
光學相關系統220可以比較按照不同格式儲存的兩個圖像。例如，以JPEG格式儲存的一個圖像可用于在空間光調制器252上創建一個參考圖像或者一個參考圖像的傅里葉變換，以GIF或BMP格式儲存的一個圖像可用于在空間光調制器250上創建一個候選圖像，由于為比較目的而在空間光調制器250，252上創建圖像擔當或創建了一個公共、本地產生的格式，所以利用光學相關系統220可以把它們進行比較。
光學相關系統220還包括一個激光或其它光源254，其最好提供一個相干激光或光束256。光束256發光并經過空間光調制器250。在經過空間光調制器250或者從空間光調制器250反射之后，光或激光束在到達空間光調制器252之前要經過傅里葉變換透鏡258。第二傅里葉變換透鏡260位于空間光調制器252和一個CCD或光電二極管照相機、檢測器、陣列或其它設備262之間，在設備262上記錄、捕獲或者檢測由空間光調制器252創建的參考圖像或參考圖像的傅里葉變換與由空間光調制器250創建的候選圖像之間的相關/比較。
一個計算機或微處理器264在下面的意義上控制空間光調制器250、252的操作，即該計算機或微處理器264控制由空間光調制器252創建、顯示或描繪的參考圖像或參考圖像的傅里葉變換以及由空間光調制器250創建、顯示或描繪的候選圖像。因此，計算機264最好可以在空間光調制器250、252上顯示圖像，而不管該圖像以什么格式(組)被創建或儲存。在光學相關系統220的使用過程中，計算機264最好創建或預計算一個參考圖像的傅里葉變換并使空間光調制器252顯示該參考圖像的傅里葉變換。計算機264能因此在空間光調制器250上產生一系列候選圖像，它們通過透鏡258被傅里葉變換用于與由空間光調制器252創建的參考圖像的傅里葉變換進行比較。在這種配置中，參考圖像的傅里葉變換由計算機264計算出或確定，候選圖像的傅里葉變換由經過空間光調制器250的光和傅里葉變換透鏡258來創建。計算機或微處理器264還要接收來自CCD或光電二極管照相機、陣列或關于圖像比較的其它設備262中的信息或數據并且可以控制這些CCD或光電二極管照相機、陣列或其它設備262的操作。
計算機或微處理器264最好被連接到控制器或客戶機設備202或者與之通信以使參考圖像與候選圖像可以從控制器202被發送給計算機或微處理器264并且使計算機或微處理器264可以發送關于參考圖像與后候選圖像相關或比較的信息或數據。計算機或微處理器264以及控制器或客戶機設備202可以是同一個計算機、計算機系統、微處理器、服務器、客戶機設備、控制器等等，或者他們可以分離而且不同，并且永久地、暫時地或者定期地被直接或者通過一臺計算機或者其它通信網連接。
雖然上述光學相關系統220的通用設計考慮了參考圖像與候選圖像的比較，但是該光學相關系統最好應該能夠在候選圖像中找出參考圖像的組件，即使該組件在參考和候選圖像中具有不同的大小并且在參考和候選圖像中具有不同的轉動和/或平移的位置。
利用光學相關比較一個參考圖像和候選圖像考慮了位于候選圖像中的參考圖像的形狀和其它組件，即使候選圖像中這樣的形狀和其它組件的位置不同于參考圖像中該形狀和其它組件的位置，即，即使候選圖像中的形狀和其它組件被轉換成與它們在參考圖像中的位置不同的一個位置(正如相對于圖4-6先前在上面描述的)。優選地，光學相關系統220也將表示候選圖像中這樣的形狀和其它組件，即使該形狀和其它組件具有與參考圖像中它們的相關者不同的尺寸和/或即使它們相對于參考圖像中它們的相關者被旋轉。例如，如果參考圖像是圖3中說明的參考圖像230并且先前在上面描述過，則光學相關系統220將優選地找到參考圖像230和圖8中說明的候選圖像270之間、特別是參考圖像230中成三角形形狀的組件232和候選圖像270中成三角形形狀的組件272之間的匹配或相關，即使兩個成三角形形狀的組件232，272在它們各自的圖像230，270中具有不同的大小和不同的位置。同樣地，光學相關系統220也將優選地找到參考圖像230和圖9中說明的一個候選圖像274之間、特別是參考圖像230中成三角形形狀的組件232與候選圖像274中三個成三角形形狀的組件276，278，280之間的匹配或相關，即使成三角形形狀的組件274，278，280在候選圖像274中與在參考圖像230中相異地被平移和/或轉動位置并且甚至在候選圖像274中成三角形形狀的組件276比參考圖像230中成三角形形狀的組件232大。
光學相關系統220查找候選圖像中的組件(該組件是參考圖像中被旋轉或比例變化的組件版本)的一種方法是獲得在步驟102期間產生的每個參考圖像并且創建該參考圖像的另外版本，其比最初產生的參考圖像大和/或小。最初產生的參考圖像的另外的和不同比例大小的版本可以由客戶機202，206在步驟102期間電子地創建或者由光學相關系統220在步驟106之前或在步驟106期間電子地、機械地或光學地創建。方法100可以任意地允許用戶選擇或確定將創建或使用多少個最初產生的參考圖像的不同比例或大小的版本。然后在步驟106期間，最初產生的參考圖像加上附加的版本所有都可以被作為參考圖像來對待。
除了提供參考圖像的不同比例的版本之外，或者作為一個替代辦法，方法100可以包括獲得由用戶在步驟102期間產生的一個參考圖像并且產生該參考圖像的不同版本，每一版本都是最初產生的參考圖像的一個旋轉版本。最初產生的參考圖像的另外的和不同旋轉的版本可以由客戶機202，206在步驟102期間電子地創建或者由光學相關系統220在步驟106之前或在步驟106期間電子地、機械地或光學地創建。方法100可以任意地允許用戶選擇或確定將創建或使用多少個最初產生的參考圖像的不同旋轉的版本。然后在步驟106期間，最初產生的參考圖像加上附加的版本所有都可以被作為參考圖像來對待。
由于創建最初產生的參考圖像的各種版本(它們或者是此最初產生的參考圖像的旋轉版本或者是此最初產生的參考圖像的調整比例或調整大小的版本，或者二者兼有)，則方法100允許在參考圖像與轉動的和/或大小或比例不變的候選圖像之間比較。另外，雖然前面的討論已主要集中在轉動或改變比例的參考圖像上，但是利用方法100還可以創建并使用具有不同旋轉和/或大小的候選圖像的另外版本。
在步驟106期間把一個或多個參考圖像與一個或多個候選圖像進行比較之后，在步驟108期間可以把該比較結果報告或表示。例如，客戶機設備202可以向一個用戶指示或示出每個參考圖像最接近的一個或多個候選圖像以及在該最接近的候選圖像與該參考圖像之間的相關程度。該結果也可以被發送給諸如位于客戶機設備222處或者使用客戶機設備222的一個用戶之類的一個遠程用戶，或者發送給一個本地或遠程操作的軟件應用或設備。
正如先前在上面討論的，本發明一個重要方面是可在軟件文件、文本文件、音樂和聲音文件之間進行圖像比較，這些文件已經被轉換成光學相關系統220可用的一種格式。更明確地，大多數的(如果不是所有的話)數字或電子文件，不管該文件是否表示圖片、文本、軟件代碼或指令、音樂或聲音等等，都是利用一系列零和一來編碼的。結果，數字文件，即，一系列零和一，可以被轉換成參考圖像與候選圖像而與該數字文件表示什么或者數字編碼過程或者創建該數字文件或圖像所使用的格式無關。即，所有數字文件都可以被轉換成方法100可用的圖像。例如，如果一個軟件文件被轉換成一個參考圖像而另外一個軟件文件以相同的或者類似的方式被轉換成一個候選圖像，則正如先前在上面描述的，這兩個文件可以在步驟106期間進行比較。只要兩個數字文件可以以相同的或類似的方法被轉換成參考和/或候選圖像，則利用光學相關就可以找到或確定兩個文件之間的相似性。
把表示一個軟件文件、聲音或音樂文件、文本文件等等的一個數字文件轉換為適用于方法100的一個候選或參考圖像的一種方法是把它的數據字節作為像素來對待。可以使用一個固定的分辯率，把每個數據字節映射到光學相關器輸入設備或者空間光調制器上的一個固定位置，例如空間光調制器250。比空間光調制器250可顯示的分辯率大的文件可以被表示為第二圖像。例如，來自電影2001的一個聲音文件，A Space Odyssey(空間奧德賽)，在此HAL9000計算機說″I am sorryDave，I can not do that″(對不起，Dave，我不能那么做)，當與在其中muppet Kermit說″Hi-Ho，Kermit the Frog here！″(嗨，Kermit，Frog在這兒！)進行比較時，將很懸殊。Windows 98中的一個典型的軟件文件，″control.exe″在圖10中被表示為一個圖像300。同樣，圖像300的外觀是唯一的并且圖像300可以與表示軟件的其它圖像進行比較。
方法100的一種替代實施例400在圖11中被說明并且包括如先前在上面描述的步驟102，106，108。另外，方法400包括步驟402，其中，執行一個集中檢索去尋找包含一個或多個可能候選圖像的一個或多個數據庫、網站、服務器等等；步驟404，其中，基于在步驟402期間集中搜索的結果為可能的候選圖像執行一個檢索；和步驟406，其中，作為在步驟402，404期間操作的檢索結果，一個或多個候選圖像被取得或下載。當可能的候選圖像以一種分散的方式(例如，在連接到計算機網絡208的網站上)被儲存時，方法400特別地有用。現在將更詳細地討論步驟402，404，406的每一個。
在步驟402期間，一個集中檢索被優選地進行以便找出可能包含感興趣的候選圖像的那些網站、數據庫服務器等等。通常的說，在步驟402期間，候選圖像將不被取得或下載。集中檢索主要用來定位其中或其上可能儲存了候選圖像的服務器、網站或其它設備。例如，假定一個用戶對找出鴨子的圖像感興趣并且在步驟102期間提供關于鴨子的參考圖像。在步驟402期間，可以執行一個集中檢索以便找到確實或者可能包含鴨子圖像的那些網站、數據庫服務器、電子布告欄服務器等等。在熟知的搜索引擎上，例如，Alta Vista(http//www.altavista.com)、Infoseek(http//infoseek.go.com)、Lycos(http//www.lycos.com)、Hotbot(http//www.hotbot.com)、Webcrawler(http//www.webcrawler.com)等等，或者在熟知的題材目錄處，例如Yahoo(http//www.yahoo.com)，通過執行一個關鍵字或詞組檢索就可以實施這樣的集中檢索。在步驟402期間也可以在諸如Excite(http//www.excite.com)之類的檢索引擎上操作一個概念搜索。圖像可以為許多不同的格式，例如，JPEG、BMP或者GIF格式，所有這些都可用于創建用于與一個或多個參考圖像比較的候選圖像，這些參考圖像本身可能已經按照不同的格式被創建或儲存。
大多數的搜索引擎使用漫游環球網的“機器人(Robots)”或“大蜘蛛(Spiders)”或者“Web游俠(Wanderers)”來收集有關網站、電子布告欄服務器或列表等等的信息和URL，其然后被儲存在一個數據庫或目錄中。在先前列出的一個搜索引擎或題材目錄上實施的一個搜索通常會獲得可能與輸入的關鍵字、詞組、概念或搜索術語相關的網站、電子布告欄服務器、分類廣告等等的一個列表以及它們的相關URL。因此，這些網站、電子布告欄服務器、新聞服務器等等可能是在步驟404期間尋找相關候選圖像最有可能的位置中。
在步驟402期間實施的集中搜索完成之后，該集中檢索的結果被用來把步驟404期間候選圖像的搜索進行引導并區分優先次序，但是并非限制。例如，對于搜索鴨子圖像的用戶，該集中檢索可能導致與鴨子相關的二十個網站的一個列表。在步驟404期間，可以為候選圖像搜索那二十個網站的某些或全部，那些候選圖像然后在步驟406期間被下載或取得。在步驟404期間對候選圖像的搜索可以被限制為在步驟402期間找到的這二十個網站或者可以擴展到其它網站、數據庫服務器、電子布告欄列表等等。另外，用戶可以規定URL，Internet協議(IP)地址，gopher或文件傳送協議(FTP)地址，或者其它可以用于搜索可能候選圖像的設備或服務器的其它電子地址。
在步驟406期間，在步驟404期間定位的候選圖像被下載或取得，用于與先前在上面描述的參考圖像106比較。
方法100的另外一個替代實施例500在圖12中被說明并且包括如先前在上面描述的步驟106，108。另外，方法500包括步驟502，其中，表示聲音或音樂文件、軟件文件、文本文件等等的參考圖像被提供或產生；步驟504，其中，可以表示聲音或音樂文件、軟件文件、文本文件等等的可能的候選圖像被定位或提供或產生；和步驟506，其中，一個或多個候選文件在與一個或多個參考圖像比較之前被轉換成候選圖像以使該候選圖像成為更適合于在步驟106期間比較的一種格式。現在將更詳細地討論步驟502，504，506的每一步。
方法500特別適合用于比較不表示可視圖像或者以通常不以可視圖像使用的方式或格式儲存或編碼的數字文件。因此，與GIF、TIF或JPEG格式相反，不存在把這樣的數字文件轉換為可視圖像或可視圖像的傅里葉變換的識別或預設置方法或過程，其可以在空間光調制器250，252上被創建或者通過一個光學相關系統而被比較。
在步驟502期間，以通常類似于先前在上面描述的步驟102的一種方式來提供一個或多個參考文件。可是，由于參考圖像可以表示聲音或音樂文件、軟件文件、文本文件等等，所以作為步驟502的一部分，這些數字參考文件將需要被轉換成參考圖像。從數字文件到參考圖像的此類轉換可以在先前在上面描述的步驟502期間被執行。
在步驟504期間，可能表示感興趣的聲音或音樂文件、軟件文件、文本文件等等的一個或多個候選文件被定位、取得、下載或產生。可是，這些聲音或音樂文件、軟件文件、文本文件等等可以是與用于創建或存儲參考圖像的數字文件格式很不同的數字格式。例如，一個聲音文件可以被重新抽樣或者可能已經被從MP3轉換為WAV格式。
由于不同的數字文件格式，在步驟504期間取得的候選文件最好在步驟506期間被轉換為新的數字候選文件，該新的數字候選文件具有與先前在步驟502期間被轉換成參考圖像的數字參考文件相同或類似格式。例如，如果一個參考文件以MPS格式被儲存，則WAV格式的一個候選文件在被用來創建一個候選圖像之前最好被轉換成MPS格式。作為另外一個例子，微軟字格式的一個文本文件，在被使用來創建與從ASCI I格式的一個文本文件中創建的一個參考圖像進行比較的一個候選圖像之前，可能需要被轉換成ASCII格式。在候選文件被轉換成適當的數字格式之后，新的數字候選文件在步驟506期間可以被轉換成候選圖像，其在候選圖像與參考圖像進行比較的步驟106期間成為可用的。正如先前在上面描述的，該候選圖像然后在步驟106期間能與參考圖像進行比較。優選地，該候選文件按照與參考文件被轉換成參考圖像相同或類似的方式而被轉換成候選圖像。
按照本發明的第二實施例600在圖13中被說明并且包括如先前在上面描述的步驟102，104；步驟602，創建在步驟102期間產生的參考圖像(組)的較低分辯率版本；步驟604，創建在步驟104期間產生的候選圖像(組)的較低分辯率版本；步驟606，把參考圖像的較低分辯率版本與候選圖像的較低分辯率版本進行比較；和步驟608，表示或提供在步驟606期間確定的匹配、結果或相關。步驟602可以作為步驟102的一部分被完成，或者在步驟104完成過程中或步驟104完成之前被完成。步驟604可以作為步驟102的一部分被完成，或者在步驟602完成過程中或步驟602完成之前被完成。下面將更進一步詳細討論步驟602，604，606，608的每一個。
方法600優于方法100的一個優點是在步驟606期間一個或多個參考圖像與一個或多個候選圖像的比較可以用硬件或軟件來執行(即，不必使用光學相關)，同時仍然保持圖像之間的一個高速比較。通過在步驟602期間創建參考圖像的較低分辯率版本以及在步驟604期間創建候選圖像的較低分辯率版本，在步驟606期間在較低分辯率參考圖像和較低分辯率候選圖像之間實施的比較可以用硬件和/或軟件有效地執行，這將在下面更詳細地討論。另外，較低分辯率版本的比較增加了更有效及快速地比較視頻或攝影流或其它圖像序列的能力。
在步驟102期間產生一個或多個參考圖像之后，可以以各種方法來創建該參考圖像的較低分辯率版本。同樣地，在步驟104期間產生一個或多個候選圖像之后，也可以以各種方法來創建候選圖像的較低分辯率版本。例如，利用軟件或一個較快的電子電路，像素可以被彼此平均。
對于方法600，在步驟602期間優選地創建了參考圖像的較低分辯率版本并且在步驟604期間優選地創建了候選圖像的較低分辯率版本這樣以使它們仍然有用于圖像或模型匹配或比較。諸如圖14中說明的光學系統620之類的一個光學系統，可被用于此目的。光學系統620可以形成先前在上面描述的光學相關系統220或計算機202的一部分，或者光學系統620可以是本地或遠程地連接到光學相關系統220或計算機202上的一種分離和不同的組件。
光學系統620優選地包括產生相干激光或光束624的激光或光源622。激光或光源622可以與先前在上面描述的激光或光源254相同。光束624發光、經過或從空間光調制器626反射。一個透鏡，627，把來自空間光調制器626的圖像在經過傅里葉變換透鏡630和到達CCD照相機、檢測器、陣列、光電二極管或其它設備632之前聚焦在一個可編程的或其它可控的濾波器、掩模或空間光調制器628上。一個計算機、微處理器或其它控制器634優選地控制激光器622、空間光調制器626、濾波器、掩模或空間光調制器628以及設備632的某些或全部操作，這將在下面更進一步詳細討論。
濾波器、掩模或空間光調制器628可以阻擋光或激光束635中的一些或全部進一步通過傅里葉變換透鏡630傳送或傳播，從而阻塞或阻止經過在空間光調制器626上創建的圖像的某些光到達透鏡630。例如，假定諸如圖15中的圖像636之類的一個參考或候選圖像由空間光調制器626創建。圖像636包含兩個基本元素，即房子637和樹638。注意，為了解釋的目的，形成圖15中圖像636的空間光調制器626比它在圖14中表示得大。
掩模628可以形成模塊或單元的一個格柵或其它模型，該模塊或單元可以被單個地控制以使來自激光或光源622選定區域的光在通過空間光調制器626傳送或傳播之后通過掩模628傳送或傳播。即，掩模628通過控制掩模628中單獨的單元或模塊的可傳性或透明性來控制多少光束635或者它的哪一些部分能被允許通過掩模628。例如，濾波器或掩模628可以形成一組四個獨立控制的模塊或單元640，642，644，646，如圖16中所說明的。由可控掩模628形成的模塊或單元640，642，644，646是單個可控的以便當掩模628查看圖像636時圖像636的選定部分是可查看的。掩模或濾波器628可以含有許多模塊或單元，并且那些模塊或單元可以是三角形，正方形，矩形，五邊形，六邊形或者其它形狀。例如，掩模628可以形成含有九個單元648，650，652，654，656，658，660，662，664，如圖17所示。
正如先前在上面描述的，掩模628中的模塊或單元的透明性或可傳性最好是單個可控的以使當通過掩模628查看圖像636或空間光調制器626時只有圖像636的選定部分是可見的并且以使只有激光或光束639的選定部分或區域經過掩模628并到達透鏡630。例如，假設掩模628包括九個模塊或單元648，650，652，654，656，658，660，662，664，如圖17所示。通過設置單元648，650，652，654，664的透明性使得當通過掩模628向空間光調制器626查看時，沒有光能經過它們，只有落在單元656，658，660，662內的房子637和樹638的那部分是可查看的，如圖18所示，并且只有通過單元656，658，660，662傳送或傳播的那部分激光或光束635將不被掩模628堵塞或阻止到達透鏡630。可替代地，通過設置單元648，652，654，658，660，662，664的透明性使得當通過掩模628向空間光調制626查看時只有落在單元650，656內的房子637和樹638的那部分是可查看的，如圖19所示，并且只有通過單元650，656傳送或傳播的那部分激光或光束635將不被掩模628阻擋到達透鏡630。
當在步驟602，604期間分別創建一個參考或一個候選圖像的一個較低分辯率圖像時可使用掩模628，或者為了幫助在步驟606期間參考和候選圖像的較低分辯率版本的比較可使用掩模628。例如，假定一個用戶只對在候選圖像的右上或右上角中具有某一結構、質地、形狀、顏色等等的候選圖像感興趣。通過選擇性阻塞掩模628中所選擇的或特點的單元或區域，即，使選定的單元沒有或者只有很少的透明性或可傳性，只有適當或期望區域中的結構、質地、形狀、顏色等等，只有候選圖像(組)的感興趣區域與參考圖像(組)進行比較。另外，用戶可以使用由掩模628提供的阻塞或屏蔽性能以便允許只有一個或多個參考圖像的選定部分與一個或多個候選圖像的全部或選定部分進行比較從而增加步驟606期間的比較準確度和精度或者以便允許用戶只搜索一個或多個參考圖像的選定特征。
不管在光學系統620中是否使用濾波器、掩模或空間光調制器628，設備632可用于創建由空間光調制器626創建的一個圖像的低分辯率版本。例如，假定空間光調制器626具有八百像素乘六百像素的一個像素陣列，總數為480，000像素。相反，設備632可能具有僅僅總數為120，000像素，傳感器，或者檢測器的四百像素乘三百像素分辯率的一個像素、傳感器、光電二極管或檢測器矩形陣列。因此，設備632上的一個像素通常將表示空間光調制器626上的四個像素。因此，在這樣一個應用中，設備632將具有空間光調制器626四分之一的分辯率。
在檢測器632的優選實施例中，檢測器632可以具有它以非矩形的形式設置的像素、傳感器、光電二極管或檢測器，比如圖20中所說明的。在圖20中說明的檢測器632中，一個或多個像素、傳感器、光電二極管或檢測器的行或分組670，672，674，676，678，680，682，684，686，688，690，692，694，696，698，700，702，704按照填充檢測器區域的具體模型而被排列。行、分組或餅形狀670，672，674，676，678，680，682，684，686，688，690，692，或者像素、傳感器、光電二極管或檢測器擔任旋轉檢測器并且是大小不變的。因此，檢測器632中的一個或多個像素、傳感器、光電二極管或檢測器的行、分組或餅形狀670，672，674，676，678，680，682，684，686，688，690，692檢測空間光調制器626形成或創建的圖像的成分或結構是否被旋轉而不管該圖像的成分或結構的大小或比例。相反，檢測器632中一個或多個像素、傳感器、光電二極管或檢測器的行、分組或半環694，696，698，700，702擔任大小或比例檢測器并且是旋轉不變的。即，檢測器632中的一個或多個像素、傳感器、光電二極管或檢測器的行、分組或半環694，696，698，700，702檢測空間光調制器626形成或創建的圖像的成分或結構的比例或大小而不管該圖像成分或結構的旋轉。在中心704中的一個或多個像素、傳感器、光電二極管或檢測器為檢測器632提供平均亮度或DC項，其可用于測量、檢測或確定平均顏色或平均亮度而不必需要任何形式的像素平均。另外，中心704可用于使來自其它設備或檢測器中的其它讀取標準化。
圖20說明的設備632的結構產生在空間光調制器626上形成的一個參考、候選或任何其它圖像的一個較低分辯率版本。即，位于像素、傳感器、光電二極管或檢測器的行或分組670，672，674，676，678，680，682，684，686，688，690，692，694，696，698，700，702，704中的每個像素、傳感器、光電二極管或檢測器優選地檢測落在其上的光并且產生或創建在一個有限范圍或尺度之內(例如在零和255之間的一個范圍)的一個數或數值。由全部像素、傳感器、光電二極管或檢測器為一個特定的參考或候選圖像所產生的所有數或數值可以按照任何順序被附加或排列到一個數字串中。通過設備632或計算機或者控制器634可以把那些數字形成到一個串中。該數字串因此可被儲存或保存在計算機634中或者被發送給另外一個計算機或客戶機設備，比如計算機264、控制器202或客戶機設備202。
在步驟602期間，利用光學系統620可以創建參考圖像的一個較低分辯率版本以致產生一個數字串。同樣地，在步驟604期間，利用光學系統620可以創建候選圖像的一個較低分辯率版本以致產生一個數字串。只要以相同的方法配置設備632，或者只要以相同的方法創建或產生參考圖像和候選圖像的較低分辯率版本，則在步驟606期間通過比較它們相關的數字串就可以比較參考圖像和候選圖像的這些較低分辯率版本。因此，光學系統620許多不同的技術和/或結構可用于產生參考圖像與候選圖像的較低分辯率版本并且方法600不應該被限制為任何具體的或特定的技術、結構或裝置。
在步驟606期間，表示一個參考圖像的一個串可以與以許多不同的方式表示一個候選圖像的一個數字串進行比較。例如，在兩個數字串中的對應數字之間的差值可以被比較并且它們的差值被確定。在兩個數字串中的對應數字之間的全部差值的絕對值之和可以被計算。該總和越高，則在表示參考圖像的數字串與表示候選圖像的數字串之間的差別越大，結果，在參考圖像和候選圖像之間的差別也就越大。相反，該總和越小，則在表示參考圖像的數字串與表示候選圖像的數字串之間的差別越小，結果，在參考圖像和候選圖像之間的差別也就越小。優選地，但是不是必須地，如果總和小于等于某一預設置或預定門限值或數值，則參考圖像和候選圖像將被認為在某些形式上是類似的并且在步驟608期間可以把這樣的結果表示給用戶和/或計算機634并且正如先前在上面描述的利用光學相關可以任意地對它們進行比較。該門限值或數值可以被固定或預確定或者該門限值或數值可以被允許動態地改變或浮動以便利用光學相關來比較參考圖像與候選圖像的速率按照某種期望的、編程的或者預先設置的方式來增減。一種大計算強度的比較方法是執行兩個數字串實際的數字相關并且輸出一個相關尺度。
掩模、濾波器或空間光調制器628可用于創建一個更長更詳細的數字串，表示一個參考或候選圖像的較低分辯率版本。例如，如果使用來自圖15中的圖像636和來自圖17中的九個單元掩模628，則單元648，650，652，654，656.658，660，662，664可以按照任何序列被各個地激活以便圖像636的九個不同部分被檢測器632檢測。圖像636九個部分的每一部分的數字串可以被彼此附加或者用于創建一個更長的數字串，其可以如先前在上面描述的與以同一方式創建的一個候選圖像的一個數字串進行比較。另外，表示參考圖像的一個具體部分和一個候選圖像的一個具體部分的一個數字串的具體部分還可以被比較而不必比較表示參考圖像和候選圖像的整個數字串。
設備632可以具有許多不同的像素、傳感器、光電二極管或檢測器的配置以使設備632敏感于感興趣的各種形狀、大小等等。設備632也可以如圖21中所說明的進行配置。設備632也可以如圖20和21中配置的元件的疊加一樣進行配置。圖21中說明的設備632包括餅形區域706，708，710，712，714，716，718，720，722，724，726，728和730，其每一個區域都可以包含或包括一個或多個傳感器、光電二極管、CCD元件或其它檢測器。另外，圖21中說明的設備632包括半環或弧形區域732，734，736和738，其每一個區域可以包含或包括一個或多個傳感器、光電二極管、CCD元件或其它檢測器。
除了在步驟606期間把一個或多個參考圖像的一個較低分辨率版本與一個或多個候選圖像的較低分辯率版本進行比較之外，利用先前在上面描述的光學相關或光學相關系統220可以進一步比較在該步驟期間的比較之后被認為與參考圖像類似的候選圖像。即，對于在步驟606期間的比較之后被認為與參考圖像類似的候選圖像，利用先前在上面描述的步驟108中的光學相關系統220可以把參考圖像和候選圖像，或者它們的較低分辯率版本進行比較。因此，步驟602，604，606的某些或全部可用于預處理、預選擇或濾除候選圖像而不必使用光學相關或光學相關系統220來找到最佳候選圖像，該最佳候選圖像再利用光學相關或光學相關系統220在步驟108期間被比較。因此，在這樣一個情形中，步驟602，604，606的某些或全部可以在圖1說明的方法100中的步驟104和106之間被插入或使用或者與之結合。方法600的某些或全部步驟還可以使用或合并先前在上面描述的方法400和500的步驟。
前述的說明被認為是僅僅對本發明原理的說明。而且，由于對本領域技術人員來說將輕易地想到很多的修改和，所以不期望把本發明限制為在上面表示和描述的準確結構和過程。因此，所有適當的修改和等價物可以被訴諸于落在由隨后的權利要求定義的本發明的范圍之內。
為了本發明簡潔和解釋的目的，圖2中說明的計算機網絡208和網絡裝置200僅僅意在普遍表示計算機、電纜或數據通信網并且其它設備、網絡等等可以被連接到計算機網絡208上而不偏離本發明的范圍。計算機網絡208也意欲表示并包含互聯網、環球網以及其它私人或公開操作網絡的所有或一部份。計算機網絡208還可以包含其它公開的和/或私人的廣域網、局域網、數據通信網或連接、企業網、路由器、網關、衛星鏈路、微波鏈路、電纜連接、蜂窩或無線鏈路、光纖傳輸線路、ISDN線路、T1線路等等。另外，正如在此所使用的，術語“計算機”、“控制器”、“終端”和“客戶機”通常是可互換的并且意指廣泛解釋并且意指包含，但是不局限于連接或可連接到計算機或數據通信網上的所有客戶機、客戶機設備或機器、終端以及其上可以操作或運行諸如Netscape Communicator(網景通信裝置)或Navigatorbrowsers(導航儀瀏覽器)、Mosiac browser(Mosiac瀏覽器)或Microsoft Internet Explorer browser(微軟互聯網探測器瀏覽器)之類的激活軟件的所有設備。術語“瀏覽器”也應該被解釋為包括互聯網激活的軟件和實現或允許通過計算機網絡進行通信的計算機或客戶機軟件和諸如WebTV、家用電器、電話等等之類的互聯網激活、監視或控制的設備。
在上面描述的每一方法可以在單個計算機、計算機系統、微處理器等等上來執行或者通過單個軟件應用程序來執行。另外，在上述每一方法中的兩個或多個步驟可以在兩個或多個不同的計算機、計算機系統、軟件應用程序、微處理器、專門設計的芯片或電路等等之上被執行，其中某些或全部可以被本地或遠程地配置或操作。該方法以任何種類的計算機軟件實現、或程序、指令設置或代碼來實現，這些軟件、程序、指令設置或代碼是可在任何計算機可用介質或其它程序存儲設備或諸如軟磁盤或其它磁盤或光盤、磁帶或光學磁帶、CD-ROM、硬盤驅動器、zip磁盤、快速或光學存儲卡、微處理器、ASIC、固態存儲設備、RAM或ROM芯片(組)、PROM或EPROM設備等等之類的介質上存儲、書寫或者保存。該方法也可以使用電或電子編址的空間光調制器或光學編址的空間光調制器以及許多不同類型的光學相關系統。
單詞“包含”、“包括”，當使用于此說明書中時以及在下列權利要求書中時，是用來規定特定的特征、元件、整體、組件或步驟的存在，但是它們不排除一個或多個其它特征、元件、整體、組件、步驟或它們組合的出現或補充。
權利要求
1.一種用于使用戶或設備能夠比較一個或多個圖像的方法，包括產生一個或多個參考圖像；產生一個或多個候選圖像；通過光學相關來把所述一個或多個參考圖像與所述一個或多個候選圖像進行比較；和把比較結果提供給用戶或設備。
2.如權利要求1所述的方法，其中所述一個或多個參考圖像代表一個或多個軟件文件。
3.如權利要求1所述的方法，其中所述一個或多個參考圖像代表聲音或音樂文件。
4.如權利要求1所述的方法，其中所述一個或多個參考圖像代表文本文件。
5.如權利要求1所述的方法，包括把一個或多個軟件文件轉換為所述一個或多個參考圖像。
6.如權利要求1所述的方法，包括把一個或多個聲音或音樂文件轉換為所述一個或多個參考圖像。
7.如權利要求1所述的方法，包括把一個或多個文本文件轉換為所述一個或多個參考圖像。
8.如權利要求1所述的方法，其中，所述產生一個或多個候選圖像過程包括從連接到環球網上的一個或多個網站中取得或下載一個或多個圖像。
9.如權利要求1所述的方法，其中，所述產生一個或多個候選圖像過程包括從一個分散的圖像數據庫或存儲處中取得或下載一個或多個圖像。
10.如權利要求1所述的方法，其中，利用光學相關把所述一個或多個參考圖像與所述一個或多個候選圖像進行所述比較過程包括把至少一個空間光調制器編程以便表示所述一個或多個參考圖像。
11.如權利要求10所述的方法，其中，利用光學相關把所述一個或多個候選圖像與所述一個或多個參考圖像進行所述比較過程包括把至少一個空間光調制器編程以便表示所述一個或多個候選圖像。
12.如權利要求1所述的的方法，包括進行一個文本或關鍵字檢索以便定位可能包含感興趣的一個或多個候選圖像的一個或多個網站。
13.如權利要求12所述的方法，其中，所述產生一個或多個候選圖像的過程包括從所述一個或多個網站中取得或下載一個或多個圖像。
14.如權利要求1所述的方法，其中，所述產生一個或多個參考圖像過程發生在一個客戶機設備上，該客戶機設備通過計算機網絡已連接到在其上執行利用光學相關把所述一個或多個參考圖像與所述一個或多個候選圖像進行所述比較的一個計算機系統，并且，所述產生一個或多個參考圖像的過程包括從所述客戶機設備發送所述一個或多個參考圖像給所述計算機系統。
15.如權利要求1所述的方法，包括填充從中可以提供所述一個或多個候選圖像的一個數據庫。
16.如權利要求1所述的方法，包括在把所述一個或多個參考圖像與所述一個或多個候選圖像進行所述比較之前把所述一個或多個候選圖像重新定標或重新決定尺寸。
17.如權利要求1所述的方法，其中，利用光學相關把所述一個或多個參考圖像與所述一個或多個候選圖像進行比較是轉動的和/或尺寸不變的。
18.如權利要求1所述的方法，其中，所述產生一個或多個參考圖像的過程包括允許用戶或設備創建一個或多個新的圖像。
19.如權利要求1所述的方法，其中，所述產生一個或多個參考圖像的過程包括允許用戶或設備輸入一個或多個預先創建的圖像。
20.如權利要求1所述的方法，其中，所述產生一個或多個參考圖像的過程包括允許用戶或設備從提供給用戶或設備的一個或多個圖像中選擇。
21.如權利要求1所述的方法，包括創建至少一個參考圖像的一個較低分辯率版本和至少一個候選圖像的一個較低分辯率版本。
22.如權利要求21所述的方法，包括把至少一個參考圖像的所述較低分辯率版本和所述至少一個候選圖像的所述較低分辯率版本進行比較。
23.如權利要求22所述的方法，其中，利用光學相關把所述一個或多個參考圖像與所述一個或多個候選圖像進行所述比較的過程被限制為為參考圖像和候選圖像確定至少一個相似性門限等級，作為把所述至少一個參考圖像的所述較低分辯率版本與所述至少一個候選圖像的所述較低分辯率版本進行比較的結果。
24.一種用于使用戶或設備能夠檢索可能儲存在一個或多個網站中或上的一個或多個圖像的方法，包括產生一個或多個參考圖像；搜索一個或多個網站以便尋找一個或多個候選圖像；從所述一個或多個網站中取得或下載一個或多個候選圖像；和把一個或多個候選圖像與一個或多個參考圖像進行比較。
25.如權利要求24所述的方法，包括進行一個關鍵字或文本檢索以便尋找可能包含感興趣的一個或多個候選圖像的一個或多個網站。
26.如權利要求24所述的方法，包括用所述一個或多個候選圖像填充圖像數據庫。
27.如權利要求24所述的方法，包括形成要與所述一個或多個參考圖像進行比較的所述一個或多個候選圖像的一個隊列。
28.如權利要求24所述的方法，其中所述從一個或多個網站中取得或下載所述一個或多個候選圖像的過程包括從一個或多個網站中并行地取得或下載多個所述候選圖像。
29.如權利要求28所述的方法，包括形成要與所述一個或多個參考圖像進行比較的所述一個或多個候選圖像的一個隊列。
30.如權利要求24所述的方法，其中，所述產生一個或多個參考圖像的過程包括把一個或多個軟件文件轉換為所述一個或多個參考圖像。
31.如權利要求24所述的方法，其中，所述產生一個或多個參考圖像的過程包括把一個或多個聲音或音樂文件轉換為所述一個或多個參考圖像。
32.如權利要求24所述的方法，其中，所述產生一個或多個參考圖像的過程包括把一個或多個文本文件轉換為所述一個或多個參考圖像。
33.如權利要求24所述的方法，其中，把一個或多個候選圖像與一個或多個參考圖像進行所述比較的過程包括創建至少一個候選圖像的一個較低分辯率版本和至少一個參考圖像的較低分辯率版本。
34.如權利要求33所述的方法，其中，把一個或多個候選圖像與一個或多個參考圖像進行所述比較的過程包括把所述至少一個候選圖像的所述較低分辯率版本和所述至少一個參考圖像的所述較低分辯率版本進行比較。
35.如權利要求24所述的方法，包括創建至少一個候選圖像的一個較低分辯率版本和至少一個參考圖像的一個較低分辯率版本。
36.如權利要求35所述的方法，包括把所述至少一個候選圖像的所述較低分辯率版本和所述至少一個參考圖像的所述較低分辯率版本進行比較。
37.如權利要求36所述的方法，其中，把所述一個或多個候選圖像與所述一個或多個參考圖像進行所述比較的過程包括通過光學相關把所述一個或多個候選圖像與所述一個或多個參考圖像進行比較。
38.如權利要求24所述的方法，其中，把所述一個或多個候選圖像與所述一個或多個參考圖像進行所述比較的過程包括通過光學相關把所述一個或多個候選圖像與所述一個或多個參考圖像進行比較。
39.如權利要求24所述的方法，其中，把一個或多個候選圖像和一個或多個參考圖像進行所述比較的過程包括把所述一個或多個候選圖像和所述一個或多個參考圖像進行傅里葉變換。
40.如權利要求24所述的方法，其中，把一個或多個候選圖像與一個或多個參考圖像進行所述比較的過程包括把一個參考圖像的一個傅里葉變換版本與一個候選圖像的傅里葉變換版本進行相關或比較。
41.一種用于使用戶或設備能夠比較一個或多個圖像的裝置，包括用于產生一個或多個參考圖像的裝置；用于產生一個或多個候選圖像的裝置；用于把所述一個或多個參考圖像與所述一個或多個候選圖像進行比較的光學相關裝置；和用于把比較結果提供給用戶或設備的裝置。
42.如權利要求41所述的裝置，其中，產生一個或多個候選圖像的所述裝置包括用于從一個或多個網站中取得或下載所述一個或多個候選圖像的裝置。
43.如權利要求41所述的裝置，包括用于搜索一個或多個網站以便尋找所述一個或多個候選圖像的裝置。
44.一種制造的項目，包括一個計算機可用介質，具有嵌入其中的用于比較圖像的一個計算機可讀程序代碼裝置，在所述制造項目中的計算機可讀程序代碼裝置包括用于產生一個或多個參考圖像的裝置；用于產生一個或多個候選圖像的裝置；用于實現所述一個或多個參考圖像與所述一個或多個候選圖像比較的裝置；和用于把比較結果提供給用戶或設備的裝置。
45.一種機器可讀的程序存儲設備，明白地具體表達可由該機器執行的指令程序以便執行用于比較圖像的方法，該方法包括產生一個或多個參考圖像；產生一個或多個候選圖像；利用光學相關來把所述一個或多個參考圖像與所述一個或多個候選圖像進行比較；和把比較結果提供給用戶或設備。
46.如權利要求45所述的程序存儲設備，其中，所述方法包括搜索一個或多個網站以便尋找一個或多個可能的候選圖像。
47.如權利要求45所述的程序存儲設備，其中，所述產生一個或多個候選圖像的過程包括從一個或多個網站中取得或下載所述一個或多個候選圖像。
48.一種用于使用戶或設備能夠比較一個或多個圖像的方法，包括產生一個參考圖像；產生一個候選圖像；創建所述參考圖像的一個較低分辯率版本；創建所述候選圖像的一個較低分辯率版本；和把所述參考圖像的所述較低分辯率版本與所述候選圖像的所述較低分辯率版本進行比較。
49.如權利要求48所述的方法，包括在其中，把所述參考圖像的所述較低分辯率版本和所述候選圖像的所述較低分辯率版本進行所述比較的過程包括確定所述參考圖像的所述較低分辯率版本與所述候選圖像的所述較低分辯率版本之間的相似性等級。
50.如權利要求49所述的方法，包括如果確定在所述參考圖像的所述較低分辯率版本與所述候選圖像的所述較低分辯率版本之間存在足夠的相似性，則利用光學相關把所述參考圖像和所述候選圖像進行比較。
51.如權利要求48所述的方法，其中，所述產生一個或多個候選圖像的過程包括從連接到環球網上的一個或多個網站中取得或下載一個或多個圖像。
52.如權利要求48所述的方法，其中，所述產生一個或多個候選圖像的過程包括從一個分散的圖像數據庫或存儲處中取得或下載一個或多個圖像。
53.如權利要求48所述的方法，包括把一個軟件文件轉換為所述參考圖像。
54.如權利要求48所述的方法，包括把一個聲音或音樂文件轉換為所述參考圖像。
55.如權利要求48所述的方法，包括把一個文本文件轉換為所述參考圖像。
56.一種用于使用戶或設備能夠檢索可能儲存在一個或多個網站中的一個或多個圖像的裝置，包括用于產生一個或多個參考圖像的裝置；用于搜索一個或多個網站以便尋找一個或多個候選圖像的裝置；用于從所述一個或多個網站中取得或下載一個或多個候選圖像的裝置；和用于把一個或多個候選圖像與一個或多個參考圖像進行比較的裝置。
57.一種用于使用戶或設備能夠比較一個或多個圖像的裝置，包括用于產生一個參考圖像的裝置；用于產生一個候選圖像的裝置；用于創建所述參考圖像的一個較低分辯率版本的裝置；用于創建所述候選圖像的一個較低分辯率版本的裝置；和用于把所述參考圖像的所述較低分辯率版本與所述候選圖像的所述較低分辯率版本進行比較的裝置。
全文摘要
一種用于搜索并比較圖像的方法,包括:允許用戶、軟件應用、計算機系統等等創建、識別、選擇、提供或產生該用戶、軟件應用、計算機系統等等想要搜索的一個或多個參考圖像;取得或提供通過光學相關與參考圖像進行比較的一個或多個候選圖像;把一個或多個候選圖像與一個或多個參考圖像進行比較;和指出比較的結果和一個或多個候選圖像與一個或多個參考圖像之間的相關或匹配程度。
文檔編號G06F17/30GK1390335SQ00815766
公開日2003年1月8日 申請日期2000年5月23日 優先權日1999年6月4日
發明者里克·克里爾, 戴維·布魯澤, 凱文·斯凱爾 申請人:盧克戴納米克斯公司