圖像檢索系統(tǒng)、圖像檢索裝置以及圖像檢索方法與流程

本發(fā)明涉及用于拍攝花等并對該花進(jìn)行鑒別的圖像檢索系統(tǒng)、圖像檢索裝置以及圖像檢索方法。相關(guān)申請交叉引用此申請基于2011年3月21日提出的日本專利申請2011-063791主張優(yōu)先權(quán)，將其全部內(nèi)容包括說明書、權(quán)利要求、附圖和摘要全部援引于此。

背景技術(shù)：
有時想知道在山野和路邊看到的花的名稱。因此提出有如下技術(shù)：拍攝花并從拍攝了的花等的對象植物提取其特征量，從存儲有全國的野草的名稱和科、與上述特征量對應(yīng)的特征量信息、以及植物的采樣圖像的數(shù)據(jù)庫中進(jìn)行對象植物的檢索(例如，參考日本國特開2007-133816號公報)。另外，從花和葉的數(shù)字圖像，用聚類法提取作為對象物的花和葉的圖像，將從被提取的花和葉的圖像得到的信息作為特征量。提出有如下技術(shù)：求出一個或多個的特征量，使用統(tǒng)計的手法分析該求出的特征量以及預(yù)先登記到數(shù)據(jù)庫的各種的植物的特征量，來辨別野草的種類(例如，參考日本國特開2002-203242號公報)。另外，例如，在日本國特開2011-35636號公報提出有如下技術(shù)，使用圖割(GraphCuts)法，將包含花等的主要被攝體的圖像分割為花的區(qū)域和背景圖像的區(qū)域。然而，在日本國特開2007-133816號公報以及日本國特開2002-203242號公報所示的技術(shù)中，識別率是55％左右，無論如何均不可缺少基于人眼的選擇工序。在以往的技術(shù)中存在如下問題：用于使人們選擇的用戶接口的使用未必方便。

技術(shù)實現(xiàn)要素：
本發(fā)明是鑒于這樣的技術(shù)問題而完成的，提供具有用于鑒定拍攝到的花等的植物(將拍攝并進(jìn)行檢索的對象物稱為對象)的、提供有效且使用方便的用戶接口的圖像檢索系統(tǒng)以及圖像檢索裝置、圖像檢索方法、以及存儲圖像檢索程序的計算機(jī)能夠讀取的記錄介質(zhì)。為了解決上述技術(shù)問題，本發(fā)明的一個形態(tài)是一種圖像檢索裝置，是用于通過檢索數(shù)據(jù)庫來鑒別拍攝到的對象的圖像，該圖像檢索裝置特征在于，具有：數(shù)據(jù)庫，其將對象的樣品圖像、對象的名稱、以及對象的其他部位的樣品圖像與特征信息一起建立對應(yīng)地存儲；提取單元，其通過將所拍攝到的所述對象的圖像的特征信息與所述數(shù)據(jù)庫中所存儲的特征信息進(jìn)行比較，來提取多個與所拍攝到的所述對象的圖像類似度高的對象的樣品圖像，作為候選圖像；第一顯示控制單元，其將作為多個所提取的所述對象的樣品圖像的候選圖像、以及與所述候選圖像對應(yīng)的對象的名稱與所拍攝到的所述對象圖像一起在顯示部排列顯示；以及第二顯示控制單元，其使所述顯示部所顯示的多個候選圖像變更為相對應(yīng)的各所述對象的其他部位的樣品圖像，并在所述顯示部顯示。另外，本發(fā)明的其他形態(tài)是一種圖像檢索系統(tǒng)，是用于通過檢索數(shù)據(jù)庫來鑒別拍攝到的對象的圖像，該圖像檢索系統(tǒng)特征在于，具有：數(shù)據(jù)庫，其將對象的樣品圖像、對象的名稱、以及對象的其他部位的樣品圖像與特征信息一起建立對應(yīng)地存儲；提取單元，其通過將所拍攝到的所述對象的圖像的特征信息與在所述數(shù)據(jù)庫所存儲的特征信息進(jìn)行比較，來提取多個與所拍攝到的所述對象的圖像類似度高的對象的樣品圖像，作為候選圖像；第一顯示控制單元，將作為多個所提取的所述對象的樣品圖像的候選圖像、以及與所述候選圖像對應(yīng)的對象的名稱與所拍攝到的所述對象圖像一起在顯示部排列顯示；第二顯示控制單元，使所述顯示部所顯示的多個候選圖像變更為相對應(yīng)的各所述對象的其他部位的樣品圖像，并使所述顯示部顯示；通信終端；以及服務(wù)器，通過網(wǎng)絡(luò)與該通信終端連接，其中，所述通信終端具備所述顯示部，所述服務(wù)器具備所述數(shù)據(jù)庫。另外，本發(fā)明的其他形態(tài)是一種圖像檢索方法，用于通過檢索數(shù)據(jù)庫來鑒別拍攝到的對象的圖像，其中，該數(shù)據(jù)庫將對象的樣品圖像、對象的名稱、以及對象的其他部位的樣品圖像與特征信息一起建立對應(yīng)地存儲；該圖像檢索方法特征在于，具有：提取步驟，通過將所拍攝到的所述對象的圖像的特征信息與所述數(shù)據(jù)庫中所存儲的特征信息進(jìn)行比較，來提取多個與所拍攝到的所述對象的圖像類似度高的對象的樣品圖像，作為候選圖像；第一顯示控制步驟，將作為多個所提取的所述對象的樣品圖像的候選圖像、以及與所述候選圖像對應(yīng)的對象的名稱，與所拍攝到的所述對象圖像一起在顯示部排列顯示；以及第二顯示控制步驟，使所述顯示部所顯示的多個候選圖像變更為相對應(yīng)的各對象的其他部位的樣品圖像，并在所述顯示部顯示。根據(jù)本發(fā)明能夠以用簡單的操作，迅速地檢索拍攝的花等的對象。本發(fā)明的目地和新穎的特征，從下面的詳細(xì)描述中結(jié)合附圖閱讀，將更加充分地體現(xiàn)，且能清楚地理解。但是，附圖的目的僅作為說明，并不是對本發(fā)明的限定。附圖說明圖1是說明作為本發(fā)明的第一實施方式的網(wǎng)絡(luò)系統(tǒng)的整個構(gòu)成的圖。圖2是表示本實施方式的數(shù)據(jù)庫的構(gòu)成的圖。圖3A以及圖3B是用于說明本實施方式的顯示部12的顯示狀態(tài)的變化的圖。圖4A以及圖4B是用于說明本實施方式的顯示部12的顯示狀態(tài)的變化的圖。圖5A以及圖5B是用于說明本實施方式的顯示部12的顯示狀態(tài)的變化的圖。圖6是示出本實施方式的花檢索系統(tǒng)的整個動作的流程圖。圖7是示出本實施方式的花檢索程序的流程圖。圖8是示出第二實施方式的花區(qū)域提取處理的概略的圖。圖9是示出第二實施方式的花區(qū)域提取處理的詳細(xì)的流程圖。圖10是示出第二實施方式的顯著性圖提取處理的一個例子的流程圖。圖11A～圖11C是示出第二實施方式的特征量圖創(chuàng)建處理的一個例子的流程圖。圖12A～圖12C是示出第二實施方式的特征量圖創(chuàng)建處理的其他的例子的流程圖。具體實施方式<第一實施方式>以下，對于本發(fā)明的第一實施方式進(jìn)行說明。圖1是說明作為本發(fā)明的第一實施方式的網(wǎng)絡(luò)系統(tǒng)的整個構(gòu)成的圖。10是如智能電話的通信終端，具備：用于拍攝圖像的拍攝部11、顯示拍攝到的花的圖像或候選圖像等的顯示部12、作為工作存儲器發(fā)揮作用的存儲部13、用于進(jìn)行圖像選擇和關(guān)注點(diǎn)的數(shù)據(jù)輸入等的操作部14、用于控制整個通信終端的控制部15、以及用于安裝存儲卡16的安裝部17。拍攝部11具有對靜止圖像和連拍或運(yùn)動圖像進(jìn)行拍攝的功能，在本說明書中連拍和運(yùn)動圖像視為同義而進(jìn)行處理。存儲部13具有保存拍攝的多個圖像的保存部13A?？刂撇?5具有CPU7，控制部15包含存儲由用于花檢索的通信終端10執(zhí)行的各種程序的程序存儲部8、以及通過執(zhí)行按照規(guī)定的算法的程序進(jìn)行花檢索來提取候選圖像的提取部9。該通信終端10通過移動電話線路或無線LAN等經(jīng)由因特網(wǎng)500與服務(wù)器100連接。服務(wù)器100具有數(shù)據(jù)庫110，該數(shù)據(jù)庫110將花的樣品圖像、花的名稱、葉的樣品圖像以及對用于減少花的名稱的關(guān)注點(diǎn)進(jìn)行指示的圖像與用于對上述通信終端10的拍攝部11所拍攝的花的圖像進(jìn)行鑒別的特征信息一起建立對應(yīng)地存儲。130是作為工作存儲器而發(fā)揮作用的存儲部，150是對整個服務(wù)器進(jìn)行控制的控制部?？刂撇?50具有CPU70，并且具有存儲由CPU70執(zhí)行的用于花檢索的各種程序的程序存儲部80?？刂撇?50還具有提取部90，該提取部90通過執(zhí)行按照規(guī)定的算法的程序來進(jìn)行花檢索并提取候選圖像。因此，即使在通信終端10側(cè)不具備提取部9，也能夠發(fā)送到服務(wù)器100由提取部90進(jìn)行花檢索。另外，存儲部130具有保存部130A，該保存部130A存儲從多個用戶發(fā)送來的(被投稿的)花的圖像。圖2是表示數(shù)據(jù)庫110的構(gòu)成的圖。數(shù)據(jù)庫110將花的樣品圖像D3、花的名稱D1、葉的樣品圖像D4、以及對用于減少花的名稱的關(guān)注點(diǎn)進(jìn)行指示的圖像D5與特征信息D2一起建立對應(yīng)進(jìn)行存儲。另外，將作為該花的關(guān)注點(diǎn)的開花時期、花的大小、花瓣的顏色、葉的形狀、身長、生長地區(qū)、……等作為用于減少花的候選的關(guān)注點(diǎn)信息D6。還存儲有包含從該花的種子、芽、成長、花蕾、開花等的培養(yǎng)向?qū)?、以及肥料和水的給予方法等的維護(hù)向?qū)У南驅(qū)畔7。該向?qū)畔7可以是顯示數(shù)據(jù)，也可以是音頻數(shù)據(jù)。將花的名稱D1作為索引而存儲有的花的樣品圖像D3、葉的樣品圖像D4等，但在容量允許的范圍內(nèi)，對應(yīng)一個花的名稱而存儲有多個花的狀態(tài)，例如存儲有開花前、花蕾的時期、開花中、結(jié)果中等的圖像。其次，對實際上由通信終端10拍攝花并進(jìn)行花檢索的順序進(jìn)行說明。圖3至圖5是用于說明本實施方式的顯示部12的顯示狀態(tài)的變化的圖。假設(shè)由通信終端10的拍攝部11拍攝花。此時，在顯示部12，如圖3A所示，顯示拍攝圖像G。在拍攝圖像G中一起拍攝有作為主要被攝體的花的圖像F、以及背景B。此時，也可以選擇已經(jīng)拍攝到的、在存儲部13或存儲卡16所保存的圖像。D6是根據(jù)開花時期和花的大小、身長、葉的形狀等知道的信息，用于減少候選的關(guān)注點(diǎn)信息的顯示。并且，由通信終端10的操作部14的操作，選擇拍攝圖像G，由控制部15執(zhí)行圖6中的后述的花檢索程序?？刂撇?5通過對由提取部9的動作所拍攝的花的圖像F的特征信息和在數(shù)據(jù)庫110所存儲的特征信息D2進(jìn)行比較，將與拍攝的花的圖像F類似度高的花的樣品圖像D3作為候選圖像而提取多個。在圖3B示出此時的顯示部12的顯示例。即、并列顯示包含花的圖像F的拍攝圖像G、作為候選圖像而被提取的多個花的樣品圖像D3、以及各花的名稱D1，還并列顯示用于減少花的候選的關(guān)注點(diǎn)信息D6。假設(shè)多個花的候選圖像D3按照類似度從高到低的順序排列。在該狀態(tài)下，用戶無法確定拍攝的花的圖像G和顯示的花的樣品圖像D3一致時，通過操作部14的規(guī)定的操作，如圖4A所示，在顯示花的樣品圖像D3的位置，一并顯示變更為與該花對應(yīng)的葉的圖像D4。由此，用戶不僅能夠?qū)Ρ然ǖ男螤?，還能夠?qū)Ρ热~的形狀來進(jìn)行比較。即使這樣也無法判斷出時，通過操作部14的規(guī)定的操作，如圖4B所示，使對用于減少花的名稱的關(guān)注點(diǎn)進(jìn)行指示的圖像D5進(jìn)行顯示。在指示該關(guān)注點(diǎn)的圖像D5中，因為以箭頭記入關(guān)注點(diǎn)，所以用戶可重點(diǎn)注意該關(guān)注點(diǎn)地進(jìn)行比較，或在關(guān)注點(diǎn)信息D6指定成為關(guān)注點(diǎn)的花的大小、花的顏色、生長時期、株高等時，可縮小花的范圍。另外，如圖5A所示，也可以顯示整個圖像D8來代替葉的樣品圖像D4。在未發(fā)現(xiàn)規(guī)定閾值以上類似度高的花的名稱時，如圖5B所示，進(jìn)行“不存在符合條件的花”這樣的通知顯示D9。使用流程圖對該動作進(jìn)行說明。圖6是示出本實施方式的花檢索系統(tǒng)的全部動作的流程圖，實現(xiàn)前述的顯示。即，在開始控制部15的程序存儲部8所存儲的花檢索程序時，在顯示部12顯示最初規(guī)定的菜單畫面(步驟S1)。在這里，拍攝花，或是選擇已經(jīng)拍攝并在存儲部13的保存部13A所保存的拍攝圖像(步驟S2)。于是，顯示圖3A示出的基本畫面(步驟S3)。在該狀態(tài)下，通過操作部14可進(jìn)行各種各樣的操作，在進(jìn)行檢索指示時，進(jìn)入步驟S5，通過因特網(wǎng)500等的網(wǎng)絡(luò)，訪問服務(wù)器100的數(shù)據(jù)庫110，檢索并提取花的候選圖像(步驟S5)。對于該詳細(xì)的說明在圖9中后述?；谠撎崛〗Y(jié)果，進(jìn)行圖3B所示的花的樣品圖像顯示(步驟S6)?；悠穲D像D3以類似度從高到低的順序，從左上起依次與花的名稱D1一起并列顯示。在該狀態(tài)下，如果能夠確定用戶拍攝的花的名稱，則可以就這樣結(jié)束，但在存在多個相似的花而不能縮小范圍的情況下，進(jìn)行指定“葉”的操作時，從步驟S4進(jìn)入到步驟S7，變化為圖3B顯示的花的樣品圖像，如圖4A所示，讀出與這些花對應(yīng)的在數(shù)據(jù)庫110所存儲的葉的樣品圖像D4，并將在顯示該花的樣品圖像的區(qū)域中顯示葉的樣品圖像來代替花的樣品圖像(步驟S8)。因此，不是以葉的類似度從高到低的順序排列葉的候選圖像，而是以花的樣品圖像的類似度從高到低的順序排列葉的樣品圖像。這種方法，通常將類似度最高的在先頭顯示，因此不給用戶帶來混亂。另外，在檢索步驟S7中，如步驟S5所示，不進(jìn)行圖像識別處理，從數(shù)據(jù)庫110提取對應(yīng)的葉的樣品圖像D4。指定“葉”的操作也可以使用“葉”這樣的按鈕來進(jìn)行，也可以對顯示的拍攝圖像G的葉的部分進(jìn)行觸擊。盡管如此，在用戶不能確定花的名稱時，通過規(guī)定的操作進(jìn)入步驟S9、S10，如圖4B所示，如前述顯示圖像D5，該圖像D5對用于減少花的名稱的關(guān)注點(diǎn)進(jìn)行指示。在指示該關(guān)注點(diǎn)的圖像D5中，因為用箭頭記入關(guān)注點(diǎn)，能使用戶重點(diǎn)注意比較該關(guān)注點(diǎn)，或在關(guān)注點(diǎn)信息D6指定成為關(guān)注點(diǎn)的花的大小、花的顏色、生長時期、以及株高等時，能縮小花的范圍。在檢索花之前，指定關(guān)注點(diǎn)信息時，進(jìn)入步驟S11。例如，在指定作為關(guān)注點(diǎn)的花的大小、花的顏色、生長時期、以及株高等時，檢索數(shù)據(jù)庫110的關(guān)注點(diǎn)信息D6，從候選中將不符合條件的花排除。由此，在與步驟S5進(jìn)行同樣的檢索處理時，因為能減少檢索對象，所以檢索時間變短。顯示部12的顯示方式與圖3B相同。如果能夠確定用戶拍攝的花的名稱，則通過結(jié)束操作，結(jié)束流程(步驟S13)。另外，不僅可準(zhǔn)備葉的樣品圖像D4，也可以準(zhǔn)備整個樣品圖像D8(圖5A)。在步驟S5的檢索的結(jié)果是無法提取類似的花的樣品圖像時，如圖5B所示，進(jìn)行“不存在符合條件的花”這樣的通知顯示D9。圖7是示出檢索圖6的步驟S5的花，提取候選圖像的動作的流程圖。因為以圖像數(shù)據(jù)作為對象的特征量的類似度計算手法本身是公知技術(shù)，所以不進(jìn)行詳細(xì)說明。另外，作為被攝體的剪取手法，采用圖割法(GraphCuts法：圖切法)，關(guān)于圖切法的具體的手法的一個例子，由第二實施方式進(jìn)行詳細(xì)說明，所以在這里不進(jìn)行詳細(xì)說明。首先進(jìn)行從拍攝圖像G剪取作為主要被攝體的花的圖像F的處理(步驟S51)。另外，從剪取的花的區(qū)域提取特征信息(步驟S52)。并且，與在數(shù)據(jù)庫110所存儲的特征信息D2進(jìn)行比較(步驟S53)。對比較的數(shù)據(jù)庫110的特征信息和從花的區(qū)域提取的特征信息的類似度進(jìn)行計算(步驟S54)，以類似度從高到低的順序例如提取6個花的樣品圖像(步驟S55)，如圖3A所示，對花的樣品圖像按照類似度順序排列顯示(圖6的步驟S6)。<第二實施方式>其次，對第二實施方式進(jìn)行說明。本實施方式與以動畫形式拍攝被攝體的情況對應(yīng)，例示出在圖7的“剪取花的區(qū)域”(步驟S51)的具體的手法。根據(jù)該手法，不僅靜止圖像，也能夠從運(yùn)動圖像中提取花的區(qū)域。另外，與上述實施方式的共同部分賦予共同的符號，并省略說明。在第二實施方式的圖像提取處理中，應(yīng)用圖割法(圖切法)。所謂圖割法是將分割(圖像的區(qū)域分割)問題作為能量最小化問題進(jìn)行處理的手法之一。圖割法能夠求得由各區(qū)域定義了的能量函數(shù)的整體分析，其結(jié)果，存在使用區(qū)域和邊界的雙方特性的分割這樣的優(yōu)點(diǎn)。在圖8的例子中，對于處理對象圖像61(→與拍攝圖像G對應(yīng))執(zhí)行如下的運(yùn)動圖像提取處理。在步驟Sa中，CPU7例如執(zhí)行如下的處理，作為顯著性圖提取處理。即，CPU7對于與處理對象圖像61對應(yīng)的幀圖像數(shù)據(jù)，例如根據(jù)色、方位、亮度等的多種類的特征量的對比度，創(chuàng)建多種類的特征量圖。另外，以下，像這樣多個種類中，將在創(chuàng)建規(guī)定的一個種類的特征量圖為止的一系列處理稱為特征量圖創(chuàng)建處理。對于各特征量圖創(chuàng)建處理的詳細(xì)例子，參照圖11和圖12在后敘述。例如，在圖8的例子中，后述的圖12A的多尺度的對比的特征量圖創(chuàng)建處理的結(jié)果，創(chuàng)建有特征量圖Fc。另外，后述的圖12B的“中心-周圍”(Center-Surround)的顏色直方圖的特征量圖創(chuàng)建處理的結(jié)果，創(chuàng)建有特征量圖Fh。另外，圖12C的色空間分布的特征量圖創(chuàng)建處理的結(jié)果，創(chuàng)建特征量圖Fs。其次，CPU7通過合并多個種類的特征量圖，而求得顯著性圖。例如在圖8的例子中，合并特征量圖Fc、Fh、Fs，可求得顯著性圖S。步驟Sa的處理，與后述的圖9的步驟S22的處理對應(yīng)。在步驟Sb中，CPU7使用顯著性圖，從處理對象圖像中估計吸引人的視覺注意的可能性高的圖像區(qū)域(以下，稱為關(guān)注點(diǎn)區(qū)域)。例如，在圖8的例子中，使用顯著性圖S，從處理對象圖像61中估計出多個階段的關(guān)注點(diǎn)區(qū)域62-1至62-N(N是1以上的整數(shù)值，在圖8的例中至少是4以上的整數(shù)值)。關(guān)注點(diǎn)區(qū)域62-r(r是從1至N中的某一個整數(shù)值)，是在使用規(guī)定的閾值Sth-r對顯著性圖S進(jìn)行2值化情況下的、具有比閾值Sth-r高的值的區(qū)域。具體地說，例如，在圖6的例子中，關(guān)注點(diǎn)區(qū)域62-1的估計中所利用的閾值Sth-1被設(shè)為70。關(guān)注點(diǎn)區(qū)域62-2的估計中所利用的閾值Sth-2被設(shè)為90。關(guān)注點(diǎn)區(qū)域62-(N-1)的估計中所利用的閾值Sth-(N-1)被設(shè)為150。關(guān)注點(diǎn)區(qū)域62-N的估計中所利用的閾值Sth-N被設(shè)為170。步驟Sb的處理，與后述的圖9的步驟S24的處理對應(yīng)。在由步驟Sf的圖割法的區(qū)域分割處理中，處理對象圖像61被分(分割)為主要被攝體的區(qū)域和背景區(qū)域。為了實現(xiàn)相關(guān)的區(qū)域分割處理，需要成為主要被攝體的區(qū)域和背景區(qū)域的樣品的標(biāo)簽和種子(seed)。因此，執(zhí)行如下的步驟Sc、Sd的處理。在步驟Sc中，CPU7例如執(zhí)行如下的處理，作為核心區(qū)域提取處理。即，CPU7用多個階段的關(guān)注點(diǎn)區(qū)域62-1至62-N，提取關(guān)注點(diǎn)區(qū)域的核心區(qū)域。例如，基于多個階段的關(guān)注點(diǎn)區(qū)域62-1至62-N的變化少的區(qū)域、或多個階段的關(guān)注點(diǎn)區(qū)域62-1至62-N的重復(fù)區(qū)域等，提取關(guān)注點(diǎn)區(qū)域的核心區(qū)域。具體地說，例如在圖8的例子中，提取關(guān)注點(diǎn)區(qū)域的核心區(qū)域63-1、63-2。步驟Sc的處理與后述的圖9的步驟S25的處理對應(yīng)。在步驟Sd中，CPU7例如執(zhí)行如下的處理，作為種子(seed)設(shè)定處理。即，CPU7例如基于關(guān)注點(diǎn)區(qū)域的核心區(qū)域，對主要被攝體的區(qū)域的種子、背景區(qū)域的種子分別進(jìn)行設(shè)定。另外，設(shè)定手法本身沒有被特別限定。例如，可采用將關(guān)注點(diǎn)區(qū)域的核心區(qū)域按原樣設(shè)定為主要被攝體的區(qū)域的種子這樣的手法。再例如，也可采用將與關(guān)注點(diǎn)區(qū)域的核心區(qū)域內(nèi)接或外接的矩形區(qū)域、或關(guān)注點(diǎn)區(qū)域的重心或骨骼線等設(shè)定為主要被攝體的區(qū)域的種子這樣的手法。再例如，也可將顯著性低的核心區(qū)域、關(guān)注點(diǎn)區(qū)域以外的矩形區(qū)域、或關(guān)注點(diǎn)區(qū)域以外的區(qū)域的重心或骨格線設(shè)定為背景區(qū)域這樣的手法。例如，在圖8的例子中，對主要被攝體的區(qū)域的種子64-1、64-2、以及背景區(qū)域的種子65-1、65-2進(jìn)行設(shè)定。在步驟Sd的處理中，與后述的圖9的步驟S26的處理對應(yīng)。另外，為了實現(xiàn)步驟Sf的圖割法的區(qū)域分割處理，需要主要被攝體區(qū)域的事前概率Pr(O)和背景區(qū)域的事前概率Pr(B)。因此，在步驟Se中，CPU7例如執(zhí)行如下的處理作為事前概率運(yùn)算處理。即，CPU7將顯著性圖S的值(其中，將顯著性圖值在0至1的范圍內(nèi)進(jìn)行標(biāo)準(zhǔn)化得到的值)作為主要被攝體區(qū)域的事前概率Pr(O)進(jìn)行運(yùn)算。另外，CPU7將使顯著性圖S反轉(zhuǎn)的值(1-顯著性圖S得到的值)、即將1-Pr(O)作為背景區(qū)域的事前概率Pr(B)進(jìn)行運(yùn)算。例如，在圖8的例子中，根據(jù)該圖示出的顯著性圖S可得到與該圖示出的主要被攝體區(qū)域的事前概率Pr(O)和背景區(qū)域的事前概率Pr(B)。步驟Se的處理與后述的圖9的步驟S23的處理對應(yīng)。其次，在步驟Sf中，CPU7執(zhí)行基于圖割法的區(qū)域分割處理。在這里，在以往的圖割法中，為了物體和背景的學(xué)習(xí)，手動地賦予成為物體區(qū)域(主要被攝體區(qū)域)和背景區(qū)域的樣品的標(biāo)簽和種子。與此相對，在本實施方式中，能利用由步驟Sd的處理自動地設(shè)定的主要被攝體區(qū)域的種子及背景區(qū)域的種子。其結(jié)果，如以前一樣，不需要用戶手動輸入種子，另外，也不需要學(xué)習(xí)。另外，由步驟Se的處理所運(yùn)算得到的主要被攝體區(qū)域的事前概率Pr(O)以及背景區(qū)域的事前概率Pr(B)基于顯著性圖S的概率，也可以作為圖割法的t-link的事前概率來采用。其結(jié)果，可得到主要被攝體區(qū)域的恰當(dāng)?shù)目臻g信息。步驟Sf的基于圖割法的區(qū)域分割處理的結(jié)果，如上所述，處理對象圖像61被分割為主要被攝體的區(qū)域和背景區(qū)域。步驟Sf的處理，與后述的圖9的步驟S27的處理對應(yīng)。此后，主要被攝體的區(qū)域的數(shù)據(jù)作為“運(yùn)動圖像部分”的圖像數(shù)據(jù)進(jìn)行提取(參考后述的圖9的步驟S28)。另外，該提取手法并不特別限定，可以是所謂的剪取提取，也可以是所謂阿爾法引導(dǎo)提取。按照多個幀圖像數(shù)據(jù)的每一個反復(fù)執(zhí)行這樣的步驟Sa至Sf的處理，從而可提取“運(yùn)動圖像部分”的運(yùn)動圖像數(shù)據(jù)等。圖9是示出運(yùn)動圖像提取處理的流程的詳細(xì)例子的流程圖。在步驟S21中，CPU7從作為圖6的步驟S5至S8的循環(huán)處理的結(jié)果所得到的運(yùn)動圖像數(shù)據(jù)等中，將規(guī)定的拍攝圖像數(shù)據(jù)(幀圖像數(shù)據(jù))作為處理對象圖像數(shù)據(jù)進(jìn)行設(shè)定。在步驟S22中，CPU7通過執(zhí)行顯著性圖提取處理，來求得顯著性圖。對于顯著性圖提取處理的概略，作為圖8的步驟Sa的處理如上述，該詳細(xì)說明將參照圖10后述。在步驟S23中，CPU7執(zhí)行事前概率運(yùn)算處理。由此，作為圖8的步驟Se的處理，如上所述，可得到主要被攝體區(qū)域的事前概率Pr(O)和背景區(qū)域的事前概率Pr(B)。在步驟S24中，CPU7使用顯著性圖，估計關(guān)注點(diǎn)區(qū)域。由此，作為圖8的步驟Sb的處理如上所述，可估計多個階段的關(guān)注點(diǎn)區(qū)域。在步驟S25中，CPU7使用多個階段的關(guān)注點(diǎn)區(qū)域，執(zhí)行核心區(qū)域提取處理。由此，作為圖8的步驟Sc的處理如上述，可提取關(guān)注點(diǎn)區(qū)域的核心區(qū)域。在步驟S26，CPU7使用關(guān)注點(diǎn)區(qū)域的核心區(qū)域，執(zhí)行種子(seed)設(shè)定處理。由此，作為圖8的步驟Sd的處理如上述，分別設(shè)定主要被攝體的區(qū)域的種子、和背景區(qū)域的種子。在步驟S27中，CPU7使用主要被攝體的事前概率Pr(O)和背景區(qū)域的事前概率Pr(B)、以及主要被攝體的區(qū)域的種子和背景區(qū)域的種子，執(zhí)行基于圖割法的區(qū)域分割處理。由此，作為圖8的步驟Sf的處理如上述，與處理對象圖像數(shù)據(jù)對應(yīng)的幀圖像，被分(分割)為主要被攝體的區(qū)域和背景區(qū)域。因此，在步驟S28中，CPU7將分割后的主要被攝體的區(qū)域?qū)?yīng)的數(shù)據(jù)作為“運(yùn)動圖像”的圖像數(shù)據(jù)暫時保存在存儲部13等。在步驟S29，CPU7判斷處理對象圖像數(shù)據(jù)是否是最后的拍攝圖像數(shù)據(jù)(幀圖像數(shù)據(jù))。在處理對象圖像數(shù)據(jù)不是最后的拍攝圖像數(shù)據(jù)的情況下，步驟S29中，判定為“否”，處理返回到步驟S21。即，按照構(gòu)成運(yùn)動圖像數(shù)據(jù)等的多個拍攝圖像數(shù)據(jù)的每一個，通過反復(fù)執(zhí)行步驟S21至S29的循環(huán)處理，依次提取“運(yùn)動圖像”的圖像數(shù)據(jù)。此后，最后的拍攝圖像數(shù)據(jù)被設(shè)定為處理對象圖像數(shù)據(jù)，執(zhí)行步驟S22至S28的處理時，在下面的步驟S29判定為“是”，結(jié)束運(yùn)動圖像提取處理。其結(jié)果，根據(jù)從多個拍攝圖像數(shù)據(jù)的每一個提取的多個“運(yùn)動圖像”的圖像數(shù)據(jù)，構(gòu)成“運(yùn)動圖像”的運(yùn)動圖像數(shù)據(jù)等。因此，在運(yùn)動圖像提取處理結(jié)束時，即，圖6的步驟S9的處理結(jié)束時，如上所述，在步驟S10、S11的處理中，對“運(yùn)動圖像”的運(yùn)動圖像數(shù)據(jù)等進(jìn)行壓縮編碼，將作為其結(jié)果所得到的編碼圖像數(shù)據(jù)存儲到存儲卡16等。其次，對于運(yùn)動圖像提取處理中的步驟S22(圖8的步驟Sa)的顯著性圖提取處理的詳細(xì)例進(jìn)行說明。如上所述，在關(guān)注點(diǎn)區(qū)域估計處理中，為了估計關(guān)注點(diǎn)區(qū)域，創(chuàng)建顯著性圖。因此，對于關(guān)注點(diǎn)區(qū)域估計處理，例如，可應(yīng)用Treisman的特征合并理論、或基于Nitti以及Koch們的顯著性圖。圖10是在應(yīng)用Treisman的特征合并理論、或基于Nitti以及Koch們的顯著性圖的情況下，示出關(guān)注點(diǎn)區(qū)域估計處理的流程的詳細(xì)例子的流程圖。在步驟S41中，CPU7將由直通攝像得到的幀圖像數(shù)據(jù)作為處理對象圖像數(shù)據(jù)來取得。在步驟S42中，CPU7制作高斯分辨率金字塔(GaussianResolutionPyramid)。具體地說，例如，CPU7將處理對象圖像數(shù)據(jù){(x，y)的位置的像素數(shù)據(jù)}設(shè)為I(0)＝I(x，y)，依次重復(fù)執(zhí)行高斯濾波處理和下抽樣處理。作為其結(jié)果，生成階層型的尺度圖像數(shù)據(jù)I(L)(例如L∈{0…8})的組。該階層型的尺度圖像數(shù)據(jù)I(L)的組，被稱高斯分辨率金字塔。在這里，尺度L＝k(在這里k是1至8中的某個整數(shù)值)的情況下，尺度圖像數(shù)據(jù)I(k)示出1/2k的縮小圖像(k＝0的情況下是原圖像)。在步驟S43中，CPU7開始各特征量圖創(chuàng)建處理。對于各特征量圖創(chuàng)建處理的詳細(xì)例，參照圖11和圖12在后敘述。在步驟S44中，CPU7判定全部的特征量圖創(chuàng)建處理是否結(jié)束。即使各特征量圖創(chuàng)建處理中的一個未結(jié)束處理的情況下，在步驟S44中，判斷為“否”，處理再次返回到步驟S44。即，到各特征量圖創(chuàng)建處理的全部處理結(jié)束為止之前的期間，重復(fù)執(zhí)行步驟S44的判斷處理。并且，各特征量圖創(chuàng)建處理的全部處理結(jié)束，創(chuàng)建全部的特征量圖時，在步驟S44被判定為“是”，處理進(jìn)入步驟S45。在步驟S45中，CPU7將各特征量圖以線性和結(jié)合，求得顯著性圖S(SaliencyMap)。這樣，在求得顯著性圖S時，結(jié)束顯著性圖提取處理。即，結(jié)束圖9的步驟S22的處理，處理進(jìn)入步驟S23。以圖8為例，結(jié)束步驟Sa的處理，處理進(jìn)入步驟Sb。其次，對于各特征量圖創(chuàng)建處理的具體例進(jìn)行說明。圖11是示出亮度、顏色、以及方向性的特征量圖創(chuàng)建處理的流程的一個例子的流程圖。圖11A示出亮度的特征量圖創(chuàng)建處理的一個例子。在步驟S61中，CPU7根據(jù)與處理對象圖像數(shù)據(jù)對應(yīng)的各尺度圖像，設(shè)定各關(guān)注像素。例如，設(shè)定各關(guān)注像素c∈{2，3，4}，進(jìn)行以下的說明。所謂各關(guān)注像素c∈{2，3，4}是指，作為尺度c∈{2，3，4}的尺度圖像數(shù)據(jù)I(c)上的運(yùn)算對象，而被設(shè)定的像素。在步驟S62中，CPU7求得各關(guān)注像素c∈{2，3，4}的各尺度圖像的亮度成分。在步驟S63中，CPU7求得各關(guān)注像素的周邊像素s＝c+δ的各尺度圖像的亮度成分。所謂各關(guān)注像素的周邊像素s＝c+δ，是指例如設(shè)置為δ∈{3，4}時，尺度s＝c+δ的尺度圖像I(s)上的、在關(guān)注像素(對應(yīng)點(diǎn))的周邊存在的像素。在步驟S64中，CPU7對于各尺度圖像，求得在各關(guān)注像素c∈{2，3，4}的亮度對比度。例如，CPU7求得各關(guān)注像素c∈{2，3，4}和各關(guān)注像素的周邊像素s＝c+δ(例如δ∈{3，4})的尺度間差分。在這里，在將關(guān)注像素c稱為Center“中心”、將關(guān)注像素的周邊像素s稱為Surround“周圍”時，被求得的尺度間差分可稱為亮度的“中心-周圍”尺度間差分。該亮度的“中心-周圍”尺度間差分在關(guān)注像素c為白色、周邊像素s為黑色的情況下或與此相反的情況下存在取大的值這樣的性質(zhì)。因此，亮度的“中心-周圍”尺度間差分表示亮度對比度。另外，以下，將該亮度對比度記為I(c，s)。在步驟S65中，CPU7判斷在與處理對象圖像數(shù)據(jù)對應(yīng)的各尺度圖像，是否存在未設(shè)定為關(guān)注像素的像素。在存在那樣的像素的情況下，在步驟S65判定為“是”，處理返回到步驟S61，重復(fù)此后的處理。即，對于與處理對象圖像數(shù)據(jù)對應(yīng)的各尺度圖像的各像素，分別實施步驟S61至S65的處理，并求得各像素的亮度對比度I(c，s)。在這里，在設(shè)定為各關(guān)注像素c∈{2，3，4}以及周邊像素s＝c+δ(例如δ∈{3，4})的情況下，在步驟S61至S65的一次的處理中，求得(3種關(guān)注像素c)×(2種周邊像素s)＝6種亮度對比度I(c，s)。在此，對于規(guī)定的c和規(guī)定的s求得的亮度對比度I(c，s)的整個圖像的集合體在以下稱為亮度對比度I的特征量圖。關(guān)于亮度對比度I的特征量圖，重復(fù)步驟S61至S65的循環(huán)處理的結(jié)果，能夠求得6種。像這樣，在求取了6種亮度對比度I的特征量圖時，在步驟S65被判定為“否”，處理進(jìn)入步驟S66。在步驟S66，CPU7使亮度對比度I的各特征量圖標(biāo)準(zhǔn)化之后進(jìn)行結(jié)合，從而制作亮度的特征量圖。由此，結(jié)束亮度的特征量圖創(chuàng)建處理。另外，以下，為了將亮度的特征量圖與其他的特征量圖進(jìn)行區(qū)別，記述為FI。圖11B示出顏色的特征量圖創(chuàng)建處理的一個例子。在圖11B的顏色的特征量圖創(chuàng)建處理與圖11A的亮度的特征量圖創(chuàng)建處理進(jìn)行比較時，處理的流程基本相同，處理對象不同。即，圖11B的步驟S81至S86的各處理是與圖11A的步驟S61至S66的各個對應(yīng)的處理，各步驟的處理對象與圖11A不同。因此，對于圖11B的顏色的特征量圖創(chuàng)建處理，省略處理的流程的說明，以下僅對處理對象進(jìn)行簡單地說明。即，相對圖11A的步驟S62和S63的處理對象為亮度成分，圖11B的步驟S82和S83的處理對象是顏色成分。另外，圖11A的步驟S64處理，求出亮度的“中心-周圍”尺度間差分作為亮度對比度I(c，s)。與此相對，在圖11B的步驟S84的處理中，求出色調(diào)(R/G，B/Y)的“中心-周圍”尺度間差分作為色調(diào)對比度。另外，在顏色成分中，紅色的成分由R表示，綠色的成分由G表示，藍(lán)色成分由B表示，黃色的成分由Y表示。另外，以下，將色調(diào)R/G的色調(diào)對比度記述為RG(c，s)，將色調(diào)B/Y的色調(diào)對比度記述為BY(c，s)。在這里，假設(shè)與上述的例子一致，關(guān)注像素c存在三種，周邊像素s存在兩種。這種情況下，圖11A的步驟S61至S65的循環(huán)處理的結(jié)果，求得6種亮度對比度I的特征量圖。與此相對，圖11B的步驟S81至S85循環(huán)處理的結(jié)果，求得6種色調(diào)對比度RG的特征量圖、和6種色調(diào)對比度BY的特征量圖。最終，通過在圖11A的步驟S66的處理，可求得亮度的特征量圖FI。與此相對，通過在圖11B的步驟S86的處理，可求得顏色的特征量圖。另外，以下，為了將顏色的特征量圖與其他特征量圖進(jìn)行區(qū)別，記述為FC。圖11C示出方向性的特征量圖創(chuàng)建處理的一個例子。圖11C的方向性的特征量圖創(chuàng)建處理與圖11A的亮度的特征量圖創(chuàng)建處理比較時，處理的流程基本相同，僅是處理對象不同。即，圖11C的步驟S101至S106的各自的處理是圖11A的步驟S61至S66的各自對應(yīng)的處理，僅是各步驟的處理對象與圖11A不同。因此，對于圖11C的方向性的特征量圖創(chuàng)建處理，省略處理的流程的說明，以下，僅對處理對象簡單地說明。即，步驟S102和S103的處理對象是方向成分。在這里，所謂方向成分是指對亮度成分疊加了高斯濾波器φ的結(jié)果而得到的各方向的振幅成分。在這里所謂的方向，由作為高斯濾波器φ的參數(shù)而存在的旋轉(zhuǎn)角θ所示的方向。例如，作為旋轉(zhuǎn)角θ，可采用0°、45°、90°、135°的四個方向。另外，在步驟S104的處理中，求出方向性的“中心-周圍”尺度間差分，作為方向性對比度。另外，以下，將方向性對比度記述為O(c，s，θ)。在這里，假設(shè)與上述的例子一致，關(guān)注像素c存在3種，周邊像素s存在2種。這種情況下，步驟S101至S105的循環(huán)處理的結(jié)果，按照每個旋轉(zhuǎn)角θ，求出6種方向性對比度O的特征量圖。例如，作為旋轉(zhuǎn)角θ，在采用0°、45°、90°、135°的四個方向的情況下，求出24種(＝6×4種)的方向性對比度O的特征量圖。最終，在步驟S106的處理中，求出方向性的特征量圖。另外，以下，為了將方向性的特征量圖與其他的特征量圖進(jìn)行區(qū)別，記述為FO。另外，特征量圖創(chuàng)建處理并不特別限定于圖11的例子。例如，作為特征量圖創(chuàng)建處理，使用明亮度、彩度、色調(diào)、以及動作的各特征量，也能夠采用制作各自的特征量圖的處理。另外，例如，作為特征量圖創(chuàng)建處理，使用多尺度的對比度、“中心-周圍”的顏色直方圖、以及顏色空間分布的各特征量，也能夠創(chuàng)建各自的特征量圖這樣的處理。圖12是示出多尺度的對比度、“中心-周圍”的顏色直方圖、以及顏色空間分布的特征量圖創(chuàng)建處理的一個例子的流程圖。圖12A是示出多尺度的對比度的特征量圖創(chuàng)建處理的一個例子。在步驟S121，CPU7求得多尺度的對比度的特征量圖。由此，多尺度的對比度的特征量圖創(chuàng)建處理結(jié)束。另外，以下，為了將多尺度的對比度的特征量圖與其他的特征量圖進(jìn)行區(qū)別，記述為Fc。圖12B示出“中心-周圍”的顏色直方圖的特征量圖創(chuàng)建處理的一個例子。在步驟S141中，CPU7按照每一不同長寬比，求得矩形區(qū)域的顏色直方圖、和周邊輪廓的顏色直方圖。對長寬比本身并未特別限定，例如可采用{0.5，0.75，1.0，1.5，2.0}等。在步驟S142，CPU7按照每個不同的長寬比，求得與矩形區(qū)域的顏色直方圖和周邊輪廓的顏色直方圖的二次方距離。在步驟S143，CPU7求得二次方距離成為最大的矩形區(qū)域的顏色直方圖。在步驟S144，CPU7使用二次方距離成為最大的矩形區(qū)域的顏色直方圖，制作“中心-周圍”的顏色直方圖的特征量圖。由此，結(jié)束“中心-周圍”的顏色直方圖的特征量圖創(chuàng)建處理。另外，以下，為了將“中心-周圍”的顏色直方圖的特征量圖與其他的特征量圖進(jìn)行區(qū)別，記述為Fh。圖12C示出顏色空間分布的特征量圖創(chuàng)建處理的一個例子。在步驟S161中，CPU7對于顏色空間分布，計算水平方向的色散。另外，在步驟S162，CPU7對于顏色空間分布，計算垂直方向的色散。并且，在步驟S163，CPU7使用水平方向的色散和垂直方向的色散，求得顏色空間的色散。在步驟S164，CPU7使用顏色的空間的色散，創(chuàng)建顏色空間分布的特征量圖。由此，結(jié)束顏色空間分布的特征量圖創(chuàng)建處理。另外，為了將顏色空間分布的特征量圖與其他的特征量圖進(jìn)行區(qū)別，記述為Fs。<第3實施方式>在第3實施方式中，對已經(jīng)拍攝到的并存儲于通信終端10的保存部13A或服務(wù)器100的保存部130A中的花的圖像、和新拍攝的花的圖像是否一致進(jìn)行判斷。即，判斷是否拍攝了兩次相同的花。這是在用戶自己播花種或栽培來進(jìn)行培育的情況下有用的實施方式。另外，對第一實施方式和共通部分賦予共同的符號并省略說明。因為花成長，所以在保存的花的圖像和拍攝的花的圖像中，圖像上花開的情況、株高等不同的可能性高，但在本發(fā)明涉及的花檢索系統(tǒng)中，能夠鑒別為相同花的名稱。與被鑒別的花的名稱對應(yīng)，因為在數(shù)據(jù)庫110存儲有用于培育花的向?qū)畔?。即，在顯示部12顯示澆水方法、每季節(jié)的維護(hù)方法、施肥方法、以及日照等的向?qū)畔ⅰＲ虼?，在定期拍攝相同的花時，能夠判斷時期、氣候、生長狀況等，進(jìn)行適當(dāng)?shù)慕ㄗh。<第4實施方式>如前述，在第一實施方式中拍攝靜止圖像作為花的拍攝圖像。在本實施方式中，是運(yùn)動圖像或連續(xù)拍攝的圖像。在本實施方式中，通過拍攝部11的運(yùn)動圖像拍攝功能，對花的圖像F進(jìn)行運(yùn)動圖像(連拍)拍攝，從而得到多個幀的花的圖像。關(guān)于從多幀的花的圖像提取花的區(qū)域的算法，適用由第二實施方式說明的算法。在根據(jù)拍攝的花的圖像提取花的區(qū)域的情況下，拍攝多張的情況下可提高提取精度。因為拍攝時的花的拍攝角度和數(shù)據(jù)庫110所存儲的成為比較對象的花的樣品圖像的角度未必一致，所以，從不同的角度拍攝的花的圖像的情況下能夠使檢索的概率變高。但是，因為對應(yīng)量的圖像處理時間將變長，使CPU的負(fù)擔(dān)也變大，所以，在本實施的方式中，最初拍攝靜止圖像，在通過花檢索程序的執(zhí)行不能提取規(guī)定的類似度以上的花的名稱時，即，成為如圖5B示出的這樣的狀態(tài)時，在顯示部12進(jìn)行“請以運(yùn)動圖像再進(jìn)行一次拍攝”這樣的顯示，或從未圖示的擴(kuò)音器以聲音進(jìn)行通知。另外，對上述實施方式和共通部分賦予共同的符號并省略說明。在實施方式中，以例子對通信終端經(jīng)由因特網(wǎng)與服務(wù)器連接的系統(tǒng)進(jìn)行說明，但也可以作為將所有的構(gòu)成收納在一個框體的獨(dú)立的圖像檢索系統(tǒng)來實現(xiàn)。另外，在實施方式中，通信終端通過移動電話線路或無線LAN等經(jīng)由因特網(wǎng)與服務(wù)器相連接的系統(tǒng)為例來進(jìn)行說明，但也可以在通信終端和服務(wù)器近距離的情況下，通過紅外線通信或藍(lán)牙(注冊商標(biāo))進(jìn)行連接。另外，在實施方式中，通信終端具備拍攝部，以對拍攝部拍攝的花的圖像進(jìn)行檢索的系統(tǒng)為例進(jìn)行說明，但也能通過存儲卡等得到并檢索已經(jīng)拍攝的花的圖像。另外，也能夠?qū)崿F(xiàn)這樣的花圖像檢索系統(tǒng)：作為將花的樣品圖像、花的名稱、葉的樣品圖像、以及對用于減少所述花的名稱的關(guān)注點(diǎn)進(jìn)行指示的圖像與用于鑒別拍攝到的花的圖像的特征信息一起建立對應(yīng)來進(jìn)行存儲的數(shù)據(jù)庫為首的主要構(gòu)成全部置于服務(wù)器，通信終端具有拍攝部、顯示部、以及操作部。將由通信終端拍攝的花的圖像向服務(wù)器發(fā)送，對花的圖像的特征信息和所述數(shù)據(jù)庫所存儲的特征信息進(jìn)行比較，從而在服務(wù)器側(cè)執(zhí)行以下的全部處理：將與所拍攝到的所述花的圖像類似度高的花的樣品圖像作為候選圖像的處理；將a)作為上述提取的多個花的樣品圖像的候選圖像、b)與上述候選圖像對應(yīng)的花的名稱、c)用于減少上述候選圖像的關(guān)注點(diǎn)、d)與上述候選圖像對應(yīng)的各自的葉的樣品圖像、以及e)對與上述候選圖像對應(yīng)的各關(guān)注點(diǎn)進(jìn)行指示的圖像從上述數(shù)據(jù)庫讀出并向上述通信終端發(fā)送的處理；在所述通信終端選擇所述候選圖像之一時，接受該選擇信息來鑒別與所發(fā)送的所述花的圖像對應(yīng)的花的名稱的處理。雖然參照優(yōu)選實施例已經(jīng)描述本發(fā)明，但本發(fā)明并不限于其中描述的任何細(xì)節(jié)，而是包含在所附的權(quán)利要求書的范圍內(nèi)的所有的實施例。