圖象特征編碼方法以及圖象檢索方法

專利名稱：圖象特征編碼方法以及圖象檢索方法
技術領域：
本發(fā)明涉及對用模擬或數(shù)字記錄的影象、靜止畫等圖象數(shù)據的特征量進行提取、編碼，并利用編碼的特征量進行圖象數(shù)據的檢索的圖象特征編碼方法以及圖象檢索方法。
背景技術：
第1圖是說明記載在電子情報通信學會論文志D-II，1996年4月號(Vol.79-D-II，No.4，PP.476-483)上的已有圖象檢索處理系統(tǒng)的方框圖。圖中，91是將靜止圖象201區(qū)域分割為各區(qū)段，對分割的各區(qū)段賦予關鍵字，并輸出概念關鍵字203和場面記述關鍵字204的前處理部，92是輸入用戶97預先準備的關鍵字205，將概念關鍵字203與場面記述關鍵字204進行對照，檢索靜止圖象201的檢索工具。
這里，概念關鍵字203是表示各區(qū)段的顏色信息和特征量的關鍵字，場面記述關鍵字204是使用關于「位置」、「顏色」、「形狀」、「大小」、「方向」等的術語表現(xiàn)各區(qū)段的圖象特征量的關鍵字。
在第1圖的前處理部91中，93是將靜止圖象201區(qū)域分害為各區(qū)段的區(qū)域分割部，94是利用對顏色信息預先分配的概念關鍵字，根據由區(qū)域分割部93分割的各區(qū)段的顏色和特征量，提取概念關鍵字203的概念關鍵字提取部，95是對于由區(qū)域分割部93分割的各區(qū)段的圖象特征量，通過從用戶96預先定義的術語選擇輸入記述的術語記述202，記述場面記述關鍵字204的場面記述關鍵字記述部。
在第1圖的檢索工具92中，98是根據用戶97選擇的關鍵字205和來自前處理部91的概念關鍵字203、場面記述關鍵字204進行特征量鑒別的特征鑒別部。
下面說明其動作。
當靜止圖象201被輸入到前處理部91時，區(qū)域分割部93將靜止圖象201區(qū)域分割為各區(qū)段。概念關鍵字提取部94，利用對于顏色信息預先分配的概念關鍵字，從被分割的各區(qū)段的顏色和特征量，提取概念關鍵字203。
場面記述關鍵字記述部95，對于被分割的各區(qū)段的圖象特征量，根據來自用戶96的術語記述202，記述場面記述關鍵字204。
當用戶97檢索靜止圖象201時，將從預先準備的概念關鍵字203和場面記述關鍵字204中選擇的關鍵字205輸入到檢索工具92。特征鑒別部98，根據用戶97的關鍵字205和來自前處理部91的概念關鍵字203、場面記述關鍵字204，進行特征量的鑒別，檢索用戶97要求的靜止圖象201。
上述圖象檢索處理系統(tǒng)，由于僅以靜止圖象201為對象，因此存在檢索動圖象困難的課題。
并且，由于未考慮各關鍵字的記述方法、存儲方法等，則圖象服務器(server)和委托人(檢索工具92)必須1對1地對應，當通過網絡很多用戶使用各種各樣的檢索工具時，存在不可能構建進行圖象檢索的圖象檢索處理系統(tǒng)的課題。
本發(fā)明是為解決上述課題而為的，其目的在于獲得一種許多用戶可以利用各種各樣的檢索工具檢索圖象的圖象特征編碼方法和圖象檢索方法。
發(fā)明概述本發(fā)明的圖象特征編碼方法是從圖象幀提取作為規(guī)定圖象區(qū)域的區(qū)段，對每個提取的上述區(qū)段賦予識別上述區(qū)段的區(qū)段號碼，向上述區(qū)段分配代表顏色，算出上述區(qū)段的相對于上述圖象幀的面積率，按照每個上述區(qū)段，將上述代表顏色和上述面積率作為上述區(qū)段的特征量，與上述區(qū)段號碼一起進行編碼并生成特征數(shù)據流。
這樣即可生成將在圖象檢索中使用的代表顏色和面積率作為區(qū)段的特征量的特征數(shù)據流。
本發(fā)明的圖象特征編碼方法是在從圖象幀提取區(qū)段時，根據基于顏色信息的區(qū)域分類提取上述區(qū)段，在向上述區(qū)段分配代表顏色時，將在上述區(qū)段的提取中使用的上述顏色信息作為上述代表顏色進行分配。
這樣即可生成將在圖象檢索中使用的代表顏色和面積率作為區(qū)段的特征量的特征數(shù)據流。
本發(fā)明的圖象特征編碼方法是在從圖象幀提取區(qū)段時，在鄰接的圖象幀間進行上述區(qū)段的鑒別，對于判定為同樣區(qū)段的區(qū)段，賦予同樣的區(qū)段號碼。
這樣，即可生成能提高檢索效率的特征數(shù)據流。
本發(fā)明的圖象特征編碼方法是在從圖象幀提取區(qū)段時，在鄰接的圖象幀間進行區(qū)段的追蹤，對于判定為同樣區(qū)段的區(qū)段求出移動信息，在每個上述區(qū)段，將上述移動信息作為上述區(qū)段的特征量進行編碼，生成特征數(shù)據流。
這樣，根據移動信息即可生成能檢索圖象幀的特征數(shù)據流。
本發(fā)明的圖象特征編碼方法是從視頻信號的幀群中提取作為檢索線索的適當?shù)膱D象幀作為主畫面，從提取的主畫面中提取區(qū)段。
這樣，即可生成作為圖象檢索線索的主畫面的特征數(shù)據流。
本發(fā)明的圖象特征編碼方法是求出每個主畫面規(guī)定區(qū)域的象素值平均值，生成上述主畫面的縮小圖象，在每個上述主畫面，將上述縮小圖象作為上述主畫面的特征量進行編碼，生成特征數(shù)據流。
這樣，即可生成可進行粗略瀏覽的縮小圖象。
本發(fā)明的圖象檢索方法是具有存儲圖象幀的第1存儲部，以及對上述第1存儲部存儲的圖象幀的特征量進行編碼并作為特征數(shù)據流存儲的第2存儲部，在進行圖象檢索時，根據用戶的檢索指示，對上述第2存儲部存儲的上述特征量進行解碼，并進行來自用戶的檢索條件和上述解碼的特征量的鑒別，檢索上述第1存儲部存儲的圖象幀。
這樣，用戶使用各種各樣的檢索工具，即可檢索圖象幀。
本發(fā)明的圖象檢索方法是作為第2存儲部存儲的特征量，包含在圖象幀的規(guī)定圖象區(qū)域的區(qū)段的代表顏色，作為用戶的檢索條件，包含上述代表顏色。
這樣，用戶根據區(qū)段的代表顏色，即可檢索圖象幀。
本發(fā)明的圖象檢索方法是作為第2存儲部存儲的特征量，包含在圖象幀的規(guī)定圖象區(qū)域的區(qū)段的相對于上述圖象幀的面積率，作為用戶的檢索條件，包含上述面積率。
這樣，用戶根據區(qū)段的面積率，即可檢索圖象幀。
本發(fā)明的圖象檢索方法是作為第2存儲部存儲的特征量，包含鄰接的圖象幀的移動信息，作為用戶的檢索條件，包含上述移動信息。
這樣，用戶根據移動信息，即可檢索圖象幀。
本發(fā)明的圖象檢索方法是作為第2存儲部存儲的特征量，包含圖象幀的縮小圖象，進行來自用戶的檢索條件和上述解碼的特征量的鑒別，將上述縮小圖象提示給上述用戶。
這樣，用戶根據縮小圖象，即可高效率地檢索圖象幀。
本發(fā)明的圖象檢索方法是作為第2存儲部存儲的特征量，包含指定的被攝物是否存在于圖象幀的信息。
這樣，用戶可提高圖象數(shù)據的檢索效率。
本發(fā)明的圖象檢索方法是作為第2存儲部存儲的特征量，包含指定的被攝物是否存在于以后的圖象幀的信息。
這樣，用戶可提高圖象數(shù)據的檢索效率。
本發(fā)明的圖象檢索方法是作為第2存儲部存儲的特征量，包含指定的被攝物是否存在于以前的圖象幀的信息。
這樣，用戶可提高圖象數(shù)據的檢索效率。
本發(fā)明的圖象檢索方法是在進行來自用戶的檢索條件和已解碼的特征量的鑒別時，向用戶提示優(yōu)先度。
這樣，用戶可迅速檢索適合要求的圖象數(shù)據。
本發(fā)明的圖象檢索方法是在進行來自用戶的檢索條件和已解碼的特征量的鑒別時，進行來自用戶的多個檢索條件和已解碼的多個特征量的鑒別，綜合判斷，檢索第1存儲部存儲的圖象幀。
這樣，用戶可提高圖象數(shù)據的檢索效率。
圖面的簡單說明第1圖是表示已有的圖象檢索處理系統(tǒng)的方框圖。
第2圖是表示利用本發(fā)明的典型系統(tǒng)構成的方框圖。
第3圖是說明視頻內容與特征數(shù)據流對應的圖形。
第4圖是表示本發(fā)明實施例1的特征編碼部5內部構成的方框圖。
第5圖是表示本發(fā)明實施例1的特征編碼部5動作的流程圖。
第6圖是表示第4圖的主畫面決定部21內部構成的方框圖。
第7圖是表示第4圖的主畫面決定部21的其他內部構成的方框圖。
第8圖是說明區(qū)段的圖形。
第9圖是說明視頻序列中的區(qū)段的位置的圖形。
第10圖是表示第4圖的區(qū)段提取部23內部構成的方框圖。
第11圖是說明MPEG-4的視頻目標平面(VOP)的圖形。
第12圖是表示使用第10圖的區(qū)段提取部23時的特征編碼部5的特征數(shù)據流103構成的圖形。
第13圖是表示彩色映象變換表128的具體實例圖。
第14圖是表示本發(fā)明實施例2的區(qū)段提取部23內部構成的方框圖。
第15圖是表示使用第14圖的區(qū)段提取部23時的特征編碼部5的特征數(shù)據流103構成的圖形。
第16圖是表示本發(fā)明實施例3的區(qū)段提取部23內部構成的方框圖。
第17圖是表示使用第16圖的區(qū)段提取部23時的特征編碼部5的特征數(shù)據流103構成的圖形。
第18圖是表示本發(fā)明實施例4的特征鑒別部11內部構成的方框圖。
第19圖是表示本發(fā)明實施例5的附加優(yōu)先度的檢索候補提示的實例圖。
實施本發(fā)明的最佳形態(tài)以下為了更詳細說明本發(fā)明，參照


實施本發(fā)明的最佳形態(tài)。
實施例1本實施例1中，著眼于視頻序列中包含的被攝物，將包圍各幀包含的被攝物區(qū)域的矩形區(qū)域定義為區(qū)段，對從視頻信號的各幀中提取區(qū)段、并求出其特征量進行生成特征數(shù)據流處理的裝置予以說明。
首先，作為前提對使用該裝置的系統(tǒng)進行說明。第2圖是表示利用本發(fā)明的典型系統(tǒng)構成的方框圖。圖中，1是委托人；2是服務器；3是存儲視頻內容111的視頻內容存儲部；4是從視頻內容存儲部3存儲的視頻內容111中，對數(shù)字壓縮的位流101進行解碼，輸出視頻信號102的解碼處理部。
第2圖中，5是輸入由解碼處理部4解碼的視頻信號102，生成特征數(shù)據流103的特征編碼部；6是根據用戶指示、設定104，控制特征編碼部5的用戶I/F；7是存儲由特征編碼部5生成的特征數(shù)據流103的特征數(shù)據流存儲部。視頻內容存儲部3和特征數(shù)據流存儲部7分別設置在服務器2內，但也可以在同一存儲部內存儲。
在委托人1中，8是根據用戶指示、設定105，用于委托人1的控制，輸出檢索控制信號106的用戶I/F；9是輸入檢索控制信號106，輸出檢索指示107和檢索標題108的檢索處理部。
在第2圖中，10是根據來自檢索處理部9的檢索指示107，對特征數(shù)據流存儲部7存儲的特征數(shù)據流103進行解碼，輸出解碼特征量109的特征解碼部；11是輸入來自檢索處理部9的檢索標題108和來自特征解碼部10的解碼特征量109并進行匹配處理，輸出表示特征數(shù)據流號碼的指示字110的特征鑒別部。111是根據特征鑒別部11輸出的指示字110，從視頻內容存儲部3輸出的視頻內容。
下面說明其動作。
第2圖所示系統(tǒng)是根據與視頻內容存儲部3保持的各個視頻內容111對應的特征數(shù)據流103，檢索、瀏覽(挑著讀)用戶要求的視頻內容111的系統(tǒng)。這里，為了方便，采用服務器、委托人模型，將檢索系統(tǒng)看作委托人3、將內容存儲、送出系統(tǒng)看作服務器4，予以說明。
委托人3和服務器4，可以通過網絡動作，也可以在同一裝置內動作。第2圖中，未圖示經由網絡的動作，但以下將適當說明在網絡處理中的必要動作。
(1)特征數(shù)據流的意義第3圖是說明視頻內容111與特征數(shù)據流103的對應的圖形。圖中，VC表示視頻內容(Video Content)111，F(xiàn)S表示特征數(shù)據流(Feature Stream)103。VC和FS分別附加對應的號碼，F(xiàn)Sn是記述視頻內容VCn特征量的特征數(shù)據流。VCn和FSn通過各指示字110加以對應。
如第3圖所示，若在VC1的第k幀包含「蘭色天空」，F(xiàn)S1則在VC1的第k幀中記述存在「代表顏色是蘭色，而且占據幀畫面中80％的區(qū)域」。這樣，以下將具有以特征量作為屬性的區(qū)域稱為區(qū)段。因此，由第2圖的委托人1進行「代表顏色是蘭色，而且占據幀畫面中80％的區(qū)段」的指定，從特征數(shù)據流103尋找出對應的特征量，則可提取出包含對應的幀畫面的視頻內容111。
作為特征量，可以定義代表顏色、尺寸、畫面內位置、形狀、位置的變化(移動)、亮度和顏色的變化、對比度等各種屬性。當然，特征量的指定方法是任意的，通過在委托人1的檢索處理部9設置適當?shù)慕馕龉δ?，用戶即可進行更直觀的指定。
這樣，通過將視頻內容(VCn)111中的特征量記述在特征數(shù)據流(FSn)103中，用戶即可從大量的視頻內容111的數(shù)據中，用直觀的檢索標題108，容易地尋找出所要求的內容111。這種檢索方法，可從包含極大數(shù)量的視頻內容111的視頻程序庫和數(shù)據庫、錄象磁帶等，高效率進行尋找所要求的內容111的處理。
(2)特征數(shù)據流的生成特征數(shù)據流103的生成處理相當于生成與視頻內容(VCn)111對應的特征數(shù)據流(FSn)103并將其存儲在特征數(shù)據流存儲部7的處理。進行該處理的是解碼處理部4、特征編碼部5、用戶I/F6。解碼處理部4僅在視頻內容(VCn)111以數(shù)字壓縮的位流101的形式存儲是才是必要的，輸出視頻信號102。當視頻內容(VCn)111是可直接表示的圖象數(shù)據時，不須要解碼處理部4。
特征編碼部5根據視頻信號102生成特征數(shù)據流(FSn)103，并存儲在特征數(shù)據流存儲部7。特征數(shù)據流103的生成處理詳細情況將在后面講述。
(3)檢索處理檢索處理由委托人1進行。委托人1是用戶從視頻內容存儲部3存儲的視頻內容111中，檢索所要求的內容111的處理部。用戶根據用戶指示、設定105，通過委托人1的用戶I/F8，為了求出與作為特征數(shù)據流103被編碼的特征量對應的值，將檢索控制信號106供給檢索處理部9。
以第3圖為例，簡單說明從全部視頻內容(VCn)111中檢索包含「蘭色天空」的視頻內容(VC1)111的例子。該檢索處理是對全部特征數(shù)據流(FSn)103，檢索表示「蘭色天空」的特征量，對與包含該特征量的特征數(shù)據流(FSn)103對應的視頻內容(VCn)111進行確定的處理。檢索處理部9從檢索控制信號106求出應檢索的特征量的值，在作為檢索標題108送出的同時，使檢索指示107為有效。
若委托人1和服務器2由網絡連接時，檢索指示107和檢索標題108，通過網絡被傳送到服務器2和進行特征量鑒別處理的裝置(特征解碼部10和特征鑒別部11)。
當檢索指示107為有效時，特征解碼部10從特征數(shù)據流存儲部7依次取出特征數(shù)據流(FSn)103，從特征數(shù)據流103解碼特征量的值。其結果，得到的解碼特征量109，在特征鑒別部11，與檢索標題108進行匹配處理。當發(fā)現(xiàn)與檢索標題108一致的解碼特征量109時，則從包含對應的特征量的特征數(shù)據流103的指示字110，確定視頻內容(VCn)111。在第3圖的例子中，由于包含「蘭色天空」的僅是VC1，則在FS1的第k幀的區(qū)段中，發(fā)現(xiàn)了與檢索標題108一致的解碼特征量109，VC1的第k幀作為檢索結果輸出。
進行特征量鑒別處理的裝置(特征解碼部10和特征鑒別部11)，可以包含在委托人1中，也可以包含在服務器2中，也可以包含在網絡中存在的其他裝置中。當然，委托人1和服務器2為同一裝置時，包含在同一裝置內。
作為檢索結果輸出的視頻內容111被送到委托人1，用戶通過用戶I/F8，可瀏覽該圖象的內容。并且，通過表示「蘭色天空」的特征量，即使發(fā)現(xiàn)作為檢索結果的多個視頻內容111時，通過在用戶I/F8的顯示，也可以瀏覽多個視頻內容111。利用這種系統(tǒng)，用戶不必全部直接瀏覽視頻內容111的內容，而僅是集中地確認包含所要求區(qū)段的視頻內容111中的內容，因而檢索效率提高了。
(4)交互功能該系統(tǒng)中，當特征編碼部5從視頻信號102生成特征數(shù)據流103時，根據用戶指示和設定104，通過用戶I/F6，用于定義視頻內容(VCn)111包含的區(qū)段的各種條件設定、區(qū)段的追加和削除，或定義區(qū)段的幀位置設定等，用戶可以任意控制特征數(shù)據流103的生成處理。
(5)特征數(shù)據流的傳送和分配只要特征數(shù)據流(FSn)103具有向對應的視頻內容(VCn)111的指示字112，不必與視頻內容111一起存儲在服務器2中，存在地何處都可以。例如，當有僅包含特征數(shù)據流103的CD-ROM時，在委托人1，通過閱讀該CD-ROM，即可確定與特征數(shù)據流103對應的視頻內容111的場所。這時，只要特征數(shù)據流103保持視頻內容的URL(Uniform Resource Locator)即可。
一般情況下，由于特征數(shù)據流103小于視頻內容111的數(shù)據量，因而可存儲在更小的存儲媒體中，供給筆記本型PC(Personal Computer)和PDA(PersonalDigital Assistants)等攜帶終端使用。
特征數(shù)據流103可附加在視頻內容111中，通過網絡進行傳送和分配。利用上述(4)所述交互功能，在接收特征數(shù)據流103側，再次對特征數(shù)據流103的內容進行加工和編輯，可以再利用和再分配，并不失去在所有媒體間檢索的自由度，可使視頻內容111自由流通。
下面詳細說明特征數(shù)據流103的生成處理。
特征數(shù)據流103的生成處理，如上所述，主要是在特征編碼部5進行的。第4圖是表示實施例1的特征編碼部5內部構成的方框圖。圖中，21是輸入視頻信號102并根據主畫面設定指示121決定主畫面，輸出主畫面號碼122和主畫面圖象123的主畫面決定部；22是監(jiān)視來自主畫面決定部21的視頻信號102的監(jiān)視部。
第4圖中，23是區(qū)段提取部，從主畫面決定部21決定的主畫面圖象123中提取區(qū)段，輸出區(qū)段的代表顏色125、區(qū)段號碼126，同時根據視頻內容111解碼時輸出的主畫面尺寸124，輸出區(qū)段的尺寸信息127。
第4圖中，24是區(qū)段編碼部，使用彩色映象變換表128，對來自區(qū)段提取部23的區(qū)段的代表顏色125進行編碼，輸出已編碼的區(qū)段代表顏色129，同時，對區(qū)段號碼126、區(qū)段的尺寸信息127進行編碼，輸出已編碼的區(qū)段號碼130、已編碼的區(qū)段尺寸信息131。
第4圖中，25是縮小圖象生成部，從主畫面圖象123生成縮小圖象，并輸出縮小圖象數(shù)據132；26是縮小圖象編碼部，對縮小圖象數(shù)據132進行編碼，并輸出已編碼的縮小圖象數(shù)據133。
第4圖中，27是使彩色映象變換表128、已編碼的區(qū)段代表顏色129、已編碼的區(qū)段號碼130、已編碼的區(qū)段尺寸信息131、已編碼的縮小圖象數(shù)據133多路化的多路化部。
下面說明特征編碼部5的動作。
第5圖是表示實施例1的特征編碼部5的動作的流程圖。
(A)主畫面的決定首先，在主畫面決定部21，決定作為視頻內容111中主要幀圖象的主畫面(步驟ST1)。主畫面定義為構成視頻內容111中意義內容變化點(場面變更)的幀，或用戶特別希望作為檢索時的特征點的幀。
第6圖是表示第4圖的主畫面決定部21內部構成的方框圖。第6圖中，31是對視頻信號102的幀號碼進行計數(shù)的幀計數(shù)器；32是根據主畫面設定指示121輸出主畫面號碼122的開關；33是根據主畫面設定指示121輸出主畫面圖象123的開關。第6圖中，用戶通過監(jiān)視部22監(jiān)視視頻信號102，同時將期望的幀指定為主畫面。
視頻信號102，按每1幀輸入到主畫面決定部21，由幀計數(shù)器對幀號碼進行計數(shù)。幀計數(shù)器31在視頻信號102的最初輸入時刻被復位到0。
并且，視頻信號102被同時送到監(jiān)視部22，用戶一面觀看在監(jiān)視部22顯示的視頻信號102，一面選擇應作為主畫面的幀。選擇指示通過使主畫面設定指示121有效而進行。當主畫面設定指示121有效時，開關32將選擇的主畫面的幀號碼作為主畫面號碼122輸出，開關33輸出選擇的主畫面的主畫面圖象123。
第7圖是表示第4圖的主畫面決定部21的其他內部構成的方框圖。第7圖中，41是從視頻信號102檢出場面轉換，并輸出主畫面圖象123和主畫面設定指示141的場面轉換檢出部；42是根據主畫面設定指示141輸出主畫面號碼122的開關。幀計數(shù)器31是與第6圖的幀計數(shù)器31同樣的。這里，主畫面為位于場面轉換點的幀，主畫面決定部21具有場面轉換檢出部41。
視頻信號102，與第6圖所示的主畫面決定部21同樣，輸入到幀計數(shù)器31，對幀號碼進行計數(shù)，同時，也輸入到場面轉換輸出部41，實施場面轉換檢出。關于場面轉換檢出的方法，已有長坂、宮武、上田的「カツトの時系列コ-テイングに基づく映像シ-ンの實時間識別法」《根據剪輯的時間系列編碼識別圖像場面實際時間的方法》(電子情報通信學會論文志，D-II，Vol.J79-D-II，No.4，PP531-537)等的在先技術，本發(fā)明中，將具體算法作為對象之外。
當檢出場面轉換時，主畫面設定指示141成為有效，開關42據此將在該時刻的幀計數(shù)值作為主畫面號碼122輸出。并且，場面轉換檢出部41，將檢出的場面轉換幀作為主畫面圖象123輸出。
另外，可將未圖示的以一定間隔出現(xiàn)的內部編碼幀設定為主畫面。例如，在MPEG(Moving Picture Exprets Group)-1和MPEG-2、MPEG-4中具有不使用幀間予測對全部幀進行編碼的內部編碼幀模式，特別是內部編碼幀，通過將其周期地插入視頻內容111的編碼中，而被大多用作隨機存取的位置(point)。因此，可認為滿足了作為主畫面的要件。
(B)區(qū)段的提取當選擇主畫面圖象123時，第4圖的區(qū)段提取部23提取在主畫面圖象中包含的區(qū)段。這里，所謂區(qū)段定義為「主畫面上的指定區(qū)域，或者與在視頻內容111中出現(xiàn)的被攝物等物體(＝目標)對應的主畫面中的區(qū)域」。
第8圖是說明區(qū)段的圖形。第8圖中，當紅色車出現(xiàn)在視頻內容111的多個幀時，紅色車相當于目標，區(qū)段是在主畫面圖象123上出現(xiàn)的目標區(qū)域(表現(xiàn)為車的外接四角形)。這里，區(qū)段具有該區(qū)域的代表顏色和尺寸信息(相對于全部幀的區(qū)段區(qū)域的面積率)2個特征量。
當區(qū)段的代表顏色記述在特征數(shù)據流103中時，用戶以包含「紅色區(qū)段」、「蘭色區(qū)段」的視頻內容111的形式，通過取得特征數(shù)據流103中的值與希望檢索的值的匹配，可在一定程度上自動找到符合要求的主畫面。
對于尺寸信息，由于可記述區(qū)段在主畫面中占據多少面積，則可表現(xiàn)主畫面中區(qū)段重要度的一個側面。例如，按照「在全部畫面尺寸中，具有膚色代表顏色的區(qū)段」等的指定方法，則檢索包含在整個畫面中映照的臉圖象的主畫面，大致可自動進行。尺寸信息可以包含作為尺寸計測起點的矩形左上角頂點和矩形重心位置等的位置信息。
第9圖是說明在視頻序列中區(qū)段位置的圖形。第9圖中，表示按照作為目標的「紅色車」的經過時間，從畫面左邊漸漸推鏡頭向畫面右方向移動的場面，表示在每個主畫面區(qū)段特征量變化的情況。第9圖中，除了第8圖所示的各主畫面特征量以外，對于目標的移動，將在區(qū)段左上角頂點(區(qū)段位置)的移動量作為時間方向的特征量予以表示。這樣，即可實現(xiàn)「從畫面左邊向右邊移動的目標」的檢索方法。
例如，可將按照MPEG-4視頻編碼方式(ISO/IEC，JTC1/SC29/WG11，N2202)規(guī)定的視頻目標，視為本定義的目標。這時，區(qū)段對應于MPEG-4視頻的視頻目標投影(VOP)。這種情況下，嚴密的定義不同，VOP的水平和垂直尺寸，概念上對應于區(qū)段的矩形的水平和垂直尺寸。與此相反，MPEG-1和MPEG-2中，由于本來沒有目標概念，所以通過從主畫面進行提取決定初始區(qū)段。
區(qū)段提取處理是從主畫面圖象123中提取出上述區(qū)段，決定并獲得該特征量的處理，由第4圖的區(qū)段提取部23進行。第10圖是表示第4圖的區(qū)段提取部23內部構成的方框圖。第10圖中，51是區(qū)段提取處理部，輸入主畫面圖象123，并輸出區(qū)段號碼126、區(qū)段內圖象取樣值151、以矩形表示的區(qū)段水平和垂直尺寸152(象素數(shù)X行數(shù))；52是根據區(qū)段內圖象取樣值151，分配代表顏色125的代表顏色分配部；53是根據區(qū)段的水平和垂直尺寸152和主畫面尺寸124，算出用面積率表示的尺寸127的尺寸算出部。
第10圖的區(qū)段提取部23，首先在區(qū)段提取處理部51，從主畫面圖象123，用原有的區(qū)域分割處理等方法提取區(qū)段(第5圖的步驟ST2)。本例中，未將區(qū)段與目標的關系嚴密結合。也就是，本例中，區(qū)段僅是主畫面中的特定圖象區(qū)域，不具有在主畫面間作為目標加以關聯(lián)的機構，在各個主畫面中定義獨立的區(qū)段。
作為區(qū)段提取方法，例如有在顏色成分空間進行集中類似顏色的聚集成組的方法，這里，將其具體實現(xiàn)方法作為對象之外，而是通過區(qū)段提取處理部51，以圍成外接四角形的形式得到具有特定意義內容的圖象領域(區(qū)段)。
區(qū)段提取處理部51在每個提取出的圖象區(qū)域(區(qū)段)附加順序號碼并予計數(shù)，將計數(shù)值作為區(qū)段號碼126輸出(步驟ST3)。
區(qū)段提取處理部51將區(qū)段內圖象取樣值151輸出到代表顏色分配部52，代表顏色分配部52求出代表顏色125(步驟ST4)。例如，在區(qū)段內圖象取樣值151為各8位的RGB表現(xiàn)時，取得區(qū)段中R、G、B各空間的平均值，將得到的RGB的平均值的集合(set)作為代表顏色進行分配的處理。或者，可采用預先確定區(qū)段中的本質區(qū)域包含的象素，取得其內部平均的方法。
將MPEG-4的VOP作為區(qū)段時，由表示VOP形狀的阿爾法(α)投影得到區(qū)段中的本質區(qū)域。第11圖是說明MPEG-4的視頻目標投影(VOP)的圖形，表示VOP的象素數(shù)據與阿爾法(α)投影的關系。如圖所示，所謂阿爾法(α)投影，是在包圍VOP的外接四角形中，在目標內象素位置時分配255，而在其它時分配O的2值投影。0和255的變化點表示VOP的形狀。也就是，阿爾法投影可以進行僅利用如255那樣的位置的象素求得代表顏色的處理。
此外，作為代表顏色的求得方法，還有一種方法是在區(qū)段提取處理部51根據顏色信息進行提取，并使用作為聚集成組的結果被分配到區(qū)段上的顏色信息。
第10圖中，區(qū)段提取處理部51將以矩形表示的區(qū)段的水平和垂直尺寸152(象素數(shù)×行數(shù))輸出到尺寸算出部53。尺寸算出部53使用從其他途徑輸入的主畫面的水平和垂直尺寸124，計算區(qū)段在該主畫面上占據的面積率，作為尺寸127輸出(步驟ST5)。例如，當區(qū)段的水平和垂直尺寸152是(176象素×144行)，主畫面的尺寸124是(352象素×288行)時，由尺寸算出部53算出的面積率(尺寸127)為25％。
(C)區(qū)段的編碼第4圖中，由區(qū)段提取部23得到的特征量(代表顏色125、區(qū)段號碼126、尺寸127)被輸入到區(qū)段編碼部24，由多路化部27編碼為特征數(shù)據流103的形式(步驟ST6)。
第12圖是表示由使用第10圖的區(qū)段提取部23時的特征編碼部5產生的特征數(shù)據流103的構成圖。這里，特征數(shù)據流103具有視頻內容111、主畫面、區(qū)段的階層構造。在視頻內容111的階層中，包含將幀號碼位長和彩色映象變換表128等的視頻內容本身固有信息作為標題而保持并與其相接續(xù)的k張主畫面階層的數(shù)據。這里，由于在各主畫面的標題中使各主畫面的時間位置(主畫面號碼122)多路化，為了規(guī)定其位長將最大幀計數(shù)值可能表現(xiàn)的位長，包含在視頻內容111的標題中。為了各區(qū)段的代表顏色的編碼，通過視頻內容111將使用的顏色灰度包含在規(guī)定的彩色映象變換表128中。
將第k個主畫面表記為KF(k)，KF(k)包含視頻內容111中的時間位置(主畫面號碼122)，以及將其畫面上存在的區(qū)段數(shù)(M)作為標題而保持并與其相接續(xù)的M個區(qū)段階層的數(shù)據。并且，具有用于瀏覽的后述縮小圖象的數(shù)據。將第m個區(qū)段表記為SG(m)，SG(m)由對應的代表顏色125和尺寸127構成。作為代表顏色125，將彩色映象變換表128的標引(index)值進行編碼。
第13圖表示彩色映象變換表128的具體實例。這是以X-Windows系統(tǒng)使用的彩色映象變換表128為例，也考慮了其他各種各樣的表現(xiàn)方法，然而，具體的彩色映象變換表128的數(shù)據形式的定義為對象外。
一組R，G，B值對應一個標引，增加標引數(shù)(n)，可增加深淡程度。
尺寸127是面積率，由于最多是1～100(％)范圍的值，可用7位表現(xiàn)。
第4圖中，通過區(qū)段編碼部24，最后得到的各特征量編碼數(shù)據，送到多路化部27，并追加到第12圖所示的特征數(shù)據流103中。區(qū)段提取部23的區(qū)段特征量算出，以及區(qū)段編碼部24的編碼，僅按在主畫面內提取的區(qū)段數(shù)重復(第5圖的步驟ST7)。
(D)縮小圖象的生成第4圖中，縮小圖象生成部25、縮小圖象編碼部26，將主畫面的概要圖象(以下稱為輪廓或輪廓圖象)作為主畫面的特征量添加到特征數(shù)據流103中。當在主畫面中準備了圖形文字的輪廓圖象時，用戶不必對數(shù)字壓縮的內容進行直接解碼和再生，則可提高瀏覽效率。
這里，作為輪廓圖象，通過求出主畫面圖象123的N×N象素的平均值(DC值)，生成縮小圖象(第5圖的步驟ST8)，并以適當?shù)木幋a方式對該值進行編碼(步驟ST9)。
第4圖中，縮小圖象生成部25進行求出DC值的縮小圖象數(shù)據132的處理，縮小圖象編碼部26對得到的DC值的縮小圖象數(shù)據132進行壓縮編碼，輸出編碼的縮小圖象數(shù)據133。
由于主畫面圖象123大多是來自已經非可逆壓縮編碼的位流的解碼圖象，因此，縮小圖象編碼部26的壓縮編碼采用DPCM(Differential Pulse CodeModulation)等簡易的壓縮率低的編碼是適當?shù)摹Ｇ蟮妹總€N×N象素的DC值，至少取樣數(shù)可削減到1/N2，即使追加到特征數(shù)據流103中，也不會形成大的代碼量負荷。
編碼的縮小圖象133被送到多路化部27，以第12圖的形式在特征數(shù)據流103中多路化。
如上所述，本實施例1中，通過采用上述特征編碼部5的構成，用戶可以生成記述了視頻內容111特征的特征數(shù)據流103。并且，可從視頻內容111手操作或自動地設定主畫面，在各主畫面中的特定圖象區(qū)域(區(qū)段)，可將代表顏色125和其尺寸127等作為特征量予以設定。將這些特征量作為檢索標題，則可在一定程度上使視頻內容的檢索處理自動化，通過自動檢索，可按輪廓圖象瀏覽插入的候補，能夠提高視頻內容的檢索效率。
本實施例1的區(qū)段定義，由于可將幀圖象看作靜止畫，所以可在從龐大的靜止圖象文庫中檢索所要求圖象時使用。在靜止畫情況下，第12圖的主畫面階層為最上位階層。
實施例2第14圖是表示本發(fā)明實施例2的區(qū)段提取部23內部構成的方框圖。圖中，61是從主畫面圖象123提取區(qū)段數(shù)據161的區(qū)段提取處理部；62是對與參照圖象存儲器63存儲的過去的主畫面圖象123進行匹配處理并進行區(qū)段鑒別的區(qū)段鑒別處理部。
本例中，區(qū)段在幀間取得匹配，與視頻內容111內的目標對應。也就是，區(qū)段在主畫面中不閉合，作為表示視頻內容111的被攝物的某個瞬間的圖象區(qū)域被提取出來。
通過區(qū)段提取處理部61，從主畫面圖象123提取多個區(qū)段數(shù)據161時，在區(qū)段鑒別處理部62，對各區(qū)段，與參照圖象存儲器63的過去的主畫面圖象123之間進行匹配處理，進行區(qū)段的鑒別。這時，對于被鑒別的區(qū)段，與過去的區(qū)段附與同樣號碼，并作為區(qū)段號碼126輸出。當與過去的區(qū)段不一致時，作為新區(qū)段賦予新的區(qū)段號碼126并予輸出。
區(qū)段鑒別處理部62輸出區(qū)段內圖象取樣值151、區(qū)段的水平和垂直尺寸152，代表顏色分配部52、尺寸算出部53與第10圖一樣，各自進行代表顏色125、尺寸127的算出。
第15圖是表示由使用第14圖的區(qū)段提取部23時的特征編碼部5產生的特征數(shù)據流103的構成的說明圖。這里，區(qū)段對應于視頻內容111內的目標，區(qū)段數(shù)(M)被設置在視頻內容111的階層的標題中。
區(qū)段SG(m)追加Flag(1)并保持。Flag(1)表示SG(m)是否存在于KF(k)上。各主畫面通常編碼為M個區(qū)段，當SG(m)實際上不存在于KF(k)上時，則Flag(1)為OFF，不對代表顏色125、尺寸127進行編碼。該Flag(1)由第4圖的多路化部27附加。
當SG(m)存在于KF(k)上而不存在于KF(k－1)上時，即在幀K登場，這時用特定的登場標記表示；當SG(m)存在于KF(k)上而不存在于KF(k＋1)上時，即幀K最后退場，這時用特定的退場標記表示，這些都可以通過標記的追加而成為可能。
最后得到的各特征量編碼數(shù)據，送到多路化部27，以第15圖的特征數(shù)據流103的形式輸出。
如上所述，本實施例2中，采用第14圖的區(qū)段提取部23的構成，使視頻內容111內的目標與多個主畫面的區(qū)段相關聯(lián)，由于區(qū)段數(shù)與目標的個數(shù)對應輸出，則用戶可高效率地檢索要求的視頻內容111。
實施例3第16圖是表示實施例3的區(qū)段提取部23內部構成的方框圖。圖中，71是區(qū)段追蹤處理部，輸入主畫面圖象123，參照參照圖象存儲器63，輸出區(qū)段號碼126、區(qū)段內圖象取樣值151、區(qū)段的水平和垂直尺寸152，并同時輸出移動信息171。代表顏色分配部52、尺寸算出部53與第14圖是一樣的。
本例中，區(qū)段通過視頻內容111，追蹤目標的結果，得到在各主畫面上表現(xiàn)的圖象區(qū)域。目標追蹤在區(qū)段追蹤處理部71進行。
關于目標追蹤的方法，提出了各種各樣的方法，其方法本身為對象外。假定通過采用適當?shù)乃惴?，使對目標的追蹤可以達到在途中從畫面或消失或再出現(xiàn)的程度。
對于作為結果得到的各主畫面圖象上的區(qū)段，與第10圖和第14圖所示的區(qū)段提取部23一樣，除了算出代表顏色125、尺寸127之外，只要是相同的目標，就輸出同樣的區(qū)段號碼126。這里，作為追蹤的結果，得到了區(qū)段的移動量，將其作為移動信息171輸出。
在第4圖的構成中，未從區(qū)段提取部23輸出移動信息171，當使用第16圖的區(qū)段提取部23時，輸出移動信息171，并由區(qū)段編碼部24編碼。
第17圖是表示由使用第16圖的區(qū)段提取部23時的特征編碼部5產生的特征數(shù)據流103的構成的說明圖。與第15圖不同的僅是區(qū)段的構造，這時設置了表示是否是最初出現(xiàn)的區(qū)段的標記Flag(2)，當Flag(2)有效時，形成將移動信息171集中多路化的構成。
采用這種構成，由于在視頻內容111中目標新產生的地方包含全部此后的移動履歷，則可以極快地對應例如「從左到右移動」等的檢索標題。第17圖中未圖示，但移動信息171當然可以附加在各主畫面內的各區(qū)段。
第4圖中，由區(qū)段編碼部24最后得到的各特征量編碼數(shù)據被送到多路化部27，以第17圖的特征數(shù)據流103的形式輸出。
如上所述，本實施例3中，通過設定移動信息171，可以在各主畫面間檢索移動目標。
實施例4本實施例中，說明由第2圖的委托人1進行的視頻內容111的檢索處理。用戶使用委托人1的用戶I/F8，按照用戶指示和設定105，進行希望檢索的視頻內容111的概略的參數(shù)輸入操作。輸入的方法可以如下實現(xiàn)，即委托人1從預先準備的多個參數(shù)(關鍵字)中進行選擇，再用用戶I/F8進行概要的輸入。
委托人1準備的參數(shù)，例如「蘭」、「紅」等顏色信息，亮度信息，區(qū)段的面積比率、「園形」、「四角」等區(qū)段的形狀信息，畫面的「上」、「右下」等位置信息。
用這些參數(shù)的組合，例如指定「蘭」和「80％」，則輸入上述的「代表顏色是蘭色，而且占據幀畫面中80％的區(qū)段」的記述。同樣，當指定「紅」色的「四角」形狀的區(qū)段在畫面「下」方占據「20％」時，則輸入上述的「紅色車」的記述。另外，如包含「紅色車」和「蘭色天空」的視頻內容111等那樣，可以組合多個區(qū)段的特征量進行檢索。當選擇委托人1準備的參數(shù)時，其選擇結果照原樣成為檢索標題108，從檢索處理部9輸出。
第2圖中，特征解碼部10根據來自檢索處理部9的檢索指示107，從特征數(shù)據流存儲部7讀出特征數(shù)據流103并進行解碼，輸出解碼特征量109。特征數(shù)據流103，如第12圖、第15圖、第17圖等所示，代表顏色125、尺寸127、區(qū)段數(shù)、主畫面號碼122、縮小圖象等多個特征量，由于為了壓縮信息量被編碼，所以獲得用于鑒別的特征量值，對于解碼處理是必要的。
從特征解碼部10輸出的解碼特征量109在特征鑒別部11進行與檢索標題108的匹配處理。第18圖是表示實施例4的特征鑒別部11內部構成的方框圖。圖中，81a～81e是進行檢索標題108和解碼特征量109匹配處理的匹配處理部；82是綜合判定各匹配處理部81a～81e的鑒別結果，并輸出匹配程度高的視頻內容111的指示字110的匹配判定部。
這里，準備了多個匹配處理部81(81a～81e等)，分別對于對應的特征量進行匹配處理。例如，匹配處理部81a對被解碼的解碼特征量109中的「蘭色」特征量、另一個匹配處理部81b對「80％」特征量進行匹配。這時，對于「淺蘭色」和「深蘭色」等近于「蘭色」的特征時，以及「70％」和「90％」的特征量，也具有接近用戶要求的映象的可能性，特征鑒別部11在進行與檢索標題108的匹配時，不僅對完全一致的，而且對一致程度較高的都作為候補。
各匹配處理部81a～81e的鑒別結果被送到匹配判定部82，在這里綜合判定各特征量的一致程度，來自匹配判定部82的最后結果，變?yōu)榻獯a特征量109與作為檢索條件的檢索標題108的一致度。規(guī)定一致程度的閾值，不僅可以由作為系統(tǒng)標準規(guī)格的省略補充值來設定，而且也可以由用戶設定(未圖示)。
特征鑒別部11，對服務器2輸出匹配程度高的視頻內容111的指示字110，服務器2根據該指示字110，對委托人1輸出視頻內容111。
委托人1在用戶I/F8上表示視頻內容111，如果是用戶所希望的視頻內容111，則結束檢索處理。在不一樣的情況下，再生成另外的檢索標題108，用戶再次進行參數(shù)選擇。
作為視頻內容111，送到委托人1的圖象數(shù)據，不必是視頻內容存儲部3存儲的視頻內容111的實況，也可以是上述特征數(shù)據流103的縮小圖象(輪廓圖象)。利用輪廓圖象時，可以削減從服務器2送到委托人1的視頻內容111的數(shù)據量，并且由于限定了可在用戶I/F8顯示的畫面尺寸，所以若是輪廓圖象時，可同時顯示多個候補圖象，提高了檢索處理的操作性。
當視頻內容存儲部3存儲的圖象被預先限定時，用戶I/F8可將特征數(shù)據流存儲部7存儲的特征數(shù)據流103的輪廓圖象作為參數(shù)顯示。
如上所述，本實施例4中，通過進行上述檢索處理的委托人1、特征解碼部10、特征鑒別部11，用戶大體上可自動且迅速地檢索作為所希望的視頻內容111的候補的視頻內容111。特征數(shù)據流103的數(shù)據量一般來說少于對應的視頻內容111，因此特征解碼部10的處理與對視頻信號102進行伸長解碼的處理相比較，是極簡單的處理。
當特征數(shù)據流103中包含輪廓圖象時，可同時表示多個候補的視頻內容111的內容，而且可以實現(xiàn)瀏覽，因此檢索效率顯著提高。
本實施例4中，對實施將第2圖的系統(tǒng)作為前提的檢索處理的委托人1進行了說明，以與本實施例的委托人1相同的動作，可以實現(xiàn)從靜止圖象文庫檢索所希望的圖象數(shù)據的處理。這時，特征數(shù)據流103不是按每個視頻內容111，而是按每個靜止圖象制成。
特征數(shù)據流103可以通過網絡遠距離傳送，在接收側不僅有檢索處理部9，若還具有如特征編碼部5的特征數(shù)據流103的生成功能，則改寫已有的特征數(shù)據流103的記述，即生成新的特征數(shù)據流103，這樣，也可以進行變更視頻內容111的顯示規(guī)則的內容操作。當然，也可以構成同時具有委托人1和服務器2的功能的裝置。
實施例5第2圖中，委托人1將在上述特征鑒別部11評價的匹配程度信息輸入到檢索處理部9(未圖示)，對于顯示的候補圖象，通過在圖象序號和顯示的大小上進行加權，可提高操作性。第19圖是表示附加優(yōu)先度的檢索候補提示的實例圖，表示對應于特征鑒別部11的匹配程度，向用戶提示附加優(yōu)先度的檢索候補內容的情況。
如上所述，本實施例5中，通過提示附加優(yōu)先度的檢索候補，用戶可以迅速找到結合自己的檢索要求的相關內容。
實施例6本實施例中，說明借助用戶I/F8的其他檢索條件輸入方法。使用用戶I/F8，進行概要輸入的方法，可以采用鼠標器等指示裝置，寫入直接形狀，涂上顏色，描繪概略草圖的方法。
例如，如第19圖的第2候補區(qū)段所示，在畫面的下方描繪大的「紅」色，如第3候補區(qū)段所示，在畫面的左方描繪小的「紅色車」，如第4候補區(qū)段所示，在畫面的右方描繪大的「蘭」色。在第2圖中，根據用戶指示和設定105進行用戶的直觀概要輸入時，提取檢索標題108的處理，在檢索處理部9進行。
在檢索處理部9，根據概要輸入，用顏色信息等分割為各個區(qū)段，算出其顏色描繪的面積，并求出畫面內的位置。通過這樣的處理，提取出「蘭」、「紅」等顏色信息以及各顏色信息的面積比率、各顏色的形狀和位置等，作為檢索標題108輸出。
如上所述，在本實施例6中，通過進行用戶的直觀概要輸入，可以高效率地檢索視頻內容111。
實施例7當提取實施例3所述的區(qū)段移動信息171時，作為檢索標題108，可以使用移動信息171。作為可選擇的參數(shù)，用戶I/F8提供了「從左向右」、「從上向下」、「移近目標」等移動信息171。當提取映象信號的時間變化時，提供了顏色變化和亮度變化的參數(shù)，用戶可以選擇。
在用戶進行映象內容的概要輸入時，不是僅進行1個輸入，例如，可進行2次輸入，可以輸入該2個圖象間的時間，檢索處理部9從2個輸入圖象及其時間間隔，提取出目標的移動量和映象信號的時間變化信息，即可生成檢索標題108。
如上所述，本實施例7中，利用移動信息171，用戶可以檢索要求的視頻內容111。
產業(yè)上的可利用性如上所述，本發(fā)明的圖象特征編碼方法和圖象檢索方法，置用于很多用戶使用各種各樣的檢索工具來檢索圖象。
權利要求
1.一種圖象特征編碼方法，其特征是從圖象幀提取作為規(guī)定圖象區(qū)域的區(qū)段，對每個提取出的上述區(qū)段附加識別上述區(qū)段的區(qū)段號碼，向上述區(qū)段分配代表顏色，算出上述區(qū)段對于上述圖象幀的面積率，按照每個上述區(qū)段，將上述代表顏色和上述面積率作為上述區(qū)段的特征量，與上述區(qū)段號碼一起進行編碼，生成特征數(shù)據流。
2.權利要求1記載的圖象特征編碼方法，其特征是在從圖象幀提取區(qū)段時，根據基于顏色信息的區(qū)域分類提取上述區(qū)段，在向上述區(qū)段分配代表顏色時，將用于上述區(qū)段提取的顏色信息作為上述代表顏色進行分配。
3.權利要求1記載的圖象特征編碼方法，其特征是在從圖象幀提取區(qū)段時，在鄰接的圖象幀之間進行上述區(qū)段的鑒別，對于判定為相同區(qū)段的區(qū)段，賦予同樣的區(qū)段號碼。
4.權利要求1記載的圖象特征編碼方法，其特征是在從圖象幀提取區(qū)段時，在鄰接的圖象幀之間進行區(qū)段的追蹤，對于判定為相同區(qū)段的區(qū)段求出移動信息，在每個上述區(qū)段，將上述移動信息作為上述區(qū)段的特征量進行編碼，生成特征數(shù)據流。
5.權利要求1記載的圖象特征編碼方法，其特征是從視頻信號的幀群中提取出作為檢索線索的適當?shù)膱D象幀作為主畫面，從提取的主畫面提取出區(qū)段。
6.權利要求1記載的圖象特征編碼方法，其特征是求出每個主畫面的規(guī)定區(qū)域的象素值平均值，生成上述主畫面的縮小圖象，在每個上述主畫面，將上述縮小圖象作為上述主畫面的特征量進行編碼，生成特征數(shù)據流。
7.一種進行圖象檢索的圖象檢索方法，具有存儲圖象幀的第1存儲部；將上述第1存儲部存儲的圖象幀的特征量進行編碼并作為特征數(shù)據流存儲的第2存儲部，其特征是根據用戶的檢索指示，對上述第2存儲部存儲的上述特征量進行解碼，再進行來自用戶的檢索條件和上述已解碼特征量的鑒別，檢索上述第1存儲部存儲的圖象幀。
8.權利要求7記載的圖象檢索方法，其特征是作為第2存儲部存儲的特征量，包含圖象幀規(guī)定圖象區(qū)域的區(qū)段代表顏色，作為來自用戶的檢索條件，包含上述代表顏色。
9.權利要求7記載的圖象檢索方法，其特征是作為第2存儲部存儲的特征量，包含在圖象幀規(guī)定的圖象區(qū)域的區(qū)段的相對上述圖象幀的面積率，作為來自用戶的檢索條件，包含上述面積率。
10.權利要求7記載的圖象檢索方法，其特征是作為第2存儲部存儲的特征量，包含鄰接的圖象幀的移動信息，作為來自用戶的檢索條件，包含上述移動信息。
11.權利要求7記載的圖象檢索方法，其特征是作為第2存儲部存儲的特征量，包含圖象幀的縮小圖象，進行來自用戶的檢索條件和上述已解碼特征量的鑒別，向上述用戶提示上述縮小圖象。
12.權利要求7記載的圖象檢索方法，其特征是作為第2存儲部存儲的特征量，包含被指定的被攝物是否存在于圖象幀的信息。
13.權利要求7記載的圖象檢索方法，其特征是作為第2存儲部存儲的特征量，包含被指定的被攝物是否存在于以后的圖象幀的信息。
14.權利要求7記載的圖象檢索方法，其特征是作為第2存儲部存儲的特征量，包含被指定的被攝物是否存在于以前的圖象幀的信息。
15.權利要求7記載的圖象檢索方法，其特征是在進行來自用戶的檢索條件和已解碼特征量的鑒別時，向用戶提示優(yōu)先度。
16.權利要求7記載的圖象檢索方法，其特征是在進行來自用戶的檢索條件和已解碼特征量的鑒別時，進行來自用戶的多個檢索條件和已解碼的多個特征量的鑒別，進行綜合判斷，檢索第1存儲部存儲的圖象幀。
全文摘要
特征編碼部5提取和編碼視頻信號102的特征量,生成特征數(shù)據流103。特征鑒別部11對特征數(shù)據流103解碼的解碼特征量109和來自用戶的檢索標題108進行匹配,檢索用戶要求的視頻內容111。
文檔編號H04N7/24GK1333976SQ99815675
公開日2002年1月30日 申請日期1999年1月29日 優(yōu)先權日1999年1月29日
發(fā)明者關口俊一, 山田悅久, J·周, 淺井光太郎 申請人:三菱電機株式會社