人物服裝特征提取裝置及方法
【專利說明】
[0001] 本申請是申請號為201080045981. 1、申請日為2010年10月13日、發明名稱為"人 物服裝特征提取裝置、人物檢索裝置及其處理方法"的發明專利申請的分案申請。
技術領域
[0002] 本發明涉及從輸入影像中提取人物服裝特征的人物服裝特征提取裝置。另外，本 發明涉及基于從輸入影像中提取出的人物服裝特征來檢索人物的人物檢索裝置。進而，本 發明涉及人物服裝特征提取處理方法以及人物檢索處理方法。
[0003] 本申請基于2009年10月16日在日本提出的特愿2009-239360號專利申請而主 動優先權，并將其內容引用于此。
【背景技術】
[0004] 現有技術中，開發了各種人物檢索方法以及監視系統、和圖像保存檢索系統。專利 文獻1公開了在監視系統中從所保存的影像中檢索人物的人物檢索方法。在該監視系統 中，在錄制影像時，提取人物的臉以及服裝的信息并保存在數據庫中。在人物檢索時，將保 存在數據庫中的臉/服裝特征與作為查詢所被賦予的圖像的臉/服裝特征進行比較，來判 定是否為同一人物。
[0005] 參照圖10來詳述專利文獻1中所公開的人物檢索系統。圖10表示人物檢索裝置 的構成，由臉區域檢測/臉特征提取部1000、1020、穿衣區域檢測/穿衣特征提取部1010、 1030、穿衣特征數據庫1040、臉特征數據庫1050、臉相似度計算部1060、穿衣相似度算出部 1070、以及人物相同性判定部1080構成。
[0006] 臉區域檢測/臉特征提取部1000從由監視系統取得的影像中進行臉區域檢測以 及臉特征提取，并將提取出的臉特征輸出到臉特征數據庫1050中。穿衣區域檢測/穿衣特 征提取部1010從由監視系統取得的影像中進行穿衣區域檢測以及穿衣特征提取，并將提 取出的穿衣特征輸出到穿衣特征數據庫1040中。另一方面，臉區域檢測/臉特征提取部 1020從所輸入的查詢圖像中進行臉區域檢測以及臉特征提取，并將查詢臉特征輸出給穿衣 相似度計算部1070。臉相似度計算部1060比較保存于臉特征數據庫1050中的臉特征和從 臉區域檢測/臉特征提取部1020輸入的查詢臉特征，并計算出臉相似度，將計算結果輸出 給人物相同性判定部1080。穿衣相似度計算部1070比較保存在穿衣特征數據庫1040中的 穿衣特征和從穿衣區域檢測/穿衣特征提取部1030輸入的查詢穿衣特征，并計算出穿衣相 似度，將計算結果輸出給人物相同性判定部1080。人物相同性判定部1080基于臉相似度計 算部1060所計算出的臉相似度和穿衣相似度計算部1070所計算出的穿衣相似度來判定人 物的相同性，并輸出人物檢索結果。
[0007] 接下來，說明圖10所示的人物檢索裝置的動作。首先，將從監視系統取得的影像 輸入到臉區域檢測/臉特征提取部1000以及穿衣區域檢測/穿衣特征提取部1010。臉區 域檢測/臉特征提取部1000對輸入影像的各幀進行臉區域檢測，對所檢測出的臉區域進行 臉特征提取。從由輸入影像檢測出的臉區域中提取的臉特征被保存到臉特征數據庫1050 中。
[0008] 穿衣區域檢測/穿衣特征提取部1010從輸入影像中檢測穿衣區域，提取其視覺特 征即穿衣特征。所提取出的穿衣特征被保存在穿衣特征數據庫1040中。
[0009] 人物檢索時，將查詢圖像輸入到臉區域檢測/臉特征提取部1020以及穿衣區域檢 測/穿衣特征提取部1030。臉區域檢測/臉特征提取部1020以及穿衣區域檢測/穿衣特 征提取部1030與所述臉區域檢測/臉特征提取部1000以及穿衣區域檢測/穿衣特征提取 部1010發揮相同的作用，提取查詢臉特征以及查詢穿衣特征。
[0010] 臉相似度計算部1060將查詢臉特征與保存在臉特征數據庫105中的臉特征進行 比較，計算出臉相似度。另一方面，穿衣相似度計算部1070將查詢穿衣特征與保存在穿衣 特征數據庫1040中的穿衣特征進行比較，計算出穿衣相似度。人物相同性判定部1080綜 合臉相似度和穿衣相似度來判定人物相同性，并據此輸出人物檢索結果。
[0011] 專利文獻2公開了一種圖像保存/檢索系統，檢索具有與表現人類主觀感知的色 調的色覺語言相符的圖像特征的圖像數據。在此，預先設定人類的自然語言所包含的色調 表現與顏色空間的像素的對應關系。另外，從保存在數據庫中的圖像數據中提取像素，計算 出與色調表現之間的相似度并保存。若賦予色調表現作為查詢，則調查該色調表現與圖像 數據之間的相似度，檢索相似度高的圖像數據并顯示。
[0012] 在先技術文獻
[0013] 專利文獻
[0014] 專利文獻1 :JP特開2009-199322號公報
[0015] 專利文獻2 :JP特開2009-3581號公報 [0016]發明的概要
[0017] 發明要解決的課題
[0018]圖10所示的人物檢索系統是僅接受查詢圖像的系統，不能進行基于查詢文本的 人物檢索。即，是從查詢圖像中提取視覺特征（例如穿衣的顏色或花紋的信息）來進行人 物檢索的系統，無法將表示"紅色衣服"這樣的語言表現的查詢文本變換為視覺特征來進行 人物檢索。另外，在從輸入影像檢測穿衣區域時，不考慮人物的朝向，不能將由人物的朝向 不同而引起的能看到的穿衣的差異納入考慮的范疇。進而，由于提取穿衣區域整體的視覺 特征，因此在以"白色上衣配藍色褲子"這樣的上半身/下半身穿衣的視覺特征不同的情況 下，不能將上半身/下半身的穿衣的差異反映到人物檢索中。因此，即使檢索者要檢索正面 朝向的人物，也會輸出符合條件的人物以外的檢索結果，另外，即使想要僅以上半身的穿衣 來執行人物檢索，也會檢索出上半身以外的穿衣部分的視覺特征類似的人物。這樣，現有的 人物檢索系統所輸出的人物檢索結果中包含較多的錯誤。
[0019] 專利文獻2的圖像保存/檢索系統針對如"紅色衣服"那樣由一種顏色構成的穿 衣能進行基于查詢文本的人物檢索，但由于查詢文本僅能指定一種顏色，因此不能使用多 種顏色進行人物檢索。與專利文獻1相同，不能將人物朝向的差異、人物的上半身/下半身 的視覺特征的差異反映到人物檢索結果中。
【發明內容】
[0020] 用于解決課題的手段
[0021] 本發明鑒于上述問題而提出，其目的在于提供一種能正確地提取包含在影像中的 人物服裝的特征的人物服裝特征提取裝置。
[0022] 另外，本發明提供一種對由影像取得的人物服裝特征和查詢文本進行對照來進行 人物檢索的人物檢索裝置。
[0023] 進而，本發明提供一種描述了人物服裝特征提取處理方法和人物檢索處理方法的 程序。
[0024] 本發明所涉及的人物服裝特征提取裝置具備：人物區域檢測部，其從輸入影像中 檢測出人物區域；人物朝向判定部，其判定人物區域中的人物的朝向；服裝部位分離部，其 判定人物區域中的人物服裝的分離可能性，并輸出服裝部位分離信息；服裝特征提取部，其 考慮人物的朝向以及服裝部位分離信息來提取人物區域中表示人物服裝的視覺特征的服 裝特征；和服裝特征保存部，其保存所提取出的服裝特征。
[0025] 本發明所涉及的人物檢索裝置具備：服裝特征檢索部，其基于表示人物的服裝的 種類和顏色的服裝查詢文本來檢索服裝特征參數；服裝特征查詢生成部，其基于服裝特征 參數來輸出服裝特征查詢；服裝特征對照部，其將從服裝特征保存部中檢索出的服裝特征 與服裝特征查詢進行對照，并輸出其對照結果；和人物檢索部，其基于對照結果來輸出人物 檢索結果。
[0026] 本發明所涉及的人物服裝特征提取方法執行如下處理：從輸入影像中檢測出人物 區域的人物區域檢測處理；判定人物區域中的人物的朝向的人物朝向判定處理；判定人物 區域中的人物服裝的分離可能性，來生成服裝部位分離信息的人物服裝部位分離處理；以 及考慮人物的朝向以及服裝部位分離信息來提取表示人物區域中的人物服裝的視覺特征 的服裝特征的服裝特征提取處理。
[0027] 本發明所涉及的人物檢索方法執行如下處理：基于表示人物服裝的種類和顏色的 服裝查詢文本來提取服裝特征參數的服裝信息提取處理；基于服裝特征參數來生成服裝特 征查詢的服裝特征查詢處理；將從服裝特征保存部檢索出的服裝特征與服裝特征查詢進行 對照的服裝特征對照處理；以及基于其對照結果來輸出人物檢索結果的人物檢索處理。
[0028] 本發明提供以能由計算機讀取并執行的格式來描述上述的服裝特征提取方法的 程序。另外，本發明提供以能由計算機讀取并執行的格式來描述上述的人物檢索方法的程 序。
[0029] 發明效果
[0030] 本發明從由監視攝像機等取得的影像中檢測出人物區域，并正確地提取該人物區 域中所存在的人物的服裝特征，并且基于所提取出的人物服裝特征來輸出接近于檢索者的 意圖的人物檢索結果。
【附圖說明】
[0031] 圖1是表示本發明的實施例所涉及的人物服裝特征提取裝置的構成的框圖。
[0032] 圖2是表示本發明的實施例所涉及的人物檢索裝置的構成的框圖。
[0033] 圖3是表示人物朝向判定部的內部構成的框圖。
[0034] 圖4是表示服裝部