專利名稱：服務器設備、客戶端設備、內容推薦方法和程序的制作方法
技術領域：
本發明涉及一種能夠推薦商品、或服務等的內容的服務器設備、客戶端設備、內容推薦方法和程序。
背景技術：
在相關技術中，例如在電子商務站點中，使用用戶的瀏覽歷史和購買歷史來向用戶推薦商品、或服務等的內容。此外，在網頁檢索服務中，使用由用戶瀏覽的網站的內容、由用戶輸入的檢索詞、或用戶的網頁瀏覽歷史等來顯示內容的廣告信息。日本專利申請特開第2009-147679號(下文中，稱為專利文獻1)公開了基于在由用戶觀看的TV節目等中插入的商業廣告(commercial)來分析用戶的嗜好，并指定適合于用戶的嗜好的商品，從而生成推薦商品的信息。
發明內容
然而，在前述的電子商務站點和網頁廣告的方法中，基于在用戶使用具體站點或具體檢索服務的情況下的歷史信息來決定要推薦的內容，但是沒有考慮在用戶使用另一電子商務站點或另一檢索服務的情況下的歷史信息。因此，在這些方法中，在所推薦的內容上沒有反映出用戶的日常行為中的嗜好。此外，在專利文獻1所公開的技術中，用戶對于TV節目的嗜好被反映在所推薦的內容上，但是如上所述，難以在所推薦的內容上反映出用戶的日常行為中的嗜好。鑒于前述情形，期望提供一種能夠基于從用戶的日常行為趨勢中提取的特征來推薦真實地反映出用戶的嗜好的內容的服務器設備、客戶端設備、內容推薦方法和程序。根據本發明的實施例，提供了一種服務器設備，包括第一存儲器、第二存儲器、通信單元和控制器。所述第一存儲器被配置為存儲通過執行多條第一元信息和多條第二元信息的統計處理而生成的統計信息。所述統計信息針對每條第二元信息來指明作為所述多條第二元信息的導出源的所述多條第一元信息的頻率。從多個用戶所拍攝的圖像數據中提取所述多條第一元信息。通過分析而從所述多條第一元信息中導出所述多條第二元信息。所述第二存儲器被配置為存儲指明要推薦的商品內容和服務內容之一的多條不同的內容信息。所述通信單元被配置為從所述多個用戶之一的客戶端設備接收在所述客戶端設備中從所述多條第一元信息導出的第二元信息。所述控制器被配置為基于所接收的第二元信息和所存儲的統計信息來從所存儲的多條內容信息中選擇與對于所接收的第二元信息、具有預定頻率或更高頻率的第一元信息相關的內容信息。此外，所述控制器控制所述通信單元以向所述客戶端設備傳送所選擇的內容信息。利用這個結構，基于所存儲的統計信息和從客戶端設備接收的第二元信息，服務器設備能夠選擇要向客戶端設備的用戶推薦的內容信息，并將所述內容信息提供給客戶端設備。通過基于從用戶所拍攝的圖像中提取的多條第一元信息中導出的第二元信息來選擇內容信息，推薦了在其上反映出從用戶的日常行為的趨勢中提取的嗜好的內容信息。
所述第二元信息可包括指明所述圖像中的人員的人員信息、和指明所述人員的行為細節的行為信息。在這個情況下，所述控制器可被配置為分別比較在包括于統計信息中的第二元信息中包括的第一人員信息和第一行為信息、和在從客戶端設備傳送的第二元信息中包括的第二人員信息和第二行為信息，以計算指明第一人員信息與第二人員信息之間的類似度的第一類似度、和指明第一行為信息與第二行為信息之間的類似度的第二類似度。此外，所述控制器可被配置為通過相加所計算的第一類似度和第二類似度來計算第三類似度，并選擇與對于如下的第二元信息、具有預定頻率或更高頻率的第一元信息相關的內容信息，所述第二元信息與從所述客戶端設備傳送的第二元信息具有等于或高于預定類似度的第三類似度。利用這個結構，服務器設備基于從拍攝的圖像獲得的人員和行為細節來計算在各條第二元信息之間的類似度，并基于該類似度來選擇內容信息，從而可能推薦更適合于用戶的日常行為的趨勢的內容信息。所述內容信息可以是指明用于旅行的商品的信息。在這個情況下，所述通信單元可被配置為從所述客戶端設備接收所述多條第二元信息。此外，在這個情況下，所述控制器可被配置為針對每條第二元信息來選擇與對于所接收的多條第二元信息、具有預定頻率或更高頻率的多條第一元信息相關的并且能夠被設置為旅行中的行程(course)的各條內容信息。此外，所述控制器可被配置為生成通過綜合所選擇的各條內容信息而獲得的綜合內容信息，并控制所述通信單元向所述客戶端設備傳送所生成的綜合內容信息。利用這個結構，服務器設備分別綜合與第一元信息相關的、作為旅行中的行程的多條內容信息，從而使得可能推薦基于用戶的多個嗜好而安排的旅行計劃。結果，與其中僅僅將旅行計劃推薦為與第一元信息相關的一條內容信息的情況相比，由于各種協同效果而可以期望用戶滿意水平上的提高。所接收的多條第二元信息可具有指明多條行為信息的相關性的相關性信息。在這個情況下，所述控制器可被配置為基于所述相關性信息來確定被設置為行程的各條內容信息以及其設置的順序。利用這個結構，根據所述相關性信息，服務器設備可識別客戶端設備的用戶在特定行為之后高度頻繁地采取的行為。據此，可以設置旅行中的行程。這樣，作為向用戶提供的綜合內容的用于旅行的商品是基于用戶的通常行為式樣(pattern)，并因此可高度可能地被用戶所采用。所述第二元信息可具有指明與行為信息對應的日期的日期信息。在這個情況下， 所述控制器可被配置為基于在包括于統計信息中的多條第二元信息中包括的行為信息和日期信息來生成轉變概率信息，該轉變概率信息指明在所述行為細節之中從第一行為細節向第二行為細節轉變的概率。此外，所述控制器可被配置為基于所生成的轉變概率信息，來選擇與如下的行為細節相關的內容信息，所述行為細節的從包括于所接收的第二元信息中的行為信息所指明的行為細節的轉變的概率等于或高于預定概率。利用這個結構，服務器設備根據第二元信息來為每個用戶生成行為細節的轉變概率，并且可以向用戶推薦與如下的行為細節相關的商品或服務，所述行為細節具有從所接收的第二元信息所指明的行為細節的較高轉變概率。也就是說，服務器設備可向用戶推薦在用戶的特定行為之后的行為所高度可能需要的商品或服務，從而用戶可容易地為下一行為做好準備。根據本發明的另一實施例，提供了一種包括通信單元、存儲器、控制器和輸出單元的客戶端設備。所述通信單元被配置為與服務器設備通信，該服務器設備存儲了指明要被推薦的商品內容和服務內容之一的多條不同的內容信息。所述存儲器被配置為存儲用戶所拍攝的圖像數據。所述控制器被配置為從所述圖像數據中提取多條第一元信息，通過分析所提取的多條第一元信息來導出第二元信息，并且控制所述通信單元以基于所導出的第二元信息來接收在服務器設備中存儲的多條內容信息之中的與所述第二元信息相關的內容信息。所述輸出單元被配置為輸出所接收的內容信息。根據本發明的另一實施例，提供了一種內容推薦方法，包括存儲通過執行多條第一元信息和多條第二元信息的統計處理而生成的統計信息。所述統計信息針對每條第二元信息來指明作為所述多條第二元信息的導出源的所述多條第一元信息的頻率。所述多條第一元信息從多個用戶所拍攝的圖像數據中提取。所述多條第二元信息通過分析而從所述多條第一元信息中導出。此外，所述內容推薦方法包括存儲指明要推薦的商品內容和服務內容之一的多條不同的內容信息。從所述多個用戶之一的客戶端設備接收在所述客戶端設備中從所述多條第一元信息導出的第二元信息。基于所接收的第二元信息和所存儲的統計信息，來從所存儲的多條內容信息中選擇與對于所接收的第二元信息、具有預定頻率或更高頻率的第一元信息相關的內容信息。向所述客戶端設備傳送所選擇的內容信息。根據本發明的另一實施例，提供了一種內容推薦方法，包括存儲用戶所拍攝的圖像數據，從所述圖像數據中提取多條第一元信息，通過分析所提取的多條第一元信息來導出第二元信息，基于所導出的第二元信息來接收在服務器設備中存儲的多條內容信息之中的與所述第二元信息相關的內容信息，并輸出所接收的內容信息。根據本發明的另一實施例，提供了一種被配置為促使服務器設備執行第一存儲步驟、第二存儲步驟、接收步驟、選擇步驟和傳送步驟的程序。在所述第一存儲步驟中，存儲通過執行多條第一元信息和多條第二元信息的統計處理而生成的統計信息。所述統計信息針對每條第二元信息來指明作為所述多條第二元信息的導出源的所述多條第一元信息的頻率。所述多條第一元信息從多個用戶所拍攝的圖像數據中提取，以及所述多條第二元信息通過分析而從所述多條第一元信息中導出。在第二存儲步驟中，存儲指明要推薦的商品內容和服務內容之一的多條不同的內容信息。在所述接收步驟中，從所述多個用戶之一的客戶端設備接收在所述客戶端設備中從所述多條第一元信息導出的第二元信息。在所述選擇步驟中，基于所接收的第二元信息和所存儲的統計信息，來從所存儲的多條內容信息中選擇與對于所接收的第二元信息、具有預定頻率或更高頻率的第一元信息相關的內容信息。 在所述傳送步驟中，向所述客戶端設備傳送所選擇的內容信息。根據本發明的另一實施例，提供了一種被配置為促使客戶端設備執行存儲步驟、 提取步驟、導出步驟、接收步驟、和輸出步驟的程序。在所述存儲步驟中，存儲用戶所拍攝的圖像數據。在所述提取步驟中，從所述圖像數據中提取多條第一元信息。在所述導出步驟中，通過分析所提取的多條第一元信息來導出第二元信息。在所述接收步驟中，基于所導出的第二元信息來接收在服務器設備中存儲的多條內容信息之中的與所述第二元信息相關的內容信息。在所述輸出步驟中，輸出所接收的內容信息。如上所述，根據本發明的實施例，可能根據從用戶的日常行為的趨勢提取的特征
7來推薦真實地基于用戶的嗜好的內容。借助于如附圖所圖示的本發明最佳模式實施例的如下詳細描述，本發明的這些和其它目標、特征和優點將變得更明顯。
圖1是示出了在本發明實施例中的內容推薦系統的概要的圖；圖2是示出了根據本發明實施例的PC的硬件結構的圖；圖3是示出了根據本發明實施例的服務器的硬件結構的圖；圖4是示出了根據本發明實施例的服務器和PC的軟件結構的圖；圖5是示出了在本發明實施例中的個人(individual)元DB的示例的圖；圖6是示出了在本發明實施例中的多用戶統計元DB的示例的圖；圖7是示出了根據本發明實施例的由PC和服務器執行的再現控制處理的流程的次序圖；圖8是示出了在本發明實施例中的個人特征的類似度計算處理的流程的流程圖；圖9A和9B是示出了在本發明實施例中的個人特征的類似度計算處理的示例的圖；圖IOA和IOB是示出了在本發明實施例中的推薦內容信息的顯示示例的圖；以及圖IlA和IlB是示出了在本發明另一實施例中的在基于行為預測而推薦內容信息的情況下的行為預測處理的圖。
具體實施例方式下文中，將參考附圖來描述本發明的實施例。(系統的概要)圖1是示出了在本發明實施例中的內容推薦系統的概要的圖。如圖1所示，內容推薦系統通過經由網絡3彼此連接PC 100、其它PC 150、和服務器200來構成。PC 100和其它PC 150中的每一個從每個用戶所拍攝的運動圖像或靜止圖像中提取元信息，并將該圖像傳送到服務器200。基于從PC 100和其它PC 150接收的元信息，服務器200從與其中存儲的商品或服務相關的多條內容信息中選擇要向PC 100和其它PC 150 的每個用戶推薦的內容信息，并將所選擇的內容信息傳送到PC 100和其它PC 150。網絡3 指的是因特網、LAN(局域網)、或WAN(廣域網)等。(PC的硬件結構)圖2是示出了 PC 100的硬件結構的圖。如圖2所示，PC 100提供有CPU(中央處理單元)11、R0M(只讀存儲器)12、RAM(隨機存取存儲器)13、輸入和輸出接口 15、和將這些元件彼此連接的總線14。CPU 11在需要時訪問RAM 13等，并且在執行各種計算處理的同時執行PC 100的全部塊的總體控制。ROM 12是非易失性存儲器，其中固定地第存儲了 OS、程序、和諸如各種參數的固件等。RAM 13被用作CPU 11的工作區等，并臨時地存儲OS、執行中的各種應用、 或者正被處理的各條數據。顯示器16、輸入單元17、存儲器18、通信單元19、和驅動單元20等被連接到輸入和輸出接口 15。顯示器16是使用液晶、EL(電發光)、或CRT(陰極射線管)等的顯示裝置。顯示器16可構建在PC 100中，或者可外部地連接到PC 100。輸入單元17例如是諸如鼠標的指向裝置、鍵盤、觸摸面板、或另一操作設備。在其中輸入單元17包括觸摸面板的情況下，該觸摸面板可被集成地提供有顯示器16。存儲器18是諸如HDD (硬盤驅動器)、閃存、和另一固態存儲器的非易失性存儲器。 在存儲器18中，存儲了 OS、各種應用、以及各條數據。具體地，在這個實施例中，從加載自存儲介質5的運動圖像、或靜止圖像等的數據中提取元信息，并且在存儲器18中存儲用于基于所述元信息來顯示由服務器200選擇的內容信息的內容推薦應用以及所提取的元信息。驅動單元20驅動諸如存儲卡、光記錄介質、軟(floppy)(注冊商標)盤、和磁記錄帶之類的可移除存儲介質5，并且讀取在記錄介質5中記錄的數據和將數據寫入到記錄介質5。典型地，記錄介質5是裝入到數字相機中的存儲卡，并且PC 100從取出自數字相機并裝入到驅動單元20中的存儲卡中讀取靜止圖像或運動圖像的數據。數字相機和PC 100可通過USB(通用串行總線)線纜等來連接，以便在將存儲卡裝入數字相機中的情況下將靜止圖像或運動圖像從存儲卡加載到PC 100。通信單元19是可連接到網絡3的NIC(網絡接口卡)等。通信單元19可執行有線或無線通信。(服務器的硬件結構)圖3是示出了服務器200的硬件結構的圖。如圖3所示，服務器200提供有CPU 21、ROM 22、RAM 23、輸入和輸出接口 25、和將這些元件彼此連接的總線對。顯示器沈、輸入單元27、存儲器觀、通信單元四、和驅動單元30等被連接到輸入和輸出接口 25。這些塊的功能與PC 100的塊的功能相同，因此將省略其描述。在存儲器觀中，存儲了指明用于向用戶推薦的商品或服務的內容信息、用于通過從所涉及的內容信息中選擇要向用戶推薦的內容信息以提供給PC100或PC 150的推薦內容選擇應用、或所述推薦所需要的數據庫等。(PC和服務器的軟件結構)圖4是示出了用于內容推薦的PC 100和服務器200的功能塊的圖。如圖4所示，PC 100包括讀取單元31、運動圖像解碼器32、音頻解碼器33、靜止圖像解碼器34、運動圖像分析單元35、音頻分析單元36、靜止圖像分析單元37、上位含義信息分析單元38、下位含義信息分析單元39、個人特征提取單元40、和個人元DB (數據庫)41。讀取單元31從記錄介質5中讀取運動圖像內容或靜止圖像數據，所述記錄介質5 諸如在圖像拍攝設備中構建的存儲卡、或者從圖像拍攝設備中取出的存儲卡，所述圖像拍攝設備諸如數字照相機和數字攝像機。例如，基于日期或時間段來為每個群組讀取靜止圖像數據。在其中已經讀取的數據是運動圖像內容的情況下，讀取單元31將該運動圖像內容劃分為運動圖像數據和音頻數據。然后，讀取單元31將運動圖像數據輸出到運動圖像解碼器32，將音頻數據輸出到音頻解碼器33，并將靜止圖像數據輸出到靜止圖像解碼器34。運動圖像解碼器32對運動圖像數據進行解碼，并將數據輸出到運動圖像分析單元35。音頻解碼器33對音頻數據進行解碼，并將數據輸出到音頻分析單元36。靜止圖像解碼器34對靜止圖像數據進行解碼，并將數據輸出到靜止圖像分析單元37。
運動圖像分析單元35從運動圖像數據中提取客觀的特征信息，并基于所述特征信息來提取下位元信息(含義信息)。按照相同的方式，音頻分析單元36和靜止圖像分析單元37分別從音頻數據和靜止圖像數據中提取客觀的特征信息，并且基于所述特征信息來提取下位元信息。為了提取下位元信息，還使用了在下文中描述的技術，即 Understanding Video Events :A Surveyof Methods for Automatic Interpretation of Semantic Occurrences in Video, GalLavee, Ehud Rivlin, and Michael Rudzsky, IEEE TRANSACTIONS 0NSYSTEMS, MAN, AND CYBERNETICS-PART CAPPLICATIONS ANDREVIEWS, VOL. 39，NO. 5，September 2009。在特征信息的提取中，運動圖像分析單元35執行基于像素的處理，諸如色彩和紋理特征提取、梯度計算、和邊緣提取；或者基于對象的處理，諸如人員或面部的檢測和識別，對象的識別，人員、面部或對象的運動檢測和速度檢測。在人員檢測中，運動圖像分析單元35使用用于指明人形等的特征濾波器，從而從運動圖像中檢測用于指明人員的區域。在面部檢測中，運動圖像分析單元35例如使用用于指明眼睛、鼻子、眉毛、頭發、和面頰等的位置關系的特征的特征濾波器或膚色信息，從而從運動圖像中檢測用于指明面部的區域。此外，運動圖像分析單元35不僅能夠識別人員或面部的存在或不存在，而且能夠識別特定的人員。對于所述識別，例如使用邊緣強度圖像特征、頻率強度圖像特征、高階自相關特征、或顏色轉換圖像特征等。例如，在使用邊緣強度圖像的情況下，運動圖像分析單元35存儲灰度級圖像和邊緣強度圖像作為要識別的人員(諸如父母、孩子、配偶、和朋友的所涉及的人員)的特征數據，按照相同的方式從其面部被檢測的人員的面部圖像中提取灰度級圖像和邊緣強度圖像，并執行灰度級圖像和邊緣強度圖像二者的式樣匹配，從而識別特定人員的面部。在對象識別中，運動圖像分析單元35例如使用所存儲的識別模型來識別對于每個事件唯一的對象，從而判斷是否包括要被標識的對象。根據用于預先學習的圖像、通過諸如SVM(支持向量機器)的機器學習來構造識別模型。此外，運動圖像分析單元35還能夠識別運動圖像中的除了人員和對象之外的背景。例如，運動圖像分析單元35使用通過諸如SVM的機器學習、從用于學習的圖像中預先構造的模型，從而將運動圖像的背景例如分類為城鎮、室內、戶外、海濱、水中的場景、夜景、 日落、雪景、或擁擠。這里，在運動圖像內容由多個場景構成的情況下，在提取下位元信息之前，運動圖像分析單元35從運動圖像內容中檢測諸如剪輯和退色的視頻特征，并將運動圖像內容分類為多個場景。音頻分析單元36在特征信息的提取中從音頻數據中檢測人員的語音、除了人員之外的環境中的聲音、諸如其功率和音調之類的特征。為了在人員的語音和環境中的聲音之間進行辨別，例如使用預定功率或更大的音頻持續時間。在特征信息的提取中，靜止圖像分析單元37執行可由運動圖像分析單元35執行的分析處理的靜態處理，諸如顏色和紋理特征提取、梯度計算、邊緣提取、人員、面部或對象的檢測、以及背景的識別。此外，在標簽(標記)信息被包含在每條數據的情況下，分析單元35到37提取標簽信息作為特征信息。作為標簽信息，例如使用用于指明事件的細節的信息、或者圖像拍攝的日期和圖像拍攝的位置的信息。基于由分析單元35到37的每一個提取的特征信息，分析單元35到37提取向其添加了更多具體含義的下位元信息(含義信息)。例如，基于所提取的人員特征或面部特征，運動圖像分析單元35識別個人、性別、 年齡、面部表情、姿態、衣服、人員數目、或整隊人等，作為下位元信息。此外，基于所述運動特征，運動圖像分析單元35識別活躍的或不活躍的運動、迅速或緩慢的運動、或者諸如站立、就坐、漫步、和跑步的人員的活動，或者識別用人員的手而表達的姿勢等。例如，音頻分析單元36從所提取的音頻特征中提取掌聲、喝彩、來自揚聲器的聲音、與語音對應的感情、大笑、痛哭、交談的細節、基于回聲而獲得的特定延伸等，作為下位
Ttlfn 息 ο靜止圖像分析單元37識別在運動圖像分析單元35可識別的元信息之中的、與運動特征不相關的元信息。對于如上所述的下位元信息的提取，例如，使用基于諸如貝葉斯網絡、有限狀態機、條件隨機場(CRF conditional random field)、和隱藏馬爾可夫模型(HMM)的狀態空間表現的方法；基于諸如邏輯方式的含義模型、諸如佩特里網(Petri net)的離散事件系統、和約束滿足模型的方法；諸如SVM、最近鄰居方法和中立網的傳統式樣識別/分類方法； 或者各種其它方法。上位含義信息分析單元38基于由分析單元35至37的每個所提取的下位元信息來分析上位元信息，并導出頂部(top)元信息，該頂部元信息可解釋運動圖像的一個場景和靜止圖像的一個群組(這將被統稱為“場景”)的全部，即，事件。為了導出事件，還使用在下文中公開的技術，即 Event Miningin Multimedia Streams =Research on identifying and analyzing events andactivities in media collections had led to new technologies and systems, LexingXie, Hari Sundaram, and Murray Campbell, Proceedings of the IEEE Vol. 96, No. 4, April 2008。具體地，基于各條下位元信息，所述上位含義信息分析單元38分析與誰、什么、何時、何地、為什么和如何(下文中，稱為5W1H)對應的多條元信息，逐漸增加萃取等級，并最終將場景歸類為一個事件。例如，從運動圖像或靜止圖像中提取與人員相關的元信息，諸如“大量孩子”、“大量父母和孩子”、和“體育服裝”；與人員的運動相關的元信息，諸如“活躍的運動”和“跑步形式”；以及與一般對象相關的元信息，諸如“學校建筑”。從聲音中提取諸如“通過揚聲器的人員語音”、“掌聲”和“喝彩”的元信息。此外，在獲得諸如“小學”的位置信息、和“秋天” 的季節(日期)信息等作為其它元信息的情況下，上位含義信息分析單元38導出可通過綜合這些條信息而想象到的事件，即“小學中的運動會”。此外，在其中提取與拍攝圖像的人員或家庭相關的元信息的情況下，上位含義信息分析單元38甚至可導出以下事件，即“XX小學中的運動會”。下位含義信息分析單元39基于分析單元35至37的每個的所提取的下位元信息來生成PC 100的用戶的行為歷史信息。具體地，例如，基于諸如在拍攝靜止圖像或運動圖像時添加的位置信息(GPS信息)、日期信息、對象、和背景之類的元信息，下位含義信息分析單元39生成PC 100的用戶已經游覽的位置、和用戶已經游覽時的日期，作為行為歷史信息。個人特征提取單元40基于上位含義信息分析單元38所導出的事件(上位元信息)來生成表征PC 100的用戶的信息(下文中，稱為個人特征信息)。個人元DB 41將由下位含義信息分析單元39生成的行為歷史信息與已經由個人特征提取單元40生成的用于表征個人的信息相關聯，并存儲所相關聯的信息。例如，個人元DB 41以及用于所述生成的上位元信息和下位元信息被周期性地傳送到服務器200。圖5是示出了個人元DB 41的示例的圖。如圖5所示，個人元DB 41包括個人特征信息42和行為歷史信息43。個人特征信息42是用于表征PC 100的用戶A的個人的信息，其從所述上位元信息中導出，諸如“為中年男人”、“具有小學的兒子”、“在夏季登山”和“在冬季出國”。個人特征信息42包括與5W1H對應的各條信息中的任何信息。行為歷史信息43是用于指明PC 100的用戶已經游覽的“地方”和每次游覽的“日期”的信息。所述信息從所述下位元信息中導出，諸如“x/x/2009，到‘00山’”和“X/V2010， 到‘ Δ Δ山’”。返回參考圖4，服務器200具有內容DB 51、多用戶統計元DB 52、和相關內容選擇單元53。內容DB 51將用于指明作為要向PC 100的用戶或者其它PC 150的用戶推薦的候選者的商品或服務的內容信息、和對推薦有用的信息相關聯，并存儲所述相關聯的信息。對推薦有用的信息例如指的是在推薦旅行物品的情況下的地方(目的地)。多用戶統計元DB 52存儲通過執行從PC 100和其它PC 150周期性接收的個人元 DB 41的、以及包括在其中的各條上位元信息和各條下位元信息的統計處理而獲得結果。對于統計處理，使用諸如合作過濾之類的算法。相關內容選擇單元53依照從PC 100或其它PC 150接收的上位元信息來檢查多用戶統計元DB 52，從而選擇被判斷為與PC 100或其它PC 150的用戶的行為相關的內容信息，以將所述內容信息傳送到PC 100或其它PC150。圖6是示出了多用戶統計元DB 52的示例的圖。如圖6所示，多用戶統計元DB 52 具有個人特征信息討和行為統計信息陽。個人特征信息M根據從PC 100和其它PC 150收集的各條上位元信息的屬性來分類所述各條上位元信息，并存儲所分類的信息。例如，作為彼此不同的已分類的各條信息，來存儲諸如“為中年男人”和“為中年女人”之類的指明年齡和性別的信息、諸如“具有小學的兒子”和“具有小學的女兒”之類的指明家庭成員的信息、諸如“在夏季登山”和“在夏季去游樂園”之類的指明每個季節的行為式樣的信息。行為統計信息55是這樣的信息，其通過與個人特征信息M的已分類信息的相關聯性來指明從作為行為式樣的導出源的各條下位元信息中導出的行為式樣的頻率。例如， 在作為“為中年男人”的個人特征信息討中，作為中年男人的行為式樣，按照頻率的降序來存儲“去 博物館的頻率(χ% )”、和“去‘**山，的頻率(y% )”等。也就是說，從多用戶統計元DB 52中，抓取人員和其頻率為最高的行為模式。例如，抓取出中年男人最頻繁地去 博物館、以及具有小學兒子的人員最頻繁地去□□公園。
(PC和服務器的操作)接下來，將給出關于由如上所述配置的PC 100和服務器200執行的內容推薦操作的描述。在接下來的描述中，PC 100的CPU 11和服務器200的CPU 21是所述操作的主體 (main)。然而，還與另一硬件或軟件(諸如，PC100的內容推薦應用和服務器200的推薦內容選擇應用)協作地執行接下來的操作。圖7是示出了由PC 100和服務器200執行的再現控制處理的流程的次序圖。如圖7所示，首先，例如(步驟71)，PC 100的CPU 11在用戶輸入對內容推薦的請求時選擇并傳送任何個人特征信息42到服務器200。替換地，服務器200從在將請求傳送到服務器200時已經接收的個人元DB 41中選擇任何個人特征信息42。隨后，服務器200的CPU 21計算在所選擇的個人特征信息42與多用戶統計元DB 52中的每條個人特征信息M之間的類似度(步驟72)。這里，將描述個人特征信息的類似度計算處理的細節。圖8是示出了個人特征信息的類似度計算處理的流程的流程圖。圖9A和9B是示出了類似度計算處理的示例的圖。如圖8所示，首先，CPU 21將在個人元DB 41中的個人特征信息42中包括的上位元信息劃分為5W1H的元素(步驟81)。例如，如圖9A所示，“為中年男人、具有小學兒子、 在夏季登山”的上位元信息被劃分為與“誰”對應的“中年男人”的一條信息、與“何時”對應的“夏季”的一條信息、和與“什么”對應的“登山”的一條信息。然后，按照相同的方式，CPU 21將在多用戶統計元DB中的個人特征信息M中包括的上位元信息劃分為5W1H的元素(步驟82)。隨后，對于所劃分的5W1H的每個元素，CPU 21計算在個人特征信息42與個人特征信息M之間的類似度(步驟83)。如圖9B所示，作為示例，給出了如下的情況，在該情況下，個人特征信息42是信息“男孩在夏季到湖邊野營”，并且個人特征信息M是信息“中年男人在夏季在山中野營”。這個情況下，在個人特征信息42中與“誰”對應的信息“男孩”、和在個人特征信息討中與“誰”對應的信息“中年男人”之間的類似度被計算為“-0. 5”。類似地，在對應于“何時”的信息“夏季”和“夏季”、對應于“何地”的信息“湖”和“山”、以及對應于“什么”的信息“野營”和“野營”方面，分別計算在個人特征信息42與個人特征信息 54之間的類似度。結果，分別獲得了類似度“1. 0”、“0. 0”、和“1. 0”。對于類似度的計算， 例如使用諸如同類詞匯編(thesaurus)的詞典。然后，如圖9B所示，CPU 21將所計算的每個類似度乘以用于5W1H的每個元素的預定權重、并相加這些值，從而確定總的類似度(步驟84)。例如，“誰”和“什么”的元素的權重被設置為較大，而“為什么”的元素的權重被設置為較小。然而，所述設置不限于此。如上所述，對于從上位元信息中獲得的5W1H的每個元素來計算類似度，結果是更精確地獲得了各條個人特征信息的類似度。返回到圖7，按照對于個人元DB 41中的個人特征信息42而分配權重并相加而獲得的類似度的降序，CPU 21選擇已經與多用戶統計元DB 52中的各條個人特征信息M相關聯的、等于或大于二的預定數量條的行為統計信息陽(步驟73)。替換地，CPU 21可選擇具有等于或高于預定類似度的類似度的所有各條行為統計信息陽。隨后，基于所選擇的多條行為統計信息55，CPU 21選擇多條內容信息(步驟74)。
13
然后，CPU 21組合所選擇的多條內容信息，從而生成綜合的內容信息(步驟75)。這里，將通過給出其中推薦旅行物品的情況作為示例，來給出關于根據多條內容信息來創建綜合內容信息的方法的詳細描述。對于作為綜合內容信息的旅行物品，除了推薦特定目的地，還要使用上位元信息來安排旅行的行程(住宿、中途停留地、旅游點、和商店等)。首先，CPU 21確定旅行的目的地。具體地，CPU 21提取包括位置名稱或自然地點名稱(山、居住者、或海等)的個人特征信息M，并確定包括在其中的位置或自然地點作為目的地。這是基于PC 100的用戶也對另一用戶已經游覽的地方關注的假設，該另一用戶具有與PC 100的用戶的個人特征信息42具有高類似度的個人特征信息M。此時，如上所述，通過使用用于計算類似度的上位元信息，CPU 21可確定與其中根據下位元信息來計算類似度的情況相比、更適合于PC 100的用戶的嗜好的目的地。例如，關于通過對其中PC 100的用戶正在登山的情形拍照而獲得的靜止圖像或運動圖像，在其中僅獲得下位元信息“山”的情況與其中獲得上位元信息“登山”的情況之間的差別在于，以后在推薦內容中是否要推薦登山。此外，即使從運動圖像或靜止圖像中提取了下位元信息“百貨商店的建筑物”，也不可能判斷出用戶僅僅已經去往百貨商店所位于的商業區、還是用戶實際上已經到百貨商店去購物。這僅僅可以通過導出上位元信息“已經到百貨商店去購物”來判斷。通過使用所述上位元信息，CPU 21可分類用戶是“去購物”還是“去商業區”作為個人特征信息42。 此外，CPU 21可判斷是否在旅行行程中合并購物點。除了上述方法之外，僅關于目的地，可以提供用于用戶手動確定的選項。接下來，CPU 21做出在所確定的目的地上的旅行行程的安排。所述安排這里指的是確定具體的旅行行程，其包括用戶在目的地及其附近實際游覽的具體地方、游覽順序、休息的地方、和運輸工具等。此時，CPU 21可使用從PC 100的上位和下位元信息中獲得的行為相關性信息。例如，根據PC 100的上位和下位元信息，CPU 21可識別多個行為的相關性信息， 所述多個行為諸如“在滑雪之后，高頻率地去溫泉”和“當開車時，高頻率地在大型購物中心購物”。利用已經從PC 100接收的上位和下位元信息，CPU 21生成相關性信息，并可以在選擇多條內容信息或從多條內容信息中進行選擇以生成綜合內容時，使用所述相關性信息。此外，可使用包括具有高類似度的個人特征信息的、用戶的行為相關性信息。當然，所述相關性信息可以當在PC 100中生成個人元DB 41時被生成，并傳送到服務器200。返回到圖7，CPU 21傳送綜合內容信息到PC 100(步驟76)。PC 100的CPU 11接收綜合內容信息，并在顯示器16上顯示所述信息作為推薦內
各{曰息。圖IOA和IOB是示出了推薦內容信息的顯示示例的圖。如圖IOA所示，例如，CPU 11可顯示用戶所拍攝的運動圖像或靜止圖像的縮略圖觀看器91。在縮略圖觀看器91上，例如，利用從上位元信息獲得的事件名稱92來將根據日期或位置分類的運動圖像或靜止圖像的縮略圖93顯示為多個簇。在觀看器91上，在其中例如用戶將指示器放在特定事件名稱92上或點擊特定事件名稱92的情況下，CPU 21向服務器200傳送與事件名稱92相關聯的個人特征信息42，作為推薦內容信息的請求信息。此外，例如，CPU 21在將從服務器200獲得的內容信息的列表94重疊在觀看器91 上的情況下，通過上述的處理來顯示所述列表94。在內容信息的列表94中，顯示各條內容信息的概要信息95以及到詳細信息的鏈接信息96。在上述的旅行物品的示例中，作為概要信息95，來顯示目的地的照片和地圖，并且點擊鏈接信息96，從而鏈接到由預定的旅行社提供的、作為綜合內容信息的行程詳細信息 97。如圖IOB所示，行程詳細信息97包括目的地的地圖99和各條行程信息98作為內容信息，其包括行程中的地點的照片及其說明信息。在地圖99上顯示行程信息98。在圖IOB的示例中，作為各條行程信息98，指明了基于個人特征信息42 “登山”確定的目的地“TsukiAa山”、從個人特征信息42 “看日落”中選擇的住宿設施“具有良好的日落景觀的XX賓館”、以及從個人特征信息42 “游覽具有美麗風景的河谷”中選擇的旅游地點“具有美麗風景的▼ ▼河谷”。在各條行程信息98中，還顯示了用于在改變行程信息98和按照原樣采用行程信息98之間進行選擇的按鈕98a “改變”和“采用”。在其中按下按鈕98a “改變”的情況下， CPU 11請求服務器200的替換行程信息98。服務器200響應于所述請求而選擇新的內容信息，并向PC 100傳送根據其而更新的綜合內容信息。(修改的示例)本發明不限于上面的實施例，并且可多樣地改變，而不脫離本發明的主旨。在上面的實施例中，將相關內容選擇單元53提供給服務器200，但是可以將其提供給PC 100。也就是說，PC 100例如可從服務器200下載多用戶統計元DB 52，并且基于所述DB來執行類似度的計算處理以及內容信息和綜合內容信息的生成處理。此外，PC 100 可從其它PC 150等收集個人元DB，并構造多用戶統計元DB 52。此外，即使不由PC 100來構造多用戶統計元DB 52，也可以僅使用個人元DB 41，并且可基于PC 100的用戶的行為歷史來推薦內容信息。例如，在其中從個人特征信息42抓取用戶在每個季節的行為式樣的情況下，PC 100可從服務器200的內容DB 51檢索與每個季節的行為式樣相符的商品或服務的內容信息，并顯示所述內容信息。在上面的實施例中，給出了其中基于上位和下位元信息來推薦旅行計劃作為內容信息的示例。然而，要推薦的內容不限于此。例如，基于從用戶拍攝的靜止圖像和運動圖像中提取的個人特征信息42，PC 100或服務器200可預測用戶采取的或者在不久的將來(在幾個月內)可能采取的行為，并推薦內容信息作為必要的商品或服務。圖IlA和IlB是示出了在基于行為預測而推薦內容信息的情況下的行為預測處理的圖。如圖IlA所示，PC 100或服務器200執行從上位元信息獲得的PC 100和其它PC 150的用戶的個人特征信息和行為歷史信息(位置信息和日期信息)的統計處理，并生成多個用戶的行為預測模型(下文中，稱為多用戶行為統計模型)。作為示例，使用通過如下操作獲得的多用戶行為統計模型將從上位元信息(例如，“與女性朋友之一到▼▼旅行” 和“與我的孩子去游樂園”)獲得的行為設置為行為節點，利用用于保持計算從一個行為節點到另一行為節點的轉變概率的信息(系數等)的線來連接所述行為節點，并且更適當地通過機器學習來確定用于計算的信息。在圖IlA的示例中，行為A高度可能地轉變到行為B和行為C，行為B高度可能地轉變到行為E，并且行為C高度可能地轉變到行為F。接下來，PC 100或服務器200從用戶的個人特征信息和行為歷史信息中選擇最近行為的行為節點作為推薦目標。然后，PC 100或服務器200根據多用戶行為統計模型來計算從行為節點到隨后節點的轉變概率，并且按照轉變概率的降序來選擇一些行為節點、或者選擇具有預定概率或更高概率的一些行為節點，作為行為預測結果。然后，PC 100或服務器200向用戶推薦與所選擇的行為節點相關的商品或服務，作為內容信息。在多用戶行為統計模型中，可想象到無限種類的行為節點，所以在多用戶行為統計模型中不必包括作為推薦目標的、與用戶的最近行為節點相同的行為節點。然而，例如， 如在上面實施例中的各條個人特征信息之間的類似度計算處理的情況下一樣，PC 100或服務器200可基于5W1H的每個元素的類似度來計算行為節點之間的類似度。PC 100或服務器200使用類似度，從而對用戶的最近行為節點和在多用戶行為統計模型中具有高類似度的行為節點進行近似，結果是即使在不包括相同的行為節點的情況下也能夠執行所述行為預測。例如，如圖IlB所示，在用戶的最近行為節點是行為C、并且所述行為節點沒有包括在多用戶行為統計模型中的情況下，預測出下一個行為節點是行為F。另一方面，在用戶的最近行為節點是沒有被包括在多用戶行為統計模型中的行為G的情況下，計算在行為G 與其它行為節點(行為B、和C等)之間的類似度。在這些行為之中，與行為G具有更高類似度的行為C通向行為F的預測。如上所述，通過從上位元信息構造多用戶行為統計模型，變得可能執行與其中僅僅通過下位元信息構造多用戶行為統計模型的情況相比、更詳細的行為預測。例如，除了下位元信息“很多學生”、“高中學生”、“學校”和“春天”之外，還從這些各條下位元信息中導出上位元信息“畢業典禮”，并因此可能預測行為“為大學學生且他/她獨自生活”。基于所述行為預測，PC 100或服務器200可推薦新的生活所需要的各件家具、家用電器產品等作為內容信息。此外，通過使用上位元信息，還抓取事件在稍長時段中的時間序列變化(趨勢)。 結果，PC 100或服務器200可根據用戶的當前趨勢來推薦商品或服務。替換地，PC 100或服務器200可根據用戶過去的偏愛和嗜好來推薦商品或服務。例如，作為用戶的行為的趨勢，在發現這樣的趨勢(即，諸如滑雪和足球的運動事件的頻率逐漸減少、旅行事件的頻率增加、然后旅行事件的頻率減少、并且與諸如鮮花和汽車之類的業余愛好相關的照片增加) 的情況下，PC 100或服務器200可根據當前趨勢(在鮮花情況下的花園物品，在汽車情況下的汽車展覽)來推薦對于業余愛好有用的商品或服務，或者可通過推薦與作為過去偏愛和嗜好之一的滑雪相關的商品來激發用戶行動。對于前述的行為預測處理，使用多用戶行為統計模型，但是該模型不是必需的。例如，PC 100可學習在用戶的個人元DB 41中的個人特征信息42和行為歷史信息43，構造用戶的個人行為統計模型，基于所述個人行為統計模型來執行行為預測，從服務器200的內容DB 51中檢索與所預測的行為相關的內容信息，并顯示所述內容信息。在上面的實施例中，通過PC 100提取下位元信息和上位元信息，但是其至少一部分可由另一設備來提取，并且在將圖像輸入到PC 100時與該圖像一起輸入。例如，照片的下位元信息可在拍攝照片時由諸如數字照相機和數字攝像機之類的圖像拍攝設備來提取，并且與該照片一起輸入到PC 100，并且PC 100可從其下位信息中提取上位元信息。此外， 可由具有相對小計算量(諸如，面部檢測和夜景檢測)的圖像拍攝設備提取的下位元信息可以通過圖像拍攝設備來提取，并且在相對大計算量(諸如，運動檢測和一般對象識別)的情況下提取的元信息可通過PC 100來提取。代替PC 100，網絡上的服務器可提取所述元信息，并且可通過通信單元19來將所述元信息輸入到PC 100。在上面的實施例中由PC 100來執行的處理還可以由PC(個人計算機)、數字照相機、數字攝像機、移動電話、智能電話、記錄和再現設備、游戲機、PDA(個人數字助理)、電子書終端、電子詞典、便攜式AV設備、和任何其它電子設備來執行。數字照相機或數字攝像機可能能夠從所拍攝的運動圖像或靜止圖像中提取下位或上位元信息。替換地，除了數字照相機或數字攝像機之外的設備被提供有用于拍攝運動圖像內容或靜止圖像內容的相機，并且可能能夠按照與上面相同的方式來提取上位和下位元信息。本發明包含與2010年3月31日向日本專利局提交的日本優先專利申請JP 2010-084558中公開的主題相關的主題，其全部內容通過參考而合并于此。本領域的技術人員應該理解，各種修改、組合、子組合和替換可以取決于設計需要和其它因素而發生，只要它們處于所附權利要求或者其等效物的范圍內即可。
權利要求
1.一種服務器設備，包括第一存儲器，被配置為存儲通過執行多條第一元信息和多條第二元信息的統計處理而生成的、并且針對每條第二元信息來指明作為所述多條第二元信息的導出源的所述多條第一元信息的頻率的統計信息，所述多條第一元信息從多個用戶所拍攝的圖像數據中提取， 所述多條第二元信息通過分析而從所述多條第一元信息中導出；第二存儲器，被配置為存儲指明要推薦的商品內容和服務內容之一的多條不同的內容 fn息；通信單元，被配置為從所述多個用戶之一的客戶端設備接收在所述客戶端設備中從所述多條第一元信息導出的第二元信息；以及控制器，被配置為基于所接收的第二元信息和所存儲的統計信息，來從所存儲的多條內容信息中選擇與對于所接收的第二元信息、具有預定頻率或更高頻率的第一元信息相關的內容信息，并且控制所述通信單元以向所述客戶端設備傳送所選擇的內容信息。
2.根據權利要求1的服務器設備，其中，所述第二元信息包括指明所述圖像中的人員的人員信息、和指明所述人員的行為細節的行為信息，以及所述控制器被配置為分別比較在包括于統計信息中的第二元信息中包括的第一人員信息和第一行為信息、 和在從客戶端設備傳送的第二元信息中包括的第二人員信息和第二行為信息，以計算指明第一人員信息與第二人員信息之間的類似度的第一類似度、和指明第一行為信息與第二行為信息之間的類似度的第二類似度，通過相加所計算的第一類似度和第二類似度來計算第三類似度，以及選擇與對于如下的第二元信息、具有預定頻率或更高頻率的第一元信息相關的內容信息，所述第二元信息與從所述客戶端設備傳送的第二元信息具有等于或高于預定類似度的第三類似度。
3.根據權利要求2的服務器設備，其中， 所述內容信息是指明用于旅行的商品的信息，所述通信單元被配置為從所述客戶端設備接收所述多條第二元信息， 所述控制器被配置為針對每條第二元信息來選擇與對于所接收的多條第二元信息、具有預定頻率或更高頻率的多條第一元信息相關的并且能夠被設置為旅行中的行程的各條內容信息， 生成通過綜合所選擇的各條內容信息而獲得的綜合內容信息，以及控制所述通信單元向所述客戶端設備傳送所生成的綜合內容信息。
4.根據權利要求3的服務器設備，其中，所接收的多條第二元信息具有指明多條行為信息的相關性的相關性信息，以及所述控制器被配置為基于所述相關性信息來確定被設置為行程的各條內容信息以及其設置的順序。
5.根據權利要求2的服務器設備，其中，所述第二元信息具有指明與行為信息對應的日期的日期信息， 所述控制器被配置為基于在包括于統計信息中的多條第二元信息中包括的行為信息和日期信息來生成轉變概率信息，該轉變概率信息指明在所述行為細節之中從第一行為細節到第二行為細節的轉變概率，以及基于所生成的轉變概率信息，來選擇與如下的行為細節相關的內容信息，所述行為細節的從包括于所接收的第二元信息中的行為信息所指明的行為細節的轉變的概率等于或高于預定概率。
6.一種客戶端設備，包括通信單元，被配置為與服務器設備通信，該服務器設備存儲了指明要被推薦的商品內容和服務內容之一的多條不同的內容信息；存儲器，被配置為存儲用戶所拍攝的圖像數據；控制器，被配置為從所述圖像數據中提取多條第一元信息，通過分析所提取的多條第一元信息來導出第二元信息，并且控制所述通信單元以基于所導出的第二元信息來接收在服務器設備中存儲的多條內容信息之中的與所述第二元信息相關的內容信息；以及輸出單元，被配置為輸出所接收的內容信息。
7.一種內容推薦方法，包括存儲通過執行多條第一元信息和多條第二元信息的統計處理而生成的、并且針對每條第二元信息來指明作為所述多條第二元信息的導出源的所述多條第一元信息的頻率的統計信息，所述多條第一元信息從多個用戶所拍攝的圖像數據中提取，所述多條第二元信息通過分析而從所述多條第一元信息中導出；存儲指明要推薦的商品內容和服務內容之一的多條不同的內容信息； 從所述多個用戶之一的客戶端設備接收在所述客戶端設備中從所述多條第一元信息導出的第二元信息；基于所接收的第二元信息和所存儲的統計信息，來從所存儲的多條內容信息中選擇與對于所接收的第二元信息、具有預定頻率或更高頻率的第一元信息相關的內容信息；以及向所述客戶端設備傳送所選擇的內容信息。
8.一種內容推薦方法，包括 存儲用戶所拍攝的圖像數據；從所述圖像數據中提取多條第一元信息；通過分析所提取的多條第一元信息來導出第二元信息；基于所導出的第二元信息來接收在服務器設備中存儲的多條內容信息之中的與所述第二元信息相關的內容信息；以及輸出所接收的內容信息。
9.一種被配置為促使服務器設備執行如下步驟的程序存儲通過執行多條第一元信息和多條第二元信息的統計處理而生成的、并且針對每條第二元信息來指明作為所述多條第二元信息的導出源的所述多條第一元信息的頻率的統計信息，所述多條第一元信息從多個用戶所拍攝的圖像數據中提取，所述多條第二元信息通過分析而從所述多條第一元信息中導出；存儲指明要推薦的商品內容和服務內容之一的多條不同的內容信息；從所述多個用戶之一的客戶端設備接收在所述客戶端設備中從所述多條第一元信息導出的第二元信息；基于所接收的第二元信息和所存儲的統計信息，來從所存儲的多條內容信息中選擇與對于所接收的第二元信息、具有預定頻率或更高頻率的第一元信息相關的內容信息；以及向所述客戶端設備傳送所選擇的內容信息。
10. 一種被配置為促使客戶端設備執行如下步驟的程序 存儲用戶所拍攝的圖像數據； 從所述圖像數據中提取多條第一元信息； 通過分析所提取的多條第一元信息來導出第二元信息；基于所導出的第二元信息來接收在服務器設備中存儲的多條內容信息之中的與所述第二元信息相關的內容信息；以及輸出所接收的內容信息。
全文摘要
提供了一種服務器設備、客戶端設備、內容推薦方法和程序。該服務器設備包括第一存儲器、第二存儲器、通信單元和控制器。所述第一存儲器被配置為存儲通過執行多條第一元信息和多條第二元信息的統計處理而生成的、并且指明第一元信息的頻率的統計信息。所述第二存儲器被配置為存儲指明要推薦的商品內容和服務內容之一的多條內容信息。所述通信單元被配置為從客戶端設備接收第二元信息。所述控制器被配置為從所存儲的多條內容信息中選擇與對于所接收的第二元信息、具有預定頻率或更高頻率的第一元信息相關的內容信息，并控制所述通信單元以向所述客戶端設備傳送所述內容信息。
文檔編號G06Q30/00GK102208088SQ20111007180
公開日2011年10月5日 申請日期2011年3月24日 優先權日2010年3月31日
發明者坂口竜己, 押領司宏, 江島公志, 鹿島浩司 申請人:索尼公司