游戲系統的制作方法

游戲系統的制作方法
【專利摘要】本實用新型提供一種游戲系統。業務用游戲裝置(1300)具有圖像傳感器模塊(1326)，能夠拍攝至少將位于游戲位置的游戲者包括在拍攝范圍內的裝置前方圖像。并且，能夠判斷裝置前方圖像中照到的游戲者的顧客層，并且能夠識別臉部表情。當游戲者的顧客層相當于事先設定的營銷對象顧客層時，將游戲者的顧客層、臉部表情識別結果(開始游戲前、游戲中、結束游戲時、接受獎品時中的至少兩個定時的識別結果)以及日期時間相對應地添加在采樣調查數據中。
【專利說明】游戲系統

【技術領域】
[0001]本實用新型涉及具備拍攝部的游戲系統。

【背景技術】
[0002]目前，通過將利用攝像機拍攝的游戲者的圖像用于視頻游戲，從而努力使游戲高漲。
[0003]例如，公開有將能夠拍攝游戲者的攝像機設在對戰游戲用的業務用游戲裝置上，作為表示各游戲者位置的圖標利用游戲者的臉部圖像，從而對戰游戲人之間容易識別誰位于哪個位置，由此，使游戲高漲的技術(例如，專利文獻I)。
[0004]并且，還公開有當游戲者操作的角色(游戲者角色)受損時，模擬性地顯示為游戲者的臉部圖像產生裂縫或者變更臉部圖像的顏色以使臉色變差的受損演出的技術(例如，專利文獻2)。
[0005]先行技術文獻
[0006]專利文獻
[0007]專利文獻1:日本特開平11-244531號公報
[0008]專利文獻2:日本特開2000-61145號公報
[0009]希望研發出與上述的利用方式有所不同的游戲者的拍攝圖像的新的利用方式。實用新型內容
[0010]根據本實用新型的一方面，涉及一種游戲系統，其包括:拍攝部，用于拍攝游戲系統前方；顧客層判斷部，其基于所述拍攝部拍攝的拍攝圖像來判斷顧客層；臉部表情識別部，其基于所述拍攝部拍攝的拍攝圖像來識別臉部表情；以及調查數據存儲控制部，用于進行把所述顧客層判斷部的判斷結果和所述臉部表情識別部的識別結果相對應地存儲于存儲部作為采樣調查數據、或者發送到存儲該采樣調查數據的規定的服務器系統進行存儲的存儲控制。
[0011]根據該方面，拍攝游戲系統前方的樣子，根據拍攝的圖像判斷游戲系統前方的人物的顧客層，同時，能夠識別臉部表情。并且，能夠將顧客層的判斷結果和臉部表情的識別結果作為采樣調查數據進行內部積蓄或發送至服務器系統等進行外部積蓄。通過適當地解析所積蓄的采樣調查數據，能夠進行例如判斷各顧客層對游戲的顧客滿意度等各種各樣的營銷調查。
[0012]“顧客層”可以至少包括例如性別及年齡層。
[0013]并且，作為另一方面，還可以構成如下游戲系統，還包括:吸引力模式控制部，其利用所述顧客層判斷部的判斷結果，控制吸引力模式的演出內容；好感反應者檢測部，其基于所述臉部表情識別部的識別結果，檢測所述拍攝圖像中拍攝到對該游戲系統具有興趣的人物；以及吸引力模式數據存儲部，其把關于所述吸引力模式的演出內容的數據與該演出內容的分類信息相對應地存儲，其中，所述吸引力模式控制部具有好感反應者檢測時控制單元，其在所述好感反應者檢測部檢測到了時，從所述吸引力模式存儲部選擇有關分類信息與當前執行中的吸引力模式的演出內容滿足規定的關聯條件的演出內容的數據，按照給予的定時切換演出內容。
[0014]從而，通過判斷所拍攝的人物的顧客層，能夠實現適應于顧客層的吸引力模式的演出內容，并且，根據臉部表情的變化來檢測對游戲系統感興趣的人物、也就是說好感反應者，當檢測到好感反應者時，能夠選擇與當前執行中的演出內容相關聯的其他演出內容。也就是說，通過出示與表示感興趣的內容有關聯性的其他內容從而能夠進一步喚起興趣，更加提聞吸引客戶的效果。能夠進一步提聞吸引客戶效果。
[0015]并且，作為另一方面，還可以構成如下游戲系統，還包括:游戲控制部，利用所述臉部表情識別部的識別結果控制游戲進行和/或游戲演出。
[0016]從而，能夠根據臉部表情的識別結果控制游戲進行和/或游戲演出，通過在游戲的進行或演出的控制中反映游戲者的臉部表情的識別結果，從而，能夠增加目前沒有的新的游戲趣味性。
[0017]并且，作為另一方面的游戲系統，所述臉部表情識別部用于識別開始游戲前、游戲進行中、結束游戲時中的至少任兩個定時中的臉部表情。
[0018]從而，能夠獲得更加適合游戲的滿意度調查的采樣。
[0019]并且，作為另一方面游戲系統，還可以包括:調查對象判斷部，用于判斷所述顧客層判斷部的判斷結果是否符合給予的調查對象條件，當所述調查對象判斷部判斷為符合時，所述調查數據存儲控制部將所述顧客層判斷部的判斷結果和所述臉部表情識別部的識別結果相對應后作為采樣調查數據，執行所述存儲控制。
[0020]從而，能夠對符合希望作為調查對象的顧客層的游戲者的表情識別結果選擇性地進行抽樣。也就是說，能夠獲得更加適合營銷調查的調查數據。
[0021]并且，作為另一方面游戲系統，該游戲系統是是能夠由多個游戲者進行多人游戲的游戲系統，事先規定了各游戲者的游戲位置；所述拍攝部以把位于各所述游戲位置的游戲者包括在拍攝范圍內的方式進行配置；所述顧客層判斷部判斷各游戲者的顧客層；所述調查對象判斷部判斷由所述顧客層判斷部判斷的各游戲者各自的顧客層是否符合所述調查對象條件；當由所述顧客層判斷部判斷的各游戲者的顧客層的任一個符合所述調查對象條件時，所述調查數據存儲控制部把有關該各游戲者的所述顧客層判斷部的判斷結果和所述臉部表情識別部的識別結果相對應后作為多人游戲時調查數據，執行所述存儲控制。
[0022]從而，當進行多人游戲時，能夠將游戲者集中起來作為調查對象，而不是分別處理。因此，能夠獲得獨自游戲中的調查數據和多人游戲中的調查數據。并且，能過獲得在多人游戲中只有一個游戲者符合調查對象條件時的調查數據。根據該調查數據，能夠進行符合調查對象條件的游戲者與哪個顧客層的游戲者一同進行游戲等調查。

【專利附圖】

【附圖說明】
[0023]圖1是示出適用本實用新型的業務用游戲裝置的構成例的外觀立體圖。
[0024]圖2是游戲畫面例子示意圖。
[0025]圖3是用于說明吸引力模式中關于日期時間基準控制的內容的概念圖。
[0026]圖4是用于說明吸引力模式中關于靠近者基準控制的內容的概念圖。
[0027]圖5是用于說明吸引力模式中好感反應者檢測時的控制的內容的概念圖。
[0028]圖6是用于說明游戲模式中觀眾數基準控制的內容的概念圖。
[0029]圖7是用于說明游戲模式中的出現臉部表情基準控制的內容的概念圖。
[0030]圖8是用于說明游戲模式中的規定臉部表情合適與否基準進行控制、特定定時臉部表情基準控制以及臉部表情變化基準控制的內容的概念圖。
[0031]圖9是用于說明使用了臉部表情的識別結果的、營銷用采樣調查數據的收集的控制內容的概念圖。
[0032]圖10是示出業務用游戲裝置的功能構成例的功能框圖。
[0033]圖11是示出游戲控制部的功能構成例的部分功能框圖。
[0034]圖12是示出存儲在存儲部的數據等的構成例的部分功能框圖。
[0035]圖13是顧客層設定數據的數據構成例示意圖。
[0036]圖14是吸引力模式數據的數據構成例示意圖。
[0037]圖15是樂曲庫的數據構成例示意圖。
[0038]圖16是游戲者登錄數據的數據構成例示意圖。
[0039]圖17是表情主題設定數據的數據構成例示意圖。
[0040]圖18是游戲模式演出內容設定數據的數據構成例示意圖。
[0041]圖19是游戲數據的數據構成例示意圖。
[0042]圖20是用于說明主要處理流程的流程圖。
[0043]圖21是用于說明吸引力模式控制處理流程的流程圖。
[0044]圖22是用于說明日期時間條件基準控制處理流程的流程圖。
[0045]圖23是用于說明靠近者基準控制處理流程的流程圖
[0046]圖24是用于說明好感反應者基準控制處理流程的流程圖。
[0047]圖25是用于說明游戲模式控制處理流程的流程圖。
[0048]圖26是用于說明游戲樂曲選擇處理流程的流程圖。
[0049]圖27是用于說明演出變更處理流程的流程圖。
[0050]圖28是用于說明獎品支出處理流程的流程圖。
[0051]圖29是用于說明中途退場處理流程的流程圖。
[0052]圖30是示出適用本實用新型的游戲系統的構成例的系統構成圖。

【具體實施方式】
[0053]下面，對適用本實用新型的實施方式進行說明。另外，下面說明的實施方式并不是用于限定權利要求書中記載的本實用新型的內容。并且，在本實施方式中說明的所有構成并不是本實用新型的必須的構成要素。
[0054]〔第一實施方式〕
[0055]作為第一實施方式，以執行音樂游戲的業務用游戲裝置為例進行說明。另外，可適用本實用新型的游戲種類并不限定于音樂游戲，不管是何種類型均可適用。并且，在本實施方式中，以在業務用游戲裝置中通過執行專用游戲程序從而實現視頻游戲的構成為例進行說明，但是，還可以通過網頁瀏覽器程序或腳本控制等實現，以此代替專用游戲程序的執行。也就是說，還可以通過因特網等通信線路，取得游戲所需的信息，在瀏覽器上實現互動式顯示、即作為所謂的通過瀏覽器游戲實現視頻游戲。
[0056][業務用游戲裝置的構成]
[0057]圖1是示出作為適用本實用新型的游戲系統(計算機系統)的業務用游戲裝置1300的構成例的外觀立體圖。業務用游戲裝置1300在向游戲裝置主體1301的前方突出設置的操作臺1304具有游戲者進行各種操作輸入的模仿打擊樂器的操作輸入裝置1306。
[0058]本實施方式的操作輸入裝置1306具有模仿日本大鼓的外形,各地方內置有壓力傳感器或振動傳感器。游戲者2拿著專用的操作棒1308按照敲打日本大鼓的要領敲打操作輸入裝置1306，則從被敲打位置的傳感器向控制單元1350輸出操作輸入信號。在本實施方式中，具有兩個操作輸入裝置1306，以使多個游戲者能夠同時進行游戲，但是，可以適當地設定該數量。
[0059]并且，游戲裝置主體1301的上部具有通過顯示游戲圖像的平板顯示器或CRT等實現的影像監測器1322、用于播放游戲響聲或效果響聲的揚聲器1324、圖像傳感器模塊1326以及距離傳感器1328。
[0060]圖像傳感器模塊1326是用于拍攝裝置前方樣子的裝置(拍攝部)，其拍攝角度或拍攝方向設定為在游戲者位于游戲用位置(所謂的游戲位置)的狀態下，至少游戲者的頭部，優選為胸部以上被照在其拍攝范圍內的方式。通過控制單元1350控制圖像傳感器模塊1326進行的拍攝，并向控制單元1350輸出所拍攝的圖像數據。另外，在本實施方式中的圖像傳感器模塊1326僅裝載了一臺，但是，還可以裝載多個。例如，還可以配置將各游戲位置作為拍攝對象的圖像傳感器模塊。
[0061]距離傳感器1328照射紅外線或超聲波，同時檢測反射波，并向控制單元1350輸出檢測信號。控制單元1350對來自距離傳感器1328的檢測信號進行計算處理，從而，能夠算出與位于裝置前方的物體(例如游戲者或在游戲者的后方觀看的觀眾等)之間的距離。另夕卜，可適當利用公知技術來構成距離傳感器1328以及根據檢測信號計算距離。
[0062]并且，在游戲裝置主體1301的下部以及內部具有讀出來自可攜帶的卡片型存儲介質、即IC卡1332的數據或寫入數據的IC卡讀寫器1330、硬幣投入裝置1340、獎品支出裝置1342、控制單元1350以及未圖示的電源裝置。
[0063]IC卡讀寫器1330兼具發行IC卡1332的發行機器的功能，在開始游戲之前或者結束游戲之后，通過規定的手續，進行游戲者登錄，從而，發行IC卡1332。IC卡讀寫器1330中插入IC卡1332之后開始游戲，則能夠利用與存儲在IC卡1332的ID關聯的信息(例如，過去的游戲履歷等信息)。另外，在本實施方式中，由業務用游戲裝置1300發行IC卡1332并且管理登錄信息，但是，還可以與公知的在線多人游戲相同地，準備其他專用的登錄裝置和卡片發行裝置，或者利用外部的服務器裝置管理登錄信息。
[0064]由控制單兀 1350 構成具有 CPU (Central Processing Unit) 1351 或GPU (Graphics Processing Unit)以及 DSP (Digital Signal Processor)等各種微處理器、ASIC (Applicat1n Specific Integrated Circuit)、IC 存儲器 1352 等電氣電子設備的所謂的計算機基板、控制基板。并且，控制單元1350具有通信裝置1353，通過有線或無線與因特網或LAN(Local Area Network)、WAN(WideAreaNetwork)等通信線路I連接，能夠與外部裝置進行數據通信。
[0065]并且，控制單元1350從所裝載的IC存儲器1352或硬盤等存儲介質讀出系統程序或游戲程序并進行計算處理，控制業務用游戲裝置1300的各部分。
[0066]并且，本實施方式的控制單元1350中裝載臉部識別芯片1356。
[0067]通過公知的集成電路來實現臉部識別芯片1356，該集成電路可實現用于識別圖像傳感器模塊1326所拍攝的圖像中照到的人物的臉部表情的各種功能。
[0068]通過臉部識別芯片1356能夠從圖像傳感器模塊1326所拍攝的拍攝圖像識別并識別、提取照到人的部分(人物圖像部分)，并且，從中識別并提取照到臉部的部分(臉部圖像部分)。并且，能夠獲得使用臉部圖像進行個人認證或識別臉部表情所需的“臉部特征值(例如，眼睛、眉毛、鼻、口、臉部的輪廓等臉部各部位的大小、角度、比率、相對位置等數值)”。并且，根據臉部特征值能夠獲得年齡、性別、臉部表情識別結果等數據。
[0069]一旦接通業務用游戲裝置1300的電源，則控制單元1350讀出并執行游戲程序，從而業務用游戲裝置1300起到實現本實用新型的游戲裝置的功能。
[0070]直到硬幣投入裝置1340檢測到投入了規定的硬幣之前，業務用游戲裝置1300被控制在用于勸誘游戲者的吸引力模式(待客模式的意思)。在吸引力模式中，為過路人顯示用于解說游戲概要或游戲姿勢的畫面或自動播放等各種各樣的演出，向過路人呼吁游戲。并且，在硬幣投入裝置1340檢測到規定的硬幣投入，則業務用游戲裝置1300從吸引力模式進行切換，開始游戲執行模式下的控制，執行音樂游戲。
[0071]隨著執行音樂游戲而生成的游戲畫面顯示在影像監測器1322，所生成的游戲響聲通過揚聲器1324播放。游戲者一邊觀看影像監測器1322放映的游戲畫面，一邊聽著從揚聲器1324播放的游戲響聲，同時參加游戲。
[0072]圖2是本實施方式中的游戲畫面例子示意圖，相當于一人游戲狀態的游戲畫面布局。另外，當多個游戲者同時參加游戲時，上下或者左右分割游戲畫面，為各游戲者并列表示多個游戲畫面。
[0073]游戲畫面W2的上部顯示定時向導40。在定時向導40中，從畫面的右側向左側依次顯示定時標志42、44。定時標志42、44分別與該音樂游戲中的輸入種類相關聯。定時向導40的左側固定顯示有最佳定時顯示體46。當重放游戲的樂曲的同時依次顯示的定時標志42、44與最佳定時顯示體46重疊時，如果進行與該標志相關聯的正確的種類輸入，則累計得分。即、定時標志42、44與最佳定時顯示體46重疊的定時設定為與BGM的節奏或拍子對應的定時。另外，對于定時向導40的顯示控制以及所需要的數據構成，可通過適當挪用公知的音樂游戲技術來實現，因此，省略詳細說明。
[0074]另一方面，游戲畫面W2的下部設有演出顯示部47。在該顯示部中顯示用于使游戲高漲的各種演出。在圖中所示的例子中，兔子的角色48(48a、48b、……)從畫面的一端登場，示出了斷斷續續地按照曲子揮動絨球跳舞的演出。
[0075]并且，本實施方式的業務用游戲裝置1300在結束一曲游戲的時刻的得分達到規定的獎品支出抽選啟動基準值時，在控制單元1350通過計算處理而執行抽選，如果在該抽選中當選，則獎品支出裝置1342排出獎品，能夠贊揚游戲者。另外，可以適當省略獎品支出裝置1342及其進行的獎品支出抽選。
[0076][關于臉部識別的利用]
[0077]接著，對本實施方式的業務用游戲裝置1300中的臉部識別的利用進行說明。在業務用游戲裝置1300中，將圖像傳感器模塊1326拍攝的圖像通過臉部識別芯片1356進行處理，從而，求出位于裝置前方的人物的臉部特征值，能夠識別臉部表情。于是，本實施方式的業務用游戲裝置1300將臉部特征值或臉部表情的識別結果用于游戲控制，在吸引力模式的控制中進一步提高勸誘性，在游戲模式的控制中實現新式游戲體驗。
[0078][1、吸引力模式的控制中的臉部識別的利用]
[0079]圖3至圖5是用于說明使用臉部特征值或臉部表情的識別結果的吸引力模式的控制內容的圖。
[0080]首先，如圖3所示，本實施方式的業務用游戲裝置1300能夠進行在吸引力模式的控制中針對主要顧客層最優化控制內容的“日期時間基準控制”。通過“日期時間基準控制”，業務用游戲裝置1300在以吸引力模式進行控制的期間，利用圖像傳感器模塊1326周期性的拍攝裝置前方的過路人，根據拍攝的圖像內的人物的臉部特征判斷該畫面內的人物的性別或年齡等，并基于該結果判斷該人物的顧客層。并且，能夠以向設有業務用游戲裝置1300的環境中的主要顧客層的呼吁度較高的內容進行吸引力模式的控制。
[0081]更加具體地，例如，假設通過圖像傳感器模塊1326在時刻t = 1、2、3、……分別拍攝到裝置前方Gl?G3。臉部識別芯片1356提取這些各裝置前方圖像Gl?G3中的照到臉部的部分、即臉部圖像，并且根據提取的臉部圖像計算臉部特征值。另外，在圖中，用虛線圈住了照到臉部的部分，以便容易識別。
[0082]如眾所周知，臉部特征值顯示出性別或年齡的趨勢，因此，根據這些判定性別或年齡。在本實施方式中也相同地求出性別或年齡，與規定的基準值比較核對，從而，判斷照在裝置前方圖像Gl?G3的人物的顧客層(嚴格地是“推定”)。
[0083]可以任意設定顧客層。例如，能夠分為小于10歲、10多歲、…、60多歲、60歲以上等八個階段，并且分別分為男女性別，設定合計16個顧客層。并且，將根據臉部特征的顧客層判斷結果按照能夠以規定的星期幾、時間段、特定期間(例如，暑假、新年休假、圣誕日期間等)等的參數組合進行定義的日期時間條件進行統計處理。即、按照日期時間條件統計出來客的顧客層，制作來客顧客層數據庫。在圖3的例子中示出了在“星期日”、“上午”的日期時間條件中是相當于從左數的第三個的顧客層的過路人較多。
[0084]并且，業務用游戲裝置1300基于適合當前日期時間的日期時間條件來客顧客層的統計結果，控制吸引力模式的演出內容。
[0085]具體地，在本實施方式中，由于執行音樂游戲，所以從適合當前日期時間條件中的對應于主要顧客層的“各顧客層推薦樂曲目錄”選擇吸引力模式中的演出因素之一的自動播放曲子。“各顧客層推薦樂曲目錄”事先存儲在控制單元1350的IC存儲器1352或硬盤等存儲介質，通過通信線路I定期從外部裝置提供。該目錄中包括受到對應的顧客層的歡迎的曲子且用于自動播放的多個曲子的信息。另外，日期時間條件可以只是時刻(時間段)的條件，還可以只是星期幾的條件。還可以是其組合。
[0086]通過從對應于主要顧客層的各顧客層推薦樂曲目錄中選擇自動播放的曲子，從而在配置該業務用游戲裝置1300的地點，在各時間的日期時間條件下非常有效地進行呼吁。另外，在圖中示出了“主要顧客層”為一個的例子，但是，可以選擇多個。
[0087]接著，如圖4所示，本實施方式的業務用游戲裝置1300能夠執行在吸引力模式的控制中針對更加靠近的人最優化控制內容的“靠近者基準控制”。通過“靠近者基準控制”，業務用游戲裝置1300向靠近裝置在一定程度以上的人進一步最優化內容，從而能夠有效地呼吁。
[0088]并且，與靠近者基準控制關聯地，業務用游戲裝置1300具有基于圖像傳感器模塊1326拍攝的拍攝圖像為基礎的臉部識別結果檢測拍攝圖像中照到登錄游戲者(進行用戶登錄的人物)的“登錄游戲者檢測功能”，能夠執行基于檢測的登錄游戲者的個人信息，將吸引力模式的控制內容針對該檢測到的登錄游戲者進一步最優化的“登錄游戲者優先控制”。
[0089]具體地，當從在時刻t = 4拍攝的裝置前方圖像G4提取的臉部圖像(圖4的裝置前方圖像G4中，用虛線圈住的范圍)的大小與畫面大小相比越過靠近判斷基準比時，或者根據距離傳感器1328的檢測信號獲得的到過路人的距離達到規定的靠近判斷基準距離時，判斷為裝置前方圖像G4中照到的人物是優選作為呼吁對象的人物。并且，根據靠近的人物的臉部特征值判斷顧客層，從各顧客層推薦樂曲目錄選擇對應于判斷的顧客層的曲子。也就是說，能夠向靠近裝置的人物進行最合適的呼吁。
[0090]并且，當靠近裝置的人物是多人時，能夠進行基于規定的顧客層優先順序選擇作為決定靠近者基準控制對象、即、吸引力模式的演出內容的基準的人物的“優先顧客層人物選擇”。具體地，當檢測到多個靠近裝置的人物時，根據臉部特征值判斷各自的顧客層，基于事先設定的優先順序從中選擇優先級高的顧客層，向成為優先級高的顧客層的人物優先顧客層人物)進行最優化呼吁。
[0091]更加具體地，在設定的各顧客層中，按照游戲裝置的創作人假定作為目標的程度高的順序設有優先順序。在圖4的例子中，根據裝置前方圖像G4中照到的兩個人的臉部特征值，對于左側人物獲得了 “20多歲女性”的結果，對于右側人物獲得了 “20多歲男性”的結果。另一方面，關于顧客層的優先順序設定，由于判斷為前者是高級，所以向判斷為“20多歲女性”的人物進行最合適的呼吁。另外，能夠適當設定不同顧客層的優先順序，但是，在本實施方式中，關于年齡，將低年齡設為高級，性別中女性設為比男性高級。
[0092]并且，為照在裝置前方圖像G4中的每個人物求出臉部特征值，與通過游戲者登錄已經獲得的個人臉部特征值對照查對，從而能夠判斷該人物是不是已經登錄的人物。如果在時刻t = 4拍攝的裝置前方圖像G4中所照到的人物是登錄游戲者(圖中，左側的女性符合該條件)，則從與游戲者登錄數據關聯的過去的游戲履歷信息等中獲得該人物愛好的類另帽息，從屬于該類別的曲子中選擇以吸引力模式自動播放的曲子。也就是說，如果登錄游戲者靠近，則能夠進行容易引起該人物興趣的呼吁。
[0093]由于登錄游戲者是對該游戲曾經具有一次興趣的人物，所以可期待較高的勸誘效果。因此，當靠近的人物是多人時，基于顧客層選擇優先顧客層人物，對照優先顧客層人物是否為登錄游戲者，如果是登錄游戲者，基于相關的登錄信息，切換到吸引力模式的演出內容，則更加有效。還可以當靠近的人物是多人且包括登錄游戲者時，在未登錄的游戲者之間比較各自的顧客層并選擇優先顧客層人物之前，進行控制從而基于登錄游戲者的登錄信息，切換到吸引力模式的演出內容。
[0094]并且，在吸引力模式的控制，本實施方式的業務用游戲裝置1300還可以將控制內容為多個人物的顧客層組合最優化的“不同顧客層組合控制”。在本實施方式中，當靠近的人物為多人時，根據其顧客層的組合，選擇事先為各顧客層組合準備的演出顯示的圖案數據，基于所選擇的數據，通過控制來切換游戲畫面的演出顯示部47的顯示內容。
[0095]可適當設定顧客層組合的種類以及針對該組合的演出模式。在圖4所示的例子中，根據第一顧客層“20多歲女性”和第二顧客層“20多歲男性”的組合，可選擇針對年輕的戀人的演出顯示內容，但并不限定于此。對于第一顧客層“60多歲女性”和第二顧客層“60多歲男性”的組合，優選準備針對年長夫婦的演出顯示內容(由穩重的色彩、舒適的動作等構成的內容等)。并且，第一顧客層為“小于10歲的男性”或“小于10歲的女性”，第二顧客層為20歲以上的男性或女性、即相當于監護人，則看成“父母與子女同伴”，因此優選選擇適合兒女的情操教育的演出顯示內容。
[0096]接著，如圖5所示，本實施方式的業務用游戲裝置1300在吸引力模式的控制中，還可以進行將控制內容為對游戲系統具有興趣的人物最優化的“好感反應者檢測時間控制”。通過進行好感反應者檢測時間控制，比較拍攝裝置前方圖像G4的定時(t = 4)和下一個拍攝定時(t = 5)中的相同人物的臉部表情，當檢測到好意的臉部表情變化時,看作該人物“具有興趣”，將控制內容為該人物進一步最優化，從而能夠提高呼吁度。
[0097]具體地，關于裝置前方圖像G4中照到的兩名人物的每一個，依次進行臉部表情識別處理。在第一定時(t = 4)，作為吸引力模式的演出，關于左側的人物進行登錄游戲者的對照，從愛好的類別中選擇曲子或者從對應于顧客層識別結果的各顧客層推薦樂曲目錄選擇曲子，進行自動播放(圖4中也相同)。在第二定時(t = 5)，檢測到左側的人物在下一個拍攝定時(t = 5)臉部表情向好意方向變化或者為好意的表情，從而看作是“具有興趣”。于是，將當前執行的自動播放的曲子返回原來狀態，推測該人物喜歡的曲子并作為自動播放的下一個曲子。
[0098]作為選擇下一個曲子的方法，基于事先與各曲子對應的關聯信息進行選擇。例如，可以從與當前執行中的自動播放的曲子相同類別的新曲選擇，或者從相同藝術家(歌手等)的曲子中選擇，或者選擇類似拍子的曲子，當自動播放中的曲子與其他介質(例如，電視節目、游戲、電影等)的特定標題相關聯時(例如，用作主題曲或插曲時)，從與相同的特定標題相關聯的其他曲子中選擇。
[0099]因此，進一步向對游戲系統具有興趣的人物進行呼吁，能夠進一步勸誘游戲。
[0100][2、游戲模式控制中的臉部識別的利用]
[0101]圖6至圖8是用于說明使用臉部識別游戲模式的控制內容的圖。
[0102]如圖6所示，本實施方式的業務用游戲裝置1300在游戲模式的控制中，從通過圖像傳感器模塊1326拍攝的拍攝圖像、即裝置前方圖像G6分別提取照到游戲者2的臉部的部分(游戲者的臉部圖像)和照到觀眾4的臉部的部分(觀眾的臉部圖像)，能夠進行對應于觀眾4的數量的游戲進行控制。即、業務用游戲裝置1300具有判斷裝置前方圖像G6所包括的游戲者之外的人物數量的“觀眾數量判斷功能”，能夠執行利用觀眾數量判斷結果控制游戲演出的“觀眾數基準控制”。
[0103]具體地，關于“觀眾數量判斷功能”，通過比較從裝置前方圖像G6提取的照到臉部的部分(臉部圖像)的臉部特征值和游戲者登錄時取得的身分鑒別用的臉部特征值，從而能夠判斷是否為游戲者2的臉部圖像，因此能夠區分游戲者和觀眾4。
[0104]并且，當無法識別為登錄游戲者時(例如游戲者2第一次游戲該游戲，在結束游戲后進行游戲者登錄的情況)，將從裝置前方圖像G6提出的臉部圖像中滿足下面的條件(I)和條件(2)的為游戲者2的臉部圖像。
[0105]條件(I):假定觀眾4位于游戲者2的背后，相對于裝置前方圖像G6整體畫面面積AO的、所提取的臉部圖像的面積Al的比率達到規定的游戲者臉部判斷比率。
[0106]條件(2):基于假定游戲者2站在規定的游戲位置，裝置前方圖像G6內的所提取的臉部部分存在于規定的游戲者臉部防守位置預測范圍6內。
[0107]另外，作為可代替這些條件(I)以及條件(2)的條件或者可添加的條件，可添加條件(3)，使用距離傳感器1328測量的所提取的各臉部部分的距離測量值小于規定的游戲者臉部判斷距離。
[0108]并且，本實施方式的業務用游戲裝置1300利用能夠從裝置前方圖像G6區分游戲者2和觀眾4的功能，可變更游戲畫面內的演出顯示。具體地，在游戲畫面的演出顯示部47(圖2參照)事先準備用于演出顯示的“標準演出”和特別的“多觀眾用演出”的設定數據。并且，開始游戲的同時在游戲畫面的演出顯示部47開始顯示標準演出，如果游戲進行中判定的觀眾4的數量達到特別演出的啟動開始基準值，則追加執行多觀眾用演出，從而使游戲更加高漲。
[0109]另外，可以適當設定“多觀眾用演出”的種類及其啟動開始基準值。并且，說明了根據基于臉部識別的結果判定的觀眾數來變更演出顯示的內容的構成，但是，還可以以根據觀眾數來控制游戲進行的方式代替或者并行。例如，當觀眾數達到規定的優惠賦予基準值時，可以賦予游戲者可有利地推進游戲的條款，或者在游戲完一樂曲之后可游戲一個小型游戲(例如，能夠以廣告版游戲與電視廣告聯合的曲子，或者完全不同的游戲類別的射擊游戲等)。
[0110]并且，如果是射擊游戲，還可以構成為根據觀眾4的數量選擇頭目的種類或移動舞臺的種類。如果是動作游戲，可以構成為根據觀眾4的數量選擇攻擊等技術的效果種類。無論是哪種，選擇觀眾4數量越多游戲越高漲的選擇項即可。
[0111]接著，如圖7所示，本實施方式的業務用游戲裝置1300在游戲模式的控制中，可以進行“出現臉部表情基準控制”，其在游戲進行中利用滿足給予的出現頻率條件的游戲者的臉部表情(稱為“優勢表情”)控制游戲演出。
[0112]具體地，業務用游戲裝置1300根據游戲執行中的游戲者2的臉部特征值進行臉部表情的識別處理，能夠獲得臉部表情的各種類的統計(不同臉部表情統計)。可適當設定統計的臉部表情的種類。另一方面，與統計處理的臉部表情種類相對應地事先準備了特別演出數據。并且，根據進行不同臉部表情統計處理的結果，判斷滿足給予的出現頻率條件的出現頻率較高的臉部表情(優勢臉部表情)，執行對應于判斷的優勢臉部表情的特別演出數據。在圖7的例子中，在開始游戲的同時在游戲畫面的演出顯示部47(參照圖2)顯示標準演出。并且，在從開始游戲起經過充分的時間的時刻判斷優勢臉部表情。選擇與該優勢臉部表情對應的特別演出(圖中的“喜悅用特別演出”、“發呆用特別演出”、“不開心用特別演出”等)，以追加在標準演出中的方式執行。
[0113]可以適當設定特別演出的內容，可優選地設定為使游戲者的游戲體驗更加快樂更加喜悅的內容。例如，如果是“喜悅用特別演出”，則可以設定為在兔子角色48(參照圖2)的背后花瓣飄落的演出內容，以增加快樂度。如果是“發呆用特別演出”，則可以設定使如游戲者那樣進行敲打大鼓的動作的輔助角色登場，使游戲者具有安全感的演出內容，如果是“不開心用特別演出”，則可以設定為使用色彩學上可恢復穩定心態的顏色設計的輔助角色登場的演出內容等。
[0114]通過根據基于游戲者的臉部表情推測的心情狀態來選擇并執行這樣的特別演出，從而，通過游戲執行改善游戲者的心情狀態，幫助渡過更加愉快的時間。
[0115]另外，本實施方式執行音樂游戲，因此，利用優勢表情來控制游戲演出，但是，還可以控制游戲進行以此代替游戲演出的控制，或者兩者并行。例如，如果是舞臺連續的游戲(射擊等)，則可以按照規定的舞臺切換定時，參照從開始游戲進行統計處理的結果，并根據優勢表情的種類切換下一個舞臺。或者，還可以構成為如果被規定的表情達到規定的出現頻率，則賦予條款或獎勵得分等優惠。
[0116]接著，如圖8所示，本實施方式的業務用游戲裝置1300可以執行向游戲者出示規定臉部表情，并根據規定臉部表情是否與臉部表情識別處理的識別結果合適來控制游戲進行的“規定臉部表情是否合適基準進行控制”。也就是說，能夠將游戲者的臉部表情加在游戲規則的因素。
[0117]并且，與此相關聯地，業務用游戲裝置1300還可以執行利用根據游戲進行規定的給予的定時的游戲者臉部表情控制游戲模式的“特定定時臉部表情基準控制”和、利用第一定時的游戲者的臉部表情和該第一定時之后的第二定時的游戲者的臉部表情差異控制游戲模式的“臉部表情變化基準控制”。
[0118]具體地，業務用游戲裝置1300在游戲樂曲高漲的部分(通常被稱為“高潮”的部分相當于該部分)，對游戲者的臉部表情設定要求。在本實施方式中將其稱為“臉部表情主題”，將要求的臉部表情稱為“規定臉部表情”。并且，根據游戲樂曲高漲部分的臉部表情的識別結果變更游戲演出內容，并且，可變地控制游戲進行。作為游戲進行控制，當以要求的臉部表情游戲時，賦予優惠。
[0119]更加具體地，業務用游戲裝置1300持續進行從開始游戲起的游戲者2的臉部表情識別，留下臉部表情的識別結果的履歷，另一方面，向游戲者顯示“臉部表情主題”(=顯示要求)，以使游戲者用“笑臉”游戲曲子的高漲部分。并且，在正在游戲著游戲樂曲高漲部分時執行的臉部表情的識別結果，如果滿足下面的條件(3)和條件(4)，則判斷通關(成功)“臉部表情主題”。
[0120]條件(3):在曲子高漲部分(特定定時)檢測到一定時間(或者一定次數)以上的臉部表情的種類是“笑臉”。
[0121]條件(4):比較開始游戲時刻(第一定時)的第一臉部表情和曲子高漲部分(第二定時)的第二臉部表情，變得更加“笑臉”。
[0122]在這里，如果判斷為通關(成功)或失敗“演出表示主題”，執行成功時專用的或失敗時專用的演出顯示。并且，前者的情況下還賦予優惠。目前還沒有這樣的將游戲者的臉部表情作為因素的游戲規則，能夠提供新的游戲體驗。
[0123]另外，還可以根據上述條件(3)以及條件⑷中的任一判斷是否通關“臉部表情主題”。并且，還可以構成為當通關了“臉部表情主題”時，執行演出顯示或賦予優惠中的任意一個。并且，可以適當設定所賦予的優惠。例如，還可以賦予獎勵得分，或者賦予條款，可以根據游戲內容適當設定進入下一個舞臺的權利、獎品抽選權等。
[0124][3、營銷中的臉部識別的利用]
[0125]圖9是用于說明使用臉部表情的識別結果收集營銷用采樣調查數據的控制內容的圖。
[0126]本實施方式的業務用游戲裝置1300利用拍攝游戲者的姿態并能夠識別該臉部表情的功能，能夠收集用于推測對游戲的游戲者的滿意程度的采樣調查數據。即、能夠收集關于營銷的信息。
[0127]具體地，從裝置前方圖像G9提取照到游戲者2(2a、2b)的臉部的部分(臉部圖像)，并求出各自的臉部特征值。根據臉部特征值判斷用于定義性別或年齡等顧客層的參數值，判斷各游戲者的顧客層。
[0128]另一方面，事先準備用于規定營銷對象顧客層的數據，以便作參考。并且，當所判斷的游戲者的顧客層符合營銷對象顧客層時，符合的游戲者的臉部表情識別結果(或基于識別結果的滿意度等數值等)與顧客層的判斷結果相對應后作為采樣調查數據進行積蓄。
[0129]在圖9的例子，判斷為裝置前方圖像G9左側游戲者2(2a)的顧客層是“20多歲女性”，右側的游戲者(b)的顧客層是“60多歲男性”，從而被判斷為前者符合營銷對象顧客層，后者不符合。因此，在游戲過程中、結束游戲之后、排出獎品之后等希望調查的定時的左側游戲者2 (2a)的臉部表情識別結果與顧客層判斷結果相對應后作為采樣調查數據進行添加。
[0130]從開始游戲起到結束游戲之后的一會兒的期間依次執行臉部表情的識別，并保存識別結果的履歷。加在采樣調查數據中的臉部表情識別結果包括開始游戲時、游戲進行過程中、結束游戲時、排出獎品時等特定的定時的結果中的至少一個定時的結果。在本實施方式中，必須收集開始游戲時和結束游戲時的至少2個定時的結果，以便能夠推測游戲者對于游戲的期待和實際游戲之后的滿足度。
[0131]另外，當進行多人游戲時，一同游戲的游戲者中的任意一人符合營銷對象顧客層時，即使其他的游戲者不符合營銷對象顧客層，也將所有游戲者的顧客層和臉部表情識別結果匯總后加在采樣調查數據。這時，采樣調查數據還可以表示多人游戲時的調查數據。
[0132][功能模塊的說明]
[0133]其次，說明功能構成。
[0134]圖10是示出本實施方式中的業務用游戲裝置1300的功能構成例子的功能框圖。如圖10所示，本實施方式的業務用游戲裝置1300具有操作輸入部100、拍攝部102、IC卡讀取部104、等價支付檢測部106、距離測量部108、處理部200、聲音輸出部350、圖像顯示部360、通信部370、獎品支出部400以及存儲部500。
[0135]操作輸入部100根據游戲者進行的各種操作輸入向處理部200輸出操作輸入信號。例如，可以通過按鈕開關或操縱桿、觸摸板、光標等游戲者直接用手指操作的元件實現，還可以通過加速傳感器或角速度傳感器、傾斜傳感器地磁傳感器等檢測運動或姿勢的元件實現。本實施方式的業務用游戲裝置1300執行音樂游戲，所以如圖1的操作輸入裝置1306所示，具有樂器形狀，但是能夠根據游戲內容適當設定。例如，當執行持槍射擊游戲時，可以設置槍形狀的控制器。
[0136]拍攝部102由圖像傳感器或其驅動電路、存儲圖像數據的存儲介質(IC存儲器等)實現，拍攝包括游戲者(尤其的其臉面)的裝置前方，能夠向處理部200輸出拍攝的圖像數據。在圖1，圖像傳感器模塊1326相當于拍攝部102。
[0137]IC卡讀取部104能夠從IC卡讀出信息，并且，根據處理部200的控制寫入信息。圖1的IC卡讀寫器1330相當于IC讀取部104另外，在本實施方式中，IC卡讀取部104具有發行IC卡1332的功能。并且，在使用對應于非接觸式IC卡技術的手表或手機、便攜式游戲裝置、移動信息終端裝置等的構成中，以對應于非接觸式IC卡技術的接收裝置實現IC卡讀取部104，以此代替IC卡1332。
[0138]等價支付檢測部106進行有關游戲執行的等價支付的檢測或發送并接收信息。例如，圖1的硬幣投入裝置1340相當于等價支付檢測部106另外，還可以以對應于IC卡技術的接收裝置構成，接受存儲在對應于IC卡技術的手表或手機、便攜式游戲裝置、移動信息終端裝置等的電子錢的支付。另外，還可以由公知的信用卡讀取裝置構成。
[0139]距離測量部108針對每一個人物測量到裝置前方的人物的距離，并向處理部200輸出測量值信號。例如，在圖1中的距離傳感器1328相當于該距離測量部108可適當應用公知技術測量距離。例如，照射超聲波后測量到起反射為止的時間，或者照射紅外線后根據其反射光的強度計算距離。或者，如果用左右兩臺的圖像傳感器構成拍攝部102，則可以利用立體聲拍攝原理算出距離。
[0140]處理部200例如由CPU或GPU等微處理器或ASIC、IC存儲器等電子部件實現，用于對包括操作輸入部100或存儲部500在內的裝置的各功能部之間的數據的輸入輸出進行控制。并且，基于規定的程序或數據、來自操作輸入部100的操作輸入信號等，執行各種計算處理，控制業務用游戲裝置1300的動作。圖1中控制單元1350相當于該處理部200
[0141]并且，處理部200具有游戲控制部202、聲音生成部250、圖像生成部260、通信控制部270以及排出控制部280。
[0142]圖11示出本實施方式中的游戲控制部202的功能構成例的框圖。游戲控制部202按照游戲者的操作輸入執行用于實現電子游戲的各種控制。
[0143]例如，在本實施方式中，由于執行音樂游戲，所以進行與再生游戲者選擇的曲子配合的游戲畫面的顯示處理、利用系統時鐘信號等對曲子的再生時間等進行計時的處理、根據輸入操作評價輸入定時從而計算得分的處理、當結束一樂曲的游戲后的得分達到規定的獎品支出動用基準值時通過計算處理進行抽選的處理等。
[0144]根據游戲內容的不同可適當執行各種處理，例如，在假想的三維空間內配置各種各種背景物體形成游戲空間，配置游戲者角色或NPC(非游戲者角色)的物體的處理或、根據來自操作輸入部100的操作輸入控制游戲者角色的動作或者對NPC進行所謂的Al控制的處理、判斷物體暢銷的處理、自動控制拍攝游戲者角色的樣子的虛擬照相機的位置和姿勢等拍攝參數的3處理、等。
[0145]并且，如果游戲進行中需要，則可以執行從外部裝置接收到的信息的解碼、紋理的展開、暢銷判斷、標志設定等。
[0146]而且，本實施方式的游戲控制部202包括臉部表情識別部204、游戲者/觀眾識別部205、顧客層判斷部206、登錄游戲者檢測部208、吸引力模式控制部210、游戲模式控制部
220、調查對象判斷部246、調查數據存儲控制部248以及游戲者登錄管理部249。
[0147]臉部表情識別部204可執行:
[0148](I)從由拍攝部102拍攝的拍攝圖像(參照圖3的裝置前方圖像Gl等)識別照到人物的部分(人物圖像)的處理、
[0149](2)從拍攝圖像識別照到人物的臉部的部分(臉部圖像)的處理、
[0150](3)從臉部圖像求出臉部特征值的處理、
[0151](4)基于臉部特征值判斷人物的年齡和性別的處理、
[0152](5)基于臉部特征值識別臉部表情的處理、
[0153](6)將臉部表情識別的結果和時刻數據一同按照時間順序存儲于存儲部500的處理、
[0154](7)基于臉部表情識別結果的時序數據，統計游戲中的臉部表情的出現率等的處理。
[0155]另外，可通過公知的臉部識別技術、臉部表情識別技術及其外圍技術實現上述處理以及通過這些處理實現的功能。本實施方式中，由臉部識別片1356(參照圖1)利用專用的硬件來實現了這些功能，但是，還可以由CPU1351執行公知的臉部識別程序或臉部表情識別程序來實現。或者，通過通信線路I向外部裝置發送由拍攝部102拍攝的圖像，從該外部裝置獲得臉部特征值或臉部表情的識別結果。并且，對于臉部表情的識別結果，本實施方式中，針對喜悅、發呆、不高興等規定的心情種類，計算出每種心情的程度，但是，還可以利用其它方式的公知技術。
[0156]游戲者/觀眾識別部205從照在拍攝部102拍攝的裝置前方圖像的人物中檢測位于游戲位置的人物、即、游戲者(或者成為游戲者候補的靠近游戲裝置的人物)，從而實現識別為觀眾的人物所在檢測功能。可通過將照在裝置前方圖像的臉部圖像的在畫面整體中的配置位置或面積比等與規定的基準值進行比較或者距離測量部108測量的各臉部圖像的測量結果實現上述人物所在檢測功能(參照圖6)。并且，該識別部暫時登錄相當于游戲者的人物的臉部特征值，從而之后可以從裝置前方圖像的臉部圖像識別出游戲者(或者成為游戲者候補的靠近游戲裝置的人物)的臉部圖像。
[0157]顧客層判斷部206針對拍攝部102拍攝的裝置前方圖像中照到的各人物，根據其臉部特征值判斷年齡或性別等，與規定的顧客層定義數據對照，判斷該人物的顧客層。
[0158]登錄游戲者檢測部208將可基于臉部表情識別部204的識別結果進行認證的特征數據與為每個登錄游戲者存儲的游戲者登錄數據進行對照，從而檢測拍攝部102拍攝的拍攝圖像中照到登錄游戲者。
[0159]吸引力模式控制部210對等待顧客狀態、即所謂的吸引力模式中的業務用游戲裝置1300的動作進行控制。例如，對顯示字幕畫面或者執行自動播放等為了吸引顧客的各種演出顯示或音樂再生進行控制。
[0160]本實施方式中，包括來客顧客層數據庫制作部211、日期時間條件基準控制部212、優先顧客層人物選擇部213、登錄游戲者優先控制部214、各顧客層組合控制部215、好感反應者檢測部216以及好感反應檢測時控制部217。
[0161]來客顧客層數據庫制作部211用于制作針對按照每個星期或時間帶、特定的期間等定義的各日期時間條件總計顧客層判斷部206的判斷結果的來客顧客層數據庫(參照圖3)。
[0162]日期時間條件基準控制部212基于來客顧客層數據庫制作部211制作的來客顧客層數據庫，控制吸引力模式。具體地，根據當前的日期時間所適合的日期時間條件的顧客層總計結果判斷主要顧客層，并參照對應于所判斷的主要顧客層的吸引力模式的控制模式數據，為主要顧客層最優化控制(參照圖3)。
[0163]優先顧客層人物選擇部213在拍攝部102拍攝的圖像中照到的人物為多人時，基于各人物的顧客層判斷結果和規定的顧客層優先順序，從該多個人物中選擇成為決定吸引力模式的控制內容(例如，游戲演出的內容或游戲進行控制)的基準的人物。被選擇的人物成為“優先顧客層人物”，成為控制內容最優化的對象(參照圖4)。
[0164]登錄游戲者優先控制部214將拍攝部102拍攝的圖像中照到的人物中的、由登錄游戲者檢測部208檢測到的人物(登錄游戲者)為對象，參照游戲者登錄數據(個人信息)，為被檢測到的登錄游戲者切換吸引力模式的控制內容并進行最優化(參照圖4)。
[0165]各顧客層組合控制部215利用顧客層判斷部206判斷的顧客層的組合，控制吸引力模式的演出內容，通過該顧客層的組合實現高效的呼吁(參照圖4)。
[0166]好感反應者檢測部216推測性地檢測拍攝圖像中照到對游戲系統感興趣的人物。具體地，根據靠近游戲裝置的人物的臉部特征值識別臉部表情，臉部表情被識別為“喜悅”、“快樂”、“興趣”等的程度上升或者該程度在規定的閥值以上時，將該人物作為好感反應者進行檢測(參照圖5)。
[0167]另外，檢測方法并不限定于利用拍攝圖像的方式。例如，還可以通過距離測量部108測量拍攝圖像中照到的各人物與游戲裝置之間的距離，當該距離變為靠近游戲位置附近時，判斷為“有興趣”，將該人物作為好感反應者進行檢測。還可以與利用拍攝圖像的方式并用。
[0168]當檢測到好感反應者時，好感反應者檢測時控制部217選擇與當前執行中的吸引力模式的演出內容滿足規定的關聯條件的其他演出內容，在給予的定時進行控制切換到該其他演出內容，將吸引力模式的內容為好感反應者向進行最優化。
[0169]游戲模式控制部220對檢測到游戲執行等價的支付之后的游戲執行進行控制。本實施方式中，包括若干個功能部，其基于臉部表情識別部204的識別結果，利用根據游戲進行規定的給予的定時的游戲者的臉部表情，控制游戲演出。具體地，包括觀眾數基準控制部
221、出現表情基準控制部222、臉部表情主題控制部224以及獎品支出抽選部234。
[0170]觀眾數基準控制部221計算通過游戲者/觀眾識別部205基于臉部表情識別部204的識別結果識別的觀眾4 (參照圖6)的數量，根據計算出的觀眾數變更游戲進行或游戲演出。本實施方式中，根據觀眾數執行了專用的演出顯示，但是還可以以根據觀眾數控制游戲進行的方式代替或者兩者并行。
[0171]出現表情基準控制部222利用游戲進行中滿足給予的出現頻率條件的游戲者的臉部表情來控制游戲演出(參照圖7)。具體地，將游戲執行中的游戲者2的臉部表情的識別結果的履歷存儲于存儲部500，并且，統計各臉部表情的出現率。而且，判斷各臉部表情的統計處理的結果，滿足給予的出現頻率條件且出現頻率較高的臉部表情(優勢臉部表情)，執行被判斷為優勢臉部表情所對應的特別演出。另外，本實施方式執行音樂游戲，所以利用優勢表情來控制游戲演出，但是可以控制游戲進行的方式代替或者兩者并行。
[0172]臉部表情主題控制部224進行有關“臉部表情主題”的各種控制。與其相關聯地，包括規定臉部表情提示控制部226、規定臉部表情適合與否基準控制部228、特定定時臉部表情基準控制部230以及臉部表情變化基準控制部232。
[0173]規定臉部表情提示控制部226進行通過隨機抽選處理從臉部表情識別部204能夠識別的臉部表情的種類中選擇規定臉部表情，并出示給游戲者的控制。本實施方式中，通過在圖像顯示部360顯示規定臉部表情的種類從而進行出示，但是還可以在聲音輸出部350放出規定種類的聲音。
[0174]規定臉部表情適合與否基準控制部228判斷特定的定時(這里的“定時”包括時間性的寬度，并不限定于一瞬間)的臉部表情的識別結果和規定臉部表情提示控制部226出示的規定臉部表情是否適合(臉部表情主題的通關/臉部表情主題的失敗)，根據判斷結果變更游戲演出或游戲的進行(參照圖8)。
[0175]本實施方式中，判斷規定臉部表情是否適合時使用開始游戲時(第一定時)和玩兒所謂的“高潮”部分的期間(第二定時)各自的臉部表情識別結果。具體地，判斷通關(成功)“臉部表情主題”的條件是當“在樂曲高漲部分(特定定時)檢測到一定時間(或者一定次數)以上的臉部表情的種類是規定臉部表情”并且“開始游戲時刻(第一定時)的第一臉部表情與樂曲高漲部分(第二定時)中的第二臉部表情相比，規定臉部表情的程度進一步提”時判斷為“適合”。
[0176]因此，本實施方式的規定臉部表情適合與否基準控制部228還起到特定定時臉部表情基準控制部230 (利用根據游戲進行規定的給予的定時中的游戲者的臉部表情來控制游戲演出)、臉部表情變化基準控制部232 (利用第一定時中的游戲者的臉部表情和、該第一定時之后的第二定時中的游戲者的臉部表情的差異來控制游戲演出)的功能。
[0177]當游戲結果滿足規定的獎品支出啟動條件時，獎品支出抽選部234通過演算處理執行抽選處理，如果當選則向排出控制部280輸出排出執行命令，使排出控制部280通過獎品支出部400排出獎品。而且，本實施方式中，在進行有關獎品支出的抽選處理時，根據游戲者的臉部表情的出現履歷、出現頻率較高的臉部表情的種類可改變當選概率。
[0178]調查對象判斷部246判斷游戲者是否符合營銷信息收集的調查對象。具體地，顧客層判斷部206為各游戲者判斷的顧客層與規定的營銷對象顧客層一致時，視為調查對象。
[0179]調查數據存儲控制部248使由調查對象判斷部246認定為對象的游戲者的顧客層判斷結果與臉部表情識別結果相對應后作為采樣調查數據積蓄于存儲部500中并進行管理。
[0180]游戲者登錄管理部249執行有關游戲者的登錄的處理，獲得游戲者的個人信息，在存儲部500生成游戲者登錄數據并進行管理。相當于所謂的用戶登錄。個人信息中包括通過臉部表情識別部204根據拍攝部102拍攝的游戲者的圖像計算出的臉部特征值作為個人認證用臉部特征值。并且，還包括根據該臉部特征值由臉部表情識別部204求出的年齡性別。一旦結束游戲者登錄，則由IC卡讀取部104發行新的IC卡1332。
[0181]聲音生成部250例如以數字信號處理器(DSP)或聲音合成IC等的處理器、可再生聲音文件的音頻編解碼器等實現，基于游戲控制部202的處理結果，生成有關游戲的效果聲音或BGM、各種操作聲音的聲音信號并輸出至聲音輸出部350。
[0182]聲音輸出部350以基于從聲音生成部250輸入的聲音信號后輸出效果聲音或BGM等聲音的裝置實現。在圖1，揚聲器1324相當于聲音輸出不350。
[0183]圖像生成部260例如以GPU (Graphics Processing Unit)、數字信號處理器(DSP)等的處理器、視頻信號1C、視頻編解碼器等的程序、幀緩沖器等的繪畫幀用IC存儲器、用于紋理數據的展開的IC存儲器等實現。圖像生成部260基于游戲控制部202的處理結果，在I幀時間(例如，1/60秒)內生成I枚的游戲畫面，將生成的游戲畫面的圖像信號輸出至圖像顯示部360。
[0184]圖像顯示部360基于從圖像生成部260輸入的圖像信號，顯示各種游戲圖像。例如，可以以平板顯示器游戲、顯像管(CRT)、投影機、頭盔式顯示器游戲等圖像顯示裝置實現。本實施方式中，圖1的視頻監控器1322相當于圖像顯示部360。
[0185]通信控制部270執行有關數據通信的數據處理，通過通信部370與外部裝置交換數據。
[0186]通信部370與通信線路I連接從而實現通信。例如，以無線通信機、調制解調器、TA(終端適配器)、有線用的通信電纜的插孔或控制電路等實現，圖1的通信裝置1353相當于通信部370。
[0187]存儲部500中存儲用于使處理部200統一控制業務用游戲裝置1300從而實現各種功能的系統程序或、執行游戲所需的游戲程序、各種數據等。并且，用作處理部200的操作區域，處理部200按照各種程序執行的計算結果或從操作輸入部100輸入的輸入數據等暫時存儲在存儲部500。這樣的功能例如以RAM或ROM等的IC存儲器、硬盤等的磁盤、⑶-ROM或DVD等的光盤等實現。圖1中的控制單元1350所裝載的IC存儲器1352相當于存儲部500。
[0188]如圖12所示，本實施方式的存儲部500中存儲有系統程序501以及游戲程序502。
[0189]系統程序501是用于實現業務用游戲裝置1300的作為計算機的基本功能的程序。
[0190]游戲程序502是由處理部200讀出并執行從而實現作為游戲控制部202的功能的應用軟件，可以構成為系統程序501的一部分。
[0191]另外，可以將視頻游戲以如下的所謂的“網頁游戲”、“瀏覽器游戲”的方式實現；從特定的網站接收游戲畫面顯示或游戲進行所需的數據從而顯示游戲畫面或進行游戲，根據在操作輸入部100進行的操作輸入來控制游戲進行，或者，向網站發送基于操作輸入的請求，并接收游戲畫面或游戲進行所需的信息。這時，并不是將游戲程序502構成為專用的應用軟件，而是以網頁瀏覽器程序或、通過腳本控制在網頁瀏覽器上實現相互作用的顯示的插件等構成。
[0192]并且，存儲部500作為事先準備的數據存儲有顧客層設定數據510、吸引力模式數據512、樂曲庫520、臉部表情主題設定數據544以及游戲模式演出內容設定數據546。
[0193]并且，作為隨時生成或更新的數據，存儲有游戲者登錄數據530、吸引力模式控制數據550、游戲數據560以及采樣調查數據580。另外，還適當地存儲執行各種處理所需的數據(例如，壓縮解凍的紋理數據、經過實踐、各種定時器值、計數器、標志)等。
[0194]顧客層設定數據510用于規定基于臉部特征值判斷顧客層的基準，并且，是定義營銷對象顧客層的數據。例如，如圖13所示，對于顧客層類別510a每一個，對應地存儲有顧客層優先順序510b、調查對象識別值510c、相當年齡510d、相當性別510e、相當臉部特征值 510f。
[0195]可適當地設定顧客層類別510a。
[0196]當優先顧客層人物選擇部213等基于顧客層判斷結果為多個游戲者進行優先順序位置排列時參照顧客層優先順序510b。
[0197]調查對象識別值510c是表示營銷信息的收集對象的標志。在圖13的例子中是“O”表示調查對象外，“ I”表示調查對象。
[0198]相當年齡510d以及相當性別510e是與由臉部表情識別部204判斷的年齡以及性別對照，從而判斷顧客層時的基準。
[0199]相當臉部特征值510f是用于定義由臉部表情識別部204計算出的臉部特征值的范圍的數據，是根據臉部特征值判斷顧客層的基準。
[0200]吸引力模式數據512是用于定義吸引力模式下的控制模式的數據。例如，如圖14所示，存儲有用顧客層設定數據510定義的各顧客層類別準備的多個各顧客層模式組514。本實施方式中，執行音樂游戲，所以，一個各顧客層模式組514中包括符合所對應的顧客層的喜愛的字幕介紹或玩法介紹、實現自動播放的定時控制、伴隨自動播放的各種演出的信息。用于實現演出的詳細的數據可根據游戲裝置的構成的不同而不同，例如，可適當包括用于顯示畫面的數據或燈飾等的點燈模式、聲音的強弱或再生定時等。
[0201]并且，本實施方式的吸引力模式數據512包括各顧客層組合模式組515、省電模式組516、登錄游戲者優先模式組518。
[0202]各顧客層組合模式組515是用于定義當拍攝部102拍攝的圖像(裝置前方圖像)中照到多個人物時適用的演出內容的數據。按照由顧客層判斷部206判斷的顧客層的組合(圖中的第一顧客層和第二顧客層)準備，并且存儲有用于執行添加于已經選擇執行的各顧客層模式組514的演出內容上的演出內容的各種數據。
[0203]省電模式組516中存儲有與通常的吸引力模式控制時(各顧客層模式組514的控制時)相比抑制電力消耗的同時控制呼吁存在的數據。例如，在控制畫面顯示時，設定有降低計算處理的控制模式。
[0204]登錄游戲者優先模式組518用于定義在拍攝部102拍攝的圖像(裝置前方圖像)內照到的人物中包括登錄游戲者時適用的控制模式，其為可持親近感接收以便對應于擅長者的呼吁內容。例如，可以圖像顯示包括登錄游戲者的賬戶名的引誘語句。
[0205]樂曲庫520中存儲有關在音樂游戲可進行游戲的曲子的信息。本實施方式中，吸引力模式下進行自動播放，因此，可以說構成有關吸引力模式的演出內容的數據的一部分。例如，如圖15所不，樂曲庫520包括新曲目錄522、各風格子庫524、各顧客層子庫526以及各表情子庫528。
[0206]新曲目錄522是新的可在業務用游戲裝置1300中游戲的曲子的目錄，針對各曲名對應地存儲有風格、藝術家名、定時導向件數據、高潮部分定時、樂曲數據等的信息。
[0207]在將樂曲庫520視為有關吸引力模式的演出內容的數據時，風格和藝術家名起到作為在檢測好感反應者時用于控制的分類信息的作用。
[0208]樂曲數據是可以在聲音生成部250進行解碼或再生處理的音樂數據。
[0209]定時導向件數據是用于在游戲畫面顯示定時導向件40的數據。
[0210]高潮部分定時是用于判斷樂曲高漲的所謂的“高潮“部分的信息，例如，被定義為再生時間的范圍。
[0211]各風格子庫524中存儲匯集了樂曲的各風格的多個目錄。
[0212]各顧客層子庫526中存儲針對由顧客層設定數據510定義的各顧客層收集了受該顧客層的年代或性別的歡迎的曲子的目錄。
[0213]各表情子庫528中存儲針對各臉部表情，收集了改善成為該臉部表情時的內心狀態，變成更加歡快的氣氛的曲子的目錄。根據選曲時的、被解析出的游戲者的臉部表情參照該子庫中包括的目錄。
[0214]另外，存儲在這些子庫中的每一個目錄具有與新曲目錄522相同的數據構成。
[0215]游戲者登錄數據530中存儲在開始游戲前或者結束第一次游戲時通過規定的手續進行用戶登錄的個人信息。如圖16所示，一個游戲者登錄數據530例如包括唯一發行的游戲者ID532、年齡性別信息533、個人認證用臉部特征值534、游戲履歷數據536以及嗜好解析數據538。當然，還可以適當包括其他信息。
[0216]個人認證用臉部特征值534中存儲用于特定個人的臉部特征值。登錄游戲者檢測部208通過將在臉部表情識別部204獲得的臉部特征值與個人認證用臉部特征值534進行對照，從而利用臉部識別實現個人認證。
[0217]游戲履歷數據536中存儲有游戲的日期時間、選擇曲子、比分等。可根據游戲內容適當設定所存儲的數據的種類。
[0218]嗜好解析數據538中存儲在游戲履歷數據536中積蓄的通過風格的統計處理獲得的曲子的各風格的選擇頻率。參照該數據，則可以得知游戲者喜歡利用哪個風格的曲子享受游戲。
[0219]另外，游戲履歷數據536以及嗜好解析數據538進行更新，以使管理游戲者登錄數據530的計算機在結束游戲之后判斷最新的游戲結果。
[0220]臉部表情主題設定數據544中存儲用于實現“臉部表情主題”的信息，該“臉部表情主題”是一種利用游戲者的臉部表情的游戲規則，向游戲者出示規定臉部表情，在出示之后根據游戲者是否露出規定表情來進行游戲(參照圖8)。例如，如圖17所示，為了針對各規定臉部表情544a出示“臉部表情主題”，相對應地存儲有顯示在游戲畫面的出示文本數據544b和、用于定義當通關主題時賦予的優惠的優惠設定544c。可根據游戲內容適當設定優惠設定544c的內容。如果是舞臺通關型的游戲，則設定內容優選包括移動目的地舞臺或特色舞臺的游戲權等。
[0221]并且，臉部表情主題設定數據544包括用于定義當判斷為通關、成功“臉部表情主題”時追加執行的演出內容的主題成功演出數據544d以及用于定義當判斷為失敗時追加執行的演出內容的主題失敗演出數據544e。
[0222]游戲模式演出內容設定數據546中存儲用于定義游戲模式下的演出內容的數據，在本實施方式中，存儲游戲執行中在游戲畫面的演出顯示部47(參照圖2)演出顯示的數據。例如，如圖18所示，存儲有標準演出數據547、特別演出設定數據庫548、多觀眾用特別演出數據549。
[0223]標準演出數據547是用于實現適用于所有游戲者的演出內容的數據。在本實施方式中，實現從開始游戲執行最初起在演出顯示部47(參照圖2)中顯示的基板的演出顯示。
[0224]特別演出設定數據庫548包括與由臉部表情識別部204識別的各種臉部表情的種類對應的演出設定數據。具體地，針對各種優勢臉部表情種類548a存儲特別演出設定數據548b。出現表情基準控制部222將游戲執行中識別的游戲者的臉部表情中的、達到規定的出現頻率的表情判斷為優勢表情，按照對應于所判斷的優勢表情的種類的特別演出設定數據548b顯示追加于標準演出的特別演出(參照圖7)。
[0225]多觀眾用特別演出數據549是觀眾數基準控制部221根據觀眾的數量執行追加演出的數據(參照圖6)。
[0226]吸引力模式控制數據550中存儲執行吸引力模式下的控制所需的各種參數值。例如，如圖12所示，包括來客顧客層數據庫551、最優化對象識別數據553、最優化對象臉部表情554以及自動播放曲名履歷555。
[0227]來客顧客層數據庫551中包括為利用星期或時間帶、特定期間等組合來定義的多個日期時間條件準備的各日期時間條件來客顧客層數據552。一個各日期時間條件來客顧客層數據552中包括對在該日期時間條件下裝置前方圖像中照到的各人物的顧客層進行統計處理的統計數據。由來客顧客層數據庫制作部211生成并更新來客顧客層數據庫551。
[0228]在本實施方式中，最優化對象識別數據553中存儲從拍攝部102拍攝的拍攝圖像(裝置前方圖像)中識別出作為吸引力模式下控制演出內容的基準的對象人物的數據。初始化狀態是表示未設定任何人的“NULL”。
[0229]在本實施方式中，當裝置前方圖像中照到多個人物時，優先顧客層人物選擇部213基于這些多個人物各自的顧客層，選擇任意一個人，存儲所選擇的人物的臉部特征值。但是，當通過登錄游戲者檢測部208檢測到裝置前方圖像中照到的多個任務中存在已經登錄的游戲者時，優先存儲該登錄游戲者的臉部特征值。并且，當好感反應者檢測部216檢測到好感反應者時，優先存儲符合的人物的臉部特征值。另外，還可以與臉部特征值對應地存儲符合的人物的臉部圖像的代表點的圖像坐標系中的坐標。
[0230]最優化對象臉部表情554中存儲從存儲于最優化對象識別數據553中的臉部特征值獲得的臉部表情的識別結果。
[0231]自動播放曲名履歷555由吸引力模式控制部210進行管理，當每次進行自動播放時，按照時間順序存儲并更新自動播放的曲名。
[0232]游戲數據560中存儲有關游戲模式下的控制的各種數據。例如，如圖19所示，存儲有推薦樂曲目錄561、游戲曲名562、再生時間計數器563、觀眾人數564、適用演出ID565、中途退場者對照數據566、退場回歸標志567、為各游戲者準備的各游戲者數據570。
[0233]推薦樂曲目錄561在選曲處理過程中生成。在本實施方式中，在新曲目錄522 (參照圖15)的基礎上還添加有根據游戲者的顧客層或嗜好、臉部表情等的推薦樂曲目錄的曲子。
[0234]游戲曲名562是在選曲處理的過程中最終被選擇的曲名，表示游戲的曲名。
[0235]再生時間計數器563中存儲有游戲的曲子的開始再生起到的經過時間。
[0236]適用演出ID565中存儲由游戲模式演出內容設定數據546定義的多種種類的演出中的當前適用并執行的演出設定數據的識別信息、ID。
[0237]中途退場者對照數據566中暫時存儲結束一曲游戲后進行中途退場操作時制作的游戲者的臉部特征值，用于中途退場后回歸時的本人確認。
[0238]退場回歸標志567中，當中途退場的游戲者正常返回則存儲“1”，中途退場的游戲者在限定的時間內未返回時以及在初期狀態下存儲“O”。
[0239]各游戲者數據570包括例如表示游戲者的游戲位置的識別的游戲位置571、比分572、規定臉部表情分數573、規定臉部表情種類574、游戲者顧客層575以及臉部表情識別履歷數據576。在本實施方式中，可以由兩個人同時游戲，所以示出了兩個該數據，但是，當可同時游戲的人數在兩人之外時，按照其人數制作。
[0240]規定臉部表情分數573是根據隨著執行“臉部表情主題”在游戲執行中由臉部表情識別部204視為規定臉部表情的臉部表情被檢測到的次數或者時間累計的分數。開始一個游戲時的初期值為“O”。
[0241]規定臉部表情種類574中存儲有由規定臉部表情提示控制部226選擇并出示的規定臉部表情的種類。其初期值為表示未設定任何臉部表情的“NULL”。
[0242]游戲者顧客層575表示有臉部表情識別部204根據游戲者的臉部特征值判斷的顧客層。
[0243]臉部表情識別履歷數據576是由臉部表情識別部204識別的臉部表情的履歷，通過臉部表情識別部204生成并更新。例如，識別臉部表情時序數據577中按照時間順序與時間相對應地存儲有從檢測到游戲等價的支付起到結束游戲之后的規定時間為止的臉部表情識別結果。并且，對存儲在該時序數據中的臉部表情進行統計處理的結果被存儲于臉部表情統計數據578。
[0244]當基于裝置前方圖像中照到的人物的臉部特征值判斷的顧客層相當于事先設定的營銷對象顧客層時，采樣調查數據580相對應地積蓄并存儲相當的人物的顧客層判斷結果、臉部表情識別結果、日期時間。可根據該調查數據的利用方式適當設定數據構成。
[0245][處理流程的說明]
[0246]其次，對本實施方式的各種處理流程進行說明。
[0247]圖20是用于說明業務用游戲裝置1300中主要處理流程的流程圖。這里說明的一系列處理流程是由業務用游戲裝置1300的處理部200讀出并執行系統程序501之后讀出并執行游戲程序502從而實現。
[0248]業務用游戲裝置1300的處理部200執行吸引力模式的控制處理，直到檢測到投入硬幣(步驟S2?S4)。
[0249][吸引力模式的處理流程]
[0250]圖21是用于說明吸引力模式的控制處理流程的流程圖。通過該處理，向位于裝置前方的人物切換各種吸引力模式下的控制模式，能夠向消費者更加有效地呼吁游戲。
[0251]具體地，處理部200判斷是不是可以切換吸引力模式的控制模式的定時(步驟S10)。例如，適當地將結束已經在執行中的控制模式的定時、結束自動播放樂曲的定時等設定為可切換的定時。
[0252]而且，如果是可切換的定時(步驟SlO的YES)，則處理部200通過拍攝部102拍攝裝置前方圖像(步驟S12)，提取所拍攝的圖像內的照到人的部分，判斷裝置前是否有人(步驟 S14)。
[0253]其中，當判斷為裝置前方圖像內未照到人時(步驟S14的NO)，處理部200將吸引力模式控制數據550的最優化對象識別數據553初始化(步驟S16 ;參照圖12)。接著，基于吸引力模式數據512(參照圖14)參照省電模式組516，根據該模式組開始節能為目的的吸引力模式的控制(步驟S18)。
[0254]當判斷為裝置前方圖像內照到人時(步驟S14的YES)，如果最優化對象識別數據553為初始化的狀態(步驟S22的YES)，則處理部200判斷所照到的各人物到游戲裝置的距離(步驟S24)。
[0255]而且，例如，當裝置前方圖像中的各人物的臉部圖像的尺寸超過相對于畫面尺寸的規定的靠近判斷基準比時，或者當利用距離傳感器1328時從其檢測信號獲得的到該人物的距離達到規定的靠近判斷基準距離時，處理部200判斷為有靠近者靠近到游戲位置附近。
[0256]當判斷為沒有靠近者時(步驟S26的NO)，處理部200執行日期時間條件基準控制處理，在設有業務用游戲裝置1300的位置和時時的日期時間條件下，以最佳的內容開始對視為主要的顧客層進行控制(步驟S28 ;參照圖3)。
[0257]并且，當判斷為有靠近者時(步驟S26的YES)，執行靠近者基準控制處理，以最佳的內容開始對靠近業務用游戲裝置1300的人物進行控制(步驟S30 ;按照圖4)。
[0258]并且，當原本最優化對象識別數據553中設有某人的臉部特征值時(步驟S22的NO)，處理部200執行好感反應者基準控制處理，以最佳的內容開始對好感反應者進行控制(步驟S32 ;參照圖5)。
[0259]下面，對吸引力模式的控制處理中執行的各控制處理進行說明
[0260]圖22是用于說明日期時間條件基準的控制處理流程的流程圖。
[0261]在該處理中，首先，處理部200判斷裝置前方圖像中照到的各人物的顧客層(步驟S40)。具體地，提取照到臉部的部分(臉部圖像)，計算臉部特征值，根據臉部特征值求出各自的性別以及年齡。而且，參照顧客層設定數據510，判斷對應于所求出的臉部特征值或性另U、年齡的顧客層。
[0262]如果判斷出了顧客層，則處理部200更新當前日期時間所符合的各日期時間條件來客顧客層數據552 (步驟S42 ;參照圖12)，并根據該結果判斷主要顧客層(步驟S44)。
[0263]接著，處理部200選擇對應于根據吸引力模式數據512判斷的主要顧客層中的任一的各顧客層模式組514(步驟S46 ;參照圖14)，并且，參照樂曲庫520的各顧客層子庫526(參照圖15)中對應于主要顧客層中的任一的推薦樂曲目錄，從該目錄中選擇自動播放的曲子(步驟S48)。
[0264]而且，按照在步驟S46選擇的各顧客層模式組，開始吸引力模式的控制，以使自動播放在步驟S48中選擇的曲子(步驟S50)。
[0265]圖23是用于說明靠近者基準控制處理流程的流程圖。
[0266]在該處理中，處理部200首先計算視為靠近者的各人物的臉部特征值，將該臉部特征值與游戲者登錄數據530的個人認證用臉部特征值534 (參照圖16)進行對照，從而判斷該人物是不是登錄游戲者(步驟S70)。
[0267]其結果，靠近者全部不是登錄游戲者時(步驟S72的NO)，處理部200判斷各靠近者的顧客層(步驟S74)，更新分配有對應于當前的日期時間或星期、時間的時間框架的各日期時間條件來客顧客層數據552 (步驟S76)。
[0268]接著，基于顧客層設定數據510的顧客層優先順序510b所示的各顧客層的優先順序，從靠近者中選擇成為控制最優化的對象的優先顧客層人物(步驟S78 ;參照圖13)，將最優化對象識別數據553更新為判斷為優先顧客層人物的人物的臉部特征值(步驟S80 ;參照圖12)，將基于該臉部特征值的臉部表情的識別結果作為最優化對象臉部表情554進行存儲(步驟S82)。
[0269]接著，處理部200從吸引力模式數據512選擇對應于該優先顧客層人物的顧客層的各顧客層模式組514 (步驟S84 ;參照圖14)，并且參照樂曲庫520的各顧客層子庫526中的對應于優先顧客層人物的顧客層的推薦樂曲目錄，從該目錄中選擇自動播放的曲子(步驟S86 ;參照圖15)。
[0270]而且，處理部200根據在步驟S82中選擇的各顧客層模式組，開始吸引力模式的控制，以使自動播放在步驟S84中選擇的曲子(步驟S88)。
[0271]另一方面，視為靠近者的人物內存在登錄游戲者(步驟S72的YES)，并且為多數時(步驟S90的YES)，處理部200基于游戲者登錄數據530 (參照圖16)的有關該游戲者的個人信息(例如，年齡性別信息533)，選擇任一靠近者作為優先顧客層人物(步驟S92)。而且，將最優化對象識別數據553更新為優先顧客層人物的臉部特征值(步驟S94)，并且，將基于該臉部特征值的臉部表情的識別結果作為最優化對象臉部表情554進行存儲(步驟S96)。
[0272]另外，當靠近者中沒有登錄游戲者時，將該登錄游戲者視為優先顧客層人物。當選擇優先顧客層人物時，優選按照年齡越低優先順序越高，如果年齡相同時女性的優選順序高于男性的方式選擇。
[0273]接著，處理部200參照樂曲庫520的各風格子庫524，從相當于優先顧客層人物的喜愛的風格的目錄中選擇自動播放的曲子(步驟S98)。另外，可參照游戲者登錄數據530的嗜好解析數據538來判斷優先顧客層人物喜愛的風格。
[0274]而且，處理部200根據登錄游戲者優先模式組518(參照圖14)，開始吸引力模式的控制，以使自動播放在步驟S96中選擇的曲子(步驟S100)。
[0275]也即是說，通過步驟S90?S100，進行了為登錄游戲者進一步最優化控制內容的“登錄游戲者優先控制”。
[0276]圖24是用于說明好感反應者基準控制處理流程的流程圖。
[0277]在該處理中，處理部200首先通過拍攝部102拍攝裝置前方圖像(步驟SI 10)，并計算所拍攝的圖像中照到的各人物的臉部特征值(步驟S112)。而且，將照到的各人物的臉部特征值與最優化對象識別數據553進行比較對照(步驟SI 14)。
[0278]如果對照的結果，判斷出所拍攝的圖像內未照到與最優化對象相同的人物時(步驟SI 16的NO)，處理部200將最優化對象識別數據553和最優化對象臉部表情554初始化(步驟SI 18)，結束好感反應者基準控制處理。
[0279]相反地，當判斷為所拍攝的圖像內照到與最優化對象相同的人物時(步驟S116的YES)，處理部200比較在步驟S112獲得的臉部特征值和最優化對象臉部表情554 (步驟S120)。其結果，當可以判斷為該相同人物的最新的臉部表情更加享受，或者喜悅程度增加，或者充滿驚訝，或者示出好奇心時，視為示出好感反應。
[0280]而且，當判斷為示出好感反應時(步驟S122的YES)，處理部200參照自動播放曲名履歷555以及樂曲庫520，檢索與剛才自動播放的曲子、即認為示出好感反應的的對象的曲子屬于相同屬性的其他曲子(步驟S124)。這里的“屬性”是指演出內容的分類信息，在本實施方式中，相當于藝術家名(參照圖15)。當然，相當于屬性的并不限定于藝術家名，例如，相當于用作游戲或電影、視頻作品的主題曲或插曲、BGM的曲子時，如果有合作作品的標題等信息則可以將其作為屬性。當游戲者登錄數據530包括游戲者購入的游戲標題或視頻剪輯的購入履歷時，將合作作品的標題作為屬性要素，則能夠進一步提高呼吁度，因此較為優選。
[0281]如果有與剛才自動播放的曲子相同屬性的其他曲子(步驟S126的YES)，則處理部200不改變執行中的吸引力模式的控制模式，將該其他曲子中的任一設為自動播放的曲子(步驟S128)。
[0282]因此，可以在裝置前方，實施吸引力模式下的控制，尤其是向觀看自動播放的樣子后示出好感反應的人物更加有效地呼吁。
[0283]返回圖21，如果進行了日期時間條件基準控制處理、靠近者基準控制處理、好感反應者基準控制處理中的任一，接著，處理部200在裝置前方有多個人物時(步驟S130的YES)，為各人物判斷顧客層(步驟S132)，并判斷適合所判斷的顧客層的組合的各顧客層組合模式組515，根據所選擇的模式組的內容，開始演出顯示(步驟S134)，結束吸引力模式控制處理。
[0284]另外，在本實施方式中，各顧客層組合模式組515的優先度比各顧客層模式組514低一級，用于定義追加的演出內容，但是，當與各顧客層模式組514相同等級地處理時，可以將步驟S130?S134提前到步驟S22之前。
[0285][游戲模式的處理流程]
[0286]返回圖20，在執行吸引力模式控制期間，檢測到硬幣投入(步驟S4的YES)，則處理部200中斷吸引力模式的控制，生成在存儲部500被初始化的游戲數據560，執行游戲模式控制處理(步驟S140)。
[0287]圖25是用于說明游戲模式控制處理流程的流程圖。在該處理中，首先，處理部200執行游戲曲選擇處理(步驟S142)。
[0288]圖26是用于說明游戲曲選擇處理流程的流程圖。在該處理中，處理部200首先通關推薦曲目錄561(步驟S150 ;參照圖19)，判斷IC卡1332是否插在IC卡讀寫器1330中(步驟 S152)。
[0289]如果未插入IC卡1332 (步驟S152的NO)，處理部200則通過拍攝部102拍攝游戲者(步驟S160)，計算游戲者的臉部特征值，并基于計算出的臉部特征值，執行作為登錄游戲者的個人認證處理(步驟S162)。
[0290]其中，所有游戲者均無法進行個人認證時，S卩、所有游戲者都不是登錄游戲者時(步驟S164的NO)，處理部200根據在步驟S162求出的臉部特征值求出各游戲者的性別、年齡，根據求出的這些信息判斷各游戲者的顧客層(步驟S166)。而且，如果游戲者為多數，則選擇優先顧客層人物(步驟S168的YES — S170)，從樂曲庫520的各顧客層子庫526 (圖15參照)讀出對應于視為優先顧客層人物的游戲者的顧客層(或者游戲者為單數時為該游戲者)的各顧客層推薦樂曲目錄，添加于推薦樂曲目錄561中(步驟S172)。
[0291]如果在步驟S164中基于臉部特征值進行個人認證處理的結果，可以認證登錄游戲者時(步驟S164的YES)，處理部200參照該通過認證的游戲者的游戲者登錄數據530 (步驟S180 ;參照圖16)。另外，在步驟S152中檢測到插入了 IC卡1332時(步驟S152的YES)，處理部200參照與存儲于該IC卡中的信息綁定的游戲者登錄數據530。
[0292]接著，處理部200根據游戲者登錄數據530的嗜好解析數據538判斷游戲者的嗜好的風格。而且，從樂曲庫520的各風格子庫524(參照圖15)選擇對應于游戲者嗜好的風格的推薦樂曲目錄并添加于推薦樂曲目錄561 (步驟S182)。并且，處理部200從新曲目錄522檢索游戲者嗜好的風格的新曲，并將該新曲添加于推薦樂曲目錄561 (步驟S184)。
[0293]之后，處理部200拍攝游戲者圖像(步驟S190)，識別開始游戲前的狀態的游戲者的臉部表情(步驟S192)。識別結果添加于游戲數據560的各游戲者數據570所包括的臉部表情識別履歷數據576的識別臉部表情時序數據577中。并且，處理部200對應地更新各臉部表情統計數據578 (參照圖19)。
[0294]接著，處理部200從各表情子庫528檢索對應于在步驟S192中識別的臉部表情的推薦樂曲目錄，如果有對應的推薦樂曲目錄(步驟S194的YES)，則將該推薦樂曲目錄添加于推薦樂曲目錄561中(步驟S196)。
[0295]通過上述處理流程，可以形成適合根據游戲者的顧客層或喜愛、臉部表情推測的當前的心態狀況的“推薦樂曲目錄”，因此，處理部200在選曲畫面顯示“推薦樂曲目錄”，催促游戲者選擇這次游戲的曲子(步驟S220)。
[0296]在顯示選曲一覽的狀態下，當檢測到規定的風格變更操作時(步驟S222的YES)，處理部200根據該操作，從樂曲庫520選擇其他各風格子庫524的推薦樂曲目錄，并將新曲目錄522在選曲一覽中進行(步驟S224)。而且，如果檢測到規定的選曲決定操作(步驟S226的YES)，則將選曲一覽中顯示的目錄中的選擇操作對象的曲名存儲于游戲數據560的游戲曲名562中(步驟S228)，結束游戲曲選擇處理。
[0297]返回圖25的流程圖，處理部200開始游戲(步驟S240)。即、開始再生游戲曲，從揚聲器1324播放聲音。并且，在視頻監控器1322中與游戲曲的再生同步顯示定時導向件40，并且，開始在演出顯示部47顯示包括基于標準演出數據547 (參照圖18)的演出的游戲畫面。并且，與開始游戲的同時開始計時再生時間，并存儲在游戲數據560 (參照圖19)的再生時間計數器563中。這時，適用演出ID565中存儲有表示標準演出數據547的信息。
[0298]如果開始了游戲，則處理部200根據在操作輸入部100檢測到的操作輸入，更新各游戲者的比分(步驟S242)。
[0299]而且，從開始游戲起到達規定的臉部表情識別周期(例如，20秒等)(步驟S244的YES)，則進行游戲者的臉部表情識別和識別結果的存儲(步驟S246)。具體地，在拍攝部102拍攝裝置前方圖像，從所拍攝的圖像內提取照到人物的臉部的部分。接著，針對所提取的照到臉部的各部分，識別畫面內的位置、或該部分的面積和畫面面積之比、是游戲者的臉部還是觀眾的臉部。這時，可以獲得距離傳感器1328測量的所提取的照到臉部圖像的各部分的距離測量結果，并用于識別。而且，計算出照到游戲者的臉部的各部分(臉部圖像)的臉部特征值，更新各游戲者數據570的臉部表情識別履歷數據576。另外，可根據臉部圖像的畫面內的相對位置判斷照到游戲者的臉部的部分(臉部圖像)是位于哪個游戲位置的游戲者的圖像。
[0300]并且，處理部200利用從所拍攝的圖像內識別出了游戲者的臉部和觀眾的臉部，對觀眾人數進行計數，并更新觀眾人數564 (步驟S248)。而且，以游戲者的臉部表情識別結果和觀眾人數為參數，控制游戲進行。本實施方式中進行音樂游戲，因此，處理部200執行演出變更處理，更新游戲畫面的演出顯示部47的顯示(步驟S250)。
[0301]圖27是用于說明本實施方式中的演出變更處理流程的流程圖。在該處理中，處理部200首先判斷是否從開始游戲起經過了規定時間(步驟S260)。這里的規定時間是指反復到來步驟S224的臉部表情識別周期，充分積蓄了識別結果的時間。
[0302]如果未經過規定時間(步驟S260的NO)，則處理部200參照臉部表情識別履歷數據576的識別臉部表情時序數據577，將開始游戲前視為特定定時，將那時所識別到的臉部表情作為優勢臉部表情(步驟S262)，不改變演出顯示部47中顯示的演出，結束演出變更處理。
[0303]當經過了規定時間時(步驟S260的YES)，處理部200參照臉部表情識別履歷數據576的各臉部表情統計數據578，將到當前為止的統計結果中的出現率最高的臉部表情作為“優勢臉部表情”(步驟S266)。
[0304]而且，當優勢臉部表情的頻率達到規定的演出切換基準值時(步驟S268的YES)，處理部200判斷為滿足規定的出現頻率條件，從特別演出設定數據庫548 (參照圖18)選擇對應于在步驟S266判斷的優勢臉部表情的特別演出設定數據，作為在演出顯示部47顯示的內容添加于當前適用的標準演出中(步驟S270;參照圖7)。也就是說，在演出顯示部47中追加顯示對應于所選擇的特別演出設定數據的演出要素。適用演出ID565中除了標準演出數據547的識別信息之外還存儲在步驟S270中選擇的特別演出設定數據的識別信息。
[0305]并且，當觀眾人數564達到規定的基準值時(步驟S272的YES)，處理部200參照多觀眾用特別演出數據549，作為在演出顯示部47中顯示的內容還追加特別的演出(步驟S274 ;參照圖6)，結束演出變更處理。
[0306]另外，當根據觀眾人數準備了多種多觀眾用特別演出數據549時，可以在步驟S272中玄色對應于觀眾人數的數據。
[0307]返回圖25，接著處理部200判斷游戲曲是否結束。
[0308]并且，當游戲在繼續(步驟S300的NO)，且根據再生時間計數器563判斷為在高潮部分的開始定時(樂曲庫520的該樂曲的高潮部分定時(參照圖15))的規定時間之前開始一致時(步驟S302的YES)，處理部200重新設定規定臉部表情種類574 (步驟S304 ;參照圖19)。
[0309]具體地，將規定臉部表情種類574初始化，在通關了已有的設定之后，通過產生亂數執行抽選處理等，設定新的規定臉部表情的種類。接著，處理部200根據臉部表情主題設定數據544(參照圖17)參照對應于在步驟S304中新設定的規定臉部表情的種類的出示文本數據544b，開始在游戲畫面中示出“臉部表情主題”(步驟S306)。
[0310]在出示臉部表情主題之后，逼近高潮部分的游戲(步驟S310的YES)，則處理部200拍攝游戲者，識別游戲者的臉部表情(步驟S312)，從而判斷是否通關了 “臉部表情主題”。具體地，在步驟S312中識別的臉部表情符合規定臉部表情，并且，比較開始游戲時識別的臉部表情(可參照臉部表情識別臉部表情時序數據577)和在步驟S312中識別的臉部表情，當前者的規定臉部表情的程度高于后者時，判斷通過、成功“臉部表情主題”(參照圖8)。另外，還可以不比較程度，基于在步驟S312中識別的臉部表情的程度來判斷是否通關“臉部表情主題”。
[0311]而且，當判斷為通關時(步驟S318的YES)，處理部200在對應的游戲者的規定臉部表情分數573加上規定值，對游戲的進行帶來影響(步驟S320 ;參照圖19)，參照主題成功演出數據544d追加顯示專用的演出從而稱贊成功(步驟S322)。相反，判斷為失敗時(步驟S318的NO)，處理部200參照主題失敗演出數據544e追加顯示失敗時專用的演出(步驟S324)。而且，一旦結束高潮部分(步驟S326的YES)，則結束“臉部表情主題”的出示(步驟 S328)。
[0312]另外，在本實施方式中，在I曲游戲中僅執行一次步驟S318?S324，但是，當主題成功演出數據544d或主題失敗演出數據544e的執行時間較短時(例如，數秒左右時)，可以在結束高潮部分之前執行多次。
[0313]在步驟S300，判斷呢為結束了 I曲時(步驟S300的YES)，處理部200根據規定臉部表情分數573的分數值,按照規定函數計算獎金分數(bonus point)(步驟S330),在游戲畫面執行將所計算出的獎金分數逐漸累計在比分上的演出顯示(步驟S332)。可以累計在各游戲者數據570的比分572，也就是說可以針對各游戲者進行，當合作游戲的情況下，可以在同時游戲的游戲者的比分572的合計值上累計獎金分數。
[0314]而且，累計獎金分數之后的游戲者的比分572的合計從開始游戲起第一次達到規定的獎品支出抽選啟動基準值時(步驟S334的YES)，處理部200執行獎品支出處理(步驟S336)。
[0315]圖28是用于說明獎品支出處理流程的流程圖。在該處理中，處理部200首先參照各臉部表情統計數據578，判斷規定的臉部表情種類(例如，喜悅、快樂等)的頻率是否超過基準值(步驟S340 ;參照圖19)。當游戲者為多數時，判斷各游戲者的顧客層，按照規定的顧客層優先順序，選擇任一游戲者，參照該游戲者的各臉部表情的統計數據578。
[0316]如果超過了基準值(步驟S340的NO)，則將適用于本次的抽選的當選概率設為標準值(步驟S342)，當超過了基準值時(步驟S340的YES)，將當選概率設為高于標準值、即容易當選的值(步驟S344)。而且，處理部200以所適用的當選概率執行抽選處理(步驟S346)，如果當選(步驟S348的YES)，則通過控制排出獎品(步驟S350)。
[0317]其次，處理部200拍攝游戲者的樣子(步驟S352)，計算出各游戲者的臉部特征值，參照顧客層設定數據510判斷顧客層(步驟S354)。而且，所判斷的游戲者的顧客層符合營銷對象顧客層時(步驟S356的YES)，拍攝取出排出的獎品之后的游戲者的樣子(步驟S358)，從所拍攝的圖像中識別拿到獎品的游戲者的臉部表情(步驟S360)，將游戲者的顧客層和臉部表情識別結果和日期時間相對應地追加在采樣調查數據580中并更新(步驟S362)。在調查所準備的獎品的滿意度時可利用積蓄在采樣調查數據580中的信息。
[0318]如果更新了采樣調查數據580，則返回圖25的流程圖，結束游戲模式控制處理。
[0319]返回圖20，如果結束了游戲模式控制處理，則處理部200判斷是否滿足游戲積蓄條件(步驟S380)。例如，如果按照規則比分超過規定的繼續允許基準值時還可以游戲I曲，則當超過繼續允許基準值時作出肯定判斷。并且，還可以在硬幣投入額相當于多次量的等價時，作出肯定判斷，還可以適當地設定為其他方式。
[0320]而且，當作出滿足游戲繼續條件的肯定判斷時(步驟S380的YES)，處理部200在視頻監視器1322顯示詢問游戲者是否退場的選擇畫面(步驟S382)。其中，如果檢測到選擇中途退場的操作(步驟S384的YES)，則處理部200執行中途退場處理(步驟S386)。
[0321]圖29是用于說明中途退場處理流程的流程圖。
[0322]在該處理中，處理部200首先拍攝游戲者，計算游戲者的臉部特征值，將其臉部特征值存儲于游戲數據560的中途退場者對照數據566(步驟S400 ;參照圖19)。而且，將操作輸入設為受限狀態，變成暫時無法進行操作輸入的狀態(步驟S402)。在受限狀態，視頻監控器1322中顯示表示該意思的文本，讓大家知道。
[0323]如果已經開始了受限狀態，處理部200則開始受限狀態維持計時器的倒計時(步驟S404)。該計時器通過處理部200的利用系統時鐘的計時功能實現，例如，以三分鐘左右為上限進行倒計時。
[0324]如果受限狀態維持計時器達到“O”(步驟S406的NO)，處理部200則拍攝裝置前方圖像(步驟S408)，判斷所拍攝的圖像中是否照到位于游戲位置的人(步驟S410)。而且，如果照到了位于游戲位置人(步驟S410的YES)，處理部200則算出視為位于該游戲位置的人的臉部特征值，與中途退場者對照數據566進行對照(步驟S412)。對照的結果，認定為視為位于游戲位置的人與中途退場的游戲者為同一人物時(步驟S414的YES)，將退場回歸標志567(參照圖19)設為“I (正常回歸)”(步驟S416)，解除操作輸入的受限狀態(步驟S420)，結束中途退場處理。
[0325]另一方面，當受限狀態維持計時器達到“O”時(步驟S406的YES)，處理部200將退場回歸標志567設為“O (未回歸)”(步驟S418)，解除操作輸入的受限狀態(步驟S420)，結束中途退場處理。
[0326]返回圖20的流程圖，當退場回歸標志567為“I”時，處理部200視為中途退場的游戲者已經返回(步驟S440的YES)，按照推薦樂曲目錄561顯示用于選擇下一個游戲曲子的選曲畫面(步驟S442)。
[0327]而且，在顯示選曲畫面的狀態下，檢測到規定的風格變更操作時(步驟S446的YES)，處理部200根據該操作，在選曲畫面顯示從樂曲庫520選擇的其他各風格子庫524的推薦曲目錄或者新曲目錄522 (步驟S448)。
[0328]而且，如果檢測到規定的選曲操作(步驟S450的YES)，則將顯示在選曲畫面中的目錄中的選擇操作對象的曲名存儲于游戲數據560的游戲曲名562 (步驟S452)，結束游戲曲選擇處理。而且，進入步驟S140。
[0329]當退場回歸標志567為“O”時(步驟S440的NO)，處理部200視為中途退場的游戲者未返回，進入步驟S2。
[0330]在步驟S380中，當判斷為不滿足游戲繼續條件時(步驟S380的NO)，處理部200拍攝游戲者的樣子(步驟S470)，算出各游戲者的臉部特征值，參照顧客層設定數據510，判斷顧客層(步驟S472 ;參照圖13)。
[0331]而且，當所判斷的游戲者的顧客層符合營銷對象顧客層時(步驟S474的YES)，拍攝結束游戲后的該游戲者的樣子(步驟S476)，識別游戲結束時的游戲者的臉部表情(步驟S478)，將符合營銷對象顧客層的游戲者的顧客層和、游戲開始前的臉部表情和、在步驟S478中識別的臉部表情和、日期時間相對應地追加在采樣調查數據580中并進行更新(步驟S480)。在調查對游戲的滿意度時利用積蓄在采樣調查數據580的這些信息。
[0332]另外，在步驟S480中添加在采樣調查數據580中的臉部識別結果的信息可適當包括游戲進行中的識別結果、具體地識別臉部表情時序數據577。并且，在步驟S474中，當多人游戲中一起游戲的游戲者中的任意一人相當于營銷對象顧客層時，作出肯定判斷，即使其他的游戲者不符合營銷對象顧客層，在步驟S480，匯集所有游戲者的顧客層和臉部表情識別結果添加在采樣調查數據中。
[0333]其次，處理部200不管這次游戲的游戲者是否符合營銷對象顧客層，均判斷是否進行了游戲者登錄。而且，對于未進行游戲者登錄的游戲者(步驟S482的NO)，進行規定的游戲者登錄處理，重新進行游戲者登錄(步驟S484)。
[0334]接著，處理部200更新各游戲者的游戲者登錄數據530以便反映這次游戲執行結果(步驟S486)，進入步驟S2。
[0335][效果]
[0336]根據上述的本實施方式，關于吸引力模式的控制可以獲得如下效果。即、由圖像傳感器模塊1326拍攝位于包括游戲位置在內的裝置前方的人物，并求出該人物的臉部特征值，可根據臉部特征值判斷該人物的顧客層。而且，能夠實現針對位于業務用游戲裝置1300的前方的人物的顧客層提高呼吁度的吸引力模式的控制，因此與現有技術相比，能夠提高吸引顧客的效果。
[0337]更加具體地，掌握設置業務用游戲裝置1300的環境中的各日期時間條件的顧客層傾向，并針對主要的顧客層變更演出內容，因此能夠提高吸引顧客的效果。
[0338]并且，當檢測到靠近業務用游戲裝置1300的人物時，可實現針對該靠近的人物(靠近者)的演出內容，因此能夠進一步提高吸引顧客的效果。并且，當靠近者為多數時，根據靠近者的臉部特征值判斷各自的顧客層，基于規定的顧客層優先順序，選擇優先顧客層人物，并將演出內容變更為能夠引起該優先顧客層人物的興趣的內容，從而能夠有效地呼吁。
[0339]關于靠近者，還根據臉部特征值識別是不是登錄游戲者，如果是登錄游戲者，基于其個人信息，能夠將演出內容變更為可容易引起該人物的興趣的內容。
[0340]并且，識別圖像傳感器模塊1326拍攝的范圍內的各人物的臉部表情，并根據其變化，能夠檢測是不是對吸引力模式的演出示出好感的人物。而且，當檢測到示出好感反應的人物時，繼續執行與當前的演出內容有關聯性的其他演出，從而可向該示出好感反應的人物進一步呼吁。
[0341 ] 關于游戲模式的控制可獲得如下效果。
[0342]S卩、拍攝位于游戲位置的游戲者，識別游戲者的臉部表情，可根據其識別結果，控制游戲進行以及/或者游戲演出。通過將游戲者的臉部表情的識別結果反映在游戲的進行或演出的控制中，從而能夠添加目前沒有的新的游戲的有趣性。
[0343]更加具體地，可以將演奏游戲曲的高潮部分的定時中游戲者露出何種臉部表情的信息利用“臉部表情主題”的規則用于游戲演出的控制。現有的游戲中是沒有這樣的有趣性。
[0344]并且，關于“臉部表情主題”的成功/失敗的判斷，比較高潮前和高潮中的不同定時識別的游戲者的臉部表情，根據臉部表情發生何種變化來進行判斷處理，從而，可利用臉部表情的變化來控制游戲演出的變更。當然，利用臉部表情的變化的方式并不限定于有關“臉部表情主題”，例如，在角色扮演游戲或者動作游戲等中可采用利用開始特定的活動前和活動中或者結束活動后的臉部表情的變化的方式。
[0345]并且，根據本實施方式，可以根據滿足出現頻率條件的臉部表情的種類，控制游戲演出。因此，可以根據精通游戲執行的游戲者的主要臉部表情(往往呈現對游戲的游戲者的感情)，選擇演出。這時，通過所選擇的演出內容的設定，有時可以使不高興的游戲者平靜。
[0346]并且，判斷游戲者之外的人物、所謂的觀眾的數量，可以根據該觀眾數改變游戲演出，因此，能夠使游戲更加高漲。
[0347]而且，關于營銷信息的收集可獲得如下效果。
[0348]S卩、拍攝游戲者的樣子，根據所拍攝的圖像判斷游戲者的顧客層，并且識別游戲者的臉部表情，可以將顧客層的判斷結果和臉部表情的識別結果作為采樣調查數據積蓄在內部，或者發送到服務器系統等，積蓄在外部。通過適當解析所積蓄的采樣調查數據，可進行例如，各顧客層對游戲的顧客滿意度的判斷等各種營銷調查。
[0349]并且，能夠對相當于希望作為營銷調查對象的顧客層的游戲者的表情識別結果選擇性地進行采樣，并且，所積蓄的臉部表情包括開始游戲前、游戲進行中以及結束游戲時中的至少任意兩個定時中的游戲者的臉部表情，從而能夠實現適合游戲滿意度調查的采樣。
[0350]但是，多人游戲時，可以不單獨處理每個游戲者而是匯集起來作為調查對象，這時，可以獲得單獨游戲時的調查數據和多人游戲中的調查數據。
[0351]〔變形例〕
[0352]以上，對適用本實用新型的實施方式進行了說明，但是，可適用本発明的實施方式并不限定于上述的實施方式，可以適當地追加、省略、變更構成要素。
[0353]例如，在上述的實施方式中示出了在作為單機版的業務用游戲裝置1300中實現本實用新型的方式，但是本實用新型并不限定于此。
[0354]例如，如圖30所示，還可以以多個業務用游戲裝置1300(1300a、1300bb、……、1300η)通過通信線路I連接于服務器系統1100的游戲系統1390來實現本實用新型。這時，使各業務用游戲裝置1300執行專用的客戶端軟件以此代替游戲程序502，在業務用游戲裝置1300生成游戲畫面。另一方面，還可以在服務器系統1100管理游戲者登錄數據530和采樣調查數據580，在需要檢測登錄游戲者或獲得游戲者的個人信息、更新采樣調查數據580的處理中，適當地接入服務器系統1100，通過數據通信獲得必要的信息。
[0355]并且，作為游戲系統1390的構成，還可以利用服務器系統1100實現臉部表情識別部204的功能，并不是在每個業務用游戲裝置1300裝載專用的芯片。例如，在業務用游戲裝置1300中不裝載臉部認證芯片1356，將圖像傳感器模塊1326拍攝的裝置前方圖像或游戲者圖像發送至服務器系統1100，由裝載于服務器系統1100的臉部識別片或臉部識別程序算出臉部特征值或者識別臉部表情，并從服務器系統1100接收這些結果利用的方式。
[0356]并且，作為游戲裝置的方式，并不限定于業務用為目的的業務用游戲裝置1300。例如，可以以固定式的家庭用游戲裝置或便攜式游戲裝置實現。并且，并不限定于稱為“游戲裝置”的電子設備(計算機)，可執行應用軟件的手機(智能手機)或信息終端裝置、緊湊型數碼相機、音樂游戲者、個人電腦、導航等電子設備因內設有可執行程序的計算機或者可以稱為是計算機，所以也可以用作游戲裝置。
[0357]并且，在上述實施方式中，示出了執行音樂游戲的例子，游戲風格并不限定于音樂游戲，還可以是射擊游戲或格斗游戲、動作游戲等其他風格。并且，并不限定于視頻游戲，例如，還可以利用于獎牌游戲、彈子球游戲等其他游戲。
[0358]符號說明
[0359]2、游戲者4、觀眾
[0360]40、定時向導47、演出顯示部
[0361]100、操作輸入部102、拍攝部
[0362]104、IC卡讀取部106、等價支付檢測部
[0363]108、距離測量部200、處理部
[0364]202、游戲控制部204、臉部表情識別部
[0365]205、游戲者/觀眾識別部206、顧客層判斷部
[0366]208、登錄游戲者檢測部210、吸引力模式控制部
[0367]211、來客顧客層數據庫制作部
[0368]212、日期時間條件基準控制部213、優先顧客層人物選擇部
[0369]214、登錄游戲者優先控制部215、各顧客層組合控制部
[0370]216、好感反應者檢測部217、好感反應者檢測時控制部
[0371]220、游戲模式控制部221、觀眾數基準控制部
[0372]222、出現表情基準控制部224、臉部表情主題控制部
[0373]226、規定臉部表情提示控制部
[0374]228、規定臉部表情適合與否基準控制部
[0375]230、特定定時臉部表情基準控制部
[0376]232、臉部表情變化基準控制部234、獎品支出抽選部
[0377]246、調查對象判斷部248、調查數據存儲控制部
[0378]249、游戲者登錄管理部400、獎品支出部
[0379]500、存儲部501、系統程序
[0380]502、游戲程序510、顧客層設定數據
[0381]512、吸引力模式數據514、各顧客層模式組
[0382]515、各顧客層組合模式組516、省電模式組
[0383]518、登錄游戲者優先模式組520、樂曲庫
[0384]526、各顧客層子庫528、各表情子庫
[0385]530、游戲者登錄數據532、游戲者ID
[0386]533、年齡性別信息534、個人認證用臉部特征值
[0387]536、游戲履歷數據538、嗜好解析數據
[0388]544、主題設定數據546、游戲模式演出內容設定數據
[0389]547、標準演出數據548、特別演出設定數據庫
[0390]549、多觀眾用特別演出數據550、吸引力模式控制數據
[0391]551、來客顧客層數據庫
[0392]552、各日期時間條件來客顧客層數據
[0393]553、最優化對象識別數據554、最優化對象臉部表情
[0394]560、游戲數據561、推薦樂曲目錄
[0395]565、適用演出ID566、中途退場者對照數據
[0396]570、各游戲者數據572、得分
[0397]573、規定臉部表情分數574、規定臉部表情種類
[0398]575、游戲者顧客層576、臉部表情識別履歷數據
[0399]577、識別臉部表情時序數據578、臉部表情統計數據
[0400]580、采樣調查數據1300、業務用游戲裝置
[0401]1301、游戲裝置主體1304、操作臺
[0402]1306、操作輸入裝置1322、視頻監控器
[0403]1326、圖像傳感器模塊1328、距離傳感器
[0404]1342、獎品支出裝置1350、控制單元
[0405]1351、CPU1352、IC 存儲器
[0406]1353、通信裝置1356、臉部識別芯片。
【權利要求】
1.一種游戲系統,包括: 拍攝部，用于拍攝游戲系統前方；以及 臉部識別部，其從所述拍攝部所拍攝的拍攝圖像識別、提取臉部圖像部分，獲得臉部特征值，并根據所述臉部特征值獲得顧客層數據和臉部表情數據。
2.根據權利要求1所述的游戲系統，還包括: 吸引力模式控制部，其利用所述顧客層數據，控制吸引力模式的演出內容； 好感反應者檢測部，其基于所述臉部表情數據，檢測所述拍攝圖像中拍攝到對該游戲系統具有興趣的人物；以及 吸引力模式數據存儲部，其把關于所述吸引力模式的演出內容的數據與該演出內容的分類信息相對應地存儲， 所述吸引力模式控制部具有好感反應者檢測時控制單元，其在所述好感反應者檢測部有檢測出時，從所述吸引力模式存儲部選擇分類信息與當前執行中的吸引力模式的演出內容滿足規定的關聯條件的演出內容的數據，按照給予的定時切換演出內容。
3.根據權利要求1或2所述的游戲系統，還包括: 游戲控制部，其基于所述臉部表情數據控制游戲進行和/或游戲演出。
4.根據權利要求1或2所述的游戲系統，其中， 所述臉部識別部用于識別開始游戲前、游戲進行中、結束游戲時中的至少任兩個定時中的臉部表情。
5.根據權利要求1或2所述的游戲系統，其中， 所述游戲系統是能夠由多個游戲者進行多人游戲的游戲系統，事先規定了各游戲者的游戲位置， 所述拍攝部以把位于各所述游戲位置的游戲者包括在拍攝范圍內的方式進行配置， 所述臉部識別部獲得各游戲者的顧客層數據。
【文檔編號】G06Q30/02GK204010024SQ201290000660
【公開日】2014年12月10日 申請日期:2012年7月5日 優先權日:2011年7月8日
【發明者】中島德秀, 藪下達久, 深見和佳子, 長田隆一 申請人:株式會社萬代南夢宮游戲