顧客行為分析裝置、顧客行為分析系統(tǒng)和顧客行為分析方法

顧客行為分析裝置、顧客行為分析系統(tǒng)和顧客行為分析方法
【專利摘要】本發(fā)明涉及一種顧客行為分析裝置、顧客行為分析系統(tǒng)和顧客行為分析方法。顧客行為分析裝置包括：跟蹤單元，其被配置為基于由在自助區(qū)域周圍的區(qū)域捕獲圖像的成像裝置提供的圖像信息來跟蹤在自助區(qū)域周圍的區(qū)域中移動的人；檢測單元，其被配置為基于由跟蹤單元執(zhí)行的跟蹤結(jié)果來獲得每一個人相對于顧客需要進(jìn)入以從自助區(qū)域選擇和拾取物品的訪問區(qū)域的移動方向和人在訪問區(qū)域中的停留時間，并且基于移動方向和停留時間來檢測出放棄完成自助行為的未完成人；輸出信息生成單元，其被配置為基于由檢測單元執(zhí)行的檢測結(jié)果來生成表示分析結(jié)果的輸出信息。
【專利說明】顧客行為分析裝置、顧客行為分析系統(tǒng)和顧客行為分析方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種顧客行為分析裝置、顧客行為分析系統(tǒng)和顧客行為分析方法，用于執(zhí)行對在商業(yè)機構(gòu)中的顧客行為的分析。
【背景技術(shù)】
[0002]存在多種類型的商業(yè)機構(gòu)，包括諸如休閑餐廳的餐廳、諸如超市、便利店的零售商店等。不論商業(yè)機構(gòu)的類型如何，與基于在商業(yè)機構(gòu)中顧客的行為的分析結(jié)果的商業(yè)機構(gòu)的操作相關(guān)的發(fā)展中的改善措施有益于改善顧客滿意度和商業(yè)機構(gòu)的操作的流水線，由此增大商業(yè)機構(gòu)的銷售和利潤。
[0003]與在商業(yè)機構(gòu)中的顧客行為分析相關(guān)地，已知下述技術(shù):其中，使用由被建立來捕獲在諸如超市或便利店的零售商店中的圖像的相機所獲得的圖像信息來檢測出已經(jīng)訪問物品陳列架的顧客(參見JP2012-022528A和JP2009-048430A)或檢測出顧客進(jìn)出商店中的各種區(qū)域并且獲得顧客在每一個區(qū)域中的停留時間(參見JP2006-285409A)。
[0004]諸如休閑餐廳的一些餐廳具有諸如沙拉吧的自助區(qū)域，其中，提供了用于自助的食品。如果在自助區(qū)域處提供的食品的選擇未滿足顧客的偏好或顧客所要的食品用完，則顧客可能放棄完成選擇和拾取食品的自助行為，并且不拾取食品而返回他的/她的桌子。而且，同樣當(dāng)自助區(qū)域擁擠著顧客時，顧客可能放棄完成自助行為。
[0005]因此，當(dāng)顧客放棄完成自助行為時，可以假定在餐廳的自助系統(tǒng)的操作中存在一些問題。因此，通過檢測出放棄完成自助行為的人(顧客)并且研究使得他們放棄完成自助行為的原因，有可能在實際上作出抱怨之前了解導(dǎo)致來自顧客的抱怨的在餐廳中的問題，并且通過采取措施來處理在餐廳中的該問題，有可能避免來自顧客的抱怨，并且改善顧客滿意度。
[0006]在傳統(tǒng)技術(shù)中，可能基于顧客在零售商店中的行為來獲得指示顧客對于所提供的物品等的感興趣程度的信息。而且，通過將這樣的信息與由POS系統(tǒng)提供的銷售信息組合，可能獲得在促銷中有用的信息。然而，該傳統(tǒng)技術(shù)未提供用于分析顧客的自助行為、特別是用于檢測出放棄完成自助行為的人的手段，并且因此，期望可以允許用戶容易了解靠近自助區(qū)域但是放棄完成自助行為的人的出現(xiàn)狀態(tài)的技術(shù)。

【發(fā)明內(nèi)容】

[0007]本發(fā)明被用作解決在現(xiàn)有技術(shù)中的上述問題，并且本發(fā)明的主要目的是提供顧客行為分析裝置、顧客行為分析系統(tǒng)和顧客行為分析方法，它們被配置為允許用戶容易了解靠近自助區(qū)域但是放棄完成從自助區(qū)域選擇和拾取物品的自助行為的人的出現(xiàn)的狀態(tài)。
[0008]為了實現(xiàn)上述目的，在本發(fā)明的第一方面中，提供了一種顧客行為分析裝置，用于執(zhí)行對在提供了用于自助的物品的商業(yè)機構(gòu)中從自助區(qū)域選擇和拾取物品的顧客的自助行為的分析，所述顧客行為分析裝置包括:人跟蹤單元，所述人跟蹤單元被配置為基于由在所述自助區(qū)域周圍的區(qū)域捕獲圖像的成像裝置提供的圖像信息來跟蹤在所述自助區(qū)域周圍的區(qū)域中移動的人；未完成人檢測單元(48)，所述未完成人檢測單元被配置為基于由所述人跟蹤單元執(zhí)行的跟蹤結(jié)果來獲得每一個人相對于顧客需要進(jìn)入以從所述自助區(qū)域選擇和拾取物品的訪問區(qū)域的移動方向和所述人在所述訪問區(qū)域中的停留時間、并且基于所述移動方向和所述停留時間來檢測出放棄完成所述自助行為的未完成人；輸出信息生成單元，所述輸出信息生成單元被配置為基于由所述未完成人檢測單元執(zhí)行的檢測結(jié)果來生成表示分析結(jié)果的輸出信息，其中，所述人跟蹤單元包括:人識別單元(52)，所述人識別單元被配置為確定在包括所述訪問區(qū)域的指定區(qū)域中檢測到的對象是否被識別為人，并且當(dāng)所述對象被識別為人時，向所述對象分配人ID ;以及，人校正單元，所述人校正單元被配置為當(dāng)被識別為人的第一對象的跟蹤在所述指定區(qū)域中失敗并且其后被識別為人的第二對象在所述指定區(qū)域中重新出現(xiàn)時，確定所述第一和第二對象是否代表相同的人，并且當(dāng)確定所述第一和第二對象代表相同的人時，向所述第二對象分配已經(jīng)向所述第一對象分配的相同的人ID，其中，當(dāng)滿足下面兩個條件的至少一個時所述人校正單元確定所述第一和第二對象代表相同的人:從當(dāng)所述第一對象的跟蹤失敗時的時間至當(dāng)所述第二對象出現(xiàn)時的時間所經(jīng)歷的時間段滿足預(yù)定接近條件、以及從所述第一對象的跟蹤失敗的位置到所述第二對象出現(xiàn)的位置的距離滿足預(yù)定接近條件。
[0009]而且，在本發(fā)明的第二方面中，提供了一種顧客行為分析裝置，用于執(zhí)行對在提供了用于自助的物品的商業(yè)機構(gòu)中從自助區(qū)域選擇和拾取物品的顧客的自助行為的分析，所述顧客行為分析裝置包括:人跟蹤單元，所述人跟蹤單元被配置為基于由在所述自助區(qū)域周圍的區(qū)域捕獲圖像的成像裝置提供的圖像信息來跟蹤在所述自助區(qū)域周圍的區(qū)域中移動的人；未完成人檢測單元，所述未完成人檢測單元被配置為基于由所述人跟蹤單元執(zhí)行的跟蹤結(jié)果來獲得每一個人相對于顧客需要進(jìn)入以從所述自助區(qū)域選擇和拾取物品的訪問區(qū)域的移動方向和所述人在所述訪問區(qū)域中的停留時間、并且基于所述移動方向和所述停留時間來檢測出放棄完成所述自助行為的未完成人；輸出信息生成單元，所述輸出信息生成單元被配置為基于由所述未完成人檢測單元執(zhí)行的檢測結(jié)果來生成表示分析結(jié)果的輸出信息，其中，當(dāng)人從其進(jìn)入所述訪問區(qū)域的方向和所述人離開所述訪問區(qū)域的方向相同時、并且當(dāng)所述人在所述訪問區(qū)域中的所述停留時間比預(yù)定閾值短時，所述未完成人檢測單元確定所述人是未完成人。
[0010]根據(jù)上述結(jié)構(gòu)，檢測出接近所述自助區(qū)域但是放棄完成自助行為的人(未完成人)，并且輸出與未完成人的出現(xiàn)狀態(tài)相關(guān)的分析結(jié)果，并且因此，諸如所述商業(yè)機構(gòu)的管理者的用戶可以容易了解未完成人的出現(xiàn)狀態(tài)。這使得有可能研究使得顧客放棄完成自助行為的起因，并且在實際上作出抱怨之前了解能夠?qū)е聛碜灶櫩蜋C的抱怨的在所述商業(yè)機構(gòu)中的問題。因此，通過采取措施來處理在商業(yè)機構(gòu)中的該問題，有可能避免來自顧客的抱怨，并且改善顧客滿意度。具體地說，即使在難以跟蹤人的情況下，例如當(dāng)在所述自助區(qū)域周圍的區(qū)域擁擠著人時，也能夠通過執(zhí)行人校正處理以及評估每一個人的移動方向和停留時間來掌握人的移動狀態(tài)，并且因此，有可能最小化對放棄完成自助行為的未完成人的檢測的失敗，并且以高檢測速率和以高精度來檢測出未完成人。
[0011]在本發(fā)明的第三方面中，所述商業(yè)機構(gòu)是餐廳，并且所述物品包括食品。
[0012]根據(jù)這種結(jié)構(gòu)，因為需要一定的時間來使得人(顧客)將食品從所述自助區(qū)域放在他的/她的盤等上，所以所述停留時間可以指示所述人是否執(zhí)行了這樣的服務(wù)行為。因此，有可能以聞精度檢測出放棄完成自助彳丁為的未完成人。
[0013]在本發(fā)明的第四方面中，將所述訪問區(qū)域劃分為至少第一區(qū)域和第二區(qū)域，所述第一區(qū)域與所述自助區(qū)域鄰接，而所述第二區(qū)域與所述自助區(qū)域間隔開；并且所述未完成人檢測單元基于人進(jìn)入所述第一區(qū)域和所述第二區(qū)域的狀態(tài)來檢測出未完成人。
[0014]根據(jù)這種結(jié)構(gòu)，有可能以高精度來檢測出放棄完成自助行為的未完成人。
[0015]在本發(fā)明的第五方面中，當(dāng)人從其進(jìn)入所述訪問區(qū)域的方向和所述人離開所述訪問區(qū)域的方向相同時，并且當(dāng)所述人未進(jìn)入所述訪問區(qū)域時，所述未完成人檢測單元確定所述人是未完成人。
[0016]根據(jù)這種結(jié)構(gòu)，有可能以高精度來檢測出放棄完成自助行為的未完成人。
[0017]在本發(fā)明的第六方面中，所述輸出信息生成單元生成與每一個預(yù)定時間段的所述未完成人的出現(xiàn)狀態(tài)相關(guān)的信息作為所述輸出信息。
[0018]根據(jù)這種結(jié)構(gòu)，使得諸如所述商業(yè)機構(gòu)的管理者的用戶能夠了解每一預(yù)定時間段(時隙)的未完成人的出現(xiàn)的狀態(tài)，特別是未完成人的檢測的數(shù)量(所檢測到的未完成人的數(shù)量)。由此，用戶可以識別出未完成人的檢測的數(shù)量高的一個或多個時隙，并且研究致使顧客放棄完成自助行為的起因。
[0019]在本發(fā)明的第七方面中，所述顧客行為分析裝置進(jìn)一步包括:顯示控制單元，所述顯示控制單元被配置為從記錄了由所述成像裝置提供的圖像信息的圖像記錄裝置獲取圖像信息，并且向顯示裝置輸出所述圖像信息，其中，所述顯示控制單元使得用于選擇未完成人的屏幕顯示在所述顯示裝置上，并且一旦由用戶執(zhí)行了選擇操作，就使得包括了所選擇的未完成人的圖像顯示在所述顯示裝置上。
[0020]根據(jù)這種結(jié)構(gòu)，使用包括所述未完成人的圖像，用戶可以詳細(xì)查看所述未完成人放棄完成自助行為的情況，并且研究使得所述人放棄完成自助行為的起因。而且，用戶可以確認(rèn)是否存在未完成人的錯誤檢測，即，被檢測為未完成人的人是否實際上放棄完成自助行為，由此，諸如商業(yè)機構(gòu)的管理者的用戶可以精確地了解未完成人的出現(xiàn)的狀態(tài)。
[0021]在本發(fā)明的第八方面中，提供了一種顧客行為分析系統(tǒng)，用于執(zhí)行對在提供了用于自助的物品的商業(yè)機構(gòu)中從自助區(qū)域選擇和拾取物品的顧客的自助行為的分析，所述顧客行為分析系統(tǒng)包括:成像裝置，所述成像裝置被配置為捕獲在所述自助區(qū)域周圍的區(qū)域的圖像；以及，多個信息處理裝置，其中，所述多個信息處理裝置共同地包括:人跟蹤單元，所述人跟蹤單元被配置為基于由所述成像裝置提供的圖像信息來跟蹤在所述自助區(qū)域周圍的區(qū)域中移動的人；未完成人檢測單元，所述未完成人檢測單元被配置為基于由所述人跟蹤單元執(zhí)行的跟蹤結(jié)果來獲得每一個人相對于顧客需要進(jìn)入以從所述自助區(qū)域選擇和拾取物品的訪問區(qū)域的移動方向和所述人在所述訪問區(qū)域中的停留時間、并且基于所述移動方向和所述停留時間來檢測出放棄完成所述自助行為的未完成人；輸出信息生成單元，所述輸出信息生成單元被配置為基于由所述未完成人檢測單元執(zhí)行的檢測結(jié)果來生成表示分析結(jié)果的輸出信息，其中，所述人跟蹤單元包括:人識別單元，所述人識別單元被配置為確定在包括所述訪問區(qū)域的指定區(qū)域中檢測到的對象是否被識別為人，并且當(dāng)所述對象被識別為人時，向所述對象分配人ID ;以及，人校正單元，所述人校正單元被配置為當(dāng)被識別為人的第一對象的跟蹤在所述指定區(qū)域中失敗并且其后被識別為人的第二對象在所述指定區(qū)域中重新出現(xiàn)時，確定所述第一和第二對象是否代表相同的人，并且當(dāng)確定所述第一和第二對象代表相同的人時，向所述第二對象分配已經(jīng)向所述第一對象分配的相同的人ID，其中，當(dāng)滿足下面兩個條件的至少一個時所述人校正單元確定所述第一和第二對象代表相同的人:從當(dāng)所述第一對象的跟蹤失敗時的時間至當(dāng)所述第二對象出現(xiàn)時的時間所經(jīng)歷的時間段滿足預(yù)定接近條件、以及從所述第一對象的所述跟蹤失敗的位置到所述第二對象出現(xiàn)的位置的距離滿足預(yù)定接近條件。
[0022]而且，在本發(fā)明的第九方面中，提供了一種顧客行為分析系統(tǒng)，用于執(zhí)行對在提供了用于自助的物品的商業(yè)機構(gòu)中從自助區(qū)域選擇和拾取物品的顧客的自助行為的分析，所述顧客行為分析系統(tǒng)包括:成像裝置，所述成像裝置被配置為捕獲在所述自助區(qū)域周圍的區(qū)域的圖像；以及，多個信息處理裝置，其中，所述多個信息處理裝置共同地包括:人跟蹤單元，所述人跟蹤單元被配置為基于由所述成像裝置提供的圖像信息來跟蹤在所述自助區(qū)域周圍的區(qū)域中移動的人；未完成人檢測單元，所述未完成人檢測單元被配置為基于由所述人跟蹤單元執(zhí)行的跟的結(jié)果來獲得每一個人相對于顧客需要進(jìn)入以從所述自助區(qū)域選擇和拾取物品的訪問區(qū)域的移動方向和所述人在所述訪問區(qū)域中的停留時間，并且基于所述移動方向和所述停留時間來檢測出放棄完成所述自助行為的未完成人；輸出信息生成單元，所述輸出信息生成單元被配置為基于由所述未完成人檢測單元執(zhí)行的檢測結(jié)果來生成表示分析結(jié)果的輸出信息，其中，當(dāng)人從其進(jìn)入所述訪問區(qū)域的方向和所述人離開所述訪問區(qū)域的方向相同時、并且當(dāng)所述人在所述訪問區(qū)域中的所述停留時間比預(yù)定閾值短時，所述未完成人檢測單元確定所述人是未完成人。
[0023]根據(jù)這些結(jié)構(gòu)，與根據(jù)本發(fā)明的第一和第二方面的結(jié)構(gòu)類似地，使得諸如商業(yè)機構(gòu)的管理者的用戶能夠容易地了解放棄完成自助行為的未完成人的出現(xiàn)的狀態(tài)。
[0024]在本發(fā)明的第十方面中，提供了一種顧客行為分析方法，用于執(zhí)行對在提供了用于自助的物品的商業(yè)機構(gòu)中從自助區(qū)域選擇和拾取物品的顧客的自助行為的分析，所述分析由在所述商業(yè)機構(gòu)之內(nèi)或之外設(shè)置的信息處理裝置執(zhí)行，所述方法包括:第一步驟，基于由在所述自助區(qū)域周圍的區(qū)域捕獲圖像的成像裝置提供的圖像信息來跟蹤在所述自助區(qū)域周圍的區(qū)域中移動的人；第二步驟，基于在所述第一步驟中的跟蹤的結(jié)果來獲得每一個人相對于顧客需要進(jìn)入以從所述自助區(qū)域選擇和拾取物品的訪問區(qū)域的移動方向和所述人在所述訪問區(qū)域中的停留時間，并且基于所述移動方向和所述停留時間來檢測出放棄完成所述自助行為的未完成人；第三步驟，基于在所述第二步驟中的檢測結(jié)果來生成表示分析結(jié)果的輸出信息，其中，所述第一步驟包括:人識別步驟，確定在包括所述訪問區(qū)域的指定區(qū)域中檢測到的對象是否被識別為人，并且當(dāng)所述對象被識別為人時，向所述對象分配人ID ；以及，人校正步驟，當(dāng)被識別為人的第一對象的跟蹤在所述指定區(qū)域中失敗并且其后被識別為人的第二對象在所述指定區(qū)域中重新出現(xiàn)時，確定所述第一和第二對象是否代表相同的人，并且當(dāng)確定所述第一和第二對象代表相同的人時，向所述第二對象分配已經(jīng)向所述第一對象分配的相同的人ID，其中，當(dāng)滿足下面兩個條件的至少一個時，在所述人校正步驟中確定所述第一和第二對象代表相同的人:從當(dāng)所述第一對象的所述跟蹤失敗時的時間至當(dāng)所述第二對象出現(xiàn)時的時間所經(jīng)歷的時間段滿足預(yù)定接近條件、以及從所述第一對象的所述跟蹤失敗的位置到所述第二對象出現(xiàn)的位置的距離滿足預(yù)定接近條件。
[0025]在本發(fā)明的第十一方面中，提供了一種顧客行為分析方法，用于執(zhí)行對在提供了用于自助的物品的商業(yè)機構(gòu)中從自助區(qū)域選擇和拾取物品的顧客的自助行為的分析，所述分析由在所述商業(yè)機構(gòu)之內(nèi)或之外設(shè)置的信息處理裝置執(zhí)行，所述方法包括:第一步驟，基于由在所述自助區(qū)域周圍的區(qū)域捕獲圖像的成像裝置提供的圖像信息來跟蹤在所述自助區(qū)域周圍的區(qū)域中移動的人；第二步驟，基于在所述第一步驟中的跟蹤結(jié)果來獲得每一個人相對于顧客需要進(jìn)入以從所述自助區(qū)域選擇和拾取物品的訪問區(qū)域的移動方向和所述人在所述訪問區(qū)域中的停留時間、并且基于所述移動方向和所述停留時間來檢測出放棄完成所述自助行為的未完成人；第三步驟，基于在所述第二步驟中的檢測結(jié)果來生成表示分析結(jié)果的輸出信息，其中，當(dāng)人從其進(jìn)入所述訪問區(qū)域的方向和所述人離開所述訪問區(qū)域的方向相同時、并且當(dāng)所述人在所述訪問區(qū)域中的所述停留時間比預(yù)定閾值短時，在所述第二步驟中確定所述人是未完成人。
[0026]根據(jù)這些結(jié)構(gòu)，與根據(jù)本發(fā)明的第一和第二方面的結(jié)構(gòu)類似地，使得諸如商業(yè)機構(gòu)的管理者的用戶能夠容易地了解放棄完成自助行為的未完成人的出現(xiàn)的狀態(tài)。
【專利附圖】

【附圖說明】
[0027]現(xiàn)在，在下面參考附圖針對本發(fā)明的優(yōu)選實施例的各方面描述了本發(fā)明，在附圖中:
[0028]圖1是示出根據(jù)本發(fā)明的實施例的分析系統(tǒng)的整體結(jié)構(gòu)的圖；
[0029]圖2是示出餐廳的內(nèi)部布局的示例的平面圖；
[0030]圖3是示出由被設(shè)置來捕獲在沙拉吧31周圍的區(qū)域的圖像的相機I捕獲的圖像的說明圖；
[0031]圖4是示意地示出在餐廳設(shè)置的PC3的功能結(jié)構(gòu)的框圖；
[0032]圖5是示出顯示未完成人檢測信息的分析結(jié)果屏幕的示例的說明圖；
[0033]圖6是示意地示出顧客行為分析單元43的配置的框圖；
[0034]圖7是示出由顧客行為分析單元43執(zhí)行的處理的過程的流程圖；
[0035]圖8是用于說明由未完成人確定單元57執(zhí)行的處理的說明圖；
[0036]圖9是示出在沙拉吧31周圍的人的示例性移動模式的示意平面圖；
[0037]圖10是示出顯示容器更換信息的分析結(jié)果屏幕的示例的說明圖；
[0038]圖11是示意地示出物品狀態(tài)分析單元44的結(jié)構(gòu)的框圖；以及
[0039]圖12是示出由被設(shè)置來捕獲在沙拉吧31周圍的區(qū)域的圖像的相機I捕獲的圖像的示例的說明圖。
【具體實施方式】
[0040]下面，將參考附圖來作出本發(fā)明的示例性實施例的說明。
[0041]圖1是示出根據(jù)本實施例的分析系統(tǒng)的整體結(jié)構(gòu)的圖。該分析系統(tǒng)被設(shè)計來用于例如連鎖休閑餐廳，并且包括在多個連鎖餐廳內(nèi)的每一個處設(shè)置的相機(成像裝置)1、記錄器(圖像記錄裝置)2、個人計算機(PC)(顧客行為分析裝置、物品狀態(tài)分析裝置、瀏覽器裝置)3、銷售點(POS)工作站(銷售信息管理裝置)4、手持終端(訂單輸入裝置)5和打印機6。此外，該分析系統(tǒng)包括PC (瀏覽器裝置)7和POS服務(wù)器(銷售信息管理裝置)8，其被設(shè)置在監(jiān)視多個餐廳的管理辦公室處。[0042]在每一個餐廳中，相機1、記錄器2、PC3、P0S工作站4和打印機6連同無線中繼裝置11被連接到局域網(wǎng)(LAN)以與因特網(wǎng)協(xié)議(IP)網(wǎng)絡(luò)連接，該無線中繼裝置11中繼手持終端5和路由器12的通信。PC3和POS工作站4具有與其連接的各自的顯示單元(顯示裝置)13、14。在管理辦公室中，PC7和POS服務(wù)器8連同路由器16連接到LAN以與IP網(wǎng)絡(luò)連接。PC7和POS服務(wù)器8具有與其連接的各自的顯示單元(顯示裝置)17、18。
[0043]在每一個餐廳處設(shè)置的相機1、記錄器2、PC3和在管理辦公室處設(shè)置的PC7構(gòu)成監(jiān)控系統(tǒng)，用于監(jiān)控餐廳內(nèi)部。相機I被設(shè)置在餐廳中的適當(dāng)位置處，以捕獲在餐廳中的各個區(qū)域的圖像，并且由其獲得的圖像信息被記錄器2記錄。在餐廳處設(shè)置的PC3和在管理辦公室處設(shè)置的PC7可以顯示由相機I捕獲的在餐廳中的各個區(qū)域的實時圖像或由記錄器2記錄的在餐廳中的各個區(qū)域的過去的圖像，并且這允許在餐廳或管理辦公室處的用戶查看在餐廳中的情況。
[0044]在每一個餐廳處設(shè)置的手持終端5、無線中繼裝置11和打印機6構(gòu)成用于接受顧客訂單的訂單輸入系統(tǒng)。每一個手持終端5要被餐廳職員(諸如男服務(wù)員或女服務(wù)員)攜帶，由此，該職員在從顧客獲得訂單后可以將訂單的內(nèi)容(訂購的菜單項目、對于每一個菜單項目的訂單的數(shù)量)輸入進(jìn)手持終端5。在廚房中設(shè)置打印機6，并且當(dāng)職員將訂單內(nèi)容輸入進(jìn)手持終端5時，從打印機6輸出訂單內(nèi)容，使得向廚房職員發(fā)送訂單內(nèi)容。
[0045]在每一個餐廳處設(shè)置的POS工作站4和訂單輸入系統(tǒng)與在管理辦公室處設(shè)置的POS服務(wù)器8構(gòu)成POS (銷售點)系統(tǒng)，其管理與每一個餐廳的銷售相關(guān)的銷售信息。該POS系統(tǒng)管理訂單內(nèi)容、訂單時間、結(jié)帳時間、訂購方法、顧客數(shù)量等作為銷售信息。在POS工作站4和POS服務(wù)器8之間共享該銷售信息。POS工作站4管理設(shè)置POS工作站4處的餐廳的銷售信息，并且POS服務(wù)器8管理在其管理下的所有成員餐廳的銷售信息。
[0046]構(gòu)成訂單輸入系統(tǒng)的每一個手持終端5被適配來允許餐廳職員輸入除了訂單內(nèi)容(訂購菜單項目、對于每一個菜單項目的訂單的數(shù)量)之外的訂單信息，諸如在桌子處就坐的顧客的數(shù)量、桌子編號(座椅編號)等，并且所輸入的訂單信息被傳送到POS工作站4。除了用于管理銷售信息的功能之外，POS工作站4具有用于執(zhí)行結(jié)帳的注冊功能，并且被設(shè)置在收銀臺處。該POS工作站4與在附圖中未示出的錢箱和收據(jù)打印機連接。POS工作站4基于從手持終端5傳送的訂單信息和在結(jié)帳時獲得的結(jié)帳信息來生成銷售信息。
[0047]在每一個餐廳處設(shè)置的PC3被配置成實現(xiàn):顧客行為分析裝置，其執(zhí)行對在餐廳中的顧客行為的分析；以及，物品狀態(tài)分析裝置，其執(zhí)行對在餐廳的特定區(qū)域中布置的物品的狀態(tài)分析。由在餐廳處設(shè)置的PC3生成的分析結(jié)果信息可以在PC3本身上被顯示，并且也被傳送到在管理辦公室處設(shè)置的PC7，使得可以在PC7上顯示信息。因此，PC3和7的每一個都被配置為瀏覽器裝置，該瀏覽器裝置允許用戶觀看分析結(jié)果信息。
[0048]圖2是示出餐廳的內(nèi)部布局的示例的平面圖。該餐廳包括門道、等候區(qū)域、收銀臺、帶有座椅的桌子、沙拉吧(自助區(qū)域)、飲料吧和廚房。該沙拉吧和飲料吧是自助式桌子或柜臺，其上分別提供了食品和飲料，以便顧客自助。而且，在餐廳中的適當(dāng)位置處設(shè)置了多個相機I。具體地說，在圖2中所示的示例中，設(shè)置相機I以捕獲在門道、桌子、沙拉吧和廚房處的圖像。
[0049]圖3是示出由被設(shè)置來捕獲在沙拉吧31周圍的區(qū)域的圖像的相機I捕獲的圖像的說明圖。在沙拉吧31附近的天花板上安裝了用于捕獲在沙拉吧31周圍的區(qū)域的圖像的相機1，使得相機I捕獲沙拉吧31和在沙拉吧31周圍的區(qū)域中移動的顧客和職員的圖像。在沙拉吧31處，以在各自的獨立容器中供應(yīng)食品的方式來提供多種食品，并且顧客從沙拉吧31選擇和在他們自己的盤等上放置期望的食品。
[0050]圖4是示意地示出在餐廳處設(shè)置的PC3的功能結(jié)構(gòu)的框圖。PC3包括監(jiān)控單元41和餐廳狀態(tài)分析單元42。監(jiān)控單元41允許PC3作為用于監(jiān)控餐廳內(nèi)部的監(jiān)控系統(tǒng)。監(jiān)控單元41控制相機I和記錄器2的操作，并且使得用戶能夠具有由相機I捕獲的在餐廳中的各個區(qū)域的圖像的實時視圖，并且查看在記錄器2中記錄的在餐廳中的各個區(qū)域的圖像。[0051 ] 餐廳狀態(tài)分析單元42包括顧客行為分析單元43和物品狀態(tài)分析單元44。顧客行為分析單元43執(zhí)行在餐廳中、特別是對在本實施例中在沙拉吧附近的顧客行為的分析。物品狀態(tài)分析單元44執(zhí)行在餐廳的特定區(qū)域中布置的物品的狀態(tài)、特別是對在本實施例中包含食品和在沙拉吧處擺放的容器狀態(tài)的分析。
[0052]應(yīng)當(dāng)注意，通過經(jīng)由PC3的CPU來執(zhí)行用于監(jiān)控和餐廳狀態(tài)分析的程序來實現(xiàn)監(jiān)控單元41和餐廳狀態(tài)分析單元42。這些程序被預(yù)裝在作為用于實施專用于監(jiān)控和餐廳狀態(tài)分析功能的裝置的信息處理裝置的PC3中，或者可以以在適當(dāng)?shù)挠涗浗橘|(zhì)上存儲的形式被提供給用戶作為可以在通用操作系統(tǒng)上運行的應(yīng)用程序。
[0053]接下來，將作出由在餐廳中設(shè)置的PC3的顧客行為分析單元43執(zhí)行的顧客行為分析處理的說明。在該顧客行為分析處理中，執(zhí)行對在沙拉吧附近的顧客行為的分析。具體地說，在本實施例中，獲得與放棄完成從沙拉吧選擇和拾取食品的自助行為的人，即靠近沙拉吧以拾取在沙拉吧處提供的食品但是離開沙拉吧而沒有拾取食品的人(這樣的人將在以下被稱為未完成人)相關(guān)的未完成人檢測信息。
[0054]如在上面所述，在沙拉吧處，以在各自的獨立容器中供應(yīng)食品的方式來提供食品，并且，顧客從沙拉吧選擇和在他們自己的盤等上放置期望的食品。當(dāng)在沙拉吧處提供的食品的選擇不滿足顧客的偏好時或者當(dāng)顧客所要的食品已經(jīng)用完時，顧客可能放棄完成從沙拉吧選擇和拾取食品的自助行為。而且，同樣當(dāng)在沙拉吧前的區(qū)域擁擠著顧客時，顧客可能放棄完成自助行為。在顧客行為分析處理中，檢測出放棄完成自助行為的這樣的未完成人。
[0055]圖5是示出顯示未完成人檢測信息的分析結(jié)果屏幕的示例的說明圖。該分析結(jié)果屏幕將被顯示在餐廳處設(shè)置的PC3的顯示單元13和在管理辦公室處設(shè)置的PC7的顯示單元17上。該分析結(jié)果屏幕示出了對于在指定日期上的餐廳的營業(yè)時間(10: OOAM至1:00ΑΜ)期間的每一個時隙而言的未完成人的檢測的數(shù)量(或被檢測為未完成人的人的數(shù)量)和每一次檢測的時間，作為未完成人檢測信息。從這個分析結(jié)果屏幕，用戶可以明白每一個時隙的未完成人出現(xiàn)的狀態(tài)。
[0056]而且，除了放棄完成從沙拉吧選擇和拾取食品的自助行為的未完成人的數(shù)量之夕卜，該分析結(jié)果屏幕也顯示出對于每一個時隙而言的經(jīng)過的人的檢測的數(shù)量(或被檢測為經(jīng)過的人的人的數(shù)量)和每一次檢測的時間，其中，經(jīng)過的人是經(jīng)過沙拉吧前面的人。由此，用戶可以明白經(jīng)過的人的出現(xiàn)狀態(tài)。而且，通過組合與未完成人相關(guān)的信息和與經(jīng)過的人相關(guān)的信息，用戶可以掌握接近沙拉吧但是未執(zhí)行或完成自助行為的人的總數(shù)。應(yīng)當(dāng)注意，可以設(shè)計分析結(jié)果屏幕以僅顯示與未完成人相關(guān)的信息。
[0057]分析結(jié)果屏幕進(jìn)一步包括操作元件71，用于指定年、月和日，使得用戶可以通過操作操作元件71來選擇日期，并且查看在所選擇的日期上的分析結(jié)果。應(yīng)當(dāng)注意，在其中在管理辦公室處設(shè)置的PC7的顯示單元17上顯示分析結(jié)果屏幕的情況下，優(yōu)選地在分析結(jié)果屏幕中顯示用于允許用戶選擇餐廳的操作元件。
[0058]而且，該分析結(jié)果屏幕包括:圖像顯示區(qū)域72，用于顯示包括未完成人和經(jīng)過的人的圖像；以及，操作元件73，用于允許用戶選擇未完成人或經(jīng)過的人，使得當(dāng)通過相關(guān)聯(lián)的操作元件73的操作來選擇未完成人或經(jīng)過的人時,在圖像顯示單元72上顯示包括所選擇的未完成人或經(jīng)過的人的圖像。這允許用戶詳細(xì)查看未完成人和經(jīng)過的人的行為。在此應(yīng)當(dāng)注意，所顯示的圖像可以是靜止畫面或移動畫面，并且也可能顯示靜止畫面和移動畫面兩者。
[0059]圖6是示意地示出顧客行為分析單元43的配置的框圖。通過由顧客行為分析單元43執(zhí)行的未完成人檢測處理來生成在圖5中所示的分析結(jié)果屏幕。顧客行為分析單元43包括作為與未完成人檢測處理相關(guān)的單元的人跟蹤單元46、人跟蹤信息存儲單元47、未完成人檢測單元48、輸出信息生成單元49和顯示控制單元50。
[0060]人跟蹤單元46基于由在沙拉吧周圍的區(qū)域捕獲圖像的相機I提供的圖像信息來對在沙拉吧周圍的區(qū)域中移動的人進(jìn)行跟蹤的處理。人跟蹤?目息存儲單兀47存儲表不由人跟蹤單元46執(zhí)行的跟蹤結(jié)果的人跟蹤信息。未完成人檢測單元48基于在人跟蹤信息存儲單元47中存儲的人跟蹤信息來執(zhí)行檢測放棄完成自助行為的未完成人的處理。輸出信息生成單元49基于由未完成人檢測單元48執(zhí)行的檢測結(jié)果來執(zhí)行生成表示分析結(jié)果的輸出信息的處理。顯示控制單元50執(zhí)行從存儲由相機I提供的圖像信息的記錄器2獲得圖像信息并且向顯示單元13輸出所獲得的圖像信息的處理。
[0061]具體地說，在本實施例中，輸出信息生成單元49執(zhí)行生成與每一個時隙(預(yù)定時間段)的未完成人的出現(xiàn) 的狀態(tài)相關(guān)的未完成人檢測信息作為輸出信息的處理，并且在PC3和7的顯示單元13和顯示單元17上顯示根據(jù)未完成人檢測信息的分析結(jié)果屏幕(參見圖5)。
[0062]而且,在本實施例中，顯示控制單元50執(zhí)行下述處理:使得顯示單元13和17顯示用于選擇未完成人的屏幕，并且在用戶執(zhí)行的操作操作之后，使得在顯示單元13和17上顯示包括所選擇的未完成人的圖像。為了實現(xiàn)這一點，在圖5中所示的分析結(jié)果屏幕包括用于顯示包括未完成人的圖像的圖像顯示區(qū)域72和用于允許用戶選擇未完成人的操作元件73，使得當(dāng)通過相關(guān)聯(lián)的操作元件73的操作來選擇未完成人時，在圖像顯示區(qū)域72中顯示包括所選擇的未完成人的圖像。
[0063]接下來，將作出通過在圖6中所示的人跟蹤單元46來執(zhí)行的人跟蹤處理的詳細(xì)說明。圖7是示出由顧客行為分析單元43執(zhí)行的處理的過程的流程圖。在下面，將在必要時參考圖7來作出人跟蹤處理的說明。
[0064]如在上面所述，人跟蹤單元46被配置成基于由在沙拉吧周圍的區(qū)域捕獲圖像的相機I提供的圖像信息來跟蹤在沙拉吧周圍的區(qū)域中移動的人，并且如圖6中所示，包括對象檢測單元51、人識別單元52和人校正單元53。人跟蹤單元46可以使用已知的圖像識別技術(shù)(對象跟蹤技術(shù)、人識別技術(shù)等)。
[0065]人跟蹤單元46在從在沙拉吧周圍的區(qū)域捕獲圖像的相機I的圖像的輸入后(在圖7中的ST101)執(zhí)行指定在要執(zhí)行人跟蹤的圖像中的區(qū)域的處理(在圖7中的ST102)。該指定區(qū)域被定義為包括在圖3中所示的訪問區(qū)域32的區(qū)域，即，定義為實質(zhì)上與訪問區(qū)域32相同的區(qū)域或大于訪問區(qū)域32的區(qū)域。
[0066]對象檢測單元51執(zhí)行如下處理:從輸入圖像檢測在指定區(qū)域中存在的對象(移動體)并且跟蹤每一個所檢測的對象(在圖7中的ST103)。在該對象跟蹤處理中，對于移動畫面的每一個幀獲得每一個對象的位置信息(坐標(biāo))，并且該位置信息連同時間信息(幀的圖像捕獲時間)被累積地存儲在人跟蹤信息存儲單元47中來作為人跟蹤信息。
[0067]人識別單元52執(zhí)行下述處理:確定由對象檢測單元51檢測的每一個對象是否被識別為人，并且當(dāng)該對象被識別為人時，向該對象分配人ID (在圖7中的ST104)。在該人識別處理中，當(dāng)還沒有被分配人ID的對象被再一次識別為人時，向該對象分配新的人ID。
[0068]人校正單元53執(zhí)行校正由人識別單元52分配的人ID的處理。在對象跟蹤處理中，因為諸如在沙拉吧周圍的區(qū)域中的擁擠的原因，在指定區(qū)域中的對象的跟蹤可能失??；即，進(jìn)入指定區(qū)域的對象的移動路徑可能在對象離開指定區(qū)域之前結(jié)束。在人校正處理中，將對于其的跟蹤失敗的對象(第一對象)鏈接到在第一對象的跟蹤失敗后在指定區(qū)域中重新出現(xiàn)的對象(第二對象)，使得可以可靠地掌握人的移動的狀態(tài)。
[0069]具體地說，首先，執(zhí)行搜索以找到對于其而言在指定的區(qū)域中的跟蹤失敗的對象(第一對象)。S卩，執(zhí)行搜索(在圖7中的ST105)，以找到在人識別處理(在圖7中的ST104)中向?qū)ο蠓峙涞娜薎D中的、向從指定區(qū)域消失而沒有離開指定區(qū)域的記錄的對象(人)分配的人ID (消失的人ID)。
[0070]接下來，執(zhí)行搜索以找到在指定區(qū)域中的第一對象的跟蹤失敗后在指定區(qū)域中重新出現(xiàn)的對象(第二對象)。即，執(zhí)行搜索(在圖7中的ST106)以找到在人識別處理(在圖7中的ST104)中向?qū)ο蠓峙涞娜薎D中的、向在與通過消失人ID搜索(在圖7中的ST105)獲得的消失人ID相關(guān)的消失時間后在指定區(qū)域中重新出現(xiàn)的對象(人)分配的人ID (出現(xiàn)人ID)。
[0071]然后，確定對于在指定區(qū)域中的跟蹤失敗的對象(第一對象)和對于在第一對象的跟蹤失敗后在指定區(qū)域中重新出現(xiàn)的對象(第二對象)是否表示同一人，即，在消失人ID搜索(在圖7中的ST105)中獲得的消失人ID和在出現(xiàn)人ID搜索(在圖7中的ST106)中獲得的出現(xiàn)人ID是否已經(jīng)被分配到同一人(對象)，并且如果確定這些人ID已經(jīng)被分配到同一人，則重新出現(xiàn)的對象(第二對象)被分配已經(jīng)被分配給對于跟蹤失敗的對象(第一對象)(在圖7中的ST107)的相同人ID。
[0072]基于從當(dāng)對象(第一對象)的跟蹤失敗的時間到當(dāng)新的對象(第二對象)出現(xiàn)時的時間所經(jīng)歷的時間段和從第一對象的跟蹤失敗的位置到新的對象(第二對象)出現(xiàn)的位置的距離是否滿足各自的預(yù)定接近條件，來執(zhí)行關(guān)于兩個對象是否表示同一人的該確定。具體地說，當(dāng)所經(jīng)歷的時間段和距離中的每一個都滿足各自的預(yù)定接近條件時，確定對于跟蹤失敗的對象和重新出現(xiàn)的對象表示同一人。
[0073]在該實施例中，作為接近條件，設(shè)置分別與時間段和距離相關(guān)的閾值，使得基于與該閾值的比較來執(zhí)行關(guān)于兩個對象是否表示同一人的確定。具體地說，當(dāng)所檢測到的經(jīng)歷的時間段短于其預(yù)定閾值并且所檢測到的距離小于其預(yù)定閾值時，確定兩個對象表示同一人。應(yīng)當(dāng)注意，可以僅基于所經(jīng)歷的時間段和所述距離中的僅一個來執(zhí)行上述確定。
[0074]重復(fù)上述(在圖7中的ST105至ST107)處理，直到已經(jīng)對于在指定區(qū)域中的跟蹤失敗的所有對象、即對于所有消失的人ID執(zhí)行了該處理(在圖7中的ST108)。然后，作為人跟蹤信息在人跟蹤信息存儲單元47中存儲了校正的人ID，并且，基于在人跟蹤信息存儲單元47中存儲的人跟蹤信息來執(zhí)行未完成人檢測處理(在圖7中的ST109)。
[0075]如在上面所述，在本實施例中，執(zhí)行人校正處理，用于將對于在指定區(qū)域中的跟蹤失敗的對象(第一對象)鏈接到在第一對象的跟蹤的失敗后在指定區(qū)域中重新出現(xiàn)的對象(第二對象)。因此，即使在難以跟蹤人的情況下，諸如當(dāng)在自助區(qū)域周圍的區(qū)域擁擠著人時，也有能夠掌握人的移動狀態(tài)，并且因此，有可能最小化對放棄完成自助行為的未完成人的檢測的失敗，并且以高檢測速率來檢測出未完成人。
[0076]接下來，將給出通過在圖6中所示的未完成人檢測單元48執(zhí)行的未完成人檢測處理的詳細(xì)說明。
[0077]未完成人檢測單元48執(zhí)行下述處理:從人跟蹤信息存儲單元47獲得表示由人跟蹤單元46執(zhí)行的跟蹤結(jié)果的人跟蹤信息，并且基于該人跟蹤信息，檢測出放棄完成從沙拉吧選擇和拾取食品的自助行為的未完成人。
[0078]如圖3中所示，在沙拉吧31周圍限定訪問區(qū)域32，其中，訪問區(qū)域32是顧客需要進(jìn)入以從沙拉吧31選擇和拾取食品的區(qū)域。訪問區(qū)域32被劃分為與沙拉吧31鄰接的第一區(qū)域32a和與沙拉吧31間隔開的第二區(qū)域32b。第一區(qū)域32a和第二區(qū)域32b中的每一個都具有大體對應(yīng)于一人的大小的寬度W，使得第一區(qū)域32a和第二區(qū)域32b中的每一個都可以容納單行的人。而且，第一區(qū)域32a和第二區(qū)域32b中的每一個都被限定為具有字母L的形狀。
[0079]在圖6中所示的未完成人檢測單元48執(zhí)行下述處理:獲得每一個被檢測的人相對于訪問區(qū)域32的移動方向和該人在訪問區(qū)域32中的停留時間，并且基于該移動方向和停留時間來檢測出未完成人。未完成人檢測單元48包括移動方向檢測單元55、停留時間檢測單元56和未完成人確定單元57。
[0080]移動方向檢測單元55對于被分配人ID的每一個對象執(zhí)行下述處理:檢測對象從其進(jìn)入訪問區(qū)域的方向和該對象離開訪問區(qū)域的方向。停留時間檢測單元56對于被分配人ID的每一個對象執(zhí)行下述處理:檢測從進(jìn)入訪問區(qū)域的時間到離開訪問區(qū)域的時間所經(jīng)歷的停留時間。未完成人確定單元57基于由移動方向檢測單元55和停留時間檢測單元56執(zhí)行的檢測結(jié)果來執(zhí)行確定每一個對象是否是放棄完成自助行為的未完成人的處理。
[0081]圖8是用于說明由未完成人確定單元57執(zhí)行的處理的說明圖。圖9是示出在沙拉吧31周圍的人的示例性移動模式的示意平面圖。圖9A示出在人完成自助行為的情況下的示例性移動模式。圖9B示出在人經(jīng)過沙拉吧的情況下的示例性移動模式。圖9C示出在人放棄完成自助行為的情況下的示例性移動模式。
[0082]如圖8中所示，當(dāng)對象從其進(jìn)入訪問區(qū)域32的方向和該對象離開訪問區(qū)域32的方向相同(即，當(dāng)進(jìn)入和離開訪問區(qū)域32時使用了相同的路徑)并且在訪問區(qū)域32中的對象的停留時間比預(yù)定閾值短時，未完成人確定單元57確定該對象是放棄完成從沙拉吧選擇和拾取食品的自助行為的未完成人。
[0083]如圖9A中所示，當(dāng)顧客完成自助行為時，顧客從在用餐區(qū)域中的桌子接近沙拉吧31，并且在從沙拉吧31拾取食品后，帶著食品一起返回到桌子。而且，如圖9C中所示，當(dāng)顧客放棄完成自助行為時，顧客從用餐區(qū)域的桌子靠近沙拉吧31但是未從沙拉吧31拾取食品而返回到桌子。因此，當(dāng)顧客具有執(zhí)行自助行為的意愿時，顧客從桌子向沙拉吧31移動，并且然后移動回桌子，并且結(jié)果，顧客從其進(jìn)入訪問區(qū)域32的方向和顧客離開訪問區(qū)域32的方向變得相同(即，當(dāng)進(jìn)入和離開訪問區(qū)域32時使用了相同的路徑)。
[0084]另一方面，在諸如當(dāng)顧客去往衛(wèi)生間和從其返回時、當(dāng)顧客在吃完飯后離開桌子去往收銀臺或門道時或者當(dāng)職員在廚房和用餐區(qū)域之間移動以從顧客獲得訂單、傳遞菜單項目和清潔桌子時的情況下，如果沙拉吧31沿著路徑定位，則人(顧客或職員)經(jīng)過的沙拉吧31附近，如圖9B中所示。在該情況下，人從其進(jìn)入訪問區(qū)域32的方向和人離開訪問區(qū)域32去往的方向彼此不同。因此，基于人從其進(jìn)入訪問區(qū)域32的方向和人離開訪問區(qū)域32去往的方向，有可能彼此區(qū)分意欲執(zhí)行自助行為而靠近沙拉吧的人和僅經(jīng)過沙拉吧附近的人。
[0085]而且，如圖9A中所示，在顧客完成自助行為的情況下，顧客從沙拉吧拾取食品，即，將期望的食品從其中包含各自的食品的容器放在他的/她的盤等上，并且因為這樣的自助行為需要特定的時間，所以顧客在訪問區(qū)域32中的停留時間趨向于長。
[0086]另一方面，在顧客因為諸如在沙拉吧31處提供的食品的選擇不滿足顧客的偏好或顧客所要的食品已經(jīng)用完的原因而放棄完成自助行為的情況下，顧客未呆在訪問區(qū)域32長時間，并且因此，在訪問區(qū)域32中的顧客的停留時間趨向于短。因此，基于在訪問區(qū)域32中的停留時間，有可能彼此區(qū)分完成自助行為的人和放棄完成自助行為的未完成人。
[0087]因此，在本實施例中，基于人從其進(jìn)入訪問區(qū)域32的方向和人離開訪問區(qū)域32的方向是否相同和在訪問區(qū)域32中的人的停留時間是否長于預(yù)定時間段，有可能精確地確定該人是否是未完成人。
[0088]應(yīng)當(dāng)注意，在上述的未完成人確定處理中，與停留時間相關(guān)的閾值可以例如是5秒。
[0089]而且，未完成人確定單元57基于人進(jìn)入第一區(qū)域32a和第二區(qū)域32b的狀態(tài)來檢測出放棄完成從沙拉吧31選擇和拾取食品的自助行為的未完成人，如圖8中所示。具體地說，在本實施例中，如果人從其進(jìn)入訪問區(qū)域32的方向和人離開訪問區(qū)域32的方向相同并且人未進(jìn)入第一區(qū)域32a，則將該人確定為未完成人。
[0090]如圖9A中所示，當(dāng)顧客完成自助行為時，顧客進(jìn)入與沙拉吧31鄰接的第一區(qū)域32a，來從沙拉吧31選擇和拾取食品。
[0091]另一方面，如圖9C中所示，當(dāng)顧客因為在沙拉吧31前面的區(qū)域中的擁擠而放棄完成自助行為時，該顧客可能能夠進(jìn)入第二區(qū)域32b但是因為擁擠而不能進(jìn)入與沙拉吧31鄰接的第一區(qū)域32a，并且可能不進(jìn)入第一區(qū)域32a而返回到桌子。因此，基于人(顧客)是否進(jìn)入第一區(qū)域32a，有可能彼此區(qū)分完成自助行為的人和放棄完成自助行為的未完成人。
[0092]而且，如圖9B中所示，當(dāng)人經(jīng)過沙拉吧31附近時，該人可以僅進(jìn)入第二區(qū)域32b。在該情況下，人從其進(jìn)入訪問區(qū)域32的方向和人離開訪問區(qū)域32的方向不同。因此，通過除了人是否進(jìn)入第一區(qū)域32a之外也考慮每一個人從其進(jìn)入訪問區(qū)域32的方向和該人離開訪問區(qū)域32的方向是否相同，有可能彼此區(qū)分放棄完成自助行為的未完成人和經(jīng)過沙拉吧31附近的人。應(yīng)當(dāng)注意，為了可靠地彼此區(qū)分試圖在訪問區(qū)域32中執(zhí)行自助行為的人和僅通過訪問區(qū)域32的人，有可能當(dāng)對人進(jìn)行分類時另外考慮諸如每一個人的特定行為或姿勢(例如，一個人伸出他/她的手臂拿起了自助餐盤子的行為或一個人拿著自助餐盤子的姿勢等)的其他因素。[0093]因此，在本實施例中，基于人從其進(jìn)入訪問區(qū)域32的方向和人離開訪問區(qū)域32的方向是否相同和人是否進(jìn)入第一區(qū)域32a中，有可能精確地確定該人是否是未完成人。
[0094]在沙拉吧處，職員可以執(zhí)行從沙拉吧去除需要被重新填充食品的容器并且在將該容器再一次填充食品后返回容器的容器更換工作。與容器更換工作相關(guān)的職員的這樣的行為可以類似于放棄完成自助行為的顧客的行為，并且因此，可能錯誤地將執(zhí)行容器更換工作的職員檢測為未完成人。然而，職員的行為和顧客的行為關(guān)于相對于訪問區(qū)域32的移動方向上不同。即，有可能基于人是否從廚房或用餐區(qū)域進(jìn)入訪問區(qū)域32和/或人是否離開訪問區(qū)域32而去往廚房或用餐區(qū)域來確定所檢測的人是否是職員或顧客。
[0095]應(yīng)當(dāng)注意，通過本實施例，如圖3和9中所示限定訪問區(qū)域32(第一區(qū)域32a和第二區(qū)域32b)，并且，可以根據(jù)在沙拉吧31周圍的情況來任意地限定訪問區(qū)域32。例如，在其中在沙拉吧31周圍存在諸如墻壁或隔斷的障礙物的情況下，可以在其中不存在障礙物的沙拉吧31的一側(cè)上限定訪問區(qū)域。
[0096]而且，在本實施例中，如圖3中所示，在接近沙拉吧31的天花板上安裝的相機I以斜角來捕獲在沙拉吧31周圍的區(qū)域的圖像，并且在成像角度的限制下如圖中所示限定訪問區(qū)域32 (第一區(qū)域32a和第二區(qū)域32b)。然而，可以根據(jù)在沙拉吧31和桌子之間的位置關(guān)系等來適當(dāng)?shù)叵薅ㄔL問區(qū)域32。
[0097]S卩，每一個顧客的自助行為涉及在用餐區(qū)域中的桌子和沙拉吧31之間的移動，并且因此，顧客相對于沙拉吧31的移動方向可能根據(jù)在沙拉吧31和顧客所坐在的桌子之間的位置關(guān)系而不同，并且在一些情況下，顧客可能從各個方向接近沙拉吧31，并且可以離開沙拉吧31而去往各個方向。在這樣的情況下，被設(shè)置來在一個方向上捕獲圖像的相機I可能不足以捕獲顧客的移動，并且可以優(yōu)選地在沙拉吧31上設(shè)置多個相機I或設(shè)置全方向相機。
[0098]而且，可以適當(dāng)?shù)叵薅ǖ谝粎^(qū)域32a和第二區(qū)域32b，以應(yīng)付顧客相對于沙拉吧31的移動方向，并且具體地說，優(yōu)選的是，將第一區(qū)域32a限定為在與沙拉吧31鄰接的整個區(qū)域上延伸，并且將第二區(qū)域32b限定為整體圍繞第一區(qū)域32a。
[0099]應(yīng)當(dāng)注意，可以通過在適當(dāng)?shù)臅r間從人跟蹤信息存儲單元47獲得人跟蹤信息來執(zhí)行上述的未完成人檢測處理，并且也可以在適當(dāng)?shù)臅r間執(zhí)行人跟蹤處理。因此，這些處理可以在每次用于預(yù)定時間段(時隙)的數(shù)據(jù)變得可獲得時(例如，在每小時的基礎(chǔ)上執(zhí)行處理的情況下每次經(jīng)歷一個小時)被執(zhí)行，或者以更長的間隔被執(zhí)行，使得在相同的時間執(zhí)行用于不同的時隙的處理。例如，有可能在每日的基礎(chǔ)上執(zhí)行處理，使得在那天餐廳關(guān)閉后或下一天可以可獲得對于給定天的未完成人的出現(xiàn)的狀態(tài)。
[0100]如在上面所述，在本實施例中，檢測出接近自助區(qū)域但是放棄完成自助行為的人(未完成人)，并且輸出與未完成人的出現(xiàn)的狀態(tài)相關(guān)的分析結(jié)果，并且因此，諸如商業(yè)機構(gòu)(餐廳)的管理者的用戶可以容易了解未完成人的出現(xiàn)的狀態(tài)。這使得有可能研究使得顧客放棄完成自助行為的起因，并且在實際上作出抱怨之前了解會導(dǎo)致來自顧客的抱怨的在商業(yè)機構(gòu)中的問題。因此，通過采取用于處理在商業(yè)機構(gòu)中的問題的措施，有可能避免來自顧客的抱怨，并且改善顧客滿意度。
[0101]而且，在本實施例中，在諸如休閑餐廳的餐廳中檢測出放棄從自助區(qū)域(沙拉吧)選擇和拾取食品的完成自助行為的未完成人。因為顧客需要一定的時間來將食品從自助區(qū)域放在他的/她的盤等上，所以有可能基于停留時間來確定顧客是否執(zhí)行了這樣的自助行為，并且由此以高準(zhǔn)確度來檢測出放棄完成自助行為的未完成人。
[0102]而且，在本實施例中，輸出信息生成單元49生成與在每一個預(yù)定時間段(時隙)的未完成人的出現(xiàn)狀態(tài)相關(guān)的信息，使得顯示根據(jù)該信息的分析結(jié)果屏幕(參見圖5)。因此，使得諸如商業(yè)機構(gòu)的管理者的用戶能夠了解每一個預(yù)定時間段(時隙)的未完成人的出現(xiàn)狀態(tài)，特別是未完成人的檢測的次數(shù)(所檢測到的未完成人的數(shù)量)。由此，用戶可以識別其中未完成人的檢測的數(shù)量高的時隙，并且研究致使顧客放棄完成自助行為的起因。
[0103]而且，在本實施例中，響應(yīng)于由用戶對于在分析結(jié)果屏幕中的操作元件執(zhí)行的選擇操作(參見圖5)，在顯示單元13和17上顯示包括所選擇的未完成人的圖像。因此，使用包括未完成人的圖像，用戶可以詳細(xì)查看其中未完成人放棄完成自助行為的情況，并且研究致使人放棄完成自助行為的起因。而且，用戶可以確認(rèn)是否存在未完成人的錯誤檢測，即，是否被檢測為未完成人的人是否實際上放棄完成自助行為，由此，諸如商業(yè)機構(gòu)的管理者的用戶可以實際上了解未完成人的出現(xiàn)狀態(tài)。應(yīng)當(dāng)注意，可以提供下述功能:該功能用于允許用戶在顯示單元13和17上校正或刪除錯誤檢測結(jié)果，其可以被發(fā)現(xiàn)作為未完成人和經(jīng)過的人的行為的詳細(xì)查看的結(jié)果。
[0104]接下來，將作出由在餐廳處設(shè)置的PC3的物品狀態(tài)分析單元44執(zhí)行的物品狀態(tài)分析處理的說明。在該物品狀態(tài)分析處理中，執(zhí)行包含各自的食品并且擺放在沙拉吧處的容器(例如，大盤、碗等)的狀態(tài)的分析。具體地說，在本實施例中，獲得與由餐廳職員執(zhí)行的容器的更換的狀態(tài)相關(guān)的容器更換信息。
[0105]在沙拉吧處，顧客自愿地為自己獲取食品，并且因此，不像職員從顧客獲取其訂單的食品那樣，不能從由POS系統(tǒng)管理的訂單信息了解在沙拉吧處提供的每一種食品的銷售的狀態(tài)。而且，通常通過在廚房處組合多種配料來準(zhǔn)備在沙拉吧處提供的食品。因此，雖然有可能了解從可以被POS系統(tǒng)等管理的每種配料的購買信息購買的每種配料的數(shù)量，但是單獨購買的每種配料的數(shù)量不能指示每種食品的銷售的狀態(tài)。
[0106]另一方面，在沙拉吧處，以在各自的獨立容器中包含食品的方式來向顧客提供多種食品，并且，餐廳職員執(zhí)行容器更換工作:從沙拉吧去除需要被重新填充食品的容器，并且在將容器重新填充食品后將該容器返回到沙拉吧。因此，如果獲得容器的更換的狀態(tài)，則有可能了解每種食品的銷售的狀態(tài)，而不需要職員執(zhí)行麻煩的工作，諸如向終端內(nèi)輸入數(shù)據(jù)。因此，在物品狀態(tài)分析處理中，獲得與通過餐廳職員執(zhí)行的容器的更換的狀態(tài)相關(guān)的容器更換信息。
[0107]圖10是示出顯示容器更換信息的分析結(jié)果屏幕的示例的示例性圖。該分析結(jié)果屏幕要被顯示在在餐廳處設(shè)置的PC3的顯示單元13和在管理辦公室處設(shè)置的PC7的顯示單元17上。該分析結(jié)果屏幕包括堆積條形圖，該堆積條形圖示出了在指定日期上的餐廳的營業(yè)時間(10:00AM至1:00AM)期間的每一個時隙的、相對于容器更換的總次數(shù)的每一種食品的容器更換的次數(shù)作為容器更換信息。
[0108]從該分析結(jié)果屏幕，諸如餐廳的管理者的用戶可以了解在容器更換的總次數(shù)上的改變的特性以及根據(jù)時隙的每種食品的容器更換的次數(shù)，其中，每種食品的容器更換的次數(shù)提供了容器更換的總數(shù)的分類。而且，通過識別其中對于每種食品執(zhí)行容器更換的時隙，有可能對于每種食品了解在容器更換之間的時間段(更換間隔)，即，從當(dāng)容器被重新填充食品時到當(dāng)在該容器中供應(yīng)的食品被耗盡時的時間段。也可能基于容器的更換時間來詳細(xì)顯示更換間隔。
[0109]分析結(jié)果屏幕進(jìn)一步包括操作元件81，用于指定年、月和日，使得用戶可以通過操作操作元件81來選擇日期，并且查看在所選擇的日期上的分析結(jié)果。應(yīng)當(dāng)注意，在其中在管理辦公室處設(shè)置的PC7的顯示單元17上顯示分析結(jié)果屏幕的情況下，優(yōu)選地在分析結(jié)果屏幕中顯示用于允許用戶選擇餐廳的操作元件。
[0110]圖11是示意地示出物品狀態(tài)分析單元44的結(jié)構(gòu)的框圖。通過由物品狀態(tài)分析單元44執(zhí)行的容器更換檢測處理來生成在圖10中所示的分析結(jié)果屏幕。物品狀態(tài)分析單元44包括作為與容器更換檢測處理相關(guān)的單元的感興趣對象檢測單元61、更換檢測單元62、匯總單元63和輸出信息生成單元64。
[0111]感興趣對象檢測單元61基于由用于在沙拉吧周圍的區(qū)域捕獲圖像的相機I提供的圖像信息來執(zhí)行下述處理:從沙拉吧檢測每一個容器的消失和容器返回到沙拉吧。而且，在該感興趣對象檢測處理中，基于由相機I執(zhí)行的圖像捕獲的時間來獲得當(dāng)每一個容器從沙拉吧消失時的時間(消失時間)和當(dāng)每一個容器返回到沙拉吧時的時間(返回時間)。
[0112]更換檢測單元62基于由感興趣對象檢測單元61執(zhí)行的檢測結(jié)果來執(zhí)行檢測用于每一種食品的容器更換。在該更換檢測處理中，當(dāng)感興趣對象檢測單元61在檢測到容器的消失后檢測到同一容器的返回時，確定將容器的更換被執(zhí)行一次。
[0113]匯總單元63執(zhí)行下述處理:匯總由更換檢測單元62執(zhí)行的檢測的結(jié)果，并且獲得每一個時隙(預(yù)定時間段)的容器更換的次數(shù)。在該匯總處理中，對于定義了用于匯總的單位時間段的每一個時隙(一小時)獨立地獲得用于每一種食品的容器更換的次數(shù)，使得對于每一個時隙獲得用于每種食品的容器更換的次數(shù)。該用于每一個時隙的匯總的處理需要每一個容器的更換時間，并且可以根據(jù)由感興趣對象檢測單元61獲得的時間信息(消失時間和返回時間)確定每一個更換時間。
[0114]輸出信息生成單元64基于由更換檢測單元62執(zhí)行的檢測結(jié)果來執(zhí)行生成表示分析結(jié)果的輸出信息的處理。在該輸出信息生成處理中，生成輸出信息，該輸出信息表不由匯總單元63獲得的用于每一個時隙的容器更換的次數(shù)。具體地，在本實施例中，輸出信息生成單元64基于對于每一個時隙獲得的每種食品的容器更換的次數(shù)的時間序列來生成與每種食品的容器更換的次數(shù)上的改變的趨勢相關(guān)的信息作為輸出信息，使得在PC3和7的顯示單元13和顯示單元17上顯示根據(jù)該信息的分析結(jié)果屏幕(參見圖10)。
[0115]圖12是示出由被設(shè)置來在沙拉吧31周圍的區(qū)域捕獲圖像的相機I捕獲的圖像的示例的說明圖。感興趣對象檢測單元61使用已知的圖像識別技術(shù)來檢測出容器從沙拉吧31的消失(去除檢測)和容器返回到沙拉吧31 (返回檢測)。在去除檢測和返回檢測中，根據(jù)背景差別方法，將輸入圖像與當(dāng)在沙拉吧31處沒有容器時已經(jīng)捕獲的背景圖像作比較，以檢測出容器的消失(去除)和返回。
[0116]圖12A示出在職員已經(jīng)從沙拉吧31去除了容器后立即捕獲的圖像，其中，在沙拉吧31處沒有在圖12B中所示的捕獲的圖像中存在的容器33。圖12B示出在職員使容器33返回到沙拉吧31后立即捕獲的圖像，其中，在沙拉吧31處存在圖12A中所示的捕獲的圖像中不存在的容器33。因此，當(dāng)在檢測到容器的消失后檢測到相同容器的返回時，確定將容器的更換執(zhí)行一次。[0117]如上所述，在本實施例中，檢測到在自助區(qū)域(沙拉吧)中布置的感興趣的對象(包含各自的食品的容器)的更換，并且，輸出感興趣的對象的更換的狀態(tài)的分析結(jié)果。由此，諸如商業(yè)機構(gòu)(餐廳)的管理者的用戶有可能容易了解感興趣的對象的更換的狀態(tài)，而職員不需要執(zhí)行麻煩的工作，諸如當(dāng)執(zhí)行感興趣的對象的更換時向終端內(nèi)輸入數(shù)據(jù)。因此，通過基于感興趣的對象的更換的狀態(tài)來開發(fā)與商業(yè)機構(gòu)的操作相關(guān)的改善措施，有可能改善顧客滿意度和餐廳的操作的流水線，由此增大餐廳的銷售和利潤。
[0118]而且，在本實施例中，匯總單元63匯總由更換檢測單元62執(zhí)行的檢測的結(jié)果，并且獲得每一個預(yù)定時間段(時隙)的每一個感興趣的對象的更換的次數(shù)，并且這允許諸如商業(yè)機構(gòu)的管理者的用戶了解每一個預(yù)定時間段的每一個感興趣的對象的更換的次數(shù)。而且，從每個預(yù)定時間段的感興趣的每個對象的更換的次數(shù)，用戶可以了解感興趣的每個對象的更換間隔，即，在每一個感興趣的對象的更換之間的時間段。
[0119]而且，在本實施例中，輸出信息生成單元64基于對于每一個預(yù)定時間段(時隙)獲得的每一個感興趣的對象的更換的次數(shù)的時間序列來生成與在每一個感興趣的對象的更換的數(shù)量上的改變的趨勢相關(guān)的信息作為輸出信息，使得顯示根據(jù)該信息的分析結(jié)果屏幕(參見圖10)。因此，諸如商業(yè)機構(gòu)的管理者的用戶可以了解每一個感興趣的對象的更換次數(shù)如何根據(jù)時隙改變。因此，通過根據(jù)在每一個感興趣的對象的更換的數(shù)量上的改變來在商業(yè)機構(gòu)處進(jìn)行準(zhǔn)備，有可能改善顧客滿意度，并且提高銷售和利潤。
[0120]而且，在本實施例中，要對于其執(zhí)行更換的檢測的感興趣的對象是包含物品的容器。每一個包含物品的容器具有預(yù)定形狀，并且因此，即使當(dāng)該物品沒有確定的形狀時或當(dāng)該物品由多個物體構(gòu)成時，也可以改善由感興趣的對象檢測單元和更換檢測單元執(zhí)行的檢測的準(zhǔn)確度，以允許諸如商業(yè)機構(gòu)的管理者的用戶更精確地了解感興趣的對象的更換的狀態(tài)。而且，即使當(dāng)難以計數(shù)/測量物品的數(shù)/數(shù)量時，用戶也可以從包含物品的容器的更換的狀態(tài)了解物品的銷售的狀態(tài)。
[0121 ] 在本實施例中，在作為要被執(zhí)行更換的感興趣的對象的容器中包含的物品是食品，諸如在沙拉吧處提供的沙拉成分?？梢酝ㄟ^組合多個配料來準(zhǔn)備這樣的食品中的每一種，并且因此，雖然有可能了解所購買的每一個配料的數(shù)量，但是可能不直接地獲得在沙拉吧處提供的每一種食品的銷售狀態(tài)。也在這樣的情況下，有可能通過獲得容器的更換的狀態(tài)來了解在沙拉吧處提供的每一種食品的銷售的狀態(tài)。而且，通過在不同的餐廳之間比較每一種食品的銷售的狀態(tài)或通過將每一種食品的銷售的狀態(tài)與訪問餐廳的顧客的數(shù)量作比較，有可能適當(dāng)?shù)赜嗁徸鳛榕淞系母鞣N材料，由此改善餐廳的操作效率。
[0122]在本實施例中，作出了向諸如休閑餐廳的餐廳應(yīng)用本發(fā)明的示例性情況的說明。然而，本發(fā)明可以被應(yīng)用到除了餐廳之外的商業(yè)機構(gòu)，諸如零售商店，其可以是超市、便利店等。例如，本發(fā)明可以適用于下述情況:其中，在諸如在超市中的廉價商品處理角的、供顧客選擇和拾取的廉價商品處理區(qū)(自助區(qū)域)中擺放物品。
[0123]而且，雖然在本實施例中作出了其中如圖4中所示通過在餐廳處設(shè)置的PC3執(zhí)行顧客行為分析處理和物品狀態(tài)分析處理的整體的示例的說明，但是也可以例如如圖1中所示通過諸如在管理辦公室處設(shè)置的PC7或形成云計算系統(tǒng)的云計算機21的另一個信息處理裝置來執(zhí)行顧客行為分析處理和物品狀態(tài)分析處理的整體。而且，可以通過多個信息處理裝置的合作來執(zhí)行顧客行為分析處理和物品狀態(tài)分析處理，在該情況下，多個信息處理裝置被配置成能夠經(jīng)由諸如IP網(wǎng)絡(luò)或LAN的通信介質(zhì)或經(jīng)由諸如硬盤或存儲卡的存儲介質(zhì)來彼此發(fā)送或共享信息。由此，聯(lián)合執(zhí)行顧客行為分析處理和物品狀態(tài)分析處理的多個信息處理裝置構(gòu)成顧客行為分析系統(tǒng)和物品狀態(tài)分析系統(tǒng)。
[0124]在該情況下，優(yōu)選的是，在餐廳處設(shè)置的PC3被配置成至少執(zhí)行在顧客行為分析處理中的人跟蹤處理或在物品狀態(tài)分析處理中的感興趣對象檢測處理。在這樣的結(jié)構(gòu)中，因為由人跟蹤處理獲得的人跟蹤信息和由感興趣對象檢測處理獲得的感興趣對象檢測信息具有小的數(shù)據(jù)量，所以即使通過諸如在管理辦公室處設(shè)置的PC7的、在除了餐廳之外的位置處設(shè)置的信息處理裝置來執(zhí)行剩余的處理，通信負(fù)荷也可以小，并且因此，容易以廣域網(wǎng)的形式來操作系統(tǒng)。
[0125]也可以優(yōu)選的是，云計算機21被配置成至少執(zhí)行在顧客行為分析處理中的人跟蹤處理或在物品狀態(tài)分析處理中的感興趣對象檢測處理。在這樣的結(jié)構(gòu)中，雖然人跟蹤處理和感興趣對象檢測處理需要大量的計算，但是通過構(gòu)成云計算系統(tǒng)的信息處理裝置來實現(xiàn)它們，并且因此，不必在用戶側(cè)上、即在餐廳等處準(zhǔn)備高速信息處理裝置。而且，因為剩余的處理需要小的計算量，所以可以作為要作為銷售信息管理裝置的、在餐廳處設(shè)置的信息處理裝置的擴展功能執(zhí)行剩余的處理，并且這可以降低由用戶承擔(dān)的成本。
[0126]云計算機21可以被配置成執(zhí)行顧客行為分析處理和物品狀態(tài)分析處理的整體。在這樣的結(jié)構(gòu)中，變得有可能也在除了在餐廳處設(shè)置的PC3和在管理辦公室處設(shè)置的PC7之外諸如智能電話22的移動終端上查看分析結(jié)果，并且這允許用戶不僅在餐廳或管理辦公室處而且在諸如用戶出差訪問的位置的任何其他位置處查看分析結(jié)果。
[0127]而且，雖然在本實施例中在餐廳處設(shè)置的PC3和在管理辦公室處設(shè)置的PC7用于查看分析結(jié)果，但是有可能提供瀏覽器裝置，用于從PC3和7獨立地查看分析結(jié)果。例如，有可能使用智能電話22來作為用于查看分析結(jié)果的瀏覽器裝置，如上所述，或者向POS工作站4提供用于查看分析結(jié)果的瀏覽器裝置的功能。而且，雖然在本實施例中在顯示單元13和顯示單元17上顯示分析結(jié)果以使得用戶能夠查看分析結(jié)果，但是也有可能通過打印機來輸出分析結(jié)果。
[0128]而且，在本實施例中，如圖3中所示，將顧客需要進(jìn)入以選擇和拾取在自助區(qū)域處供應(yīng)的期望的物品的訪問區(qū)域32劃分為兩個區(qū)域，即，第一區(qū)域32a和第二區(qū)域32b，但是也有可能將訪問區(qū)域32劃分為三個或更多的區(qū)域。
[0129]而且，在本實施例中，作出了其中每一個包含一種或多種物品的容器可更換的示例的說明，但是本發(fā)明可以被應(yīng)用到其中物品本身是可更換的情況。
[0130]而且，在本實施例中，作出了其中對于從沙拉吧選擇和拾取食品的顧客的自助行為執(zhí)行分析的示例的說明，但是本發(fā)明可以被應(yīng)用到飲料吧或其中對于顧客供應(yīng)物品以自助的任何其他自助區(qū)域。
[0131]而且，雖然在本實施例中，每一個具有一小時的持續(xù)時間的時隙限定了用于匯總的時間段，但是用于匯總的時間段不限于所示的實施例，并且可以根據(jù)用戶需要而具有諸如一小時至幾小時、一天至幾天、一星期至幾星期、一個月至幾個月等的任何持續(xù)時間。
[0132]根據(jù)本發(fā)明的顧客行為分析裝置、顧客行為分析系統(tǒng)和顧客行為分析方法具有能夠分析從自助區(qū)域選擇和拾取物品的顧客的自助行為并且檢測出放棄完成自助行為的人的優(yōu)點，并且因此，用作用于執(zhí)行在商業(yè)機構(gòu)中的顧客的行為的分析的顧客行為分析裝置、顧客行為分析系統(tǒng)和顧客行為分析方法。
[0133]通過引用在本申請中包含了原始日本專利申請的內(nèi)容以及在本申請中涉及的現(xiàn)有技術(shù)參考文獻(xiàn)的內(nèi)容，在該原始日本專利申請上作出了對于本申請的巴黎公約優(yōu)先權(quán)要求。
【權(quán)利要求】
1.一種顧客行為分析裝置(43)，用于執(zhí)行對在提供了用于自助的物品的商業(yè)機構(gòu)中從自助區(qū)域(31)選擇和拾取物品的顧客的自助行為的分析，所述顧客行為分析裝置包括: 人跟蹤單元(46)，所述人跟蹤單元被配置為基于由在所述自助區(qū)域周圍的區(qū)域捕獲圖像的成像裝置(I)提供的圖像信息來跟蹤在所述自助區(qū)域周圍的區(qū)域中移動的人； 未完成人檢測單元(48)，所述未完成人檢測單元被配置為基于由所述人跟蹤單元執(zhí)行的跟蹤結(jié)果來獲得每一個人相對于顧客需要進(jìn)入以從所述自助區(qū)域選擇和拾取物品的訪問區(qū)域(32 )的移動方向和所述人在所述訪問區(qū)域中的停留時間、并且基于所述移動方向和所述停留時間來檢測出放棄完成所述自助行為的未完成人；以及 輸出信息生成單元(49)，所述輸出信息生成單元被配置為基于由所述未完成人檢測單元執(zhí)行的檢測結(jié)果來生成表示分析結(jié)果的輸出信息， 其中，所述人跟蹤單元包括: 人識別單元(52)，所述人識別單元被配置為確定在包括所述訪問區(qū)域的指定區(qū)域中檢測到的對象是否被識別為人，并且當(dāng)所述對象被識別為人時，向所述對象分配人ID ;以及，人校正單元(53)，所述人校正單元被配置為當(dāng)被識別為人的第一對象的跟蹤在所述指定區(qū)域中失敗并且其后被識別為人的第二對象在所述指定區(qū)域中重新出現(xiàn)時，確定所述第一和第二對象是否代表相同的人，并且當(dāng)確定所述第一和第二對象代表相同的人時，向所述第二對象分配已經(jīng)向所述第一對象分配的相同的人ID，其中，當(dāng)滿足下面兩個條件的至少一個時所述人校正單元確定所述第一和第二對象代表相同的人:從當(dāng)所述第一對象的跟蹤失敗時的時間至當(dāng)所述第二對象出現(xiàn)時的時間所經(jīng)歷的時間段滿足預(yù)定接近條件、以及從所述第一對象的跟蹤失敗的位置到所述第二對象出現(xiàn)的位置的距離滿足預(yù)定接近條件。
2.一種顧客行為分析裝置(43)，用于執(zhí)行對在提供了用于自助的物品的商業(yè)機構(gòu)中從自助區(qū)域選擇和拾取物品的顧客的自助行為的分析，所述顧客行為分析裝置包括: 人跟蹤單元(46)，所述人跟蹤單元被配置為基于由在所述自助區(qū)域周圍的區(qū)域捕獲圖像的成像裝置(I)提供的圖像信息來跟蹤在所述自助區(qū)域周圍的區(qū)域中移動的人； 未完成人檢測單元(48)，所述未完成人檢測單元被配置為基于由所述人跟蹤單元執(zhí)行的跟蹤結(jié)果來獲得每一個人相對于顧客需要進(jìn)入以從所述自助區(qū)域選擇和拾取物品的訪問區(qū)域(32)的移動方向和所述人在所述訪問區(qū)域中的停留時間、并且基于所述移動方向和所述停留時間來檢測出放棄完成所述自助行為的未完成人； 輸出信息生成單元(49)，所述輸出信息生成單元被配置為基于由所述未完成人檢測單元執(zhí)行的檢測結(jié)果來生成表示分析結(jié)果的輸出信息， 其中，當(dāng)人從其進(jìn)入所述訪問區(qū)域的方向和所述人離開所述訪問區(qū)域的方向相同時、并且當(dāng)所述人在所述訪問區(qū)域中的所述停留時間比預(yù)定閾值短時，所述未完成人檢測單元確定所述人是未完成人。
3.根據(jù)權(quán)利要求1或2所述的顧客行為分析裝置，其中，所述商業(yè)機構(gòu)是餐廳，而所述物品包括食品。
4.根據(jù)權(quán)利要求1至3中的任何一項所述的顧客行為分析裝置，其中: 將所述訪問區(qū)域劃分為至少第一區(qū)域(32a)和第二區(qū)域(32b)，所述第一區(qū)域與所述自助區(qū)域鄰接，而所述第二區(qū)域與所述自助區(qū)域間隔開；并且 所述未完成人檢測單元基于人進(jìn)入所述第一區(qū)域和所述第二區(qū)域的狀態(tài)來檢測出未完成人。
5.根據(jù)權(quán)利要求4所述的顧客行為分析裝置，其中，當(dāng)人從其進(jìn)入所述訪問區(qū)域的方向和所述人離開所述訪問區(qū)域的方向相同時、并且當(dāng)所述人未進(jìn)入所述訪問區(qū)域時，所述未完成人檢測單元確定所述人是未完成人。
6.根據(jù)權(quán)利要求1至5中的任何一項所述的顧客行為分析裝置，其中，所述輸出信息生成單元生成與每一個預(yù)定時間段的所述未完成人的出現(xiàn)狀態(tài)相關(guān)的信息作為所述輸出信息。
7.根據(jù)權(quán)利要求1至6中的任何一項所述的顧客行為分析裝置，進(jìn)一步包括:顯示控制單元(50)，所述顯示控制單元被配置為從記錄了由所述成像裝置提供的圖像信息的圖像記錄裝置(2)獲取圖像信息、并且向顯示裝置(13)輸出所述圖像信息， 其中，所述顯示控制單元使得用于選擇未完成人的屏幕顯示在所述顯示裝置上，并且一旦由用戶執(zhí)行了選擇操作，就使得包括了所選擇的未完成人的圖像顯示在所述顯示裝置上。
8.一種顧客行為分析系統(tǒng)，用于執(zhí)行對在提供了用于自助的物品的商業(yè)機構(gòu)中從自助區(qū)域(31)選擇和拾取物品的顧客的自助行為的分析，所述顧客行為分析系統(tǒng)包括: 成像裝置(1 )，所述成像裝置被配置為捕獲在所述自助區(qū)域周圍的區(qū)域的圖像；以及， 多個信息處理 裝置(3 ；7 ；21), 其中，所述多個信息處理裝置共同地包括: 人跟蹤單元(46)，所述人跟蹤單元被配置為基于由所述成像裝置提供的圖像信息來跟蹤在所述自助區(qū)域周圍的區(qū)域中移動的人； 未完成人檢測單元(48)，所述未完成人檢測單元被配置為基于由所述人跟蹤單元執(zhí)行的跟蹤結(jié)果來獲得每一個人相對于顧客需要進(jìn)入以從所述自助區(qū)域選擇和拾取物品的訪問區(qū)域(32)的移動方向和所述人在所述訪問區(qū)域中的停留時間、并且基于所述移動方向和所述停留時間來檢測出放棄完成所述自助行為的未完成人； 輸出信息生成單元(49)，所述輸出信息生成單元被配置為基于由所述未完成人檢測單元執(zhí)行的檢測結(jié)果來生成表示分析結(jié)果的輸出信息， 其中，所述人跟蹤單元包括: 人識別單元(52)，所述人識別單元被配置為確定在包括所述訪問區(qū)域的指定區(qū)域中檢測到的對象是否被識別為人，并且當(dāng)所述對象被識別為人時，向所述對象分配人ID ;以及， 人校正單元(53)，所述人校正單元被配置為當(dāng)被識別為人的第一對象的跟蹤在所述指定區(qū)域中失敗并且其后被識別為人的第二對象在所述指定區(qū)域中重新出現(xiàn)時，確定所述第一和第二對象是否代表相同的人，并且當(dāng)確定所述第一和第二對象代表相同的人時，向所述第二對象分配已經(jīng)向所述第一對象分配的相同的人ID，其中，當(dāng)滿足下面兩個條件的至少一個時所述人校正單元確定所述第一和第二對象代表相同的人:從當(dāng)所述第一對象的跟蹤失敗時的時間至當(dāng)所述第二對象出現(xiàn)時的時間所經(jīng)歷的時間段滿足預(yù)定接近條件、以及從所述第一對象的所述跟蹤失敗的位置到所述第二對象出現(xiàn)的位置的距離滿足預(yù)定接近條件。
9.一種顧客行為分析系統(tǒng)，用于執(zhí)行對在提供了用于自助的物品的商業(yè)機構(gòu)中從自助區(qū)域(31)選擇和拾取物品的顧客的自助行為的分析，所述顧客行為分析系統(tǒng)包括:成像裝置(I)，所述成像裝置被配置為捕獲在所述自助區(qū)域周圍的區(qū)域的圖像；以及， 多個信息處理裝置(3 ；7 ；21), 其中，所述多個信息處理裝置共同地包括: 人跟蹤單元(46)，所述人跟蹤單元被配置為基于由所述成像裝置提供的圖像信息來跟蹤在所述自助區(qū)域周圍的區(qū)域中移動的人； 未完成人檢測單元(48)，所述未完成人檢測單元被配置為基于由所述人跟蹤單元執(zhí)行的跟蹤結(jié)果來獲得每一個人相對于顧客需要進(jìn)入以從所述自助區(qū)域選擇和拾取物品的訪問區(qū)域(32)的移動方向和所述人在所述訪問區(qū)域中的停留時間、并且基于所述移動方向和所述停留時間來檢測出放棄完成所述自助行為的未完成人；以及 輸出信息生成單元(49)，所述輸出信息生成單元被配置為基于由所述未完成人檢測單元執(zhí)行的檢測結(jié)果來生成表示分析結(jié)果的輸出信息， 其中，當(dāng)人從其進(jìn)入所述訪問區(qū)域的方向和所述人離開所述訪問區(qū)域的方向相同時、并且當(dāng)所述人在所述訪問區(qū)域中的所述停留時間比預(yù)定閾值短時，所述未完成人檢測單元確定所述人是未完成人。
10.一種顧客行為分析方法，用于執(zhí)行對在提供了用于自助的物品的商業(yè)機構(gòu)中從自助區(qū)域(31)選擇和拾取物品的顧客的自助行為的分析，所述分析由在所述商業(yè)機構(gòu)之內(nèi)或之外設(shè)置的信息處理裝置(3 ；7 ;21)執(zhí)行，所述方法包括: 第一步驟(ST101-ST108)，基于由在所述自助區(qū)域周圍的區(qū)域捕獲圖像的成像裝置(I)提供的圖像信息來跟蹤在所述自助區(qū)域周圍的區(qū)域中移動的人； 第二步驟(ST109)，基于在所述第一步驟中的跟蹤結(jié)果來獲得每一個人相對于顧客需要進(jìn)入以從所述自助區(qū)域選擇和拾取物品的訪問區(qū)域(32)的移動方向和所述人在所述訪問區(qū)域中的停留時間、并且基于所述移動方向和所述停留時間來檢測出放棄完成所述自助行為的未完成人； 第三步驟，基于在所述第二步驟中的檢測結(jié)果來生成表示分析結(jié)果的輸出信息， 其中，所述第一步驟包括: 人識別步驟(ST104)，確定在包括所述訪問區(qū)域的指定區(qū)域中檢測到的對象是否被識別為人，并且當(dāng)所述對象被識別為人時，向所述對象分配人ID ;以及， 人校正步驟(ST105-ST108)，當(dāng)被識別為人的第一對象的跟蹤在所述指定區(qū)域中失敗并且其后被識別為人的第二對象在所述指定區(qū)域中重新出現(xiàn)時，確定所述第一和第二對象是否代表相同的人，并且當(dāng)確定所述第一和第二對象代表相同的人時，向所述第二對象分配已經(jīng)向所述第一對象分配的相同的人ID，其中，當(dāng)滿足下面兩個條件的至少一個時在所述人校正步驟中確定所述第一和第二對象代表相同的人:從當(dāng)所述第一對象的所述跟蹤失敗時的時間至當(dāng)所述第二對象出現(xiàn)時的時間所經(jīng)歷的時間段滿足預(yù)定接近條件、以及從所述第一對象的所述跟蹤失敗的位置到所述第二對象出現(xiàn)的位置的距離滿足預(yù)定接近條件。
11.一種顧客行為分析方法，用于執(zhí)行對在提供了用于自助的物品的商業(yè)機構(gòu)中從自助區(qū)域(31)選擇和拾取物品的顧客的自助行為的分析，所述分析由在所述商業(yè)機構(gòu)之內(nèi)或之外設(shè)置的信息處理裝置(3 ；7 ;21)執(zhí)行，所述方法包括: 第一步驟(ST101-ST108)，基于由在所述自助區(qū)域周圍的區(qū)域捕獲圖像的成像裝置提供的圖像信息來跟蹤在所述自助區(qū)域周圍的區(qū)域中移動的人；第二步驟(ST109)，基于在所述第一步驟中的跟蹤結(jié)果來獲得每一個人相對于顧客需要進(jìn)入以從所述自助區(qū)域選擇和拾取物品的訪問區(qū)域(32)的移動方向和所述人在所述訪問區(qū)域中的停留時間、并且基于所述移動方向和所述停留時間來檢測出放棄完成所述自助行為的未完成人；以及 第三步驟，基于在所述第二步驟中的檢測結(jié)果來生成表示分析結(jié)果的輸出信息， 其中，當(dāng)人從其進(jìn)入所述訪問區(qū)域的方向和所述人離開所述訪問區(qū)域的方向相同時、并且當(dāng)所述人在所述訪問區(qū)域中的所述停留時間比預(yù)定閾值短時，在所述第二步驟中確定所述人是未完成人。
【文檔編號】G06Q30/02GK103971264SQ201410044899
【公開日】2014年8月6日 申請日期:2014年2月7日 優(yōu)先權(quán)日:2013年2月1日
【發(fā)明者】平川邦雄, 宇野嘉修, 中畑裕一 申請人:松下電器產(chǎn)業(yè)株式會社