本發明涉及智能控制領域,特別是涉及基于機器視覺的移動控制方法、裝置及系統。
背景技術:
隨著生活水平的提高,人們的物質生活越來越豐富,但是在超市購物時,經常會出現由于抱孩子等特殊情況而不便于用手推購物車而造成的尷尬場景,為此,智能購物車技術應運而生,智能購物車能夠自行移動,解放了人們的雙手。
但目前市場上的智能購物車無法實現自動跟隨購物者行駛的效果,在一定程度上給購物者的使用帶來不便
技術實現要素:
本發明實施例的目的在于提供基于機器視覺的移動控制方法、裝置及系統,以使智能購物車能夠自動跟隨顧客行駛。具體技術方案如下:
本發明的一種實施例提供了一種移動控制方法,應用于控制智能購物車跟隨預設的跟蹤目標進行移動,所述智能購物車上具有攝像設備,所述方法包括:通過所述攝像設備獲取包含目標圖像的場景圖像;其中,所述跟蹤目標在所述場景圖像中對應為所述目標圖像;根據所述目標圖像的位置和大小,在所述場景圖像中確定包含所述目標圖像的預設的搜索框的位置和尺寸;當所述目標圖像突然消失或者顯示不完整時,調整所述搜索框的尺寸,并使用預設的卡爾曼算法預測所述搜索框的位置;根據所述調整后的尺寸和所述預測的位置,控制所述智能購物車的運動狀態。
本發明的又一種實施例提供了一種移動控制裝置,應用于控制智能購物車跟隨預設的跟蹤目標進行移動,所述智能購物車上具有攝像頭,所述裝置包括:獲取單元,用于通過所述攝像設備獲取包含目標圖像的場景圖像;其中,所述跟蹤目標在所述場景圖像中對應為所述目標圖像;確定單元,用于根據所述目標圖像的位置和大小,在所述場景圖像中確定包含所述目標圖像的預設的搜索框的位置和尺寸;調整和預測單元,用于當所述目標圖像突然消失或者顯示不完整時,調整所述搜索框的尺寸,并使用預設的卡爾曼算法預測所述搜索框的位置;控制單元,用于根據所述調整后的尺寸和所述預測的位置,控制所述智能購物車的運動狀態。
本發明的另一種實施例提供了一種移動控制系統,應用于控制智能購物車跟隨預設的跟蹤目標進行移動,所述系統包括:攝像頭,用于獲取包含待確認目標圖像的場景圖像;其中,所述待確認目標圖像在實際場景中對應待確認跟蹤目標;處理器,用于使用預設的圖像腐蝕算法,在所述場景圖像中確定包含所述待確認目標圖像的搜索框的位置;根據所述搜索框的預設尺寸和位置,判斷所述搜索框中的所述待確認目標圖像與所述跟蹤目標是否匹配;當所述待確認目標圖像與所述跟蹤目標匹配成功時,確定所述待確認目標圖像對應的所述待確認跟蹤目標為所述跟蹤目標,并且確定所述待確認目標圖像為所述目標圖像;根據所述目標圖像的位置和大小,在所述場景圖像中確定包含所述目標圖像的所述搜索框的位置和尺寸;當所述目標圖像突然消失或者顯示不完整時,調整所述搜索框的尺寸,并使用預設的卡爾曼算法預測所述搜索框的位置;根據調整后的所述搜索框的尺寸,確定所述智能購物車與所述跟蹤目標之間的實際距離;以及根據所述搜索框的預測位置,確定所述智能購物車與所述跟蹤目標之間的軌跡偏角;當所述實際距離超過預設第一閾值時,下發控制所述智能購物車根據所述實際距離向前移動的指令;當所述軌跡偏角超過預設第二閾值時,下發控制所述智能購物車進行轉彎移動的指令;接口,用于根據所述指令,確定所述智能控制車的車速和/或轉彎角度;驅動器,用于根據所述智能控制車的車速和/或轉彎角度,驅動電機使所述智能購物車向前移動和/或轉彎移動;電源,用于為所述攝像頭、所述處理器、所述接口和所述驅動器提供電能;其中,所述攝像頭、所述處理器、所述接口、所述驅動器和所述電源均安裝在所述智能購物車上;所述攝像頭將獲取到的所述場景圖像傳給所述處理器;所述處理器接收來自所述攝像頭的所述場景圖像,根據所述場景圖像,確定控制所述智能購物車根據實際距離向前移動的指令和/或控制智能購物車進行轉彎移動的指令,再將所述指令傳給所述接口;所述接口接收來自所述處理器的所述指令,根據所述指令確定智能控制車的車速和/或轉彎角度,并將所述智能控制車的車速和/或轉彎角度傳給所述驅動器;所述驅動器接收來自所述接口的所述智能控制車的車速和/或轉彎角度,根據所述車速和/或轉彎角度控制所述智能購物車的移動。
本發明的再一種實施例提供了一種智能購物系統,應用于控制智能購物車跟隨預設的跟蹤目標進行移動,并通過手機客戶端對待購買商品進行付款,所述系統包括:攝像頭,用于獲取包含待確認目標圖像的場景圖像;其中,所述待確認目標圖像在實際場景中對應待確認跟蹤目標;處理器,用于使用預設的圖像腐蝕算法,在所述場景圖像中確定包含所述待確認目標圖像的搜索框的位置;根據所述搜索框的預設尺寸和位置,判斷所述搜索框中的所述待確認目標圖像與所述跟蹤目標是否匹配;當所述待確認目標圖像與所述跟蹤目標匹配成功時,確定所述待確認目標圖像對應的所述待確認跟蹤目標為所述跟蹤目標,并且確定所述待確認目標圖像為所述目標圖像;根據所述目標圖像的位置和大小,在所述場景圖像中確定包含所述目標圖像的所述搜索框的位置和尺寸;當所述目標圖像突然消失或者顯示不完整時,調整所述搜索框的尺寸,并使用預設的卡爾曼算法預測所述搜索框的位置;根據調整后的所述搜索框的尺寸,確定所述智能購物車與所述跟蹤目標之間的實際距離;以及根據所述搜索框的預測位置,確定所述智能購物車與所述跟蹤目標之間的軌跡偏角;當所述實際距離超過預設第一閾值時,下發控制所述智能購物車根據所述實際距離向前移動的指令;當所述軌跡偏角超過預設第二閾值時,下發控制所述智能購物車進行轉彎移動的指令;接口,用于根據所述指令,確定所述智能控制車的車速和/或轉彎角度;驅動器,用于根據所述智能控制車的車速和/或轉彎角度,驅動電機使所述智能購物車向前移動和/或轉彎移動;電源,用于為所述攝像頭、所述處理器、所述接口和所述驅動器提供電能;云端數據庫,用于存儲超市中所有商品對應的商品信息;商品信息讀寫器,用于通過射頻識別(Radio Frequency Identification,RFID)讀寫器將讀取待購買商品的RFID標簽;手機客戶端,用于根據已確定的所述待購買商品對應的商品信息,通過快捷支付方式進行付款;云端服務器,用于連接所述云端數據庫、商品信息讀寫器和手機客戶端;其中,所述攝像頭、所述處理器、所述接口、所述驅動器、所述電源和所述商品信息讀寫器均安裝在所述智能購物車上;所述攝像頭將獲取到的所述場景圖像傳給所述處理器;所述處理器接收來自所述攝像頭的所述場景圖像,根據所述場景圖像,確定控制所述智能購物車根據實際距離向前移動的指令和/或控制智能購物車根據軌跡偏角轉彎移動的指令,再將所述指令傳給所述接口;所述接口接收來自所述處理器的所述指令,根據所述指令確定智能控制車的車速和/或轉彎角度,并將所述智能控制車的車速和/或轉彎角度傳給所述驅動器;所述驅動器接收來自所述接口的所述智能控制車的車速和/或轉彎角度,根據所述車速和/或轉彎角度控制所述智能購物車的移動;當待購買的商品已經被放置在所述智能購物車上并準備支付時,商品信息讀寫器通過RFID讀寫器讀取待購買商品的RFID標簽,獲取所述待購買商品對應的產品電子碼(Electronic Product Code,EPC),并將所述EPC碼發送到所述云端服務器;所述云端服務器接收來自所述商品信息讀寫器的所述待購買商品對應的EPC碼,并將所述EPC碼發送到云端數據庫;所述云端數據庫接收來自所述云端服務器的所述EPC碼,根據所述EPC碼,從存儲的全部商品對應的商品信息中獲取所述待購買商品對應的商品信息,并將所述商品信息發送到所述云端服務器;所述云端服務器接收來自所述云端數據庫的所述待購買商品對應的商品信息,并將所述商品信息發送到手機客戶端;所述手機客戶端接收來自所述云端服務器的所述待購買商品對應的商品信息,通過快捷支付方式對所述待購買商品進行付款,將付款結果發送到所述云端服務器;所述云端服務器接收來自所述手機客戶端的所述付款結果,并將所述付款結果發送到所述云端數據庫;所述云端數據庫接收來自所述云端服務器的所述付款結果,根據所述付款結果更新所述存儲的全部商品對應的商品信息,并將更新結果發送到所述云端服務器;所述云端服務器接收來自所述云端數據庫的所述更新結果,并將所述更新結果發送到所述商品信息讀寫器;所述商品信息讀寫器接收來自所述云端服務器的所述更新結果,根據所述更新結果更新所述待購買商品的RFID標簽上的USER區。
本發明實施例提供的基于機器視覺的移動控制方法、裝置及系統,可以通過智能購物車上的攝像設備獲取包含目標圖像的場景圖像;接下來,根據目標圖像的變化情況,在場景圖像中確定包括目標圖像的搜索框的位置和尺寸;當目標圖像突然消失或者顯示不完整時,調整所述搜索框的尺寸,并使用卡爾曼算法預測搜索框的位置;最后,根據調整后的尺寸和預測的位置,控制智能購物車的運動狀態。這樣,將購物者設置為跟蹤目標,就能夠實現智能購物車自動跟隨購物者,為購物者在超市購物提供了方便。
附圖說明
為了更清楚地說明本發明實施例或現有技術中的技術方案,下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發明的一些實施例,對于本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據這些附圖獲得其他的附圖。
圖1為本發明實施例的移動控制方法的一種流程圖;
圖2為本發明實施例的移動控制方法的又一種流程圖;
圖3為本發明實施例的移動控制裝置的一種結構圖;
圖4為本發明實施例的移動控制系統的一種結構圖;
圖5為本發明實施例的智能購物系統的一種結構圖。
具體實施方式
下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發明一部分實施例,而不是全部的實施例。基于本發明中的實施例,本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例,都屬于本發明保護的范圍。
本發明實施例公開了一種移動控制方法,應用于控制智能購物車跟隨預設的跟蹤目標進行移動,智能購物車上安裝有攝像設備。參見圖1,圖1為本發明實施例的移動控制方法的一種流程圖,包括如下步驟:
步驟101,通過所述攝像設備獲取包含目標圖像的場景圖像;
其中,跟蹤目標在場景圖像中對應為目標圖像,也就是說,智能購物車上的攝像設備根據實際場景拍攝到的場景圖像中包含了跟蹤目標,而在場景圖像中體現跟蹤目標的圖像即為目標圖像。
具體地,攝像設備可以是攝像機或者攝像頭,本發明對攝像設備的具體形式不加以限制。攝像設備能夠通過場景圖像中的目標圖像獲取實際場景中跟蹤目標的移動情況。
此外,在本發明的一種優選實施例中,步驟101具體可以包括:
通過所述攝像設備獲取包含待確認目標圖像的場景圖像;其中,所述待確認目標圖像在實際場景中對應待確認跟蹤目標;
使用預設的圖像腐蝕算法,在所述場景圖像中確定包含所述待確認目標圖像的預設的搜索框的位置;
根據所述搜索框的所述位置,判斷所述搜索框中的所述待確認目標圖像與所述跟蹤目標是否匹配;
當所述待確認目標圖像與所述跟蹤目標匹配成功時,確定所述待確認目標圖像對應的所述待確認跟蹤目標為所述跟蹤目標,并且確定所述待確認目標圖像為目標圖像。
本發明的一種應用實施例中,所述通過所述攝像設備獲取包含待確認目標圖像的場景圖像的步驟具體可以包括:
初始化所述搜索框的位置和尺寸;
通過攝像設備獲取包含待確認目標圖像的場景圖像,并將所述場景圖像轉化為色相、飽和度和亮度(Hue Saturation Lightness,HSL)顏色模型;
具體地,首先,攝像設備在實際場景中獲取的場景圖像中包含待確認跟蹤目標,并且將待確認跟蹤目標在場景圖像中對應的圖像稱為待確認目標圖像,此外,還需要將獲取到的場景圖像轉化為HSL顏色模型;接下來,使用圖像腐蝕算法,在場景圖像中確定包含待確認目標圖像的搜索框的位置;然后,根據已確定的搜索框的位置,使用持續自適應均值漂移(Continuously Adaptive Mean Shift algorithm,Camshift)算法判斷搜索框中的待確認目標圖像與跟蹤目標是否匹配;當待確認目標圖像與跟蹤目標匹配成功時,將待確認目標在實際場景中對應的待確認跟蹤目標確定為跟蹤目標,并且將待確認目標圖像確定為目標圖像,其中,跟蹤目標在場景圖像中對應為目標圖像。
步驟102,根據所述目標圖像的位置和大小,在所述場景圖像中確定包含所述目標圖像的預設的搜索框的位置和尺寸;
在本步驟中,能夠根據場景圖像中目標圖像的位置和大小,在場景圖像中確定預設的搜索框的位置和尺寸;其中,搜索框包含目標圖像。另外,預設的搜索框包括初始化時設置的預設位置和預設尺寸,隨后可以根據場景圖像中目標圖像的位置和大小對搜索框的位置和尺寸進行調整。
需要說明的是,在實際應用中,由于實際場景中的跟蹤目標可能是持續運動的,因此,場景圖像中的目標圖像的位置和大小也是一個動態變化的過程,相應的,場景圖像中的搜索框的位置和尺寸也會隨著目標圖像的變化而不斷調整,可以理解的,搜索框的變化能夠體現目標圖像的變化。
步驟103,當所述目標圖像突然消失或者顯示不完整時,調整所述搜索框的尺寸,并使用預設的卡爾曼算法預測所述搜索框的位置;
在本步驟中,當目標圖像突然消失或者顯示不完整時,也就是說,實際場景中的跟蹤目標瞬間移動或者被人或物遮擋時,可以對搜索框的尺寸和位置進行調整。
在本發明的一種優選實施例中,所述步驟103具體可以包括:
當所述目標圖像突然消失時,保持所述搜索框的尺寸不變;
當所述目標圖像顯示不完整時,增大所述搜索框的尺寸;
根據所述搜索框的尺寸,使用預設的卡爾曼算法預測所述搜索框的位置。
具體地,當實際場景中的跟蹤目標發生瞬間移動,導致場景圖像中的目標圖像突然消失時,不改變搜索框的尺寸;當實際場景中的跟蹤目標被人或物遮擋,導致場景圖像中的目標圖像顯示不完整時,可以適當增大搜索框的尺寸。
接下來,可以將搜索框調整后的尺寸作為輸入值,使用卡爾曼算法基于場景圖像,預測出搜索框的位置,也就是說,卡爾曼算法能夠根據搜索框的當前尺寸,在場景圖像中預測出目標圖像重新出現的位置,或者在場景圖像中修正目標圖像的位置。
而在現有技術中,當目標圖像突然消失時,搜索框會隨著目標圖像的消失也迅速縮小,導致當目標圖像重新出現時搜索框也無法顯示目標圖像,進而使得智能購物車無法繼續跟隨跟蹤目標。
本發明實施例在由于跟蹤目標出現瞬間移動而導致目標圖像突然消失時,能夠保持搜索框的尺寸大小不變,這是因為瞬間移動的跟蹤目標有很大的可能性會再次出現在之前發生瞬間移動的地點附近,保持搜索框的大小不變,能夠使得當跟蹤目標再次出現時,目標圖像能夠相應的重新顯示在搜索框中,從而實現智能購物車對跟蹤目標的持續跟蹤。
同時,當由于跟蹤目標被遮擋而導致目標圖像顯示不完整,尤其是跟蹤目標被嚴重遮擋時,本發明實施例可以增大搜索框的尺寸,以擴大查找跟蹤目標的范圍,這樣,在遮擋物移開或者跟蹤目標從遮擋物后移出后,對應的目標圖像仍然會顯示在搜索框中,以便智能購物車識別和跟蹤。
此外,即使場景圖像中目標圖像的顏色與背景顏色非常相近,卡爾曼算法也能夠從場景圖像中識別目標圖像的位置,進而確定搜索框的位置。
步驟104,根據所述調整后的尺寸和所述預測的位置,控制所述智能購物車的運動狀態。
在本發明的又一種優選實施例中,所述步驟104具體可以包括:
根據所述搜索框的所述調整后的尺寸,確定所述智能購物車與所述跟蹤目標之間的實際距離;以及
根據所述搜索框的所述預測位置,確定所述智能購物車與所述跟蹤目標之間的軌跡偏角;
當所述實際距離超過預設第一閾值時,控制所述智能購物車根據所述實際距離向前移動;
當所述軌跡偏角超過預設第二閾值時,控制所述智能購物車進行轉彎移動。
在實際應用中,當跟蹤目標距離智能購物車越來越遠時,場景圖像中的目標圖像也會越來越小,從而搜索框的尺寸也會隨目標圖像變小,這樣,根據搜索框的縮小程度,就可以確定當前智能購物車與跟蹤目標之間的實際距離;當當前智能購物車與跟蹤目標的實際距離超過預設的第一閾值時,說明當前智能購物車與跟蹤目標的距離過大,需要使智能購物車向前移動靠近跟蹤目標。
同樣,當跟蹤目標向右或者向左轉彎時,目標圖像也會在場景圖像中向右或者向左移動,從而搜索框也會在場景圖像上隨目標圖像的移動而移動,這樣,就可以根據搜索框的位置移動情況,計算出智能購物車與跟蹤目標之間的軌跡偏角,當智能購物車與跟蹤目標之間的軌跡偏角超過預設的第二閾值時,說明此時跟蹤目標相對智能購物車的轉彎程度較大,需要控制智能購物車也進行相應的轉彎移動,以免失去跟蹤目標。
具體地,在本發明的另一種優選實施例中,所述根據所述搜索框的所述預測位置,確定所述智能購物車與所述跟蹤目標之間的軌跡偏角的步驟,具體可以包括:
獲取所述場景圖像的連續至少五幀圖像數據中、分別對應的所述搜索框的所述預測位置;
根據所述連續至少五幀圖像數據中、分別對應的所述搜索框的所述預測位置,確定所述智能購物車與所述跟蹤目標之間的軌跡偏角。
具體地,可以通過對比場景圖像中連續至少五幀圖像數據中、所述搜索框的所述預測位置的移動軌跡,來確定智能購物車與跟蹤目標之間的軌跡偏角。其中,本發明對用于確定所述軌跡偏角所獲取的場景圖像中圖像數據的幀數不加以限制。
可見,在本發明實施例中,可以通過智能購物車上的攝像設備獲取包含目標圖像的場景圖像;接下來,根據目標圖像的變化情況,在場景圖像中確定包括目標圖像的搜索框的位置和尺寸;當由于跟蹤目標瞬間移動導致目標圖像突然消失時,保持搜索框的尺寸不變,當由于跟蹤目標被遮擋物遮擋導致目標圖像顯示不完整時,增大搜索框的尺寸,并使用卡爾曼算法根據調整后的搜索框大小預測搜索框的位置;最后,根據調整后的尺寸和預測的位置,控制智能購物車的運動狀態。這樣,能夠使智能購物車自動跟隨購物者行駛,解放了購物者的雙手,為購物者在超市購物提供了方便。
本發明實施例公開了又一種移動控制方法,應用于控制智能購物車跟隨預設的跟蹤目標進行移動,智能購物車上安裝有攝像設備,參見圖2,圖2為本發明實施例的移動控制方法的又一種流程圖,包括如下步驟:
步驟201,初始化搜索框的位置和尺寸;
步驟202,通過所述攝像設備獲取包含待確認目標圖像的場景圖像,并將所述場景圖像轉化為HSL顏色模型;
步驟203,使用預設的圖像腐蝕算法,在所述場景圖像中確定包含所述待確認目標圖像的所述搜索框的位置;
具體地,可以使用圖像腐蝕算法,在場景圖像中確定包含待確認目標圖像的搜索框的顯示中心,可以理解的,根據搜索框的顯示中心可以確定搜索框的位置。
步驟204,將已確定的所述搜索框的位置作為輸入值,使用Camshift算法判斷所述搜索框中的所述待確認目標圖像與所述跟蹤目標是否匹配;如果所述搜索框中的所述待確認目標圖像與所述跟蹤目標匹配成功,則執行步驟205;如果所述搜索框中的所述待確認目標圖像與所述跟蹤目標匹配失敗,則執行步驟206;
步驟205,確定所述待確認目標圖像對應的所述待確認跟蹤目標為所述跟蹤目標,并且確定所述待確認目標圖像為所述目標圖像,執行步驟207;
步驟206,將失敗計數器加1,并且判斷所述失敗計數器是否超過預設失敗次數閾值;如果所述失敗計數器超過所述預設失敗次數閾值,則返回執行步驟201;如果所述失敗計數器沒有超過所述預設失敗次數閾值,則返回執行步驟202;
其中,失敗技術器的初始值為0;
步驟207,根據所述目標圖像的位置和大小,在所述場景圖像中確定包含所述目標圖像的預設的搜索框的位置和尺寸;
步驟208,判斷所述目標圖像是否突然消失;如果所述目標圖像突然消失時,則執行步驟209;如果所述目標圖像沒有突然消失,則執行步驟210;
步驟209,保持所述搜索框的尺寸不變;
步驟210,判斷所述目標圖像是否顯示不完整;如果所述目標圖像顯示不完整,則執行步驟211;如果所述目標圖像顯示完整,則執行步驟212;
步驟211,增大所述搜索框的尺寸;
需要說明的是,在本發明實施例中,可以先步驟208再執行步驟210,也可以先執行步驟210再執行步驟208,當然,步驟208和步驟210也可以同時執行,本發明對步驟208和步驟210的執行順序不做限制。
步驟212,根據所述搜索框的尺寸,使用預設的卡爾曼算法預測所述搜索框的位置;
步驟213,根據所述搜索框的所述調整后的尺寸,確定所述智能購物車與所述跟蹤目標之間的實際距離,并判斷所述實際距離是否超過預設第一閾值;如果所述實際距離超過預設第一閾值,則執行步驟214;如果當所述實際距離沒有超過預設第一閾值時,則執行步驟215;
步驟214,下發使所述智能購物車根據所述實際距離向前移動的第一指令;
步驟215,根據所述搜索框的所述預測位置,確定所述智能購物車與所述跟蹤目標之間的軌跡偏角,并判斷所述軌跡偏角是否超過預設第二閾值;如果所述軌跡偏角超過預設第二閾值,則執行步驟216;如果所述軌跡偏角沒有超過預設第二閾值,則執行步驟217;
步驟216,下發使所述智能購物車進行轉彎移動的第二指令;
需要說明的是,在本發明實施例中,可以先步驟213再執行步驟215,也可以先執行步驟215再執行步驟213,當然,步驟213和步驟215也可以同時執行,本發明對步驟213和步驟215的執行順序不做限制。
步驟217,判斷是否接收到所述第一指令或者所述第二指令;如果接收到所述第一指令或者所述第二指令,則執行步驟218;如果沒有接收到所述第一指令或者所述第二指令,則返回執行步驟213;
步驟218,判斷所述第一指令和所述第二指令是否已經被執行;如果所述第一指令和所述第二指令均沒有被執行,或者只執行了其中一個,則執行步驟219;如果所述第一指令和所述第二指令均已經被執行;則返回執行步驟213;
步驟219,進行延時處理,并在所述延時處理之后返回執行步驟218。
這樣,本發明實施例中通過迭代計算確定與跟蹤目標匹配的目標圖像,進而根據場景圖像中目標圖像的位置和大小,確定搜索框的位置和尺寸,進而根據搜索框的位置和尺寸,控制智能購物車進行移動。這樣,使得智能購物車能夠識別并自動跟隨購物者進行移動,提升了購物者使用體驗。
本發明實施例還公開了一種移動控制裝置,應用于控制智能購物車跟隨預設的跟蹤目標進行移動,智能購物車上安裝有攝像設備。參見圖3,圖3為本發明實施例的移動控制裝置的一種結構圖,具體可以包括以下單元:
獲取單元301,用于通過所述攝像設備獲取包含目標圖像的場景圖像;其中,所述跟蹤目標在所述場景圖像中對應為所述目標圖像;
確定單元302,用于根據所述目標圖像的位置和大小,在所述場景圖像中確定包含所述目標圖像的預設的搜索框的位置和尺寸;
調整和預測單元303,用于當所述目標圖像突然消失或者顯示不完整時,調整所述搜索框的尺寸,并使用預設的卡爾曼算法預測所述搜索框的位置;
控制單元304,用于根據所述調整后的尺寸和所述預測的位置,控制所述智能購物車的運動狀態。
在本發明的一種優選實施例中,所述獲取單元301,包括:第一獲取子單元、第一確定子單元、第一判斷子單元和第二確定子單元;
所述第一獲取子單元,用于通過所述攝像設備獲取包含待確認目標圖像的場景圖像;其中,所述待確認目標圖像在實際場景中對應待確認跟蹤目標;
所述第一確定子單元,用于使用預設的圖像腐蝕算法,在所述場景圖像中確定包含所述待確認目標圖像的預設的搜索框的位置;
所述第一判斷子單元,用于根據所述搜索框的所述位置,判斷所述搜索框中的所述待確認目標圖像與所述跟蹤目標是否匹配;
所述第二確定子單元,用于當所述待確認目標圖像與所述跟蹤目標匹配成功時,確定所述待確認目標圖像對應的所述待確認跟蹤目標為所述跟蹤目標,并且確定所述待確認目標圖像為目標圖像。
在本發明的又一種優選實施例中,所述第一獲取子單元,包括:初始化子單元和獲取并轉化子單元;
所述初始化子單元,用于初始化所述搜索框的位置和尺寸;
所述獲取并轉化子單元,用于通過攝像設備獲取包含待確認目標圖像的場景圖像,并將所述場景圖像轉化為色相、飽和度和亮度顏色模型。
在本發明的另一種優選實施例中,所述調整和預測單元303,包括保持子單元、增大子單元和預測子單元;
所述保持子單元,用于當所述目標圖像突然消失時,保持所述搜索框的尺寸不變;
所述增大子單元,用于當所述目標圖像顯示不完整時,增大所述搜索框的尺寸;
所述預測子單元,用于根據所述搜索框的當前尺寸,使用預設的卡爾曼算法預測所述搜索框的位置。
在本發明的再一種優選實施例中,所述裝置還包括:
識別單元,用于當所述場景圖像中的所述目標圖像的顏色與所述場景圖像中的背景顏色相近時,使用預設的卡爾曼算法識別所述目標圖像,并確定所述搜索框的位置。
在本發明的再一種優選實施例中,所述控制單元304,包括第三確定子單元、第四確定子單元、第一控制子單元和第二控制子單元;
所述第三確定子單元,用于根據所述搜索框的所述調整后的尺寸,確定所述智能購物車與所述跟蹤目標之間的實際距離;以及
所述第四確定子單元,用于根據所述搜索框的所述預測位置,確定所述智能購物車與所述跟蹤目標之間的軌跡偏角;
所述第一控制子單元,用于當所述實際距離超過預設第一閾值時,控制所述智能購物車根據所述實際距離向前移動;
所述第二控制子單元,用于當所述軌跡偏角超過預設第二閾值時,控制所述智能購物車進行轉彎移動。
在本發明的再一種優選實施例中,所述第四確定子單元,包括:第二獲取子單元和第五確定子單元;
所述第二獲取子單元,用于獲取所述場景圖像的連續至少五幀圖像數據中、分別對應的所述搜索框的所述預測位置;
所述第五確定子單元,用于根據所述連續至少五幀圖像數據中、分別對應的所述搜索框的所述預測位置,確定所述智能購物車與所述跟蹤目標之間的軌跡偏角。
可見,本發明裝置實施例能夠實現智能購物車自動跟隨購物者,為購物者在超市購物提供了方便。
在實際應用中,本發明實施例又公開了一種移動控制系統,參見圖4,圖4為本發明實施例的移動控制系統的一種結構圖,移動控制系統包括智能購物車,其中,智能購物車上安裝有攝像頭401、處理器402、接口403、驅動器404和電源405。攝像頭401將場景圖像傳給處理器402;處理器402接收來自攝像頭401的場景圖像,根據所述場景圖像,確定控制智能購物車根據實際距離向前移動的指令和/或控制智能購物車根據軌跡偏角轉彎移動的指令,再將指令傳給接口403;接口403接收來自處理器402的控制智能購物車根據實際距離向前移動的指令和/或控制智能購物車根據軌跡偏角轉彎移動的指令,并根據指令確定智能控制車的車速和/或轉彎角度;再將智能控制車的車速和/或轉彎角度傳給驅動器404;驅動器404接收來自接口403的智能控制車的車速和/或轉彎角度,并根據智能控制車的車速和/或轉彎角度控制智能購物車的移動;電源405為移動購物系統提供電能。
具體地,攝像頭401,獲取包含待確認目標圖像的場景圖像;其中,待確認目標圖像在實際場景中對應待確認跟蹤目標;
處理器402,使用預設的圖像腐蝕算法,在場景圖像中確定包含待確認目標圖像的搜索框的位置;根據搜索框的預設尺寸和位置,判斷搜索框中的待確認目標圖像與跟蹤目標是否匹配;當待確認目標圖像與跟蹤目標匹配成功時,確定待確認目標圖像對應的待確認跟蹤目標為跟蹤目標,并且確認待確認目標圖像為目標圖像;其中,跟蹤目標在所述場景圖像中對應為目標圖像;根據目標圖像的位置和大小,在場景圖像中確定包含目標圖像的搜索框的位置和尺寸;當目標圖像突然消失或者顯示不完整時,調整搜索框的尺寸,并使用預設的卡爾曼算法預測搜索框的位置;根據調整后的搜索框的尺寸,確定智能購物車與跟蹤目標之間的實際距離;以及根據搜索框的預測位置,確定智能購物車與跟蹤目標之間的軌跡偏角;當實際距離超過預設第一閾值時,下發控制智能購物車根據實際距離向前移動的指令;當軌跡偏角超過預設第二閾值時,下發控制智能購物車進行轉彎移動的指令;
接口403,根據控制智能購物車根據實際距離向前移動的指令和/或控制智能購物車根據軌跡偏角轉彎移動的指令,確定智能控制車的車速和/或轉彎角度;
驅動器404,根據智能控制車的車速和/或轉彎角度,驅動電機使智能購物車向前移動和/或轉彎移動;
在具體實施過程中,考慮到地面的情況以及智能購物車的能量消耗對速度的影響,可以采用閉環比例、積分、微分(Proportion Integration Differentiation,PID)控制器來控制智能車的速度;同時,由于棒棒控制具有比PID控制器更為優越的性能,而且在超調量等指標上也具有一定的改善,因此,可以采用棒棒控制來提高智能車速度的穩定性。
電源405,為攝像頭401、處理器402、接口403和驅動器404提供電能;其中,電源的空載電壓為8V左右。
可見,本發明實施例所述的移動控制系統能夠使智能購物車通過攝像設備獲取購物車的運動情況,并自動跟隨購物者,解放了購物者的雙手,提升了購物者在超市的購物體驗。
此外,本發明實施例還公開了一種智能購物系統,參見圖5,圖5為本發明實施例的智能購物系統的一種結構圖,智能購物系統包括智能購物車501、云端數據庫502、云端服務器503和手機客戶端504;智能購物車上安裝有攝像頭505、處理器506、接口507、驅動器508、電源509、商品信息讀寫器510。其中,攝像頭505、處理器506、接口507、驅動器508和電源509分別與圖4所示的攝像頭401、處理器402、接口403、驅動器404和電源405可以完全相同,這里不再贅述。
具體地,商品信息讀寫器510通過RFID讀寫器讀取待購買商品的RFID標簽,獲取所述待購買商品對應的EPC碼,并將所述EPC碼發送到所述云端服務器503;
所述云端服務器503接收來自所述商品信息讀寫器510的所述待購買商品對應的EPC碼,并將所述EPC碼發送到云端數據庫502;
所述云端數據庫502接收來自所述云端服務器503的所述EPC碼,根據所述EPC碼,從存儲的全部商品對應的商品信息中獲取所述待購買商品對應的商品信息,并將所述商品信息發送到所述云端服務器503;
所述云端服務器503接收來自所述云端數據庫502的所述待購買商品對應的商品信息,并將所述商品信息發送到手機客戶端504;
所述手機客戶端504接收來自所述云端服務器503的所述待購買商品對應的商品信息,通過快捷支付方式對所述待購買商品進行付款,將付款結果發送到所述云端服務器503;
所述云端服務器503接收來自所述手機客戶端504的所述付款結果,并將所述付款結果發送到所述云端數據庫502;
所述云端數據庫502接收來自所述云端服務器503的所述付款結果,根據所述付款結果更新所述待購買商品對應的商品信息,并將更新結果發送到所述云端服務器503;
所述云端服務器503接收來自所述云端數據庫502的所述更新結果,并將所述更新結果發送到所述商品信息讀寫器510;
所述商品信息讀寫器510接收來自所述云端服務器503的所述更新結果,根據所述更新結果修改所述待購買商品的RFID標簽上的USER區數據。
這樣,當購物者走出超市時,超市出口的監測設備可以根據商品的RFID標簽上的USER區數據來判斷所述對應的商品是否已經付款。
可見,在本發明系統實施例中,能夠將RFID技術與智能購物車的控制系統相結合,通過RFID讀寫器來自動讀取商品的RFID標簽,并將商品信息數據傳到手機客戶端,這樣,購物者就可以在手機客戶端查看購物清單,確認無誤后便可通過快捷支付進行付款,不僅為購物者節省了排隊等待付款的時間,而且節約了超市的經營成本。
需要說明的是,在本文中,諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來,而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
本說明書中的各個實施例均采用相關的方式描述,各個實施例之間相同相似的部分互相參見即可,每個實施例重點說明的都是與其他實施例的不同之處。尤其,對于系統實施例而言,由于其基本相似于方法實施例,所以描述的比較簡單,相關之處參見方法實施例的部分說明即可。
以上所述僅為本發明的較佳實施例而已,并非用于限定本發明的保護范圍。凡在本發明的精神和原則之內所作的任何修改、等同替換、改進等,均包含在本發明的保護范圍內。