本發明涉及目標跟蹤領域,具體而言,涉及一種目標跟蹤方法、系統和第一電子設備。
背景技術:
現有技術中,目標跟蹤是絕大多數視覺系統中不可或缺的環節,在視頻監控、人機交互和軍事領域等都有應用。當前的目標跟蹤技術在目標運動方式、目標運動場景、目標外在特征的突然改變以及在跟蹤目標時對目標的拍攝出現抖動和光照的突然變化等情況下,會出現檢測跟蹤系統的準確率和穩定性的下降等問題,例如,基于視覺的跟蹤技術在長時間跟蹤過程中穩定性差,并且在目標物體突然加速運動時候,容易跟丟,對于基于視覺的運動行為分析技術,容易造成在跟蹤過程中跟蹤數值出現誤差累計,從而無法形成閉環調整等問題。
針對上述視覺跟蹤的準確性低的問題,目前還沒有解決方案。
技術實現要素:
本發明實施例提供了一種目標跟蹤方法、系統和第一電子設備,以至少解決長時間視覺跟蹤出現的跟蹤準確性低的技術問題。
根據本發明實施例的一個方面,提供了一種目標跟蹤方法,應用于第一電子設備,所述第一電子設備具有目標跟蹤單元,所述目標跟蹤單元用于執行基于視覺的目標跟蹤,該方法包括:通過所述目標跟蹤單元執行基于視覺的目標跟蹤,并獲得針對被跟蹤目標的第一跟蹤結果;根據用于描述所述被跟蹤目標運動狀態的運動信息,并結合所述第一跟蹤結果,分析獲得針對所述被跟蹤目標的第二跟蹤結果;其中,所述第二跟蹤結果與所述第一跟蹤結果相同或不同;所述用于描述所述被跟蹤目標運動狀態的運動信息由設置于所述被跟蹤目標上的第二電子設備基于測量獲得。
進一步地,所述運動信息包括針對所述被跟蹤目標的運動測量參數,所述運動測量參數存入所述第二電子設備的預定存儲空間中,所述運動測量參數至少包括:運動加速度和/或運動角速度;所述第一電子設備通過以下方式獲得所述運動測量參數:周期性或非周期性的訪問所述第二電子設備的預定存儲空間,以獲取所述第二電子設備在預定時間段內采集得到的所述運動測量參數;所述根據用于描述被跟蹤目標運動狀態的運動信息,并結合第一跟蹤結果,分析獲得針對被跟蹤目標的第二跟蹤結果,包括:對所述預定時間段內的所述運動測量參數進行統計分析,獲得所述被跟蹤目標在預定時間段內的運動描述信息,并根據所述運動描述信息對所述第一跟蹤結果進行修正,獲得所述第二跟蹤結果;其中,所述運動描述信息至少包括運動速度和/或運動方向。
進一步地,所述對所述預定時間段內的所述運動測量參數進行統計分析,獲得被跟蹤目標在預定時間段內的運動描述信息,包括:結合所述第二電子設備在預定時間段內的運動測量參數、以及所述第一電子設備在所述預定時間段內的自身運動測量參數,綜合分析獲得所述被跟蹤目標在所述預定時間段內相對于所述第一電子設備的運動描述信息。
進一步地,所述運動信息包括對所述被跟蹤目標的運動描述信息,所述運動描述信息由所述第二電子設備根據采集獲得的預定時間段內的運動測量參數進行統計分析獲得,所述運動測量參數至少包括:運動加速度和/或運動角速度,所述運動描述信息至少包括運動速度和/或運動方向,所述運動描述信息存入所述第二電子設備的預定存儲空間中;所述第一電子設備通過以下方式獲得所述運動描述信息:周期性或非周期性的訪問所述第二電子設備的預定存儲空間,以獲取所述第二電子設備在預定時間段內的運動描述信息;所述根據用于描述被跟蹤目標運動狀態的運動信息,并結合第一跟蹤結果,分析獲得針對被跟蹤目標的第二跟蹤結果,包括:根據所述預定時間段內的所述運動描述信息,對所述第一跟蹤結果進行修正,獲得所述第二跟蹤結果。
進一步地,所述運動描述信息包括所述被跟蹤目標在不同運動方向上的狀態概率;根據預定時間段內的運動描述信息,對第一跟蹤結果進行修正,獲得第二跟蹤結果,包括:根據所述被跟蹤目標在不同運動方向上的狀態概率,以及所述第一跟蹤結果所表示的所述被跟蹤目標在跟蹤圖像中的至少一個候選跟蹤區域,確定所述被跟蹤目標在跟蹤圖像中的置信跟蹤區域,并基于所述置信跟蹤區域生成第二跟蹤結果;其中,所述狀態概率用于表示所述被跟蹤目標在不同運動方向上運動的概率。
進一步地,所述方法還包括:當所述預定時間段內的運動描述信息表示所述被跟蹤目標在預定時間段內的運動方向為第一方向,所述預定時間段內的第一跟蹤結果表征所述被跟蹤目標在預定時間段內的運動方向為第二方向,所述第一方向與第二方向不同,且所述被跟蹤目標在預定時間段內在所述第一方向上的移動距離大于預設的第一距離閾值,所述被跟蹤目標在預定時間段內在所述第二方向上的移動距離大于預設的第二距離閾值時,產生報警提示信息,用于提示所述第一電子設備跟丟所述被跟蹤目標。
進一步地,在所述產生報警提示信息之后,所述方法還包括:通過所述目標跟蹤單元重新檢測所述被跟蹤目標,并重新進入基于視覺的目標跟蹤。
根據本發明實施例的另一方面,還提供了一種第一電子設備,該第一電子設備包括:目標跟蹤單元,所述目標跟蹤單元用于執行基于視覺的目標跟蹤,并獲得針對被跟蹤目標的第一跟蹤結果;處理器,用于根據用于描述所述被跟蹤目標運動狀態的運動信息,并結合所述第一跟蹤結果,分析獲得針對所述被跟蹤目標的第二跟蹤結果;其中,所述第二跟蹤結果與所述第一跟蹤結果相同或不同;所述用于描述所述被跟蹤目標運動狀態的運動信息由設置于所述被跟蹤目標上的第二電子設備基于測量獲得。
進一步地,所述運動信息包括針對所述被跟蹤目標的運動測量參數,所述運動測量參數存入所述第二電子設備的預定存儲空間中,所述運動測量參數至少包括:運動加速度和/或運動角速度;所述第一電子設備包括第一讀取單元,用于通過以下方式獲得所述運動測量參數:周期性或非周期性的訪問所述第二電子設備的預定存儲空間,以獲取所述第二電子設備在預定時間段內采集得到的所述運動測量參數;所述處理器進一步用于,對所述預定時間段內的所述運動測量參數進行統計分析,獲得所述被跟蹤目標在預定時間段內的運動描述信息,并根據所述運動描述信息對所述第一跟蹤結果進行修正,獲得所述第二跟蹤結果;其中,所述運動描述信息至少包括運動速度和/或運動方向。
進一步地,所述處理器進一步用于:結合所述第二電子設備在預定時間段內的運動測量參數、以及所述第一電子設備在所述預定時間段內的自身運動測量參數,綜合分析獲得所述被跟蹤目標在所述預定時間段內相對于所述第一電子設備的運動描述信息。
進一步地,所述運動信息包括對所述被跟蹤目標的運動描述信息,所述運動描述信息由所述第二電子設備根據采集獲得的預定時間段內的運動測量參數進行統計分析獲得,所述運動測量參數至少包括:運動加速度和/或運動角速度,所述運動描述信息至少包括運動速度和/或運動方向,所述運動描述信息存入所述第二電子設備的預定存儲空間中;所述第一電子設備包括第二讀取單元,用于通過以下方式獲得所述運動描述信息:周期性或非周期性的訪問所述第二電子設備的預定存儲空間,以獲取所述第二電子設備在預定時間段內的運動描述信息;所述處理器進一步用于,根據所述預定時間段內的所述運動描述信息,對所述第一跟蹤結果進行修正,獲得所述第二跟蹤結果。
進一步地,所述運動描述信息包括所述被跟蹤目標在不同運動方向上的狀態概率;所述處理器具體用于:根據所述被跟蹤目標在不同運動方向上的狀態概率,以及所述第一跟蹤結果所表示的所述被跟蹤目標在跟蹤圖像中的至少一個候選跟蹤區域,確定所述被跟蹤目標在跟蹤圖像中的置信跟蹤區域,并基于所述置信跟蹤區域生成第二跟蹤結果;其中,所述狀態概率用于表示所述被跟蹤目標在不同運動方向上運動的概率。
進一步地,所述第一電子設備包括報警單元,用于當所述預定時間段內的運動描述信息表示所述被跟蹤目標在預定時間段內的運動方向為第一方向,所述預定時間段內的第一跟蹤結果表征所述被跟蹤目標在預定時間段內的運動方向為第二方向,所述第一方向與第二方向不同,且所述被跟蹤目標在預定時間段內在所述第一方向上的移動距離大于預設的第一距離閾值,所述被跟蹤目標在預定時間段內在所述第二方向上的移動距離大于預設的第二距離閾值時,產生報警提示信息,用于提示所述第一電子設備跟丟所述被跟蹤目標。
進一步地,所述目標跟蹤單元還用于在所述產生報警提示信息之后,重新檢測所述被跟蹤目標,并重新進入基于視覺的目標跟蹤。
根據本發明實施例的另一方面,還提供了一種目標跟蹤系統,該目標跟蹤系統包括:上述實施例中的任意一種第一電子設備,所述第一電子設備用于通過目標跟蹤單元執行基于視覺的目標跟蹤,并獲得針對被跟蹤目標的第一跟蹤結果,根據用于描述所述被跟蹤目標運動狀態的運動信息,并結合所述第一跟蹤結果,分析獲得針對所述被跟蹤目標的第二跟蹤結果;第二電子設備,設置于所述被跟蹤目標上,用于基于測量獲得所述用于描述所述被跟蹤目標運動狀態的運動信息。
通過上述實施例,在跟蹤目標的過程中,第一電子設備可接收到來自第二電子設備測量出的目標運動狀態的運動信息,根據第二電子設備獲取到的目標運動狀態的運動信息結合第一電子設備實時獲取到的第一跟蹤結果經過分析得出被跟蹤目標的第二跟蹤結果,可以達到實時檢測被跟蹤目標的運動狀態,利用設置在被跟蹤目標上的第二電子設備實時測量獲得被跟蹤目標的運動信息,并結合第一電子設備獲取的被跟蹤目標的第一跟蹤結果,分析得到第二跟蹤結果,如利用該運動信息修正第一跟蹤結果得到第二跟蹤結果,通過上述方案,不是直接將第一電子設備的第一跟蹤結果作為最終的結果,而是結合第二電子設備測量得到的被跟蹤目標的運動信息分析得到第二跟蹤結果,得到的結果更加準確,解決了現有技術中跟蹤目標時準確性低的問題,增加了視覺跟蹤的魯棒性。
附圖說明
此處所說明的附圖用來提供對本發明的進一步理解,構成本申請的一部分,本發明的示意性實施例及其說明用于解釋本發明,并不構成對本發明的不當限定。在附圖中:
圖1是根據本發明實施例的一種可選地目標跟蹤方法的流程圖一;
圖2是根據本發明實施例的一種可選地第一電子設備的結構圖;
圖3是根據本發明實施例的一種可選地目標跟蹤系統的示意圖;
圖4是根據本發明實施例的一種可選地目標跟蹤方法的實施場景的示意圖;
圖5是根據本發明實施例的一種可選地目標跟蹤方法的流程圖二。
具體實施方式
為了使本技術領域的人員更好地理解本發明方案,下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發明一部分的實施例,而不是全部的實施例。基于本發明中的實施例,本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例,都應當屬于本發明保護的范圍。
需要說明的是,本發明的說明書和權利要求書及上述附圖中的術語“第一”、“第二”等是用于區別類似的對象,而不必用于描述特定的順序或先后次序。應該理解這樣使用的數據在適當情況下可以互換,以便這里描述的本發明的實施例能夠以除了在這里圖示或描述的那些以外的順序實施。此外,術語“包括”和“具有”以及他們的任何變形,意圖在于覆蓋不排他的包含,例如,包含了一系列步驟或單元的過程、方法、系統、產品或設備不必限于清楚地列出的那些步驟或單元,而是可包括沒有清楚地列出的或對于這些過程、方法、產品或設備固有的其它步驟或單元。
名詞解釋:
視覺跟蹤:指對圖像序列中的運動目標進行檢測、提取、識別和跟蹤,獲得運動目標的運動參數,如位置、速度、加速度和運動軌跡等,從而進行下一步的處理與分析,實現對運動目標的行為理解,以完成更高一級的檢測任務。
IMU:Inertial measurement unit,慣性測量單元;是測量物體三軸姿態角(或角速率)以及加速度的裝置。陀螺儀及加速度計是IMU的主要元件,其精度直接影響到慣性系統的精度。一般情況,一個IMU包含了三個單軸的加速度計和三個單軸的陀螺儀,加速度計檢測物體在載體坐標系統獨立三軸的加速度信號,而陀螺儀檢測載體相對于導航坐標系的角速度信號,測量物體在三維空間中的角速度和加速度,并以此解算出物體的姿態。
根據本發明實施例,提供了一種目標跟蹤方法的實施例,需要說明的是,在附圖的流程圖示出的步驟可以在諸如一組計算機可執行指令的計算機系統中執行,并且,雖然在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同于此處的順序執行所示出或描述的步驟。
圖1是根據本發明實施例的一種可選的目標跟蹤方法的流程圖一,如圖1所示,該方法包括如下步驟:
步驟S102,通過目標跟蹤單元執行基于視覺的目標跟蹤,并獲得針對被跟蹤目標的第一跟蹤結果;
步驟S104,根據用于描述被跟蹤目標運動狀態的運動信息,并結合第一跟蹤結果,分析獲得針對被跟蹤目標的第二跟蹤結果;
其中,該方法應用于第一電子設備,第一電子設備具有目標跟蹤單元,目標跟蹤單元用于執行基于視覺的目標跟蹤;第二跟蹤結果與第一跟蹤結果相同或不同;用于描述被跟蹤目標運動狀態的運動信息由設置于被跟蹤目標上的第二電子設備基于測量獲得。
通過上述步驟,在跟蹤目標的過程中,第一電子設備可接收到來自第二電子設備測量出的目標運動狀態的運動信息,根據第二電子設備獲取到的目標運動狀態的運動信息結合第一電子設備實時獲取到的第一跟蹤結果經過分析得出跟蹤目標的第二跟蹤結果,可以達到實時檢測跟蹤目標的運動狀態,利用設置在跟蹤目標上的第二電子設備實時測量獲得跟蹤目標的運動信息,并結合第一電子設備獲取的跟蹤目標的第一跟蹤結果,分析得到第二跟蹤結果,如利用該運動信息修正第一跟蹤結果得到第二跟蹤結果,通過上述方案,不是直接將第一電子設備的第一跟蹤結果作為最終的結果,而是結合第二電子設備測量得到的跟蹤目標的運動信息分析得到第二跟蹤結果,得到的結果更加準確,解決了現有技術中跟蹤目標時準確性低的問題,增加了視覺跟蹤的魯棒性。
上述實施例中,可在跟蹤目標的身上配置一種可檢測目標運動狀態的移動設備(即第二電子設備),而無需繁瑣的外圍設備,結合該第二電子設備得到的運動信息與第二電子設備得到的第一跟蹤結果得到第二跟蹤結果,不僅可以得到準確的跟蹤結果,而且可以降低跟蹤成本。
對于上述實施例,該方案應用于第一電子設備,第一電子設備可以是一種檢測跟蹤目標的運動狀態的移動設備,該移動設備可以設置有目標跟蹤單元,該目標跟蹤單元可用于執行基于視覺的目標跟蹤。
上述實施例中的第一電子設備可以有相應的跟蹤系統,該跟蹤系統可以安裝在第一電子設備上,其用于控制第一電子設備的各個單元工作,該跟蹤系統向第一電子設備的各個單元發出指令,該指令可以指示第一電子設備的各個單元工作,從而使得第一電子設備可以跟蹤目標,其中,該指令的表現形式可以為數據包或代碼,第一電子設備中的各個單元在接收到指令后,根據指令信息執行相應的任務,從而可以與第二電子設備交互,達到準確跟蹤目標的功能。
可選地,第一電子設備可以是機器人。
對于上述實施例,通過目標跟蹤單元執行基于視覺的目標跟蹤,并獲得針對跟蹤目標的第一跟蹤結果,其中,該目標跟蹤單元可以設置有檢測裝置,該檢測裝置可以檢測跟蹤目標的第一位置信息以及跟蹤目標的運動狀態,該運動狀態包括運動方向和運動角度。對于上述目標跟蹤單元,可以通過檢測裝置檢測跟蹤目標的位置,獲取到目標的第一位置,目標跟蹤單元獲取到跟蹤目標的第一位置后,將該第一位置的位置信息形成第一數據,該數據可以包括跟蹤目標所處的坐標信息、當期時間以及跟蹤目標與第一電子設備之間的距離,其中,上述的坐標信息可以是根據第一電子設備中的定位單元獲取的,目標跟蹤單元先將獲取的第一數據存儲起來,然后目標跟蹤單元將第一數據傳輸到第一電子設備的存儲單元中,第一電子設備獲取到第一數據后,再次向目標跟蹤單元發出檢測指令,目標跟蹤單元根據接收的檢測指令,再次獲取跟蹤目標的第二位置信息,之后,目標跟蹤單元將獲取到的跟蹤目標的第二位置信息形成第二數據,目標跟蹤單元將獲取到的第二數據發送到第一電子設備中,然后第一電子設備根據第一數據和第二數據,經過比較分析,得到跟蹤目標的移動方向、移動速度以及當前跟蹤目標的當前坐標數據。其中,跟蹤目標的移動方向可以根據第二數據的跟蹤目標的坐標相對于第一數據的跟蹤目標的坐標判斷出跟蹤目標的移動方向,判斷跟蹤目標的移動速度可以根據第一數據中的所處時間和第二數據中的所處時間以及跟蹤目標的移動距離來判斷出跟蹤目標在第一數據和第二數據之間移動時的移動速度。最后,第一電子設備將分析出的跟蹤目標的移動方向、坐標信息、移動速度、移動時間以及跟蹤目標與該第一電子設備之間的距離形成第一跟蹤結果,第一電子設備將第一跟蹤結果形成數據存儲起來,之后將第一跟蹤結果發送到目標跟蹤單元。
可選的,上述實施例中的第一電子設備可以通過無線的形式傳輸數據,同時第一電子設備的系統根據第一跟蹤結果發送指令到第一電子設備的目標跟蹤單元,使第一電子設備移動,其移動的方向和速度可以與根據第一跟蹤結果中跟蹤目標的移動方向和移動速度一致,也可以適當的調整其跟蹤速度和方向,例如,如果第一電子設備與跟蹤目標的距離較遠,其可以在啟動時超出第一跟蹤結果中跟蹤目標的移動速度,在第一電子設備與跟蹤目標的距離達到預先設置的距離時,第一電子設備的跟蹤速度可以降低到與第一跟蹤結果中的移動速度一致。
可選的,運動目標的運動方向包括以下至少之一:前進、后退、停止、左移、和右移。
可選的,上述實施例中的目標跟蹤單元可以包括RFID(射頻識別:radio frequency identification)。
可選的,上述實施例中的跟蹤目標可以是人或物品,該跟蹤目標可以是移動的。
對于上述實施例,在獲得跟蹤目標的第一跟蹤結果后,執行步驟S104,根據用于描述跟蹤目標運動狀態的運動信息,并結合第一跟蹤結果,分析獲得針對跟蹤目標的第二跟蹤結果,其中,用于描述跟蹤目標運動狀態的運動信息由設置于跟蹤目標身上的第二電子設備獲取,該第二電子設備包括檢測單元、處理單元、存儲單元,該檢測單元可以檢測出跟蹤目標的移動狀態,可以根據第二電子設備的系統發出的指令執行檢測操作,該檢測單元接收到指令后,開始檢測當前第二電子設備所處的坐標信息,同時獲取到跟蹤目標的信息,檢測單元將該信息傳輸到存儲單元形成第一數據,該第一數據包括當前跟蹤目標的坐標、當前時間、跟蹤目標的移動方向,檢測單元將該坐標信息和當前時間形成第一數據傳輸到第二電子設備的存儲單元,第二電子設備獲取到第一數據后,系統再次發出指令到檢測單元,該檢測單元再次接收到指令后,可以再次檢測第二電子設備的坐標以及跟蹤目標的信息,檢測單元將該信息傳輸到存儲單元形成第二數據,第二電子設備根據第一數據和第二數據分析跟蹤目標的移動角度和移動速度,隨后第二電子設備不斷的根據上述方式檢測跟蹤目標的移動信息,最后,第二電子設備將跟蹤目標的移動方向、移動速度以及變化的時間等信息存儲起來,形成第二運動數據。
對于上述實施例,第一電子設備得到根據第一跟蹤結果后,可以通過讀取單元讀取到第二電子設備的第二運動數據,第一電子設備在獲取到第二運動數據后,與第一跟蹤結果比較,得出第二跟蹤結果,第二跟蹤結果與第一跟蹤結果可以相同也可以不同,當第一跟蹤結果與第二跟蹤結果相同時,第一跟蹤結果可以不用更新數據,第一電子設備可以按照第一跟蹤結果來移動,同時可以根據第一跟蹤結果來預估跟蹤目標的移動方向和移動速度,該預估結果可以和第一跟蹤結果相同也可以不同;當第一跟蹤結果與第二跟蹤結果不同時,第一電子設備判斷該結果偏差的大小,這里可以給比較結果的偏差值設定一個閾值,該閾值是根據跟蹤目標的運動狀態確定的(例如,移動速度設為5米/分鐘),在第一跟蹤結果與第二跟蹤結果的比較結果差值較大(例如,比較結果的差值超出閾值),第一跟蹤結果需要改變,其中跟蹤目標的運動方向、運動速度、坐標以及跟蹤目標的運動變化角度可以更新,其更新的數據可以是第二跟蹤結果中的數據也可以是參考第二跟蹤結果的數據進行調整,如果第一跟蹤結果與第二跟蹤結果的比較結果差值較小,例如,該比較結果的差值低于閾值時,該第一跟蹤結果可以不更新。
對于上述實施例中的第一跟蹤結果與第二跟蹤結果比較結果差值較大時,可以得出第一電子設備在跟蹤過程中“跟丟”的結果,從而更新數據,改變第一電子設備的運動方向、運動速度以及運動角度。
具體地,上述實施例在得出第二跟蹤結果后,可以分析得出多個結論,例如:跟蹤目標建模和/或跟蹤目標定位。其中,目標建模分為離線目標建模和在線目標建模,離線目標建模是指在開始跟蹤之前就已經訓練好跟蹤目標的模型,然后在實時跟蹤過程中進行判別是否為跟蹤目標;在線目標建模是指在跟蹤過程中不斷地學習與更新目標模型,同時進行跟蹤目標的判別。
優選的,上述實施例中的第二電子設備中可以是內置IMU芯片的移動通信設備(例如:遙控器、手機),該設備可以將IMU信息實時的傳達給第一電子設備,其中第二電子設備的IMU芯片可以是上述實施例的檢測單元。
可選的,第二電子設備可以配置在跟蹤目標的身上,可以是跟蹤目標穿戴的物品,也可以是跟蹤目標的手拿著的。
在第一電子設備和第二電子設備傳輸數據的過程中,可以是有線的數據傳輸,也可以是無線的數據傳輸。
可選的,第一電子設備可以包括拍攝裝置,該拍攝裝置可以拍攝跟蹤目標,拍攝裝置可以實時的將拍攝到信息傳輸到第一電子設備中,該拍攝設備可以是攝像機。
可選的,上述實施例中的跟蹤可以是視覺跟蹤,該視覺跟蹤可以通過在第一電子設備中的拍攝裝置獲得,拍攝裝置拍攝第一電子設備當前的環境,其中,當前環境包含有跟蹤目標的行走的路面、行走方向上障礙物、跟蹤目標、光照強度,如果在第一電子設備行走方向上有障礙物,分析該障礙物所處的坐標以及該障礙物的大小,當前跟蹤環境還包括第一電子設備與跟蹤目標之間的環境,第一電子設備與跟蹤目標之間的環境包括在第一電子設備向跟蹤目標移動時有無障礙物、光照強度、背景。
在一種可選的實施例中,運動信息包括針對跟蹤目標的運動測量參數,運動測量參數存入第二電子設備的預定存儲空間中,運動測量參數至少包括:運動加速度和/或運動角速度,或者,第一電子設備通過以下方式獲得運動測量參數:周期性或非周期性的訪問第二電子設備的預定存儲空間,以獲取第二電子設備在預定時間段內采集得到的運動測量參數,該周期性是指第一電子設備內設定一個時間間隔,例如:0.5秒、1秒、5秒、10秒、20秒等,在一個時間間隔后第一電子設備就會獲取第二電子設備預定存儲空間內存儲的跟蹤目標運動變化數據,或者,根據用于描述跟蹤目標運動狀態的運動信息,并結合第一跟蹤結果,分析獲得針對跟蹤目標的第二跟蹤結果,包括:對預定時間段內的運動測量參數進行統計分析,獲得跟蹤目標在預定時間段內的運動描述信息,并根據運動描述信息對第一跟蹤結果進行修正,獲得第二跟蹤結果;其中,運動描述信息至少包括運動速度和/或運動方向,可以結合第二電子設備在預定時間段內的運動測量參數以及第一電子設備在預定時間段內的自身運動測量參數,綜合分析獲得跟蹤目標在預定時間段內相對于第一電子設備的運動描述信息。
對于上述實施例,第一電子設備通過不斷地獲取第一跟蹤結果和第二電子設備的運動數據分析得出第二跟蹤結果,這樣可以通過實時獲取的運動數據增加跟蹤的準確性,從而準確的跟蹤目標,也增加了跟蹤目標的穩定性。
對于上述實施例,運動測量參數可以不斷地更新,在第二電子設備再次測量得出新的跟蹤目標的數據后,將該數據重新存入第二電子設備的預定存儲空間中,對原來的數據可以刪除也可以暫時保留,例如,在第二電子設備的預定存儲空間將要占滿時,可以刪除原來的第二電子設備的數據。
對于上述實施例中的加速度,可以通過測量跟蹤目標的速度變化信息來得出,在跟蹤目標更改行進速度后,跟蹤目標的運動加速度就可以通過計算得出。
通過上述實施例,可以對第一電子設備的運動測量參數進行統計分析,該統計分析包括對第一電子設備測量的跟蹤目標的位置變化、移動方向、移動速度進行分析,可以通過將第二次得到的位置與第一次得到的位置進行比較得出運動測量參數,例如:設置一個長寬為10米的屏幕,第一次跟蹤目標在正中心,其坐標為(5,5),第二次跟蹤目標在最北邊的中心,其坐標為(5,10),通過分析可以判斷出該目標在第一次測量和第二次測量的時間間隔內,跟蹤目標朝正北方向移動,移動距離為5米,將移動距離與移動時間做計算得出移動速度。通過對運動測量參數的變化進行計算,就可以分析出跟蹤目標的運動狀態,最后第一電子設備可以將得出的運動變化數據存儲起來,經過綜合分析最后得出跟蹤目標的在預定時間段內的運動描述信息,該預定時間是指在第一電子設備和第二電子設備傳輸數據過程中的時間間隔,每過一定的時間間隔(例如,5秒),第一電子設備獲取第二電子設備的數據。
對于上述實施例,運動信息包括對跟蹤目標的運動描述信息,第一電子設備通過以下方式獲得運動描述信息:周期性或非周期性的訪問第二電子設備的預定存儲空間,第二電子設備的預定存儲空間是相對于該第二電子設備的存儲設備的大小確定的,如果預定存儲空間較大,第二電子設備可以存儲多條第二電子設備的運動變化信息,如果預定存儲空間空間較小,例如:10條,第二電子設備可以存儲較少的第二電子設備的運動變化信息,例如2條。
對于上述實施例,根據預定時間段內的運動描述信息,對第一跟蹤結果進行修正,最后獲得第二跟蹤結果,在對第一跟蹤結果進行修正時,可以有一個運動變化參數,該運動變化參數是在第一跟蹤結果的基礎上,對比第二電子設備內的運動信息,得出的第二跟蹤結果。例如,可以將運動變化角度的數值設置在10度內,如果第二跟蹤結果中的運動方向相對于第一跟蹤結果運動方向變化在該數值內,則第一跟蹤結果的運動方向或角度信息不用改變,如果第二跟蹤結果中的運動方向相對于第一跟蹤結果運動方向變化大于該數值,則第一跟蹤結果的運動方向或角度信息可以修正,將第一跟蹤結果內的運動方向或運動角度修改為根據第二電子設備獲取到的第二運動數據中的運動方向或運動角度。
通過對比第一跟蹤結果和第二運動數據可以得出是否修正第一電子設備的運動數據,可以減少跟蹤的誤差。
對于上述實施例,在跟蹤目標時出現較大誤差可以進行修正,例如,在基于視覺的跟蹤技術跟蹤目標,在時間加長時,可以在第一電子設備測量的第一跟蹤結果與第二電子設備測量得出的第二運動數據比較出現誤差時,就可以修正第一跟蹤結果的數據,保證了在長時間跟蹤過程中穩定性,一種可選的實施方式,在跟蹤目標突然加速運動的時候,跟蹤目標就會容易跟丟,這時測量的第一跟蹤結果與獲取的第二運動數據相比較就會出現較大誤差值,可以通過修正第一跟蹤結果的數據(例如,第一電子設備也加速度運動,并且相應的改變運動方向)重新跟蹤目標,這樣可以保證跟蹤目標在跟丟后重新跟上目標。
對于上述實施例,根據預定時間段內的運動描述信息,對第一跟蹤結果進行修正,獲得第二跟蹤結果,可以根據跟蹤目標在不同運動方向上的狀態概率,以及第一跟蹤結果所表示的跟蹤目標在跟蹤圖像中的至少一個候選跟蹤區域,確定跟蹤目標在跟蹤圖像中的置信跟蹤區域,并基于置信跟蹤區域生成第二跟蹤結果,其中,狀態概率用于表示跟蹤目標在不同運動方向上運動的概率。
在上述實施例中,運動描述信息包括跟蹤目標在不同運動方向上的狀態概率,是指對跟蹤目標進行運動預估時,對目標運動方向或速度進行預估,其中,該目標運動方向或速度的預估可以是第一電子設備根據第二跟蹤結果獲取的也可以第一跟蹤結果獲取的,預估的目標運動方向或速度可以與第二跟蹤結果的數據相同也可以不同,在預估出跟蹤目標的運動方向后,可以得出相對應的跟蹤目標的在接下來的時間間隔內的運動區域和運動線路。
可選的,跟蹤目標所活動的區域可以在固定的屏幕內,可以根據第二跟蹤結果給第一電子設備發出接下來的候選活動區域,第一電子設備根據候選活動區域和跟蹤目標在未來一定時間間隔內的活動區域和運動路線來確定行進方向和行進速度,從而提高跟蹤的準確性。
在一個可選的實施例中,該方案還可以包括:在預定時間段內的運動描述信息表示跟蹤目標在預定時間段內的運動方向為第一方向,預定時間段內的第一跟蹤結果表示跟蹤目標在預定時間段內的運動方向為第二方向,第一方向與第二方向不同,且跟蹤目標在預定時間段內在第一方向上的移動距離大于預設的第一距離閾值,跟蹤目標在預定時間段內在第二方向上的移動距離大于預設的第二距離閾值時,產生報警提示信息,用于提示第一電子設備跟丟跟蹤目標。在該方案中,報警信息是根據第二跟蹤結果得到的,該報警信息可以為第一電子設備的處理中心向目標跟蹤單元發出的指令,目標跟蹤單元在接收到該指令后可以及時修改第一電子設備的運動數據,其中,該運動數據可以是根據第二運動數據得出的,如果第二跟蹤結果與第一跟蹤結果的數據相差較大,則第一電子設備調整其運動方向和運動速度,例如將第一電子設備的運動速度加快。
圖2是根據本發明實施例的一種可選地第一電子設備的結構圖,如圖2所示,該第一電子設備包括:目標跟蹤單元21,目標跟蹤單元21用于執行基于視覺的目標跟蹤,并獲得針對跟蹤目標的第一跟蹤結果;處理器22,用于根據用于描述跟蹤目標運動狀態的運動信息,并結合第一跟蹤結果,分析獲得針對跟蹤目標的第二跟蹤結果;其中,第二跟蹤結果與第一跟蹤結果相同或不同;用于描述跟蹤目標運動狀態的運動信息由設置于跟蹤目標上的第二電子設備基于測量獲得。
通過上述實施例,在跟蹤目標的過程中,第一電子設備可接收到來自第二電子設備測量出的目標運動狀態的運動信息,根據第二電子設備獲取到的目標運動狀態的運動信息結合第一電子設備實時獲取到的第一跟蹤結果通過處理器22分析得出跟蹤目標的第二跟蹤結果,通過目標單元21達到實時檢測跟蹤目標的運動狀態,利用設置在跟蹤目標上的第二電子設備實時測量獲得跟蹤目標的運動信息,并結合第一電子設備獲取的跟蹤目標的第一跟蹤結果,分析得到第二跟蹤結果,如利用該運動信息修正第一跟蹤結果得到第二跟蹤結果,通過上述方案,不是直接將第一電子設備的第一跟蹤結果作為最終的結果,而是結合第二電子設備測量得到的跟蹤目標的運動信息分析得到第二跟蹤結果,得到的結果更加準確,解決了現有技術中跟蹤目標時準確性低的問題,增加了視覺跟蹤的魯棒性。
在上述實施例的處理器22進一步用于:結合第二電子設備在預定時間段內的運動測量參數、以及第一電子設備在預定時間段內的自身運動測量參數,綜合分析獲得跟蹤目標在預定時間段內相對于第一電子設備的運動描述信息。
進一步地,目標跟蹤單元21還用于在產生報警提示信息之后,重新檢測跟蹤目標,并重新進入基于視覺的目標跟蹤。
圖3是根據本發明實施例的一種可選地一種目標跟蹤系統的示意圖,如圖3所示,該目標跟蹤系統包括:上述實施例中的任意一種第一電子設備31,第一電子設備31用于通過目標跟蹤單元執行基于視覺的目標跟蹤,并獲得針對跟蹤目標的第一跟蹤結果,根據用于描述跟蹤目標運動狀態的運動信息,并結合第一跟蹤結果,分析獲得針對跟蹤目標的第二跟蹤結果;第二電子設備32,設置于跟蹤目標上,用于基于測量獲得用于描述跟蹤目標運動狀態的運動信息。
通過上述實施例,在跟蹤目標的過程中,第一電子設備31可接收到來自第二電子設備32測量出的目標運動狀態的運動信息,根據第二電子設備32獲取到的目標運動狀態的運動信息結合第一電子設備31實時獲取到的第一跟蹤結果分析得出跟蹤目標的第二跟蹤結果,達到實時檢測跟蹤目標的運動狀態,利用設置在跟蹤目標上的第二電子設備32實時測量獲得跟蹤目標的運動信息,并結合第一電子設備31獲取的跟蹤目標的第一跟蹤結果,分析得到第二跟蹤結果,如利用該運動信息修正第一跟蹤結果得到第二跟蹤結果,通過上述方案,不是直接將第一電子設備31的第一跟蹤結果作為最終的結果,而是結合第二電子設備32測量得到的跟蹤目標的運動信息分析得到第二跟蹤結果,得到的結果更加準確,解決了現有技術中跟蹤目標時準確性低的問題,增加了視覺跟蹤的魯棒性。
下面以一種可選的實施例對本發明做出說明。
圖4是根據本發明實施例的一種可選的目標跟蹤方法的實施場景的示意圖,如圖4所示,該方案的跟蹤目標是屏幕內的人,所在的測量環境為一個相對的屏幕,其中,第一電子設備為機器人,第二電子設備為采用了IMU芯片的設備,該方案通過采集IMU發出的反饋信息完成對視覺跟蹤的輔助。
首先,機器人不斷檢測通過不斷地掃描來實時檢測屏幕內的人的運動狀態,機器人內有存儲器,機器人的該存儲器可以將檢測到的屏幕內的人的運動數據狀態存儲起來在機器人存儲空間內部形成第一運動數據,在屏幕內的人的身上放置含IMU芯片的第二電子設備,該IMU芯片可以實時檢測人的運動狀態,第二電子設備包括存儲單元,該IMU設備的存儲單元可以將檢測到的人的運動狀態的運動數據存儲,形成第二運動數據,機器人對IMU返回的第二運動數據進行一系列的統計學習分析,機器人通過統計分析學習得到一個結果數據,之后,機器人通過該結果數據可對屏幕內的人運動行為進行分析,得到基于概率的目標運動信息,例如:估計運動人當前運動方向,其中,該運動方向包括:前進、后退、停止、左移、右移。將該運動信息中有效的運動數據融合到視覺跟蹤算法中,以達到增加跟蹤目標性的作用。
通過上述實施例,可以對屏幕內的人的位置運動方向和運動速度進行預測,機器人根據IMU返回的數據對人所攜帶的第二電子設備相對于機器人的運動分析,機器人通過運動分析可以預估目標在屏幕中的移動規律,從而可以產生置信度區域,從而增加跟蹤目標的穩定性和準確性。
通過上述實施例,如果返回兩個待定結果:第一預測移動方向Rectang1與第二預測移動方向Rectangle2,而機器人根據得到的IMU反饋信息預測到行人此時在向右運動,則置信區域出現在右側,Rectangle2的置信度更高,Rectangle1可被抑制,視覺跟蹤中間或者最后的篩選結果為Rectangle2,即預測屏幕內的人會向右移動。
通過上述實施例,可以在機器的視覺跟蹤算法失效時,可以及時糾正,例如,如果機器人通過分析得出目標運動方向與基于視覺技術估計的運動方向嚴重不符,機器人可以做出“跟丟”判斷,這時,機器人可以通過IMU第二電子設備返回的信息重新確定屏幕內的目標的運動方向和運動速度,從而機器人可以通過控制器糾正機器人未來的運動方向。
對于上述實施例,若Rectang1與Rectangle2與前面連續n幀相比都是在向左移動,即視覺跟蹤結果顯示人在這n幀視頻中一直在向左移動,且向左移動距離大于距離閾值,而IMU反饋信息表示目標一直在向右移動,且移動距離大于距離閾值時,那么此時視覺跟蹤基本可以判斷為“跟丟”,視覺跟蹤算法可以重新進行初始化,機器人的運動方向重新確定,使得機器人可以繼續跟蹤目標。
上述實施例的視覺跟蹤算法可以包括:camshift算法、光流跟蹤算法、粒子濾波算法。
通過上述實施例,在跟蹤屏幕內的人的過程中,機器人可接收到來自屏幕內的人身上的第二電子設備測量出的目標運動狀態的運動信息,根據第二電子設備獲取到的人的運動狀態的運動信息結合機器人實時獲取到的第一跟蹤結果分析得出人的第二跟蹤結果,達到實時檢測人的運動狀態,利用設置在人上的第二電子設備實時測量獲得跟蹤目標的運動信息,并結合機器人獲取的人的第一跟蹤結果,分析得到第二跟蹤結果,如利用該運動信息修正第一跟蹤結果得到第二跟蹤結果,通過上述方案,不是直接將機器人的第一跟蹤結果作為最終的結果,而是結合第二電子設備測量得到的人的運動信息分析得到第二跟蹤結果,得到的結果更加準確,解決了現有技術中跟蹤目標時準確性低的問題,增加了視覺跟蹤的魯棒性。
下面以另一種可選的實施例對本發明做出說明。
圖5是根據本發明實施例的一種可選地目標跟蹤方法的流程圖二,在以動平衡車為運動底盤的地面移動機器人上運行視覺跟蹤算法,用戶的運動信息通過其身上便攜的含有IMU的移動設備(如手機、手環、遙控器、平板電腦等)反饋給機器人,完成對視覺跟蹤的輔助,對該移動設備進行跟蹤。如圖5所示,該方法包括:
步驟S501,機器人視覺跟蹤算法以及用戶手中的IMU設備初始化。
步驟S502,視覺跟蹤算法建立目標模型,實時在線跟蹤用戶。
步驟S503,跟蹤過程中定時地訪問IMU數據緩沖區,并對這一階段內的IMU數據進行一定的統計學習,得到基于概率的用戶運動信息。
其中,該用戶運動信息可分為前、后、左、右、停等5個狀態。
步驟S504,得到圖像置信區域。
步驟S505,判斷置信區域和用戶最后運動結果是否完全不同或者是否符合一定的“跟丟”準則。
若是,執行步驟S506,若否,執行步驟S508。
步驟S506,視覺算法模型不再進行更新。
若對二者結果匹配后發現完全不同,或者符合一定的“跟丟”準則,則得出當前幀“跟丟”,視覺算法模型不再進行更新。
步驟S507,視覺算法模型重新初始化或者行人檢測,回到步驟S503。
步驟S508,對視覺跟蹤算法的中間或者最后結果進行修正。
利用步驟S504的置信區域對視覺跟蹤算法的中間或者最后結果進行修正,從而提升視覺跟蹤算法的準確性。
步驟S509,視覺算法更新模型,回到步驟S503。
通過上述實施例,在跟蹤目標的過程中,代步機器人可以接收到用戶身上的含IMU的移動設備測量出的用戶運動狀態的運動信息,根據該移動設備獲取到的目標運動狀態的運動信息結合代步機器人實時獲取到的第一跟蹤結果經過分析得出跟蹤目標的第二跟蹤結果,達到實時檢測用戶的運動狀態的準確信息,通過上述的含IMU的移動設備抽取關鍵信息進行物體運動分析,可以預測用戶的運動方向或運動角度,同時也可以發現跟蹤過程中出現的預估目標運動狀態的錯誤,從而解決了長時間視覺跟蹤出現的跟蹤準確性低的技術問題,增加了視覺跟蹤的魯棒性。當然,本發明實施例并不僅限于地面移動機器人,對于空間飛行類的機器人(如無人機)也是適用的。
上述本發明實施例序號僅僅為了描述,不代表實施例的優劣。
在本發明的上述實施例中,對各個實施例的描述都各有側重,某個實施例中沒有詳述的部分,可以參見其他實施例的相關描述。
在本申請所提供的幾個實施例中,應該理解到,所揭露的技術內容,可通過其它的方式實現。其中,以上所描述的裝置實施例僅僅是示意性的,例如所述單元的劃分,可以為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個單元或組件可以結合或者可以集成到另一個系統,或一些特征可以忽略,或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,單元或模塊的間接耦合或通信連接,可以是電性或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外,在本發明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現,也可以采用軟件功能單元的形式實現。
所述集成的單元如果以軟件功能單元的形式實現并作為獨立的產品銷售或使用時,可以存儲在一個計算機可讀取存儲介質中。基于這樣的理解,本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟件產品的形式體現出來,該計算機軟件產品存儲在一個存儲介質中,包括若干指令用以使得一臺計算機設備(可為個人計算機、服務器或者網絡設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括:U盤、只讀存儲器(ROM,Read-Only Memory)、隨機存取存儲器(RAM,Random Access Memory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質。
以上所述僅是本發明的優選實施方式,應當指出,對于本技術領域的普通技術人員來說,在不脫離本發明原理的前提下,還可以做出若干改進和潤飾,這些改進和潤飾也應視為本發明的保護范圍。