用于測量對象的速度的方法和裝置的制造方法
【技術領域】
[0001] 本發明設及圖像處理的領域，更具體地，本發明設及一種用于測量對象的速度的 方法和裝置。
【背景技術】
[0002] 如何高效而精確地測量對象的速度一直是監控領域的熱點之一。W對象為車輛的 情況為例，監控車輛的行駛速度對于避免城市道路擁堵和合理規劃出行線路有著非常重要 的意義。
[0003] 目前，在一種方法中，通過車載GPS(Global F*ositioning System,全球定位系統） 來監控車輛的行駛速度。然而，在運種方法中，需要在所監控的車輛上安裝額外的GI^裝置。 當GPS裝置出現故障或者由于諸如隧道等的原因而導致無法與衛星通信時，運種方法的精 度會受嚴重的影響。
【發明內容】
[0004] 有鑒于上述情況，本發明提供了一種用于測量對象的速度的方法和裝置，其能夠 高效而準確地測量場景中的對象的速度，且無需在被監控的對象上安裝額外的裝置，從而 便利對所述場景中的對象進行全面及時地監控。
[0005] 根據本發明一實施例，提供了一種用于測量對象的速度的方法，包括:對于圖像序 列中的至少兩帖圖像中的每一帖圖像，獲取該帖圖像的圖像信息，所述圖像信息包括深度 信息;基于所述深度信息檢測該帖圖像中的對象，W獲得對象檢測結果;基于所述至少兩帖 圖像各自的對象檢測結果進行對象跟蹤，W獲得對象跟蹤結果；W及基于所述對象跟蹤結 果、W及所述至少兩帖圖像之間的時間差，計算所檢測的至少一個對象的速度。
[0006] 根據本發明另一實施例，提供了一種用于測量對象的速度的裝置，包括:第一獲取 單元，對于圖像序列中的至少兩帖圖像中的每一帖圖像，獲取該帖圖像的圖像信息，所述圖 像信息包括深度信息;檢測單元，基于所述深度信息檢測該帖圖像中的對象，W獲得對象檢 測結果;跟蹤單元，基于所述至少兩帖圖像各自的對象檢測結果進行對象跟蹤，W獲得對象 跟蹤結果；W及計算單元，基于所述對象跟蹤結果、W及所述至少兩帖圖像之間的時間差， 計算所檢測的至少一個對象的速度。
[0007] 根據本發明另一實施例，提供了一種用于測量對象的速度的裝置，包括:處理器； 存儲器;和存儲在所述存儲器中的計算機程序指令，在所述計算機程序指令被所述處理器 運行時執行W下步驟:對于圖像序列中的至少兩帖圖像中的每一帖圖像，獲取該帖圖像的 圖像信息，所述圖像信息包括深度信息;基于所述深度信息檢測該帖圖像中的對象，W獲得 對象檢測結果;基于所述至少兩帖圖像各自的對象檢測結果進行對象跟蹤，W獲得對象跟 蹤結果；W及基于所述對象跟蹤結果、W及所述至少兩帖圖像之間的時間差，計算所檢測的 至少一個對象的速度。
[000引根據本發明另一實施例，提供了一種計算機程序產品，包括計算機可讀存儲介質， 在所述計算機可讀存儲介質上存儲了計算機程序指令，所述計算機程序指令在被計算機運 行時執行W下步驟:對于圖像序列中的至少兩帖圖像中的每一帖圖像，獲取該帖圖像的圖 像信息，所述圖像信息包括深度信息;基于所述深度信息檢測該帖圖像中的對象，W獲得對 象檢測結果;基于所述至少兩帖圖像各自的對象檢測結果進行對象跟蹤，W獲得對象跟蹤 結果；W及基于所述對象跟蹤結果、W及所述至少兩帖圖像之間的時間差，計算所檢測的至 少一個對象的速度。
[0009] 在本發明實施例的用于測量對象的速度的方法和裝置中，基于各帖圖像的深度信 息檢測對象，進而跟蹤對象并檢測對象的速度，由此，能夠高效而準確地檢測場景中的對象 的速度，且無需在被監控的對象上安裝額外的裝置，從而便利對所述場景中的對象進行全 面及時地監控。
[0010] 此外，在本發明實施例的用于測量對象的速度的方法和裝置中，不僅能夠高效而 準確地測量場景中的對象的速度，還能夠利用所述速度進行諸如非常速預警、擁擠程度預 測等各種處理，進一步便利對所述場景中的對象進行全面及時地監控。
【附圖說明】
[0011] 圖1是圖示根據本發明實施例的用于測量對象的速度的方法的主要步驟的流程 圖；
[0012] 圖2A-2C是示出應用本發明實施例的方法的Ξ帖圖像的對象檢測結果的示意圖；
[0013] 圖3A和圖3B是示出了對于圖2的場景通過基于網絡流的方法進行對象跟蹤的過程 的示意圖；
[0014] 圖4是示出根據本發明實施例的用于測量對象的速度的裝置的主要配置的框圖； W及
[0015] 圖5是圖示根據本發明另一實施例的用于測量對象速度的裝置的框圖。
【具體實施方式】
[0016] W下將參考附圖詳細描述本發明實施例。
[0017] 首先，參照圖1描述根據本發明實施例的用于測量對象的速度的方法。
[0018] 圖1是示出根據本發明實施例的用于測量對象的速度的方法的主要步驟的流程 圖。本發明實施例的方法用于對場景中的對象進行監控。W下，將W對象為車輛的情況為例 進行描述。當然，本領域技術人員能夠理解，本發明實施例的方法不限于此，而是可W應用 于其他各種類型的對象。
[0019] 所述場景中布置了一個或多個攝像頭，用于拍攝所述場景中存在的對象的圖像。 所述攝像頭為深度攝像頭，從而能夠采集圖像中的對象的深度信息。在第一示例中，所述攝 像頭通過雙目攝像頭實現。在第二示例中，所述攝像頭通過T0F(Time of Fli曲t，飛行時 間)攝像頭實現。當然，本領域技術人員能夠理解，W上所述僅為示例。本發明實施例的方法 可W用除此W外的各種攝像頭實現，只要其能夠采集所述深度信息。
[0020] 此外，可選地，作為準備工作，可W對所布置的攝像頭進行配準處理，W得到從圖 像深度空間到Ξ維空間(示例性地，W攝像頭為中屯、的攝像頭坐標系統）的變換關系。
[0021] 由此，可W將所述攝像頭所拍攝的視頻流（即，下文所述的圖像序列）通過網絡傳 輸到遠程服務器，并在所述遠程服務器處應用根據本發明實施例的方法。替代地，也可w將 所述攝像頭與本地的處理器相連接，并在所述處理器處應用根據本發明實施例的方法。
[0022] 如圖1所示，首先，在步驟S110,對于圖像序列中的至少兩帖圖像中的每一帖圖像， 獲取該帖圖像的圖像信息。
[0023] 具體地，本發明實施例的方法可W應用于圖像序列中的至少兩帖圖像。當然，為了 提高后續對象檢測和跟蹤的精度，本發明實施例的方法可W應用于所述圖像序列中的每一 帖圖像。
[0024] 更具體地，在第一實施例中，所述圖像信息包括如上所述的深度信息，其可W通過 諸如上述的深度攝像頭而獲取。
[0025] 此后，在步驟S120,基于所述深度信息檢測該帖圖像中的對象，W獲得對象檢測結 果。
[0026] 具體地，在第一示例中，可W基于所述深度信息對該帖圖像進行諸如邊緣檢測等 的處理，W檢測該帖圖像中的對象。所述邊緣檢測的具體處理為本領域技術人員所知，在此 不再詳述。
[0027] 在第二示例中，可W基于所述深度信息，通過分類器來檢測該帖圖像中的對象。所 述分類器包括但不限于支持向量機、神經網絡等。
[0028] 具體地，W神經網絡為例，首先，可W將所述深度信息輸入CNN(Convolutional 化ural化twork，卷積神經網絡），W提取卷積神經網絡特征。具體地，例如，α^Ν可W包括卷 積層、pool層、非線性激活層(relu)、全連接層、softmax層等。此外，C順還可W可選地連接 損耗函數(loss化nction)。由此，可W通過α^Ν的學習而提取出卷積神經網絡特征。
[0029] 接下來，可W將所提取的卷積神經網絡特征輸入訓練后的RNN(Recurrent化ural Network,反饋神經網絡），W得到該帖圖像中對象所處的位置W及所述位置處存在所述對 象的置信度，作為所述對象檢測結果。具體地，在一示例中，將所述對象抽象為點，則所述對 象所處的位置可通過所述對象的預定參照點（例如，左上角點，中屯、點等)的坐標信息表示。 在另一示例中，所述對象所處的位置例如可通過所述預定參照點的坐標信息W及所述對象 在圖像中的寬度和高度信息來表示。更具體地，首先，可W獲取該帖圖像之前的任一帖圖像 (例如，緊挨該帖圖像的前一帖圖像)的對象檢測結果。然后，可W將所提取的卷積神經網絡 特征和該帖圖像之前的任一帖圖像的對象檢測結果輸入RNN，并通過到該帖圖像中對 象所處的位置W及所述位置處存在所述對象的置信度，作為所述對象檢測結果。
[0030] 例如，通過RNN，在每一次檢測過程中輸出一個對象的位置W及在此位置處存在所 述對象的置信度。此外，可選地，還可設置每一帖圖像中能夠檢測到的對象的上限。由此，判 斷是否達到結束條件。當沒有達到結束條件時，進行下一次檢測過程。當達到結束條件時， 輸出該帖圖像中對象所處的位置W及所述位置處存在所述對象的置信度，作為所述對象檢 測結果。
[0031] 示例性地，所述結束條件可W是所檢測到的對象的數量達到預先設置的能夠檢測 到的對象的上限。替代地，可W將每一次檢測過程的結果按照置信度的大小W例如降序的 預定順序排列。由此，所述結束條件可W是當前輸出的置信度小于預先設置的闊值。當然， W上所述的結束條件僅為示例。本領域技術人員可W在此基礎之上設計其他各種結束條 件。
[0032] 此外，關于所述網絡的訓練，例如，可W首先確定的網絡結構，例如VGG網 絡。接下來，可選地，可W基于諸如ΚΙΤ??等的預設的訓練數據集對所述網絡結構進行精細 調整。此外，可選地，還可W對所述網絡結構添加損耗函數。所述損耗函數例如可W基于歐 氏距離等等。由此，將精細調整和/或添加損耗函數的網絡結構輸入而進行對象檢測。
[0033] 此外，本領域技術人員能夠理解，在得到該帖圖像中對象所處的位置W及所述位 置處存在所述對象的置信度之后，可選地，為了提高對象檢測的精度，還可W增加諸如約束 框回歸(bounding box regression)處理的后處理，W進一步優化處理結果，并輸出優化之 后的處理結果作為所述對象檢測結果。
[0034] W上，WC順和R順相結合的神經網絡為例，描述了對象檢測的具體操作。當然，W 上所述的情況僅為示例。本領域技術人員能夠在