一種城市場景垃圾檢測方法及系統與流程

本發明涉及一種檢測方法及系統，尤其涉及一種城市場景垃圾檢測方法及系統。

背景技術：

城市中無序丟棄的垃圾嚴重影響市容市貌、污染生活環境，給城市和居民帶來極大的影響。

為清理城市中無序丟棄的垃圾、維護城市衛生和形象，需要對城市場景中的垃圾進行檢測定位，然后根據定位來進行清理。目前的城市場景垃圾檢測方法主要是派專人進行巡查并進行拍照登記，巡查的過程中需要人工定位無序丟棄的垃圾，操作手持相機進行拍照，巡查過后進行整理歸檔來記錄垃圾分布情況與對應的相應責任人。這種方法需要專人乘坐交通工具進行拍照登記，受交通、天氣、人員休假與工作時間等方面的影響很大，不能做到全天候的城市無序丟棄垃圾狀況監測和檢測，并且人工拍照、整理還存在成本高、耗時長等問題，這就大大的不利于城市中無序丟棄垃圾的檢測和清理，不能保障城市衛生和形象。

技術實現要素：

有鑒于此，有必要針對上述城市場景中的垃圾檢測和監測不能全天候進行、且成本高耗時長的問題，提供一種城市場景垃圾檢測方法及系統。

本發明提供的一種城市場景垃圾檢測方法，包括如下步驟：

S10：選定VOC數據集作為垃圾檢測的基礎數據集，收集城市影像并挑選出含有無序丟棄垃圾的城市影像作為候選集，按照VOC數據集定義的格式對候選集中城市影像含有無序丟棄垃圾的區域進行標注，將標注后的城市影像與VOC數據集中已有數據進行融合；

S20：在融合后的VOC數據集基礎上，搭建垃圾檢測的深度學習平臺，在搭建的深度學習平臺上，獲取深度學習平臺提供的進行垃圾檢測的預訓練模型并對預訓練模型進行適應性先驗參數設置；

S30：采用預訓練模型對新獲取城市影像進行垃圾檢測，檢測新獲取城市影像是否存在垃圾及垃圾存在區域，給出檢測結果。

在其中的一個實施方式中，所述步驟S10具體為：收集城市影像，挑選出含有無序丟棄垃圾的城市影像作為候選集，按照VOC數據集定義的格式，采用矩形選擇框對候選集中城市影像含有無序丟棄垃圾的區域進行標注，標注完成后，將標注后的城市影像隨機的劃分為訓練集、驗證集和測試集，并分別將新獲取的訓練集、驗證集和測試集同VOC數據集中已有的訓練集、驗證集和測試集進行融合。

在其中的一個實施方式中，所述步驟S20具體為：

選擇Caffe深度學習框架進行深度學習平臺的實現，使用Model Zoo中的ZF模型作為垃圾檢測任務的預訓練模型。

在其中的一個實施方式中，所述步驟S20具體為：使用網格搜索的方法在融合后的VOC數據集上驗證不同先驗參數對城市影像的檢測精度。

在其中的一個實施方式中，所述步驟S30具體包括：

對新獲取的城市影像進行預處理，具體包括對新獲取城市影像進行裁剪、縮放，和/或進行均值提取處理；

將預處理之后的城市影像輸入深度學習的神經網絡，得到對城市影像中候選區域的分類和位置的回歸以得出檢測結果。

本發明提供的一種城市場景垃圾檢測系統，包括：

數據融合模塊，選定VOC數據集作為垃圾檢測的基礎數據集，收集城市影像并挑選出含有無序丟棄垃圾的城市影像作為候選集，按照VOC數據集定義的格式對候選集中城市影像含有無序丟棄垃圾的區域進行標注，將標注后的城市影像與VOC數據集中已有數據進行融合；

深度學習平臺搭建模塊，在融合后的VOC數據集基礎上，搭建垃圾檢測的深度學習平臺，在搭建的深度學習平臺上，獲取深度學習平臺提供的進行垃圾檢測的預訓練模型并對預訓練模型進行適應性先驗參數設置；

城市影像垃圾檢測模塊，采用預訓練模型對新獲取城市影像進行垃圾檢測，檢測新獲取城市影像是否存在垃圾及垃圾存在區域，給出檢測結果。

在其中的一個實施方式中，所述數據融合模塊收集城市影像，挑選出含有無序丟棄垃圾的城市影像作為候選集，按照VOC數據集定義的格式，采用矩形選擇框對候選集中城市影像含有無序丟棄垃圾的區域進行標注，標注完成后，將標注后的城市影像隨機的劃分為訓練集、驗證集和測試集，并分別將新獲取的訓練集、驗證集和測試集同VOC數據集中已有的訓練集、驗證集和測試集進行融合。

在其中的一個實施方式中，所述深度學習平臺搭建模塊選擇Caffe深度學習框架進行深度學習平臺的實現，使用Model Zoo中的ZF模型作為垃圾檢測任務的預訓練模型。

在其中的一個實施方式中，所述深度學習平臺搭建模塊使用網格搜索的方法在融合后的VOC數據集上驗證不同先驗參數對城市影像的檢測精度。

在其中的一個實施方式中，所述城市影像垃圾檢測模塊對新獲取的城市影像進行預處理，具體包括對新獲取城市影像進行裁剪、縮放，和/或進行均值提取處理；將預處理之后的城市影像輸入深度學習的神經網絡，得到對城市影像中候選區域的分類和位置的回歸以得出檢測結果。本發明城市場景垃圾檢測方法及系統，選定視覺物體分類VOC數據集作為垃圾檢測的基礎數據集，獲取城市影像標注出垃圾區域后與VOC數據集進行融合擴充和豐富VOC數據集，然后基于深度學習技術搭建深度學習平臺，在深度學習平臺上選擇預訓練模型，在對預訓練模型進行先驗參數設置后通過深度學習平臺和預訓練模型來對新獲取城市影像進行垃圾檢測，自動給出檢測結果，不需要專人乘坐交通工具進行拍照登記及人工垃圾區域的檢測，能夠做到全天候的城市無序丟棄垃圾狀況監測和檢測，成本低、耗時短，這就大大的便利城市中無序丟棄垃圾的檢測和清理，保障城市衛生和形象。

附圖說明

圖1是一個實施例中的城市場景垃圾檢測方法的流程圖；

圖2是一個實施例中的城市場景垃圾檢測系統的結構圖。

具體實施方式

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，并不用于限定本發明。

圖1是一個實施例中城市場景垃圾檢測方法的流程圖，如圖1所示，該方法包括如下步驟：

S10：選定VOC(visual object classes，視覺物體分類)數據集作為垃圾檢測的基礎數據集，收集城市影像并挑選出含有無序丟棄垃圾的城市影像作為候選集，按照VOC數據集定義的格式對候選集中城市影像含有無序丟棄垃圾的區域進行標注，將標注后的城市影像與VOC數據集中已有數據進行融合。

VOC(visual object classes，視覺物體分類)數據集是權威的場景檢測數據集，包括有大量訓練驗證圖片和測試圖片，具有很多類已標注對象，包括行人、自行車、公共汽車、小轎車、摩托車等城市場景內的常見對象，通過VOC數據集中已經標注對象能夠對城市影像中的對象進行檢測識別。故在該實施例中，選定VOC(visual object classes，視覺物體分類)數據集作為垃圾檢測的基礎數據集，利用VOC數據集中的數據和標注對象來進行城市場景中無序丟棄垃圾的檢測。

由于VOC數據集中的數據有限，可能存在訓練數據不足的問題，該實施例中獲取城市影像來對VOC數據集進行擴充。具體的，收集城市影像，城市影像包括街景車拍攝的城市影像、由互聯網爬取的城市影像等。然后從中挑選出含有無序丟棄垃圾的城市影像作為候選集，按照VOC數據集定義的格式，采用矩形選擇框對候選集中城市影像含有無序丟棄垃圾的區域進行標注(標注過程中盡可能的在少標入背景的條件下將感興趣對象標入完整)。在標注完之后，將標注后的城市影像隨機的劃分為訓練集、驗證集和測試集，并分別將新獲取的訓練集、驗證集和測試集同VOC數據集中已有的訓練集、驗證集和測試集進行融合。

更進一步的，選定VOC2007數據集作為垃圾檢測的基礎數據集。VOC2007數據集包括5011張訓練驗證圖片和4952張測試圖片，共有20類已標注對象，適合作為基礎數據集。

S20：在融合后的VOC數據集基礎上，搭建垃圾檢測的深度學習平臺，在搭建的深度學習平臺上，獲取深度學習平臺提供的進行垃圾檢測的預訓練模型并對預訓練模型進行適應性先驗參數設置。

在將獲取的城市影像與VOC數據集融合之后，在融合數據的基礎上，本發明方法基于深度學習算法來對城市場景中無序丟棄垃圾進行檢測，搭建垃圾檢測的深度學習平臺，將深度學習應用到城市場景垃圾檢測之中，擴大深度學習的應用。搭建垃圾檢測的深度學習平臺后，深度學習平臺具有多種預訓練模型，則由多種預訓練模型中選擇獲取適合進行垃圾檢測的預訓練模型。為使得所獲取的預訓練模型能夠很好的適應當前地區的垃圾檢測，還需要對預訓練模型進行適應性先驗參數設置。

為提高檢測精度，在具體的方式中，該步驟中選擇Caffe深度學習框架進行深度學習平臺的實現。Caffe深度學習框架文檔完善、社區活躍并有豐富的模型庫，適合進行平臺搭建。同時，平臺硬件配置采用GPU(浮點運算能力更強)作為運算核心。進一步的，使用Nividia Geforce GTX 980作為GPU，使用Interl Core i7與16G內存作為主要的硬件配置。

在選擇Caffe深度學習框架進行深度學習平臺的實現后，Caffe深度學習框架完善的社區生態提供了豐富的經過良好預訓練的模型，該實施例中，使用Model Zoo中的ZF模型作為垃圾檢測任務的預訓練模型。

由于不同的應用場景需要對預訓練模型的先驗參數進行不同的調整，針對垃圾檢測應用場景，該實施例中，使用網格搜索的方法在融合后的VOC數據集上驗證不同先驗參數對城市影像的檢測精度。經過反復驗證，該實施例最終選擇0.001作為初始學習率，0.0005作為權值衰減量，0.9作為沖量，并從每張城市影像中挑選出128個候選區域作為mini-batch(子集)，進行損失的反向傳播從而更新預訓練模型權值。

S30：采用預訓練模型對新獲取城市影像進行垃圾檢測，檢測新獲取城市影像是否存在垃圾及垃圾存在區域，給出檢測結果。

在搭建了深度學習平臺并且選擇獲取了預訓練模型后，則采用獲取的預訓練模型來對城市場景中無序丟棄的垃圾進行檢測。具體的，新獲取城市場景的城市影像，然后采用預訓練模型對新獲取城市影像進行垃圾檢測。通過預訓練模型的檢測，判斷出城市影像是否存在垃圾及垃圾存在區域，給出檢測結果，從而通過深度學習及預訓練模型實現城市場景中無序丟棄垃圾的檢測。

在進一步的方式中，為使得城市影像滿足預訓練模型的要求，對于新獲取的城市影像進行預處理，對新獲取城市影像進行裁剪或縮放，使新獲取城市影像符合預訓練模型的要求。

同時，由于城市影像的像素范圍是固定的，故還要對新獲取城市影像進行均值提取處理。具體的，統計融合后VOC數據集的訓練集中紅、綠、藍三個波段的像素值，得到三個波段像素的均值，將新獲取城市影像的三個波段減去對應均值。在經過預處理之后，將經過預處理之后的城市影像輸入深度學習的神經網絡，得到對城市影像中候選區域的分類和位置的回歸以得出檢測結果。根據不同的應用場景，選擇不同的置信度對候選結果進行篩選，找出最有可能是無序丟棄垃圾的區域，實現對城市影像中無序丟棄垃圾的檢測。

該城市場景垃圾檢測方法，選定視覺物體分類VOC數據集作為垃圾檢測的基礎數據集，獲取城市影像標注出垃圾區域后與VOC數據集進行融合擴充和豐富VOC數據集，然后基于深度學習技術搭建深度學習平臺，在深度學習平臺上選擇預訓練模型，在對預訓練模型進行先驗參數設置后通過深度學習平臺和預訓練模型來對新獲取城市影像進行垃圾檢測，自動給出檢測結果，不需要專人乘坐交通工具進行拍照登記及人工垃圾區域的檢測，能夠做到全天候的城市無序丟棄垃圾狀況監測和檢測，成本低、耗時短，這就大大的便利城市中無序丟棄垃圾的檢測和清理，保障城市衛生和形象。

同時，本發明還提供一種城市場景垃圾檢測系統，如圖2所示，該城市場景垃圾檢測系統包括：

數據融合模塊100，選定VOC(visual object classes，視覺物體分類)數據集作為垃圾檢測的基礎數據集，收集城市影像并挑選出含有無序丟棄垃圾的城市影像作為候選集，按照VOC數據集定義的格式對候選集中城市影像含有無序丟棄垃圾的區域進行標注，將標注后的城市影像與VOC數據集中已有數據進行融合。

VOC(visual object classes，視覺物體分類)數據集是權威的場景檢測數據集，包括有大量訓練驗證圖片和測試圖片，具有很多類已標注對象，包括行人、自行車、公共汽車、小轎車、摩托車等城市場景內的常見對象，通過VOC數據集中已經標注對象能夠對城市影像中的對象進行檢測識別。故在該實施例中，數據融合模塊100選定VOC(visual object classes，視覺物體分類)數據集作為垃圾檢測的基礎數據集，利用VOC數據集中的數據和標注對象來進行城市場景中無序丟棄垃圾的檢測。

由于VOC數據集中的數據有限，可能存在訓練數據不足的問題，該實施例中數據融合模塊100獲取城市影像來對VOC數據集進行擴充。具體的，數據融合模塊100收集城市影像，城市影像包括街景車拍攝的城市影像、由互聯網爬取的城市影像等；然后從中挑選出含有無序丟棄垃圾的城市影像作為候選集，按照VOC數據集定義的格式，采用矩形選擇框對候選集中城市影像含有無序丟棄垃圾的區域進行標注(標注過程中盡可能的在少標入背景的條件下將感興趣對象標入完整)；在標注完之后，將標注后的城市影像隨機的劃分為訓練集、驗證集和測試集，并分別將新獲取的數據的訓練集、驗證集和測試集同VOC數據集中的已有的訓練集、驗證集和測試集進行融合。

更進一步的，數據融合模塊100選定VOC2007數據集作為垃圾檢測的基礎數據集。VOC2007數據集包括5011張訓練驗證圖片和4952張測試圖片，共有20類已標注對象，適合作為基礎數據集。

深度學習平臺搭建模塊200，在融合后的VOC數據集基礎上，搭建垃圾檢測的深度學習平臺，在搭建的深度學習平臺上，獲取深度學習平臺提供的進行垃圾檢測的預訓練模型并對預訓練模型進行適應性先驗參數設置。

在將獲取的城市影像與VOC數據集融合之后，在融合數據的基礎上，本發明系統基于深度學習算法來對城市場景中無序丟棄垃圾進行檢測，深度學習平臺搭建模塊200搭建垃圾檢測的深度學習平臺，將深度學習應用到城市場景垃圾檢測之中，擴大深度學習的應用。搭建垃圾檢測的深度學習平臺后，深度學習平臺具有多種預訓練模型，深度學習平臺搭建模塊200則由多種預訓練模型中選擇獲取適合進行垃圾檢測的預訓練模型。為使得所獲取的預訓練模型能夠很好的適應當前地區的垃圾檢測，還需要對預訓練模型進行適應性先驗參數設置。

為提高檢測精度，深度學習平臺搭建模塊200選擇Caffe深度學習框架進行深度學習平臺的實現。Caffe深度學習框架文檔完善、社區活躍并有豐富的模型庫，適合進行平臺搭建。同時，深度學習平臺硬件配置采用GPU(浮點運算能力更強)作為運算核心。進一步的，使用Nividia Geforce GTX 980作為GPU，使用Interl Core i7與16G內存作為主要的硬件配置。

在選擇Caffe深度學習框架進行深度學習平臺的實現后，Caffe深度學習框架完善的社區生態提供了豐富的經過良好預訓練的模型，該實施例中，深度學習平臺搭建模塊200使用Model Zoo中的ZF模型作為垃圾檢測任務的預訓練模型。

由于不同的應用場景需要對預訓練模型的先驗參數進行不同的調整，針對垃圾檢測應用場景，該實施例中，深度學習平臺搭建模塊200使用網格搜索的方法在融合后的VOC數據集上驗證不同先驗參數對城市影像的檢測精度。經過反復驗證，該實施例最終選擇0.001作為初始學習率，0.0005作為權值衰減量，0.9作為沖量，并從每張城市影像中挑選出128個候選區域作為mini-batch(子集)，進行損失的反向傳播從而更新預訓練模型權值。

城市影像垃圾檢測模塊300，采用預訓練模型對新獲取城市影像進行垃圾檢測，檢測新獲取城市影像是否存在垃圾及垃圾存在區域，給出檢測結果。

在搭建了深度學習平臺并且選擇獲取了預訓練模型后，城市影像垃圾檢測模塊300采用獲取的預訓練模型來對城市場景中無序丟棄的垃圾進行檢測。具體的，新獲取城市場景的城市影像，然后采用預訓練模型對新獲取城市影像進行垃圾檢測。通過預訓練模型的檢測，判斷出城市影像是否存在垃圾及垃圾存在區域，給出檢測結果，從而通過深度學習及預訓練模型實現城市場景中無序丟棄垃圾的檢測。

在進一步的方式中，為使得城市影像滿足預訓練模型的要求，城市影像垃圾檢測模塊300對于新獲取的城市影像進行預處理，對新獲取城市影像進行裁剪或縮放，使新獲取城市影像符合預訓練模型的要求。

同時，由于城市影像的像素范圍是固定的，故城市影像垃圾檢測模塊300還要對新獲取城市影像進行均值提取預處理。具體的，城市影像垃圾檢測模塊300統計融合后VOC數據集的訓練集中紅、綠、藍三個波段的像素值，得到三個波段像素的均值，將新獲取城市影像的三個波段減去對應均值。在經過預處理之后，將經過預處理之后的城市影像輸入深度學習的神經網絡，得到對城市影像中候選區域的分類和位置的回歸以得出檢測結果。根據不同的應用場景，選擇不同的置信度對候選結果進行篩選，找出最有可能是無序丟棄垃圾的區域，實現對城市影像中無序丟棄垃圾的檢測。

該城市場景垃圾檢測系統，選定視覺物體分類VOC數據集作為垃圾檢測的基礎數據集，獲取城市影像標注出垃圾區域后與VOC數據集進行融合擴充和豐富VOC數據集，然后基于深度學習技術搭建深度學習平臺，在深度學習平臺上選擇預訓練模型，在對預訓練模型進行先驗參數設置后通過深度學習平臺和預訓練模型來對新獲取城市影像進行垃圾檢測，自動給出檢測結果，不需要專人乘坐交通工具進行拍照登記及人工垃圾區域的檢測，能夠做到全天候的城市無序丟棄垃圾狀況監測和檢測，成本低、耗時短，這就大大的便利城市中無序丟棄垃圾的檢測和清理，保障城市衛生和形象。

本發明城市場景垃圾檢測方法及系統，選定視覺物體分類VOC數據集作為垃圾檢測的基礎數據集，獲取城市影像標注出垃圾區域后與VOC數據集進行融合擴充和豐富VOC數據集，然后基于深度學習技術搭建深度學習平臺，在深度學習平臺上選擇預訓練模型，在對預訓練模型進行先驗參數設置后通過深度學習平臺和預訓練模型來對新獲取城市影像進行垃圾檢測，自動給出檢測結果，不需要專人乘坐交通工具進行拍照登記及人工垃圾區域的檢測，能夠做到全天候的城市無序丟棄垃圾狀況監測和檢測，成本低、耗時短，這就大大的便利城市中無序丟棄垃圾的檢測和清理，保障城市衛生和形象。

以上僅為本發明的較佳實施例而已，并不用以限制本發明，凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護范圍之內。