一種增強現實圖像處理方法及系統與流程

本發明屬于圖像處理領域，尤其涉及一種增強現實圖像處理方法及系統。

背景技術：

增強現實(Augmented Reality，簡稱AR)是通過計算機系統提供的信息增加用戶對現實世界感知的技術，將計算機生成的虛擬物體、場景或系統提示信息疊加到真實場景中，從而實現對現實的增強。本發明提供一種基于深度學習的目標檢測技術，為增強現實提供技術基礎。

從增強現實系統的硬件來看，大致可分為兩類：基于計算機視覺算法的增強現實；基于傳感器的增強現實。基于傳感器的跟蹤包括GPS(Global Positioning System全球定位系統)，地磁，聲音，慣性，光影或者力學感受器等。例如ARToolkit是基于標識識別的開源庫，它使用C/C++語言編寫，通過它可以讓我們很容易的編寫增強現實應用程序。這個庫首先記錄了很多易于標示的標識圖片，并以此為交互對象，實現了標識的跟蹤與交互，編程人員只要使用ARToolkit庫就可以編寫渲染方式。現在己經有非常多的基于該庫的應用出現，也因此證明了該庫的穩定性和實用性。與其他AR技術相對來說已經比較成熟。然而，此技術需要專門繪制固定紋路的標識，使得其應用場景大大受限。

對于標識識別主要有一類方法，目標檢測方法。目標檢測方法要解決的主要問題是處于復雜光照、復雜背景、多尺度、多視角、遮擋等條件下目標的識別定位問題。在解決這些基本問題的同時，為使目標識別定位方法可以應用于實際場景中，目標檢測算法需要滿足實時性及魯棒性。目標檢測方法分為全局方法和局部方法兩類。全局方法使用統計學分類技術，來比較輸入圖像與目標物體訓練圖集的相似程度，具體方法PCA、KNN、Adaboost等。這類方法用來解決檢測一類目標物體的實例。而對于目標檢測的常見問題，例如復雜的遮擋關系、光照和背景燈，并沒有進行針對性解決。

綜上所述，傳統AR在目標檢測過程中，存在不能魯棒性識別的問題。

技術實現要素：

為了解決傳統AR目標檢測不能魯棒性識別的問題，本發明的第一目的是提供了一種增強現實圖像處理方法。

本發明的一種增強現實圖像處理方法，包括：

獲取若干連續幀的增強現實圖像樣本并分別對其進行歸一化和去噪預處理；

以標簽形式標注出每個預處理后圖像樣本中目標的實際位置信息及標簽類別；

利用標簽化的樣本分別訓練用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡；

將待處理的增強現實圖像進行歸一化和去噪預處理之后，再輸入至訓練完成的第一卷積神經網絡和第二卷積神經網絡中，分別得到待處理的增強現實圖像的目標位置信息與標簽分類信息。

進一步的，利用標簽化的樣本分別訓練用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡的過程包括：

標簽化的樣本分別輸入至用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡，輸出的目標位置信息與標簽分類信息，直至第一卷積神經網絡和第二卷積神經網絡分別輸出的目標位置信息與標簽分類信息與目標的實際位置信息與標簽分類信息一致，得到訓練完成的第一卷積神經網絡和第二卷積神經網絡。

本發明通過對圖像的提取和數據的預處理，能加速神經網絡的訓練速度。

進一步的，所述第一卷積神經網絡為RPN卷積神經網絡。

在目標檢測中，fast-RCNN卷積神經網絡已經減少了檢測步驟的執行時間，只有在提取region proposal(候選區域)方面沒有提高，而RPN卷積神經網絡用來提取檢測區域，并且和整個檢測網絡共享卷積部分的特征。

進一步的，所述第二卷積神經網絡為fast-RCNN卷積神經網絡。

fast-RCNN卷積神經網絡在檢測部分減少了卷積的次數，減少了整個過程所需的時間。

發明的第二目的是提供了一種增強現實圖像處理系統。

本發明的實施例一的增強現實圖像處理系統，包括：

樣本集獲取模塊，其用于獲取若干連續幀的增強現實圖像樣本；

預處理模塊，其用于對每個樣本分別進行歸一化和去噪預處理；

標簽化模塊，其用于以標簽形式標注出每個預處理后圖像樣本中目標的實際位置信息及標簽類別；

卷積神經網絡訓練模塊，其用于利用標簽化的樣本分別訓練用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡；

圖像目標信息獲取模塊，其用于將待處理的增強現實圖像進行歸一化和去噪預處理之后，再輸入至訓練完成的第一卷積神經網絡和第二卷積神經網絡中，分別得到待處理的增強現實圖像的目標位置信息與標簽分類信息。

進一步的，在所述卷積神經網絡訓練模塊中，標簽化的樣本分別輸入至用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡，輸出的目標位置信息與標簽分類信息，直至第一卷積神經網絡和第二卷積神經網絡分別輸出的目標位置信息與標簽分類信息與目標的實際位置信息與標簽分類信息一致，得到訓練完成的第一卷積神經網絡和第二卷積神經網絡。

進一步的，所述第一卷積神經網絡為RPN卷積神經網絡；

或所述第二卷積神經網絡為fast-RCNN卷積神經網絡。

本發明的實施例二的增強現實圖像處理系統，包括：

圖像采集裝置，其被配置為：

采集若干連續幀的增強現實圖像以及待處理的增強圖像并傳送至處理器；

所述處理器，其被配置為：

對獲取的若干連續幀的增強現實圖像樣本分別進行歸一化和去噪預處理，并將預處理后的圖像樣本傳送至服務器；

所述處理器還被配置為：將待處理的增強圖像進行歸一化和去噪預處理并傳送至服務器；

所述服務器，其被配置為：

以標簽形式標注出每個預處理后圖像樣本中目標的實際位置信息及標簽類別；

利用標簽化的樣本分別訓練用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡，得到訓練完成的第一卷積神經網絡和第二卷積神經網絡；

以及將預處理后的待處理的增強圖像輸入至訓練完成的第一卷積神經網絡和第二卷積神經網絡中，分別得到待處理的增強現實圖像的目標位置信息與標簽分類信息。

進一步的，所述服務器還被配置為：

標簽化的樣本分別輸入至用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡，輸出的目標位置信息與標簽分類信息，直至第一卷積神經網絡和第二卷積神經網絡分別輸出的目標位置信息與標簽分類信息與目標的實際位置信息與標簽分類信息一致，得到訓練完成的第一卷積神經網絡和第二卷積神經網絡。

進一步的，該系統還包括顯示裝置，其用于顯示待處理的增強現實圖像的目標位置信息與標簽分類信息。

本發明的實施例三的增強現實圖像處理系統，包括：

圖像采集裝置，其被配置為：

采集若干連續幀的增強現實圖像以及待處理的增強圖像并傳送至服務器；

所述服務器，其被配置為：

對獲取的若干連續幀的增強現實圖像樣本分別進行歸一化和去噪預處理；

以標簽形式標注出每個預處理后圖像樣本中目標的實際位置信息及標簽類別；

利用標簽化的樣本分別訓練用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡，得到訓練完成的第一卷積神經網絡和第二卷積神經網絡；

以及將待處理的增強圖像進行歸一化和去噪預處理，之后再輸入至訓練完成的第一卷積神經網絡和第二卷積神經網絡中，分別得到待處理的增強現實圖像的目標位置信息與標簽分類信息。

進一步的，所述服務器還被配置為：

標簽化的樣本分別輸入至用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡，輸出的目標位置信息與標簽分類信息，直至第一卷積神經網絡和第二卷積神經網絡分別輸出的目標位置信息與標簽分類信息與目標的實際位置信息與標簽分類信息一致，得到訓練完成的第一卷積神經網絡和第二卷積神經網絡。

進一步的，該系統還包括顯示裝置，其用于顯示待處理的增強現實圖像的目標位置信息與標簽分類信息。

與現有技術相比，本發明的有益效果是：

(1)本發明采用RPN卷積神經網絡作為第一卷積神經網來定位圖像中的目標，由于RPN卷積神經網絡對目標的尺度和比例不敏感，這樣能夠有效提升非常規尺度和比例的目標檢測，并且更加簡單，通過共享卷積層參數，使計算量變小，且提高了目標檢測的準確性和穩定性。

(2)本發明采用第一卷積神經網絡和第二卷積神經網絡結合分別用來提取圖像中的目標的位置信息以及標簽分類信息，提高了檢測精度和速度；其中，第一卷積神經網絡和第二卷積神經網絡可以采用RPN卷積神經網絡和fast-RCNN卷積神經網絡，或其他卷積神經網絡來實現。

(3)本發明的增強現實圖像處理系統，利用圖像采集裝置采集增強圖像并傳送至處理器，利用處理器對增強現實圖像進行歸一化和去噪預處理，并將預處理后的圖像傳送至服務器，在服務器內首先訓練用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡，最后再利用訓練完成的第一卷積神經網絡和第二卷積神經網絡處理增強現實圖像，分別得到待處理的增強現實圖像的目標位置信息與標簽分類信息，本發明真正實現端到端的目標檢測框架，保證了AR在目標檢測過程識別的穩定性。

(4)本發明的增強現實圖像處理系統，利用圖像采集裝置采集增強圖像并傳送至服務器，利用服務器對增強現實圖像進行歸一化和去噪預處理，并利用預處理后的圖像訓練用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡，最后再利用訓練完成的第一卷積神經網絡和第二卷積神經網絡處理增強現實圖像，分別得到待處理的增強現實圖像的目標位置信息與標簽分類信息，本發明真正實現端到端的目標檢測框架，保證了AR在目標檢測過程識別的穩定性。

附圖說明

構成本申請的一部分的說明書附圖用來提供對本申請的進一步理解，本申請的示意性實施例及其說明用于解釋本申請，并不構成對本申請的不當限定。

圖1是一種增強現實圖像處理方法流程圖；

圖2是實施例一的增強現實圖像處理方法流程圖；

圖3是實施例二的增強現實圖像處理方法流程圖；

圖4是實施例三的增強現實圖像處理方法流程圖。

具體實施方式

應該指出，以下詳細說明都是例示性的，旨在對本申請提供進一步的說明。除非另有指明，本文使用的所有技術和科學術語具有與本申請所屬技術領域的普通技術人員通常理解的相同含義。

需要注意的是，這里所使用的術語僅是為了描述具體實施方式，而非意圖限制根據本申請的示例性實施方式。如在這里所使用的，除非上下文另外明確指出，否則單數形式也意圖包括復數形式，此外，還應當理解的是，當在本說明書中使用術語“包含”和/或“包括”時，其指明存在特征、步驟、操作、器件、組件和/或它們的組合。

圖1是本實施例的一種增強現實圖像處理方法流程圖。如圖1所示的增強現實圖像處理方法，包括：

S101：獲取若干連續幀的增強現實圖像樣本。

具體地，從增強現實圖像存儲器或是處理器中提取若干連續幀的增強現實圖像，作為樣本，進一步形成神經網絡訓練樣本集。神經網絡訓練樣本集內的樣本用來為訓練后續的卷積神經網絡提供數據基礎。

其中，增強現實圖像存儲器內存儲有均為連續幀的增強現實圖像，增強現實圖像存儲器可為ROM、RAM或TF卡。

處理器，其用來處理圖像得到連續幀的增強現實圖像。處理器可以為Milbeaut Mobile和Milbeaut Security ISP系列圖像處理器芯片。

S102：對每個樣本分別進行歸一化和去噪預處理。

通過對圖像的歸一化和去噪預處理，能加速后續神經網絡的訓練速度。

具體地，由于提取到的增強現實圖像包含噪聲以及大小不統一，這樣影響了后續神經網絡的訓練速度以及準確性。因此，在訓練神經網絡之前需要對每個樣本分別進行歸一化和去噪預處理，得到大小統一且去除噪聲的樣本。

在具體實施過程中，圖像歸一化就是通過一系列變換(即利用圖像的不變矩尋找一組參數使其能夠消除其他變換函數對圖像變換的影響)，將待處理的原始圖像轉換成相應的唯一標準形式(該標準形式圖像對平移、旋轉、縮放等仿射變換具有不變特性)。

在另一實施例中，基于矩的圖像歸一化技術基本工作原理為：首先利用圖像中對仿射變換具有不變性的矩來確定變換函數的參數，然后利用此參數確定的變換函數把原始圖像變換為一個標準形式的圖像(該圖像與仿射變換無關)。一般說來，基于矩的圖像歸一化過程包括4個步驟，即坐標中心化、x-shearing歸一化、縮放歸一化和旋轉歸一化。

圖像歸一化使得圖像可以抵抗幾何變換的攻擊，它能夠找出圖像中的那些不變量，從而得知這些圖像原本就是一樣的或者一個系列的。

此外，噪聲是圖像干擾的重要原因。一幅圖像在實際應用中可能存在各種各樣的噪聲，這些噪聲可能在傳輸中產生，也可能在量化等處理中產生。

常用的去除圖像噪聲的方法包括：均值濾波器、自適應維納濾波器、中值濾波器、形態學噪聲濾除器和小波去噪。其中，小波去噪這種方法保留了大部分包含信號的小波系數，因此可以較好地保持圖像細節。小波分析進行圖像去噪主要有3個步驟：

(1)對圖像信號進行小波分解。

(2)對經過層次分解后的高頻系數進行閾值量化。

(3)利用二維小波重構圖像信號。

S103：以標簽形式標注出每個預處理后圖像樣本中目標的實際位置信息及標簽類別。

具體地，樣本的目標實際位置信息以及標簽類別均是已知，可以采用手動以標簽形式將目標的實際位置信息及標簽類別分別標注在相應預處理后的圖像樣本中。這樣是為了訓練用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡。

在訓練用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡的過程中，若第一卷積神經網絡和第二卷積神經網絡的輸出與目標的實際位置信息及標簽類別有偏差，則未完成第一卷積神經網絡和第二卷積神經網絡，繼續訓練，直至第一卷積神經網絡和第二卷積神經網絡的輸出與目標的實際位置信息及標簽類別一致。

因此，以標簽形式標注出每個預處理后圖像樣本中目標的實際位置信息及標簽類別的目的是為了驗證第一卷積神經網絡和第二卷積神經網絡的輸出是否準確，如果不準確，繼續訓練。

S104：利用標簽化的樣本分別訓練用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡。

具體地，標簽化的樣本分別輸入至用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡，輸出的目標位置信息與標簽分類信息，直至第一卷積神經網絡和第二卷積神經網絡分別輸出的目標位置信息與標簽分類信息與目標的實際位置信息與標簽分類信息一致，得到訓練完成的第一卷積神經網絡和第二卷積神經網絡。

在一個實施例中，第一卷積神經網絡為RPN卷積神經網絡。

第二卷積神經網絡為fast-RCNN卷積神經網絡。

特別說明，第一卷積神經網絡和第二卷積神經網絡也可以采用其他卷積神經來實現，該處僅是分別以RPN卷積神經網絡和fast-RCNN卷積神經網絡為一個實施例來說明。

其中，RPN卷積神經網絡由八個卷積層和一個softmax層構成；fast-RCNN卷積神經網絡由五個卷積層一個ROIpooling層、四個全連接層和一個softmax層構成。

下面詳細介紹RPN卷積神經網絡和fast-RCNN卷積神經網絡的訓練過程。

(1)對RPN網絡進行初始化，使用隨機數初始化訓練參數；

(2)對輸入樣本圖像每一點都賦予多個尺度和多個比例的基準框，通過向初始化后的RPN卷積神經網絡中輸入訓練樣本的基準框來訓練CNN，使用反向傳播算法，調整網絡參數，使損失函數值最小；

(3)在訓練樣本上用訓練好的RPN，通過網絡計算，得到候選框；

(4)對fast-RCNN用與RPN一樣的初始化和訓練方式，輸入訓練樣本和候選框，結合樣本集的標注和標簽，進行訓練，得到fast-RCNN模型；

(5)在訓練好的fast-RCNN網絡中，輸入候選框，通過網絡計算得到網絡輸出，與真實標簽進行對比，得到誤差。判斷誤差是否小于一個閾值，如果是，將訓練好的模型進行存儲；否則重新訓練RPN神經網絡以及重新訓練fast-RCNN網絡；

(6)將訓練好的模型進行存儲。

S105：將待處理的增強現實圖像進行歸一化和去噪預處理之后，再輸入至訓練完成的第一卷積神經網絡和第二卷積神經網絡中，分別得到待處理的增強現實圖像的目標位置信息與標簽分類信息。

在具體實施過程中，通過上述步驟已經得到訓練完成的第一卷積神經網絡和第二卷積神經網絡。為了得到增強現實圖像中的目標位置信息與標簽分類信息，只需要將待處理的增強現實圖像進行歸一化和去噪預處理，即可輸入至訓練完成的第一卷積神經網絡和第二卷積神經網絡得到處理結果。

本發明采用第一卷積神經網絡和第二卷積神經網絡結合分別用來提取圖像中的目標的位置信息以及標簽分類信息，提高了檢測精度和速度；其中，第一卷積神經網絡和第二卷積神經網絡可以采用RPN卷積神經網絡和fast-RCNN卷積神經網絡，或其他卷積神經網絡來實現。

本發明采用RPN卷積神經網絡作為第一卷積神經網來定位圖像中的目標，由于RPN卷積神經網絡對目標的尺度和比例不敏感，這樣能夠有效提升非常規尺度和比例的目標檢測，并且更加簡單，通過共享卷積層參數，使計算量變小。

圖2是實施例一的增強現實圖像處理系統結構示意圖。如圖2所示的增強現實圖像處理系統，包括：

(1)樣本集獲取模塊，其用于獲取若干連續幀的增強現實圖像樣。

具體地，從增強現實圖像存儲器或是處理器中提取若干連續幀的增強現實圖像，作為樣本，進一步形成神經網絡訓練樣本集。神經網絡訓練樣本集內的樣本用來為訓練后續的卷積神經網絡提供數據基礎。

其中，增強現實圖像存儲器內存儲有均為連續幀的增強現實圖像，增強現實圖像存儲器可為ROM、RAM或TF卡。

處理器，其用來處理圖像得到連續幀的增強現實圖像。處理器可以為Milbeaut Mobile和Milbeaut Security ISP系列圖像處理器芯片。

(2)預處理模塊，其用于對神經網絡訓練樣本集內的每個樣本分別進行歸一化和去噪預處理。

通過對圖像的歸一化和去噪預處理，能加速后續神經網絡的訓練速度。

具體地，由于提取到的增強現實圖像包含噪聲以及大小不統一，這樣影響了后續神經網絡的訓練速度以及準確性。因此，在訓練神經網絡之前需要對每個樣本分別進行歸一化和去噪預處理，得到大小統一且去除噪聲的樣本。

在具體實施過程中，圖像歸一化就是通過一系列變換(即利用圖像的不變矩尋找一組參數使其能夠消除其他變換函數對圖像變換的影響)，將待處理的原始圖像轉換成相應的唯一標準形式(該標準形式圖像對平移、旋轉、縮放等仿射變換具有不變特性)。

在另一實施例中，基于矩的圖像歸一化技術基本工作原理為：首先利用圖像中對仿射變換具有不變性的矩來確定變換函數的參數，然后利用此參數確定的變換函數把原始圖像變換為一個標準形式的圖像(該圖像與仿射變換無關)。一般說來，基于矩的圖像歸一化過程包括4個步驟，即坐標中心化、x-shearing歸一化、縮放歸一化和旋轉歸一化。

圖像歸一化使得圖像可以抵抗幾何變換的攻擊，它能夠找出圖像中的那些不變量，從而得知這些圖像原本就是一樣的或者一個系列的。

此外，噪聲是圖像干擾的重要原因。一幅圖像在實際應用中可能存在各種各樣的噪聲，這些噪聲可能在傳輸中產生，也可能在量化等處理中產生。

常用的去除圖像噪聲的方法包括：均值濾波器、自適應維納濾波器、中值濾波器、形態學噪聲濾除器和小波去噪。其中，小波去噪這種方法保留了大部分包含信號的小波系數，因此可以較好地保持圖像細節。小波分析進行圖像去噪主要有3個步驟：

對圖像信號進行小波分解；

對經過層次分解后的高頻系數進行閾值量化；

利用二維小波重構圖像信號；

(3)標簽化模塊，其用于以標簽形式標注出每個預處理后圖像樣本中目標的實際位置信息及標簽類別。

具體地，樣本的目標實際位置信息以及標簽類別均是已知，可以采用手動以標簽形式將目標的實際位置信息及標簽類別分別標注在相應預處理后的圖像樣本中。這樣是為了訓練用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡。

在訓練用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡的過程中，若第一卷積神經網絡和第二卷積神經網絡的輸出與目標的實際位置信息及標簽類別有偏差，則未完成第一卷積神經網絡和第二卷積神經網絡，繼續訓練，直至第一卷積神經網絡和第二卷積神經網絡的輸出與目標的實際位置信息及標簽類別一致。

因此，以標簽形式標注出每個預處理后圖像樣本中目標的實際位置信息及標簽類別的目的是為了驗證第一卷積神經網絡和第二卷積神經網絡的輸出是否準確，如果不準確，繼續訓練。

(4)卷積神經網絡訓練模塊，其用于利用標簽化的樣本分別訓練用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡。

在所述卷積神經網絡訓練模塊中，標簽化的樣本分別輸入至用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡，輸出的目標位置信息與標簽分類信息，直至第一卷積神經網絡和第二卷積神經網絡分別輸出的目標位置信息與標簽分類信息與目標的實際位置信息與標簽分類信息一致，得到訓練完成的第一卷積神經網絡和第二卷積神經網絡。

其中，第一卷積神經網絡為RPN卷積神經網絡。

第二卷積神經網絡為fast-RCNN卷積神經網絡。

RPN卷積神經網絡由八個卷積層和一個softmax層構成；fast-RCNN卷積神經網絡由五個卷積層一個ROIpooling層、四個全連接層和一個softmax層構成。

對第一卷積神經網絡和第二卷積神經網絡訓練的過程：

對RPN網絡進行初始化，使用隨機數初始化訓練參數；

對輸入樣本圖像每一點都賦予多個尺度和多個比例的基準框，通過向初始化后的RPN卷積神經網絡中輸入訓練樣本的基準框來訓練CNN，使用反向傳播算法，調整網絡參數，使損失函數值最小；

在訓練樣本上用訓練好的RPN，通過網絡計算，得到候選框；

對fast-RCNN用與RPN一樣的初始化和訓練方式，輸入訓練樣本和候選框，結合樣本集的標注和標簽，進行訓練，得到fast-RCNN模型；

在訓練好的fast-RCNN網絡中，輸入候選框，通過網絡計算得到網絡輸出，與真實標簽進行對比，得到誤差。判斷誤差是否小于一個閾值，如果是，將訓練好的模型進行存儲；否則重新訓練RPN神經網絡以及重新訓練fast-RCNN網絡；

將訓練好的模型進行存儲。

(5)圖像目標信息獲取模塊，其用于將待處理的增強現實圖像進行歸一化和去噪預處理之后，再輸入至訓練完成的第一卷積神經網絡和第二卷積神經網絡中，分別得到待處理的增強現實圖像的目標位置信息與標簽分類信息。

在具體實施過程中，通過上述步驟已經得到訓練完成的第一卷積神經網絡和第二卷積神經網絡。為了得到增強現實圖像中的目標位置信息與標簽分類信息，只需要將待處理的增強現實圖像進行歸一化和去噪預處理，即可輸入至訓練完成的第一卷積神經網絡和第二卷積神經網絡得到處理結果。

本發明采用第一卷積神經網絡和第二卷積神經網絡結合分別用來提取圖像中的目標的位置信息以及標簽分類信息，提高了檢測精度和速度；其中，第一卷積神經網絡和第二卷積神經網絡可以采用RPN卷積神經網絡和fast-RCNN卷積神經網絡，或其他卷積神經網絡來實現。

本發明采用RPN卷積神經網絡作為第一卷積神經網來定位圖像中的目標，由于RPN卷積神經網絡對目標的尺度和比例不敏感，這樣能夠有效提升非常規尺度和比例的目標檢測，并且更加簡單，通過共享卷積層參數，使計算量變小，且提高了目標檢測的準確性和穩定性。

圖3是實施例二的增強現實圖像處理系統結構示意圖。如圖3所示的增強現實圖像處理系統，包括：圖像采集裝置、處理器和服務器。

其中，圖像采集裝置，其被配置為：

采集若干連續幀的增強現實圖像以及待處理的增強圖像并傳送至處理器；

所述處理器，其被配置為：

對獲取的若干連續幀的增強現實圖像樣本分別進行歸一化和去噪預處理，并將預處理后的圖像樣本傳送至服務器；

所述處理器還被配置為：將待處理的增強圖像進行歸一化和去噪預處理并傳送至服務器；

所述服務器，其被配置為：

以標簽形式標注出每個預處理后圖像樣本中目標的實際位置信息及標簽類別；

利用標簽化的樣本分別訓練用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡，得到訓練完成的第一卷積神經網絡和第二卷積神經網絡；

以及將預處理后的待處理的增強圖像輸入至訓練完成的第一卷積神經網絡和第二卷積神經網絡中，分別得到待處理的增強現實圖像的目標位置信息與標簽分類信息。

特別說明，一個服務器可以與多個處理器相互通信，每個處理器也可以與多個圖像采集裝置相連。

在具體實施過程中，服務器還被配置為：標簽化的樣本分別輸入至用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡，輸出的目標位置信息與標簽分類信息，直至第一卷積神經網絡和第二卷積神經網絡分別輸出的目標位置信息與標簽分類信息與目標的實際位置信息與標簽分類信息一致，得到訓練完成的第一卷積神經網絡和第二卷積神經網絡。

在具體實施過程中，該系統還包括顯示裝置，其用于顯示待處理的增強現實圖像的目標位置信息與標簽分類信息。

具體地，服務器可以為云服務器或是本地服務器。

本發明的增強現實圖像處理系統可以為可穿戴系統或是非可穿戴系統。

本發明的增強現實圖像處理系統，利用圖像采集裝置采集增強圖像并傳送至處理器，利用處理器對增強現實圖像進行歸一化和去噪預處理，并將預處理后的圖像傳送至服務器，在服務器內首先訓練用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡，最后再利用訓練完成的第一卷積神經網絡和第二卷積神經網絡處理增強現實圖像，分別得到待處理的增強現實圖像的目標位置信息與標簽分類信息，本發明真正實現端到端的目標檢測框架，保證了AR在目標檢測過程識別的穩定性。

圖4是實施例三的增強現實圖像處理系統結構示意圖。如圖4所示的增強現實圖像處理系統，包括：圖像采集裝置和服務器。

其中，圖像采集裝置，其被配置為：

采集若干連續幀的增強現實圖像以及待處理的增強圖像并傳送至服務器。

所述服務器，其被配置為：

對獲取的若干連續幀的增強現實圖像樣本分別進行歸一化和去噪預處理；

以標簽形式標注出每個預處理后圖像樣本中目標的實際位置信息及標簽類別；

利用標簽化的樣本分別訓練用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡，得到訓練完成的第一卷積神經網絡和第二卷積神經網絡；

以及將待處理的增強圖像進行歸一化和去噪預處理，之后再輸入至訓練完成的第一卷積神經網絡和第二卷積神經網絡中，分別得到待處理的增強現實圖像的目標位置信息與標簽分類信息。

進一步的，所述服務器還被配置為：

標簽化的樣本分別輸入至用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡，輸出的目標位置信息與標簽分類信息，直至第一卷積神經網絡和第二卷積神經網絡分別輸出的目標位置信息與標簽分類信息與目標的實際位置信息與標簽分類信息一致，得到訓練完成的第一卷積神經網絡和第二卷積神經網絡。

進一步的，該系統還包括顯示裝置，其用于顯示待處理的增強現實圖像的目標位置信息與標簽分類信息。

本發明的增強現實圖像處理系統，利用圖像采集裝置采集增強圖像并傳送至服務器，利用服務器對增強現實圖像進行歸一化和去噪預處理，并利用預處理后的圖像訓練用于目標定位的第一卷積神經網絡和目標標簽分類的第二卷積神經網絡，最后再利用訓練完成的第一卷積神經網絡和第二卷積神經網絡處理增強現實圖像，分別得到待處理的增強現實圖像的目標位置信息與標簽分類信息，本發明真正實現端到端的目標檢測框架，保證了AR在目標檢測過程識別的穩定性。

本領域內的技術人員應明白，本發明的實施例可提供為方法、系統、或計算機程序產品。因此，本發明可采用硬件實施例、軟件實施例、或結合軟件和硬件方面的實施例的形式。而且，本發明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限于磁盤存儲器和光學存儲器等)上實施的計算機程序產品的形式。

本發明是參照根據本發明實施例的方法、設備(系統)、和計算機程序產品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產生一個機器，使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可存儲在能引導計算機或其他可編程數據處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的制造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機或其他可編程數據處理設備上，使得在計算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機或其他可編程設備上執行的指令提供用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程，是可以通過計算機程序來指令相關的硬件來完成，所述的程序可存儲于一計算機可讀取存儲介質中，該程序在執行時，可包括如上述各方法的實施例的流程。其中，所述的存儲介質可為磁碟、光盤、只讀存儲記憶體(Read-Only Memory，ROM)或隨機存儲記憶體(Random AccessMemory，RAM)等。

上述雖然結合附圖對本發明的具體實施方式進行了描述，但并非對本發明保護范圍的限制，所屬領域技術人員應該明白，在本發明的技術方案的基礎上，本領域技術人員不需要付出創造性勞動即可做出的各種修改或變形仍在本發明的保護范圍以內。