基于智能移動設備平臺的圖像識別與創作應用系統及方法
【專利摘要】本發明揭示了一種基于智能移動設備平臺的圖像識別與創作應用系統及方法，所述系統包括實境增強應用子系統；所述實境增強應用子系統作為用戶影像內容制作中心，利用移動設備的圖像捕捉及處理能力，將虛擬影像融入到現實環境中，通過移動設備記錄這些影像，生成獨特的創作作品。本發明可以在智能移動設備上實現基于AR實境與3D內置影像結合。方便用戶創作新型多媒體內容，并利用無線互聯網交互分享，適用于智能移動設備應用領域推廣使用。
【專利說明】基于智能移動設備平臺的圖像識別與創作應用系統及方法
【技術領域】
[0001]本發明屬于增強現實【技術領域】，涉及一種增強現實系統，尤其涉及一種基于智能移動設備平臺的圖像識別與創作應用系統；同時，本發明還涉及一種基于智能移動設備平臺的圖像識別與創作應用方法。
【背景技術】
[0002]AR增強現實(AR全稱是Augmented Reality，即擴增現實或增強現實)是一種將虛擬內容和真實存在的內容進行實時融合，形成虛擬、現實之間互動的技術。AR技術分為手機AR，人臉識別，定點識別，卡片識別，體感AR技術等。AR實景是虛擬現實的延伸和發展，在虛擬現實的基礎上增加了真實環境，從而創造出全新的體驗。AR實景必須是將虛幻、現實兩者進行實時融合，靜態的合成不能屬于AR實景的范疇。
[0003]AR增強現實至少應該滿足三個要素。首先它所呈現的內容必須包含虛擬和現實兩個部分，這也是AR實景最基本的條件。其次虛擬和現實的融合必須是實時進行的；如果是靜態的畫面，不能隨著環境的改變而變化，則為PS。最后，AR實景應該創造出三維環境，這種三維環境不是指視覺上的3D立體畫面，而是指屏幕中創造出空間范圍，屏幕會隨著你的移動而呈現不同內容。
[0004]目前，基于智能移動終端的AR應用技術目前較多應用于廣告和游戲等領域，日本索尼公司就公布了名為Smart AR的無標簽版擴增實境技術。
[0005]索尼公司指出，此次研發的加強版擴增實境技術Smart AR，與現有的靠大標簽當“錨”才能使用的技術相比，最大的進步在于它不再需要標簽，就可以將虛擬的信息應用到真實世界，使真實的環境和虛擬的物體疊加到同一個畫面。
[0006]Smart AR還夠更快更準確的識別并追蹤對象，即使光線或對象物體發生變化，它也能夠及時感應到并配合改變。這就不會出現使用現有技術時因動作太快而導致的3D物與錨點分尚的情況。
[0007]除了無標簽化外，Smart AR另外一個顯著的優點是，它可以應用在大范圍的3D空間內，可以隨著錨點的變化而準確的判斷出錨點在空間內的位置。而擁有觸摸屏智能手機的用戶只要輕觸屏幕上的虛擬物，就可直觀又便捷的獲取需要的信息。
[0008]原有的AR實境增強技術，并沒有最大化的為用戶服務，在智能移動設備上的用戶無法自由參與使用AR相關技術創作及應用，缺少參與感，無法利用該技術產生內容，無法而成利用移動設備無線網絡技術快速分享。
[0009]有鑒于此，如今迫切需要設計一種新的增強現實系統，以克服現有系統的上述缺陷。
【發明內容】
[0010]本發明所要解決的技術問題是:提供一種基于智能移動設備平臺的圖像識別與創作應用系統，可以在智能移動設備上實現基于AR實境與3D內置影像結合。方便用戶創作新型多媒體內容，并利用無線互聯網交互分享，適用于智能移動設備應用領域推廣使用。
[0011]此外，本發明還提供一種基于智能移動設備平臺的圖像識別與創作應用方法，可以在智能移動設備上實現基于AR實境與3D內置影像結合。方便用戶創作新型多媒體內容，并利用無線互聯網交互分享，適用于智能移動設備應用領域推廣使用。
[0012]為解決上述技術問題，本發明采用如下技術方案:
[0013]一種基于智能移動設備平臺的圖像識別與創作應用系統，所述系統包括:實境增強應用子系統、用戶交互展示系統；
[0014]所述實境增強應用子系統作為用戶影像內容制作中心，利用移動設備的圖像捕捉及處理能力，將虛擬影像融入到現實環境中，通過移動設備記錄這些影像，生成獨特的創作作品，同時能對影像內容的刪除、更新及修改；
[0015]所述實境增強應用子系統主要包括:標識物識別模塊、創作模塊、圖像處理模塊、素材庫模塊、統一格式模塊；
[0016]所述標識物識別模塊利用移動設備的圖像獲取單元獲取標識物的視頻幀，對標識物進行圖像識別；對標識物進行識別的過程就是將標識物從背景中抽取出來的過程，采用圖像的閾值分割方法，根據像素的特性判別像素屬于背景還是標識物；
[0017]閾值分割方法包括:設定灰度直方圖與一幅圖像f U，y)對應，該圖像由位于亮背景上的暗物體構成，并且結成物體和背景的像素構成其兩個主要的模式；從圖像的背景中提取物體的方法之一就是選擇一個閾值T來將這兩個模式分開；對于任意一點(X，y)，如果其灰度值f(x，y) ^ T,則認為該像素點為背景點,否則認為該點為標識物點；一幅經過閾值化處理的圖像定義為:
【權利要求】
1.一種基于智能移動設備平臺的圖像識別與創作應用系統，其特征在于，所述系統包括:實境增強應用子系統、用戶交互展示系統； 所述實境增強應用子系統作為用戶影像內容制作中心，利用移動設備的圖像捕捉及處理能力，將虛擬影像融入到現實環境中，通過移動設備記錄這些影像，生成獨特的創作作品，同時能對影像內容的刪除、更新及修改； 所述實境增強應用子系統主要包括:標識物識別模塊、創作模塊、圖像處理模塊、素材庫模塊、統一格式模塊； 所述標識物識別模塊利用移動設備的圖像獲取單元獲取標識物的視頻幀，對標識物進行圖像識別；對標識物進行識別的過程就是將標識物從背景中抽取出來的過程，采用圖像的閾值分割方法，根據像素的特性判別像素屬于背景還是標識物； 閾值分割方法包括:設定灰度直方圖與一幅圖像f(x，y)對應，該圖像由位于亮背景上的暗物體構成，并且結成物體和背景的像素構成其兩個主要的模式；從圖像的背景中提取物體的方法之一就是選擇一個閾值T來將這兩個模式分開；對于任意一點(x，y)，如果其灰度值f(x，y) ^ T,則認為該像素點為背景點,否則認為該點為標識物點；一幅經過閾值化處理的圖像定義為
2.一種基于智能移動設備平臺的圖像識別與創作應用系統，其特征在于，所述系統包括實境增強應用子系統； 所述實境增強應用子系統作為用戶影像內容制作中心，利用移動設備的圖像捕捉及處理能力，將虛擬影像融入到現實環境中，通過移動設備記錄這些影像，生成獨特的創作作品O
3.根據權利要求2所述的基于智能移動設備平臺的圖像識別與創作應用系統，其特征在于: 所述圖像識別與創作應用系統還包括用戶交互展示系統，所述用戶交互展示子系統用以將用戶的作品上傳到服務器中心，并且分享給自己其他的好友，在移動設備上還原并播放。
4.根據權利要求2所述的基于智能移動設備平臺的圖像識別與創作應用系統，其特征在于:` 所述實境增強應用子系統主要包括:標識物識別模塊、創作模塊、圖像處理模塊、素材庫模塊、統一格式模塊； 所述標識物識別模塊利用移動設備的圖像獲取單元獲取標識物的視頻幀，對標識物進行圖像識別；對標識物進行識別的過程就是將標識物從背景中抽取出來的過程，采用圖像的閾值分割方法，根據像素的特性判別像素屬于背景還是標識物； 所述創作模塊用以通過標識圖像識別技術，將真實的內置3D模型置于展臺之上，當參觀者使用智能設備后，屏幕展示的內容會立刻投影到標志處，真實現實與虛擬內容相結合，使觀眾在感受新奇互動效果的同時觀看到多媒體的展示內容； 所述圖像處理模塊用以利用智能移動設備的攝像頭錄制或識別現實世界影像，再利用虛實合成技術的圖像處理引擎，通過算法調整圖像色彩通道、清晰度、曝光度、對比度；所述圖像處理模塊的具體處理方法包括:攝像頭錄制或識別到標識物后，為與場景更真實，需要在跟蹤定位過程進行準確的標注，同時還需要實現虛擬物體與真實物體之間的遮擋、陰影和光照一致性效果，虛擬物體即3D模型；在陰影處理方面，考慮虛擬物體與真實物體之間的陰影，計算方法從攝像頭中心點采集圖像點的周圍16個擴散點平均值為依據，以此為基礎計算光景和反射信息；采用兩種方法計算:使用標識物估計光照參數或者動態范圍的光照獲取平均法；標識物為預先設置圖像，在一定光照亮度下參數已知，通過此參數能與攝像頭實時獲取的數據對比計算現實環境的光亮及陰影參數；在環境光的檢測方面，系統利用攝像頭獲取一組不同視角照片重構幾何物體，用另外一組在不同光照條件下拍攝的同一視角的照片構的光學模型；最后根據圖像中標識物的明暗狀況逆推出真實環境中的光照情況，進而構造一個虛擬淘汰來實現光照一致性效果，完成調整圖像色彩通道、清晰度、曝光度、對比度等效果，實現虛實合成； 所述素材庫模塊中內置多項圖像效果、邊框、3D模型、視頻、序列幀圖片，便于用戶再制作更多作品； 所述統一格式模塊將用戶創作的內容以特殊格式保存，包含了聲音層、虛擬層、現實圖像層三個部分；形成一個完整的文檔格式，方便用戶保存與分享，同時解析后，影像作品能在軟件中還原并播放。
5.根據權利要求4所述的基于智能移動設備平臺的圖像識別與創作應用系統，其特征在于: 所述標識物識別模塊的閾值分割方法包括:設定灰度直方圖與一幅圖像f(x，y)對應，該圖像由位于亮背景上的暗物體構成，并且結成物體和背景的像素構成其兩個主要的模式；從圖像的背景中提取物體的方法之一就是選擇一個閾值T來將這兩個模式分開；對于任意一點0^，7)，如果其灰度值￡(1，7) 3T，則認為該像素點為背景點，否則認為該點為標識物點；一幅經過閾值化處理的圖像定義為:
八X亦 T
[O f{X>y)^T(2.1) 其中，被標記為I的像素屬于標識物，而被標記為ο的像素則屬于背景。
6.根據權利要求3所述的基于智能移動設備平臺的圖像識別與創作應用系統，其特征在于:` 所述用戶交互展示子系統通過開放的、基于互聯網標準的分布式同步或異步信息傳遞內容；使用XML、Web服務接口以及標準化基于規則的路由選擇文檔支持，為移動終端程序提供安全互用性；所述用戶交互展示子系統包括:交互模塊、用戶接口模塊； 所述交互模塊用以實時查找好友，并與好友一起分享作品，參與作品的評論與關注；將自己制作完成的實境增強圖像分享，包括腳本的解碼及多媒體內容的解析、展示； 所述用戶接口模塊用以為用戶提供與其他用戶或平臺中心實現網絡環境中分享內容轉換接口 ；包括XML與JSON通用API接口。
7.—種權利要求1至6之一所述圖像識別與創作應用系統的圖像識別與創作應用方法，其特征在于，所述方法包括如下步驟: 步驟S1、實境增強應用子系統作為用戶影像內容制作中心，利用移動設備的圖像捕捉及處理能力，將虛擬影像融入到現實環境中，通過移動設備記錄這些影像，生成獨特的創作作品。
8.根據權利要求6所述的圖像識別與創作應用方法，其特征在于: 所述步驟SI具體包括:標識物識別步驟、創作步驟、圖像處理步驟、統一格式步驟； 標識物識別步驟中，利用移動設備的圖像獲取單元獲取標識物的視頻幀，對標識物進行圖像識別；對標識物進行識別的過程就是將標識物從背景中抽取出來的過程，采用圖像的閾值分割方法，根據像素的特性判別像素屬于背景還是標識物；創作步驟中，通過標識圖像識別技術，將真實的內置3D模型置于展臺之上，當參觀者使用智能設備后，屏幕展示的內容會立刻投影到標志處，真實現實與虛擬內容相結合，使觀眾在感受新奇互動效果的同時觀看到多媒體的展示內容；所述3D模型存儲于素材庫模塊中，所述素材庫模塊中內置多項圖像效果、邊框、3D模型、視頻、序列幀圖片，便于用戶再制作更多作品； 圖像處理步驟中，利用智能移動設備的攝像頭錄制或識別現實世界影像，再利用虛實合成技術的圖像處理引擎，通過算法調整圖像色彩通道、清晰度、曝光度、對比度；所述圖像處理步驟的具體處理方法包括:攝像頭錄制或識別到標識物后，為與場景更真實，需要在跟蹤定位過程進行準確的標注，同時還需要實現虛擬物體與真實物體之間的遮擋、陰影和光照一致性效果，虛擬物體即3D模型；在陰影處理方面，考慮虛擬物體與真實物體之間的陰影，計算方法從攝像頭中心點采集圖像點的周圍16個擴散點平均值為依據，以此為基礎計算光景和反射信息；采用兩種方法計算:使用標識物估計光照參數或者動態范圍的光照獲取平均法；標識物為預先設置圖像，在一定光照亮度下參數已知，通過此參數能與攝像頭實時獲取的數據對比計算現實環境的光亮及陰影參數；在環境光的檢測方面，系統利用攝像頭獲取一組不同視角照片重構幾何物體，用另外一組在不同光照條件下拍攝的同一視角的照片構的光學模型；最后根據圖像中標識物的明暗狀況逆推出真實環境中的光照情況，進而構造一個虛擬淘汰來實現光照一致性效果，完成調整圖像色彩通道、清晰度、曝光度、對比度等效果，實現虛實合成； 統一格式步驟中，將用戶創作的內容以特殊格式保存，包含了聲音層、虛擬層、現實圖像層三個部分；形成一個完整的文檔格式，方便用戶保存與分享，同時解析后，影像作品能在軟件中還原并播放。
9.根據權利要求7所述的圖像識別與創作應用方法，其特征在于: 所述標識物識別步驟中，閾值分割方法包括:設定灰度直方圖與一幅圖像f(x，y)對應，該圖像由位于亮背景上的暗物體構成，并且結成物體和背景的像素構成其兩個主要的模式；從圖像的背景中提取物體的方法之一就是選擇一個閾值T來將這兩個模式分開；對于任意一點0^，7)，如果其灰度值￡(1，7) 3T，則認為該像素點為背景點，否則認為該點為標識物點；一幅經過閾值化處理的圖像`定義為: f 、/i f{x,y)<T容(2.1) 其中，被標記為I的像素屬于標識物，而被標記為O的像素則屬于背景。
10.根據權利要求6所述的圖像識別與創作應用方法，其特征在于: 所述方法還包括步驟S2:用戶交互展示子系統將用戶的作品上傳到服務器中心，并且分享給自己其他的好友，在移動設備上還原并播放； 用戶交互展示子系統通過開放的、基于互聯網標準的分布式同步或異步信息傳遞內容；使用XML、Web服務接口以及標準化基于規則的路由選擇文檔支持，為移動終端程序提供安全互用性。
【文檔編號】G06T5/40GK103679204SQ201310716998
【公開日】2014年3月26日 申請日期:2013年12月23日 優先權日:2013年12月23日
【發明者】廖曉琪 申請人:上海安琪艾可網絡科技有限公司