一種ar和vr數據處理設備與方法
【專利摘要】本發明公開了一種AR和VR數據處理設備與方法，包括數據采集模塊，處理模塊和AR/VR設備，由數據采集模塊采集信號，經處理模塊，最后在AR/VR設備呈現；數據采集模塊，包括攝像頭模塊、傳感器模塊、錄音模塊將采集到的信號傳送至處理模塊處理,處理模塊將各攝像頭捕捉到的數據進行拼接，渲染，以及3D處理，并將處理完整的原數據文件儲存在存儲卡中；AR/VR設備配置有屏幕、攝像頭、電池、存儲卡、近距離傳感器和與數據采集模塊相同的傳感器模塊。本發明簡化了AR/VR設備的數據處理的方法和設備，降低了設備的成本，結合兩組傳感器增強了AR/VR設備的呈現效果與觀眾的感官體驗，拓寬了AR/VR的應用范圍。
【專利說明】
一種AR和VR數據處理設備與方法
技術領域
[0001]本發明涉及一種AR和VR數據處理設備與方法，特別涉及AR和VR數據的采集，圖像處理，以及設備與觀眾的人機交互體驗領域。
【背景技術】
[0002]AR即增強現實技術，它是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術，是把原本在現實世界的一定時間空間范圍內很難體驗到的實體信息(視覺信息，聲音，味道，觸覺等)，通過電腦等科學技術，模擬仿真后再疊加，將虛擬的信息應用到真實世界，被人類感官所感知，從而達到超越現實的感官體驗。真實的環境和虛擬的物體實時地疊加到了同一個畫面或空間同時存在。增強現實技術，不僅展現了真實世界的信息，而且將虛擬的信息同時顯示出來，兩種信息相互補充、疊加。在視覺化的增強現實中，用戶利用頭盔顯示器，把真實世界與電腦圖形多重合成在一起，便可以看到真實的世界圍繞著他。
[0003]增強現實技術包含了多媒體、三維建模、實時視頻顯示及控制、多傳感器溶合、實時跟蹤及注冊、場景融合等新技術與新手段。增強現實提供了在一般情況下，不同于人類可以感知的ig息。
[0004]VR即虛擬現實，指綜合利用計算機圖形系統和各種現實及控制等接口設備，在計算機上生成的、可交互的三維環境中提供沉浸感覺的技術。其中，計算機生成的、可交互的三維環境稱為虛擬環境。虛擬現實技術是一種可以創建和體驗虛擬世界的計算機仿真系統的技術。它利用計算機生成一種模擬環境，利用多源信息融合的交互式三維動態視景和實體行為的系統仿真使用戶沉浸到該環境中。
【發明內容】
[0005]本發明的目的在于克服現有技術的不足，提供一種AR和VR數據處理設備與方法。
[0006]本發明的目的是通過以下技術方案來實現的:一種AR和VR數據處理設備，包括數據采集模塊、處理模塊、存儲卡和AR/VR設備，所述的數據采集模塊采集數據并發送至處理模塊，經處理模塊處理后發送至在AR/VR設備;所述的數據采集模塊，包括攝像頭模塊、傳感器模塊、錄音模塊，攝像頭模塊、傳感器模塊、錄音模塊分別將采集到的數據傳送至處理模塊處理，所述的攝像頭模塊包括十枚鏡頭，所述的十枚鏡頭包含八枚平視標準鏡頭(I)、I枚頂部魚眼鏡頭(2)和I枚底部魚眼鏡頭(2)，各平視標準鏡頭(I)處于同一水平面，相鄰平視標準鏡頭(I)之間的夾角為45度;所述的傳感器模塊包括陀螺儀、加速計和磁力計，陀螺儀、加速計和磁力計分別將采集到的數據傳送至處理模塊處理;所述的處理模塊對數據進行處理，并將處理后的數據發送至存儲卡進行存儲中；所述的AR/VR設備包括本體，所述的本體上配置有屏幕、攝像頭、電池、存儲卡卡槽、近距離傳感器和與數據采集模塊相同的傳感器模塊。
[0007]所述的AR/VR設備包括AR/VR眼鏡和AR/VR頭盔，所述的近距離傳感器連接有比較器，所述的近距離傳感器用于檢測眼睛與AR/VR設備的屏幕的距離，并將檢測到的數據發送至比較器的第一輸入端，比較器的第二輸入端輸入基準信號，比較器的輸出端與屏幕連接。
[0008]所述的磁力計用于測試磁場強度和方向，定位AR/VR設備的方位，所述的加速計，用于測量任意方向上的加速度，所述的陀螺儀，所述的陀螺儀，測量設備當前運動狀態和角速度狀態，所述的運動狀態包括向前、向后、向上、向下、向左、向右其中的一種或者多種，所述的角速度狀態包括加速或者減速。
[0009]所述的AR/VR設備中的攝像頭，其用于AR模式，攝像頭捕捉觀眾所處的周圍真實環境的實時圖像并使之與事先處理好的數據同時呈現在屏幕上，達到增強現實的目的。
[0010]一種AR和VR數據處理方法，其特征在于包括以下步驟:
51.數據采集模塊采用十個攝像頭對環境進行全角度錄像，傳感器模塊記錄相關信息，并將捕捉到的數據傳給處理模塊，使用錄音模塊對環境周圍錄音；
52.處理模塊對視頻將十個角度視頻畫面拼接轉換成360度全景視頻，對全景視頻進行渲染，將全景視頻3D處理，將其轉換為三維立體的圖像，并使視頻、傳感器模塊記錄相關信息和音頻在時間，空間，以及運動狀態上保持同步，在處理完成后將原數據儲寫入存儲卡內；
53.將寫入數據的存儲卡放入AR/VR設備中，AR/VR設備將原數據解析成全景視頻投射在屏幕上，AR/VR設備采集傳感器追蹤觀眾的相關信息，與原數據中傳感器模塊記錄的相關信息相匹配契合，并由此來不斷更新全景視頻的角度，顯示的內容，以及音頻的大小和方向。
[0011 ]所述的相關信息包括數據采集模塊在采集數據時的空間位置信息和運動狀態，以及觀眾在使用AR/VR設備時的空間位置信息和運動狀態。，兩者的匹配契合度對觀眾在AR/VR設備的感知極為重要。
[0012]本發明的有益效果是:簡化了AR/VR設備的數據處理的方法和設備，降低了設備的成本，結合傳感器的作用增強了 AR/VR設備的呈現效果與觀眾的感官體驗，拓寬了 AR/VR的應用范圍。
【附圖說明】
[0013]圖1為本發明結構方框圖；
圖2為攝像模塊的俯視圖；
圖3為攝像模塊的正視圖:
圖中，1-平視標準鏡頭，2-魚眼鏡頭。
【具體實施方式】
[0014]下面結合附圖進一步詳細描述本發明的技術方案:如圖1所示，一種AR和VR數據處理設備，包括數據采集模塊、處理模塊、存儲卡和AR/VR設備，所述的數據采集模塊采集數據并發送至處理模塊，經處理模塊處理后發送至在AR/VR設備;所述的數據采集模塊，包括攝像頭模塊、傳感器模塊、錄音模塊，攝像頭模塊、傳感器模塊、錄音模塊分別將采集到的數據傳送至處理模塊處理，所述的攝像頭模塊包括十枚鏡頭，所述的十枚鏡頭包含八枚平視標準鏡頭(1)、1枚頂部魚眼鏡頭(2)和I枚底部魚眼鏡頭(2)，各平視標準鏡頭(I)處于同一水平面，相鄰平視標準鏡頭(I)之間的夾角為45度;所述的傳感器模塊包括陀螺儀、加速計和磁力計，陀螺儀、加速計和磁力計分別將采集到的數據傳送至處理模塊處理;所述的處理模塊對數據進行處理，并將處理后的數據發送至存儲卡進行存儲中；所述的AR/VR設備包括本體，所述的本體上配置有屏幕、攝像頭、電池、存儲卡卡槽、近距離傳感器和與數據采集模塊相同的傳感器模塊。
[0015]所述的AR/VR設備包括AR/VR眼鏡和AR/VR頭盔，所述的近距離傳感器連接有比較器，所述的近距離傳感器用于檢測眼睛與AR/VR設備的屏幕的距離，并將檢測到的數據發送至比較器的第一輸入端，比較器的第二輸入端輸入基準信號，比較器的輸出端與屏幕連接。通過比較第一輸入端與第二輸入端的大小關系來決定屏幕的開關。
[0016]所述的磁力計用于測試磁場強度和方向，定位AR/VR設備的方位，所述的加速計，用于測量任意方向上的加速度，所述的陀螺儀，所述的陀螺儀，測量設備當前運動狀態和角速度狀態，所述的運動狀態包括向前、向后、向上、向下、向左、向右其中的一種或者多種，所述的角速度狀態包括加速或者減速。
[0017]陀螺儀的主要感知觀眾旋轉情況(原位運動)，無法感知方向，加速計則主要是感知設備的受力情況，磁力計主要感知AR/VR設備的方位，總體來說，AR和VR設備通過陀螺儀感知“觀眾轉了個身”，通過加速計感知“觀眾又向前走了幾米”，通過磁力計則知道“我們是向西方向”的。
[0018]所述的AR/VR設備中的攝像頭，其用于AR模式，攝像頭捕捉觀眾所處的周圍真實環境的實時圖像并使之與事先處理好的數據同時呈現在屏幕上，達到增強現實的目的。
[0019]一種AR和VR數據處理方法，包括以下步驟:
51.數據采集模塊采用十個攝像頭對環境進行全角度錄像，傳感器模塊記錄相關信息，并將捕捉到的數據傳給處理模塊，使用錄音模塊對環境周圍錄音；
52.處理模塊對視頻將八個角度視頻畫面拼接轉換成360度全景視頻，對全景視頻進行渲染，將全景視頻3D處理，將其轉換為三維立體的圖像，并使視頻、傳感器模塊記錄相關信息和音頻在時間，空間，以及運動狀態上保持同步，在處理完成后將原數據儲寫入存儲卡內；
53.將寫入數據的存儲卡放入AR/VR設備中，AR/VR設備將原數據解析成全景視頻投射在屏幕上，AR/VR設備采集傳感器追蹤觀眾的相關信息，與原數據中傳感器模塊記錄的相關信息相匹配，并由此來不斷更新全景視頻的角度，顯示的內容，以及音頻的大小和方向。
[0020]所述的相關信息包括數據采集模塊在錄像時的空間位置信息和運動狀態，以及觀眾在使用AR/VR設備時的空間位置信息和運動狀態，兩者的匹配契合度對觀眾的感知極為重要。
[0021]以上所述的具體實施例，對本發明的解決的技術問題、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發明的具體實施例而已，并不用于限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。
【主權項】
1.一種AR和VR數據處理設備，其特征在于，包括數據采集模塊、處理模塊、存儲卡和AR/VR設備，所述的數據采集模塊采集數據并發送至處理模塊，經處理模塊處理后發送至在AR/VR設備;所述的數據采集模塊，包括攝像頭模塊、傳感器模塊、錄音模塊，攝像頭模塊、傳感器模塊、錄音模塊分別將采集到的數據傳送至處理模塊處理，所述的攝像頭模塊包括十枚鏡頭，所述的十枚鏡頭包含八枚平視標準鏡頭(1)、1枚頂部魚眼鏡頭(2)和I枚底部魚眼鏡頭(2)，各平視標準鏡頭(I)處于同一水平面，相鄰平視標準鏡頭(I)之間的夾角為45度;所述的傳感器模塊包括陀螺儀、加速計和磁力計，陀螺儀、加速計和磁力計分別將采集到的數據傳送至處理模塊處理;所述的處理模塊對數據進行處理，并將處理后的數據發送至存儲卡進行存儲中；所述的AR/VR設備包括本體，所述的本體上配置有屏幕、攝像頭、電池、存儲卡卡槽、近距離傳感器和與數據采集模塊相同的傳感器模塊。2.根據權利要求1所述的一種AR和VR數據處理設備，其特征在于，所述的AR/VR設備包括AR/VR眼鏡或AR/VR頭盔。3.根據權利要求1所述的一種AR和VR數據處理設備，其特征在于，所述的近距離傳感器連接有比較器，所述的近距離傳感器用于檢測眼睛與AR/VR設備的屏幕的距離，并將檢測到的數據發送至比較器的第一輸入端，比較器的第二輸入端輸入基準信號，比較器的輸出端與屏幕連接。4.根據權利要求1所述的一種AR和VR數據處理設備，其特征在于所述的磁力計用于測試磁場強度和方向，定位AR/VR設備的方位。5.根據權利要求1所述的一種AR和VR數據處理設備，其特征在于，所述的加速計，用于測量任意方向上的加速度。6.根據權利要求1所述的一種AR和VR數據處理設備，其特征在于，所述的陀螺儀，所述的陀螺儀，測量設備當前運動狀態和角速度狀態，所述的運動狀態包括向前、向后、向上、向下、向左、向右其中的一種或者多種，所述的角速度狀態包括加速或者減速。7.根據權利要求1所述的一種AR和VR數據處理設備，其特征在于，所述的AR/VR設備中的攝像頭，其用于AR模式，攝像頭捕捉觀眾所處的周圍真實環境的實時圖像并使之與事先處理好的數據同時呈現在屏幕上，達到增強現實的目的。8.一種AR和VR數據處理方法，其特征在于包括以下步驟: 51.數據采集模塊采用十個攝像頭對環境進行全角度錄像，傳感器模塊記錄相關信息，并將捕捉到的數據傳給處理模塊，使用錄音模塊對環境周圍錄音； 52.處理模塊對視頻將十個角度視頻畫面拼接轉換成360度全景視頻，對全景視頻進行渲染，將全景視頻3D處理，將其轉換為三維立體的圖像，并使視頻、傳感器模塊記錄相關信息和音頻在時間，空間，以及運動狀態上保持同步，在處理完成后將原數據儲寫入存儲卡內； 53.將寫入數據的存儲卡放入AR/VR設備中，AR/VR設備將原數據解析成全景視頻投射在屏幕上，AR/VR設備采集傳感器追蹤觀眾的相關信息，與原數據中傳感器模塊記錄的相關信息相匹配契合，并由此來不斷更新全景視頻的角度，顯示的內容，以及音頻的大小和方向。9.根據權利要求7所述的一種AR和VR數據處理方法，其特征在于，所述的相關信息包括數據采集模塊在采集數據時的空間位置信息和運動狀態，以及觀眾在使用AR/VR設備時的空間位置信息和運動狀態。
【文檔編號】G06F3/01GK106066701SQ201610521779
【公開日】2016年11月2日
【申請日】2016年7月5日
【發明人】唐林, 張波
【申請人】成都福蘭特電子技術股份有限公司