一種月表虛擬場景構建方法及裝置制造方法
【專利摘要】本發明公開了一種月球表面虛擬場景的構建方法，其包括：利用嫦娥三號全景左右相機在月球表面的探測點水平環拍和不同俯仰角獲取多對影像，并利用所獲取的多對影像進行全景鑲嵌，得到月球表面的全景圖像；構建月表虛擬場景模型；將構建的月表星空模型和月表地形地貌模型重投影到視平面；將重投影到視平面的月表星空模型和月表地形地貌模型進行三維實時渲染而產生視頻信號，并將視頻信號在柱幕投影屏幕上進行水平立體顯示；通過圖形工作站，對嫦娥三號降落相機圖像數據進行數據預處理得到視頻信號，并將得到的視頻信號傳輸進投影顯示系統，在地幕投影屏幕上進行垂直投影顯示。
【專利說明】一種月表虛擬場景構建方法及裝置
【技術領域】
[0001]本發明涉及虛擬現實技術及應用領域，特別是在三維顯示環境下真實、快速模擬月球表面場景的方法及裝置。
【背景技術】
[0002]利用月球車在復雜月球表面開展巡視探測，實現38萬公里之外的月球車與地面上月球科學家、工程技術人員之間的信息交互，安全、準確地完成嫦娥三號月面巡視探測任務，必須建立月表場景虛擬現實人機交互系統，構建一個真實感強、沉浸感好、實時性高，集月表地形地貌、星空環境、時間信息為一體的三維可視化平臺，輔助月球科學家全面了解月球車周圍的探測環境。
[0003]但由于月球表面工作環境具有無法完全預知、不確定因素多、高度依賴視覺圖像、任務時間緊等特點，再現月球車位置、月表地形地貌、太陽光照及星空環境，建立一個具有身臨其境的、可進行交互操作的月表虛擬場景，快速獲取月面探測的環境信息，一直是月面遙科學探測研究的一個難點問題。
[0004]目前的月面環境模擬，通常采用實物模擬的方式，在地面構建真空系統、熱循環系統、月塵模擬系統、輻射環境模擬系統等，具備月表高低溫循環、月塵、真空紫外、電子輻射等多個環境因素模擬能力。這些月球環境模擬系統大多服務于月球探測器的地面試驗，由于采用實物模擬方式，普遍存在投資大，靈活性差，無法適應月球復雜多變的場景變化，也難以滿足月球車月面巡視探測過程真實月表場景的模擬。
【發明內容】
[0005]有鑒于此，本發明提供了一種月表虛擬場景構建方法及裝置，基于嫦娥三號全景相機雙目立體圖像數據、星表數據庫和降落相機圖像數據，結合圖像數據實時處理、圖像渲染和三維立體顯示技術，創建交互的月表三維虛擬場景，實現快速、靈活地月面場景高精度模擬。
[0006]月表虛擬場景在投影顯示系統的支持下，結合星空數據及時空信息，實現月球、地球、太陽及虛擬星空的實時顯示；將全景相機左右兩臺相機月面360°環拍的鑲嵌影像，通過柱幕投影系統進行水平立體顯示，實現實時立體量測功能，獲取月面科學探測點的位置和方位信息；同時利用降落過程中獲取的降落相機圖像，通過地幕投影系統進行垂直投影顯示，模擬月面科學探測過程。本發明可以方便地實時了解月球車周圍地形地貌環境，大大增強月表虛擬場景的真實度，使月球科學家能更真實的掌握月球車的探測位置和探測過程。
[0007]根據本發明一方面，其提供了一種月球表面虛擬場景的構建方法，其包括:
[0008]步驟1、利用嫦娥三號全景左右相機在月球表面的探測點水平環拍和不同俯仰角獲取多對影像，并利用所獲取的多對影像進行全景鑲嵌，得到月球表面的全景圖像；
[0009]步驟2、構建月表虛擬場景模型，包括根據星空數據構建隨時間實時更新的月表星空模型；根據嫦娥三號全景圖像確定全景圖像映射到球面的緯度坐標和經度坐標，并將全景圖像建立成金字塔結構，以構建月表地形地貌模型；
[0010]步驟3、將構建的月表星空模型和月表地形地貌模型重投影到視平面；
[0011]步驟4、將重投影到視平面的月表星空模型和月表地形地貌模型進行三維實時渲染而產生視頻信號，并將視頻信號在柱幕投影屏幕上進行水平立體顯示；
[0012]步驟5、通過圖形工作站，對嫦娥三號降落相機圖像數據進行數據預處理得到視頻信號，并將得到的視頻信號傳輸進投影顯示系統，在地幕投影屏幕上進行垂直投影顯示。
[0013]根據本發明另一方面，其提供了一種月球表面虛擬場景的構建裝置，其包括:
[0014]全景圖像獲取模塊，利用嫦娥三號全景左右相機在月球表面的探測點水平環拍和不同俯仰角獲取多對影像，并利用所獲取的多對影像進行全景鑲嵌，得到月球表面的全景圖像；
[0015]月表虛擬場景模型構建模塊，構建月表虛擬場景模型，包括根據星空數據構建隨時間實時更新的月表星空模型；根據嫦娥三號全景圖像確定全景圖像映射到球面的緯度坐標和經度坐標，并將全景圖像建立成金字塔結構，以構建月表地形地貌模型；
[0016]投影模塊，將構建的月表星空模型和月表地形地貌模型重投影到視平面；
[0017]三維實時渲染模塊，將重投影到視平面的月表星空模型和月表地形地貌模型進行三維實時渲染而產生視頻信號，并將視頻信號在柱幕投影屏幕上進行水平立體顯示；
[0018]月表虛擬場景構建模塊，通過圖形工作站，對嫦娥三號降落相機圖像數據進行數據預處理得到視頻信號，并將得到的視頻信號傳輸進投影顯示系統，在地幕投影屏幕上進行垂直投影顯示。
[0019]本發明與現有技術相比的優點在于:
[0020](I)利用星空數據庫，太陽、地球和月球星歷，月面經緯度和高程，精確解算出月球車、太陽和各天體的空間位置，實現了太陽高度角、方位角和月球車周圍地物的月面位置與方位的實時解算，快速、靈活地構建月球表面光照、星空等虛擬場景；
[0021](2)利用嫦娥三號全景相機左右相機360°環拍鑲嵌影像數據和降落相機圖像數據，構建月球表面地形虛擬場景，克服了現有技術忽略部分因素和簡化地形信息提取帶來的模擬誤差，提高了模擬精度和真實性，具備地形量測等交互功能。
[0022](3)利用四通道立體投影顯示系統和地幕投影系統，建立了沉浸式月表虛擬環境。
[0023]本發明相對于現有技術，解決了月表虛擬場景構建方法的問題，能夠快速、靈活地構建月球表面地形、光照、星空等虛擬場景，利用立體投影顯示系統，可以為科學家和公眾提供交互式、沉浸式月表虛擬環境。
【專利附圖】
【附圖說明】
[0024]圖1本發明中月表虛擬場景構建方法的流程圖；
[0025]圖2是本發明中月表虛擬場景構建裝置的硬件環境組成圖；
[0026]圖3是本發明中月表虛擬場景效果示意圖。
【具體實施方式】
[0027]為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照附圖，對本發明作進一步的詳細說明。
[0028]本發明提出了一種月球表面虛擬場景的構建方法。以嫦娥三號月面軟著陸區場景模擬過程為例，如圖1所示，本發明的具體實施方法如下:
[0029]步驟1、全景圖鑲嵌；
[0030]嫦娥三號全景左右相機在月球表面的每個探測點水平360°環拍和不同俯仰角獲取了 58對影像，即左右相機分別拍攝的58幅影像，針對全景相機序列圖像光照不均、月表影像的特殊性等問題，采用基于SURF算法進行嫦娥三號全景相機圖像全景鑲嵌，得到月球表面的全景圖像。
[0031]首先采用SURF算法提取每對影像的特征點，用SURF描述子的歐氏距離作為判定度量對每對影像進行特征匹配，得到每對影像的特征匹配點集合。
[0032]其次利用所得到的特征匹配點集合求取每對相鄰影像間的變換矩陣，并利用Levenberg-Marquardt (列文伯格_馬夸爾特法)非線性優化算法對所述變換矩陣進行優化，以提高變換矩陣的精度。變換矩陣的求取可采用論文《“吳凡路，劉建軍，任鑫，李春來.嫦娥三號全景相機圖像全景鑲嵌方法的研究[J].光學學報，2014，34 (9):0915001》中的方法實現。
[0033]利用匹配點集合和優化后的變換矩陣進行相鄰圖像位置配準，最后采用基于線性插值的漸入漸出方法對圖像重疊區域進行融合，實現月表圖像的無縫鑲嵌，得到嫦娥三號全景圖像。具體鑲嵌過程可采用《吳凡路，劉建軍，任鑫，李春來.嫦娥三號全景相機圖像全景鑲嵌方法的研究[J].光學學報，2014，34(9):0915001》中記載的方法進行。
[0034]步驟2、月表虛擬場景建模
[0035](I)星空建模。本發明采用伊巴古星表數據，依巴谷星表數據基于的時空坐標系是J2000赤道坐標系，月表虛擬場景建模過程中，需要將j2000赤道坐標系轉換為任意指定時刻的基于嫦娥三號著陸點為原點的月表地平坐標系。首先實時地將2000年I月I日的星表位置數據轉換到當前指定時刻的瞬時月心赤道坐標系位置數據；由于恒星赤經和赤緯會因歲差(與恒星的自行)改變，所以通常指定某一特定的紀元作參考點。J2000赤道坐標系是以UTC時間2000年I月I日11:58:55.816的時間，為參考點，因此本發明選用了 2000年I月I日。然后，將瞬時月心赤道坐標系轉換為基于嫦娥三號著陸點為原點的月表地平坐標系；最后將星空背景層映射至基于月表地平坐標系的天球面，完成隨時間實時更新的月表星空模型構建。
[0036](2)構建月表地形地貌模型。首先根據嫦娥三號全景圖像垂直視場角大小和相機光軸方向，確定全景圖像坐標映射到天球面的緯度坐標，具體地:由相機光軸方向可以確定全景圖像中心的緯度位置，再根據全景相機的視場角大小，計算全景圖像角點的緯度坐標；再由全景圖水平方向的圖像邊緣為正北方向，確定全景圖像坐標映射到球面的經度坐標，具體地:全景圖像是水平360度全景圖像，正北方向對應的經度O度。通過已知圖像邊緣為正北方向，將其映射為經度O度，可以確定全景圖像坐標映射到球面的經度坐標；同時考慮到全景圖數據量較大，將全景圖建立成金字塔結構，以提高高分辨率圖像渲染的效率。其中，相機光軸方向由相機桅桿的俯仰決定，可以根據探測器下傳的遙測參數確定。相機的視場角是相機本身的參數屬性。相機是指左右兩個全景相機，一臺相機可以鑲嵌為一張全景圖。兩臺相機可以鑲嵌為左右兩張全景圖。通過對左右兩張圖像立體顯示，使用者可以看到具有景深的三維立體圖像。
[0037]步驟3、投影轉換
[0038]根據用戶的相應動作實時地將天球上的可見部分從球面上重投影到視平面上是實現場景交互漫游的關鍵。本發明綜合考慮到投影變形及投影于視平面的實時速度要求，采用球極投影方式實時的將投影于球面的星空及地形地貌模型重投影到視平面，完成實時顯示及交互漫游功能。其中，投影是指將球面上的數據投影到視平面上(即顯示屏幕)，然后進行實時渲染(繪制)。該步驟中球面上的數據，是指前文完成的建模的星空模型數據(由星表數據坐標轉換得到)和月表地形地貌模型(由全景圖像構成)。全景圖像數據，為嫦娥三號獲得。星表數據，是本領域中已知的數據。
[0039]步驟4、三維實時渲染
[0040]本發明基于OpenGL圖形庫，將重投影于視平面的模型實時渲染。三維實時渲染產生的視頻信號傳輸到系統硬件。系統硬件中的信號傳輸流與控制流如圖2所示。首先，基于月表虛擬環境軟件和高效能圖形工作站硬件，將顯示屏幕從左到右依次劃分為四個部分，輸出具有重疊區的四路高清視頻信號源；然后，四路視頻信號經信號傳輸與控制系統傳入視頻信號同步矩陣，視頻信號完成融合及立體信號同步；最后，經同步和融合過的視頻信號傳輸進四臺投影機，在柱幕投影屏幕上進行水平立體顯示。
[0041]步驟5、月表虛擬場景構建
[0042]通過圖形工作站，將經過數據預處理后的降落相機圖像的視頻信號傳輸進投影顯示系統，在地幕投影屏幕上進行垂直投影顯示。
[0043]本發明中，通過柱幕投影系統進行水平立體顯示星空模型和月球車上用全景相機拍攝的地形地貌模型，通過地幕投影系統進行垂直投影顯示降落過程中獲取的降落相機圖像，這個數據是從上往下俯看的地形地貌模型，最終構建月球車科學探測的月表虛擬場景(如圖3)。
[0044]本發明還提供了一種月面虛擬場景構建裝置(如圖2所示)，其包括:立體投影顯示系統和月表虛擬環境軟件。
[0045]立體投影顯示系統為月表虛擬環境軟件服務，由4臺平投投影機構成的柱幕投影系統和2臺俯投投影機構成的地幕投影系統組成。投影系統包括信號產生系統，信號傳輸與控制系統，投影顯示系統。柱幕投影顯示系統為圓柱形環幕，弧長31米，圓弧半徑15，屏幕高5.5米；地幕投影顯示系統為長方形地幕，長18米，寬8.5米。
[0046]月表虛擬環境軟件是整個系統的核心，基于以上月表虛擬場景構建方法，采用OpenGL技術研制。在立體投影顯示系統的支持下，結合實時的星空數據，實現地外天體上的虛擬星空顯示；基于大數據圖像渲染引擎，采用快速實時投影方法，實現柱狀投影、方位投影等多種形式的場景展示。月表虛擬現場場景可視化運行模式可實現預演模式、實時模式、事后回放分析模式等。該軟件通過結合支持投影系統的硬件環境以立體的方式展現月球車周圍地形地貌環境，根據時間實時更新星空環境，呈現了沉浸感強，交互性好，真實度高的虛擬月表環境。
[0047]以上所述的具體實施例，對本發明的目的、技術方案和有益效果進行了進一步詳細說明，應理解的是，以上所述僅為本發明的具體實施例而已，并不用于限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。
【權利要求】
1.一種月球表面虛擬場景的構建方法，其包括: 步驟1、利用嫦娥三號全景左右相機在月球表面的探測點水平環拍和不同俯仰角獲取多對影像，并利用所獲取的多對影像進行全景鑲嵌，得到月球表面的全景圖像； 步驟2、構建月表虛擬場景模型，包括根據星空數據構建隨時間實時更新的月表星空模型；根據嫦娥三號全景圖像確定全景圖像映射到球面的緯度坐標和經度坐標，并將全景圖像建立成金字塔結構，以構建月表地形地貌模型； 步驟3、將構建的月表星空模型和月表地形地貌模型重投影到視平面； 步驟4、將重投影到視平面的月表星空模型和月表地形地貌模型進行三維實時渲染而產生視頻信號，并將視頻信號在柱幕投影屏幕上進行水平立體顯示； 步驟5、通過圖形工作站，對嫦娥三號降落相機圖像數據進行數據預處理得到視頻信號，并將得到的視頻信號傳輸進投影顯示系統，在地幕投影屏幕上進行垂直投影顯示。
2.如權利要求1所述的方法，其中，步驟I中利用所獲取的多對影像進行全景鑲嵌具體包括: 采用SURF算法提取每對影像的特征點，用SURF描述子的歐氏距離作為判定度量對每對影像進行特征匹配，得到每對影像的特征匹配點集合； 求取相鄰兩幅圖像間的變換矩陣，并利用非線性優化算法進行優化； 利用優化后的變換矩陣進行相鄰圖像位置配準，采用基于線性差值的漸入漸出方法對圖像重疊區域進行融合、得到月球表面的全景圖像。
3.如權利要求1所述的方法，其中，步驟2中月表星空模型如下構建: 實時地將2000年I月I日的星表位置數據轉換到當前指定時刻的瞬時月心赤道坐標系位置數據； 將瞬時月心赤道坐標系轉換為基于嫦娥三號著陸點為原點的月表地平坐標系； 將星空背景層映射至基于月表地平坐標系的天球面，完成隨時間實時更新的月表星空模型構建。
4.如權利要求1所述的方法，其中，步驟2中月表地形地貌模型如下構建: 根據嫦娥三號全景圖像垂直視場角大小和相機光軸方向，確定全景圖像坐標映射到球面的緯度坐標； 由全景圖水平方向的圖像邊緣為正北方向，確定全景圖像坐標映射到球面的經度坐標； 將全景圖建立成金字塔結構，以提高高分辨率圖像渲染的效率。
5.如權利要求1所述的方法，其中，步驟3中采用球極投影方式實時的將投影于球面的星空模型及月球地形地貌模型重投影到視平面。
6.如權利要求1所述的方法，其中，步驟4具體包括: 將顯示屏幕從左到右依次劃分為四個部分，輸出具有重疊區的四路視頻信號源； 所述四路視頻信號經信號傳輸與控制系統傳入視頻信號同步矩陣，四路視頻信號完成融合及立體信號同步； 經同步和融合過的四路視頻信號傳輸進四臺投影機，在柱幕投影屏幕上進行水平立體顯不O
7.一種月球表面虛擬場景的構建裝置，其包括: 全景圖像獲取模塊，利用嫦娥三號全景左右相機在月球表面的探測點水平環拍和不同俯仰角獲取多對影像，并利用所獲取的多對影像進行全景鑲嵌，得到月球表面的全景圖像； 月表虛擬場景模型構建模塊，構建月表虛擬場景模型，包括根據星空數據構建隨時間實時更新的月表星空模型；根據嫦娥三號全景圖像確定全景圖像映射到球面的緯度坐標和經度坐標，并將全景圖像建立成金字塔結構，以構建月表地形地貌模型； 投影模塊，將構建的月表星空模型和月表地形地貌模型重投影到視平面: 三維實時渲染模塊，將重投影到視平面的月表星空模型和月表地形地貌模型進行三維實時渲染而產生視頻信號，并將視頻信號在柱幕投影屏幕上進行水平立體顯示； 月表虛擬場景構建模塊，通過圖形工作站，對嫦娥三號降落相機圖像數據進行數據預處理得到視頻信號，并將得到的視頻信號傳輸進投影顯示系統，在地幕投影屏幕上進行垂直投影顯示。
【文檔編號】G06T15/00GK104463956SQ201410675795
【公開日】2015年3月25日 申請日期:2014年11月21日 優先權日:2014年11月21日
【發明者】劉建軍, 高興燁, 任鑫, 牟伶俐, 李春來 申請人:中國科學院國家天文臺