專利名稱：一種用于跨媒體數字城市景區建模方法
技術領域：
本發明涉及一種用于跨媒體數字城市景區建模方法。
背景技術：
地理信息系統是一門綜合性的技術，它涉及到地理學、測繪學、計算機科學與技術等學科。它的概念和基礎是地理和測繪，它的技術支撐是計算機技術，它的應用領域是地理、規劃與管理等許多行業和部門。從20世紀60年代末地理信息系統發展以來，地理信息系統的概念和理論基礎已基本成熟，剩下一些難題，如多維時態地理信息系統模型目前還沒定論。但從主流技術上看，現有的地理信息系統理論基礎可以支撐地理信息系統技術的發展。
三維全景視頻是從三維全景圖片發展而來的。三維全景圖片是互聯網頁面瀏覽的一種特效圖片，瀏覽者可以通過簡單的鼠標操作，實現多視角對某物品的觀察，仿真的動感視覺效果，加強產品對瀏覽者的視覺沖擊和深刻記憶。而所謂的全景視頻空間是利用采集的離散圖像或連續的視頻作為基礎數據，經過處理后建立起的具有三維操縱能力的實景數據視頻。近年來，3D建模和視頻技術的逐步成熟，為搭建平滑的三維全景視頻提供了良好的條件。
常見的數字導航系統的幾種方式是平面地圖、衛星影像、航空影像、景點照片。這些數字導航方式雖然可以增加文字、聲音加以豐富，但其表現形式單調刻板，缺乏真實感和互動性。
與此同時，隨著技術的發展，2.5維地圖、三維地形、虛擬漫游等方式也逐漸應用于數字導航。這些方式提高了數字城市(景區)的生動性，更加容易被旅游者接受，但其制作過程成本高昂，需要人工為各種地物建模，而且其模型僅僅是對自然地形的仿真，同樣缺乏真實感。
將視頻與地理信息系統地理信息相結合，可以比較好的克服平面地圖等缺乏真實感和互動性的缺點，制作成本也相對于三維地圖，虛擬漫游等方式相對廉價了不少。將地理信息系統與視頻相結合，特別是和全景視頻無縫結合，應該成為數字導航系統的一種趨勢。
發明內容
本發明的目的在于提供一種用于跨媒體數字城市景區的建模方法，在該方法中將地理信息系統信息和全景視頻無縫結合起來。
用于跨媒體數字城市景區建模方法包括以下步驟
1)打開地理信息系統地圖，選擇編輯路段打開一幅地理信息系統地圖，通過鼠標選擇編輯同一個路段的起點和終點位置，獲得路段名稱，起點終點位置地理信息系統信息；2)載入全景視頻，關聯并設置參數選擇載入要關聯的地理信息系統路段全景視頻，播放或拖動視頻，選擇指定的視頻起始位置與選擇的地理信息系統路段起始點關聯，通過鼠標的移動或鍵盤方向控制鍵選擇全景視頻起始幀的視角方向，同樣步驟定位全景視頻結束位置與選擇的地理信息系統路段終點關聯，保存編輯記錄；3)添加熱點及說明文字定位并暫停到全景視頻中熱點區域出現的起始時間點，通過鼠標的移動或者鍵盤方向鍵定位到熱點區域具體位置，能夠獲得視頻時序參數和空間位置參數，同樣操作設置熱點結束的視頻時序參數，選擇熱點類型，在熱點說明中記錄熱點在視頻中出現的超文本文字，根據熱點分類記錄文字說明或跳轉視頻路徑，將熱點信息與全景視頻關聯起來，更新或刪除地理信息系統和全景視頻的關聯記錄以及熱點標注與全景視頻的關聯信息；4)交互式信息的保存通過關系數據模型，用于表達并存儲編輯的地理信息系統數據空間位置與全景視頻關系，編輯關聯工作完成以后，相關的地理信息系統數據空間位置與全景視頻關系將被存儲到數據庫中；5)選擇點擊地理信息系統地物點，載入全景視頻載入編輯過的路段視頻信息，鼠標點擊選擇與視頻關聯的地理信息系統路段，根據點擊的路段物點計算出與路段起始點的距離，通過查詢數據庫載入關聯的全景視頻，初始化視頻的起始和結束時序位置，起始視點位置，載入相應熱點及圖片文字說明信息；6)沉浸式交互瀏覽通過移動鼠標或者操作鍵盤方向鍵變換全景視頻視點位置，瀏覽視頻中任意角度的景物，對于視頻中出現的以文字方式標注的熱點，通過鼠標雙擊的方式捕獲熱點，系統根據熱點的相關類型做出相應的動作，打開相關的熱點說明網頁，或者切換到特定的視頻。
所述的全景視頻通過原始拍攝的全景數據進行三維建模到一個球狀模型中，將視點定位到球心，通過三維建模和視頻處理實現視頻和圖形呈現管道的合并。
所述的載入全景視頻，關聯并設置參數根據地理信息系統中地物點對應于道路起點的位置信息以及采集視頻中相應的地理信息系統參數信息，關聯設置對應全景視頻的時序位置，具體定位到視頻幀；根據地理信息系統中地物點的方位信息關聯設置視頻起始視角方向參數。
所述的關系數據模型對地理信息系統路段與全景視頻關聯信息進行建模，保存對應路段的全景視頻路徑，播放起點與終點，起點位置的視點信息；對全景視頻與熱點交互信息進行建模，保存對應全景視頻的文字說明，跳轉目標地址關聯熱點信息。
本發明在傳統的地理信息系統中添加了全景視頻及熱點選擇交互手段，相對于傳統的圖象及文字說明信息更加豐富，視覺更加直觀。地理信息系統與全景視頻的關聯是通過編輯過程錄入數據庫中，然后通過展現過程，將關聯后的整體交互效果展現于用戶，達到地理信息系統數據空間位置與全景視頻的無縫連接。
圖1是編輯模式下制作地理信息系統全景導航系統的工作流程圖；圖2是用戶在展現模式下使用該系統的工作流程圖；圖3是關聯地理信息系統數據與全景視頻的操作界面示例圖；圖4是在全景視頻中添加和播放熱點的操作界面示例圖；具體實施方式
用于跨媒體數字城市景區建模方法包括以下步驟1)打開地理信息系統地圖，選擇編輯路段首先打開一幅地理信息系統地圖，通過鼠標選擇編輯路段的起點和終點位置，確保選擇的地物點必須在同一個路段中，點擊確定后，能夠自動在編輯面板上填充路段名稱，起點終點位置地理信息系統信息。
地理信息系統地圖以SHP文件的格式載入編輯面板的，SHP文件記錄了所有關于地理信息系統的信息。地物點的選擇是通過比較窗口中點擊的坐標與實際地物點的坐標的歐式距離，選擇閾值范圍內最近的一個點作為選擇的地物點。
閾值可以根據精度的要求選擇設置。
2)載入全景視頻，關聯并設置參數選擇載入1所述的要關聯的地理信息系統路段全景視頻，全景視頻可以是本機上的視頻文件，也可以是網絡視頻文件。載入全景視頻，播放或拖動視頻，選擇滿意的視頻起始位置與選擇的地理信息系統路段起始點關聯，選擇暫停視頻。通過鼠標的移動或鍵盤方向控制鍵選擇全景視頻起始點的視點位置，選擇起始確定按鈕，能夠將相關選擇信息自動添加到編輯面板中。然后，按照同樣步驟，定位全景視頻結束位置與選擇的地理信息系統路段終點關聯。點擊添加當前記錄，保存編輯記錄。
設置的參數有兩類視頻時序參數和視頻視點參數。時序參數用于視頻和地物點在時間上得到同步，具體定位到視頻幀。視頻視點參數只有在全景視頻中才需要設置。視點參數包括兩個分量，垂直環繞分量用于水平調節觀察點，范圍從0°到360°，水平環繞分量用于調節視點的高度，范圍從0°到180°，由于全景視頻中上下兩個極點比較特殊，在視頻播放中會有扭曲的效果，因此通常限制水平環繞分量在10°到170°之間。
3)添加熱點及說明文字在全景視頻播放過程中，可以通過鼠標移動從不同視點觀察景點視頻，同時也可以通過雙擊熱點的方式在不同視頻中切換，瀏覽與視頻熱點相關聯的網頁信息。首先定位并暫停到全景視頻中關心的起始時間點，通過鼠標的移動或者鍵盤方向鍵定位到該時間點感興趣的空間位置，通過雙擊該位置，能夠自動在編輯面板上填充視頻時序參數和空間位置參數，同樣的操作設置熱點結束的視頻時序參數。選擇熱點類型，支持的熱點類型有兩種文字說明和視頻跳轉。在熱點說明中填寫熱點在視頻中出現的超文本文字。然后根據不同的熱點說明分別在編輯面板上填寫文字說明或跳轉視頻路徑。點擊添加熱點，能夠自動將該熱點信息與全景視頻的關聯記錄添加到數據庫中。能夠通過點擊查看所有記錄瀏覽地理信息系統和全景視頻的關聯記錄以及熱點標注與全景視頻的關聯記錄，并可以隨時更新或刪除。
熱點與說明文字的加入是為了增強全景視頻的交互特性。這里描述的熱點必須隨用戶視點的改變做相應的改變，而不應該是一個靜態的目標。本發明通過經緯坐標來唯一標識熱點坐標，根據視頻視點坐標和熱點經緯坐標計算出熱點在視頻中的平面顯示坐標。雙擊將要編輯的熱點區域，系統捕獲到視頻雙擊消息后，根據窗口坐標和視頻熱點坐標反向計算出對應的經緯坐標，作為熱點的坐標保存到熱點記錄中去，同時可以關聯該熱點的其他屬性文字說明，跳轉目標地址。必須為每個熱點設置起始時間和結束時間，本發明通過一個計時器每0.5秒對所有熱點檢查是否該顯示，如果播放進度在熱點起始時間和結束時間之間，則顯示該熱點。
4)交互式信息的保存通過關系數據模型，用于表達并存儲編輯的地理信息系統數據空間位置與全景視頻關系，編輯關聯工作完成以后，相關的地理信息系統數據空間位置與全景視頻關系將被存儲到數據庫中。
數據庫中主要設計以下兩張表，路段信息表和熱點信息表。路段信息表中保存的信息主要有路段名稱，起始點標號，終止點標號，全景視頻路徑，熱點個數，視頻起始點位置，視頻結束點位置，全景視頻起始視點坐標。熱點信息表中主要有路段主鍵，熱點主鍵，熱點類型，目標路徑，說明文字，經緯度坐標，熱點起始位置，熱點結束位置。
5)選擇點擊地理信息系統地物點，載入全景視頻載入編輯過的路段視頻信息。鼠標點擊選擇與視頻關聯的地理信息系統路段，根據點擊的路段地物點計算出與路段起始點的距離，通過查詢數據庫載入關聯的全景視頻，初始化視頻的起始和結束時序位置，起始視點位置，載入相應熱點及圖片文字說明信息。
路段地物點與路段起始點的距離可以簡化為簡單的歐式距離，也可以根據地理信息系統事先在SHP文件里保存的距離信息直接獲得。全景視頻的載入和初始化在路段信息表中都有詳細的參數設置，視頻載入以后，根據對應的熱點信息表中的信息，把所有熱點記錄載入內存，初始化計時器，根據熱點的起始結束位置和經緯度坐標顯示熱點。針對部分熱點起始結束位置間隔過短的問題，可以在載入視頻后在操作面板上維護一個視頻熱點列表，除了在視頻上點擊熱點區域轉換視頻或打開網頁介紹外，雙擊視頻熱點列表項目可以達到相同的效果。
6)沉浸式交互瀏覽通過移動鼠標或者操作鍵盤方向鍵變換全景視頻視點位置，瀏覽視頻中任意角度的景物。對于視頻中出現的以文字方式標注的熱點，可以通過鼠標雙擊的方式捕獲熱點，系統根據熱點的相關類型做出相應的動作，打開相關的熱點說明網頁，或者切換到特定的視頻。熱點坐標的捕獲需要經過窗口平面坐標與視頻經緯坐標的轉換，當捕獲的點擊坐標與實際熱點坐標在閾值范圍內，表示該熱點被點擊，從而響應點擊動作。
如圖1所示，描述了步驟1)至步驟4)的操作流程打開地理信息系統，選擇編輯路段，載入全景視頻，設置關聯參數，添加熱點及說明，保存編輯。
如圖2所示，描述了步驟5)至步驟6)的操作流程打開地理信息，選擇地理信息系統路徑，播放全景視頻并交互操作。
上述流程中描述的全景視頻是利用采集的離散圖像或連續的視頻作為基礎數據，經過處理后建立起的具有三維操縱能力的實景數據空間，能夠在這個空間中除進行普通視頻播放，時序定位拖動等操作外，還能夠進行360度環視操作，使得具有一種身臨其境的感覺。全景視頻的具體實現是通過原始拍攝的全景數據進行三維建模到一個球狀模型中，將視點定位到球心，通過三維建模和視頻處理技術實現視頻和圖形呈現管道的合并，達到全景視頻的效果。
具體實現可以利用Direct3D和DirectShow來實現全景視頻的。首先用Direct3D建立球狀的視頻播放媒介，通過紋理貼圖的方式將視頻幀映射到該球狀模型中，借助于DirectShow的VMR9的特性，將視頻和圖形呈現管道的合并，從而在球體上播放視頻。把視點放置于球心便可以通過轉換視點方向實現360度全景視頻的環視操作。
所述的載入全景視頻，關聯并設置參數根據地理信息系統中地物點對應于道路起點的位置信息以及采集視頻中相應的地理信息系統參數信息，關聯設置對應全景視頻的時序位置，具體定位到視頻幀；根據地理信息系統中地物點的方向信息關聯設置視頻起始視點方向參數。本發明是通過簡單的線性關系來確定視頻的時序關系的，也可以通過SHP中預定義的地理信息系統信息來確定視頻的播放起點。一旦設置好播放的時序點就要定義該播放點的視點位置，通過鼠標的移動或者鍵盤方位建控制視點方向，一般需要把視點方向與地物點的正面方向關聯起來，達到比較好的人機交互效果。
所述的關系數據模型對地理信息系統路段與全景視頻關聯信息進行建模，保存對應路段的全景視頻路徑，播放起點與終點，起點位置的視點信息；對全景視頻與熱點交互信息進行建模，保存對應全景視頻的文字說明，跳轉目標地址關聯熱點信息。如4所述，本發明設計了路段信息和熱點信息兩張數據表。路段信息表中保存的信息主要有路段名稱，起始點標號，終止點標號，全景視頻路徑，熱點個數，視頻起始點位置，視頻結束點位置，全景視頻起始視點坐標。熱點信息表中主要有路段主鍵，熱點主鍵，熱點類型，目標路徑，說明文字，經緯度坐標，熱點起始位置，熱點結束位置。
實施例本方法和系統在情景式旅游系統中的應用，導航系統的制作者可以事先做好地理信息系統信息與全景視頻的無縫集成的編輯工作。下面詳細說明該實例實施的具體步驟，如下
1)打開地理信息系統地圖，選擇編輯路段首先從本地系統載入地理信息系統地圖，選擇編輯路段的起點和終點位置，必須確保選擇的地物點必須在同一個路段中，如圖3，點擊確定后，系統自動在面板上填充位置地理信息系統信息，包括道路編號593，起點編號29，終點編號60。
2)載入全景視頻，關聯并設置參數選擇載入1所述的要關聯的地理信息系統路段全景視頻。如圖3設置視頻參數起始點位置10％，結束點位置61％，播放初始視角水平環繞90度，垂直環繞180度，點擊并添加當前記錄。
3)添加熱點及說明文字對于全景視頻中的某些特別有興趣的景物，可以將其制作成熱點的形式展現出來。如圖4，本實例中對街道旁的某個建筑感興趣，雙擊視頻欲標注點，得到標注點坐標79，299。設置熱點出現的時間段從視頻播放10％到視頻播放到41％，添加熱點說明建筑物，并添加相應的文字說明。
4)交互式信息的保存編輯完畢后點擊添加熱點按鈕，將編輯的熱點信息保存到數據庫中。在編輯過程中，可以通過點擊查看所有記錄瀏覽地理信息系統和全景視頻的關聯記錄以及熱點標注與全景視頻的關聯記錄，并可以做相應的更新或刪除。
5)選擇點擊地理信息系統地物點，載入全景視頻當地理信息系統信息與全景視頻的無縫集成的編輯工作完成以后，導航系統使用者可以在展現模式下點擊關聯的地理信息系統路段點，載入全景視頻，步驟5其實是對步驟2所做工作的結果的表示。
6)沉浸式交互瀏覽通過移動鼠標或者操作鍵盤方向鍵變換全景視頻視點位置，瀏覽視頻中任意角度的景物。對于視頻中出現的以文字方式標注的熱點，可以通過鼠標雙擊的方式捕獲熱點，可以根據熱點的相關類型做出相應的動作，打開相關的熱點說明，或者切換到特定的視頻。
本實例將全景視頻與GIS地理信息相結合，較好的克服了平面地圖缺乏真實感和互動性，三維地圖，虛擬漫游等方式制作成本較高等缺點。其易操錯性和豐富的人機交互，必然給用戶帶來新的體驗。
權利要求
1.一種用于跨媒體數字城市景區建模方法，其特征包括以下步驟1)打開地理信息系統地圖，選擇編輯路段打開一幅地理信息系統地圖，通過鼠標選擇編輯同一個路段的起點和終點位置，獲得路段名稱，起點終點位置地理信息系統信息；2)載入全景視頻，關聯并設置參數選擇載入要關聯的地理信息系統路段全景視頻，播放或拖動視頻，選擇指定的視頻起始位置與選擇的地理信息系統路段起始點關聯，通過鼠標的移動或鍵盤方向控制鍵選擇全景視頻起始幀的視角方向，同樣步驟定位全景視頻結束位置與選擇的地理信息系統路段終點關聯，保存編輯記錄；3)添加熱點及說明文字定位并暫停到全景視頻中熱點區域出現的起始時間點，通過鼠標的移動或者鍵盤方向鍵定位到熱點區域具體位置，能夠獲得視頻時序參數和空間位置參數，同樣操作設置熱點結束的視頻時序參數，選擇熱點類型，在熱點說明中記錄熱點在視頻中出現的超文本文字，根據熱點分類記錄文字說明或跳轉視頻路徑，將熱點信息與全景視頻關聯起來，更新或刪除地理信息系統和全景視頻的關聯記錄以及熱點標注與全景視頻的關聯信息；4)交互式信息的保存通過關系數據模型，用于表達并存儲編輯的地理信息系統數據空間位置與全景視頻關系，編輯關聯工作完成以后，相關的地理信息系統數據空間位置與全景視頻關系將被存儲到數據庫中；5)選擇點擊地理信息系統地物點，載入全景視頻載入編輯過的路段視頻信息，鼠標點擊選擇與視頻關聯的地理信息系統路段，根據點擊的路段物點計算出與路段起始點的距離，通過查詢數據庫載入關聯的全景視頻，初始化視頻的起始和結束時序位置，起始視點位置，載入相應熱點及圖片文字說明信息；6)沉浸式交互瀏覽通過移動鼠標或者操作鍵盤方向鍵變換全景視頻視點位置，瀏覽視頻中任意角度的景物，對于視頻中出現的以文字方式標注的熱點，通過鼠標雙擊的方式捕獲熱點，系統根據熱點的相關類型做出相應的動作，打開相關的熱點說明網頁，或者切換到特定的視頻。
2.根據權利要求1所述的一種用于跨媒體數字城市景區建模方法，其特征在于，所述的全景視頻通過原始拍攝的全景數據進行三維建模到一個球狀模型中，將視點定位到球心，通過三維建模和視頻處理實現視頻和圖形呈現管道的合并。
3.根據權利要求1所述的一種用于跨媒體數字城市景區建模方法，其特征在于，所述的載入全景視頻，關聯并設置參數根據地理信息系統中地物點對應于道路起點的位置信息以及采集視頻中相應的地理信息系統參數信息，關聯設置對應全景視頻的時序位置，具體定位到視頻幀；根據地理信息系統中地物點的方位信息關聯設置視頻起始視角方向參數。
4.根據權利要求1所述的一種用于跨媒體數字城市景區建模方法，其特征在于，所述的關系數據模型對地理信息系統路段與全景視頻關聯信息進行建模，保存對應路段的全景視頻路徑，播放起點與終點，起點位置的視點信息；對全景視頻與熱點交互信息進行建模，保存對應全景視頻的文字說明，跳轉目標地址關聯熱點信息。
全文摘要
本發明公開了一種用于跨媒體數字城市景區建模方法。它利用地理信息系統數據空間位置與全景視頻的時序，視點的協調關系，通過添加熱點，文字，圖像數據，實現具體場景與多媒體信息交叉關聯和動態交互的效果。它主要包括1)地理信息系統數據空間位置與全景交互視頻的編輯關聯；2)交互式信息的保存；3)地理信息系統數據空間位置與全景交互視頻的關聯展示。本發明在傳統的地理信息系統中添加了全景視頻及熱點選擇交互手段，相對于傳統的圖象及文字說明信息更加豐富，視覺更加直觀。地理信息系統與全景視頻的關聯是通過編輯過程錄入數據庫中，然后通過展現過程，將關聯后的整體交互效果展現于用戶，達到地理信息系統數據空間位置與全景視頻的無縫連接。
文檔編號G01C21/32GK101082926SQ20071006977
公開日2007年12月5日 申請日期2007年7月3日 優先權日2007年7月3日
發明者莊越挺, 王葉鈞, 陳銘, 徐俊, 吳飛 申請人:浙江大學