專利名稱：用于為移動設備上基于位置的服務渲染對象的立體圖及與其相關的內容的方法和裝置的制作方法
用于為移動設備上基于位置的服務渲染對象的立體圖及與其相關的內容的方法和裝置背景技術
服務提供商(例如，無線、蜂窩、因特網、內容、社交網絡等)和設備制造商不斷受到挑戰，以通過例如提供有競爭力的網絡服務向消費者傳遞價值和便利。一個感興趣的區域是隨著例如導航標簽和位置相關內容擴張的測繪和導航圖形(例如，數字地圖)和/或圖像 (例如，各個位置和興趣點的360°全景街道標高視圖)的發展。通常，導航、測繪和其它類似的服務可以顯示全景視圖或者兩維渲染的地圖。在2D地圖視圖中通常限制使用內容信息，并且嘗試顯示內容的增強現實視圖往往提供不穩定的、雜亂的顯示。發明內容
因此，需要一種用于為移動設備上基于位置的服務渲染對象的立體圖及與其相關的內容的方法。
根據一個實施例，一種方法包括至少部分地促使對示出視場中的一個或多個對象的立體圖的渲染。該方法還包括檢索與視場中的一個或多個對象中的對象關聯的內容。該方法進一步包括至少部分地促使對涉及用戶界面中的立體圖中可見的對象的表面上的內容的圖形表示的渲染以用于移動設備的基于位置的服務。
根據另一實施例，一種裝置包括至少一個處理器和包括計算機程序代碼的至少一個存儲器，所述至少一個存儲器和所述計算機程序代碼被配置成使用所述至少一個處理器至少部分地使得所述裝置至少部分地促使對示出視場中的一個或多個對象的立體圖的渲染。還使得所述裝置檢索與視場中的一個或多個對象中的對象關聯的內容。進一步使得所述裝置至少部分地促使對涉及用戶界面中的立體圖中可見的對象的表面上的內容的圖形表示的渲染以用于所述裝置的基于位置的服務，其中所述裝置是移動設備。
根據另一實施例，一種計算機可讀存儲介質承載一個或多個指令的一個或多個序列，當由一個或多個處理器執行時，其至少部分地使得裝置至少部分地促使對示出視場中的一個或多個對象的立體圖的渲染。還使得所述裝置執行檢索與視場中的一個或多個對象中的對象關聯的內容。進一步使得所述裝置執行至少部分地促使對涉及用戶界面中的立體圖中可見的對象的表面上的內容的圖形表示的渲染以用于移動設備的基于位置的服務。
根據另一實施例，一種裝置包括用于至少部分地促使對示出視場中的一個或多個對象的立體圖的渲染的部件。該裝置還包括用于檢索與視場中的一個或多個對象中的對象關聯的內容的部件。該裝置進一步包括用于至少部分地促使對涉及用戶界面中的立體圖中可見的對象的表面上的內容的圖形表示的渲染以用于移動設備的基于位置的服務的部件。
通過簡單地示出多個特定實施例和實現方式，包括預期用于執行本發明的最佳模式，從下面的詳細描述可容易地理解本發明的其它方面、特征和優勢。本發明還可以有其它和不同的實施例，在不背離本發明的精神和范圍的情況下，可以在各個明顯的方面修改其不同細節。相應地，附圖和描述應視為說明性的，而非限制性的。
通過示例但非限制的方式示出本發明的實施例，在附圖中
圖I是根據一個實施例，能夠為移動設備上基于位置的服務渲染對象的立體圖及其相關的內容的系統的示意圖2是根據一個實施例的測繪和用戶界面應用的組件的示意圖3A是根據一個實施例為移動設備上基于位置的服務渲染對象的立體圖及其相關的內容的過程的流程圖3B是根據一個實施例省略被另一對象在立體圖中的渲染遮住的遠處對象的圖形表示的過程的流程圖4A和4B是根據各種實施例在圖3A和3B的過程中使用的用戶界面的示意圖5是根據一個實施例在圖3A和3B的過程中使用的用戶界面的示意圖6是根據一個實施例在圖3A和3B的過程中使用的用戶界面的示意圖7是可用于實現本發明的實施例的硬件的示意圖8是可用于實現本發明的實施例的芯片集的示意圖；以及
圖9是可用于實現本發明的實施例的移動終端(例如，手持設備)的示意圖。
具體實施方式
公開了用于渲染對象的立體圖和與其相關的內容的方法、裝置和計算機程序的示例，以用于移動設備上基于位置的服務。在下面的描述中，為了說明的目的，列舉了許多特定細節以提供對本發明的實施例的全面理解。然而，本領域技術人員顯而易見的是，本發明的實施例可以在沒有這些特定細節或具有等同配置的情況下實現。在其他實例中，以框圖形式示出了已知的結構和設備以避免不必要地模糊本發明的實施例。
此處使用的術語“圖像”指代照相機(例如，靜物照相機、數碼相機、攝影機、照相手機等)或任何其它成像設備所拍的一張或一系列圖像。盡管關于實況照相機視圖描述了各種實施例，可設想此處描述的方法可用于其它實況或實時圖像(例如，靜像、實況視圖、實況網絡攝影視圖等)，只要該圖像在圖像捕獲時與成像設備(例如，照相機)的位置、傾角和指向(heading)關聯。
此處使用的術語“興趣點”(POI)指代用戶或服務提供商指定的任意點。術語POI 還與術語“對象”可交換地使用。作為示例，興趣點可以是陸標、餐館、博物館、建筑物、橋梁、 塔、壩、工廠、制造廠、航天飛機等。
此處使用的術語“立體圖”指代提供其中示出的對象的某種透視的視圖，不管是使用2D或3D顯示器顯示，還是使用2D或3D圖像顯示。這樣的立體圖可以是實時圖像(例如，在使用設備的照相機的增強現實設置中)、全景圖像(例如，預存儲的全景照片)、虛擬現實中的3D建模、或者不管使用2D還是3D圖像構建，嘗試示出對對象或環境的真實或虛擬景深的其它修改的視圖。
圖I是根據一個實施例，能夠渲染對象的立體圖以及與其相關的內容以用于移動設備上的基于位置的服務的系統的示意圖。
如之前所述，導航、測繪及其它類似服務和系統顯示全景圖或兩維渲染的地圖，然而，其不嘗試合并兩個視圖。當在2D視圖中呈現內容時，某一內容可能聚合或太靠近以至于對用戶來說不可見。當在3D視圖中呈現內容時，例如，全景圖或直接經由相機的視圖，可見內容限于相機的當前場景或位置。切換視圖可引起空間和位置的理解中的混淆通常是個問題，尤其是在用戶不是很熟悉視圖中的地點時。一些相關的現有服務僅當視圖最大化時示出僅地圖中的內容。其它增強現實或混合現實服務可基于內容的類型以不同的方式顯示內容；然而，通常，內容以抖動方式示出并且不以穩定方式附加到對象或Ρ0Ι。
為了解決其它相關現有系統的不足。圖I的系統100引入了渲染對象的立體圖及與其相關的內容以用于移動設備上基于位置的服務的能力。系統100可渲染用于基于位置的服務的用戶界面，其具有主視圖部分和預覽部分，這可以允許用戶同時地形象化 (visualize)區域的地圖的對應平面圖和立體圖(例如，示出區域的全景圖像)并在需要時在這樣的圖像之間進行切換。
因此，可以在移動Π中顯示小預覽，其中示出了最相關的內容。例如，當用戶在瀏覽Π上的全景圖時，用戶有預覽示出全景圖中顯示了什么的環境的地圖的選擇權。類似地，當瀏覽地圖時，預覽示出了用戶在地圖上關注的點的最接近的全景。兩種視圖均顯示可在區域中找到的內容，允許更好的空間和位置感。在預覽中反映主視圖中的動作，因此如果用戶碰巧在期待的位置或者實質上如果用戶在遠程地瀏覽該區域，則用戶總是有身體上去哪里的意識。選擇地圖上擁擠區域中豐富的內容信息可以打開該擁擠區域中的所有內容的列表視圖，而選擇全景上的內容可以打開更具體的內容或列表視圖。立體圖還限制這種豐富的內容信息的圖形表示到立體圖中可見的對象/POI的顯示，并省略不可見的那些的圖形表示，以提供整潔的立體圖。
可以容易地輕擊預覽以切換視圖并基于用戶的需求容易地導航。通過開啟全屏視圖模式也可以容易地隱藏預覽。如果用戶正在地圖或平面圖中導航，用戶可在地圖中的任何新位置輕擊，并且這會將用戶的視點帶到地圖上被輕擊的點，并且同時預覽中的全景將從地圖上新確定的點更新到最新的全景圖像。用戶也可以旋轉手機或視點(POV)圖標以移動地圖的方向，這也將影響全景預覽的方向。為了在大小上適應以及快速，可以以低分辨率從主全景圖拍得全景圖像。
在瀏覽基于位置的內容或在2D地圖和3D全景圖像中導航時，該方案允許用戶更好地理解他們的環境以及遠程環境。內容的發現和與內容有聯系的精確場所的理解變得更容易和更好。從一個試圖到另一試圖的切換是非常直觀的，因為兩個視圖均示出了同一位置和方向。
作為示例，當用戶站在當前位置處(例如，Farragut西地鐵站)時，用戶可操作用戶設備(例如，用戶設備(UE)IOl)的用戶界面以在用戶界面的主視圖部分中示出周圍區域(或另一區域，例如用戶的最終目的地)的地圖的平面圖，而在用戶界面的預覽部分中示出周圍區域的立體圖，以給用戶關于周圍區域的3D全景圖的概念。通過使用用戶設備的相機實時地(例如，以增強現實)捕獲周圍區域的圖像、通過使用預存儲的圖像(例如，之前捕獲的圖像或虛擬現實圖像)、或實時圖像與預存儲的圖像的組合(例如，混合現實)，可以生成立體圖。示出地圖的平面圖的用戶界面的部分可包括指示立體圖的視場的方向表示(例如，具有外表上延伸的視錐的潛望鏡圖標)。通過調整用戶設備的方向(例如，利用指南針或其他設備來確定方向中的改變)、通過手工地操控用戶界面上的地圖的平面圖上的視場的方向表示、和/或通過手工地操控用戶界面上的立體圖中的視圖，用戶可以調整視野。用戶可將地圖的平面圖從用戶界面的主視圖部分切換到預覽部分，并因此還將立體圖從預覽部分切換到用戶界面的主視圖部分。該雙窗口配置允許用戶容易地解釋立體圖的位置和方向，并允許用戶快速地和直觀地導航到POI或確定他們的位置。
如上所述，可使用實時圖像、預存儲(預記錄)的圖像來顯示立體圖，或者系統100 可以檢索并且并排地縫合緊鄰實況圖像的靜止圖像，然后將無縫縫合的圖像顯示給用戶。 為了無縫切換，系統100使預記錄的具有同一傾角和具有緊鄰實況圖像的方向指向的全景圖像相關，并將相關的預記錄的全景圖像顯示在屏幕上。即使兩個圖像由同一設備以同一傾角和同一方向指向在同一位置拍得，由于用戶高度或設置(例如，數字縮放、對比、分辨率、編輯、修剪等)的原因圖像的覆蓋范圍可以是不同的。如果兩個圖像由兩個設備在同一位置以同一傾角和同一方向指向拍得，由于兩個設備的不同規范圖像的覆蓋范圍可以仍然是不同的。設備可具有不同的成像規范，諸如LCD大小、光學變焦、數字變焦、變焦寬、變焦鏡頭、有效像素、像素密度、圖像穩定性、光圈范圍等，其影響兩個設備所拍得的圖像的質量和景深。
然而，現有照片匹配技術允許實況圖像與預存儲的全景圖像之間接近100%的匹配。存在用于為實況圖像選擇最匹配的全景靜止圖像的照片匹配應用(例如，逐個像素地比較圖像的照片匹配在線搜索引擎)。還存在使得實況圖像與預存儲的全景靜止圖像之間的界限無縫的照片縫合應用。隨著用戶持續觸摸導航箭頭觸摸屏幕邊緣，更多預記錄的全景靜止圖像被匹配和縫合以鋪向屏幕，作為運行中(on the fly)的全景圖。
為了從當前位置導航到Ρ0Ι，用戶向系統100指示POI作為目的地。通過示例的方式，當系統100接收諸如國際貨幣基金組織(MF)大樓的目標位置作為預期的POI時(例如，作為文本接收，或者在UE 101的屏幕上的數字地圖上等)，系統100檢索MF的位置數據(例如，地址、GPS坐標等)，或者用于捕獲MF的預記錄的全景圖像的設備的位置數據(例如，如果POI不如MF出名，例如，公園里的旋轉木馬)。然后系統100繪制從當前位置(例如，地鐵站)到指定POI的路線并在主視圖部分或者預覽部分中將數字地圖上的路線呈現給用戶。在用戶沿著路線行走時，系統100還在預覽部分或主視圖部分的另一個中將周圍位置的實況圖像視圖呈現在屏幕上。無論何時用戶想要在主視圖部分中的立體圖(以及預覽部分中的平面圖)和主部分中的平面圖(以及預覽部分中的立體圖)中進行切換時，用戶可使用用戶界面自由地這么做。其它興趣點可位于路線上，并且可使用過濾器來選擇使用圖形表示標記的以及沒有被標記的POI的類型。
可選地，用戶可利用用戶界面來查看遠程位置。例如，如果用戶計劃在當天中的稍后時間拜訪特定Ρ0Ι，則用戶可將該POI定位在地圖的平面圖上(例如，通過滾動到POI的位置、輸入POI的地址、使用POI的關鍵字或名稱來搜索POI等)，例如，在用戶界面的主視圖部分中。然后，用戶可操控視場的方向表示以提供所需的有利位置。例如，如果用戶計劃沿著某條路向北(travel down)以到達Ρ0Ι，則用戶可操控視場以提供沿著該條路的有利位置， 用戶在沿著該條路的時候將看見該有利位置并到達Ρ0Ι。隨著視場被設置為所需的方向，用戶可在用戶界面的預覽部分中看見POI的立體圖的預覽，并且用戶可將POI的立體圖切換到用戶界面的主視圖部分以查看POI的放大的圖像。因此，用戶將能夠看見POI看起來像什么，從而允許用戶在當天的稍后到達POI時識別POI。POI的立體圖還可以包括提供到與 POI有關的內容的鏈接(例如，名稱、地址、電話號碼、網頁鏈接等)的圖形表示或標簽(例如，氣泡、圖標、圖像、文本等)，其可由用戶在用戶界面中選擇，以獲得關于POI的進一步內容信肩、O
在一個實施例中，系統100基于由用戶傾斜和旋轉的UE 101的傾角和方向指向在 UE 101的屏幕上顯示預記錄的全景圖的不同部分。在該實施例中，用戶可改變預記錄的全景圖中預記錄的全景圖像，而不移動/拖動UE 101的屏幕上的查看標簽。
在另一實施例中，系統100進一步利用增強現實或增強虛擬(例如，使用3D模型和 3D測繪信息)來以實時方式插入與實況圖像視圖中的POI相關的豐富的內容信息(例如，從因特網、用戶輸入等繪制)。標簽顯示在立體圖中的對象或POI的表面上并實際上附著到其上，并且在對象或POI的表面上以固定的3D方向示出。也可以在預記錄的全景圖中看到與 POI相關的內容，并且該內容可能已經嵌入/標記在預記錄的全景圖中，或者以實時方式插入。POI可以由用戶、服務提供商(例如，無線、蜂窩、因特網、內容、社交網絡等)和/或設備制造商預先設置，并且相關內容也可以由這些實體的任何一種組合來嵌入/標記。
通過示例，用戶選擇部門的第四層作為Ρ0Ι，并且標記從百貨公司網站檢索的POI 的內容信息。系統100保存POI和標記的內容，并向用戶呈現實況圖像視圖和/或預記錄的全景圖中大多數更新的內容信息，自動地或者根據需求。內容信息可以包括= (I)POI的建筑平面圖，(2)位于POI中的居住者/商店/設施(例如，在縮略圖像、動畫片、音頻警報等中)，(3)關于居住者/商店/設施的介紹和背景內容，(4)關于居住者/商店/設施的營銷和銷售內容，或者與POI有關的任何其它數據或信息。還可以設想內容可與多個樓層關聯。內容信息包括實況媒體、存儲的媒體、與媒體關聯的元數據、文本信息、其它用戶設備的位置信息、測繪數據、地理標記的數據或其組合。
在特定實施例中，盡管地圖的平面圖可示出鏈接到其豐富的內容信息的對象的所有圖形表示，在給定區域中，僅為在立體圖的視場中可見的對象示出附著到立體圖中的對象的圖形表示。因此，可從立體圖省略從立體圖中的視圖隱藏的對象(例如，隱藏在建筑物或者隱藏在樹后面的對象等)的圖形表示，以避免用戶界面的立體圖的雜亂。
如圖I所示，用戶設備(UE) 101可經由通信網絡105從內容測繪平臺103檢索內容信息(例如，內容和位置信息)和測繪信息(例如，地圖、GPS數據、預記錄的全景圖等)。UE 101上的測繪和用戶界面應用107 (例如，增強現實應用、導航應用或其它基于位置的應用) 可將內容和測繪信息用于實況圖像視圖和/或預記錄的全景圖。在圖I的示例中，內容測繪平臺103在地圖數據庫109a中存儲測繪信息并在內容目錄10%中存儲內容信息。通過示例，測繪信息包括數字地圖、GPS坐標、預記錄的全景圖、地理標記的數據、興趣點數據或其組合。通過示例，內容信息包括一個或多個標識符、元數據、接入地址(例如，諸如統一資源定位器(URL)的網絡地址或因特網協議(IP)地址；或諸如UE 101的存儲器中的文件或存儲位置的本地地址)、描述或與內容關聯的類似物。在一個實施例中，內容包括實況媒體(例如，流廣播)、存儲的媒體(例如，存儲在網絡上或本地)、與媒體關聯的元數據、文本信息、其它用戶設備的位置信息或其組合。內容可由包括一個或多個服務113a-113n (例如， 音樂服務、測繪服務、視頻服務、社交網絡服務、內容廣播服務等)、一個或多個內容提供商 115a-115m (例如，網上內容零售商、公共數據庫等)、通過通信網絡105可用或可訪問的其它內容源的服務平臺111提供。
附加地或可選地，在某些實施例中，可以結合應用107使用UE 101的用戶地圖和內容數據庫117以向用戶呈現內容信息、位置信息(例如，測繪和導航信息)、有效信息等。可為用戶呈現與應用107關聯的增強現實界面和/或允許內容和相關信息的3D對象或其它表示疊加到UE 101上的物理環境的圖像上的內容測繪平臺。在某些實施例中，用戶界面可顯示混合的物理和虛擬環境，其中來自地圖數據庫109a的3D對象疊加到物理圖像的頂部。
通過示例，UE 101可執行應用107以從內容測繪平臺103或網絡105的其它組件接收內容和/或測繪信息。如上所述，UE 101利用GPS衛星119來確定UE 101的位置，以利用內容測繪平臺103和/或應用107的內容測繪功能，并且可從真實世界建筑物和其它站點的實況相機視圖創建存儲在地圖數據庫109a中的地圖信息。這樣，內容可被增強到預記錄的全景圖和/或真實世界位置的實況相機視圖中(例如，基于諸如全球定位系統(GPS) 坐標的位置坐標)。
應用107和內容測繪平臺103接收關于內容的接入信息、基于接入信息確定內容的有效性、然后呈現預記錄的全景圖或具有增強內容的實況圖像視圖(例如，具有增強內容的IMF大樓的實況相機視圖，諸如其源、宗旨(mission)、設施信息高度、樓層數等)。在某些實施例中，內容信息可包括物理環境(例如，建筑物)中的對象、設施和結構的2D和3D數字地圖。
通過示例，系統100的通信網絡105包括一個或多個網絡，諸如數據網絡(未示出)、無線網絡(未示出)、電話網絡(未示出)、或其任何組合。可設想數據網絡可以是任何局域網(LAN)、城域網(MAN)、廣域網(WAN)、公共數據網(例如，因特網)或任何其它合適的分組交換網，諸如商業擁有的、私有的分組交換網絡，例如私有電纜或光纖網絡。此外，無線網絡例如可以是蜂窩網絡并可以采用各種技術，包括增強數據率全球演進(EDGE)、通用分組無線業務(GPRS)、全球移動通信系統(GSM)、因特網協議多媒體子系統(MS)、通用移動通信系統(UMTS)等，以及任何其它合適的無線介質，例如，微波接入全球互連(WiMAX)、長期演進(LTE)網絡、碼分多址(CDMA)、寬帶碼分多址(WCDMA)、無線保真(WiFi)、衛星、移動自組織網絡(MANET)等。
UE 101是任何類型的移動終端、固定終端或便攜式終端，包括移動手機、臺、單元、 設備、多媒體計算機、多媒體輸入板、因特網節點、通信器、桌面計算機、膝上型計算機、個人數字助理(PDA)或其任意組合。還可以設想UE 101可支持任何類型的到用戶的接口(諸如 “可佩帶”電路等)。
通過示例，UE 101和內容測繪平臺103使用已知的、新的或仍在開發中的協議彼此通信并與通信網絡105的其它組件通信。在此上下文中，協議包括定義通信網絡105內的網絡節點如何基于在通信鏈路上發送的信息彼此交互的規則集。協議在每個節點內的操作的不同層處有效，從生成和接收各種類型的物理信號、到選擇用于傳遞這些信號的鏈路、 到由這些信號指示的信息的格式、到識別計算機系統上執行的哪個軟件應用發送或接收該信息。在開放系統互連(OSI)參考模型中描述了用于在網絡上交換信息的協議的概念上不同的層。
網絡節點之間的通信通常被交換數據的離散分組影響。每個分組通常包括(I)與特定協議相關聯的頭部信息，以及(2)在頭部信息后面并且含有可獨立于該特定協議而被處理的信息的有效載荷信息。在一些協議中，分組包括(3)在有效載荷后面并且指示了有效載荷信息的結束的尾部信息。頭部包括諸如以下的信息分組的源、其目的地、有效載荷的長度以及協議所使用的其它特性。通常，針對特定協議的有效載荷中的數據包括用于與OSI 參考模型的不同的較高層相關聯的不同協議的頭部和有效載荷。針對特定協議的頭部通常指示了包含在其有效載荷中的下一協議的類型。較高層協議據說封裝在較低層協議中。包括在穿過多個異構網絡(例如因特網)的分組中的頭部通常包括物理(層I)頭部、數據鏈路 (層2)頭部、網絡間(層3)頭部和傳輸(層4)頭部，以及如OSI參考模型定義的各種應用頭部(層5、層6和層7)。
在一個實施例中，應用107和內容測繪平臺103可根據客戶端-服務器模型交互， 從而UE 101的應用107根據需求從內容測繪平臺103請求測繪和/或內容數據。根據客戶端-服務器模型，客戶端過程發送包括請求的消息到服務器過程，并且服務器過程通過提供服務(例如，提供地圖信息)來進行響應。服務器過程還可以返回帶有響應的消息給客戶端過程。通常，客戶端過程和服務器過程在不同的計算機設備(稱為主機)上執行，并且使用用于網絡通信的一個或多個協議經由網絡進行通信。術語“服務器”傳統上用于指提供服務的過程，或運行所述過程的主機。相似地，術語“客戶端”傳統上用于指作出請求的過程， 或運行所述過程的主機。此處使用的術語“客戶端”和“服務器”是指過程，不是指主機，除非從上下文中明確的表示。此外，出于包括可靠性、可伸縮性和冗余性等的原因，可以將服務器執行的過程拆分以作為多個主機上的多個過程(有時稱為層)來運行。
圖2是根據一個實施例的測繪和用戶界面應用的組件的示意圖。作為示例，測繪和用戶界面應用107包括用于在實況相機圖像和預記錄的全景圖像之間進行關聯和導航的一個或多個組件。期望的是，這些組件的功能可以組合在一個或多個組件中或者由具有等同功能性的其它組件執行。在該實施例中，測繪和用戶界面應用107包括至少一個控制邏輯201，其執行至少一個用于執行測繪和用戶界面應用107的功能的算法。例如，控制邏輯201與圖像模塊203交互以向用戶提供UE 101的當前位置的周圍環境的實況相機視圖 (例如，Farragut西地鐵站)。圖像模塊203可包括相機、攝影機、其組合等。在一個實施例中，以圖像或一系列圖像的格式捕獲視覺媒體
接下來，控制邏輯201與定位模塊205交互以檢索UE 101的當前位置的位置數據。在一個實施例中，位置數據可包括地址、地理坐標(例如，GPS坐標)或可與當前位置關聯的其它指示符(例如，經緯度信息)。例如，位置數據可由用戶手動輸入(例如，輸入地址或標題、在數字地圖上點擊等)或者從任何地理標記的數據提取或導出。可以設想，位置數據或地理標記的數據也可以由定位模塊205通過導出與位置關聯的元數據(例如，媒體標題、 標簽和評論)來創建。更具體地，定位模塊205可以解析關于指示與特定位置的關聯的任何術語的元數據。
在一個實施例中，定位模塊205通過諸如GPS、輔助GPS (A-GPS) A-GPS、原點小區的三角測量系統、無線局域網三角測量或其它位置推斷技術來確定用戶的位置。標準GPS 和A-GPS系統可使用衛星119來精確定位UE 101的位置(例如，經度、緯度和海拔)。原點小區系統可用于確定與蜂窩UE 101同步的蜂窩塔。該信息提供UE 101的粗定位，因為蜂窩塔可以具有可被地理測繪的唯一的蜂窩標識符(小區ID)。定位模塊205還可以使用多種技術來檢測UE 101的位置。關于UE 101的位置GPS坐標可以提供更精細的細節。如之前所述，可以使用定位模塊205來確定用于應用107和/或內容測繪平臺103的位置坐標。
再次，控制邏輯201與圖像模塊203交互以顯示當前位置的實況相機視圖和位置數據。在顯示當前位置的實況相機視圖時，控制邏輯201與圖像模塊203交互以接收用戶例如通過觸摸UE 101的屏幕上的“切換”圖標對切換視圖的指示。控制邏輯201與關聯模塊207交互以使用位置數據關聯實況圖像視圖與預記錄的全景圖，還與切換模塊209交互以交替/切換從實況圖像視圖到關聯的預記錄的全景圖的顯示。同樣，切換模塊209可以控制用戶界面217的主視圖部分中示出的視圖(即，平面圖或立體圖)以及用戶界面217的預覽部分中示出的視圖之間的切換。
在另一實施例中，切換模塊209與確定UE 101的水平方向或方向指向(例如，指南針指向)的磁力計模塊211和確定UE 101的垂直方向或仰角的加速計模塊213交互。此后，切換模塊209與圖像模塊203交互以基于隨用戶傾斜和/或旋轉的UE 101的傾角和方向指向來在UE 101的屏幕上顯示預記錄的全景圖的不同部分。在這些情況下，用戶可以查看預記錄的全景圖的不同部分，而不需要移動/拖動UE 101的屏幕上的查看標簽。
在一個實施例中，使用從磁力計獲得的水平方向數據確定UE 101的方向。磁力計模塊211可以包括可以測量磁場的強度和/或方向的儀器。使用與指南針相同的方法，磁力計能夠使用地球磁場確定UE 101的方向指向。圖像捕獲設備(例如，數碼相機)的前部 (或UE 101上的另一參考點)可標記為確定方向的參考點。因此,如果與參考點相比磁場指向北，則UE 101參考點相對磁場的角度已知。可以進行簡單的計算以確定UE 101的方向。 該方向信息可與UE 101的位置信息關聯以確定UE 101正指向何處(例如，在什么地理特征或對象處)。可以利用該信息來選擇渲染給用戶的預記錄的全景圖的部分。
此外，加速計模塊213可包括可測量加速度的儀器。使用三軸的加速計，軸X、Y和 Ζ，以已知角度在三個方向中提供加速。再一次，在確定方向的過程中可將媒體捕獲設備的前端標記為參考點。因為由于萬有引力導致的加速度已知，當UE 101靜止時，加速計模塊 213可確定與地球的萬有引力相比UE 101指向的角度。在一個實施例中，使用從加速計獲得的垂直方向數據確定UE 101正指向的仰角或傾角。可以使用該信息結合磁力計信息和位置信息來確定對于用戶來說預記錄的全景圖中的視角。這樣，該信息可用于選擇可用的內容項以向用戶呈現導航信息。此外，可以使用組合的信息以確定用戶可能感興趣的特定數字地圖或預記錄的全景圖的部分。
然后，控制邏輯與圖像模塊203交互以向用戶渲染預記錄的全景圖中的視角，無論何時用戶旋轉/傾斜UE 101。如上所述，關聯模塊207可以從相機獲得實況圖像并經由位置信息將實況圖像與預記錄的全景圖關聯。此外，關聯模塊207使用磁力計信息、加速計信息或其組合來確定向用戶顯示預記錄的全景圖的部分的視角。
然后，控制邏輯201與內容管理模塊215和圖像模塊203交互以增強與實況圖像中的一個或多個POI相關的內容信息。可從服務平臺111、服務113a-113n、內容提供商 115a-115m、其它類似組件或其組合接收該內容。還可以設想，用戶或用戶授權的另一方可手動地輸入內容項。在一個實施例中，內容管理模塊215可以創建列出提供給內容管理模塊215的所有內容項和關聯的接入地址的內容目錄。在某些實施例中，內容目錄可包括描述內容的附加描述信息和其它元數據。可用的媒體內容或流可采用很多形式(例如，實況視頻反饋、照片、聲音文件等)并且可使用任何數量的部件(例如，流媒體、下載的媒體、自發創建的媒體等)來傳遞。內容管理模塊215包括用于接收和/或檢測其原始格式中的媒體內容或用于將媒體內容轉換為與測繪和增強現實應用107兼容的媒體格式的一個或多個子模塊或應用編程接口(API)(未繪出)。在其它實施例中，內容管理模塊215可以發起核實內容或流所需的組件(例如，編解碼器、播放應用等)的下載或安裝。可將內容數據緩存或保存在用戶地圖和內容數據庫117中。
為了促進查找特定內容或特征，內容管理模塊215使得用戶能夠輸入搜索條件 (例如，內容項、人、城市、天氣等)并得到用于查找搜索的內容項位于真實物質世界中的方向的指南。內容管理模塊215還使得用戶能夠指定時間段以使用位置和時間兩者來導航內容信息。在一個實施例中，用于查看內容和測繪信息的缺省時間是當前。如果時間段設置為將來，則內容管理模塊215將基于指定的時間確定一個或多個內容項，諸如在接下來的三個小時里在百貨商店第四層將特價出售什么。通過示例，出售的內容和產品信息可呈現在具有根據關聯的位置信息放置的每個產品的表示的建筑平面圖上。
內容可描述為覆蓋在與興趣點(例如，樓層)或興趣點的一部分(例如，樓層上的設施)對應的位置處的用戶界面地圖上的縮略圖，并以固定的3D方向附著到Ρ0Ι。如所討論的，用戶界面可以是圖形用戶界面。此外或者可選地，用戶界面可以是音頻或觸覺界面。在一個實施例中，內容管理模塊215僅呈現在指定的時間處可用并與任何局限或排他限制無關的那些內容項。該實施例提供了用戶可簡單地從所呈現的內容項中選擇并被確保所選的項將可用于單次選擇點擊的用戶體驗。在其它實施例中，內容管理模塊215可呈現所有可用的內容并區分可用于單次點擊的內容對(versus)與附加局限或限制關聯的內容的呈現。 呈現的特定類型可由用戶、內容提供商115、網絡運營商、服務平臺111或其組合指定。然后內容管理模塊215確定是否周期性地更新內容信息。
在某些實施例中，當具有比可在現有用戶界面中顯示的內容更多的內容可用時， 內容管理模塊215不斷地激勵內容項的顯示，以便在原來的內容消失時新的內容保持出現。該激勵過程還使得用戶界面對于用戶來說更有娛樂性，并給予一種世界隨著活動變得 “有生機”的感覺。
在某些實施例中，用戶地圖和內容數據庫117包括地圖數據庫109a和內容目錄 10%中的所有信息或一部分信息。從所選視角，可在UE 101的屏幕上提供使用內容增強的實況圖像視圖。在某些實施例中，內容管理模塊215使用從數據庫117或內容測繪平臺103 生成或檢索的內容，根據所選視角提供關聯的預記錄的全景圖。內容信息可以由另一裝置事先嵌入/標記在關聯的預記錄的全景圖中，或當在UE 101的屏幕上顯示關聯的預記錄的全景圖時由內容管理模塊215根據需求和/或以實時方式嵌入/標記在關聯的預記錄的全景圖中。
內容和測繪信息可經由用戶界面217呈現給用戶，其可以包括各種通信方法。例如，用戶界面217可具有包括視覺組件(例如，屏幕)、音頻組件(例如，口頭指令)、物理組件 (例如，震動)和其它通信方法的輸出。用戶輸入可包括觸屏界面、麥克風、相機、滾動點擊界面、按鈕界面等。此外，用戶可輸入請求以開始應用107 (例如，測繪和用戶界面應用)并使用用戶界面217接收內容和測繪信息。通過用戶界面217，用戶可請求呈現不同類型的內容、測繪或位置信息。進一步地，可向用戶呈現特定位置和相關對象(例如，特定位置處的建筑物、地形特征、POI等)的3D或增強現實表示，作為UE 101的屏幕上的圖形用戶界面的一部分。如前所述，UE 101與內容測繪平臺103、服務平臺111和/或內容提供商115a-115m 通信以獲取內容、測繪和/或位置信息。UE 101可使用客戶端服務器格式的請求來檢索內容和測繪信息。此外，UE 101可在請求中指定位置信息和/或方向信息以檢索內容和測繪信息。
圖3A是根據一個實施例用于渲染對象的立體圖及與其相關的內容以用于移動設備上基于位置的服務的過程的流程圖。圖3B是根據一個實施例省略被另一對象在立體圖中的渲染遮住的遠處對象的圖形表示的過程的流程圖。圖4A、4B、5和6是根據各種實施例在圖3A和3B的過程中使用的用戶界面的示意圖。
在一個實施例中，測繪和用戶界面應用107執行過程300并實現在例如包括圖8 中示出的處理器和存儲器的芯片集中。在步驟301，測繪和用戶界面應用107至少部分地促使示出視場中的一個或多個對象的立體圖的渲染。例如，針對基于位置的服務的用戶界面可同時地包括主視圖部分和預覽部分，其中在一個部分(即，主視圖部分或預覽部分)中顯示立體圖而在另一部分(即，預覽部分或主視圖部分中的另一個)中顯示平面圖。然后，在步驟303，測繪和用戶界面應用107檢索與視場中的一個或多個對象中的對象關聯的內容。 然后，在步驟305，應用107至少部分地促使與內容相關的圖形表示在用戶界面中的立體圖中可見的對象的表面上渲染以用于移動設備的基于位置的服務。因此，涉及與POI相關的豐富的內容信息的圖形表示(例如，從因特網、用戶輸入等繪制)被插入立體圖，這樣其被附著到對象/POI的表面。因此，標簽在對象或POI的表面上顯示并在立體圖中實際附著到其上，并在對象或POI的表面上以固定的3D方向示出。與POI相關的內容還可以在預記錄的全景圖中看見，并且該內容可能已經嵌入/標記在預記錄的全景圖中或以實時方式插入全景圖中。POI可由用戶、服務提供商(例如，無線、蜂窩、因特網、內容、社交網絡等)和/或設備制造商預先設置，并且相關內容也可以由這些實體的任一組合嵌入/標記。因此，用戶可通過選擇以穩定方式附著到立體圖中的對象/POI的圖形表示來訪問豐富的內容信息。
在生成立體圖時，測繪和用戶界面應用107從實時圖像和/或預先存儲的圖像確定用于立體圖的一個或多個對象的最佳圖像。例如，應用107可比較特定視場的各個存儲的圖像，并確定哪個圖像在最佳焦點中、處于最有利位置(例如，離用戶選擇的視場最靠近的有利位置)，并然后使用該可用的最好圖像。然后，應用可使用最佳圖像至少部分地促使立體圖在用戶界面中渲染。附加地，應注意，可通過使用覆蓋到對象的表面上的圖形表示提供實時圖像、預存儲的圖像和/或實時圖像與預存儲的圖像的混合之間的流暢轉換來形成立體圖，從而以流暢和連續的方式提供最好可能的立體圖。
同樣，應注意，當應用107接收改變立體圖或平面圖中的顯示的方向的輸入時，應用107與輸入相對應地同時改變立體圖和平面圖中的另一個的顯不的方向。因此,一個試圖中的任何改變將同時地導致另一試圖中的改變。例如，如果用戶界面正在示出立體圖中的實時圖像并轉圈移動(pan)，則平面圖也將示出以圓周運動移動的視點圖標。同樣，如果用戶圍繞平面圖上的各種位置掃描，則將同時地更新立體圖以在所選位置所選方向處示出圖像。
在一個實施例中，測繪和用戶界面應用107執行過程320并實現在例如包括圖8 中示出的處理器和存儲器的芯片集中。在步驟321，測繪和用戶界面應用107確定與一個或多個對象有關的立體圖的渲染的立體系數(perspective)(例如，位置、海拔、方向)。因此， 例如，應用107確定示出立體圖所處的位置、海拔和方向，并將立體圖的視場與關于立體圖的區域中當前示出的一個或多個對象的3D信息進行比較。在步驟323，應用107確定遠處對象的渲染是否被另一對象在立體圖中的渲染遮住。因此，例如，應用107確定視場的方向中的哪些對象將在立體圖中可見，哪些對象由于被靠近的對象遮住而不可見。然后，在步驟 325，當遠處對象被另一對象在立體圖中的渲染遮住時，應用107從立體圖省略關于與遠處對象關聯的內容的圖形表示或提供關于與遠處對象關聯的內容的替代圖形表示。因此，例如，當確定了遠處的特定對象將在立體圖中不可見時，應用107省略與來自立體圖的豐富的內容信息相關的圖形表示以保持立體圖整潔。可選地，當確定了遠處的特定對象將在立體圖中不可見時，應用107可提供立體圖中與隱藏的對象/POI的位置處的豐富的內容信息相關的替代圖形表示(例如，加亮的或透明的圖像或者針對該對象的原始圖形表示的修改版本)，以便用戶能夠知道其存在但仍然能保持立體圖相對整潔。
圖4A和4B是根據各種實施例在圖3A和3B的過程中使用的用戶界面的示意圖。 圖4A和4B描述了用戶設備400，諸如移動設備，其包括具有諸如觸摸屏的顯示屏403的外殼401。顯示屏403當前正顯示同時示出主視圖部分405和預覽部分407的用戶界面。在該實施例中，將預覽部分407示出為主視圖的左下角處的半圓形窗；然而，可以任何形狀和在主視圖上的任何位置處提供預覽部分。在圖4A中示出的實施例中，主視圖部分405當前正顯示示出了地圖的平面圖，預覽部分407當前正顯示示出了全景圖的立體圖。平面圖和立體圖可基于用戶設備400的當前位置和/或方向或者基于用戶選擇的位置顯示這種視圖。
在圖4A中的主視圖405中示出的平面圖中示出了方向表示，在該實施例中其包括潛望鏡圖形(或者也通常在此處稱為視點圖標)411和從潛望鏡圖形411延伸的圓錐形區域 413，其示出規劃立體圖的視場的方向以及通常由視場覆蓋的區域。因此潛望鏡圖形411和從其延伸的圓錐形區域413直接與立體圖中示出的視場相關聯。立體圖中示出的圖像可以是使用UE 101的相機捕獲的實時圖像、服務提供商提供和/或存儲在UE 101上的預存儲的圖像、或者實時圖像與預存儲的圖像的混合。
在圖4A中示出的實施例中，顯示在顯示屏403上的用戶界面示出了對應于與各種對象/POI相關的豐富的內容信息的各種圖形表示(例如示出的氣泡，或其他圖像、圖標、文本等)409。平面圖中示出的圖形表示409還可以在立體圖中顯示在對象/POI的表面上(參見，例如圖4B、5和6)并實際上附著到其上，并在對象/POI的表面上以固定的3D方向示出。 用戶可在平面圖或立體圖中選擇圖形表示，提供豐富的內容信息的上托窗口將出現。內容信息包括實況媒體、存儲的媒體、與媒體關聯的元數據、文本信息、其它用戶設備的位置信息、測繪數據、地理標記的數據或其組合。
此外，關于圖4A，注意在平面圖中示出為在視場的常規方向上的圖形表示409A從預覽部分407中的立體圖中省略，因為與它們對應的對象/POI被遮住并因此在立體圖中不可見。
在圖4A中示出的實施例中，顯示屏403上顯示的用戶界面示出了沿主視圖部分 405的下邊緣的各種圖標，其向用戶提供了各種菜單選項。例如，用戶可選擇圖標415 (例如，使用觸摸屏)來添加用于對象/POI的圖形表示。因此，例如，如果用戶想要向用戶的朋友居住的特定建筑物添加新圖形表示，則用戶可選擇圖標415并在希望的位置拖放新圖形表示，然后以希望的內容信息填充圖形表示。附加地，用戶可選擇圖標417以過濾顯示在用戶界面上的圖形表示的類型。例如，如果用戶想要僅在平面圖和/或立體圖中示出餐館的圖形表示，則用戶可選擇圖標417，其將向用戶提供預先設置的類別列表，用戶可從該類別列表選擇和/或允許用戶從該類別列表定義所需的過濾器或執行文本搜索以定義所需的過濾器。附加地，用戶可選擇圖標419以在圖4A、4B、4和6中示出的雙窗口視圖(S卩，包括主視圖部分和預覽部分)和全屏視圖模式之間來回切換，在全屏視圖模式中示出平面圖或立體圖之一而不不出預覽部分407。
圖4B是根據另一實施例在圖3A和3B的過程中使用的用戶界面的示意圖。圖4B 描述了具有顯示用戶界面的顯示屏403的用戶設備400，其中主視圖部分405示出立體圖， 預覽部分407示出對應的平面圖。在圖4B中，示出平面圖的預覽部分407包括示出為潛望鏡圖形421和從潛望鏡圖形421延伸的圓錐形區域423，其示出規劃立體圖的視場的方向以及通常由視場覆蓋的區域。同樣，在圖4B中，示出立體圖的主視圖部分405包括圖形表示， 例如，氣泡425，其對應于與各個對象/POI相關的豐富的內容信息。
在任何給定時刻，用戶例如可通過選擇來回切換圖標427來切換哪個視圖(即，立體圖或平面圖)在主視圖部分405中示出以及哪個視圖在預覽部分407中示出。同樣，用戶可使用加減縮放圖標429來放大和縮小(例如，同時在兩個視圖中，或者僅在視圖之一中， 諸如在主視圖部分中示出的視圖)。
圖5是根據另一實施例在圖3A和3B的過程中使用的用戶界面的示意圖。圖5描述了用戶設備500，諸如移動設備，其包括具有顯示屏503的外殼501。顯示屏503當前正顯示同時示出主視圖部分505和預覽部分507的用戶界面。在圖5中示出的該實施例中， 主視圖部分505當前正顯示示出了地圖的平面圖，預覽部分507當前正顯示示出了全景圖的立體圖。平面圖和立體圖可基于用戶設備500的當前位置和/或方向或者基于用戶選擇的位置顯示這種視圖。
在圖5中，示出平面圖的主視圖部分505包括示出為潛望鏡圖形509和從潛望鏡圖形509延伸的圓錐形區域511，其示出規劃立體圖的視場的方向以及通常由視場覆蓋的區域。同樣，主視圖部分505包括圖形表示，例如，氣泡513，其對應于與相應的對象/POI相關的豐富的內容信息。此外，預覽部分507包括圖形表示，例如，氣泡515，其對應于與平面圖中的氣泡513同樣的對象/POI。顯示在立體圖中的圖形表示515示出在對象/POI的表面上并實際上附著到其上，并在對象/POI的表面上以固定的3D方向示出。例如，如立體圖中所看到的或者如用戶或服務提供商預先設置的，圖形表示515附著到對象/POI的最突出的表面上。圖形表示可以是氣泡圖標、圖像(例如，由用戶設置，諸如住在建筑物中的人的照片，或者由服務提供商設置)、表示對象/POI的類別的圖標(例如，指示餐館POI的刀叉、表示商店POI的購物車等)、文本(例如，對象/POI的名稱或描述)等。
此外，關于圖5，注意在平面圖中示出為在視場的常規方向上的圖形表示513A從預覽部分507中的立體圖中省略，因為與其對應的對象/POI被遮住并因此在立體圖中不可見。因此，立體圖保持整潔的外觀。
圖6是根據另一實施例在圖3A和3B的過程中使用的用戶界面的示意圖。圖6描述了包括具有顯示屏603的外殼601的用戶設備600。顯示屏603當前正顯示同時示出主視圖部分605和預覽部分607的用戶界面。在圖6中示出的實施例中，主視圖部分605當前正顯示示出了全景圖的立體圖，預覽部分607當前正顯示示出了地圖的平面圖。平面圖和立體圖可基于用戶設備600的當前位置和/或方向或者基于用戶選擇的位置顯示這種視圖。
在圖6中，示出平面圖的預覽部分607包括示出為潛望鏡圖形609和從潛望鏡圖形609延伸的圓錐形區域611，其示出規劃立體圖的視場的方向以及通常由視場覆蓋的區域。同樣，主視圖部分605包括圖形表示，例如，氣泡613，其對應于與相應的對象/POI相關的豐富的內容信息。此外，主視圖部分605包括其它圖形表示，例如，氣泡615，其對應于與透視圖的視場中可見的其它對象/POI相關的豐富的內容信息。在某些實施例中，盡管地圖的平面圖可示出鏈接到其豐富的內容信息的對象的所有圖形表示，但在給定區域中，僅為在立體圖的視場中可見的對象示出附著到立體圖中的對象的圖形表示。因此,從立體圖中省略在立體圖中看不見的對象的圖形表示(例如，隱藏在建筑物后面或者隱藏在樹后面的對象的圖形表示等)以避免用戶界面的立體圖的雜亂。
可以通過軟件、硬件、固件或者軟件和/或固件和/或硬件的組合來有利地實現此處描述的用于渲染對象的立體圖以及與其相關的內容以用于移動設備上基于位置的服務的過程。例如，此處描述的包括用于提供與服務的有效性關聯的用戶界面導航信息的過程可以經由處理器、數字信號處理(DSP)芯片、專用集成電路(ASIC)、場可編程門陣列(FPGA) 等來有利地實現。下面詳細地介紹用于執行所述功能的這種示例性硬件。
圖7示出了可在其上實施本發明的實施例的計算機系統700。盡管關于特定設備或者裝備對計算機系統700進行描述，期望的是，圖7內的其它設備或者裝備(例如，網絡元件、服務器等)能夠部屬所示出的系統700的硬件和組件。計算機系統700被編程(例如， 經由計算機程序代碼或者指令)以如此處描述的為移動設備上基于位置的服務渲染對象的立體圖和與其相關的內容，并且包括諸如總線710的用于在計算機系統700的其它內部和外部組件之間傳遞信息的通信機制。信息(也稱為數據)表示為可測量現象的物理表達，通常為電壓，但是在其它實施例中包括諸如磁、電磁、壓強、化學、生物、分子、原子、亞原子和量子相互作用的現象。例如，北磁場和南磁場或者零和非零電壓表示二進制數字(比特)的兩個狀態(0，I)。其它現象可以表示更高基的數字。測量前多個同時發生的量子狀態的疊加表示量子比特(qubi t)。一個或多個數字的序列組成用于表示字符號碼或者代碼的數字數據。在一些實施例中，被稱為模擬數據的信息由特定范圍內的近似連續的可測量值表示。 計算機系統700或者其部分組成用于執行為移動設備上基于位置的服務渲染對象的立體圖和與其相關的內容的一個或多個步驟的部件。
總線710包括一個或多個平行的信息導體以便信息在與總線710耦合的設備之間快速傳輸。用于處理信息的一個或多個處理器702與總線710耦合。
處理器(或多個處理器)702按照關于為移動設備上基于位置的服務渲染對象的立體圖和與其相關的內容的計算機程序代碼所指定的那樣對信息執行操作集合。計算機程序代碼是為處理器和/或計算機系統的操作提供了用于實施指定功能的指令的一組指令或聲明。例如可以用被編譯成處理器的原生指令集的計算機編程語言來編寫代碼。也可以直接使用原生指令集(例如，機器語言)來編寫代碼。操作集合包括從總線710帶入信息并且將信息置于總線710上。操作集合通常還包括諸如通過加法或乘法或者比如“或(0R)”、“異或(X0R)”和“與(AND)”這樣的邏輯運算來比較兩個或更多信息單元，將信息單元的位置進行移位，以及組合兩個或更多信息單元。可以由處理器執行的操作集合中的每個操作由稱為指令的信息而被表示給處理器，諸如一個或多個數位的操作代碼。要由處理器702執行的操作序列(諸如操作代碼序列)構成了處理器指令，也稱為計算機系統指令或簡單地稱為計算機指令。處理器可以單獨地或組合地被實現為機械、電、磁、光、化學或量子組件等。
計算機系統700還包括耦合到總線710的存儲器704。諸如隨機存取存儲器(RAM) 或其它動態存儲設備的存儲器704存儲信息，包括用于為移動設備上基于位置的服務渲染對象的立體圖和與其相關的內容的處理器指令。動態存儲器允許計算機系統700改變存儲在其中的信息。RAM允許獨立于在相鄰地址處的信息來存儲和檢索被存儲在稱為存儲器地址的位置處的信息單元。存儲器704還被處理器702用于存儲在處理器指令的執行期間的臨時值。計算機系統700還包括只讀存儲器(ROM) 706或者耦合到總線710的其它靜態存儲設備，用于存儲不被計算機系統700改變的靜態信息(包括指令)。特定存儲器包括易失性儲存器，當斷電時，易失性儲存器會丟失在其上存儲的信息。也耦合到總線710的是非易失性(永久)存儲設備708，諸如磁盤、光盤或閃卡，用于存儲包括指令的信息，非易失性存儲設備708即使當計算機系統700關閉或以其它方式斷電時也進行存留。
從外部輸入設備712 (諸如含有由人類用戶操作的字母數字鍵的鍵盤)或傳感器將信息(包括用于為移動設備上基于位置的服務渲染對象的立體圖和與其相關的內容的指令)提供給總線710來由處理器使用。傳感器檢測其附近的狀況，并且將那些檢測結果變換成與用于表示計算機系統700中的信息的可測量現象相兼容的物理表達。耦合到總線710 的主要用于與人類進行交互的其它外部設備包括顯示設備714，諸如陰極射線管(CRT)或液晶顯示器(IXD)，或者用于呈現文本或圖像的等離子屏幕或打印機，以及定點設備716， 諸如鼠標或軌跡球或光標方向鍵，或者運動傳感器，用于控制在顯示器714上呈現的小型光標圖像的位置以及發布與顯示器714上所呈現的圖形元素相關聯的命令。在一些實施例中，例如，在計算機系統700在沒有人類輸入的情況下自動地實現所有功能的實施例中，省略外部輸入設備712、顯示設備714和定點設備716中的一個或多個。
在所圖示的實施例中，諸如專用集成電路(ASIC)720的專用硬件耦合到總線710。 專用硬件被配置以便出于專用目的而足夠快地執行處理器702不執行的操作。專用IC的例子包括用于為顯示器714生成圖像的圖形加速器卡、用于加密和解密在網絡上發送的消息的密碼板、語音識別以及針對專門的外部設備的接口，諸如重復地執行在硬件中更為高效實現的一些復雜操作序列的機器臂和醫療掃描設備。
計算機系統700還包括耦合到總線710的通信接口 770的一個或多個實例。通信接口 770提供了耦合到與其自己的處理器一起操作的各種外部設備(諸如打印機、掃描儀和外部盤)的單向或雙向通信。通常，耦合是針對網絡鏈路778，網絡鏈路778連接到本地網絡780，具有其自己的處理器的各種外部設備連接到本地網絡780。例如，通信接口 770可以是個人計算機上的并行端口或串行端口或通用串行總線(USB)端口。在一些實施例中， 通信接口 770是綜合服務數字網絡(ISDN)卡或數字訂戶線路(DSL)卡或者向對應類型的電話線路提供信息通信連接的電話調制解調器。在一些實施例中，通信接口 770是將總線 710上的信號轉換成用于在同軸電纜上的通信連接的信號或轉換成用于在光纖電纜上的通信連接的光信號的電纜調制解調器。又例如，通信接口 770可以是用于向兼容的LAN(諸如以太網)提供數據通信連接的局域網(LAN)卡。也可以實現無線鏈路。對于無線鏈路，通信接口 770發送或接收或者既發送又接收攜帶了信息流(諸如數字數據)的電、聲或電磁信號， 包括紅外信號和光信號。例如，在無線手持設備(諸如像蜂窩電話這樣的移動電話)中，通信接口 770包括被稱為無線電收發器的無線電頻帶電磁發射機和接收機。在特定實施例中， 通信接口 770實現了與通信網絡105的連接，用于向UE 101渲染對象的立體圖和與其相關的內容以用于移動設備上基于位置的服務。
術語“計算機可讀介質”在此用于指的是參與向處理器702提供信息(包括用于執行的指令)的任何介質。這樣的介質可以采用很多形式，包括但不限于計算機可讀存儲介質(例如，非易失性介質、易失性介質)和傳輸介質。諸如非易失性介質的非暫態介質包括例如光盤或磁盤，諸如存儲設備708。易失性介質包括例如動態存儲器704。傳輸介質包括例如同軸電纜、銅導線、光纖電纜以及在沒有導線或電纜的情況下通過空間行進的載波，諸如聲波和電磁波，包括無線電波、光波和紅外波。信號包括通過傳輸介質傳送的在幅度、頻率、相位、極化或其它物理屬性方面的人為瞬時變化。計算機可讀介質的常見形式包括例如軟盤、柔性盤、硬盤、磁帶、任何其它磁介質、CD-ROM、CDRW、DVD、任何其它光介質、穿孔卡、紙帶、光標記片材、具有孔圖案或其它光可識別標記的任何其它物理介質、RAM、PROM、EPROM、 FLASH-EPR0M、任何其它存儲器芯片或卡式盒、載波，或者計算機可以從其進行讀取的任何其它介質。在此使用術語“計算機可讀存儲介質”來指代除了傳輸介質之外的任何計算機可讀介質。
在一個或多個有形介質中編碼的邏輯包括以下中的一個或兩個在計算機可讀存儲介質上的處理器指令以及專用硬件，諸如ASIC 720。
網絡鏈路778通常使用傳輸介質來通過一個或多個網絡向使用或處理信息的其它設備提供信息通信。例如，網絡鏈路778可以通過本地網絡780提供針對主機計算機782 或針對由因特網服務提供商(ISP)操作的設備784的連接。ISP設備784進而通過現在常被稱為因特網790的網絡的公共全球分組交換通信網絡來提供數據通信服務。
被稱為服務器主機792的連接到因特網的計算機托管了響應于在因特網上接收到的信息而提供服務的進程。例如，服務器主機792托管了提供表示出用于在顯示器714 處呈現的視頻數據的信息的進程。可以設想，可以在其它計算機系統(例如主機782和服務器792)內按照各種配置來部署系統700的組件。
本發明的至少一些實施例涉及對用于實現在此描述的一些或所有技術的計算機系統700的使用。根據本發明的一個實施例，響應于處理器702執行包含在存儲器704中的一個或多個處理器指令的一個或多個序列，由計算機系統700來實現那些技術。這樣的指令(也稱為計算機指令、軟件和程序代碼)可以從諸如存儲設備708或網絡鏈路778的另一計算機可讀介質讀入到存儲器704中。包含在存儲器704中的指令序列的執行使得處理器702實現在此描述的方法步驟中的一個或多個。在替代實施例中，諸如ASIC 720的硬件可以代替軟件或與軟件相組合地用來實現本發明。因此，本發明的實施例不限于硬件和軟件的任何具體組合，除非在此另外明確聲明。
通過通信接口 770在網絡鏈路778和其它網絡上傳送的信號攜帶了去往和來自計算機系統700的信息。計算機系統700可以通過網絡780、790等經由網絡鏈路778和通信接口 770來發送和接收信息，包括程序代碼。在使用因特網790的例子中，服務器主機792 通過因特網790、ISP設備784、本地網絡780和通信接口 770來傳送由從計算機700發送的消息所請求的用于特定應用的程序代碼。所接收到的代碼可以當其被接收到時由處理器 702來執行，或者可以被存儲在存儲器704中或存儲設備708或其它非易失性存儲器中以用于以后執行，或者二者皆可。以這種方式，計算機系統700可以按照載波上的信號的形式來獲得應用程序代碼。
各種形式的計算機可讀介質可以涉及將數據或指令的一個或多個序列或這二者攜帶到處理器702來執行。例如，指令和數據可以初始地被攜帶在諸如主機782的遠程計算機的磁盤上。遠程計算機將指令和數據加載到其動態存儲器中，并且使用調制解調器在電話線路上發送指令和數據。計算機系統700本地的調制解調器在電話線路上接收指令和數據，并且使用紅外發射機來將指令和數據轉換成在充當網絡鏈路778的紅外載波上的信號。充當通信接口 770的紅外檢測器接收在紅外信號中攜帶的指令和數據，并且將表示指令和數據的信息置于總線710上。總線710將該信息攜帶到存儲器704，處理器702從存儲器704中檢索該信息，并且使用與指令一起發送的一些數據來執行該指令。在存儲器704 中接收到的指令和數據可以視情況在由處理器702執行之前或之后被存儲在存儲設備708 上。
圖8圖示了可以在其上實現本發明實施例的芯片集或芯片800。芯片集800被編程以便如在此描述的渲染對象的立體圖及與其相關的內容以用于移動設備上基于位置的服務，并且包括例如相對于圖7描述的合并在一個或多個物理封裝(例如，芯片)中的處理器和存儲器組件。舉例來說，物理封裝包括在結構配件(例如，基板)上的一個或多個材料、組件和/或導線的布置，以便提供一個或多個特性，諸如物理強度、大小的保持和/或電子交互的限制。可以設想，在特定實施例中，芯片集800可以在單個芯片中實現。可以進一步設想，在特定實施例中，芯片集或芯片800可以實現為單個“片上系統”。可以進一步設想，在特定實施例中，例如可以使用單獨的ASIC，并且可以通過處理器實現此處描述的所有相關功能。芯片集或芯片800或其一部分構成了用于執行提供對與服務的有效性關聯的用戶界面導航信息的一個或多個步驟的部件。芯片集或芯片800或其一部分構成了用于渲染對象的立體圖及其相關的內容以用于移動設備上基于位置的服務的一個或多個步驟的部件。
在一個實施例中，芯片集或芯片800包括諸如用于在芯片集800的組件當中傳遞信息的總線801的通信機制。處理器803具有到總線801的連接，以便執行指令和處理在例如存儲器805中存儲的信息。處理器803可以包括一個或多個處理核心，每個核心被配置成獨立地執行。多核處理器使得能夠在單個物理封裝中進行多處理。多核處理器的例子包括兩個、四個、八個或更多數目的處理核心。替代地或附加地，處理器803可以包括經由總線801而聯合配置的一個或多個微處理器，以便使得能夠獨立執行指令、流水線操作和多線程。處理器803還可以附配有一個或多個專用組件來執行特定處理功能和任務，諸如一個或多個數字信號處理器(DSP)807或者一個或多個專用集成電路(ASIC)809。DSP 807 通常被配置成獨立于處理器803而實時地處理真實世界的信號(例如，聲音)。類似地，ASIC 809可以被配置成實現通用處理器不容易實現的專用功能。有助于實現在此描述的本發明功能的其它專用組件包括一個或多個現場可編程門陣列(FPGA)(未示出)、一個或多個控制器(未示出)，或者一個或多個其它專用計算機芯片。
在一個實施例中，芯片集或芯片800只包括一個或多個處理器和支持和/或涉及和/或用于一個或多個處理器的一些軟件和/或固件。
處理器803和所附組件具有經由總線801與存儲器805的連接。存儲器805包括動態存儲器(例如，RAM、磁盤、可寫光盤等)和靜態存儲器(例如，ROM、CD-ROM等)這二者，用于存儲可執行指令，當執行所述可執行指令時實現在此描述的用于渲染對象的立體圖及其關聯的內容以用于移動設備上基于位置的服務的本發明步驟。存儲器805還存儲了與本發明步驟的執行相關聯的或通過本發明步驟的執行而生成的數據。
圖9是根據一個實施例的能夠在圖I的系統中操作的用于通信的移動終端(例如， 手機)的示例性組件的示圖。在一些實施例中，移動終端900或其一部分構成了用于實現渲染對象的立體圖及其關聯的內容以用于移動設備上基于位置的服務的一個或多個步驟的部件。通常，常常關于前端和后端特性來定義無線電接收機。接收機的前端包括所有的射頻(RF)電路，而后端包括所有的基帶處理電路。如在本申請中使用的，術語“電路”指的是以下兩者(I)僅硬件實現(諸如僅在模擬和/或數字電路中的實現)，以及(2)電路和軟件(和/或固件)的組合(諸如，如果可應用于特定情境的話，涉及處理器(包括數字信號處理器)、軟件和存儲器的組合，它們一起工作以便使得諸如移動電話或服務器這樣的裝置來實現各種功能)。“電路”的該定義適用于本申請中(包括任何權利要求中)對該術語的所有使用。作為進一步的例子，如在本申請中使用的，如果可應用于特定情境的話，術語“電路”還將覆蓋僅一個處理器(或多個處理器)及其(或它們)附配的軟件和/或固件的實現。術語 “電路”還將覆蓋(如果可應用于特定情境的話)例如在移動電話中的基帶集成電路或應用處理器集成電路，或者在蜂窩網絡設備或其它網絡設備中的類似集成電路。
電話的相關內部組件包括主控制單元(MCU) 903、數字信號處理器(DSP) 905，以及接收機/發射機單元(包括擴音器增益控制單元和揚聲器增益控制單元)。主顯示單元907 向用戶提供顯示器，從而支持用于執行或支持渲染對象的立體圖及其關聯的內容以用于移動設備上基于位置的服務的步驟的各種應用和移動終端功能。顯示器9包括顯示電路，該顯示電路被配置成顯示移動終端(例如，移動電話)的用戶界面的至少一部分。另外，顯示器 907和顯示電路被配置成促進用戶對移動終端的至少一些功能的控制。音頻功能電路909 包括擴音器911和擴音器放大器,擴音器放大器放大了從擴音器911輸出的語音信號。從擴音器911輸出的已放大的語音信號被饋送到編碼器/解碼器(編解碼器)913。
無線電部分915放大功率并轉換頻率，以便經由天線917來與包括在移動通信系統中的基站通信。如本領域中已知的，利用來自耦合到雙工器921或循環器或天線開關的 PA 919的輸出，功率放大器(PA)919和發射機/調制電路可操作地響應于MCU 903。PA 919 還耦合到電池接口和功率控制單元920。
在使用中，移動終端901的用戶向擴音器911講話，并且他或她的語音連同任何檢測到的背景噪聲被轉換成模擬電壓。然后，該模擬電壓通過模數轉換器(ADC) 923被轉換成數字信號。控制單元903將數字信號路由到DSP 905用于在其中進行處理，諸如語音編碼、信道編碼、加密和交織。在一個實施例中，使用蜂窩傳輸協議(諸如全球演進(EDGE )、通用分組無線電服務(GPRS)、全球移動通信系統(GSM)、因特網協議多媒體子系統(IMS)、通用移動電信網絡(UMTS)等)以及任何其它合適的無線介質(例如微波接入(WiMAX)、長期演進(LTE)網絡、碼分多址(CDMA)、寬帶碼分多址(WCDMA)、無線保真(WiFi)、衛星等)，通過未單獨示出的單元來編碼經處理的語音信號。
然后，編碼信號被路由到均衡器925，用于補償在通過空氣傳輸期間發生的諸如相位和幅度失真這樣的任何依賴于頻率的損傷。在均衡了比特流之后，調制器927將該信號與在RF接口 929中生成的RF信號進行組合。調制器927通過頻率或相位調制來生成正弦波。為了準備用于傳輸的信號，上變頻器931將從調制器927輸出的正弦波與由合成器933 生成的另一正弦波進行組合，以便實現期望的傳輸頻率。然后，信號被發送通過PA 919以便將信號增加到適合的功率電平。在實際系統中，PA 919充當可變增益放大器，其增益根據從網絡基站接收到的信息而受到DSP905的控制。然后，該信號在雙工器921中被過濾并且可選地被發送到天線耦合器935以便匹配阻抗，從而提供最大功率傳輸。最后，該信號經由天線917被傳送到本地基站。自動增益控制(AGC)可以被供應來控制接收機的最后階段的增益。該信號可以從那里被轉發到遠程電話，遠程電話可以是另一蜂窩電話、其它移動電話或者連接到公共交換電話網絡(PSTN)或其它電話網絡的陸線。
經由天線917來接收被傳送到移動終端901的語音信號，并且由低噪聲放大器 (LNA) 937立即放大。下變頻器939降低載波頻率，而解調器941去掉RF僅留下數字比特流。然后，該信號經過均衡器925并由DSP 905進行處理。數模轉換器(DAC) 923轉換該信號并將所得到的輸出通過揚聲器945傳送到用戶，所有的這些都在主控制單元(MCU)903 (其可被實現為中央處理單元(CPU)(未示出))的控制之下。
MCU 903從鍵盤947接收包括輸入信號的各種信號。與其它用戶輸入組件(例如， 擴音器911)相組合的鍵盤947和/或MCU 903包括用于管理用戶輸入的用戶接口電路。 MCU 903運行用戶接口軟件以便促進用戶控制移動終端901的至少一些功能，從而為移動設備上基于位置的服務渲染對象的立體圖以及與其關聯的內容。MCU 903還向顯示器907 和語音輸出切換控制器分別遞送顯示命令和切換命令。此外，MCU 903與DSP 905交換信息，并且可以訪問可選地被合并的SM卡949和存儲器951。另外，MCU 903執行終端所需要的各種控制功能。DSP 905可以根據實現方式來對語音信號執行各種常規數字處理功能中的任何功能。另外，DSP 905根據由擴音器911所檢測到的信號來確定本地環境的背景噪聲電平，并且將擴音器911的增益設置成被選擇用于補償移動終端901的用戶的自然傾向的電平。
編解碼器913包括ADC 923和DAC 943。存儲器951存儲了包括呼入音調數據的各種數據，并且能夠存儲包括經由例如全球因特網而接收到的音樂數據在內的其它數據。 軟件模塊可以駐留在RAM存儲器、閃速存儲器、寄存器或本領域已知的任何其它形式的可寫存儲介質中。存儲設備951可以是但不限于單個存儲器、CD、DVD、ROM、RAM、EEPR0M、光儲存器或者能夠存儲數字數據的任何其它非易失性存儲介質。
可選地被合并的SM卡949攜帶了例如重要信息，諸如蜂窩電話號碼、供應服務的載波、預訂細節和安全信息。SIM卡949主要服務于標識出無線電網絡上的移動終端901。 卡949還含有用于存儲個人電話號碼登記簿、文本消息和特定于用戶的移動終端設置的存儲器。
盡管已經結合多個實施例和實現方式描述了本發明，但是本發明并不如此受到限制，而是覆蓋了落入所附權利要求的范圍之內的各種明顯的修改和等同布置。盡管在權利要求當中的特定組合中表達了本發明的特征，但是可以設想這些特征可以按照任何組合和順序來布置。
權利要求
1.一種方法，包括 至少部分地促使渲染示出了視場中的一個或多個對象的立體圖； 檢索與所述視場中的一個或多個對象中的對象關聯的內容；以及至少部分地促使與所述內容相關的圖形表示在用戶界面中的立體圖中可見的對象的表面上渲染，以用于移動設備的基于位置的服務。
2.根據權利要求I所述的方法，其中圖形表示的渲染包括設定圖形表示關于立體圖中可見的對象的表面的方向。
3.根據權利要求I所述的方法，進一步包括 確定與一個或多個對象相關的立體圖的渲染的立體系數； 確定遠處對象的渲染是否被另一對象在立體圖中的渲染遮住；以及當遠處對象被另一對象在立體圖中的渲染遮住時，從立體圖中省略關于與遠處對象關聯的內容的圖形表示或者提供關于與遠處對象關聯的內容的替代圖形表示。
4.根據權利要求I所述的方法，進一步包括 根據實時圖像和/或預存儲的圖像確定用于立體圖的一個或多個對象的最佳圖像；以及 使用所述最佳圖像至少部分地促使立體圖在用戶界面中渲染。
5.根據權利要求I所述的方法，進一步包括 接收用于經由用戶界面選擇圖形表示的輸入；以及 至少部分地促使與所述對象關聯的內容在用戶界面上顯示。
6.根據權利要求I所述的方法，進一步包括 接收由移動設備捕獲的所述視場中一個或多個對象的實時圖像， 其中所述立體圖示以覆蓋到所述對象的表面上的圖形表示出實時圖像。
7.根據權利要求I所述的方法，進一步包括 接收所述視場中一個或多個對象的預存儲的圖像， 其中所述立體圖以覆蓋到所述對象的表面上的圖形表示示出預存儲的圖像。
8.根據權利要求I所述的方法，進一步包括 接收由移動設備捕獲的所述視場中一個或多個對象的實時圖像；以及 接收所述視場中一個或多個對象的預存儲的圖像， 其中所述立體圖以覆蓋到所述對象的表面上的圖形表示示出實時圖像和預存儲的圖像的混合。
9.根據權利要求I所述的方法，進一步包括 接收由移動設備捕獲的所述視場中一個或多個對象的實時圖像；以及 接收所述視場中一個或多個對象的預存儲的圖像， 其中所述立體圖以覆蓋到所述對象的表面上的圖形表示在實時圖像、預存儲的圖像以及實時圖像和預存儲的圖像的混合之間轉換。
10.一種裝置，包括 至少一個處理器；以及 包括用于一個或多個程序的計算機程序代碼的至少一個存儲器， 所述至少一個存儲器和所述計算機程序代碼被配置成使用所述至少一個處理器使得所述裝置至少執行下列步驟， 至少部分地促使渲染示出了視場中的一個或多個對象的立體圖； 檢索與所述視場中的一個或多個對象中的對象關聯的內容；以及至少部分地促使與所述內容相關的圖形表示在用戶界面中的立體圖中可見的對象的表面上渲染以用于所述裝置的基于位置的服務，其中所述裝置是移動設備。
11.根據權利要求10所述的裝置，其中圖形表示的渲染包括設定圖形表示關于立體圖中可見的對象的表面的方向。
12.根據權利要求10所述的裝置，其中進一步促使所述裝置 確定與一個或多個對象相關的立體圖的渲染的立體系數； 確定遠處對象的渲染是否被另一對象在立體圖中的渲染遮住；以及 當遠處對象被另一對象在立體圖中的渲染遮住時，從立體圖中省略關于與遠處對象關聯的內容的圖形表示或者提供關于與遠處對象關聯的內容的替代圖形表示。
13.根據權利要求10所述的裝置，其中進一步促使所述裝置 根據實時圖像和/或預存儲的圖像確定用于立體圖的一個或多個對象的最佳圖像；以及 使用所述最佳圖像至少部分地促使立體圖在用戶界面中渲染。
14.根據權利要求10所述的裝置，其中進一步促使所述裝置 接收用于經由用戶界面選擇圖形表示的輸入；以及 至少部分地促使與所述對象關聯的內容在用戶界面上顯示。
15.根據權利要求10所述的裝置，其中進一步促使所述裝置 接收由移動設備捕獲的所述視場中一個或多個對象的實時圖像， 其中所述立體圖以覆蓋到所述對象的表面上的圖形表示示出實時圖像。
16.根據權利要求10所述的裝置，其中進一步促使所述裝置 接收所述視場中一個或多個對象的預存儲的圖像， 其中所述立體圖以覆蓋到所述對象的表面上的圖形表示示出預存儲的圖像。
17.根據權利要求10所述的裝置，其中進一步促使所述裝置 接收由移動設備捕獲的所述視場中一個或多個對象的實時圖像；以及 接收所述視場中一個或多個對象的預存儲的圖像， 其中所述立體圖以覆蓋到所述對象的表面上的圖形表示示出實時圖像和預存儲的圖像的混合。
18.根據權利要求10所述的裝置，其中進一步促使所述裝置 接收由移動設備捕獲的所述視場中一個或多個對象的實時圖像；以及 接收所述視場中一個或多個對象的預存儲的圖像， 其中所述立體圖以覆蓋到所述對象的表面上的圖形表示在實時圖像、預存儲的圖像以及實時圖像和預存儲的圖像的混合之間轉換。
19.一種攜帶一個或多個指令的一個或多個序列的計算機可讀存儲介質，當被一個或多個處理器執行時，促使裝置至少執行下列步驟 至少部分地促使渲染示出了視場中的一個或多個對象的立體圖； 檢索與所述視場中的一個或多個對象中的對象關聯的內容；以及至少部分地促使與所述內容相關的圖形表示在用戶界面中的立體圖中可見的對象的表面上渲染以用于所述裝置的基于位置的服務，其中所述裝置是移動設備。
20.根據權利要求19所述的計算機可讀存儲介質，其中圖形表示的渲染包括設定圖形表示關于立體圖中可見的對象的表面的方向。
全文摘要
一種方法，包括至少部分地促使渲染示出了視場中的一個或多個對象的立體圖。該進一步包括檢索與所述視場中的一個或多個對象中的對象關聯的內容，以及至少部分地促使與所述內容相關的圖形表示在用戶界面中的立體圖中可見的對象的表面上渲染以用于移動設備的基于位置的服務。
文檔編號G06T17/05GK102985901SQ201180034828
公開日2013年3月20日 申請日期2011年2月10日 優先權日2010年5月16日
發明者T·瓦蒂寧, B·卡斯特羅, D·J·墨菲 申請人:諾基亞公司