用于插入和增強當瀏覽轄地時顯示給用戶的消息的系統和方法

用于插入和增強當瀏覽轄地時顯示給用戶的消息的系統和方法
【專利摘要】一種觀看人工現實消息(例如在轄地觀看賽事)的系統和方法，其中消息是地理參照的人工現實詞或標記并被增強以使用戶能更好地理解或與用戶相關。典型地，該消息以轄地內移動的參與者或轄地內的固定位置為地理參照。使用觀眾選擇的位置作為觀看原點，人工現實消息或產品被插入到轄地的觀眾立體圖中。該增強涉及改變背景的內容，或改變透視、方位、尺寸、背景、字體或照明以便更好地領會。
【專利說明】用于插入和增強當瀏覽轄地時顯示給用戶的消息的系統和
方法
[0001]背景【技術領域】
[0002]本發明涉及插入和增強例如當在一轄地觀看諸如體育賽事、音樂會、集會、聚會、會議、地點預覽等事件時顯示給圖形設備的用戶的人工現實消息的系統和方法。優選地，該消息增強牽涉到改變背景的內容，或改變與消息關聯的立體圖、方位、尺寸、背景、字體或照明以便更好地理解。
[0003]相關技術的描述
[0004]美國專利N0.7，855，638 以及美國公布 N0.2007/0117576,2008/0036653,2008/0198230和2008/0259096總地涉及使用定位和人工現實觀看人物、場所和例如體育賽事的事件，以改善賽事觀看體驗。存在加強現實的商業應用，例如Layar、Wikitude、Junaio、Sekai Camera相機以及使用加強現實的其它裝置，以幫助尋找與感興趣點有關的信息。見例如 www.layar.com、www.wikitude.0rg/en/ 和 www.junai0.com。
[0005]為用戶量身訂做的產品或服務是盛行的，例如基于檢索項來自Google (谷歌)的廣告型號或基于用戶個人信息的廣告銷售。例如，Apple (蘋果)要求基于市場因素顯示向使用其設備之一的移動消費者顯示廣告。為了計算市場因素，Apple系統不僅捕獲機器身份，還搜索歷史、個人統計、日時、地點、天氣、忠實度計劃會員資格、媒體庫、用戶選項或好友選項以及家族等(統稱為“市場因素”)。參見例如美國公布N0.2010/0125492,2009/0175499,2009/0017787,2009/0003662 和 2009/0300122 ;以及美國專利 N0.7，933，900。有時與地點配對的諸如Facebook (臉書)和Twitter (推特)的社交媒體的鏈接和使用也是用戶行為和用戶統計的可能指標。參見例如美國公布N0.2009/0003662、美國專利N0.7，188，153、7，117，254以及7，069，308。另見美國公布N0.2011/0090252。本文中的所有對比文件全篇地援引包含于此作為參考。
[0006]發明概述
[0007]總地來說，本發明的系統和方法改善了當觀看人物、場所或事物，例如觀看在一轄地的事件，比如體育賽事、音樂會、集會、聚會、地點預覽等時被插入到用戶的圖形設備中的人工現實消息。在一種形式中，消息增強涉及改變與消息關聯的立體圖、方位、尺寸、背景、字體或照明以供理解。在另一形式中，消息增強牽涉到基于諸如市場因素的背景改變消息內容。在另一形式中，產品圖像可被插入到視圖中。
[0008]在一種形式中，用于向參加在一轄地的事件的觀眾顯示消息的系統包括動態地確定參與者在該轄地的位置的定位系統。系統包括用于發送所述參與者當他們作出改變時的位置的無線電網絡以及接收所述發送的參與者位置的服務器。觀眾使用觀眾設備，該觀眾設備可運作以從所述服務器接收所述參與者位置。觀眾設備具有圖形顯示器并可由觀眾運作以選擇在所述轄地附近的觀眾觀看位置，以從所述觀眾觀看位置以立體圖觀看所述轄地。地理參照的人工現實消息被插入到所述立體圖中并且所述消息被增強。[0009]在一個實施例中，在一轄地觀看消息的方法包括一個或多個參與者在轄地的位置并發送參與者的位置。觀眾配備具有圖形顯示器的計算機，例如智能電話。將參與者位置與觀眾通信，觀眾以立體圖在圖形顯示器上觀看在轄地處的參與者位置。該方法將人工現實消息插入轄地的立體圖，其中當立體圖在轄地從第一視圖改變至第二視圖時消息顯示被增強。
[0010]附圖簡沭
[0011]圖1是從參與的觀眾的觀看位置的背景下具有車的賽道的立體圖；
[0012]圖2是從觀眾位置的圖1的車道的另一立體圖，其中防護欄上的標語和車上的標記是難以辨認的；
[0013]圖3是與圖2相似的立體圖，其中防護欄上的標語相對于觀眾的立體圖被增強；
[0014]圖4是正橫著觀眾觀看位置的賽車的立體圖；
[0015]圖5是從圖4的觀眾位置觀察到的立體圖，其中關于車上的廣告消息的標語相對于觀眾的立體圖被增強并且人工現實消息被插入到跑道上；
[0016]圖6是從選擇的觀眾位置的高爾夫洞的立體圖；
[0017]圖7是從選擇的觀眾位置的障礙滑雪課程的立體圖；
[0018]圖8是描述根據本發明一優選實施例的無線客戶機服務器架構的方框圖；以及
[0019]圖9是具有圖形顯示器的智能電話的主視圖。
【具體實施方式】
[0020]高帶寬、無線網絡正變得普及，就如移動設備的計算能力那樣。對于人工現實的寬范圍應用，進一步的渲染引擎正變得容易獲得。使用移動設備觀看諸如體育賽事的事件很大程度地提升了用戶的體驗。美國專利N0.7，855，638描述了用于觀看這些事件的系統和方法的若干例子。在這些事件的觀看系統中，背景可以是真實世界圖像或虛擬世界渲染，但在任何優選情形下，使用人工現實來提升觀看體驗。
[0021 ] 在為事件的轄地創建這種環境時，將例如廣告消息的虛擬對象插入該環境中是理想的。若干困難伴隨這種消息布置而產生，主要是由于移動的體育參與者和觀眾可能改變觀眾視點的原點造成。也就是說，如果消息地理上系于移動的參與者或如果消息處于轄地中的固定位置，則消息的理解經常是困難的，這部分地因為觀眾的位置和地理固定消息之間的視角。
[0022]本系統和方法通過增強被插入到事件的視圖中的任何消息的可辨性來解決這個問題。也就是說，消息為清楚起見優選地被更改或通過改變消息的呈現而被增強。在一種形式中，可更改消息的方位以定位消息以供觀眾從選擇的觀看位置閱讀。在另一種形式中，可改變字母數字消息的立體圖，或甚至改變所使用的字體。其它增強包括對消息的照明、顏色或背景的改變。
[0023]本系統和方法也解決了確定置于事件的視圖中的消息和產品的內容的問題，由此插入到事件的視圖中的消息或產品與觀眾更為相關。在許多情形下，內容或產品布置是由事件本身確定的，例如在NASCAR事件中，將可能吸引NASCAR迷的廣告插入。在其它情形下，可通過從觀眾的觀看設備、社交媒體或基于云的數據搜集的個人觀眾的個人信息確定廣告或產品布置的上下文。[0024]在本申請中，術語“消息”被用來描述廣告、事實、事件信息、警告、聲明和其它類型的字母數字顯示。然而，消息也可以是標記或商標。應當理解，其它對象或圖形也可被增加并且術語“消息”被理解為包括其它對象。
[0025]最常見的定位技術是GPS。在本文中使用的GPS——有時被稱為GNSS——旨在包括所有當前和未來的包括衛星的定位系統，諸如美國Navistar、GLONASS、Galileo、EGNOS,WAAS、MSAS、QZSS等。可使用通常被稱為差值法的已知技術來提升位置(尤其是參與者的位置)的準確性，例如WAAS (廣域)、LAAS (局域)、載波-相位增強(CPGPS)、基于空間的加強系統(SBAS)、廣域GPS增強(WAGE)或相對運動學定位(RKP)。即使沒有差值校正，許多改進正在提高GPS準確性，例如衛星星座的增加、多頻率(L1, L2, L5)、建模和AGPS改進、軟件接收機以及地面站改善。當然，位置準確度是由應用的需求促動的。在用來解說優選實施例的NASCAR例子中，由WAAS提供的二量表準確性一般是可接受的。此外，許多“事件”可在室內舉辦，并可使用本文描述的相同消息增強技術。這種室內定位系統包括IME0、W1-Ri (Skyhook)、蜂窩ID、偽衛星、轉發器、RSS或任何電磁信號(例如TV)以及其它已知或已研發的技術。
[0026]術語“地理參照的”表示固定于具體位置或對象的消息。因此，消息可被固定于轄地位置，例如賽道防護欄，或固定于移動的參與者，例如移動賽車。一對象典型地使用任一定位技術(例如GPS)實現地理參照，但也可使用機器視覺來實現地理參照。如果使用機器視覺，應用可以是“無標志的”或使用“標志”，有時被稱為“參考點(fiducial)”。基于標志的加強現實經常使用具有高對比度的正方形標志。在這種情形下，正方形的四個角是使用正方形標志通過機器視覺檢測到的，并使用這種信息來計算三維相機信息。也可使用其它可檢測的源，例如嵌入的LED或特殊包層或QR代碼。將AR運用于易被檢測到的標志是有利的，因為識別和跟蹤相對準確，即便實時執行也如此。因此，在AR消息在背景環境中精確配準是重要的場合下，基于標志的系統可能是有利的。
[0027]在“無標志”系統中，AR使用一般性質圖像而不是參考點。一般來說，無標志AR使用特征點匹配方法。特征點匹配指搜索并連接兩個不同圖像中的相同特征點的操作。已提出一種方法，該方法用于使用實時跟蹤相機的三維位置信息以及特征點的三維位置信息的同時定位和映射構建(SLAM)/并行跟蹤和映射(PTAM)算法來提取一平面并使用該平面提供AR。然而，由于SLAM/PTAM算法獲取圖像以搜索特征點、計算相機的三維位置和特征點的三維位置并基于該信息提供AR，因此需要大量的計算。也可使用混合系統，其中容易識別的標記或商標是地理參照的并且機器視覺替代AR消息。
[0028]在本申請中，事件的轄地可以是真實環境或虛擬環境，或兩者的混合，有時被稱為“混合的現實”。理解本發明的消息的一種適宜方式是將其理解為覆蓋在環境之上的一人工現實或“經加強現實”層。如本領域內技術人員理解的那樣，有不同的方法創建這種環境。例如，可通過一定數量的渲染引擎創建人工背景環境，有時也被稱為“虛擬”環境。參見例如諾基亞(通過其Navteq附屬機構)旅行圖，它將真實環境的數字圖像與人工3D渲染混合。真實環境是使用數字圖像最容易創建的。這種數字圖像可被存儲和檢索以供使用，例如“街景”或其它類型的存儲圖像。替代地，許多移動設備具有相機，用于捕獲可用作背景環境的數字圖像。該相機來源的數字圖像可來自用戶、好友、公眾來源或者所提供的服務。由于真實環境作為背景的使用是常見的，因此“經加強現實”(AR)經常指將虛擬現實圖形(對象)插入實際數字圖像并產生真實對象和虛擬對象被混合的圖像(即“混合現實”)的技術。AR的特征在于，使用虛擬圖形的補充信息可被分層并被提供到真實世界獲取的圖像上。可將真實和虛擬現實的多個層混合。在這些應用中，對象的布置或與其它層的“配準”是重要的。也就是說，各對象基于定位系統相對于彼此的位置應當足夠靠近以支持應用。本文中使用的“人工現實”有時與“混合的”或“加強的”現實可互換地使用，要理解背景環境可以是真實的或虛擬的。
[0029]轉向附圖，解說性實施例使用伴隨觀眾至事件現場的移動設備，例如圖9的智能電話10。在解說的實施例中，事件是NASCAR賽車。觀眾選擇觸敏圖形顯示器102上的AR應用106。智能電話10包括多個傳感器，包括用于確定其位置的GPS單元、用于確定方位的加速度計、陀螺儀、環境光傳感器和數字式羅盤。另外，電話10包括一個或多個無線電，例如分組無線電、蜂窩無線電、WiF1、藍牙和近場。
[0030]圖8示出NASCAR賽事例子的典型網絡40。每個參與者(車41)配備有例如GPS的定位機構，該定位機構通過無線電向連接至服務器44的無線電42進行發送。GPS衍生的位置可在需要時被校正并提高準確性，例如當前Fl賽事做的那樣。參與者位置通過無線電46被發送至觀眾48。也就是說，每個參與者48具有用于接收所發送的參與者位置的智能電話10。當然，服務器44也可經由互聯網鏈接49將觀眾位置信息發送至遠程或家庭用戶。這類家庭觀眾可在需要時在觀看NASCAR賽事的TV廣播的同時在他們的TV上調出一子屏幕(PIP)以提升他們的TV觀看體驗，或在家用計算機或其它設備上觀看事件。
[0031 ] 移動設備
[0032]更詳細地，圖9是智能電話10的前視圖，它是本文討論的NASCAR賽事應用中設備的優選形態因數，以示出本發明的某些方面。移動設備10可以是例如手持計算機、便箋式計算機、個人數字助理、蜂窩電話、網絡設施、相機、智能電話、改進的通用分組無線服務(EGPRS)移動電話、網絡基站、媒體播放器、導航設備、電子郵件設備、游戲控制臺或其它電子設備、或這些數據處理設備的任何兩個或更多個的組合或者其它數據處理。
[0033]移動設備10包括觸敏圖形顯示器102。觸敏顯示器102可采用液晶顯示(IXD)技術、發光聚合物顯示(LPD)技術或一些其它的顯示技術。觸敏顯示器102可對用戶的觸覺接觸和/或觸摸接觸敏感。
[0034]觸敏圖形顯示器102可包括多個觸敏顯示器。多重觸敏顯示器102例如能夠處理多個同時的接觸點，包括處理與每個接觸點的壓力、程度和/或位置關聯的數據。這種處理利于與多個指、弦(chording)的姿態和交互以及其它交互。也可使用其它觸敏顯示技術，例如使用指示筆或其它定點設備作出接觸的顯示器。多觸敏顯示技術的一個例子記載在美國專利 N0.6，323，846,6, 570，557,6, 677，932 和美國專利申請公布 N0.2002/0015024 中，這些文獻中的每一篇全篇地援引包含于此作為參考。觸摸屏102和觸摸屏控制器可例如使用多種觸敏技術中的任何一種檢測其接觸和移動或停頓，包括但不限于電容、電阻、紅外和表面聲波技術以及其它接近式傳感器陣列或其它用于確定與觸摸屏顯示器102的一個或多個接觸點的其它元件。
[0035]移動設備10可在觸敏顯示器102上顯示一個或多個圖形用戶界面，以提供對多個系統對象的用戶訪問并將信息傳達給用戶。圖形用戶界面可包括一個或多個顯示對象104、106。顯示對象104、106中的每一個可以是系統對象的圖形表征。系統對象的一些例子包括設備功能、應用、視窗、文件、警報、事件或其它可識別的系統對象。
[0036]移動設備10可實現多種設備功能，例如由電話對象指示的電話設備；由電子郵件對象指示的電子郵件設備；SWeb對象指示的網絡數據通信設備；WiFi基站設備(未示出)以及由媒體播放機對象指示的媒體處理設備。為方便起見，例如電話對象、電子郵件對象、Web對象和媒體播放機對象的設備對象可被顯示在菜單條118中。
[0037]設備功能中的每一個可從頂層圖形用戶界面訪問，例如圖9所示的圖形用戶界面。觸摸對象104、106中的一個可例如調用相應的功能。在圖示實施例中，對象106表示根據本發明的人工現實應用。
[0038]一旦調用了特定的設備功能，移動設備10的圖形用戶界面改變，或擴增或取代以另一用戶界面或用戶界面要素，以利于用戶訪問與相應設備功能相關聯的特定功能。例如，響應用戶接觸電話對象，觸摸顯示器102的圖形用戶界面可呈現與各種電話功能關聯的顯示對象；類似地，觸摸電子郵件對象可使圖形用戶界面呈現與各種電子郵件功能關聯的顯示對象；觸摸Web對象可使圖形用戶界面呈現與各種Web沖浪功能關聯的顯示對象；而觸摸媒體播放器對象可使圖形用戶界面呈現與各種媒體處理功能關聯的顯示對象。
[0039]圖9的頂層圖形用戶界面環境或狀態可通過按下位于移動設備10底部附近的按鈕120來恢復。每個對應的設備功能可具有顯示在觸敏顯示器102上的相應“主頁”顯示對象，并且圖9的圖形用戶界面環境可通過按下“主頁”顯示對象而恢復。
[0040]頂層圖形用戶界面示出于圖9并可包括附加的顯示對象，例如短消息服務(SMS)對象、日歷對象、照片對象、相機對象、計算器對象、股票對象、天氣對象、地圖對象、記事本對象、時鐘對象、地址簿對象、設置對象以及AR對象106。觸摸SMS顯示對象可例如調用SMS發消息環境和支持的功能。同樣，顯示對象的每個選擇可調用對應的對象環境和功能。
[0041]移動設備10可包括一個或多個輸入/輸出(I/O)設備和/或傳感器設備。例如，可包括揚聲器122和麥克風124以利于語音啟用的功能,例如電話和語音郵件功能。在一些實現中，可包括揚聲器122以利于免提語音功能，例如揚聲器電話功能。也可包括音頻插孔以使用耳機和/或麥克風。
[0042]可包括接近傳感器(未示出)以利于檢測將移動設備定位在用戶耳朵附近的用戶，并且作為響應，切斷觸敏顯示器102以防止偶然的功能調用。在一些實現中，當移動設備10位于用戶耳朵附近時，觸敏顯示器102可被切斷以節省額外電力。
[0043]還可使用其他傳感器。例如，可利用環境光傳感器(未示出)以利于調整觸敏顯示器102的亮度。可利用加速度計(未示出)以檢測移動設備10的運動，如方向箭頭表示的那樣。因此，可根據檢測到的取向(例如豎向或橫向)呈現顯示對象和/或媒體。
[0044]移動設備10可包括支持位置確定功能的電路和傳感器，例如由全球定位系統(GPS)或其它定位系統(例如小區ID、使用WiFi接入點的系統、電視型號、蜂窩網格、統一資源定位器(URL))提供的。定位系統(例如GPS接收機)可被整合到移動設備10中或作為能通過接口(例如端口設備132)耦合至移動設備10的獨立設備提供，以提供對基于位置的服務的訪問。
[0045]移動設備10也可包括相機鏡頭和傳感器140。在一些實現中，另一相機鏡頭和傳感器可位于移動設備10的后表面之上。相機可捕捉靜止圖像和/或視頻。相機子系統和光學傳感器140可包括例如電荷耦合器件(CCD)或互補金屬氧化物半導體(CMOS)光傳感器，可被利用以利于相機功能，例如記錄照片和視頻剪輯。
[0046]優選的移動設備10包括GPS定位系統。在這種配置中，可通過耦合至移動設備10的單獨設備來提供另一定位系統，或者將該定位系統設置在移動設備的內部。該定位系統可利用定位技術，例如GPS、蜂窩網格、URL、ΜΕ0、偽衛星(pseudolites)、轉發器、WiFi或用于確定設備的地理位置的任何其它技術。定位系統可利用由定位服務提供的服務，例如來自馬薩諸塞州波士頓的SkyHook Wireless或加利福尼亞州的芒廷維尤的Rosum公司的W1-Fi RSS系統。在其它實現中，可使用從已知(例如通過GPS確定的)位置的航位推測技術通過加速度計和羅盤提供定位系統。在這些實現中，用戶可通過在已知位置(例如陸標或十字路口)標志移動設備的出現而不時地重置定位系統。在另一實現中，用戶可輸入移動設備的一組位置坐標(例如維度、經度)。例如，可將位置坐標鍵入到電話(例如使用虛鍵盤)中或通過觸摸地圖上的一個點進行選擇。位置坐標也可通過與其它設備的同步或聯系而從另一設備(例如車載導航系統)獲得。在其它實現中，可通過使用已知無線信號源(W1-F1、TV、FM)的無線信號強度和一個或多個位置提供定位系統以提供當前位置。無線信號源可包括接入點和/或蜂窩塔。可使用確定移動設備10的當前位置的其它技術，并且定位系統的其它配置是可行的。
[0047]除近場通信外，移動設備10也包括一個或多個無線通信子系統，例如802.llb/g/η通信設備和/或Bluetooth? (藍牙?)通信設備。也可支持其它通信協議，包括其它802.X通信協議(例如WiMax、W1-Fi)、碼分多址(CDMA)、全球移動通信系統(GSM)、增強數據GSM環境(EDGE)、3G (例如EV-DO、UMTS、HSDPA)等。附加的傳感器被并入到設備10中，例如加速度計、數字羅盤和陀螺儀。此外，外設傳感器、設備和子系統可被耦合至外設接口 132以利于多個功能。例如，運動傳感器、光傳感器以及接近傳感器可被耦合至外設接口 132以利于參照圖9描述的取向、照明和接近功能。也可將其它傳感器連接至外設接口 132，例如GPS接收機、溫度傳感器、生物測定傳感器或其它感測設備，以利于相關的功能。
[0048]端口設備132例如是通用串行總線(USB)端口或入塢端口或一些其它的布線端口連接。可例如利用端口設備132來建立與其它計算設備的有線連接，例如其它通信設備10、個人計算機、打印機或能夠接收和/或發送數據的其它處理設備。在一些實現中，端口設備132允許移動設備10使用一種或多種協議與主機設備同步。
[0049]輸入/輸出和操作按鈕示出在132-136以控制設備10的操作，作為觸敏屏幕102的附加或取代。移動設備10可包括與一個或多個數據處理器、圖像處理器和/或中央處理單元的存儲器接口，以及外設接口。存儲器接口、一個或多個處理器和/或外設接口可以是分開的組件，或可以被整合到一個或多個集成電路中。移動設備10的各個組件可通過一個或多個通信總線或信號線耦合。
[0050]優選地，移動設備包括耦合至CPU的圖形處理單元(GPU)。盡管NvidiaGeForceGPU至少部分地由于CUDA的可用性是優選的，然而任何與OpenGL兼容的GPU是可接受的。可從Kronos獲得的工具允許3D模型的快速研發。
[0051]I/O設備可包括觸摸屏控制器和/或其它輸入控制器。觸摸屏控制器可耦合至觸摸屏102。其它輸入控制器可耦合至其它輸入/控制設備132-136，例如一個或多個按鈕、搖臂開關、指輪、紅外端口、USB端口和/或諸如指示筆的定點設備。一個或多個按鈕(132-136)可包括上/下按鈕，用于揚聲器122和/或麥克風124的音量控制。[0052]在一種實現中，將按鈕136按下達第一持續時間可解除觸摸屏102的鎖定；而將按鈕按下達比第一持續時間更長的第二持續時間可使移動設備10通電或斷電。用戶能夠定制一個或多個按鈕的功能。觸摸屏102也可例如用來實現虛擬或軟按鈕和/或鍵盤。
[0053]在一些實現中，移動設備10可放映錄制的音頻和/或視頻文件，例如MP3、AAC和MPEG文件。在一些實現中，移動設備10可包括MP3播放器的功能，例如iPod?。移動設備10因此可包括與iPod兼容的36引腳連接器。也可使用其它輸入/輸出和控制設備。
[0054]存儲器接口可耦合至存儲器。存儲器可包括高速隨機存取存儲器和/或非易失性存儲器，例如一個或多個磁盤存儲設備、一個或多個光學存儲設備和/或閃存(例如NAND、N0R)。存儲器可存儲諸如Darwin、RTXC, LINUX、UNIX、OS X、WINDOWS之類的操作系統或諸如VxWorks的嵌入式操作系統。操作系統可包括用于處理基本系統服務和執行硬件依存任務的指令。在一些實現中，操作系統處理計時任務，包括維持移動設備10上的日期和時間(例如時鐘)。在一些實現中，操作系統可以是內核(例如UNIX核)。
[0055]存儲器也可存儲通信指令以利于與一個或多個附加設備、一個或多個計算機和/或一個或多個服務器通信。存儲器可包括:圖形用戶接口指令，以利于圖形用戶界面處理；傳感器處理指令，以利于傳感器關聯的處理和功能；電話指令，以利于電話關聯的處理和功能；電子消息指令，以利于電子消息關聯的處理和功能；web瀏覽指令，以利于web瀏覽關聯的處理和功能；媒體處理指令，以利于媒體處理關聯的處理和功能；GPS/導航指令，以利于GPS和導航關聯的處理和指令；相機指令，以利于相機關聯的處理和功能；其它軟件指令，以利于其它關聯的處理和功能；和/或診斷指令，以利于診斷處理和功能。存儲器也可存儲數據，包括但不限于文檔、圖像、視頻文件、音頻文件以及其它數據。
[0056]網絡操作環境
[0057]在圖8中，示出網絡40的描述。車輛41優選地使用擴頻無線電(經加密或安保，如有必要)與無線電基站42通信。例如通過科羅拉多州的Boulder的Freewave技術作出的無線擴頻通信是一種優選的選擇(例如900MHz板級模塊或S0C)。服務器44存儲與基站42通信的每輛車41的位置數據以及諸如車輛傳感器數據等的其它相關數據。理想地，服務器44也可數字地存儲感興趣的語音通信(例如駕駛員的聲紋(pit))和可能感興趣的各個場景的視頻剪輯。當然，服務器44也可存儲廣告消息，以傳遞至觀眾。服務器44也可用于驗證圖形設備10并允許來自觀眾的可選擇購買(即點心或紀念品用于傳遞)。服務器44也可處理進入的位置數據以增加準確性——如果需要的話。例如，服務器44可包括其本身的基站GPS并對參與者的位置施加校正——如果需要的話。在一些場合中，參與者可將位置信息直接廣播至觀眾，例如不經由中介的服務器。無線電46被用來在廣播的基礎上向出席的全部觀眾48傳達——在這里使用WiFi——車輛41的GPS定位信息(或車輛對象，根據需要被加密或確保保全)。在觀眾48手中的設備10處理該位置信息以渲染例如圖1-7中所示的視圖。盡管無線電46優選地使用WiFi (802.1lb/g/n)來傳輸，然而諸如LTE或長期演進4G蜂窩網絡具有超越WiFi的下載速度(例如12mbps)并可成為可接受的替代品。例如，WiMax(Sprint〉IOmbps)、LTE(Verizon40 - 50mbps) (AT&T 未知)和 HSPA+ (T mobile21 mbps) (AT&T 16 mbps)表現出可接受的4G網絡速度。在許多情形下,通過高性能4G蜂窩網絡，可省去圖8的地方服務器44和網絡并使用4G網絡。
[0058]來自觀眾48的特殊請求可對服務器44作出，例如特定車輛41的特定場景的流送視頻或音頻、點心訂單、紀念品購買等。這個功能示出于圖8中的50、52。
[0059]一些觀眾48可能遠離于體育賽事。在這種情形下，服務器44可在因特網連接49上將所需信息發送至遠離賽事的家用計算機或電視機。盡管已在觀眾親自出席具有由無線電廣播的信息的體育賽事的背景下描述了一個實施例，然而在遠程位置使用圖形設備10一樣是可行的。在更適用于遠程位置的另一實施例中，例如可在TV上觀看體育賽事的同時在家使用便攜式設備10，其中參與者位置和其它信息在因特網上流送。家中的WiFi是在便攜式設備和網絡之間廣播信息的優選模式。
[0060]相信在家使用圖形設備10并同時在TV上觀看同樣的體育賽事是在遠程位置使用的一個優選實施例。然而，體育賽事觀看的遠程位置的其它例子可能不伴隨有觀看電視。也就是說，圖1 一 7的視圖可使用任何圖形設備完成，包括個人計算機、平板計算機或蜂窩電話。與使用耦合于因特網的圖形設備10相似，個人計算機用戶可選擇所需視圖的來源或起源位置以及來自源或目標的對象或取向。可由遠程用戶根據需要選擇正視、縮放、平移、傾斜等以改變起點視角或尺寸。
[0061]例如，在“我的視圖中”，遠程位置圖形設備可僅將信息顯示給最接近第三彎道(turn)的車輛的第三彎道觀眾。替代地，遠程位置觀眾可能想要通過可選擇的視圖(高處、轉圈、站立、頭部、駕駛員的視圖)連續地跟隨一特定車輛，例如跟隨8號車(或特別是高爾夫球手等)。在這些模式的任何一種中，遠程位置觀眾可如前所述地縮放、平移或傾斜、暫停、慢移、回放等以在圖形設備上獲得選定的場景。
[0062]盡管優選實施例構思絕大多數處理發生在設備10，然而不同量的位置數據的預處理可在服務器44處被處理。例如，參與者信息可在服務器(例如除了 WAAS或局域差分校正)或在設備10差別地進行校正，或甚至通過載波相位差分后處理(post-process)的信息以獲得厘米精確性。此外，預期多數圖形渲染可在便攜式設備10處完成，但工程設計選擇將會是在廣播之前在服務器44處預處理一些位置和渲染信息。具體地說，許多智能電話和手持計算機包括GPU，它允許相片般真實的渲染并使研發者對諸如OpenGL和CUDA的先進研發工具具有訪問權。
[0063]圖9的移動設備10優選地陪伴出席賽事的圖8的一些觀眾48。設備10在與服務器44數據通信中在一個或多個有線和/或無線網絡46上通信。另外，設備可與例如蜂窩網絡的無線網絡通信，或通過使用網關與諸如因特網的廣域網(WAN)通信。同樣，與無線電46關聯的接入點，例如802.llb/g/n無線接入點，可提供對廣域網的通信訪問。
[0064]語音通信和數據通信兩者可在圖8的無線網絡和接入點46上建立，或通過使用蜂窩網絡建立。例如，移動設備10能在無線網絡、網關和廣域網上(例如使用TCP/IP或UDP協議)撥出和接收電話呼叫(例如使用VoIP協議)，發送和接受電子郵件消息(例如使用POP3協議)，并檢索電子文檔和/或流，例如web頁、照片和視頻。同樣，移動設備10能在接入點46和廣域網之上下達和接收電話呼叫、發送和接收電子郵件消息并檢索電子文檔。在一些實現中，移動設備10可使用一個或多個電纜物理地連接至接入點46，并且接入點218可以是個人計算機。在這種配置中，移動設備10可被稱為“鏈系(tethered)”設備。
[0065]移動設備10也可通過其它手段建立通信。例如，無線設備10可在無線網絡上與例如其它無線設備10的其它無線設備、蜂窩電話等通信。同樣，移動設備10可使用一個或多個通信子系統(例如Bluetooth?通信設備)建立對等通信，例如個域網。也可采用其它通信協議和拓樸結構。
[0066]在NASCAR例子中，使用虛擬環境作為背景相信是優選的。在其它賽事中，使用真實環境是優選的，例如使用數字圖像。因此，服務器44優選地使用0T0Y、Gaikai或OnLive視頻壓縮技術以向參與者位置信息發送虛擬背景環境以及AR對象(例如每輛車54)。OTOY (以及Gaikai和OnLive)是基于云的游戲和應用銷售者，它能將實時照片般真實的游戲發送給遠程游戲人員。提供照片般真實的3D游戲以供實時遠程試玩的這些公司是Otoy例如參見 www.0toy.com、OnLive 例如參見 en.wikipedia.0rg/wiki/OnLive 以及 Gaikai例如參見 technabob.com/blog/2010/03/16/gaika1-cloud-based-gamingo 例如，Onlive登廣告說，通過5mbps，它能以12-17ms的等待時間傳遞220幀/秒并采用先進的圖形——ajax、flash、Java、ActiveX。
[0067]目的是硬件和軟件不可知的高性能游戲系統。也就是說，目的是執行在遠程服務器上并與遠程用戶通信的高強度游戲處理。使用這種基于云的游戲技術，智能電話10能運行任一高級瀏覽器(例如IE9或Chrome)，這些先進瀏覽器運行支持3D圖形的HTML5。然而，可替代地使用其它AR特定瀏覽器,例如可從Layar、Junaio、Wikitude、Sekai相機或Mixare (www.mixare.0rg)獲得的。盡管0Τ0Υ (以及Gaikai和OnLive)在其游戲環境中指望有不可辨的等待時間，然而圖7的賽車賽事的服務器44優選地被設置在賽事的轄地。
[0068]因此，相對于設備10發生在服務器44的處理量是基于賽事、背景、可用的無線電網絡、設備處可用的計算和顯示能力或其它因素的設計選擇。
[0069]圖1示出當車輛54正橫著對于觀眾選擇的位置時觀眾48在設備10上看到的立體圖。在許多情形下，觀眾選擇“我的位置”以觀看體育賽事。在這種情形下，設備10中的GPS使用其位置作為觀眾立體視圖的原點。替代地，觀眾可選擇一不同位置作為視圖的原點，例如高處或終點線。在圖1中，賽道防護欄60包括廣告消息62。消息62以賽道防護欄位置作為地理參照。車輛54也包括在移動車輛54的側部作地理參照的消息64。
[0070]圖2是車輛54從圖1所示相同位置的視圖。然而在圖2中，車輛54沿賽車賽道行進并且防護欄60上的另一消息66和車輛54上的消息64不容易辨認。圖3類似于圖2。視圖原點是相同的——觀眾48的位置尚未改變。然而，消息68現在是圖2的消息66的增強版本，且類似地，消息65是消息64的增強形式。在圖3中，消息68具有改變的透視圖以使消息對作為視圖原點的觀眾位置更為可辨。
[0071]圖4示出在觀眾選擇的視圖原點附近的車輛70的立體圖。車輛70包括在其車蓬上的廣告消息72。圖5類似于圖4，除了廣告消息74被增強外。也就是說，字母數字字符的字體和尺寸被改變并且字型被放大和定向以便觀眾48觀察。另外，圖5示出賽車車道上的廣告76的實際布置。這種廣告76可地理參照于某個賽道位置，或者它能在賽車中跟隨賽道上移動的車輛70。
[0072]圖6是高爾夫賽事的背景下的另一例子。在這種情形下，比賽者80向草坪82發射并伴隨有他的高爾夫用具包84。注意，比賽者80可以是職業高爾夫球手并且觀眾正在觀看職業高爾夫循環賽的進行。然而，高爾夫球手80可以是用戶，并且用戶在以后的日子在家用計算設備上簡單地回放他的循環賽。
[0073]高爾夫球手80在他的襯衫背面包括廣告消息86。另外，廣告消息88被插入到包84上。廣告布置的替代方案是可能的，因此消息86使用GPS以比賽者80的位置為地理參照。也就是說，比賽者80在他的手腕上佩戴GPS單元90，并且廣告消息86被插入到就在GPS位置之上的AR層。同時，包使用諸如在包84上的LED的標志以進行正確的廣告消息88配準。
[0074]圖6也示出插入到AR層中的產品。在圖6中，車輛92被插入到AR層中的顯示器內.在車輛對象92中，廣告消息94被插入。該產品布置可發生在高爾夫球場上適宜的地理參照位置。
[0075]圖7示出又一類型的體育賽事，在這種情形下，下坡障礙滑雪賽場(downhillslalom course)具有邊界防護欄100和門標桿112。可以看到，滑雪者114正經過賽場。在圖7中，消息116、108被圖示為分別以防護欄100和門112為地理參照。消息116、108被插入，從視圖原點看具有可辨的立體圖，該視圖原點在附圖中從滑雪者114來看是下坡位置。滑雪者114上的廣告消息110優選地恰好配準在滑雪服上。在這種情形下，化學制具有嵌入在其頭盔(未示出)內的GPS，由此AR層中的滑雪者對象被圖示為橫越過賽場。滑雪者對象包括滑雪服上的消息110。
[0076]在圖7中，例如背景環境可以是由設備10中的相機攝取的真實環境。也就是說，觀眾48使用設備10攝取數字圖像，該數字圖像構成背景環境，并且滑雪者沿斜坡向下運動。AR層被插入到包含消息116、108、110的背景和滑雪者之上。AR標志(例如LED)被設置在滑雪服上以當滑雪者沿斜坡向下移動時更準確地將消息110與滑雪者114配準。如圖所示，消息110被增強，例如當滑雪者參與賽事時被重定向以更好地觀察。
[0077]如圖所示，消息可以被“增強”以更好地呈現給觀眾。這些增強包括消息的立體圖、使用的字體、字體尺寸以及字體和背景色以及對比度。此外，消息可被重定向以由觀眾更好地辨認。
[0078]另外，廣告消息的內容可基于背景而改變。該智能電話10不僅具有機器ID，也具有搜索歷史、位置歷史和甚至個人信息。此外，可基于社會媒體分享——例如Facebook或Twitter賬戶——來標識用戶。這種信息被認為是本申請中的“背景”，連同賽事的典型人口統計以及如前面討論過的“市場因素”。也就是說，賽事可具有其本身的背景，該背景指示在賽事中的大多數觀眾的人口統計概況。高爾夫比賽可具有高爾夫觀眾的背景，這些高爾夫觀眾具有充分的可處置收入以購買交通工具。因此，如圖6所示地刊登Buick廣告是行得通的。尤其是如果事件是音樂會或政治集會，則能更準確地假定背景。
[0079]圖形
[0080]產生在屏幕102上的圖形可以是2D圖形，例如幾何模型(也稱矢量圖形)或數字圖像(也稱光柵圖形)。在2D圖形中，可通過諸如平移、旋轉、縮放之類的二維幾何變換修正和操控這些組件。在面向對象的圖形中，圖形是通過用自渲染方法賦予的對象間接描述的，所述自渲染方法是通過任意算法將顏色分配給圖像像素的過程。在面向對象編程的范例中，復雜模型可通過組合較簡單的對象來構建。現代計算機圖形卡顯示器幾乎一邊倒地使用光柵技術，將屏幕分割成矩形的像素柵格，因為基于光柵的視頻硬件相比矢量圖形硬件具有相對低的成本。大多數圖形硬件具有對blitting (位塊傳輸)操作和子圖形繪制的內部支持。
[0081]然而，優選地，在屏幕102上產生的圖形是3D的。OpenGL和Direct3D是用于產生3D形式的實時映像的兩種流行API。實時意味著圖像產生以“實時”或“飛行中”方式發生。許多現代圖形卡基于這些API提供一些程度的硬件加速，這頻繁地以實時方式顯示復雜的3D圖形。然而，不需要采用這些API中的任何一個以實際地創建3D映像。圖形流水線技術正在急劇地發展，這主要是由實現更逼真的圖1 一 5的3D合成渲染的游戲應用促動的。
[0082]3D圖形已變得如此流行(尤其在計算機游戲中)，以至于專門的API (應用編程者接口)已被創建以使計算機圖形發生的所有階段中的處理變得簡單。這些API也已證實對計算機圖形硬件制造商來說是重要的，因為它們為編程者提供了一種以抽象方式訪問硬件的方式，同時仍然能夠享有這個或那個圖形卡的特殊硬件優勢。
[0083]3D計算機圖形的這些API是尤為流行的:
[0084]OpenGL 和 OpenGL 著色語言
[0085]對嵌入式設備的OpenGL ES3D API
[0086]Direct3D (DirectX 的子集)
[0087]RenderMan
[0088]Renderffare
[0089]Glide API
[0090]TruDimension LC Glasses 和 3D 監視器 API
[0091]OpenGL是廣泛使用的，并且許多工具可從諸如Kronos的公司獲得。
[0092]也存在更高層的3D場景圖形API，它們在較低層的渲染API的頂上提供額外的功能。在主動研發下的這些庫包括:
[0093]QSDK
[0094]Quesa
[0095]Java3D
[0096]JSR184(M3G)
[0097]Nvidia 場景圖
[0098]Open 場景圖
[0099]OpenSG
[0100]OGRE
[0101]Irrlicht
[0102]Hoops3D
[0103]照片般真實的圖像質量經常是合需的成果，并為此已研發出若干不同的、但通常是專門的渲染方法。這些方法從獨特地非逼真線框渲染至基于多邊形的渲染，直至更先進的技術，例如:掃描線渲染、射線跟蹤或輻射。渲染過程是計算昂貴的，假設物理過程的復雜變化被模擬。計算機處理能力隨年份迅速地增長，這允許逐漸更高程度的逼真渲染。制作計算機產生動畫的電影工作室利用渲染工場(render farm)以適時方式產生圖像。然而，下降的硬件成本意味著在小型處理器(例如在設備10中)上創建少量的3D動畫是完全有可能的。由游戲工作室驅動，諸如AT1、Nvidia、Creative Labs和Ageia的硬件制造商已研發出大量增加3D渲染能力的圖形加速器。可以預期,在未來,諸如Ageia Physx芯片或GeForce GPU的一種或多種圖形渲染芯片將在設備10處實現完全渲染。
[0104]盡管完全的3D照片般真實的渲染單單通過本文描述的設備10是困難的，但處理和渲染能力的進步將允許在未來更多地使用3D圖形。在一具體應用中，例如NASCAR，車輛對象和跟蹤對象(例如Taladega)可被事先渲染并存儲，這使照片般真實的3D圖形變得可能。然而，一種優選形式是在與設備10聯網的服務器44處使用基于云的游戲提供商，例如OTOY>OnLive 或 Gaikai。
[0105]盡管本發明已在轄地觀看“事件”的背景下進行了描述以便更好地理解，然而要理解“事件”不僅限于體育賽事并且可以是日常生活情形，例如在指定的地點或轄地會見朋友或者觀看或預覽一選定的轄地。此外，盡管其方法尤為適用于戶外體育賽事，這些方法也適用于任何事件，例如室內事件，比如音樂會、政治集會、混合集會(mash up)、群眾以及其它公眾和特別事件。因此，觀看“事件”和觀看“轄地”在本申請中應當被認為是可互換的。例如參見美國公告N0.2008/0259096(援引包含于此作為參照)。
【權利要求】
1.一種觀看在轄地的消息的方法，包括: 確定參與者在所述轄地的位置； 發送所述參與者的所述位置； 使觀眾配備具有圖形顯示器的計算機； 將所述參與者位置傳達給所述觀眾； 在所述圖形顯示器上以立體圖形式觀看所述參與者在轄地的位置；以及 將人工現實消息插入到所述轄地的立體圖中，其中所述消息表示被增強。
2.如權利要求1所述的方法，其特征在于，所述消息是被插入到所述立體圖中的產品。
3.如權利要求1所述的方法，其特征在于，當所述立體圖改變時增強所述消息。
4.如權利要求1所述的方法，其特征在于，所述增強的呈現是立體圖、取向、尺寸、背景、字體或照明的改變。
5.如權利要求1所述的方法，其特征在于，所述消息是通過基于背景改變所述消息的內容來增強的。
6.如權利要求5所述的方法，其特征在于，所述背景包括下面的一個或多個:可能觀看所述賽事的觀眾的人口統 計、所述觀眾的人口統計、社交媒體鏈接、計算機的機器ID、搜索歷史、位置歷史、個人信息、個人人口統計、日時、位置、天氣、忠實節目成員、媒體庫、用戶選項或好友和家人選項。
7.如權利要求1所述的方法，其特征在于，所述消息是以參與者為地理參照的，并且所述消息相對于所述觀眾位置的取向隨著所述參與者位置改變而改變。
8.如權利要求1所述的方法，其特征在于，所述消息以轄地的位置為基準并且所述消息是相對于觀眾的位置增強的。
9.一種將消息顯不給轄地的觀眾的系統,包括: 定位系統，用于動態地確定參與者在所述轄地的位置； 無線電網絡，用于在所述參與者的位置改變時發送所述參與者的位置； 服務器，其接收所述發送的參與者位置； 觀眾設備，其可工作以從所述服務器接收所述參與者位置； 所述觀眾設備具有圖形顯示器并可由觀眾運作以選擇在所述轄地附近的觀眾觀看位置，以從所述觀眾選擇的觀看位置以立體視角觀看所述轄地；以及 其中，地理參照的人工現實消息被插入到所述立體圖中并且所述消息被增強。
10.如權利要求9所述的系統，其特征在于，所述消息以在所述轄地的參與者為地理基準。
11.如權利要求9所述的系統，其特征在于，所述消息相對于在所述轄地的靜止位置為地理基準。
12.如權利要求9所述的系統，其特征在于，所述觀眾是出席所述轄地并且觀眾觀看位置是所述觀眾設備的GPS位置。
13.如權利要求9所述的系統，其特征在于，所述增強的視圖是背景、立體圖、取向、尺寸、字體或照明的改變。
14.如權利要求9所述的系統，其特征在于，所述增強的視圖是基于背景的消息內容選擇，至少包括到所述轄地觀看賽事的可能觀眾的人口統計。
15.如權利要求9所述的系統，其特征在于，所述消息的內容基于包括下面中的一個或多個的背景:可能觀看所述賽事的觀眾的人口統計、所述觀眾的人口統計、社交媒體鏈接、計算機的機器ID、搜索歷史、地點歷史、個人信息、個人人□統計、日時、位置、天氣、忠實節目成員、媒體庫、用戶選項或好友和家人選項。
16.如權利要求9所述的系統，其特征在于，所述立體圖的背景是所述轄地的虛擬現實描述。
17.如權利要求9所述的系統，其特征在于，所述立體圖的背景是用所述觀眾設備中的相機拍攝的轄地的數字照片。
【文檔編號】G08B1/08GK103597524SQ201280027122
【公開日】2014年2月19日 申請日期:2012年5月24日 優先權日:2011年6月3日
【發明者】查爾斯·D·休斯頓 申請人:查爾斯·D·休斯頓