微調用于投影到目標上的內容的制作方法

微調用于投影到目標上的內容的制作方法
【專利摘要】本發明提供用于在投影目標的界限內微調用于投影的內容的系統和方法。所述系統和方法基于所述投影目標的一或多個特性來微調所述用于投影的內容，所述一或多個特性包含形狀、輪廓和到所述投影目標的距離。此外，所述系統和方法基于所述一或多個特性指定無內容將被投影的空白區域，且所述空白區域將連同所述內容一起產生或以其它方式被投影，以使得所述內容被投影到所述投影目標上且所述空白區域被投影在所述投影目標外部，使得所述經投影的內容不明顯地溢出到在所述投影目標外部的表面或對象上。
【專利說明】
微調用于投影到目標上的內容
技術領域
[0001] 本文中所掲示的實施例大體上設及將投影配合到投影目標。具體來說，本文中所 掲示的實施例可在目標的界限內微調用于投影的內容。
【背景技術】
[0002] 個人、移動或微微投影儀可連同移動裝置一起使用W將圖像或內容從移動裝置投 影到目標對象上。經投影的圖像或內容可向用戶提供比當前在其移動裝置上可供使用的視 圖大的視圖或可允許用戶共享來自其移動裝置的圖像或內容。移動投影儀還可用于增強擴 增現實(AR)應用。AR為一項允許用戶改變其與世界互動的方式的新興技術。AR為物理、現實 世界環境的現場、直接或間接視圖，其中元素由計算機產生的傳感器輸入(例如，聲音、視 頻、圖形，或GPS數據)擴增。在一些使用中，AR由具有捕獲用戶周圍的環境的圖像且接著使 用對象辨識算法來辨識所捕獲的圖像中的對象W用于擴增的圖像捕獲裝置的裝置來實現。 可接著在裝置的顯示器上向所述用戶提供用戶周圍的環境的視圖，其中所述視圖的部分是 基于例如所辨識的對象而擴增。替代或除了將經擴增環境的視圖顯示在屏幕上之外，移動 投影儀還可允許辨識對象W及將內容投影到實際對象上。

【發明內容】

[0003] 與一些實施例一致，提供一種包含W下步驟的方法:確定投影目標;確定所述投影 目標的一或多個界限；基于所述所確定的一或多個界限確定內容區域和空白區域;確定縮 放因數;基于所述縮放因數在所述內容區域內產生用于投影的內容；W及產生所述空白區 域。所述方法也可在有形的非暫時性計算機可讀媒體中實施。
[0004] 與一些實施例一致，還提供一種設備，其包含經配置W基于投影目標的一或多個 投影參數投影內容區域和空白區域的投影儀。所述設備還包含:相機，其經配置W捕獲包含 所述投影目標的視野的一或多個圖像;一或多個處理器，其禪合到所述投影儀和所述相機， 所述一或多個處理器經配置W確定所述一或多個投影參數;和存儲器，其禪合到所述一或 多個處理器。
[0005] 與一些實施例一致，進一步提供一種包含用于確定投影目標的裝置的系統。所述 系統還包含用于確定所述投影目標的一或多個界限的裝置、用于基于所述所確定的一或多 個界限確定內容區域和空白區域的裝置，和用于確定縮放因數的裝置。所述系統進一步包 含用于基于所述縮放因數在所述內容區域內產生用于投影的內容的裝置和用于產生所述 空白區域的裝置。
【附圖說明】
[0006] 圖1為與一些實施例一致的說明處理系統的圖。
[0007] 圖2A到2D說明與一些實施例一致的微調內容W配合在目標對象上的區域的界限 內的實例。
[000引圖3A和3B說明與一些實施例一致的微調內容W配合在對象上的實例。
[0009] 圖4A和4B說明與一些實施例一致的微調內容W配合在對象的界限外部的實例。
[0010] 圖5A和5B說明與一些實施例一致的微調內容的實例。
[0011 ]圖6A和6B說明微調內容W配合在手的界限內的實例。
[0012] 圖7A到7的兌明與一些實施例一致的基于檢測到的手勢微調內容的實例。
[0013] 圖8A和8B說明與一些實施例一致的微調內容W配合在多個對象上的實例。
[0014] 圖9A和9B說明與一些實施例一致的微調內容W配合在對象的多個部分上的實例。
[0015] 圖IOA和IOB說明與一些實施例一致的微調具有多個圖像的內容W配合在多個對 象上的實例。
[0016] 圖11為與一些實施例一致的說明用于微調內容的方法的流程圖。
[0017] 圖12為與一些實施例一致的說明用于將經遮蔽的圖像投影在對象上的方法的流 程圖。
[0018] 圖13為與一些實施例一致的說明用于將經遮蔽的警示投影在目標上的方法的流 程圖。
[0019] 圖14為與一些實施例一致的說明用于基于檢測到的手勢將經遮蔽的內容投影在 目標上的方法的流程圖。
[0020] 在圖示中，具有相同名稱的元件具有相同的或相似的功能。
【具體實施方式】
[0021] 在W下描述中，闡述描述某些實施例的特定細節。然而，對于所屬領域的技術人員 將顯而易見的是，所掲示的實施例可在沒有運些特定細節中的一些或全部的情況下實踐。 所呈現的特定實施例意圖為說明性的而非限制性的。所屬領域的技術人員可認識到其它材 料(盡管本文中未具體描述)在本發明的范圍和精神內。
[0022] 如上文所指出，移動投影裝置可連同移動裝置一起使用W將圖像或內容從移動裝 置投影到目標對象上W向用戶提供比當前在其移動裝置上可供使用的的視圖大的視圖或 擴增目標對象W形成擴增現實。然而，存在投影對于用戶且甚至用戶附近的其它人可能不 便的的情形。舉例來說，公共空間中的投影對于其它人可能會分散注意力或可能使得其它 人能夠查看包含于投影中的私有內容。即使用戶嘗試指定用戶可僅能夠從其查看投影的投 影目標，但投影可能被按比例縮放地太小而使得用戶不能夠容易地查看投影或，在投影被 適當地按比例縮放的情況下，投影仍可能與目標重疊 W使得投影溢出到超出目標的區域 上。
[0023] 因此，所需的是用于微調經投影圖像內的內容W配合在特定目標的邊界內的系統 和方法。
[0024] 圖1為與一些實施例一致的說明處理系統100的圖。處理系統100可為移動裝置，例 如，智能電話、平板計算機、個人計算機、膝上型計算機或上網本、機頂盒(STB)(例如，由電 纜或衛星內容提供商提供的機頂盒），或視頻游戲系統控制臺處理系統100還可為頭戴式顯 示器(HMD)或其它可佩戴計算裝置。在一些實施例中，處理系統100在汽車中實施，例如在汽 車的娛樂中屯、或控制臺中實施，或包含在醫療裝置(例如，智能膜島素累或智能膜島素儀 表）中或在醫療裝置中實施。根據一些實施例，可使用經配置W捕獲圖像W及投影內容的硬 件和/或軟件的任何適當組合來實施處理系統100。具體來說，處理系統100可包含硬件和/ 或軟件的任何適當組合，所述硬件和/或軟件具有一或多個處理器，并且能夠讀取存儲在非 暫時性機器可讀媒體上的用于由所述一或多個用于捕獲圖像W及投影內容的處理器執行 的指令。機器可讀媒體的一些常見形式包含例如軟盤(floppy disk)、軟磁盤（flexible disk)、硬盤、磁帶、任何其它磁性媒體、CD-ROM、任何其它光學媒體、穿孔卡片、紙帶、具有孔 桐圖案的任何其它物理媒體、341、？1?01、6?1?01、化45護6?1?01、任何其它存儲器忍片或盒帶， 和/或一或多個處理器或計算機被調適成從其進行讀取的任何其它媒體。
[00巧]處理系統100可包含經配置W與網絡通信的網絡接口組件10 2。與一些實施例一 致，網絡接口組件102可經配置W與同軸電纜、光纖電纜、數字訂戶線(D化)調制解調器、公 共交換電話網絡(PSTN)調制解調器、W太網裝置和/或各種其它類型的有線網絡通信裝置 介接。網絡接口組件102還可包含一或多個無線收發器，其中每一無線收發器可包含天線， 所述天線為可分離的或一體的并且能夠根據不同的無線聯網協議(例如，Wi-Fi?、3G、4G、 HSDPA、LTE、RF、NFC)發射W及接收信息。
[00%]與一些實施例一致，處理系統100包含用于互連處理系統100內的各種組件且在所 述各種組件之間傳達信息的系統總線104。在一些實施例中，總線104在片上系統(SoC)中實 施并且連接一或多個處理器的忍片和/或核屯、上的各種元件或組件。組件可包含處理組件 106,處理組件106可為一或多個處理器、中央處理單元(CPU)、圖像信號處理器（ISP)、微控 制器、或數字信號處理器(DSP)、圖形處理單元(GPU)，W及音頻信號處理器，所述音頻信號 處理器可包含模擬和/或數字音頻信號處理器。組件還可包含存儲器組件108,其可對應于 隨機存取存儲器(RAM)、只讀存儲器(ROM)、光學存儲器、磁性存儲器、固態存儲器或例如上 文所描述的其它存儲器。
[0027] 與一些實施例一致，處理系統100還可包含用于向用戶顯示信息的顯示器組件 110。顯示器組件110可為液晶顯示化CD)屏幕、有機發光二極管(OLED)屏幕(包含主動矩陣 AM化抓屏幕）、LED屏幕、等離子顯示器，或陰極射線管(CRT)顯示器。顯示器組件110可與處 理系統100整合，或可與處理系統100分離并且禪合到處理系統100。處理系統100還可包含 輸入和導航組件112,其允許用戶輸入信息并且沿著顯示器組件110進行導航。輸入和導航 組件112可包含（例如)鍵盤或小鍵盤(不管是物理還是虛擬）、鼠標、跟蹤球、或其它此類裝 置，或電容性觸摸屏或另一基于傳感器的觸摸屏。
[00%]處理系統100還可包含捕獲與系統100和/或其環境相關聯的數據的傳感器114。傳 感器114可包含(但不限于)麥克風或音頻傳感器、相機、光傳感器、近程傳感器、環境光傳感 器、壓力傳感器、慣性傳感器(例如，加速度計和/或巧螺儀）、磁力計等等。傳感器114可個別 地或W組合(例如，傳感器陣列或任何其它組合)使用。傳感器114可能夠相互依賴地或彼此 獨立地操作。傳感器114可通過系統總線104與處理組件106通信，W便與存儲在(例如)存儲 器組件108和其它模塊中的指令一致地處理傳感器114所捕獲的數據，且產生或W其它方式 獲得與所捕獲的數據相關聯的元數據。
[00巧]處理系統100還可包含相機116。在一些實施例中，相機116可為可見光相機或深度 傳感相機，例如，Micro餅ft廢Xbox? Kinect?相機。相機116還可經配置W檢測紅外（IR)光 或紫外(UV)光。相機116還可為立體相機、飛行時間（ToF)相機，或能夠檢測捕獲圖像的其它 相機。在一些實施例中，相機116可經配置W捕獲相機116的視野內目標的一或多個圖像W 供處理。此外，相機116可用于捕獲圖像W供手勢檢測、跟蹤、對象辨識和其它目的。相機還 可能夠捕獲一系列圖像，例如視頻。
[0030] 處理系統100還可包含投影儀118。投影儀118可能夠投影光W形成一或多個圖像。 所述一或多個圖像可包含例如靜態或移動圖像等內容，其作為帖集合而投影。在一些實施 例中，投影儀118可更改所投影的光的放置，來給予所投影的圖像移動或動畫的外觀。投影 儀118可為數字光處理(DLP)投影儀、激光束-轉向化BS)投影儀、娃上液晶化CoS)投影儀或 另一投影儀。在一些實施例中，投影儀118還可為移動或便攜式投影儀。在一些實施例中，投 影儀118可為可佩戴投影儀。
[0031] 處理系統100還可能夠投影產生120、對象辨識122、跟蹤124、微調126和手勢檢測 128。運些功能可由一或多個軟件模塊執行，在經處理組件106執行時所述軟件模塊執行功 能。在其它實施例中，所述功能可指代軟件模塊，其包含專用集成電路(ASIC)或具有存儲器 和用于執行指令W執行所述功能的至少一個處理器的另一電路。在一些實施例中，投影產 生120可包含產生一或多個圖像W供通過投影儀118投影。所產生的一或多個圖像可為用于 投影到目標對象或區域上的內容。在一些實施例中，所述內容可為用于擴增目標對象或區 域的內容。所述內容還可為圖像或一系列圖像，例如視頻或動畫。在一些實施例中，投影的 內容可包含由二維(2D)或=維(3D)數據產生的內容的投影。所述內容還可為警示、消息、用 戶界面(UI)元素、社交聯網內容和其類似者。所述內容還可經微調W在預定分辨率下投影 到目標對象上，在一些實施例中，所述預定分辨率可為目標對象上顯示的最大分辨率。
[0032] 對象辨識122可包含對由相機116捕獲的圖像執行一或多個對象辨識算法。對象辨 識122中執行的對象辨識算法可能夠使用特征檢測、圖案辨識、外觀匹配、圖像匹配和其類 似者來辨識一或多個圖像帖中的目標。在一些實施例中，對象辨識122中辨識的對象可為用 于跟蹤124的對象、指定為投影的目標的對象和用于擴增的對象。在一些實施例中，對象辨 識122可包含自動將所辨識的對象辨識和指定為用于投影和/或擴增的目標。
[0033] 在一些實施例中，處理系統100的用戶可能夠通過選擇或W其它方式與視野內的 對象互動而將所述對象指定為用于投影的目標或用于擴增的對象，由于所述對象由例如顯 示器組件110顯示在處理系統100上。如果用戶選擇用于擴增的對象，那么對象辨識122可包 含嘗試辨識所選擇的對象且使用基于由第=方提供的信息的內容或通過與所述對象相關 的信息來擴增所辨識的對象。在一些實施例中，對象辨識122可包含使用網絡接口組件102 來與網絡通信，W執行對象辨識122且尋找與所述對象相關的內容。
[0034] 跟蹤124可包含與隨時間推移對象在目標區域內的位置相關聯。在一些實施例中， 跟蹤124可經配置W基于在一段時間內對象在目標區域中所確定的位置和取向而控制投 影，使得所投影的內容保持投影在一或多個指定目標對象上，即使在投影儀移動或目標對 象移動時也是如此。跟蹤124可基于由相機116所捕獲的圖像和在一些實施例中來自傳感器 114的信息來控制投影儀118的投影。在一些實施例中，跟蹤124可包含使用由相機116捕獲 的圖像和/或由傳感器114(例如，加速度計或巧螺儀)獲得的信息估計關于目標對象的位 姿、取向和深度信息。跟蹤124可進一步包含產生一或多個矩陣，其后來可用于投影產生120 中，從而控制投影儀118的投影，包含產生擴增現實內容。跟蹤124可包含基于來自相機116 的所捕獲圖像和/或來自傳感器114的信息縮放、旋轉和平移用于投影產生120的內容。跟蹤 124可包含基于所捕獲圖像和跟蹤內容確定六個自由度，從而基于所確定的六個自由度投 影。對于相機116是或包含深度感測相機的實施例，可處理一或多個圖像W產生視野的深度 圖。深度圖可用于用來跟蹤和控制投影的跟蹤124,包含維持投影的恰當焦點。
[0035] 微調126可包含執行一或多個動作W微調由投影產生所產生的和由投影裝置所投 影的內容，從而投影在目標對象的邊界內。一般來說，微調126可包含確定將具有內容的投 影區域，其可被稱為內容區域;和空白區域，其為將不具有內容的投影區域。在一些實施例 中，空白區域可為投影黑色或暗像素的區域。暗像素可包含黑色像素，但還可包含相較于所 投影的內容的平均強度或所投影的內容的邊緣的平均強度更暗的像素。在一些實施例中， 暗像素可包含具有在RGB色度上為80%或大于80%暗的顏色的像素。在一些實施例中，暗像 素可包含具有相對于由投影儀118所投影的光的顏色較暗的顏色的像素。在一些實施例中， 空白區域可為投影黑色或暗掃描線的區域。此外，在一些實施例中，暗像素可為無光由投影 儀118投影的區域。舉例來說，控制像素的鏡面、激光器或另一組件可關閉W在空白區域中 產生暗像素。
[0036] -般來說，微調126可包含基于目標對象的形狀或輪廓產生空白區域W遮蔽所投 影的圖像。舉例來說，微調126可包含確定目標對象的形狀;基于所確定的形狀形成空白區 域；W及遮蔽投影，W使得內容投影在所確定的形狀內且實質上無內容投影在所確定的形 狀外部，而暗像素投影在所確定的形狀外部。在一些實施例中，可通過根據由相機116捕獲 的目標對象的圖像確定目標對象的輪廓來確定形狀。在其它實施例中，可通過根據可能已 存儲于存儲器組件108中或從與系統100通信的另一裝置接收的目標對象的圖像確定目標 對象的輪廓來確定形狀。在一些實施例中，可將空白區域自動地設置成稍微大于或稍微小 于所確定的輪廓，例如大1像素或小1像素。在一些實施例中，可通過對象辨識122確定形狀， 其中將目標對象辨識為具有預定形狀和輪廓的已知形狀。在一些實施例中，出于將特定經 遮蔽的內容投影到目標對象上的目的，可由第S方(例如，制造商、零售商或內容提供商)設 置形狀并且因此設置空白區域。
[0037] 微調126還可包含基于到目標對象的距離縮放投影。如先前所描述，相機116可為 或包含可能夠形成深度圖的深度相機，所述深度圖可由跟蹤124使用W用于將投影維持在 預定位置處且在恰當焦點處。微調126還可使用深度圖W用于確定縮放因數，從而縮放投影 W在目標對象上具有所要大小或分辨率。另外，微調126可通過從深度圖中的背景中分割投 影目標來使用深度圖確定投影目標的形狀。在一些實施例中，微調126縮放投影W在目標對 象上具有例如最大分辨率等的分辨率，從而允許用戶在最大分辨率下查看投影。微調126可 進一步縮放投影W在內容區域內具有最大分辨率，即，使得所投影的內容并不明顯溢出到 空白區域中。因此，在一些實施例中，微調126可包含確定投影目標的形狀;基于所確定的形 狀確定內容區域和空白區域W供投影;確定到投影目標的距離；W及基于所確定的距離和 所確定的內容區域確定縮放因數。內容和空白區域中所確定的內容區域W及所確定的縮放 因數可接著由投影產生120使用W用于產生經微調的內容，從而在通過縮放因數確定的分 辨率下投影在投影目標的界限內。在一些實施例中，可基于用戶偏好或設置來調整縮放因 數。舉例來說，用戶可設置將由投影產生120使用的特定縮放因數W用于產生經微調的內 容，從而在通過設置的縮放因數所確定的預定分辨率下投影。
[0038] 在一些實施例中，對象辨識122、跟蹤124和微調126可W用于處理系統100中W用 于精煉由投影儀118所投影的內容。舉例來說，相機116可能夠捕獲由投影儀118所投影的內 容W及投影目標的一或多個圖像。可對所捕獲的一或多個圖像執行對象辨識122、跟蹤124 和微調126W確定所投影內容的縮放、所投影內容的焦點和所確定的內容區域和空白區域 的邊界，從而精煉所投影內容的運些特征。可將與經精煉的特征相關的信息提供到投影產 生120W使得具有運些經精煉的特征的內容可通過投影儀118投影。此精煉確定118可在與 所投影內容的帖率相關的預定速率下執行或可在可變速率下執行。舉例來說，處理系統100 可在每一精煉確定之后確定精煉的程度，并且，由于所述程度變小，因此可降低精煉的頻 率。作為另一實例，當對象辨識122和/或跟蹤124確定投影目標的大小或位置的明顯改變或 系統100的位置的明顯改變時，可提高精煉的頻率。
[0039] 手勢檢測128可包含通過處理由相機116和/或傳感器114所捕獲的一系列圖像或 其它信息，從而檢測由相機116和/或傳感器114所捕獲的統計數據的突然改變來檢測手勢。 所述統計值可為直方圖、平均照度、照度差異等，且手勢檢測128可包含比較當前統計值與 先前統計值，其中先前統計值可經計算為在緊接在來自傳感器114的當前經捕獲數據或來 自相機116的圖像之前的時間處所獲取的一組一或多個經捕獲數據的統計值的組合。在一 些實施例中，手勢檢測128可包含通過計算絕對差值、一組統計值中的每一者的絕對差總和 或直方圖的每一分組的絕對差總和來比較統計值，其結果可與闊值相比較W排除由環境照 明或裝置運動產生的差值。可將大于闊值的差值分類為指示手勢的統計值的突然改變。手 勢檢測128還可使用超聲波檢測隨時間推移的移動。
[0040] 在一些實施例中，手勢檢測128可包含檢測用于啟動投影儀118的投影的手勢。手 勢檢測128可包含檢測用于微調126待投影在目標對象的界限內的內容的手勢。在一些實施 例中，微調126待投影在目標對象的界限內的內容可實施為與系統100相關聯的私用模式的 一部分。手勢檢測128可檢測用于進入和離開私用模式的一或多個手勢。通過手勢檢測所檢 測到的實例手勢可包含覆蓋手勢，其可為在系統100上方的位置中所檢測到的手或另一控 制對象。可檢測到的另一手勢為張開的或握緊的手。另一手勢可為"投擲運動"，其中握緊的 手發生移動且接著張開。可檢測到的其它手勢可包含使手傾斜或從系統100上方將手去除。 所述手勢中的每一者皆可被檢測到且手勢檢測128可將特定命令與所檢測到的手勢中的每 一者相關聯。舉例來說，覆蓋手勢可啟動投影;張開的手可進入私用模式或W其它方式提供 用于微調126所投影內容的指示;且投擲運動可離開私用模式或W其它方式指示所投影內 容不再被限制于目標對象的邊界。運些手勢和其相關聯的動作僅為實例。實際上，手勢檢測 128可能夠基于經捕獲數據檢測手勢且將命令或動作與所檢測到的手勢相關聯。
[0041 ] 根據一些實施例，處理系統100可包含比圖1中所展示的組件多或少的組件。此外， 圖1中所展示的組件可直接禪合到圖1中的一或多個其它組件，從而消除對系統總線104的 需要。此外，圖1中所展示的組件可經展示為單式系統100的一部分，但還可為組件分離但禪 合且處于通信中的系統的一部分。一般來說，圖1中所展示的組件作為能夠執行本文中所掲 示的實施例的處理系統100中的組件的實例展示。然而，處理系統100可具有更多或更少的 組件并且仍然能夠執行本文中所掲示的一些實施例。
[0042]圖2A到2D說明與一些實施例一致的微調內容W配合在目標對象上的區域的界限 內的實例。出于說明的目的，圖2A到2D中僅展示處理系統100的一部分，但可參考圖1中所展 示的處理系統100的其它組件。如圖2A中所展示，目標對象200包含目標對象200上的區域 202。相機116可捕獲對象200和區域202的一或多個圖像，所述圖像可經處理W用于投影產 生120、對象辨識122、跟蹤124和微調126。在一些實施例中，可在圖像捕獲時將捕獲帖投影 到對象200上，例如掲示于同在申請中的2013年9月26日申請的美國申請案第14/038,480 號，高通(Qualcomm)參考文獻第131009號中，所述美國申請案和高通參考文獻的全部內容 W引用的方式全文并入本文中。
[0043] 對一或多個所捕獲圖像的對象辨識122可包含嘗試辨識對象200和/或區域202。在 一些實施例中，對象辨識122可包含基于所辨識的對象檢索和/或產生用于投影的內容。在 一些實施例中，對象辨識122還可包含基于與所辨識的對象相關聯的信息而將對象200上的 區域202指定為內容區域。舉例來說，對象200的制造商、零售商或生產者可在區域202中特 定地指定用于投影的內容，此可經由對象辨識確定。
[0044] 跟蹤124可包含確定關于對象200和區域202的位姿、位置、六個自由度(DOF)和其 它信息。在一些實施例中，相機116可為或包含可用于確定包含對象200的視野的深度圖（包 含到對象200的距離dl和到區域202的距離d2)的深度相機。深度圖W及距離dl和d2可用于 對對象200和區域202的跟蹤124;微調126和聚焦投影在對象200和/或區域202上的內容。
[0045] 在一些實施例中，可將對象200的一部分(例如，區域202)指定為內容區域。可由第 =方將區域202指定為內容區域，使得對象辨識122辨識對象200且確定包含例如先前所描 述的將區域202指定為內容區域的關于對象200的信息。在一些實施例中，系統100的用戶可 能夠手動地將對象200的一部分(例如，區域202)指定為內容區域。在一些實施例中，可通過 使用輸入和導航組件112選擇顯示在顯示器組件110上的區域來進行所述指定。微調126可 接著包含微調待投影的內容W在區域202的界限內。
[0046] 舉例來說，微調126可包含基于一或多個圖像確定區域202的形狀且基于所確定的 形狀和輪廓確定內容區域和空白區域，W使得內容可投影在所確定的形狀的界限內而無內 容投影在所確定的形狀的界限外部。在一些實施例中，確定形狀可包含根據對象200和區域 202的一或多個圖像確定區域202的輪廓。在一些實施例中，可基于對象辨識122確定形狀和 輪廓，其中目標對象經辨識為具有預定形狀和輪廓的已知形狀。微調126還可包含基于到對 象200的距離dl和到區域202的距離d2確定縮放因數。
[0047] 所確定的內容區域和空白區域W及所確定的縮放因數可接著由投影產生120使用 W用于產生經微調的內容，從而在通過縮放因數確定的分辨率下投影在區域202的界限內。 圖2B說明在區域202的界限外部的空白區域204。在一些實施例中，空白區域204可為虛擬遮 罩區域，其中黑色或暗像素投影到對象200上且環繞對象200投影在區域202的界限外部。在 一些實施例中，空白區域204可為在掃描投影期間投影的黑色或暗掃描線。在其它實施例 中，空白區域204可為投影儀經配置W通過例如關閉空白區域204中的像素而不投影任何像 素的區域。
[004引圖2抗兌明投影圖像206的投影儀118。與一些實施例一致，圖像206可具有經設計W 在通過縮放因數確定的分辨率下配合在區域202的界限內的尺寸。圖2D說明將圖像206投影 在對象200(其中空白區域204環繞區域202)的區域202上的投影儀118。出于說明的目的，假 定圖2D中的投影儀118投影具有與對象200相同的尺寸的區域。然而，如果投影儀118投影超 出對象200的界限的區域，那么空白204可填充區域202外部的區域的界限。在一些實施例 中，相機116可繼續捕獲包含所投影圖像206和空白區域204的一或多個圖像。跟蹤124可包 含基于由相機116捕獲的或W其它方式提供到系統100的對象200的圖像、所投影圖像206和 空白區域204來調整所投影圖像206和空白區域204。
[0049] 如圖2A到2D中所展示，用戶可能夠投影內容，例如預定區域(例如，區域202)內的 圖像206。舉例來說，想要查看大于系統100的顯示器組件110上可用的表面區域的表面區域 上的圖像206的用戶可能夠將圖像206投影到對象200上的區域202上W供查看。用戶可將區 域202指定為內容區域且微調126可能夠確定圖像206的區域和空白區域204W及縮放因數， 使得圖像206能夠在可為最大分辨率的預定分辨率下投影在區域202上，因此，允許用戶查 看較大區域202上的圖像206。此外，用戶將不必擔屯、所投影的圖像206延伸超出區域202的 界限或溢出到對象200后方或環繞對象200的表面上，由于微調126將那些區域確定為在目 標區域202外部并且因此產生無內容被投影的空白區域204。
[0050] 在一些實施例中，圖像206可為用于擴增對象200W形成擴增現實的圖像。舉例來 說，對象辨識122可辨識對象200且從對象200的制造商、零售商或生產者檢索圖像206。微調 126可確定空白區域204使得所檢索到的圖像206投影在對象200的區域202上。在一些實施 例中，空白區域204和圖像206的區域可連同圖像206-起被檢索到，使得所述區域由對象 200的制造商、零售商或生產者預定。
[0051] 圖3A和3B說明與一些實施例一致的微調內容W配合在對象上的實例。具體來說， 圖3A和3B中所展示的實例說明微調內容W配合在對象300的界限內的實例。如圖3A中所展 示，相機116可捕獲對象300的一或多個圖像。所述一或多個所捕獲圖像可接著用于投影產 生120、對象辨識122、跟蹤124和微調126。在一些實施例中，對象300的圖像可提供到系統 100或可能已存儲于系統100的存儲器組件108中。對象辨識122可確定用于投影到對象300 上的內容(例如，圖像302)。在一些實施例中，系統100的用戶可指定用于投影到對象300上 的圖像302。此外，對象辨識122可將對象300指定為內容區域。舉例來說，如果圖像302經設 計W顯示在平坦表面上，那么對象辨識122可嘗試確定最接近于系統100的平坦表面且將所 述表面指定為內容區域。作為另一實例，如果圖像302為用于投影的視頻中的許多圖像中的 一者，那么對象辨識122可嘗試確定適用于顯示所述視頻的表面。舉例來說，對象辨識122可 嘗試定位平坦、矩形表面和/或靜態表面W用于顯示視頻，且將視野內的此表面指定為內容 區域。
[0052] 微調126可確定對象300的形狀、對象300的形狀和/或輪廓、到對象的距離;且確定 空白區域304和內容區域W用于投影圖像302。如圖3B中所展示，投影儀118可將圖像302和 空白區域304投影到對象300上使得圖像302投影在對象300的界限內且空白區域304投影在 對象300的界限外部。在一些實施例中，空白區域304可對應于虛擬光遮罩，其包含經投影的 黑色或暗像素或已由投影儀118關閉的像素 W使得在那些像素處無內容通過投影儀118投 影。在一些實施例中，圖像302可為用于擴增對象300W形成擴增現實的圖像。在其它實施例 中，圖像302可為系統100的用戶想要投影在對象300上(例如，在對象300而不是在系統100 的顯示器組件上查看）的圖像或其它內容。
[0053] 圖4A和4B說明與一些實施例一致的微調內容W配合在對象402的界限外部的實 例。圖4A和4B中所說明的實例可指代"反向微調"，其中內容投影在對象402外部且對象402 通過將空白區域406投影在對象402上而經遮蔽。如圖4A中所展示，相機116可捕獲具有環繞 對象402的區域400的對象402的一或多個圖像。所述一或多個所捕獲圖像可接著用于投影 產生120、對象辨識122、跟蹤124和微調126。在一些實施例中，區域400和對象402的圖像可 由系統100接收或可存儲于存儲器組件108中。對象辨識122可確定用于投影到環繞對象402 的區域400上的內容（例如，圖像404)。在一些實施例中，系統100的用戶可指定用于投影到 環繞對象402的區域400上的圖像404。微調126可確定對象402的形狀、對象402的輪廓、到對 象402和區域400的距離;且確定空白區域406和內容區域W用于將圖像404投影到環繞對象 402的區域400上。如圖4B中所展示，投影儀118可將圖像404投影到區域400上且空白區域 406可產生在對象402上，使得圖像404投影在對象402的界限外部且空白區域406產生在對 象402上。
[0054] 例如展示于圖4A和4B中的產生空白區域406 W遮蔽對象402和環繞對象402投影例 如圖像404的內容可適用于環繞對象402投影關于對象402的信息而不會混淆對象402或投 影表現為與對象402相互作用的內容。舉例來說，圖像404可包含用于使用、操作或維持對象 402的指令且可環繞對象402投影，同時空白區域406遮蔽對象402W防止對象402由圖像404 遮擋。在另一實例中，圖像404可與對象402相互作用，例如參考對象402或展示對象402的語 音氣泡和其類似者，同時空白區域406遮蔽對象402W防止對象402由圖像404遮擋。
[0055] 圖5A和5B說明與一些實施例一致的微調內容的實例。具體來說，圖5A和5B中所展 示的實例說明微調內容W配合在對象502上的區域500的界限內的實例。如圖4A中所展示， 相機116可捕獲具有區域500的對象502的一或多個圖像。所述一或多個所捕獲圖像可接著 用于投影產生120、對象辨識122、跟蹤124和微調126。在一些實施例中，區域500和對象502 的圖像可由系統100接收或可存儲于存儲器組件108中。在一些實施例中，對象辨識122可確 定用于投影到對象502的區域500上的內容，例如圖像504。在一些實施例中，系統100的用戶 可指定用于投影到對象502的區域500上的圖像504。舉例來說，對象辨識122可將對象502辨 識為具有為空白空間的區域500,且將區域500指定為內容區域(圖像504可投影到其上）。或 者，對象辨識122可辨識對象502,且基于與對象502相關聯的預定指令而將區域500指定為 內容區域（圖像504可投影到其上）。舉例來說，圖像504可為與對象502相關聯的內容，例如 經定制W用于投影到區域500上的關于對象502的使用說明書或信息。
[0056] 微調126可接著確定區域500的形狀、區域500的輪廓、到對象502和區域500的距 離;且確定空白區域506。如圖5B中所展示，投影儀118可將圖像504投影到對象502的區域 500上且產生空白區域506使得圖像504僅投影在區域500上。
[0057] 在一些實施例中，圖5A和5B中所展示的實例可與圖4A和4B中所展示的實例組合使 得圖像可投影在對象502上且投影在對象502外部的區域上，使得對象502的一部分由空白 區域506遮蔽。舉例來說，如果用戶或AR內容提供商并不想要擴增對象502或僅想要擴增對 象502的一部分，但想要擴增環繞對象502的區域，那么圖像404和/或504可分別環繞對象 502投影和投影在對象502上。在一些實施例中，系統100可能夠投影多個圖像且產生在對象 上和環繞對象的多個空白區域，其中的每一者可通過跟蹤124分開地跟蹤。在一些實施例 中，多個圖像和空白區域可交替地通過投影儀118投影。
[0058] 圖6A和6B說明微調內容W配合在手600的界限內的實例。在一些實施例中，系統 100的處理組件106可產生一或多個警示、消息或其它內容。系統100的用戶可想要投影與所 產生的一或多個警示、消息或其它內容相關聯的內容，但可想要使所述內容保持私有。舉例 來說，如果系統100的用戶經由電子郵件、即時消息或短消息業務(SMS)接收包含個人信息 的消息，那么所述用戶可不想要所述個人信息被其它人查看。因此，用戶可想要微調待投影 到對象上的內容，從而允許用戶在合適的分辨率下投影內容而不會使投影的內容溢出到超 出對象的表面上。因此，如本文中所展示的實施例可允許用戶將內容投影到對象(例如，其 手)上，同時空白區域產生在對象外部W使投影的內容保持私有且對于在所述用戶周圍的 其它人為不可侵入的。
[0059] 如圖6A中所展示，相機116可捕獲手600的一或多個圖像。所述一或多個所捕獲圖 像可接著用于投影產生120、對象辨識122、跟蹤124和微調126。在一些實施例中，手600的圖 像可由系統100接收或可存儲于存儲器組件108中。微調126可確定手600的形狀、手600的輪 廓、到手600的距離;且確定空白區域和內容區域W用于投影到600上。如圖6B中所展示，投 影儀118可將消息602投影到手600上使得消息602投影在手600的界限內且空白區域604經 產生且在一些實施例中投影在手600的界限外部。因此，如圖6B中所展示的為個人消息602 的投影的內容將僅投影到手600上且消息602中的任何信息將不溢出到超出手600的表面 (其中其它人可查看個人消息602中的信息)上。
[0060] 圖7A到7D說明與一些實施例一致的基于檢測到的手勢微調內容的實例。如先前所 描述，手勢檢測128可包含通過處理由相機116和/或傳感器114所捕獲的一系列圖像或其它 信息，從而檢測由相機116和/或傳感器114所捕獲的統計數據的突然改變;或使用超聲波檢 測隨時間推移的移動來檢測手勢。所檢測到的手勢可接著使用例如包含于手勢檢測128中 或存儲于存儲器組件108中的手勢庫而與動作或命令相互關聯。
[0061] 如圖7A中所展示，系統100的用戶可處于具有第一對象700和第二對象702的區域 中。如所描繪，第一對象700可比第二對象702更接近于系統且比第二對象702小，但與本發 明一致的實施例可不W此為限。投影儀118可將圖像704投影到第二對象702上。在一些實施 例中，圖像704可為通過對象辨識122確定的由投影產生120產生的內容的一部分，且可投影 在通過跟蹤124確定的第二對象702上的位置處。當系統100的用戶想要將圖像704投影到第 一對象700上時，用戶可作出可由相機116和/或傳感器114檢測到且可由手勢檢測128處理 的手勢W將所述手勢與動作相互關聯，所述動作例如將圖像704投影到第一對象700上。所 檢測到的手勢可為例如握緊的手的手勢，指示封閉或私用模式。手勢檢測128可將此手勢與 用于投影到不同目標上或切換到私用模式的命令或指示切換投影目標的其它動作相互關 聯。
[0062] 如圖7B中所展示，相機116可捕獲可由微調126使用的第一對象700的圖像W確定 縮放因數從而縮放圖像704且確定內容區域和空白區域。如圖7C中所展示，縮放因數、所確 定的內容區域和空白區域可由投影產生120使用W在所確定的內容區域內在通過縮放因數 確定的分辨率下投影圖像704,產生空白區域706W遮蔽在內容區域外部的區域。在一些實 施例中，第一對象700可更接近于系統100的用戶，并且因此對于用戶查看圖像704可能更為 方便。第一對象700還可提供系統100的用戶更多的保密性，使得當將圖像704投影在對象 700上時在所述用戶周圍的其它人不能夠查看圖像704。
[0063] 在一些實施例中，還可基于對象辨識122將第一對象700確定為適用于將圖像704 投影到其上。舉例來說，響應于用于切換投影目標的手勢，對象辨識122可處理由相機116捕 獲的一或多個圖像W基于因數(例如，到系統100的距離、大小、尺寸等)尋找用于投影目標 的合適的對象。微調126可接著基于通過對象辨識122所辨識的第一對象700確定縮放因數、 內容區域和空白區域706。
[0064] 當系統100的用戶想要從第一對象700切換投影目標時，用戶可作出另一手勢。舉 例來說，用戶可作出指示公用或開放模式的張開其手的手勢或朝向第二對象702(或其它所 要目標對象)作出投擲運動。相機116和/或傳感器114可檢測可通過手勢檢測128與例如切 換投影目標的動作相互關聯的此手勢。如圖7D中所展示，投影儀118可接著再次將圖像704 投影在第二對象702上。在一些實施例中，可將圖像704投影到第二對象702上而無需微調 126,即無需空白區域或解除遮蔽，使得基于投影儀118的規范和第二對象702與投影儀118 之間的距離投影圖像704。在一些實施例中，微調126可基于包含第二對象702的一或多個圖 像確定縮放因數、內容區域和空白區域706。在一些實施例中，用于預先將圖像704投影到第 二對象702上的所確定的任何縮放因數、內容區域和空白區域可由投影產生120保存和檢索 W用于將圖像704投影到第二對象702上。
[0065] 圖8A和8B說明與一些實施例一致的微調內容W配合在多個對象上的實例。具體來 說，圖8A和8B中所展示的實例說明微調待顯示在第一對象800和第二對象802上的單個圖像 的實例。如圖8A中所展示，相機116可捕獲第一對象800和第二對象802的一或多個圖像。所 述一或多個所捕獲圖像可接著用于投影產生120、對象辨識122、跟蹤124和微調126。在一些 實施例中，第一對象800和第二對象802的圖像可提供到系統100或可能已存儲于系統100的 存儲器組件108中。對象辨識122可確定內容，例如具有用于分別投影到第一對象800和第二 對象802上的第一圖像部分804和第二圖像部分806的圖像。在一些實施例中，系統100的用 戶可指定用于投影到第一對象800和第二對象802上的圖像且甚至指定將哪一圖像部分顯 示在每一對象上。此外，對象辨識122可將第一對象800和第二對象802辨識和確定為分別為 第一圖像部分804的內容區域和第二圖像部分806的內容區域。舉例來說，如果由第一圖像 部分804和第二圖像部分806形成的圖像對于恰當顯示在第一對象800或第二對象802中的 僅一者上來說太大，那么對象辨識122可嘗試確定第一對象800或第二對象802的第二對象 且確定所述圖像更好地顯示為分別投影在第一對象800和第二對象802上的第一圖像部分 804和第二圖像部分806且將第一對象800和第二對象802的面或側部指定為內容區域。
[0066] 微調126可確定第一對象800和第二對象802的形狀、第一對象800和第二對象802 的形狀和/或輪廓、到第一對象800和第二對象802的距離;且確定空白區域808和內容區域 W用于投影第一圖像部分804和第二圖像部分806。如圖8B中所展示，投影儀118可將第一圖 像部分804投影在第一對象800上且將第二圖像部分806投影在第二對象802上。投影儀118 還可環繞第一對象800和第二對象802且在第一對象800與第二對象802之間投影空白區域 808,使得由第一圖像部分804和第二圖像部分806形成的圖像僅投影在第一對象800和第二 對象802上。在一些實施例中，空白區域808可對應于虛擬光遮罩，其包含經投影的黑色或暗 像素或已經被投影儀118關閉的像素，W使得在那些像素處無內容或光通過投影儀118投 影。
[0067] 圖9A和9B說明與一些實施例一致的微調內容W配合在對象的多個部分上的實例。 具體來說，圖9A和9B中所展示的實例說明微調待顯示在第一區域900和第二區域902上的單 個圖像的實例。如圖9A中所展示，相機116可捕獲第一區域900和第二區域902的一或多個圖 像。所述一或多個所捕獲圖像可接著用于投影產生120、對象辨識122、跟蹤124和微調126。 在一些實施例中，第一區域900和第二區域902的圖像可提供到系統100或可能已存儲于系 統100的存儲器組件108中。對象辨識122可確定內容，例如具有用于分別投影到第一區域 900和第二區域902上的第一圖像部分904和第二圖像部分906的圖像。在一些實施例中，系 統100的用戶可指定用于投影到第一區域900和第二區域902上的圖像且甚至指定將哪一圖 像部分顯示在每一區域上。此外，對象辨識122可辨識和確定具有第一區域900和第二區域 902的對象由多個區域組成且將第一區域900和第二區域902確定為分別為第一圖像部分 904的內容區域和第二圖像部分906的內容區域。
[0068] 微調126可確定第一區域900和第二區域902的形狀、第一區域900和第二區域902 的形狀和/或輪廓、到第一區域900和第二區域902的距離;且確定空白區域908和內容區域 W用于投影第一圖像部分904和第二圖像部分906。如圖9B中所展示，投影儀118可將第一圖 像部分904投影在第一區域900上且將第二圖像部分906投影在第二區域902上。投影儀118 還可環繞第一區域900和第二區域902投影空白區域908,使得由第一圖像部分904和第二圖 像部分906形成的圖像僅投影在第一區域900和第二區域902上。在一些實施例中，空白區域 908可對應于虛擬光遮罩，其包含經投影的黑色或暗像素或已經被投影儀118關閉的像素， W使得在那些像素處無內容或光通過投影儀118投影。
[0069] 圖IOA和IOB說明與一些實施例一致的微調具有多個圖像的內容W配合在多個對 象上的實例。具體來說，圖IOA和IOB中所展示的實例說明微調待顯示在第一對象1002上的 第一圖像1004和待顯示在第二對象1002上的第二圖像1006的實例。如圖IOA中所展示，相機 116可捕獲第一對象1000和第二對象1002的一或多個圖像。所述一或多個所捕獲圖像可接 著用于投影產生120、對象辨識122、跟蹤124和微調126。在一些實施例中，第一對象1000和 第二對象1002的圖像可提供到系統100或可能已存儲于系統100的存儲器組件108中。對象 辨識122可確定內容，例如用于分別投影到第一對象1000和第二對象1002上的第一圖像 1004和第二圖像1006。在一些實施例中，系統100的用戶可指定用于投影到第一對象1000或 第二對象1002上的第一圖像1004和第二圖像1006。此外，對象辨識122可將第一對象1000和 第二對象1002辨識和確定為分別為第一圖像部分1004的內容區域和第二圖像部分1006的 內容區域。
[0070] 微調126可確定第一對象1000和第二對象1002的形狀、第一對象1000和第二對象 1002的形狀和/或輪廓、到第一對象1000和第二對象1002的距離;且確定空白區域1008和內 容區域W用于投影第一圖像1004和第二圖像1006。如圖IOB中所展示，投影儀118可將第一 圖像1004投影在第一對象1000上且將第二圖像部分1006投影在第二對象1002上。投影儀 118還可環繞第一對象1000和第二對象1002且在第一對象1000與第二對象1002之間投影空 白區域1008,使得第一圖像1004和第二圖像1006分別僅投影在第一對象1000和第二對象 1002上。在一些實施例中，空白區域1008可對應于虛擬光遮罩，其包含經投影的黑色或暗像 素或已經被投影儀118關閉的像素，W使得在那些像素處無內容或光通過投影儀118投影。 因此，微調126可允許投影產生120產生通過投影儀118投影的包含第一圖像1004、第二圖像 1006和空白區域1008的單個投影，其對于用戶表現為兩個對象上的兩個離散圖像。
[0071] 在一些實施例中，可通過從相機116或包含第一對象1000和第二對象1002的區域 的其它地方接收圖像來確定第一對象1000和第二對象1002隨時間推移的移動，使得跟蹤 124可將第一圖像1004維持投影在第一對象1000上且將第二圖像1006維持投影在第二對象 1002上。跟蹤124還可維持產生空白區域1008,使得第一圖像1004和第二對象1006僅投影在 第一對象1000和第二對象1002上。
[0072] 圖11為與一些實施例一致的說明用于微調內容的方法的流程圖。出于說明的目 的，將參照圖1、圖2A到2D、圖3A到3B、圖4A到4B、圖5A到5B和圖6A到6B中的任一者來描述圖 11。圖11中所展示的程序1100可體現在用于由一或多個處理器執行的計算機可讀指令中， 且在一些實施例中可由系統100的操作系統實施且可實施為操作系統中的后臺服務。如圖 11中所展示，程序1100通過確定投影目標(1102)開始。在一些實施例中，可基于用戶輸入確 定投影目標。舉例來說，用戶可通過使用輸入和導航組件112選擇目標來指定顯示在顯示器 組件110上的目標。在一些實施例中，可使用對象辨識122確定投影目標。舉例來說，對象辨 識122可包含基于所述目標的形狀或大小或所述目標的表面的類型來確定合適的投影目 標。對象辨識122還可包含基于與所述目標相關聯的預定信息（如由內容提供商、零售商或 制造商所設置)來確定投影目標。
[0073] -旦確定投影目標，就可確定投影目標的一或多個界限（1104)。在一些實施例中， 可通過由相機116捕獲投影目標的一或多個圖像;接收投影目標的圖像或從存儲器組件108 檢索投影目標的圖像來確定投影目標的一或多個界限。可接著基于捕獲的一或多個圖像確 定投影目標的一或多個特性。舉例來說，微調126可根據所述一或多個圖像W及到投影目標 的距離來確定投影目標的形狀和輪廓。在一些實施例中，相機116可為或包含深度相機且可 確定可用于確定到投影目標的距離的深度圖。此外，深度圖可用于通過從深度圖中的背景 中分割投影目標來確定投影目標的形狀。
[0074] 基于投影目標的一或多個界限，程序1100可確定內容區域和空白區域（1106)。在 一些實施例中，內容區域可包含在投影目標內的區域，且空白區域可包含在投影目標外部 的區域。舉例來說，當確定投影目標的一或多個界限包含確定投影目標的輪廓時，確定內容 區域和空白區域可包含將投影目標的輪廓內的區域確定為內容區域且將投影目標的輪廓 外部的區域確定為空白區域。
[0075] 程序1100可接著確定縮放因數（1108)。在一些實施例中，確定縮放因數可包含基 于到投影目標的距離確定縮放因數，使得基于投影目標的界限在可為最大分辨率的預定分 辨率下投影投影在投影目標上的內容。投影產生120可接著基于所確定的縮放因數產生用 于投影的內容W及所確定的內容區域的界限（1110)且產生空白區域(1112)。在一些實施例 中，投影儀118可接著投影所產生的內容區域和所產生的空白區域。在一些實施例中，經投 影的空白區域可為經投影的暗像素。在一些實施例中，空白區域可不經投影，但實際上投影 儀118可關閉空白區域內的像素。因此，程序1100可微調用于投影到投影目標上的內容，其 并不溢出到超出投影目標的表面或區域上。程序1100可用于將例如圖像的內容投影到例如 圖2A到2D、圖3A到3B、圖4A到4B和圖5A到5B中所展示的對象上。此外，程序1100可用于將消 息投影到手上，例如圖6A和6B中所展示。
[0076] 圖12為與一些實施例一致的說明用于將經遮蔽的圖像投影在對象上的方法的流 程圖。出于說明的目的，將參照圖3A到3B描述圖12。圖12中所展示的程序1200可體現在用于 由一或多個處理器執行的計算機可讀指令中，且在一些實施例中可由系統100的操作系統 實施且可實施為操作系統中的后臺服務。如圖12中所展示，程序1200通過辨識視野中的對 象（1202)開始。舉例來說，如圖3A中所展示，相機116可捕獲對象300的一或多個圖像。在一 些實施例中，對象的圖像可由系統100接收或W其它方式存儲于存儲器組件108中。對象辨 識122可接著包含基于圖像中的對象300的特征辨識對象300。可接著確定投影在所辨識的 對象上的圖像(1204)。在一些實施例中，對象辨識122可包含基于與對象相關聯的信息確定 用于投影在所辨識的對象上的內容，例如圖像。再次參考圖3A，對象300可具有可得益于將 圖像302投影在對象300上的某些特征或特性。舉例來說，對象300可為產物且圖像302可為 與所述產物或關于所述產物的信息相關聯的圖像。對象辨識122可包含基于系統內存儲在 本地的信息或經由網絡確定的信息確定圖像302。信息可由用戶提供或可由第=方(例如， 零售商、制造商或內容提供商)提供。
[0077] 程序1200可接著通過確定到對象的距離和對象的形狀（1206)繼續。舉例來說，微 調126可根據一或多個所捕獲圖像W及到對象300的距離確定對象300的形狀和輪廓。在一 些實施例中，相機116可為或包含深度相機且可確定可用于確定到對象300的距離的深度 圖。此外，深度圖可用于通過從深度圖中的背景中分割投影目標來確定對象300的形狀。
[0078] 基于所確定的形狀和到對象300的距離，微調126可形成空白區域（1208)。在一些 實施例中，空白區域可包含將投影在對象的所確定的形狀外部的區域上的暗像素，例如空 白區域304。空白區域還可對應于經關閉或W其它方式不通過投影儀118投影的像素。程序 1200可接著通過將所確定的圖像302和空白區域304投影到對象300上（1210)而繼續。跟蹤 124可接著跟蹤對象300且基于跟蹤調整空白區域304(1212)。在一些實施例中，跟蹤124包 含基于來自傳感器114的信息和/或由系統100接收到的、存儲于存儲器組件108中或由相機 116捕獲的圖像來檢測對象300在六個自由度中的位置或取向的改變。程序1200可微調用于 投影到對象上的圖像使得投影的圖像并不投影到超出對象的表面或區域上。盡管已參照圖 3A和3B描述程序1200,但程序1200可進一步包含指定對象內的投影目標，例如圖2A到2D、圖 3A至Ij 3B、圖4A到4B和圖5A到5B中所展示。此夕h對象可為手，且圖像可為消息，例如圖6A和她 中所展示。在一些實施例中，對象可為其它對象，例如筆記本型計算機、計算裝置、屏幕、紙 片、方框、卡片或其它此類對象。此外，圖像還可為其它內容，包含圖片、視頻、社交網絡帖 子、日歷警示、用戶界面元素和其類似者。
[0079] 圖13為與一些實施例一致的說明用于將經遮蔽的警示投影在目標上的方法的流 程圖。出于說明的目的，將參照圖6A到6B描述圖13。圖13中所展示的程序1300可體現在用于 由一或多個處理器執行的計算機可讀指令中，且在一些實施例中可由系統100的操作系統 實施且可實施為操作系統中的后臺服務。如圖13中所展示，程序1300開始于系統100產生系 統警示（1302)時。在一些實施例中，系統警示可包含告警、通知、日歷警示、接收到的消息 (例如，電子郵件、即時消息或短消息業務消息(SMS))和其類似者。舉例來說，如圖6B中所展 示，系統警示可包含消息602。程序1300可接著通過辨識視野中的目標（1304)而繼續。舉例 來說，如圖6A中所展示，相機116可捕獲手600的一或多個圖像。對象辨識122可接著包含基 于在一或多個所捕獲圖像中或由系統100接收到的或存儲于存儲器組件108中的圖像中所 捕獲的手600的特征來辨識手600。
[0080] 程序13000可接著通過確定距離和目標的形狀（1306)而繼續。舉例來說，微調126 可包含根據一或多個圖像W及到手600的距離確定手600的形狀和輪廓。在一些實施例中， 相機116可為或包含深度相機且可確定可用于確定到手600的距離的深度圖。此外，深度圖 可用于通過從深度圖中的背景中分割投影目標來確定手600的形狀。
[0081] 基于所確定的形狀和到手600的距離，微調126可形成空白區域（1308)。在一些實 施例中，空白區域可為將投影在對象的所確定的形狀外部的區域上的暗像素，例如空白區 域604。在一些實施例中，空白區域可為當投影時不通過投影儀118投影或W其它方式關閉 的像素。程序1300可接著通過將警示投影到由空白區域遮蔽的目標上（1310)而繼續。如圖 6B中所展示，舉例來說，消息602和空白區域604可投影到手600上，使得消息602僅投影在手 600上。跟蹤124可接著跟蹤目標(例如，手600)且基于跟蹤調整空白區域604(1312)。在一些 實施例中，跟蹤124包含基于來自傳感器114的信息和/或由系統100接收到的、存儲于存儲 器組件108中或由相機116捕獲的圖像來檢測手600在六個自由度中的位置或取向的改變。 程序1300可微調用于投影到目標上的警示，使得投影的警示并不投影到超出目標的表面或 區域上。
[0082] 圖14為與一些實施例一致的說明用于基于檢測到的手勢將經遮蔽的內容投影在 目標上的方法的流程圖。出于說明的目的，將參照圖7A到7D描述圖14。圖14中所展示的程序 1400可體現在用于由一或多個處理器執行的計算機可讀指令中，且在一些實施例中可由系 統100的操作系統實施且可實施為操作系統中的后臺服務。如圖14中所展示，程序1400開始 于手勢檢測128檢測用于進入私用模式的手勢（1402)時。在一些實施例中，用于進入私用模 式的手勢可為握緊的手或當與手勢庫中的手勢相互關聯時對應于用于進入私用模式的動 作的另一手勢。程序1400可接著通過辨識視野中的目標（1404)而繼續。舉例來說，如圖7B中 所展示，相機116可捕獲第一對象700的一或多個圖像。在一些實施例中，系統100可接收第 一對象700的圖像或可W其它方式具有存儲于存儲器組件108中的第一對象的一或多個圖 像。對象辨識122可包含基于來自第一對象700的圖像的第一對象700的特征來辨識第一對 象 700。
[0083] 程序1400可接著通過確定距離和目標的形狀(1406)而繼續。舉例來說，微調126可 包含根據圖像W及到第一對象700的距離確定第一對象700的形狀和輪廓。在一些實施例 中，相機116可為或包含深度相機且可確定可用于確定到第一對象700的距離的深度圖。此 夕h深度圖可用于通過從深度圖中的背景中分割投影目標來確定第一對象700的形狀。
[0084] 基于所確定的形狀和到第一對象700的距離，微調126可形成空白區域（1408)。在 一些實施例中，空白區域可包含將投影在第一對象700的所確定的形狀外部的區域上的暗 像素，例如空白區域706。在一些實施例中，空白區域可為當投影時不通過投影儀118投影或 W其它方式關閉的像素。程序1400可接著通過將內容投影到由空白區域遮蔽的目標上 (1410)而繼續。如圖7C中所展示，舉例來說，圖像704和空白區域706可經投影使得圖像704 僅投影在第一對象700上且被空白區域706遮蔽。手勢檢測可接著檢測用于進入公用模式的 手勢（1412)。在一些實施例中，用于進入公用模式的手勢可為張開的手、投擲運動或當檢測 到與手勢庫中的手勢相互關聯時對應于用于進入公用模式的動作的另一手勢。投影儀118 可接著投影未被空白區域遮蔽的內容（1414)。舉例來說，微調126可不確定空白區域;確定 不具有區域或為零區域的空白區域;或可基于較大目標對象(例如，第二對象702)確定空白 區域。
[0085] 根據本發明，軟件(例如程序代碼和/或數據)可W存儲在一或多個機器可讀媒體 (包含非暫時性機器可讀媒體)上。還預期本文中所標識的軟件可W使用一或多個聯網和/ 或未聯網的通用或專用計算機和/或計算機系統來實施。在適用的情況下，本文中所描述的 各種步驟的排序可改變、組合為復合步驟，和/或分離成子步驟W提供本文中所描述的特 征。
[0086]因此，如本文中所描述的實施例可提供通過確定投影目標的一或多個界限且基于 所確定的一或多個界限微調用于投影在投影目標上的內容來配合到投影目標的投影的系 統和方法。另外，為了使投影目標上用于查看的內容的分辨率最大化，本文中所描述的實施 例可確定在投影目標外部的無內容的區域且投影運些區域中無內容的區域(例如，經遮蔽 的像素），使得所述內容可經縮放到預定分辨率W投影到投影目標上而不會使投影的內容 溢出到超出投影目標的表面和區域上。上文所提供的實例僅是例示性的，且并不意圖是限 制性的。所屬領域的技術人員可W根據所掲示的的實施例容易地設計意圖在本發明的范圍 內的其它系統。因此，本申請案僅受所附權利要求書的限制。
【主權項】
1. 一種方法，其包括： 確定投影目標； 確定所述投影目標的一或多個界限； 通過一或多個處理器確定有內容待投影的內容區域和無內容待投影的空白區域，基于 所述一或多個界限確定所述內容區域和所述空白區域； 通過所述一或多個處理器確定縮放因數； 基于所述縮放因數在所述內容區域內產生用于投影的內容；以及 產生所述空白區域。2. 根據權利要求1所述的方法，其中確定所述投影目標的一或多個界限包括： 接收所述投影目標的一或多個圖像；以及 根據所述一或多個圖像確定所述投影目標的形狀。3. 根據權利要求2所述的方法，其進一步包括基于所述投影目標的所述所確定的形狀 確定所述投影目標的輪廓。4. 根據權利要求2所述的方法，其進一步包括基于所述一或多個圖像確定包含所述投 影目標的區域的深度圖。5. 根據權利要求4所述的方法，其中確定縮放因數包括基于所述所確定的深度圖確定 到所述投影目標的距離。6. 根據權利要求4所述的方法，其中確定所述投影目標的形狀包括將所述投影目標從 所述所確定的深度圖中的背景中分割出來。7. 根據權利要求2所述的方法，其中產生所述空白區域包括基于所述投影目標的所述 所確定的形狀形成虛擬遮罩。8. 根據權利要求1所述的方法，其進一步包括在所述所確定的內容區域內通過投影儀 將所述所產生的內容投影于所述投影目標上。9. 根據權利要求1所述的方法，其進一步包括通過投影儀投影所述所產生的空白區域。10. 根據權利要求9所述的方法，其中投影所述所產生的空白區域包括投影暗像素。11. 根據權利要求1所述的方法，其進一步包括： 跟蹤所述投影目標；以及 基于所述跟蹤調整所述所確定的內容區域和所述所確定的空白區域。12. 根據權利要求1所述的方法，其進一步包括： 檢測手勢；以及 基于所述檢測到的手勢確定所述空白區域不具有區域。13. 根據權利要求1所述的方法，其進一步包括： 檢測手勢； 基于所述檢測到的手勢確定第二投影目標； 確定所述第二投影目標的一或多個界限； 基于所述第二投影目標的所述所確定的一或多個界限確定第二內容區域和第二空白 區域； 基于到所述第二投影目標的距離確定第二縮放因數；以及 在所述所確定的內容區域內通過投影裝置將內容投影到所述第二投影目標上。14. 一種設備，其包括： 投影儀，其經配置以基于投影目標的一或多個投影參數來投影內容區域和空白區域； 相機，其經配置以捕獲包含所述投影目標的視野的一或多個圖像； 一或多個處理器，其耦合到所述投影儀和所述相機，所述一或多個處理器經配置以確 定所述一或多個投影參數;以及 存儲器，其耦合到所述一或多個處理器。15. 根據權利要求14所述的設備，其中所述一或多個處理器經配置以通過處理所述一 或多個圖像且確定到所述投影目標的距離、所述投影目標的形狀和所述投影目標的輪廓來 確定所述一或多個投影參數。16. 根據權利要求14所述的設備，其中所述空白區域包括投影在所述內容區域的所述 所確定的輪廓外部的暗像素。17. 根據權利要求14所述的設備，其中所述相機包括數字光處理DLP投影儀、激光束轉 向LBS投影儀、硅上液晶LCoS投影儀中的至少一者。18. 根據權利要求14所述的設備，其中所述相機進一步經配置以捕獲由用戶作出的手 勢。19. 根據權利要求18所述的設備，其中所述手勢包含用于在私用模式和公用模式之間 切換的手勢。20. -種系統，其包括： 用于確定投影目標的裝置； 用于確定所述投影目標的一或多個界限的裝置； 用于基于所述所確定的一或多個界限確定有內容待投影的內容區域和無內容待投影 的空白區域的裝置； 用于確定縮放因數的裝置； 用于基于所述縮放因數在所述內容區域內產生用于投影的內容的裝置；以及 用于產生所述空白區域的裝置。21. 根據權利要求20所述的系統，其中所述用于確定所述投影目標的一或多個界限的 裝置包括： 用于接收所述投影目標的一或多個圖像的裝置；以及 用于根據所述一或多個圖像確定所述投影目標的形狀的裝置。22. 根據權利要求21所述的系統，其進一步包括用于基于所述一或多個圖像確定包含 所述投影目標的區域的深度圖的裝置。23. 根據權利要求20所述的系統，其進一步包括用于在所述所確定的內容區域內將所 述所產生的內容投影于所述投影目標上的裝置。24. 根據權利要求20所述的系統，其進一步包括用于投影所述所產生的空白區域的裝 置。25. 根據權利要求20所述的系統，其進一步包括： 用于跟蹤所述投影目標的裝置；以及 用于基于所述跟蹤調整所述所確定的內容區域和所述所確定的空白區域的裝置。26. 根據權利要求20所述的系統，其進一步包括： 用于檢測手勢的裝置；以及 用于基于所述檢測到的手勢確定所述空白區域不具有區域的裝置。27. 根據權利要求20所述的系統，其進一步包括： 用于檢測手勢的裝置； 用于基于所述檢測到的手勢確定第二投影目標的裝置； 用于確定所述第二投影目標的一或多個界限的裝置； 用于基于所述第二投影目標的所述所確定的一或多個界限確定第二內容區域和第二 空白區域的裝置； 用于基于到所述第二投影目標的距離確定第二縮放因數的裝置；以及 用于在所述所確定的內容區域內通過投影裝置將內容投影到所述第二投影目標上的 裝置。28. -種計算機可讀媒體，其包含在由一或多個處理器執行時致使包含所述一或多個 處理器的系統執行方法的指令，所述方法包括： 確定投影目標； 確定所述投影目標的一或多個界限； 基于所述所確定的一或多個界限而通過一或多個處理器確定有內容待投影的內容區 域和無內容待投影的空白區域； 通過所述一或多個處理器確定縮放因數；以及 基于所述縮放因數在所述內容區域內產生用于投影的內容；以及 產生所述空白區域。
【文檔編號】G06F1/16GK105830439SQ201480068503
【公開日】2016年8月3日
【申請日】2014年12月9日
【發明人】拉明·禮薩伊法爾, 喬爾·辛布蘭·貝納特, 尼科羅·安德魯·帕多瓦尼, 維吉尼亞·沃克·基廷
【申請人】高通股份有限公司