使用深度傳感器的結構建模的制作方法
【技術領域】
[0001] 本發明總體而言涉及增強現實環境，且更具體來說，涉及實時建模實體環境。
【背景技術】
[0002] 在增強現實(AR)環境中，用戶可希望獲得他的物理環境的模型以啟用AR功能。舉 例來說，用戶可希望將他的辦公室的視圖的主要結構建模，所述視圖可包含墻面、地板和天 花板的表面，以及桌子的臺面表面。建模現實物理環境的當前方法可能不具有將不同表面 彼此區分開的能力，且實際上僅產生指示與來自攝像機視圖的每個點相關聯的深度的點的 密集重構。此外，此組點可不含有區分哪些點屬于墻面或哪些點屬于桌子等的任何方式。不 具有此類語義意義使得AR壁面或桌子表面難以交互。此外，產生此組點可為非常處理器密 集型且不大適用于實時使用。
[0003 ]本發明的實施例解決此問題和其它問題。
【發明內容】
[0004] 本發明總體而言涉及增強現實環境，且更具體來說，涉及實時建模實體環境。
[0005] 介紹用于基于直觀用戶輸入和用戶的物理環境在移動裝置上實時建模增強現實 (AR)環境的方法和設備。在一些實施例中，用戶可基于本發明的系統和方法產生表示用戶 的物理環境的表面的幾何形狀。在一些實施例中，僅此類表面的大致指示由用戶需要，且快 速不精確輸入在一些情況下可為可接受的。在一些實施例中，移動裝置的傳感器功能性(例 如，來自深度攝像機的輸入)可用于推斷用戶并未充分指定的表面的其余部分。在一些實施 例中，方法和應用包含手動用戶接口，而在其它實施例中，可采用更"半自動"的用戶接口。
[0006] 使用業界中的已知方法，深度傳感器可產生包含極其詳細的信息的三維（3D)重 建，從而產生可含有不具有任意語義的多個幾何圖元的模型。然而，對于多個應用，可能需 要的全部應用為由少數多邊形組成的幾何模型，所述幾何模型表示環境的重要結構，而非 大量細節。建模結構可包含由幾何面、邊和頂點構成的多邊形模型以及簡單體積。此類幾何 模型可被稱作結構模型。舉例來說，簡單房間可包含四個墻面、地板、天花板、門和窗戶，總 計八個多邊形。應注意，此等幾何結構具有低復雜度且通常具有例如正確角度或平行邊的 約束。
[0007] 此外，使語義意義與結構結合可為重要的。舉例來說，門可用于進出相鄰房間，或 虛擬物件可經約束以停留在真實表面上，或窗戶可向上及向下滑動。對于增強現實(AR)中 的相互相用，具有相關信息的簡化結構模型可在移動裝置上啟用與結構模型相關聯的資訊 的實時處理。因此，本發明的實施例提出通過幾個多邊形(例如，用于門的單一矩形)表示來 自現實世界的重要元素。
[0008] -種用于構建物理環境的數字表示的實例方法可包含獲得指示物理環境的圖像 數據;基于所獲得的圖像數據接收對應于物理環境中的至少一個位置的用戶輸入數據圖像 數據;檢測靠近對應于所接收到的用戶輸入數據的至少一個位置的物理環境中的至少一個 不連續性；以及基于所接收到的用戶輸入數據和至少一個不連續性產生對應于物理環境中 的表面的數字表面。在方法的一些實施例中，所接收到的用戶輸入數據指定數字表面的至 少一個邊。在其它實施例中，所接收到的用戶輸入數據指定數字表面的至少一個平面。在又 其它實施例中，所接收到的用戶輸入數據包括物理環境內的多個點，基于所獲得的圖像數 據，所述多個點被包含為數字表面的部分。
[0009] 在某些實施例中，圖像數據可包含關于物理環境的幾何深度信息。在一些實施方 案中，實例方法可偵測檢測至少一個不連續性，其可包含在物理環境中檢測至少兩個平面 表面相交之處。在某一實施方案中，所接收到的用戶輸入數據可包含2維坐標形式的輸入數 據，且所產生的數字表面可包含3維坐標形式的輸出數據。實例方法可進一步包含接收定義 與數字表面相關聯的至少一個函數的語義輸入。
[0010] -種用于構建物理環境的數字表示的實例移動裝置可包含耦合到移動裝置以用 于獲得指示物理環境的圖像數據的攝像機。此外，移動裝置可包含處理器，其耦合到存儲器 以用于基于所獲得的圖像數據接收對應于物理環境中的至少一個位置的用戶輸入數據;檢 測靠近對應于所接收到的用戶輸入數據的至少一個位置的物理環境中的至少一個不連續 性；以及基于所接收到的用戶輸入數據和至少一個不連續性產生對應于物理環境中的表面 的數字表面。在移動裝置的一些實施例中，所接收到的用戶輸入數據指定數字表面的至少 一個邊。在其它實施例中，所接收到的用戶輸入數據指定數字表面的至少一個平面。在又其 它實施例中，所接收到的用戶輸入數據包括物理環境內的多個點，基于所獲得的圖像數據， 所述多個點被包含為數字表面的部分。
[0011] 在某些實施例中，圖像數據可包含關于物理環境的幾何深度信息。在一些實施方 案中，實例移動裝置的組件可檢測至少一個不連續性，其可包含在物理環境中檢測至少兩 個平面表面相交之處。在一些實施方案中，所接收到的用戶輸入數據可包含2維坐標形式的 輸入數據，且所產生的數字表面可包含3維坐標形式的輸出數據。實例移動裝置可進一步包 含用于接收定義與數字表面相關聯的至少一個函數的語義輸入的組件。
[0012] -種用于構建物理環境的數字表示的實例移動裝置可包含耦合到移動裝置以用 于獲得指示物理環境的圖像數據的攝像機。此外，移動裝置可包含處理器，其耦合到存儲器 以用于基于所獲得的圖像數據接收對應于物理環境中的至少一個位置的用戶輸入數據;檢 測靠近對應于所接收到的用戶輸入數據的至少一個位置的物理環境中的至少一個不連續 性；以及基于所接收到的用戶輸入數據和至少一個不連續性產生對應于物理環境中的表面 的數字表面。在移動裝置的一些實施例中，所接收到的用戶輸入數據指定數字表面的至少 一個邊。在其它實施例中，所接收到的用戶輸入數據指定數字表面的至少一個平面。在又其 它實施例中，所接收到的用戶輸入數據包括物理環境內的多個點，基于所獲得的圖像數據， 所述多個點被包含為數字表面的部分。
[0013] 在某些實施例中，圖像數據可包含關于物理環境的幾何深度信息。在一些實施方 案中，實例移動裝置的組件可檢測至少一個不連續性，其可包含在物理環境中檢測至少兩 個平面表面相交之處。在某一實施方案中，所接收到的用戶輸入數據可包含2維坐標形式的 輸入數據，且所產生的數字表面可包含3維坐標形式的輸出數據。實例移動裝置可進一步包 含用于接收定義與數字表面相關聯的至少一個函數的語義輸入的組件。
[0014] -種實例非暫時性計算機可讀存儲媒體，其中所述非暫時性計算機可讀存儲媒體 包括可由處理器執行的指令，包括用于構建物理環境的數字表示的指令的指令可包含以下 能力：獲得指示物理環境的圖像數據;基于所獲得的圖像數據接收對應于物理環境中的至 少一個位置的用戶輸入數據;檢測靠近對應于所接收到的用戶輸入數據的至少一個位置的 物理環境中的至少一個不連續性；以及基于所接收到的用戶輸入數據和至少一個不連續性 產生對應于物理環境中的表面的數字表面。在非暫時性計算機可讀存儲媒體的一些實施例 中，所接收到的用戶輸入數據指定數字表面的至少一個邊。在其它實施例中，所接收到的用 戶輸入數據指定數字表面的至少一個平面。在又其它實施例中，所接收到的用戶輸入數據 包括物理環境內的多個點，基于所獲得的圖像數據，所述多個點被包含為數字表面的部分。
[0015] 在某些實施例中，圖像數據可包含關于物理環境的幾何深度信息。在一些實施方 案中，存儲于非暫時性計算機可讀存儲媒體上的指令可檢測至少一個不連續性，其可包含 在物理環境中檢測至少兩個平面表面相交之處。在一些實施方案中，所接收到的用戶輸入 數據可包含2維坐標形式的輸入數據，且所產生的數字表面可包含3維坐標形式的輸出數 據。實例非暫時性計算機可讀存儲媒體可進一步包含用于接收定義與數字表面相關聯的至 少一個函數的語義輸入的指令。
[0016] 一種用于構建物理環境的數字表示的實例設備可包含用于獲得指示物理環境的 圖像數據的裝置;用于基于所獲得的圖像數據接收對應于物理環境中的至少一個位置的用 戶輸入數據的裝置;用于檢測靠近對應于所接收到的用戶輸入數據的至少一個位置的物理 環境中的至少一個不連續性的裝置；以及用于基于所接收到的用戶輸入數據和至少一個不 連續性產生對應于物理環境中的表面的數字表面的裝置。在設備的一些實施例中，所接收 到的用戶輸入數據指定數字表面的至少一個邊。在其它實施例中，所接收到的用戶輸入數 據指定數字表面的至少一個平面。在又其它實施例中，所接收到的用戶輸入數據包括物理 環境內的多個點，基于所獲得的圖像數據，所述多個點被包含為數字表面的部分。
[0017] 在某些實施例中，圖像數據可包含關于物理環境的幾何深度信息。在一些實施方 案中，實例設備可包含用于檢測至少一個不連續性的裝置，其可包含用于在物理環境中檢 測至少兩個平面表面相交之處的裝置。在一些實施方案中，所接收到的用戶輸入數據可包 含2維坐標形式的輸入數據，且所產生的數字表面可包含3維坐標形式的輸出數據。實例設 備可進一步包含用于接收定義與數字表面相關聯的至少一個函數的語義輸入的裝置。 [0018]前文已經相當廣泛地概述了實例的特征和技術優點，以便使以下的【具體實施方式】 可以得到更好理解。將在下文中描述另外的特征及優點。所揭示的概念和具體實例可以容 易地用作用于修改或設計用于執行本發明的相同目的的其它結構的基礎。此類等效構造不 脫離所附權利要求書的精神和范圍。當結合附圖考慮時，關于本發明的組織和操作方法的 被認為是本文中所揭示的概念的特性的特征與相關聯的優點一起將從以下描述得到更好 理解。圖式中的每一者都僅出于說明和描述的目的提供且并不提供為對權利要求書的限制 的界定。
【附圖說明】
[0019]通過實例來說明本發明的各方面。參考圖式提供以下描述，其中類似參考標號始 終用以指類似元件。雖然本文中描述一或多個技術的各種細節，但其它技術也是可能的。在 一些情況下，以框圖形式展示熟知結構及裝置以便促進描述各種技術。
[0020] 可參照說明書及圖式的剩余部分來實現對由本發明提供的實例的性質及優點的 進一步理解，其中貫穿若干圖式使用類似參考標號來指代類似組件。在一些情況下，子標簽 與參考標號相關聯以表示多個類似組件中的一者。當在無說明書的情況下將參考標號與現 有子標簽進行參考時，參考標號是指全部此類相似組件。
[0021] 圖1為可實施本發明的各種實施例的實例裝置。
[0022]圖2A、2B和2C展示根據一些實施例的實例使用范例。
[0023]圖3說明移動裝置上的十字準線光標和對應于移動裝置攝像機的當前視圖的投 影。
[0024]圖4A、4B和4C說明通