虛擬鏡子的裝置、系統和方法
【技術領域】
[0001]本發明一般涉及成像和顯示系統，并且更具體地，涉及監控器和交互式顯示器，例如，在零售和/或服務的環境中，在醫療或家庭情況下，視頻會議，游戲等等。【具體實施方式】涉及在用戶期望看到鏡子的情況下虛擬鏡子，例如在試穿服裝時。另一【具體實施方式】涉及在標準視頻圖像上優選自然外觀的情況，例如視頻會議。
背景
[0002]常規的鏡子(即反射面)是用于個人實時地獲取真實的自身外觀的一種常見和最可靠的工具。現有技術已圍繞相機和屏幕的結合提出了一些替換方式來代替傳統的鏡子。然而，這些技術并不令人信服，并且尚未被接受作為好像正看著常規鏡子中的自己這樣的可靠的個人圖像。這主要是因為由相機生成的圖像非常不同于由鏡子產生的圖像。
[0003]在美國申請N0.13/843,001中，我們提出了一種新穎技術(計算機化方法)來解決將由一個或多個相機(有或沒有其它傳感器)生成的靜止圖像或2D/3D視頻轉換和變換到鏡像或視頻會議體驗中的挑戰。
【發明內容】
[0004]包括本公開的下述概述以提供對本發明的一些方面和特征的基本理解。此概述不是本發明的廣泛綜述，因此它不旨在特別標識本發明的關鍵或重要要素或描述本發明的范圍。其唯一目的在于以簡化的形式作為下面給出的更詳細的說明的前序來呈現本發明的一些概念。
[0005]在本公開中，描述了一種計算機化技術，其采用視頻、靜止圖像或成組的靜止圖像，在執行了在美國申請N0.13/843，001中所描述的變換之前或之后，繼續該計算機化方法，以解決附加功能，如用戶接口、增強現實、顏色變化、紋理變化、對象的形狀操縱、身體或背景、以及更多。另外，經校準的虛擬相機方法允許從2D或3D圖像或視頻進行身體線條、身體曲線和身體類型的測量。
[0006]對于增強現實功能，首先將為一個或多個項目或要素(例如，襯衫，裙子，褲子，頭部，鞋子，眼鏡，全身等)創建二維和/或三維的模型或遮罩(mask)，然后，操縱該模型或遮罩可以啟用增強現實功能，如顏色、紋理更換和操縱，或者幾何測量，或者完全的對象替換。所公開的技術區別于只使用3D相機(IR或雙相機)的技術。在下面所公開的技術中，可以從單個常規相機建立模型并且可以利用多臺相機和來自IR、3D相機或其他傳感器的附加信息以及關于將要試圖操縱的對象的信息來改善結果。
[0007]—些實施方式可以包括多級用戶認證。具體地，實施方式可包括臉部識別的改進、用戶獲知和適應。已知的人臉識別方法可以利用可對臉部姿勢非常敏感的算法。在本技術中，可以創建臉部姿勢的平滑體驗，以適應不同的相機位置和角度。
[0008]各種實施方式可包括代碼識別，例如，快速識別(QR)碼，一維碼，隱含代碼等。所述實施方式可以適于從相對遠的距離發現具有與在投影情況下和在其它光學失真情況下的圖像相比相對小的圖像的代碼。另外，也可以包括無線識別，例如，NFC、無線寬帶、微波3D、身體接入網絡(BAN)芯片等。無線識別可以從移動設備、手表眼鏡、微芯片或在設備或微芯片上攜帶的其它設備。其他身體測量技術可以包括指紋、身體識別、身型、眼睛、手掌識別、X射線相關、體溫、身體脈搏、血壓等。
[0009]在另一方面中，描述了手動或自動地控制和操作虛擬鏡像功能的用戶接口和方法。
[0010]在另外的實施方式中，公開了產品的機械設計和外觀，以增強可用性和功能性以及整體用戶體驗。
[0011]在一些實施方式中，提供了一種用于操作監控器、相機以及處理器的非暫時性計算機可讀存儲介質，其被配置成以在監控器上顯示鏡像模擬圖像，并且包括:在具有處理器和存儲用于由處理器執行的存儲器的設備上，所述程序包括指令以用于:從所述系統中捕獲圖像或視頻;基于用戶跟蹤系統來校準圖像或視頻;檢測存在于所捕獲的圖像或視頻中的對象的邊緣;測量所述對象的特征；以及創建對象的測量識別標志。
在一些實施方式中，提供了一種用于操作具有監控器、相機和處理器的系統的計算機實現方法，其被配置成在監控器上顯示用戶的圖像，并包括:在具有處理器和存儲用于由處理器執行的存儲器的設備上，程序包括指令以用于:捕獲來自系統的圖像或視頻;從所述圖像或視頻識別要素;選擇所識別的要素;渲染選定要素的原始模型;為所述選定要素選擇新外觀;和基于原始模型和為要素所選擇的新外觀來創建新模型。處理器執行失真變換，其包括生成模擬用戶正看著傳統反射鏡的用戶體驗的操作。失真變換可以包括以下步驟:從相機獲取數字圖像;將所述圖像圍繞豎直軸線翻轉以便使圖像的右側和左側顛倒;施加變換映射到圖像以修改所述圖像，從而使其看起來模擬鏡子的反射;調整所述圖像大小以減少由所述對象到所述相機的距離改變造成的變化；以及在執行了所述翻轉、變換映射和調整大小之后，在監控器上顯示所述圖像。
[0012]在另一個方面，一種計算機化方法包括用于從以下構成的組中的至少一個的指令:基于用戶的視點和在監控器之前的位置進行復雜拼接;圖像或視頻分析，以更好地利用商店庫存和支持電子商務平臺；校正所述圖像或視頻的光學失真;使用多臺相機來提供附加信息；以及在本地或在移動設備上或固定監控器上的遠程位置呈現模型。
[0013]在進一步的方面，一種用于獲取圖像中的選定對象的測量結果的方法，包括選自由以下構成的組中的至少一個:以像素單位進行測量以及基于周長模型、多個2D剪切、3D模型、統計優化來將所測量的像素單位變換成已知的測量單位;與先前獲取的有關該用戶的成組測量結果進行比較;基于所述用戶的一個或多個特性，判定用于測量的聚焦點；基于用戶的高度判定用于測量的聚焦點；基于用戶的性別判定用于測量的聚焦點；基于用戶的高度和性別判定用于測量的聚焦點；以及基于用戶的高度和性別判定與肚臍對應的可能區域。
[0014]在其它方面，一種用于在圖像中創建對象的測量識別標志的方法包括選自以下構成的組中的至少一個:將已分析的數據作為具有權重的向量進行存儲，其允許用戶之間的單個或多個屬性得分比較;記錄經處理的圖像以供將來比較;記錄經處理的圖像以供將來推測附加信息;記錄經處理的圖像，以允許將來執行圖像相關技術;添加指示器給圖像以促進相關性；以及添加線條給圖像以促進相關性。
【附圖說明】
[0015]被并入本說明書的附圖示出了本文公開的發明的一個或多個示例性實施方式，并且與詳細描述一起用于解釋這些發明的原理和示例性實現方式。本領域的技術人員將理解，附圖僅是說明性的，并且本文所描述的內容可基于本說明書的文本內容和本文教導的精神和范圍進彳丁調整。
[0016]在附圖中，類似的附圖標記指代說明書中的類似元素:
[0017]圖1示出了增強現實以在平板顯示屏上模擬鏡像外觀的一個實施方式。
[0018]圖2示出了增強現實模塊的一個實施方式。
[0019]圖3示出了可以替換圖像前景或背景中的項目或對象的身體部位、顏色、取向和紋理的增強現實模塊第一個實施方式。
[0020]圖4示出了創建模型以用于顏色和紋理交換的計算方法的一個實施方式。
[0021]圖5示出了從圖像、多個圖像或短視頻中提取身體測量結果的一個方法的實施例。
[0022]圖6示出了用于多級用戶獲知和認證的安全系統應用的一個實施例。
[0023]圖7示出了用于并行或帶內相機操縱的一個安全系統應用的實施例。
[0024]圖8a_8c示出了用于在視頻/語音會議中分享鏡像體驗的示意圖。
[0025]圖9示出了用于將2D輸入到模型生成器的一個實施例。
[0026]圖10是來自圖9中圖像的上部襯衫的2D模型的一個實施例。
[0027]圖11是示出了男性身體類型的分類的示意圖。
[0028]圖12是示出了女性身體類型的分類的示意圖。
[0029]圖13描繪了附加處理的結果的一個實施例，該附加處理從身體消去了手部并且指向不同間隔的尋找特定身體測量結果的區域。
[0030]圖14描繪了在相機流上進行變換以在背景環境上產生鏡像效果的一個實施例。
[0031]圖15示出了具有用戶識別和認證且具有用戶接口的虛擬鏡面的一個實施例。
[0032]圖16不出了具有分屏模式和縮略圖的虛擬鏡面的一個實施例。
[0033]圖17示出了用戶使用流程的一個實施方式。
【具體實施方式】
[0034]下面的實施例說明了本發明的一些實施方式和方面。對于本領域技術人員，將顯而易見的是，各種修改、添加、替換等可以在不改變本發明的精神或范圍下進行，并且這些修改和變化被包含在后述權利要求書所限定的本發明的范圍之內。以下的實施例不以任何方式限制本發明。為了便于理解各種實施例，描述包括在特定主題下的各種特征的描述。然而，這些特征可單獨地或以混合和匹配的方式來實現，以便針對特定應用使用一個或多個特定特征。
總體概述
[0035]本發明的實施方式利用相機和平板顯示器以提供給用戶正注視著鏡子的體驗。也就是說，來自相機的圖像流被操縱和變換，以使得當其被顯示在屏幕上時看起來像模擬鏡子中的反射，而不是被記錄的視頻流。由于“虛擬鏡面”圖像是數字化產生的，因此其可以被存儲和操縱以提供進一步的增強功能。例如，該圖像可以被操縱來改變顏色以能夠進行多級用戶識別和認證，并且能進行身體測量。該系統包括經校準的相機，使得該系統能夠提供增強現實特征，例如，身體用品的顏色、紋理、形狀操作，或背景，在例如虛擬鏡面或視頻會議應用中。其也能執行用于廣告、安全以及醫療應用的身體測量和身體監控。
[0036]關于硬件，各種實施方式可包括單個或多個相機，該單個或多個相機具有所有類型傳感器(包括但不限于CCD、CM0S、IRCM0S等)和格式協議(包括HDM1、火線、USB、IP、HDBaseT無線等)以及任何可用的分辨率(包括HD、常規SIF、4k、8k等)。顯示器可包括具有所有尺寸、形狀和比例的單個或多個屏幕或虛擬屏幕以及常規屏幕。顯示器可包括鏡像屏幕、智能電話或平板電腦、投影儀、全息圖、三維屏幕、谷歌眼鏡、投影儀頭戴顯示器(HMD)、眼鏡(具有可切換的模糊層)等。
[0037]在所公開的實施方式中，相機可以位于任何位置。最好的做法是將相機面向用戶設置在屏幕上方。附加位置可包括在屏幕底部、屏幕側部或屏幕背后(如果屏幕是雙向屏幕的話)。在3D情況下，兩個相機可以例如在頂部且并排設置，這可以提供更佳的結果并且減除了計算機化方法。此外，一旦用戶移動和/或旋轉，可由單個相機操作3D。
[0038]實施方式可以包括根據每個用戶選擇用以涵蓋全身或局部身體以及進行不同縮放的計算機化方法(例如，頭部和/或眼睛的校正、觀察方向/觀察點的校正)。
[0039]所公開的實施方式中的每一個都可以在2D或3D靜止硬拷貝圖像上、在2D或3D靜止數字圖像上、在由模擬/數字相機記錄的或由幀抓取器HDMI(或等同物)、IP、USB、火線(有線或無線鏈路)等記錄的模擬/數字視頻上來提供。所公開的實施方式中的每一個都可以在可經由任何合適的通信方法傳送到計算設備的數字流式視頻上來提供，所述通信方法諸如USB,HDMI,IP CAT-5/光纖、無線局域網、火線、HDBaseT、在單根電纜或多根電纜上的上述的任意組合。所公開的實施方式中的每一個都可以在計算設備包含在相機中、屏幕中、在云中或在包括工作站、服務器等在內的計算機等中的情況下來提供。
[0040]所公開的實施方式中的每一個都可以在計算設備分布在系統元件之間的情況下來提供，例如計算機化方法可以部分包含在相機中，部分在視頻采集元件中，部分在屏幕圖形處理單元(GPU)中，部分在云中，部分在用戶智能電話設備中或這些的任何合適的組合。所公開的實施方式中的每一個都可以在計算設備包含在智能電話、平板電腦、筆記本電腦、顯示屏、相機、HMD、谷歌眼鏡等中的情況下來提供。
[0041]所公開的實施方式中的每一個都可以在視頻進行預處理以提取所選擇項目的3D模型的情況下來提供，其中，該預選可以由用戶手動或通過施加規則用于選擇來自動地完成。該模型提取可通過緊接相機的DSP/CPU本地地執行、在云中執行或在用戶設備上的用戶應用程序中執行。對于單個對象或靜止圖像更有效的是在GPU(圖形處理單元)中提取模型；在這種情況下，常規(PU是足夠的。
[0042]所公開的實施方式中的每一個都可以在渲染正在增強現實站中本地地執行、在云中執行或在用戶移動設備處執行的情況下來提供。對于單個圖像或非常短的視頻，渲染可以在GPU中進行;在這些情況下，CPU可提供足夠的性能。
[0043]所公開的實施方式中的每一個都可以在增強渲染技術被執行以提高視頻質量的情況下來提供，例如，將對象和圖像插補成更高分辨率以及在組合后進行取樣來平滑邊緣和消除混疊效應。本發明能夠例如通過逐幀地平滑模型、通過消除邊緣上的每幀所允許的變化、通過平滑每幀的邊緣、通過在單幀或多幀上施加平均過濾器等等來消除閃爍邊緣。額外的改進可以通過提高幀速率和在增加的幀上施加附加的平滑技術以平滑原始幀速率會出現的效應來實現。
[0044]無論屏幕是否駐留在相機附近，所公開的實施方式中的每一個都可以被提供。例如，屏幕可位于控制室內。相機主流或記錄的信息可以經由遠程控制、經由直接利用物理基礎設施的其他地址、或通過云來獲取。
[0045]在一個實施方式中，站功能設施上的控制可以通過手勢、眼球移動、手掌移動、手指移動或大腦控制來實現。本發明可以用附加的配件例如激光光束指示器、語音控制、無線或超聲跟蹤等進彳丁控制。
[0046]
分害Il
[0047]將對象和/或要素從圖像或視頻中準確分割出來是本領域中的最大挑戰之一。用于解決該問題的已知技術涉及精度和速度之間的明確折衷。在本發明之前，沒有令人滿意的解決該問題的辦法。使用利用三維(3D)深度測量的紅外(IR)相機是工業上的一種方法；然而，該方法的質量受到影響。例如，邊緣、圖像失真和/或紅外相機和常規相機之間的低分辨率錯位妨礙了成功和令人信服的分割。從計算機資源的角度來看，顏色分離和邊緣檢測技術都要求很苛刻，并且不會產生一致的性能。用以提取用戶或對象的一些技術假定了例如容易進行識別的綠色背景，但在綠色背景不可用的應用中并不適用。
[0048]一旦獲取了被操縱的一個或多個項目的模型，第二個問題是創建平滑的渲染流，該渲染流將更新模型并將其平滑地渲染回到原始視頻或渲染成具有新信息的其他增強現實視頻。以下所公開的實施方式實現了具有高品質的相對快速的平滑渲染流，因此可實時地、半實時地或比較快地進行操縱，這具體取決于特定應用的要求。另外，所述實施方式適于在相機主流饋送上實時地操縱項目(顏色，紋理，形狀)或在用戶記錄的視頻上離線地操縱。
[0049]基于模型、遮罩、和/或來自視頻的每個對象的阿爾法通道，獲知用戶動作，與對象的形狀和形式適配或不適配的不同對象可以以令人信服的方式安裝。所公開的實施方式可區別于現有技術，其試圖以虛擬的方式進行任何處理。實施方式可包括用遮罩進行操縱以涵蓋其他變化，例如不同布料、用戶的面部變化、用戶體型變化、從圖像中消除用戶等等。
[0050]另一個公開特征是布料識別，它可以識別項目和用戶穿著的衣服。例如，其可包括織物中的隱含碼或信息。
[0051 ]其它特征和實施方式可包括:微波掃描器，其中微波傳感器集成在屏幕中；人體測量特征，其包括例如2D和3D身體線條檢測或由視頻生成出的2D/3D模型/遮罩(model/mask);由測量分析的結論，例如，身型、出身、性別、年齡、建議的衣服尺寸、建議的飲食或治療等;一段時間內的身體線條跟蹤以用于診斷、變化識別、用戶識別等等。
[0052]在一些實施方式中，主相機流可以被實時地操縱以改變用戶外觀，或者完全地將其從視頻或圖像消去。在這種情況下，相機DSP或單獨的DSP或GPU功能設備需要獲取相機流并經由遠程控制中心處理相機流且將其作為相機主流再次打包。在一個實施方式中，對相機主流的并行計算(嗅探器)也是一個選擇。
[0053]下面提供的是可以利用本發明技術的其他應用的幾個例子。具體來說，基本視頻變換可以被用來創建可靠的虛擬試裝。
[0054]當位于線的另一側的用戶/多個用戶能夠看到參加者就好像參加者正在直視著他們一樣而不是看到從相機視點而得的圖像的情況下，基本視頻變換可以被用來創建可靠的視頻會議。替換地，變換可被用來創建好像用戶正看著另一用戶的眼睛這樣的圖像，以提供令人信服的、實時的體驗。
[0055]用于增強現實的基本視頻轉換可以被提供以用于多種用途，包括但不限于:身體操縱和調整大小，身體測量，醫療診斷/監控/培訓和/或跟蹤，游戲，試裝，約會，會議，安全，全身模擬器，舞蹈培訓，美發，化妝，一般培訓，旅游，等等。
[0056]實施方式可應用于其中用戶想改變自己外觀(例如，膚色，裝扮，臉部等等)的視頻會議或游戲。根據本發明，模型可允許平滑變化成為期望的外觀，或者甚至創建用戶被從視頻消去的圖像。
[0057]實施方式可以用于安全應用，具有當相機位于用戶眼睛的投影視角時在經校準的眼睛匹配(眼睛匹配)上的準確面部識別(參見，美國申請N0.13/843001)，具有動態QR(快速響應)碼識別(例如，經由移動應用程序的用戶授權和管理、或徽章、QR碼可以針對來自云端的移動應用程序生成，并且可以通過應用程序中的用戶身份驗證進行驗證)，具有全身識另O、掃描和獲知，具有項目識別(例如，衣服，制服，徽章等)，具有無線嗅探器(例如，無線網絡，蜂窩，超聲等)，具有針對安全數據庫的API，具有定位系統，具有公共信息等等。所述實施方式可以基于指定動作(例如，鎖門，打開/關閉光，釋放霧，射靶機，例如電擊、子彈、紙張等)的識別來與威脅預防動作一起使用。歸因于校準圖像的幾何形狀，圖像中對象的位置可以被非常精確地測量，并可以用來在對象上執行精確攻擊而不會對他人構成威脅。
[0058]可以提供實時和離線的外觀登記和比較，使得用戶可以跟蹤一段時間內和多年內的外觀變化。這些處理可以被提供以用于包括醫療登記在內的多種用途，其可以在給定的時間段內，在多個檢查之間使用例如針對體溫，血壓等的多個/不同的傳感器。
[0059]在一些實施方式中，帶有/沒有來自其它傳感器的補充信息的經校準的相機/多臺相機可用于患者診斷和患者監控。例如，雖然沒有特別限制，但本發明可用于監測和提醒皮膚問題，如皮膚癌黑色素瘤，針對乳腺癌可暗示進一步檢測的乳房變化，心率和血壓測量，患者體溫，用戶光暈，皮膚和指甲記錄監控變化，眼疾，轉動，骨骼，肌肉和身體靈活性趨勢和變化。
增強現實平臺
[0060]圖1是用于支持實時的或記錄的視頻/圖像處理的增強現實平臺的系統框圖。該系統可以包括一個或多個(1:n)輸入裝置101，其包括視頻相機、靜止相機、紅外相機、2D相機或3D相機。輸入裝置101可適于將信息發送到一個或多個機器視覺增強現實模塊102、103、104、105、107、108和109。所述一個或多個機器視覺增強現實模塊102、103、104、105、107、108和109可適于將信息發送到一個或多個(1