用于區(qū)分顯示為三維表示的用戶的活動(dòng)說話者的視覺指示符的自動(dòng)化的制作方法

背景技術(shù)：

1、用于在線會(huì)議應(yīng)用的虛擬實(shí)境環(huán)境的使用正變得無處不在。在線會(huì)議的參與者現(xiàn)在在三維(3d)虛擬環(huán)境中開會(huì)并且在這些虛擬環(huán)境內(nèi)共享內(nèi)容。盡管與其他形式的協(xié)作相比有許多益處，但是使用3d環(huán)境來共享內(nèi)容會(huì)帶來許多缺點(diǎn)。

2、針對(duì)在線會(huì)議應(yīng)用使用虛擬實(shí)境環(huán)境的主要問題之一是可能存在會(huì)議的參與者可能難以識(shí)別相關(guān)用戶活動(dòng)的場(chǎng)景。支持3d環(huán)境的一些系統(tǒng)可以允許許多用戶參與。一些3d環(huán)境允許數(shù)百個(gè)用戶。對(duì)于某些類型的事件，諸如會(huì)議，用戶可能難以識(shí)別參與感興趣的活動(dòng)的特定對(duì)話和特定人。當(dāng)用戶界面布置包括2d和3d渲染的組合時(shí)，該問題可能加劇。在這樣的布置中，3d環(huán)境的顯示可能僅采用顯示屏的一部分，從而減小3d環(huán)境的渲染的大小并且使得更難以識(shí)別3d環(huán)境的顯示器內(nèi)的相關(guān)用戶活動(dòng)。例如，如果3d環(huán)境的渲染僅利用顯示區(qū)域的一半，而顯示區(qū)域的另一半用于其他類型的渲染，則觀看者可能難以在3d環(huán)境的顯示器中識(shí)別某些類型的活動(dòng)。具體地，觀看者可能難以識(shí)別正在講話的人。

3、這些問題可能導(dǎo)致許多低效率，因?yàn)樗赡苄枰脩翎槍?duì)相關(guān)活動(dòng)而仔細(xì)掃描用戶界面。當(dāng)用戶正在查看具有大量顯示的化身的3d環(huán)境的渲染或僅采用顯示屏的一小部分的渲染時(shí)，這可能是困難的。此外，當(dāng)渲染3d環(huán)境時(shí)，導(dǎo)航工具并不總是被優(yōu)化以允許用戶搜索相關(guān)活動(dòng)。

4、這些缺點(diǎn)可能導(dǎo)致計(jì)算設(shè)備與用戶之間的無效交互，特別是在通信會(huì)話期間。此外，現(xiàn)有系統(tǒng)的上述缺點(diǎn)可能導(dǎo)致用戶參與的損失。不促進(jìn)用戶參與或更糟的促成用戶參與的損失和低于平均水平的交互的計(jì)算設(shè)備，可能導(dǎo)致關(guān)于多個(gè)計(jì)算資源的生產(chǎn)損失和低效率。例如，當(dāng)用戶變得疲勞或脫離(disengaged)時(shí)，當(dāng)錯(cuò)過或忽略共享內(nèi)容時(shí)，用戶可能需要參考其他資源，諸如文檔或使用其他形式的通信，例如文本或聊天消息。當(dāng)觀看者在實(shí)況會(huì)議期間錯(cuò)過顯著點(diǎn)或線索時(shí)，可能需要重新發(fā)送缺失內(nèi)容。此類活動(dòng)可能導(dǎo)致網(wǎng)絡(luò)、處理器、存儲(chǔ)器或其他計(jì)算資源的低效或重復(fù)使用。因此，不斷需要開發(fā)改進(jìn)以幫助使通信系統(tǒng)的用戶體驗(yàn)更符合或優(yōu)于親臨會(huì)議。

技術(shù)實(shí)現(xiàn)思路

1、本文公開的技術(shù)提供了自動(dòng)生成視覺指示符以顯示被顯示為3d表示的通信會(huì)話的活動(dòng)說話者的系統(tǒng)?？梢允褂酶髯晕挥?d環(huán)境內(nèi)的3d表示(例如，化身)在用戶界面中顯示通信會(huì)話的一些參與者。用戶界面還可以包括圖庫中顯示的其他參與者的2d圖像的多個(gè)渲染，例如網(wǎng)格或2d圖像的其他圖案。當(dāng)操作是指“圖庫模式”的顯示時(shí)，系統(tǒng)顯示用戶界面，該用戶界面包括圖庫布置(諸如網(wǎng)格或其他圖案)中的參與者的2d圖像的2d呈現(xiàn)的多個(gè)渲染。2d格式的渲染包括2d圖像文件的渲染，其可以包括靜止圖像或2d圖像的實(shí)況流。以圖庫模式顯示的用戶界面可包括來自具有2d設(shè)備(諸如具有2d顯示屏的個(gè)人計(jì)算機(jī)(pc)和指向用戶的單個(gè)相機(jī))的參與者的視頻流或圖像。為了說明的目的，圖庫是被指定用于顯示活動(dòng)說話者的視頻或圖像的顯示區(qū)域。當(dāng)被顯示為3d表示的用戶開始說話時(shí)，系統(tǒng)可以經(jīng)由檢測(cè)到來自用戶設(shè)備的音頻信號(hào)來檢測(cè)說話者”活動(dòng)。也可以以其他方式檢測(cè)說話者的活動(dòng)。例如，在一些配置中，可以通過分析用戶化身來檢測(cè)說話者。如果化身移動(dòng)指示說話者正在說話，則系統(tǒng)然后可以將用戶的補(bǔ)充圖像自動(dòng)添加到用戶界面中的圖庫。圖庫(gallery)是被指定用于活動(dòng)說話者的顯示區(qū)域。用戶的補(bǔ)充圖像的這種添加可以包括用戶的實(shí)況流視頻、用戶的動(dòng)畫或用戶的另一化身。補(bǔ)充圖像可以與位于3d環(huán)境內(nèi)的用戶的3d表示同時(shí)顯示。

2、本發(fā)明提供許多技術(shù)益處。例如，通過提供使視覺指示符自動(dòng)化以顯示活動(dòng)說話者的系統(tǒng)，特別是在通信系統(tǒng)中，用戶可以更有效地交換信息并獲得對(duì)會(huì)議的更廣泛上下文的更好理解。而且，通過查看活動(dòng)說話者的實(shí)際視頻流，而不是依賴于具有減小的大小的所顯示的化身，用戶可以容易地受益于查看細(xì)微姿勢(shì)和身體語言。這有助于減輕丟失或忽略共享內(nèi)容的發(fā)生。這可以減少用戶需要重新發(fā)送信息的發(fā)生。共享內(nèi)容的更有效的通信還可以幫助避免對(duì)外部系統(tǒng)(諸如用于短信發(fā)送和其他消息傳送平臺(tái)的移動(dòng)電話)的需要。這可以幫助減少網(wǎng)絡(luò)、處理器、存儲(chǔ)器或其他計(jì)算資源的重復(fù)使用，尤其是當(dāng)可以避免延長(zhǎng)的會(huì)議或附加會(huì)議時(shí)。

3、通過閱讀以下具體實(shí)施方式和對(duì)相關(guān)聯(lián)的附圖的回顧，除了上面明確描述的特征和技術(shù)益處之外的特征和技術(shù)益處將是顯而易見的。提供本
技術(shù)實(shí)現(xiàn)要素：
以引入簡(jiǎn)化形式的概念的選擇，這將在以下具體實(shí)施方式中進(jìn)一步描述。本發(fā)明內(nèi)容不旨在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵或基本特征，也不旨在用作確定所要求保護(hù)的主題的范圍的輔助。例如，術(shù)語“技術(shù)”可以指的是系統(tǒng)、方法、計(jì)算機(jī)可讀指令、模塊、算法、硬件邏輯和/或由上述上下文和整個(gè)文檔所允許的操作。

技術(shù)特征：

1.一種用于生成視覺指示符的方法，所述視覺指示符用于區(qū)分活動(dòng)說話者與顯示為3d表示的通信會(huì)話的用戶，所述方法被配置用于在系統(tǒng)上執(zhí)行，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，所述第二用戶界面布置包括為所述三維環(huán)境的渲染保留的第一區(qū)域和為所述通信會(huì)話的活動(dòng)說話者的渲染保留的第二區(qū)域，所述第二區(qū)域包括有資格作為活動(dòng)說話者的用戶的視頻流的2d渲染，其中，所述用戶的第二渲染是至少部分地顯示在所述第二區(qū)域內(nèi)的。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述第二用戶界面布置包括為所述三維環(huán)境的渲染保留的第一區(qū)域和為活動(dòng)說話者的渲染保留的第二區(qū)域，所述活動(dòng)說話者有資格進(jìn)入用戶的溢出隊(duì)列，所述溢出隊(duì)列相對(duì)于用戶的主要隊(duì)列是次要的，其中，所述用戶的所述第二渲染是至少部分地顯示在所述第二區(qū)域內(nèi)的。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述第二用戶界面布置包括為所述三維環(huán)境的渲染保留的第一區(qū)域和為所述通信會(huì)話的活動(dòng)說話者的渲染保留的第二區(qū)域，所述第二區(qū)域至少部分地與所述第一區(qū)域重疊，其中，所述用戶的所述第二渲染是至少部分地顯示在所述第二區(qū)域內(nèi)的。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述系統(tǒng)基于所述三維環(huán)境的渲染的大小來控制所述第一用戶界面布置到所述第二用戶界面布置的轉(zhuǎn)換，其中，當(dāng)所述三維環(huán)境的所述渲染的所述大小小于大小閾值時(shí)，所述系統(tǒng)阻止所述第一用戶界面布置到所述第二用戶界面布置的所述轉(zhuǎn)換，其中，當(dāng)所述三維環(huán)境的所述渲染的所述大小大于所述大小閾值時(shí)，所述系統(tǒng)允許所述第一用戶界面布置到所述第二用戶界面布置的所述轉(zhuǎn)換。

6.根據(jù)權(quán)利要求1所述的方法，其中，所述系統(tǒng)基于所述用戶的頭銜或角色來控制所述第一用戶界面布置到所述第二用戶界面布置的轉(zhuǎn)換，其中，如果所述用戶的所述頭銜或所述角色不滿足一個(gè)或多個(gè)準(zhǔn)則，則所述系統(tǒng)阻止所述第一用戶界面布置到所述第二用戶界面布置的所述轉(zhuǎn)換，其中，如果所述用戶的所述頭銜或所述角色滿足一個(gè)或多個(gè)準(zhǔn)則，則所述系統(tǒng)允許所述第一用戶界面布置到所述第二用戶界面布置的所述轉(zhuǎn)換。

7.根據(jù)權(quán)利要求1所述的方法，所述第二用戶界面布置包括為所述三維環(huán)境的渲染保留的第一區(qū)域和為所述通信會(huì)話的活動(dòng)說話者的渲染保留的第二區(qū)域，其中，所述第二區(qū)域?yàn)榫哂杏糜诿總€(gè)用戶渲染的個(gè)體部分的網(wǎng)格格式，其中，所述第一用戶界面布置到所述第二用戶界面布置的轉(zhuǎn)換包括為所述用戶的所述第二渲染添加新網(wǎng)格部分。

8.一種用于生成視覺指示符的系統(tǒng)，所述視覺指示符用于區(qū)分活動(dòng)說話者與顯示為3d表示的通信會(huì)話的用戶，所述系統(tǒng)包括：

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述第二用戶界面布置包括為所述三維環(huán)境的渲染保留的第一區(qū)域和為所述通信會(huì)話的活動(dòng)說話者的渲染保留的第二區(qū)域，所述第二區(qū)域包括有資格作為活動(dòng)說話者的用戶的視頻流的2d渲染，其中，所述用戶的所述第二渲染是至少部分地顯示在所述第二區(qū)域內(nèi)的。

10.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述第二用戶界面布置包括為所述三維環(huán)境的渲染保留的第一區(qū)域和為活動(dòng)說話者的渲染保留的第二區(qū)域，所述活動(dòng)說話者有資格進(jìn)入用戶的溢出隊(duì)列，所述溢出隊(duì)列相對(duì)于用戶的主要隊(duì)列是次要的，其中，所述用戶的所述第二渲染是至少部分地顯示在所述第二區(qū)域內(nèi)的。

11.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述第二用戶界面布置包括為所述三維環(huán)境的渲染保留的第一區(qū)域和為所述通信會(huì)話的活動(dòng)說話者的渲染保留的第二區(qū)域，所述第二區(qū)域至少部分地與所述第一區(qū)域重疊，其中，所述用戶的所述第二渲染是至少部分地顯示在所述第二區(qū)域內(nèi)的。

12.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述系統(tǒng)基于所述三維環(huán)境的渲染的大小來控制所述第一用戶界面布置到所述第二用戶界面布置的轉(zhuǎn)換，其中，當(dāng)所述三維環(huán)境的所述渲染的所述大小小于大小閾值時(shí)，所述系統(tǒng)阻止所述第一用戶界面布置到所述第二用戶界面布置的所述轉(zhuǎn)換，其中，當(dāng)所述三維環(huán)境的所述渲染的所述大小大于所述大小閾值時(shí)，所述系統(tǒng)允許所述第一用戶界面布置到所述第二用戶界面布置的所述轉(zhuǎn)換。

13.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述系統(tǒng)基于所述用戶的頭銜或角色來控制所述第一用戶界面布置到所述第二用戶界面布置的轉(zhuǎn)換，其中，如果所述用戶的所述頭銜或所述角色不滿足一個(gè)或多個(gè)準(zhǔn)則，則所述系統(tǒng)阻止所述第一用戶界面布置到所述第二用戶界面布置的所述轉(zhuǎn)換，其中，如果所述用戶的所述頭銜或所述角色滿足一個(gè)或多個(gè)準(zhǔn)則，則所述系統(tǒng)允許所述第一用戶界面布置到所述第二用戶界面布置的所述轉(zhuǎn)換。

14.根據(jù)權(quán)利要求8所述的系統(tǒng)，所述第二用戶界面布置包括為所述三維環(huán)境的渲染保留的第一區(qū)域和為所述通信會(huì)話的活動(dòng)說話者的渲染保留的第二區(qū)域，其中，所述第二區(qū)域?yàn)榫哂杏糜诿總€(gè)用戶渲染的個(gè)體部分的網(wǎng)格格式，其中，所述第一用戶界面布置到所述第二用戶界面布置的轉(zhuǎn)換包括為所述用戶的所述第二渲染添加新網(wǎng)格部分。

技術(shù)總結(jié)
所公開的技術(shù)提供使視覺指示符自動(dòng)化以顯示作為3D表示顯示的通信會(huì)話的活動(dòng)說話者的系統(tǒng)?？梢允褂酶髯晕挥?D環(huán)境內(nèi)的3D表示(例如，化身)在用戶界面中顯示通信會(huì)話的一些參與者。用戶界面還可以包括圖庫中顯示的其他參與者的2D圖像的多個(gè)渲染(例如，被指定用于活動(dòng)說話者的顯示區(qū)域)。當(dāng)被顯示為3D表示的用戶開始說話時(shí)，系統(tǒng)可以經(jīng)由對(duì)來自用戶設(shè)備的音頻信號(hào)的檢測(cè)來檢測(cè)說話者”活動(dòng)。響應(yīng)于該檢測(cè)，系統(tǒng)然后可以將用戶的補(bǔ)充圖像自動(dòng)添加到圖庫。補(bǔ)充圖像可以幫助觀看者導(dǎo)航通過顯示大量化身的復(fù)雜用戶界面布置。

技術(shù)研發(fā)人員：J·T·福爾克納
受保護(hù)的技術(shù)使用者：微軟技術(shù)許可有限責(zé)任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30