本申請要求于2014年6月27日提交的題為“TECHNOLOGIES FOR AUDIOVISUAL COMMUNICATION USING INTERESTINGNESS ALGORITHMS(用于使用興趣度算法進行視聽通信的技術)”的美國實用新型專利申請序列號14/317,607的優先權。
背景技術:
視頻電話會議是現代計算設備的流行應用,允許分布于全球的個人一起工作、學習和社交。相比音頻或文本通信技術,視頻通信可以提供視覺提示和其他重要的人類交互的更好機會。典型的視頻電話會議系統可以基于所傳輸的信號的音頻電頻來識別電話會議的哪一方在發言。當顯示各方時,可以放大或者以其他方式強調發言人,并且可以均勻地顯示或者以其他方式削弱電話會議的其他方。對于具有大量參與者(例如,展示)的電話會議,可能難以詳細地觀察除了發言人以外的每一方或者以其他方式與其進行交互。
興趣度是在數據挖掘和知識發現領域中使用的概念。處理大量數據可能涉及應用數據挖掘算法來識別數據內的模式以及之后將進一步分析僅集中在所識別的模式中的“令人感興趣的”模式。因此,興趣度是對以下事項的度量:在數據內所識別的哪些模式令人感興趣的。具體地,興趣度度量可以指示與數據集合相關的特定模式的相關性、準確度或代表性。在Data Mining and Knowledge Discovery Handbook(數據挖掘與知識發現手冊)(編者:Oded Maimon(奧代德·邁蒙)和Lior Rokach(利奧·羅卡奇),2010年第二版)中的Interestingness Measures:On Determining What Is Interesting(興趣度度量:論確定什么是有趣的(Sigal Sahar(西加爾薩哈爾)))調查了用于測量興趣度的各種技術和算法。
附圖說明
在附圖中,以示例的方式而非限制的方式來展示在本文中所描述的概念。為了說明的簡單和清楚起見,在附圖中所展示的元件不一定按比例繪制。在認為適當的情況下,在附圖之間重復參考標號以表示相應或相似的元件。
圖1是一種用于視聽通信的系統的至少一個實施例的簡化框圖;
圖2是可以由圖1的系統建立的各種環境的至少一個實施例的簡化框圖;
圖3是可以由圖1和圖2的視聽客戶端設備執行的一種用于捕獲和顯示視聽流的方法的至少一個實施例的簡化流程圖;以及
圖4是可以由圖1和圖2的視聽服務器執行的一種用于分析、選擇和傳輸視聽流的方法的至少一個實施例的簡化流程圖。
具體實施方式
雖然本公開的概念易于經歷各種修改和替代形式,但是在附圖中已經通過示例的方式來示出了其特定實施例并且將在本文中詳細地對其進行描述。然而,應當理解的是,不意在將公開的概念限制于所公開的特定形式,而相反,旨在覆蓋與本公開和所附權利要求一致的所有修改型式、等效型式和替代型式。
在說明書中提到的“一個實施例”、“實施例”、“說明性施例”等指示所描述的實施例可以包括特定特征、結構或特性,但每一個實施例可能或者可能不一定包括該特定特征、結構或特性。此外,這種短語不一定指相同的實施例。此外,當關于實施例而描述了特定特征、結構或特性時,所認為的是,無論是否進行了明確描述,關于其他實施例來實現這種特征、結構或特性都在本領域技術人員的知識內。另外地,應當認識的是,包括在采用“至少一個A、B和C”的形式的列表中的項目可以指(A)、(B)、(C)、(A和B)、(B和C)或(A、B和C)。類似地,采用“A、B和C中的至少一者”的形式來列出的項目可以指(A)、(B)、(C)、(A和B)、(B和C)或(A、B和C)。
在一些情況下,可以在硬件、固件、軟件或其任意組合中實施所公開的實施例。還可以將所公開的實施例實施為由瞬態或非瞬態機器可讀(例如,計算機可讀)存儲介質承載或者存儲在其上的可由一個或多個處理器來讀取和執行的指令。機器可讀存儲介質可以具體化為任何存儲設備、機制、或用于存儲或傳輸采用機器可讀形式的信息的其他物理結構(例如,易失性或非易失性存儲器、介質盤、或其他介質設備)。
在附圖中,可以采用特定安排和/或排序來示出一些結構特征或方法特征。然而,應當認識到的是,可能不需要此類特定的安排和/或排序。相反,在一些實施例中,可以采用不同于在說明性圖中所示出的方式和/或順序來安排這種特征。另外,在具體的圖中包括結構性特征或方法特征并不意味著暗示在所有的實施例中都需要這個特征,并且在某些實施例中,可以不包括這個特征或者這個特征可以與其他特征組合。
現在參照圖1,在說明性實施例中,一種用于視頻會議的系統100包括能夠通過網絡110進行通信的多個視聽客戶端設備102和視聽服務器108。可以按角色將視聽客戶端設備102進一步分類為視聽展示者設備104和多個視聽受眾設備106。如以下所描述的,在使用中,視聽客戶端設備102中的每一個視聽客戶端設備捕獲視聽流并將視聽流傳輸至視聽服務器108。視聽客戶端設備102中的每一個視聽客戶端設備還捕獲傳感器輸入數據并將傳感器輸入數據傳輸至視聽服務器108。視聽服務器108針對視聽受眾設備106中的每一個視聽受眾設備而基于傳入的傳感器輸入數據來確定興趣度評級,并且選擇對應于具有高興趣度評級的視聽受眾設備106的一個或多個視聽流。視聽服務器108將所選視聽流傳輸至視聽展示者設備104。視聽服務器108可以基于從視聽展示者設備104和/或視聽受眾設備106中接收的傳感器輸入數據來精化或者以其他方式改進興趣度評級算法。在一些實施例中,視聽服務器108可以將從視聽展示者設備104中接收的視聽流傳輸至視聽受眾設備106中的每一個視聽受眾設備。
因此,視聽展示者設備104顯示來自相對小數量的興趣視聽受眾設備106的視聽流,允許展示者更加詳細地觀察那些受眾成員。因此,展示者可以意識到由一些受眾成員顯示的視覺和/或其他非語言線索,并且相應地對展示進行調整。例如,展示者可能能夠更加容易地估計受眾情緒、識別配合或不配合的受眾成員、或者以其他方式改進展示的質量。
每一個視聽客戶端設備102可以具體化為用于執行在本文中所描述的功能的任何類型的設備。例如,每一個視聽客戶端設備102可以具體化為(不限于)智能電話、平板計算機、膝上計算機、筆記本計算機、移動計算設備、可穿戴計算設備、蜂窩電話、手機、消息傳遞設備、車輛遠程信息處理設備、服務器計算機、臺式計算機、工作站、分布式計算系統、多處理器系統、消費者電子設備、和/或被配置成用于執行在本文中所描述的功能的任何其他計算設備。說明性視聽客戶端設備102包括處理器120、輸入/輸出子系統122、存儲器124、以及數據存儲設備126。當然,在其他實施例中,每一個視聽客戶端設備102可以包括其他或附加部件,比如,在計算機中常見的部件(例如,各種輸入/輸出設備)。另外,在某些實施例中,這些示意性部件中的一個或多個可以結合在另一部件中,或另外形成其一部分。例如,在一些實施例中,可以將存儲器124或者其部分結合到處理器120中。
處理器120可以具體化為能夠執行在本文中所描述的功能的任何類型的處理器。例如,處理器120可以具體化為(多個)單核或多核處理器、數字信號處理器、微控制器、或其他處理器或處理/控制電路。類似地,存儲器124可以具體化為能夠執行在此所述功能的任何類型的易失性或非易失性存儲器或數據儲存器。在操作中,存儲器124可以存儲在如操作系統、應用、程序、庫和驅動程序等視聽客戶端設備102的操作期間使用的各種數據和軟件。存儲器124經由I/O子系統122通信地耦合至處理器120,所述I/O子系統可以具體化為用于促進與視聽客戶端設備102的處理器120、存儲器124、以及其他部件的輸入/輸出操作的電路和/或部件。例如,I/O子系統122可以具體化為、或能以其他方式包括用于促進輸入/輸出操作的存儲器控制器中樞、輸入/輸出控制中樞、固件設備、通信鏈路(即,點到點鏈路、總線鏈路、線、電纜、光導、印刷電路板跡線等)和/或其他部件和子系統。在一些實施例中,I/O子系統122可以形成片上系統(SoC)的一部分,并且與視聽客戶端設備102的處理器120、存儲器124和其他部件一起被結合在單個集成電路芯片上。
數據存儲設備126可以具體化為配置成用于對數據進行短期或長期存儲的任何類型的一種或多種設備,例如,存儲器設備和電路、存儲卡、硬盤驅動器、固態驅動器或其他數據存儲設備。數據存儲設備126可以存儲由視聽客戶端設備102捕獲的視聽數據或傳感器輸入數據,或者要由視聽客戶端設備102呈現的視聽數據。
每一個視聽客戶端設備102進一步包括通信電路128,所述通信電路可以具體化為能夠實現視聽客戶端設備102、視聽服務器108和/或其他遠程設備之間的通信的任何通信電路、設備、或其集合。通信電路128可以被配置成用于使用任何一項或多項通信技術(例如,無線或有線通信)和相關聯的協議(例如,以太網、藍牙、WiMAX等)來實現這種通信。通信電路128可以具體化為網絡適配器,包括無線網絡適配器。
在說明性實施例中,每一個視聽客戶端設備102進一步包括顯示器130、音頻設備132、音頻輸入134、攝像頭136、以及多個傳感器138。視聽客戶端設備102的顯示器130可以具體化為能夠顯示數字信息的任何類型的顯示器,比如,液晶顯示器(LCD)、發光二極管(LED)、等離子顯示器、陰極射線管(CRT)、或者其他類型的顯示設備。在一些實施例中,可以將顯示器130耦合至觸摸屏幕,以允許與視聽客戶端設備102的用戶交互。音頻設備132可以具體化為能夠生成音頻信號以供輸出的任何設備,比如,紙盆揚聲器、音頻換能器、音頻輸出插孔、數模轉換器(DAC)、或者其他類型的音頻設備。
音頻輸入134可以具體化為能夠捕獲音頻信號的任何傳感器,比如,麥克風、線路輸入插孔和相關聯的電路、模數轉換器(ADC)、或者其他類型的音頻傳感器。攝像頭136可以具體化為數字攝像頭或者與視聽客戶端設備102相整合或者以其他方式通信地耦合至所述視聽客戶端設備的其他數字成像設備。攝像頭136包括電子圖像傳感器,比如,如互補金屬氧化物半導體(CMOS)傳感器或電荷耦合器件(CCD)等有源像素傳感器(APS)。攝像頭136可以用于捕獲視聽客戶端設備102的環境的靜止圖像或視頻圖像,包括(在一些實施例中)捕獲視聽客戶端設備102的用戶。例如,視聽展示者設備104的攝像頭136可以捕獲展示者,并且每一個視聽受眾設備106的攝像頭136可以捕獲受眾成員。因此,在一些實施例中,音頻輸入134和攝像頭136可以協作捕獲適合用于視頻會議的視聽流。
傳感器138能夠生成傳感器輸入數據,所述傳感器輸入數據指示視聽客戶端設備102的環境。相應地,傳感器138可能能夠檢測與視聽客戶端設備102的用戶的狀態相關的傳感器輸入數據,包括用戶的關注水平、存在、或者對與視聽客戶端設備102的參與的其他指示。在一些實施例中,傳感器138可以包括、被耦合至、或者被具體化為視聽客戶端設備102的其他部件,比如,音頻輸入134和/或攝像頭136。在一些實施例中,傳感器138可以包括眼睛跟蹤傳感器140和面部表情傳感器142。另外地或可替代地,傳感器138可以包括可穿戴設備、生物計量設備、以及能夠測量用戶的狀態的其他設備。
眼睛跟蹤傳感器140可以具體化為能夠確定用戶的凝視方向的任何一個或多個有源或無源傳感器。例如,在一些實施例中,眼睛跟蹤傳感器140可以使用有源紅外發射器和紅外檢測器來追蹤觀察者眼睛隨時間的運動。眼睛跟蹤傳感器140可以捕獲從觀察者眼睛的各種內部和外部特征中反射的紅外光,并且由此計算觀察者的凝視方向。在其他實施例中,眼睛跟蹤傳感器140可以具體化為能夠記錄用戶眼睛運動的攝像機。在一些實施例中,眼睛跟蹤傳感器140可以收集針對用戶雙眼的眼睛跟蹤數據,以便改進追蹤準確度。在那些實施例中,眼睛跟蹤傳感器140可使用多余一個有源或無源傳感器部件來追蹤用戶雙眼。另外地或可替代地,在一些實施例中,眼睛跟蹤傳感器140可以執行三維眼睛跟蹤,所述三維眼睛跟蹤對用戶眼睛的凝視方向連同用戶眼睛所集中的距離進行追蹤。例如,眼睛跟蹤傳感器140可以確定用戶雙眼的觀察角度,允許計算到物體的距離。
在一些實施例中,傳感器138可以包括面部表情傳感器142。面部表情傳感器142能夠檢測視聽客戶端設備102的用戶的面部表情并對其進行分類。例如,面部表情傳感器142可以對來自攝像頭136和/或其他傳感器138的數據進行分析以確定面部表情。面部表情傳感器142可以具體化為視聽客戶端設備102的能夠對面部表情進行分析的硬件、固件、軟件或任何其他部件。另外地或可替代地,傳感器138可以包括用于補充或替代眼睛跟蹤傳感器140和/或面部表情傳感器142的其他傳感器。例如,傳感器138可以包括可以用于例如幫助確定用戶心情的溫度傳感器,在一些實施例中與所檢測的面部表情相關。
視聽服務器108可以具體化為用于處理如在本文中所描述的視聽流的任何類型的設備。例如,視聽服務器108可以具體化為(不限于)服務器計算機、工作站、臺式計算機、智能電話、平板計算機、膝上計算機、筆記本計算機、移動計算設備、蜂窩電話、手機、消息傳遞設備、車輛遠程信息處理設備、分布式計算系統、多處理器系統、消費者電子設備、和/或被配置成用于執行在本文中所描述的功能的任何其他計算設備。進一步地,視聽服務器108可以具體化為單個服務器計算設備或者服務器與相關聯的服務器的集合。例如,在一些實施例中,視聽服務器108可以具體化為用于執行在本文中所描述的功能的云服務。在這種實施例中,視聽服務器108可以具體化為由分布在網絡110上并且在公共或私有云中進行操作的多個計算設備來形成的“虛擬服務器”。相應地,盡管在圖1中展示了視聽服務器108并且以下將其描述為被具體化為單個服務器計算設備,但是應當認識的是,可以將視聽服務器108具體化為一起協作促進以下所描述的功能的多個設備。
如在圖1中所示出的,說明性視聽服務器108可以包括類似于視聽客戶端設備102的部件和特征,比如,處理器180、I/O子系統182、存儲器184、數據存儲186、通信電路188、以及各種外圍設備。視聽服務器108的那些單獨部件可以類似于每一個視聽客戶端設備102的相應部件,對其的描述適用于視聽服務器108的相應部件,并且為了本說明書的清晰起見,不對其進行重復。
現在參照圖2,在一些實施例中,每一個視聽客戶端設備102在操作期間建立環境200。說明性環境200包括視聽捕獲模塊202、傳感器控制模塊206、以及顯示模塊210。如以下所描述的,在一些實施例中,環境200還可以包括興趣度模塊224。環境200的各種模塊可以具體化為硬件、固件、軟件或其組合。
視聽捕獲模塊202被配置成用于捕獲一個或多個視聽流。例如,視聽捕獲模塊202可以使用攝像頭136和音頻輸入134來記錄視聽客戶端設備102的用戶的視頻流。如以下所描述的,向傳感器控制模塊206和視聽服務器108提供視聽流。在一些實施例中,視聽捕獲模塊202可以被配置成用于縮放或以其他方式集中視聽流。如以下所描述的,視聽客戶端設備102可以從視聽服務器108中接收用于將視聽流集中在特定對象上的指令。在一些實施例中,可由子模塊(例如,縮放控制模塊204)執行那些功能。
傳感器控制模塊206被配置成用于捕獲來自傳感器138的傳感器輸入數據,以及用于分析并調節所捕獲的傳感器輸入數據。傳感器控制模塊206還可以捕獲、關聯、或者以其他方式從視聽捕獲模塊202中接收所捕獲的視聽流。傳感器控制模塊206可以過濾、處理、或者以其他方式將傳感器輸入數據變換成可以用于附加分析的格式。例如,傳感器控制模塊206可以生成更高抽象化水平的適合用于進一步分析的傳感器數據。可以向視聽服務器108和/或(在一些實施例中)視聽客戶端設備102的興趣度模塊224提供經調節的傳感器輸入數據。在一些實施例中,傳感器控制模塊206可以被配置成用于集中、引導、或者以其他方式指導傳感器138和/或視聽捕獲模塊202集中于特定對象。如以下所描述的,視聽客戶端設備102可以從視聽服務器108中接收用于將傳感器輸入數據集中在特定對象上的指令。在一些實施例中,可由子模塊(例如,傳感器引導模塊208)執行那些功能。
顯示模塊210被配置成用于從視聽服務器108中接收一個或多個所選視聽流以及用于顯示所選視聽流。如以下所描述的,可以基于由視聽服務器108和/或視聽客戶端設備102的興趣度模塊224確定的興趣度評級來選擇視聽流。所選特定視聽流可以取決于每一個視聽客戶端設備102的角色;例如,視聽受眾設備106中的每一個視聽受眾設備可以從視聽展示者設備104中接收視聽流,并且視聽展示者設備104可以從具有高興趣度評級的視聽受眾設備106中接收一個或多個視聽流。
仍參照圖2,在一些實施例中,視聽服務器108在操作期間建立環境220。說明性環境220包括混合器模塊222和興趣度模塊224。環境220的各種模塊可以具體化為硬件、固件、軟件或其組合。
興趣度模塊224被配置成用于基于相關聯的傳感器輸入數據和/或視聽流來確定與視聽客戶端設備102相關聯的興趣度評級。在一些實施例中,可以針對視聽受眾設備106而不是視聽展示者設備104而確定興趣度評級。興趣度評級可以提供對相關聯的視聽流的相關性、準確度、或代表性的指示。興趣度模塊224被進一步配置成用于基于興趣度來對視聽客戶端設備102進行排名。另外地,興趣度模塊224被配置成用于基于從視聽客戶端設備102中接收的反饋來更新興趣度算法。興趣度模塊224可以對可以用于更新興趣度算法的興趣度歷史數據232進行維護。在一些實施例中,可由一個或多個子模塊執行那些功能,例如,由評級模塊226、排名模塊228、或反饋模塊230。
如以上所描述的,在一些實施例中,環境200還可以包括興趣度模塊224和/或興趣度歷史數據232。在那些實施例中,興趣度模塊224可以在環境200和環境220兩者中執行相同的功能。另外地或可替代地,可以在環境200與環境220之間部分或完全地共享或以其他方式分配興趣度模塊224的功能。
混合器模塊222被配置成從視聽客戶端設備102中接收視聽流。混合器模塊222還被配置成用于針對視聽客戶端設備102中的每一個視聽客戶端設備而基于興趣度評級來選擇一個或多個視聽流,以及用于將所選視聽流傳輸至適當的視聽客戶端設備102。例如,混合器模塊222可以將從視聽展示者設備104中接收的視聽流傳輸至視聽受眾設備106中的每一個視聽受眾設備,并且可以將從具有高興趣度評級的視聽受眾設備106中接收的一個或多個視聽流傳輸至視聽展示者設備104。
現在參照圖3,在使用中,每一個視聽客戶端設備102可以執行用于視聽通信的方法300。可由視聽展示者設備104或視聽受眾設備106中的任何視聽受眾設備執行方法300。在一些實施例中,可以以不同的順序來執行方法300的各種過程。方法300開始于框302,在所述框中,視聽客戶端設備102捕獲視聽輸入流。視聽流可以具體化為適合用于網絡傳輸和/或顯示的任何格式。可以使用攝像頭136和音頻輸入134來捕獲視聽流。在一些實施例中,在框304中,視聽客戶端設備102可以基于從視聽服務器108中接收的指令來集中于對象上。視聽客戶端設備102可以關于指定的對象而執行用于集中、指導、或者以其他方式改進所捕獲的視聽流的質量的任何技術。例如,視聽客戶端設備102可以集中、縮放、或者以其他方式指導攝像頭136朝向所標識的發言人,以便擴大或改進所捕獲的視聽流的質量。
在框306中,視聽客戶端設備102將所捕獲的視聽輸入流傳輸至視聽服務器108。如以下所描述的,可以將視聽輸入流進一步傳輸至一個或多個其他視聽客戶端設備102。在一些實施例中,視聽客戶端設備102可以傳輸附加或可替代的視聽流。例如,視聽展示者設備104還可以將幻燈片、屏幕截圖、展示筆記、或者其他補充內容傳輸至視聽服務器108。
在框308中,視聽客戶端設備102使用傳感器138來捕獲傳感器輸入數據。傳感器輸入數據可以指示視聽客戶端設備102的用戶(例如,展示者或受眾成員)的狀態或者(在一些實施例中)視聽客戶端設備102的一般環境(例如,背景噪音)。例如,傳感器輸入數據可以指示用戶的面部表情(比如,用戶是否微笑)、與用戶相關聯的眼睛跟蹤信息、用戶的情緒反應、或者用戶的狀態的任何其他參數。另外地或可替代地,在一些實施例中,視聽客戶端設備102可以捕獲傳感器數據,所述傳感器數指示正在使用相同視聽客戶端設備102的若干用戶的狀態。在一些實施例中,在框310中,視聽客戶端設備102可以捕獲來自眼睛跟蹤傳感器140的眼睛跟蹤傳感器數據。眼睛跟蹤傳感器數據可以指示用戶的凝視方向。例如,眼睛跟蹤傳感器數據可以指示用戶凝視顯示器130上的特定點并且因此凝視在該點處顯示的特定視聽流。另外地或可替代地,眼睛跟蹤傳感器數據可以指示用戶是否凝視顯示器130或其他地方。在一些實施例中,在框312中,視聽客戶端設備102可以使用面部表情傳感器142來捕獲面部表情數據。當然,在一些實施例中,視聽客戶端設備102可以使用攝像頭136來捕獲面部表情數據,而無需使用不同的面部表情傳感器142。在一些實施例中,在框314中,視聽客戶端設備102可以捕獲與用戶的講話相關的音調和/或音高信息。視聽客戶端設備102可以使用音頻輸入134或任何其他音頻輸入和處理部件來捕獲音調和/或音高信息。在一些實施例中,在框316中,視聽客戶端設備102可以捕獲溫度數據。溫度水平可以指示視聽客戶端設備102的用戶的溫度,并且因此也可以指示用戶的心情、警覺性、或其他屬性。可以使用溫度傳感器、熱成像儀、生物測量設備、或者能夠確定溫度的任何其他設備來捕獲溫度數據。
在一些實施例中,在框318中,視聽客戶端設備102可以基于從視聽服務器108中接收的指令來使傳感器138集中在對象上。類似于集中視聽輸入流,視聽客戶端設備102可以關于指定的對象而執行用于集中、指導、或者以其他方式改進傳感器輸入數據的質量的任何技術。例如,視聽客戶端設備102可以集中、縮放、或者以其他方式指導眼睛跟蹤傳感器140朝向所標識的發言人,以便擴大或改進傳感器輸入數據的質量。
在捕獲傳感器輸入數據之后,在框320中,視聽客戶端設備102對傳感器輸入數據進行分析和抽象化。如以下所描述的,視聽客戶端設備102可以過濾、處理、或者以其他方式來將傳感器輸入數據變換成可由視聽服務器108使用的抽象化傳感器輸入數據。抽象化傳感器輸入數據可以具體化為對更小尺寸、更高粒度、更高抽象化水平的傳感器輸入數據的表示。例如,在一些實施例中,視聽客戶端設備102可以處理原始傳感器輸入數據并且生成更高抽象化水平的適合用于進一步分析的傳感器數據。例如,視聽客戶端設備102可以平滑處理或以其他方式過濾眼睛跟蹤傳感器數據以移除高頻眼睛運動。在一些實施例中,視聽客戶端設備102可以處理原始視頻數據以生成指示面部表情的數據,例如,描述用戶面部特征的位置的數據或者面部表情的符號表示(例如,微笑、皺眉、困惑、興趣等)。
如以下進一步描述的,在框322中,視聽客戶端設備102將經調節的傳感器輸入數據傳輸至視聽服務器108以便進行分析。在一些實施例中,如以下所描述的,傳感器輸入數據可由視聽服務器108用于確定與視聽客戶端設備102相關聯的興趣度水平。例如,視聽服務器108可以對從視聽受眾設備106中接收的傳感器輸入數據進行分析以按興趣度的順序來對視聽受眾設備106進行排名。另外地或可替代地,在一些實施例中,傳感器輸入數據可由視聽服務器108用作用于改進其興趣度算法的反饋。作為另一個示例,視聽服務器108可以對從視聽展示者設備104中接收的傳感器輸入數據進行分析以判定用戶關注水平是否與被分配至每一個所選視聽流的興趣度排名一致。
在框324中,視聽客戶端設備102從視聽服務器108中接收一個或多個所選視聽流。視聽流中的每一個視聽流可以源自不同的視聽客戶端設備102。例如,視聽展示者設備104可以接收對應于具有相對高興趣度評級的視聽受眾設備106的一個或多個視聽流。相應地,每一個視聽受眾設備106可以接收源自視聽展示者設備104的視聽流。在一些實施例中,所選視聽流可以是源自視聽展示者設備104的若干視聽流之一(例如,視頻饋送、幻燈片流、屏幕截圖流、展示筆記、或者其他替代性視聽流)。
在框326中,視聽客戶端設備102在顯示器130上顯示所選視聽流。視聽客戶端設備102可以采用任何適當格式來顯示視聽流,包括平鋪視聽流、層疊視聽流、或者順序地顯示視聽流。在一些實施例中,在框328中,視聽客戶端設備102可以顯示對關聯于視聽流和/或其相關聯的視聽客戶端設備102的興趣度評級的指示。例如,視聽客戶端設備102可以疊加興趣度的視覺指示器,比如,條形碼、顏色編碼、或者關于視聽流的數字顯示。作為另一個示例,視聽客戶端設備102可以基于基于興趣度來強調特定視聽流,例如,通過使用最大的尺寸或者在顯示器130的中心顯示最有興趣的視聽流。在顯示所選視聽流之后,方法300循環回框302以繼續捕獲視聽流。
現在參照圖4,在使用中,視聽服務器108可以執行用于視聽通信的方法400。方法400開始于框402,在所述框中,視聽服務器108接收由視聽客戶端設備102中的每一個視聽客戶端設備捕獲的視聽流。視聽流可以包括例如由視聽客戶端設備102的攝像頭136和音頻輸入134捕獲的視頻饋送。另外地或可替代地,視聽服務器108可以從視聽客戶端設備102中接收附加或可替代的視聽流。例如,視聽服務器108還可以從視聽展示者設備104中接收幻燈片、屏幕截圖、展示筆記、或者其他補充內容。
在框404中,視聽服務器108從每一個視聽客戶端設備102的傳感器控制模塊206中接收傳感器輸入數據。如以上所描述的,傳感器輸入數據可以包括眼睛跟蹤數據、面部表情數據、音調或音高數據、溫度數據、或指示視聽客戶端設備102的環境或視聽客戶端設備102的用戶的任何其他傳感器數據。
在框406中,視聽服務器108對關聯于視聽受眾設備106中的每一個視聽受眾設備的興趣度值進行評級。興趣度值可以表示預期視聽展示者設備104的用戶對與視聽受眾設備106相關聯的特定視聽流多么感興趣。因此,興趣度值可以表示對特定視聽受眾設備106的準確度、相關性、或代表性的確定。例如,高興趣度值可以指示相關聯的受眾成員是否專注、興奮、或者以其他方式配合展示者,而低興趣度值可以指示受眾成員思想不集中、心不在焉、或者以其他方式不配合。作為另一個示例,高興趣度值可以指示受眾成員高度代表其他受眾成員(即,受眾成員顯示了與許多其他受眾成員相同的參與水平)。作為又一個示例,興趣度值可以指示視聽流是否與展示相關(例如,包括大聲的背景噪音的視聽流可能不是相關的)。另外地或可替代地,視聽服務器108可以使用單個視聽受眾設備106來確定多個受眾成員的興趣度值。視聽服務器108可以使用任何興趣度算法來確定興趣度值,包括主觀興趣度算法、客觀興趣度算法、公正興趣度算法、或者任何其他興趣度算法。
在一些實施例中,在框408中,視聽服務器108可以向一個或多個視聽客戶端設備102傳輸用于集中傳感器輸入數據以改進興趣度分析的指令。例如,視聽服務器108可以確定:與特定興趣度值相關聯的置信水平較低,或者可以以其他方式使用更好的傳感器輸入數據來改進興趣度值。如果可以改進傳感器輸入數據,那么視聽服務器108可以生成用于集中傳感器輸入的指令。
盡管被展示為在視聽服務器108上發生,但是在一些實施例中,可以在視聽客戶端設備102中的一個或多個視聽客戶端設備上完全或部分地生成興趣度評級。例如,每一個視聽客戶端設備102可以完全或部分地確定其自己的興趣度評級并將該興趣度評級(或者部分興趣度評級)提交至視聽服務器108。
在框410中,視聽服務器108按照視聽受眾設備106的相關聯的興趣度評級來對所述視聽受眾設備進行排名。視聽服務器108可以使用任何適當的排名。例如,視聽服務器108可以采用升序或降序來對視聽受眾設備106進行排名。
在框412中,視聽服務器108基于相關聯的興趣度評級來選擇一個或多個視聽流,以便傳輸至每一個視聽客戶端設備102。在一些實施例中,在框414中,視聽服務器108可以選擇與最高排名的視聽受眾設備106相關聯的一個或多個視聽流,以便傳輸至視聽展示者設備104。選擇具有最高興趣度評級的視聽受眾設備106可以允許展示者觀察來自視聽受眾設備106的最準確、最相關、和最具代表性的視聽流。另外地或可替代地,在一些實施例中,視聽服務器108可以選擇與最低排名的視聽受眾設備106(未示出)相關聯的一個或多個視聽流。例如,選擇具有最低興趣度評級的視聽受眾設備106可以允許指導者監測困惑的、不專注的、或者以其他方式不配合展示的受眾成員。
在一些實施例中,在框416中,視聽服務器108可以基于與視聽受眾設備106中的每一個視聽受眾設備相關聯的興趣度評級來選擇展示者流。例如,如以上所討論的,與視聽受眾設備106相關聯的興趣度評級可以指示受眾成員是困惑的、不專注的、或者不配合的。在那些情況中,視聽服務器108可以選擇替代性或補充展示者流(例如,幻燈片、屏幕截圖、展示筆記、或者其他流)以便傳輸至視聽受眾設備106。
在框418中,視聽服務器108將所選視聽流傳輸至視聽客戶端設備102中的每一個視聽客戶端設備。如以上所描述的,視聽服務器108可以將一個或多個視聽流傳輸至與具有最高興趣度評級的視聽受眾設備106相關聯的視聽展示者設備104。進一步地,視聽服務器108可以將一個或多個視聽流從視聽展示者設備104傳輸至視聽受眾設備106中的每一個視聽受眾設備。
在框420中,視聽服務器108基于從視聽客戶端設備102中接收的反饋來更新興趣度評級算法。視聽服務器108可以存儲歷史興趣度數據,包括之前的興趣度排名和相關聯的傳感器輸入數據,以供用于更新興趣度評級算法。
在框422中,視聽服務器108基于與展示者相關聯的歷史興趣度數據來更新興趣度算法。視聽服務器108可以對源自視聽展示者設備104的傳感器輸入數據和/或視聽流進行分析,以判定展示者是否與通過興趣度算法確定的興趣度評級一致。在一些實施例中,在框424中,視聽服務器108可以確定展示者的與每一個所選A/V流相關聯的關注水平。例如,視聽服務器108可以對來自視聽展示者設備104的眼睛跟蹤傳感器數據進行分析,以確定展示者凝視所選視聽流。接下來,在那些實施例中,在框426中,視聽服務器108可以將所確定的展示者關注水平與關聯于每一個所選視聽流的興趣度排名進行比較。例如,視聽服務器108可以確定:展示者主要凝視特定視聽流,但是特定視聽流的排名低于其他視聽流。視聽服務器108可以基于該比較來更新興趣度評級算法。
在框428中,視聽服務器108基于與受眾成員相關聯的歷史興趣度數據來更新興趣度算法。例如,可以基于特定面部表情、姿勢、音調或音高信息、或者從視聽受眾設備106中接收的其他傳感器輸入數據來調整興趣度算法。基于歷史受眾數據來更新興趣度算法可以允許自動或緊急地識別與興趣度相關聯的特征(例如,面部表情、姿勢、眼睛集中模式等)。另外地或可替代地,基于歷史受眾數據來更新興趣度算法可以解釋受眾文化或組成的差異(例如,適應來自不同國家的受眾的文化差異)。
在一些實施例中,在框430中,視聽服務器108可以基于源自其他通信會話的歷史展示者和/或受眾數據來更新興趣度算法。視聽服務器108可以基于與涉及相同展示者和/或受眾成員的先前通信會話相關聯的數據來更新興趣度算法。另外地或可替代地,視聽服務器108可以基于與任先前通信會話(包括不涉及當前展示者和/或受眾成員的會話)相關聯的數據來更新興趣度算法。在更新興趣度評級算法之后,方法400循環回框402以繼續從視聽客戶端設備102中接收視聽流。
示例
以下提供了在本文中所公開的技術的說明性示例。所述技術的實施例可以包括以下所描述的示例中的任何一個或多個示例或者其任何組合。
示例1包括一種用于視聽通信的視聽服務器,所述視聽服務器包括:混合器模塊,所述混合器模塊用于從多個視聽受眾設備接收多個視聽流,其中,每一個視聽流由相應的視聽受眾設備捕獲;以及興趣度模塊,所述興趣度模塊用于:從所述多個視聽受眾設備中的每一個視聽受眾設備接收傳感器輸入數據,所述傳感器輸入數據指示所述相應的視聽受眾設備的用戶的狀態;使用興趣度算法基于所述傳感器輸入數據來確定與每一個視聽受眾設備相關聯的興趣度評級;以及基于與每一個視聽客戶端設備相關聯的所述興趣度評級來選擇所述多個視聽流中的視聽流;其中,所述混合器模塊進一步用于將所述所選視聽流傳輸至視聽展示者設備。
示例2包括如示例1所述的主題,并且其中,所述興趣度模塊進一步用于基于所述相關聯的興趣度評級來對所述多個視聽受眾設備進行排名;并且其中,用于選擇所述視聽流包括用于選擇由具有最高興趣度評級的視聽受眾設備捕獲的視聽流。
示例3包括如示例1和2中任一項所述的主題,并且其中,所述興趣度評級包括與每一個視聽受眾設備相關聯的準確度值、相關度值或代表性值。
示例4包括如示例1至3中任一項所述的主題,并且其中,所述興趣度評級指示所述視聽受眾設備的用戶的參與水平。
示例5包括如示例1至4中任一項所述的主題,并且其中,所述傳感器輸入數據包括眼睛跟蹤數據、面部表情數據、音高數據、音調數據、或溫度數據。
示例6包括如示例1至5中任一項所述的主題,并且其中,所述興趣度模塊進一步用于:判定是否可以通過集中于所述用戶的所述狀態的特定參數來改進相應的視聽受眾設備的所述興趣度評級的準確度;以及響應于確定可以改進所述興趣度評級的所述準確度而向所述相應的視聽受眾設備傳輸用于將所述傳感器輸入數據集中在所述用戶的所述特定參數上的指令。
示例7包括如示例1至6中任一項所述的主題,并且其中,所述興趣度模塊進一步用于基于所述興趣度評級來更新所述興趣度算法。
示例8包括如示例1至7中任一項所述的主題,并且其中,用于更新所述興趣度算法包括用于:從所述視聽展示者設備接收傳感器輸入數據,所述傳感器輸入數據指示所述視聽展示者設備的物理環境;以及基于從所述視聽展示者設備接收的所述傳感器輸入數據來更新所述興趣度算法。
示例9包括如示例1至8中任一項所述的主題,并且其中,所述興趣度模塊進一步用于基于與每一個視聽客戶端設備相關聯的所述興趣度評級來選擇所述多個視聽流中的第二視聽流;所述混合器模塊進一步用于將所述第二視聽流傳輸至所述視聽展示者客戶端設備;并且用于更新所述興趣度算法包括用于:確定與所述所選視聽流和所述第二視聽流中的每一者相關聯的展示者關注水平,所述展示者關注水平基于從所述視聽展示者設備接收的所述傳感器輸入數據;將關聯于所述所選視聽流和所述第二視聽流中的每一者的所述展示者關注水平與關聯于每一個視聽客戶端設備的所述興趣度評級進行比較;以及基于在所述展示者關注水平與所述興趣度評級之間的比較來更新所述興趣度算法。
示例10包括如示例1至9中任一項所述的主題,并且其中,用于更新所述興趣度算法進一步包括用于基于從所述多個視聽受眾設備中的每一個視聽受眾設備接收的所述傳感器輸入數據來更新所述興趣度算法。
示例11包括如示例1至10中任一項所述的主題,并且其中,用于更新所述興趣度算法包括用于基于與另一個視聽通信會話相關聯的興趣度評級來更新所述興趣度算法。
示例12包括如示例1至11中任一項所述的主題,并且其中,所述另一個視聽通信會話包括所述視聽展示者設備的先前視聽通信會話。
示例13包括如示例1至12中任一項所述的主題,并且其中,所述混合器模塊進一步用于:從所述視聽展示者設備接收展示者視聽流;以及將所述展示者視聽流傳輸至所述多個視聽受眾設備。
示例14包括如示例1至13中任一項所述的主題,并且其中,所述展示者視聽流由所述視聽展示者設備捕獲。
示例15包括如示例1至14中任一項所述的主題,并且其中,所述混合器模塊進一步用于:從所述視聽展示者設備接收多個展示者視聽流,所述多個展示者視聽流包括展示者視聽流;并且所述興趣度模塊進一步用于:使用所述興趣度算法基于所述傳感器輸入數據來確定與每一個展示者視聽流設備相關聯的展示者興趣度評級;以及基于與每一個展示者視聽流相關聯的所述展示者興趣度評級來選擇所述多個展示者視聽流中的所述展示者視聽流。
示例16包括如示例1至15中任一項所述的主題,并且其中,所述混合器模塊進一步用于將與所述所選視聽流相關聯的所述興趣度評級傳輸至視聽展示者設備。
示例17包括一種用于視聽通信的視聽客戶端設備,所述視聽客戶端設備包括:視聽捕獲模塊,所述視聽捕獲模塊用于(i)捕獲視聽輸入流以及(ii)將所述視聽輸入流傳輸至視聽服務器;以及傳感器控制模塊,所述傳感器控制模塊用于(i)捕獲指示所述視聽客戶端設備的用戶的狀態的傳感器輸入數據;(ii)對所述傳感器輸入數據進行分析以生成表示所述傳感器輸入數據的抽象化傳感器輸入數據;以及(iii)將所述抽象化傳感器輸入數據傳輸至所述視聽服務器。
示例18包括如示例17所述的主題,并且其中,所述視聽客戶端設備包括視聽受眾設備;并且所述傳感器控制模塊進一步用于(i)接收用于集中來自所述視聽服務器的所述傳感器輸入數據的指令;以及(ii)響應于接收到所述指令而集中所述傳感器輸入數據。
示例19包括如示例17和18中任一項所述的主題,并且其中,所述傳感器輸入數據指示所述視聽觀眾設備的用戶的參與水平。
示例20包括如示例17至19中任一項所述的主題,并且其中,所述傳感器輸入數據包括眼睛跟蹤傳感器數據、面部表情傳感器數據、音調音高傳感器數據、或溫度數據。
示例21包括如示例17至20中任一項所述的主題,并且其中,所述視聽客戶端設備包括視聽展示者設備,所述視聽展示者設備進一步包括顯示模塊,所述顯示模塊用于從所述視聽服務器接收視聽流,所述視聽流源自視聽受眾設備并且是基于與所述視聽受眾設備相關聯的興趣度值而選擇的;以及顯示所述視聽流。
示例22包括如示例17至21中任一項所述的主題,并且其中,用于顯示所述視聽流進一步包括用于顯示對與所述視聽流的所述視聽受眾設備相關聯的所述興趣度值的指示。
示例23包括如示例17至22中任一項所述的主題,并且進一步包括興趣度模塊,所述興趣度模塊用于使用興趣度算法來確定與所述視聽受眾設備相關聯的所述興趣度評級。
示例24包括如示例17至23中任一項所述的主題,并且其中,所述興趣度模塊進一步用于基于所述抽象化傳感器輸入數據來更新所述興趣度算法。
示例25包括如示例17至24中任一項所述的主題,并且其中,所述顯示模塊進一步用于從所述視聽服務器接收第二視聽流,所述第二視聽流源自第二視聽受眾設備并且是基于與所述第二視聽受眾設備相關聯的興趣度值而選擇的;并且用于更新所述興趣度算法包括用于:確定與所述視聽流和所述第二視聽流中的每一者相關聯的展示者關注水平,所述展示者關注水平基于所述抽象化傳感器輸入數據;將關聯于所述視聽流和所述第二視聽流中的每一者的所述展示者關注水平與關聯于每一個視聽受眾設備的所述興趣度評級進行比較;以及基于在所述展示者關注水平與所述興趣度評級之間的比較來更新所述興趣度算法。
示例26包括一種用于視聽通信的方法,所述方法包括:視聽服務器從多個視聽受眾設備接收多個視聽流,其中,每一個視聽流由相應的視聽受眾設備捕獲;所述視聽服務器從所述多個視聽受眾設備中的每一個視聽受眾設備接收傳感器輸入數據,所述傳感器輸入數據指示所述相應的視聽受眾設備的用戶的狀態;所述視聽服務器使用興趣度算法基于所述傳感器輸入數據來確定與每一個視聽受眾設備相關聯的興趣度評級;所述視聽服務器基于與每一個視聽客戶端設備相關聯的所述興趣度評級來選擇所述多個視聽流中的視聽流;以及所述視聽服務器將所述所選視聽流傳輸至視聽展示者設備。
示例27包括如示例26所述的主題,并且進一步包括:所述視聽服務器基于所述相關聯的興趣度評級來對所述多個視聽受眾設備進行排名;其中,選擇所述視聽流包括選擇由具有最高興趣度評級的視聽受眾設備捕獲的視聽流。
示例28包括如示例26和27中任一項所述的主題,并且其中,確定所述興趣度評級包括確定與每一個視聽受眾設備相關聯的準確度值、相關度值或代表性值。
示例29包括如示例26至28中任一項所述的主題,并且其中,確定所述興趣度評級包括確定指示所述視聽受眾設備的用戶的參與水平的興趣度評級。
示例30包括如示例26至29中任一項所述的主題,并且其中,接收所述傳感器輸入數據包括從所述視聽客戶端設備接收眼睛跟蹤數據、面部表情數據、音高數據、音調數據、或溫度數據。
示例31包括如示例26至30中任一項所述的主題,并且進一步包括:所述視聽服務器判定是否可以通過集中于所述用戶的所述狀態的特定參數來改進相應的視聽受眾設備的所述興趣度評級的準確度;以及所述視聽服務器響應于確定可以改進所述興趣度評級的準確度而向視聽受眾設備傳輸用于將所述傳感器輸入數據集中在所述用戶的所述特定參數上的指令。
示例32包括如示例26至31中任一項所述的主題,并且進一步包括:所述視聽服務器基于所述興趣度評級來更新所述興趣度算法。
示例33包括如示例26至32中任一項所述的主題,并且其中,更新所述興趣度算法包括所述視聽服務從所述視聽展示者設備接收傳感器輸入數據,所述傳感器輸入數據指示所述視聽展示者設備的物理環境;以及基于從所述視聽展示者設備接收的所述傳感器輸入數據來更新所述興趣度算法。
示例34包括如示例26至33中任一項所述的主題,并且進一步包括:所述視聽服務器基于與每一個視聽客戶端設備相關聯的所述興趣度評級來選擇所述多個視聽流中的第二視聽流;所述視聽服務器將所述第二視聽流傳輸至所述視聽展示者客戶端設備;其中,更新所述興趣度算法包括:確定與所述所選視聽流和所述第二視聽流中的每一者相關聯的展示者關注水平,所述展示者關注水平基于從所述視聽展示者設備接收的所述傳感器輸入數據;將關聯于所述所選視聽流和所述第二視聽流中的每一者的所述展示者關注水平與關聯于每一個視聽客戶端設備的所述興趣度評級進行比較;以及基于對所述展示者關注水平與所述興趣度評級進行比較來更新所述興趣度算法。
示例35包括如示例26至34中任一項所述的主題,并且其中,更新所述興趣度算法進一步包括基于從所述多個視聽受眾設備中的每一個視聽受眾設備接收的所述傳感器輸入數據來更新所述興趣度算法。
示例36包括如示例26至35中任一項所述的主題,并且其中,更新所述興趣度算法包括基于與另一個視聽通信會話相關聯的興趣度評級來更新所述興趣度算法。
示例37包括如示例26至36中任一項所述的主題,并且其中,所述另一個視聽通信會話包括所述視聽展示者設備的先前視聽通信會話。
示例38包括如示例26至37中任一項所述的主題,并且進一步包括:所述視聽服務器從所述視聽展示者設備接收展示者視聽流,以及所述視聽服務器將所述展示者視聽流傳輸至所述多個視聽受眾設備。
示例39包括如示例26至38中任一項所述的主題,并且其中,接收所述展示者視聽流包括接收由所述視聽展示者設備捕獲的展示者視聽流。
示例40包括如示例26至39中任一項所述的主題,并且進一步包括:所述視聽服務器從所述視聽展示者設備接收多個展示者視聽流,所述多個展示者視聽流包括所述展示者視聽流;所述視聽服務器使用所述興趣度算法基于所述傳感器輸入數據來確定與每一個展示者視聽流設備相關聯的展示者興趣度評級;以及所述視聽服務器基于與每一個展示者視聽流相關聯的所述展示者興趣度評級來選擇所述多個展示者視聽流中的所述展示者視聽流。
示例41包括如示例26至40中任一項所述的主題,并且其中,所述混合器模塊進一步用于將與所述所選視聽流相關聯的所述興趣度評級傳輸至視聽展示者設備。
示例42包括一種用于視聽通信的方法,所述方法包括:視聽客戶端設備捕獲視聽輸入流;所述視聽客戶端設備將所述視聽輸入流傳輸至視聽服務器;視聽受眾設備捕獲傳感器輸入數據,所述傳感器輸入設備指示所述視聽客戶端設備的用戶的狀態;所述視聽客戶端設備對所述傳感器輸入數據進行分析以生成表示所述傳感器輸入數據的抽象化傳感器輸入數據;以及所述視聽客戶端設備將所述抽象化傳感器輸入數據傳輸至所述視聽服務器。
示例43包括如示例42所述的主題,并且其中,所述視聽客戶端設備包括視聽受眾設備,所述方法進一步包括:所述視聽受眾設備接收用于集中來自所述視聽服務器的所述傳感器輸入數據的指令;以及所述視聽受眾設備響應于接收到所述指令而集中所述傳感器輸入數據。
示例44包括如示例42和43中任一項所述的主題,并且其中,捕獲所述傳感器數據包括捕獲指示所述視聽受眾設備的用戶的參與水平的傳感器數據。
示例45包括如示例42至44中任一項所述的主題,并且其中,捕獲所述傳感器輸入數據包括捕獲眼睛跟蹤傳感器數據、面部表情傳感器數據、音調音高傳感器數據、或溫度數據。
示例46包括如示例42至45中任一項所述的主題,并且其中,所述視聽客戶端設備包括視聽設備,所述方法進一步包括:所述視聽展示者設備從所述視聽服務器接收視聽流,所述視聽流源自視聽受眾設備并且是基于與所述視聽受眾設備相關聯的興趣度值而選擇的;以及展示者所述視聽展示者設備顯示所述視聽流。
示例47包括如示例42至46中任一項所述的主題,并且其中,顯示所述視聽流進一步包括顯示對與所述視聽流的所述視聽受眾設備相關聯的所述興趣度值的指示。
示例48包括如示例42至47中任一項所述的主題,并且進一步包括:所述視聽展示者設備使用興趣度算法來確定與所述視聽受眾設備相關聯的所述興趣度評級。
示例49包括如示例42至48中任一項所述的主題,并且進一步包括:基于所述抽象化傳感器輸入數據來更新所述興趣度算法。
示例50包括如示例42至49中任一項所述的主題,并且進一步包括:所述視聽展示者設備從所述視聽服務器接收第二視聽流,所述第二視聽流源自第二視聽受眾設備并且是基于與所述第二視聽受眾設備相關聯的興趣度值而選擇的;并且其中,更新所述興趣度算法包括:確定與所述視聽流和所述第二視聽流中的每一者相關聯的展示者關注水平,所述展示者關注水平基于所述抽象化傳感器輸入數據;將關聯于所述視聽流和所述第二視聽流中的每一者的所述展示者關注水平與關聯于每一個視聽受眾設備的所述興趣度評級進行比較;以及基于對所述展示者關注水平與所述興趣度評級進行比較來更新所述興趣度算法。
示例51包括一種計算設備,所述計算設備包括:處理器;以及存儲器,所述存儲器具有存儲于其中的多條指令,所述指令當由所述處理器執行時使所述計算設備執行如示例26至50中任一項所述的方法。
示例52包括一種或多種機器可讀存儲介質,所述一種或多種機器可讀存儲介質包括存儲于其上的多條指令,所述指令響應于被執行而使計算設備執行如示例26至50中任一項所述的方法。
示例53包括一種計算設備,所述計算設備包括用于執行如示例26至50中任一項所述的方法的裝置。
示例54包括一種用于視聽通信的視聽服務器,所述視聽服務器包括:用于從多個視聽受眾設備接收多個視聽流的裝置,其中,每一個視聽流由相應的視聽受眾設備捕獲;用于從所述多個視聽受眾設備中的每一個視聽受眾設備接收傳感器輸入數據的裝置,所述傳感器輸入數據指示所述相應的視聽受眾設備的用戶的狀態;用于使用興趣度算法基于所述傳感器輸入數據來確定與每一個視聽受眾設備相關聯的興趣度評級的裝置;用于基于與每一個視聽客戶端設備相關聯的所述興趣度評級來選擇所述多個視聽流中的視聽流的裝置;以及用于將所述所選視聽流傳輸至視聽展示者設備的裝置。
示例55包括如示例54所述的主題,并且進一步包括:用于基于所述相關聯的興趣度評級來對所述多個視聽受眾設備進行排名的裝置;其中,所述用于選擇所述視聽流的裝置包括用于選擇由具有最高興趣度評級的視聽受眾設備捕獲的視聽流的裝置。
示例56包括如示例54和55中任一項所述的主題,并且其中,所述用于確定所述興趣度評級的裝置包括用于確定與每一個視聽受眾設備相關聯的準確度值、相關度值或代表性值的裝置。
示例57包括如示例54至56中任一項所述的主題,并且其中,所述用于確定所述興趣度評級的裝置包括用于確定指示所述視聽受眾設備的用戶的參與水平的興趣度評級的裝置。
示例58包括如示例54至57中任一項所述的主題,并且其中,所述用于接收所述傳感器輸入數據的裝置包括用于從所述視聽客戶端設備接收眼睛跟蹤數據、面部表情數據、音高數據、音調數據、或溫度數據的裝置。
示例59包括如示例54至58中任一項所述的主題,并且進一步包括:用于判定是否可以通過集中于所述用戶的所述狀態的特定參數來改進相應的視聽受眾設備的所述興趣度評級的準確度的裝置;以及用于響應于確定可以改進所述興趣度評級的準確度而向視聽受眾設備傳輸用于將所述傳感器輸入數據集中在所述用戶的所述特定參數上的指令的裝置。
示例60包括如示例54至59中任一項所述的主題,并且進一步包括用于基于所述興趣度評級來更新所述興趣度算法的裝置。
示例61包括如示例54至60中任一項所述的主題,并且其中,所述用于更新所述興趣度算法的裝置包括用于從所述視聽展示者設備接收傳感器輸入數據的裝置,所述傳感器輸入數據指示所述視聽展示者設備的物理環境;以及用于基于從所述視聽展示者設備接收的所述傳感器輸入數據來更新所述興趣度算法的裝置。
示例62包括如示例54至61中任一項所述的主題,并且進一步包括:用于基于與每一個視聽客戶端設備相關聯的所述興趣度評級來選擇所述多個視聽流中的第二視聽流的裝置;用于將所述第二視聽流傳輸至所述視聽展示者客戶端設備的裝置;其中,所述用于更新所述興趣度算法的裝置包括:用于確定與所述所選視聽流和所述第二視聽流中的每一者相關聯的展示者關注水平的裝置,所述展示者關注水平基于從所述視聽展示者設備接收的所述傳感器輸入數據;用于將關聯于所述所選視聽流和所述第二視聽流中的每一者的所述展示者關注水平與關聯于每一個視聽客戶端設備的所述興趣度評級進行比較的裝置;以及用于基于對所述展示者關注水平與所述興趣度評級進行比較來更新所述興趣度算法的裝置。
示例63包括如示例54至62中任一項所述的主題,并且其中,所述用于更新所述興趣度算法的裝置進一步包括用于基于從所述多個視聽受眾設備中的每一個視聽受眾設備接收的所述傳感器輸入數據來更新所述興趣度算法的裝置。
示例64包括如示例54至63中任一項所述的主題,并且其中,所述用于更新所述興趣度算法的裝置包括用于基于與另一個視聽通信會話相關聯的興趣度評級來更新所述興趣度算法的裝置。
示例65包括如示例54至64中任一項所述的主題,并且其中,所述另一個視聽通信會話包括所述視聽展示者設備的先前視聽通信會話。
示例66包括如示例54至65中任一項所述的主題,并且進一步包括:用于從所述視聽展示者設備接收展示者視聽流的裝置;以及用于將所述展示者視聽流傳輸至所述多個視聽受眾設備的裝置。
示例67包括如示例54至66中任一項所述的主題,并且其中,所述用于接收所述展示者視聽流的裝置包括用于接收由所述視聽展示者設備捕獲的展示者視聽流的裝置。
示例68包括如示例54至67中任一項所述的主題,并且進一步包括:用于從所述視聽展示者設備接收多個展示者視聽流的裝置,所述多個展示者視聽流包括所述展示者視聽流;用于使用所述興趣度算法基于所述傳感器輸入數據來確定與每一個展示者視聽流設備相關聯的展示者興趣度評級的裝置;以及用于基于與每一個展示者視聽流相關聯的所述展示者興趣度評級來選擇所述多個展示者視聽流中的所述展示者視聽流的裝置。
示例69包括如示例54至68中任一項所述的主題,并且進一步包括用于將與所述所選視聽流相關聯的所述興趣度評級傳輸至視聽展示者設備的裝置。
示例70包括一種用于視聽通信的視聽客戶端設備,所述視聽客戶端設備包括:用于捕獲視聽輸入流的裝置;用于將所述視聽輸入流傳輸至視聽服務器的裝置;用于捕獲傳感器輸入數據的裝置,所述傳感器輸入數據指示所述視聽客戶端設備的用戶的狀態;用于對所述傳感器輸入數據進行分析以生成表示所述傳感器輸入數據的抽象化傳感器輸入數據的裝置;以及用于將所述抽象化傳感器輸入數據傳輸至所述視聽服務器的裝置。
示例71包括如示例70所述的主題,并且其中,所述視聽客戶端設備包括視聽受眾設備,所述試聽受眾設備進一步包括:用于接收用于集中來自所述視聽服務器的所述傳感器輸入數據的指令的裝置;以及用于響應于接收到所述指令而集中所述傳感器輸入數據的裝置。
示例72包括如示例70和71中任一項所述的主題,并且其中,所述用于捕獲所述傳感器數據的裝置包括用于捕獲指示所述視聽受眾設備的用戶的參與水平的傳感器數據的裝置。
示例73包括如示例70至72中任一項所述的主題,并且其中,所述用于捕獲所述傳感器輸入數據的裝置包括用于捕獲眼睛跟蹤傳感器數據、面部表情傳感器數據、音調音高傳感器數據、或溫度數據的裝置。
示例74包括如示例70至73中任一項所述的主題,并且其中,所述視聽客戶端設備包括視聽展示者設備,所述視聽展示者設備進一步包括:用于從所述視聽服務器接收視聽流的裝置,所述視聽流源自視聽受眾設備并且是基于與所述視聽受眾設備相關聯的興趣度值而選擇的;以及用于顯示所述視聽流的裝置。
示例75包括如示例70至74中任一項所述的主題,并且其中,所述用于顯示所述視聽流的裝置進一步包括用于顯示對與所述視聽流的所述視聽受眾設備相關聯的所述興趣度值的指示的裝置。
示例76包括如示例70至75中任一項所述的主題,并且進一步包括用于使用興趣度算法來確定與所述視聽受眾設備相關聯的所述興趣度評級的裝置。
示例77包括如示例70至76中任一項所述的主題,并且進一步包括用于基于所述抽象化傳感器輸入數據來更新所述興趣度算法的裝置。
示例78包括如示例70至77中任一項所述的主題,并且進一步包括用于從所述視聽服務器接收第二視聽流的裝置,所述第二視聽流源自第二視聽受眾設備并且是基于與所述第二視聽受眾設備相關聯的興趣度值而選擇的;并且其中,所述用于更新所述興趣度算法的裝置包括:用于確定與所述視聽流和所述第二視聽流中的每一者相關聯的展示者關注水平的裝置,所述展示者關注水平基于所述抽象化傳感器輸入數據;用于將關聯于所述視聽流和所述第二視聽流中的每一者的所述展示者注意水平與關聯于每一個視聽受眾設備的所述興趣度評級進行比較的裝置;以及用于對所述發言人注意水平與所述興趣度評級進行比較來更新所述興趣度算法的裝置。