視頻會議中的面部識別和面部圖像的傳輸的制作方法
【專利說明】視頻會議中的面部識別和面部圖像的傳輸
[0001]相關申請的交叉引用
[0002]本申請要求于2012年10月8日提交的序列號為13/647，205、題名為“在視頻會議中的面部識別和面部圖像的傳輸(Facial Recognit1n and Transmiss1n of FacialImages in a Videoconference) ”的美國專利申請的優先權，通過引用將它整體并入本申請。
技術領域
[0003]本公開中所描述的各個方面涉及在一個房間中的一個或多個人的面部圖像的捕捉、處理和傳輸。
[0004]背景
[0005]當視頻會議在發生在多方之間時，往往難以確定誰正在發言。通常，發言人的面部被指定了房間的座位安排的相同房間內的另一個人擋住。此外，面部圖像的大小可能是不同的，這取決于每個人與正在捕捉視頻會議的攝影機的距離。另外，取決于攝影機的視場，一個或多個發言者的面部可能是模糊的導致很難準確地確定誰正在講話。此外，攝影機捕捉視頻會議中參與者的面部圖像的角度可能導致一個或多個視頻會議的參與者不期望的側面或后部頭像。因此，發送到另一方的視頻可能提供很少或沒有提供關于誰正在發言的信息。
[0006]在視頻會議期間，發言者的面部表情和嘴唇動作可能是部分不可見或全部不可見。這些面部表情和嘴唇動作確定正在發言的人或可以有助于更好的理解發言人所講的話和他講話時的表情。此外，發言者的面部表情也可以提供對他陳述的情感內容的理解(例如，發言者是高興、憤怒、悲傷、興奮等)。因此，多方之間通過視頻會議呼叫的通信可能會遇到不能夠看到發言者的面部圖像的情況。
[0007]此外，如果發言者移動到攝影機視場范圍內的房間中的另一個人的后面，那么攝影機可能不能繼續捕捉發言者的圖像。因此，在這種情況下，發言者可能徹底的從視頻會議中消失，并且發言者的嘴唇動作可能不能夠被攝影機捕捉到。
[0008]因此，基于以上內容，在從一方到一方或從一方到其它更多方的視頻會議呼叫中存在提供捕捉、處理和傳輸面部圖像的視圖的更好的方法的需求。
[0009]概述
[0010]根據前述的背景，以下提出本公開的簡要概述以便提供對本發明中所描述的一些方面的基本的理解。本概述不是綜述的擴展，并不是意圖識別關鍵或重要元素或劃定權利要求的范圍。下面的概述僅僅以簡要的形式提出各種所描述的方面作為下面所提供的更詳細的描述的序目。
[0011]為了闡述上述缺點和將通過閱讀本公開認識到的另外的益處，本文說明性的各個方面的各個方面描述了用于捕捉、處理和從主機向客戶端傳輸參與者的面部圖像的新方法和新系統。
[0012]說明性實施例的各個方面基本上在至少一個下面的圖中示出和/或結合至少一個下面的圖進行了描述，同時在權利要求中更全面的進行闡述。
[0013]本公開的這些和其他優點、各個方面和新穎的特征，還有其中所說明的實施例的細節將從下面的描述和附圖中得到更充分地理解。
【附圖說明】
[0014]已經以通用的術語如此描述了本公開的多個方面，現在將參考附圖，這些附圖不需要按照比例繪制，并且其中：
[0015]圖IA示出了本公開的各個方面可以被實現在其中的操作環境。
[0016]圖IB示出了來自根據圖IA中說明的說明性的操作環境的攝影機的透鏡(perspective)的視場。
[0017]圖IC示出了在由根據圖IA中說明的說明性的操作環境的攝影機所捕捉的圖像內識別或檢測面部圖像。
[0018]圖ID示出了根據圖IA中說明的說明性的操作環境的、參與者的面部圖像已經被歸一化之后的參與者的面部圖像。
[0019]圖IE示出了根據圖IA中說明的說明性的操作環境，分類（collating)和和/或整理（sorting)參與者的歸一化的面部圖像。
[0020]圖IF示出了根據圖IA中說明的說明性的操作環境，將參與者的歸一化的面部圖像定位或布置到輸出網格圖案中。
[0021]圖2A示出了本公開的各個方面可以在其中實現的示例性操作環境。
[0022]圖2B示出了從由根據圖2A中說明的說明性的操作環境的第一攝影機捕捉的圖像采集的面部圖像。
[0023]圖2C示出了從由根據圖2A中說明的說明性的操作環境的第二攝影機捕捉的圖像采集的面部圖像。
[0024]圖2D示出了從由根據圖2A中說明的說明性的操作環境的第三攝影機捕捉的圖像采集的面部圖像。
[0025]圖2E示出了由根據圖2A中說明的說明性的操作環境的第一攝影機所捕捉的、選出的面部圖像的歸一化。
[0026]圖2F示出了由根據圖2A中說明的說明性的操作環境的第二攝影機所捕捉的、選出的面部圖像的歸一化。
[0027]圖2G示出了由根據圖2A中說明的說明性的操作環境的第三攝影機所捕捉的、選出的面部圖像的歸一化。
[0028]圖2H示出了對由根據圖2A中說明的說明性的操作環境的每個攝影機所捕捉的面部圖像進行整理和處理。
[0029]圖21示出了根據圖2A中說明的說明性的操作環境，將參與者的歸一化的面部圖像定位或布置到空間圖案中。
[0030]圖2J示出了根據圖2A中說明的說明性的操作環境，將參與者的歸一化的面部圖像定位或布置到輸出網格圖案中。
[0031]圖3示出了對應于結合根據本公開的一個或多個說明性實施例的圖IA和2A中的每個圖所示的每個計算設備的通用計算設備的一個示例框圖。
[0032]圖4是說明在根據本發明的說明性實施例的主機處的一個或多個攝影機如何捕捉、處理和傳輸一個或多個面部圖像到客戶端的操作流程圖。
[0033]詳細說明
[0034]下面的各種實施例的描述參考了附圖，附圖形成了描述的一部分，并且在附圖中通過圖示的方式說明了各種實施例，在各種實施例中可以實踐所描述的各個方面。應該理解的是，在不違背本公開的范圍和精神的前提下，可以利用其它實施例，并且可以做結構和功能的修改。
[0035]正如本領域技術人員在閱讀了以下公開所理解的，本公開中所描述的各個方面可以體現為方法、數據處理系統或儀器、或計算機程序產品。因此，這些方面可以采取純硬件實施例、純軟件實施例或軟件方面和硬件方面結合的實施例的形式。此外，這樣的方面可以采取由一個或多個計算機可讀儲存介質所儲存的計算機程序產品的形式，其中計算機可讀儲存介質具有體現在儲存介質中或體現在儲存介質上的計算機可讀程序編碼或指令。可以利用任何合適的計算機可讀儲存介質，包括硬盤驅動器、光盤（諸如CD和DVD)、和/或其他光學介質或光學驅動器、NAS(網絡附加的儲存器）設備、和/或任何它們的組合。此外，各種信號，諸如一個或多個數字信號，可以包括可在計算設備間傳輸的數據（未編碼的數據、編碼的數據或加密的數據）。計算設備可以包括一個或多個計算機（例如，PC、臺式計算機、筆記本計算機）、一個或多個便攜式無線計算設備（例如，無線電話、PDA、筆記本計算機、平板電腦）或包含能夠執行固件和/或軟件的處理器和存儲器的任何一種計算設備。
[0036]圖IA示出了本公開的各個方面可以在其中被實現的示例操作環境。該操作環境包括一個或多個人/參與者136、一個或多個人/參與者136圍繞的會議室桌子132、顯示器/電視/監視器140、攝影機104、計算設備112、局域網（LAN) 124、廣域網（WAN) 128和互聯網120。雖然圖IA示出了單個計算設備112，在其它實施例中，單個計算設備112可以被兩個或多于兩個協同工作的計算設備代替以提供本公開所描述的功能。示例性的實施例說明了來自操作環境頂部的視圖。在這個示例性的實施例中，攝影機104位于如所示的顯示器140的頂部，但是它可以位于參與者前面的任何地方。攝影機104可以位于任何合適的高度以便允許所有參與者136的面部的清晰的視圖。攝影機140可以位于提供房間內的參與者向下的視場的高度。在可代替的實施例中，顯示器140可以包含攝影機104。攝影機140可被集成到顯示器140中。在這個實施例中，可以使用單個攝影機140，因為當參與者看顯示器時，參與者的位置定位成面對攝影機140。單個攝影機140能夠提供捕捉所有參與者面部圖像的視場。攝影機140的視場和角度可以被調整為捕捉房間內所有參與者。
[0037]攝影機104通過通信鏈路116通信耦合到計算設備112。通信鏈路116可以包括接線器，該接線器可被配置為遵從下面的硬接線協議來發送和接收信號:USB版本、火線(IEEE 1394)、以太網（IEEE 802. 3版本）或任何其他有線協議。可代替的是，通信鏈路116可包含無線連接，下面的無線通信協議中的一個可以在該無線連接中使用：WLAN(IEEE802. llx)、藍牙、或任何其他類型的無線通信協議。計算設備112可以包含任何類型的計算機、便攜式無線計算設備或包含能夠執行固件和/或軟件的處理器和存儲器中的任何一種的計算設備。在另一個實施例中，可以并行使用幾個計算設備112以處理由攝影機104提供的已捕捉的圖像。計算設備112通過有線或無線連接126通信耦合到局域網（LAN) 124。例如，有線連接可包含IEEE 802. 3xx連接并且有線連接可包含IEEE 802. Ilxx連接。LAN124可包含一個或多個與計算設備112合作的其他計算設備（未示出），可以用于處理攝影機104輸出的圖像。一個或多個其他計算設備可以執行由已捕捉的圖像提供的視頻數據的并行處理。計算設備112可以通信耦合到LAN 124。計算設備也可以通信耦合到WAN 128。LAN 124可以包括路由器（未示出），用于路由和交換與示例性的802. 3xx通信協議相關的數據包。例如，WAN 128可以通過調制解調器或網關（未示出）的方式連接到互聯網120。互聯網120可以由一個或多個互聯網服務供應商（ISP)或電信運營商擁有和操作。雖然沒有在圖IA中示出，從攝影機所傳輸的、并由計算設備112所處理的視頻數據通過互聯網120傳送到一個或多個接收方或接收客戶端。一個或多個接收方可以使用它們各自的調制解調器或網關接收視頻數據，而且視頻數據可以被適當的處理并被顯示在每方各自的顯示器/電視/監視器處。
[0038]如在圖IA中所示出的，視頻會議的參與者136圍坐在會議室桌子132周圍。在這個示例性實施例中，一共有5個參與者（標記為1、2、3、4和P)。主持人（標記為P)在如所示的會議室桌的一個末端處。在這個實施例中，攝影機104定位成使得它在參與者136看顯示器140時，面對參與者。因此，用于本示例性的操作環境的由攝影機104所捕捉的典型頭像可出現，如在圖IB中所示。
[0039]圖IB示出了來自根據在圖IA中所示的示例性操作環境的攝影機的透鏡的視場。該視場說明了之前結合圖IA所描述的由攝影機所捕捉的圖像。根據攝影機的鏡頭，距它較近的物體將會較大，而遠離它的物體將會較小。因此，參與者2和3相對于攝影機顯得比參與者I和4更大。坐在會議室桌子132的最遠端的主持人，P，在攝影機中顯得最小。因而，參與者2和3的面部圖像可能比參與者I和4的面部圖像更大。根據攝影機140的透鏡，位于距離攝影機140最遠處的參與者，諸如參與者P，可能