專利名稱：作為視頻會議外圍設備的便攜式設備的制作方法
作為視頻會議外圍設備的便攜式設備相關申請的交叉引用本申請與Peter L.Chu 和 Yibo Liu 的申請號為 13/282，609 (199-0890US1)、名稱為 “Pairing Devices in Conference Using Ultrasonic Beacon，，的美國申請；以及Peter L.Chu 和 Yibo Liu 的申請號為 13/282，633 (199-0890US2)、名稱為 “Compensatingfor Different Audio Clocks Between Devices Using UltrasonicBeacon，，的美國申請同時提交，兩者通過引用全部結合于本文中。
背景技術：
視頻會議單元是需要操作復雜功能的復雜設備。因此，視頻會議供應商創造專門的遙控器和菜單來操作這些單元，但是這些可能難以學習和使用。當該單元具有多種功能能力時尤其如此。另外，視頻會議中高質量的麥克風拾取要求參與者距離麥克風不超過3英尺。因此，視頻會議供應商提供專門的麥克風以放置在會議室內參與者附近的桌上。該麥克風通常具有可能造成妨礙的線。作為解決辦法，無線麥克風可用于視頻會議系統，但是如果頻繁使用，需要對它們重復充電，這可能造成不便。本公開的主旨是克服上面所提出的問題中的一個或多個或至少減輕其影響。
發明內容
在會議系統中，參與者使用便攜式設備作為會議單元的外圍設備。在會議中，例如，便攜式設備通過無線連接與會議單元進行音頻通信，而會議單元與會議連接中的遠端進行通信。采用這些連接布置的系統，每個參與者可以使用他或她的便攜式設備上的麥克風作為個人麥克風，其典型地將距離參與者在3英尺內。另外，參與者在整個會議期間可以使用運行在他們的便攜式設備上的應用來控制會議單元的各方面。如上所述，便攜式設備可以用于會議中，簡單地，該會議可以是音頻會議。可選的，會議可以是涉及視頻和音頻的視頻會議。當涉及視頻時，便攜式設備可以可選地進行視頻通信作為音頻的附加或是替代。對它來說，該單元可以是能夠處理視頻和音頻二者的視頻會議單元。因此，作為正確的理解，本公開的教導可以應用于音頻會議和視頻會議。盡管本公開的教導應該理解為同樣適用于音頻會議，不過在本公開中提到的是視頻會議。為進行視頻會議，例如，單元通過無線連接接收由便攜式設備的麥克風獲取的近端音頻。該單元也接收來自該單元的(一個或多個)麥克風的音頻，該單元的麥克風可以是安裝在桌上的麥克風、麥克風盒(pod)等。同時，該單元接收用一個或多個攝像機獲取的近端視頻。取決于實施方式，該一個或多個攝像機可以僅屬于視頻會議單元，但是也可以使用來自便攜式設備上的攝像機的視頻。接著該單元通過視頻會議連接將近端音頻和視頻傳送給遠端。隨著視頻會議的進行，不同的參與者講話，該單元切換其要輸出到遠端的近端音頻(以及可選地，近端視頻)源。例如，如果具有便攜式設備的參與者講話，該單元可以輸出由該設備的麥克風獲取的近端音頻。當選擇來自便攜式設備的音頻時，該單元也可以輸出由該便攜式設備的攝像機獲取的視頻。因為若干個麥克風可能在發送音頻給該單元，該單元優先選擇與具有最大水平的麥克風關聯的近端音頻，該麥克風可以是便攜式設備的或該單元的麥克風。因為音頻具有最大水平，其更可能與會議中的當前講話者相關聯。在視頻會議單元與遠端通信之前，參與者可以使用獨立于該單元的他或她的便攜式設備來建立到遠端的視頻會議連接，從而發起視頻會議。在該初始配置中，便攜式設備可以接收來自遠端的遠端視頻和音頻以利用該便攜式設備上的顯示器和揚聲器進行輸出。類似地，便攜式設備可以簡單地將便攜式設備的攝像機和麥克風獲取的近端視頻和音頻發送到遠端。之后，便攜式設備處的參與者可以接著將與遠端的視頻會議連接從便攜式設備轉移到視頻會議單元。轉移之后，該單元可以接管從遠端接收遠端視頻和音頻，將遠端視頻發送給該單元的顯示器，以及將遠端音頻發送給該單元的揚聲器。然而，取決于具體情況，視頻會議單元仍然可以在近端使用便攜式設備的麥克風進行音頻捕捉以及使用該便攜式設備的攝像機進行視頻捕捉。與發起視頻會議不同，便攜式設備可以加入由單元負責進行的現有視頻會議。優選的是，該設備可以通過獲取被編碼在該單元的揚聲器輸出的聲波或超聲波信標中的該單元的IP地址，來自動與該單元配對。使用解碼的IP地址，該設備作為外圍設備與該單元建立無線連接，以便發送視頻會議的音頻和視頻。當該單元從遠端接收了遠端音頻并將其輸出給揚聲器時，輸出的音頻可能與便攜式設備的麥克風聲學耦合。為處理這個問題，該單元的回聲消除器消除存在于用便攜式設備的麥克風獲取的近端音頻中的來自揚聲器的輸出音頻。就內部而言，便攜式設備的麥克風使用以第一時鐘工作的模數轉換器，而單元的揚聲器使用以第二時鐘工作的數模轉換器。從而，這兩個時鐘可能以不同的頻率操作，這可能會降低回聲消除器的有效性。為處理時鐘的不匹配，單元和/或便攜式設備的時鐘補償器補償時鐘之間的頻率差。前述的概要不是意圖概括本公開的每個可能的實施例或每一方面。
圖1圖示了根據本公開的視頻會議系統。圖2示意性示出了與所公開的系統一起使用的便攜式設備。圖3示出了用于便攜式設備的視頻會議接口。圖4A圖示了當便攜式設備發起視頻會議時，用圖1的系統來進行視頻會議的過程。圖4B圖示了當便攜式設備加入正在進行的視頻會議時，用圖1的系統來進行視頻會議的過程。圖5示意性示出了用于視頻會議單元的回聲消除器和用于系統的視頻會議單元和便攜式設備的時鐘。
具體實施例方式A.視頻會議系統在圖1中圖示的基于本公開的視頻會議系統10具有視頻會議單元100，其中揚聲器122耦合到音頻接口 120。典型地，單元100可以使用一個或多個安裝在桌上的麥克風124、麥克風盒、天花板麥克風、麥克風陣列、或其他耦接于音頻接口 120并用于捕捉音頻的聲學設備，但這樣的聲學設備在本系統10中是可選的。系統10還具有耦接于視頻接口 142的顯示器142和一個或多個攝像機144。例如，系統10可以具有兩個攝像機144——一個用于捕捉視頻會議環境中的廣角畫面，另一個用于捕捉參與者的細節畫面。盡管在本文中提及的是系統10用于視頻會議，然而本公開的教導可以等同應用到缺少視頻的音頻會議。盡管如此，出于描述的目的，這里將繼續涉及視頻會議。就內部而言，單元100具有處理單元110，其具有分別連接到音頻和視頻接口 120和140的音頻編解碼器112和視頻編解碼器114，以編碼和解碼視頻會議的音頻和視頻。最后，單元100具有連接到編解碼器112和114的網絡接口 130，以在近端單元100和遠端單元30之間傳送音頻和視頻。在視頻會議期間，許多參與者很可能有他們自己的便攜式設備50可用，因為便攜式設備50已經成為普遍的用品。用戶使用便攜式設備50是很舒適的，并且，如本文所公開的，視頻會議單元100可以使用便攜式設備50作為視頻會議外圍設備。通常，便攜式設備50可以包括多種可用設備中的任意設備，包括但不限于，外圍裝置、蜂窩電話、智能電話、平板PC、觸摸屏PC、PDA、手持計算機、筆記本計算機、膝上型計算機等。另外，如下所討論的，便攜式設備50可以具有處理能力，并具有操作攝像機、顯示器和麥克風以及連接網絡的功能，該網絡例如為W1-Fi網絡、因特網等。通常，網絡接口 130可以通過以太網連接、無線連接、因特網連接、POTS連接、或任何其他用于視頻會議的適當連接或其組合來連接到遠端單元30。作為網絡接口 130的一部分或與其分離，單元100包括使視頻會議單元100與本地外圍設備(比如便攜式設備50)通信的外圍設備接口 150。在當前示例中，網絡接口 130將單元100連接到局域網(LAN)132的本地內聯網，LAN 132又連接到廣域網(WAN) 136，比如因特網。LAN 132可以具有無線局域網(WLAN)、無線保真(W1-Fi)網絡、個域網(PAN)(如藍牙)、或用于連接到便攜式設備50的類似類型的無線網絡134。因此，參與者可以利用無線網絡134將他們的便攜式設備50連接到LAN 132，由此便攜式設備50與視頻會議單元100之間的傳輸可以使用無線網絡134 和 LAN 132。在很多例子中，便攜式設備50可具有高質量麥克風74，并且單元100可以使用設備的麥克風74作為視頻會議麥克風。這樣，其中幾個參與者可以使用他們設備50上的麥克風74作為個人視頻會議麥克風，并且，每個麥克風74與每個參與者的緊密接近很可能為視頻會議提供高質量的音頻拾取。另外，便攜式設備50可以具有高質量攝像機84，并且單元100可以使用設備的攝像機84作為與參與者緊密接近的個人視頻會議攝像機。B.便攜式設備更詳細來了解便攜式設備50，圖2示意性示出了用于所公開的系統10的便攜式設備50的示例。對于音頻，設備50具有耦接于音頻接口 70的揚聲器72和麥克風74，而對于視頻，設備50具有耦接于視頻接口 80的顯示器82和攝像機84。就內部而言，便攜式設備50具有處理單元60，其中音頻編解碼器62和視頻編解碼器64分別連接到音頻和視頻接口70和80，用于編碼和解碼音頻和視頻。最后，便攜式設備50具有連接到編解碼器70和80的網絡接口 90，用于在近端單元(100)和遠端單元(30)之間傳送音頻和視頻。舉例而言，在一種類型的連接中，如果設備50可以用于蜂窩通信，則網絡接口 90可以連接到典型的蜂窩網絡92。在另一種類型的連接中，網絡接口 90可以通過無線網絡134連接到LAN 132，由此便攜式設備50可以與視頻會議單元(100)或遠端(30)通信。本領域技術人員可以理解，任何其他類型的連接可以被用于在便攜式設備50和視頻會議單元(100)之間通信。同樣也將理解，在便攜式設備50和視頻會議單元(100)以及遠端(30)之間建立連接需要特定協議、應用、帳戶和其他細節，這些是針對可能的連接被預先配置的，所以在此省略其細節。C.用戶接口為與視頻會議單元100 —起操作，以及可選地控制該單元的功能，便攜式設備的處理單元60具有包含用戶接口的視頻會議應用66。操作時，應用66允許參與者使用便攜式設備50作為視頻會議系統(10)的外圍設備。圖3示出了用于便攜式設備的應用(66)的示例性視頻會議接口 67。參與者可以使用便攜式設備的接口 67在視頻會議系統(10)中操作。如圖3示例中所顯示的，用戶接口 67具有可用于應用(66)的多個用戶接口項目。這些項目可以由用戶分別配置，盡管其中一些可能會默認自動運行。這些項目可以包括但不限于:開始視頻會議、結束視頻會議、加入視頻會議、發送用于視頻會議的內容、使用設備的麥克風74和/或攝像機84用于視頻會議、將視頻會議從便攜式設備50轉移到單元100、以及執行附加功能。例如，在一個附加功能中，參與者可以表明在會議中排隊提問和當被允許時成為活躍發言者的要求。其他一些附加功能可以類似于視頻會議單元的傳統遙控器上可用的典型功能，比如控制揚聲器的音量、移動攝像機、改變顯示選項等等。下面是用戶接口項目的一些一般性討論。例如，通過選擇開始視頻會議，便攜式設備50可以用于發起視頻會議，如這里所討論的。通過選擇加入當前視頻會議，便攜式設備50可以成為當前負責進行視頻會議的視頻會議單元100的外圍設備。通過選擇使用設備的麥克風、攝像機或顯示器，用戶可以配置便攜式設備50如何用作視頻會議單元100的外圍設備。最后，通過選擇發送內容，用戶接口可以允許參與者從便攜式設備50發送內容到視頻會議單元100以并入視頻會議中。該內容可以包括位于便攜式設備50上的視頻、圖像、文檔、演示等。因此，在該布置中，便攜式設備50可以表現為用于單元100的內容或呈現設備，并且可以具有用于產生內容的視頻播放器、圖像應用、文檔應用、演示應用等，由此設備50可以通過網絡連接發送內容到單元100。D.視頻會議過程有了對視頻會議系統10、視頻會議單元100和便攜式設備50的理解，現轉向便攜式設備50可以如何在視頻會議期間與視頻會議單元100 —起使用的討論。如之上簡單暗示的，參與者可以利用便攜式設備50開始視頻會議，之后可以將其轉移給視頻單元100。圖4A示出了當便攜式設備50發起視頻會議時，用圖1 (同時作為參考)的系統10進行視頻會議的過程200。
為發起視頻會議，參與者使用其便攜式設備50以及視頻會議應用66連接到遠端30(塊202)。各種網絡連接中的任何網絡連接可以被用于建立視頻會議。例如，便攜式設備50可以通過W1-Fi網絡134連接到LAN 132，接著連接到WAN(也就是因特網)136。如果便攜式設備50具有蜂窩功能，則可以通過本領域熟知的蜂窩電話呼叫來建立視頻會議。一旦連接到遠端30 (塊204)，便攜式設備50就接收和呈現遠端視頻和音頻，以使用其顯示器82和揚聲器72來在便攜式設備50上進行輸出(塊206)。在這里，便攜式設備現有的攝像機84和麥克風74可以發送視頻和音頻給作為視頻會議一部分的遠端30 (塊208)。當需要時，參與者選擇將視頻會議轉移到近端視頻會議單元100 (塊210)。為了轉移視頻會議，例如，參與者通過在設備的會議應用￠6)上選擇一接口項目來發起轉移。便攜式設備50轉移視頻會議連接細節到視頻會議單元100，并且視頻會議單元100作為響應，與遠端30建立其自己的視頻會議連接。例如，便攜式設備50上的會議應用66可以具有供參與者在用戶接口上進行選擇的“轉移”按鈕(67)。(參見圖3。)當選擇了轉移時，用戶接口(67)可以具有多個輸入屏幕，供參與者輸入IP地址或遠端30的其他識別符，由此視頻會議單元100可以建立連接。其他細節也可以在用戶接口(67)中輸 入，比如口令、連接信息、參與者標簽等。一旦轉移完成并被證實，便攜式設備50就禁用其與遠端30的連接，從而它將只使用與視頻會議單元100的本地連接來用于視頻會議。這時，單元100開始利用單元100可獲得的更高質量處理來呈現遠端視頻和音頻(塊212)。現在，隨著會議繼續，近端視頻處理從便攜式設備的攝像機84切換到單元的一個或多個更高質量的攝像機144，音頻處理也從設備的麥克風74切換到單元的麥克風124 (塊214)。在視頻會議期間，單元的一個或多個攝像機144可以使用公知的技術利用單元的麥克風124(更特別地，麥克風陣列(未示出))來確定講話的參與者的位置，以便將攝像機引導到音頻來源。但是，如本文所提到的，便攜式設備50在通過網絡連接(例如W1-Fi網絡和LAN)與視頻會議單元100的通信中保持配對，從而，當選擇如此操作時，設備50可以用于視頻和音頻處理。換句話說，設備的麥克風74可以仍然用于獲取視頻會議音頻，而設備的攝像機72可以用于獲取視頻會議視頻。不過，在開始時，音頻和視頻處理可以由視頻會議單元100來操控，圖4A所示。當單元100處理音頻時，便攜式設備的揚聲器72可以消音，由此其在視頻會議期間不輸出音頻，或者便攜式設備50可以簡單地不通過本地網絡連接接收來自單元100的輸出音頻。在視頻會議期間的某個點，具有已配對設備50的參與者可以講話，單元100和/或設備50監控來自設備的麥克風74的音頻是否被獲取(判定216)。在一個實施例中，已配對設備50通過其麥克風74獲取音頻，并在其配對網絡連接上傳輸該音頻到視頻會議單元100，而不論具有已配對設備50的參與者是否在講話。接著，視頻會議單元100確定麥克風74是否在捕捉參與者的活躍講話。作為替換，已配對設備50通過其麥克風74獲取音頻，但是不發送該音頻給單元100，除非設備50確定存在活躍的講話。任何情況下，如果沒有設備音頻(要么因為沒有設備50在使用其麥克風74獲取音頻，要么因為沒有活躍的設備麥克風74在捕捉講話)(216判定為否)，單元100繼續使用其麥克風124捕捉音頻(塊226)。隨后，單元100可以仍舊繼續使用其攝像機122來捕捉視頻，因為當參與者不在講話時，可能不需要切換到從便攜式設備50進行視頻捕捉(塊228)。然而，在視頻會議的某個點，使用其麥克風74拾取音頻的一個設備50從其參與者獲取了音頻，并且單元100使用該音頻用于視頻會議，如下文詳細描述的(216判定為是)。在使用該音頻時，視頻會議單元的音頻編解碼器112將麥克風的音頻編碼為會議音頻，并將來自便攜式設備50的會議音頻發送到遠端30。如果有幾個設備麥克風74 (以及可能有單元的麥克風124)正在捕捉音頻，則單元100選擇具有最大音量輸入的麥克風74或124 (塊218)，并將這一設備的音頻用于視頻會議音頻(塊220)。該比較可以防止單元100錯誤選擇音頻輸入來源。可以使用大量技術中的任何技術來確定輸入音頻的聲音能量并對其進行比較，以找到最強的輸入音頻。如果一些參與者不具有便攜式設備50，則單元100可以從現有的麥克風(124)(如果可用的話)或最近的便攜式設備的麥克風74 (假定其是最大音量的)獲取會議音頻。最后，單元100不一定需要知道存在多少參與者以及有多少參與者具有獲取音頻的便攜式設備50，盡管這可能有用并且可以人工或自動確定。至多，單元100僅僅需要選擇用于輸入的具有最大音量捕捉音頻的麥克風(不論是便攜式設備的麥克風74之一或是單元的現有的麥克風124)。其音頻被使用的設備50也可以使其攝像機84可用于捕捉用于視頻會議的視頻，并且單元100判定設備的攝像機84是否可以捕捉講話參與者的視頻以用于視頻會議(判定222)。如果不可用(要么因為沒有攝像機84，要么其未被使能)，單元100繼續使用其攝像機122來獲得會議視頻(塊228)。否則，單元100使用來自設備的攝像機84的視頻用于視頻會議(塊224)。在過程200中的任意點，參與者可以選擇將來自便攜式設備50的內容發送到視頻會議單元100以并入視頻會議(塊225)。如上面提到的，該內容可以包括位于便攜式設備50上的視頻、圖像、文檔、演示等，而且便攜式設備50可以通過網絡連接(比如到LAN 132的無線網絡134)發送該內容到單元100。接著，單元100可以將該內容并入作為視頻會議的一部分被發送到遠端的數據中。取決于便攜式設備50的能力和所涉及內容的類型，該內容可以作為數據流或者是在數據文件中被發送給單元100。另外，作為內容或呈現設備的便攜式設備50可能能夠充當外圍設備(如，從設備50捕捉和發送音頻和/或視頻到單元100)，或者可能無法充當外圍設備，因為這取決于設備50的處理能力。盡管如此，便攜式設備50可以被配置為，在視頻會議期間由參與者配置的任意給定時間向單元100發送音頻、視頻和內容中的一個或多個。只要情況保持原樣，當前處理布置就可以繼續(判定230)。在某一時間，用設備50傳遞音頻(以及可選地，視頻)的參與者可能停止講話，該參與者可能禁用設備50與單元100的配對連接，該參與者可能帶著設備50離開房間，或者可能發生任何其他類型的變化。因此，單元100將停止其處理布置，并再次返回到確定是要使用來自便攜式設備50的音頻和視頻還是要使用來自視頻會議單元100的音頻和視頻(判定216)。上面的情形已經討論了便攜式設備50可以如何發起與遠端30的視頻會議，并將其轉移到視頻會議單元100。在可替換的方案中，視頻會議100可以發起視頻會議，并可以開始呈現用傳統麥克風124和單元的攝像機144獲取的音頻和視頻。接著，在視頻會議期間，具有便攜式設備50的參與者可以與視頻單元100連接或配對以加入視頻會議。一旦設備50與單元100配對，參與者可以使用用戶接口應用66來執行各種功能，比如，用便攜式設備的顯示器82顯示視頻會議視頻，用揚聲器72或耳機輸出來再現視頻會議音頻，開始和停止視頻會議等。更特別地，如本文中所詳述的，已配對設備50可以在視頻會議期間用作麥克風和可選的視頻外圍設備。為此，圖4B示出了在視頻會議期間便攜式設備50作為視頻會議單元100的外圍設備加入視頻會議的過程250。圖4B的過程250的一開始，視頻會議單元100重復地發送對其IP地址編碼的聲波或超聲波信標到周圍環境中(即，會議室，演講廳等)，因為由單元100負責進行該視頻會議(塊252)。房間里具有運行會議應用￠6)的便攜式設備50的參與者可以選擇加入由單元100負責進行的視頻會議，而且該設備的應用￠6)從聲波或超聲波信標中解碼IP地址(塊254)。使用解碼的IP地址和無線網絡(134)和LAN(132)，設備50發送響應到單元100以加入視頻會議(塊256)，并且設備50和單元100交換握手以在它們之間發起通信，從而設備50可以與單元100配對(塊258)。隨著視頻會議繼續，近端單元100呈現遠端音頻和視頻(塊260)，并從單元的攝像機144獲取近端視頻和從單元的麥克風124獲取音頻(塊262)。然而，適當時，捕捉音頻的便攜式設備的麥克風74可用于視頻會議，并且捕捉視頻的該設備的攝像機84也可用于視頻會議。從這里開始，可以依照先前圖4A的布置繼續處理。只要沒有便攜式設備50捕捉到具有最大水平的音頻，則單元100可以繼續使用其麥克風124和攝像機144來發送到遠端 30(塊 276-278)。在某個時候,例如，使用其麥克風74拾取音頻的一個設備50從其參與者獲取音頻，并且單元100使用該 音頻用于視頻會議，如下詳述的(266判定為是)。如果有幾個設備麥克風74和124正在獲取音頻，則單元100選擇具有最大音量輸入的麥克風74和124 (塊268)，并通過發送音頻到遠端30，來使用該設備的音頻用于視頻會議音頻(塊270)。當用于音頻的便攜式設備50具有可用于捕捉視頻會議的視頻的攝像機時，單元100判定該設備的攝像機82是否可以捕捉視頻會議的視頻(判定272)。如果不可用，單元100繼續使用其攝像機122 (塊278)。否則，單元100接受來自設備攝像機82的視頻用于視頻會議(塊274)。最后，在過程250的任何時候，參與者都可以以先前描述的相同方式選擇將內容從便攜式設備50發送到視頻會議單元100以并入視頻會議(塊275)。只要情況保持原樣，當前處理布置就可以繼續(判定280)。在某個時候，發送音頻(以及可選地，視頻)的設備參與者可能停止講話，單元100將返回以確定音頻和視頻應當由另一便攜式設備50還是由視頻會議單元100捕捉(判定266)。在前面的過程200、250中，選擇是否要從便攜式設備50輸出視頻取決于便攜式設備50當前是否正用于獲取視頻會議的輸入音頻。換句話說，如果便攜式設備50沒有被選擇用于音頻，則設備50將不會用于在前面的過程200、250中獲取視頻。然而，可以使用其他布置，以使得僅獲取視頻而不獲取音頻的便攜式設備50可以被用來獲取視頻會議的視頻而不獲取音頻。E.自動配對
如之前所述，便攜式設備50可以使用聲波或超聲波配對來與視頻會議單元100自動連接或配對，由此便攜式設備50和視頻會議單元100可以通過網絡連接互相通信。為發起配對，視頻會議單元100使用其揚聲器122發送對其IP地址編碼的聲波或超聲波信標，并且該IP地址可以是本地內聯網中該單元的地址。聲波或超聲波信標優選在可聽見范圍之外，但足夠低，從而傳統的揚聲器和麥克風組件可以仍然具有有用的信號響應。因此，頻率優選在20kHz之上。一個可接受的頻率是21kHz。由于該頻率超出人類聽力范圍，其在視頻會議期間不會被聽見。另外，信標在輸出時特意具有低音量。如將理解的，該信標可以使用任何其他頻率，并且不需要在超聲波范圍內。信標中的IP地址和任何其他相關信息的傳輸優選使用載波信號約為21kHz的音頻頻移鍵控(AFSK)形式的頻率調制。如上所述，具有麥克風74并且運行外圍設備會議應用(66)的設備50檢測該信標，基于AFSK調制解碼IP地址，通過網絡連接發送響應到視頻會議單元100，并且這兩個設備50和100共享握手，由此設備50可以被用在視頻會議中。當設備50離開房間，或者參與者主動斷開連接時，配對可以自動斷開連接。接著，當進入另一個房間時，設備50可以自動連接到另一個視頻會議單元。不同于藍牙技術，聲波或超聲波信標可以被限制在視頻會議單元100的環境(房間)中，由此，在建筑中不同視頻會議單元之間的使得設備50與單元100錯誤配對的交叉干擾的幾率可能較小。因此，超聲波配對可允許單元100特別地識別設備50與單元100處于同一環境中，而不在建筑中的其它地方。盡管描述的是單元100發送對其IP地址編碼的聲波或超聲波信標，但每個設備50也可以這么做。因此，在逆向配對布置中，單元100檢測來自便攜式設備50的聲波或超聲波信標，解碼該設備的IP地址，并基于解碼的IP地址與便攜式設備50建立網絡連接。此夕卜，便攜式設備50可以使用在超聲波信標中編碼的它們的IP地址來互相配對。而且，如上所討論的，當設備50發送聲波或超聲波信標時，視頻會議單元100可以使用其麥克風124(特別是麥克風陣列)確定設備50在視頻會議環境中的位置。由此，當參與者在講話時，單元的一個或多個攝像機144可以更容易地將其視野指向具有發射設備50的該參與者上。當講話的參與者與單元的麥克風124或陣列有一定距離并且定位音頻來源的傳統技術可能受限時，這可能特別有用。最終，設備50可以作為聲波或超聲波發射器，由此視頻會議系統10可以按照與申請號為11/872，303、2007年10月15日提交的名稱為“Ultrasonic Camera Tracking System and Associated Methods” 的美國專利申請中的系統類似的方式操作，該申請通過引用全部結合到本文中。F.回聲消除如上所述，便攜式設備的麥克風74可以捕捉音頻，并通過網絡接口 90、無線網絡134和LAN 132將該音頻發送到視頻會議單元100，以便發送到遠端30。同時在視頻會議中，視頻會議單元的揚聲器122輸出用于視頻會議環境的近端音頻。因為便攜式設備的麥克風74和單元的揚聲器122處于同一環境中，當便攜式設備的麥克風74直接捕捉到由揚聲器122輸出的音頻時，會發生聲學耦合。已知的是，該聲學耦合可能使得單元100將“回聲”發送到遠端30，并且遠端30將聽到返回到它的經延遲的自身音頻。因此，視頻會議系統10優選嘗試減少視頻會議中可能出現的任何聲學耦合的不利影響。
為了這一目的，討論轉向圖5。如圖示的和先前討論的，視頻會議單元100通過網絡接口 130接收來自遠端30的輸出音頻，并且音頻編解碼器的解碼器112a解碼輸出音頻，作為單兀的揚聲器122的輸出。為輸出音頻，數模轉換器119使用基于時鐘118的米樣率轉換并將數字輸出轉換為模擬輸出，接著揚聲器122將其輸出到環境中。接下來，便攜式設備的麥克風74捕捉環境中的音頻。在捕捉音頻時，便攜式設備的模數轉換器69使用基于時鐘68的采樣率轉換并將模擬輸入轉換為數字輸入。一些由麥克風74捕捉的音頻可能是從揚聲器122聲學耦合而來。無論如何，便攜式設備50通過網絡連接(比如，W1-Fi網、LAN等)將所捕捉的音頻傳輸給視頻會議單元100。接著，單元的音頻編碼器112b編碼輸入音頻，以將其發送到遠端30。如果該音頻不經處理，那么從揚聲器122到麥克風74的任何聲學耦合音頻都將通過網絡接口 130作為“回聲”被發送到遠端30。為處理聲學耦合和產生的回聲，視頻會議單元100具有回聲消除器115。使用任何已知的回聲消除技術，回聲消除器115比較來自麥克風74的輸入音頻和揚聲器122的輸出音頻，并試圖去除來自揚聲器122的輸出音頻,該輸出音頻已包含在通過揚聲器122和麥克風74之間的聲學耦合而拾取的輸入音頻中。當正確工作時，回聲消除器115可以減少遠端30檢測到“回聲”的可能性。在大多數情況下，用于便攜式設備的麥克風74的模數(Α/D)時鐘68與單元的揚聲器12的數模(D/Α)時鐘118在頻率上不匹配。不匹配的時鐘68和118可能導致聲學回聲消除的性能不好。為正確消除，例如，揚聲器的D/Α時鐘118和麥克風的Α/D時鐘68需要在同一頻率上并且具有小的偏差(如，小于百萬分之一(PPM))。然而，由于是分開的設備，揚聲器和麥克風的時鐘68和118由物理分離的晶體所控制，并且它們的頻率可能偏差100PPM或更多。G.時鐘補償為處理不匹配的時鐘68和118，系統10在單元100處使用時鐘補償器160，和/或在便攜式設備處使用時鐘補償器170，由此單元100上的回聲消除器115可以更有效地移除由單元的揚聲器122和設備的麥克風74之間的聲學耦合引起的回聲。為實現這一點，時鐘補償器160、170補償時鐘差，并改進單元的回聲消除器115的性能。在一個實施例中，視頻會議單元100上的時鐘補償器160協助回聲消除。特別是，時鐘補償器160對遠端音頻(由單兀的揚聲器122輸出)和近端音頻(從設備的麥克風74輸入)的回聲估計進行互相關。接著，使用互相關結果，補償器160調整用于對要發送到遠端30的音頻進行回聲消除分析的采樣轉換因子。在該布置中，使用回聲估計的時鐘補償器160可以補償時鐘68和118之差而不涉及便攜式設備50。在另一個實施例中，便攜式設備50上的時鐘補償器170通過確定時鐘68和118之差來協助回聲消除。接著，通過調整便攜式設備的麥克風74的采樣轉換率或者通過調整單元的回聲消除器115或單元的揚聲器122的采樣率轉換，該差值用于“同步”音頻時鐘68和 118。如上所述，通過獲取在單元的揚聲器122發射的聲波或超聲波信標中的單元IP地址，便攜式設備50信號與單元100配對。比如，超聲波信標優選利用21kHz超聲波頻率的載波信號來發射。捕捉到信標后，便攜式設備50使用該超聲波載波信號的頻率來確定其麥克風74的時鐘68和單元的揚聲器122的時鐘118之間的頻率差。例如，單元100使用揚聲器122發射具有預定頻率21000Hz的上述聲波或超聲波信標。便攜式設備50上的麥克風74捕捉該超聲波信標，并且補償器170測量相對于單元的Α/D時鐘68的信標頻率。通常，由于分開的時鐘68和118具有不同的頻率，測得的頻率將不同于信標的預定頻率(21kHz)。例如，麥克風的時鐘68可能比揚聲器的時鐘118慢百分之一。在這種情況下，補償器170將測得信標頻率為21210Hz (也就是21000X 1.01)。不論該測得的差值如何，具有麥克風74和會議應用￠6)的便攜式設備50知道信標的實際頻率應該是預定的21000Hz。因此，補償器170可以推斷出時鐘頻率差為210Hz (也就是21210Hz-21000Hz)。一旦知道頻率差在可接受的偏差(比如1PPM)內，便攜式設備50可以使用重采樣算法，并可以調整麥克風的采樣率轉換，來匹配揚聲器的采樣率轉換。這樣，基于設備的時鐘68的Α/D轉換器69可使其采樣轉換率與基于單元的時鐘118的D/A轉換器119的采樣轉換率匹配。一旦采樣轉換率匹配，單元100上回聲消除器115可以更有效地工作。反過來調整揚聲器的采樣率轉換也是可能的。例如，便攜式設備50可以通過網絡連接向單元100發送確定的頻率差。接著，單元100的補償器160可以使用重采樣算法，并可改變用于輸出音頻的揚聲器的采樣率轉換，由此其將匹配麥克風的采樣率轉換。作為替換，補償器160可以使用該確定的回聲消除的采樣率轉換差，由此回聲消除器115可以更有效地工作。在進一步的替代例中，便攜式設備50可能實際上不計算頻率差。而是，便攜式設備響應于聲波或超聲波信標，使用網絡連接將其麥克風74的音頻捕捉頻率發送到視頻會議單元100。然后，視頻會議單元100可以計算預 定載波信號頻率與從便攜式設備50發送來的音頻捕捉頻率之間的頻率差。因此，上面討論的步驟將應用于單元的處理而不是設備的處理。在當前示例中，僅討論了一個便攜式設備50和單元100之間的音頻。然而通常情況下，在房間內可能存在任何數量的設備50，并且每個設備具有其自己的用于其麥克風74的Α/D轉換器69和時鐘68。這些設備50可以通過無線連接發送其數字音頻流到視頻會議單元110，其中的一些流可能包含已經聲學耦合到設備的麥克風74的來自揚聲器122的輸出音頻。上述教導可以應用于每個便攜式設備的音頻。之前對優選實施例和其他實施例的描述并不是意圖限制或約束申請人所構想的發明概念的范圍或適用性。基于本公開的益處，可理解的是，以上所描述的根據所公開主旨的方面的任意實施例的特征可以單獨使用或與所公開主旨的任何其它實施例或方面的任何其他描述的特征組合使用。作為公開這里所包含的發明概念的交換，申請人要求所附權利要求所提供的所有專利權。因此，所附權利要求旨在最大程度上包括落入所附權利要求范圍內的所有修改和變型或其等同。
權利要求
1.一種視頻會議方法，包括: 以視頻會議連接將便攜式設備連接到遠端； 在便攜式設備處輸出通過視頻會議連接從遠端接收到的遠端視頻和遠端音頻； 通過視頻會議連接將便攜式設備獲取的近端視頻和近端音頻發送到遠端； 以無線連接將便攜式設備連接到視頻會議單元；以及 將視頻會議連接從便攜式設備轉移到視頻會議單元。
2.根據權利要求1的方法，其中視頻會議連接包括以太網連接、廣域網(WAN)連接、無線連接、因特網連接、蜂窩連接、普通老式電話服務(POTS)連接、或其組合。
3.根據權利要求1的方法，其中無線連接包括局域網(LAN)連接、內聯網連接、無線局域網(WLAN)連接、個域網(PAN)連接、無線保真(W1-Fi)連接、無線連接、或其組合。
4.根據權利要求1的方法，其中轉移包括:將遠端視頻和近端音頻中至少一項的輸出從便攜式設備切換到視頻會議單元。
5.根據權利要求4的方法，其中將遠端視頻和近端音頻中至少一項的輸出從便攜式設備切換到視頻會議單元包括: 在視頻會議單元處接收來自遠端的遠端視頻和近端音頻； 將遠端視頻輸出到操作地耦接于視頻會議單元的顯示器；以及 將遠端音頻輸出到操作地耦接于視頻會議單元的揚聲器。
6.根據權利要求1的方法， 其中轉移包括:將近端視頻和近端音頻中至少一項的獲取從便攜式設備切換到視頻會議單元。
7.根據權利要求6的方法，其中將近端視頻和近端音頻中至少一項的獲取從便攜式設備切換到視頻會議單元包括: 用便攜式設備的麥克風獲取近端音頻；以及 通過無線連接將近端音頻從便攜式設備發送到視頻會議單元以用于發送到遠端。
8.根據權利要求7的方法，進一步包括:取消視頻會議單元的揚聲器輸出的遠端音頻，并呈現用便攜式設備的麥克風獲取的近端音頻。
9.根據權利要求8的方法，進一步包括:補償用于便攜式設備的麥克風的模數轉換器的第一時鐘與用于視頻會議單元的揚聲器的數模轉換器的第二時鐘之間的頻率差。
10.根據權利要求1的方法，進一步包括:利用運行在便攜式設備上的應用來控制視頻會議單元的功能。
11.根據權利要求1的方法，進一步包括:通過無線連接將位于便攜式設備上的內容發送到視頻會議單元以并入視頻會議。
12.一種程序存儲設備，其上存儲有使可編程控制設備執行權利要求1的方法的程序指令。
13.一種便攜式設備，包括: 通信連接到視頻會議單元、攝像機、揚聲器、顯示器、麥克風和遠端的多個接口 ；和 通信連接到所述接口的處理單元，其被配置為: 以視頻會議連接而連接到遠端； 用顯示器輸出遠端視頻，并用揚聲器輸出遠端音頻； 通過視頻會議連接將攝像機獲取的近端視頻和麥克風獲取的近端音頻發送到遠端；以無線連接而連接到視頻會議單元；以及 將視頻會議連接從便攜式設備轉移到視頻會議單元。
14.一種視頻會議方法，包括: 以視頻會議連接將視頻會議單元連接到遠端； 以無線連接將視頻會議單元連接到該視頻會議單元的環境中的便攜式設備； 獲取該環境中用視頻會議單元捕捉的第一音頻； 通過視頻會議連接將第一音頻發送到遠端； 在視頻會議單元處，通過無線連接獲取該環境中用便攜式設備捕捉的第二音頻；以及 切換為通過視頻會議連接將第二音頻發送到遠端。
15.根據權利要求14的方法，其中視頻會議連接包括:以太網連接、廣域網(WAN)連接、無線連接、因特網連接、蜂窩連接、普通老式電話服務(POTS)連接、或其組合；并且無線連接包括:局域網(LAN)連接、內聯網連接、無線局域網(WLAN)連接、個域網(PAN)連接、無線保真(W1-Fi)連接、無線連接、或其組合。
16.根據權利要求14的方法，其中所述環境中用便攜式設備捕捉的第二音頻包括用便攜式設備的麥克風捕捉的音頻。
17.根據權利要求14的方法，其中切換包括:當第二音頻比第一音頻具有更高水平時，發送第二音頻。
18.根據權利要求14的方法，進一步包括: 獲取用視頻會議單元捕捉的第一視頻； 通過視頻會議連接將第一視頻發送到遠端； 在所述視頻會議單元處，通過無線連接獲取所述環境中用便攜式設備捕捉的第二視頻；以及 切換為通過視頻會議連接將第二視頻發送到遠端。
19.根據權利要求18的方法，其中所述環境中用便攜式設備捕捉的第二視頻包括用便攜式設備的攝像機捕捉的視頻。
20.根據權利要求18的方法，其中切換包括:當第二音頻比第一音頻具有更高水平時，發送第二視頻。
21.根據權利要求14的方法，進一步包括: 在視頻會議單元處，通過無線連接獲取位于便攜式設備上的內容；以及 將獲取的內容并入視頻會議。
22.一種程序存儲設備，其上存儲有使可編程控制設備執行權利要求14的方法的程序指令。
23.一種視頻會議裝置，包括: 用于捕捉環境的音頻的麥克風； 通信連接到便攜式設備和遠端的一個或多個接口 ；和 通信連接到攝像機、顯示器、麥克風、揚聲器和所述一個或多個接口的處理單元，該處理單元被配置為: 以視頻會議連接而連接到遠端； 以無線連接而連接到所述環境中的便攜式設備；獲取用麥克風捕捉的第一音頻；通過視頻會議連接將第一音頻發送到遠端；在所述單元處 ，通過無線連接獲取用便攜式設備捕捉的第二音頻；以及切換為通過視頻會議連接將第二音頻發送到遠端。
全文摘要
一種視頻會議系統，具有視頻會議單元，其使用便攜式設備作為系統的外圍設備。便攜式設備獲取近端音頻，并通過無線連接將該音頻發送到視頻會議單元。接著，視頻會議單元將來自最大音量便攜式設備的近端音頻連同近端視頻發送到遠端。便攜式設備可以控制視頻會議單元，并且可以通過與遠端連接并隨后將操作轉移到視頻會議單元而初步建立視頻會議。為了處理該單元的揚聲器和便攜式設備的麥克風之間的聲學耦合，該單元使用回聲消除器來補償揚聲器和麥克風的A/D和D/A轉換器中所使用的時鐘之間的差異。
文檔編號H04N7/15GK103096024SQ20121054827
公開日2013年5月8日 申請日期2012年10月26日 優先權日2011年10月27日
發明者P·L·楚, K·薩伊 申請人:寶利通公司