專利名稱：自動音頻和視頻同步的制作方法
技術領域：
本發明總體涉及對音頻和視頻的同步，并且更具體地涉及在多組 件多媒體處理系統中自動同步音頻和視頻輸出。
背景技術：
在現有音頻和視頻多媒體系統中，分立音頻和視頻處理組件的增 長得到了提高。在這些典型系統中，可以使用第一組處理組件以產生 音頻信號，并且可以使用第二組處理組件產生視頻信號。例如，在平 板電視顯示器中，平板顯示器不必包括揚聲器。因此，必須使用分立 音頻子系統，例如集成到諸如起居室的現有可視區域內的環繞聲系 統。
圖1示出現有技術的音頻和視頻處理系統100的示圖。該系統包 括源裝置102，例如用于產生輸入信號的任何合適的源。在一個示例 性實施例中，源可以是數字多功能光盤(DVD)播放機，數字視頻記錄 裝置，或者能夠從存儲介質讀取音頻和視頻信息的任何其它合適的裝 置。在系統100中，還可以使用例如衛星接收機104或有線接收機 106的其它輸入源以接收輸入音頻和視頻信號。
在系統100中，視頻接收機108是用以接收來自例如視頻源102、 衛星接收機104或有線接收機106的示例性的源的多個源的至少之一 的視頻信號IIO。視頻接收機108可以執行圖像處理操作，以產生提 供給例如標準電視的視頻顯示器114的輸出視頻信號112。
系統IOO還包括音頻接收機116，其用以接收來自例如視頻源102、 衛星接收機104和有線接收機106的不同源的至少之一的音頻信號 118。音頻接收機116可以是能夠接收輸入音頻信號并執行信號處理 以產生輸出音頻信號120到音頻輸出裝置、或例如為揚聲器的裝置 122的任何合適的音頻接收裝置。
在系統100中，用于將分別到視頻顯示器114和相應音頻輸出設 備122的視頻信號112和音頻信號120進行同步的現有技術方法是手 動配置。典型地，在安裝例如視頻接收機108和音頻接收機116的信 號處理組件時，技術人員手動地使用測試裝置124。測試裝置可以是 能夠接收視頻信號112和音頻信號120的任何合適的處理裝置。測試 裝置124用以確定特定幀視頻數據112與相應音頻部分120之間的延 遲間隔。基于該計算出的延遲，測試裝置然后產生提供給顯示器以使 得可以進行手動調整128的的延遲信號126。
圖1示出用于手動調整的功能塊128，但是如本領域技術人員所 知，功能塊128表示由技術人員執行的物理行為，其用于手動調節音 頻接收機116中對應的偏移量130。因此，由于技術人員的使用和基 于來自測試設備124的檢測到的偏移126對偏移量130的手動調整 128，可以調整音頻接收機116使音頻輸出與視頻輸出一致。
用于同步音頻和視頻輸出的當前方法需要與視頻接收機108內的 延遲對應的音頻接收機116的手動調節128。這種方法不但需要技術 人員或高級技術用戶手動調整音頻接收機116，而且該方法只可以用 于視頻接收機108的配置。
隨著網絡容量和跨多個網絡通信中可用的多個處理機的成長，存 在通過使用可用的渲染(rendering)資源改進視頻渲染的能力。如果調 整選擇資源的組合超出視頻接收機108內的配置，當前方法需要進一 步的手動調整128以同步音頻和視頻輸出。此外，手動調整僅對現存 的解決方案有益，并且如果有了任何其它可用的配置，將再次需要進 一步調整音頻和視頻輸出的時序。
例如，如果在家用計算機網絡上，電視機頂盒與第一家用計算機 和第二家用計算機通信，在不同的計算機和該機頂盒之間可以使用不 同的處理資源以允許最大化可用的處理資源并且產生可能的最佳視 頻輸出。然而，在該系統中將需要基于必須相應地提供給例如音頻接 收機116的音頻接收機的視頻信號處理的固有延遲。當前的技術不允 許自動調整用于同步音頻和視頻輸出的時序。因此，需要在網絡環境 中改進音頻和視頻輸出信號的同步。
發明內容
根據本發明的第一方面，提供了一種用于自動音頻和視頻輸出同 步的方法，所述方法包括
基于產生視頻顯示信號的信號處理程序計算視頻延遲時間周期； 以及
自動設置音頻延遲近似為視頻延遲時間周期。
根據本發明的第二方面，用于自動音頻和視頻輸出同步的設備包
括
用于存儲多個可執行指令的存儲裝置；以及
可操作地耦合到該存儲裝置的至少一個處理裝置，以便該至少一 個處理裝置可用于響應可執行指令基于產生視頻顯示信號的信號處 理程序計算視頻延遲時間周期；以及
自動設置音頻延遲近似為視頻延遲時間周期。
根據本發明的第三方面，用于自動音頻和視頻輸出的同步系統包
括
多個可操作地耦合的從裝置；
可操作地耦合到多個從裝置的主裝置，該主裝置用于基于多個從 裝置中的至少一個確定信號處理程序并且該主裝置用于基于信號處 理程序計算視頻延遲時間周期；
多個從裝置的一個用于接收視頻輸入信號且多個從裝置中的至少 一個用于產生視頻輸出信號；以及
音頻接收機可操作地耦合用于接收音頻輸入信號并產生經過近似 為視頻延遲周期的時段的延遲的音頻輸出信號。
圖l示出現有技術音頻和視頻同步系統的框圖2示出根據本發明的一個實施例的用于音頻和視頻同步的系統 的示意性框圖3示出用于音頻和視頻同步的系統的一個實施例的示意性框
圖4示出根據本發明的一個實施例的用于音頻和視頻同步的方法 的流程圖；以及
圖5示出根據本發明的一個實施例的用于產生主裝置和處理裝置 配置程序的方法的流程圖。
具體實施例方式
簡而言之，通過基于信號處理程序計算視頻延遲時間周期以產生 視頻顯示信號，并且將音頻延遲自動設置為近似于視頻延遲時間周 期，本發明提供自動的音頻和視頻同步。此外，如果需要，本方法可 以包括從多個有主控能力(master capable)的裝置中確定主裝置。主裝 置是包括能夠為渲染視頻信號做出配置決定和指定數據流的一個或 多個處理器的處理裝置。有主控能力的裝置是有能力作為主裝置的任 何合適的處理裝置。本發明還包括使用主裝置來確定信號處理程序以 產生視頻顯示信號。對于不同階段的視頻信號渲染，信號處理程序包 括從一個處理元件到下一個處理元件再到下一個處理元件等的指定 數據流。
可以基于提供給所有不同處理裝置直到產生后續的視頻輸出信號 的輸入視頻信號的延遲計算視頻延遲時間周期。此外，本發明包括使 用主裝置在音頻處理裝置中自動地設置音頻延遲為近似于視頻延遲 時間周期。音頻處理裝置可以是能夠接收輸入音頻信號并從而為例如 為多個揚聲器的音頻播放器產生相應的音頻輸出信號的任何合適的 音頻處理器。
因此，本發明允許自動調整音頻和視頻同步。從多個有主控能力 的裝置中確定主裝置以便主裝置確定系統處理程序。在網絡系統中， 可以基于可用資源使用多個信號處理程序。使用多種技術，可以確定 有不同延遲的最優化的信號處理程序。本發明不僅允許產生特定處理 程序，而且還允許確定相應的延遲和相對于該延遲的自動音頻偏移 量，從而在兩個不同輸出設備上無縫隙地給終端用戶提供同步的音頻 和視頻輸出。
圖2示出自動音頻和視頻輸出同步系統200的示意性框圖的圖示。 系統200包括跨過網絡連接204耦合的多個視頻處理裝置202。網絡 204可以是任何合適的網絡，例如內部網、因特網、無線網、有線網 或者允許交互通信通過的其它任何合適連接的編譯。在圖2中示出一 個示例性實施例，系統200包括接收機206、存儲裝置208、第一解 交錯式掃描儀210、第二解交錯式掃描儀212、第一轉換器214及第 二轉換器216。接收機206可以是任何合適的接收裝置，例如有線接 收機、因特網視頻廣播接收機、電信(tdco)接收機、衛星接收機，而 且還包括視頻源產生器，例如DVD播放器、個人視頻記錄設備、存 儲音頻視頻于其中的存儲模塊或如本領域技術人員所知道的任何其 它合適類型的接收機或存儲裝置。
第一解交錯式掃描儀210和第二解交錯掃描儀212可以是能夠執 行解交錯操作的任何合適的處理設備。例如，第一解交錯式掃描儀 210可以設置在可經由家庭網耦合的計算裝置上，而第二解交錯式掃 描儀212可以設置在跨英特網連接的處理裝置內。如本領域技術人員 所知的，第一解交錯式掃描儀210和第二解交錯式掃描儀212可以設 置在任何位置以便它們與網絡204通信以經經過網絡接收或傳送數 據。
第一和第二轉換器214和216分別是能夠接收輸入數據信號并從 而進行轉換以得到轉換的輸出信號的任何合適類型的轉換器。如本領 域技術人員所知的，隨著改進質量的視頻顯示裝置的發展，例如顯示 器218，就要求將具有現有幀率的輸入信號轉換為例如顯示器218的 特定顯示器所需的相應幀率的一種轉換技術。還應當注意，轉換器一 214和轉換器二216也可以置于任何合適的位置，以便它們與網絡204 通信。
系統200還包括可以是能夠執行處理操作的一個或多個處理裝置 的處理單元220。在一個實施例中，CPU220還包括能夠存儲可執行 指令的存儲器222，以便CPU 220響應于相應的可執行操作來執行特 定的操作。
在一個實施例中，系統200還可以包括可與CPU 220通信的因特網服務供應商(ISP)224，例如跨網絡連接226。 ISP224可以是任何合 適的外部連接，例如第三方軟件或其它可用資源，用于給CPU220提 供外部處理指令或可執行指令。
本發明提供產生信號的處理程序。在一個實施例中，如上所述， 由主裝置產生信號處理程序，主裝置是能夠控制和產生相應處理程序 的任何處理裝置。在一個示例性實施例中，CPU220可以是基于所包 括的處理器的主裝置。盡管如此，應該注意，可連接到網絡204的任 何其它合適的的裝置可以是合適的主裝置，以上稱有主控能力的裝 置。同樣也應注意，系統200示出單個CPU220，但在網絡計算環境 中，可以將任何合適數量的CPU或其它處理裝置都連接到網絡204。
在CPU220作為主裝置的示例性實施例中，主裝置基于可用的資 源確定信號處理程序。例如，主裝置可以基于不同元件的可用性和品 質確定信號處理程序。例如，系統可以有兩個解交錯式掃描儀，例如 能夠提供解交錯的解交錯式掃描儀一 210和解交錯式掃描儀二 212。 作為主裝置的CPU 220可以確定第一解交錯式掃描儀210當前正被 不同的處理元件使用并且因此不可用，或者在另一個示例性實施例 中，第二解交錯式掃描儀212可以具有比第一解交錯式掃描儀210低 的品質級別。如本領域技術人員所知的，當網絡環境中存在多個可用 元件時，可以使用任何合適的的標準來確定使用哪一個元件。
在一個實施例中，接收機206可以接收例如NTSC信號的輸入信 號230。接收機206允許將信號從NTSC格式轉換成480i格式。因此， 第二個解交錯式掃描儀212可以是允許將480i信號轉換成480p信號 的解交錯式掃描儀。第二轉換器216允許將信號從60Hz轉換到85Hz， 而第一轉換器214可以允許將480p數據信號轉換成1080p數據信號。 在示例性實施例中，顯示器也可以包括需要85Hz信號和1080p數據 信號。在此示例性實施例中，存儲裝置208可以包括用于具有1080i 數據的信號的調諧器，且第一解交錯式掃描儀210可以包括在頻率 60Hz處從1080i到1080p進行解交錯。因此，為產生適當的的顯示 信號，作為主裝置的CPU 220可以產生包括由接收機206到第二解 交錯式掃描儀212到第二轉換器216到第一轉換器214及隨后到顯示器218的處理程序。在此實施例中，不能訪問存儲裝置208和第一解 交錯式掃描儀210。
因此，主裝置220確定處理視頻信號中的延遲時間，以在顯示器 218上產生視頻顯示。這個延遲時間被計算為視頻延遲時間周期并且 基于產生視頻顯示信號的信號處理程序。在一個實施例中，ISP 226 可以提供非現場的配置服務。例如，ISP226可以包括使用可用的ISP 226算法和處理資源確定可用的配置并確定信號處理程序的系統
圖3示出本發明的另一個實施例。當CPU220作為主裝置時，CPU 220響應于可執行指令222，從而確定視頻延遲時間周期。系統202 接收也提供給音頻接收機250的輸入信號230。如本領域技術人員所 知的，音頻接收機250可以是任何合適類型的音頻接收裝置。音頻接 收機250耦合到音頻展示裝置252，音頻展示裝置252可以是展示音 頻輸出的任何合適類型的裝置，例如揚聲器系統中的一個揚聲器或多 個揚聲器。CPU 220給音頻接收機250提供視頻延遲時間周期254。 音頻接收機250響應于視頻延遲時間周期254從而設置近似于視頻延 遲時間周期的音頻延遲。音頻接收機250根據標準音頻接收機技術操 作以設定包括以特定時間周期緩沖特定量音頻輸出的內部延遲。因 此，音頻接收機250產生音頻輸出256，以便音頻展示裝置252和視 頻顯示器218彼此同步地提供音頻和視頻輸出。
圖4示出用于自動音頻和視頻輸出同步的方法的一個實施例的步 驟示范流程圖。如果需要，方法開始于從多個有主控能力的裝置中確 定主裝置，即步驟300。如上所述，主裝置可以是能夠執行和處理如 上所述操作的任何合適的裝置。如果需要，下一步驟302使用主裝置 確定產生視頻顯示信號的信號處理程序。如上所述，程序可以包括跨 網絡或在單個處理環境內選擇一個或多個處理元件以產生視頻顯示 信號。步驟304基于產生視頻顯示信號的信號處理程序計算視頻延遲 時間周期。因此，步驟306是使用主裝置自動設置近似于視頻延遲的 音頻延遲。從而，在本發明的一個實施例中，方法結束。
該方法還可以包括使用信號處理程序產生視頻顯示信號，以便視 頻顯示器218提供視頻輸出。方法還包括經過視頻延遲時間周期間隔之后產生音頻展示信號。與音頻接收機無關，比如圖3的音頻接收機 250，音頻展示信號可以先產生接著緩存特定時間間隔，或者可以先 緩存然后產生，以提供音頻輸出信號256的延遲輸出。
本發明還包括確定多個從裝置。如關于圖2所討論的，從裝置被 定義為能夠作為主裝置的任何裝置和被認為不是特定主裝置的所有 有主控能力的裝置。因此，以上關于圖2討論的示例性實施例中，確 定CPU220為主裝置，因此接收機206、存儲裝置208、第一解交錯 式掃描儀210、第二解交錯式掃描儀212、第一轉換器214及第二轉 換器216將是從裝置。因此，信號處理程序基于多個從裝置而進行。
圖5示出本發明的另一個實施例的流程圖，其包括在音頻和視頻 同步過程中確定處理元件的狀態。方法開始于確定處理環境是否包括 通信信道，即步驟400。如果不存在通信信道，記錄錯誤從而本發明 不能確定信號處理程序并因此不能提供同步的音頻和視頻輸出。在存 在通信信道的情況下，步驟404將確定是否存在其它主裝置。如果存 在其它主裝置，步驟406判斷哪個可用的有主控能力的裝置將被指定 為主裝置。
如果確定了特定的有主控能力的裝置是決定哪個裝置是主裝置的 裝置，則方法繼續到步驟408以便決定哪個有主控能力的裝置為主裝 置。例如，可以通過確定哪個有主控能力的裝置具有最可用的處理資 源、哪個裝置與外部服務提供者通信、哪個裝置最適合執行例如使用 評定等級系統(ratings system)的功能，或者決定哪個處理裝置是主裝 置的任何其它合適的技術執行步驟408的決定。
在步驟406中，如果特定處理裝置不是確定哪個有主控能力的裝 置是主裝置的處理裝置，方法繼續到步驟410以便有有主控能力的裝 置聽從主裝置決定。因此， 一旦決定有主控能力的裝置中的一個成為 主裝置，主決定信號送達所有有主控能力的裝置以指示哪個處理裝置 成為主裝置的決定。因此，步驟412是為每一個有主控能力的裝置確 定是否其處理單元將成為主裝置。
如果步驟412確定有主控能力的裝置不是主裝置，于是處理裝置 自動地成為從裝置414。雖然，如果步驟412的決定是肯定的，處理
裝置將成為主裝置，于是主裝置就廣播主裝置決定給所有有主控能力
的裝置，即步驟416。為此，返回到步驟410，如果處理裝置不能確 定誰是主裝置，處理裝置執行步驟410以聽從主裝置決定并且一旦接 到主裝置決定，處理裝置就能夠決定是否事實上那個裝置己成為主裝 置或者將成為從裝置。另外返回參考步驟404，在僅有一個有主控能 力的裝置的情況下，默認該裝置成為主裝置以便方法繼續到步驟416。
在步驟416之后，方法包括找到所有從裝置的步驟418。如以上 關于圖2所討論的，當CPU 220被指定為主裝置時，從裝置包括設 置于處理系統202內的元件。步驟420詢問從裝置以確定每一個從裝 置的處理容量和能力。步驟422做出配置決定。配置決定可以基于如 上所述的任何合適的因素，或者在另一個實施例中可以基于例如圖2 的ISP224的跨因特網服務提供商的第三方提供的配置。在一個實施 例中，可用單獨配置服務以便主裝置可以將從裝置信息提供給配置處 理裝置，配置處理裝置接著產生最優配置并提供配置決定返回給主裝 置。
不管怎樣，做出配置決定并給從裝置發送配置模式，即步驟424。 在一個實施例中，配置信息包括指示特定從裝置在何處接收輸入視頻 信號及從裝置可以給哪個裝置提供進一步的信號。同樣地，主裝置使 用從裝置通過特定路徑傳送視頻信息。例如，可以指示圖2的接收機 206直接給第一解交錯式掃描儀210提供信息而第一解交錯式掃描儀 210可以從而直接給第二轉換器216提供信息。如本領域技術人員所 知的，可以與任何合適數量的從裝置、特定的視頻處理裝置或提供配 置和后續視頻輸出顯示的其它合適的處理元件一起使用任何合適的 配置。
因此，從系統的觀點出發，從裝置等待改變數據，即步驟426。 除非另有指令，基于隨后的改變數據，從裝置將維持由從裝置到從裝 置或其它的稱作從處理元件到處理元件的數據流的現有方向關系。于 是，在本發明的一個實施例中，方法結束。
因此，如以上關于圖1所述，通過不僅為視頻呈現而且為延遲時 間的確定和音頻處理的隨后偏移配置處理元件，本發明改進了現有技
術。本發明允許用戶在網絡環境中無縫地使用多處理元件以產生視頻 呈現。本發明還確定由網絡呈現環境產生的延遲并自動地偏移相應的 音頻輸出，以便終端用戶在分離的輸出系統上的同時接收視頻和音 頻。
本發明不局限于這里所描述的具體實施例，應該理解本發明多方 面的其它變化和改進的實施對本領域技術人員是顯而易見的。例如， 基于以確定的時間間隔緩沖視頻內容，本發明還能夠其后延遲視頻輸 出相應的延遲因子，其中，本發明基于閑置存儲器和音頻和視頻數據 比較的緩沖要求，以延遲量對于音頻信息進行緩存。因此，本發明涵 蓋在本發明在此公開的和要求的基本原理范圍內的各種改進、變化或 等價物。
權利要求
1、一種用于自動音頻和視頻輸出同步的方法，所述方法包括基于產生視頻顯示信號的信號處理程序計算視頻延遲時間周期；以及自動地設置與所述視頻延遲時間周期近似的音頻延遲。
2、 如權利要求1所述的方法，還包括使用所述信號處理程序產 生所述視頻顯示信號。
3、 如權利要求1或2所述的方法，還包括在所述視頻延遲時間 周期的吋間間隔之后產生音頻展示信號。
4、 如權利要求3所述的方法，還包括給音頻展示裝置提供所述 音頻展示信號，其中所述音頻展示裝置是多個揚聲器。
5、 如前面任意一個權利要求所述的方法，還包括 給視頻顯示裝置提供所述視頻顯示信號。
6、 如權利要求5所述的方法，其中所述視頻顯示裝置是數字電視。
7、 如前面任意一個權利要求所述的方法，還包括 確定多個從裝置；以及 基于多個從裝置確定所述信號處理程序。
8、 如權利要求7所述的方法，還包括使用所述多個從裝置通過 特定的路徑傳送視頻信息。
9、 如權利要求7或8所述的方法，其中所述從裝置的至少一個也是有主控能力的裝置。
10、 如權利要求7至9中的任一項所述的方法，其中所述主裝置 和所述多個從裝置可經過網絡進行通信。
11、 如前面任意一個權利要求所述的方法，包括從多個有主控能 力的裝置中確定主裝置；以及使用所述主裝置，確定產生視頻顯示信號的信號處理程序。
12、 一種用于自動音頻和視頻輸出同步的設備，所述設備包括用于存儲多個可執行指令的存儲裝置；以及 至少一個可耦合到所述存儲裝置的處理裝置，使得所述至少一個處理裝置可響應于所述可執行指令基于產生視頻顯示信號的信號處理程序計算視頻延遲時間周期； 以及自動設置與所述視頻延遲時間周期近似的音頻延遲。
13、 一種用于自動音頻和視頻輸出同步的系統，所述系統包括 多個可耦合的從裝置；可耦合到所述多個從裝置的主裝置，所述主裝置用于基于所述多個從裝置中的至少一個確定信號處理程序，且所述主裝置用于基于所述信號處理程序計算視頻延遲時間周期；所述多個從裝置的一個用于接收視頻輸入信號且所述多個從裝 置中的至少一個用于產生視頻輸出信號；以及音頻接收機，其可以耦合以接收音頻輸入信號，并經過與所述視 頻延遲周期近似的時間周期的延遲后產生音頻輸出信號。
14、 如權利要求12或13所述的設備或系統，其中所述處理裝置 可經過網絡耦合到主裝置和多個從裝置。
15、 如權利要求12至14的任何一項所述的設備或系統，其中所 述至少一個處理裝置設置在計算系統內且主裝置設置在所述計算系 統內。
16、 如權利要求11至15的任何一項所述的設備或系統，其中所 述從裝置是視頻處理裝置。
17、 如權利要求11至16的任何一項所述的設備或系統，其中可 將所述至少一個處理裝置耦合到音頻處理裝置，使得可以在所述音 頻處理裝置中對所述音頻延遲進行編程。
18、 如權利要求11至17的任何一項所述的設備或系統，其中所 述至少一個處理裝置用于響應于所述可執行指令、從多個有主控能 力的裝置中確定主裝置；以及使用所述主裝置，確定使用多個從裝 置產生視頻顯示信號的信號處理程序。
全文摘要
一種通過基于產生視頻顯示信號的信號處理程序計算視頻延遲時間周期并自動設置與視頻延遲時間周期近似的音頻延遲以提供自動音頻和視頻同步的設備和方法。另外，必要時本方法可以包括從多個有主控能力的裝置中確定主裝置。主裝置是包括能夠為展示視頻信號做出配置決定和指定數據流的一個或多個處理器的處理裝置。有主控能力的設備是有能力作為主裝置的任何合適的處理裝置。本發明還可以包括使用主裝置確定產生視頻顯示信號的信號處理程序。信號處理程序包括對不同階段的視頻信號展示，從一個處理元件到下一個元件到下一個處理元件等指定數據流。
文檔編號H04N5/04GK101204081SQ200680008821
公開日2008年6月18日 申請日期2006年3月17日 優先權日2005年3月18日
發明者D·A·斯特拉瑟, P·斯旺 申請人:Ati技術公司