專利名稱：低延遲視頻編碼器的制作方法
技術領域：
本發明通常涉及視頻會議，尤其是，涉及低延遲高分辨率的視頻會議和遠程呈現 (telepresence)應用。
背景技術：
有史以來，已經采用各種各樣的系統用于在短距離上交換消息。光電報，諸如例如煙幕信號、烽火和信號燈網絡追溯到古代。當然，這樣的系統在通信方之間需要徑直的視距，并且僅僅在比較短的距離上是有效的。隨著在十九世紀電子電報的出現，甚至在大的距離上，在兩方之間通信信號的傳輸變得進一步更加實用和經濟合算。近年來，隨著雙向無線電通信系統和模擬或者數字電話網的發展，與實質上位于世界上任何地方的一方或多方通信已經或多或少變成日常工作事項。令人遺憾地，在長距離上支持通信的大多數當前的系統有些受到限制，其中它們不包括可視的通信成分。這導致包括身體語言、面部表情和手勢的可視的提示沒有在通信方之間傳達的缺點。這樣的可視的提示是重要的，并且是在人之間通信往往未發覺的方面。 沒有這些熟悉的視覺提示，對于一方來說準確地解釋別人的感應、心情和誠意是更加困難的。這種局限性被較好地認識到，并且至少自二十世紀六十年代以來，除了在各方之間音頻通信之外，正在努力開發包括可視的通信成分的實用的方法。事實上，這個目的已經使用視頻會議技術和可視電話以不同程度的成功實現。視頻會議是一組交互的遠程通信技術，其允許兩個或更多個位置去經由雙向并行視頻和音頻傳輸來交互作用。在視頻會議系統中使用的核心技術是音頻和視頻流的實時數字壓縮。視頻會議系統的其它的部件包括 視頻輸入，即，攝像機或者網絡攝像機；視頻輸出，即，計算機監視器、電視接收機或者投影儀；音頻輸入，即，麥克風；音頻輸出，即，與顯示設備或者電話有關的通常地揚聲器；數據傳輸，即，模擬或者數字電話網、LAN或者因特網。簡單的模擬視頻會議可以在電視接收機發明初期建立。這樣的視頻會議系統由經由有線、射頻鏈路或者移動鏈路連接的兩個閉路電視系統組成。在使用標準電話網絡去傳送慢掃描視頻信號，諸如由AT&T開發的第一系統進行的嘗試失敗，主要由于差的畫面質量和缺乏有效的視頻壓縮技術。僅僅在二十世紀八十年代數字電話傳輸網絡變為可允許的， 諸如ISDN，保證用于壓縮的視頻和音頻傳輸的最小位速率(通常地128千比特/s)。最后， 在二十世紀九十年代，基于IP(網際協議)的視頻會議變為可允許的，并且開發更加有效的視頻壓縮技術，允許桌上型電腦，或者基于個人計算機(PC)的視頻會議。在這點上，值得注意的是，盡管許多的優點，商店和個人已經緩慢采用基于IP的視頻會議，甚至當高速因特網服務已經變得以合理的成本更加廣泛地可用時。這個失敗至少部分地是由于典型地不舒適的感受，其與基于IP的視頻會議有關。尤其是，通常視頻成分具有差的質量和“波浪起伏的”，或者沒有與通信的音頻成分精確同步。而非增強通信，該視頻成分可以實際上提供假的視覺提示，并且甚至使通信方迷惑或者令人作嘔。當然，當該視頻成分被充分地改善以提供通信方更加逼真的運動和逼真表示的時候，很可能出現更寬的采用。因此，在視頻數據的編碼和傳輸方面每個遞增的改善是朝著實現視頻會議廣泛的采用的方向重要的步驟。進一步最新的發展是遠程呈現，其密切地與視頻會議相關。遠程呈現指的是一組技術，其允許人在除其實際的位置以外的位置上感覺仿佛他們存在，以給出他們呈現的相貌，或者具有印象。好的遠程呈現策略將人的因素首先聚焦在視覺協作解決方案上，其從傳統的視頻會議的不自然的“演說者頭部特寫”感受中分離出來，精確地復制大腦固有的選項用于人際信息交流。這些提示包括全尺寸的參與者、流體運動、準確的膚色和真實的目光接觸的外形。在許多的遠程呈現應用中，存在對于高分辨率的視頻內容隱含的需求。視頻會議和遠程呈現的廣泛采用的主要障礙是需要在兩個或更多個遠程位置之間經由通信網絡不斷地和實時傳送大量的視頻數據。因此，視頻編碼技術用于減少傳送的視頻數據量。例如，MPEG算法壓縮數據以形成小的數據集合，其可以容易地傳送，并且然后解壓縮。MPEG通過僅僅表示從一個幀到另一個，而不是每個完整幀的變化，實現其高的壓縮速率。該視頻信息然后被使用稱作離散余弦變換(DCT)的技術編碼。例如，在人從固定背景旁邊走過的場景下，取決于哪個表示需要更少的位去適當地表示該畫面，或者使用運動補償，或者作為刷新的圖像數據，或者作為兩者的組合，僅僅移動區域將需要被表示。沒有變化的場景部分不需要被重復地發送。MPEG使用一種有損耗的壓縮，因為某些數據被除去，但是，數據的減少通常為人眼難以覺察到。在典型的視頻壓縮設計中發現的三個主要畫面或者幀類型是內編碼畫面(I幀)、 預測的畫面(P幀)和雙預示的畫面(B幀)。但是，對于實時視頻通信，僅僅考慮內(I幀) 和預示的(P幀)。在運動順序中，單個畫面幀被集中在一起(稱作一組畫面，或者G0P)并且播放，使得瀏覽器注冊視頻空間運動。也稱作關鍵幀，I幀是數字內容的單個幀，編碼器不依賴于放在其之前的幀檢查，I幀存儲需要顯示該幀的所有數據。典型地，在壓縮的視頻中，I幀與P幀散布。包含的I幀越多，視頻質量將越好，但是，I幀包含大量數據，因此提高網絡通信負載。P幀跟隨I幀，并且僅僅包含已經從先前的I幀變化的數據(諸如，顏色或者內容變化)。因此，P幀依賴于I幀去填充大部分數據。實質上，視頻的每個幀被分析以確定具有運動的區域和靜態的區域。當P幀被發送的時候，它們包含已經對于整個幀變化的數據。類似地，每個I幀包含用于整個幀的數據。因此，峰值和平均網絡負荷兩者是比較高的。現代的視頻編碼技術工作極好，并且能夠實現在200 1至500 1的范圍內的壓縮比。令人遺憾地，這類編碼是計算非常地昂貴，并且在發送端需要超強大的處理能力。 專用的視頻會議和遠程呈現系統在大多數情況上是成本價格過高的，其確實具有足夠的處理能力，并且對于實時編碼高分辨率視頻是有效的。另一方面，基于PC的視頻會議系統很少具有足夠的處理能力去實時操縱視頻編碼操作。例如，使用具有四個2GHZ中央處理器核心的現代的計算機去編碼高分辨率視頻(以每秒30幀數的1920X 1080像素)引入200ms 無法接受的延遲。值得注意的是，在接收端解碼編碼的視頻需要的處理能力顯著地更少。與現代的視頻編碼技術有關的另一個問題是由經由通信網絡發送I幀所引起的高峰值/平均數據成組傳送。當視頻會議開始的時候，最初出現數據成組傳送，并且在整個視頻會議期間還每隔一段時間。該提高的網絡通信量可以在接收端上接收I幀數據時導致延遲，導致不連貫的視頻和/或分組損失。降低I幀傳輸的頻率沒有減小峰值數據成組傳送發出，并且另外使視頻質量惡化。提供克服現有技術的以上提及的局限性的至少一些的方法和系統將是有益的。
發明內容
按照本發明的一個方面，提供了一種用于實時編碼視頻信號的方法，該視頻信號與視頻會議和遠程呈現對話的一個有關，該方法包括捕獲視頻數據，并且依賴于其提供視頻信號數據；將視頻信號數據分解為數據段，在相同的視頻信號數據內，從一個視頻幀到另一個后續的視頻幀的數據段相同；獨立地編碼每個數據段以產生編碼的段數據，使得對于給定的數據段產生I幀和P幀兩者，并且允許在遠端處獨立重建數據段；和傳送編碼的段數據。按照本發明的一個方面，提供了一種用于實時編碼視頻信號的方法，該視頻信號與視頻會議和遠程呈現對話的一個有關，該方法包括捕獲視頻幀數據的序列，該視頻幀數據的序列包括視頻信號的至少一部分；將每個幀分解為多個數據段；相互獨立地編碼數據段，并且至少一些數據段與編碼數據段的其它的并行編碼；和經由通信網絡傳送編碼的數據段，使得某些數據段的傳輸隨后與其它的數據段的傳輸偏移。按照本發明的一個方面，提供了一種用于實時編碼視頻信號的方法，該視頻信號與視頻會議和遠程呈現對話的一個有關，該方法包括捕獲視頻幀數據的序列，該視頻幀數據的序列包括視頻信號的至少一部分；將每個幀分解為包括第一數據段和包括第二數據段的多個數據段，第一數據段至少包含在對話期間的閾值運動量，第二數據段包含在對話期間的小于閾值運動量；編碼第一數據段，和獨立地編碼第二數據段，使得對于第一和第二數據段的每個產生I幀和P幀兩者；經由通信網絡傳送與第一數據段有關的I幀，并且在足夠用于減小數據成組傳送速率的延遲之后，經由通信網絡傳送與第二數據段有關的I幀，以便以用于減小從其中產生的數據成組傳送速率的方式傳送第一和第二數據段。按照本發明的一個方面，提供了一種用于實時編碼視頻信號的視頻編碼系統，該視頻信號與視頻會議和遠程呈現對話的一個有關，該系統包括用于接收包括幀數據的視頻信號的端口，該幀數據可分解為多個不同的預先確定的數據段；多個視頻編碼器，每個用于獨立地編碼預先確定的數據段的不同的一個；和用于將編碼的數據段提供到網絡上的收發信機。
現在將結合以下的附圖描述本發明的示范的實施例，其中圖1是示出現有技術視頻編碼的簡化流程圖；圖2是示出用于現有技術視頻編碼的幀大小對幀數的圖形顯示；圖3是示出按照本發明的一個實施例的視頻編碼的簡化流程圖；圖4是示出按照本發明的一個實施例用于視頻編碼的幀大小對幀數的圖形顯示； 和圖5a_d圖解地舉例說明有關將一個幀分解為數據段的四個變化。
具體實施例方式給出以下的描述以允許所屬技術領域的專業人員生成和使用本發明，并且在特別的應用及其需求的背景下提供。對于公開的實施例的各種各樣的修改對那些本領域技術人員來說是容易地顯而易見的，并且不脫離本發明的范圍，在此處限定的原理可以適用于其他的實施例和應用。因此，本發明不意欲被限制在公開的實施例，而是要給予按照在此處公開的原理和特點最寬的范圍。參考圖1，所示出的是按照現有技術用于編碼高分辨率的視頻的簡化流程圖。原始的高分辨率的視頻信號從HD (高分辨率)視頻信源提供給視頻編碼器。該視頻編碼器然后按照預先確定的編碼技術編碼視頻信號。該編碼的視頻信號被提供給發射機，用于經由網絡傳輸。如在圖1中示出的，在高分辨率的視頻編碼和傳輸的現有技術方法中，整個高分辨率的幀由編碼器處理，并且傳送給網絡用于傳輸。在捕獲和整個幀的編碼結束之間的延遲對于高分辨率的幀可以是有效的，諸如例如數量級為毫秒的100s。現在參考圖2，很明顯，對于現有技術方法，視頻比特流的視頻編碼峰值對平均位速率比是很高的，由于大的I幀，其導致在網絡上通信量大的成組傳送，并且通常導致分組損失。當I幀以幀間隔傳送時，在21上示出的峰值數據成組傳送周期地出現。該平均位速率22顯示為水平線。雖然平均位速率22是比較低的，其將對于所有數據成組傳送數據在一個數據成組傳送21a和后續數據成組傳送21b之間花費整個時間，并且以平均位速率插進要傳送的數據，因此，除非該可用帶寬是充分地高，有效的延遲由該數據成組傳送21產生。甚至當可用帶寬足夠容納數據成組傳送帶寬時，那么，該數據成組傳送有助于視頻傳輸的延遲，因為數據仍然被經由網絡接口順序地傳送。如上文討論的，每個I幀包含用于整個幀的數據，并且每個P幀包含已經對于整個幀變化的數據。盡管有一些缺點，現有技術視頻編碼技術非常適用于許多的應用。尤其是，僅舉幾個例子，以這種方式的視頻編碼是用于廣播視頻應用、視頻點播系統應用和DVD視頻存儲應用。在上述的應用中，提前執行該編碼，使得處理需求不是有效的限制因素。此外，在傳輸應用中，該視頻數據在播放之前被緩存，以便減輕與到網絡上的高峰值數據成組傳送相關的問題。在該技術中眾所周知，數據的緩存將補償數據成組傳送的一些影響，并且在專用的傳輸中，該網絡基于系統，諸如廣播或者DVD。已經做了很多去估算緩存和供IP網絡中使用的緩存器大小。在這些的每個中，視頻數據在從信源到目的地的單個方向流動。這些策略對于非交互的應用是有效的，但是，令人遺憾地，不適用于實時視頻會議應用。現在參考圖3，所示出的是按照本發明一個實施例用于視頻編碼的簡化流程圖。原始的高分辨率的視頻信號從HD視頻信源提供給分配器。該分配器然后將視頻信號的每個幀分解為多個數據段。每個數據段使用單獨的編碼器獨立地編碼選擇性地，在單獨的CPU 上執行。用于每個區域的編碼的視頻數據被提供給發射機，并且隨后經由網絡傳送。例如，原始的高分辨率視頻信號以12個矩形數據段(4個水平頻帶和3個垂直列) 的形式被分解為多個數據段，其每個被處理、壓縮和獨立地傳送給接收端。在接收端上，每個數據段被解碼，并且該解碼的數據段被重新組合以再現接近于原始信號的圖像。并行編碼不同的數據段減少延遲，例如，與ms的IOOs相比用于編碼需要大約50ms。此外，獨立地編碼該數據段減少到網絡上的數據成組傳送。作為一個說明性的例子，如果編碼器A需要X毫秒去編碼全高分辨率幀，然后，N個數據段在大約(X/N)毫秒結束編碼，從而減少延遲數量級為N的因子。另外，由于每個數據段被分別地編碼，每個數據段的I幀出現最好是與其它的數據段偏移，使得當至少另一個數據段生成P幀的時候，每個數據段的I幀出現，從而減少到網絡上的整個峰值對平均數據成組傳送，并且可能減少分組損失。這些在圖4中圖解地示出，這里用于數據段(0)、數據段 (1)和數據段(2)的I幀一個與另一個偏移。在圖4中示出的每個信號具有大約5kB的P幀大小，和大約20kB的I幀大小。因此，對于示出的三個數據段例子，對于每個幀傳送IOkB的P幀數據，并且對于相同的幀傳送 20kB的I幀數據，產生30kB的幀數據。這些在圖2中在24上示出。如從圖2中看到的，成組傳送數據位速率比現有技術顯著地減少，同時保持相似的平均數據速率和相似的視頻傳輸編碼質量。當然，使用更多的數據段允許進一步提高平均數據位速率，直到許多的數據段被選擇為止，使得影響數據速率的編碼效率被大大地減小。此外選擇性地，每個數據段的編碼的目標位速率被獨立地設置，因此，由于應用可以被分配更高的位速率，數據段被認為是更加重要的。現在參考圖5，選擇性地采用許多的形式將高分辨率幀分解為獨立地編碼的數據段。直接了當的方法是將每個圖像分割為在每個原始圖像內以行和列調整的一系列的矩形分段。使用這種方法，其比較直接了當地提供或者很小或者很大的許多的數據段。四個可允許的其它的方法作為特定的和非限制例子示出。在圖5a中，該幀被劃分為多個水平頻帶。圖5a示出作為不同的數據段的每個頻帶，并且每個數據段具有相同的大小。選擇性地，兩個或更多個鄰接或者非鄰接頻帶合并以形成單個數據段。此外選擇性地，該數據段的一些具有不同的大小。在圖5b中，每個數據段是作為4的因子的圖像的下采樣表示。當然，選擇性地，使用另一個下采樣因子。在圖5c中，該幀被分成偶數和奇數行，這里一個數據段由所有偶數行組成，并且另一個數據段由所有奇數行組成。在圖5d中，該幀被分成靈活大小的窗口。在舉例說明的特定的和非限制例子中， 該幀被分成同樣大小的上和下水平頻帶，在水平頻帶之間擴展的相等大小的左和右垂直頻帶，和中央矩形窗口。選擇性地，該幀分解過程是參考圖5a_d描述的方法的組合。如上所述，按照本發明實施例的方法和系統利用視頻會議視頻圖像典型地是整體來看相對靜態的事實。例如，在視頻會議應用中，搖攝和/或快速場景變化是少有的事情。 由于這個緣故，該幀的背景部分近似恒定。這個信息對于專用于視頻會議應用的視頻編碼器是非常有用的。尤其是，預先已知每個幀的大范圍可能或者甚至非常可能與在先前的幀中是相同的。因此，該視頻編碼器不需要以每秒24至60幀數的速率，以解析的方式對于每個幀確定這個事實。更確切些，僅僅對于視頻編碼器來說有必要處理該圖像以確定移動區域。選擇性地，I幀以其發出的速率被相對于通用的視頻編碼減小。與電影和廣播電視不同，這是因為在視頻會議中存在低的概率，即，該視頻信號將包括場景變化、搖攝運動，或者需要要發送的新的I幀的其他類型的變化。另外，利用該知識將該幀分解為多個數據段，S卩，每個幀的大范圍可能或者甚至非常可能與在先前的幀中相同。尤其是，每個數據段被與相互的數據段獨立地編碼。如果對于特別的數據段，其確定相對于先前的幀的相同的數據段的變化超過閾值，那么，用于該數據段的I幀僅僅被發送。相同的幀的其它的數據段的一些或者全部可能僅僅需要P幀。事實上，在視頻會議參加者占據的區域外面的那些幀可能僅僅在非常長的間隔上需要I幀， 同時包含參加者面部一部分的那些數據段需要更加頻繁的I幀。總的說來，這種方法勢必減小到網絡上成組傳送和平均數據信息量兩者，并且減小延遲，由于I幀僅僅對于單個的數據段，而不是對于整個幀發送，并且用于不同的數據段的I幀以不同的時間間隔偏移和/ 或發送。在簡單應用中，該數據段定義為幾何形狀，諸如矩形或者正方形。選擇性地，該數據段基于以下的知識定義，該知識是基于特別的視頻會議或者遠程呈現系統的使用提供或者確定的。例如，如果所期望的是單個參加者將中央地就座在視頻幀內，那么，用于分解該幀的可接受的策略可以是在圖5d中舉例說明的那個，其中中央矩形位于包含參加者面部的該幀的部分上。因此，水平和垂直數據段定義期待包含更少運動的該幀的部分。該中央矩形可以進一步分配給具有高位速率的編碼器，同時其余的數據段被分配低的位速率。做為選擇，中央矩形可以使用雙核心處理器的一個處理器編碼，并且雙核心處理器的另一個處理器可以編碼其余的數據段的全部。選擇性地，數據段的一些沒有每個幀處理。該數據段選擇性地是不規則的和/或非鄰接的。進一步選擇性地，該數據段被動態地確定，并且在一個或多個視頻會議對話的整個過程期間變化。可以設想不脫離本發明的精神或者范圍的許多其它的實施例。
權利要求
1.一種用于實時編碼視頻信號的方法，該視頻信號與視頻會議和遠程呈現對話中一個有關，該方法包括捕獲視頻數據，并且依賴于其提供視頻信號數據；將視頻信號數據分解為數據段，在相同的視頻信號數據內，從一個視頻幀到另一個后續的視頻幀的數據段相同；獨立地編碼每個數據段以產生編碼的段數據，使得對于給定的數據段產生I幀和P幀， 并且允許在遠端處獨立重建數據段；和傳送編碼的段數據。
2.根據權利要求1的方法，其中，所述數據段被預先確定不存在分析視頻信號數據的視頻幀的在先的步驟。
3.根據權利要求1-2的任何一個的方法，其中，每個數據段包括與視頻信號數據的視頻幀的不同的預先確定的區域有關的數據。
4.根據權利要求1-3的任何一個的方法，其中，傳送編碼的段數據包括相對于傳送數據段的另一個的I幀，傳送具有延遲的數據段之一的I幀，以便減小最大數據成組傳送速率。
5.根據權利要求1-4的任何一個的方法，其中，傳送編碼的段數據包括在相同的重疊時段期間傳送數據段之一的I幀，和傳送數據段的另一個的至少一個P幀。
6.根據權利要求1-5的任何一個的方法，其中，所述數據段被均勻地依大小排列幾何形狀。
7.根據權利要求1-5的任何一個的方法，其中，與數據段的另一個相比，數據段長度和形狀的至少一個對于數據段的一個是不同的。
8.根據權利要求1-7的任何一個的方法，其中，數據段的至少一個包括與視頻信號數據的視頻幀的多個預先確定的非鄰接區域有關的數據。
9.根據權利要求1-8的任何一個的方法，其中，視頻信號數據依賴于應用數據被分解為數據段，應用數據在視頻信號數據之外，并且表示在視頻信號數據的視頻幀的不同的區域中期望的運動量。
10.根據權利要求1-9的任何一個的方法，其中，依賴于在先的使用數據執行將視頻信號數據分解為數據段，在先的使用數據在視頻信號數據之外，并且表示在不同的視頻信號數據的視頻幀的不同的區域中預先地確定的運動量。
11.根據權利要求1-10的任何一個的方法，其中，在對于數據段的一個有規律地間隔的I幀之間的周期不同于在對于數據段的另一個有規律地間隔的I幀之間的周期。
12.根據權利要求1-11的任何一個的方法，其中，獨立地編碼每個數據段包括與編碼數據段的另一些并行編碼至少一些數據段。
13.根據權利要求1-12的任何一個的方法，其中，獨立地編碼每個數據段包括將每個不同的數據段分配給多個編碼器的不同的編碼器。
14.根據權利要求13的方法，其中，多個編碼器的至少一個編碼器具有大于多個編碼器的其他編碼器的位速率的位速率。
15.根據權利要求1-14的任何一個的方法，其中，傳送編碼的段數據包括傳送數據段的一個的I幀，并且在其傳輸期間，傳送除I幀以外的所有其它的數據段。
16.一種用于實時編碼視頻信號的方法，該視頻信號與視頻會議和遠程呈現對話的一個有關，該方法包括捕獲視頻幀數據的序列，該視頻幀數據的序列包括視頻信號的至少一部分；將每個幀分解為多個數據段；相互獨立地編碼數據段，并且至少某些數據段與編碼數據段其它的并行編碼；和經由通信網絡傳送編碼的數據段，使得某些數據段的傳輸隨后與其它的數據段的傳輸偏移。
17.根據權利要求16的方法，其中，數據段被預先確定不存在分析視頻幀數據的序列的視頻幀的在先的步驟。
18.根據權利要求16-17的任何一個的方法，其中，每個數據段包括與視頻幀數據的序列的視頻幀的不同的預先確定的區域有關的數據。
19.根據權利要求16-18的任何一個的方法，其中，相互獨立地編碼數據段包括對于多個數據段的每個產生I幀和P幀，以便在遠端處支持獨立重建數據段。
20.根據權利要求19的方法，其中，傳送編碼的段數據包括借助于相對于傳送數據段的另一個的I幀的延遲傳送數據段的一個的I幀，以便減小數據成組傳送速率。
21.根據權利要求19-20的任何一個的方法，其中，傳送編碼的數據段包括傳送數據段的一個的I幀，并且在相同的重疊時段期間傳送數據段的另一個的P幀。
22.根據權利要求21的方法，其中傳送編碼的段數據包括傳送數據段的一個的I幀，并且在其傳輸期間，傳送所有其它的數據段的除I幀以外的。
23.根據權利要求19-22的任何一個的方法，其中，在對于數據段的一個有規律地間隔的I幀之間的周期不同于在對于數據段的另一個有規律地間隔的I幀之間的周期。
24.根據權利要求16-23的任何一個的方法，其中，多個數據段的數據段表示均勻地依大小排列幾何形狀的圖像數據。
25.根據權利要求16-23的任何一個的方法，其中，多個數據段的至少一個數據段包括與視頻幀數據的序列的視頻幀的多個預先確定的非鄰接區域有關的數據。
26.根據權利要求16-25的任何一個的方法，其中，每個視頻幀依賴于應用數據被分解為數據段，應用數據在視頻幀數據的序列之外，并且表示在視頻幀的不同的區域中期望的運動量。
27.根據權利要求26的方法，其中，應用數據包括在先的使用數據，在先的使用數據表示在先前的通信對話中確定的運動量。
28.根據權利要求16-27的任何一個的方法，其中，獨立地編碼數據段包括將每個不同的數據段分配給多個編碼器的不同的編碼器。
29.根據權利要求28的方法，其中，多個編碼器的至少一個編碼器具有與多個編碼器的其它的編碼器相比較不同的處理性能特征。
30.一種用于實時編碼視頻信號的方法，該視頻信號與視頻會議和遠程呈現對話的一個有關，該方法包括捕獲視頻幀數據的序列，該視頻幀數據的序列包括視頻信號的至少一部分；將每個幀分解為包括至少包含在對話期間的閾值運動量的第一數據段，和包含在對話期間的小于閾值運動量的第二數據段；編碼第一數據段，和獨立地編碼第二數據段，使得對于第一數據段和第二數據段的每個產生I幀和P幀；經由通信網絡傳送與第一數據段有關的I幀，并且在足以減小數據成組傳送速率的延遲之后，經由通信網絡傳送與第二數據段有關的I幀，以便以減小從其中產生的數據成組傳送速率的方式傳送第一數據段和第二數據段。
31.根據權利要求30的方法，其中，數據段被預先確定不存在分析視頻幀數據的序列的視頻幀的在先的步驟。
32.根據權利要求30-31的任何一個的方法，其中，每個數據段包括與視頻幀數據的序列的視頻幀的不同的預先確定的區域有關的數據。
33.根據權利要求30-32的任何一個的方法，其中，對于第一數據段I幀產生的比率比對于第二數據段I幀產生的比率更加頻繁。
34.根據權利要求30-33的任何一個的方法，其中，多個數據段的數據段被預先確定固定均勻地依大小排列幾何形狀。
35.根據權利要求30-33的任何一個的方法，其中，第一數據段的大小和形狀的至少一個與第二數據段相比是不同的。
36.根據權利要求30-35的任何一個的方法，其中，第一數據段和第二數據段的至少一個包括與視頻幀數據的序列的視頻幀的多個預先確定的非鄰接區域有關的數據。
37.根據權利要求30-36的任何一個的方法，其中，每個視頻幀依賴于應用數據被分解為多個數據段，應用數據在視頻幀數據的序列之外，并且與用戶首選項和表示在視頻幀的不同的區域中的運動量的歷史數據的至少一個有關。
38.根據權利要求30-37的任何一個的方法，其中，編碼第一數據段和獨立地編碼第二數據段包括將第一數據段分配給多個不同的編碼器的第一編碼器，和將第二數據段分配給多個編碼器的第二不同的編碼器。
39.根據權利要求38的方法，其中，第一編碼器具有與第二不同的編碼器相比較不同的性能特征。
40.一種用于實時編碼視頻信號的視頻編碼系統，該視頻信號與視頻會議和遠程呈現對話的一個有關，該系統包括用于接收包括幀數據的視頻信號的端口，該幀數據可分解為多個不同的預先確定的數據段；多個視頻編碼器，每個用于獨立地編碼預先確定的數據段的不同的一個；和用于將編碼的數據段提供到網絡上的收發信機。
41.根據權利要求40的視頻編碼系統，包括用于存儲預先確定的數據的存儲器，該預先確定的數據對于多個不同的數據段的每個表示形成其一部分的圖像區域。
全文摘要
本發明提供了與捕獲的視頻會議或者遠程呈現對話有關的視頻數據和與其相關的視頻信號。該視頻信號被分解為數據段，在視頻信號內數據段從一個視頻幀到另一個后續的視頻幀是相同的。每個數據段被獨立地編碼以產生編碼的段數據，使得對于給定的數據段產生I幀和P幀兩者，以便在遠端處支持數據段的獨立重建。該編碼的段數據隨后被傳送給遠端。
文檔編號H04N7/50GK102204257SQ200980141747
公開日2011年9月28日 申請日期2009年9月18日 優先權日2008年9月18日
發明者帕特里克·懷特, 莫塔巴·胡賽尼 申請人:瑪格通訊有限公司