數據、多媒體和視頻傳輸更新系統的制作方法
【專利摘要】一種用于遠程站之間的通信的數據處理和通信系統，設備包括：通信模塊；和數據處理模塊，供電設備，所述供電設備包括產生電力的電源，和與所述模塊的電力連接；通信模塊和數據處理模塊之間的能夠實現它們之間的通信和相互操作的數據和電力連接。提供每個數據傳輸站的攝像機和MCU，以及MCU中的用于選擇圖像傳輸中的特征幀圖像變化的幀比較器，和根據每秒預定次數的攝像機拍攝中的每一次和下一次之間的比較，確定特征數據/圖像變化的裝置。
【專利說明】數據、多媒體和視頻傳輸更新系統
【技術領域】
[0001]本發明涉及器具和設備，更具體地，涉及多媒體通信系統，和以更有效的方式，逐幀實時分發圖像的多媒體分發方法。更具體地，本發明還涉及利用較少的數據重復，提供音頻和/或視頻通信的媒體數據的實時逐幀更新方法。本發明還涉及允許數據的傳輸和逐幀數據的多次使用，以便全部或部分減少圖像顯示重復的通信系統。本發明還涉及能夠無時間滯后或圖像凍結地傳送實時性實況多媒體和視頻通話的系統和方法。本發明還涉及當每秒傳送大量數據時，消除接收器監視器上的圖像凍結的方法。本發明還涉及其中不傳送作為數據序列的交疊數據，以減少傳送的數據量，從而增大數據的傳輸速率的數據傳送方法。
【背景技術】
[0002]隨著用現代基礎設施逐漸更新遠程社區，數據通信變得日益必要。隨著遠程區域基礎設施的改善，對現代通信的需要和需求也提高。出于各種目的，包括醫療服務，包括緊急響應和疏散，召開會議和圖像傳輸，需要電子通信。治安和法律實施，商業和娛樂服務，以及與之相關的會議召開也需要電子通信。
[0003]在多媒體傳輸，尤其是視頻圖像傳輸中，圖像是以數據分組的形式或者逐幀地傳送的。當圖像變化時，一幀中的圖像的一些部分和相鄰幀中的對應部分相同。傳送與相鄰幀具有公共數據的整幀數據既耗費數據，又耗費時間。視頻會議正在通信、教育、社會活動、管制甚至法律實施中起主要作用。在目前的流式傳輸技術和對視頻會議的需求不斷增長的情況下，視頻流式傳輸在網絡上導致嚴重的負荷，未來幾年內，在網絡基礎設施，政府、組織和個人通信預算上，將花費數萬億美元。統計表明視頻流式傳輸占網絡上的數據通信量的54%，并且每年增長8.5%。
[0004]已知利用各種數據格式，即刻傳送實時多媒體和視頻通話數據的系統和方法。不過，采用高級數字數據的已知系統易于出現顯示監視器上的時間滯后或凍結。由每秒需要傳送的大量數據引起的接收器監視器上的不受歡迎的凍結或滯后會降低服務器的效率和容量。
[0005]當繪制數據時，顯示硬件具有刷新率，刷新率是顯示硬件在I秒內繪制數據的次數。這和幀速率指示的不同之處在于刷新率包括相同幀的重復繪制，而幀速率度量視頻源可向顯示器提供完整一幀的新數據的頻率。多數電影放映機每秒24次地從一幀推進到下一幀。不過，在利用在其燈之前的快門放映下一幀之前，每一幀被照射2次或3次。結果，電影放映機每秒24幀地運行，但是具有48或72Hz的刷新率。在CRT顯示器上，增大刷新率可減小閃爍，從而減輕眼睛疲勞。對計算機程序或遙測來說，該術語也適用于用來自另一個來源(例如:共享的公共電子表格或者硬件饋送)的新的外部值更新數據的頻率。刷新將升級和重建整個或部分的程序。這可意味編程的計算機接口，事件，或者心態、大腦或思維導圖。刷新將把程序恢復成最新的平臺。刷新也被稱為清除、清潔和創建。在CRT中，掃描速率由視頻控制器生成的信號控制，所述信號命令監視器確定射束的位置，準備顯示另一幀。它由監視器的最大水平掃描速率和分辨率限制，因為分辨率越高，意味掃描線越多。可根據水平掃描速率計算刷新率。分辨率為1280 X 1024，并且水平掃描頻率為96kHz的監視器產生96，000/(lOMXl.05) ^ 89Hz (四舍五入)的刷新率。
[0006]盡管在LCD顯示器上不出現閃爍，不過仍然必須避免除在回描階段中之外，修改圖形數據，以防止從比顯示器運行速度(LCD通常總是以60幀/秒的速度刷新)更快地呈現的圖像處撕裂。刷新率是顯示器每秒鐘顯示它被給予的數據的次數。由于激活的LCD像素在幀之間并不突然閃亮/閃滅，因此不管刷新率多低，IXD監視器都不會表現出由刷新引起的閃爍。高端LCD電視機以高達600Hz的刷新率為特色，這要求先進的數字處理，以在真實圖像之間插入另外的插值幀，以平滑圖像運動。不過，像素響應時間實際上不支持如此高的刷新率，結果產生令人不快地使圖像失真的視覺偽像。
[0007]在較小的計算機監視器(最大約15")上，在60-72HZ以下，幾乎無人注意到任何不適。在較大的CRT監視器(17〃或更大)上，除非刷新被設定為72Hz或更高，否則多數人會感到輕微不適。在幾乎任何尺寸下，10Hz的速率都是舒適的。不過，這不適用于IXD監視器。最接近等同于IXD監視器上的刷新率的是其幀速率，幀速率通常被鎖定在60幀/秒。不同的操作系統不同地設定默認刷新率。Microsoft Windows 95和Windows 98 (第一版和第二版)把刷新率設定為它們認為顯示器支持的最高速率。基于Windows NT的操作系統，比如 Windows 2000、Windows XP、Windows Vista 和 Windows 7 把默認刷新率通常設定為60Hz。Linux的許多變形通常設定用戶在顯示管理器的設置期間選擇的刷新率。一些全屏應用，包括一些游戲，允許用戶在進入全屏模式之前重新配置刷新率，不過幾乎都默認為“保守”分辨率和刷新率。在3D顯示器中，有效刷新率被減半，因為每只眼睛需要獨立的圖像。因此，通常推薦使用至少能夠實現120Hz的顯示器，因為被分成兩半，該速率再次為60Hzο刷新率越高，導致圖像穩定性越大，例如，72Hz的非立體圖像為144Hz立體圖像，90Hz的非立體圖像為180Hz立體圖像。多數計算機圖形卡和監視器不能處理這些高刷新率，尤其是在較高的分辨率下。
[0008]50Hz標準和60Hz標準之間的差異是傳送或呈現運動圖像(與攝像機源相對的膠片源)的方式。不同于計算機監視器和一些DVD，模擬電視機系統利用隔行掃描，它通過首先顯示奇數行，隨后顯示偶數行(這些行被稱為場)，減少表觀閃爍。與相同幀速率的逐行掃描圖像相比，這使刷新率加倍。由于電影通常是以24幀/秒的速率拍攝的，而電視機以不同的速率工作，因此一些變換是必需的。存在向觀眾給予最佳體驗的不同技術。取決于原始素材，和對信號進行的任何后續處理，產生了最新的“ 120Hz” LCD顯示器，以便具有更平滑、更流暢的運動。
[0009]在計算需求、數據過載(Gridlock)和因特網能量使用之間，存在聯系。人們日益認識到對數據的需求日益增長，和因特網的能量用量日益增長的過載計算機網絡會影響未來通信的速度和效率。因特網使用和數據傳輸導致高的能量需求，于是更高的傳輸成本。這些挑戰被聯合起來，以致處理數據需要大量的能量。僅僅在日本，估計因特網能量用量就超過日本發電容量。
[0010]會議期間的圖像傳輸的質量非常重要，從而不希望的滯后和凍結的存在不僅增大傳輸時間，而且使系統不太可靠，因為凍結引起的延遲會中斷數據傳輸，在接收準確和連續的圖像和/或聲音數據時，會在接收端導致延遲。數據的重復造成滯后的現象，并對服務器加入不必要的負荷。在視頻會議期間的數據傳輸中使用的已知系統中，傳輸的質量和速度會受到危害，因為即使在視頻傳輸的每一幀的數據被逐幀部分地復制的情況下，所述數據也會增大傳輸時間，能量消耗，從而實際上降低比特率。一般，逐幀傳輸需要從一幀到另一幀的數據的大量復制，尤其是當圖像從一幀到另一幀未顯著變化時更是如此。
[0011]通過避免圖像數據的復制/重復，可以改善現有的數據傳輸方法，從而提供瞬時性視頻會議，而不危害傳輸的質量或速度。現有技術也不提供能夠實現各幀之間，和連續幀中共有的數據之間的特征變化的評估、更新、排序和選擇，以避免傳輸期間的圖像滯后和凍結的手段。
[0012]現有技術中長期以來需要改善圖像數據的傳輸質量，以在傳輸具有高數據集中時，避免圖像的不必要滯后和凍結。還需要把傳送數據的數量限制成僅僅等于選擇的逐幀變化，而不是上傳/下載每一幀的全部圖像數據，從而增大重復，和減少數據量和傳輸時間。
[0013]長期以來還希望降低對傳輸服務器的數據負荷，以便能夠每秒傳送較少的數據，但是不危害傳送的數據質量，從而利用逐幀的變化數據，對于相同的服務器容量，允許每秒向更多的用戶傳送數據。
【發明內容】
[0014]本發明提供一種能夠無時間滯后或圖像凍結地傳送實時性實況多媒體和視頻通話的系統和方法。本發明還提供當每秒傳送大量數據時，消除接收器監視器上的圖像凍結的方法。
[0015]本發明還提供一種通過消除數據的重復，能夠實現對于視頻流式傳輸和無限的其它媒體應用，可減少70% -90%的數據通信量的帶寬減小的系統和相關播放器。
[0016]此外，視頻流式傳輸，具體地，視頻會議和社交媒體中的數據通信量的減少將使現有網絡基礎設施的最終用戶的數目加倍，同時減少產生網絡帶寬的電力消耗，這意味更加環境友好，和更小的全球碳足跡。
[0017]多媒體和視頻流逐幀更新系統(MVFU)具有數字視頻記錄器和數字視頻服務器兩者的特征；它能夠獨立工作，或者可用于建立強大的視頻監視網絡。
[0018]MVFU有助于減少堵塞的網絡，以及有助于減少因特網消耗的電力量。
[0019]本發明還提供一種通過允許在各個連續幀中共有的數據被連續幀保留，從而減少對每一幀來說，每秒傳送的逐幀數據重復的數量，能夠傳送實時性實況多媒體和視頻通話，而不存在顯示監視器上的時間滯后或圖像凍結的系統和方法。
[0020]本發明提供一種通過消除逐幀媒體傳輸中的交疊圖像之中的數據重復，保留圖像中的與連續圖像中的數據同樣的數據，從而減少每秒的數據傳送量，以減少或消除大容量數據的傳輸期間的圖像凍結，減少逐幀數據傳輸中的數據傳輸量的方法。
[0021]盡管本發明特別適合于視頻會話通話，不過要意識到本發明也可適合于各種大容量音頻、視聽或音頻數據傳輸應用。
[0022]本發明包括:
[0023]一種通過消除逐幀媒體傳輸中的交疊圖像中的數據重復，減少逐幀大容量數據傳輸中的數據傳輸量的系統，所述系統還包括:
[0024]多個數據傳輸站；
[0025]每個數據傳輸站的攝像機和MCU ；
[0026]其中MCU包含幀比較器，根據每秒25次的攝像機拍攝中的每一次和下一次之間的比較，確定特征變化的選擇裝置。
[0027]本發明包括:
[0028]一種通過消除逐幀傳輸中的交疊圖像中的數據重復，減少逐幀大容量數據/媒體傳輸中的數據傳輸量，但是不降低圖像質量的方法，所述方法包括以下步驟:
[0029]a)提供多個數據傳輸站；
[0030]b)提供每個數據傳輸站的攝像機和MCU ；
[0031 ] c)利用MCU中的幀比較器選擇特征變化；
[0032]d)利用選擇裝置，根據每秒25次的攝像機拍攝中的每一次和下一次之間的比較，確定特征數據/圖像變化。
[0033]按照優選實施例，所述方法還包括以下步驟:
[0034]圖像或視頻序列的預處理，以優化所有后續步驟中的處理。
[0035]按照優選實施例，選擇基于僅僅考慮視頻拍攝的每秒的每1/25的數值較高的200個變化。本領域的技術人員會認識到這些變化率可被改變，以適應特定的情況。最好，有限的變化作為對第一拍攝的更新被編碼、壓縮和傳送，由另一個MCU接收，以便為最終用戶解碼、渲染和放映。最好，MCU包含評估、排序和選擇、壓縮、傳送、接收和編輯數據的智能程序。
[0036]本發明提供一種允許把數據從遠程位置傳送給控制中心，并且允許利用選擇的技術，比如(但不限于)打印機輸出數據的通信系統和相關功能。
[0037]本發明有效地結合商業事務所通常特有的所有服務和設施，以允許用比以前更高效的方式，執行數據處理和通信要求。
[0038]本發明的一個目的是提供一種特別用于其中減少圖像的每一幀的數據的上傳/下載的視聽數據傳輸的數據傳輸系統。本發明的另一個目的是提供一種數據傳輸，其數據量被減小到不超過目前所需的每秒的下載數據的數值的1/20。按照一個實施例，數據可以每10秒1/200地，和/或持續遠程會議的持續時間地被傳送，可被分散成總的公共傳輸值的1/1000，對同一服務器來說，這等同于同時允許1000個額外的用戶。
[0039]本發明的另一個目的是在本地區域和遠程區域，提供用于通信和數據處理的上述數據傳輸系統和方法。本發明的另一個目的是提供能夠在遠程區域和本地區域中使用，并且能夠鏈接到本地或遠程區域網絡的自足式通信和數據處理系統。
[0040]本發明包括:
[0041]一種用于遠程站之間的通信的數據處理和通信系統，
[0042]設備包括:
[0043]通?目豐旲塊；和
[0044]數據處理模塊，
[0045]供電設備，所述供電設備包括產生電力的電源，和與所述模塊的電力連接；
[0046]通信模塊和數據處理模塊之間的能夠實現它們之間的通信和相互操作的數據和電力連接；
[0047]每個數據傳輸站的攝像機和MCU ;
[0048]MCU中的用于選擇特征幀圖像變化的幀比較器；
[0049]根據每秒25次的攝像機拍攝中的每一次和下一次之間的比較，確定特征數據/圖像變化的裝置。
[0050]本發明包括:
[0051 ] 一種遠程站之間的數據處理和通信方法，
[0052]利用一種設備，所述設備包括:
[0053]通信模塊；和
[0054]數據處理模塊，
[0055]供電設備，所述供電設備包括產生電力的電源，和與所述模塊的電力鏈路；
[0056]通信模塊和數據處理模塊之間的能夠實現它們之間的通信和相互操作的數據和電力鏈路；
[0057]每個數據傳輸站的攝像機和MCU ;
[0058]MCU中的用于選擇特征幀圖像變化的幀比較器；
[0059]根據每秒25次的攝像機拍攝中的每一次和下一次之間的比較，確定特征數據/圖像變化的裝置；
[0060]所述方法包括:
[0061]a)以預定的下載速率，持續預定的時間，傳送視頻數據；
[0062]b)利用模塊逐幀確定圖像變化；
[0063]c)識別接收器接收的基幀，并利用該幀每秒約25次地更新；
[0064]d)通過比較第一幀的數據和至少一個后續幀的數據，評估變化；
[0065]e)在與所述至少一個后續幀比較的一幀中，創建變化向量；
[0066]f)解碼所述向量，并用識別的變化更新第一幀；
[0067]g)對于數目可能無限的各幀，在視頻數據的傳輸期間，重復以上步驟。
[0068]按照一個實施例，通過利用保存在基幀上的代碼，編碼向量或幀映射，捕捉和識別變化。按照一個實施例，拍攝的幀每3-4秒被發送給接收器端，作為校正、校準或調整用測試幀，以判定是否需要新的基準幀。要意識到所述時間間隔不是限制性的，可以從優選的時間范圍增大或減小。更新次數也可被改變成高于或低于每秒25次。
[0069]本發明的系統包括通過實現上述方法的專用或特別編寫的軟件。按照一個實施例，軟件可適應于傳輸次數和識別圖像，以及確定每種情況下的適當傳輸值。軟件是智能的，并且能夠“學習”在每種情況下，應該應用什么傳輸速率。軟件識別所需的數據/圖像變化，并且按照一個實施例，并且可通過創建神經網絡適應各種不同的情況。
[0070]本發明包括:
[0071]一種包括通信用數據處理和通信模塊的自足式通信系統，所述系統包括:
[0072]通信和數據處理模塊，
[0073]供電設備，所述供電設備包括產生電力的電源和與所述模塊的電力鏈路；
[0074]使辦公室能夠鏈接到遠程外部通信基礎設施的裝置；
[0075]根據每秒25次的攝像機拍攝中的每一次和下一次之間的比較，確定特征數據/圖像變化的裝置。
[0076]按照一個實施例，通信系統采用無線連接。
[0077]系統最好包含現有的現成組件，以容納和向數據處理模塊和通信模塊供電。系統提供能夠包含在現有基礎設施的網絡或者類似固定或移動辦公系統的網絡中的通信設施。
[0078]最好，往來于通信設備的通信由可在使用所述系統的地方可獲得的最佳鏈路提供。通常，通信模塊可連接到LAN、3G或衛星鏈路。按照一個實施例，系統允許離線工作，或者把數據高速緩存在本地服務器上。
[0079]本發明提供對已知的現有技術和識別的缺陷的替換方案。根據下面的說明，上述及其它目的和優點將是顯而易見的。在所述說明中，參考了附圖，附圖構成所述說明的一部分，并且其中舉例表示了實踐本發明的具體實施例。將足夠詳細地說明這些實施例，以使本領域的技術人員能夠實踐本發明，應明白可以利用其它實施例，并且可以作出結構改變，而不脫離本發明的范圍。在附圖中，相同的附圖標記表示相同或相似的部分。于是，下面的詳細說明不應被理解成對本發明的限制，本發明的范圍由附加的權利要求限定。
【專利附圖】
【附圖說明】
[0080]下面參考附圖，按照優選實施例，更詳細地說明本發明，其中:
[0081]圖1表示基于因特網流量的預計增長的預計能量消耗與時間的關系曲線圖。
[0082]圖2在比較表I中，表示關于傳送的數據的實時測量速率，當與主要品牌的視頻會議系統相比時，MVFU實現相當大的節省。
[0083]圖3表示按照優選實施例的用于逐幀變化的系統的示意布局；
[0084]圖4表示MVFU的提取和傳送變化以更新主幀的方法的簡化例子。
【具體實施方式】
[0085]這里涉及的例子是例證性的，不應視為對本發明的范圍的限制。盡管這里說明了本發明的各個實施例，不過要意識到這些實施例可以被修改，于是，這里的公開內容不應被理解成對這里記載的具體細節的限制，而是有益于落入本說明的范圍內的這種變化和更改。下面更詳細說明的通信系統被建議用在各種應用中，不過尤其適合于視頻會議。
[0086]本發明提供一種數據傳輸系統和方法，所述系統和方法能夠立即傳送實時多媒體和視頻通話數據，而不存在由每秒需要傳送的大量數據引起的接收器的監視器上的時間滯后或凍結，并在降低數據傳輸速率的同時，改善圖像質量。本發明提供既不危及質量，又不危及傳輸速度地產生即時性視頻會議的智能技術，包括圖像或視頻序列的預處理，以優化所有后續步驟中的處理。特別地，本發明涉及每秒25次地把更新性拍攝用于人物(character)和背景。
[0087]本發明還包括利用智能的自我訓練程序來評估、排序和選擇每個拍攝幀和下一個拍攝幀之間的特征變化的比較器。可變化的特征包括諸如面部和身體表情/運動之類的特征。
[0088]圖1表示基于因特網流量的預計增長的預計能量消耗與時間的關系曲線圖。
[0089]圖2在表I中，表示關于傳送的數據的實時測量速率，當與主要品牌的視頻會議系統相比時，MVFU實現相當大的節省。
[0090]最好，變化的特征的選擇局限于數值最高的200個變化(最有效的變化)。隨后這些變化被傳送給第一幀或原始幀(先前已被拍攝和傳送給另一端的MCU)，作為對由接收端MCU編輯的第一幀的更新，從而把傳送數據的數量限制為僅僅等于選擇的變化，而不是上傳/下載全部數據的拍攝。
[0091]最好，每秒25次或50次地產生所述更新，以便與發送者運動和表情一致地不斷改變接收器監視器。MCU包含用于每秒數次地即時實現所述動作的另一個訓練邏輯程序；這種情況下，目標將每4毫秒重復任務。
[0092]可以為給定傳輸中的最佳質量拍攝更新，創建理想的速度。在變化超過預定值(在選擇處理之前)的情況下，為了在數值方面相當接近或等于新的拍攝幀，MCU將允許新的拍攝被傳送給接收端MCU，并開始將其作為新的第一拍攝幀對其進行處理。這需要每秒25次的更新。
[0093]在視頻會議的情況下，用于本發明的方法的設備最好包括:
[0094]攝像機；
[0095]用于每個視頻通話/會議端的MCU ；
[0096]其中MCU包含幀比較器，根據每秒25次的攝像機拍攝中的每一次和下一次之間的比較，確定特征變化的選擇裝置。
[0097]有限的變化隨后作為對前次拍攝的更新被編碼、壓縮和傳送，將由另一端的MCU接收，以便被解碼、渲染和放映。結果:數據的上傳/下載量將為最小值；理想地不超過目前所需的每秒的下載數據的數值的1/20，每10秒1/200地，和/或持續會議的持續時間地，可被分散成總的公共傳輸值的1/1000，對相同的服務器來說，這等同于同時允許1000個額外的用戶。
[0098]按照所述系統的一種應用，當系統無線工作時，它將尋找它能夠找到的與因特網的最佳鏈路，首先尋找LAN連接，隨后尋找3G連接，如果LAN連接和3G連接都不可用，那么它提示建立衛星鏈路。路由器可從它已連接到的網絡，獲得IP地址。路由器隨后能夠連接到因特網。如果LAN不可用，那么系統檢查3G連接。如果3G連接可用，那么它將自動連接。如果3G連接不可用，那么進行關于衛星連接的測試。
[0099]按照一個優選實施例，多媒體和視頻流逐幀更新系統在數據流式傳輸的情況下具有各種應用。
[0100]例1:組織網絡特征中的視頻會議:具有高速緩存、存儲、檢索和重放能力的雙向視頻/音頻會議。
[0101]例2:在線網絡特征中的視頻會議:具有通過云的高速緩存、存儲、檢索和重放能力的雙向視頻/音頻會議。
[0102]除Webcam外的應用:創建多媒體流式文件(庫文件)，以保存其它媒體源的下載，從而應用MVFU方法和技術。
[0103]按照方法特征，在多媒體&視頻流逐幀更新[MVFU]中，對諸如Webcam之類的媒體源應用H264，以允許提取、壓縮和編碼各幀之間的變化。按照本發明的播放器是基于windows的,不過Mac和Linux的其它應用(版本)可以基于相同的MVFU方法和體系結構。MVFU方法包括以下特征:
[0104]-可分別每1、2或4秒/25、50或100幀地生成測試幀(如果需要)，以便獲得更高的質量:以便閃爍最小地平滑重放；
[0105]-生成的文件大小只為完整大小的視頻流文件的20%，替換原始文件，以便減少存儲，和更便利PC使用及通過網絡的數據交換。
[0106]-進行實時測試，和在帶寬減少方面與不同播放器的比較。
[0107]-支持具有檢索能力的線上應用
[0108]-高速緩存，以便實現云應用
[0109]-自有播放器的開發，以便獲得最佳結果。
[0110]-播放器開發特征:
[0111]-能夠采用MVFU方法和技術
[0112]-按照帶寬強度的自動可伸縮性的智能公式
[0113]-允許用戶控制數據使用的人工選擇(即，能夠按比例降低分辨率和調整瀏覽器窗口(例如低數據=較低分辨率=較小瀏覽器))
[0114]-視頻重放增強軟件和瀏覽器過濾。
[0115]按照優選實施例，提供一種軟件形式的播放器，所述播放器可由用戶上傳，以便與諸如mac或Microsoft計算機之類的現有硬件集成。所述播放器被優化，以便壓縮文件數據，和增大尤其是通過因特網的數據傳輸。參考涉及高數據傳輸的典型視頻會議，說明本發明。對采用的原始拍攝幀的視頻數據應用H264格式，對音頻應用MP2。H264是視頻壓縮標準，是目前用于高清視頻的記錄、壓縮和分發的最常用格式之一。
[0116]H.264以作為藍光光盤的標準之一而最著稱。目前，所有的藍光光盤播放器都必須能夠解碼H.264。它還被流式因特網源，比如Vimeo、YouTube、iTunes Store的視頻,諸如Adobe Flash Player 和 Microsoft Silverlight 之類的 web 軟件所廣泛使用。
[0117]H264/AVC計劃的意圖是創建一種能夠以明顯低于在先標準的比特率(例如，MPEG-2、H.263或MPEG-4Part2的比特率的一半或更小)，提供良好的視頻質量，而不過多地增大設計的復雜性以致不可行或者實現成本過高的標準。該標準已應用于各種網絡和系統，包括低和高比特率，低和高分辨率視頻，DVD存儲，多媒體電話系統上的各種應用。H.264標準解碼至少一種規格，但不一定解碼所有的規格。解碼器規范描述哪些規格可被解碼。在擴展原始標準的第一計劃中，JVT隨后研發了稱為高保真范圍擴展(FRExt)的擴展。通過支持增大的樣本位深度精度和更高分辨率顏色，這些擴展實現更高的質量的視頻編碼。
[0118]多視點視頻編碼(MVC)被增加到該標準中，MVC能夠實現代表視頻場景的不止一個視點的比特流的構成。這種功能的一個重要例子是立體3D視頻編碼。目的是與用于各種應用的任何其它現有視頻編碼標準相比，使編碼效率加倍(這意味使為給定水平的保真度所需的比特率減半)。H.264視頻格式具有很寬的應用范圍，覆蓋從低比特率因特網流媒體應用到具有幾乎無損編碼的HDTV廣播和數字影院應用的所有形式的數字壓縮視頻。借助于H.264，50%或者更高的比特率節省是可能的。H.264以不到一半的比特率，產生和當前的MPEG-2相同的數字衛星電視質量，目前的MPEG-2實現在約3.5Mbit/s下工作，而H.264僅僅 1.5Mbit/s。
[0119]藍光光盤格式和現在放棄的HD DVD格式包括作為3種強制性視頻壓縮格式之一的H.264/AVC高規格。已知各種記錄格式，比如利用H.264的高清AVCHD (遵守H.264，同時增加額外的專用特征和約束)。其它格式包括AVC-1ntra，它是僅幀內壓縮格式。XAVC能夠以每秒高達60幀(fps)的速率，支持4K分辨率(4096X2160和3840X2160)。
[0120]H.264的特征已被改進，以包括許多新的特征，所述許多新的特征允許它比舊標準高效得多地壓縮視頻，和為對各種網絡環境的應用提供更大的靈活性。這與現有標準相比，在現有標準中，限度一般為I ;或者在常規的B-幀的情況下為2。在多數場景下，這種特殊的特征通常允許比特率和質量方面的適度改善。但是在某些類型的場景下，比如具有重復運動或者來回場景剪切或者未被覆蓋的背景區域的場景下，它可在維持清晰度的同時，顯著降低比特率。加權預測允許編碼器在進行運動補償時，指定縮放和偏移的使用，并在特殊情況-比如漸黑、淡入和交錯淡變下，提供顯著的性能益處。這包括B幀的隱式加權預測。支持的亮度預測塊大小包括16 X 16，16 X 8，8 X 16，8 X 8，8 X 4，4X 8和4X 4，其中的許多可一起用在單一宏塊中。當利用B幀時，在包括I宏塊的B幀中使用任何宏塊種類的能力產生更加高效的編碼。
[0121]圖3表示按照優選實施例的用于逐幀變化的系統的示意布局。數學數據流式傳輸需要通常視頻流式傳輸的不到20%。于是，可如下計算與其它現有技術相比，利用MVFU的視頻流式傳輸的近似減小:近似可擴展數學理論:每秒的幀數=與視頻幀相比的25個數學數據大小=每秒的測試幀的總數的10%=剩余24幀上的數據的I個大小=24X10% =
2.4。視頻流式傳輸的每秒MVFU所需的總大小=1+2.4 = 3.4。與常規視頻流式傳輸相比的節省=25-3.4 = 21.6/25 = 86.4%。每2秒發送測試幀將節省=50-5.9 = 44.1/50 =88.2%…等。
[0122]圖4表示提取并傳送變化，以更新主幀的MVFU的方法的簡單例子。圖4表示一系列的幀-幀1、幀2和幀3。在右手側的幀I代表起始幀或基幀。幀I被分成幀段A、B、C、D、E、F。在幀2中，幀段A和D被利用幀段G和H (藍色的幀段)識別的變化數據更新。在幀3中，幀段G和H保留自幀2，幀段C和F保留自幀I。在幀3中，源于幀I和2的幀段B和E被更新，用幀段I和K (紫色幀段)所示。
[0123]在發送者的單元比較器中，提取幀I和2之間的變化。只把所述變化作為幀層傳送給接收器端。在接收器的單元中，用變化層更新幀1，從而產生幀2。聲音被單獨傳送給接收器單元，以便與流式傳輸中的視頻幀同步。
[0124]按照本發明的系統把H264應用于Webcam Media源，以允許提取、壓縮和編碼幀之間的變化。新的應用是基于window的，Mac和Linux的其它應用(版本)可以基于相同的MVFU方法和體系結構。
[0125]為了獲得幾乎相同的結果，對Webcam原始拍攝(視頻輸入)應用H264格式，對來自本地或網絡的音頻應用MP2，從USB攝像機或其它攝像機，H264視頻編碼器和MP2或MP3音頻編碼器每秒25+幀地拍攝圖像，從而利用少許帶寬實現高質量視頻和音頻效果。記錄文件格式可以是AVI或MPEG等等；它可用Windows Media Player或Real Player播放。它可利用手動記錄、定期記錄或運動記錄，快照你所看到的JPEG圖像，詳細的日志文件和幫助文件。該軟件具有數字視頻記錄器和數字視頻服務器兩者的功能；它可獨立工作，或者可用于建立強大的監視網絡。
[0126]MVFU系統共享不同視頻格式，H.264或MPEG_4(MP4)格式的壓縮結果，通過只傳送各幀之間的變化，而不傳送整幀，產生最佳的壓縮。拍攝的連續幀通常具有從一幀到下一幀的變化數據和從一幀到下一幀的相同數據的組合。拍攝初始幀，并對原始的拍攝幀應用H264和MP2格式。初始幀被發送給播放器。進行評估，并提取變化數據。每秒25次地把幀間變化作為更新發送給接收器端。把編碼視頻變化，MP4容器中的MP2音頻數據發送給接收器端。發送測試幀，以便定期在接收器端重置初始基幀，以優化質量。接收的數據被解碼，然后重構圖像。應用接收的變化，以每秒25次地更新基幀，重復該過程，直到收到新的測試幀為止。測試幀重寫最后更新的幀，該幀隨后被當作新的基幀。
[0127]按照本發明的系統采用逐幀比較，只把變化傳送給網絡。這是通過利用前面說明的H264格式進行的。由于H264是只有原始視頻的格式，它不能發送音頻。為了包含音頻，系統米用也被實時傳送的mp2格式。按照一個實施例，每02秒地發送巾貞(1-巾貞)。可以配置該持續時間，以便帶寬消耗更小。通過合成文件，隨后以壓縮格式的形式傳送，不能實現實況傳輸。每一幀被單獨傳送給另一端(需要緩存，不過緩存被降至最小，以便實現實時視頻傳輸)。
[0128]本發明的一個重要特征在于在(圖像)播放器軟件中，它具有在一系列的逐幀圖像和聲音數據傳輸中，只更新變化的能力。所述更新基于壓縮文件，允許降低屏幕密度。可構思各種逐幀更新關系-例如，每秒2.5幀。通過替換畫面幀，時間被縮短。H264從前一幀中提取數據，從基準I幀開始，每2-4毫秒單獨地僅僅發送每一幀的變化。主要目的是避免滯后和凍結，以實時提供平滑圖像。H264需要緩存和傳送，這會造成滯后。H264處理10幀，隨后發送這些幀。本發明的系統只發送逐幀變化，這節省多達80%的帶寬使用。這改善了傳輸速率。歸因于緩存，滯后也可達到2秒，所述緩存是常規傳輸中的數據下載速度的函數。在運動傳輸中，系統只發送幀變化，因為連續幀具有共有的素材。播放器可允許用戶管理在每種情況下，網絡允許的其所需的逐幀更新質量。降低分辨率可減少所需的數據，但是質量可由用戶確定。本發明介紹一種對于視頻流式傳輸和無限的其它媒體應用，帶寬減少超過50%的新的解決方案。此外，視頻流式傳輸，具體地，視頻會議和社交媒體中的數據通信量的減少將使現有網絡基礎設施的最終用戶的數目加倍，減少產生網絡帶寬的電力消耗，這意味更加環境友好，和更小的全球碳足跡。
[0129]MVFU播放器是在不同模塊中工作，并且具有不同應用的網絡播放器。因而，該播放器能夠:
[0130]從mic/webcam讀取音頻/視頻,并編碼和通過網絡傳送；
[0131]從網絡上的流式視頻中只提取視頻，重構并顯示；
[0132]從網絡上的流式音頻中只提取音頻，并播放。
[0133]以上特征被結合到單一應用中，所述單一應用是MVFU播放器。MVFU利用適合于實現以上操作的一系列內部算法。
[0134]本發明的優點在于只消耗2.5%的網絡，從而與消耗多達12.5%的網絡的諸如MPG和MJPEG對應物之類的已知格式相比，節省80 %的帶寬消耗。另一個優點在于重放滯后的消除，圖像分辨率的改善。在所述系統用于諸如Skype視頻通信之類的活動的情況下，在屏幕上顯示數據使用指示圖標，以顯示可與在沒有按照本發明的播放器的情況下的常規Skype通信相比的數據傳輸速率。可針對特定用戶修改可由用戶下載的播放器軟件，以致通過調整幀速率，用戶能夠操縱/調整傳輸速率和與數據使用率相關的圖像質量。用戶能夠向播放器中加入自動&手動按比例減小選擇模式特征。可適用于Mac和Linux的其它應用(版本)的軟件可以基于相同的MVFU方法和體系結構。
[0135]本領域的技術人員會認識到，可對這里概括說明的本發明作出許多變化和修改，而不脫離本發明的精神和范圍。
【權利要求】
1.一種通過從連續數據傳輸中，消除在連續的數據包中出現的相同數據的傳輸，以致只傳送不與在先數據組交疊的數據，從而減少每秒的數據傳輸量以減少或消除大容量數據的傳輸期間的凍結的減少所述連續數據傳輸中的數據傳輸量的系統。
2.按照權利要求1所述的系統，其中所述數據包包括聲音數據。
3.按照權利要求2所述的系統，其中所述數據包包括逐幀圖像。
4.按照權利要求3所述的系統，其中所述數據包包括逐幀圖像和聲音數據。
5.按照權利要求4所述的系統，其中連續數據包包括交疊數據；其中在數據傳輸期間交疊的數據被保留，以通過保留數據包中與連續數據包中的數據同樣的數據，避免數據的重復。
6.按照權利要求5所述的系統，其中消除數據包中的數據的重復消除當緩沖慢于數據傳輸時的傳輸凍結。
7.按照權利要求6所述的系統，其中傳輸凍結是當每秒傳送大容量數據時在接收器監視器上的圖像凍結。
8.—種通過消除逐幀媒體傳輸中的交疊圖像中的數據重復來減少逐幀大容量數據傳輸中的數據傳輸量的系統，所述系統還包括: 多個數據傳輸站； 每個數據傳輸站的攝像機和MCU ； 其中MCU包含幀比較器，基于每秒25次的攝像機拍攝中的每一次和下一次之間的比較確定特性變化的選擇裝置。
9.一種用于遠程站之間的通信的數據處理和通信系統， 該設備包括: 通信模塊；和 數據處理模塊， 供電設備，所述供電設備包括產生電力的電源，和到所述模塊的電力鏈路； 通信模塊和數據處理模塊之間的能夠實現它們之間的通信和相互操作的數據和電力鏈路； 每個數據傳輸站的攝像機和MCU ； MCU中的用于選擇特性幀圖像變化的幀比較器； 基于每秒25次的攝像機拍攝中的每一次和下一次之間的比較，確定特性數據/圖像變化的裝置。
10.一種通過消除逐幀傳輸中的交疊圖像中的數據重復來減少逐幀大容量數據/媒體傳輸中的數據傳輸量，但是不降低圖像質量的方法，所述方法包括以下步驟: a)提供多個數據傳輸站； b)提供每個數據傳輸站的攝像機和MCU； c)利用MCU中的幀比較器選擇特性變化； d)利用選擇裝置，基于每秒25次的攝像機拍攝中的每一次和下一次之間的比較，確定特性數據/圖像變化。
11.按照權利要求10所述的方法，還包括以下步驟: 對圖像或視頻序列進行預處理以優化所有后續步驟中的處理。
12.按照權利要求11所述的方法，還包括提供包含評估、排序和選擇、壓縮、傳送、接收和編輯數據的智能程序的MCU的步驟。
13.按照權利要求12所述的方法，還包括允許選擇裝置提供作為對第一拍攝的更新而被編碼、壓縮和傳送的變化，所述更新將被另一個MCU接收，以便為最終用戶解碼、渲染和放映。
14.按照權利要求13所述的方法，其中變化率選擇基于僅僅考慮視頻拍攝的每秒的每1/25的數值較高的200個變化。
15.一種利用一種設備的遠程站之間的數據處理和通信方法， 所述設備包括: 提供通信模塊；和 數據處理模塊， 供電設備，所述供電設備包括產生電力的電源，和到所述模塊的電力鏈路； 通信模塊和數據處理模塊之間的能夠實現它們之間的通信和相互操作的數據和電力鏈路； 每個數據傳輸站的攝像機和MCU ； MCU中的用于選擇特性幀圖像變化的幀比較器； 基于每秒25次的攝像機拍攝中的每一次和下一次之間的比較，確定特性數據/圖像變化的裝置； 所述方法包括: a)以預定的下載速率，持續預定時間段，傳送視頻數據； b)利用模塊逐幀確定圖像變化； c)識別接收器接收的基幀，并利用該幀每秒約25次地進行更新； d)通過比較第一幀的數據和至少一個后續幀的數據，評估變化； e)在與所述至少一個后續幀比較的一幀中，創建變化向量； f)解碼所述向量，并用識別的變化更新所述第一幀； g)對于數目可能無限的各幀，在視頻圖像的傳輸期間，重復以上步驟。
16.按照權利要求15所述的方法，其中所述數據包含視聽逐幀數據。
17.按照權利要求16所述的方法，其中在相鄰幀中交疊的數據被保留以避免數據的重復。
18.按照權利要求17所述的方法，其中每圖像幀傳送的數據被減少。
19.按照權利要求18所述的方法，其中用于減少數據傳輸中的數據的重復的裝置被結合到控制中心中，所述控制中心控制傳輸設備和接收設備之間的數據傳輸。
20.按照權利要求19所述的方法，其中每10秒1/200地，和/或持續傳輸序列的持續時間地傳送數據。
21.按照權利要求20所述的方法，其中數據是在遠程會議中傳送的圖像和音頻數據。
22.按照權利要求21所述的方法，其中數據被分散成總的公共傳輸值的1/1000，從而允許可能數目無限的用戶同時從同一服務器接收數據。
23.按照權利要求22所述的方法，其中數據傳輸在本地。
24.按照權利要求23所述的方法，其中數據傳輸在遠程站之間。
25.按照權利要求24所述的方法，其中所述數據被實時傳送。
26.按照權利要求25所述的方法，其中所述數據是實況多媒體和視頻通話數據。
27.按照權利要求26所述的方法，其中通過避免數據的重復，無時間滯后或圖像凍結地傳送數據。
【文檔編號】H04N7/15GK104247407SQ201380019018
【公開日】2014年12月24日 申請日期:2013年2月10日 優先權日:2012年2月10日
【發明者】易卜拉欣·納拉 申請人:易卜拉欣·納拉