專利名稱：視頻數據流的編碼設備的制作方法
技術領域：
本發明涉及視頻數據流的雙通道編碼設備和方法。
背景技術：
新的壓縮標準正在形成，并在考慮提高編碼質量的同時該標準使編碼成本和復雜度不斷增加。多媒體應用的發展和數據網絡的多樣化使得數據編碼系統越來越復雜。
在源圖像的環境中，已經開發了很多雙通道編碼技術，第一編碼通道提供關于待編碼圖像的復雜度的精確信息，然后第二編碼通道基于該復雜度對圖像進行編碼。
尤其在編碼器遵守在ITU-T Standard Recommendation H.264|ISO/IEC 14496-10AVC中定義的H26L標準的情況下，這種雙通道編碼技術功能非常強大但很昂貴。
發明內容
本發明提出一種用于視頻數據流的雙通道編碼的設備，該設備包括—用于執行第一編碼通道(pass)的第一類型編碼裝置，—用于執行第二編碼通道的第二類型編碼裝置。
根據本發明—該第二類型編碼裝置不同于該第一類型編碼裝置，并且—該第二類型編碼裝置使用源自該第一類型編碼裝置的編碼信息。
因此，不是使用兩個編碼通道執行同類型編碼器或單通道編碼器的編碼，而是將雙通道編碼器用于兩個編碼通道應用不同類型的編碼的情況中。當要求實現降低成本，同時保持由雙同道編碼器提供的編碼質量，并且與單通道編碼相比同時提高復雜度預測質量時，可以使用不同類型的兩個編碼通道。
根據優選實施例，—第一類型編碼裝置包括—用于為待編碼的各視頻流圖像測定第一通道的編碼成本的裝置。
—用于對規定基準周期的幾個圖像的第一編碼通道的編碼成本進行存儲的裝置。
第二類型編碼裝置包括—用于為待編碼的各視頻流圖像測定第二通道的編碼成本的裝置。
—用于對規定基準周期的幾個圖像的第二編碼通道的編碼成本進行存儲的裝置。
第一編碼通道提供有關對圖像編碼和基準周期的準確的復雜度信息。使用基準周期來保證第二編碼通道的穩定性。
根據優選實施例，該設備包括用于調整源自第二通道編碼裝置的數據流的比特速率的裝置。
根據優選實施例，調整比特速率的裝置包括—預測裝置，用于在基準周期中計算待編碼的圖像的相對權重，—調整裝置，用于根據以下信息來計算待由第二類型編碼裝置進行編碼的圖像的目標成本—從第二類型編碼裝置接收的目標比特速率，和—在基準周期中的待編碼的圖像的相對權重。
—對第二類型編碼進行量化的裝置，用于根據圖像的目標成本，計算要施加到由第二類型編碼裝置編碼的各圖像的量化步長。
根據優選實施例，—第一通道和第二通道的編碼成本包括至少用于待編碼的各圖像和各基準周期的—可縮減成本，—不可縮減成本，—以及第一通道和第二通道的編碼裝置，用于為各待編碼的圖像計算編碼復雜度，該復雜度表示為可縮減成本和量化步長相乘的乘積。
根據優選實施例，預測裝置包括
—用于為各待編碼的圖像計算被稱為不可縮減成本比的比例的裝置，該比例即第一通道的不可縮減編碼成本與第二通道的不可縮減編碼成本相比，—用于為各待編碼的圖像計算被稱為復雜度比的比例的裝置，該比例即第一通道的復雜度與第二通道的不復雜度相比，—用于根據最近一個被編碼的圖像的復雜度比來更新平均復雜度比的裝置，以及—用于根據最近一個被編碼的圖像的不可縮減成本比來更新平均不可縮減成本比的裝置，—用于根據平均復雜度比和當前圖像的第二類型編碼的復雜度，來估計要由第二類型編碼裝置編碼的當前圖像的復雜度的裝置，—用于根據平均不可縮減成本和當前圖像的第一類型編碼的不可縮減成本，來估計要由第二類型編碼裝置編碼的當前圖像的不可縮減成的裝置，—用于計算當前圖像所屬的基準周期的不可縮減成本的裝置，—用于計算當前圖像所屬的基準周期的復雜度的裝置，—用于計算當前圖像的相對權重的裝置，將該權重表示為當前圖像的復雜度和當前圖像所屬的基準周期的總復雜度之間的比例。
根據優選實施例，源自第一通道編碼裝置的數據流的平均比特速率比從第二通道編碼裝置接收的目標比特速率大30％至50％。
根據優選實施例，編碼設備包括，用于對第一通道編碼進行量化的裝置，該裝置根據從第二通道編碼裝置接收的目標比特速率來算量化步長。
根據優選實施例，第一通道編碼裝置根據MPEG-2標準對圖像編碼，第二通道編碼裝置根據H.264標準對圖像編碼。
根據H.264的編碼圖象圖表，逐個圖像地對可縮減成本和句法成本的研究表明，如在MPEG-2中的下列—從一個幀內(I)或預測(P)圖像到另一圖像的可縮減成本可能很不穩定。
—從一個P或雙向(B)圖像到另一圖像的句法成本經常很不穩定。
因此，不能將基于最近被編碼的同一類型的圖像的復雜度預測認為是可靠的。
另一方面，在MPEG-2和H.264中逐個圖像地對可縮減成本和句法成本(syntax cost)的比例的研究表面，這些比例對每一圖像類型都顯示出了合理的明顯的穩定性。因此，將第一MPEG-2編碼通道添加到H.264編碼的以提高復雜度的預測質量的想法有很好的意義。
所使用的原理是鏈接兩個圖像復雜度測量單元。一個在MPEG-2編碼通道上，另一個在H.264編碼通道上。在兩個編碼通道之間的策來能夠深度必須是一GOP，以能夠獲得最佳相對預測。
第一MPEG-2類型編碼通道與第二H.264編碼通道的結合降低了遵守H.264標準的雙通道編碼器的實現成本，同時接近這種編碼器的性能。
本發明還涉及視頻流數據的雙通道編碼的方法，該方法包括—對第一編碼通道執行根據第一類型的編碼，—對第二編碼通道執行根據第二類型的編碼。
根據本發明，—第二類型編碼不同于第一類型編碼，并且—第二類型編碼步驟使用源自第一編碼通道的編碼信息。
本發明還涉及計算機程序產品，特征在于包括當在計算機上執行所述程序時，用于執行根據本發明的方法的步驟的程序代碼指令。“計算機程序產品”意思是計算機程序介質，其組成不僅可以具有諸如磁盤或盒式磁帶之類的包含有程序的存儲空間組成，而且還具有諸如電或光信號之類的信號組成。
通過參照附圖，借助非限制性的示例性實施例和有利的實現來更好的理解和和說明本發明。
—
圖1表示根據本發明實施例的編碼設備；—圖2表示根據本發明實施例的比特速率調整模塊；—圖3表示圖1中所使用的MPEG-2編碼設備；—圖4表示圖1中所使用的H.264編碼設備；編碼設備包括第一通道編碼裝置5。根據優選實施例，這些編碼裝置根據MPEG-2標準執行執行編碼。
這些編碼裝置5被連接到MPEG-2測量單元6。
編碼裝置還包括裝置1，用于在從第二通道編碼裝置2進入的視頻數據流中生成延時。
根據下述優選實施例，第二通道編碼裝置2根據H.264標準執行編碼。
第二通道編碼裝置2的輸出端被連接到第二通道編碼信息測量裝置4的輸入端。
H.264測量裝置4的輸出端被連接到比特速率調整單元3的輸入端。
該比特速率調整單元3還在輸入端上接收輸出目標比特速率信號以及源自MPEG-2測量單元6的測量信號。源自裝置6的測量信號還被傳送到量化裝置7的輸入端。該量化裝置7在輸入端上還接收輸出目標比特速率信號。該量化裝置7對第一通道編碼裝置5的輸出端上的比特速率進行偽調整，并將量化步長QMPEG-2傳送到第一通道編碼裝置5。
編碼裝置5在開環中執行編碼，由該編碼裝置生成的流與每圖像的任何精確目標比特速率都不符合。
根據優選實施例，根據為第二通道編碼裝置2固定的目標比特速率來校正由第一通道編碼裝置5使用的量化步長。
有利地，在第一通道編碼裝置5的輸出端上的平均比特速率比為H.264編碼裝置4固定的目標比特速率大30％至50％，以獲得編碼器的最佳操作。
在圖2中示出了比特速率調整單元3。可將其分為—編碼復雜度和成本預測單元10，—圖像等級調整單元9，其考慮虛擬解碼器緩沖器的狀態，—量化單元8。
在執行第一編碼通道的編碼裝置5的輸入端接收視頻數據流。
在MPEG-2或MPEG-4ASP編碼的情況下，可縮減成本主要是歸因于離散余弦變換DCT的系數。在H.264編碼的情況下，可縮減成本歸因于近似DCT變換的完全變換。
在這里描述的優選實施例中，其中由遵守MPEG-2標準的編碼裝置來執行第一編碼通道，可按照幀內(I)、雙向(B)或預測(P)三種模式來對圖像編碼。
在MPEG-2類型編碼的情況下，量化粒度(granularity)有時比圖像類型量化粒度更細，并且可以在宏塊水平上。在該情況下，利用圖像的各宏塊自己的量化步長來對其進行編碼。
編碼裝置5按照MPEG-2標準進行編碼。編碼裝置5為裝置6提供了用于圖像的各宏塊的以下參數—可縮減成本，表示為EncCostMPEG2。
—不可縮減成本也稱為句法成本，表示為OverheadMPEG2。
裝置6為視頻數據流的圖像的各宏塊計算—復雜度，表達為可縮減成本與量化步長相乘的乘積，表示為XMPEG2。
然后，為了計算各圖像的可縮減成本和復雜度，分別對各宏塊的可縮減成本和復雜度的求和。
為了確保隨時間的圖像編碼的質量，要在基準周期上隨時間來調整編碼。
在MPEG-2或H.264類型的編碼中，GOP(“圖像組”)構成了適當的基準周期。
因此，裝置6通過在基準周期上求和還計算出—通過在基準周期上求和而根據圖像類型計算的整組圖像的不可縮減成本，對于I、B和P圖像分別表示為IGOPOverheadMPEG2、BGOPOverheadMPEG2、PGOPOverheadMPEG2，—通過在基準周期上求和而根據基準周期內的圖像類型計算整組圖像的復雜度，表示為IGOPXMPEG2、BGOPXMPEG2、PGOPXMPEG2，—通過在基準周期上求和而根據圖像類型計算的基準周期內的整組圖像的總成本，該總成本包括可縮減成本和不可縮減成本。
第二通道編碼裝置2按照H.264標準執行編碼。該第二通道編碼裝置向測量裝置4提供用于圖像的各宏塊的以下參數—可縮減成本，表示為EncCostH264，—量化步長。
—測量裝置4通過計算可縮減成本與量化步長相乘的乘積，來計算XH.264宏塊復雜度。
對于各宏塊，測量裝置4計算可縮減成本和復雜度的總和。根據此推導出不可縮減成本，表示為OverheadH264。
圖2表示比特速率調整單元3。
比特速率調整單元3包括—單元10，用于預測待編碼的當前圖像的相對成本和復雜度，—圖像等級(level)調整單元9，—量化單元8。
用于預測待編碼的當前圖像的相對成本和復雜度的單元10同時為當前圖像和前面所定義的基準周期計算對不可縮減成本和復雜度的估算，以便向圖像等級調整單元9提供待編碼的圖像的相對權重。
由預測單元10執行的操作順序如下—為最近一個被編碼的圖像計算在由第一通道編碼裝置5執行的編碼的不可縮減成本和由第二通道編碼裝置2執行的編碼的不可縮減成本之間的比例Ratiooverhend=OverhendH.264OverhendMPEG-2]]>—為最近一個被編碼的圖像計算在由第一通道編碼裝置5執行的編碼的復雜度和由第二通道編碼裝置2執行的編碼的復雜度之間的比例RatioX=XH.264XMPEG-2]]>模塊10根據如此存儲的最近的比例來更新平均復雜度比，SmoothedratioX，和平均不可縮減成本比，SmoothedratioOverhead。在來自基準周期的不同時段上估算所使用的比例Ratiooverhead和RatioX。為不同的編碼模式計算這些比例，要為每一種編碼類型計算同一個比例。
對于幀內(Intral)(I)類型圖像SmoothedratioOverhead＝RatioOverhead，SmoothedratioX＝RatioX對于雙向(B)或預測(P)類型圖像Smoothedratiooverhend=2×SmoothedRatiooverhend+Ratiooverhend3]]>SmoothedratioX=2×SmoothedRatioX+RatioX3]]>將SmoothedratioOverhead和SmoothedratioX分別初始化為值RatioOverhead和RatioX。
然后，模塊10根據測量單元6的測量，計算待編碼的當前圖像的不可縮減成本和復雜度。
—待編碼的當前圖像的不可縮減成本OverheadH264＝SmoothedRatiooverhead[mode]×OverheadMPEG-2—待編碼的當前圖像的復雜度XH264＝SmoothedRatioX[mode]×XMPEG-2模塊10還為當前基準周期計算不可縮減成本和復雜度—不可縮減成本GOPOverheadH264＝SmoothedRatioOverhead[I]×IGOPOverheadMPEG-2+SmoothedRatiooverhead[B]×BGOPOverheadMPEG-2+SmoothedRatiooverhead[P]×BGOPOverheadMPEG-2—復雜度GOPXH.264＝ZI×SmoothedRatioX[I]×IGOPXMPEG-2+ZP×SmoothedRatioX[P]×PGOPXMPEG-2+ZB×SmoothedRatioX[B]×BGOPXMPEG-2ZI，ZP和ZB是權重常數。
這些常量傳遞具有恒定的編碼質量的事實，必須有差別地量化I、B和P圖像，對B圖像的量化最嚴格。
圖像等級調整單元9根據由監測單元(未示出)提供的輸出目標比特速率和在正在討論的基準周期中待編碼的圖像的相對權重，來計算圖像目標成本。
Target Cost=Z[mode]XH.264GOPXH.264×GOPTargetCost]]>其中GOPTagetCost＝(MeanBppH.264×Nbimages)-GOPOvereadH.264其中，—TargetCost圖像目標成本，—GlobalTargetCost基準周期的總成本，
—MeanBppH.264根據目標比特率的每圖像平均成本，—Nbimages基準周期中的圖像的數量。
調整單元根據它所管理的虛擬解碼器緩沖器的狀態，對在前的圖像的目標成本進行必要的調整。
根據由圖像等級調整單元提供的圖像目標成本，量化單元8計算在第二通道編碼期間應用在圖像中的量化。根據實施者的選項，量化粒度可以是圖像等級或宏塊的行或單個宏塊等級。
圖3和圖4實現了根據本發明的編碼器的變體。在圖3和圖4中，MPEG-2編碼器向H.264編碼器不僅提供如圖1和圖2所示的量化信息，還提供GOP、圖像類型、場景和向量場結構信息的變化。這使得簡化了要使用的H.264編碼設備，而無需預分析并且不必需運動估計。
編碼器5包括圖像預分析模塊16。模塊16在輸出端上連接到圖像組(GOP)重構模塊17的輸入端。模塊17的輸出端連接到判定模塊18的輸入端，判定模塊18的輸出端連接到編碼環19的輸入端。編碼環的輸出端連接到熵編碼模塊20的輸入端。
模塊17的輸出端還連接到運動估計模塊21的輸入端。
模塊16、17、18、19、20和21是MPEG-2類型編碼器中的特征已知的部分元件。
在圖3的實施例中，除圖1所示的量化參數之外，MPEG-2類型編碼器還提供了以下參數(圖1中未示出)—GOP的結構，—圖像類型(步進的，交織的)，—場景變化，—MPEG-2類型向量場。
圖4表示在根據本發明的設備中使用的單通道H.264編碼器2的實施例。
編碼器2包括圖像重構模塊11，用于在輸入端上接收經模塊1延遲的待編碼的視頻圖像。
模塊11的輸出端連接到判定模塊12的輸入端以及運動估計模塊15的輸入端。模塊15還在輸入端上接收源自圖3表示的編碼器2的信號，該信號是用于16*8或16*16塊的MPEG-2類型向量場。運動估計模塊15修改向量場的精度，以將它們設置為符合第二通道編碼器的標準(二分之一像素或四分之一像素)，即在本發明的優選實施例中是H.264。在MPEG-2中，運動向量具有二分之一像素精度，而在H.264中，具有四分之一像素精度。
運動估計模塊15還用于計算可能被漏掉的運動向量。正在實行的H.264標準批準了7種塊尺寸16*16、16*8、8*16、8*8、4*8、8*4、4*4，而MPEG-2標準僅批準了兩種塊尺寸16*16和16*8。另外，在MPEG-2中，取決于是否使用幀預測(每個宏塊兩個向量，16*8像素的每個子塊一個向量)或圖像預測(與16*16像素塊相關聯的一個向量)，宏塊可以具有一個或更多個運動向量。
所以，運動估計模塊15必須重新計算漏掉的向量。這還取決于設置在運動估計模塊中的復雜度。
模塊12在輸入端上接收來自運動估計模塊15的信息。
判定模塊12的輸出端被連接到編碼環13的輸入端。判定模塊12向編碼環傳送根據由編碼提供的不同的可能性而做出的選擇(以幀間/幀內模式編碼，量化步長等)。
編碼環的輸出端被連接到熵編碼模塊14的輸入端。該熵編碼碼模塊14向編碼環傳送余項(例如在量化步長的應用之后的系數)和要插入該類型的宏塊的首部的宏塊等級信息集合。熵編碼模塊14在輸出端上向圖1表示的測量單元4提供信號SH264。
圖像重構模塊11在輸入端上接收源自第一通道編碼的信息，即—GOP的結構—圖像類型(交織或步進)—場景的變化判定模塊12和編碼環13還在輸入端上接收QH264信號。
模塊11、12、13、14和15是H.264類型編碼器中的特征已知的部分元件。
因此使編碼器2執行的編碼最優化，并相對于H.264雙通道編碼器其成本明顯降低。
在根據MPEG-2標準的第一通道編碼和根據H.264標準的第二通道編碼環境中的上述雙通道編碼設備可以自然地擴展到其它類型的編碼，尤其是擴展到組合以下各項的混合類型的編碼—通過對固定塊或自適應尺寸的塊的變換編碼，以去除空間冗余。
—運動補償預測，以去除時間相關的冗余。
并且處理相同類型的圖像，即—幀內(I)圖像，使用上面提到的兩種編碼中的第一種(空間編碼)，—預測(P)圖像，利用相對于在過去排它地設置的基準圖像的預測，使用空間和時間相關的兩種編碼，—雙預測(B)圖像，利用相對于在過去和在將來設置的基準圖像的預測，使用空間和時間相關的兩種編碼。
權利要求
1.一種用于視頻數據流的雙通道編碼的設備，該設備包括-第一類型編碼裝置(5，6)，用于執行第一編碼通道，-第二類型編碼裝置(2，4)，用于執行第二編碼通道，特征在于-第二類型編碼裝置(2，4)不同于第一類型編碼裝置(5，6)，并且第二類型編碼裝置(2，4)使用源自第一編碼通道的信息。
2.如權利要求1所述的設備，其特征在于-第一類型編碼裝置(5，6)包括-用于測量第一通道的編碼成本的裝置(6)，該第一通道用于待編碼的視頻數據流的各圖像。-用于存儲若干圖像的第一編碼通道的編碼成本的裝置(6)，該若干圖像用于定義基準時間。-第二類型編碼裝置(2，4)包括-用于測量第二通道的編碼成本的裝置(4)，該第二通道用于待編碼的視頻數據流的各圖像。-用于存儲若干圖像的第二編碼通道的編碼成本的裝置(4)，該若干圖像用于定義基準時間。
3.如權利要求1或2中的一項所述的編碼設備，特征在于其該編碼設備包括用于調整源自通道編碼裝置的數據流的比特速率的裝置(3)。
4.如權利要求3所述的編碼設備，特征在于調整比特速率的裝置(3)包括-預測裝置(10)，用于計算在基準周期中待編碼的圖像的相對權重，-調整裝置(9)，用于計算要由第二類型編碼裝置(2，4)編碼的圖像的目標成本，該計算根據-從第二類型編碼裝置(2，4)接收的目標比特速率，和-基準周期中的待編碼的圖像的相對權重，-裝置(8)，用于量化第二類型編碼，該裝置(8)根據圖像的目標成本，計算要施加到由第二類型編碼裝置編碼的各圖像的量化步長。
5.如在前的權利要求的其中之一所述的編碼設備，其特征在于-第一通道和第二通道的編碼成本包括至少用于待編碼的各圖像和各基準周期的-可縮減成本，-不可縮減成本，-以及第一通道和第二通道的編碼裝置(2，4，5，6)，用于為各待編碼的圖像計算編碼復雜度，該復雜度表示為可縮減成本和量化步長相乘的乘積。
6.如權利要求4或5所述的編碼設備，特征在于預測裝置(10)包括-用于為各待編碼的圖像計算被稱為不可縮減成本比的比例的裝置，該比例即第一通道的不可縮減編碼成本與第二通道的不可縮減編碼成本相比，-用于為各待編碼的圖像計算被稱為復雜度比的比例的裝置，該比例即第一通道的復雜度與第二通道的不復雜度相比，-用于根據最近一個被編碼的圖像的復雜度比來更新平均復雜度比的裝置，以及-用于根據最近一個被編碼的圖像的不可縮減成本比來更新平均不可縮減成本比的裝置，-用于根據平均復雜度比和當前圖像的第二類型編碼的復雜度，來估計要由第二類型編碼裝置編碼的當前圖像的復雜度的裝置，-用于根據平均不可縮減成本和當前圖像的第一類型編碼的不可縮減成本，來估計要由第二類型編碼裝置編碼的當前圖像的不可縮減成的裝置，-用于計算當前圖像所屬的基準周期的不可縮減成本的裝置，-用于計算當前圖像所屬的基準周期的復雜度的裝置，-用于計算當前圖像的相對權重的裝置，將該權重表示為當前圖像的復雜度和當前圖像所屬的基準周期的總復雜度之間的比例。
7.如在前的權利要求的其中之一項所述的編碼設備，特征在于該設備包括對第一通道編碼進行量化的裝置(7)，該裝置(7)根據從第二通道編碼裝置(2，4)接收的目標比特速率來算量化步長。
8.如在前的權利要求的其中之一項所述的編碼設備，特征在于第一類型編碼裝置(5)包括用于估計視頻數據的運動的裝置(21)，目的是向第二類型編碼裝置提供運動向量。
9.如在前的權利要求的其中之一項所述的編碼設備，特征在于第一類型編碼裝置包括預分析裝置(16，17)，目的是向第二類型編碼裝置提供有關基準周期的結構、形成視頻數據的圖像類型的信息、有關對場景的變化的檢測信息。
10.如在前的權利要求的其中之一項所述的編碼設備，特征在于第一通道編碼裝置(5，6)根據MPEG-2標準對圖像編碼，第二通道編碼裝置(2，4)根據H.264標準對圖像編碼。
11.對視頻流數據進行雙通道編碼的方法，該方法包括步驟-執行第一編碼通道的根據第一類型的編碼，-執行第二編碼通道的根據第二類型的編碼，特征在于-第二類型編碼不同于第一類型編碼，并且-第二類型編碼步驟使用源自第一編碼通道的編碼信息。
12.計算機程序產品，特征在于其包括程序代碼指令，當在計算機上執行所述程序時，該程序代碼指令用于執行根據權利要求9所述的方法的步驟。
全文摘要
本發明提出一種用于視頻數據流的雙通道編碼的設備，該設備包括第一類型編碼裝置(5，6)，用于執行第一編碼通道；第二類型編碼裝置(2，4)，用于執行第二編碼通道。根據本發明第二類型編碼裝置(2，4)不同于第一類型編碼裝置(5，6)，并且第二類型編碼裝置(2，4)使用源自第一編碼通道的信息。應用MPEG－2和H.264編碼。
文檔編號H04N7/26GK1748429SQ200480003904
公開日2006年3月15日 申請日期2004年2月4日 優先權日2003年2月10日
發明者格扎維埃·迪克盧, 阿蘭·索蘭, 蒂埃里·洛朗 申請人:法國耐思訊公司