專利名稱：自適應編碼的方法和設備的制作方法
技術領域：
本發明涉及編碼源圖像序列的方法和設備。更特別的是方法包括象元-回歸的運動估計型預分析步驟和有塊匹配運動估計的特殊編碼步驟。
背景技術：
域是視頻壓縮的。我們特別對MPEG4標準兼容的編碼電路感興趣。
在編碼器中實現“塊匹配”型運動估計，以便在圖像序列中使用圖像的時序相關。它計算從中間模式編碼的當前塊減去預選擇的塊。由于由標準提出的編碼參數的不同選擇，例如，運動估計的圖像塊的尺寸，參考圖像或從該圖像作運動估計，對這些參考圖像的上場，下場或幀等，那么根據如編碼成本的準則做出選擇。編碼器必須明白有重要意義的運動計算量。在時間和處理量方面這些計算是昂貴的。運動估計器對編碼器一定是特殊的，或至少對標準提出的和由編碼器實現的多數選擇是可兼容的。
例如在編碼器與H264或MPEG4部分10標準兼容的“塊匹配”型分層運動估計器的情況中，計算各種塊尺寸(4×4，4×8，8×4，8×8，8×16，16×8，16×16)和各個參考圖像的運動矢量場。對單塊對的編碼，已知為MBAFF，英語宏塊自適應幀場的首字母縮略詞，估計器提供每宏塊幀的1個運動矢量場，場的2個運動矢量場。因此對16×16尺寸的宏塊，對各個參考圖像計算41×3個運動矢量，如果使用幾個參考圖像，如在多參考模式中，乘以此數。
另一問題涉及分層型運動估計器本身的使用。雖然此類型估計器提供更均勻的運動場，由于低分辨率/高分辨率方法，不能容易的跟蹤小目標的運動。
發明內容
本發明的目的是克服上面描述的缺點。
為此，本發明的一方面是編碼源圖像序列的方法，包括有象元-回歸型運動估計的預分析步驟，和有對一個或多個子塊組成的圖像塊的塊匹配運動估計步驟的實際編碼步驟，特征在于編碼步驟還包括—基于由匹配包含子塊的塊計算的運動矢量和基于由象元-回歸型估計對象元或屬于子塊的象元組計算的運動矢量，為圖像子塊選擇運動矢量的步驟；—基于考慮從構成塊的子塊選擇的運動矢量的相關性計算，計算將圖像塊分割為子塊的最好的分割步驟。
根據特殊的實例，方法特征在于，選擇步驟計算對應于這些子塊的象元-回歸型運動矢量的子塊的相關水平，自動選擇由塊匹配獲得的運動矢量。
根據特殊的實例，圖像的尺寸是在MPEG2標準中規定的，它的子塊的尺寸在MPEG4標準中可得到。
根據特殊的實例，塊匹配運動估計是分層型。
根據特殊的實例，預分析步驟包括在同樣的分辨率或較低分辨率的當前圖像和前面圖像之間的象元-回歸型運動估計步驟和由基于象元-回歸型運動估計的運動補償的過濾的噪聲降低步驟。
根據特殊的實例，預分析步驟也實現當前圖像的不同場的相關計算，對要編碼的各塊和參考圖像確定根據最好的相關性使用的對應的場或幀，并傳輸此信息到塊匹配運動估計電路實現對應參考圖像的估計。
本發明也涉及編碼設備，包含有象元-回歸型運動估計器的預分析電路，和有由一個或多個子塊組成的圖像塊匹配運動估計器的圖像子塊的實際編碼電路，特征在于編碼電路也包括編碼模式決定電路—基于由塊運動估計器和有關包含子塊的塊計算的運動矢量和基于由象元-回歸型估計對象元或屬于子塊的象元組計算的運動矢量，選擇圖像子塊的運動矢量；—基于考慮從構成塊的子塊選擇的運動矢量的相關性計算，計算將圖像塊分割為子塊的最好的分割步驟。
塊匹配運動估器的組合很好的適應于數據壓縮和象元-回歸型運動估計器，很好的適應于物理的運動計算，使得能獲得高質量的運動場和好的壓縮率。降低了計算量。
例如，由于這些估計器的運動矢量場的組合，更容易的鎖定在圖像中運動的小目標，這些小目標已由“塊匹配”型的運動估計器忽略。由于使用有關表示物理場的運動矢量的信息，“塊匹配”型的運動估計器，例如分層的，通過使用它們作為預測器可在這些矢量上啟動運動搜索。
使用設計為大于子宏塊的圖像塊的“塊匹配”型估計器電路也是可能的，例如標準MPEG2型估計器，因此，費用較少。從由象元-回歸型運動估計器和提到的“塊匹配”型的運動估計器電路提供的運動矢量場，例如由組合或選擇的矢量，實現較小的子宏塊的預測性模式的相關性或編碼成本計算量。
另一優點包括使用來自象元-回歸型運動估計器的信息，由分層運動估計器，例如由選擇使用的參考圖像、場或幀限制它的計算。
從描述中清楚的顯現本發明其它的特征和優點，提供的描述作為非限制的范例，參考附圖如下圖1是本發明的編碼器的框圖；圖2是宏塊和子宏塊的分割；圖3是編碼模式決定算法。
具體實施例方式
圖1表示本發明的視頻序列編碼器。
在被傳輸到預分析電路6的編碼器的輸入端接收源圖像的數字視頻數據。圖像被濾波并以圖像塊傳輸到減法器1的第一輸入端。根據編碼模式內部或中間，減法器1傳輸有關在它的第一輸入端接收的當前塊的信息，或從后者減去對應于在它的第二輸入端得到的預測的塊的最新信息。減法器1的輸出數據傳輸到離散余弦和量化變換電路2。此電路的量化的輸出系數通過熵編碼器3經歷熵編碼，然后存儲在緩沖存儲器4中。此存儲器的填充水平傳輸到比特率控制電路5，它也從預分析電路接收數據，它影響量化器2的量化步驟。
重建當前圖像提供預測的塊。因此，量化的系數通過參考電路7經歷逆量化和逆離散余弦變換，給出解碼的亮度值。
如果它是中間模式編碼，則加法器8使得預測的塊加到解碼的系數塊上。在存儲到存儲重建的當前圖像的圖像存儲器10中前，由濾波電路9濾波重建的塊。
包含分層的運動估計器的塊運動估計電路11接收有關解碼的或由圖像存儲器10存儲的重建的圖像的信息和有關來自預分析電路6的要編碼的源圖像的當前宏塊。分層運動估計器根據已知的原理實現當前宏塊和重建的圖像之間的相關性計算，以便由宏塊提供運動矢量。這些矢量傳輸到編碼模式決定電路13。此電路也從預分析電路接收由象元-回歸型運動估計器計算的運動矢量。它用對應的編碼模式選擇最好的宏塊分割。
編碼模式和對應的運動矢量傳輸到運動補償電路12，它實現參考圖像或重建的圖像的運動補償，以便提供預測的圖像塊。運動矢量也傳輸到熵編碼器3，用于編碼并傳輸到解碼器。
用更詳細的方式，在編碼器的輸入端有包含分辨率降低電路，象元-回歸型運動估計電路和濾波器的預分析電路6。這些電路使得在編碼前要處理的圖像的噪聲降低。在此領域，認識到象元-回歸型運動估計比由塊的運動估計更適應于噪聲降低。因此，這是在編碼器的預分析步驟實現的算法類型。
在編碼器的輸入端接收的源圖像序列是由預分析電路子取樣的，以便提供更低分辨率的圖像。在實際的編碼圖像前，由此預分析電路實現象元-回歸型運動估計。因此，這由象元計算較低分辨率的圖像，在我們的范例中它的尺寸水平的和垂直的劃分為兩個。此估計也預先對編碼模塊提供某些有用的信息，如檢測在運動中的區域，不可預測的區域，優選的預測方向等。
基于此運動估計，運動補償濾波實現在全分辨率圖像上；此濾波降低圖像的噪聲，因此，改善了編碼器的效率。
可使用預分析電路定義要編碼的序列的GOP結構，即，圖像的類型，內部的或中間，參考圖像，雙向等。術語GOP是“圖像組”的首字母縮略詞，并在MPEG標準中規定。
預分析完成預先規定的圖像數。預分析和實際圖像編碼之間的延遲時間段可認為是比特率控制的圖象組的量級。例如這相當于MPEG標準的一個或幾個GOP。
在我們的例子中，運動估計電路11是根據分層結構和塊匹配方法。當前的宏塊與根據增加的分辨率錐體構造的解碼的圖像相比，在宏塊和錐體的最低分辨率開始到最高的分辨率水平。各分辨率水平的運動矢量場從最低的分辨率水平估計到最高的分辨率水平，能使用在一個水平實現的估計作為更高水平的預測。錐體依賴于編碼電路的不同編碼模式。因此，對幀的、對場的和給出參考圖像存在多個錐體。在多種參考方法中，那么此數量是相乘的。
在編碼環中，此濾波電路9實現重建的圖像的濾波，以降低塊的影響。正好是這個濾波的圖像被存儲在圖像存儲器10中。
預分析電路6連接比特率控制電路5，提供具有GOP結構信息和圖像類型的編碼成本信息，以便事后簡化能集成信息的比特率控制。例如，在內部模式的第一通道，預分析電路根據編碼確定圖像的復雜性，并傳輸圖像類型的編碼成本估計到控制電路，因此，控制電路可計算DCT+Q電路的量化步驟。
如上面指出的，編碼模式決定電路13選擇最好的宏塊分割和宏塊編碼模式。
圖2表示對使用MPEG4標準第10節的編碼器，16個樣本的16行的不同類型的宏塊分割。
第一行分別相當于16×16尺寸宏塊的水平和垂直分割為兩個子宏塊尺寸為16×8，8×16，和分割為4個8×8尺寸的子宏塊。第二行相當于對8×8尺寸的宏塊同樣的分割，但在更低的水平。
在較低分辨率的圖像上實現象元-回歸型運動估計，例如，水平和垂直地比源圖像低兩倍。
塊匹配運動估計電路11是MPEG2型，即處理的亮度宏塊的尺寸具有16個樣本的16行。根據圖像的類型，場或幀，宏塊的內部結構不同。因此，它可以是在兩個場DCT圖像編碼或單個場DCT圖像編碼中的亮度宏塊，在后者的情況中，宏塊由奇數場的上16×8塊和偶數場的下16×8塊組成。計算的運動矢量依賴于編碼的圖像的類型，P預測性的或B-雙向編碼的圖像。這些是“前向矢量”(在MPEG2標準中)和“后向矢量”。
圖3表示由編碼模式決定電路13實現的編碼模式決定流程圖。
從預分析電路6接收2×2塊的運動矢量場，步驟14。
從運動估計電路11接收16×16宏塊的運動矢量場，步驟15。
步驟16處理步驟14和步驟15的矢量場的運動矢量。它向不同的可能的宏塊分割分配運動矢量。
在范例中，可能的分割被限制到子塊，即8×8塊，字塊不再被分割。
在第一步驟，運動矢量鏈接到塊。
因此，對考慮的子塊，除了包括在子宏塊中的2×2塊的運動矢量，包括此子宏塊的16×16宏塊的運動矢量鏈接到子宏塊。
在第二步驟，運動矢量分配給子宏塊。
不同的分配模式是可能的。
例如，它可簡單的分配所有的運動矢量鏈接到子宏塊。
通過應用鏈接到子宏塊的2×2塊的運動矢量中的預選擇、通過選擇這些矢量的分量的中值，或通過選擇由SAD或Hadamart計算提供的一個最好的相關性，也可以限制分配的矢量數。
步驟17接收分配給不同分割的子宏塊的矢量和來自步驟16輸入。基于分配的運動矢量和通過選擇提供最好的相關性的運動矢量，實行各子宏塊的相關性計算，實現運動矢量的選擇。
步驟18接收分配給分割的子宏塊的選擇的矢量。對各可能的分割由實行全部宏塊的相關性計算，實現最好分割的選擇，基于分配給相當于此分割的子宏塊的運動矢量，產生構成宏塊的各子宏塊的相關性之和。
選擇提供最好相關率的分割。
對被測試的各模式，用運動矢量和參考圖像的預測模式或具有兩個運動矢量和兩個參考圖像的雙預測實現前面的步驟。
對選擇的分割，通過比較對應的編碼成本取得對內部、預測的中間、雙預測的中間的的編碼模式的決定。
根據本發明的變體，由預分析電路6的象元-回歸型運動估計器計算的運動矢量傳輸到用作為預測器的分層運動估計器11。使用選擇的預測器，以已知的方式，定位實現相關性的一個或多個查找窗口確定運動矢量。如果幾個運動矢量對應由運動估計電路11處理的塊，例如，此塊的預測器是這些矢量的每一個、這些矢量的分量的平均值或中值。
根據本發明的變體，預分析電路實現相關性計算，對運動估計電路11提供圖像/場編碼的決定信息。它實行場或幀模式的預選擇，它傳輸到運動估計電路，以簡化由此電路實行的計算。
根據本發明的另一個變體，預分析電路實現相關性計算，對編碼模式決定電路13提供圖像/場編碼的決定信息，例如，場或幀模式的預選擇。因此，此電路在接收的運動矢量中消除了那些相當于預分析電路沒有選擇的模式。對預選擇模式只執行最好的分割的計算。
這些是實例。當然，本發明應用于執行相關性計算的部分的所有的宏塊分割。
在不離開本發明的范圍內，除了象元-回歸或分層外，可以使用運動估計器。
應用涉及傳輸或記錄的視頻數據壓縮。
權利要求
1.一種編碼源圖像序列的方法，包括具有象元-回歸型運動估計的預分析步驟(6)，和具有由一個或多個子塊組成的圖像塊的塊匹配運動估計(11)的實際編碼步驟，其特征在于編碼步驟也包括—基于由包含子塊的塊的匹配計算的運動矢量和基于由象元-回歸型估計對象元或屬于子塊的象元組計算的運動矢量，選擇圖像子塊的運動矢量(16，17)；—基于從構成塊的子塊選擇的運動矢量的相關性計算，計算將圖像塊分割為子塊的最好的分割。
2.根據權利要求1所述的方法，其特征在于選擇步驟(17)計算對應子塊的象元-回歸型運動矢量的子塊的相關性水平，并自動地選擇由塊匹配獲得的運動矢量。
3.根據權利要求2所述的方法，其特征在于預先確定的塊的尺寸對應于在MPEG2標準中的塊，較小的尺寸對應MPEG4標準中得到的尺寸。
4.根據權利要求1所述的方法，其特征在于圖像塊的尺寸是在MPEG2標準中定義的，子塊的尺寸是在MPEG4標準中得到的。
5.根據權利要求1所述的方法，其特征在于塊匹配運動估計器是分層型的。
6.根據權利要求1所述的方法，其特征在于預分析步驟包括在同樣的分辨率或對較低的分辨率的當前圖像和前面圖像之間的象元-回歸型運動估計步驟，和基于由運動估計計算的運動，由運動補償濾波降低噪聲的步驟。
7.根據權利要求1所述的方法，其特征在于預分析步驟也實現當前圖像的不同場的相關性計算，對各要編碼的塊和參考圖像，根據最好的相關性確定使用的對應的場或幀，并傳輸此信息到塊匹配型運動估計電路(11)，以便在對應的參考圖像執行此估計。
8.一種實現權利要求1所述的的處理的編碼設備，包括具有象元-回歸型運動估計器的預分析電路(6)，和包括由一個或多個子塊構成的圖像塊的塊匹配運動估計器(11)的實際編碼電路，其特征在于編碼電路也包括編碼模式決定電路(13)，—基于由塊運動估計器和有關包含子塊的塊計算的運動矢量和基于由象元-回歸型估計器(6)和有關象元或屬于子塊的象元組計算的運動矢量，選擇圖像子塊的運動矢量(16，17)；—基于從構成塊的子塊選擇的運動矢量的相關性計算，計算將圖像塊分割為子塊的最好的分割。
全文摘要
一種包括有象元－回歸型運動估計的預分析步驟(6)，和有由一個或多個子塊組成的圖像塊的塊匹配運動估計(11)的實際編碼步驟的方法，編碼步驟也包括基于由匹配包含子塊的塊計算的運動矢量和基于由象元－回歸型估計對象元或屬于子塊的象元組計算的運動矢量，選擇圖像子塊的運動矢量；基于從構成塊的子塊選擇的運動矢量的相關性計算，計算將圖像塊分割為子塊的最好的分割。
文檔編號H03M7/30GK1719904SQ200510082190
公開日2006年1月11日 申請日期2005年7月1日 優先權日2004年7月6日
發明者揚妮克·奧利維耶, 愛德華·弗朗索瓦, 皮埃爾·呂埃盧 申請人:湯姆森許可貿易公司