專利名稱：用于時間預測的分類濾波的制作方法
技術領域：
本發明涉及視頻壓縮領域。
背景技術：
時間預測濾波器(temporal prediction filter)在視頻壓縮過程中被用亍 從一組先前解碼的參考圖像(reference image)中預測出目標圖像(target image)。時間預測過程在去除大量時間冗余時是有效的，其一般產生較 高的編碼效率。預測過程使用一組運動向量和對運動向量進行操作的濾波 器來預測目標圖像。
例如，預測方法將參考圖像110劃分成多個固定尺寸的塊120，如圖 1所示。每個塊具有相關的運動向量，用于描述該塊相對于目標圖像的運 動。運動向量由圖像110中的白點示出。時間預測濾波器使用相關的運動 向量來對參考圖像中的每個塊執行簡單的運動補償技術，以預測該塊在目 標圖像中的位置。因此，目標圖像中的每個塊通過使用單個運動向量根據 參考圖像中的塊被估計出。但是，這種方法獨立對待每個運動向量，并且 不適應用于圖像特征。
傳統的時間濾波器使用單個運動向量來預測相關塊的位置或者依賴于 針對規則的運動向量模式(pattern)定義的濾波器，這些傳統時間濾波器 需要規則分布的運動向量以執行時間預測。因此，它們無法使得預測過程 適應于不規則的運動向量模式。存在對于可以使得濾波器的抽頭(tap)和 濾波器系數局部適應于不規則的運動向量模式的變化的濾波器的需求。還 存在對于具有適應于對象邊界(object boundary)和空間紋理(spatial texture)的靈活性的時間濾波器的需求
發明內容
執行時間預測的方法包括使用不規則濾波器抽頭產生目標圖像的預 測，并將規則濾波器抽頭應用到該預測以產生增強預測。
本發明以示例方式示出，并且可以通過結合附圖參考以下描述來更好 地理解，其中
圖i示出傳統的基于塊的時間濾波器的示例。 圖2示出兩級適應性時間濾波過程的示例。
圖3示出不規則的運動向量模式的示例以及用在適應性時間濾波過程
中的影響區域單元(area of influence cell)的示例。
圖4示出對于不同目標像素形成不同局部鄰域(local neighborhood)
的不規則運動向量模式的示例，其被適應性時間濾波過程所處理。 圖5示出利用適應性時間濾波器執行的預測的示例。 圖6示出用于生成最小二乘分類濾波器(least squared classified filter)
的方法的示例。
圖7示出由最小二乘分類濾波過程產生的分類圖(classification map)
的示例。
圖8示出用于預測目標圖像的第一級和第二級濾波器的示例。 圖9示出使用適應性時間濾波器的視頻壓縮編碼過程的示例。 圖10示出使用適應性時間濾波器的解碼過程的示例。 圖ll示出使用適應性時間濾波器的系統的示例。
具體實施例方式
在以下描述中，參考構成說明書一部分的附圖，附圖中以圖示方式示 出可用來實施本發明的特定實施例。將會理解，在不脫離本發明的范圍的 情況下，其他實施例可被利用，并且結構改變可能發生。例如，本領域技 術人員將會理解，用來描述各個實施例的術語場或幀或圖像在參考視頻數 據使用時可以互換。
最小二乘分類時間濾波器在預測目標圖像時自動適應于不規則的運動向量模式、對象特征和空間紋理。該最小二乘分類濾波器在時域中作用于 經運動補償的信號，這不同于其他方法，其他方法試圖直接對運動向量進 行濾波(例如運動向量域中的三角濾波)。例如，由于該最小二乘分類時 間濾波方法在時域中操作，因此更易修改以適應于對象和空間紋理。在一
個實施例中，最小二乘分類時間濾波器執行兩級過程(two stage process)。第一級使得濾波器適應于不規則的運動向量采樣模式、對象形 狀以及對象邊界。第二級使得濾波器適應于圖像的空間紋理。
最小二乘分類時間濾波過程的示例如圖2所示。在210，針對圖像生 成不規則的運動向量采樣模式。這種不規則模式的生成可以利用本領域技 術人員已知的方法以各種方式進行。不規則的運動向量模式的示例如圖3 的塊310所示。圖像310中的白點代表運動向量。對于這種適應性采樣模 式，運動向量更集中在難以根據參考圖像預測的區域中(即具有更復雜運 動的圖像區域，例如運動邊界附近的區域)。很少的運動向量被置于簡單 運動區域(例如圖像背景區域)中。
不規則的運動向量模式的另一示例如圖4所示。陰影圓圈代表運動向 量，并且每個x代表一個要預測的像素。像素420位于密集填充并且不規 則分布的運動向量的局部鄰域中，像素410位于具有準規則分布(quasi-regular distribution) 的運動向量的局部鄰域中，像素430位于稀疏填充的 運動向量的局部鄰域中。由于要預測的像素具有不同的運動向量局部鄰 域，即每個局部鄰域具有不同的運動向量分布，因此適應于該變化分布的 濾波器結構被用于預測像素。
返回圖2，在220，圖像被分成多個單元(稱之為影響區域單元 (AOI單元))，其中每個AOI單元具有一個運動向量作為其節點。例 如，圖3的圖像310被如塊320所示劃分成多個AOI單元。每個AOI單 元代表這樣的區域，該區域受該單元內運動向量的影響比圖像中任何其他 運動向量的影響要強。由于針對每個運動向量生成一個AOI單元，因此 AOI單元的尺寸可能與圖像中的對象的特征(例如邊界區域)相關。例 如，對象之間的邊界區域附近的AOI單元可能小于圖像背景區域中的 AOI單元。而且，AOI單元的形狀可以局部修改以適應于對象邊界的形狀。用于生成AOI單元的方法的一個實施例是距離最近運動向量劃分方 法。其他劃分方法可被使用，例如塊或三角方法。如下所述，在第二級最小二乘濾波器過程中，AOI單元被用作自然圖像分塊(segmentation)， 基于該分塊限定分類圖(即每個AOI單元可以使用不同的濾波器)。返回圖2，在230，第一級適應性時間預測濾波器被生成，以用于利 用不規則的運動向量模式和影響區域單元來預測目標圖像中的像素。濾波 器級預測濾波器在時域中作用于經運動補償的信號。具體而言，濾波器通 過使用不同運動補償信號的加權和來預測目標像素，其中每個運動補償信 號是通過應用不同運動向量預測目標像素來獲得的。濾波器系數和抽頭結 構根據變化的運動向量模式而針對每個像素變化。而且，濾波器的支撐 (support)是局部的。這意味著用于補償目標像素的運動向量是從該像素 的局部鄰域中獲得的。第一級濾波器具有以下結構。令^^表示N個運動向量的集合，并且 I(x)表示參考圖像(先前解碼的圖像)。令S(x)表示圍繞像素x的位置的 運動向量的某個集合。該目標像素x的預測可以按如下方式生成其中{6}是濾波器系數的集合，并且x+vi是當運動向量vi被應用到像素x 時經運動補償的像素。濾波器的支撐或抽頭由集合S(x)定義。抽頭支撐 S(x)和濾波器系數(fO—般是像素位置x及其相鄰運動向量的函數。就是 說，濾波器系數可以針對每個像素改變，這是因為運動向量分布在整幅圖 像中變化。因此，濾波器局部地適應于變化的運動向量模式。在240，第一級預測濾波器被應用到目標圖像以執行針對目標圖像的 時間預測。該濾波器在時域中被應用，以在給定運動向量值的集合和采樣 模式的情況下生成對目標圖像的預測結果。濾波器使用由重疊區域的面積 限定的濾波器抽頭和濾波器系數來捕獲與要預測的像素相鄰的運動向量的 相關性(relevance)。這類預測濾波器的示例是在如下專利申請中公開的 影響區域濾波器Marco Paniconi等人的題為"ADAPTIVE AREA OF INFLUENCE FILTER"的未決美國申請No. XX/XXX, XXX (代理案巻號 50U6045)，該申請與本申請同時遞交并且通過引用被結合于此；另一示例是用于運動補償信號的三角濾波器(triangulation filter)。應用第一級濾波器生成時間預測的示例如圖5所示。參考圖像510中 的像素被用于預測目標圖像520中的像素。參考像素由參考圖像510中的 實線圓圈代表，要預測的目標像素由目標圖像520中的虛線圓圈代表。濾 波器利用局部運動向量vl到v5的抽頭結構來形成對于目標圖像520中的 像素x的預測。運動向量對于像素x是局部的，因為它們各自的AOI單元 中的每一個與像素x的AOI單元的至少一部分重疊。抽頭結構中的每個運 動向量(vj映射到參考圖像510中的圖像數據{1;}。適應性時間預測濾波器 利用濾波器權重(fj來調整參考數據伙)以預測像素x。在一個實施例中，預測濾波器使用抽頭結構和濾波器權重來根據下式 生成預測預測=I, * f, + I2 * f2 + I3 * f3 + I4 * f4 + I5 * f5其中由局部運動向量限定的濾波器抽頭和濾波器系數{5}是在濾波器在 230處生成時確定的。返回圖2，在250，第二級濾波器被生成，并被應用于來自第一級濾 波器的預測。由于從第一級濾波器輸出的預測具有規則模式采樣數據的形 式，因此最小二乘(LS)訓練濾波器被用于預測，以增強目標圖像的預 測的空間紋理。在260，如果需要減小預測誤差，則方法返回240。否 則，在270處，方法結束。更詳細地參考250，圖6示出用于生成第二級濾波器的方法的示例。 第一級濾波器處理不規則的運動向量模式以形成在每個像素處定義的預測 圖像尸°。每個運動向量與一個影響區域單元{為，/=1，...5*}相關聯，其中S 是影響區域單元的總數。在605，由第一級濾波器生成的預測被輸入到第 二級。在610，通過對目標圖像執行最小二乘訓練， 一組最小二乘濾波器系 數{^°,_/= l...W被初始化，其中N是用在第二級中的濾波器類的數目。例 如，最小二乘訓練可以對圖3所示目標圖像執行。在620，分類圖(C。(0,l,...W被生成，以將每個影響區域單元映射 到一個最小二乘濾波器索引(index)。最初，分類將所有單元映射到每個濾波器索引。然后，在給定最小二乘濾波器系數on的情況下，分類圖按如下方式生成。對于每個節點單元^，選擇使單元A中的預測誤差最小化的濾波器。這產生新的分類圖Ct+1G)。被生成以映射每個影響區域單元到一個適當的濾波器的分類圖的一個 示例如圖7所示。目標圖像710具有不規則的運動向量分布。在該示例中，每個運動向量具有一個相關聯的矩形影響區域單元，如720所示。用 于該示例的濾波器具有四類，并且每個影響區域單元被映射到這四類之 一。在720處，每個濾波器類由影響區域單元的分類圖中的特定陰影示出。返回圖6，在630， 一組新的最小二乘濾波器系數被生成。這是通過 使用分類圖利用來自目標圖像的各個影響區域單元重新訓練最小二乘濾波 器系數來執行的。就是說，最小二乘訓練被用于針對每個單元k = Ct+1(i)， 1,...5產生新的濾波器系數^+1。結果是一組新的最小二乘濾波 器系數/^+1， A=1..JV。在640，最小二乘濾波器系數和分類圖被應用到第一級生成的預測圖 像嚴，以形成目標圖像的增強預測尸1+1。在650，目標圖像和增強預測圖像尸w之間的預測誤差被計算出。在 660，該方法判斷最小二乘預測誤差是否飽和。如果沒有，方法則設置計 數器f/+1并返回620，其中分類圖被修改并且濾波器系數被重新訓練。如果最小二乘預測誤差飽和，該方法則繼續到670，以判斷總預測誤 差是否飽和。如果沒有，在680，增強預測圖像被用作反饋以將AOI單元 修改為只包括具有類似空間紋理的那些像素。然后，方法返回605。否 則，方法在685處結束。圖8示出用于預測目標圖像的第一級和第二級濾波器的示例。第一級 濾波器820在預測每個目標像素x時作用于不規則的運動向量模式和參考 圖像810，以生成目標圖像830的預測。第一級濾波器820使用不規則的 濾波器抽頭結構(如820中方框所示)來生成預測。第二級濾波器840使 用以目標像素為中心的規則濾波器抽頭結構來增強預測圖像。例如，第二 級濾波器840使用最小二乘濾波器842來預測目標圖像850中的目標像素，并使用最小二乘濾波器844來預測目標圖像850中的目標像素x，以 形成補償圖像860。在一個實施例中，最小二乘分類濾波器被時間預測濾波過程用于編碼 視頻數據的圖像(或幀，或場)，如圖9所示。在910，編碼器接收輸入 目標圖像。(在編碼過程期間，編碼器可獲得一組包含與目標圖像相關的 解碼圖像數據的參考圖像，并且在解碼過程期間，解碼器也可獲得這組參 考圖像。)在920，編碼器生成與目標圖像相關聯的運動向量的采樣或分 布。就是說，在給定7V個運動向量的情況下，這W個運動向量被置于目 標圖像中。運動向量的位置一般適應于圖像內容中的運動區域，從而產生 不規則的運動向量模式，如圖3所示。在930，采樣模式信息(例如代表 模式的比特)被發送到解碼器。很多方法可被用于生成適應性采樣模式。在940，時間預測濾波過程被應用到不規則的運動采樣模式。這個帶 有最小二乘分類訓練的兩級適應性濾波過程使用運動向量、不規則的采樣 模式和參考圖像來生成目標圖像的預測。在950，運動向量值被編碼并被 發送到解碼器。在960，生成殘差(residual)，該殘差是目標圖像的實際 目標數據減去來自適應性濾波過程的預測誤差。在970，殘差被編碼，并 且在980，殘差被發送到解碼器。在另一實施例中，最小二乘分類濾波器被用于解碼視頻數據的圖像 (或幀，或圖像)，如圖10所示。在1010，經編碼的殘差被接收。在 1020，解碼器對接收的編碼殘差進行解碼。在1030，解碼器接收采樣模 式信息，參考圖像和運動向量值。然后，在1040，解碼器應用兩級適應 性時間濾波器過程以生成時間預測。在1050，通過將解碼的殘差添加到 時間預測生成經解碼的目標圖像。圖11示出使用適應性時間預測濾波器的系統的示例。數字視頻照相 機1110捕獲電子形式的圖像，并利用壓縮設備1120對圖像進行處理，壓 縮設備1120在壓縮和編碼過程期間使用該適應性時間濾波過程。經編碼 的圖像通過電子傳輸介質1130被發送到數字重放設備1140。圖像通過解 碼設備1150被解碼，解碼設備1150在解碼過程期間使用該濾波器。照相 機1110例如是包括本發明的實施例的各種圖像處理裝置(例如其他圖像捕獲設備、圖像編輯器、圖像處理器、個人和商業計算平臺等等)。類似地，解碼設備1150例如是解碼圖像數據的各種設備。雖然就特定系統環境中的實施例描述了本發明，但是本領域技術人員 將會意識到，本發明經過修改可以在其他不同的硬件和軟件環境中實施， 它們均落在所附權利要求書的精神和范圍內。
權利要求
1.一種在電子數據處理器中執行的方法，包括使用不規則的濾波器抽頭來產生目標圖像的預測；以及將規則的濾波器抽頭應用到所述預測以產生增強預測。
2. 如權利要求1所述的方法，還包括從不規則的運動向量模式和影響區域單元生成所述不規則的濾波器杣頭。
3. 如權利要求1所述的方法，還包括 利用最小二乘過程來生成所述規則的濾波器抽頭。
4. 如權利要求3所述的方法，其中所述最小二乘過程包括 對所述目標圖像的預測執行最小二乘訓練，以產生一組最小二乘濾波器系數；生成分類圖，該分類圖將每個影響區域單元與一個最小二乘濾波器索引相關聯；使用所述分類圖來重新訓練所述最小二乘濾波器系數；并且 使用所述經重新訓練的濾波器系數來增強所述目標圖像的預測。
5. 如權利要求4所述的方法，還包括通過針對每個影響區域單元選擇具有最小預測誤差的濾波器來生成所 述分類圖。
6. 如權利要求5所述的方法，還包括重新生成所述分類圖并且重新訓練所述最小二乘濾波器系數，直到最 小二乘預測誤差飽和為止。
7. 如權利要求4所述的方法，還包括使用所述增強預測來修改所述影響區域單元，以包括具有類似空間紋 理的像素。
8. —種裝置，包括不規則濾波器抽頭，其生成目標圖像的預測；以及規則濾波器抽頭，其被應用到所述預測以產生增強預測。
9. 如權利要求8所述的裝置，還包括不規則抽頭生成器，其從不規則的運動向量模式和影響區域單元生成 所述不規則濾波器抽頭。
10. 如權利要求8所述的裝置，還包括規則抽頭生成器，其利用最小二乘過程來生成所述規則濾波器抽頭。
11. 如權利要求IO所述的裝置，其中所述規則抽頭生成器包括 最小二乘訓練器，其對所述目標圖像的預測執行最小二乘訓練，以產生一組最小二乘濾波器系數；圖生成器，其生成分類圖，該分類圖將每個影響區域單元與一個最小 二乘濾波器索引相關聯；重訓練器，其使用所述分類圖來重新訓練所述最小二乘濾波器系數；以及預測增強器，其使用所述經重新訓練的濾波器系數來增強所述目標圖
12.如權利要求11所述的裝置，其中所述重訓練器還包括 最小二乘誤差減小器，其重新訓練所述最小二乘濾波器系數，直到最 小二乘預測誤差飽和為止。
13. 如權利要求11所述的裝置，還包括單元修改器，其使用所述增強預測來修改所述影響區域單元，以包括 具有類似空間紋理的像素。
14. 如權利要求13所述的裝置，還包括預測誤差減小器，其使用經修改的影響區域單元和所述不規則濾波器 抽頭來減小所述目標圖像的預測的預測誤差。
15. —種存儲指令程序的計算機可讀介質，所述指令程序在被處理系 統執行時致使所述系統執行包括以下步驟的方法使用不規則的濾波器抽頭來產生目標圖像的預測；以及 將規則的濾波器抽頭應用到所述預測以產生增強預測。
16. 如權利要求15所述的計算機可讀介質，還包括從不規則的運動向量模式和影響區域單元生成所述不規則的濾波器抽頭。
17. 如權利要求15所述的計算機可讀介質，還包括 利用最小二乘過程來生成所述規則的濾波器抽頭。
18. 如權利要求17所述的計算機可讀介質，其中所述最小二乘過程包括對所述目標圖像的預測執行最小二乘訓練，以產生一組最小二乘濾波 器系數；生成分類圖，該分類圖將每個影響區域單元與一個最小二乘濾波器索引相關聯；使用所述分類圖來重新訓練所述最小二乘濾波器系數；并且 使用所述經重新訓練的濾波器系數來增強所述目標圖像的預測。
19. 如權利要求18所述的計算機可讀介質，還包括 重新訓練所述最小二乘濾波器系數，直到最小二乘預測誤差飽和為止。
20. 如權利要求18所述的計算機可讀介質，還包括使用所述增強預測來修改所述影響區域單元，以包括具有類似空間紋 理的像素。
21. 如權利要求20所述的計算機可讀介質，還包括使用經修改的影響區域單元和所述不規則濾波器抽頭來減小所述目標 圖像的預測的預測誤差。
全文摘要
一種執行時間預測的方法包括使用不規則的濾波器抽頭來產生目標圖像的預測，以及將規則的濾波器抽頭應用到所述預測以產生增強預測。
文檔編號G06K9/36GK101268475SQ200680034078
公開日2008年9月17日 申請日期2006年9月14日 優先權日2005年9月16日
發明者苗周榮, 詹姆斯·J·卡里格, 馬里奧·帕尼科尼 申請人:索尼電子有限公司