時間圖像預測的制作方法

專利名稱：時間圖像預測的制作方法
技術領域：
本發明通常涉及視頻處理。更具體地，本發明的各實施例涉及時間圖像預測。
背景技術：
運動圖像序列可以包括多個順序幀。某些現代圖像處理應用使用對運動圖像序列 的圖像中的運動的估計。如此處使用的，術語“運動估計”("motion estimate”和“motion estimation")指的就是這種運動估計。運動估計包括描述運動圖像序列的幀的段中的幀 區域之間的運動的參數。圖像處理應用可以估計與運動圖像序列的圖像幀的各個區域相關聯的運動。所述 應用可以包括或涉及視頻壓縮，視頻壓縮涉及減少用于存儲和傳遞(例如，編碼、傳輸、接 收和解碼)視覺信息的數據的數量。運動估計是這樣的技術，視頻壓縮應用采用該技術實現表示運動圖像序列中的圖 像幀所需的數據的顯著減少。應用可以嘗試從運動圖像序列的一個幀到另一個幀映射每個 幀內的圖像區域的平移或其它運動。例如，給定參考幀“A”和描述從幀A到后續幀“B”的 圖像運動的運動映射，可以通過從幀A投射該運動映射形成運動預測幀B。可以通過從幀B 中減去運動預測幀B形成差異幀B。當對運動映射和差異幀B兩者進行編碼所需的數據量小于對幀B直接編碼所需的 數據量時，實現了壓縮。因此，應用可以尋求產生與幀B相比差異相對小的運動預測幀B的 運動映射。出于與壓縮有關的目的，運動映射用來表示運動圖像序列中的圖像特征的實際 運動的精確度可能不是主要的考慮。換言之，從實現壓縮的觀點出發，給定的運動映射只要 減少對運動映射和差異幀B進行編碼所需的數據量可能就足夠了。使用運動估計的應用可以將出現在運動圖像序列的多個幀中的每一個幀內的圖 像特征與一個參考對齊。每個幀的出現所述圖像特征的區域根據運動估計移動。然后可以 例如根據一個公式混合圖像特征對齊區域的結果集合。準確的運動估計對于在運動圖像序 列的各個幀之間準確定位特征對齊區域可能是重要的。


在附圖的各個圖中以示例方式而不是限制的方式示出了本發明，其中類似的參考 號指示類似的元件，并且其中圖1示出了根據本發明的實施例的一個示例過程的流程圖；圖2示出了根據本發明的實施例的示例系統；圖3示出了根據本發明的實施例的示例系統組件；圖4示出了根據本發明的實施例的示例操作；圖5示出了根據本發明的實施例的示例系統組件；和圖6示出了可以實現本發明的實施例的示例計算機系統平臺。
具體實施例方式運動估計在進行與時間相關的成像預測和運動補償圖像處理的應用中可能是重 要的。時間圖像預測和運動補償處理在用于消費、商業、工業、醫療、研究、監視和其它領域 的電子視頻設備中可能是重要的。這些設備可以包括但不限于電視(TV)、用于數字通用盤 (DVD)和其它光學編碼媒體(諸如藍光盤(BD)和HD-DVD)的播放器、具有圖形顯示器、電 纜、衛星和相關接收器、調諧器等的計算機、醫療、科學和其它成像系統，以及諸如HDTV的 高清晰度(HD)媒體。另外，時間圖像預測和運動補償處理可能在更“專業”的背景(setting)和其它更 具技術性需求的背景中是重要的。這些專業的和技術性背景可以包括但不限于，廣播站操 作和例如在內容創建過程中執行標準清晰度材料的上變換的背景。然而，運動估計可能缺 乏足夠的精確度以在應用、設備和專業背景中具有最佳使用。此處描述了時間圖像預測。在下面的描述中，出于解釋的目的，提出了許多特定細 節，以便提供對本發明的完整理解。然而，應當明了，可以實現本發明而不使用這些特定的 細節。在其它例子中，公知的結構和設備未被無遺漏地詳細描述，以便避免不必要地遮蔽、 模糊或攪亂本發明。概述處理視頻序列的圖像。對于一個或多個幀，所述一個或多個幀順序地用作為所述 視頻序列的一組幀中的參考幀，訪問一組運動估計。所述一組運動估計包括針對所述參考 幀的每個區域的第一運動估計。所述第一運動估計表征與所述參考幀的每個區域的像素相 關聯的相對于所述一組幀中的至少一幀的區域的運動，其中所述至少一幀在時間上相對于 所述一組幀中的其它幀有偏移。所述一組運動估計還包括至少一個其它運動估計。所述至 少一個其它運動估計表征與所述參考幀的每個區域的像素相關聯的相對于所述一組幀中 的至少一個第二幀的區域的運動，其中所述至少一個第二幀在時間上偏離所述至少一幀和 所述一組幀中的其它幀。預測相應于所述第一運動估計和至少一個其它運動估計的一組時 間圖像預測。所述一組時間圖像預測基于在一組幀上所述參考幀中的區域的對齊。混合所 述一組時間圖像預測。基于混合所述一組時間圖像預測，在所述一組幀上產生時間預測器。此處描述的示例實施例涉及時間圖像預測。在一個示例實施例中，處理視頻序列 的圖像。對于一個或多個幀，所述一個或多個幀順序地用作為所述視頻序列的一組幀中的 參考幀，訪問一組運動估計。所述一組運動估計包括針對所述參考幀的每個區域的第一運 動估計。所述第一運動估計表征與所述參考幀的每個區域的像素相關聯的相對于所述一組 幀中的至少一幀的區域的運動，其中所述至少一幀在時間上相對于所述一組幀中的其它幀 有偏移。所述一組運動估計還包括至少一個其它運動估計。所述至少一個其它運動估計 表征與所述參考幀的每個區域的像素相關聯的相對于所述一組幀中的至少一個第二幀的 區域的運動，其中所述至少一個第二幀在時間上偏離所述至少一幀和所述一組幀中的其它 幀。預測相應于所述第一運動估計和至少一個其它運動估計的一組時間圖像預測。所述一 組時間圖像預測基于在一組幀上所述參考幀中的區域的對齊。混合所述一組時間圖像預 測。基于混合所述一組時間圖像預測，在所述一組幀上產生時間預測器。為該視頻序列產生的最終時間預測可以包括一個輸出。在一個實施例中，還可以 根據每個當前起作用的參考幀而產生空間預測。空間預測可與時間預測組合，以便創建空間時間預測器，該空間時間預測器可以替代地或附加地包括一個輸出。混合時間預測器輸 出或空間時間預測器輸出可以包括最終預測輸出。輸出的混合時間預測器和/或空間時間預測器可被提供給一個或多個視頻應用。 該視頻應用可以出于若干目的中的任意一個目的而使用時間預測器或空間時間預測器。可以例如從存儲介質接收或訪問該視頻序列(例如，視頻流)和該組運動估計。可 以從單個或多個來源訪問該組運動估計。所述來源可以包括大體直接的運動估計的來源、 壓縮運動估計的來源、空間細化運動估計的來源和/或基本上將出現在運動圖像序列的多 個幀中的每一幀內的一個或多個圖像特征與參考幀對齊的運動估計的來源。本發明的各實施例可以使用各種運動估計。運動估計可以包括一對正交相關矢量 分量，所述一對正交相關矢量分量描述視頻段的一個或多個幀之間的與一個或多個區域相 關聯的平移運動。運動估計還可以包括角分量，所述角分量描述所述段的一個或多個幀之 間的與一個或多個區域相關聯的旋轉運動。此外，運動估計還可以包括其它參數，用其可以 描述視頻序列中的更復雜或更精細的運動。例如，運動估計可以包括六個或更多映射參數， 所述映射參數描述發生在所述段的一個或多個幀之間的一個或多個區域內或與所述一個 或多個區域相關聯的仿射運動，諸如扭曲(warping)和剪切(shearing)。在此處對示例實施例的描述中，可以使用塊作為幀區域的例子。類似地，可以使用 平移運動作為運動描述的例子。通常，且僅僅為了此處描述的簡單、統一、清楚和/或簡短 起見，可以使用塊作為幀區域的例子，并且使用平移運動作為一組幀上的運動屬性的例子。 然而，應當清楚地認識到，雖然此處可以使用塊和平移運動作為例子，這種使用不被認為是 限制。相反，本發明的各實施例很適合于作用于幾乎任一各個屬性或描述的幀區域和運動 屬性。在一個實施例中，對一個或多個時間圖像預測進行插值。這些時間圖像預測與參 考幀的像素相對于該組幀中的至少一個幀的區域的運動相關聯。以分數像素相位精確度對 時間圖像預測進行插值。基于插值，給時間預測分配基于插值的權重。因此混合該組時間 圖像預測可以包括至少部分地基于所分配的基于插值的權重，計算最終的時間預測。在一個實施例中，估計與每個運動估計相關聯的精確度。基于與運動估計相關聯 的精確度，給運動估計分配基于精確度的權重。因此混合該組時間圖像預測可以包括至少 部分地基于所分配的基于精確度的權重，計算最終的時間預測。在一個實施例中，噪聲分量可與視頻圖像的壓縮相關聯。可以接收關于與視頻圖 像相關聯的這種壓縮噪聲的估計。基于估計的噪聲分量，給每個運動估計分配基于壓縮噪 聲的權重。因此混合該組時間圖像預測可以包括至少部分地基于所述基于壓縮噪聲的權 重，計算最終的時間預測。在一個實施例中，為參考幀的每個區域計算空間預測。因此，混合該組時間圖像預 測可以包括混合空間預測和多個時間預測。因此，產生視頻圖像的空間時間預測，例如，作 為最終的輸出預測。在相關的實施例中，估計與空間預測相關聯的精確度。基于與空間預測相關聯的 精確度，給空間預測分配基于空間預測精確度的權重。因此混合該組時間圖像預測可以至 少部分地基于所述基于空間預測精確度的權重。在一個實施例中，一種計算機系統執行上述的一個或多個特征。該計算機系統包括一個或多個處理器，并且可以以硬件、軟件、固件和/或它們的任意組合工作以便執行上 述的一個或多個特征。在執行上述的一個或多個特征時，計算機系統的處理器(一個或多 個)和/或其它組件可以在計算機可讀和可執行指令的指示下運行，所述指令可被編碼在 一個或多個計算機可讀存儲介質內和/或被該計算機系統接收。在一個實施例中，在解碼器中執行上述的一個或多個特征，所述解碼器可以包括 在計算機平臺上運行的硬件、軟件、固件和/或它們的任意組合。示例過程可以執行關于時間圖像預測的此處描述的示例過程。這些可被以實施例實現的過 程可以用多于或少于所示的示例步驟的步驟和/或以不同于示例過程的順序的順序執行 的步驟來執行。這些示例過程可以，例如，在編碼在一個或多個計算機可讀存儲介質內的機 器可讀指令的控制下在一個或多個計算機系統上執行，或所述過程可在ASIC或可編程IC 設備中執行。圖1示出了根據本發明的實施例的示例過程100的流程圖。過程100在處理視頻 序列的圖像時實現時間圖像預測。在步驟101，對于順序地用作為視頻序列的一組幀中的參 考幀的一個或多個幀，訪問一組運動估計(ME)。該組運動估計可隨同壓縮的視頻流一起被 接收，或在對壓縮的視頻序列解碼之后被存儲，并且從存儲介質中被取出。若干運動估計可 以包括該組。還可以從另一來源(除了壓縮的視頻序列/位流之外的來源)獲得該組運動 估計，包括直接執行運動估計。該組運動估計包括針對參考幀的每個區域的第一運動估計。第一運動估計表征與 所述參考幀的每個區域的像素相關聯的相對于所述一組幀中的至少一幀的區域的運動，其 中所述至少一幀在時間上相對于所述一組幀中的其它幀有偏移。所述一組運動估計還包括 至少一個其它運動估計。至少一個其它運動估計表征與所述參考幀的每個區域的像素相關 聯的相對于所述一組幀中的至少一個第二幀的區域的運動，其中所述至少一個第二幀在時 間上偏離所述至少一幀和所述一組幀中的其它幀。在步驟102，將參考幀的塊或其它區域與該組幀的至少一個幀的相應區域對齊。 可以使用題目為"Temporally Smoothing a MotionEstimate“的 Jerome D. Shields 禾口 Christopher J. Orlick提交于2008年11月21日的PCT申請[申請號尚未分配]中描述 的技術對齊區域，如同在此處完全陳述的一樣，出于通用目的通過引用將上述申請結合在 此。基于區域對齊，在步驟103預測一組時間圖像預測。該組中的每個時間圖像預測 相應于該組幀中的幀。在方框104，可以為視頻序列的參考幀計算空間預測。可以估計與空間預測相關聯 的精確度。在方框105，可以為每個預測分配權重。例如，可以基于其估計的精確度給空間預 測分配權重。另外，可以給時間圖像預測添加權重。例如，可將每個運動估計與一個精確度 值相關聯。另外，噪聲可與視頻序列的壓縮相關聯。可以估計壓縮噪聲分量，或隨同解碼的 視頻序列接收壓縮噪聲分量。可以基于壓縮噪聲分量的值給每個時間圖像預測分配權重。 對于另一個例子，與參考幀的像素關于該組幀中的至少一個幀的區域的運動相關聯的值可 被用于對時間圖像預測進行插值，并且可以包括分數像素相位值。可以給與當前幀的像素相關聯的時間圖像預測分配基于分數像素插值的權重。在步驟106，時間預測隨同任何空間預測被混合在一起。在塊107，基于混合的時 間圖像預測，為視頻序列的幀產生最終的空間時間預測器。在一個實施例中，可將任何空間 預測與混合的時間圖像預測相混合，以便為視頻序列的幀產生空間時間預測器。示例系統圖2示出了根據一個實施例的示例系統200。系統200執行時間圖像預測功能。 例如，系統200可以運行以便執行上面參考圖1描述的過程100的各部分。可以用計算機系統的一個或多個組件和/或ASIC或可編程IC設備配置系統200。 系統200可被布置在解碼器、編碼器、專業視頻編輯和/或處理系統、科學、醫療或其它成像 系統內，并且可被布置在各種計算機、通信設備、網絡元件、TV、以及用于包括HD媒體的各 種視頻媒體的播放器中的任意一種內。系統200具有緩沖器203。諸如視頻序列的幀的圖像存儲在緩沖器203內。緩沖 器203給運動補償單元201提供幀。在從緩沖器203接收到視頻序列的幀以及與幀的塊相關聯的運動估計、精確度和 插值評分、和/或與視頻序列相關聯的壓縮噪聲的值之后，運動補償單元201預測幀的時間 預測。運動補償單元201還運行，以便基于所述精確度和插值評分以及壓縮噪聲值給運動 估計分配權重。運動補償單元201將其對于幀的時間預測P^Pi和其分配的時間預測的相 應權重義…化提供給混合單元202。混合單元202運行以便將時間預測P^Pi—起混合到最終時間預測器PT內。在將 時間預測P^.Pi混合到最終時間預測器PT中時，混合單元202可以使用所分配的權重W^ I。混合單元202可以根據諸如下面以等式1給出的公式，根據時間圖像預測P^-Pi 和所分配的權重巧…化計算最終時間預測器PT。PT-等式1系統200在其時間圖像預測函數中使用的輸入可以包括原始視頻序列、描述視頻 序列的幀之間的相對運動的運動估計、提供對運動估計的精確度的測量的評分、以及對視 頻序列中的壓縮噪聲的估計。系統200的時間圖像預測函數實際上組合每個圖像的運動補 償的時間相鄰幀，例如，“時間鄰居”，并且從而在諸如降低噪聲、去交織和縮放和/或上變換 的應用中完成高質量的視頻處理。系統200的時間圖像預測功能的第一階段涉及用于基于運動估計對齊時間鄰居 以便產生時間預測器的運動補償濾波。然后時間預測器被混合在一起，以便形成最終時間 預測器PT。混合權重可以基于各種數據，包括估計運動預測器的精確度的評分、估計的圖像 壓縮噪聲、以及由基于運動補償濾波的對齊引入的噪聲。空間預測器204從緩沖器203中訪問關于參考幀的空間信息。空間預測器204根 據參考場(例如，幀)計算空間預測。空間預測器和與其相關聯的權重(例如，如下面參考圖5討論的)以及最終時間預測器&可被提供給空間時間混和單元205。用于空間時間預 測器的加權基于與運動估計相關聯的評分和對空間預測器的質量的估計。對視頻圖像序列中的運動的準確估計被用于實現時間圖像預測。出于運動估計的 目的，一個此處被稱為參考幀(或“參考場”或“視頻序列中的一個或多個幀”)的視頻幀被 劃分為區域，諸如，一組組成矩形塊。應當理解，本發明的實施例非常適合作用于符合幾乎 任何配置的區域。此處使用塊作為這種區域的例子。為參考幀中的每個塊尋找最好地表征 (characterize)該塊中的像素相對于另一個幀的運動的運動估計。參考場中的每個塊可以 具有多個運動估計，每個運動估計描述了該塊和一個不同的，例如，相對于參考幀和原始的 另一個幀兩者處于不同時間偏移處的后續的另一個幀之間的運動。可以從各種來源中的一個或多個訪問運動估計。可以通過直接運動估計獲得運動 估計。還可以通過包括，但不限于，來自壓縮運動矢量或其它運動估計的預測、空間細化和 通過對運動估計進行濾波執行的平滑操作的技術的組合，獲得運動估計。時間預測單元201使用運動估計從其它幀創建多個時間預測。圖3示出了根據一 個實施例的示例時間預測單元201。時間預測單元201具有在功能上與權重產生器302連 接的基于相位的插值器301。基于相位的插值器301使用運動補償插值濾波器，以便對齊來 自圖像信息的像素數據和每個其它場(例如，其它幀)的運動估計。因此，插值器301產生 一組被用作為時間預測器的分數像素相位數據。權重產生器302將一組時間預測器加權函 數混合在一起(包括關于與運動估計相關聯的評分、插值濾波器相位和壓縮噪聲的加權函 數)。權重產生器302根據所有可獲得的加權項產生合成權重。混合器202使用合成權重 混合該組時間預測器。主加權項可以包括與運動估計相關聯的評分。假設可以獲得該評分，并且其基于 運動估計的精確度，提供對預測數據的精確度的估計。該評分可以是直接塊(或其它區域) 匹配差異，諸如絕對差值之和(SAD)。較低的評分可被解釋為相應于更好的匹配。該評分被 按照倒數關系轉換為權重，諸如，(1/評分)或(1/評分2)。倒數關系給出了在組合時間預 測器之后，具有較高權重的低評分(例如良好匹配)比高評分(例如不良匹配)的所希望 的關系。使用插值濾波器相位權重項，這是由于可能期望運動估計具有子像素運動精確 度，并且由于預測的輸出位置，例如，對于去交織和縮放或上變換應用，可能相對于當前幀 具有基本上任意的子像素位置。因此在兩種情況下，插值器301的插值濾波器函數移動參 考像素。此處，實際參考像素和所需的子像素輸出位置之間所需的移位被稱為相位。零相 位表示大體沒有(0)移位。相反，最大相位基本上相應于兩個參考像素之間的空間幀距離 的一半。在兩個像素之間的距離被定義為值N的情況下，最大相移實際上是N/2。實際插值濾波器的帶寬響應實際上是不完美的。因此，最小的或零相移創建沒有 插值或相移的輸出像素。因此從這個觀點出發，沒有相移的無插值輸出像素是最佳可能，而 具有半像素位移的輸出像素是最不希望的。權重產生器302基于插值器301創建預測輸出 所使用的濾波器的相位，調整對每個預測輸出&的加權。例如，當插值相位達到N/2時，減 小加權。應當理解，對于縮放和去交織應用，即使給定塊中的每個輸出像素與該塊內的其 它像素具有相同的運動估計，給定塊中的每個輸出像素可以具有獨特的插值相位。因此，權重產生器302適當時逐個像素地計算相位加權計算。還可由權重產生器302應用來自參考幀的壓縮噪聲估計的加權項。具有高壓縮噪 聲的其它幀可以具有減小的加權。通過組合倒數評分權重(1/評分2)、水平和垂直相位權重(例如，識砂k和識⑩ )和壓縮噪聲權重中的每一個，例如通過將倒數評分權重(1/評分2)、水平和垂直相位權重 (例如，識^和識⑩)和壓縮噪聲權重中的每一個相乘，產生每個時間預測的相對精確 度。然后，至少部分地基于這三個權重中的一個或多個組合該組時間預測，以便創建最終的 時間預測PT。根據用于每個輸出像素的參考幀創建空間預測Ps。通過一種加權方案組合最終的 時間預測PT和空間預測Ps，以便創建可以包括來自系統200 (圖2)的最終輸出預測的空間 時間預測。用于空間預測器的加權方案是規定在足夠的時間信息大部分不可用時有效地使 用空間預測器的獨特測量。該加權方案還允許運動估計充足時的重大的時間貢獻。對參考場中的每個空間預測器加權允許組合空間預測器和時間預測。如同產生空 間預測器權重的第一步，計算空間預測“評分”。空間預測評分相對于用于幀區域的給定區 域的時間圖像預測，量化了空間預測的質量。時間預測的質量與實際像素數據和由運動估 計指示的時間數據之間的差有關。因此，一個實施例可以如下量化用于時間圖像預測的相 對質量評分。可以預期參考幀中的少圖像細節區域與良好時間預測的相對低的評分相關 聯。相反，參考幀中的多細節區域可以具有相對高的但是可被認為是足夠的時間預測器評 分。因此，創建用于參考場的評分，以便表征每個塊或其它區域中的能量或細節的數量。因 此在一個實施例中，時間預測器質量評分提供了可用于評估時間預測器的質量的滑尺。圖4示出了根據一個實施例的示例操作400。在某些實施例中可以使用諸如塊或 其它區域中的方差的測量。在一個實施例中，一種相對緊密地與時間預測評分相關聯的技 術基于SAD410。相對于位移塊402，為參考塊401計算SAD410。位移塊402本質上是在例 如水平“X”和垂直“y”方向的每一個方向上位移1個像素的原始塊401 (對于在幀401和 402之間示出的平移運動)。如果該運動沿著x和y軸中的每一個精確地偏移1個像素，這 種位移等于運動估計的評分。應當理解，此處以示例方式而不是限制示出塊；這些實施例可 以很適合于作用于任意幀區域。在這些正交相關的空間維度的每一個上偏移單個像素的運動估計本質上是“粗略 正確的”運動估計。然而，粗略精確的運動估計在某些應用中可能不夠準確。在一個實施 例中，這種精度二分法提供了評估時間預測器評分的測量。因此，參考場評分可被放大或縮 小，以便影響時間和空間預測的相對加權。在一種實現中，參考幀可被預先濾波或處理，以 便在評分計算之前減少噪聲。這可以更準確地近似用于產生運動估計的評分的SAD計算。圖5示出了根據一個實施例的空間時間混合組件205。如上所述，使用與權重WT 和1混合的倒數評分權重，組合時間預測器PT和空間預測器Ps，以便創建空間時間輸出ST。 在一個實施例中，空間時間混合組件205根據下面的等式2組合加權混合時間預測器PT和 空間預測器Ps。ST = (PTffT+PsWs) / (WT+ffs)等式 2最終輸出檢查對空間和時間預測器進行比較，空間和時間預測器可被用于測試獨 特的情況。例如，在某些情況下，諸如非常小的對象的快速運動，或塊或其它區域內的多個運動，給定的輸出像素可以具有非常不同的時間和空間預測。在此情況下，時間預測器可以 是一致的，但是與空間預測器很不一致。因此，對于其受影響的輸出像素，塊或其它區域的 運動估計很可能缺乏精確度。然而，運動估計對于塊內的大部分像素可能足夠準確。在這 種特定情況下，可以選擇空間預測器作為輸出。示例計算機系統平臺圖6示出了可以實現一個實施例的示例計算機系統平臺600。計算機系統600包 括總線602或用于傳遞信息的其它通信機制，以及用于處理信息的與總線602相連的處理 器604 (其可以表示 一個或多個處理器)。計算機系統600還包括主存儲器606，諸如用于 存儲將被由處理器604執行的信息和指令的、連接到總線602的隨機訪問存儲器(RAM)或 其它動態存儲設備。主存儲器606還可被用于存儲由處理器604執行的指令的執行過程中 的臨時變量或其它中間信息。計算機系統600還包括只讀存儲器(ROM)608或連接到總線 602的、用于存儲用于處理器604的靜態信息和指令的其它靜態存儲設備。提供諸如磁盤或 光盤的存儲設備610，并且將其連接到總線602以便存儲信息和指令。計算機系統600可通過總線602連接到用于向計算機用戶顯示信息的顯示器612， 諸如液晶顯示器(IXD)、陰極射線管(CRT)等。包括字母數字和其它按鍵的輸入設備614連 接到總線602，以便向處理器604傳遞信息和命令選擇。另一類型的用戶輸入設備是用于向 處理器604傳遞方向信息和命令選擇，并且用于控制顯示器612上的光標移動的光標控制 器616，諸如鼠標、軌跡球或光標方向鍵。這種輸入設備通常具有兩個軸，即第一軸(例如， χ)和第二軸(例如，y)，上的兩個自由度，這允許設備指定平面內的位置。本發明涉及將計算機系統600用于時間圖像預測。根據本發明的一個實施例，響 應于處理器604執行包含在主存儲器606內的一個或多個指令的一個或多個序列，由計算 機系統600提供時間圖像預測。這種指令可從另一個計算機可讀介質，諸如存儲設備610讀 入到主存儲器606。包含在主存儲器606中的指令序列的執行使得處理器604執行此處描 述的處理步驟。還可以使用多處理布置中的一個或多個處理器執行包含在主存儲器606中 的指令序列。在替換實施例中，可以取代或結合軟件指令使用硬布線電路實現本發明。因 此，本發明的實施例不限于硬件電路和軟件的任意特定組合。此處使用的術語“計算機可讀介質”指參與給處理器604提供用于執行的指令的 任意介質。這種介質可以采用許多形式，包括但不限于，非易失性介質、易失性介質和傳輸 介質。非易失性介質包括例如光盤或磁盤，諸如存儲設備610。易失性介質包括動態存儲 器，諸如主存儲器606。傳輸介質包括同軸電纜、銅線和其它導體和光纖光學器件，包括包含 總線602的導線。傳輸介質還可以采取聲波或光波的形式，諸如，在無線電波和紅外線數據 傳輸過程中所產生的那些波。計算機可讀介質的常見形式包括例如軟盤、柔性盤、硬盤、磁帶或任意其它磁介 質、CD-ROM、任意其它光學介質、穿孔卡、紙帶、具有孔圖案的任意其它遺留物(legacy) 或其它物理介質、RAM、PROM和EPROM、FLASH-EPR0M、任意其它存儲器芯片或盒帶 (cartridge)、如下面描述的載波、或計算機可以從中讀取的任意其它介質。在傳送處理器604用于執行的一個或多個指令的一個或多個序列中可以涉及各 種形式的計算機可讀介質。例如，指令最初可被承載在遠程計算機的磁盤上。遠程計算機 可以將指令裝入其動態存儲器，并且使用調制解調器在電話線上發送指令。位于計算機系統600的調制解調器可以在電話線上接收數據，并且使用紅外線發射器將數據轉換為紅外 線信號。連接到總線602的紅外線檢測器可以接收紅外線信號中攜帶的數據，并且將該數 據放在總線602上。總線602將數據送至主存儲器606，處理器604從主存儲器606獲取并 且執行指令。在處理器604執行之前或之后，主存儲器606接收的指令可選擇地存儲在存 儲設備610上。計算機系統600還包括連接到總線602的通信接口 618。通信接口 618提供連接 到網絡鏈路620的雙路數據傳輸，網絡鏈路620被連接到本地網絡622。例如，通信接口 618 可以是綜合業務數字網絡(ISDN)卡或數字訂戶線路(DSL)、纜線或提供到相應類型的電話 線的數據通信連接的其它調制解調器。作為另一個例子，通信接口 618可以是提供到兼容 LAN的數據通信連接的局域網(LAN)卡。還可以實現無線鏈路。在任何這些實現中，通信接 口 618發送并且接收承載表示各種類型信息的數字數據流的電的、電磁的或光學信號。網絡鏈路620通常通過一個或多個網絡給其它數據設備提供數據通信。例如，網 絡鏈路620可以通過本地網絡622提供到主計算機624或到由因特網服務供應商(ISP) 626 操作的數據裝置的連接。ISP 626又通過現在通常被稱為“因特網(Internet) ”628的世界 范圍的分組數據通信網絡提供數據通信服務。本地網絡622和因特網628兩者使用承載數 據數據流的電的、電磁的或光學信號。承載著往返于計算機系統600的數字數據的通過各 種網絡的信號以及網絡鏈路620上的并且通過通信接口 618的信號是傳送信息的載波的示 例形式。計算機系統600可以通過網絡(一個或多個)、網絡鏈路620以及通信接口 618發 送消息并且接收數據，包括程序代碼。在因特網的例子中，服務器630可以通過因特網628、 ISP 626、本地網絡622和通信接口 618傳輸應用程序的所請求代碼。根據本發明，一個這 種下載的應用提供此處描述的時間圖像預測。接收到的代碼可在被接收時由處理器604執行，和/或被存儲在存儲裝置610或 其它非易失性存儲設備內以便以后執行。以這種方式，計算機系統600可以獲得載波形式 的應用代碼。計算機系統600可以是用于電子設備或裝置的組件的平臺，或被與電子設備或裝 置的組件一起安置，或被部署為電子設備或裝置的組件。為進行時間圖像預測與計算機系 統600 —起運行的設備和裝置可以包括但不限于，TV或HDTV、DVD、HD DVD或BD播放器或 用于另一種光學編碼介質的播放器應用、用于編碼的磁的、固態(例如，閃存)或其它存儲 介質的播放器應用、音頻/視頻(A/V)接收器、媒體服務器(例如，中央個人媒體服務器)、 醫療、科學或其它成像系統、專業視頻編輯和/或處理系統、工作站、臺式機、膝上電腦、手 持或其它計算機、網絡元件、能夠使用網絡的通信和/或計算設備，諸如蜂窩電話、便攜式 數字助理(PDA)、便攜式娛樂設備、便攜式游戲設備等。計算機系統600的一個或多個特征 可用被配置為執行該特征的集成電路(IC)設備來實現。所述IC可以是專用IC(ASIC)和 /或可編程IC設備，諸如現場可編程門陣列(FPGA)或微控制器。例子在一個實施例中，一種方法包括承載著一個或多個指令序列的計算機可讀介質， 當被一個或多個處理器執行時，所述指令使得一個或多個處理器執行如下步驟對于一個 或多個幀，所述一個或多個幀順序地用作為所述視頻序列的一組幀中的參考幀，訪問一組
15運動估計，所述一組運動估計包括針對所述參考幀的每個區域的第一運動估計，所述第一運動估計表征與所述參考幀的每個區域的像素相關聯的相對于所述一組幀中的至少一幀 的區域的運動，其中所述至少一幀在時間上相對于所述一組幀中的其它幀有偏移；以及至 少一個其它運動估計，所述至少一個其它運動估計表征與所述參考幀的每個區域的像素相 關聯的相對于所述一組幀中的至少一個第二幀的區域的運動，其中所述至少一個第二幀在 時間上偏離所述至少一幀和所述一組幀中的其它幀；基于在所述一組幀上所述參考幀中的 區域的對齊，來預測所述一組幀上的一組時間圖像預測，其相應于所述第一運動估計和至 少一個其它運動估計；混合所述一組時間圖像預測；以及基于所述混合步驟，產生所述一 組幀上的時間預測器。在一個實施例中，一種方法或計算機可讀介質還包括給一個或多個視頻應用提供 所述時間預測器。在一個實施例中，一種方法或計算機可讀介質還包括對與所述參考幀和所述至少 一個第二幀的像素的運動相關聯的至少一個值進行插值，其中所述至少一個值包括分數像 素相位值；和基于所述插值步驟，給與所述一個或多個幀中的至少一個幀的像素相關聯的 運動估計分配基于插值的權重；其中所述混合步驟包括至少部分地基于所分配的基于插 值的權重，計算所述時間預測。在一個實施例中，一種方法或計算機可讀介質還包括估計與每個運動估計相關聯 的精確度；并且基于與運動估計相關聯的精確度，給每個運動估計分配基于精確度的權重； 其中所述混合步驟包括至少部分地基于所分配的基于精確度的權重，計算所述時間預測。在一個實施例中，一種方法或計算機可讀介質還包括基于與所述視頻圖像序列中 的每個幀的壓縮相關聯的估計噪聲分量，給每個運動估計分配基于壓縮噪聲的權重；其中 所述混合步驟包括至少部分地基于所述基于壓縮噪聲的權重，計算最終的時間預測。在一個實施例中，一種方法或計算機可讀介質還包括估計所述估計的壓縮噪聲分 量；或接收所述估計的壓縮噪聲分量。在一個實施例中，一種方法或計算機可讀介質還包括接收視頻流和該組運動估 計。在一個實施例中，一種方法或計算機可讀介質還包括基于對來自所述一個或多個 幀的數據的插值，為所述一個或多個幀中的每一個幀計算空間預測；和混合所述空間預測 和所述多個時間預測以產生相應于所述視頻序列的空間時間預測。在一個實施例中，一種方法或計算機可讀介質還包括估計與所述空間預測相關聯 的精確度；和基于與所述空間預測相關聯的精確度，給所述空間預測分配基于空間預測精 確度的權重；其中所述混合所述空間預測和所述時間預測的步驟至少部分地基于所述基于 空間預測精確度的權重。在一個實施例中，一種方法或計算機可讀介質還包括其中每個運動估計包括多個 值，其中所述多個值包括下列中的至少一個一對正交相關矢量分量，所述一對正交相關矢 量分量描述所述段的一個或多個幀之間的與一個或多個區域相關聯的平移運動；角分量， 所述角分量描述所述段的一個或多個幀之間的與一個或多個區域相關聯的旋轉運動；或至 少六個映射參數，所述至少六個映射參數描述所述段的一個或多個幀之間的與一個或多個 區域相關聯的仿射運動。
在一個實施例中，一種方法或計算機可讀介質還包括其中所述訪問步驟包括從一 個或多個來源選擇運動估計，所述來源包括大體上直接的運動估計的來源；壓縮運動估 計的來源；空間細化運動估計的來源；或基本上將出現在運動圖像視頻序列的多個幀中的 每一幀內的一個或多個圖像特征與參考幀對齊的運動估計的來源。 在一個實施例中，一種系統包括總線；連接到所述總線的至少一個處理器；以及 連接到所述總線并且具有一個或多個指令序列的計算機可讀存儲介質，當被所述至少一個 處理器執行時，所述指令使得所述至少一個處理器執行包括以下的步驟對于一個或多個 幀，所述一個或多個幀順序地用作為所述視頻序列的一組幀中的參考幀，訪問一組運動估 計，所述一組運動估計包括針對所述參考幀的每個區域的第一運動估計，所述第一運動估 計表征與所述參考幀的每個區域的像素相關聯的相對于所述一組幀中的至少一幀的區域 的運動，其中所述至少一幀在時間上相對于所述一組幀中的其它幀有偏移；以及至少一個 其它運動估計，所述至少一個其它運動估計表征與所述參考幀的每個區域的像素相關聯的 相對于所述一組幀中的至少一個第二幀的區域的運動，其中所述至少一個第二幀在時間上 偏離所述至少一幀和所述一組幀中的其它幀；基于在所述一組幀上所述參考幀中的區域的 對齊，來預測所述一組幀上的一組時間圖像預測；混合所述一組時間圖像預測，其相應于所 述第一運動估計和至少一個其它運動估計；以及基于所述混合步驟，產生所述一組幀上的 時間預測器。在一個實施例中，一種系統還包括與所述至少一個處理器相關聯的緩沖器；其中 所述緩沖器按照時間有效順序連續地存儲所述視頻序列的幀；并且其中所述至少一個處理 器從所述緩沖器訪問所述視頻序列的幀。在一個實施例中，一種系統還包括其中所述指令還使得所述至少一個處理器在功 能上配置時間預測單元，所述時間預測單元包括插值器，其中所述插值器被配置為執行所 述對齊和預測步驟；其中，所述插值器包括值插值器函數，用于對與所述參考幀和所述至少 一個第二幀的像素的運動相關聯的至少一個值進行插值，其中所述至少一個值包括分數像 素相位值；和權重產生器，其中所述權重產生器被配置為基于下列中的至少一個，給每個運 動估計分配一個或多個權重時間預測的精確度；與視頻圖像的壓縮相關聯的估計噪聲分 量；或與所述參考幀和所述至少一個第二幀的像素的運動相關聯的插值，其中所述插值包 括分數像素相位值。在一個實施例中，一種系統還包括空間預測器，用于預測與所述多個幀中的每一 個幀中的每個圖像區域相關聯的一組空間預測。在一個實施例中，一種系統還包括其中所述空間預測器還基于每個空間預測的精 確度給每個空間預測分配權重。在一個實施例中，一種系統還包括其中所述指令還使得所述至少一個處理器進一 步配置一個或多個預測混合器，其中所述一個或多個預測混合器中的至少一個預測混合器 被配置為執行至少一個混合并且產生處理函數，其中所述一個或多個預測混合器包括區 域評分計算器，用于計算與所述多組時間和空間圖像預測中的每個預測相對應的精確度質 量；和一個或多個混合產生器，用于混合所述空間預測中的一個或多個、所述多個時間預 測；其中基于與所述一個或多個空間預測和所述多個時間預測中的每一個時間預測相關聯 的精確度質量，執行所述混合；以及基于所述混合，產生與所述視頻序列相對應的最終時間預測或空間時間預測的一個或多個。在一個實施例中，一種裝置包括至少一個處理器，所述處理器被配置為通過包括 以下的步驟處理視頻序列對于一個或多個幀，所述一個或多個幀順序地用作為所述視頻 序列的一組幀中的參考幀，訪問一組運動估計，所述一組運動估計包括針對所述參考幀的 每個區域的第一運動估計，所述第一運動估計表征與所述參考幀的每個區域的像素相關聯 的相對于所述一組幀中的至少一幀的區域的運動，其中所述至少一幀在時間上相對于所述 一組幀中的其它幀有偏移；以及至少一個其它運動估計，所述至少一個其它運動估計表征 與所述參考幀的每個區域的像素相關聯的相對于所述一組幀中的至少一個第二幀的區域 的運動，其中所述至少一個第二幀在時間上偏離所述至少一幀和所述一組幀中的其它幀； 基于在所述一組幀上所述參考幀中的區域的對齊，來預測所述一組幀上的一組時間圖像預 測，其相應于所述第一運動估計和至少一個其它運動估計；混合所述一組時間圖像預測； 以及基于所述混合步驟，產生所述一組幀上的時間預測器。在一個實施例中，一種裝置還包括其中所述步驟還包括基于對來自所述一個或多個幀的數據的插值，為所述一個或多個幀中的每一個幀計算空間預測；以及混合所述空 間預測和所述多個時間預測以產生相應于所述視頻序列的空間時間預測。在一個實施例中，一種裝置還包括其中所述裝置包括下列中的至少一個視頻解 碼器或編碼器中的至少一個；視頻編輯設備；電視；用于至少一種光學編碼介質的播放器 應用；用于編碼存儲介質的播放器應用；用于流式數字信號的播放器應用；用于顯示來自 成像應用的信息的監視器；網絡元件；便攜式通信設備；便攜式娛樂設備；音頻/視頻接收 器；媒體服務器；醫療成像設備；科學成像設備；或游戲設備。在一個實施例中，一種系統包括用于訪問針對視頻圖像序列中的一個或多個幀的 一組運動估計的裝置，其中所述一組運動估計包括針對所述參考幀的每個區域的第一運 動估計，所述第一運動估計表征與所述參考幀的每個區域的像素相關聯的相對于所述一組 幀中的至少一幀的區域的運動，其中所述至少一幀在時間上相對于所述一組幀中的其它幀 有偏移；以及至少一個其它運動估計，所述至少一個其它運動估計表征與所述參考幀的每 個區域的像素相關聯的相對于所述一組幀中的至少一個第二幀的區域的運動，其中所述至 少一個第二幀在時間上偏離所述至少一幀和所述一組幀中的其它幀；用于基于在所述一組 幀上所述參考幀中的區域的對齊，來預測所述一組幀上的一組時間圖像預測的裝置，所述 一組時間圖像預測相應于所述第一運動估計和第二運動估計；用于混合所述一組時間圖像 預測的裝置；和用于基于所述混合步驟，產生所述一組幀上的時間預測器的裝置。在一個實施例中，一種系統還包括用于基于對來自所述一個或多個幀的數據的 插值，為所述一個或多個幀中的每一個幀計算空間預測的裝置；和用于混合所述空間預測 和所述多個時間預測以產生相應于所述視頻序列的空間時間預測的裝置。在一個實施例中，一種系統還包括用于基于濾波函數，對與所述參考幀和所述至 少一個第二幀的像素的運動相關聯的值進行插值的裝置，其中所述值包括分數像素相位 值；和至少一個用于產生加權值的裝置，其中所述加權值包括下列中的一個或多個與基 于下列中的至少一個的運動估計中的每一個相關聯的一個或多個權重時間預測的精確 度；與視頻圖像的壓縮相關聯的估計噪聲分量；與所述參考幀和所述至少一個第二幀的像 素的運動相關聯的插值，其中所述插值包括分數像素相位值；或與空間預測相關聯的精確度。等同、擴展、替換和雜項在前面的說明書中，已經參考了可以根據實現而改變的若干特定細節描述了本發 明的實施例。因此，本發明是什么以及申請人期望本發明是什么的唯一且排它的指示符是 由本申請發布的、以發布權利要求的特定形式，包括任何后續的修正，的權利要求。此處為 這些權利要求中包含的術語明確提出的任何定義應當支配用在權利要求中的這些術語的 含義。因此，權利要求中未明確表述的限制、元素、屬性、特征、優點或性質不應當以任意方 式限制本發明的范圍。因此，說明書和附圖被認為是說明性的而不是約束性的。
權利要求
一種處理視頻序列的圖像的方法，包括步驟對于一個或多個幀，所述一個或多個幀順序地用作為所述視頻序列的一組幀中的參考幀，訪問一組運動估計，所述一組運動估計包括針對所述參考幀的每個區域的第一運動估計，所述第一運動估計表征與所述參考幀的每個區域的像素相關聯的相對于所述一組幀中的至少一幀的區域的運動，其中所述至少一幀在時間上相對于所述一組幀中的其它幀有偏移；以及至少一個其它運動估計，所述至少一個其它運動估計表征與所述參考幀的每個區域的像素相關聯的相對于所述一組幀中的至少一個第二幀的區域的運動，其中所述至少一個第二幀在時間上偏離所述至少一幀和所述一組幀中的其它幀；基于在所述一組幀上所述參考幀中的區域的對齊，來預測所述一組幀上的一組時間圖像預測，其相應于所述第一運動估計和至少一個其它運動估計；混合所述一組時間圖像預測；以及基于所述混合步驟，產生所述一組幀上的時間預測器。
2.如權利要求1所述的方法，還包括給一個或多個視頻應用提供所述時間預測器。
3.如權利要求1所述的方法，還包括步驟對與所述參考幀和所述至少一個第二幀的像素的運動相關聯的至少一個值進行插值， 其中所述至少一個值包括分數像素相位值；和基于所述插值步驟，給與所述一個或多個幀中的至少一個幀的像素相關聯的運動估計 分配基于插值的權重；其中所述混合步驟包括至少部分地基于所分配的基于插值的權重，計算所述時間預測。
4.如權利要求1所述的方法，還包括步驟 估計與每個運動估計相關聯的精確度；以及基于與每個運動估計相關聯的精確度，給每個運動估計分配基于精確度的權重； 其中所述混合步驟包括至少部分地基于所分配的基于精確度的權重，計算所述時間 預測。
5.如權利要求1所述的方法，還包括步驟基于與所述視頻圖像序列中的每個幀的壓縮相關聯的估計噪聲分量，給每個運動估計 分配基于壓縮噪聲的權重；其中所述混合步驟包括至少部分地基于所述基于壓縮噪聲的權重，計算最終的時間 預測。
6.如權利要求5所述的方法，還包括下列步驟中的至少一個 估計所述估計壓縮噪聲分量；或接收所述估計壓縮噪聲分量。
7.如權利要求1所述的方法，還包括步驟 接收視頻流和所述一組運動估計。
8.如權利要求1所述的方法，還包括步驟基于對來自所述一個或多個幀的數據的插值，為所述一個或多個幀中的每一個幀計算 空間預測；和混合所述空間預測和所述多個時間預測以產生相應于所述視頻序列的空間時間預測。
9.如權利要求8所述的方法，還包括步驟 估計與所述空間預測相關聯的精確度；和基于與所述空間預測相關聯的精確度，給所述空間預測分配基于空間預測精確度的權重；其中所述混合所述空間預測和所述時間預測的步驟至少部分地基于所述基于空間預 測精確度的權重。
10.如權利要求1所述的方法，其中每個運動估計包括多個值，其中所述多個值包括下 列中的至少一個一對正交相關矢量分量，所述一對正交相關矢量分量描述所述段的一個或多個幀之間 的與一個或多個區域相關聯的平移運動；角分量，所述角分量描述所述段的一個或多個幀之間的與一個或多個區域相關聯的旋 轉運動；或至少六個映射參數，所述至少六個映射參數描述所述段的一個或多個幀之間的與一個 或多個區域相關聯的仿射運動。
11.如權利要求1所述的方法，其中所述訪問步驟包括從一個或多個來源選擇運動估 計，所述來源包括大體上直接的運動估計的來源； 壓縮運動估計的來源； 空間細化運動估計的來源；或基本上將出現在運動圖像視頻序列的多個幀中的每一幀內的一個或多個圖像特征與 參考幀對齊的運動估計的來源。
12.一種用于處理視頻信號的基于計算機的系統，包括 總線；連接到所述總線的至少一個處理器；以及連接到所述總線并且具有一個或多個指令序列的計算機可讀存儲介質，當被所述至少 一個處理器執行時，所述指令使得所述至少一個處理器執行包括以下的步驟對于一個或多個幀，所述一個或多個幀順序地用作為所述視頻序列的一組幀中的參考 幀，訪問一組運動估計，所述一組運動估計包括針對所述參考幀的每個區域的第一運動估計，所述第一運動估計表征與所述參考幀的 每個區域的像素相關聯的相對于所述一組幀中的至少一幀的區域的運動，其中所述至少一 幀在時間上相對于所述一組幀中的其它幀有偏移；以及至少一個其它運動估計，所述至少一個其它運動估計表征與所述參考幀的每個區域的 像素相關聯的相對于所述一組幀中的至少一個第二幀的區域的運動，其中所述至少一個第 二幀在時間上偏離所述至少一幀和所述一組幀中的其它幀；基于在所述一組幀上所述參考幀中的區域的對齊，來預測所述一組幀上的一組時間圖 像預測，其相應于所述第一運動估計和至少一個其它運動估計；混合所述一組時間圖像預測；以及基于所述混合步驟，產生所述一組幀上的時間預測器。
13.如權利要求12所述的系統，所述系統還包括 與所述至少一個處理器相關聯的緩沖器；其中所述緩沖器按照時間有效順序連續地存儲所述視頻序列的幀；并且 其中所述至少一個處理器從所述緩沖器訪問所述視頻序列的幀。
14.如權利要求12所述的系統，其中所述指令還使得所述至少一個處理器在功能上配 置時間預測單元，所述時間預測單元包括插值器，其中所述插值器被配置為執行所述對齊和預測步驟； 其中，所述插值器包括值插值器函數，用于對與所述參考幀和所述至少一個第二幀的 像素的運動相關聯的至少一個值進行插值，其中所述至少一個值包括分數像素相位值；和權重產生器，其中所述權重產生器被配置為基于下列中的至少一個，給每個運動估計 分配一個或多個權重 時間預測的精確度；與視頻圖像的壓縮相關聯的估計噪聲分量；或與所述參考幀和所述至少一個第二幀的像素的運動相關聯的插值，其中所述插值包括 分數像素相位值。
15.如權利要求12所述的系統，還包括空間預測器，用于預測與所述多個幀中的每一個幀中的每個圖像區域相關聯的一組空 間預測。
16.如權利要求15所述的系統，其中所述空間預測器還基于每個空間預測的精確度給 每個空間預測分配權重。
17.如權利要求16所述的系統，其中所述指令還使得所述至少一個處理器進一步配置 一個或多個預測混合器，其中所述一個或多個預測混合器中的至少一個預測混合器被配置 為執行至少一個混合并且產生處理函數，其中所述一個或多個預測混合器包括區域評分計算器，用于計算與所述多組時間和空間圖像預測中的每個預測相對應的精 確度質量；和一個或多個混合產生器，用于混合所述空間預測中的一個或多個、所述多個時間預測；其中基于與所述一個或多個空間預測和所述多個時間預測中的每一個時間預測相關 聯的精確度質量，執行所述混合；以及基于所述混合，產生與所述視頻序列相對應的最終時間預測或空間時間預測的一個或 多個。
18.一種視頻處理裝置，包括至少一個處理器，所述處理器被配置為通過包括以下的步驟處理視頻序列 對于一個或多個幀，所述一個或多個幀順序地用作為所述視頻序列的一組幀中的參考幀，訪問一組運動估計，所述一組運動估計包括針對所述參考幀的每個區域的第一運動估計，所述第一運動估計表征與所述參考幀的每個區域的像素相關聯的相對于所述一組幀中的至少一幀的區域的運動，其中所述至少一 幀在時間上相對于所述一組幀中的其它幀有偏移；以及至少一個其它運動估計，所述至少一個其它運動估計表征與所述參考幀的每個區域的 像素相關聯的相對于所述一組幀中的至少一個第二幀的區域的運動，其中所述至少一個第 二幀在時間上偏離所述至少一幀和所述一組幀中的其它幀；基于在所述一組幀上所述參考幀中的區域的對齊，來預測所述一組幀上的一組時間圖 像預測，其相應于所述第一運動估計和至少一個其它運動估計； 混合所述一組時間圖像預測；以及 基于所述混合步驟，產生所述一組幀上的時間預測器。
19.如權利要求18所述的裝置，其中所述步驟還包括基于對來自所述一個或多個幀的數據的插值，為所述一個或多個幀中的每一個幀計算 空間預測；以及混合所述空間預測和所述多個時間預測以產生相應于所述視頻序列的空間時間預測。
20.如權利要求19所述的裝置，其中所述裝置包括下列中的至少一個 視頻解碼器或編碼器中的至少一個；視頻編輯設備； 電視；用于至少一種光學編碼介質的播放器應用； 用于編碼存儲介質的播放器應用； 用于流式數字信號的播放器應用； 用于顯示來自成像應用的信息的監視器； 網絡元件； 便攜式通信設備； 便攜式娛樂設備； 音頻/視頻接收器； 媒體服務器； 醫療成像設備； 科學成像設備；或 游戲設備。
21.一種具有編碼指令的計算機可讀存儲介質，當被計算機系統的一個或多個處理器 執行時，所述編碼指令使得所述處理器執行如下步驟對于一個或多個幀，所述一個或多個幀順序地用作為所述視頻序列的一組幀中的參考幀，訪問一組運動估計，所述一組運動估計包括針對所述參考幀的每個區域的第一運動估計，所述第一運動估計表征與所述參考幀的 每個區域的像素相關聯的相對于所述一組幀中的至少一幀的區域的運動，其中所述至少一 幀在時間上相對于所述一組幀中的其它幀有偏移；以及至少一個其它運動估計，所述至少一個其它運動估計表征與所述參考幀的每個區域的 像素相關聯的相對于所述一組幀中的至少一個第二幀的區域的運動，其中所述至少一個第二幀在時間上偏離所述至少一幀和所述一組幀中的其它幀；基于在所述一組幀上所述參考幀中的區域的對齊，來預測所述一組幀上的一組時間圖 像預測，其相應于所述第一運動估計和至少一個其它運動估計； 混合所述一組時間圖像預測；以及 基于所述混合步驟，產生所述一組幀上的時間預測器。
22.如權利要求21所述的計算機可讀存儲介質，其中當被所述至少一個處理器執行 時，所述編碼指令還使得所述至少一個處理器執行如下步驟基于對來自所述一個或多個幀的數據的插值，為所述一個或多個幀中的每一個幀計算 空間預測；以及混合所述空間預測和所述多個時間預測以產生相應于所述視頻序列的空間時間預測。
23.—種系統，包括 用于訪問針對視頻圖像序列中的一個或多個幀的一組運動估計的裝置，其中所述一組 運動估計包括針對所述參考幀的每個區域的第一運動估計，所述第一運動估計表征與所述參考幀的 每個區域的像素相關聯的相對于所述一組幀中的至少一幀的區域的運動，其中所述至少一 幀在時間上相對于所述一組幀中的其它幀有偏移；以及至少一個其它運動估計，所述至少一個其它運動估計表征與所述參考幀的每個區域的 像素相關聯的相對于所述一組幀中的至少一個第二幀的區域的運動，其中所述至少一個第 二幀在時間上偏離所述至少一幀和所述一組幀中的其它幀；用于基于在所述一組幀上所述參考幀中的區域的對齊，來預測所述一組幀上的一組時 間圖像預測的裝置，所述一組時間圖像預測相應于所述第一運動估計和第二運動估計； 用于混合所述一組時間圖像預測的裝置；和 用于基于所述混合步驟，產生所述一組幀上的時間預測器的裝置。
24.如權利要求23所述的系統，還包括用于基于對來自所述一個或多個幀的數據的插值，為所述一個或多個幀中的每一個幀 計算空間預測的裝置；和用于混合所述空間預測和所述多個時間預測以產生相應于所述視頻序列的空間時間 預測的裝置。
25.如權利要求24所述的系統，還包括用于基于濾波函數，對與所述參考幀和所述至少一個第二幀的像素的運動相關聯的值 進行插值的裝置，其中所述值包括分數像素相位值；和至少一個用于產生加權值的裝置，其中所述加權值包括下列中的一個或多個 與基于下列中的至少一個的運動估計中的每一個相關聯的一個或多個權重 時間預測的精確度；與視頻圖像的壓縮相關聯的估計噪聲分量；與所述參考幀和所述至少一個第二幀的像素的運動相關聯的插值，其中所述插值包括 分數像素相位值；或與空間預測相關聯的精確度。
全文摘要
對于順序地用作為視頻序列幀組中的參考幀的各幀，訪問一組運動估計。一個運動估計表征與參考幀的每個區域的像素相關聯的相對于該組幀中的一個幀的區域的運動，其中所述一個幀在時間上相對于該組幀中的其它幀有偏移。其它運動估計表征與每個參考幀區域中的像素相關聯的相對于該組中的第二幀的運動，其中所述第二幀在時間上偏離所述一個幀和該組幀中的其它幀。基于該組幀上的參考幀區域的對齊，預測相應于第一和其它運動估計的一組時間圖像預測。混合該組時間圖像預測，并且基于混合產生該組幀上的時間預測器。
文檔編號H04N5/44GK101878650SQ200880118271
公開日2010年11月3日 申請日期2008年11月21日 優先權日2007年11月30日
發明者C·J·奧利克, J·D·希爾茲, R·韋伯, S·米勒 申請人:杜比實驗室特許公司