專利名稱：自適應運動估計的制作方法
技術領域：
本公開涉及圖像和視頻數據的運動估計，諸如視頻壓縮、存儲、處理、顯示和/或傳送系統的運動估計。
背景技術：
運動估計可被描述為用于按照基準圖片的一個或更多個部分的轉變的拷貝將圖像模型化的技術。運動估計自身可基于圖像序列的模型以產生具有可觀察的質量的視頻和圖像。例如，如果物體的圖像從一個幀變化或移動到下一幀，那么可以使用運動估計以產生平滑的圖片過渡。
發明內容
以下的段落給出提供當前公開的技術的示例性實施例的一些方面的基本理解的簡要概況。應當注意，本簡要概況不是示例性實施例的各方面的廣泛的概述。并且，應當注意，本簡要概況不應被理解為識別任何特別重要的方面或元素，不特別描繪示例性實施例的任何范圍，也不一般描繪技術的任何范圍。以下的簡要概況僅以精簡的方式給出與示例性實施例有關的一些概念。本簡要概況由此應僅被理解為以下的示例性實施例中的一個的更詳細的描述的概念性序言。一般地，在本公開中描述的主題的實施例的特征是用于確定運動估計的最佳誤差度量函數的圖像的運動估計的方法。該方法包括指定初始誤差度量函數；和通過使用初始誤差度量函數執行初始運動估計，這里，初始運動估計產生也稱為運動補償誤差的運動預測誤差。如果初始誤差度量函數不是最佳誤差函數，那么該方法包括通過使用選擇的最佳誤差度量函數執行最終的運動估計。這些和其它的實施例可任選地包含以下特征中的一個或更多個。該方法可包括基于初始運動估計的運動預測誤差的分布和與大量的誤差度量函數中的一個有關的分布的比較確定初始誤差度量函數是否是最佳誤差函數。如果初始誤差度量函數不是最佳誤差函數，那么該方法可包括基于運動預測誤差的分布選擇最佳誤差度量函數。用于執行初始運動估計的方法可包括處理初始誤差度量函數以確定運動預測誤差。該方法可包括指定與初始誤差度量函數相關的初始概率分布。如果該方法包括確定初始誤差度量函數是否為最佳誤差函數，那么該方法可包括計算初始誤差度量函數的運動預測誤差的直方圖。如果該方法包括確定初始誤差度量函數是否為最佳誤差函數，那么該方法還可包括確定直方圖的統計的最好擬合分布。如果該方法包括確定統計的最好擬合分布，那么該方法還可包括確定最佳誤差度量函數的概率分布的尺度(scale)因子。候選概率分布可包含高斯分布、拉普拉斯分布和/或柯西分布。該方法還可包括在確定尺度因子之后執行最好的擬合分布的統計測驗。統計測驗可包含執行分布擬合的卡方(cbi-square)測驗。初始誤差度量函數可包含休伯(Huber)度量函數，并且/或者可與來自大量的概率分布的中間概率分布對應。概率分布可包含聞斯分布、拉普拉斯分布和/或柯西分布。初始誤差度量函數 還可包含總絕對差(SAD)、總方差(SSD)、平均絕對誤差(MAD)、均方誤差(MSE)或穩固估計值中的一個或更多個的函數。該方法可包括在視頻編碼器的運動估計單元中執行運動估計、通過使用最佳誤差度量函數執行視頻編碼的交互預測(inter-prediction)、通過使用最佳誤差度量函數執行視頻處理的時間內插和/或通過使用最佳誤差度量函數執行超分辨率處理。視頻編碼的交互預測的方法可包含通過運動估計單元，接收像素的塊和幀并產生一個或更多個運動矢量；通過運動補償單元，接收幀和一個或更多個運動矢量并產生接近像素的塊的預測；和通過減法器單元，從像素的塊減去預測并產生差異圖像塊。用于執行時間內插的方法可包含通過運動估計單元，接收第一幀和第二幀并產生一個或更多個運動矢量；和通過雙向內插單元，接收第一幀、第二幀和一個或更多個運動矢量并產生處于與第一幀和第二幀相關的時間之間的圖像的近似。用于執行超分辨率處理的方法可包含通過運動估計單元，接收在時間T周圍分組的一組幀并在時間T處的組中的某幀和該組中的其它幀之間產生一個或更多個運動矢量；通過運動補償單元，接收所述的一組幀和所述的一個或更多個運動矢量并產生包含所述的一組幀中的各幀的預測版本的圖像；和通過超分辨率處理單元，接收圖像，處理圖像并產生具有比所述的一組幀高的空間分辨率的時間T處的圖像。運動估計可包含基于塊的或基于區域的運動估計。運動估計可包含相位相關或像素遞歸(pel-recursive)技術。運動估計還可包括諸如平移、仿射或參數模型的運動模型。一般地，在本公開中描述的主題的其它方面包括可觸知地在計算機可讀介質上被編碼的計算機程序產品的實施例，該計算機程序產品包括導致數據處理裝置對于圖像執行運動估計的操作的指令。這些操作包括指定初始誤差度量函數；通過使用初始誤差度量函數執行初始運動估計，這里，初始運動估計產生運動預測誤差。這些操作還包括如果初始誤差度量函數不是最佳誤差函數，那么通過使用選擇的最佳誤差度量函數執行最終的運動估計。這些和其它的實施例可任選地包含以下特征中的一個或更多個。可存在包括基于初始運動估計的運動預測誤差的分布和與大量的誤差度量函數中的一個有關的分布的比較確定初始誤差度量函數是否是最佳誤差函數的操作。如果初始誤差度量函數不是最佳誤差函數，那么可存在用于基于運動預測誤差的分布選擇最佳誤差度量函數的操作。用于確定分布是否是運動預測誤差的分布的最好的擬合的操作可包括用于以下操作的指令確定與大量的候選分布相關的尺度因子；執行大量的候選分布的統計測驗；和確定統計測驗是否揭示與大量的誤差度量函數中的一個相關的分布的最好的擬合。統計測驗可包含卡方測驗。初始誤差度量函數可包含休伯度量函數。計算機程序產品可包括導致數據處理裝置執行以下的操作的指令在視頻編碼器的運動估計單元中執行運動估計；通過使用最佳誤差度量函數執行視頻編碼的交互預測；通過使用最佳誤差度量函數執行視頻處理的時間內插；和/或通過使用最佳誤差度量函數執行超分辨率處理。
一般地，在本公開中描述的主題的其它方面包括用于執行圖像的運動估計的系統的實施例，該系統包括顯示圖像數據的顯示器件；存儲圖像數據和用于圖像數據處理的指令的計算機可讀介質；和可操作為處理指令和圖像數據的數據處理器件。這些指令導致器件通過使用初始誤差度量函數執行初始運動估計，這里，初始運動估計產生運動預測誤差。這些指令還導致器件基于運動預測誤差的分布從大量的誤差度量函數中的一個選擇最佳誤差度量函數，以及，如果初始誤差度量函數不被選擇為最佳誤差函數，那么通過使用選擇的最佳誤差度量函數執行最終的運動估計。這些和其它的實施例可任選地包含以下特征中的一個或更多個。顯示器件可被配置為從處理器接收圖像數據以顯示具有具有最佳誤差度量函數的圖像數據的圖像。這些指令還可導致數據處理器件基于初始運動估計計算運動預測誤差的直方圖。系統可被配置為用于高分辨率視頻、高質量視頻、數字電影和/或3-D運動。數據處理器件可以是或包含視頻編碼器中的運動估計單元。一般地，在本公開中描述的主題的其它方面包括用于確定運動估計的最佳誤差度量函數的計算機實現的方法的實施例。計算機實現的方法包括對于圖像的初始運動估計 選擇第一誤差度量函數；和通過第一誤差度量函數執行初始運動估計。該初始運動估計產生運動預測誤差。該方法包括通過確定第一誤差度量函數是否與作為產生的運動預測誤差的分布的最好擬合分布對應來確定第一誤差度量函數是否是最佳誤差度量函數。如果第一誤差度量函數不是最佳誤差度量函數，那么該方法包括對于圖像的隨后的運動估計的最佳誤差度量函數選擇第二誤差度量函數，這里，第二誤差度量函數的選擇與作為從初始運動估計產生的運動預測誤差的分布的最好擬合分布對應。這些和其它的實施例可任選地包含以下特征中的一個或更多個。可從大量的誤差度量函數選擇第一誤差度量函數或第二誤差度量函數。誤差度量函數可包含具有高斯分布、拉普拉斯分布、柯西分布和/或休伯分布中的一個或更多個的分布的函數。如果第一運動估計或第二運動估計對于具有連續導數的誤差度量函數使用最小化方法，那么初始誤差度量函數可包含與休伯度量函數的關系。該方法可包括基于從初始運動估計產生的運動預測誤差計算產生的運動誤差的直方圖。如果該方法包括確定第一誤差度量函數是否與作為產生的運動預測誤差的分布的最好的擬合分布對應，則該方法還可包括確定產生的運動預測誤差的分布的尺度因子；和執行統計測驗以確定分布是否是產生的運動預測誤差的分布的最好的擬合。該方法還可包括在視頻編碼器的運動估計單元中執行運動估計；通過使用最佳誤差度量函數執行視頻編碼的交互預測；通過使用最佳誤差度量函數執行視頻處理的時間內插；和/或通過使用最佳誤差度量函數執行超分辨率處理。一般地，其它方面包括用于執行視頻編碼的交互預測的系統。該系統包括接收像素的塊和幀并產生一個或更多個運動矢量的運動估計單元。系統具有接收幀和一個或更多個運動矢量并產生接近像素的塊的預測的運動補償單元。系統包括從像素的塊減去所述預測并產生差異圖像塊的減法器單元。運動估計單元被配置為通過處理指令確定運動估計的最佳誤差度量函數，包括指定初始誤差度量函數；通過使用初始誤差度量函數執行初始運動估計；以及，如果初始誤差度量函數不是最佳誤差函數，那么通過使用選擇的最佳誤差度量函數執行最終的運動估計。該初始運動估計產生運動預測誤差。
這些和其它的實施例可任選地包含以下特征中的一個或更多個。運動估計單元可通過處理指令確定運動估計的最佳誤差度量函數，包括基于初始運動估計的運動預測誤差的分布和與大量的誤差度量函數中的一個有關的分布的比較確定初始誤差度量函數是否是最佳誤差函數；以及，如果初始誤差度量函數不是最佳誤差函數，那么指令還包含基于運動預測誤差的分布選擇最佳誤差度量函數。指令和/或處理的結果可被存儲在諸如存儲單元或器件中。初始誤差度量函數可以是或包含休伯度量函數。系統可包括視頻編碼器，其中，運動估計單元和運動補償單元是視頻編碼器的部件。運動估計單元可確定誤差度量函數的形狀并使用該形狀以確定最佳誤差度量函數。差異圖像塊可以是殘余。—般地，其它方面包括用于視頻處理的時間內插的系統。該系統包括接收第一中貞和第二幀并產生一個或更多個運動矢量的運動估計單元。系統還包括接收第一幀、第二幀和一個或更多個運動矢量并產生處于與第一幀和第二幀相關的時間之間的圖像的近似的雙向內插單元。運動估計單元被配置為通過處理指令確定運動估計的最佳誤差度量函數，包括指定初始誤差度量函數；通過使用初始誤差度量函數執行初始運動估計；以及，如果初始誤差度量函數不是最佳誤差函數，那么通過使用選擇的最佳誤差度量函數執行最終的 運動估計。初始運動估計產生運動預測誤差。這些和其它的實施例可任選地包含以下特征中的一個或更多個。運動估計單元可通過處理指令確定運動估計的最佳誤差度量函數，包括基于初始運動估計的運動預測誤差的分布和與大量的誤差度量函數中的一個有關的分布的比較確定初始誤差度量函數是否是最佳誤差函數；以及，如果初始誤差度量函數不是最佳誤差函數，那么指令還包含基于運動預測誤差的分布選擇最佳誤差度量函數。初始或最佳誤差度量函數可以是或包含休伯度量函數。運動估計單元可確定誤差度量函數的形狀并使用該形狀以確定最佳誤差度量函數。如果相等的子區間處的中間圖像的數量在系統中被計算，則系統可產生緩慢運動視頻效果。系統可被配置為用于幀速率轉換。系統可被配置為使用與雙向內插單元相關的時間以將第一頻率的第一視頻流轉換成第二頻率的第二視頻流。一般地，一些方面包含用于執行視頻處理的超分辨率處理的系統。該系統包括被配置為接收在時間T周圍分組的一組幀并在時間T處的組中的某幀和該組中的其它幀之間產生一個或更多個運動矢量的運動估計單元。系統包括接收所述的一組幀和所述的一個或更多個運動矢量并產生包含所述的一組幀中的各幀的預測版本的圖像的運動補償單元。系統還包括接收圖像、處理圖像并產生具有比所述的一組幀高的空間分辨率的時間T處的圖像的超分辨率處理單元。運動估計單元被配置為通過處理指令確定運動估計的最佳誤差度量函數，包括指定初始誤差度量函數；通過使用初始誤差度量函數執行初始運動估計；以及，如果初始誤差度量函數不是最佳誤差函數，那么通過使用選擇的最佳誤差度量函數執行最終的運動估計。初始運動估計產生運動預測誤差。這些和其它的實施例可任選地包含以下特征中的一個或更多個。運動估計單元可通過處理指令確定運動估計的最佳誤差度量函數，包括基于初始運動估計的運動預測誤差的分布和與多個誤差度量函數中的一個有關的分布的比較確定初始誤差度量函數是否是最佳誤差函數；以及，如果初始誤差度量函數不是最佳誤差函數，那么指令還可包含基于運動預測誤差的分布選擇最佳誤差度量函數。初始誤差度量函數或最佳誤差度量函數可以是或包含休伯度量函數。運動估計單元被配置為確定誤差度量函數的形狀并使用該形狀以確定最佳誤差度量函數。超分辨率處理單元可被配置為通過調整尼奎斯特(Nyquist)頻率并增加與圖像相關的分辨率從圖像提取更高的分辨率的圖像。公開的技術可確定精確的誤差分布和誤差度量函數以產生圖像和視頻的精確的運動估計。在一些實例中，公開的技術可考慮運動預測誤差的實際分布以產生在統計上最佳的算法以選擇運動估計的最佳誤差函數即FO。產生的運動估計可以是最佳的和穩固的。公開的技術可使運動估計自身中的誤差減少超過一百倍。作為結果，由于圖像序列可被精確地模型化，因此圖像序列中的運動預測誤差可基本上減少到零。在一些實施例中，可以在包含以3-D呈現的視頻和圖像的高質量視頻和數字電影中使用公開的技術。公開的用于運動估計的技術可準確地為通過求導使誤差函數最小化的復雜運動模型和復雜技術提供最佳的算法。也可在具有一個或更多個部件的系統、裝置或設備、機器、計算機程序產品中、在軟件中、在硬件中或者在它們的任意組合中實現這里描述的方法和技術中的任一種。例如， 計算機程序產品可以可觸知地在計算機可讀介質上被編碼，并可包含導致數據處理裝置(例如，數據處理器)執行這里描述的方法中的任一種的一個或更多個操作的指令。在這里的附圖和說明書中闡述一個或更多個實施例的細節。從說明書、附圖和權利要求，將清楚其它的特征、方面和結果。
圖IA示出塊匹配技術的基準圖像的例子的示圖。圖IB示出塊匹配技術的目標圖像的例子的示圖。圖2A示出致密或按像素(per-pixel)運動估計技術的基準圖像的例子的示圖。圖2B示出致密或按像素運動估計技術的目標圖像的例子的示圖。圖3示出概率密度的例子的示圖。圖4示出誤差度量函數的例子的示圖。圖5A 5B示出執行運動估計的例子的流程圖。圖6示出休伯度量函數的例子的示圖。圖7A示出視頻編碼的交互預測的示例性實施例的示意圖。圖7B示出視頻處理的時間內插的示例性實施例的示意圖。圖7C示出視頻處理的超分辨率處理的示例性實施例的示意圖。圖8不出系統模型的例子。各圖中的類似的附圖標記和指示可表示類似的要素。
具體實施例方式這里描述可用于實現實施較一般的目標的不同方式的一般結構和技術和更加具體的實施例。運動估計技術可由使運動補償(或預測)誤差最小化同時使運動場的相干性最大化之間的平衡表征。可按照運動場的平滑性表達運動場的相干性。相干物體的運動可望是與各物體平滑的，使得運動場僅在物體邊界上是不連續的。這些物體邊界可被稱為輪廓邊緣或外形邊緣。
存在幾種嘗試解決運動估計問題的技術。但是，一些運動估計技術在不考慮運動預測誤差(即，預測圖像中的誤差)的實際統計的情況下基于單一誤差度量函數使總誤差最小化。其它的運動估計技術嘗試在不確定在執行最小化之前最佳誤差度量函數應是什么的情況下使總誤差最小化。這些運動估計技術中的一些在不考慮特定的圖像序列的運動估計的模型化的情況下采用使用任意選擇的誤差度量函數的強力方法。當最佳誤差度量函數還沒有被確定時，僅通過使運動補償(或預測)誤差最小化可能難以完全確定圖像之間的運動或光學流動。以下描述用于基于運動預測誤差的實際統計選擇在統計上最佳的誤差度量函數的技術。為了幫助理解這些技術，以下的討論首先描述基于塊的運動估計以及致密或按像素(per-pixel)運動估計的運動估計技術。然后，討論描述將約束添加到一些運動估計技 術上以從基于塊或致密/按像素運動估計方法更好地確定運動估計的嘗試。然后，討論描述誤差度量函數和它們的質量的例子。最后，描述用于基于誤差的實際統計選擇在統計上最佳的誤差度量函數的技術并給出一些示例性實施例。基于塊的運動估計一些運動估計技術包含諸如塊匹配技術的“匹配”方法。對于這些匹配方法，可通過在在塊匹配技術中可以為塊或矩形區域或者更一般地為圖像的任意形狀的區域或段的一些區域之上實施運動的參數模型強加運動場的平滑性上的約束。雖然該參數模型可以是更一般的，但是，該模型在最常見的情況下為簡單的位移。這種塊匹配技術常可被稱為均勻位移技術，在該均勻位移技術中，對于目標圖像的各塊將目標圖像中的固定位置塊和基準圖像中的可變位置塊之間的預測誤差的函數的和最小化。圖IA示出塊匹配技術的基準圖像100的例子的示圖，圖IB示出塊匹配技術的目標圖像150的例子的示圖。如圖IA IB所示，目標圖像150中的塊位置105位移到基準 圖像100中的另一塊位置110。在該例子中，基準圖像100具有任意的塊位置，并且，目標圖像150具有固定的塊位置。在該塊匹配例子中，目標圖像150被稱為人氏)，基準圖像100被稱為(毛)，這里，元和毛的水平和垂直分量可包含整數值。目標圖像150的各塊b具有在目標圖像的塊上使總誤差E最小化的與目標圖像150相關的位移矢量式。一般地，總誤差E可指的是各像素上的應用于預測或運動補償誤差上的一些誤差度量函數f()的和。總誤差E可被表達如下
權利要求
1.一種用于確定視頻數據的運動估計的最佳誤差度量函數的圖像的運動估計的方法，該方法包括 指定初始誤差度量函數； 通過使用初始誤差度量函數執行初始運動估計，其中，初始運動估計產生運動預測誤差;和 如果初始誤差度量函數不是最佳誤差函數，那么通過使用選擇的最佳誤差度量函數執行最終的運動估計。
2.根據權利要求I的方法，還包括基于初始運動估計的運動預測誤差的分布和與多個誤差度量函數中的一個有關的分布的比較確定初始誤差度量函數是否是最佳誤差函數。
3.根據權利要求2的方法，如果初始誤差度量函數不是最佳誤差函數，那么該方法還 包括基于運動預測誤差的分布選擇最佳誤差度量函數。
4.根據權利要求3的方法，其中，執行初始運動估計包含處理初始誤差度量函數以確定運動預測誤差。
5.根據權利要求3的方法，還包括指定與初始誤差度量函數相關的初始概率分布。
6.根據權利要求3的方法，其中，確定初始誤差度量函數是否為最佳誤差函數包含計算初始誤差度量函數的運動預測誤差的直方圖。
7.根據權利要求6的方法，其中，確定初始誤差度量函數是否為最佳誤差函數包含確定所述直方圖的統計最好擬合的分布。
8.根據權利要求7的方法，其中，確定統計最好擬合的分布包含確定最佳誤差度量函數的概率分布的尺度因子。
9.根據權利要求8的方法,其中,候選概率分布包含高斯分布、拉普拉斯分布和柯西分布。
10.根據權利要8的方法，還包括在確定尺度因子之后執行最好擬合分布的統計測驗。
11.根據權利要求10的方法，其中，所述統計測驗包含執行分布擬合的卡方測驗。
12.根據權利要求11的方法，其中，初始誤差度量函數包含休伯度量函數。
13.根據權利要求3的方法，其中，初始誤差度量函數與多個概率分布的中間概率分布對應。
14.根據權利要求13的方法，其中，所述的多個概率分布包含高斯分布、拉普拉斯分布和柯西分布。
15.根據權利要求I的方法，其中，初始誤差度量函數包含總絕對差SAD、總方差SSD、平均絕對誤差MAD、均方誤差MSE或穩固估計值中的一個或更多個的函數。
16.根據權利要求I的方法，還包括在視頻編碼器的運動估計單元中執行運動估計。
17.根據權利要求I的方法，還包括通過使用最佳誤差度量函數執行視頻編碼的交互預測。
18.根據權利要求17的方法，其中，執行視頻編碼的交互預測包含 通過運動估計單元接收像素的塊和幀并產生一個或更多個運動矢量； 通過運動補償單元接收所述幀和所述一個或更多個運動矢量并產生接近所述像素的塊的預測；和 通過減法器單元從所述像素的塊減去所述預測并產生差異圖像塊。
19.根據權利要求I的方法，還包括通過使用最佳誤差度量函數執行視頻處理的時間內插。
20.根據權利要求19的方法，其中，執行時間內插包含 通過運動估計單元接收第一幀和第二幀并產生一個或更多個運動矢量；和 通過雙向內插單元接收所述第一幀、所述第二幀和所述ー個或更多個運動矢量并產生處于與所述第一幀和所述第二幀相關的時間之間的圖像的近似。
21.根據權利要求I的方法，還包括通過使用最佳誤差度量函數執行超分辨率處理。
22.根據權利要求21的方法，其中，執行超分辨率處理包含 通過運動估計單元接收在時間T周圍分組的一組幀并在時間T處的組中的某幀和該組中的其它幀之間產生一個或更多個運動矢量； 通過運動補償單元接收所述的一組幀和所述的ー個或更多個運動矢量并產生包含所述的ー組幀中的各幀的預測版本的圖像；和 通過超分辨率處理單元接收圖像、處理圖像并產生具有比所述的ー組幀高的空間分辨率的時間T處的圖像。
23.根據權利要求I的方法，其中，運動估計包含基于塊的或基于區域的運動估計。
24.根據權利要求I的方法，其中，運動估計包含相位相關或像素遞歸技術。
25.根據權利要求I的方法，其中，運動估計包括包含平移、仿射或參數模型的運動模型。
26.一種可觸知地在計算機可讀介質上被編碼的計算機程序產品，包括導致數據處理裝置對于圖像執行運動估計的操作的指令，這些操作包括 指定初始誤差度量函數； 通過使用初始誤差度量函數執行初始運動估計，其中，初始運動估計產生運動預測誤差;和 如果初始誤差度量函數不是最佳誤差函數，那么通過使用選擇的最佳誤差度量函數執行最終的運動估計。
27.根據權利要求26的計算機程序產品，操作還包括基于初始運動估計的運動預測誤差的分布和與多個誤差度量函數中的一個有關的分布的比較確定初始誤差度量函數是否是最佳誤差函數。
28.根據權利要求27的計算機程序產品，如果初始誤差度量函數不是最佳誤差函數，那么操作還包括基于運動預測誤差的分布選擇最佳誤差度量函數。
29.根據權利要求28的計算機程序產品，其中，確定分布是否是運動預測誤差的分布的最好的擬合包含 確定與多個候選分布相關的尺度因子； 執行多個候選分布的統計測驗；和 確定統計測驗是否掲示與多個誤差度量函數中的一個相關的分布的最好的擬合。
30.根據權利要求29的計算機程序產品，其中，統計測驗包含卡方測驗。
31.根據權利要求29的計算機程序產品，其中，初始誤差度量函數包含休伯度量函數。
32.根據權利要求26的計算機程序產品，還包括用于在視頻編碼器的運動估計單元中執行運動估計的指令。
33.根據權利要求26的計算機程序產品，還包括用于通過使用最佳誤差度量函數執行視頻編碼的交互預測的指令。
34.根據權利要求26的計算機程序產品，還包括用于通過使用最佳誤差度量函數執行視頻處理的時間內插的指令。
35.根據權利要求26的計算機程序產品，還包括用于通過使用最佳誤差度量函數執行超分辨率處理的指令。
36.一種用于執行圖像的運動估計的系統，該系統包括 顯示圖像數據的顯示器件； 存儲圖像數據和用于圖像數據處理的指令的計算機可讀介質；和 可操作為處理指令和圖像數據的數據處理器件，這些指令導致數據處理器件執行以下的過程 通過使用初始誤差度量函數執行初始運動估計，其中，初始運動估計產生運動預測誤差; 基于運動預測誤差的分布從多個誤差度量函數中的一個選擇最佳誤差度量函數；和 如果初始誤差度量函數沒有被選擇為最佳誤差函數，那么通過使用選擇的最佳誤差度量函數執行最終的運動估計。
37.根據權利要求36的系統，其中，顯示器件被配置為從處理器接收圖像數據以顯示具有圖像數據的圖像，所述圖像數據具有最佳誤差度量函數。
38.根據權利要求37的系統，其中，指令還導致數據處理器件基于初始運動估計計算運動預測誤差的直方圖。
39.根據權利要求36的系統，其中，系統被配置為用于數字電影或3-D運動。
40.根據權利要求36的系統，其中，數據處理器件包含視頻編碼器中的運動估計單元。
41.一種用于確定運動估計的最佳誤差度量函數的計算機實現的方法，該方法包括 對于圖像的初始運動估計選擇第一誤差度量函數； 通過第一誤差度量函數執行初始運動估計，該初始運動估計產生運動預測誤差； 通過確定第一誤差度量函數是否與作為產生的運動預測誤差的分布的最好的擬合的分布對應來確定第一誤差度量函數是否是最佳誤差度量函數；和 如果第一誤差度量函數不是最佳誤差度量函數，那么對于圖像的隨后的運動估計的最佳誤差度量函數選擇第二誤差度量函數，其中，第二誤差度量函數的選擇與作為從初始運動估計產生的運動預測誤差的分布的最好的擬合的分布對應。
42.根據權利要求41的計算機實現的方法，其中，從多個誤差度量函數選擇第一誤差度量函數或第二誤差方法函數。
43.根據權利要求42的計算機實現的方法，其中，多個誤差度量函數包含具有高斯分布、拉普拉斯分布、柯西分布或休伯分布中的一個或更多個的分布的函數。
44.根據權利要求41的計算機實現的方法，其中，如果第一運動估計或第二運動估計對于具有連續導數的誤差度量函數使用最小化方法，那么初始誤差度量函數包含與休伯度量函數的關系。
45.根據權利要求41的計算機實現的方法，還包括基于從初始運動估計產生的運動預測誤差計算產生的運動誤差的直方圖。
46.根據權利要求45的計算機實現的方法，其中，確定第一誤差度量函數是否與作為產生的運動預測誤差的分布的最好的擬合的分布對應包含 確定產生的運動預測誤差的分布的尺度因子；和 執行統計測驗以確定分布是否是產生的運動預測誤差的分布的最好的擬合。
47.根據權利要求41的計算機實現的方法，還包括在視頻編碼器的運動估計單元中執行運動估計。
48.根據權利要求41的計算機實現的方法，還包括通過使用最佳誤差度量函數執行視頻編碼的交互預測。
49.根據權利要求41的計算機實現的方法，還包括通過使用最佳誤差度量函數執行視頻處理的時間內插。
50.根據權利要求41的計算機實現的方法，還包括通過使用最佳誤差度量函數執行超分辨率處理。
51.一種用于執行視頻編碼的交互預測的系統，該系統包括 接收像素的塊和幀并產生一個或更多個運動矢量的運動估計單元； 接收所述幀和所述ー個或更多個運動矢量并產生接近所述像素的塊的預測的運動補償單元；和 從所述像素的塊減去所述預測并產生差異圖像塊的減法器単元， 其中，運動估計單元被配置為通過處理指令確定運動估計的最佳誤差度量函數，包括 指定初始誤差度量函數； 通過使用初始誤差度量函數執行初始運動估計，其中，初始運動估計產生運動預測誤差;和 如果初始誤差度量函數不是最佳誤差函數，那么通過使用選擇的最佳誤差度量函數執行最終的運動估計。
52.根據權利要求51的系統，其中，運動估計單元進ー步被配置為通過處理指令確定運動估計的最佳誤差度量函數，包括 基于初始運動估計的運動預測誤差的分布和與多個誤差度量函數中的一個有關的分布的比較確定初始誤差度量函數是否是最佳誤差函數；和 如果初始誤差度量函數不是最佳誤差函數，那么指令還包含基于運動預測誤差的分布選擇最佳誤差度量函數。
53.根據權利要求52的系統，其中，初始誤差度量函數包含休伯度量函數。
54.根據權利要求51的系統，其中，系統包括視頻編碼器，其中，運動估計單元和運動補償單元是視頻編碼器的部件。
55.根據權利要求51的系統，其中，運動估計單元被配置為確定誤差度量函數的形狀并使用該形狀來確定最佳誤差度量函數。
56.根據權利要求51的系統，其中，差異圖像塊包含殘余。
57.—種用于視頻處理的時間內插的系統,該系統包括 接收第一幀和第二幀并產生一個或更多個運動矢量的運動估計單元； 接收所述第一幀、所述第二幀和所述ー個或更多個運動矢量并產生處于與所述第一幀和所述第二幀相關的時間之間的圖像的近似的雙向內插單元， 其中，運動估計單元被配置為通過處理指令確定運動估計的最佳誤差度量函數，包括: 指定初始誤差度量函數； 通過使用初始誤差度量函數執行初始運動估計，其中，初始運動估計產生運動預測誤差;和 如果初始誤差度量函數不是最佳誤差函數，那么通過使用選擇的最佳誤差度量函數執行最終的運動估計。
58.根據權利要求57的系統，其中，運動估計單元進ー步被配置為通過處理指令確定運動估計的最佳誤差度量函數 基于初始運動估計的運動預測誤差的分布和與多個誤差度量函數中的一個有關的分布的比較確定初始誤差度量函數是否是最佳誤差函數；和 如果初始誤差度量函數不是最佳誤差函數，那么指令還包含基于運動預測誤差的分布選擇最佳誤差度量函數。
59.根據權利要求58的系統，其中，初始誤差度量函數包含休伯度量函數。
60.根據權利要求57的系統，其中，運動估計單元被配置為確定誤差度量函數的形狀并使用該形狀來確定最佳誤差度量函數。
61.根據權利要求57的系統，其中，所述系統被配置為如果相等的子區間處的中間圖像的數量在系統中被計算則產生緩慢運動視頻效果。
62.根據權利要求57的系統，其中，系統被配置為用于幀速率轉換，并且，系統被配置為使用與雙向內插單元相關的時間以將第一頻率的第一視頻流轉換成第二頻率的第二視頻流。
63.一種用于執行視頻處理的超分辨率處理的系統，該系統包括 被配置為接收在時間T周圍分組的一組幀并在時間T處的組中的某幀和該組中的其它幀之間產生ー個或更多個運動矢量的運動估計單元； 接收所述的一組幀和所述的ー個或更多個運動矢量并產生包含所述的ー組幀中的各幀的預測版本的圖像的運動補償單元；和 接收圖像、處理圖像并產生具有比所述的ー組幀高的空間分辨率的時間T處的圖像的超分辨率處理單元， 其中運動估計單元被配置為通過處理指令確定運動估計的最佳誤差度量函數，包括 指定初始誤差度量函數； 通過使用初始誤差度量函數執行初始運動估計，其中，初始運動估計產生運動預測誤差;和 如果初始誤差度量函數不是最佳誤差函數，那么通過使用選擇的最佳誤差度量函數執行最終的運動估計。
64.根據權利要求63的系統，其中，運動估計單元進ー步被配置為通過處理指令確定運動估計的最佳誤差度量函數，包括 基于初始運動估計的運動預測誤差的分布和與多個誤差度量函數中的一個有關的分布的比較確定初始誤差度量函數是否是最佳誤差函數；和如果初始誤差度量函數不是最佳誤差函數，那么指令還包含基于運動預測誤差的分布選擇最佳誤差度量函數。
65.根據權利要求64的系統，其中，初始誤差度量函數或最佳誤差度量函數包含休伯度量函數。
66.根據權利要求63的系統，其中，運動估計單元被配置為確定誤差度量函數的形狀并使用該形狀來確定最佳誤差度量函數。
67.根據權利要求63的系統，其中，超分辨率處理單元被配置為通過調整尼奎斯特頻率并增加與圖像相關的分辨率從圖像提取更高分辨率的圖像。
全文摘要
確定運動估計的最佳誤差度量函數并將其用于圖像的視頻編碼和/或視頻處理。為了做到這一點，可以執行使用初始誤差度量函數的初始運動估計。這可產生運動預測誤差。如果初始誤差度量函數不是最佳誤差函數，那么通過使用選擇的最佳誤差度量函數執行最終的運動估計。在一些實施例中，可以使用誤差分布的形狀來確定最佳誤差度量函數。該運動估計的一些示例性系統或器件可包含用于壓縮、時間內插和/或超分辨率處理的系統或器件。
文檔編號H04N7/36GK102742267SQ200880121684
公開日2012年10月17日 申請日期2008年12月19日 優先權日2007年12月19日
發明者C·沃格特, W·吉什 申請人:杜比實驗室特許公司