估計當前運動矢量的單元和方法

專利名稱：估計當前運動矢量的單元和方法
技術領域：
本發(fā)明涉及一種用于估計圖像的第一像素組的當前運動矢量的運動估計單元，包括-產生裝置，用于產生第一像素組的候選運動矢量組，所述候選運動矢量從先前估計的運動矢量組中提取，所述候選運動矢量組包括對應于已經為圖像的第二像素組選定的第一個先前估計運動矢量的第一個候選運動矢量；-匹配誤差計算單元，用于計算各個候選運動矢量的匹配誤差，該計算單元被安排成當所計算的第一個候選運動矢量的匹配誤差低于預定匹配誤差閾值時停止計算匹配誤差；和-選擇單元，用于當所計算的第一個候選運動矢量的匹配誤差低于預定匹配誤差閾值時選擇第一個候選運動矢量為當前運動矢量，否則，根據比較各個候選運動矢量的匹配誤差來從候選運動矢量組中選擇當前運動矢量。
本發(fā)明進一步涉及一種用于估計圖像像素組的當前運動矢量的方法，包括-產生第一像素組的候選運動矢量組，所述候選運動矢量從先前估計的運動矢量組中提取，所述候選運動矢量組包括對應于已經為圖像的第二像素組選定的第一個先前估計的運動矢量的第一個候選運動矢量；-計算各個候選運動矢量的匹配誤差，如果所計算的第一個候選運動矢量的匹配誤差低于預定匹配誤差閾值則停止計算匹配誤差；和-如果所計算的第一個候選運動矢量的匹配誤差低于預定匹配誤差閾值則選擇第一個候選運動矢量為當前運動矢量，否則，根據比較各個候選運動矢量的匹配誤差來從候選運動矢量組中選擇當前運動矢量。
本發(fā)明還涉及一種圖像處理設備，包括-接收裝置，用于接收表示一系列圖像的信號；-這種運動估計單元；和-運動補償?shù)膱D像處理單元，用于根據圖像和當前運動矢量來確定處理的圖像。
在開始段落中描述的這種運動估計單元的實施例從G.de Haan等人的文章“True-Motion Estimation with 3-D Recursive Search BlockMatching”(利用3維遞歸搜索塊匹配的真實運動估計)(IEEETransactions on circuits and systems for video technology，vol.3，no.5，1993年10月，368-379頁)可知。
對于許多視頻信號處理中的應用，有必要知道圖像序列的視在速度場(apparent velocity filed)，稱為光流(optical flow)。該光流以時間變化的運動矢量場的形式給出，即每對圖像一個運動矢量場。注意一個圖像可以是幾個圖像對的一部分。
所引述的運動估計單元依賴于兩個基本假設。第一，對象大于塊，這是指在塊的附近估計的運動矢量將與該塊的當前運動矢量有高相關性，并且因此能夠作為該運動矢量的所謂的空間預測，即空間候選運動矢量來使用。第二，對象具有慣性。這是指對象的運動不會逐個圖像地不規(guī)律地變化，并且當前塊的當前運動矢量將與先前圖像中對應塊的運動矢量有高相關性。來自這些塊的運動矢量可以作為當前塊的運動矢量的所謂時間預測，即時間候選運動矢量來使用。為了允許運動矢量的更新，添加了稱為隨機預測的額外預測，即隨機候選運動矢量，其等于添加了小的噪聲運動矢量的空間候選運動矢量。
在所引述的文章中，通過將圖像劃分為塊來估計該運動矢量場。對每個塊的候選運動矢量組計算匹配誤差，并在最小化程序中使用匹配誤差來從塊的候選運動矢量組尋找最適合的運動矢量，即當前運動矢量。通過對像素塊的像素值和第二圖像的第二像素塊的像素值進行比較來計算匹配誤差。在已知的運動估計單元中，匹配誤差對應于SAD第一圖像塊中的像素與參考圖像(即被候選運動矢量偏移的第二圖像)中塊的像素間的絕對亮度差之和。如果參考圖像和第一圖像彼此直接連續(xù)，SAD可以計算為SAD(x,y,dx,dy,n)=Σi=0NΣj=0M|Y(x+i,y+j,n)-Y(x+dx+i,y+dy+j,n+1)|---(1)]]>這里(x，y)是塊的位置，(dx，dy)是運動矢量，n是圖像號，N和M是塊的寬和高，而Y(x，y，n)是圖像n中位置(x，y)處像素的亮度值。
運動估計中的一個問題是計算復雜度。尤其是計算各候選運動矢量的匹配誤差花費許多計算。一種稱為“塊跳躍”的技術極大地降低了該計算量。塊跳躍是指設置匹配誤差的預定閾值。如果候選運動矢量的匹配誤差(即SAD)降到該閾值以下，則該候選運動矢量被選定并被指定給當前塊，而當前塊的候選運動矢量組的其它矢量被忽略。這意味著不執(zhí)行還沒有被計算的其它候選運動矢量的匹配誤差的計算。
雖然“塊跳躍”看起來是降低計算量的適當方法，但是它并不是在所有環(huán)境下都執(zhí)行得最好。已知運動估計單元的問題之一是空間候選運動矢量能夠在其下使用的假設在對象邊界上不成立。位于另一對象中的空間候選運動矢量將與當前塊的運動矢量沒有相關性。因此，在對象邊界，“塊跳躍”很危險，因為更好的候選運動矢量可能被跳過(即沒有被評估并從而被選擇)。
本發(fā)明的一個目的是提供一種在開始段落描述的那種運動估計單元，其能夠提供更精確的運動矢量場。
實現(xiàn)本發(fā)明的該目的在于運動估計單元被安排成根據將圖像分割為像素段的分割結果來調整預定匹配誤差閾值，分割的結果與第一像素組的第一部分和第二像素組的第一部分都對應第一段的概率有關。在對應于被捕獲并由圖像表示的場景中的對象的段中，第一像素組的適當運動矢量和第二像素組的空間候選運動矢量之間的相關性非常高。塊跳躍的效率通過增加對象內的預定匹配誤差閾值而進一步提高。換言之，如果第一像素組的第一部分和第二像素組的第一部分都對應相同段的概率增加，則用于評估有關候選運動矢量的預定匹配誤差閾值增加。這在匹配誤差即使對適當?shù)倪\動矢量都通常較高的細節(jié)區(qū)域是一個優(yōu)點。在對象邊界，第一像素組的運動矢量和空間候選運動矢量之間的相關性要小得多。因此，“塊跳躍”很危險，并在對象邊界降低預定匹配誤差閾值。降低的匹配誤差閾值意味著“塊跳躍”的機會相對小了。注意術語“塊跳躍”也可意味著跳躍到下一組像素。
對于運動補償應用分割結果并不新穎。例如在歐洲專利申請?zhí)?1202615.9(代理人文檔PHNL010445)中，組合了分級分割方法和運動估計。但是按照本發(fā)明應用分割結果是新穎的根據分割結果調整預定匹配誤差閾值。因此，應用由匹配誤差表示的實際匹配質量和分割結果來確定特定候選運動矢量是否適當。按照本發(fā)明的運動估計單元的一個優(yōu)點是運動矢量場的質量。另一個優(yōu)點是計算復雜度進一步降低，而沒有損害運動矢量場的質量。
按照本發(fā)明的運動估計單元的一個實施例被安排成根據概率大小調整預定匹配誤差閾值的值。分割可以是二進制的，得到每像素一個標簽，表示該像素是否屬于特定段。但是，優(yōu)選地，分割方法為像素或像素組提供屬于特定段的概率。像素也可能有多個概率例如屬于段A的20％的第一概率和屬于段B的80％的第二概率。按照發(fā)明的該實施例被安排成應用實際概率來調整預定匹配誤差閾值。例如，如果不屬于相同對象的概率相對較高則預定匹配誤差閾值應相當較低，反之亦然。該方法的優(yōu)點是更精確即調協(xié)得更好的預定匹配誤差閾值，以及是否應當進行“塊跳躍”或是否應執(zhí)行對其它運動矢量候選的評估的更好的確定標準。
按照本發(fā)明的運動估計單元的另一實施例被安排成根據第一像素組第一部分的第一像素數(shù)和第一像素組的第二像素數(shù)之間的比調整預定匹配誤差閾值。分割和運動估計可以更強地相關。這意味著例如對像素組執(zhí)行分割并且對相同像素組執(zhí)行運動估計。但是分割和運動估計可以獨立執(zhí)行。此時，分割例如基于像素執(zhí)行而運動估計基于塊執(zhí)行。結果，可能是將要被用于運動估計的像素組的第一部分像素分類為屬于段A而將另一部分像素分類為屬于段B。在后一情況中，對像素組可以根據第一部分的像素數(shù)和整個像素組的像素數(shù)之間的比來計算“屬于段A的總概率”。該方法的優(yōu)點是更精確即調協(xié)的更好的預定匹配誤差閾值，以及是否應當進行“塊跳躍”或是否應執(zhí)行對其它運動矢量候選的評估的更好的確定標準。
在按照本發(fā)明的運動估計單元的一個實施例中，第一像素組是像素塊。原理上，像素組可以具有任何形狀，甚至不規(guī)則。優(yōu)選的是基于塊的形狀，因為這降低了運動估計單元的設計復雜度。
在按照本發(fā)明的運動估計單元的另一實施例中，匹配誤差計算單元被設計為通過從另一圖像的第三組像素的像素亮度值減去第一組像素的像素亮度值來計算第一個候選運動矢量的匹配誤差。優(yōu)選地，計算絕對亮度差的和(SAD)。SAD是能夠較快計算的相對可靠的相關性量度。
在按照本發(fā)明的運動估計單元的另一實施例中，選擇單元被安排成當對應的匹配誤差是最小的匹配誤差時，從候選運動矢量組中選擇特定運動矢量作為當前運動矢量。這是從候選運動矢量組中選擇當前運動矢量的較簡單的方法。
本發(fā)明的另一目的是提供一種在開始段落描述的那種方法，其能夠提供更精確的運動矢量場。
實現(xiàn)本發(fā)明的該目的在于根據將圖像分割為像素段的分割結果來調整預定匹配誤差閾值，分割的結果與第一像素組的第一部分和第二像素組的第一部分這二者對應第一段的概率有關。
將按照本發(fā)明的運動估計單元的實施例應用在開始段落描述的圖像處理設備中是有利的。該圖像處理設備可以包括附加的部件，例如用于顯示處理的圖像的顯示裝置，或用于存儲處理的圖像的存儲裝置。運動補償?shù)膱D像處理單元可以支持以下類型圖像處理中的一個或多個-去交織交織是交替發(fā)送奇數(shù)或偶數(shù)圖像行的通用視頻廣播程序。去交織試圖恢復完全的垂直分辨率，即使每個圖像奇偶行同時可用；-上變換從原始輸入圖像系列中計算出更大的輸出圖像系列。輸出圖像在時間上位于兩個原始輸入圖像之間；-時間降噪。這也可包括空間處理，產生空-時降噪；和-視頻壓縮，即例如按照MPEG標準或H26L標準的編碼或解碼。
圖像處理設備的修改及其變化可以對應于所述運動估計單元的修改及其變化。
按照本發(fā)明的運動估計單元、方法和圖像處理設備的這些和其它方面將就下文所述的實現(xiàn)方式和實施例并參考附圖來說明和變得明白，其中

圖1示意性示出了結合圖像分割單元的運動估計單元；圖2示意性示出了運動矢量場；和圖3示意性示出了按照本發(fā)明包括運動估計單元的圖像處理設備的各元件。
所有附圖中對應的參考號具有相同的意義。
圖1示意性示出了結合圖像分割單元108和用于存儲圖像的存儲裝置110的運動估計單元100。圖像分割是為了將圖像劃分為段，其中一定的特征保持恒定或在預定閾值之間。對于圖像的像素或像素組，計算表示屬于任何段的概率的值。該特征可以是從簡單灰度值到結合彩色信息的復雜紋理量度的任何一種。基于所選定的特征的分割方法(即提取段的方法)可以是從簡單的取閾值到分水嶺算法的任何方法。
運動估計單元100被安排成估計圖像第一像素組212的當前運動矢量，包括-產生單元106，用從先前估計的運動矢量組中提取的候選運動矢量產生第一像素組212的候選運動矢量組；-匹配誤差計算單元102，用于計算各候選運動矢量的匹配誤差；和-選擇單元104，用于從候選運動矢量中選擇當前運動矢量。
通過對第一像素組212的像素值和第二圖像的第二像素組的像素值進行比較來計算匹配誤差。此時，匹配誤差對應于SAD第一圖像當前塊中的像素和參考圖像(即被候選運動矢量偏移的第二圖像)中第二塊的像素之間的絕對亮度差的和。參見方程式1。原理上，對屬于當前像素塊的候選運動矢量組的所有運動矢量候選計算匹配誤差。但是，如果出現(xiàn)剛計算的運動矢量候選的匹配誤差低于預定匹配誤差閾值，則匹配誤差計算單元102將不繼續(xù)計算還未對其計算匹配誤差的運動矢量候選的匹配誤差。此時，選擇剛處理過的運動矢量候選作為當前像素塊的當前運動矢量。運動估計單元100將繼續(xù)估計后續(xù)像素塊的適當運動矢量。
運動估計單元100被安排成根據將第一圖像分割為像素段的分割結果來調整預定匹配誤差閾值。首先，假定分割單元108被安排成基于塊執(zhí)行分割。在圖像分割期間，每個塊B(x，y)被指定一個對應其所屬段Sk的標簽1k。該信息被存儲在圖像分割掩碼M(x，y)中。為了降低對象邊界上運動估計單元的空間一致性，按照
調整預定匹配誤差閾值T，其中Thigh是高值，以便允許段中的平緩的跳躍，Tlow是低值，以便在對象邊界處實施對更多運動矢量候選的評估，(x，y)是當前塊的位置，(xp，yp)是另一像素塊(即已經對其估計了運動矢量并且是運動矢量候選所基于的像素塊)的位置。此時預定匹配誤差閾值T有兩個不同的值-如果分割結果得出當前塊和另一塊都屬于相同段Sk則Thigh；和-如果分割結果得出當前塊和另一塊不屬于相同段Sk則Tlow。
其次，假定分割單元108被安排成基于像素執(zhí)行分割。這是指對每個像素指定其屬于段Sk的概率。運動估計仍然基于塊，即為像素塊估計運動矢量。預定匹配誤差閾值T基于當前塊的像素和另一塊的像素屬于相同段Sk的概率，k∈K。Sk是來自段組中的一個段。預定匹配誤差閾值T可以用方程式3計算T=C*Σk=0KΣi=0NΣj=0MP((x+i,y+j)∈Sk)N*M*Σi=0NΣj=0MP((xp+i,yp+j)∈Sk)N*M,---(3)]]>其中C為常數(shù)。如果當前塊的像素屬于段Sk的概率(即Σi=0NΣj=0MP((x+i,y+j)∈Sk)N*M)]]>和另一塊的像素屬于段Sk的概率(即Σi=0NΣj=0MP((xp+i,yp+j)∈Sk)N*M)]]>較高，則預定匹配誤差閾值T較高。
假定順序評估運動矢量候選。則優(yōu)選地，運動矢量候選根據分割結果被排序。這是指和有關其它塊的概率相比，其所屬像素塊屬于相同段的概率最高的候選運動矢量將首先被評估。
顯然，每像素屬于特定段Sk的概率值和具有一定概率的像素數(shù)都是有關的。在二進制分割時，僅需計數(shù)位于段Sk中的塊部分的像素數(shù)，因為對于這些像素，屬于特定段Sk的概率相等即100％。
在圖1中描繪了從運動估計單元100的輸出端114至分割單元108的連接116。該連接116是可選的。通過該連接116，可以對于將圖像分割為像素段的分割應用運動估計結果(例如運動矢量場)。這可以是對于對其執(zhí)行運動估計的相同圖像或對于圖像系列的另一圖像。此外，還可能將對特定圖像的分割結果用于不包括該特定圖像而包括圖像系列的另一圖像的圖像對的運動估計。
運動估計單元100的匹配誤差計算單元102、選擇單元104和產生單元106可以使用一個處理器來實現(xiàn)。通常，這些功能在軟件程序產品的控制下執(zhí)行。在執(zhí)行期間，通常將軟件程序產品裝載到存儲器中(例如RAM)，并從那兒執(zhí)行。程序可以從后臺存儲器裝載(如ROM、硬盤或磁和/或光存儲器)，或者可以經網絡(如互聯(lián)網)裝載。可選地，特定用途集成電路提供所公開的功能。
圖2示意性示出了表示具有白背景和在背景前以與背景相反方向運動的球202的場景的圖像的部分運動矢量場200，即正在構造中的矢量場。假定已經對多個像素塊204-210估計了運動矢量214-226，和必須要對當前像素塊212估計運動矢量。對于該估計，根據先前為像素塊204-210計算的運動矢量214-226創(chuàng)建候選運動矢量組214-220。在圖1中，可以看到當前像素塊212位于對應球202的段中。此外，像素塊204也位于對應球202的段中。但是像素塊210對應背景，塊206和208部分屬于球202而部分屬于背景。各候選運動矢量214-220的預定匹配誤差閾值取決于塊204-210的通過分割而被標為屬于表示球202的段的對應像素數(shù)。結果，由像素塊204得出的候選運動矢量220的匹配誤差的預定匹配誤差閾值將最高，而由像素塊210得出的候選運動矢量218的匹配誤差的預定匹配誤差閾值將最低。
圖3示意性示出了圖像處理設備300的各元件，包括-接收單元302，用于接收表示要在已經對其執(zhí)行一些處理之后顯示的圖像的信號。該信號可以是經天線或電纜接收的廣播信號，但也可以是來自如VCR(錄像機)或數(shù)字通用盤(DVD)之類的存儲裝置的信號。信號在輸入連接器310處提供。
-處理單元304，包括結合圖1說明的運動估計單元100和分割單元108；
-運動補償?shù)膱D像處理單元306；和-顯示裝置308，用于顯示處理的圖像。該顯示裝置308是可選的。
運動補償?shù)膱D像處理單元306需要圖像和運動矢量作為它的輸入。運動補償?shù)膱D像處理單元306可以支持以下類型圖像處理的一個或多個去交職；上變換；時間降噪；和視頻壓縮。
應當注意，上述實施例說明而不是限制本發(fā)明，本領域熟練技術人員能夠在不脫離所附權利要求書的范圍的情況下設計替代的實施例。在權利要求書中，任何置于括號之間的參考符號將不構成對權利要求的限制。單詞“包括”不排除權利要求中未列出的元件或步驟的存在。元件之前的單詞“一個”不排除多個這種元件的存在。本發(fā)明能夠通過包括幾個不同元件的硬件和通過適當編程的計算機來實施。在列舉若干個裝置的裝置權利要求中，這些裝置中的若干個可以用同一個硬件項實現(xiàn)。
權利要求
1.一種用于估計圖像的第一像素組的當前運動矢量的運動估計單元，包括-產生裝置，用于產生第一像素組的候選運動矢量組，所述候選運動矢量從先前估計的運動矢量組中提取，所述候選運動矢量組包括對應于已經為圖像的第二像素組選定的第一個先前估計運動矢量的第一個候選運動矢量；-匹配誤差計算單元，用于計算各個候選運動矢量的匹配誤差，該計算單元被安排成當所計算的第一個候選運動矢量的匹配誤差低于預定匹配誤差閾值時停止計算匹配誤差；和-選擇單元，用于當所計算的第一個候選運動矢量的匹配誤差低于預定匹配誤差閾值時選擇第一個候選運動矢量為當前運動矢量，否則，根據比較各個候選運動矢量的匹配誤差來從候選運動矢量組中選擇當前運動矢量，其特征在于運動估計單元被安排成根據將圖像分割為像素段的結果來調整預定匹配誤差閾值，所述分割結果與第一像素組的第一部分和第二像素組的第一部分這二者對應于第一段的概率有關。
2.如權利要求1所述的運動估計單元，其特征在于運動估計單元被安排成根據概率大小來調整預定匹配誤差閾值的值。
3.如權利要求1所述的運動估計單元，其特征在于運動估計單元被安排成根據第一像素組第一部分的第一像素數(shù)與第一像素組的第二像素數(shù)之間的比值來調整預定匹配誤差閾值。
4.如權利要求1所述的運動估計單元，其特征在于第一像素組為像素塊。
5.如權利要求1所述的運動估計單元，其特征在于匹配誤差計算單元被設計為通過從另一圖像的第三像素組的像素亮度值中減去第一像素組的像素亮度值來計算第一個候選運動矢量的匹配誤差。
6.如權利要求1所述的運動估計單元，其特征在于選擇單元被安排成當對應的匹配誤差是最小的匹配誤差時，從候選運動矢量組中選擇特定運動矢量作為當前運動矢量。
7.一種估計圖像的第一組像素的當前運動矢量的方法，包括-產生第一像素組的候選運動矢量組，所述候選運動矢量從先前估計的運動矢量組中提取，所述候選運動矢量組包括對應于已經為圖像的第二像素組選定的第一個先前估計的運動矢量的第一個候選運動矢量；-計算各個候選運動矢量的匹配誤差，如果所計算的第一個候選運動矢量的匹配誤差低于預定匹配誤差閾值則停止計算匹配誤差；和-如果所計算的第一個候選運動矢量的匹配誤差低于預定匹配誤差閾值則選擇第一個候選運動矢量為當前運動矢量，否則，根據比較各個候選運動矢量的匹配誤差來從候選運動矢量組中選擇當前運動矢量，其特征在于根據將圖像分割為像素段的結果來調整預定匹配誤差閾值，所述分割的結果與第一像素組的第一部分和第二像素組的第一部分這二者對應于第一段的概率有關。
8.一種圖像處理設備，包括-接收裝置，用于接收表示包括一個圖像的圖像系列的信號；-如權利要求1所述的運動估計單元，用于估計圖像的第一像素組的當前運動矢量；和-運動補償?shù)膱D像處理單元，用于根據圖像和當前運動矢量來確定所處理的圖像。
9.如權利要求8所述的圖像處理設備，其特征在于運動補償?shù)膱D像處理單元被設計為執(zhí)行視頻壓縮。
10.如權利要求8所述的圖像處理設備，其特征在于運動補償?shù)膱D像處理單元被設計為降低圖像系列中的噪聲。
11.如權利要求8所述的圖像處理設備，其特征在于運動補償?shù)膱D像處理單元被設計為對圖像系列進行去交織。
12.如權利要求8所述的圖像處理設備，其其特征在于運動補償?shù)膱D像處理單元被設計為執(zhí)行上變換。
全文摘要
運動估計單元(100)被安排成估計第一像素組(212)的當前運動矢量，包括產生單元(106)，用從先前估計的運動矢量組中提取的候選運動矢量產生第一像素組(212)的候選運動矢量組；匹配誤差單元(102)，用于計算各候選運動矢量的匹配誤差；和選擇單元(104)，用于從候選運動矢量中選擇當前運動矢量。運動估計單元(100)被安排成根據對第一圖像的分割結果來調整預定匹配誤差閾值。如果第一候選運動矢量的匹配誤差低于當前預定匹配誤差閾值，則選擇第一候選運動矢量并跳過對第一像素組其它候選運動矢量的評估。
文檔編號H04N7/26GK1656515SQ03812291
公開日2005年8月17日 申請日期2003年5月19日 優(yōu)先權日2002年5月30日
發(fā)明者R·B·維田布魯?shù)? G·德哈安 申請人:皇家飛利浦電子股份有限公司