專利名稱：估計運動矢量的單元和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于估計圖像像素組的當前運動矢量的運動估計單元，包括-產(chǎn)生裝置，用于產(chǎn)生第一像素組的候選運動矢量組，所述候選運動矢量從先前估計的運動矢量組中提?。?匹配誤差單元，用于計算各個候選運動矢量的匹配誤差，第一個候選運動矢量的匹配誤差基于第一分量和第二分量，第一分量對應(yīng)于第一像素組的像素值與第二圖像的第二像素組的像素值的比較，第二分量取決于第一像素組與已經(jīng)為其估計了第一個先前估計的運動矢量的第三像素組之間的關(guān)系，第一個候選運動矢量基于第一個先前估計的運動矢量；和-選擇單元，用于通過比較各個候選運動矢量的匹配誤差來從候選運動矢量中選擇當前運動矢量。
發(fā)明進一步涉及一種用于估計圖像像素組的當前運動矢量的方法，包括-產(chǎn)生第一像素組的候選運動矢量組，所述候選運動矢量從先前估計的運動矢量組中提??；-計算各候選運動矢量的匹配誤差，第一候選運動矢量的匹配誤差基于第一分量和第二分量，第一分量對應(yīng)于第一像素組的像素值與第二圖像的第二像素組的像素值的比較，第二分量取決于第一像素組與已經(jīng)為其估計了第一個先前估計的運動矢量的第三像素組之間的關(guān)系，第一候選運動矢量基于第一個先前估計的運動矢量；和-通過比較各候選運動矢量的匹配誤差來從候選運動矢量中選擇當前運動矢量。
本發(fā)明還涉及一種圖像處理設(shè)備，包括-接收裝置，用于接收表示圖像系列的信號；-這種運動估計單元；和-運動補償?shù)膱D像處理單元，用于根據(jù)圖像和當前運動矢量來確定處理的圖像。
在開始段落中描述的這種運動估計單元的實施例從G.de Haan等人的文章“True-Motion Estimation with 3-D Recursive SearchBlock Matching(利用了3維遞歸搜索塊匹配的真實運動估計)”(IEEETransactions on circuits and systems for video technology，vol.3，no.5，1993年10月，368-379頁)可知。
對于許多視頻信號處理中的應(yīng)用，有必要知道圖像序列的視在速度場(apparent velocity filed)，稱為光流(optical flow)。該光流以時間變化的運動矢量場的形式給出，即每對圖像一個運動矢量場。注意一個圖像可以是幾個圖像對的一部分。在所引述的文章中，通過將圖像分割為塊來估計該運動矢量場。對每個塊的候選運動矢量組計算匹配誤差，并在最小化程序中使用匹配誤差來從塊的候選運動矢量組中尋找最適當?shù)倪\動矢量。
所引述的運動估計單元依賴于兩個基本假設(shè)。第一，對象大于塊，這是指在塊的附近估計的運動矢量將與該塊的實際運動矢量有高相關(guān)性，并且因此能夠作為該運動矢量的所謂空間預(yù)測，即空間候選運動矢量來使用。第二，對象具有慣性。這是指對象的運動不會逐個圖像地不規(guī)律地變化，并且當前塊的實際運動矢量將與先前圖像中對應(yīng)塊的運動矢量有高相關(guān)性。來自這些塊的運動矢量可以作為當前塊的運動矢量的所謂時間預(yù)測，即時間候選運動矢量來使用。為了允許運動矢量的更新，添加了稱為隨機預(yù)測的額外預(yù)測，即隨機候選運動矢量，其等于添加了小的噪聲運動矢量的空間候選運動矢量。
因為一些候選運動矢量所具有的與當前塊運動矢量的相關(guān)性高于其它候選運動矢量，因此對具有較低相關(guān)性的候選運動矢量指定懲罰。這些懲罰被添加給候選運動矢量的匹配誤差(通常是絕對差的和)，使得該候選運動矢量更難以被選擇作為最佳匹配運動矢量。隨機候選運動矢量被給以最高懲罰，空間候選運動矢量最低，時間候選運動矢量具有介于空間和隨機候選運動矢量的懲罰之間的懲罰。
這種運動估計單元的問題之一是空間候選運動矢量能夠在其下使用的假設(shè)在對象邊界不成立。位于另一對象中的空間候選運動矢量將與當前塊的運動矢量沒有相關(guān)性。
本發(fā)明的一個目的是提供一種在開始段落描述的那種運動估計單元，其能夠提供更精確的運動矢量場。
實現(xiàn)本發(fā)明的該目的在于運動估計單元被安排成根據(jù)將第一圖像分割為像素段的結(jié)果來調(diào)整第二分量，分割的結(jié)果與第一像素組的第一部分和第三像素組的第一部分都對應(yīng)于一個特定段的概率有關(guān)。應(yīng)用圖像分割作為對上述問題的解決方法。圖像分割是為了將圖像劃分為段，其中一定的特征保持恒定或在預(yù)定閾值之間。對于圖像的像素或像素組，計算表示其屬于任何段的概率的值。所述特征可以是從簡單灰度值到結(jié)合彩色信息的復(fù)雜紋理量度的任何一種?；谒x定的特征的分割方法(即提取段的方法)可以是從簡單的取閾值到分水嶺算法的任何方法。假定圖像中對象的邊緣是段邊緣的子集，則通過使用該信息改善運動估計的質(zhì)量。因為來自其它對象的候選運動矢量(即屬于其它對象的先前估計的運動矢量)與當前(第一)像素組的相關(guān)性比起來自相同對象的候選運動矢量的要小，所以對于當前圖像組應(yīng)當增加對另一段的候選運動矢量的懲罰?；蛘邠Q言之，對于當前圖像組應(yīng)當增加另一段的運動矢量候選的第二分量。
對于運動補償應(yīng)用分割結(jié)果并不新穎。例如在歐洲專利申請?zhí)?1202615.9(代理人文檔PHNL010445)中，組合了分級分割方法和運動估計。但是按照本發(fā)明應(yīng)用分割結(jié)果是新穎的根據(jù)分割結(jié)果調(diào)整第二分量。最終的匹配誤差基于第一和第二分量。因此，第一像素組的像素值和第二圖像的第二像素組的像素值的比較和分割結(jié)果都被應(yīng)用來計算匹配誤差。按照本發(fā)明的運動估計單元的優(yōu)點是匹配誤差的質(zhì)量。
按照本發(fā)明的運動估計單元的一個實施例被安排成根據(jù)概率大小調(diào)整第二分量。分割可以是二進制的，得到每像素一個標簽，表示該像素是否屬于特定段。但是，優(yōu)選地，分割方法為像素或像素組提供其屬于特定段的概率。像素也可能有多個概率例如屬于段A的20％的第一概率和屬于段B的80％的第二概率。按照本發(fā)明的該實施例被安排成應(yīng)用實際概率來調(diào)整第二分量。例如，如果不屬于相同對象的概率相對較高則第二分量也應(yīng)相對較高，反之亦然。該方法的優(yōu)點是更精確的第二分量，以及因此更精確的匹配誤差。
按照本發(fā)明的運動估計單元的另一實施例被安排成根據(jù)第一像素組第一部分的第一像素數(shù)和第一像素組的第二像素數(shù)之間的比調(diào)整第二分量。分割和運動估計可以很強地相關(guān)。這意味著例如對像素組執(zhí)行分割并且對相同像素組執(zhí)行運動估計。但是分割和運動估計可以獨立執(zhí)行。此時，分割例如基于像素執(zhí)行而運動估計基于塊執(zhí)行。結(jié)果，可能是將要被用于運動估計的像素組的第一部分像素分類為屬于段A而將另一部分像素分類為屬于段B。在后一情況中，對像素組可以根據(jù)第一部分的像素數(shù)和整個像素組的像素數(shù)之間的比來計算“屬于段A的總概率”。該方法的優(yōu)點是更精確的第二分量，以及因此更精確的匹配誤差。
在按照本發(fā)明的運動估計單元的一個實施例中，第一像素組是像素塊。原理上，像素組可以具有任何形狀，甚至不規(guī)則。優(yōu)選的是基于塊的形狀，因為這降低了運動估計單元的設(shè)計復(fù)雜度。
在按照本發(fā)明的運動估計單元的另一實施例中，選擇單元被安排成當對應(yīng)的匹配誤差是最小的匹配誤差的從候選運動矢量組中選擇特定運動矢量作為當前運動矢量。這是從候選運動矢量組中選擇當前運動矢量的較簡單的方法。
在按照本發(fā)明的運動估計單元的另一實施例中，匹配誤差單元被設(shè)計為通過從第二圖像的第二像素組的像素亮度值中減去第一組像素的像素亮度值來計算第一個候選運動矢量的匹配誤差。優(yōu)選地，計算絕對亮度差的和(SAD)。SAD是能夠較快計算的相對可靠的相關(guān)性量度。
本發(fā)明的另一目的是提供一種在開始段落描述的那種方法，其能夠提供更精確的運動矢量場。
實現(xiàn)本發(fā)明的該目的在于根據(jù)將第一圖像分割為像素段的結(jié)果來調(diào)整第二分量，分割的結(jié)果與第一像素組的第一部分和第三像素組的第一部分都對應(yīng)于一個特定段的概率有關(guān)。
將按照本發(fā)明的運動估計單元的一個實施例應(yīng)用在開始段落描述的圖像處理設(shè)備中是有利的。該圖像處理設(shè)備可以包括附加的部件，例如用于顯示處理的圖像的顯示裝置，或用于存儲處理的圖像的存儲裝置。運動補償?shù)膱D像處理單元可以支持以下類型圖像處理中的一個或多個-去交織交織是交替發(fā)送奇數(shù)或偶數(shù)圖像行的通用視頻廣播程序。去交織試圖恢復(fù)完整的垂直分辨率，即使每個圖像奇偶行同時可用；-上變換從原始輸入圖像系列中計算出更大的輸出圖像系列。輸出圖像在時間上位于兩個原始輸入圖像之間；-時間降噪。這也可包括空間處理，產(chǎn)生空-時降噪；和-視頻壓縮，即例如按照MPEG標準或H26L標準的編碼或解碼。
圖像處理設(shè)備的修改及其變化可以對應(yīng)于所述運動估計單元的修改及其變化。
按照本發(fā)明的運動估計單元、方法和圖像處理設(shè)備的這些和其它方面將就下文所述的實現(xiàn)方式和實施例并參考附圖來說明和變得清楚，其中
圖1示意性示出了結(jié)合圖像分割單元的運動估計單元；圖2示意性示出了運動矢量場；和圖3示意性示出了按照本發(fā)明包括運動估計單元的圖像處理設(shè)備的各元件。
所有附圖中對應(yīng)的參考號具有相同的意義。
圖1示意性示出了結(jié)像分割單元108和用于存儲圖像的存儲裝置110的運動估計單元100。運動估計單元100被安排成估計第一圖像的第一像素組212的當前運動矢量，包括-產(chǎn)生單元106，用從先前估計的運動矢量組中提取的候選運動矢量產(chǎn)生第一像素組212的候選運動矢量組；-匹配誤差單元102，用基于第一分量和第二分量的第一候選運動矢量的匹配誤差計算各候選運動矢量的匹配誤差；和-選擇單元104，通過比較各候選運動矢量的匹配誤差，從候選運動矢量中選擇當前運動矢量。
通過對第一像素組212的像素值和第二圖像的第二像素組的像素值進行比較來計算匹配誤差的第一分量。此時，匹配誤差的第一分量對應(yīng)于SAD第一圖像的塊中的像素和參考圖像(即被候選運動矢量偏移的第二圖像)中的塊的像素之間的絕對亮度差的和。如果參考圖像和第一圖像彼此直接連續(xù)，則SAD可以計算為SAD(x,y,dx,dy,n):=Σi=0NΣj=0M|Y(x+i,y+j,n)-Y(x+dx+i,y+dy+j,n+1)|---(1)]]>這里(x，y)是塊的位置，(dx，dy)是運動矢量，n是圖像號，N和M是塊的寬和高，而Y(x，y，n)是圖像n中位置(x，y)處像素的亮度值。
運動估計單元100被安排成根據(jù)將第一圖像分割為像素段的結(jié)果來調(diào)整第二分量。首先，假定分割單元108被安排成基于塊執(zhí)行分割。在圖像分割期間，每個塊B(x，y)被指定一個對應(yīng)其所屬段Sk的標簽lk。該信息被存儲在圖像分割掩碼M(x，y)中。為了降低對象邊界上運動估計單元的空間一致性，按照 調(diào)整第二分量C2，其中clow是小值，以便加強空間一致性，chigh是高值，以便阻止跨越對象的一致性，(x，y)是當前塊的位置，(xp，yp)是另一像素塊(即已經(jīng)為其估計了運動矢量并且是運動矢量候選所基于的像素塊)的位置。此時第二分量C2有兩個不同的值-如果分割結(jié)果得出當前塊和另一塊都屬于相同段Sk則clow；和-如果分割結(jié)果得出當前塊和另一塊不屬于相同段Sk則chigh。
通過將特定運動矢量候選的第一分量和第二分量相加計算特定運動矢量候選的匹配誤差ME(x，y，dx，dy，n)。
ME(x，y，dx，dy，n)＝SAD(x，y，dx，dy，n)+C2(x，y，dx，dy，n) (3)其次，假定分割單元108被安排成基于像素執(zhí)行分割。這是指對于每個像素，指定屬于段Sk的概率。運動估計仍然基于塊，即為像素塊估計運動矢量。第二分量基于當前塊的像素和另一塊的像素屬于相同段Sk的概率，k∈K。Sk是來自段組中的一個段。第二分量C2可以用方程式4計算C2=C/Σk=0kΣi=0NΣj=0MP((x+i,y+j)∈Sk)N*M*Σi=0NΣj=0MP((xp+i,yp+j)∈Sk)N*M,---(4)]]>其中C為常數(shù)。如果當前塊的像素屬于段Sk的概率(即Σi=0NΣj=0MP((x+i,y+j)∈Sk)N*M]]>)和另一塊的像素屬于段Sk的概率(即Σi=0NΣj=0MP((xp+i,yp+j)∈Sk)N*M]]>)較高，則第二分量C2較低。
顯然，每像素屬于特定段Sk的概率值和具有一定概率的像素數(shù)相是有關(guān)的。在二進制分割時，僅需計數(shù)位于段Sk中的塊部分的像素數(shù)，因為對于這些像素，屬于特定段Sk的概率相等即100％。
在圖1中描繪了從運動估計單元100的輸出端114至分割單元108的連接116。該連接116是可選的。通過該連接116，可以對于將圖像分割為像素段的分割應(yīng)用運動估計結(jié)果(例如運動矢量場)。這可以是對于為其執(zhí)行運動估計的相同圖像或?qū)τ趫D像系列的另一圖像。此外，還可能將對特定圖像的分割結(jié)果用于不包括該特定圖像而包括圖像系列的另一圖像的圖像對的運動估計。
運動估計單元100的匹配誤差單元102、選擇單元104和產(chǎn)生單元106可以使用一個處理器來實現(xiàn)。通常，這些功能在軟件程序產(chǎn)品的控制下執(zhí)行。在執(zhí)行期間，通常將軟件程序產(chǎn)品裝載到存儲器中(例如RAM)，并從那兒執(zhí)行。程序可以從后臺存儲器裝載(如ROM、硬盤或磁和/或光存儲器)，或者可以經(jīng)網(wǎng)絡(luò)(如互聯(lián)網(wǎng))裝載?？蛇x地，特定用途集成電路提供所公開的功能。
圖2示意性示出了表示具有白背景的場景的圖像的部分運動矢量場200(即正在構(gòu)造中的運動矢量場)，其中背景前面是以與背景相反的方向運動的球202。假定已經(jīng)對多個像素塊204-210估計了運動矢量214-226，和必須要對當前像素塊212估計運動矢量。對于該估計，根據(jù)先前為像素塊204-210計算的運動矢量214-226創(chuàng)建候選運動矢量組214-220。在圖1中，可以看到當前像素塊212位于對應(yīng)于球202的段中。此外，像素塊204也位于對應(yīng)于球202的段中。但是像素塊210對應(yīng)于背景，塊206和208部分屬于球202而部分屬于背景。各候選運動矢量的第二分量取決于塊204-210的通過分割而被標為屬于表示球202的段的對應(yīng)像素數(shù)。結(jié)果，由像素塊204得出的候選運動矢量220的匹配誤差的第二分量將最低，而由像素塊210得出的候選運動設(shè)備218的匹配誤差的第二分量將最高。
圖3示意性示出了圖像處理設(shè)備300的部件，包括-接收單元302，用于接收表示要在已經(jīng)對其執(zhí)行一些處理之后顯示的圖像的信號。該信號可以是經(jīng)天線或電纜接收的廣播信號，但也可以是來自如VCR(錄像機)或數(shù)字通用盤(DVD)之類的存儲裝置的信號。信號在輸入連接器310處提供。
-處理單元304，包括結(jié)合圖1說明的運動估計單元100和分割單元108；-運動補償?shù)膱D像處理單元306；和
-顯示裝置308，用于顯示處理的圖像。該顯示裝置308是可選的。
運動補償?shù)膱D像處理單元306需要圖像和運動矢量作為它的輸入。運動補償?shù)膱D像處理單元306可以支持以下類型圖像處理的一個或多個去交織；上變換；時間降噪；和視頻壓縮。
應(yīng)當注意，上述實施例說明而不是限制本發(fā)明，本領(lǐng)域熟練技術(shù)人員能夠在不脫離所附權(quán)利要求書的范圍的情況下設(shè)計替代的實施例。在權(quán)利要求書中，任何置于括號之間的參考符號將不構(gòu)成對權(quán)利要求的限制。單詞“包括”不排除權(quán)利要求中未列出的元件或步驟的存在。元件之前的單詞“一個”不排除多個這種元件的存在。本發(fā)明能夠通過包括幾個不同元件的硬件和通過適當編程的計算機來實施。在列舉幾個裝置的裝置權(quán)利要求中，這些裝置中的幾個可以用同一個硬件項實現(xiàn)。
權(quán)利要求
1.一種用于估計第一圖像的第一像素組的當前運動矢量的運動估計單元，包括-產(chǎn)生裝置，用于產(chǎn)生第一像素組的候選運動矢量組，所述候選運動矢量從先前估計的運動矢量組中提取；-匹配誤差單元，用于計算各個候選運動矢量的匹配誤差，第一個候選運動矢量的匹配誤差基于第一分量和第二分量，第一分量對應(yīng)于第一像素組的像素值與第二圖像的第二像素組的像素值的比較，第二分量取決于第一像素組與已經(jīng)為其估計了第一個先前估計的運動矢量的第三像素組之間的關(guān)系，第一個候選運動矢量基于第一個先前估計的運動矢量；和-選擇單元，用于通過比較各個候選運動矢量的匹配誤差來從候選運動矢量中選擇當前運動矢量，其特征在于運動估計單元被安排成根據(jù)將第一圖像分割為像素段的結(jié)果來調(diào)整第二分量，分割結(jié)果與第一像素組的第一部分和第三像素組的第一部分這二者對應(yīng)于一個特定段的概率有關(guān)。
2.如權(quán)利要求1所述的運動估計單元，其特征在于運動估計單元(100)被安排成根據(jù)該概率大小調(diào)整第二分量。
3.如權(quán)利要求1所述的運動估計單元，其特征在于運動估計單元被安排成根據(jù)第一像素組的第一部分的第一像素數(shù)與第一像素組的第二像素數(shù)之間的比值來調(diào)整第二分量。
4.如權(quán)利要求1所述的運動估計單元，其特征在于第一像素組為像素塊。
5.如權(quán)利要求1所述的運動估計單元，其特征在于選擇單元被安排成當對應(yīng)的匹配誤差是最小的匹配誤差時從候選運動矢量組中選擇特定運動矢量作為當前運動矢量。
6.如權(quán)利要求1所述的運動估計單元，其特征在于匹配誤差單元被設(shè)計為通過從第二圖像的第二像素組的像素亮度值中減去第一像素組的像素亮度值來計算第一個候選運動矢量的匹配誤差。
7.一種估計第一圖像的第一像素組的當前運動矢量的方法，包括-產(chǎn)生第一像素組的候選運動矢量組，所述候選運動矢量從先前估計的運動矢量組中提?。?計算各個候選運動矢量的匹配誤差，第一個候選運動矢量的匹配誤差基于第一分量和第二分量，第一分量對應(yīng)于第一像素組的像素值與第二圖像的第二像素組的像素值的比較，第二分量取決于第一像素組與已經(jīng)為其估計了第一個先前估計的運動矢量的第三像素組之間的關(guān)系，第一個候選運動矢量基于第一個先前估計的運動矢量；和-通過比較各個候選運動矢量的匹配誤差來從候選運動矢量中選擇當前運動矢量，其特征在于根據(jù)將第一圖像分割為像素段的結(jié)果來調(diào)整第二分量，分割的結(jié)果與第一像素組的第一部分和第三像素組的第一部分這二者對應(yīng)于一個特定段的概率有關(guān)。
8.一種圖像處理設(shè)備，包括-接收裝置，用于接收表示包括第一圖像的圖像系列的信號；-如權(quán)利要求1所述的運動估計單元，用于估計第一圖像的第一像素組的當前運動矢量；和-運動補償?shù)膱D像處理單元(306)，用于根據(jù)圖像和當前運動矢量確定處理的圖像。
9.如權(quán)利要求8所述的圖像處理設(shè)備，其特征在于運動補償?shù)膱D像處理單元被設(shè)計為執(zhí)行視頻壓縮。
10.如權(quán)利要求8所述的圖像處理設(shè)備，其特征在于運動補償?shù)膱D像處理單元被設(shè)計為降低圖像系列中的噪聲。
11.如權(quán)利要求8所述的圖像處理設(shè)備，其特征在于運動補償?shù)膱D像處理單元被設(shè)計為對圖像系列進行去交織。
12.如權(quán)利要求8所述的圖像處理設(shè)備，其特征在于運動補償?shù)膱D像處理單元被設(shè)計為執(zhí)行上變換。
全文摘要
運動估計單元(100)被安排成估計第一像素組(212)的當前運動矢量，包括產(chǎn)生單元(106)，用從先前估計的運動矢量組中提取的候選運動矢量產(chǎn)生第一像素組(212)的候選運動矢量組；匹配誤差單元(102)，用于計算各候選運動矢量的匹配誤差；和選擇單元(104)，用于從候選運動矢量中選擇當前運動矢量。運動估計單元(100)被安排成根據(jù)將第一圖像分割為像素段的結(jié)果來調(diào)整匹配誤差，其中分割結(jié)果與第一像素組和第二像素組都對應(yīng)于相同段的概率有關(guān)，其中候選運動矢量是根據(jù)該概率確定的。
文檔編號H04N7/26GK1656514SQ03812289
公開日2005年8月17日 申請日期2003年5月19日 優(yōu)先權(quán)日2002年5月30日
發(fā)明者R·B·維特布魯?shù)? G·德哈安 申請人:皇家飛利浦電子股份有限公司