專利名稱：用于確定所選象素的真運(yùn)動(dòng)矢量的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于編碼視頻信號(hào)的方法和裝置，更具體地，涉及一種用于確定所選象素的當(dāng)前幀和前一幀之間的真運(yùn)動(dòng)矢量的方法和裝置。
眾所周知，與模擬信號(hào)的傳送相比，數(shù)字化信號(hào)的傳送能夠傳送更高質(zhì)量的視頻圖象。當(dāng)包含一個(gè)圖象幀序列的圖象信號(hào)被以數(shù)字形式表示時(shí)，大量的數(shù)據(jù)被生成以被傳送，在高清晰度電視系統(tǒng)中尤其如此。然而，在傳統(tǒng)傳送信道中的可用頻率帶寬是有限的，為了通過該有限的信道帶寬傳送如此大量的數(shù)字?jǐn)?shù)據(jù)，不可避免地要壓縮或減少傳送數(shù)據(jù)量。在各種視頻壓縮技術(shù)中，以一種統(tǒng)計(jì)編碼技術(shù)將時(shí)間和空間壓縮技術(shù)結(jié)合在一起的所謂混合編碼技術(shù)被認(rèn)為是最有效的。
大部分混合編碼技術(shù)使用了運(yùn)動(dòng)補(bǔ)償DPCM(差.分脈碼調(diào)制)、二維DCT(離散余弦變換)、DCT系數(shù)的量化以及VLC(可變長度編碼)。運(yùn)動(dòng)補(bǔ)償DPCM是確定在一當(dāng)前幀和其前一幀之間一物象的運(yùn)動(dòng)以及根據(jù)該物象的運(yùn)動(dòng)流預(yù)測(cè)該當(dāng)前幀以產(chǎn)生一個(gè)代表該當(dāng)前幀和其預(yù)測(cè)之間的差的差分信號(hào)。例如，該方法在Staffan Ericsson的“用于混合預(yù)測(cè)的/變換編碼的固定及自適應(yīng)預(yù)測(cè)器”(IEEE Tran-sactions on Communications，COM-33，No.12，1985年12月)以及Ninomiya和Ohtsuka的“用于電視畫面的運(yùn)動(dòng)補(bǔ)償幀間編碼方案”(IEEE Transactions onCommunications，COM-30，No.1，1982年1月)這兩篇文章中有所描述。
具體地，在運(yùn)動(dòng)補(bǔ)償DPCM中，根據(jù)當(dāng)前幀和前一幀之間的運(yùn)動(dòng)的一個(gè)估算，從前一幀數(shù)據(jù)中預(yù)測(cè)當(dāng)前幀。該估算的運(yùn)動(dòng)可以以表示該前一幀和當(dāng)前幀之間象素的位移的二維運(yùn)動(dòng)矢量來表述。
已有許多種方法估算一物象的象素的位移。一種運(yùn)動(dòng)估算技術(shù)包括利用特征點(diǎn)的逐象素運(yùn)動(dòng)估算，其中各特征點(diǎn)被定義為一個(gè)能表示其相鄰象素的象素的位置。在該利用特征點(diǎn)的運(yùn)動(dòng)估算技術(shù)中，首先從包含于前一幀中的所有象素中選擇多個(gè)特征點(diǎn)。接著，利用一塊匹配算法確定所選特征點(diǎn)的運(yùn)動(dòng)矢量，其中，各運(yùn)動(dòng)矢量表示在前一幀中的一個(gè)特征點(diǎn)和當(dāng)前幀中的一相應(yīng)匹配點(diǎn)(即最相似的象素)之間的空間位移。具體地，在當(dāng)前幀的一搜索區(qū)內(nèi)搜索各特征點(diǎn)的匹配點(diǎn)，其中該搜索區(qū)定義為具有預(yù)定面積且包含相應(yīng)特征點(diǎn)的一個(gè)區(qū)域。然而，在該逐象素的運(yùn)動(dòng)估算中，如果在該塊中的所有象素不以同一方式運(yùn)動(dòng)，則不易估算例如一特征點(diǎn)的真實(shí)運(yùn)動(dòng)。
因此，本發(fā)明的首要目的即在于提供一種改進(jìn)的用于確定所選象素的真運(yùn)動(dòng)矢量的裝置。
根據(jù)本發(fā)明的一個(gè)方面，提供了一種用于確定所選象素即特征點(diǎn)在當(dāng)前和前一幀之間的真運(yùn)動(dòng)矢量的方法，各特征點(diǎn)定義為位于畫在前一幀上的一矩形格柵的結(jié)點(diǎn)上的象素的位置，該方法包括以下步驟(a)順序指定各特征點(diǎn)作為主特征點(diǎn)，其中該主特征點(diǎn)由其相鄰的四個(gè)特征點(diǎn)包圍，這些特征點(diǎn)目前不被指定為主特征點(diǎn)，由此限定一個(gè)前一菱形，該前一菱形具有一組四個(gè)三角形，各三角形由連接該主特征點(diǎn)和與其相鄰的兩個(gè)特征點(diǎn)而形成；(b)對(duì)這些特征點(diǎn)檢測(cè)當(dāng)前幀和前一幀之間的第一組初始運(yùn)動(dòng)矢量；(c)為相應(yīng)主特征點(diǎn)對(duì)各初始運(yùn)動(dòng)矢量提供預(yù)定N個(gè)的位移以生成N個(gè)候選運(yùn)動(dòng)矢量的一個(gè)子組；(d)通過利用該第一組運(yùn)動(dòng)矢量確定對(duì)應(yīng)于前一幀上的各前一菱形的當(dāng)前幀上的當(dāng)前菱形；(e)根據(jù)該N個(gè)候選運(yùn)動(dòng)矢量生成各當(dāng)前菱形中的N組四三角形；(f)為包含在當(dāng)前菱形內(nèi)的各組四三角形中的各象素，從前一幀中導(dǎo)出一預(yù)測(cè)的象素以為其提供一預(yù)測(cè)的象素值；(g)通過從所述各象素的象素值中減去該預(yù)測(cè)的象素值為包含在各四三角形中的所述各象素生成一差分象素值；(h)通過平均對(duì)應(yīng)于各當(dāng)前菱形中的所述N組三角形的差分象素值為該N組三角形計(jì)算N個(gè)誤差值；(i)比較所述的N個(gè)誤差值以選擇一具有最小誤差的誤差值；以及(j)從各N個(gè)候選運(yùn)動(dòng)矢量的子組中選擇對(duì)應(yīng)于所選最小誤差值的一個(gè)運(yùn)動(dòng)矢量作為真運(yùn)動(dòng)矢量。
根據(jù)本發(fā)明的另一方面，提供了一種為特征點(diǎn)確定在當(dāng)前幀和前一幀之間的真運(yùn)動(dòng)矢量的裝置，各特征點(diǎn)定義為位于畫在前一幀上的一矩形格柵的結(jié)點(diǎn)上的象素的位置，該裝置包括用于順序指定各特征點(diǎn)作為主特征點(diǎn)的裝置，其中該主特征點(diǎn)被其相鄰的四個(gè)特征點(diǎn)(它們此時(shí)未被指定為主特征點(diǎn))包圍而定義了一個(gè)前一菱形，該前一菱形具有一組四個(gè)三角形區(qū)域，各三角形由連接該主特征點(diǎn)及其兩個(gè)相鄰特征點(diǎn)而形成；用于為各特征點(diǎn)檢測(cè)在當(dāng)前幀及前一幀之間的一第一組初始運(yùn)動(dòng)矢量的裝置；用于為相應(yīng)主特征點(diǎn)對(duì)各初始運(yùn)動(dòng)矢量提供預(yù)定的N個(gè)位移以由此生成N個(gè)候選運(yùn)動(dòng)矢量的一個(gè)子組的裝置；用于通過利用該第一組運(yùn)動(dòng)矢量在當(dāng)前幀上限定對(duì)應(yīng)于前一幀中的前一菱形的當(dāng)前菱形的裝置，用于根據(jù)該N個(gè)候選運(yùn)動(dòng)矢量生成各當(dāng)前菱形中的N組四三角形的裝置；用于從前一幀為包含在當(dāng)前菱形中的各組四三角形中的各象素得出一預(yù)測(cè)的象素以為其提供一預(yù)測(cè)的象素值的裝置；用于通過從所述各象素的象素值中減去該預(yù)測(cè)的象素值而為包含在各組四三角形中的所述各象素生成一個(gè)差分象素值的裝置；用于通過平均對(duì)應(yīng)于所述N組三角形的差分象素值為所述N組三角形計(jì)算N個(gè)誤差值的裝置；用于比較所述N個(gè)誤差值以選擇一具有最小誤差的誤差值的裝置；以及用于從各N個(gè)候選運(yùn)動(dòng)矢量的子組中選擇對(duì)應(yīng)于所選最小誤差值的運(yùn)動(dòng)矢量作為真運(yùn)動(dòng)矢量的裝置。
本發(fā)明的上述及其它的目的和特征將從以下結(jié)合附圖給出的對(duì)優(yōu)選實(shí)施例的說明中看出，附圖中
圖1是使用了本發(fā)明的運(yùn)動(dòng)估算裝置的一個(gè)視頻編碼器的框圖；圖2表示本發(fā)明的運(yùn)動(dòng)估算裝置的詳細(xì)框圖；圖3表示用來限定特征點(diǎn)的一個(gè)示例性的幀；圖4顯示了根據(jù)本發(fā)明一優(yōu)選實(shí)施例的畫于前一幀上用于選擇特征點(diǎn)的矩形格柵；以及圖5和圖6分別顯示了前一幀及當(dāng)前幀中的菱形幀的形成。
參看圖1，其中顯示了使用了本發(fā)明的運(yùn)動(dòng)估算單元200的一個(gè)視頻信號(hào)編碼系統(tǒng)的框圖。一個(gè)輸入數(shù)字視頻信號(hào)被送入第一幀存儲(chǔ)器100中以存儲(chǔ)在其中。
在運(yùn)動(dòng)估算單元200，線L10上的從第一幀存儲(chǔ)單元100取出的一當(dāng)前幀信號(hào)和線12上的來自第二幀存儲(chǔ)器124的一重構(gòu)的當(dāng)前幀信號(hào)被處理，以為所選的象素，即前一幀中的多個(gè)特征點(diǎn)確定一第一組真運(yùn)動(dòng)矢量。后面將參考圖2說明運(yùn)動(dòng)估算單元200的細(xì)結(jié)。來自運(yùn)動(dòng)估算單元200的運(yùn)動(dòng)矢量被通過線L20送至一當(dāng)前幀運(yùn)動(dòng)矢量檢測(cè)單元140和一熵編碼器107，且用于特征點(diǎn)的位置數(shù)據(jù)通過線L25被送至當(dāng)前幀運(yùn)動(dòng)矢量檢測(cè)單元140。
在當(dāng)前幀運(yùn)動(dòng)矢量檢測(cè)單元140，通過利用來自運(yùn)動(dòng)估算單元200的該第一組真運(yùn)動(dòng)矢量及位置數(shù)據(jù)，用于當(dāng)前幀中的全部象素的一第二組運(yùn)動(dòng)矢量被確定。為了確定該第二組運(yùn)動(dòng)矢量，首先確定準(zhǔn)特征點(diǎn)，其中準(zhǔn)特征點(diǎn)表示當(dāng)前幀中的那些從前一幀的特征點(diǎn)移動(dòng)該第一組運(yùn)動(dòng)矢量而來的象素。在確定了準(zhǔn)特征點(diǎn)后，用于非特征點(diǎn)，即當(dāng)前幀中的剩余象素點(diǎn)的運(yùn)動(dòng)矢量被如下確定。
首先，多個(gè)不重疊的多邊形，例如三角形被由連接準(zhǔn)特征點(diǎn)的線段所定義。然后，根據(jù)構(gòu)成所述各多邊形的準(zhǔn)特征點(diǎn)和它們相應(yīng)特征點(diǎn)之間的位置關(guān)系確定包含在當(dāng)前幀的各多邊形中的各象素在前一幀中的預(yù)測(cè)位置。之后，根據(jù)該預(yù)測(cè)的位置從前一幀中為所述各象素得出一預(yù)測(cè)的象素值；接著從當(dāng)前幀中的所述各象素和其預(yù)測(cè)之間的位移確定用于該象素的運(yùn)動(dòng)矢量。該確定的第二組運(yùn)動(dòng)矢量被提供給運(yùn)動(dòng)補(bǔ)償單元130以逐象素地預(yù)測(cè)該當(dāng)前幀。
該運(yùn)動(dòng)補(bǔ)償單元130通過利用包含在該第二組運(yùn)動(dòng)矢量中的各運(yùn)動(dòng)矢量從第二幀存儲(chǔ)器124中取出欲被包含在預(yù)測(cè)的當(dāng)前幀中的各象素的值，由此經(jīng)由線L30將該預(yù)測(cè)的當(dāng)前幀信號(hào)提供至減法器102和加法器115。
在減法器102，線L30上的該預(yù)測(cè)的當(dāng)前幀信號(hào)被從線L11上的當(dāng)前幀信號(hào)上減去，且生成的數(shù)據(jù)，即表示當(dāng)前幀和該預(yù)測(cè)的當(dāng)前幀之間差分象素值的一個(gè)幀差信號(hào)被送至一圖象信號(hào)編碼器105，在那里，例如通過利用離散余弦變換(DCT)及任何已知的量化方法，一幀差信號(hào)被編碼為一組量化的變換系數(shù)。
之后，該量化的變換系數(shù)被傳送至熵編碼器107以及圖象解碼器113。在熵編碼器107，來自圖象信號(hào)編碼器105的該量化的變換系數(shù)以及經(jīng)由線L20提供的該第一組運(yùn)動(dòng)矢量利用例如掃描寬度及可變長編碼技術(shù)的組合被一起編碼以供發(fā)射。同時(shí)，圖象信號(hào)解碼器113通過利用逆量化及逆DCT將來自圖象信號(hào)編碼器105的量化的變換系數(shù)轉(zhuǎn)變回一重構(gòu)的幀差信號(hào)。
來自圖象信號(hào)解碼器的該重構(gòu)的幀差信號(hào)和來自運(yùn)動(dòng)補(bǔ)償單元130的該預(yù)測(cè)的當(dāng)前幀信號(hào)在加法器115被組合，由此提供一個(gè)欲被作為前一幀寫入第二幀存儲(chǔ)器124的重構(gòu)的當(dāng)前幀信號(hào)。
除了創(chuàng)造性的運(yùn)動(dòng)估算單元200之外，上述的視頻信號(hào)編碼系統(tǒng)的詳細(xì)說明公開于亦為本申請(qǐng)人擁有的名為“用于編碼/解碼視頻信號(hào)的方法及裝置”的中國專利申請(qǐng)及其相應(yīng)的美國專利申請(qǐng)中，這些申請(qǐng)?jiān)诖艘鲄⒖肌?br>
另一種適于確定非準(zhǔn)特征點(diǎn)的運(yùn)動(dòng)矢量的視頻信號(hào)編碼裝置的例子公開于亦為本申請(qǐng)人擁有的名為“用于利用逐象素運(yùn)動(dòng)預(yù)測(cè)編碼視頻信號(hào)的方法及裝置”的中國專利申請(qǐng)95101985.6號(hào)(1995年2月13日提交)和其相應(yīng)的美國專利申請(qǐng)08/367,520號(hào)中，這些申請(qǐng)?jiān)诖艘嘁鲄⒖肌?br>
在該視頻信號(hào)編碼裝置中，用于非準(zhǔn)特征點(diǎn)的一個(gè)象素位置的一個(gè)運(yùn)動(dòng)矢量是通過平均位于一個(gè)具有一個(gè)由從該象素位置到最近的準(zhǔn)特征點(diǎn)的距離的和限定的半徑和一個(gè)用于在計(jì)算該運(yùn)動(dòng)矢量中包括其它特征點(diǎn)的預(yù)定的擴(kuò)展半徑的環(huán)形邊界內(nèi)的準(zhǔn)特征點(diǎn)而確定的。
參看圖2，那里示出了示于圖1的本發(fā)明的運(yùn)動(dòng)估算單元200的詳細(xì)框圖。
如圖2所示，線L12上的來自第二幀存儲(chǔ)器124的前一幀信號(hào)被輸入到一特征點(diǎn)選擇單元210、一特征點(diǎn)運(yùn)動(dòng)矢量檢測(cè)單元212及一運(yùn)動(dòng)預(yù)測(cè)單元230中。線L10上的當(dāng)前幀信號(hào)被提供給一第三幀存儲(chǔ)器205。
在特征點(diǎn)選擇單元210，從包含在前一幀中的象素中選擇多個(gè)特征點(diǎn)。各特征點(diǎn)定義為該幀中一個(gè)能表示一物象運(yùn)動(dòng)的象素的位置。參看圖3，其顯示了一個(gè)示例性的10×7象素幀。如果一個(gè)運(yùn)動(dòng)物象存在于該幀的中心附近且該運(yùn)動(dòng)物象由一組象素“A”至“I”順序地表示，這些象素即被選作該幀的特征點(diǎn)。
在本發(fā)明的優(yōu)選實(shí)施例中，特征點(diǎn)是通過使用示于圖4的一矩形格柵的格柵技術(shù)確定的。如其中所示，特征點(diǎn)位于該格柵的結(jié)點(diǎn)上。
再參看圖2，來自特征點(diǎn)選擇單元210的所選特征點(diǎn)位置數(shù)據(jù)通過圖1中的線L25提供至當(dāng)前幀運(yùn)動(dòng)矢量檢測(cè)單元140并且也被輸入至特征點(diǎn)運(yùn)動(dòng)矢量檢測(cè)單元212和菱形發(fā)生器216以存儲(chǔ)之。
該菱形發(fā)生器216順序地指定各特征點(diǎn)作為一主特征點(diǎn)。如圖5所示，一主特征點(diǎn)，例如“E”，被其相鄰的四個(gè)特征點(diǎn)A、B、C、D(這些特征點(diǎn)此時(shí)未被選作主特征點(diǎn))包圍以由此形成前一菱形，例如52，該主特征點(diǎn)E在該菱形中央且具有一組四個(gè)三角形區(qū)域ABE、BCE、CDE及DAE。各主特征點(diǎn)(例如E)的信息被經(jīng)由線L52饋送至運(yùn)動(dòng)矢量位移發(fā)生器218，而該主特征點(diǎn)及形成該前一菱形的其相鄰特征點(diǎn)(例如A、B、C、D)被經(jīng)由線L54發(fā)送至運(yùn)動(dòng)預(yù)測(cè)單元230。在特征點(diǎn)運(yùn)動(dòng)矢量檢測(cè)單元212，用于特征點(diǎn)的第一組初始運(yùn)動(dòng)矢量根據(jù)存儲(chǔ)于第三幀存儲(chǔ)器205的當(dāng)前幀信號(hào)和來自特征點(diǎn)選擇單元210的特征點(diǎn)的位置數(shù)據(jù)被檢測(cè)。該第一組初始運(yùn)動(dòng)矢量的每一個(gè)表示前一幀中一特征點(diǎn)和當(dāng)前幀中一最相似象素之間的空間位移。有多種可用于逐象素地檢測(cè)運(yùn)動(dòng)矢量的處理算法。在本發(fā)明的優(yōu)選實(shí)施例中，利用了一種塊匹配算法，即，當(dāng)從特征點(diǎn)選擇單元210接收到一特征點(diǎn)的位置數(shù)據(jù)時(shí)，一個(gè)具有特征點(diǎn)于其中心的前一幀的例如5×5象素的特征點(diǎn)塊被經(jīng)由線L12從示于圖1的第二幀存儲(chǔ)器124中取出。然后，在該特征點(diǎn)塊與包含在從圖1的第一幀存儲(chǔ)器100中取出的當(dāng)前幀的一個(gè)較大(例如10×10象素)搜索區(qū)中的多個(gè)等大小候選塊之間利用一誤差函數(shù)(例如MAE(平均絕對(duì)誤差)或MSE(均方誤差)的相似性計(jì)算之后，用于該特征點(diǎn)塊的一初始運(yùn)動(dòng)矢量被確定，其中，該運(yùn)動(dòng)矢量是該特征點(diǎn)塊和一個(gè)產(chǎn)生最小誤差的候選塊之間的位移。該確定的運(yùn)動(dòng)矢量被設(shè)定為該特征點(diǎn)的運(yùn)動(dòng)矢量。
在對(duì)所有特征點(diǎn)檢測(cè)了該初始運(yùn)動(dòng)矢量之后，該第一組初始運(yùn)動(dòng)矢量被提供給一運(yùn)動(dòng)矢量存儲(chǔ)單元214以存儲(chǔ)之。存儲(chǔ)于運(yùn)動(dòng)矢量存儲(chǔ)單元214的初始運(yùn)動(dòng)矢量被順序地提供給運(yùn)動(dòng)矢量位移發(fā)生器218和運(yùn)動(dòng)預(yù)測(cè)單元230。
該運(yùn)動(dòng)矢量位移發(fā)生器218向?qū)?yīng)于由特征點(diǎn)存儲(chǔ)寄存器216指定的各主特征點(diǎn)的初始運(yùn)動(dòng)矢量給出預(yù)定的N個(gè)位移，以由此由一個(gè)初始運(yùn)動(dòng)矢量產(chǎn)生一個(gè)N個(gè)候選運(yùn)動(dòng)矢量的子組。根據(jù)本發(fā)明，該位移最好設(shè)為相對(duì)于各初始運(yùn)動(dòng)矢量在水平和垂直方向從(0，0)至(±2，±2)象素。相應(yīng)地，所述N在此例中等于25。該N候選運(yùn)動(dòng)矢量的子組被提供至選擇電路242和運(yùn)動(dòng)預(yù)測(cè)單元230。
運(yùn)動(dòng)預(yù)測(cè)單元230生成一個(gè)對(duì)應(yīng)于各前一菱形的當(dāng)前菱形以從前一幀為包含在該當(dāng)前菱形的象素求出預(yù)測(cè)值。為了生成該當(dāng)前菱形，用于形成前一菱形的四個(gè)頂點(diǎn)的運(yùn)動(dòng)矢量被從運(yùn)動(dòng)矢量存儲(chǔ)單元214取出，且表示從前一菱形上的四個(gè)特征點(diǎn)(即四個(gè)頂點(diǎn))A、B、C、D移動(dòng)它們相應(yīng)運(yùn)動(dòng)矢量而得來的當(dāng)前幀中的象素的準(zhǔn)特征點(diǎn)例如A’、B’、C’、D’被確定。在確定了該準(zhǔn)特征點(diǎn)之后，該當(dāng)前菱形(例如示于圖6的62)通過連接該四個(gè)準(zhǔn)特征點(diǎn)A’、B’、C’及D’而被限定。此時(shí)，關(guān)于當(dāng)前菱形的生成的信息被送至一當(dāng)前菱形發(fā)生單元206。
接著，確定N個(gè)主準(zhǔn)特征點(diǎn)的子組，該N個(gè)主準(zhǔn)特征點(diǎn)的子組表示由前一菱形中的用于主特征點(diǎn)的N個(gè)候選運(yùn)動(dòng)矢量的子組在當(dāng)前菱形中生成的象素，在確定了該準(zhǔn)特征點(diǎn)和N個(gè)主準(zhǔn)特征點(diǎn)之后，通過連接所述各N個(gè)主準(zhǔn)特征點(diǎn)及其相鄰的兩個(gè)準(zhǔn)特征點(diǎn)為N個(gè)主準(zhǔn)特征點(diǎn)的每個(gè)限定一組四三角形。在圖6中，示例性地顯示了通過連接四個(gè)準(zhǔn)特征點(diǎn)A’、B’、C’及D’生成一當(dāng)前菱形(例如6 2)的處理。該當(dāng)前菱形具有一主準(zhǔn)特征點(diǎn)E’以由此形成一組四個(gè)三角形A’B’E’、B’C’E’、C’D’E’及D’A’E’，該當(dāng)前菱形例如對(duì)應(yīng)于示于圖5中的前一菱形52。雖然未具體示出，但各當(dāng)前菱形由于從前一菱形中的特征點(diǎn)E得出的N個(gè)候選運(yùn)動(dòng)矢量而將具有N組四三角形。
之后，通過利用一仿射變換技術(shù)對(duì)N個(gè)主準(zhǔn)特征點(diǎn)中的每個(gè)進(jìn)行當(dāng)前菱形內(nèi)象素的預(yù)測(cè)。如本領(lǐng)域人員公知的，一運(yùn)動(dòng)物象的轉(zhuǎn)動(dòng)、平移及比例變化的任意序列都可由仿射變換表示。
如圖5和圖6所示，假設(shè)當(dāng)前幀的三個(gè)象素，即兩個(gè)頂點(diǎn)A’、B’及一個(gè)主特征點(diǎn)E’被確定為對(duì)應(yīng)于前一菱形中的各特征點(diǎn)A、B、E的準(zhǔn)特征點(diǎn)，在當(dāng)前菱形的一個(gè)三角形A’B’、E’中的象素通過如下定義的位射變換與前一菱形中一個(gè)三角形ABE中的象素對(duì)應(yīng)起來x′y′=abcd·xy+ef]]>其中(x，y)表示當(dāng)前菱形內(nèi)的一象素的x和y坐標(biāo)，(x’，y’)表示前一菱形上的一預(yù)測(cè)的象素位置的坐標(biāo)，而a、b、c、d、e及f表示仿射變換系數(shù)。
該六個(gè)仿射變換系數(shù)是通過解從三組相關(guān)特征點(diǎn)及準(zhǔn)特征點(diǎn)(即A-A’，B-B’及E-E’)得到的六個(gè)線性方程而計(jì)算出的。一但該仿射系數(shù)已知，則三角形A’B’C’E’中的剩余象素可利用該仿射變換方程映射到三角形ABE的一個(gè)位置上。以此方式，包括在當(dāng)前菱形62中的各三角形中的象素可根據(jù)前一菱形預(yù)測(cè)。在兩個(gè)相接三角形邊界上的象素可從兩個(gè)三角形中的任一個(gè)中預(yù)測(cè)出來。對(duì)應(yīng)于各組四三角形，各預(yù)測(cè)的象素的值被從第二幀存儲(chǔ)器124中取出并送至一減法器232。該預(yù)測(cè)當(dāng)前菱形中的象素的處理對(duì)所有N組四三角形重復(fù)。
同時(shí)，當(dāng)前菱形發(fā)生器206根據(jù)由運(yùn)動(dòng)預(yù)測(cè)單元230提供的當(dāng)前菱形信息向減法器232提供用于各來自第三幀存儲(chǔ)器205的當(dāng)前菱形的象素值。
減法器232然后通過從用于各當(dāng)前菱形的象素值中減去由運(yùn)動(dòng)預(yù)測(cè)單元230提供的預(yù)測(cè)象素值為當(dāng)前菱形的各組四三角形計(jì)算差分象素值。
誤差值計(jì)算器234通過平均對(duì)應(yīng)于當(dāng)前菱形的各組四三角形的差分象素值為當(dāng)前菱形的各組四三角形計(jì)算一誤差值，以為每個(gè)預(yù)測(cè)的當(dāng)前菱形產(chǎn)生一組N個(gè)誤差值。各組N個(gè)誤差值然后被提供給比較器240。
比較器240比較各組中的N個(gè)誤差值以從各組中選擇一個(gè)具有最小誤差的誤差值。根據(jù)該比較，比較器240為各當(dāng)前菱形生成一個(gè)指示最小誤差值的選擇信號(hào)，該信號(hào)然后被送到選擇器242。該選擇器242根據(jù)來自比較器240的選擇信號(hào)，從來自運(yùn)動(dòng)矢量位移發(fā)生器218的各子組N個(gè)候選運(yùn)動(dòng)矢量中選擇一個(gè)對(duì)應(yīng)于所選誤差值的運(yùn)動(dòng)矢量作為各指定特征點(diǎn)的真運(yùn)動(dòng)矢量。用于各特征點(diǎn)的各真運(yùn)動(dòng)矢量然后被提供至圖1的線L10上的當(dāng)前幀運(yùn)動(dòng)矢量檢測(cè)單元122上。
雖然已對(duì)本發(fā)明結(jié)合具體實(shí)施例進(jìn)行了說明，但對(duì)本領(lǐng)域人員來說，不脫離由所附權(quán)利要求限定的發(fā)明范圍，很容易做出各種變化及修改。
權(quán)利要求
1.一種用于確定所選象素即特征點(diǎn)在當(dāng)前和前一幀之間的真運(yùn)動(dòng)矢量的方法，各特征點(diǎn)定義為位于畫在前一幀上的一矩形格柵的結(jié)點(diǎn)上的象素的位置，該方法包括以下步驟(a)順序指定各特征點(diǎn)作為主特征點(diǎn)，其中該主特征點(diǎn)由其相鄰的四個(gè)特征點(diǎn)包圍，由此限定一個(gè)前一菱形，該前一菱形具有一組四個(gè)三角形區(qū)域，各三角形由連接該主特征點(diǎn)和其兩個(gè)相鄰特征點(diǎn)而形成；(b)對(duì)這些特征點(diǎn)檢測(cè)當(dāng)前幀和前一幀之間的第一組初始運(yùn)動(dòng)矢量；(c)為相應(yīng)主特征點(diǎn)對(duì)各初始運(yùn)動(dòng)矢量提供預(yù)定N個(gè)的位移以生成N個(gè)候選運(yùn)動(dòng)矢量的一個(gè)子組；(d)通過利用該第一組初始運(yùn)動(dòng)矢量確定當(dāng)前幀上對(duì)應(yīng)于各前一菱形的當(dāng)前菱形；(e)根據(jù)該N個(gè)候選運(yùn)動(dòng)矢量生成各當(dāng)前菱形中的N組四三角形；(f)從前一幀中為包含在各當(dāng)前菱形內(nèi)的各組四三角形中的各象素導(dǎo)出一預(yù)測(cè)的象素以為其提供一預(yù)測(cè)的象素值；(g)通過從所述各象素的象素值中減去該預(yù)測(cè)的象素值為包含在各組四三角形中的所述各象素生成一差分象素值；(h)通過平均對(duì)應(yīng)于各當(dāng)前菱形中的所述N組三角形的差分象素值為該N組三角形計(jì)算N個(gè)誤差值；(i)比較所述的N個(gè)誤差值以選擇一具有最小誤差的誤差值；以及(j)從各N個(gè)候選運(yùn)動(dòng)矢量的子組中選擇對(duì)應(yīng)于所選最小誤差值的一個(gè)運(yùn)動(dòng)矢量作為真運(yùn)動(dòng)矢量。
2.如權(quán)利要求1的方法，其特征在于，確定當(dāng)前菱形的步驟(d)包括以下步驟根據(jù)特征點(diǎn)及其運(yùn)動(dòng)矢量確定當(dāng)前幀中的準(zhǔn)特征點(diǎn)，通過連接對(duì)應(yīng)于限定前一菱形的特征點(diǎn)的準(zhǔn)特征點(diǎn)形成當(dāng)前菱形。
3.如權(quán)利要求2的方法，其特征在于，導(dǎo)出象素值的步驟(f)包括以下步驟根據(jù)構(gòu)成所述各三角形的準(zhǔn)特征點(diǎn)和它們相應(yīng)的特征點(diǎn)之間的位置關(guān)系為所述各象素確定在前一幀上的一個(gè)預(yù)測(cè)的位置；及根據(jù)該預(yù)測(cè)的位置為所述各象素提供預(yù)測(cè)的象素值。
4.一種為特征點(diǎn)確定在當(dāng)前幀和前一幀之間的真運(yùn)動(dòng)矢量的裝置，各特征點(diǎn)定義為位于畫在前一幀上的一矩形格柵的結(jié)點(diǎn)上的象素的位置，該裝置包括用于順序指定各特征點(diǎn)作為主特征點(diǎn)的裝置，其中該主特征點(diǎn)被其相鄰的四個(gè)特征點(diǎn)包圍而定義了一個(gè)前一菱形，該前一菱形具有一組四個(gè)三角形區(qū)域，各三角形由連接該主特征點(diǎn)及其兩個(gè)相鄰特征點(diǎn)而形成；用于為各特征點(diǎn)檢測(cè)在當(dāng)前幀及前一幀之間的一第一組初始運(yùn)動(dòng)矢量的裝置；用于為相應(yīng)主特征點(diǎn)對(duì)各初始運(yùn)動(dòng)矢量提供預(yù)定N個(gè)的位移以由此生成N個(gè)候選運(yùn)動(dòng)矢量的一個(gè)子組的裝置；用于通過利用該第一組初始運(yùn)動(dòng)矢量在當(dāng)前幀上限定對(duì)應(yīng)于前一幀中的前一菱形的當(dāng)前菱形的裝置，用于根據(jù)該N個(gè)候選運(yùn)動(dòng)矢量生成各當(dāng)前菱形中的N組四三角形的裝置；用于從前一幀為包含在當(dāng)前菱形中的各組四三角形中的各象素導(dǎo)出一預(yù)測(cè)的象素以為其提供一預(yù)測(cè)的象素值的裝置；用于通過從所述各象素的象素值中減去該預(yù)測(cè)的象素值而為包含在各組四三角形中的所述各象素生成一個(gè)差分象素值的裝置；用于通過平均對(duì)應(yīng)于所述N組三角形的差分象素值為所述N組三角形計(jì)算N個(gè)誤差值的裝置；用于比較所述N個(gè)誤差值以選擇一具有最小誤差的誤差值的裝置；以及用于從各N個(gè)候選運(yùn)動(dòng)矢量的子組中選擇對(duì)應(yīng)于所選最小誤差值的運(yùn)動(dòng)矢量作為真運(yùn)動(dòng)矢量的裝置。
5.如權(quán)利要求4的裝置，其特征在于，所述當(dāng)前菱形確定裝置包括用于根據(jù)特征點(diǎn)及其運(yùn)動(dòng)矢量確定當(dāng)前幀中的準(zhǔn)特征點(diǎn)的裝置，該當(dāng)前菱形通過連接對(duì)應(yīng)于限定前一菱形的特征點(diǎn)的準(zhǔn)特征點(diǎn)而形成。
6.如權(quán)利要求5的裝置，其特征在于，所述象素值導(dǎo)出裝置包括用于根據(jù)形成所述各三角形的準(zhǔn)特征點(diǎn)及它們的相應(yīng)特征點(diǎn)之間的位置關(guān)系為所述各象素確定在前一幀上的一預(yù)測(cè)的位置的裝置；及用于根據(jù)該預(yù)測(cè)的位置為所述各象素提供預(yù)測(cè)的象素值。
全文摘要
一種用于為特征點(diǎn)確定在當(dāng)前及前一幀之間的真運(yùn)動(dòng)矢量的裝置，一所選特征點(diǎn)被四個(gè)相鄰特征點(diǎn)包圍形成一具有一組四個(gè)三角形的前一菱形。一運(yùn)動(dòng)矢量位移發(fā)生器為一特征點(diǎn)向其初始運(yùn)動(dòng)矢量給出預(yù)定N個(gè)的位移以生成N個(gè)候選運(yùn)動(dòng)矢量的子組，而一運(yùn)動(dòng)預(yù)測(cè)單元通過該初始運(yùn)動(dòng)矢量提供一對(duì)應(yīng)于前一菱形的當(dāng)前菱形，該當(dāng)前菱形具有N組緣于該N個(gè)候選運(yùn)動(dòng)矢量的四三角形。從該N個(gè)候選運(yùn)動(dòng)矢量中選出一具有最小誤差的真運(yùn)動(dòng)矢量。
文檔編號(hào)G06T7/20GK1131876SQ9510551
公開日1996年9月25日 申請(qǐng)日期1995年6月2日 優(yōu)先權(quán)日1995年3月18日
發(fā)明者李敏燮 申請(qǐng)人:大宇電子株式會(huì)社