專利名稱:改良式鉆石搜尋動態估計方法
技術領域:
本發明是有關于一種視訊影像處理(Video image processing)技術的移動估計(Motion estimation)方法,特別是涉及一種改良式鉆石搜尋移動估計方法。
背景技術:
如圖1所示,目前在MPEG視訊編碼影像的數據流(Data stream)中,其數據結構皆是由一個或一個以上的序列(Sequence)所構成,而在每個序列之中則包含了復數個圖像群組(Group ofPictures,GOP),而所謂的圖像群組指的是由許多畫面(Frame)或稱為圖像(Picture)所構成的群組,畫面依其屬性可區分幅內編碼畫面(I Frame)、預測編碼畫面(P Frame),以及雙向編碼畫面(B Frame)影像三種型態。
上述每一種畫面均可加以編碼,一般是以幅內編碼(I)畫面作為起始影像壓縮的切入點,藉由移動向量(Motion Vector)的估算,預測編碼(P)畫面可以幅內編碼(I)畫面或預測編碼(P)畫面作為參考畫面來進行預測,而雙向編碼(B)畫面則是以幅內編碼(I)畫面與預測編碼(P)畫面二者或兩預測編碼(P)畫面作為參考畫面所產生的移動向量推估,如此將畫面連續播放后,呈現在使用者面前即為動態的MPEG視訊影像。
而在MPEG的壓縮標準中,是將每個畫面細分為數個像條(Slice),像條中又可再分為數個巨集像塊(Macro Block),而巨集像塊可由四個亮度(Luminance)像塊及數個彩度(Chrominance)像塊所組成,最后,將每一像塊(Block)定義為MPEG的數據結構中的最小編碼單位。對應移動向量的估算(Motion Estimation),即所謂的移動補償(Motion Compensation)。一般移動向量估算最直接的作法,便是紀錄巨集像塊或像塊中每一畫素的亮度,并以全找搜尋(Full Search)方式紀錄兩者變化向量,但是此舉將耗費大量資源。
配合移動向量的估算,目前畫面便可藉由具有的各像塊以及從先前畫面找出最佳匹配像塊,以計算出的移動向量與差值資料將先前畫面的像塊加以調整而成為目前畫面,依據移動向量可將像塊轉移至適當位置,由于無須紀錄大部分的重復資料,因此可節省儲存的資料量達到數據壓縮的目的。目前估算移動向量的方法,有全找搜尋(Full Search;FS)、三步搜尋(Three Step Search;TSS)、四步搜尋(Four Step Search;FSS)及鉆石搜尋(Diamond Shape Search;DSS)等動態估計方式。
其中,目前的鉆石搜尋判斷方式,是以一菱形(Rhombus)外框作為搜尋區域,其步驟說明如下步驟1找尋一搜尋起始點及以起始點為中心的空心菱形外框共九點,若最相似點在菱形中心則進行步驟4,若最相似點在菱形外框則進行步驟2。
步驟2以最相似點為中心點,重復以一菱形外框作為搜尋區域。
步驟3若最相似點仍在中心點,則進行步驟4,若最相似點在菱形外框上,則重復步驟2。
步驟4縮小搜尋區域的搜尋范圍為小實心菱形,最后找到最相似點后,即結束搜尋。
如圖2所示,說明步驟1中,發現最相似點在菱形中心1’,因此進行步驟4,縮小搜尋區域的搜尋范圍為小實心菱形,最后找到最相似點2’后結束搜尋。
如圖3所示,說明步驟1中,最相似點在菱形外框1”,因此進行步驟2,以最相似點1”為中心點,重復以一菱形外框作為搜尋區域,接著進行步驟3,因為最相似點2”在菱形外框上,故重復步驟2,重復以一菱形外框作為搜尋區域,發現最相似點仍在菱形中心2”,因此進行步驟4,縮小搜尋區域的搜尋范圍為小實心菱形,最后找到最相似點4”后結束搜尋。
然而,現有的鉆石搜尋動態估計方法由于是以起始點為中心的空心菱形外框為搜尋范圍,大范圍搜尋后再縮小搜尋范圍,往往錯失了落在起始點附近的畫素才是出現機率最大的搜尋范圍。
發明內容
因此,本發明的一目的,即在提供一種提高搜尋效率的改良式鉆石搜尋動態估計方法。
于是,本發明改良式鉆石搜尋動態估計方法是從一第一畫面所具有的一預定像塊,搜尋鄰近的一第二畫面中對應預定像塊相匹配的像塊以估算預定像塊的移動向量,其特征在于所述的方法是設定第二畫面中依一預定原則選擇的一像塊為一起始點,并以起始點為中心的一實心菱形區域為起始搜尋范圍,由內往外逐漸擴展搜尋相匹配的像塊以估算預定像塊的移動向量。
由于一般移動向量常是以放射狀分布的方式出現,本發明改良式鉆石搜尋動態估計方法以實心菱形區域為起始搜尋范圍,由于是先自出現機率大的實心區域內開始搜尋,因此可節省不必要的搜尋時間,并進一步提升了搜尋的效率。
下面結合附圖及實施例對本發明進行詳細說明圖1是一示意圖,說明目前在MPEG視訊編碼影像的數據數據結構;圖2是一示意圖,說明現有的一種鉆石搜尋判斷方式;圖3是一示意圖,說明現有的一種鉆石搜尋判斷方式;圖4是一電路方塊圖,說明使用本發明方法的系統是一用以執行MPEG視訊編碼功能的視訊編碼裝置;圖5是一示意圖,說明本發明改良式鉆石搜尋動態估計方法的移動向量估算方式;圖6是一流程圖,說明本發明改良式鉆石搜尋動態估計方法的各步驟;圖7是一示意圖,說明本發明改良式鉆石搜尋動態估計方法的較佳實施例;圖8是一示意圖,說明本發明改良式鉆石搜尋動態估計方法的較佳實施例;圖9說明本發明改良式鉆石搜尋動態估計方法的較佳實施例的變形一,先由內部的小實心菱形五點找起,若最相似點在菱形邊上,再往其外部的菱形框的八點尋找;圖10說明本發明改良式鉆石搜尋動態估計方法的較佳實施例的變形二,先由內部的小實心菱形五點找起,若最相似點在菱形邊上,再往其外部的半菱形框的五點尋找;圖11是一示意圖,說明本發明改良式鉆石搜尋動態估計方法的較佳實施例的變形三,先由內部的小實心菱形五點找起,若最相似點在菱形邊上,再往其外部的半菱形框的三點尋找。
具體實施例方式
有關本發明之前述及其它技術內容、特點與功效,在以下配合參考圖式的一較佳實施例的詳細說明中,將可清楚的呈現。在本發明被詳細描述之前,要注意的是,在以下的說明內容中,類似的元件是以相同的編號來表示。
如圖4所示,使用本發明方法的系統是一用以執行MPEG視訊壓縮功能的視訊編碼裝置1,然而,其它實施例中,或可應用在執行類似的視訊壓縮功能的處理系統。
視訊編碼裝置1具有一前處理單元(Preprocessor Unit)10、一移動估算單元(MotionEstimation Unit)11、一移動補償單元12、一移動向量編碼單元(Motion Vector EncodingUnit)13、一紋理編碼模組(Texture Encoding Unit)14、一比特流組合單元(Bit-StreamComposer Unit)15及一記憶體16。
欲將一原始的輸入影像100輸入至視訊編碼裝置1時,是由視訊編碼裝置1的一前處理單元10先將一給定畫面中的每一個巨塊資料定義出來,并暫存至記憶體16;接著由移動估算單元11對于輸入影像100中畫面所具有的巨塊資料進行計算,例如運算前、后畫面中對應的像塊資料后,可求得全畫面的各像塊資料的移動向量資料102;接著將其輸入至移動補償單元12,由移動補償單元12利用所述的移動向量擷取先前或后一畫面中的影像巨塊資料以得到一參考資料104;再將前處理單元10得到輸入影像100具有的影像巨塊資料減去移動補償單元12得到的參考數據104后,便得到一差值數據103,由紋理編碼模組14對差值數據103進行運算以獲得壓縮的紋理及重建的參考資料。
其中,紋理編碼模組14的一離散余弦轉換單元141是是對每一像塊的畫素資料施以離散余弦轉換(DCT),接著以頻域轉換單元142把畫素數據由時域轉換為頻域,接著由量化單元143施以量化(Quantize)步驟,使得許多經過離散余弦轉換的DCT系數量化為零,并去除掉高頻部分;并需再經反量化單元144、反離散余弦轉換單元145進行反量化以及反離散余弦轉換運算,如此再反饋至移動估算單元11。并可由移動向量編碼單元13將各移動向量加以編碼輸出至比特流組合單元15具有的一可變長度編碼器151。
同時,需以交流/直流預測單元146(AC/DC Prediction Unit)依照同一畫面中各像塊(Block)重復的累贅信息去除,再由交錯掃描單元147進行交錯掃描(Zig-zag scan)來將量化后的DCT系數重新排列,將低頻系數排列在前而高頻系數排列在后,最后在經交錯掃描過后的DCT系數進行動態長度編碼(Run Length Encoding;RLE),最后再由比特流組合單元15具有的另一可變長度編碼器152對二者進行可變長度編碼(Variable Length Coding;VLC),由比特流組合單元15加以組合,便可完成MPEG壓縮格式的輸出。
配合圖4、5所示,本發明改良式鉆石搜尋動態估計方法的較佳實施例,是在視訊編碼裝置1中的移動估算單元11進行,所述的方法是從一第一畫面501(又稱為目前畫面;Current Frame)所具有的一預定像塊51,并搜尋鄰近的一第二畫面502(又稱為參考畫面;Reference Frame)對應預定像塊51所相匹配的畫素以估算預定像塊51的移動向量53,所述的方法是以第二畫面502中的一預定點520為起始點,并以起始位置為中心的一實心菱形區域(圖未示)為搜尋范圍,由內往外逐漸擴展搜尋相匹配的像塊以估算移動向量53。
本實施例中,所欲搜尋鄰近的第二畫面502的位置,可以是位在第一畫面501前、后時序多數畫面其中任一畫面,此外,所述的方法由內往外逐漸擴展搜尋的方式,是順時針、逆時針其中任一種螺旋搜尋方式。
如圖6所示,說明本發明改良式鉆石搜尋動態估計方法,首先,搜尋最接近起始點的實心菱形十三個點(步驟601)接著進行最相似點判定(步驟602),若最相似點為內部五點之一(步驟603),則結束搜尋(步驟610),若搜尋到的最相似點為外部八點之一(步驟604),則以該點為新的搜尋中心,找尋菱形邊上尚未搜尋的三點或五點(步驟605)。
接著進行最相似點判定(步驟606),若最相似點在菱形邊上(步驟607),則以該點為新的搜尋中心,找尋菱形邊上尚未搜尋的三點或五點(步驟605),若最相似點為中心點(步驟608),則搜尋最接近中心點的小實心菱形四點(步驟609),如獲得最相似點則結束搜尋,并傳回最相似點的移動向量(步驟610)。
配合圖6及圖7~8所示,說明本發明改良式鉆石搜尋動態估計方法的較佳實施例的各種搜尋狀況圖7說明第一次搜尋時,先自接近原點的實心菱形十三個點開始找尋(步驟601),并進行最相似點判定(步驟602),由于相似點1’為實心菱形內部五點之一(步驟603),因此第一次搜尋即可找出并結束搜尋(步驟610)。
圖8說明第一次搜尋時,先自接近原點的實心菱形十三個點開始找尋(步驟601),并進行最相似點判定(步驟602),由于搜尋到的相似點1’為外部八點之一(步驟604),因此第二次搜尋時,以該點1’為新的搜尋中心,找尋菱形邊上尚未搜尋的三點或五點(步驟605)。
接著進行最相似點判定(步驟606),若最相似點2’在菱形邊上(步驟607),第三次搜尋時,則以該點2’為新的搜尋中心,找尋菱形邊上尚未搜尋的三點(步驟605),若最相似點仍為中心點2’(步驟608),第四次搜尋時,則搜尋最接近中心點的小實心菱形四點(步驟609),如獲得最相似點4’則結束搜尋,并傳回最相似點的移動向量(步驟610)。
如圖9~11所示,說明本發明改良式鉆石搜尋動態估計方法的較佳實施例的變形,其搜尋范圍的概念,均是由內往外搜尋,并且為部分實心菱形的集合。
如圖9所示,此方法是是先由內部的小實心菱形五點找起,若最相似點1’在菱形邊上,則再往未搜尋的外部的菱形框81的八點尋找,并以步驟602~610的方式逐步由內往外擴展搜尋,直至搜尋到最相似點為止。
如圖10所示,此方法也是先由內部的小實心菱形五點找起,若最相似點1’在菱形邊上,則以該相似點1’為搜尋起始點中心,再往其外部的半菱形框82的五點尋找,并以步驟602~610的方式逐步由內往外擴展搜尋,直至搜尋到最相似點為止。
如圖11所示,類似于圖10的半菱形框搜尋法,此方法也是先由內部的小實心菱形五點找起,若最相似點1’在菱形邊上,則以該相似點1’為搜尋起始點中心,再往其外部的半菱形框83的三點尋找,并以步驟602~610的方式逐步由內往外擴展搜尋,直至搜尋到最相似點為止。
歸納上述,由于一般移動向量常是以放射狀分布的方式出現,本發明改良式鉆石搜尋動態估計方法以實心菱形區域為起始搜尋范圍,接著進一步擴大至最近似點為中心的空心菱形外框為搜尋區域范圍,最后再縮小為四點的搜尋區域范圍,由于是先自出現機率大的實心區域內開始搜尋,因此可節省不必要的搜尋時間,并進一步提升了搜尋的效率。
權利要求
1.一種改良式鉆石搜尋動態估計方法,是從一第一畫面所具有的一預定像塊,搜尋鄰近的一第二畫面中對應預定像塊相匹配的像塊以估算預定像塊的移動向量,其特征在于所述的方法是設定第二畫面中依一預定原則選擇的一像塊為一起始點,并以起始點為中心的一實心菱形區域為起始搜尋范圍,由內往外逐漸擴展搜尋相匹配的像塊以估算預定像塊的移動向量。
2.如權利要求1所述的改良式鉆石搜尋動態估計方法,其特征在于所述的實心菱形區域是包括一具有起始點及起始點鄰近的四點的小菱形區域。
3.如權利要求2所述的改良式鉆石搜尋動態估計方法,其特征在于所述的實心菱形區域更包括小菱形區域周圍的八點。
4.如權利要求3所述的改良式鉆石搜尋動態估計方法,其特征在于若搜尋到相匹配的像塊在實心菱形區域的邊上任一點,則搜尋范圍更擴展至與該點外緣平行的三點。
5.如權利要求4所述的改良式鉆石搜尋動態估計方法,其特征在于若搜尋到相匹配的像塊在搜尋范圍的中心點上,則搜尋范圍以相匹配的像塊為中心,搜尋與該像塊鄰近的四點。
6.如權利要求3所述的改良式鉆石搜尋動態估計方法,其特征在于若搜尋到相匹配的像塊在該實心菱形區域的任一端點,則搜尋范圍更擴展至該端點外緣呈一三角形外框的五點。
7.如權利要求6所述的改良式鉆石搜尋動態估計方法,其特征在于若搜尋到相匹配的像塊在搜尋范圍的中心點上,則搜尋范圍以相匹配的像塊為中心,搜尋與該像塊鄰近的四點。
8.如權利要求1所述的改良式鉆石搜尋動態估計方法,其特征在于所欲搜尋鄰近的該第二畫面的位置,是位在第一畫面前、后時序的多數畫面中的任一畫面。
9.如權利要求1所述的改良式鉆石搜尋動態估計方法,其特征在于所述的由內往外逐漸擴展搜尋的方式是順時針或逆時針的螺旋搜尋方式。
全文摘要
本發明公開了一種改良式鉆石搜尋動態估計方法,是從一第一畫面所具有的一預定像塊,搜尋鄰近的一第二畫面中對應預定像塊相匹配的像塊以估算預定像塊的移動向量,其特征在于所述的方法是設定第二畫面中依一預定原則選擇的一像塊為一起始點,并以起始點為中心的一實心菱形區域為起始搜尋范圍,由內往外逐漸擴展搜尋相匹配的像塊以估算預定像塊的移動向量,由于一般移動向量常是以放射狀分布的方式出現,而本發明所述的方法是先自出現機率大的實心區域內開始搜尋,因此相較于以前的搜尋技術可節省不必要的搜尋時間。
文檔編號H04N7/32GK1960494SQ200510115480
公開日2007年5月9日 申請日期2005年11月4日 優先權日2005年11月4日
發明者蔡彰哲, 林志新, 李宜方, 趙子毅 申請人:原相科技股份有限公司