影像處理裝置及其處理方法與流程

本發明是有關于一種影像處理裝置，特別是有關于一種產生超解析度(super-resolution)影像的影像處理裝置及其影像處理方法。

背景技術：
傳統上，產生超解析度影像常用的技術是影像內插方法，此種單一影像放大方法包括多項式內插法(polynomialinterpolation)、邊緣方向內插法(edge-directedinterpolation)以及以樣本為基礎的超解析技術(exampled-basedforsuper-resolution)等等。然而，上述技術尚有待改進的缺點，例如多項式內插法雖然簡單且運算速度快，但是常因缺乏影像高頻資訊而導致放大后的影像模糊，且會產生區塊效應(blockeffect)。而邊緣方向內插法或以樣本為基礎的超解析技術則需要龐大的運算量。因此，從單一影像放大來完成影像放大的技術，影像品質受到很大的限制。然而，若想利用多張影像序列混合產生放大影像的技術，最常見的副作用就是有鬼影現象。鬼影現象的成因是因為對同一場景進行連續拍攝時，場景中有個別物體在移動，而在混合影像時，是將影像做整體位移(或是相機位移)的校正，并不會對場景中的個別物體做校正，因此影像中若有個別移動的物體，會導致混合后的影像出現鬼影現象。

技術實現要素：
有鑒于此，本發明的目的在于提供一種影像處理裝置，可將多張低解析度影像放大產生高解析度影像，并且先偵測影像中是否存在個別物體移動，再混合多張校正后影像以輸出超解析度影像。本發明另提供一種影像處理方法，用于處理多張低解析度影像放大產生高解析度影像，且可混合多張校正后影像以產生超解析度影像。根據本發明的目的，本發明采用以下技術方案：一種影像處理裝置，用以接收依據多數個第一解析度影像進行放大而產生的多數個第二解析度影像，其中，第二解析度影像其中之一為目標影像，剩余的第二解析度影像為多數個未選擇影像。影像處理裝置包括影像校正模塊、物體移動偵測模塊以及影像混合模塊。其中，影像校正模塊估測未選擇影像相對于目標影像的多數個區塊位移量及多數個全域位移量，針對未選擇影像執行多數個位移量校正，以產生多數個校正后影像。物體移動偵測模塊耦接至影像校正模塊，判斷各區塊位移量與相對應的全域位移量的差值是否大于門檻值，并判斷目標影像的每一像素點與該些校正后影像的每一像素點間的一像素差異值是否大于一差異預定值，以產生多數個物體移動指標。影像混合模塊耦接至物體移動偵測模塊，影像混合模塊依據物體移動指標對目標影像的每一像素點與校正后影像的每一像素點進行算術運算以產生第三解析度影像，此第三解析度影像的解析度高于第二解析度影像的解析度。較佳地，物體移動偵測模塊分別對該目標影像及該些校正后影像的每一像素點計算出一誤差頻率值，并將該目標影像的每一像素點的該誤差頻率值與該些校正后影像的每一像素點的該誤差頻率值做比較，以判定出每一像素點間的一最小誤差頻率值，再通過該最小誤差頻率值取決出該差異預定值。較佳地，差異預定值為一固定值。較佳地，所述的影像混合模塊依據該些物體移動指標設定多數個比重，該算術運算為該影像混合模塊利用該些比重對該目標影像的每一像素點與該些校正后影像的每一像素點進行比重和。較佳地，所述的影像混合模塊針對目標影像的每一像素點與校正后影像的每一像素點執行多數個方向梯度運算以產生多數個梯度差值。較佳地，其中當各區塊位移量與相對應的全域位移量的差值大于門檻值，或像素差異值大于差異預定值時，則物體移動偵測模塊致能物體移動指標，當各區塊位移量與相對應的全域位移量的差值小于門檻值，且像素差異值也小于差異預定值時，則物體移動偵測模塊禁能物體移動指標。較佳地，其中當物體移動指標為致能時，則影像混合模塊將比重設定為零，當物體移動指標為禁能時，則影像混合模塊將比重設定為梯度差值。較佳地，所述的影像混合模塊針對目標影像的每一像素點與校正后影像的每一像素點執行方向梯度運算用以產生多數個方向梯度值，方向梯度值包括水平方向梯度值、垂直方向梯度值以及對角線方向梯度值。較佳地，所述的影像混合模塊針對目標影像的每一像素點與校正后影像的每一像素點，更選擇方向梯度值中的數值最大者作為最大梯度值，及選擇方向梯度值中的數值最小者作為最小梯度值，各梯度差值則等于最大梯度值與最小梯度值的差。較佳地，所述的影像校正模塊包括區塊位移量估測單元以及全域位移量估測單元。區塊位移量估測單元分割目標影像與未選擇影像為多數個區塊，并且估測未選擇影像相對于目標影像的區塊位移量。全域位移量估測單元耦接至區塊位移量估測單元，依據區塊位移量執行多數個全域位移量估測，以產生全域位移量。較佳地，所述的影像校正模塊包括位移量校正單元，利用仿射矩陣(Affinetransformationmatrix)執行位移量校正，使未選擇影像的起始點位置校正至與目標影像的起始點位置相同。根據本發明的目的，本發明又提出一種影像處理方法，用于處理依據多數個第一解析度影像進行放大而產生的多數個第二解析度影像，其中，第二解析度影像其中之一為一目標影像，剩余的第二解析度影像為多數個未選擇影像。影像處理方法包括下列步驟：估測未選擇影像相對于目標影像的多數個區塊位移量及多數個全域位移量，針對未選擇影像執行多數個位移量校正，以產生多數個校正后影像。此外，判斷各區塊位移量與相對應的全域位移量的差值是否大于門檻值，并判斷目標影像的每一像素點與該些校正后影像的每一像素點間的一像素差異值是否大于一差異預定值，以產生多數個物體移動指標。再者，依據物體移動指標對目標影像的每一像素點與校正后影像的每一像素點進行算術運算以產生第三解析度影像，此第三解析度影像的解析度高于第二解析度影像的解析度。基于上述，本發明能將單張或是多張低解析度影像放大產生高解析度影像，并利用多張影像混合以產生出一張具有高品質且富有豐富細節資訊的超解析度影像，在做影像混合前會先判斷影像中是否存在個別物體移動，以此避免混合后的超解析度影像產生鬼影現象。為讓本發明的上述特征和優點能更明顯易懂，下文特舉實施例，并配合附圖作詳細說明如下。附圖說明圖1為本發明的一實施例所繪示的影像處理裝置的方塊圖。圖2為本發明的另一實施例所繪示的影像處理裝置的方塊圖。圖3為本發明的實施例的物體移動偵測模塊執行物體移動偵測的方法流程圖。圖4為本發明的實施例的物體移動偵測模塊執行進一步物體移動偵測的方法流程圖。圖5為本發明的實施例的影像混合模塊針對其中之一像素點執行影像混合的方法流程圖。圖6為本發明的一實施例所繪示的影像處理方法的流程圖。具體實施方式為利貴審查員了解本發明的技術特征、內容與優點及其所能達成的功效，以下將本發明配合附圖，并以實施例的表達形式詳細說明如下，而其中所使用的圖式，其主旨僅為示意及輔助說明書之用，未必為本發明實施后的真實比例與精準配置，故不應就附圖的比例與配置關系解讀、局限本發明于實際實施上的權利范圍，事先聲明。請參閱圖1，其為本發明的一實施例所繪示的影像處理裝置的方塊圖。影像處理裝置10用以接收依據多數個第一解析度影像進行放大而產生的多數個第二解析度影像，其中，多數個第一解析度影像可由CMOS感應器的數位影像擷取裝置例如是數碼相機、數碼攝影機(DigitalVideo，DV)等所擷取。CMOS感應器的特點是能高速連拍，因此能對一個場景連續拍攝多數個第一解析度影像。此外，本領域具有通常知識者可視實際需求采用所熟知的影像放大方法來對多數個第一解析度影像進行放大以產生多數個第二解析度影像。影像放大方法包括利用多項式內插方法、沿著邊緣方向內插方法或以樣本為基礎的超解析方法等等。在此須選擇第二解析度影像其中之一為目標影像，剩余的第二解析度影像則為多數個未選擇影像。影像處理裝置10包括影像校正模塊100、物體移動偵測模塊200以及影像混合模塊300。多數個第一解析度影像是對一個場景連續拍攝，當手持影像處理裝置10拍攝而發生手振現象時，第一解析度影像之間會存在著次像素移動(sub-pixelshift)，影像校正模塊100對此可分別估測每一未選擇影像相對于目標影像的多數個區塊位移量，利用這些區塊位移量可決定出每一未選擇影像相對于目標影像的全域位移量，影像校正模塊100再依據全域位移量對未選擇影像執行位移量校正，以產生多數個校正后影像。物體移動偵測模塊200耦接至影像校正模塊100，判斷各區塊位移量與相對應的全域位移量的差值是否大于門檻值，并判斷目標影像的每一像素點與該些校正后影像的每一像素點間的一像素差異值是否大于一差異預定值，以產生多數個物體移動指標。其中門檻值可由使用者依實際需求事先預定，在此不加以限制。而差異預定值是由物體移動偵測模塊200分別對目標影像及該些校正后影像的每一像素點計算出一誤差頻率值，并將目標影像的每一像素點的誤差頻率值與該些校正后影像的每一像素點的誤差頻率值做比較，以判定出每一像素點間的一最小誤差頻率值，再通過最小誤差頻率值取決而出。又或者是，差異預定值可為一固定值。接著，與物體移動偵測模塊200耦接的影像混合模塊300可依據物體移動指標對目標影像的每一像素點與校正后影像的每一像素點進行算術運算以產生第三解析度影像，此第三解析度影像的解析度高于第二解析度影像的解析度。也就是說，在各區塊位移量與相對應的全域位移量的差值大于門檻值，或者是上述所稱像素差異值大于差異預定值時，物體移動偵測模塊200致能所產生的物體移動指標。而這個被致能的物體移動指標所代表的是，在此區塊中存在有物體移動的現象。物體移動偵測模塊200通過致能的物體移動指標來指示影像混合模塊300不針對此區塊做影像混合的動作。相反的，在各區塊位移量與相對應的全域位移量的差值不大于門檻值，且同時像素差異值小于差異預定值時，物體移動偵測模塊200禁能所產生的物體移動指標，以代表此區塊不存在物體移動的現象，因此可以參與影像混合的動作。據此，如先前技術所述的影像出現鬼影現象的問題就可以有效的被解決。為了更進一步地說明影像處理裝置10的詳細運作方式，并使本發明的內容更為明了，以下特舉另一實施例作為本發明確實能夠據以實施的范例。請參閱圖2，其為依照本發明的另一實施例所繪示的影像處理裝置的方塊圖。圖中，影像處理裝置10的影像校正模塊100包括區塊位移量估測單元110、全域位移量估測單元120以及位移量校正單元130。首先，區塊位移量估測單元110用以接收依據4個第一解析度(本實施例舉例為低解析度)影像Img1_LR、Img2_LR、Img3_LR以及Img4_LR進行放大而產生的4個第二解析度(本實施例舉例為高解析度)影像Img1_HR、Img2_HR、Img3_HR以及Img4_HR。在本實施例中接收影像的個數以4個為例作說明，但本發明并未限制接收影像的個數。區塊位移量估測單元110將目標影像Img1_HR與未選擇影像Img2_HR、Img3_HR以及Img4_HR以相同方法分割成多數個區塊，舉例而言，若目標影像與未選擇影像大小為p×Q，則可將目標影像與未選擇影像分割成M×N個區塊，其中M、N、P、Q為大于1的整數，且M小于等于P，N小于等于Q。分割方法可依實際需求做設定并不加以限制。接著，區塊位移量估測單元110估測未選擇影像Img2_HR、Img3_HR以及Img4_HR的每一區塊相對于目標影像Img1_HR的區塊位移量，估測方法例如是區塊比對方式等等。全域位移量估測單元120分別對每一未選擇影像Img2_HR、Img3_HR以及Img4_HR進行全域位移量估測。舉例來說，全域位移量估測的方法可對多數個區塊位移量取眾數，也就是先將區塊位移量進行統計，選擇出現最多次的區塊位移量作為全域位移量，或是將所有的區塊位移量取平均而得到全域位移量等等。因此，每一未選擇影像Img2_HR、Img3_HR以及Img4_HR有各自的全域位移量。位移量校正單元130則根據上述的全域位移量執行位移量校正，位移量校正是利用仿射矩陣(Affinetransformationmatrix)將未選擇影像Img2_HR、Img3_HR以及Img4_HR的起始點位置校正至與目標影像Img1_HR的起始點相同位置。仿射矩陣可以作旋轉與移動校正，其中矩陣的系數可由全域位移量所得。基于上述可得到校正后影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR。物體移動偵測模塊200將每一校正后影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR與目標影像Img1_HR分別做物體移動偵測，以產生物體移動指標Map2、Map3以及Map4。圖3為本發明的實施例的物體移動偵測模塊200執行物體移動偵測的方法流程圖，請同時配合參照圖2與圖3。如步驟S310所示，由影像的第一個像素點開始執行物體移動偵測，由于在區塊位移量估測單元110與全域位移量估測單元120可獲得區塊位移量以及全域位移量，因此在步驟S320中，可計算區塊位移量和全域位移量之間的差值Diffi，計算公式如下：Diffi＝|X_LMi-X_GM|+|Y_LMi-Y_GM|其中，X_LMi、Y_LMi分別代表區塊位移量的水平分量與垂直分量，i代表此像素點所屬影像的第i個區塊，i為大于零的正整數，X_GM、Y_GM代表影像的全域位移量的水平分量與垂直分量。接下來在步驟S330，判斷此差值Diffi是否大于門檻值TH，門檻值TH可由本領域具通常知識者依實際情況做預先的設定。若差值Diffi大于門檻值TH，則接續步驟S331，物體移動偵測模塊200致能物體移動指標(例如為將物體移動指標設定為1)，并用以代表此區塊存在物體移動。若否，則進行步驟S332，由物體移動偵測模塊200執行一基本像素的判斷程序，以計算該像素點于目標影像與各校正后影像中的SAD(SumofAbsolutedifference)值，以此SAD值來表示目標影像與各校正后影像在此像素點的一像素差異值。接著，再進行步驟S333，以判斷像素差異值是否大于一差異預定值。若是，進行步驟S3331，物體移動偵測模塊200致能物體移動指標(將物體移動指標設定為1)，若否，則接續步驟S3332，物體移動偵測模塊200則禁能物體移動指標(例如為將物體移動指標設定為0)，代表此區塊不存在物體移動。影像中的每一像素點都需經過此流程判斷，因此步驟S340判斷是否為影像中的最后一個像素點，若是則結束此物體移動偵測，若否，則進入步驟S350，以執行下一個像素點的計算與判斷。上述中，當執行完步驟S330，以判斷出差值Diffi小于門檻值TH時，物體移動偵測模塊200還會以像素點的頻率特性來判斷該像素點中是否存在移動物體。首先是算出于像素點在目標影像與各校正后影像中的MAE(MeanAbsoluteError)值，或稱平均絕對誤差值來進行頻率的表示。接著，由該些MAE值中取出一數值最小的MAE值，再以此數值最小的MAE值查找出一特定門檻值。然后再計算出該特定門檻值的SAD值(TH_SAD)，此TH_SAD即為如上所述的差異設定值。最后便進行如上步驟S333，來判斷像素差異值與差異設定值間的關系，以作為判斷是否具有移動物體的依據，此段過程可如圖4所示。流程簡述即為：S410：根據高頻檢測來計算出像素點于目標影像及各校正后影像的MAE值；S420：計算像素點于目標影像與各校正后影像中的像素差異值(SAD)；S430：由該些MAE值中取出最小數值的MAE值；S440：根據最小數值的MAE值查找出特定門檻值；S450：根據特定門檻值計算出差異預定值(TH_SAD)；S460：判斷像素差異值是否大于差異預定值；S461：若像素差異值小于差異預定值時，將物體移動指標設定為0；S462：若像素差異值大于差異預定值時，將物體移動指標設定為1。其中，差異預定值(TH_SAD)也可為一固定值，不以上述所舉而有所限制。上述中，若物體移動指標為0則進行影像的混合，影像混合模塊300便將目標影像Img1_HR與校正后影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR中的每一個像素點進行混合，混合過程中須配合參考物體移動指標Map2、Map3以及Map4以產生第三解析度(本實施例舉例為超解析度)影像Img1_SR。舉例來說，超解析度影像Img1_SR的第一個像素點即為目標影像Img1_HR的第一個像素點與校正后影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR的第一個像素點混合而成。詳細的混合方法請同時配合參照圖2與圖5，圖5為本發明的實施例的影像混合模塊300對單一像素點執行影像混合的方法流程圖。如步驟S510所示，由第一張影像(例如可為目標影像Img1_HR)開始，影像混合模塊300對此像素點執行方向梯度運算以產生方向梯度值，其包括水平方向梯度值H_Gra、垂直方向梯度值V_Gra以及二對角線方向梯度值D-_Gra、D+_Gra(步驟S520)。其中，水平方向梯度值H_Gra為此像素點與兩個相鄰水平方向像素點的灰階差絕對值的和。垂直方向梯度值V_Gra為此像素點與兩個相鄰垂直方向像素點的灰階差絕對值的和。對角線方向梯度值D-_Gra、D+_Gra包括此像素點與二相鄰第一對角線方向像素點的灰階差絕對值的和以及此像素點與二相鄰第二對角線方向像素點的灰階差絕對值的和。接著在步驟S530中，影像混合模塊300還選擇上述方向梯度值中的數值最大者作為最大梯度值Max_Gra，及選擇上述方向梯度值中的數值最小者作為最小梯度值Min_Gra。步驟S540則計算此最大梯度值Max_Gra與最小梯度值Min_Gra的梯度差值Diff_Gra。步驟S550判斷是否為最后一張影像，若否，則進入下一張影像，直到每一張要做影像混合的影像皆計算出其梯度差值Diff_Gra后，才進入步驟S570。為了避免鬼影現象的產生，因此影像混合模塊300必須參考物體移動指標Map2、Map3以及Map4，當物體移動指標Map2、Map3以及Map4在此像素點為1時，代表有物體移動，則將比重Weight設定為0，使得此像素點不會作混合的動作。相反地，當物體移動指標Map2、Map3以及Map4在像素點被設定為0，則影像混合模塊300將比重設定為此像素點的梯度差值Diff_Gra，梯度差值Diff_Gra愈大代表影像有紋理或邊緣的存在，表示此像素點的影像資訊愈重要且更需要保留，因此以梯度差值Diff_Gra當作比重。影像混合模塊300利用上述比重對每一張影像的像素點進行比重和，其中比重和FV的計算公式如下：其中，n代表第n張影像，Weight[n]代表第n張影像其中之一像素點的比重，img[n]代表第n張影像其中之一像素點的灰階值。因此，目標影像Img1_HR與校正后影像CorrImg2_HR、CorrImg3_HR以及CorrImg4_HR中的每一個像素點皆進行如上所述的影像混合后，即可輸出超解析度影像Img1_SR。從另一觀點來看，圖6是依照本發明的一實施例所繪示的影像處理方法的流程圖，用于處理依據多數個第一解析度影像進行放大而產生的多數個第二解析度影像，其中，第二解析度影像其中之一為目標影像，剩余的第二解析度影像為多數個未選擇影像。請參照圖6，如步驟S610所示，估測未選擇影像相對于目標影像的多數個區塊位移量及多數個全域位移量，針對未選擇影像執行多數個位移量校正，以產生多數個校正后影像。在步驟S620中，判斷各區塊位移量與相對應的全域位移量的差值是否大于門檻值，并判斷目標影像的每一像素點與該些校正后影像的每一像素點間的一像素差異值是否大于一差異預定值，以產生多數個物體移動指標。最后如步驟S630所述，依據物體移動指標對目標影像的每一像素點與校正后影像的每一像素點進行算術運算以產生第三解析度影像，此第三解析度影像的解析度高于第二解析度影像的解析度。綜上所述，本發明能將單張或是多張低解析度影像放大產生的高解析度影像，利用多張高解析度影像混合以產生出一張具有高品質且富有豐富細節資訊的超解析度影像。在做影像混合之前，還會先偵測影像中是否存在個別物體移動，存在個別物體移動的影像區域則選擇單一影像放大，不做影像混合的動作，以此可避免多張影像混合容易產生的鬼影現象問題。對于其他須做影像混合的區域，則以梯度差值作為比重，可使混合后的超解析度影像保持影像銳利度，且可同時去除區塊效應及達到降低雜訊的功效。以上所述僅為舉例性，而非為限制性者。任何未脫離本發明的精神與范疇，而對其進行的等效修改或變更，均應包含于后附的權利要求范圍中。