專利名稱：拍攝圖像的失真校正方法和裝置、拍攝方法和拍攝裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及校正失真的方法和校正該失真的裝置以及拍攝裝置，所述失真是伴隨著光學(xué)縮放操作的被拍攝體圖像拍攝時(shí)的手抖等導(dǎo)致的拍攝圖像中產(chǎn)生的失真。
背景技術(shù)：
在例如攝像機(jī)和數(shù)碼相機(jī)等，將拍攝圖像電子式地存儲(chǔ)在拍攝元件中并讀出的電子式拍攝裝置中，在通過手持來進(jìn)行運(yùn)動(dòng)圖像的攝影時(shí)，如果所謂的手抖導(dǎo)致拍攝元件在拍攝圖像的水平方向和/或垂直方向上發(fā)生較高速的位置變化，則其在拍攝圖像中表現(xiàn)為圖像搖晃等圖像失真。
即在沒有手抖的情況下，在拍攝元件的拍攝面上，拍攝圖像的形成位置在同一位置，在排列了時(shí)間方向的多幀圖像的情況下，如圖48(A)所示，幀圖像全部在相同的位置重合。但是，如果發(fā)生手抖，則拍攝元件的拍攝面上形成的拍攝圖像的位置不會(huì)在同一位置，在排列了時(shí)間方向的多幀圖像的情況下，如圖48(B)所示，多幀圖像會(huì)搖動(dòng)。
特別是在望遠(yuǎn)側(cè)使用變焦透鏡時(shí)，手抖的現(xiàn)象明顯容易發(fā)生。在發(fā)生這樣的手抖現(xiàn)象時(shí)，靜止的設(shè)備搖動(dòng)，存在難以看到圖像的問題。還產(chǎn)生被拍攝體為模糊狀態(tài)的拍攝圖像的現(xiàn)象。
而且，在靜止畫面的攝影時(shí)，在將多幀圖像重合而得到拍攝輸出圖像的情況下，和上述情形相同，形成的拍攝圖像具有被拍攝體由于手抖而成為模糊狀態(tài)的圖像失真。
作為校正該手抖引起的圖像失真的方法，以往，提出了利用檢測(cè)手抖的傳感器的光學(xué)式手抖校正方式，和通過對(duì)拍攝圖像進(jìn)行數(shù)字信號(hào)處理來檢測(cè)手抖的同時(shí)進(jìn)行校正處理的無傳感器手抖校正方式。
目前市場(chǎng)上出現(xiàn)的民用設(shè)備中用于靜止畫面的手抖校正采用光學(xué)式手抖校正方式，使用陀螺傳感器或者加速度傳感器測(cè)定手抖向量，將其反饋給機(jī)構(gòu)系統(tǒng)，以高速地進(jìn)行控制，以使投射到CCD(Charge Coupled Device，電荷耦合裝置)成像器(imager)和CMOS(Complementary Metal OxideSemiconductor，互補(bǔ)金屬氧化物半導(dǎo)體)成像器等圖像傳感器(拍攝元件)中的像不引起抖動(dòng)。
作為這里所說的機(jī)構(gòu)系統(tǒng)，提出了由致動(dòng)器控制透鏡、棱鏡、成像器(或者與成像器一體化的模塊)的位置的機(jī)構(gòu)，分別稱為透鏡位移、棱鏡位移、成像器位移。
另一方面，無透鏡手抖校正方式是，例如專利文獻(xiàn)1(專利第3303312號(hào)公報(bào))和專利文獻(xiàn)2(特開平6-86149號(hào)公報(bào))等中記載的那樣，在從拍攝元件讀出的拍攝圖像數(shù)據(jù)中，檢測(cè)拍攝圖像的畫面單位的移動(dòng)向量，基于該移動(dòng)向量，移動(dòng)存儲(chǔ)在圖像存儲(chǔ)器中的拍攝圖像數(shù)據(jù)的讀出位置，從而進(jìn)行手抖校正的方式。
此外，作為在靜止畫面中實(shí)現(xiàn)無傳感器手抖校正的手段，具有以專利文獻(xiàn)3(特開平7-283999號(hào)公報(bào))為首的幾種提案。專利文獻(xiàn)3是，在不會(huì)產(chǎn)生手抖的短曝光時(shí)間內(nèi)連續(xù)拍攝幾張靜止畫面，求取該靜止畫面間的手抖向量，根據(jù)該手抖向量，一邊使上述連續(xù)拍攝的多張靜止畫面平行移動(dòng)(以及在輥軸方向旋轉(zhuǎn))一邊相加(或者平均化)，從而最終得到?jīng)]有手抖和低照度噪聲的高畫質(zhì)靜止畫面的算法。
上述專利文獻(xiàn)如下所示。
專利文獻(xiàn)1專利第3384459號(hào)公報(bào)專利文獻(xiàn)2特開平6-86149號(hào)公報(bào)專利文獻(xiàn)3特開平7-283999號(hào)公報(bào)但是，一般來說，在攝像機(jī)上設(shè)置縮放開關(guān)等光學(xué)縮放操作部，攝像者通過該光學(xué)縮放操作部進(jìn)行光學(xué)縮放操作，從而一邊拍攝運(yùn)動(dòng)圖像的同時(shí)能夠進(jìn)行光學(xué)縮放控制。
此時(shí)，光學(xué)縮放中的拍攝圖像在通過例如縮放而放大時(shí)，如圖49所示，將圖像的中心位置作為起始位置，隨著時(shí)間的推移，從該起始位置慢慢變大地發(fā)生變化。
但是，在伴隨著該光學(xué)縮放操作拍攝時(shí)，如果發(fā)生手抖，則有可能如圖50所示，圖像慢慢變大的起始位置從圖像的中心位置偏移，圖像失真。
如果能夠校正手抖，則降低了這樣的光學(xué)縮放時(shí)的失真，但在利用上述陀螺傳感器的光學(xué)式手抖校正中，與在入射光的光軸正交的方向上對(duì)光學(xué)透鏡和棱鏡或者拍攝元件進(jìn)行移位控制，而縮放控制是在沿著上述光軸的方向上對(duì)光學(xué)透鏡進(jìn)行移位控制，所以控制變得非常復(fù)雜。因此，以往，在光學(xué)縮放時(shí)停止光學(xué)式手抖校正。
此外，在無傳感器的手抖校正的情況下，根據(jù)從拍攝元件讀出的拍攝圖像數(shù)據(jù)檢測(cè)的手抖移動(dòng)向量是將由光學(xué)縮放引起的圖像的移動(dòng)向量分量和手抖移動(dòng)向量相加得到的，所以即使利用檢測(cè)到的手抖移動(dòng)向量進(jìn)行手抖校正，也不能除去手抖引起的圖像失真部分。因此，在無傳感器的手抖校正中，在光學(xué)縮放時(shí)，也不能進(jìn)行手抖校正。
如上所述，在以往的拍攝裝置中，不校正光學(xué)縮放時(shí)發(fā)生的手抖，因此，如果在光學(xué)縮放時(shí)發(fā)生手抖，會(huì)殘留例如圖50所示的光學(xué)縮放時(shí)的失真。該光學(xué)縮放時(shí)的手抖引起的失真在小型的監(jiān)視器畫面上比較不顯眼，但最近，圖像精度變高，如果在大畫面上享受圖像，不能無視上述光學(xué)縮放時(shí)的手抖引起的失真。
發(fā)明內(nèi)容
本發(fā)明鑒于以上的方面，其目的在于，除去光學(xué)縮放時(shí)的手抖引起的失真，得到?jīng)]有圖像失真的縮放圖像。
為了解決上述問題，技術(shù)方案1的發(fā)明提供一種拍攝圖像的失真校正方法，具有移動(dòng)向量檢測(cè)步驟，接收來自拍攝元件的圖像數(shù)據(jù)，從該圖像數(shù)據(jù)檢測(cè)拍攝圖像的1個(gè)畫面單位的移動(dòng)向量；光學(xué)縮放部分向量計(jì)算步驟，計(jì)算由于光學(xué)縮放而在上述拍攝圖像中產(chǎn)生的圖像移動(dòng)所對(duì)應(yīng)的光學(xué)縮放部分向量；向量減法步驟，從在上述移動(dòng)向量檢測(cè)步驟檢測(cè)到的移動(dòng)向量中減去在上述光學(xué)縮放部分向量計(jì)算步驟計(jì)算出的上述光學(xué)縮放部分向量；綜合(global)手抖向量計(jì)算步驟，在沒有執(zhí)行上述光學(xué)縮放時(shí)，基于上述移動(dòng)向量檢測(cè)步驟中檢測(cè)到的上述移動(dòng)向量，計(jì)算關(guān)于上述拍攝圖像的手抖向量，在執(zhí)行了上述光學(xué)縮放時(shí)，基于上述向量減法步驟的減法結(jié)果的移動(dòng)向量，計(jì)算關(guān)于上述拍攝圖像的手抖向量；以及手抖校正步驟，基于在上述綜合手抖向量計(jì)算步驟中算出的上述綜合手抖向量，校正上述拍攝圖像的手抖引起的圖像失真。
在上述結(jié)構(gòu)的技術(shù)方案1的發(fā)明中，計(jì)算在執(zhí)行光學(xué)縮放操作時(shí)，由于該光學(xué)縮放而在拍攝圖像中產(chǎn)生的圖像移動(dòng)所對(duì)應(yīng)的光學(xué)縮放部分向量。然后，在向量減法步驟中，從由移動(dòng)向量檢測(cè)步驟在拍攝圖像數(shù)據(jù)中檢測(cè)到的移動(dòng)向量中，減去算出的光學(xué)縮放部分向量。
從而，在向量減法步驟中，除去了在移動(dòng)向量檢測(cè)步驟檢測(cè)到的移動(dòng)向量中包含的光學(xué)縮放部分向量的分量。然后，基于在該向量減法步驟得到的減法結(jié)果的移動(dòng)向量，在綜合手抖向量計(jì)算步驟計(jì)算關(guān)于拍攝圖像的手抖向量。然后，基于在該綜合手抖向量計(jì)算步驟算出的綜合手抖向量，校正拍攝圖像的手抖失真。其結(jié)果是，對(duì)拍攝圖像實(shí)施沒有手抖分量的縮放。
利用本發(fā)明，除去光學(xué)縮放時(shí)的手抖引起的失真，得到?jīng)]有圖像失真的縮放圖像。
圖1是表示采用本發(fā)明的拍攝圖像的失真校正方法的第1實(shí)施方式的拍攝裝置的手抖移動(dòng)向量檢測(cè)部的結(jié)構(gòu)例的方框圖。
圖2是表示采用本發(fā)明的拍攝圖像的失真校正方法的第1實(shí)施方式的拍攝裝置結(jié)構(gòu)例的方框圖。
圖3是用于說明拍攝裝置的光學(xué)縮放控制的圖。
圖4是用于說明本發(fā)明的拍攝圖像的失真校正方法的實(shí)施方式的圖。
圖5(A)、圖5(B)是用于說明本發(fā)明的拍攝圖像的失真校正方法的實(shí)施方式的圖。
圖6(A)、圖6(B)是用于說明本發(fā)明的拍攝圖像的失真校正方法的實(shí)施方式的圖。
圖7是用于說明本發(fā)明的拍攝圖像的失真校正方法的實(shí)施方式的圖。
圖8是用于說明通過塊匹配檢測(cè)移動(dòng)向量的處理的圖。
圖9是用于說明通過塊匹配檢測(cè)移動(dòng)向量的處理的圖。
圖10是用于說明通過塊匹配檢測(cè)移動(dòng)向量的處理操作的流程圖。
圖11是用于說明本發(fā)明實(shí)施方式的檢測(cè)移動(dòng)向量的處理概要的圖。
圖12(A)、圖12(B)是用于說明本發(fā)明實(shí)施方式的檢測(cè)移動(dòng)向量的處理概要的圖。
圖13是用于說明本發(fā)明實(shí)施方式的檢測(cè)移動(dòng)向量的處理概要的圖。
圖14(A)、圖14(B)是用于說明在本發(fā)明的實(shí)施方式的檢測(cè)移動(dòng)向量的方法中，檢測(cè)正確的移動(dòng)向量的處理的例子的圖。
圖15是用于說明在本發(fā)明的實(shí)施方式的檢測(cè)移動(dòng)向量的方法中，檢測(cè)正確的移動(dòng)向量的處理的例子的圖。
圖16是用于說明本發(fā)明實(shí)施方式的檢測(cè)移動(dòng)向量的處理的概要的圖。
圖17是用于說明本發(fā)明實(shí)施方式的檢測(cè)移動(dòng)向量的處理的概要的圖。
圖18(A)、圖18(B)是用于說明在本發(fā)明的實(shí)施方式的檢測(cè)移動(dòng)向量的方法中，檢測(cè)正確的移動(dòng)向量的處理的例子的圖。
圖19是用于說明在本發(fā)明的實(shí)施方式的檢測(cè)移動(dòng)向量的方法中，檢測(cè)正確的移動(dòng)向量的處理的例子的圖。
圖20是用于說明在本發(fā)明的實(shí)施方式的檢測(cè)移動(dòng)向量的方法中，檢測(cè)正確的移動(dòng)向量的處理的例子的圖。
圖21(A)、圖21(B)是用于說明在本發(fā)明的實(shí)施方式的檢測(cè)移動(dòng)向量的方法中，檢測(cè)正確的移動(dòng)向量的處理的例子的圖。
圖22(A)～圖22(D)是用于說明在本發(fā)明的實(shí)施方式的檢測(cè)移動(dòng)向量的方法中，檢測(cè)正確的移動(dòng)向量的處理的例子的圖。
圖23是用于說明在本發(fā)明的實(shí)施方式的檢測(cè)移動(dòng)向量的方法中，檢測(cè)正確的移動(dòng)向量的處理的例子的圖。
圖24是用于說明在本發(fā)明的實(shí)施方式的檢測(cè)移動(dòng)向量的方法中，檢測(cè)正確的移動(dòng)向量的處理的例子的圖。
圖25(A)、圖25(B)是用于說明在本發(fā)明的實(shí)施方式的檢測(cè)移動(dòng)向量的方法中，檢測(cè)正確的移動(dòng)向量的處理的例子的圖。
圖26是用于說明在本發(fā)明的實(shí)施方式的檢測(cè)移動(dòng)向量的方法中，檢測(cè)正確的移動(dòng)向量的處理的例子的圖。
圖27是用于說明在本發(fā)明的實(shí)施方式的檢測(cè)移動(dòng)向量的方法中，檢測(cè)正確的移動(dòng)向量的處理的例子的圖。
圖28(A)～圖28(D)是用于說明在本發(fā)明的實(shí)施方式的檢測(cè)移動(dòng)向量的方法中，檢測(cè)正確的移動(dòng)向量的處理的例子的圖。
圖29是用于說明本發(fā)明的實(shí)施方式的檢測(cè)移動(dòng)向量的方法的處理性能的圖。
圖30是用于說明本發(fā)明實(shí)施方式的檢測(cè)移動(dòng)向量的方法的實(shí)施方式的概要的圖。
圖31是用于和現(xiàn)有技術(shù)比較并說明本發(fā)明的實(shí)施方式的檢測(cè)移動(dòng)向量的方法的特征時(shí)采用的圖。
圖32是用于和現(xiàn)有技術(shù)比較并說明本發(fā)明的實(shí)施方式的檢測(cè)移動(dòng)向量的方法的特征時(shí)采用的圖。
圖33是用于和現(xiàn)有技術(shù)比較并說明本發(fā)明的實(shí)施方式的檢測(cè)移動(dòng)向量的方法的特征時(shí)采用的圖。
圖34是示出用于說明本發(fā)明的拍攝裝置的第1實(shí)施方式的移動(dòng)向量檢測(cè)處理的第1例的流程圖的一部分的圖。
圖35是示出用于說明本發(fā)明的拍攝裝置的第1實(shí)施方式的移動(dòng)向量檢測(cè)處理的第1例的流程圖的一部分的圖。
圖36是示出用于說明本發(fā)明的拍攝裝置的第1實(shí)施方式的移動(dòng)向量檢測(cè)處理的第2例的流程圖的一部分的圖。
圖37是示出用于說明本發(fā)明的拍攝裝置的第1實(shí)施方式的移動(dòng)向量檢測(cè)處理的第2例的流程圖的一部分的圖。
圖38是示出用于說明本發(fā)明的拍攝裝置的第1實(shí)施方式的移動(dòng)向量檢測(cè)處理的第3例的流程圖的一部分的圖。
圖39是示出用于說明本發(fā)明的拍攝裝置的第1實(shí)施方式的移動(dòng)向量檢測(cè)處理的第3例的流程圖的一部分的圖。
圖40是示出用于說明本發(fā)明的拍攝裝置的第1實(shí)施方式的移動(dòng)向量檢測(cè)處理的第3例的流程圖的一部分的圖。
圖41是示出用于說明本發(fā)明的拍攝裝置的第1實(shí)施方式的移動(dòng)向量檢測(cè)處理的第3例的流程圖的一部分的圖。
圖42是示出用于說明本發(fā)明的拍攝裝置的第1實(shí)施方式的全部處理動(dòng)作的流程圖的一部分的圖。
圖43是示出采用本發(fā)明的拍攝圖像失真校正方法的第2實(shí)施方式的拍攝裝置的結(jié)構(gòu)例的方框圖。
圖44是用于說明拍攝裝置的第2實(shí)施方式的移動(dòng)向量檢測(cè)處理的圖。
圖45是用于說明拍攝裝置的第2實(shí)施方式的移動(dòng)向量檢測(cè)處理的圖。
圖46是示出用于說明拍攝裝置的第2實(shí)施方式的移動(dòng)向量檢測(cè)處理的例子的流程圖的一部分的圖。
圖47是示出用于說明拍攝裝置的第2實(shí)施方式的移動(dòng)向量檢測(cè)處理的例子的流程圖的一部分的圖。
圖48(A)、圖48(B)是用于說明拍攝圖像的手抖的圖。
圖49是用于說明進(jìn)行了光學(xué)縮放時(shí)拍攝圖像的移動(dòng)的圖。
圖50是用于說明在進(jìn)行了光學(xué)縮放時(shí)，產(chǎn)生手抖時(shí)的拍攝圖像的移動(dòng)的例子的圖。
符號(hào)說明101原幀，102參照幀，103目標(biāo)塊，105查找范圍，106參照塊，107參照向量，15手抖移動(dòng)向量檢測(cè)部分，16失真校正分辨率變換部分，19圖像模糊校正處理部分，41～43幀存儲(chǔ)器，151移動(dòng)向量檢測(cè)處理部分，152光學(xué)縮放部分向量計(jì)算部分，153光學(xué)縮放部分向量減法部分，TBLs縮小SAD表，TBLo以往的SAD表，RV參照向量，CV參照縮小向量，NV1～NV4鄰近參照向量具體實(shí)施方式
以下，參照附圖，以用于拍攝裝置的情況下為例，說明本發(fā)明的拍攝圖像的失真校正裝置和方法的實(shí)施方式。
圖2示出了采用本發(fā)明的拍攝圖像的失真校正方法的第1實(shí)施方式的拍攝裝置的整體的結(jié)構(gòu)例的方框圖。
如圖2所示，本實(shí)施方式的拍攝裝置在將CPU(Central Processing Unit，中央處理單元)1連接到系統(tǒng)總線2上的同時(shí)，將拍攝信號(hào)處理系統(tǒng)10、用戶操作輸入部分3、圖像存儲(chǔ)部分4、記錄再現(xiàn)裝置部分5等連接到系統(tǒng)總線2上。而且，在本說明書中，CPU1包含存儲(chǔ)執(zhí)行各種軟件處理的程序的ROM(Read Only Memory，只讀存儲(chǔ)器)和工作區(qū)域用RAM等。
在本實(shí)施方式的拍攝裝置的殼體的規(guī)定位置上，安裝作為用戶(攝影者)操作的光學(xué)縮放操作部的例子的縮放開關(guān)7。該縮放開關(guān)7由例如壓扳式的按鈕開關(guān)構(gòu)成，將用戶的操作信息提供給CPU1。
而且，在該實(shí)施方式中，具有拍攝用的透鏡等的照相機(jī)光學(xué)系統(tǒng)10L具有包含致動(dòng)器的縮放機(jī)構(gòu)8。在該例子中，如圖3所示，該縮放機(jī)構(gòu)8使照相機(jī)光學(xué)系統(tǒng)10L的透鏡110L的位置在沿著入射光的光軸10ax方向的方向上變化。在圖3中，P1、P2、P3表示縮放位置，拍攝圖像是和各個(gè)縮放位置對(duì)應(yīng)的圖像。
然后，從CPU1將對(duì)應(yīng)于用戶通過縮放開關(guān)7產(chǎn)生的縮放操作信息而產(chǎn)生的縮放控制信號(hào)CTL提供給該縮放機(jī)構(gòu)8，照相機(jī)光學(xué)系統(tǒng)10L的透鏡位置被控制，并進(jìn)行縮放控制。
換言之，如果由用戶通過縮放開關(guān)7在放大方向上操作，則利用來自CPU1的縮放控制信號(hào)CTL控制縮放機(jī)構(gòu)8，拍攝透鏡系統(tǒng)成為長(zhǎng)焦點(diǎn)(望遠(yuǎn))側(cè)，而且，如果在縮小方向上操作，則利用來自CPU1的縮放控制信號(hào)CTL控制縮放機(jī)構(gòu)8，拍攝透鏡系統(tǒng)成為短焦點(diǎn)側(cè)。
在圖2例示的拍攝裝置中，接受通過用戶操作輸入部分3的拍攝記錄開始操作，執(zhí)行后述的拍攝圖像數(shù)據(jù)的記錄處理。而且，圖2的拍攝裝置接受通過用戶操作輸入部分3的拍攝記錄圖像再現(xiàn)開始操作，執(zhí)行記錄在記錄再現(xiàn)裝置部分5的記錄介質(zhì)中的拍攝圖像數(shù)據(jù)的再現(xiàn)處理。
如圖2所示，通過具有拍攝透鏡10L的照相機(jī)光學(xué)系統(tǒng)(省略圖示)的、來自被拍攝體的入射光被照射到拍攝元件11上并被拍攝。拍攝元件11由CCD成像器和CMOS成像器構(gòu)成。
在本例的拍攝裝置中，一旦執(zhí)行了拍攝記錄開始操作，則通過來自定時(shí)信號(hào)產(chǎn)生部分12的定時(shí)信號(hào)對(duì)拍攝圖像數(shù)據(jù)進(jìn)行采樣，從拍攝元件11輸出由紅(R)、綠(G)、藍(lán)(B)三原色構(gòu)成的拜耳排列的RAW信號(hào)即數(shù)字拍攝信號(hào)。
將輸出的拍攝信號(hào)提供給預(yù)處理部分13，實(shí)施缺陷補(bǔ)正和γ校正等預(yù)處理，并提供給數(shù)據(jù)變換部分14。數(shù)據(jù)變換部分14從輸入其中的拍攝信號(hào)變換成由亮度信號(hào)分量Y和色差信號(hào)分量Cb/Cr構(gòu)成的數(shù)字拍攝信號(hào)(YC數(shù)據(jù))，將該數(shù)字拍攝信號(hào)通過系統(tǒng)總線提供給圖像存儲(chǔ)部分4。
在圖2的例子中，圖像存儲(chǔ)部分4由兩個(gè)幀存儲(chǔ)器41、42構(gòu)成，來自數(shù)據(jù)變換部分14的數(shù)字拍攝信號(hào)首先存儲(chǔ)在幀存儲(chǔ)器41中。然后，如果1幀經(jīng)過，則存儲(chǔ)在幀存儲(chǔ)器41中的數(shù)字拍攝信號(hào)被傳送到幀存儲(chǔ)器42中，同時(shí)來自數(shù)據(jù)變換部分14的新的幀的數(shù)字拍攝信號(hào)寫入到幀存儲(chǔ)器41中。因此，比存儲(chǔ)在幀存儲(chǔ)器41中的幀圖像前一幀的幀圖像被存儲(chǔ)在幀存儲(chǔ)器42中。
在本實(shí)施方式中，手抖移動(dòng)向量檢測(cè)部分15從拍攝圖像數(shù)據(jù)中檢測(cè)拍攝圖像的移動(dòng)向量，檢測(cè)手抖移動(dòng)向量。而且，特別是在拍攝時(shí)，在伴隨著光學(xué)縮放操作時(shí)，手抖移動(dòng)向量檢測(cè)部分15以后述方式檢測(cè)在除去光學(xué)縮放引起的圖像移動(dòng)分量即光學(xué)縮放部分向量后的手抖移動(dòng)向量。因此，如后所述，將與從CPU1對(duì)縮放開關(guān)7的操作對(duì)應(yīng)的縮放信息ZM提供給手抖移動(dòng)向量檢測(cè)部分15。
作為從拍攝圖像數(shù)據(jù)中檢測(cè)移動(dòng)向量的方法，如后所述，采用求出2個(gè)畫面之間的相關(guān)性的塊匹配。手抖移動(dòng)向量檢測(cè)部分15通過系統(tǒng)總線2訪問圖像存儲(chǔ)部分4的兩個(gè)幀存儲(chǔ)器41和幀存儲(chǔ)器42，讀出其存儲(chǔ)的拍攝圖像數(shù)據(jù)，執(zhí)行基于該拍攝圖像數(shù)據(jù)的移動(dòng)向量檢測(cè)處理。此時(shí)，使存儲(chǔ)在幀存儲(chǔ)器42中的幀圖像為后述的原幀的圖像，而且，使存儲(chǔ)在幀存儲(chǔ)器41中的幀圖像為后述的參照幀的圖像。
然后，手抖移動(dòng)向量檢測(cè)部分15將該檢測(cè)結(jié)果即手抖移動(dòng)向量作為控制信號(hào)傳送至后一級(jí)的分辨率變換部分16。
分辨率變換部分16進(jìn)行以下處理，即一邊根據(jù)從手抖移動(dòng)向量檢測(cè)部分15接受的手抖移動(dòng)向量(綜合手抖向量)，切出存儲(chǔ)在幀存儲(chǔ)器42中的延遲幀的圖像數(shù)據(jù)，一邊變換為需要的分辨率和圖像大小。通過從該幀存儲(chǔ)器42按照算出的圖像失真補(bǔ)正量進(jìn)行切出，變換后的圖像成為以像素單位除去手抖后的圖像。
基于來自該分辨率變換部分16的手抖除去圖像失真后的圖像數(shù)據(jù)利用NTSC(National Television System Committee，國(guó)家電視系統(tǒng)委員會(huì))編碼器18變換成NTSC方式的標(biāo)準(zhǔn)彩色圖像信號(hào)，提供給構(gòu)成電子式觀測(cè)器的監(jiān)視器顯示器6，在其顯示畫面上監(jiān)視器顯示拍攝時(shí)的圖像。
與該監(jiān)視器顯示并行，來自分辨率變換部分16的除去手抖后的圖像數(shù)據(jù)在編碼部分17中進(jìn)行記錄調(diào)制等編碼處理后，提供給記錄再現(xiàn)裝置部分5，記錄在DVD(Digital Versatile Disc，數(shù)字化視頻光盤)等光盤和硬盤等記錄介質(zhì)上。
對(duì)應(yīng)于通過用戶操作輸入部分3的再現(xiàn)開始操作，讀出記錄在該記錄再現(xiàn)裝置部分5的記錄介質(zhì)上的拍攝圖像數(shù)據(jù)，提供給編碼部分17，進(jìn)行再現(xiàn)編碼。然后，被再現(xiàn)編碼的圖像數(shù)據(jù)通過NTSC編碼器18提供給監(jiān)視器顯示器6，在其顯示畫面上顯示再現(xiàn)圖像。而且，在圖1中，省略了圖示，但來自NTSC編碼器18的輸出圖像信號(hào)可以通過圖像輸出端子導(dǎo)出到外部。
在圖1中，示出了本實(shí)施方式的手抖移動(dòng)向量檢測(cè)部分15的構(gòu)成例的方框圖。本實(shí)施方式的手抖移動(dòng)向量檢測(cè)部分15具有移動(dòng)向量檢測(cè)處理部分151、光學(xué)縮放部分向量計(jì)算部分152、光學(xué)縮放部分向量減法部分153、選擇器154、綜合手抖向量計(jì)算部分155和定時(shí)控制部分156。
在CPU1的控制下，定時(shí)控制部分156將定時(shí)信號(hào)提供給各個(gè)部件。
移動(dòng)向量檢測(cè)處理部分151基于來自定時(shí)控制部分156的定時(shí)控制信號(hào)而動(dòng)作，從由圖像存儲(chǔ)部分4讀出的兩個(gè)畫面的圖像數(shù)據(jù)中，檢測(cè)拍攝圖像的移動(dòng)向量。
在本例中，如后面的詳細(xì)描述，在本實(shí)施方式中，如圖4所示，在1個(gè)畫面FL中，設(shè)定多個(gè)目標(biāo)區(qū)域TG，在本例中，是水平方向4個(gè)、開關(guān)(switch)方向4個(gè)總共16個(gè)目標(biāo)區(qū)域TG，在移動(dòng)向量檢測(cè)處理部分151中，對(duì)于該多個(gè)目標(biāo)區(qū)域TGi(在該例子中，i＝1，2，...，16)分別檢測(cè)移動(dòng)向量MVi(在該例子中，i＝1，2，...，16)(參照?qǐng)D5(A))。
然后，移動(dòng)向量檢測(cè)處理部分151根據(jù)來自定時(shí)控制部分156的定時(shí)控制信號(hào)的控制，將檢測(cè)到的多個(gè)移動(dòng)向量提供給選擇器154的一個(gè)輸入端A的同時(shí)，提供給光學(xué)縮放部分向量減法部分153。
在用戶通過縮放開關(guān)7執(zhí)行縮放操作時(shí)，光學(xué)縮放部分向量計(jì)算部分152根據(jù)來自定時(shí)控制部分156的定時(shí)控制信號(hào)的控制，利用來自CPU1的縮放信息ZM，計(jì)算光學(xué)縮放部分向量。
在本例中，光學(xué)縮放部分向量計(jì)算部分152計(jì)算由移動(dòng)向量檢測(cè)處理部分151檢測(cè)到移動(dòng)向量的上述各個(gè)目標(biāo)區(qū)域TGi的光學(xué)縮放部分向量Z Vi(在該例子中，i＝1，2，...，16)(參照?qǐng)D5(B))。然后，光學(xué)縮放部分向量計(jì)算部分152將算出的各個(gè)光學(xué)縮放部分向量ZVi提供給光學(xué)縮放部分向量減法部分153。
基于從開始操作縮放開關(guān)7的時(shí)刻起經(jīng)過的時(shí)間t、縮放速度v、如圖4所示的各目標(biāo)區(qū)域TGi的中心位置和畫面FL的中心位置Co之間的距離di(在本例中，i＝1～16)，求各目標(biāo)區(qū)域TGi的光學(xué)縮放部分向量ZVi的大小。
縮放速度v是將拍攝透鏡110L在沿著圖3的箭頭所示的光軸10ax的方向上在1幀圖像區(qū)間之間移動(dòng)的距離除以1幀的時(shí)間后得到的值。對(duì)每1畫面確定縮放速度v。一般來說，縮放速度v和從開始操作縮放開關(guān)7的時(shí)刻起經(jīng)過的時(shí)間t成比例地增大。
1個(gè)畫面內(nèi)的各目標(biāo)區(qū)域TGi的光學(xué)縮放部分向量的大小是和各目標(biāo)區(qū)域TGi的中心位置與畫面FL的中心位置Co之間的距離di成比例的值。
換言之，如果已知從開始操作縮放開關(guān)7的時(shí)刻起經(jīng)過的時(shí)間t，則可以求出縮放速度v，如果求得縮放速度v，則可以求出該幀的各目標(biāo)區(qū)域TGi的光學(xué)縮放部分向量的大小。
而且，如圖5(B)所示，各目標(biāo)區(qū)域TGi的光學(xué)縮放部分向量ZVi的方向是沿著從畫面FL的中心位置Co朝向各目標(biāo)區(qū)域TGi的中心位置的方向。
在用戶通過縮放開關(guān)7執(zhí)行了縮放操作時(shí)，CPU1在生成縮放控制信號(hào)CTL而提供給縮放機(jī)構(gòu)8的同時(shí)，將由縮放速度v的信息和從用戶開始縮放時(shí)起經(jīng)過的時(shí)間t的信息構(gòu)成的縮放信息ZM提供給光學(xué)縮放部分向量計(jì)算部分152。
光學(xué)縮放部分向量計(jì)算部分152利用來自該CPU1的縮放信息ZM，如上所述，求出各目標(biāo)區(qū)域TGi的光學(xué)縮放部分向量ZVi，將求出的光學(xué)縮放部分向量ZVi提供給光學(xué)縮放部分向量減法部分153。
光學(xué)縮放部分向量減法部分153對(duì)于上述各個(gè)目標(biāo)區(qū)域TGi，求來自移動(dòng)向量檢測(cè)處理部分151的每個(gè)移動(dòng)向量MVi(圖5(A))和來自光學(xué)縮放部分向量計(jì)算部分152的每個(gè)光學(xué)縮放部分向量ZVi(圖5(B))的差分的向量Vec(參照?qǐng)D6(A))。然后，將求出的差分向量Veci(在本例中，i＝1，2，...，16)(參照?qǐng)D6(B))提供給選擇器154的另一輸入端B。
CPU1將選擇控制信號(hào)SEL提供給選擇器154，使得在用戶通過縮放開關(guān)7執(zhí)行了縮放操作時(shí)，從選擇器154選擇輸入到輸入端B的來自光學(xué)縮放部分向量減法部分153的向量并輸出，在其它時(shí)刻，選擇輸入到輸入端A的來自移動(dòng)向量檢測(cè)處理部分151的移動(dòng)向量并輸出。選擇器154將對(duì)應(yīng)于選擇控制信號(hào)SEL的選擇控制而選擇的向量提供給綜合手抖向量計(jì)算部分155。
因此，在沒有執(zhí)行縮放操作的攝像時(shí)，綜合手抖向量計(jì)算部分155接受來自移動(dòng)向量檢測(cè)處理部分151的多個(gè)移動(dòng)向量Mvi，一邊加入從過去的幀的那些移動(dòng)向量Mvi起的推移，一邊進(jìn)行統(tǒng)計(jì)處理，從而能夠?qū)?幀確定1個(gè)綜合向量GVec，即幀的手抖向量，并提供給分辨率變換部分16。
而且，在執(zhí)行了縮放操作的攝像時(shí)，綜合手抖向量計(jì)算部分155接受來自光學(xué)縮放部分向量減法部分153的差分向量Veci，一邊加入從過去的幀的那些向量Veci起的推移，一邊進(jìn)行統(tǒng)計(jì)處理，從而對(duì)1幀確定1個(gè)綜合向量GVec，即幀的手抖向量，并提供給分辨率變換部分16。
如前所述，分辨率變換部分16執(zhí)行以下的處理根據(jù)該綜合手抖向量GVec，一邊切出存儲(chǔ)在幀存儲(chǔ)器42中的延遲幀的圖像數(shù)據(jù)，一邊變換為需要的分辨率和圖像大小。
因此，在伴隨著縮放操作拍攝時(shí)，如圖7所示，得到手抖被除去的縮放攝影圖像。
在本實(shí)施方式中，不全部使用光學(xué)式的手抖校正而執(zhí)行無傳感器的手抖校正。而且，在手抖移動(dòng)向量檢測(cè)部分15的移動(dòng)向量檢測(cè)處理部分151中，作為檢測(cè)拍攝圖像的手抖移動(dòng)向量的方法，利用求出兩個(gè)畫面之間的相關(guān)性的塊匹配。采用塊匹配的方法不需要陀螺(角速度)傳感器等機(jī)械部件，所以在能夠?qū)崿F(xiàn)拍攝裝置的小型、輕質(zhì)化這一點(diǎn)上是有利的。
圖8和圖9示出了塊匹配的概要。而且，在圖10中，示出了該處理流程圖的一般例子。
塊匹配是如下的方法對(duì)于來自拍攝裝置的拍攝圖像，通過對(duì)規(guī)定大小的矩形區(qū)域的塊計(jì)算參照畫面和原畫面的相關(guān)性，從而計(jì)算關(guān)注畫面即參照畫面和該參照畫面的前一畫面的拍攝畫面即原畫面之間的1畫面單位的移動(dòng)向量。
而且，這里畫面的意思是，由1幀或者1場(chǎng)的圖像數(shù)據(jù)構(gòu)成的圖像，但在該說明書中，為了說明的方便，假設(shè)畫面是由1幀構(gòu)成的，將畫面稱為幀。因此，參照畫面稱為參照幀，原畫面稱為原幀。
例如，參照幀的圖像數(shù)據(jù)是來自拍攝裝置的當(dāng)前幀的圖像數(shù)據(jù)，或者當(dāng)前幀的圖像數(shù)據(jù)存儲(chǔ)在幀存儲(chǔ)器中，被延遲了1幀。原幀的圖像數(shù)據(jù)是參照幀的圖像數(shù)據(jù)被進(jìn)一步存儲(chǔ)在幀存儲(chǔ)器中，被延遲了1幀。
圖8和圖9是用于說明現(xiàn)有的塊匹配的概要的圖。而且，圖10是現(xiàn)有的塊匹配處理的流程圖的1個(gè)例子。
在塊匹配中，如圖8所示，在原幀101的任意規(guī)定位置上，設(shè)定由水平方向的多個(gè)像素和垂直方向的多行構(gòu)成的規(guī)定大小的矩形區(qū)域所組成的目標(biāo)塊103。
與此相對(duì)的是，在參照幀102中，在和原幀的目標(biāo)塊103的位置相同的位置上，假定目標(biāo)塊的投影圖像塊104(參照?qǐng)D8的虛線)，設(shè)定將該目標(biāo)塊的投影圖像塊104作為中心的查找范圍105(參照?qǐng)D8的點(diǎn)劃線)，同時(shí)考慮和目標(biāo)塊103相同大小的參照塊106。
然后，在參照幀102的查找范圍105內(nèi)移動(dòng)該參照塊106的位置，在各個(gè)位置上求出參照塊106中包含的圖像內(nèi)容和目標(biāo)塊103的圖像內(nèi)容的相關(guān)性，檢測(cè)作為相關(guān)性最強(qiáng)而被檢測(cè)的參照塊106的位置，作為原幀的目標(biāo)塊103在參照幀102中移動(dòng)的位置。然后，檢測(cè)該檢測(cè)出的參照幀106的位置和目標(biāo)塊的位置之間的位置偏移量，作為包含方向分量的移動(dòng)向量。
此時(shí)，參照塊106以1個(gè)像素或者多個(gè)像素單位在例如水平方向和垂直方向上在查找范圍105中移動(dòng)。因此，在查找范圍105中設(shè)定了多個(gè)參照塊。
這里，通過求出目標(biāo)塊103內(nèi)的各像素的亮度值和參照塊106內(nèi)對(duì)應(yīng)的各像素的亮度值的差分絕對(duì)值對(duì)于塊內(nèi)所有像素的總和(將該差分絕對(duì)值的總和稱為差分絕對(duì)值和。以下，將該差分絕對(duì)值和記為SAD(Sum of AbsoluteDifference))，來檢測(cè)目標(biāo)塊103和在查找范圍105中移動(dòng)的各參照塊16的相關(guān)性。換言之，SAD值最小的位置的參照塊106作為相關(guān)性最強(qiáng)的參照塊被檢測(cè)，檢測(cè)該被檢出的參照塊106相對(duì)于目標(biāo)塊103的位置的偏移量，作為移動(dòng)向量。
在塊匹配中，查找范圍105內(nèi)設(shè)定的多個(gè)參照塊106中的各個(gè)參照塊相對(duì)于目標(biāo)塊103的位置的位置偏移量用包含方向分量的參照向量107(參照?qǐng)D8)表示。各參照塊106的參照向量107成為和參照塊106的參照幀102上的位置對(duì)應(yīng)的值，但在現(xiàn)有的塊匹配中，檢測(cè)SAD值最小的參照塊106的參照向量，作為移動(dòng)向量。
因此，在塊匹配中，一般來說，如圖9所示，使在查找范圍105內(nèi)設(shè)定的多個(gè)參照塊106的分別與目標(biāo)塊103之間的SAD值(以下，為了說明的簡(jiǎn)便，稱為關(guān)于參照塊的SAD值)，與各個(gè)參照塊106的位置所對(duì)應(yīng)的各個(gè)參照向量107對(duì)應(yīng)，并存儲(chǔ)在存儲(chǔ)器中，從關(guān)于存儲(chǔ)在該存儲(chǔ)器中的全部參照塊106的SAD值中，檢測(cè)SAD值最小的參照塊106，從而檢測(cè)移動(dòng)向量110。
與對(duì)應(yīng)于查找范圍105內(nèi)設(shè)定的多個(gè)參照塊106的位置的各個(gè)參照向量107對(duì)應(yīng)，將存儲(chǔ)關(guān)于各個(gè)參照塊106的SAD值的表格稱為差分絕對(duì)值和表(以下，稱為SAD表)。圖4的SAD表108示出了該差分絕對(duì)值和表，在該SAD表108中，將關(guān)于各個(gè)參照塊106的SAD值稱為SAD表要素109。
而且，在上述說明中，目標(biāo)塊103和參照塊106的位置表示這些塊的任意特定位置，例如中心位置，參照向量107表示參照幀102的目標(biāo)塊103的投影圖像塊104的位置和參照塊106的位置之間的偏移量(包含方向)。在圖8和圖9的例子中，是使目標(biāo)塊103位于幀的中心位置的情況。
而且，和各參照塊106對(duì)應(yīng)的參照向量107是各參照塊106相對(duì)于與參照幀102上的目標(biāo)塊103對(duì)應(yīng)的位置的位置偏移，所以如果參照塊106的位置確定，則參照向量的值也對(duì)應(yīng)于該位置而被確定。因此，如果SAD表108的存儲(chǔ)器中的參照塊的SAD表要素的地址被確定，則對(duì)應(yīng)的參照向量也被確定。
參照?qǐng)D10的流程圖說明以上說明的現(xiàn)有塊匹配處理，如下所示。
首先，指定查找范圍105內(nèi)的1個(gè)參照塊Ii，這和指定與該參照塊Ii對(duì)應(yīng)的參照向量是等價(jià)的(步驟S1)。這里，在圖10中，(vx，vy)是將目標(biāo)塊的幀上的位置作為基準(zhǔn)位置(0，0)時(shí)，用指定的參照向量表示的位置，vx是利用指定的參照向量的、離基準(zhǔn)位置的水平方向的偏移量，vy是利用指定的參照向量的、離基準(zhǔn)位置的垂直方向的偏移量。
這里，偏移量vx、vy是以像素作為單位的值，例如，vx＝+1表示相對(duì)于基準(zhǔn)位置(0，0)，向水平方向的右方向偏移了1個(gè)像素的位置，vx＝-1表示相對(duì)于基準(zhǔn)位置(0，0)，向水平方向的左方向偏移了1個(gè)像素的位置。而且，例如vy＝+1表示相對(duì)于基準(zhǔn)位置(0，0)，向垂直方向的下方偏移了1個(gè)像素的位置，vy＝-1表示相對(duì)于基準(zhǔn)位置(0，0)，向垂直方向的上方偏移了1個(gè)像素的位置。
如上所述，(vx，vy)表示用參照向量表示的、相對(duì)于基準(zhǔn)位置的位置(以下，為簡(jiǎn)單起見，稱為用參照向量表示的位置)，和各個(gè)參照向量對(duì)應(yīng)。換言之，當(dāng)使vx和vy為整數(shù)時(shí)，(vx，vy)表示各個(gè)參照向量。因此，在以下的說明中，將示出(vx，vy)的位置的參照向量記為參照向量(vx，vy)。
這里，將查找范圍的中心位置設(shè)為目標(biāo)塊的位置，即上述基準(zhǔn)位置(0，0)，將查找范圍在水平方向上設(shè)為±Rx，在垂直方向上設(shè)為±Ry時(shí)，成為-Rx≤vx≤+Rx，-Ry≤vy≤+Ry。
下面，指定目標(biāo)塊Io內(nèi)的1個(gè)像素的坐標(biāo)(x，y)(步驟S2)。接著，計(jì)算目標(biāo)塊Io內(nèi)的指定的1個(gè)坐標(biāo)(x，y)的像素值Io(x，y)和參照塊Ii內(nèi)的對(duì)應(yīng)像素位置的像素值Ii(x+vx，y+vy)的差分的絕對(duì)值α(步驟S3)。換言之，差分絕對(duì)值α用下述公式計(jì)算α＝|Io(x，y)-Ii(x+vx，y+vy)|...(式1)然后，將該算出的差分絕對(duì)值α和該參照塊Ii的參照向量(vx，vy)指示的地址(表要素)的、到目前為止的SAD值相加，將該相加的SAD值寫回到該地址中(步驟S4)。即如果將與參照向量(vx，vy)對(duì)應(yīng)的SAD值表示為SAD(vx，vy)，則計(jì)算為SAD(vx，vy)＝∑α＝∑|Io(x，y)-Ii(x+vx，y+vy)|...(式2)寫入該參照向量(vx，vy)指示的地址。
接著，對(duì)于目標(biāo)塊Io內(nèi)全部坐標(biāo)(x，y)的像素，判斷是否執(zhí)行了上述計(jì)算(步驟S5)，在判斷為對(duì)目標(biāo)塊Io內(nèi)全部坐標(biāo)(x，y)的像素的計(jì)算還沒有結(jié)束時(shí)，退回到步驟S2，指定目標(biāo)塊Io內(nèi)下一坐標(biāo)(x，y)的像素位置，重復(fù)步驟S2以后的處理。
而且，在步驟S5中，在判斷為對(duì)目標(biāo)塊Io內(nèi)全部坐標(biāo)(x，y)的像素執(zhí)行了上述計(jì)算時(shí)，判斷為關(guān)于該參照塊的SAD值的計(jì)算已經(jīng)結(jié)束，并判斷關(guān)于查找范圍內(nèi)的全部參照塊，即，全部參照向量(vx，vy)的上述計(jì)算處理是否結(jié)束(步驟S6)。
在步驟S6中，如果判斷為還存在沒有結(jié)束上述計(jì)算處理的參照向量(vx，vy)，則退回到步驟S1，設(shè)定沒有結(jié)束上述計(jì)算處理的下一參照向量(vx，vy)，重復(fù)步驟S1以后的處理。
然后，在步驟S6中，如果判斷為在查找范圍內(nèi)已不存在沒有結(jié)束上述計(jì)算處理的參照向量(vx，vy)，則認(rèn)為SAD表完成，在該完成的SAD表中，檢測(cè)成為最小值的SAD值(步驟S7)。然后，檢測(cè)和成為最小值的SAD值的地址對(duì)應(yīng)的參照向量，作為移動(dòng)向量(步驟S8)。這里，如果將SAD的最小值寫成SAD(mx，my)，則計(jì)算作為目標(biāo)的移動(dòng)向量，作為表示位置(mx，my)的向量(mx，my)。
以上，利用對(duì)1個(gè)目標(biāo)塊的塊匹配的移動(dòng)向量檢測(cè)處理結(jié)束。
利用以上的塊匹配的無傳感器手抖移動(dòng)向量檢測(cè)方法的情況下，原理上可以實(shí)現(xiàn)像素精度的手抖向量檢測(cè)，而且能夠削減傳感器和透鏡移位器等機(jī)構(gòu)，所以在成本上也是相當(dāng)優(yōu)越的。
但是，在依賴于上述現(xiàn)有塊匹配的技術(shù)的延伸下，和1個(gè)畫面的像素?cái)?shù)量成比例地增加SAD表的規(guī)模，所以以當(dāng)前的回路大小實(shí)現(xiàn)目前的500萬像素以上的靜止畫面大小的移動(dòng)向量檢測(cè)是非常困難的。
過去，各個(gè)公司進(jìn)行了各種努力，研究NTSC(National Television SystemCommittee)活動(dòng)畫面的高達(dá)17萬像素的手抖向量檢測(cè)的回路規(guī)模削減，在此背景下，在NTSC活動(dòng)畫面的情況下由于為60fps(frame per second；幀/秒)，手抖查找范圍窄也可以，但在靜止畫面的情況下，以約3fps為前提，查找范圍變得極大，這也是問題難以解決的一個(gè)原因。因?yàn)楹拖袼財(cái)?shù)量相同，SAD表的表要素?cái)?shù)量也和查找范圍成比例地增加。
作為在靜止畫面中實(shí)現(xiàn)無傳感器手抖校正的方法，以上述專利文獻(xiàn)3(特開平7-283999公報(bào))為首，提出了幾種方案。專利文獻(xiàn)3是如下的算法在不會(huì)產(chǎn)生手抖的短曝光時(shí)間內(nèi)連續(xù)拍攝幾張靜止畫面，求該靜止畫面間的手抖向量，根據(jù)該手抖向量，一邊使上述連續(xù)拍攝的多張靜止畫面平行移動(dòng)(以及在輥軸方向旋轉(zhuǎn))一邊相加(或者平均化)，從而最終得到?jīng)]有手抖和低照度噪聲的高畫質(zhì)靜止畫面。
作為能夠?qū)崿F(xiàn)的水平的現(xiàn)實(shí)提案，能夠列舉專利文獻(xiàn)4(特開2005-38396公報(bào))。該專利文獻(xiàn)4中示出的方案由以對(duì)圖像進(jìn)行縮小變換后的大小求出移動(dòng)向量的方法，和在多個(gè)塊中共用同一SAD表的方法構(gòu)成。圖像的縮小變換和SAD表在多個(gè)塊中的共有化是用于實(shí)現(xiàn)SAD表大小削減的非常好的方法，也用于MPEG(Moving Picture Exprerts Group，運(yùn)動(dòng)圖象專家組)圖像壓縮方式的移動(dòng)向量檢測(cè)和畫面改變等其它領(lǐng)域中。
但是，專利文獻(xiàn)4的算法的問題在于，在圖像的縮小變換和此時(shí)的存儲(chǔ)器(DRAM(Dynamic RAM(Random Access Memory，隨機(jī)存取存儲(chǔ)器)))存取中，消耗時(shí)間和存儲(chǔ)器容量，以及因?yàn)槭怯啥鄠€(gè)塊分時(shí)存取SAD表的方法，所以存儲(chǔ)器存取急劇增加，在該處理中也需要時(shí)間。在活動(dòng)畫面的手抖校正中，由于要求實(shí)時(shí)性的同時(shí)要求縮短系統(tǒng)延遲時(shí)間，所以處理時(shí)間的問題也成為課題。
而且，在對(duì)原圖像進(jìn)行縮小變換時(shí)，需要安裝用于除去折疊(aliasing，折疊失真)和低照度噪聲的低通濾波器，作為縮小處理的預(yù)處理。但是，低通濾波器的特性根據(jù)縮小倍率變化，特別是采用垂直方向的低通濾波器的情況下，所謂多抽頭的數(shù)字濾波器的情況下，必須采用多個(gè)行存儲(chǔ)器(linememory)和運(yùn)算邏輯，產(chǎn)生回路規(guī)模增加的問題。
另一方面，也提出了不使用塊匹配的算法(例如前述的專利文獻(xiàn)2(特開平6-86149號(hào)公報(bào))、專利文獻(xiàn)5(特開2004-343483公報(bào))等)。它們是通過在2幀圖像內(nèi)分別多點(diǎn)檢測(cè)任何特征點(diǎn)，取這兩幀間的對(duì)應(yīng)，來求取所有的手抖向量(global vector，綜合向量)的方法?；蛘咭部梢詢H僅在一幀中檢測(cè)特征點(diǎn)，僅僅關(guān)注該特征點(diǎn)的周圍，對(duì)另一幀實(shí)施塊匹配。
專利文獻(xiàn)2和專利文獻(xiàn)5的算法在減小回路大小這一點(diǎn)上是非常有效的，是理想的算法，但實(shí)際上，在可以將兩幀中共同存在的、圖像整體中真正存在特征的特征點(diǎn)的數(shù)量有效地壓縮到何種程度上，擔(dān)心其實(shí)效性。因此，如果與專利文獻(xiàn)5和專利文獻(xiàn)6的算法相比，在民用設(shè)備中，只要萬物是拍攝對(duì)象，則認(rèn)為在耐用性上，塊匹配方法略高一籌。
如上所述，在數(shù)碼相機(jī)等拍攝裝置中，預(yù)測(cè)今后高密度像素化將進(jìn)一步發(fā)展，期待高性能化，但在這樣的狀況下，通過不采用陀螺(角速度)傳感器的無傳感器實(shí)現(xiàn)靜止畫面拍攝時(shí)的手抖校正具有非常大的意義。
因此，如上所述，利用塊匹配，由無傳感器檢測(cè)手抖移動(dòng)向量，利用該檢測(cè)到的移動(dòng)向量進(jìn)行手抖校正是有前途的，但作為塊匹配的當(dāng)前方案，現(xiàn)狀是沒有提出回路大小、處理速度、耐用性全部滿足的提案。
而且在塊匹配方法中，存在的最大問題是SAD表的增大。如前所述，在數(shù)碼相機(jī)中，在以成像器500萬像素以上為前提的今天，SAD表的大小不得不和像素?cái)?shù)量成比例地增大，因?yàn)樵跒殪o止畫面的情況下約為3fps，所以和活動(dòng)畫面60fps的手抖范圍相比，需要幾十倍的寬搜索范圍，該搜索范圍的擴(kuò)大和SAD表的增大相等。
多人進(jìn)行評(píng)估的結(jié)果，判明了將整幀作為100，則在3fps的靜止畫面的情況下的手抖范圍為約±10％。在高端設(shè)備中，假設(shè)已經(jīng)推出了1200萬像素，保持目前提出的技術(shù)不變，如果估計(jì)需要的SAD表大小，則約80兆比特。而且，如果使其滿足當(dāng)前的處理速度，則要求存儲(chǔ)SAD表信息的存儲(chǔ)器是內(nèi)置SRAM(Static RAM(Random Access Memory))。雖說半導(dǎo)體處理規(guī)則已發(fā)展，這一大小離現(xiàn)實(shí)水平還有約3位左右。
基于以上情形，在本實(shí)施方式中，提出了一種圖像處理方法和裝置，在利用塊匹配檢測(cè)兩幀間的移動(dòng)向量時(shí)，可以大幅減小SAD表的大小。
而且，在上述塊匹配的現(xiàn)有提案技術(shù)中，關(guān)于專利文獻(xiàn)4記載的利用圖像縮小變換來削減SAD表的方法，提出兩個(gè)問題。該問題是，伴隨圖像縮小變換的處理時(shí)間增大以及存儲(chǔ)容量的消耗，和為了避免伴隨圖像縮小變換的折疊而安裝適當(dāng)?shù)牡屯V波器引起的回路增大。在以下說明的實(shí)施方式中，也解決了這些問題。
在該實(shí)施方式中，利用上述塊匹配，檢測(cè)兩幀間的移動(dòng)向量，但不是和參照塊的參照向量對(duì)應(yīng)地存儲(chǔ)在目標(biāo)塊和參照塊之間求出的SAD值，而是縮小該參照向量，對(duì)與該縮小的參照縮小向量對(duì)應(yīng)的、該參照縮小向量鄰近的多個(gè)參照向量進(jìn)行分散相加并存儲(chǔ)。
因此，和以往的SAD表相比，大幅縮小了SAD表的大小。
圖11～圖13是用于說明實(shí)施方式中采用的新塊匹配方法的概要的圖。圖13示出了以往的SAD表TBLo和在實(shí)施方式采用的新塊匹配方法中生成的縮小SAD表TBLs之間的關(guān)系。
在該實(shí)施方式中，如圖8所示，和以往相同，在參照幀中，以原幀中設(shè)定的目標(biāo)塊的位置為中心，設(shè)定查找范圍。然后，在該查找范圍中，設(shè)定上述的多個(gè)參照塊，求取各參照塊內(nèi)的像素和目標(biāo)塊內(nèi)的對(duì)應(yīng)像素的亮度值的差分的絕對(duì)值總和，即SAD值。
以往，如圖11所示，將求出的SAD值寫入到SAD表TBLo中，作為成為對(duì)象的參照塊的參照向量RV對(duì)應(yīng)的地址的表要素tbl。
因此，在以往的塊匹配中，表示目標(biāo)塊和參照塊的幀圖像上的位置偏移量的參照向量RV與SAD表TBLo的各表要素即參照塊的SAD值是一一對(duì)應(yīng)的。換言之，在以往的SAD表TBLo中，具有和在查找范圍中取得的參照向量RV的數(shù)量相等的SAD值的表要素?cái)?shù)量。
與此相對(duì)的是，在本實(shí)施方式的塊匹配中，如圖11和圖12(A)、(B)所示，成為對(duì)象的參照塊的參照向量RV以縮小率1/n(n是自然數(shù))被縮小而成為參照縮小向量CV。
這里，在以下說明中，為了說明的方便，使水平方向縮小倍率和垂直方向的縮小倍率相同，但水平方向縮小倍率和垂直方向的縮小倍率也可以是獨(dú)立的不同的值。而且，盡管在后面進(jìn)行了描述，但使得能夠?qū)⑺椒较蚩s小倍率和垂直方向的縮小倍率獨(dú)立地設(shè)定成任意自然數(shù)分之一也是合適的，其靈活性高。
在該實(shí)施方式中，和對(duì)前述的現(xiàn)有的塊匹配方法進(jìn)行的說明相同，使作為查找范圍的中心的目標(biāo)塊的位置作為基準(zhǔn)位置(0，0)，參照向量指的是從該基準(zhǔn)位置向像素單位的水平方向和垂直方向的偏移量(vx，vy)(vx、vy是整數(shù))，參照向量RV分別用參照向量(vx，vy)表示。
由參照向量(vx，vy)在水平方向和垂直方向上分別縮小到1/n的參照縮小向量(vx/n，vy/n)表示的位置(vx/n，vy/n)不是整數(shù)，產(chǎn)生了小數(shù)分量。因此，在該實(shí)施方式中，如果存儲(chǔ)對(duì)應(yīng)于縮小前原來的參照向量RV求出的SAD值，作為最接近參照縮小向量CV的1個(gè)參照向量所對(duì)應(yīng)的表像素，則會(huì)產(chǎn)生誤差。
因此，在該實(shí)施方式中，首先，檢測(cè)由參照縮小向量CV表示的位置(vx/n，vy/n)鄰近的多個(gè)參照向量所表示的多個(gè)位置(表要素)。然后，對(duì)參照向量RV的參照塊求出的SAD值分散加到和該檢測(cè)到的鄰近的多個(gè)參照向量對(duì)應(yīng)的SAD值上。
此時(shí)，在該實(shí)施方式中，作為要寫入到由參照縮小向量CV表示的位置鄰近的周圍多個(gè)參照向量表示的位置所對(duì)應(yīng)的表要素tbl中的分量而進(jìn)行分散相加的值是利用參照縮小向量和其鄰近的參照向量分別示出的位置關(guān)系，從與縮小前原來的參照向量RV對(duì)應(yīng)地求出的SAD值，計(jì)算和上述鄰近的各個(gè)參照向量對(duì)應(yīng)地進(jìn)行分散相加的SAD值，將計(jì)算出的各SAD值相加，作為對(duì)應(yīng)的參照向量的表要素分量。
這里，不僅分散而且相加的意思是，對(duì)于不同的多個(gè)參照縮小向量重復(fù)檢測(cè)參照縮小向量鄰近的多個(gè)參照向量，所以對(duì)于1個(gè)參照向量加上重復(fù)的SAD值。
而且，當(dāng)參照縮小向量CV表示的位置(vx/n，vy/n)和參照向量表示的位置一致時(shí)，換言之，當(dāng)vx/n和vy/n的值是整數(shù)時(shí)，無需檢測(cè)周邊的多個(gè)參照向量，對(duì)應(yīng)于表示該位置(vx/n，vy/n)的參照向量，存儲(chǔ)和縮小前原來的參照向量RV對(duì)應(yīng)地求出的SAD值。
下面列舉具體的例子，對(duì)以上處理進(jìn)行說明。例如，在將目標(biāo)塊的位置作為基準(zhǔn)(0，0)時(shí)，如圖12(A)所示，如果將表示(-3，-5)的位置的參照塊RV在水平方向和垂直方向上縮小到1/n＝1/4倍，則如圖12(B)所示，由該參照縮小向量CV表示的位置為(-0.75，-1.25)。
因此，由參照縮小向量CV表示的位置產(chǎn)生小數(shù)分量，和由參照向量表示的位置不一致。
因此，此時(shí)，如圖13所示，由表示該參照縮小向量CV所示的位置鄰近位置的多個(gè)鄰近參照向量被檢測(cè)。在圖13的例子中，對(duì)于1個(gè)參照縮小向量CV，檢測(cè)到4個(gè)鄰近參照向量NV1、NV2、NV3、NV4。
然后，如前所述，在該實(shí)施方式中，對(duì)參照向量RV的參照塊求出的SAD值被分散相加，作為和這4個(gè)鄰近參照向量NV1、NV2、NV3、NV4對(duì)應(yīng)的SAD值。
此時(shí)，在該實(shí)施方式中，利用由參照縮小向量CV表示的位置P0(在圖13中用標(biāo)記×示出)和由4個(gè)鄰近參照向量NV1、NV2、NV3、NV4的分別示出的位置P1、P2、P3、P4(在圖13中用標(biāo)記○示出)的位置關(guān)系，計(jì)算分散相加到4個(gè)鄰近參照向量NV1、NV2、NV3、NV4的每一個(gè)上的SAD值，作為線性加權(quán)分散值。
在圖13的例子的情況下，由參照縮小向量CV表示的位置P0位于將由4個(gè)鄰近參照向量NV1、NV2、NV3、NV4分別示出的位置P1、P2、P3、P4在水平方向上內(nèi)分成1∶3，垂直方向上內(nèi)分成3∶1的位置上。
因此，在將和縮小前原來的參照向量RV對(duì)應(yīng)地求出的SAD值記為Sα?xí)r，分散相加到由周圍鄰近的4個(gè)參照向量NV1、NV2、NV3、NV4分別示出的位置P1、P2、P3、P4所對(duì)應(yīng)的SAD表要素上的值SADp1、SADp2、SADp3、SADp4分別是SADp1＝Sα×9/16SADp2＝Sα×3/16SADp3＝Sα×3/16SADp4＝Sα×1/16然后，在本實(shí)施方式中，讓求出的值SADp1、SADp2、SADp3、SADp4的分別和鄰近的4個(gè)參照向量NV1、NV2、NV3、NV4分別示出的位置P1、P2、P3、P4所對(duì)應(yīng)的SAD表要素相加。
在該實(shí)施方式中，對(duì)查找范圍內(nèi)的全部參照塊進(jìn)行以上處理。
基于上述內(nèi)容，在該實(shí)施方式中，在將參照向量RV縮小到1/n的情況下，也可以對(duì)于和全部參照向量一一對(duì)應(yīng)的現(xiàn)有大小的SAD表TBLo，準(zhǔn)備在水平方向上縮小到1/n、在垂直方向上縮小到1/n的縮小SAD表TBLs，求出和參照縮小向量CV的鄰近的參照向量對(duì)應(yīng)的SAD值，作為該縮小SAD表TBLs的表要素(參照?qǐng)D11)。
因此，在本實(shí)施方式的情況下，縮小SAD表TBLs的表要素的數(shù)量是以往的SAD表TBLo的表要素?cái)?shù)量的1/n2，可以大幅減小表的大小。
而且，在上述實(shí)施方式的說明中，檢測(cè)參照縮小向量CV鄰近的4個(gè)參照向量，將與該4個(gè)鄰近參照向量對(duì)應(yīng)的SAD表要素和關(guān)于對(duì)照的參照塊(參照向量RV)計(jì)算出的SAD值線性加權(quán)分散相加，但參照縮小向量CV鄰近的多個(gè)參照向量的選擇方法以及對(duì)于和該鄰近參照向量對(duì)應(yīng)的SAD表要素的分散相加的方法并不局限于上述例子。
例如，如果檢測(cè)參照縮小向量CV鄰近的9個(gè)或者16個(gè)參照向量，對(duì)于和該9個(gè)或者16個(gè)參照向量對(duì)應(yīng)的SAD表要素，利用所謂的三次(cubic)插值進(jìn)行分散相加，則精度進(jìn)一步提高。但是，如果重視實(shí)時(shí)性和運(yùn)算回路的減少，則對(duì)上述臨近4個(gè)參照向量所對(duì)應(yīng)的表要素執(zhí)行線性加權(quán)分散相加是更加有效的。
在該實(shí)施方式中，在整個(gè)查找范圍內(nèi)移動(dòng)參照塊，對(duì)全部參照塊的SAD值代入SAD表(在該實(shí)施方式中是縮小SAD表)的操作這一點(diǎn)上，和現(xiàn)有技術(shù)是相同的。
但是以往，因?yàn)閰⒄障蛄亢蚐AD表要素的地址是一一對(duì)應(yīng)的，所以簡(jiǎn)單地代入SAD表就行，但在本實(shí)施方式的方法中，因?yàn)閷?duì)參照塊計(jì)算的SAD值分散相加，所以在縮小SAD表中，參照向量和表地址不是一一對(duì)應(yīng)的。因此，在本實(shí)施方式的方法中，不是SAD值對(duì)表地址的簡(jiǎn)單的代入，而是需要相加并代入，即所謂代入相加。而因此，SAD表(縮小SAD表)的各表要素最初必須初始化(清0)。
但是，在以往的塊匹配方法中，在按上述方式完成的SAD表中，如果搜索SAD值為最小值的表要素，將為該最小值的表要素的表地址變換成參照向量，則完成了移動(dòng)向量的檢測(cè)。
與此相對(duì)的是，在利用本實(shí)施方式的技術(shù)中，SAD表是和縮小參照向量后的參照縮小向量對(duì)應(yīng)的縮小SAD表，所以該縮小SAD表的最小值保持不變，和正確的移動(dòng)向量不對(duì)應(yīng)。
不過，在允許某種程度的誤差的裝置的情況下，通過將縮小SAD表的為最小值的表要素的表地址變換成參照向量后的結(jié)果進(jìn)一步變成縮小率1/n的倒數(shù)倍即n倍，從而也能夠檢測(cè)移動(dòng)向量。
但是，在檢測(cè)更加準(zhǔn)確的移動(dòng)向量的情況下，如下所述，通過對(duì)縮小SAD表的表要素值實(shí)施插值處理，以原向量的精度檢測(cè)正確的移動(dòng)向量。
<用于檢測(cè)更加準(zhǔn)確的移動(dòng)向量的插值處理的第1例>
用于檢測(cè)更加準(zhǔn)確的移動(dòng)向量的插值處理的第1例是，用1個(gè)二次曲面對(duì)縮小SAD表的多個(gè)SAD表要素值(SAD值)進(jìn)行近似的方法。該方法是對(duì)縮小SAD表采用上述專利文獻(xiàn)1中記載的方法的方法。
換言之，在縮小SAD表中，求出SAD值為最小值的表要素(整數(shù)精度最小值表要素(整數(shù)精度表地址))和以該整數(shù)精度最小值表要素為中心的多個(gè)整數(shù)精度表要素，利用這些表要素的SAD值，通過最小自乘法確定SAD值的二次曲面，檢測(cè)成為該二次曲面的最小值的SAD值，檢測(cè)和該檢測(cè)的為最小值的SAD值對(duì)應(yīng)的位置(在參照幀上，相對(duì)于基準(zhǔn)位置偏移的位置)，將該檢測(cè)出的位置作為小數(shù)精度的最小值表地址(在縮小SAD表中，和SAD為最小值的向量(稱為最小值向量)對(duì)應(yīng))。
此時(shí)，為了確定唯一的二次曲面，如圖14(A)或者圖14(B)所示，最少需要整數(shù)精度最小值表要素tm，以及從其兩側(cè)夾著該表要素tm的位置上的、該表要素tm附近的4個(gè)整數(shù)精度表要素t1、t2、t3、t4。
然后，如圖15所示，在和參照幀的查找范圍內(nèi)的縮小SAD表對(duì)應(yīng)的參照縮小向量的范圍內(nèi)，將目標(biāo)幀的位置作為基準(zhǔn)位置(0，0)，在考慮水平方向和垂直方向偏移量(和參照縮小向量對(duì)應(yīng))的軸vx/n和軸vy/n的同時(shí)，將SAD的軸考慮作為和這些的軸vx/n和軸vy/n垂直的軸，設(shè)定由這3個(gè)軸構(gòu)成的坐標(biāo)空間。
然后，例如，由整數(shù)精度最小值表要素tm的SAD值、和夾著該整數(shù)精度最小值表要素tm的2個(gè)表要素t1、t3的SAD值，在圖15的坐標(biāo)空間中生成二次曲線。而且，由整數(shù)精度最小值表要素tm的SAD值、和夾著該整數(shù)精度最小值表要素tm的其它2個(gè)表要素t2、t4的SAD值，在圖15的坐標(biāo)空間中生成另一個(gè)二次曲線。然后，利用最小自乘法求出包含這兩個(gè)二次曲線的二次曲面201，如圖15所示，在坐標(biāo)空間中生成該二次曲面201。
然后，檢測(cè)生成的SAD值的二次曲面201的最小值202，檢測(cè)和取該最小值的SAD值對(duì)應(yīng)的位置(vx/n，vy/n)(圖15的位置203)，將該檢測(cè)的位置(vx/n，vy/n)作為小數(shù)精度的表要素(表地址)進(jìn)行檢測(cè)。然后，如圖16所示，使和檢測(cè)到的小數(shù)精度表要素對(duì)應(yīng)的向量(最小值向量)204增至n倍，得到精度為原大小的移動(dòng)向量205。
例如，如圖17所示，在將參照向量縮小到1/4時(shí)縮小SAD表TBLs的、由小數(shù)精度表要素的最小值地址求出的最小值向量204為(-0.777，-1.492)時(shí)，將它們放大4倍后得到的(-3.108，-5.968)是移動(dòng)向量205。該移動(dòng)向量205再現(xiàn)了為原圖像的比例(scale)的移動(dòng)向量。
以上對(duì)利用整數(shù)精度最小值表要素tm和其附近的4個(gè)表要素的情況進(jìn)行了說明，但為了利用最小自乘法求出SAD值的二次曲面，最好利用更多的多個(gè)附近表要素。因此，一般來說，將整數(shù)精度最小值表要素tm作為中心，采用其周圍的水平方向×垂直方向＝m×m個(gè)(m為3以上的整數(shù))的矩形區(qū)域的表要素。
但是，該多個(gè)鄰近表要素的數(shù)量不是越多越好，如果利用寬范圍的表要素，則會(huì)導(dǎo)致運(yùn)算量增加，而且使用依賴于圖像模式(pattern)的局部最小偽值的可能性提高，所以采用由適當(dāng)?shù)亩鄠€(gè)鄰近表要素的數(shù)構(gòu)成的矩形區(qū)域的表要素。
作為由適當(dāng)?shù)亩鄠€(gè)鄰近表要素?cái)?shù)構(gòu)成的矩形區(qū)域的表要素的例子，在該實(shí)施方式中，進(jìn)行說明的例子是，以整數(shù)精度最小值表要素tm作為中心，采用其周圍的水平方向×垂直方向＝3×3個(gè)矩形區(qū)域的表要素的例子，和以整數(shù)精度最小值表要素tm作為中心，采用其周圍的水平方向×垂直方向＝3×3個(gè)矩形區(qū)域的表要素的例子。
<采用3×3個(gè)矩形區(qū)域的表要素的例子>
在圖18中，示出的例子是，以整數(shù)精度最小值表要素tm作為中心，采用其周圍的水平方向×垂直方向＝3×3個(gè)矩形區(qū)域(在圖18中用涂層示出)的表要素。
在圖18的例子中，如圖18(A)所示，利用整數(shù)精度最小值表要素tm和其鄰近的8個(gè)鄰近表要素的SAD值，通過最小自乘法生成如圖18(B)所示的二次曲面201。然后，檢測(cè)生成的SAD值的二次曲面201的最小值202，檢測(cè)和取該最小值的SAD值對(duì)應(yīng)的位置(vx/n，vy/n)(圖18(B)的位置203)，將該檢測(cè)到的位置203作為小數(shù)精度的最小值表要素位置(小數(shù)精度最小值表地址)進(jìn)行檢測(cè)。
然后，如上述圖16所示，使和檢測(cè)到的小數(shù)精度表要素位置203對(duì)應(yīng)的向量(最小值向量)204增至n倍，得到精度為原大小的移動(dòng)向量205。
這里，和SAD值的二次曲面201的最小值202對(duì)應(yīng)的位置203的計(jì)算方法如下所示。即如圖19所示，考慮將整數(shù)精度最小值表要素tm的位置作為原點(diǎn)(0，0)的(x，y)坐標(biāo)。此時(shí)，周邊的8個(gè)表要素的位置是由3個(gè)x軸方向的位置即x＝-1、x＝0、x＝1和3個(gè)y軸方向的位置即y＝-1、y＝0、y＝1配合表示的，即為(-1，-1)、(0，-1)、(1，-1)、(-1，0)、(0，1)、(-1，1)、(0，1)、(1，1)8個(gè)位置。
然后，將圖19的表中各表要素的SAD值記為Sxy。因此，例如，整數(shù)精度最小值表要素tm(位置(0，0))的SAD值表示為S00，而右下位置(1，1)的表要素值的SAD值表示為S11。
這樣，利用圖20所示的(式A)和(式B)，能夠求出將整數(shù)精度最小值表要素tm的位置作為原點(diǎn)(0，0)的(x，y)坐標(biāo)的小數(shù)精度的位置(dx，dy)。
在圖20的(式A)和(式B)中，x＝-1時(shí)，Kx＝-1x＝0時(shí)，Kx＝0x＝0時(shí)，Kx＝1。
而且，y＝-1時(shí)，Ky＝-1y＝0時(shí)，Ky＝0y＝0時(shí)，Ky＝1。
這樣求出的小數(shù)精度的位置(dx，dy)是將整數(shù)精度最小值表要素tm的位置作為原點(diǎn)(0，0)的位置，所以從該小數(shù)精度的位置(dx，dy)和整數(shù)精度最小值表要素tm的位置，能夠檢測(cè)離開求出的查找范圍中心位置的位置203。
<采用4×4個(gè)矩形區(qū)域的表要素的例子>
在圖21中，示出的例子是，基本上以整數(shù)精度最小值表要素tm作為中心，采用其周圍的水平方向×垂直方向＝4×4個(gè)矩形區(qū)域的表要素(在圖21中附加涂層示出)。
此時(shí)，在如整數(shù)精度最小值表要素tm和其附近的8個(gè)表要素(3×3)或其附近的24個(gè)表要素(5×5)那樣，上述m的值為奇數(shù)的情況下，整數(shù)精度最小值表要素tm始終成為使用的矩形區(qū)域的多個(gè)表要素的中心，所以簡(jiǎn)單地確定使用的表范圍。
與此相對(duì)的是，在象附近的15個(gè)表要素(4×4)那樣，m為偶數(shù)的情況下，因?yàn)檎麛?shù)精度最小值表要素tm不是使用的矩形區(qū)域的多個(gè)表要素的中心位置，所以需要少許努力。
換言之，從整數(shù)精度最小值表要素tm來看，比較在水平方向上左右的鄰接表元素的SAD值，采用為小的值一側(cè)的方向的、和該方向的鄰接表要素鄰接的表要素，作為鄰近表要素的第4列。同樣，比較在垂直方向上上下的鄰接表元素的SAD值，采用為小的值一側(cè)的方向的、和該方向的鄰接表要素鄰接的表要素，作為鄰近表要素的第4行。
在圖21的例子中，因?yàn)檎麛?shù)精度最小值表要素tm的水平方向上左右的鄰接表元素的SAD值為“177”和“173”，所以采用SAD值小的右側(cè)相鄰的值“173”的表要素的更右側(cè)相鄰的列，作為第4列。而且，因?yàn)檎麛?shù)精度最小值表要素tm的垂直方向上上下的鄰接表元素的SAD值為168和182，所以采用SAD值小的上側(cè)相鄰的值“168”的表要素的更上側(cè)相鄰的行，作為第4行。
然后，在圖21的例子的情況下，利用整數(shù)精度最小值表要素tm和其臨近的15個(gè)鄰近表要素的SAD值，通過最小自乘法生成二次曲面201。然后，檢測(cè)生成的SAD的二次曲面201的最小值202，檢測(cè)和取該最小值的SAD值對(duì)應(yīng)的位置(vx/n，vy/n)(圖21的位置203)，將該檢測(cè)到的位置203作為小數(shù)精度的最小值表要素位置(小數(shù)精度最小值表地址)進(jìn)行檢測(cè)。
然后，如上述圖16所示，使和檢測(cè)到的小數(shù)精度表要素位置203對(duì)應(yīng)的向量(最小值向量)204增至n倍，得到精度為原大小的移動(dòng)向量205。
這里，和本例的情況下的SAD值的二次曲面201的最小值202對(duì)應(yīng)的位置203的計(jì)算方法如下所示。即如圖22所示，考慮將整數(shù)精度最小值表要素tm的位置作為原點(diǎn)(0，0)的(x，y)坐標(biāo)。
在本例的情況下，需要對(duì)應(yīng)于由1 6個(gè)表要素構(gòu)成的矩形區(qū)域中的整數(shù)精度最小值表要素tm的位置，考慮圖22(A)、22(B)、22(C)、22(D)所示4組表要素配置。
此時(shí)，從圖22(A)、22(B)、22(C)、22(D)可知，周邊的15個(gè)表要素的位置是由4個(gè)x軸方向的位置即x＝-1、x＝0、x＝1、x＝2或者x＝-2和4個(gè)y軸方向的位置即y＝-1、y＝0、y＝1、y＝2或者y＝-2配合表示的15個(gè)位置。
然后，將圖22的表中各表要素的SAD值記為Sxy。因此，例如，整數(shù)精度最小值表要素tm(位置(0，0))的SAD值表示為S00，位置(1，1)的表要素值的SAD值表示為S11。
這樣，利用圖23所示的(式C)和(式D)，能夠求出將整數(shù)精度最小值表要素tm及其周邊的16個(gè)表要素構(gòu)成的矩形區(qū)域中的中心位置作為原點(diǎn)(0，0)的(x，y)坐標(biāo)的小數(shù)精度的位置(dx，dy)。
這里，在圖23的(式C)和(式D)中，Kx和Ky是，考慮將整數(shù)精度最小值表要素tm及其周邊的16個(gè)表要素構(gòu)成的矩形區(qū)域中的中心位置作為原點(diǎn)(0，0)的(Kx，Ky)坐標(biāo)時(shí)的、上述圖22(A)、(B)、(C)、(D)所示的4組表元素配置對(duì)應(yīng)的值。在圖24中示出此時(shí)的(Kx，Ky)坐標(biāo)。
換言之，在圖22(A)的情況下，x＝-2時(shí)，Kx＝-1.5x＝-1時(shí)，Kx＝-0.5x＝0時(shí)，Kx＝0.5x＝1時(shí)，Kx＝1.5。
而且，y＝-2時(shí)，Ky＝-1.5y＝-1時(shí)，Ky＝-0.5y＝0時(shí)，Ky＝0.5y＝1時(shí)，Ky＝1.5。
此外，在圖22(B)的情況下，x＝-2時(shí)，Kx＝-1.5x＝-1時(shí)，Kx＝-0.5x＝0時(shí)，Kx＝0.5x＝1時(shí)，Kx＝1.5。
而且，y＝-1時(shí)，Ky＝-1.5y＝0時(shí)，Ky＝-0.5y＝1時(shí)，Ky＝0.5y＝2時(shí)，Ky＝1.5。
在圖22(C)的情況下，x＝-1時(shí)，Kx＝-1.5x＝0時(shí)，Kx＝-0.5x＝1時(shí)，Kx＝0.5x＝2時(shí)，Kx＝1.5。
而且，y＝-2時(shí)，Ky＝-1.5y＝-1時(shí)，Ky＝-0.5y＝0時(shí)，Ky＝0.5y＝1時(shí)，Ky＝1.5。
在圖22(D)的情況下，x＝-1時(shí)，Kx＝-1.5x＝0時(shí)，Kx＝-0.5x＝1時(shí)，Kx＝0.5x＝2時(shí)，Kx＝1.5。
而且，y＝-1時(shí)，Ky＝-1.5y＝0時(shí)，Ky＝-0.5y＝1時(shí)，Ky＝0.5y＝2時(shí)，Ky＝1.5。
而且，圖23的(式C)和(式D)的Δx以及Δy表示相對(duì)于(Kx，Ky)坐標(biāo)的、圖22(A)、(B)、(C)、(D)的各表元素配置的(x、y)坐標(biāo)的偏移量，圖22(A)的情況下，Δx＝-0.5、Δy＝-0.5圖22(B)的情況下，Δx＝-0.5、Δy＝0.5圖22(C)的情況下，Δx＝0.5、Δy＝-0.5圖22(D)的情況下，Δx＝0.5、Δy＝0.5。
這樣求出的小數(shù)精度的位置(dx，dy)是將整數(shù)精度最小值表要素tm的位置作為原點(diǎn)(0，0)的位置，所以能夠基于該小數(shù)精度的位置(dx，dy)和整數(shù)精度最小值表要素tm的位置，檢測(cè)離開要求的查找范圍的中心位置的位置203。
<用于檢測(cè)更加準(zhǔn)確的移動(dòng)向量的插值處理的第2例>
用于檢測(cè)更加準(zhǔn)確的移動(dòng)向量的插值處理的第2例是，在利用包含縮小SAD表的整數(shù)精度最小值表要素的多個(gè)水平方向的表要素的SAD值生成水平方向的三次曲線的同時(shí)，利用包含整數(shù)精度最小值表要素的多個(gè)垂直方向的表要素的SAD值生成垂直方向的三次曲線，檢測(cè)為各個(gè)三次曲線的極小值的位置(vx，vy)，將檢測(cè)到的位置作為小數(shù)精度的最小值地址。
圖25是用于說明該第2例的圖。和上述第1例相同，求出整數(shù)精度最小值表要素tm和以該整數(shù)精度最小值表要素為中心的多個(gè)整數(shù)精度表要素，在圖25的例子中，是4×4＝16個(gè)表要素(參照?qǐng)D25(A)中的附加涂層的部分)。
下面，和第1例相同，如圖25(B)所示，在和參照幀的查找范圍內(nèi)的縮小SAD表對(duì)應(yīng)的參照縮小向量的范圍內(nèi)，將目標(biāo)幀的位置作為基準(zhǔn)位置(0，0)，在考慮水平方向和垂直方向偏移量(和參照縮小向量對(duì)應(yīng))的軸vx/n和軸vy/n的同時(shí)，考慮將SAD值的軸作為和這些軸vx/n和軸vy/n垂直的軸，設(shè)定由這3個(gè)軸構(gòu)成的坐標(biāo)空間。
接著，利用整數(shù)精度最小值表要素tm周圍的16個(gè)表要素中，包含整數(shù)精度最小值表要素tm的4個(gè)水平方向的表要素的SAD值，在上述坐標(biāo)空間中，生成水平方向的三次曲線206。檢測(cè)小數(shù)精度最小值表要素位置的水平方向位置，作為和該水平方向的三次曲線206的極小值對(duì)應(yīng)的水平方向的位置vx/n。
接著，利用整數(shù)精度最小值表要素tm周圍的16個(gè)表要素中，包含整數(shù)精度最小值表要素tm的4個(gè)垂直方向的表要素的SAD值，在上述坐標(biāo)空間中，生成垂直方向的三次曲線207。檢測(cè)小數(shù)精度最小值表要素位置的垂直方向位置，作為和該垂直方向的三次曲線207的極小值對(duì)應(yīng)的垂直方向的位置vy/n。
基于以上求出的小數(shù)精度最小值表要素位置的水平方向位置和垂直方向位置，檢測(cè)小數(shù)精度最小值表要素位置(小數(shù)精度最小值表地址)208。然后，如前述圖16所示，使和檢測(cè)到的小數(shù)精度表要素位置208對(duì)應(yīng)的向量(最小值向量)209增至n倍，得到精度為原大小的移動(dòng)向量。
換言之，第2例是，利用在第1例中說明的方法，確定水平方向、垂直方向的各4個(gè)表要素，如圖25(B)所示，利用水平方向、垂直方向分別唯一確定三次曲線的方法。
這里，與SAD值的三次曲線206和209的最小值202對(duì)應(yīng)的位置208的計(jì)算方法如下所述。即在水平方向或者垂直方向中的任一方向上的三次曲線中，在將最小值附近4點(diǎn)的SAD值以沿著上述水平方向或者垂直方向中的任一方向的順序作為S0、S1、S2、S3時(shí)，小數(shù)精度的最小值位于圖26所示的3個(gè)區(qū)間Ra、Rb、Rc的任何一個(gè)中，所以計(jì)算取最小值的小數(shù)分量u的公式不相同。
這里，區(qū)間Ra是SAD值S0的位置和SAD值S1的位置之間的區(qū)間，Rb是SAD值S1的位置和SAD值S2的位置之間的區(qū)間，Rc是SAD值S2的位置和SAD值S3的位置之間的區(qū)間。
然后，在小數(shù)精度的最小值位于圖26所示的區(qū)間Ra中時(shí)，根據(jù)圖27的(式E)，計(jì)算到相對(duì)于整數(shù)精度的最小值的位置取最小值的位置的偏移的小數(shù)分量u。
同樣，在小數(shù)精度的最小值位于圖26所示的區(qū)間Rb中時(shí)，根據(jù)圖27的(式F)，計(jì)算到相對(duì)于整數(shù)精度的最小值的位置取最小值的位置的偏移的小數(shù)分量u。
而且，在小數(shù)精度的最小值位于圖26所示的區(qū)間Rc中時(shí)，根據(jù)圖27的(式G)，計(jì)算到相對(duì)于整數(shù)精度的最小值的位置取最小值的位置的偏移的小數(shù)分量u。
然后，小數(shù)精度的最小值位于圖26所示的3個(gè)區(qū)間Ra、Rb、Rc的哪一個(gè)中的判斷按下述方式進(jìn)行。
換言之，圖28是用于說明該判斷的圖。如圖28(A)、(B)、(C)所示，首先，檢測(cè)整數(shù)精度的SAD值的最小值Smin和第2小的整數(shù)精度的SAD值Sn2，使小數(shù)精度的最小值位于檢測(cè)的整數(shù)精度的SAD值的最小值Smin和第2小的整數(shù)精度的SAD值Sn2的位置之間的區(qū)間進(jìn)行檢測(cè)。接著，根據(jù)整數(shù)精度的SAD值的最小值Smin和第2小的整數(shù)精度的SAD值Sn2是圖28示出的S0、S1、S2、S3中的哪個(gè)位置，判斷檢測(cè)到的區(qū)間是區(qū)間Ra、Rb、Rc的哪一個(gè)。
而且，如圖28(D)所示，在整數(shù)精度的SAD值的最小值Smin位于SAD值的位置，或者位于4個(gè)表元素值的端點(diǎn)的情況下，不能推測(cè)最小位置，在該實(shí)施方式中，作為錯(cuò)誤進(jìn)行處理，不執(zhí)行最小值位置的計(jì)算。不過也可以在圖28(D)的情況下也計(jì)算最小值位置。
按上述方式，根據(jù)該實(shí)施方式，利用規(guī)模減小到1/n2的小大小的縮小SAD表，能夠檢測(cè)原來的圖像規(guī)模的移動(dòng)向量。此時(shí)，在圖20中示出的是盡管采用規(guī)模減小到1/n2的小大小的縮小SAD表，但也得到和以往基本相同的向量檢測(cè)結(jié)果。
圖29的橫軸是在水平方向或者垂直方向上的一維方向的縮小倍率n，而且，縱軸表示檢測(cè)到的移動(dòng)向量的誤差(向量誤差)。圖29的向量誤差的數(shù)值用像素?cái)?shù)量表示。
在圖29中，曲線301是向量誤差相對(duì)于縮小倍率的平均值。而且，曲線302表示向量誤差相對(duì)于縮小倍率的分散σ的3倍值(3σ(99.7％))。曲線303表示曲線302的近似曲線。
圖29表示相對(duì)于一維方向縮小倍率n的向量誤差，但因?yàn)镾AD表是2維的，所以以圖29所示結(jié)果的平方比例來削減表大小(表要素?cái)?shù)量)，與此相對(duì)的是，向量誤差僅僅線性程度增加，從而可知本實(shí)施方式的方法的有用性。
而且，即使是n＝64(縮小率1/64)倍的縮小倍率，因?yàn)橄蛄空`差小，看不到檢測(cè)輸出全都不同的移動(dòng)向量這樣的失敗，所以實(shí)際上可以將SAD表的大小減小到1/4096。
而且，如前所述，在活動(dòng)畫面的手抖校正時(shí)，強(qiáng)烈要求實(shí)時(shí)性和系統(tǒng)延遲的削減，與此相對(duì)的是，對(duì)于精度，除了檢測(cè)到失敗了的都不相同的移動(dòng)向量的情況之外，對(duì)于某種程度的向量檢測(cè)誤差是允許的。因此，本實(shí)施方式能夠大大削減SAD表的大小而不失敗，有用性高。
而且，在本實(shí)施方式的實(shí)際的手抖校正系統(tǒng)中，如前所述，將參照幀1 02分割成多個(gè)領(lǐng)域，在各個(gè)分割領(lǐng)域中，設(shè)定目標(biāo)塊103作為目標(biāo)區(qū)域TGi，對(duì)于各分割區(qū)域，設(shè)定查找范圍105，檢測(cè)移動(dòng)向量205(前述圖5(A)的移動(dòng)向量MVi)。這是因?yàn)?，在幀?nèi)包含移動(dòng)被拍攝體的可能性也高，所以，例如圖30所示，在參照幀102的一幀內(nèi)檢測(cè)到16個(gè)移動(dòng)向量205，一邊加入從過去的幀中這些移動(dòng)向量205的推移，一邊進(jìn)行統(tǒng)計(jì)處理，對(duì)1幀確定1個(gè)綜合向量，即確定幀的手抖向量。
而且，在該實(shí)施方式中，如前所述，為了從手抖移動(dòng)向量除去光學(xué)縮放部分向量，在1個(gè)畫面內(nèi)設(shè)定多個(gè)目標(biāo)塊。
此時(shí)，如圖30所示，確定將想檢測(cè)的16個(gè)移動(dòng)向量205的各個(gè)基準(zhǔn)位置PO1～PO16作為中心的查找范圍SR1，SR2，...，SR16，在各查找范圍中，設(shè)定目標(biāo)塊的投影圖像塊IB1，IB2，...，IB16。
然后，設(shè)定和該投影圖像塊IB1，IB2，...，IB16相同大小的參照塊，在各查找范圍SR1，SR2，...，SR16內(nèi)移動(dòng)設(shè)定的參照塊，和上述內(nèi)容相同，生成縮小SAD表，檢測(cè)各查找范圍SR1，SR2，...，SR16中的移動(dòng)向量205。
然后，利用關(guān)于在參照幀中取得的多個(gè)目標(biāo)塊得到的多個(gè)移動(dòng)向量，一邊加入從過去的幀中的這些移動(dòng)向量的推移，一邊進(jìn)行統(tǒng)計(jì)處理，對(duì)1幀確定1個(gè)綜合向量，即確定幀的手抖向量。
和作為現(xiàn)有技術(shù)說明的專利文獻(xiàn)4中記載的、以對(duì)圖像進(jìn)行縮小變換后的大小檢測(cè)移動(dòng)向量的技術(shù)相比，以上說明的實(shí)施方式的圖像處理方法在下面列舉的兩點(diǎn)上具有大不相同的優(yōu)點(diǎn)。
首先，第一，和專利文獻(xiàn)4記載的現(xiàn)有技術(shù)不同，本實(shí)施方式的技術(shù)完全不需要對(duì)圖像進(jìn)行縮小變換的處理。在本實(shí)施方式的技術(shù)中，在將關(guān)于參照塊計(jì)算出的SAD值代入到SAD表(縮小SAD表)中相加時(shí)，同時(shí)執(zhí)行和縮小倍率相當(dāng)?shù)牡刂纷儞Q。
因此，在由本實(shí)施方式執(zhí)行的方法中，具有下述優(yōu)點(diǎn)，即不需要用于專利文獻(xiàn)4中記載的現(xiàn)有方法的圖像縮小變換的邏輯、將縮小的圖像存儲(chǔ)在存儲(chǔ)器中的時(shí)間以及帶寬的浪費(fèi)、和將縮小圖像放在存儲(chǔ)器中的區(qū)域確保。
專利文獻(xiàn)4中記載的現(xiàn)有方法的又一重要問題是，如前使用方式所述，對(duì)圖像進(jìn)行縮小變換時(shí)的折疊(折疊失真)，和存在用于除去低照度噪聲的低通濾波器。換言之，在縮小圖像時(shí)，必須在通過適當(dāng)?shù)牡屯V波器后進(jìn)行采樣，若不這樣，則產(chǎn)生不需要的折疊，明顯損害了利用該縮小圖像的移動(dòng)向量的精度。
作為縮小變換時(shí)理想的低通濾波器的特性，是和sinc函數(shù)類似的函數(shù)，在理論上進(jìn)行了證明。sinc函數(shù)本身是用sin(xπ)/(xπ)的形式表示的截止頻率f/2的無限抽頭的FIR(Finite Impulse Response，有限脈沖響應(yīng))濾波器，但作為縮小倍率1/n時(shí)的理想截止頻率f/(2n)的低通濾波器，表示成sin(xπ/n)/(xπ/n)。但是，這也可以作為sinc函數(shù)的一種形態(tài)。
在圖31～圖33的上側(cè)，分別示出了縮小倍率為1/2倍、1/4倍、1/8倍時(shí)的sinc函數(shù)(低通濾波器的理想特性)的形狀。從該圖31～圖33可知，如果縮小倍率越大，則函數(shù)在抽頭軸方向上不斷擴(kuò)大。換言之，可以說在僅僅用主要系數(shù)對(duì)無限抽頭的sinc函數(shù)進(jìn)行近似的情況下，也必須增加FIR濾波器的抽頭數(shù)。
而且，一般來說，和濾波器形狀相比，可知實(shí)現(xiàn)較低帶域的截止頻率的濾波器的抽頭數(shù)對(duì)其性能起決定性的作用。
因此，利用專利文獻(xiàn)4記載的現(xiàn)有方法的縮小圖像的移動(dòng)向量計(jì)算方法的情況下，盡管圖像的縮小倍率越大，則該SAD表削減效果越好，但作為圖像生成時(shí)的預(yù)處理用濾波器的低通濾波器中，同時(shí)存在縮小倍率越大則成本越高這樣的矛盾。
一般來說，在實(shí)現(xiàn)高次抽頭的FIR濾波器的情況下，因?yàn)橛?jì)算邏輯電路的成本和抽頭數(shù)的平方成比例地增加，所以成為問題，但更大的問題是，用于實(shí)現(xiàn)垂直濾波器的行存儲(chǔ)器數(shù)量增加。在近年的數(shù)字照相機(jī)中，因?yàn)殡S著像素?cái)?shù)的增加，行存儲(chǔ)器的大小減小，所以執(zhí)行所謂的長(zhǎng)方形處理，但是，例如，即使削減每1行的大小，行存儲(chǔ)器本身的個(gè)數(shù)的增加也會(huì)顯著提高由物理設(shè)計(jì)區(qū)域換算的總成本。
如上所述，可知利用專利文獻(xiàn)4記載的現(xiàn)有方法的圖像縮小的途徑特別是在實(shí)現(xiàn)垂直低通濾波器時(shí)，具有很大的障礙。對(duì)此，本發(fā)明的方法以完全不同的形式簡(jiǎn)潔地解決該問題。
在圖31～圖33的下側(cè)，示出了在該實(shí)施方式中采用的新塊匹配方法的低通濾波器的圖像。在該實(shí)施方式采用的新塊匹配方法中，沒有伴隨圖像縮小處理，但圖示的是縮小SAD表的生成計(jì)算過程中低通濾波器的圖像。
如圖31～33的下側(cè)所示，可知該低通濾波器的特性是線性近似sinc函數(shù)的主要系數(shù)部分后的、簡(jiǎn)單的濾波器特性，但抽頭(tap)數(shù)與縮小倍率連動(dòng)地增加。這適合于如前所述，截止頻率越低，低通濾波器的性能由抽頭數(shù)控制的事實(shí)。換言之，實(shí)施方式的執(zhí)行線性加權(quán)分散相加的處理這樣的、執(zhí)行本發(fā)明的SAD值的分散相加的處理本身和由簡(jiǎn)單的回路實(shí)現(xiàn)倍率連動(dòng)的高性能低通濾波器是等價(jià)的。
該低通濾波器在其它方面也具有優(yōu)點(diǎn)。在專利文獻(xiàn)4記載的現(xiàn)有方法中，通過在打開低通濾波器后重新采樣來縮小圖像，但此時(shí)大量的圖像信息被丟失。換言之，在低通濾波器的計(jì)算中，圖像信息的亮度值的字長(zhǎng)被大幅地舍入而存儲(chǔ)在存儲(chǔ)器中，圖像信息的大部分的下位比特不對(duì)縮小后的圖像產(chǎn)生影響。
另一方面，該實(shí)施方式采用的新的塊匹配方法中，平等地使用全部像素的亮度值的所有比特信息，計(jì)算SAD值，求出其分散相加值，加到縮小SAD表中。如果增加縮小SAD表的各表要素值的字長(zhǎng)，則在輸出最終的SAD值之前，可以以不包含所有舍入誤差的形式計(jì)算。因?yàn)榭s小SAD表的面積比幀存儲(chǔ)器小，所以縮小SAD表的字長(zhǎng)擴(kuò)展不成為大的問題。其結(jié)果是，能夠高精度地實(shí)現(xiàn)縮小SAD表以及移動(dòng)向量檢測(cè)。
<移動(dòng)向量檢測(cè)部分151的處理操作>
<第1例>
下面參照?qǐng)D34和圖35的流程，說明該移動(dòng)向量檢測(cè)部分151的處理操作的第1例的流程。
首先，指定和前述圖8或者圖30所示的查找范圍105或者查找范圍SR1～SR16的各個(gè)內(nèi)的1個(gè)參照塊Ii對(duì)應(yīng)的參照向量(vx，vy)(步驟S101)。如前所示，(vx，vy)是將目標(biāo)塊的幀上的位置(查找范圍的中心位置)作為基準(zhǔn)位置(0，0)時(shí)，用指定的參照向量表示的位置，vx是利用指定的參照向量的、離基準(zhǔn)位置的水平方向的偏移量分量，vy是利用指定的參照向量的、離基準(zhǔn)位置的垂直方向的偏移量分量。而且，和在前述的現(xiàn)有例中所述的相同，偏移量vx，vy是以像素作為單位的值。
這里，在使查找范圍的中心位置為上述基準(zhǔn)位置(0，0)，在水平方向上為±Rx，在垂直方向上為±Ry時(shí)，-Rx≤vx≤+Rx，-Ry≤vy≤+Ry。
下面，指定目標(biāo)塊Io內(nèi)的1個(gè)像素的坐標(biāo)(x，y)(步驟S102)。接著，以上述(式1)所示的方式，計(jì)算目標(biāo)塊Io內(nèi)的指定的1個(gè)坐標(biāo)(x，y)的像素值Io(x，y)和參照塊Ii內(nèi)的對(duì)應(yīng)像素位置的像素值Ii(x+vx，y+vy)的差分絕對(duì)值α(步驟S103)。
然后，將該算出的差分絕對(duì)值α和該參照塊Ii的參照向量(vx，vy)指示的地址(表要素)的到此為止的SAD值相加，將該相加的SAD值寫回到該地址中(步驟S104)。即將和參照向量(vx，vy)對(duì)應(yīng)的SAD值表示為SAD(vx，vy)時(shí)，用上述(式2)即計(jì)算為SAD(vx，vy)＝∑α＝∑|Io(x，y)-Ii(x+vx，y+vy)|...(式2)寫入該參照向量(vx，vy)指示的地址。
接著，對(duì)于目標(biāo)塊Io內(nèi)全部坐標(biāo)(x，y)的像素，判斷是否執(zhí)行上述步驟S102～S104的計(jì)算(步驟S105)，在判斷結(jié)果是目標(biāo)塊Io內(nèi)全部坐標(biāo)(x，y)的像素的計(jì)算還沒有結(jié)束時(shí)，退回到步驟S102，指定目標(biāo)塊Io內(nèi)下一坐標(biāo)(x，y)的像素位置，重復(fù)該步驟S102以后的處理。
以上的步驟S101～S105的處理和圖10所示的流程圖的步驟S1～S5的處理完全相同。
在該實(shí)施方式中，在步驟S105中判斷為對(duì)目標(biāo)塊Io內(nèi)全部坐標(biāo)(x，y)的像素執(zhí)行了上述計(jì)算時(shí)，使縮小倍率為1/n，計(jì)算將參照向量(vx，vy)縮小到1/n后的參照縮小向量(vx/n，vy/n)(步驟S106)。
接著，檢測(cè)參照縮小向量(vx/n，vy/n)鄰近的多個(gè)參照向量，在該例中，如上所述，是4個(gè)鄰近參照向量(步驟S107)。然后，如前所述，基于參照縮小向量和鄰近參照向量分別表示的位置關(guān)系，從在步驟S104中求出的SAD值，求出作為和檢測(cè)的4個(gè)鄰近參照向量分別對(duì)應(yīng)的表要素要分散相加的值，作為線性加權(quán)分散值(步驟S108)。然后，將求出的4個(gè)線性加權(quán)分散值和與鄰近參照向量分別對(duì)應(yīng)的SAD表要素值相加(步驟S109)。
如果步驟S109結(jié)束，則判斷出對(duì)關(guān)注的參照塊的SAD值的計(jì)算結(jié)束，判斷對(duì)查找范圍內(nèi)的所有參照塊，即所有參照向量(vx，vy)的、上述步驟S101～S109的計(jì)算處理是否結(jié)束(圖35的步驟S111)。
在步驟S111中，如果判斷為還存在沒有完成上述計(jì)算處理的參照向量(vx，vy)，則退回到步驟S101，設(shè)定沒有完成上述計(jì)算處理的下一參照向量(vx，vy)，重復(fù)該步驟S101以后的處理。
然后，在步驟S111，如果判斷為在查找范圍內(nèi)沒有未完成上述計(jì)算處理的參照向量(vx，vy)，則縮小SAD表完成，在該完成的縮小SAD表中，檢測(cè)成為最小值的SAD值(步驟S112)。
接著，利用成為最小值的該表要素地址(mx，my)的SAD值(最小值)和其附近的多個(gè)、在本例中是如上所述的15個(gè)鄰近表要素的SAD值，生成二次曲面(步驟S113)，計(jì)算表示該二次曲面的最小值的SAD值對(duì)應(yīng)的小數(shù)精度的位置的最小值向量(px，py)(步驟S114)。該最小值向量(px，py)和小數(shù)精度的最小表要素地址對(duì)應(yīng)。
然后，通過使表示算出的小數(shù)精度位置的最小值向量(px，py)成為n倍，計(jì)算要求出的移動(dòng)向量(px×n，py×n)(步驟S115)。
以上，對(duì)于1個(gè)目標(biāo)塊的、利用本實(shí)施方式的塊匹配的移動(dòng)向量檢測(cè)處理結(jié)束。在圖30所示的、對(duì)1幀進(jìn)行分割后的區(qū)域中，在檢測(cè)到多個(gè)移動(dòng)向量的情況下，再設(shè)定查找范圍和縮小倍率1/n，對(duì)各分割區(qū)域的目標(biāo)塊重復(fù)上述圖34和圖35所示的處理。
而且，作為計(jì)算表示小數(shù)精度的位置的最小值向量(px，py)的方法，當(dāng)然可以采用利用上述水平方向和垂直方向的三次曲線的方法。
<第2例>
在上述第1例中，對(duì)1個(gè)參照塊(參照向量)求出其SAD值后，基于該SAD值求出關(guān)于參照縮小向量附近的多個(gè)參照向量的分散相加值，執(zhí)行分散相加處理。
與此相對(duì)的是，在第2例中，在檢測(cè)參照塊內(nèi)的各像素和目標(biāo)塊的像素的差分時(shí)，基于該差分值求出關(guān)于參照縮小向量附近的多個(gè)參照向量的分散相加值(不是SAD值的差分值)，對(duì)求出的差分值執(zhí)行分散相加處理。根據(jù)第2例，在對(duì)1個(gè)參照塊內(nèi)的全部像素的差分計(jì)算結(jié)束時(shí)，縮小SAD表被生成。
圖36和圖37示出了第2例的移動(dòng)向量檢測(cè)處理的流程圖。
圖36的步驟S121～S123的處理和圖34的步驟S101～S103的處理完全相同，所以在此省略其詳細(xì)說明。
在第2例中，在步驟S123計(jì)算關(guān)于坐標(biāo)(x，y)的參照塊和目標(biāo)塊之間的像素的差分值α后，接著，使縮小倍率為1/n，計(jì)算將參照向量(vx，vy)縮小到1/n后的參照縮小向量(vx/n，vy/n)(步驟S124)。
接著，檢測(cè)參照縮小向量(vx/n，vy/n)鄰近的多個(gè)參照向量，在該例中，如上所述，是4個(gè)鄰近參照向量(步驟S125)。然后，如前所述，基于參照縮小向量和鄰近參照向量分別表示的位置關(guān)系，從在步驟S123中求出的差分值α，求出作為和檢測(cè)的4個(gè)鄰近參照向量的各個(gè)對(duì)應(yīng)的表要素要分散相加的差分值，作為線性加權(quán)分散值(差分值)(步驟S126)。
然后，將求出的4個(gè)線性加權(quán)分散值和與鄰近參照向量的各個(gè)對(duì)應(yīng)的表要素值相加(步驟S127)。
如果步驟S127結(jié)束，則判斷對(duì)于目標(biāo)塊Io內(nèi)的全部坐標(biāo)(x，y)的像素，是否執(zhí)行了上述步驟S122～S127的計(jì)算(步驟S128)，在判斷為對(duì)目標(biāo)塊Io內(nèi)的全部坐標(biāo)(x，y)的像素的計(jì)算還沒有結(jié)束時(shí)，退回步驟S122，指定目標(biāo)塊Io內(nèi)的下一坐標(biāo)(x，y)的像素位置，重復(fù)該步驟S122以后的處理。
在步驟S128中判斷為是對(duì)目標(biāo)塊Io內(nèi)的全部坐標(biāo)(x，y)的像素執(zhí)行了上述計(jì)算時(shí)，則判斷出對(duì)關(guān)注的參照塊的SAD值的計(jì)算結(jié)束，判斷對(duì)查找范圍內(nèi)的所有參照塊，即所有參照向量(vx，vy)的上述步驟S121～S128的計(jì)算處理是否結(jié)束(圖37的步驟S131)。
然后，在步驟S131中，如果判斷為還存在沒有完成上述計(jì)算處理的參照向量(vx，vy)，則退回到步驟S121，設(shè)定沒有完成上述計(jì)算處理的下一參照向量(vx，vy)，重復(fù)該步驟S121以后的處理。
然后，在步驟S121，如果判斷為在查找范圍內(nèi)沒有未完成上述計(jì)算處理的參照向量(vx，vy)，則縮小SAD表完成，在該完成的縮小SAD表中，檢測(cè)成為最小值的SAD值(步驟S132)。
接著，利用成為最小值的該表要素地址(mx，my)的SAD值(最小值)和其附近的多個(gè)、在本例中是15個(gè)鄰近表要素的SAD值，生成二次曲面(步驟S133)，計(jì)算表示該二次曲面的最小值的SAD值對(duì)應(yīng)的小數(shù)精度的位置的最小值向量(px，py)(步驟S134)。該最小值向量(px，py)和小數(shù)精度的最小表要素地址對(duì)應(yīng)。
然后，通過使表示算出的小數(shù)精度位置的最小值向量(px，py)成為n倍，計(jì)算要求出的移動(dòng)向量(px×n，py×n)(步驟S135)。
以上，對(duì)1個(gè)目標(biāo)塊的、利用第2例的塊匹配的移動(dòng)向量檢測(cè)處理結(jié)束。在圖30所示的對(duì)1幀進(jìn)行分割后的區(qū)域中，在檢測(cè)到多個(gè)移動(dòng)向量的情況下，再設(shè)定查找范圍和縮小倍率1/n，對(duì)各分割區(qū)域重復(fù)上述圖36和圖37所示的處理。
而且，在第2例中，作為計(jì)算表示小數(shù)精度的位置的最小值向量(px，py)的方法，當(dāng)然可以采用利用上述水平方向和垂直方向的三次曲線的方法。
<第3例>
如圖29所示，在采用該實(shí)施例的移動(dòng)向量檢測(cè)方法的情況下，即使參照向量的縮小倍率為1/64的情況下，也不會(huì)看到輸出全都不同的移動(dòng)向量這樣的失敗，所以實(shí)質(zhì)上可以將SAD表減小到1/4096。
換言之，準(zhǔn)備減小到1/4096的縮小SAD表，以例如第1次的縮小倍率1/na＝1/64檢測(cè)第1次的移動(dòng)向量。接著，可以以第1次檢測(cè)的該移動(dòng)向量為中心，縮小查找范圍，以比第1次的縮小倍率1/na小的第2次的縮小倍率1/nb，例如1/nb＝1/8執(zhí)行第2次檢測(cè)。換言之，如果在第1次和第2次改變縮小倍率，設(shè)定第2次的縮小倍率，使其收納在第1次的向量誤差范圍內(nèi)，則能夠以很高的精度檢測(cè)移動(dòng)向量。
參照?qǐng)D38～41的流程圖說明第3例的移動(dòng)向量檢測(cè)處理。
圖38～40所示的第3例采用上述的第1例作為基本的移動(dòng)檢測(cè)處理。因此，圖38的步驟S141～S149的處理步驟和圖39的步驟S151～S155的處理步驟、圖34的步驟S101～S109的處理步驟以及圖35的步驟S111～S115的處理步驟完全相同。
在該第3例中，在圖39的步驟S155中算出移動(dòng)向量后，至此不結(jié)束處理，在該步驟S155中算出的移動(dòng)向量作為第1次的移動(dòng)向量，在下一步驟S156中，基于第1次算出的移動(dòng)向量，在相同的參照幀內(nèi)縮小檢索范圍，而且將參照向量的縮小倍率變更為比第1次的縮小倍率1/na小的縮小倍率1/nb。
換言之，如果在第1次處理中算出移動(dòng)向量，則能夠基于該算出的移動(dòng)向量在參照幀和原幀之間大致檢測(cè)有相關(guān)性的塊范圍。因此，能夠設(shè)定將該有相關(guān)性的塊范圍作為中心的縮小的檢索范圍。然后，通過和第1次相比減小縮小倍率，能夠期望以誤差更小的狀態(tài)計(jì)算第2次的移動(dòng)向量。
這樣，在步驟S156設(shè)定縮小的檢索范圍，設(shè)定新的縮小倍率后，和第1次完全相同，利用步驟S157～S158、圖40的步驟S161～S168、以及圖41的S171～S174執(zhí)行第2次移動(dòng)向量檢測(cè)處理。這些步驟的處理和圖34的步驟S101～S109的處理步驟以及圖35的步驟S111～S115的處理步驟完全相同。
這樣，最終，在步驟S174中，得到目標(biāo)值的移動(dòng)向量，作為第2次的移動(dòng)向量。
以上的例子作為移動(dòng)向量的檢測(cè)方法，是利用上述第1例，在兩個(gè)階段重復(fù)進(jìn)行的情況，但當(dāng)然可以進(jìn)一步縮小查找范圍，而且根據(jù)需要改變縮小倍率，在2個(gè)以上的階段重復(fù)執(zhí)行。
而且，作為移動(dòng)向量檢測(cè)方法，勿庸置疑的是，能夠取代上述第1例，采用上述第2例。而且，作為計(jì)算表示小數(shù)精度的位置的最小值向量(px，py)的方法，和前述例子相同，也可以采用利用上述水平方向和垂直方向的三次曲線的方法。
下面，參照?qǐng)D42的流程圖，說明在該實(shí)施方式的拍攝裝置中，拍攝時(shí)通過縮放開關(guān)7執(zhí)行縮放操作時(shí)的處理流程。用戶在活動(dòng)畫面拍攝時(shí)操作縮放開關(guān)7時(shí)，該圖42的處理從啟動(dòng)開始。
如果拍攝時(shí)由用戶操作縮放開關(guān)7，則CPU1接受該縮放開關(guān)7的操作輸入(步驟S181)。然后，CPU1基于接受的縮放輸入操作，生成控制縮放機(jī)構(gòu)8的縮放電機(jī)(縮放致動(dòng)器)的縮放控制信號(hào)CTL，提供給縮放機(jī)構(gòu)8(步驟S182)。
然后，CPU1以拍攝圖像的幀單位更新縮放位置并保存(步驟S183)。接著，如圖5(A)所示，對(duì)于更新后的幀，CPU1從移動(dòng)向量檢測(cè)處理部分151取得關(guān)于各目標(biāo)區(qū)域TGi的移動(dòng)向量MVi(步驟S184)。
然后，加入基于縮放機(jī)構(gòu)8的縮放控制處理的延遲的拍攝圖像上的縮放動(dòng)作延遲(圖像延遲)分量，利用從過去的縮放位置起的縮放速度變化、時(shí)間變化等變化率，計(jì)算各目標(biāo)區(qū)域TGi的光學(xué)縮放引起的圖像移動(dòng)向量分量(光學(xué)縮放部分向量)ZVi(步驟S185)。該步驟S185相當(dāng)于上述圖1的光學(xué)縮放部分向量計(jì)算部分152中的處理。
接著，計(jì)算在步驟S184取得的移動(dòng)向量MVi和光學(xué)縮放部分向量ZVi的差分，求出差分的向量Veci(步驟S186)。該步驟S186相當(dāng)于上述圖1的光學(xué)縮放部分向量減法部分153中的處理。
接著，基于步驟S186中求出的差分向量Veci，求出綜合手抖向量Gvec(步驟S187)。該步驟S187相當(dāng)于圖1的綜合手抖向量計(jì)算部分155的處理。
接著，圖2的分辨率變換部分16接受來自手抖移動(dòng)向量計(jì)算部分15的綜合手抖向量Gvec，根據(jù)該接受的綜合手抖向量，從圖像存儲(chǔ)部分4的幀存儲(chǔ)器42的、對(duì)應(yīng)于手抖偏移的地址位置，切出圖像數(shù)據(jù)(步驟S188)。
在采用上述拍攝圖像失真校正裝置的第1實(shí)施方式的拍攝裝置的手抖移動(dòng)向量檢測(cè)部分15的移動(dòng)向量檢測(cè)處理部分151中，如圖2所示，圖像存儲(chǔ)部分4以2張圖像、即原幀圖像和參照幀圖像都存儲(chǔ)在幀存儲(chǔ)器41、42中為前提。因此，移動(dòng)向量的檢測(cè)時(shí)間延遲1幀。
與此相對(duì)的是，在第2實(shí)施方式中，將來自拍攝元件11的排出圖像數(shù)據(jù)構(gòu)成參照幀，對(duì)于光柵掃描的流數(shù)據(jù)，能夠?qū)崟r(shí)地計(jì)算SAD值。第2實(shí)施方式和第1實(shí)施方式僅僅手抖移動(dòng)向量檢測(cè)部分151和圖像存儲(chǔ)部分4的結(jié)構(gòu)不同，其它結(jié)構(gòu)和第1實(shí)施方式全部相同。
而且，在第2實(shí)施方式中，手抖移動(dòng)向量檢測(cè)部分15的結(jié)構(gòu)也基本上具有圖1的結(jié)構(gòu)，但是，移動(dòng)向量檢測(cè)部分151的移動(dòng)向量的檢測(cè)處理動(dòng)作和第1實(shí)施方式不同。
圖43中示出了第2實(shí)施方式的拍攝裝置的結(jié)構(gòu)例的方框圖。從圖43可知，拍攝信號(hào)處理系統(tǒng)10的構(gòu)成塊和其它構(gòu)成塊與圖1所示的第1實(shí)施方式完全相同，但在該第2實(shí)施方式中，如圖43所示，圖像存儲(chǔ)部分4由1個(gè)幀存儲(chǔ)器43構(gòu)成。
在第2實(shí)施方式中，原幀存儲(chǔ)在幀存儲(chǔ)器43中，參照幀從數(shù)據(jù)變換部分14以流的方式輸入到手抖移動(dòng)向量檢測(cè)部分15中。在第1實(shí)施方式中，手抖移動(dòng)向量檢測(cè)部分15利用存儲(chǔ)在兩個(gè)幀存儲(chǔ)器41、42中的2張圖像數(shù)據(jù)，對(duì)參照塊執(zhí)行求取SAD值的處理。與此相對(duì)的是，在第2實(shí)施方式中，如圖33所示，在將來自數(shù)據(jù)變換部分14的圖像數(shù)據(jù)流作為參照幀的圖像數(shù)據(jù)的同時(shí)，將存儲(chǔ)在幀存儲(chǔ)器43中的圖像數(shù)據(jù)作為原幀的圖像數(shù)據(jù)，求出關(guān)于參照塊的SAD值。在利用例如亮度信號(hào)分量Y求出SAD值這一點(diǎn)上和第1實(shí)施方式相同。當(dāng)然可以不僅包含亮度信號(hào)分量，還包含色差信號(hào)分量，來求出SAD值。
這樣，在第2實(shí)施方式的手抖移動(dòng)向量檢測(cè)部分15中，將來自數(shù)據(jù)變換部分14的流圖像數(shù)據(jù)作為參照幀的圖像數(shù)據(jù)。因此，對(duì)于某些輸入像素，將該像素作為要素的參照塊在參照幀上同時(shí)存在多個(gè)。圖44是用于說明這種情形的圖。
換言之，從圖44可知，參照幀102上的查找范圍105中的輸入像素Din是位于例如參照向量1071對(duì)應(yīng)的參照塊1061左側(cè)的像素，同時(shí)，是位于例如參照向量1072對(duì)應(yīng)的參照塊1062右上方的像素。
因此，在輸入像素Din屬于參照塊1061中的情況下，需要讀出目標(biāo)塊103的像素D1，計(jì)算其差分。而且，在輸入像素Din屬于參照塊1062中的情況下，需要讀出目標(biāo)塊103的像素D2，計(jì)算其差分。
在圖44和后述的圖45中，為簡(jiǎn)單起見，僅僅圖示了2個(gè)參照塊，但是，實(shí)際上，將輸入像素Din作為該參照塊內(nèi)的像素的參照塊為多個(gè)。
該第2實(shí)施方式中的SAD計(jì)算如下進(jìn)行計(jì)算輸入像素Din的亮度值Y和與各個(gè)參照塊內(nèi)的輸入像素Din的位置對(duì)應(yīng)的、目標(biāo)塊內(nèi)的像素的亮度值Y的差分絕對(duì)值，根據(jù)和各個(gè)參照塊對(duì)應(yīng)的參照向量，將該計(jì)算出的差分絕對(duì)值和SAD表相加。
例如，如圖45所示，在輸入像素Din屬于參照塊1061時(shí)，目標(biāo)塊103的像素D1與輸入像素Din的差分絕對(duì)值加到SAD表108的參照向量1071對(duì)應(yīng)的SAD表要素1092的SAD值上并寫入。而且，如圖35所示，輸入像素Din屬于參照塊1062時(shí)目標(biāo)塊103的像素D2與輸入像素Din的差分絕對(duì)值加到SAD表108的參照向量1072對(duì)應(yīng)的SAD表要素1092的SAD值上并寫入。
因此，查找范圍內(nèi)全部區(qū)域的輸入像素被輸入，處理結(jié)束時(shí)，SAD表完成。換言之，SAD表實(shí)時(shí)制作完成。
來自數(shù)據(jù)變換部分14的數(shù)字拍攝信號(hào)的最初的1幀僅僅存儲(chǔ)在幀存儲(chǔ)器43中，在移動(dòng)向量檢測(cè)部分15中不執(zhí)行求取SAD值等計(jì)算處理。
然后，如果最初的1幀存儲(chǔ)在幀存儲(chǔ)器41中，則從下一幀的數(shù)據(jù)拍攝信號(hào)開始，移動(dòng)向量檢測(cè)部分15計(jì)算有關(guān)參照塊的SAD值。此時(shí)，如利用圖44和圖45所說明的那樣，移動(dòng)向量檢測(cè)部分15通過系統(tǒng)總線2從幀存儲(chǔ)器43讀出下述數(shù)據(jù)，即，來自數(shù)據(jù)變換部分14的圖像數(shù)據(jù)和被認(rèn)為包含要與該圖像數(shù)據(jù)比較的圖像的全部參照塊的圖像數(shù)據(jù)，求出各自的SAD值，將求出的SAD值加到各個(gè)參照塊對(duì)應(yīng)的SAD表地址的SAD值上。
然后，在該第2實(shí)施方式中，移動(dòng)向量檢測(cè)處理部分151制作例如圖30所示的1幀的多個(gè)查找范圍各自的SAD表，求出該SAD表的SAD值的最小值，并分別求出各查找范圍的移動(dòng)向量(查找范圍各移動(dòng)向量)。
然后，移動(dòng)向量檢測(cè)部分15基于1幀的多個(gè)查找范圍全部的每個(gè)查找范圍移動(dòng)向量，并考慮相對(duì)于過去的移動(dòng)向量的變化關(guān)系，檢測(cè)關(guān)于1幀的移動(dòng)向量即綜合移動(dòng)向量。然后，移動(dòng)向量檢測(cè)部分15將該檢測(cè)結(jié)果即綜合移動(dòng)向量作為控制信號(hào)傳送給后一級(jí)的分辨率變換部分16。
分辨率變換部分16進(jìn)行以下處理根據(jù)從移動(dòng)向量檢測(cè)部分15接受的綜合移動(dòng)向量，一邊切出存儲(chǔ)在幀存儲(chǔ)器43中的延遲幀的圖像數(shù)據(jù)，一邊變換為需要的分辨率和圖像大小。通過從自幀存儲(chǔ)器43按照綜合移動(dòng)向量的切出操作，變換后的圖像成為除去了手抖的圖像。
圖45的說明是將實(shí)時(shí)SAD計(jì)算處理用于現(xiàn)有方法的情況。在第2實(shí)施方式中，在圖45中，作為SAD表108的參照向量1071或者1072對(duì)應(yīng)的SAD表要素1091或者1092的SAD值，不是加上并寫入算出的各差分絕對(duì)值，而是如前述第1實(shí)施方式所示，計(jì)算以縮小倍率1/n縮小參照向量1071、1072后的參照縮小向量，在該參照縮小向量附近的多個(gè)參照向量上，從上述算出的差分絕對(duì)值，求用于分散相加每一個(gè)的分散相加值，將該求出的分散相加值和上述附近的多個(gè)參照向量所對(duì)應(yīng)的SAD值相加。
在第2實(shí)施方式中，用于檢測(cè)SAD表(縮小SAD表)完成后正確移動(dòng)向量的處理和上述第1實(shí)施方式中所述的方法完全相同，能夠采用利用二次曲面和水平方向以及垂直方向的三次曲線的方法。
以下，參照?qǐng)D46和圖47的流程圖，說明移動(dòng)向量檢測(cè)處理部分151的移動(dòng)向量的檢測(cè)處理操作的例子的流程。而且，為了說明的方便，圖46和圖47的流程圖的處理示出的是關(guān)于1幀的拍攝圖像數(shù)據(jù)的處理。
首先，在手抖移動(dòng)向量檢測(cè)部分15中，接受輸入圖像的幀(參照幀)的任意位置(x，y)的像素?cái)?shù)據(jù)Din(x，y)(步驟S201)。接著，設(shè)定與包含該像素位置(x，y)的多個(gè)參照塊之一對(duì)應(yīng)的參照向量(vx，vy)(步驟S202)。
下面，計(jì)算設(shè)定的參照向量(vx，vy)的參照塊Ii的該像素值Ii(x，y)和與其對(duì)應(yīng)的目標(biāo)塊Io內(nèi)的像素值Io(x-vx，y-vy)的差分絕對(duì)值α(步驟S203)。換言之，差分絕對(duì)值α按下述公式計(jì)算。
α＝|Io(x-vx，y-vy)-Ii(x，y)|...(式3)接著，使縮小倍率為1/n，計(jì)算將參照向量(vx，vy)縮小到1/n后的參照縮小向量(vx/n，vy/n)(步驟S204)。
接著，檢測(cè)參照縮小向量(vx/n，vy/n)附近的多個(gè)參照向量，在該例中，如上所述，是4個(gè)鄰近參照向量(步驟S205)。然后，如前所述，基于參照縮小向量和鄰近參照向量分別表示的位置關(guān)系，從在步驟中S203求出的差分絕對(duì)值α，求出作為檢測(cè)的4個(gè)鄰近參照向量的每一個(gè)對(duì)應(yīng)的表要素要分散相加的值(差分絕對(duì)值)，作為線性加權(quán)分散值(步驟S206)。然后，求出的4個(gè)線性加權(quán)分散值和鄰近參照向量的每一個(gè)對(duì)應(yīng)的SAD表要素值相加(步驟S207)。
然后，判斷是否對(duì)包含輸入像素Din(x，y)的全部參照塊執(zhí)行了上述步驟S202～步驟S207的計(jì)算(步驟S208)，當(dāng)判斷為存在包含該輸入像素Din(x，y)的其它參照塊時(shí)，退回到步驟S202，設(shè)定包含該輸入像素Din的其它參照塊(vx，vy)，重復(fù)步驟S202～步驟S207的處理。
而且，在步驟S208中，在判斷為對(duì)包含輸入像素Din(x，y)的全部參照塊執(zhí)行了上述步驟S202～步驟S207的計(jì)算時(shí)，判斷對(duì)查找范圍內(nèi)的全部輸入像素Din是否結(jié)束了上述計(jì)算步驟的處理(圖47的步驟S211)，在判斷為沒有結(jié)束時(shí)，退回到步驟S201，取入查找范圍內(nèi)的下一輸入像素Din，重復(fù)步驟S201以后的處理。
然后，在步驟S211，如果判斷結(jié)果是對(duì)查找范圍內(nèi)的全部輸入像素Din結(jié)束了上述計(jì)算步驟的處理，則縮小SAD表已經(jīng)完成，在該完成的縮小SAD表中，檢測(cè)成為最小值的SAD值(步驟S212)。
接著，利用成為最小值的表要素地址(mx，my)的SAD值(最小值)和其附近的多個(gè)、在本例中是15個(gè)鄰近表要素的SAD值，生成二次曲面(步驟S213)，計(jì)算表示該二次曲面的最小值的SAD值對(duì)應(yīng)的小數(shù)精度的位置的最小值向量(px，py)(步驟S214)。該最小值向量(px，py)和小數(shù)精度的最小表要素地址對(duì)應(yīng)。
然后，通過使表示算出的小數(shù)精度位置的最小值向量(px，py)成為n倍，計(jì)算要求出的移動(dòng)向量(px×n，py×n)(步驟S215)。
而且，在本例中，作為計(jì)算表示小數(shù)精度的位置的最小值向量(px，py)的方法，和前面的例子相同，也可以采用利用上述水平方向和垂直方向的三次曲線的方法。
和上述第1實(shí)施方式的第3例相同，在第2實(shí)施方式中，當(dāng)然可以一邊縮小查找范圍，而且一邊根據(jù)需要改變縮小倍率，一邊在2個(gè)以上的階段重復(fù)執(zhí)行利用縮小SAD表的移動(dòng)向量檢測(cè)處理。
第2實(shí)施方式的優(yōu)點(diǎn)是，和第1實(shí)施方式相比，能夠減少1個(gè)幀存儲(chǔ)器，而且能夠縮短在幀存儲(chǔ)器中存儲(chǔ)輸入圖像的時(shí)間。減少存儲(chǔ)器的效果當(dāng)然一向得到重視，處理時(shí)間的縮短近年來也受到了重視。特別是在處理活動(dòng)畫面的情況下，由于這樣引起系統(tǒng)延遲時(shí)間的縮短，所以盡可能消除由于系統(tǒng)延遲而產(chǎn)生的、實(shí)際被拍攝體和面板顯示圖像之間的不協(xié)調(diào)感對(duì)于用戶訴求而言具有高的效果。
另外，手抖移動(dòng)向量檢測(cè)部分15能夠由上述例子中示出的硬件構(gòu)成，也能夠利用DSP(Digital Signal Processor，數(shù)字信號(hào)處理器)構(gòu)成。而且，還能夠利用CPU1執(zhí)行軟件處理。同樣，校正分辨率變換部分16也能夠由硬件構(gòu)成，還能夠利用DSP(Digital Signal Processor)構(gòu)成。而且，還能夠利用CPU1執(zhí)行軟件處理。
而且，在上述第1和第2實(shí)施方式的說明中，移動(dòng)向量檢測(cè)處理部分151的參照向量的縮小倍率在水平方向和垂直方向上是相同的，但也可以使參照向量的縮小倍率在水平方向和垂直方向上不相同。
而且，在上述實(shí)施方式中，也可以對(duì)參照塊和目標(biāo)塊內(nèi)的全部像素求出SAD值，但也可以象上述實(shí)施方式那樣，利用例如僅僅每隔k個(gè)(k是自然數(shù))的像素求出SAD值。
而且，在作為第2實(shí)施方式說明的實(shí)時(shí)處理的移動(dòng)向量檢測(cè)處理部分151中，將計(jì)算成本和處理時(shí)間減少作為目的，屢次執(zhí)行僅僅在參照塊內(nèi)查找目標(biāo)塊內(nèi)的代表點(diǎn)的SAD計(jì)算，但在本發(fā)明中，也可以通過在存儲(chǔ)原幀的幀存儲(chǔ)器中，僅僅存儲(chǔ)幀圖像內(nèi)的各個(gè)塊的代表點(diǎn)，實(shí)現(xiàn)存儲(chǔ)器的大量減少。而且，和幀存儲(chǔ)器不同，在本地具有小規(guī)模的代表點(diǎn)存儲(chǔ)器，也可以實(shí)現(xiàn)全局存儲(chǔ)器(global memory)(DRAM)的帶域削減。
而且，在上述第1、第2實(shí)施方式中，像素的差分值和SAD值僅僅利用像素的亮度值Y計(jì)算，但為了檢測(cè)移動(dòng)向量，也可以不僅利用亮度值Y，還利用色差分量Cb/Cr。而且，也可以將在數(shù)據(jù)變換部分14中變換為亮度值Y和色差分量Cb/Cr之前的RAW數(shù)據(jù)作為對(duì)象，執(zhí)行移動(dòng)向量檢測(cè)處理。
在上述說明中，對(duì)SAD計(jì)算處理利用縮小參照向量來執(zhí)行SAD計(jì)算處理的新方法的情況進(jìn)行了說明，但當(dāng)然能夠利用圖8～圖10說明的現(xiàn)有SAD計(jì)算處理。
在上述實(shí)施方式中，1幀中設(shè)定的目標(biāo)區(qū)域數(shù)量是水平×垂直＝4×4＝16個(gè)，但當(dāng)然并不局限于此。
上述實(shí)施方式的說明是，校正由操作拍攝裝置的用戶引起的手抖導(dǎo)致的圖像失真的情況下，但勿庸置疑的是，能夠不僅校正由用戶引起的手抖導(dǎo)致的圖像失真，還能夠校正在拍攝時(shí)為了其拍攝圖像產(chǎn)生水平方向和/或者垂直方向的位置變化而對(duì)拍攝元件施加的振動(dòng)等偏移力引起的圖像失真。
上述實(shí)施方式是利用CMOS成像器作為X-Y地址型固體拍攝元件的情況下，當(dāng)然拍攝元件不局限于CMOS成像器。
而且，本發(fā)明并不僅僅適用于拍攝裝置(照相機(jī))，還可以用于將拍攝元件安裝在例如移動(dòng)電話終端、信息移動(dòng)終端等上拍攝圖像的情況下。而且，不僅僅適用于由用戶手持來進(jìn)行拍攝的裝置，還可以用于對(duì)個(gè)人電腦和電視電話裝置等固定設(shè)置的裝置施加外力而產(chǎn)生振動(dòng)的情況下，和在汽車等上安裝拍攝元件，拍攝圖像的情況下。
權(quán)利要求
1.一種拍攝圖像的失真校正方法，具有移動(dòng)向量檢測(cè)步驟，接收來自拍攝元件的圖像數(shù)據(jù)，從該圖像數(shù)據(jù)檢測(cè)拍攝圖像的1個(gè)畫面單位的移動(dòng)向量；光學(xué)縮放部分向量計(jì)算步驟，計(jì)算由于光學(xué)縮放而在上述拍攝圖像中產(chǎn)生的圖像移動(dòng)所對(duì)應(yīng)的光學(xué)縮放部分向量；向量減法步驟，從在上述移動(dòng)向量檢測(cè)步驟檢測(cè)到的移動(dòng)向量中減去在上述光學(xué)縮放部分向量計(jì)算步驟計(jì)算出的上述光學(xué)縮放部分向量；綜合手抖向量計(jì)算步驟，在沒有執(zhí)行上述光學(xué)縮放時(shí)，基于上述移動(dòng)向量檢測(cè)步驟中檢測(cè)到的上述移動(dòng)向量，計(jì)算關(guān)于上述拍攝圖像的手抖向量，在執(zhí)行了上述光學(xué)縮放操作時(shí)，基于上述向量減法步驟的減法結(jié)果的移動(dòng)向量，計(jì)算關(guān)于上述拍攝圖像的手抖向量；以及手抖校正步驟，基于在上述綜合手抖向量計(jì)算步驟中算出的上述綜合手抖向量，校正上述拍攝圖像的手抖引起的圖像失真。
2.根據(jù)權(quán)利要求1記載的拍攝圖像的失真校正方法，特征在于在上述移動(dòng)向量檢測(cè)步驟中，與在水平方向和垂直方向上分割上述拍攝畫面后的多個(gè)分割區(qū)域?qū)?yīng)地檢測(cè)多個(gè)移動(dòng)向量；在上述光學(xué)縮放部分向量計(jì)算步驟中，計(jì)算與上述多個(gè)分割區(qū)域的各個(gè)分割區(qū)域?qū)?yīng)的光學(xué)縮放部分向量；在上述向量減法步驟中，對(duì)于上述分割區(qū)域，分別從在上述移動(dòng)向量檢測(cè)步驟中檢測(cè)的移動(dòng)向量中，減去在上述光學(xué)縮放部分向量計(jì)算步驟中算出的上述光學(xué)縮放部分向量。
3.根據(jù)權(quán)利要求2記載的拍攝圖像的失真校正方法，特征在于在上述光學(xué)縮放部分向量計(jì)算步驟中，至少利用縮放速度、從上述縮放操作起經(jīng)過的時(shí)間、和上述分割區(qū)域分別離上述拍攝圖像的中心位置的距離，計(jì)算上述光學(xué)縮放部分向量。
4.根據(jù)權(quán)利要求2記載的拍攝圖像的失真校正方法，特征在于上述移動(dòng)向量檢測(cè)步驟是用于根據(jù)作為關(guān)注畫面的參照畫面和該參照畫面之前的原畫面之間的上述分割區(qū)域的圖像信息，檢測(cè)上述分割區(qū)域各自中的圖像的移動(dòng)向量的步驟，該步驟在上述原畫面的上述各分割圖像區(qū)間中，在規(guī)定位置上設(shè)定由多個(gè)像素構(gòu)成的規(guī)定大小的至少1個(gè)目標(biāo)塊；在上述關(guān)注畫面上設(shè)定的查找范圍中，設(shè)定多個(gè)和上述目標(biāo)塊相同大小的參照塊；從上述多個(gè)參照塊內(nèi)，檢測(cè)與上述目標(biāo)塊的相關(guān)性強(qiáng)的上述參照塊；基于該檢測(cè)到的參照塊相對(duì)于上述目標(biāo)塊在畫面上的位置偏移量，檢測(cè)上述移動(dòng)向量。
5.根據(jù)權(quán)利要求4記載的拍攝圖像的失真校正方法，特征在于在上述移動(dòng)向量檢測(cè)步驟中，檢測(cè)上述分割區(qū)域各自中的上述圖像的移動(dòng)向量的方法具備下述步驟差分絕對(duì)值和計(jì)算步驟，在上述參照塊中，分別求該參照塊內(nèi)的各像素的像素值和在上述目標(biāo)塊內(nèi)對(duì)應(yīng)的位置的各像素的像素值的差分絕對(duì)值的總和；參照縮小向量取得步驟，將上述參照塊各自的上述參照畫面上的位置和上述目標(biāo)塊的畫面上的位置的位置偏移量，作為也包含方向分量的參照向量，得到以規(guī)定縮小率縮小該參照向量后的參照縮小向量；表生成步驟，生成縮小差分絕對(duì)值和表，該縮小差分絕對(duì)值和表用于存儲(chǔ)將與上述參照縮小向量對(duì)應(yīng)大小的上述參照向量作為上述位置偏移量的、對(duì)應(yīng)于上述規(guī)定縮小率而被削減的數(shù)的多個(gè)上述參照塊各自的差分絕對(duì)值和；移動(dòng)向量計(jì)算步驟，至少采用上述縮小差分絕對(duì)值和表中的上述差分絕對(duì)值和的最小值所對(duì)應(yīng)的上述參照向量，計(jì)算上述參照畫面和上述原畫面之間的上述分割畫面區(qū)間各自的移動(dòng)向量；上述表生成步驟具備以下步驟鄰近參照向量檢測(cè)步驟，檢測(cè)成為由上述參照縮小向量取得部件取得的上述參照縮小向量的鄰近值的多個(gè)上述參照向量；分散差分絕對(duì)值和計(jì)算步驟，基于在上述差分絕對(duì)值和計(jì)算步驟算出的上述參照塊各自的上述差分絕對(duì)值總和，計(jì)算與在上述鄰近參照向量檢測(cè)步驟中檢測(cè)到的上述鄰近的多個(gè)上述參照向量所分別對(duì)應(yīng)的各個(gè)差分絕對(duì)值和；分散相加步驟，將在上述分散差分絕對(duì)值和計(jì)算步驟中算出的上述鄰近的多個(gè)上述參照向量所分別對(duì)應(yīng)的上述差分絕對(duì)值和，與到此為止的上述鄰近的多個(gè)上述參照向量所分別對(duì)應(yīng)的上述差分絕對(duì)值和相加。
6.根據(jù)權(quán)利要求4記載的拍攝圖像的失真校正方法，特征在于在上述移動(dòng)向量檢測(cè)步驟中，檢測(cè)上述分割區(qū)域各自中的上述圖像的移動(dòng)向量的方法如下在上述原畫面的上述各分割圖像區(qū)間中，在規(guī)定位置上設(shè)定由多個(gè)像素構(gòu)成的規(guī)定大小的至少1個(gè)目標(biāo)塊；在上述參照畫面中設(shè)定的查找范圍中，設(shè)定多個(gè)和上述目標(biāo)塊相同大小的參照塊；從上述多個(gè)參照塊內(nèi)，檢測(cè)和上述目標(biāo)塊的相關(guān)性強(qiáng)的上述參照塊；以及基于該檢測(cè)到的參照塊相對(duì)于上述目標(biāo)塊在畫面上的位置偏移量，檢測(cè)上述移動(dòng)向量；并且具備以下步驟差分絕對(duì)值和計(jì)算步驟，在上述參照塊中，分別求該參照塊內(nèi)的各像素的像素值和在上述目標(biāo)塊內(nèi)對(duì)應(yīng)位置的各像素的像素值的差分絕對(duì)值的總和；參照縮小向量取得步驟，將上述參照塊各自的上述參照畫面上的位置和上述目標(biāo)塊的畫面上的位置的位置偏移量，作為也包含方向分量的參照向量，得到以規(guī)定縮小率縮小該參照向量后的參照縮小向量；表生成步驟，生成縮小差分絕對(duì)值和表，所述縮小差分絕對(duì)值和表用于存儲(chǔ)將與上述參照縮小向量對(duì)應(yīng)大小的上述參照向量作為上述位置偏移量的、對(duì)應(yīng)于上述規(guī)定縮小率而被削減的數(shù)的多個(gè)上述參照塊各自的差分絕對(duì)值和；移動(dòng)向量計(jì)算步驟，至少采用上述縮小差分絕對(duì)值和表的上述差分絕對(duì)值和的最小值所對(duì)應(yīng)的上述參照向量，計(jì)算上述參照畫面和上述原畫面之間的上述分割圖像區(qū)間各自的移動(dòng)向量；上述表生成步驟具備以下步驟鄰近參照向量檢測(cè)步驟，檢測(cè)成為在上述參照縮小向量取得步驟中取得的上述參照縮小向量的鄰近值的多個(gè)上述參照向量；分散差分絕對(duì)值和計(jì)算步驟，基于在上述差分絕對(duì)值和計(jì)算步驟算出的上述參照塊各自的上述差分絕對(duì)值總和，分別計(jì)算與在上述鄰近參照向量檢測(cè)步驟中檢測(cè)到的上述鄰近的多個(gè)上述參照向量所分別對(duì)應(yīng)的各個(gè)差分絕對(duì)值和；分散相加步驟，將在上述分散差分絕對(duì)值和計(jì)算步驟中算出的上述鄰近的多個(gè)上述參照向量所分別對(duì)應(yīng)的上述差分絕對(duì)值和，與到此為止的上述鄰近的多個(gè)上述參照向量所分別對(duì)應(yīng)的上述差分絕對(duì)值和相加。
7.一種拍攝方法，校正攝影時(shí)的手抖引起的拍攝元件的位置變化導(dǎo)致的拍攝圖像的失真，記錄校正后的拍攝圖像信息，使用具備光學(xué)縮放操作部分的拍攝裝置，特征在于，具備下述步驟移動(dòng)向量檢測(cè)步驟，上述拍攝裝置的移動(dòng)向量檢測(cè)部件接收來自所述拍攝元件的拍攝圖像數(shù)據(jù)，從該拍攝圖像數(shù)據(jù)檢測(cè)拍攝圖像的1個(gè)畫面單位的移動(dòng)向量；判斷步驟，由上述拍攝裝置的判斷部件判斷在上述光學(xué)縮放操作部分中是否執(zhí)行了縮放操作；光學(xué)縮放部分向量計(jì)算步驟，由上述拍攝裝置的光學(xué)縮放部分向量計(jì)算部件計(jì)算由于上述光學(xué)縮放而在上述拍攝圖像中產(chǎn)生的圖像移動(dòng)所對(duì)應(yīng)的光學(xué)縮放部分向量；向量減法步驟，在上述判斷步驟中判斷出執(zhí)行了上述光學(xué)縮放操作時(shí)，上述拍攝裝置的向量減法部件求在上述移動(dòng)向量檢測(cè)步驟中檢測(cè)到的移動(dòng)向量和在上述光學(xué)縮放部分向量計(jì)算步驟計(jì)算出的上述光學(xué)縮放部分向量的差分；綜合手抖向量計(jì)算步驟，在上述判斷步驟中判斷為沒有執(zhí)行上述光學(xué)縮放操作時(shí)，上述拍攝裝置的手抖向量計(jì)算部件基于上述移動(dòng)向量檢測(cè)步驟中檢測(cè)到的上述移動(dòng)向量，計(jì)算關(guān)于上述拍攝圖像的手抖向量，在上述判斷步驟中判斷為執(zhí)行了上述光學(xué)縮放操作時(shí)，基于上述向量減法步驟的減法結(jié)果的移動(dòng)向量，計(jì)算關(guān)于上述拍攝圖像的手抖向量；手抖校正步驟，由上述拍攝裝置的手抖校正部件基于在上述綜合手抖向量計(jì)算步驟中算出的上述綜合手抖向量，校正上述拍攝圖像的手抖引起的圖像失真；記錄步驟，由上述拍攝裝置的記錄部件在記錄介質(zhì)中記錄由上述校正部件校正后的上述拍攝圖像的圖像信息。
8.根據(jù)權(quán)利要求7記載的拍攝方法，特征在于在上述移動(dòng)向量檢測(cè)步驟中，與在水平方向和垂直方向上分割上述拍攝畫面后的多個(gè)分割區(qū)域?qū)?yīng)地檢測(cè)多個(gè)移動(dòng)向量；在上述光學(xué)縮放部分向量計(jì)算步驟中，計(jì)算與上述多個(gè)分割區(qū)域的各個(gè)分割區(qū)域?qū)?yīng)的光學(xué)縮放部分向量；在上述向量減法步驟中，對(duì)于上述分割區(qū)域，分別從在上述移動(dòng)向量檢測(cè)步驟中檢測(cè)的移動(dòng)向量中，減去在上述光學(xué)縮放部分向量計(jì)算步驟中算出的上述光學(xué)縮放部分向量。
9.根據(jù)權(quán)利要求8記載的拍攝方法，特征在于在上述光學(xué)縮放部分向量計(jì)算步驟中，至少利用縮放速度、從上述縮放操作起經(jīng)過的時(shí)間、和上述分割區(qū)域分別離上述拍攝圖像的中心位置的距離，計(jì)算上述光學(xué)縮放部分向量。
10.一種拍攝圖像的失真校正裝置，具有移動(dòng)向量檢測(cè)部件，接收來自拍攝元件的圖像數(shù)據(jù)，從該圖像數(shù)據(jù)檢測(cè)拍攝圖像的1個(gè)畫面單位的移動(dòng)向量；光學(xué)縮放部分向量計(jì)算部件，計(jì)算由于光學(xué)縮放而在上述拍攝圖像中產(chǎn)生的圖像移動(dòng)所對(duì)應(yīng)的光學(xué)縮放部分向量；向量減法部件，從在上述移動(dòng)向量檢測(cè)部件檢測(cè)到的移動(dòng)向量中減去在上述光學(xué)縮放部分向量計(jì)算部件計(jì)算出的上述光學(xué)縮放部分向量；綜合手抖向量計(jì)算部件，在沒有執(zhí)行上述光學(xué)縮放時(shí)，基于上述移動(dòng)向量檢測(cè)部件中檢測(cè)到的上述移動(dòng)向量，計(jì)算關(guān)于上述拍攝圖像的手抖向量，在執(zhí)行了上述光學(xué)縮放時(shí)，基于上述向量減法部件的減法結(jié)果的移動(dòng)向量，計(jì)算關(guān)于上述拍攝圖像的手抖向量；以及手抖校正部件，基于在上述綜合手抖向量計(jì)算部件中算出的上述綜合手抖向量，校正上述拍攝圖像的手抖引起的圖像失真。
11.根據(jù)權(quán)利要求10記載的拍攝圖像的失真校正裝置，特征在于在上述移動(dòng)向量檢測(cè)部件中，與在水平方向和垂直方向上分割上述拍攝畫面后的多個(gè)分割區(qū)域?qū)?yīng)地檢測(cè)多個(gè)移動(dòng)向量；在上述光學(xué)縮放部分向量計(jì)算部件中，計(jì)算與上述多個(gè)分割區(qū)域的各個(gè)分割區(qū)域?qū)?yīng)的光學(xué)縮放部分向量；在上述向量減法部件中，對(duì)于上述分割區(qū)域，分別從在上述移動(dòng)向量檢測(cè)部件中檢測(cè)的移動(dòng)向量中，減去由上述光學(xué)縮放部分向量計(jì)算部件算出的上述光學(xué)縮放部分向量。
12.根據(jù)權(quán)利要求11記載的拍攝圖像的失真校正裝置，特征在于在上述光學(xué)縮放部分向量計(jì)算部件中，至少利用縮放速度、從上述縮放操作起經(jīng)過的時(shí)間、和上述分割區(qū)域分別離上述拍攝圖像的中心位置的距離，計(jì)算上述光學(xué)縮放部分向量。
13.一種拍攝裝置，特征在于，具備拍攝元件；光學(xué)縮放操作部分；光學(xué)縮放驅(qū)動(dòng)部件，對(duì)應(yīng)于上述光學(xué)縮放操作部分的光學(xué)縮放操作，控制光學(xué)透鏡系統(tǒng)，執(zhí)行光學(xué)縮放；移動(dòng)向量檢測(cè)部件，接收來自上述拍攝元件的圖像數(shù)據(jù)，從該圖像數(shù)據(jù)檢測(cè)拍攝圖像的1個(gè)畫面單位的移動(dòng)向量；判斷部件，判斷是否通過上述光學(xué)縮放操作部分執(zhí)行了光學(xué)縮放操作；光學(xué)縮放部分向量計(jì)算部件，計(jì)算由于上述光學(xué)縮放而在上述拍攝圖像中產(chǎn)生的圖像移動(dòng)所對(duì)應(yīng)的光學(xué)縮放部分向量；向量減法部件，在上述判斷部件判斷出執(zhí)行了上述光學(xué)縮放操作時(shí)，求出由上述移動(dòng)向量檢測(cè)部件檢測(cè)到的移動(dòng)向量和由上述光學(xué)縮放部分向量計(jì)算部件計(jì)算出的上述光學(xué)縮放部分向量的差分；綜合手抖向量計(jì)算部件，在上述判斷部件判斷為沒有執(zhí)行上述光學(xué)縮放操作時(shí)，基于由上述移動(dòng)向量檢測(cè)部件檢測(cè)到的上述移動(dòng)向量，計(jì)算關(guān)于上述拍攝圖像的手抖向量，在上述判斷部件判斷為執(zhí)行了上述光學(xué)縮放操作時(shí)，基于上述向量減法步驟的減法結(jié)果的移動(dòng)向量，計(jì)算關(guān)于上述拍攝圖像的手抖向量；手抖校正部件，基于由上述綜合手抖向量計(jì)算部件算出的上述綜合手抖向量，校正上述拍攝圖像的手抖引起的圖像失真；以及記錄部件，在記錄介質(zhì)中記錄由上述校正部件校正后的上述拍攝圖像的圖像信息。
14.根據(jù)權(quán)利要求13記載的拍攝裝置，特征在于在上述移動(dòng)向量檢測(cè)部件中，與在水平方向和垂直方向上分割上述拍攝畫面后的多個(gè)分割區(qū)域?qū)?yīng)地檢測(cè)多個(gè)移動(dòng)向量；在上述光學(xué)縮放部分向量計(jì)算部件中，計(jì)算與上述多個(gè)分割區(qū)域的各個(gè)分割區(qū)域?qū)?yīng)的光學(xué)縮放部分向量；在上述向量減法部件中，對(duì)于上述分割區(qū)域，分別從在上述移動(dòng)向量檢測(cè)部件中檢測(cè)的移動(dòng)向量中，減去由上述光學(xué)縮放部分向量計(jì)算部件算出的上述光學(xué)縮放部分向量。
15.根據(jù)權(quán)利要求14記載的拍攝裝置，特征在于在上述光學(xué)縮放部分向量計(jì)算部件中，至少利用縮放速度、從上述縮放操作起經(jīng)過的時(shí)間、和上述分割區(qū)域分別離上述拍攝圖像的中心位置的距離，計(jì)算上述光學(xué)縮放部分向量。
全文摘要
拍攝圖像的失真校正方法、拍攝圖像的失真校正裝置、拍攝方法和拍攝裝置。除去光學(xué)縮放時(shí)手抖引起的失真，得到無圖像失真的縮放圖像。在移動(dòng)向量檢測(cè)步驟中，接收來自拍攝元件的圖像數(shù)據(jù)，從該圖像數(shù)據(jù)檢測(cè)拍攝圖像的1個(gè)畫面單位的移動(dòng)向量。在光學(xué)縮放部分向量計(jì)算步驟中，計(jì)算由于光學(xué)縮放而在拍攝圖像中產(chǎn)生的圖像移動(dòng)所對(duì)應(yīng)的光學(xué)縮放部分向量。在判斷出執(zhí)行了光學(xué)縮放操作時(shí)，計(jì)算在移動(dòng)向量檢測(cè)步驟檢測(cè)到的移動(dòng)向量和在光學(xué)縮放部分向量計(jì)算步驟計(jì)算出的光學(xué)縮放部分向量的差分。在判斷出執(zhí)行了光學(xué)縮放操作時(shí)，基于差分計(jì)算結(jié)果的移動(dòng)向量，計(jì)算關(guān)于拍攝圖像的手抖向量，基于該算出的手抖向量，校正拍攝圖像的手抖引起的圖像失真。
文檔編號(hào)H04N5/225GK101079965SQ20071010352
公開日2007年11月28日 申請(qǐng)日期2007年2月25日 優(yōu)先權(quán)日2006年2月20日
發(fā)明者倉(cāng)田徹 申請(qǐng)人:索尼株式會(huì)社