擷取攝影裝置動作參數的系統及其計算方法

專利名稱：擷取攝影裝置動作參數的系統及其計算方法
技術領域：
本發明有關一種攝影機動作參數的計算方法，將一影像利用動態向量場(Motion vectors；MVs)，來求得攝影裝置(Camera)拍攝時所做的動作或攝影方式。

背景技術：
一般偵測影像中物體移動方法主要是藉由一運算裝置依據一影像產生裝置所產生的復數影像畫面來判斷是否有物體移動，該運算裝置會從復數個影像畫面選出連續的第一影像畫面以及第二影像畫面來作比較，以判斷是否有物體發生移動。一般來說，當有物體移動時，影像產生裝置所產生的影像畫面其所包含的復數個像素(pixels)會因為物體的移動，而產生局部的變化，因此，當該運算裝置比較該第一影像畫面以及該第二影像畫面所包含的復數像素的變化情形來作為其判斷的基準。如此一來，當影像畫面的復數個像素有所變動時，運算裝置即可依據影像產生裝置所先后產生的第一影像畫面以及第二影像畫面來判斷其中是否有物體發生移動。
如圖16及圖17所示，為一般偵測系統的示意圖，該偵測系統10會依據一預定偵測物體移動的方法來偵測一景像20內是否有物體發生移動，偵測系統10包含有一影像產生裝置30用來拍攝景像20，并且以一預定速度(例如每秒擷取30次)來產生復數個影像畫面(frame)40以及一運算裝置50，用來對復數個影像畫面40中的一第一影像畫面41以及第二影像畫面42進行處理，并根據該預定偵測物體移動的方法來將第二影像畫面42與第一影像畫面41作比較，以判段是否有物體于景像20內移動。當運算裝置50在判斷是否有物體于景像20內移動時，運算裝置50會逐一將第二影像畫面42中的每一像素與第一影像畫面41中所對應的像素作比對，以計算出第一影像畫面41與第二影像畫面42有差異的像素總數。
然而，判斷物體是否發生移動或者移動方向，是由運算裝置先將各連續畫面所對應的像素逐一比對，再利用特殊方程式的計算，計算出各連續畫面有差異的像素總數，其計算量過于大，并不便于使用。


發明內容
本發明擷取攝影裝置動作參數的系統及其計算方法，可從未壓縮影片，例如影像序列(Video Sequence)，再經由動態估計(Motion Estimation)的運算后取得影片中的動態向量場(Motion Vectors；MVs)；另一方式則為可從壓縮后的影片(compression domain(壓縮層面))，例如，再經由動態向量擷取(motion vector extraction)的運算后取得影片中的動態向量場。由上述流程所得到的動態向量場，再利用本發明攝影機移動偵測(camera motion detection)方法，可取得攝影機移動的參數，此參數分別有攝影機左右擺動(PAN)的參數、攝影機上下擺動(TILT)的參數及鏡頭拉近拉遠(ZOOM)的參數，而參數值的大小就代表此動作的大小值。于取得這三個參數后，經簡單的加減運算后就表示目前此張影像的攝影機的移動方向，故連續的影像，就會有多筆參數，利用此參數可知道目前影像的動作方式。因此，利用此張影片格(video frame)經動態向量場(MV Field)計算后，就可以得到此張影片格的攝影機移動方式。



圖1為一般攝影機移動方式的動作示意圖； 圖2A、B及C為「Pan」移動方式的畫面示意圖； 圖3A、B及C為「Tilt」移動方式的畫面示意圖； 圖4A、B及C為「Zoom」移動方式的畫面示意圖； 圖5A及B為動態向量場(Motion Vector field)于X、Y軸方向的動態向量(MVx、MVy)總和的步驟圖； 圖5C為MVx與MVy相加的總和參數的步驟圖； 圖6為本發明取得攝影機移動的參數(camera motionparameter)的流程圖； 圖7為本發明第一實施例的示意圖； 圖8為一影片格(video frame)示意圖； 圖9A及B為本發明第一實施例運算流程示意圖； 圖10為本發明的第二實施例無限脈沖響應(InfiniteImpulse Response Filter；IIR Filter)運作流程圖； 圖11為本發明第二實施例中計算PAN的無限脈沖響應流程圖； 圖12為本發明第二實施例中計算TILT的無限脈沖響應流程圖； 圖13為本發明第二實施例中計算ZOOM的無限脈沖響應流程圖； 圖14為本發明鏡頭做ZOOM的動作的示意圖； 圖15為本發明第二實施例中攝影機移動偵測的運作流程圖； 圖16為習有影像偵測系統的示意圖； 圖17為習有影像偵測系統的功能方塊圖。
圖號說明
10偵測系統 20景像 30影像產生裝置 40影像畫面 41第一影像畫面 42第二影像畫面 50運算裝置
具體實施例方式 為能使貴審查員清楚本發明的組成，以及實施方式，茲配合圖式說明如下 本發明擷取攝影裝置動作參數的系統及其計算方法，一般在影像(Video)的壓縮中，可利用動態估計(Motionestimation)及移補償編碼(Motion compensation)的方式壓縮；在完成動態估計(motion estimation)的運算后會產生動態向量場MVs(Motion Vectors)，而此MVs也可表示為畫面移動的方向，故可以利用來偵測攝影機移動方式(Camera motion)的用途。
當影片格(Video frame)經過動態估計(Motion estimation)后，如前所述可以得到動態向量場；而當整張影片格作完動態估計(Motion estimation)后，則可劃出一張動態向量場(Motion field)；而通常攝影機移動方式可分為「Pan」、「Tilt」及「Zoom」三種方式，如圖1所示。其中，「Pan」即表示拍攝時，畫面內容以左移或右移的動作，其所得到的動態向量場是向左或右的動作，如圖2A、B及C所示。圖2A中的為原來畫面的位置，人頭圖像位在畫面左半部；當拍攝時攝影機向左移動，因此畫面中的人頭圖像呈現向右移動，如圖2B所示；而依此動作產生的畫面效應，經過動態估計后，可得到向右的動態向量場，如圖2C所示。
而「Tilt」則表示表示拍攝時，畫面內容以上或下移的動作，所得到的動態向量場是向上或向下的動作，如圖3A、B及C所示。圖3A中的為原來畫面的位置，人頭圖像位在畫面下半部；當拍攝時攝影機向下移動，因此畫面中的人頭圖像呈現向上移動，如圖3B所示；而依此動作產生的畫面效應，經過動態估計后，可得到向上的動態向量場，如圖3C所示。
另外，「Zoom」則表示攝影時，鏡頭拉遠或拉近的動作，得到的動態向量場，是向外或向內的動作，如圖4A、B及C所示。圖4A中的為原來畫面的位置，人頭圖像位在畫面中央；當拍攝時攝影機向著人頭圖像移動，因此畫面中的人頭圖像會呈現向外擴張，如圖4B所示；而依此動作產生的畫面效應，經過動態估計后，可得到向外的動態向量場，如圖4C所示。
因此，由以上對「Pan」、「Tilt」及「Zoom」及圖2A、B、C、圖3A、B、C、圖4A、B及C及攝影機移動方式的解釋，進一步可定義 「Pan」可表示為動態向量場于X軸方向的動態向量(MVx)的總和(Sum of MVx)。(如圖5A所示) 「Tilt」可表示為動態向量場于Y軸方向的動態向量(MVy)的總和(Sum of MVy)。(如圖5B所示) 在偵測PAN及TILT時，直接將動態向量場的MVx及MVy的值相加，就為PAN及TILT的參數，若攝影機沒有移動時，只會有部份影像的移動如人物的走動，則此值會很小，假如整個影像移動時，此累加的值就會很大。
Zoom則與MVx及MVy皆相關，由MVx與MVy相加的總和參數，若參數值為正值則表示由遠而近(放大，Zoom in)；若參數值為負值則表示由近而遠(縮小，Zoom out)。如圖5C所示。
請參閱圖6，此為本發明如何取得攝影機移動參數(camera motion parameter)的流程圖。依此流程圖，左上角起始于未壓縮影片，例如影像序列(Video Sequence)，再經由動態估計(motion estimation)的運算后取得影片中的動態向量場；另一方式則為可從壓縮后的影片(compressiondomain)，例如資料流(bitstream)，再經由動態向量擷取(motion vector extraction)的運算后取得影片中的動態向量場(motion vectors)。由上述流程所得到的動態向量場，再利用本發明攝影機移動偵測(camera motion detection)方法，可取得攝影機移動的參數，此參數分別有PAN的參數、TILT的參數及ZOOM的參數，而參數值的大小就代表此動作的大小值。于取得這三個參數后，經簡單的加減運算后就表示目前此張影像的攝影機的移動方向，故連續的影像，就會有多筆參數，利用此參數可知道目前影像的動作方式。因此，利用此張影片格經動態向量場計算后，就可以得到此張影片格的攝影機移動方式。
如圖7所示為本發明中定理物理意義為，向量場散度體積分，等于通過該向量通過此體積的表面積的總向外通量。其方程式為
A表示一個向量場，在這里表示動態向量場，此表向量場會占有一個體積(V)，V表示為整個向量場的體積。
請同時參閱圖8所示，其表示一張影片格中有M×N個微圖塊(marcoblock)(其中小方框為微圖塊，為16×16pixels)，而M、N分別表示該影片格的X軸及Y軸的微圖塊個數，而一個微圖塊有一個動態向量場(MV)，動態向量場有分x分量及y分量，MVx表示動態向量場的x分量，MVy表示動態向量場的y分量。
我們定義以下方程序以進行攝影機移動偵測(cameramotion detection)來取得攝影機移動的參數 pan＝pan1+pan2tilt＝tilt1+tilt2 請參照圖9A及B的流程圖，實際運算時，資料從圖9A的儲存地址取出后，經由多任務器(Multiplexer；MUX)計算出第一次的PAN1、PAN2、TILT1及TILT2后，并依以上公式及圖9B的流程計算出PAN、TILT及ZOOM的值；或者，于需要累加的狀況，資料從圖9A的儲存地址取出后，經由累加電路多任務器計算出第一次的PAN1、PAN2、TILT1及TILT2后，再經由累加電路解多任務器(Demultiplexer；DEMUX)計算，并將計算結果存回原來的記憶單元，記憶單元為存放結果的參數值，然后再由該儲存地址取出資料再經一次多任務器的計算，如此利用多任務器及解多任務器選擇所要累加的參數PAN1、PAN2、TILT1及TILT2，反復循環預定次數后(當整張Frame做完后)，并依以上公式及圖9B的流程計算出最后PAN、TILT及ZOOM的值。
由圖9B最后產生的ZOOM、PAN及TILT的值即為攝影機移動的參數，此參數分別有PAN的參數、TILT的參數及ZOOM的參數，而參數值的大小就代表此動作的大小值。于取得這三個參數后，經計算后就表示目前此張影像的攝影機的移動方向，故連續的影像，就會有多筆參數，利用此參數可知道目前影像的動作方式。
如圖10所示為本發明的另一實施例，為一作為計算平均值的無限脈沖響應(Infinite Impulse Response Filter；IIRFilter)及運作流程圖，其中a＜1(通常取值為0.05)。將資料，例如動態向量場從data in輸入，再經由圖10的計算模式運算，并將最終結果輸出(data out)。假設我們a值取5％，則1-a為95％。儲存器(REGISTER)是用來存放先前的結果。儲存器初始值為0，當第一筆資料進來時，會乘上a值，并放入到儲存器內，第二筆資料進來時，會將第二筆資料乘上a(5％)，儲存器資料乘上1-a(95％)，相加放回儲存器，一直循環下去，可以作為這串資料的平均，而求得PAN、TILT及ZOOM的值。
因此，PAN、TILT及ZOOM的計算式及無限脈沖響應流程圖的實施方式如下 圖11為計算PAN的無限脈沖響應流程圖，數據輸入端為X軸的動態向量場。PAN值的計算式為 PAN(n+1)＝a×MVx(n+1)+(1-a)PAN(n) 其中a＜1(通常取值為0.05)。
圖12為計算TILT的無限脈沖響應流程圖，數據輸入端為Y軸的動態向量場。TILT值的計算式為 TILT(n+1)＝a×MVy(n+1)+(1-a)TILT(n) 因此，PAN及TILT的參數取得，直接將動態向量場取得MVx及MVy做無限脈沖響應的平均即可計算并求得PAN及TILT參數。
圖13為計算ZOOM的無限脈沖響應流程圖，資料輸入端為X軸及Y軸相關的動態向量場。ZOOM值的計算式為 ZOOM(n+1)＝a×MV(n+1)-(1-a)ZOOM(n) 其中，ZOOM需考慮輸入資料的順序，由于考慮到ZOOM的輸入方式，把架構改成負號，此為與PAN及TILT有所不同。對于ZOOM輸入資料的考慮及重新排列(reorder)電路的考量方式請參閱圖14所示，圖14所代表的為ZOOM IN(以中心點看時均為向外)。在鏡頭做ZOOM的動作時，離中心點地址越遠時，變化越大也就是箭頭越大，而越中心點則反之。將ZOOM的MV分成MVx與MVy觀察，右邊兩張圖標分別是MVx與MVy的動態向量的方向及大小 右上圖為，只看X方向時的MV值大小及方向(向右表示正，向左表示負)。
右下圖為，只看Y方向時的MV值大小及方向(向下表示正，向上表示負)。
由X方向的關系，以中心地址左右對分，可觀察出左半部的MV均為負值，右半部的動態向量場為正值。為了使兩半部能對ZOOM IN有正的影響，故左半部取出的動態向量場會再做反向的處理(正變負，負變正)，右半部不做任何處理。同理，Y方向也是上半部做反向處理，下半部不需做處理。最后的參數正為ZOOM IN，反之為ZOOM OUT。由于ZOOM的動態向量場分半時，可分出正負區塊，如圖15，因此我們需要重新排列(Reorder)電路將取得的資料改為依正負正負次序方式輸入，同時為了符合我們取ZOOM IN/OUT的參數，因此將架構(1-a)改成-(1-a)。
由圖11至圖13產生的PAN、TILT及ZOOM的值即為攝影機移動的參數，此參數分別有PAN的參數、TILT的參數及ZOOM的參數，而參數值的大小就代表此動作的大小值。于取得這三個參數后，經計算后就表示目前此張影像的攝影機的移動方向，故連續的影像，就會有多筆參數，利用此參數可知道目前影像的動作方式。
值得一提的是，利用本發明攝影機移動偵測方法，可取得攝影機移動的參數，此參數分別有PAN的參數、TILT的參數及ZOOM的參數，而參數值的大小就代表此動作的大小值。于取得這三個參數后，經簡單的加減運算后就表示目前此張影像的動態向量場(MV Field)的移動方向，有別于習有的計算方式涉及加減乘除法，較為復雜的計算方式。
如上所述，本發明提供一較佳可行的擷取攝影裝置動作參數的系統及其計算方法，于是依法提呈發明專利的申請；然而，以上的實施說明及圖式所示，是本發明較佳實施例，并非以此局限本發明，是以，舉凡與本發明的構造、裝置、特征等近似、雷同的，均應屬本發明的創設目的及申請專利范圍之內。
權利要求
1.一種擷取攝影裝置動作參數的系統，利用向量場散度體積分，等于通過該向量通過此體積的表面積的總向外通量，其方程式為
該方程式并配合一動態向量場，其可取得影片中的動態向量場再經過運算后可取得攝影機移動的參數，此參數分別有攝影機左右擺動的參數PAN、攝影機上下擺動的參數TILT及鏡頭拉近拉遠的參數ZOOM；其中，其運算各參數的方式包含以下方程序
pan＝pan1+pan2tilt＝tilt1+tilt2
其中，MVx、MVy為動態向量場于X、Y軸方向的動態向量；
而參數值的大小就代表此動作的大小值，于取得這三個參數后，經簡單的加減運算后就表示目前此張影像的攝影機移動方向。
2.如權利要求1所述擷取攝影裝置動作參數的系統，其中該影片中的動態向量場可由未壓縮影片，再經由動態估計的運算后取得。
3.如權利要求2所述擷取攝影裝置動作參數的系統，其中該未壓縮影片為影像序列。
4.如權利要求1所述擷取攝影裝置動作參數的系統，其中該影片中的動態向量場可由壓縮后的影片，再經由動態向量擷取的運算后取得。
5.如權利要求4所述擷取攝影裝置動作參數的系統，其中該壓縮后影片為資料流。
6.如權利要求1所述擷取攝影裝置動作參數的系統，其中可將資料儲存于儲存地址中，再經由多任務器MUX計算出第一次PAN1、PAN2、TILT1及TILT2。
7.如權利要求1所述擷取攝影裝置動作參數的系統，其中可進一步經由累加電路多任務器計算出第一次的PAN1、PAN2、TILT1及TILT2后，再經由累加電路解多任務器DEMUX計算，并將計算結果存回原來的記憶單元，然后再由該儲存地址取出數據再經一次多任務器MUX的計算，如此利用多任務器及解多任務器選擇所要累加的參數PAN1、PAN2、TILT1及TILT2，反復循環預定次數后，最后PAN、TILT及ZOOM的值。
8.一種擷取攝影裝置動作參數的系統，具有一攝影機移動偵測，其可取得影片中的動態向量場再經過運算后可取得攝影機移動的參數，此參數分別有PAN的參數、TILT的參數及ZOOM的參數；其中，其運算各參數的方式包含以下方程序
PAN(n+1)＝a×MVx(n+1)+(1-a)PAN(n)
TILT(n+1)＝a×MVy(n+1)+(1-a)TILT(n)
ZOOM(n+1)＝a×MV(n+1)-(1-a)ZOOM(n)
其中a＜1，
而參數值的大小就代表此動作的大小值，于取得這三個參數后，經簡單的加減運算后就表示目前此張影像的動態向量場的移動方向。
9.如權利要求8所述擷取攝影裝置動作參數的系統，其中a通常取值為0.05。
10.如權利要求8所述擷取攝影裝置動作參數的系統，其中該ZOOM的值在運算前，先經由一重新排列電路將取得的數據處理后，再運算而得ZOOM的參數。
11.一種擷取攝影裝置動作參數的計算方法，至少包含以下步驟
a、取得影片中的動態向量場；
b、將該動態向量場利用攝影機移動偵測以得到攝影機移動的參數，而攝影機移動偵測包含以下方程序以計算分別取得攝影機pan、tile及zoom動作的攝影機移動的參數
pan＝pan1+pan2tilt＝tilt1+tilt2
c、依該攝影機移動的參數判斷攝影機的移動方向。
12.如權利要求11所述擷取攝影裝置動作參數的系統及其計算方法，其中該影片中的動態向量場可由未壓縮影片，再經由動態估計的運算后取得。
13.如權利要求11所述擷取攝影裝置動作參數的系統及其計算方法，其中該未壓縮影片可以為影像序列。
14.如權利要求11所述擷取攝影裝置動作參數的系統及其計算方法，其中該影片中的動態向量場可由壓縮后的影片，再經由動態向量擷取的運算后取得。
15.如權利要求11所述擷取攝影裝置動作參數的系統及其計算方法，其中該壓縮后影片可以為資料流。
16.如權利要求11所述擷取攝影裝置動作參數的系統，其中可將資料儲存于儲存地址中，再經由多任務器計算出第一次PAN1、PAN2、TILT1及TILT2。
17.如權利要求11所述擷取攝影裝置動作參數的系統，其中可進一步經由累加電路多任務器計算出第一次的PAN1、PAN2、TILT1及TILT2后，再經由累加電路解多任務器計算，并將計算結果存回原來的記憶單元，然后再由該儲存地址取出數據再經一次多任務器的計算，如此利用多任務器及解多任務器選擇所要累加的參數PAN1、PAN2、TILT1及TILT2，反復循環預定次數后，最后PAN、TILT及ZOOM的值。
18.一種擷取攝影裝置動作參數的計算方法，至少包含以下步驟
a、取得影片中的動態向量場；
b、將該動態向量場利用攝影機移動偵測以得到攝影機移動的參數，而攝影機移動偵測包含以下方程序以計算分別取得攝影機pan、tile及zoom動作的攝影機移動的參數
PAN(n+1)＝a×MVx(n+1)+(1-a)PAN(n)
TILT(n+1)＝a×MVy(n+1)+(1-a)TILT(n)
ZOOM(n+1)＝a×MV(n+1)-(1-a)ZOOM(n)
其中a＜1；
c、依該攝影機移動的參數判斷攝影機的移動方向。
19.如權利要求18所述擷取攝影裝置動作參數的系統，其中a通常取值為0.05。
20.如權利要求18所述擷取攝影裝置動作參數的系統，其中該ZOOM的值在運算前，是先經由一重新排列電路將取得的數據處理后，再運算而得ZOOM的參數。
全文摘要
本發明利用向量場散度體積分，等于通過該向量通過此體積的表面積的總向外通量的方程式，并配合攝影機移動偵測(camera motion detection)，其可取得影片中的動態向量場(Motion Vectors；MVs)再經過運算后可取得攝影機移動的參數(camera motion parameter)，此參數分別有攝影機左右擺動(PAN)的參數、攝影機上下擺動(TILT)的參數及鏡頭拉近拉遠(ZOOM)的參數，而參數值的大小就代表此動作的大小值，于取得這三個參數后，經簡單的加減運算后就表示目前此張影像的攝影機移動(Camera motion)的方向。
文檔編號G06T7/20GK101115133SQ20061009926
公開日2008年1月30日 申請日期2006年7月25日 優先權日2006年7月25日
發明者林家宏, 郭致宏, 葉家宏, 施宣輝 申請人:智輝研發股份有限公司