利用多幀圖像的靜止圖像的生成的制作方法

專利名稱：利用多幀圖像的靜止圖像的生成的制作方法
技術領域：
本發明涉及一種將運動圖像中含有的多幀圖像合成后，生成靜止圖像的技術。
背景技術：
過去，捕捉數字視頻相機等攝影的運動圖像的1個場景后，生成比幀圖像更高分辨率的靜止圖像。這樣的靜止圖像，通過使運動圖像中含有的多幀的圖像重疊合成而生成。
例如，根據特開2000-244851號公報，公開了一種技術，即從連續的(n+1)幀圖像中選擇1幀圖像作為基準圖像，分別算出其它的n幀圖像(對象圖像)相對于該基準圖像的運動矢量，依據各運動矢量，合成(n+1)幀圖像后生成靜止圖像。
而且，特開平6-350974號公報，提出了一種技術，即在通過隔行方式由運動圖像生成靜止圖像的技術中，對于由隔行方式形成的2個半幀內，以1個半幀作為基準圖像，另一個半幀作為對象圖像，判斷每個半幀中對象圖像是否適合進行合成，假如適合則進行合成。一般地，考慮到假如增加合成的幀圖像，會提高靜止圖像的畫質，但即使增加合成的幀圖像也未必能提高畫質。以下，對其理由來說明。
圖1為表示基準圖像與合成對象圖像的合成方法的說明圖。圖1的上段表示校正偏移量后配置基準圖像和合成對象圖像的樣子。圖1的下段表示基準圖像、合成對象圖像、和合成圖像的各像素的位置關系。在圖1的下段，“○”表示基準圖像的像素。“●”表示合成對象圖像的像素。虛線格子上附加陰影的圓圈，表示合成圖像的像素。另外，該圖中表示假定基準圖像以及合成對象圖像的分辨率相同，將幀圖像的分辨率在x軸方向以及y方向增大1.5倍的情況。
這里，著眼合成圖像的像素g1。該像素g1，與基準圖像的像素t1一致。這種情況下，依據圍住像素g1的合成對象像素的4個像素s1～s4的灰度值，采用雙線性法求出像素g1的位置中的灰度值，通過將該灰度值和基準圖像的像素t1的灰度值平均，決定像素g1的灰度值。
而且，合成圖像的像素g2的灰度值，由以下的順序來決定。即，首先，依據圍住像素g2的基準圖像的4個像素t2～t5的灰度值，采用雙線性法求出像素g2的位置的灰度值。接著，依據圍住像素g2的合成對象像素的4個像素s4～s7的灰度值，采用雙線性法求出像素g2位置的灰度值。然后，通過將兩者平均決定像素g2的灰度值。
關于其它的像素，也與以上說明的同樣能夠決定灰度值。這里，為容易理解，假定基準圖像以及合成對象圖像的分辨率相同進行說明，但在基準圖像以及合成對象圖像的分辨率不同的情況下，也可以適當地擴大或者縮小后進行同樣的處理。
圖2為表示基準圖像和合成對象圖像的偏移量為0的情況下的合成方法的說明圖。圖2的上段表示校正偏移量后配置基準圖像和合成對象圖像的樣子。由于偏移量為0，因此基準圖像和合成對象圖像完全重合。圖2的下段表示基準圖像、合成對象圖像、和合成圖像的各像素的位置關系。由于基準圖像和合成對象圖像重疊，基準圖像和合成對象圖像的各像素，存在于相同的位置。
合成圖像的像素g2的灰度值，由以下順序來決定。即，首先，依據圍住像素g2的基準圖像的4個像素t2～t5的灰度值，采用雙線性法求出像素g2的位置中的灰度值。其次，依據圍住像素g2的合成對象像素的4個像素的s2～s5的灰度值，采用雙線性法求出像素g2位置的灰度值。然后，通過將兩者平均決定像素g2的灰度值。
由于像素t2～t5的灰度值與像素s2～s5的灰度值分別為同一值，依據像素t2～t5的灰度值，采用雙線性法求出的像素g2的位置中的灰度值，和依據像素s2～s5的灰度值，采用雙線性法求出的像素g2位置的灰度值，為相同的值。即，這些平均值，依據像素t2～t5的灰度值，采用雙線性法求出的像素g2的位置中的灰度值，和依據像素s2～s5的灰度值，采用雙線性法求出的像素g2的位置的灰度值相同。
即，在基準圖像和合成對象圖像的偏移量為0的情況下，即使進行合成處理，合成結果的圖像和源圖像并沒有差別。偏移量小的時候也相同，合成結果的圖像和源圖像幾乎沒有差別。這些情況下，即使進行合成處理，不僅白白增加處理時間，而且無望飛躍性地提高畫質。

發明內容
本發明針對上述課題，其目的在于在由運動圖像中含有的多幀圖像生成靜止圖像的情況下，有效地提高靜止圖像的畫質。
為解決上述課題的至少一部分，本發明的圖像生成裝置，由在運動圖像中包含的多幀圖像生成靜止圖像，其特征在于包括合成對象設定部，其將在所述多幀圖像中包含在基準幀圖像之外的幀圖像中的區域中的至少一個以上區域，依據與所述基準幀圖像內的基準幀圖像區域的關系所設定的給定規則，設定成合成對象幀圖像區域；比較基準抽出部，其從所述基準幀圖像區域以及所述合成對象幀圖像區域中抽出一個比較基準幀圖像區域；對象抽出部，其從所述比較基準幀圖像區域以外的合成對象幀圖像區域中抽出一個對象幀圖像區域；比較部，其將所述比較基準幀圖像區域與所述對象幀圖像區域作比較，求出給定的參數；除去部，其當所述參數不滿足給定的基準時，從合成對象幀圖像區域中將所述對象幀圖像區域除去；和合成圖像生成部，其將所述基準幀圖像區域與所述合成對象幀圖像區域合成后生成合成圖像區域。
這里，幀圖像是指可由逐行方式(也叫非隔行方式)顯示的靜止圖像。因此，在隔行方式的情況下，由不同光柵的多個半幀圖像(奇數半幀和偶數半幀)構成的圖像相當于本發明的幀圖像，根據本發明，將不滿足給定基準的幀圖像的區域從合成對象中除外，另外通過確保合成的幀圖像區域的個數在給定個數以上，能夠有效地提高合成圖像的畫質。這里所說的給定基準，例如當比較部求出的參數為圖像偏移量時則指圖像偏移量在閾值以上。詳細后述。給定個數可任意設定，優選為2個以上。
合成對象設定部，可以將在運動圖像中與基準幀圖像按時間順序連續的幀圖像的區域，設定為連續多個合成對象幀圖像區域，也可以相隔多個設定為合成對象幀圖像區域。
進行合成圖像生成部的圖像合成處理，最鄰近法或者雙線性法、雙三次法等，能夠適用公知的各種圖像插值方法。一般地，可高速處理的方法，由于步驟被簡化，比步驟復雜的方法插值精度差，畫質低劣。例如，最鄰近法、雙線性法、雙三次法，按照該順序步驟變復雜，處理時間變長。另一方面，則插補精度變高，畫質提高。
合成圖像生成部，在上述合成對象幀圖像區域和上述基準幀圖像區域的合計個數較多的情況下，根據最鄰近法等進行高速合成處理，在較少的情況下，也可以根據雙三次法等進行插補精度良好的合成處理。
上述圖像生成裝置也可以進一步包含設定部，其在所述基準幀圖像內，將成為合成基準的區域作為所述基準幀圖像區域設定；和幀數控制部，其在所述基準幀圖像區域和滿足所述基準的合成對象幀圖像區域的合計數達到給定數量以上為止，反復執行所述合成對象設定部、所述比較基準抽出部、所述對象抽出部、所述比較部和所述除去部的處理。
上述圖像生成裝置中，也可以進一步包括指定接受部，其接受所述基準幀圖像的指定；所述設定部將接受指定的幀圖像作為所述基準幀圖像。
這樣，用戶從運動圖像中選擇想要作為靜止圖像的幀圖像，作為基準幀圖像。
在上述圖像生成裝置中，所述比較基準抽出部也可以將所述基準幀圖像區域作為所述比較基準幀圖像。
基準幀圖像區域，由于作為合成基準的圖像區域，首先優選基準幀圖像區域作為比較基準幀圖像區域。將基準幀圖像區域作為比較基準幀圖像區域，關于合成對象幀圖像區域，判斷是否值得合成，值得合成的合成對象幀圖像區域中的一個，可以作為下一個比較基準幀圖像區域。
例如，在幀圖像區域1、幀圖像區域2和幀圖像區域3中，將幀圖像區域1作為基準幀圖像區域，幀圖像區域2和幀圖像區域3為合成對象幀圖像區域。首先幀圖像區域1作為比較基準幀圖像區域，求出與幀圖像區域2的偏移量，和與幀圖像區域3的偏移量。求出的偏移量，分別為給定值以上的情況下，將幀圖像區域2作為下一個的比較基準幀圖像區域。
幀圖像區域1和幀圖像區域2的偏移量，幀圖像區域1和幀圖像區域3的偏移量，即使分別在給定值以上，在幀圖像區域2和幀圖像區域3的偏移量為0的情況下，不需要將幀圖像區域1，2，3全部合成。即，只要合成幀圖像區域1，2或合成幀圖像區域1，3就可以了。將幀圖像區域2作為比較基準幀圖像區域，將幀圖像區域3作為對象幀圖像區域，就能夠從合成對象中除去幀圖像區域3。
上述圖像生成裝置中，也可以進一步包括排除部，其從所述合成對象幀圖像區域中除去作為一個幀圖像區域的特征滿足給定條件的幀圖像區域。
作為給定的條件，可舉出例如，噪聲大，焦點變模糊，手蓋住鏡頭等顏色的灰度為異常等等。通過排除部，將這樣的幀圖像區域，能夠預先從合成對象中除去。
上述圖像生成裝置中，所述參數也可以為圖像偏移量。
圖像偏移量，由例如手搖動或者相機的圈產生。如果圖像偏移量過小，則合成對象幀圖像區域幾乎不能提高合成圖像區域的畫質。本發明中，能夠將對于合成圖像區域的畫質的提高不太有用的合成對象幀圖像區域從合成對象中除去。圖像偏移量，可以是含有平移偏移量以及旋轉偏移量的至少一方。平移偏移量，能夠根據區塊比對法，或梯度法、或將這些組合的方法等各種方法來檢測。而且旋轉偏移量，也能夠根據幾何學的計算來檢測。當參數為圖像偏移量時，則先前所述給定基準為圖像偏移量在閾值以上等。
上述圖像生成裝置中，所述比較部也可以包括幀偏移量計算部，其求出含有所述對象幀圖像區域的對象幀圖像與含有所述比較基準幀圖像區域的比較基準幀圖像之間的圖像偏移量；和區域偏移量計算部，其依據所述幀偏移量計算部求出的圖像偏移量，求出所述對象幀圖像區域與所述比較基準幀圖像區域之間的圖像偏移量。
根據本發明，能夠使區域的偏移量與幀圖像的圖像偏移量均能夠簡易地求出。幀圖像的圖像偏移量，即使含有旋轉偏移量，作為各個區域的偏移量，也存在可以用平移偏移量近似的情況。而且，作為幀圖像全體有不值得合成的圖像，也有按照因分割成區域而成為合成中能夠使用那樣的情況。如果沒有求出幀圖像的圖像偏移量，也可以直接計算區域的偏移量。
上述圖像生成裝置中，所述參數也可以為通過將所述對象幀圖像區域與所述比較基準幀圖像區域中相同位置的像素的特征量比較而得到的圖像差值。
特征量，可以是顏色的灰度或亮度。本發明中，與比較基準幀圖像區域比較后，能夠將幾乎沒有圖像差值的幀圖像區域從合成對象中除去。即使合成相同內容的幀圖像區域，由于僅僅得到相同內容的幀圖像區域，沒有提高畫質，因此有將與比較基準幀圖像區域相同內容的幀圖像區域從合成對象幀圖像區域中除去的意圖。
本發明，在轉換運動圖像中的幀速率的情況等，相同內容的幀圖像連續的情況下，由于相同內容的幀圖像區域從合成對象中除去，因此特別有效。那樣的情況下，不用計算偏移量，僅僅判斷是否有圖像差值，就能夠判別是否值得合成，由于只要求出圖像差值即可，因此變得簡易。當參數為圖像差值時，則先前所述的給定基準為圖像差值不是0。
上述圖像生成裝置中，所述參數也可以為所述對象幀圖像區域和所述比較基準幀圖像區域中像素的特征量的平均值的比較。
本發明中，與比較基準幀圖像區域進行比較后，能夠將特征有差異的幀圖像區域從合成對象中除去。如果在合成中使用與比較基準幀圖像區域相比明顯異常的幀圖像區域，則合成幀圖像的畫質也變得異常，因此有從合成對象幀圖像區域中將明顯異常的幀圖像區域除去的意圖。
例如，在合成顏色明亮的場面的靜止圖像區域時，對將暗淡色調的幀圖像區域從合成對象中除去的情況等尤其有效。那樣的情況下，不用計算偏移量，僅計算特征量的平均值的差，就能夠判別是否值得合成。由于只要求出特征量的平均值的差即可，因此變得簡易。當參數為像素特征量的平均值的比較時，則先前所述的給定基準為像素的特征量的平均值的比較變大的情況。
上述圖像生成裝置中，所述基準幀圖像區域和所述合成對象幀圖像區域也可以為所述幀圖像分別以相同形式被分割的區域；所述對象抽出部，抽出與所述比較基準幀圖像區域對應的相同位置的對象幀圖像區域。
根據本發明，對每個由相同形式分割幀圖像的區域，都可以判別是否為合成對象。由于判別每個區域，均勻地從合成對象中除去的幀圖像，在某些區域都能夠作為合成對象。其結果，也能夠提高合成圖像的畫質。
本發明，作為上述圖像生成裝置的構成之外，也能夠作為圖像生成方法的發明的構成。而且，實現這些的計算機程序、以及記錄該程序的記錄介質，在含有該程序的載送波內具體化的數據信號等都可以由各種形式實現。另外，在各個方式中，都適用先前所述的各種附加要素。
在本發明作為計算機程序或者記錄該程序的記錄介質等構成的情況下，可以作為控制圖像生成裝置的動作的程序全體而構成，也可以作為僅實現本發明的功能部分的構成。而且，作為記錄介質，可以利用軟盤、CD-ROM、DVD-ROM、光磁盤、IC卡、ROM盒、穿孔卡、條形碼等符號的印刷物、計算機內部記憶裝置(RAM或ROM等存儲器)以及外部記憶裝置等可計算機可讀取的各種介質。


圖1表示基準圖像和對象圖像的合成方法的說明圖。
圖2表示基準圖像和對象圖像的偏移量為0的情況下的合成方法的說明圖。
圖3表示作為本發明的第1實施例的圖像生成裝置100的概要構成的說明圖。
圖4表示第1實施例中，合成多幀的圖像，生成靜止圖像的樣子概念說明圖。
圖5表示關于比較基準圖像和對象圖像的偏移量的說明圖。
圖6表示根據梯度法算出平移偏移量的方法的說明圖。
圖7表示旋轉偏移的計算方法的說明圖。
圖8表示第1實施例中的靜止圖像生成處理的流程的流程圖。
圖9為表示幀圖像的輸入處理的流程圖。
圖10表示作為本發明的第2實施例的圖像生成裝置100A的概略構成的說明圖。
圖11表示關于比較基準圖像和對象圖像的區塊的偏移量的說明圖。
圖12表示分割成塊的幀圖像的說明圖。
圖13表示第2實施例中的靜止圖像生成處理的流程的流程圖。
圖14表示全景圖像生成的樣子的說明圖具體實施方式
以下，關于本發明的實施方式，依據實施例按照以下順序來說明。
A.第1實施例；A1.圖像生成裝置的構成；A2.靜止圖像的生成；A3.偏移量的檢測A4.靜止圖像生成處理B.第2實施例B1.圖像生成裝置的構成B2.區塊的偏移量的檢測B3.靜止圖像生成處理C.變形例A.第1實施例A1.圖像生成裝置的構成圖3表示作為本發明的第1實施例的圖像生成裝置100的概略構成的說明圖。該圖像生成裝置100，為合成運動圖像中含有的多幀圖像后，生成比幀圖像高分辨率的靜止圖像的裝置。圖像生成裝置100，通過安裝構成通用的電腦中給定的應用程序，在軟件上具有圖示的各功能塊。
個人電腦，除包括CPU、ROM、RAM之外，還包括用于從硬盤、DVD-ROM、存儲器卡等記錄介質輸入運動圖像的接口等。而且，還具有播放所輸入的運動圖像的功能。
控制部10進行各部的控制。幀圖像輸入部20，輸入運動圖像中含有的幀圖像。本實施例中，幀圖像輸入部20從在運動圖像的播放中用戶輸入臨時停止的指示的時間開始，輸入在時間上連續的4幀圖像。這里，輸入的幀圖像的數量，為靜止圖像的合成中使用的幀圖像的數量。
幀圖像輸入部20，在輸入4幀圖像的同時，輸入與其按時間序列連續的20幀圖像，并另外在幀圖像記憶部30中記憶。該20幀圖像，當先前的4幀圖像不適合靜止圖像的合成的情況下，為成為新合成的候補的預備幀圖像。以下，20幀圖像稱作預備幀圖像。而且，先前的4幀圖像，稱作選擇幀圖像。幀圖像輸入部20也進行將預備幀圖像變更為選擇幀圖像的處理。
輸入幀圖像輸入部20的幀圖像的數量也可以由用戶任意設定。而且，輸入的幀圖像也可以不是按時間序列連續。也可以將輸入到命令輸入部的時刻的幀圖像作為2或者3幀圖像，按時間序列連續后輸入幀圖像。
幀圖像記憶部30，記憶輸入幀圖像輸入部20的多幀圖像。排除部50，在幀圖像記憶部30記憶的選擇幀圖像中，在由幀單位評估的情況下除去異常的幀圖像。例如，除去噪聲較大的幀圖像，或焦點模糊的幀圖像，或手擋在鏡頭前等的顏色的灰度異常的選擇幀圖像。
在除去選擇幀圖像的情況下，幀圖像輸入部20，將新的預備幀圖像變更為選擇幀圖像。變更的預備幀圖像，為與成為之前的選擇幀圖像的圖像按時間序列連接的預備幀圖像。排除部50，判斷成為新的選擇幀圖像的圖像，排除異常的選擇幀圖像。最終根據排除部50在判斷為正常的選擇幀圖像到達4個為止，反復操作選擇幀圖像的排除和從預備幀圖像向選擇幀圖像的變更。
基準圖像指定接受部25，將選擇的幀圖像顯示在監視器上。用戶從顯示的選擇幀圖像中指定要作為基準圖像的幀圖像。基準圖像指定接受部25，接受其指定。基準圖像設定部40，將基準圖像指定接受部25接受了指定的選擇幀圖像設定為基準圖像。
另外，也可以不具有基準圖像指定接受部25，而在選擇幀圖像內，設定將幀圖像輸入部20最初輸入的選擇幀圖像作為基準圖像。圖像生成裝置100內，分別關于選擇幀圖像，設置用于進行其特征量(例如邊緣強度等)的解析的功能塊，依據解析結果，進行基準圖像的設定。
比較對象設定部45，在選擇幀圖像中，將基準圖像以外的選擇幀圖像，設定為比較對象圖像。比較基準圖像設定部90，將基準圖像或者比較對象圖像中的一個，設定為比較基準圖像。但是，最初將基準圖像設定為比較基準圖像。比較對象再設定部85，將比較基準圖像以外的比較對象圖像，再設定為比較對象圖像。對象圖像設定部65，將比較對象圖像中的1個，作為下一個檢測與比較基準圖像的偏移量的對象，設定為對象圖像。本實施例中，如后述，也可以將比較對象圖像，按照幀圖像輸入部20輸入(變更)的順序，設定作為對象圖像。
偏移量檢測部60，檢測對于基準圖像的對象圖像的偏移量。本實施例中，作為偏移量，為檢測平移偏移量。關于該偏移量的檢測，將在后述。除去部80，假如偏移量檢測部60檢測的偏移量不滿足給定的基準，則將對象圖像從比較對象圖像中除去。
判斷部70，判斷比較基準圖像和比較對象圖像的合計數是否達到4個。在4個的情況下，合成圖像生成部75，在進行分辨率轉換的同時，按照補償偏移量檢測部60檢測的偏移量的方式，將比較基準圖像和比較對象圖像合成后生成合成圖像。成為合成時的基準，因基準圖像，其合成方法與之前所述相同。但是，由于形成4個圖像的合成，合成圖像的各個像素中求出4個灰度值的平均。在沒有成為4個的情況下，幀圖像輸入部再次將預備幀圖像變更為選擇幀圖像。
A2、靜止圖像的生成圖4表示第1實施例中，合成多幀圖像生成靜止圖像的樣子的概念圖。如先前所述，本實施例中，采用按時間序列連續的幀圖像，生成靜止圖像。開頭的幀圖像1為根據基準圖像設定部40設定的基準圖像，從幀圖像2到幀圖像4為止為根據比較對象設定部45設定的比較對象圖像。另外，任何一幀圖像都是沒有被排除部50排除的幀圖像。
對步驟1進行說明。比較基準圖像設定部90，首先將作為基準圖像的幀圖像1設定為比較基準圖像。比較對象再設定部85，將比較基準圖像以外的比較對象圖像，即從幀圖像2到幀圖像4為止再設定為比較對象圖像。對象像素設定部65，在比較對象圖像中，首先將幀圖像2作為對象圖像。偏移量檢測部60，檢測比較基準圖像(幀圖像1)和對象圖像(幀圖像2)的偏移量。除去部80，判斷其偏移量是否滿足給定的基準。這里，作為未滿足給定基準的用“×”符號圖示。即，幀圖像2，根據除去部80從比較對象圖像中除去。
接著，對象像素設定部65，將幀圖像3作為對象圖像。然后檢測比較基準圖像(幀圖像1)和對象圖像(幀圖像3)的偏移量，判斷偏移量是否滿足給定的基準。這里，滿足給定基準的用“○”符號圖示。即，幀圖像3，沒有被除去部80從比較對象圖像中除去。然后，將幀圖像4作為對象圖像，檢測比較基準圖像(幀圖像1)和對象圖像(幀圖像4)的偏移量。偏移量滿足給定基準的用“○”符號圖示。
對步驟2進行說明。步驟2，為在步驟1之后進行的處理。首先，比較基準圖像設定部90，將沒有由除去部80除去的比較對象圖像(幀圖像3和幀圖像4)中的一個(幀圖像3)，設定為比較基準圖像。基準圖像(幀圖像1)，由于在步驟1已經成為比較基準圖像，因此不能成為比較基準圖像。為區別，將之前的幀圖像1稱作比較基準圖像1、將幀圖像3稱作比較基準圖像2。
然后，比較對象再設定部85，將該比較基準圖像(幀圖像3)以外的比較對象圖像(幀圖像4)，作為新的比較對象圖像。這里，新的比較對象圖像為1個，也有為多個的情況。
對象圖像設定部65，將比較對象圖像中的1個作為對象圖像。必然將幀圖像4作為對象圖像。偏移量檢測部60，檢測比較基準圖像2(幀圖像3)和對象圖像(幀圖像4)的偏移量。除去部80，判斷其偏移量是否滿足給定的基準。未滿足給定基準的用“×”符號圖示。即，幀圖像4，由除去部80從比較對象像素中除去。
其次，判斷部70，判斷比較基準圖像和比較對象圖像的合計數是否達到4個。判斷部70，在偏移量檢測后比較對象圖像成為1個時進行判斷。比較基準圖像，由于幀圖像1和幀圖像3為2個，比較對象圖像為0個，合計為2個。由此，由于不是4個，幀圖像輸入部20，按照幀圖像的合計數為4個那樣將預備幀圖像變更為選擇幀圖像。即，將2個預備幀圖像變更為選擇幀圖像。2個中，即使一方假如由排除部50被除去，也能再次進行幀圖像的變更。
這樣新輸入的幀圖像，為步驟3中圖示的幀圖像5和幀圖像6。對步驟3進行說明。步驟3，為步驟2之后進行的處理。首先，比較對象設定部45，將幀圖像5和幀圖像6設定為比較對象圖像。比較基準圖像設定部90，將幀圖像1作為比較基準圖像1，比較對象再設定部85，將幀圖像3、幀圖像5、幀圖像6作為比較對象圖像。
然后，按照幀圖像3、幀圖像5、幀圖像6的順序設定為對象圖像后檢測偏移量。幀圖像3、幀圖像5、幀圖像6中任何一個，偏移量均滿足給定基準的用“○”符號圖示。另外，幀圖像1和幀圖像3的偏移量檢測結果，由于在步驟1有表示，因此省略步驟3的圖示。
接著，比較對象圖像(幀圖像3、幀圖像5、幀圖像6)中的1個(幀圖像3)作為比較基準圖像2，剩余的比較對象圖像(幀圖像5、幀圖像6)作為比較對象圖像。然后，按照幀圖像5、幀圖像6的順序設定為對象圖像后檢測偏移量。幀圖像5、幀圖像6中任何一個，偏移量均滿足給定的基準的用“○”符號圖示。
進一步，比較對象圖像(幀圖像5、幀圖像6)中的1個(幀圖像5)作為比較基準圖像3，剩余的比較對象圖像(幀圖像6)作為比較對象圖像。然后，將幀圖像6設定為對象圖像后檢測偏移量。幀圖像6的偏移量滿足給定基準的用“○”符號圖示。
偏移量檢測后由于比較對象圖像成為1個以下(幀圖像6)，判斷部70進行判斷。比較基準圖像為3個(幀圖像1、幀圖像3、幀圖像5)和比較對象圖像為1個(幀圖像6)，合計為4個。由此，由于比較基準圖像和比較對象圖像的合計數為4個，合成圖像生成部75，進行分辨率變換的同時，按照補償偏移量檢測部60檢測的偏移量的方式，將比較基準圖像和比較對象圖像合成后生成靜止圖像。以下，對比較基準圖像和對象圖像的偏移量的檢測進行說明。
A3、偏移量的檢測圖5為表示對比較基準圖像和對象圖像的偏移量的說明圖。比較基準圖像的坐標(x1，y1)與對象圖像的坐標(x2、y2)偏移。這里，作為偏移量采用平移偏移量(u、v)，和旋轉偏移量δ。
本實施例中，比較基準圖像和對象圖像的平移偏移量，為根據梯度法求出。圖6為根據剃度法表示平移偏移量的計算方法。圖6(a)表示比較基準圖像以及對象圖像的像素以及亮度。圖6(a)中，例如，(x1i，y1i)表示比較基準圖像的像素的坐標值，B1(x1i，y1i)表示其亮度。而且，圖6(b)表示梯度法的原理。
這里，對象圖像的坐標(x2i、y2i)的像素，作為在比較基準圖像的坐標(x1i～x1i+1，y1i～y1i+1)之間，即，在作為像素間的坐標的(x1i+Δx，y1i+Δy)之間來說明。
如圖6(b)所示，假定Px＝B1(x1i+1，y1i)-B1(x1i，y1i)…(1)Py＝B1(x1i，y1i+1)-B1(x1i，y1i)…(2)并且假定B1＝B1(x1i，y1i)…(3)B2＝B2(x2i，y2i)…(4)則Px·Δx＝B2-B1…(5)Py·Δy＝B2-B1…(6)的關系成立。因此只要求出滿足{Px·Δx-(B2-B1)}2＝0…(7){Py·Δy-(B2-B1)}2＝0…(8)的Δx、Δy即可。實際上，關于各像素，算出Δx、Δy后對全體求平均。
然后，如果考慮x方向以及y方向的雙方，求出使S2＝∑{Px·Δx+Py·Δy-(B2+B1)}2…(9)最小的Δx、Δy則可。
另外，本實施例中，根據梯度法，算出平移偏移量，也可以按照采用區塊比對(block matching)法、反復梯度法、以及它們的組合方法等其它的方法。
圖7為表示旋轉偏移量的計算方法的說明圖。這里，比較基準圖像和對象圖像的平移偏移量已被校正。
如果距比較基準圖像的坐標(x1，y1)的原點O的距離為r，距x軸的旋轉角度為θ，則r、θ為r＝(x12+y12)1/2…(10)θ＝tan-1(x1/y1)…(11)這里，如果以原點O作為中心，使比較基準圖像的坐標(x1，y1)僅旋轉角度δ時，與對象圖像的坐標(x2，y2)一致，則由于該旋轉形成的x軸方向以及y軸方向的移動量，可根據x2-x1≈-r·δ·sinθ＝-δ·y1 …(12)y2-y1≈r·δ·cosθ＝δ·x1 …(13)求出。
因此，上述式(9)中的Δx、Δy，能夠由Δx＝u-δ·y1 …(14)Δy＝v+δ·x1 …(15)來表示。
如果將這些代入上述式(9)，就能夠得到S2＝∑{Px·(u-δ·y1)+Py·(v+δ·x1)-(B2-B1)}2…(16)使上述式(16)的S2為最小的u、v、δ根據最小平方法求得，能夠高精度地檢測比較基準圖像和對象圖像的不足1個像素的平移偏移量以及旋轉偏移量。另外，第1實施例中，幀之間的時間，由于微小因而沒有考慮的旋轉偏移量和縮放。由于沒有考慮旋轉偏移量，假定δ≈0，通過采用最小平方法求出使S2＝∑{Px·u+Py·v-(B2-B1)}2…(17)最小的u、v，并檢測比較基準圖像和對象圖像的不足1個像素的平移偏移量。
A4、靜止圖像生成處理圖8為第1實施例中的靜止圖像生成處理的流程的流程圖，為圖像生成裝置100的CPU執行的處理。
首先，幀圖像輸入部20，輸入幀圖像(步驟S20)。圖9為表示幀圖像的輸入處理的流程圖。幀圖像輸入部20，首先從運動圖像輸入4個選擇幀圖像和20個預備幀圖像，并在幀圖像記憶部中記憶(步驟S21)。
其次，排除部50，判斷選擇幀圖像中的1個中是否有噪聲較大、焦點模糊或者手擋住鏡頭前等造成顏色灰度異常等的異常(步驟S23)。假如為異常(步驟S23)，則將該選擇幀圖像從幀圖像記憶部30中除去(步驟S24)，將預備幀圖像變更為1幀選擇圖像(步驟S25)。直到判斷所有的選擇幀圖像都為正常為止，從步驟S23到步驟S25為止反復操作。
基準圖像指定接受部25，將所有的選擇幀圖像顯示在監視器上(步驟S27)，從用戶接受基準圖像的指定(步驟S28)。基準圖像的指定為1個。基準圖像設定部40，將從用戶接受指定的1個選擇幀圖像設定為基準圖像(步驟S29)。然后，比較對象設定部45，將基準圖像以外的選擇幀圖像設定為比較對象圖像(步驟S30)。以上幀圖像輸入處理的說明便結束了，返回圖8說明靜止圖像生成處理的流程。
接著，將基準圖像或者比較對象圖像中的1個設定為比較基準圖像(步驟S35)，將比較基準圖像以外的比較對象圖像，再設定為比較對象圖像(步驟S40)。然后，將比較對象圖像中的1個，設定為對象圖像，檢測對于比較基準圖像的對象圖像的偏移量(步驟S50)。
但是，假如檢測結果的偏移量為(u、v)的話，求出偏移量(Δu，Δv)，作為與(u，v)最相近的整數，與(u，v)的差的絕對值。例如，假如(u，v)＝(2.3，0.8)，由于與(u，v)最近的整數，為(2，1)，因此偏移量(Δu，Δv)＝|(2，1)-(2.3，0.8)|＝(0.3，0.2)。
接著，假如偏移量(Δu，Δv)為閾值(0.1，0.1)以下(步驟S55)，作為不值得合成的，則將對象圖像從比較對象圖像中除去(步驟S60)。對所有的比較對象圖像假如沒有檢測與比較基準圖像的偏移量(步驟S65)，則將下一個比較對象圖像設定為對象圖像，從步驟S45到步驟S60為止反復操作。
假如對所有的比較對象圖像檢測了與比較基準圖像的偏移量(步驟S65)，則判斷比較對象圖像是否為1個以下(步驟S70)。假如不是1個以下，則將新的比較對象圖像作為比較基準圖像，則從步驟S35到步驟S65反復操作。
假如是1個以下步驟(S70)，則判斷比較基準圖像和比較對象圖像的合成是否成為4個(步驟S75)。假如不是4個，則將不足的那部分的預備幀圖像變更為選擇幀圖像(步驟S85)，關于新追加的旋轉幀圖像進行排除處理(圖9的步驟S31)。然后，將新追加的選擇幀圖像設定為比較對象圖像(步驟S86)。假如為4個，則將比較基準圖像和比較對象圖像合成后生成合成圖像(步驟S80)。
根據以上說明的第1實施例的圖像生成裝置，將比較基準圖像的偏移量較小的幀圖像從合成對象中除去，并且通過確保另外合成的幀圖像的數量為4，就能夠有效地提高合成圖像的畫質。
B、第2實施例B1、圖像生成裝置的構成圖10為表示本發明第2實施例的圖像生成裝置100A的概略構成的說明圖。圖像生成裝置100A的構成，除具有分割部95以外，與第1實施例的圖像生成裝置100基本相同。另外，按照以下說明，第2實施例中，將對象圖像分割成多個區塊，按區塊單位求出與比較基準圖像的偏移量。然后，將與比較基準圖像的偏移量較小的區塊從合成的對象中除去。因此，分割部95將所有的選擇幀圖像按照區塊為16×16個像素來分割。
B2、區塊的偏移量的檢測圖11為表示關于基準圖像和對象圖像的區塊的偏移量的說明圖，表示比較基準圖像的坐標(x1，y1)與對象圖像的坐標(x2，y2)偏移。第2實施例中，幀圖像的偏移量由平移偏移量(u，v)和旋轉偏移量δ這3個參數組成。
圖12為表示分割成區塊的幀圖像的說明圖，圖中的幀圖像，分割為5×8的區塊。全體的幀圖像，即使在按照圖中箭頭所述那樣旋轉的情況下，作為區塊的偏移量也能夠由平移偏移量(u，v)來表現。
具體講，以圖11的(xb，yb)為中心的區塊的偏移量(ub，vb)為(ub，vb)＝(u-ybδ，v+xbδ)即，各區塊的偏移量，只要根據幀圖像的偏移量和旋轉偏移量就可以計算。這里，各區塊的偏移量只要根據幀圖像的平移偏移量和旋轉偏移量就可以計算，各區塊的偏移量也可以直接檢測。
B3、靜止圖像生成處理圖13為第2實施例中的靜止圖像生成處理的流程的流程圖。圖像生成裝置100A的CPU執行處理。
第2實施例中，首先將所有的選擇幀圖像按照各個區塊為16×16個像素進行分割(步驟S92)。然后，關于各區塊，進行與第1實施例同樣的處理(步驟S95～步驟S150)。即，將各區塊看作獨立的幀圖像進行處理。此時，對選擇幀圖像內的相同位置的區塊(選擇幀圖像1的第1區塊，選擇幀圖像2的第1區塊，選擇幀圖像3的第1區塊，選擇幀圖像4的第1區塊)進行處理。關于第2區塊、第3區塊…也同樣，對全部的區塊，反復進行從步驟S95到步驟S150為止的處理(步驟S155)。
但是，在將預備幀圖像變更為選擇幀圖像(步驟S155)，進行排除處理后(步驟S30)，將選擇幀圖像設定為比較對象圖像(步驟S156)，該比較對象圖像也按照各區塊為16×16個像素來分割(步驟S158)。
根據以上說明的第2實施例的圖像生成裝置100A，根據幀圖像的圖像偏移量，就能夠簡易地求出區塊的偏移量。作為幀圖像全體沒有在合成中使用的圖像，也有通過分割成區塊而在合成中能夠使用的情況。
C、變形例以上，關于本發明的幾個實施方式進行了說明，本發明并不限于這樣的實施方式，在不脫離其主旨范圍內可以按各種方式實施。例如，合成的幀圖像的個數，偏移量的閾值可以設定為各種各樣。還有，也可以將比較基準圖像和對象圖像中相同位置的像素的特征量之差的集合的圖像差值、和像素的特征量的平均值之差，作為判斷對象圖像是否在合成中使用的基準。而且，也可以是以下所示變形例。
上述第1實施例的圖像生成裝置100，也能夠進行全景圖像的生成。圖14為表示全景圖像生成的樣子的說明圖。這里示出了將實線表示的5個幀圖像1～5合成，抽出其一部分，生成虛線表示的全景圖像的情況。在之前說明的以往的圖像生成裝置中，在以幀圖像1作為基準圖像時，由于沒有與幀圖像5重疊的區域，不能生成合成圖像，但是，根據第1實施例的圖像生成裝置100，通過按照幀圖像1→幀圖像2→幀圖像3→幀圖像4變更比較基準圖像，就可以合成更多的幀圖像并生成全景圖像。
本發明可適用于合成運動圖像或靜止圖像的多幀圖像的裝置。
權利要求
1.一種圖像生成裝置，由在運動圖像中包含的多幀圖像生成靜止圖像，其特征在于，包括合成對象設定部，其將在所述多幀圖像中包含在基準幀圖像之外的幀圖像中的區域中的至少一個以上區域，依據與所述基準幀圖像內的基準幀圖像區域的關系所設定的給定規則，設定成合成對象幀圖像區域；比較基準抽出部，其從所述基準幀圖像區域以及所述合成對象幀圖像區域中抽出一個比較基準幀圖像區域；對象抽出部，其從所述比較基準幀圖像區域以外的合成對象幀圖像區域中抽出一個對象幀圖像區域；比較部，其將所述比較基準幀圖像區域與所述對象幀圖像區域作比較，求出給定的參數；除去部，其當所述參數不滿足給定的基準時，從合成對象幀圖像區域中將所述對象幀圖像區域除去；和合成圖像生成部，其將所述基準幀圖像區域與所述合成對象幀圖像區域合成后生成合成圖像區域。
2.根據權利要求1所述的圖像生成裝置，其特征在于，進一步包括設定部，其在所述基準幀圖像內，將成為合成基準的區域作為所述基準幀圖像區域設定；和幀數控制部，其在所述基準幀圖像區域和滿足所述基準的合成對象幀圖像區域的合計數達到給定數量以上為止，反復執行所述合成對象設定部、所述比較基準抽出部、所述對象抽出部、所述比較部和所述除去部的處理。
3.根據權利要求2所述的圖像生成裝置，其特征在于，進一步包括指定接受部，其接受所述基準幀圖像的指定；所述設定部將接受指定的幀圖像作為所述基準幀圖像。
4.根據權利要求1或者2所述的圖像生成裝置，其特征在于，所述比較基準抽出部將所述基準幀圖像區域作為所述比較基準幀圖像。
5.根據權利要求1或者2所述的圖像生成裝置，其特征在于，進一步包括排除部，其從所述合成對象幀圖像區域中除去作為一個幀圖像區域的特征滿足給定條件的幀圖像區域。
6.根據權利要求1或者2所述的圖像生成裝置，其特征在于，所述參數為圖像偏移量。
7.根據權利要求6所述的圖像生成裝置，其特征在于，所述比較部包括幀偏移量計算部，其求出含有所述對象幀圖像區域的對象幀圖像與含有所述比較基準幀圖像區域的比較基準幀圖像之間的圖像偏移量；和區域偏移量計算部，其依據所述幀偏移量計算部求出的圖像偏移量，求出所述對象幀圖像區域與所述比較基準幀圖像區域之間的圖像偏移量。
8.根據權利要求1或者2所述的圖像生成裝置，其特征在于，所述參數為通過將所述對象幀圖像區域與所述比較基準幀圖像區域中相同位置的像素的特征量比較而得到的圖像差值。
9.根據權利要求1或者2所述的圖像生成裝置，所述參數為所述對象幀圖像區域和所述比較基準幀圖像區域中像素的特征量的平均值的比較。
10.根據權利要求1或者2所述的圖像生成裝置，其特征在于，所述基準幀圖像區域和所述合成對象幀圖像區域，為所述幀圖像分別以相同形式被分割的區域；所述對象抽出部，抽出與所述比較基準幀圖像區域對應的相同位置的對象幀圖像區域。
11.一種圖像生成裝置，由在運動圖像中包含的多幀圖像生成靜止圖像，其特征在于，通過對所述多幀圖像中的一幀基準幀圖像中所包含的成為合成基準的區域的基準幀圖像區域、與在所述基準幀圖像以外的所述多幀圖像中所包含的區域中的一個比較對象幀圖像區域進行比較而求出圖像特征量，當基于該圖像特征量的評價值滿足給定基準時，合成所述基準幀圖像區域和所述比較對象幀圖像區域。
12.一種圖像生成方法，由在運動圖像中包含的多幀圖像生成靜止圖像，其特征在于，包含步驟a，將在所述多幀圖像中包含在基準幀圖像之外的幀圖像中的區域中的至少一個以上區域，依據與所述基準幀圖像內的基準幀圖像區域的關系所設定的給定規則，設定成合成對象幀圖像區域；步驟b，從所述基準幀圖像區域以及所述合成對象幀圖像區域中抽出一個比較基準幀圖像區域；步驟c，從所述比較基準幀圖像區域以外的合成對象幀圖像區域中抽出一個對象幀圖像區域；步驟d，將所述比較基準幀圖像區域與所述對象幀圖像區域進行比較，求出給定的參數；步驟e，當所述參數不滿足給定的基準時，從合成對象幀圖像區域中將所述對象幀圖像區域除去；和步驟f，將所述基準幀圖像區域與所述合成對象幀圖像區域合成后生成合成圖像區域。
13.根據權利要求12所述的圖像生成方法，其特征在于，進一步包含步驟g，在所述基準幀圖像內，將成為合成基準的區域作為所述基準幀圖像區域設定；和步驟h，在所述基準幀圖像區域和滿足所述基準的合成對象幀圖像區域的合計數達到給定數量以上為止，反復執行所述步驟a、所述步驟b、所述步驟c、所述步驟d和所述步驟e的處理。
14.根據權利要求13所述的圖像生成方法，其特征在于，進一步包含步驟i，接受所述基準幀圖像的指定；設定所述基準幀圖像區域的步驟包含將接受指定的幀圖像作為所述基準幀圖像的步驟。
15.根據權利要求12或者13所述的圖像生成方法，其特征在于，所述步驟(b)包含將所述基準幀圖像區域作為所述比較基準幀圖像區域的步驟。
16.根據權利要求12或者13所述的圖像生成方法，其特征在于，包含從所述合成對象幀圖像區域中除去作為一個幀圖像區域的特征滿足給定條件的幀圖像的區域的步驟。
17.根據權利要求12或者13所述的圖像生成方法，其特征在于，所述參數為圖像偏移量。
18.根據權利要求17所述的圖像生成方法，其特征在于，所述步驟(d)包含求出含有所述對象幀圖像區域的對象幀圖像與含有所述比較基準幀圖像區域的比較基準幀圖像之間的圖像偏移量的步驟；和依據所述幀偏移量計算部求出的圖像偏移量，求出所述對象幀圖像區域與所述比較幀圖像區域之間的圖像偏移量的步驟。
19.根據權利要求12或者13所述的圖像生成方法，其特征在于，所述參數為通過將所述對象幀圖像區域與所述比較基準幀圖像區域中相同位置的像素的特征量比較而得到的圖像差值。
20.根據權利要求12或者13所述的圖像生成方法，其特征在于，所述參數為所述對象幀圖像區域和所述比較基準幀圖像區域中像素的特征量的平均值的比較。
21.根據權利要求12或者13所述的圖像生成方法，其特征在于所述基準幀圖像區域和所述合成對象幀圖像區域，為所述幀圖像分別以相同形式被分割的區域；所述步驟c，抽出與所述比較基準幀圖像區域對應的相同位置的對象幀圖像區域。
22.一種圖像生成方法，由在運動圖像中包含的多幀圖像生成靜止圖像，其特征在于，通過對所述多幀圖像中的一幀基準幀圖像中所包含的成為合成基準的區域的基準幀圖像區域、與在所述基準幀圖像以外的所述多幀圖像中所包含的區域中的一個比較對象幀圖像區域進行比較而求出圖像特征量，當基于該圖像特征量的評價值滿足給定基準時，合成所述基準幀圖像區域和所述比較對象幀圖像區域。
23.一種計算機程序，用于實現由在運動圖像中包含的多幀圖像生成靜止圖像，其特征在于，包含合成對象設定功能，其將在所述多幀圖像中包含在基準幀圖像之外的幀圖像中的區域中的至少一個以上區域，依據與所述基準幀圖像內的基準幀圖像區域的關系所設定的給定規則，設定成合成對象幀圖像區域；比較基準抽出功能，其從所述基準幀圖像區域以及所述合成對象幀圖像區域中抽出一個比較基準幀圖像區域；對象抽出功能，其從所述比較基準幀圖像區域以外的合成對象幀圖像區域中抽出一個對象幀圖像區域；比較功能，其將所述比較基準幀圖像區域與所述對象幀圖像區域作比較，求出給定的參數；除去功能，其當所述參數不滿足給定的基準時，從合成對象幀圖像區域中將所述對象幀圖像區域除去；和合成圖像生成功能，其將所述基準幀圖像區域與所述合成對象幀圖像區域合成后生成合成圖像區域。
24.一種計算機程序，用于實現由在運動圖像中包含的多幀圖像生成靜止圖像，其特征在于，執行以下處理通過對所述多幀圖像中的一幀基準幀圖像中所包含的成為合成基準的區域的基準幀圖像區域、與在所述基準幀圖像以外的所述多幀圖像中所包含的區域中的一個比較對象幀圖像區域進行比較而求出圖像特征量，當基于該圖像特征量的評價值滿足給定基準時，合成所述基準幀圖像區域和所述比較對象幀圖像區域。
全文摘要
將多幀圖像的一部分作為在靜止圖像的合成中使用的比較對象圖像。將比較對象圖像中的1個作為比較基準圖像，1個作為對象圖像，將比較基準圖像和對象圖像比較后求出參數。當該參數不滿足給定的基準，則將對象圖像從比較對象圖像中除去。還有，從多幀圖像中將任意數量的幀圖像設定為比較對象圖像，直到成為合成基準的基準圖像和比較對象圖像的合計數達到給定數量以上為止，進行上述比較。合成圖像生成部(75)，將合計數在給定數量以上的比較對象圖像和基準圖像合成后生成靜止圖像。
文檔編號H04N7/01GK1717702SQ20048000161
公開日2006年1月4日 申請日期2004年4月16日 優先權日2003年4月17日
發明者相磯政司 申請人:精工愛普生株式會社