專利名稱：圖像生成裝置以及圖像生成方法
技術領域：
本發明涉及生成運動圖像的圖像生成裝置，尤其涉及依據多個運動圖 像來生成新的運動圖像的圖像生成裝置，該新的運動圖像同時具有各個運 動圖像的優秀特性。
背景技術：
隨著數字攝像設備的進展，能夠以較低的成本來拍攝高空間分辨率的 靜止圖像。然而，若試圖實現在維持與這些高空間分辨率的靜止圖像相同
的空間分辨率的同時平滑移動的運動圖像(例如，30幀/秒左右)、或更高速 度的拍攝，則存在問題。
這是因為，由于按每個單位時間獲得的圖像的信息量龐大，因此攝像 設備內的圖像信息的傳輸速度不足的緣故，或者，由于需要并聯傳輸圖像 信息等的特殊的攝像設備，因此使攝像裝置的成本增加、或另外需要對攝 像裝置的特性進行調整的緣故。
作為以往的獲得時間和空間分辨率(時間上以及空間上的分辨率)高的 圖像的圖像生成方法有，利用高速低分辨率攝像機和低速高分辨率攝像機 的影像，利用運動圖像的幀之間的對應點檢測進行變形的方法(例如，參照 專利文獻1)。圖1是專利文獻1所記載的以往的圖像生成方法的說明圖。 而且，在本說明書中，對于拍攝能力或運動圖像的性質，"高速"(或，"低 速")意味著，幀率相對大(或，小)，"高分辨率"(或，"低分辨率")意味著， 空間分辨率相對高(或，低)。
在圖1中，高速低分辨率攝像機A01和低速高分辨率攝像機A02以相 同視角來同步拍攝相同對象。圖2示出攝像機AOl和攝像機A02的拍攝圖 像的關系。在圖2中，按時間順序排列由二個攝像機AOl和攝像機A02的 二個攝像機拍攝的幀，幀B01和B02表示攝像機A02所獲得的圖像，幀 B011 B15表示攝像機01所獲得的圖像。在此，以圖像的大小來表示空間分辨率的不同，幀B11 B15與幀B01和B02相比像素數少、空間分辨 率低。另一方面，攝像機A01拍攝的幀率比攝像機A02高，在攝像機A02 拍攝一個幀的期間，攝像機A01拍攝四個幀。并且，與攝像機A02的幀拍 攝的時間同步進行攝像機AOl的幀拍攝(以相同時機來拍攝幀BOl和幀 Bll、以及幀B02和幀B15)。在以下的例子中，相當于幀B23的位置(相 當于幀B13的拍攝時間)的高分辨率圖像的中間幀圖像的生成方法。
對于如此拍攝的幀圖像， 一次匹配部A03求出攝像機A01的高速拍攝 圖像中相鄰的各個幀之間的像素的對應關系。在此，對應關系是以下的關 系，即，在某幀圖像內的各個像素中存在的對象的部位，在另一幀圖像內 存在哪個像素位置。其次，通過結合相鄰的高速圖像間的對應關系，從而 求出位于希望生成的幀B23的時刻的高速攝像機圖像B13、與同步拍攝高 速圖像和低速圖像的幀Bll的像素之間的對應關系。
其次，二次匹配部A04，通過使同步拍攝高速圖像和低速圖像的幀B01 和幀Bll之間的像素的位置關系、幀B13和幀B23之間的像素的位置關 系、以及一次匹配部A03所求出的幀Bll和幀B13之間的對應關系相結 合，從而決定幀B01和幀B23之間的像素的對應關系。
其次，圖像生成部A05，利用幀B01和幀B23之間的像素的對應關系， 并利用幀BOl的像素值決定幀B23的像素值，而生成高分辨率中間幀圖像 B23。通過以同樣的順序生成其它的中間幀，從而生成高分辨率且高速的影 像。
并且，在非專利文獻1或非專利文獻2等，也同樣利用高速低分辨率 攝像機和低速高分辨率攝像機的影像，依據高速攝像機的影像進行運動檢 測，按照其運動對低速高分辨率運動圖像進行變形，從而生成高分辨率的 中間幀圖像。
專利文獻l:(日本)特開2003-203273號公報個13)
非專利文獻1: Toru MATSUNOBU,et al.， "Generation of High
Resolution Video Using Morphing " ，Technical report of
IEICE，PRMU2004-178
非專禾U文獻2: Kiyotaka Watanabe，et al" "Generation of High
Resolution Video Sequence from Two Video Sequences with DifferentSpatio-temporal Frequencies "，情，艮禾斗學技術 ^ 夕 一 義' (FIT2004),Vol.3,No.LI-004,2004
然而，在所述以往的技術中，由于以能夠準確地求出高速圖像中相鄰 的幀之間的對應關系、或能夠準確地進行運動檢測為前提，因此存在的問 題是在不能準確地求出對應關系的情況下、或在不能進行運動檢測的情況 下，導致使所生成的圖像劣化很大、或成為單是將低分辨率圖像擴大的圖 像。 一般而言，在圖像中的運動物體的運動復雜的情況下、在照明狀態變 化的情況下、在發生遮蔽(occlusion)的情況下、或在發生光圈(aperture)問 題的情況下等，求出幀間的對應點、或對所有的像素準確地求出運動檢測 是困難的。
發明內容
于是，為了解決所述以往的問題，本發明的目的在于提供一種圖像生 成裝置以及其方法，對于不能準確地進行對應點檢測或運動檢測的圖像區 域，也可以生成合并多個運動圖像的新的運動圖像。
為了實現所述目的，本發明涉及的圖像生成裝置，其依據由外部的攝 像裝置拍攝相同事物而獲得的第一運動圖像以及第二運動圖像，來生成表 示所述事物的新的運動圖像，所述第二運動圖像的分辨率比所述第一運動 圖像的分辨率高，且所述第二運動圖像的幀的曝光時間比所述第一運動圖
像的幀的曝光時間長，所述圖像生成裝置包括曝光控制單元，通過控制 所述攝像裝置，從而使在所述第二運動圖像的一個幀的曝光期間中的曝光 量隨時間變化；圖像輸入單元，從所述攝像裝置，獲得所述第一運動圖像、 和在被所述曝光控制單元控制的狀態下拍攝的所述第二運動圖像；以及圖 像合并單元，依據獲得的所述第一運動圖像和所述第二運動圖像來生成幀 率在所述第一運動圖像的幀率以上、且分辨率在所述第二運動圖像的分辨 率以上的新的運動圖像，該新的運動圖像是通過使所述第二運動圖像的幀 和與所述第二運動圖像的幀的曝光期間相對應的所述新的運動圖像的多個 幀的合計之間的誤差減少來生成的。
根據這些結構，例如，在所述圖像輸入單元以高速幀率獲得低分辨率 的第一運動圖像、以低速幀率獲得高分辨率的第二運動圖像的情況下，所述圖像合并單元，可以生成幀率與所述第一運動圖像的幀率相同的、且分 辨率與所述第二運動圖像的分辨率相同的運動圖像,以作為新的運動圖像。 也就是，生成同時具有所輸入的多個運動圖像的各個優秀特性的新的運動 圖像。
進一步，所述曝光控制單元，使在所述第二運動圖像的曝光期間中的 曝光量隨時間變化，從而可以獲得時間頻率高的信息，也可以提高所生成 的運動圖像的高頻率的特性。
而且，本發明，除了可以作為如上所述的圖像生成裝置來實現以外， 也可以作為圖像生成方法、使計算機執行其方法的程序、記錄了其程序的
CD-ROM等計算機可讀的記錄介質等來實現。
根據本發明的圖像生成裝置，在運動圖像中包含不能準確地求出運動 或對應點的圖像區域的情況下，也可以生成以運動圖像整體提高了其圖像 的時間和空間分辨率的新的運動圖像。例如，依據高速低分辨率運動圖像 和低速高分辨率運動圖像，來確實生成同時具有各個優秀特性的高速高分 辨率運動圖像。
圖l是示出以往的圖像生成裝置的結構的方框圖。
圖2(a)以及(b)是示出以往的圖像生成裝置的輸入圖像的時序的圖。
圖3是示出本發明的實施例中的圖像生成系統的硬件結構的方框圖
圖4是示出實施例中的圖像生成裝置的結構的功能框圖。
圖5是示出圖像生成裝置的工作的流程圖。
圖6(a)以及(b)是示出輸入圖像的時序的一個例子的圖。
圖7(a) (c)是示出攝像裝置的具體例子的圖。
圖8(a) (c)分別是示出所生成的高速高分辨率運動圖像、所輸入的高 速低分辨率運動圖像以及低速高分辨率運動圖像的像素的配置的一個例子 的圖。
圖9(a) (c)是示出在校正像素值的情況下的入射光量和像素值的關系 的例子的圖表。
圖10(a)以及(b)是示出以高速低分辨率運動圖像來求出的運動檢測結果和高速高分辨率運動圖像的關系的圖。
圖11(a) (d)是示出所生成的高速高分辨率運動圖像的幀圖像的一個 例子的圖。
圖12(a) (d)是示出所輸入的高速低分辨率運動圖像的幀圖像的一個 例子的圖。
圖13是示出所輸入的低速高分辨率運動圖像的幀圖像的一個例子的圖。
圖14(a) (d)是示出可靠度分布的例子的圖。 圖15(a) (d)是示出生成的運動圖像的幀圖像的一個例子的圖。 圖16(a) (d)是示出在不利用可靠度而生成的情況下的運動圖像的幀 圖像的一個例子的圖。
圖17(a) (e)是示出理想的高速高分辨率圖像的幀圖像的一個例子的圖。
圖18(a) (e)是示出高速高分辨率圖像的幀圖像的一 個例子的圖。
圖19(a)以及(b)是示出以短時間的曝光來拍攝的低速高分辨率圖像的
幀圖像的一個例子的圖。
圖20(a)以及(b)是示出以長時間的曝光來拍攝的低速高分辨率圖像的
幀圖像的一個例子的圖。
圖21(a) (e)是示出以短時間的曝光來生成的幀圖像的一個例子的圖。
圖22(a) (e)是示出以短時間的曝光來生成的幀圖像的一個例子的圖。
圖23(a) (e)是示出以長時間的曝光來生成的幀圖像的一個例子的圖。
圖24(a) (e)是示出以長時間的曝光來生成的幀圖像的一個例子的圖。
圖25(a)以及(b)是示出幀的曝光期間中隨時間變化的曝光量的圖。
圖26(a) (c)是用于說明輸入圖像的曝光時機和生成圖像中的虛擬曝
光時機之間的關系的圖。
圖27(a) (c)是示出高速高分辨率圖像的幀圖像的一個例子的圖。
圖28是示出低速高分辨率圖像的幀圖像的一個例子的圖。
圖29(a) (c)是示出所生成的幀圖像的一個例子的圖。
圖30(a) (c)是示出高速低分辨率圖像的幀圖像的一個例子的圖。
圖31是示出在使曝光量變化的情況下的低速高分辨率圖像的幀圖像的一個例子的圖。
圖32(a) (c)是示出在使曝光量變化的情況下生成的幀圖像的一個例 子的圖。
圖33(a)以及(b)是示出幀的曝光期間中隨時間變化的曝光量的圖。 圖34是示出在利用生成的可靠度而使編碼圖像的壓縮率變化的情況下 的可靠度和壓縮率的關系的一個例子的圖表。
圖35是示出在合并彩色運動圖像的情況下的處理順序的流程圖。 圖36是示出區域分割處理的一個例子的圖。 圖37是示出圖像生成系統的具體例子的方框圖。 圖38是示出圖像生成系統的具體例子的方框圖。
符號說明
10撮像裝置
20圖像存儲裝置
30圖像生成裝置
40顯示裝置
100圖像生成系統
101圖像輸入部
101a高速圖像輸入部
101b低速圖像輸入部
102編碼部
103運動檢測部
103a運動分布計算部
103b運動可靠度分布計算部
103c傳感器輸入部
104圖像合并部
104a合并處理部
104b限制控制部
104c運動限制指定部
104d外部模型限制部104e限制指定部 105曝光控制部 106 a減光部 106b照明部 300攝像機 400顯示設備
具體實施例方式
本發明涉及的圖像生成裝置，其依據由外部的攝像裝置拍攝相同事物 而獲得的第一運動圖像以及第二運動圖像，來生成表示所述事物的新的運 動圖像，所述第二運動圖像的分辨率比所述第一運動圖像的分辨率高，且 所述第二運動圖像的幀的曝光時間比所述第一運動圖像的幀的曝光時間
長，所述圖像生成裝置包括曝光控制單元，通過控制所述攝像裝置，從
而使在所述第二運動圖像的一個幀的曝光期間中的曝光量隨時間變化；圖
像輸入單元，從所述攝像裝置，獲得所述第一運動圖像、和在被所述曝光
控制單元控制的狀態下拍攝的所述第二運動圖像；以及圖像合并單元，依 據獲得的所述第一運動圖像和所述第二運動圖像來生成幀率在所述第一運 動圖像的幀率以上、且分辨率在所述第二運動圖像的分辨率以上的新的運 動圖像，該新的運動圖像是通過使所述第二運動圖像的幀和與所述第二運 動圖像的幀的曝光期間相對應的所述新的運動圖像的多個幀的合計之間的 誤差減少來生成的。
在此，所述曝光控制單元，可以在所述第二運動圖像的一個幀的曝光 期間中至少設定一次無曝光期間，在該無曝光期間中使所述曝光量減少， 所述曝光控制單元，進一步，可以通過控制所述攝像裝置，從而使所述第 一運動圖像的曝光量在所述第二運動圖像的無曝光期間中減少。并且，可 以使所述第二運動圖像的曝光量變化，以在所述第二運動圖像的一個幀的 曝光期間中包含的所述第一運動圖像的一個以上的幀的各個曝光期間中進 行所述第二運動圖像的所述幀的曝光。
根據其結構，因短的曝光時間而所述第一運動圖像中包含的時間頻率
高的信息、和因高的分辨率而所述第二運動圖像中包含的空間頻率高的信息，被反映到所述新的運動圖像的幀，因此，可以獲得時間和空間分辨率 高的所述新的運動圖像。通過在所述第二運動圖像的曝光期間中的曝光量 隨時間變化，從而可以使所述第二運動圖像帶有時間頻率更高的信息，其 結果有用于所述新的運動圖像的時間分辨率的提高。
并且，在所述攝像裝置包括減光單元的情況下，所述曝光控制單元， 可以通過控制所述減光單元，從而使所述曝光量隨時間變化，所述減光單 元，在拍攝所述第二運動圖像時，以按照來自外部控制的量來使來自被攝 物體的入射光量減少。
并且，在所述攝像裝置包括照明單元的情況下，所述曝光控制單元， 可以通過控制所述照明單元，從而使所述曝光量隨時間變化，所述照明單 元，在拍攝所述第二運動圖像時，以按照來自外部的控制的強度來對被攝 物體進行照明。
(實施例)
以下，對于本發明的實施例涉及的圖像生成系統，參照附圖進行詳細 說明。
圖3是本發明的實施例涉及的圖像生成系統的硬件結構的方框圖。 圖像生成系統100是一種系統，依據對于同一對象的多個運動圖像(在 此為高速低分辨率運動圖像以及低速高分辨率運動圖像)來生成時間和空間 分辨率高的新的運動圖像(在此為高速高分辨率運動圖像)，該圖像生成系統 100包括撮像裝置10、圖像存儲裝置20、圖像生成裝置30以及顯示裝置 40。撮像裝置10是一種攝像機等，以不同的二種時間和空間分辨率來獲得 運動圖像(在此為對于同一對象的高速低分辨率運動圖像以及低速高分辨率 運動圖像)。圖像存儲裝置20是一種存儲器等，暫時存儲攝像裝置10所拍 攝的運動圖像。圖像生成裝置30是一種裝置，讀出圖像存儲裝置20所存 儲的運動圖像，依據讀出的多個運動圖像來生成時間和空間分辨率高的新 的運動圖像。顯示裝置40是一種顯示裝置，顯示圖像生成裝置30所生成 的新的運動圖像。而且，圖像生成裝置30，可以通過專用電路等的硬件來 實現，也可以通過通用計算機中的圖像處理程序等的軟件來實現。
圖4是示出圖3所示的圖像生成系統100中的撮像裝置10和圖像生成 裝置30的內部結構的功能框圖。撮像裝置10在結構上包括減光部106a和照明部106b。
減光部106a，按照來自圖像生成裝置30的控制，以可以隨時間變化 的量來減少來自被攝物體的入射光。例如，減光部106a也可以是，在將入 射光引導到攝像元件的光學系統(圖中未示出)上配置的、能夠以電氣控制的 濾波器或快門。照明部106b，按照來自圖像生成裝置30的控制，以可以 隨時間變化的光量來對被攝物體進行照明。
圖像生成裝置30包括圖像輸入部101、運動檢測部103、圖像合并部 104以及曝光控制部105。
曝光控制部105，通過控制減光部106a以及照明部106b中的至少一 方，從而使在撮像裝置IO所拍攝的低速高分辨率圖像的一個幀的曝光期間 中的曝光量隨時間變化。
圖像輸入部101是一種接口等，獲得通過拍攝同一對象物體來獲得的、 時間和空間分辨率或時間和空間相位不同的多個運動圖像，該圖像輸入部 101具有高速圖像輸入部101a，獲得以高速(高速幀率)且低空間分辨率 來拍攝了對象的運動圖像(高速低分辨率運動圖像)；以及低速圖像輸入部 101b，獲得以低速(低速幀率)且高空間分辨率來拍攝相同對象的運動圖像 (低速高分辨率運動圖像)。如此，高速圖像輸入部101a所輸入的圖像和低 速圖像輸入部101b所輸入的圖像，雖然時間和空間分辨率不同、但是拍攝 了同一對象的圖像。在此，應該注意的是，通過減光部106a或照明部106b， 可以使在低速高分辨率圖像的一個幀的曝光期間中的曝光量隨時間變化。
運動檢測部103具有傳感器輸入部103c，獲得來自檢測撮像裝置10 的運動的傳感器(撮像裝置IO所具備的加速度傳感器等)的信號，該撮像裝 置10生成被圖像輸入部101輸入的圖像；運動分布計算部103a，根據圖 像輸入部101所輸入的圖像以及傳感器輸入部103c所輸入的運動信號中的 至少一方，對各個幀的圖像整體進行輸入圖像中的圖像(即，拍攝的對象物 體)的運動檢測；以及運動可靠度分布計算部103b，對各個幀的圖像整體計 算運動分布計算部103a的運動檢測的可靠度。
圖像合并部104是一種處理部，在圖像輸入部101所輸入的多個運動 圖像中，對于可靠度高的圖像區域，利用運動檢測部103的運動檢測的結 果來生成新的運動圖像，對于可靠度低的圖像區域，利用預定的一定的限制條件來合并多個運動圖像，該圖像合并部104具有合并處理部104a、限 制控制部104b、運動限制指定部104c、外部模型限制部104d以及限制指 定部104e。
運動限制指定部104c是一種處理部，利用運動分布計算部103a的運 動檢測的結果，指定所生成的高速高分辨率運動圖像的各個像素值應該滿 足的限制條件(以下，依賴運動檢測的結果來指定的限制條件稱為"運動限 制條件"。)。
外部模型限制部104d，指定所生成的高速高分辨率運動圖像的各個像 素值與運動分布計算部103a的運動檢測無關而應該滿足的限制條件(以下， 不依賴運動檢測的結果來指定的限制條件稱為"外部模型限制條件"。)。
限制控制部104b，利用運動分布計算部103a所計算的運動檢測的結 果和運動可靠度分布計算部103b所計算的可靠度，決定在所生成的高速高 分辨率運動圖像中的各個幀圖像中的各個位置，使運動限制條件和外部模 型限制條件分別有效的程度，并向限制指定部104e通知該程度。
限制指定部104e，根據限制控制部104b所決定的運動限制條件和外 部模型限制條件的有效程度，指定將運動限制指定部104c所指定的運動限 制條件和外部模型限制部104d所指定外部模型限制條件合并的限制條件， 即指定所生成的高速高分辨率運動圖像的各個像素值應該滿足的限制條 件。
合并處理部104a，根據限制指定部104e所指定的限制條件，將高速 圖像輸入部lOla所輸入的高速圖像和低速圖像輸入部101b所輸入的低速 圖像合并，從而生成高速高分辨率運動圖像。
編碼部102，對合并處理部104a所生成的圖像進行壓縮編碼，并將其輸出。
而且，在本實施例的"幀"中，除了包含逐行(progressive)方式的幀 以外，還包含隔行(interlace)方式的偶數場以及奇數場。
其次，說明如上構成的圖像生成裝置30執行的處理。圖5是圖像生成 裝置30執行的處理的流程圖。
在步驟600，曝光控制部105設定低速高分辨率圖像的一個幀的曝光 期間中隨時間變化的曝光量。在此，首先說明在曝光期間中一直使曝光量為一定的情況。對于使在曝光期間中的曝光量隨時間變化的情況，將在后 面說明。
曝光控制部105，控制攝像裝置10，以使曝光量為一定。攝像裝置10， 按照來自曝光控制部105的控制，拍攝高速低分辨率圖像和低速高分辨率 圖像。
在歩驟601，高速圖像輸入部101a接受高速低分辨率運動圖像的輸入， 低速圖像輸入部101b接受對同一對象的低速高分辨率運動圖像的輸入。以 后的說明中，對用于說明的圖像利用亮度圖像。
在圖6(a)以及圖6(b)示出，高速圖像輸入部101a所輸入的高速低分辨 率運動圖像和低速圖像輸入部101b所輸入的低速高分辨率運動圖像的關 系。在圖6(a)以及圖6(b)，按時間順序排列這些二個圖像的連續的幀圖像， 幀201以及幀202表示低速高分辨率圖像，幀211 215表示高速低分辨 率圖像。
在該圖中，以圖像的大小來表示空間分辨率的區別。幀211 215與幀 201以及幀202相比，像素數少、且空間分辨率低。另一方面，對于幀率， 高速圖像輸入部101a的拍攝的幀率比低速圖像輸入部101b高，在此，高 速圖像輸入部101a以低速圖像輸入部101b的一個幀間隔來拍攝四個幀。 并且，幀201以及幀202的圖像的時間方向的寬度表示曝光時間。低速圖 像輸入部101b所輸入的圖像，由于幀率低，因此可以實現比高速圖像輸入 部101a所輸入的圖像長的曝光。在圖6(a)，低速高分辨率運動圖像的幀 201進行高速低分辨率運動圖像的四個幀間隔的曝光。
而且，高速圖像輸入部101a所輸入的幀和低速圖像輸入部101b所輸 入的幀的拍攝時機，已知時間的相對關系即可，并不一定需要同時拍攝(即， 可以使在拍攝時機的相位不同)。并且，通過進行長時間曝光，從而在高分 辨率圖像中也可以獲得如移動物體的移動軌跡之類的運動信息。通過在后 述的圖像的合并處理中生成符合從高分辨率圖像獲得的運動信息的運動圖 像，從而可以生成時間和空間分辨率高的運動圖像。
在此，示出攝像裝置10的具體例子，即舉例示出獲得二種圖像的拍攝 單元。如圖7(a)，利用半透明反射鏡(half mirror)來配置不同特性的二種攝 像機，以使視角相同，從而可以拍攝二種圖像；如圖7(b)，在一個攝像機內利用半透明反射鏡或棱鏡來配置不同特性的二種攝像元件，以使視角相
同，從而也可以拍攝二種圖像；如圖7(c)，利用同時拍攝二種圖像的、不 同特性的攝像元件，從而也可以拍攝二種圖像。
其次，禾lj用圖8(a) (c)，說明目標高速高分辨率運動圖像的像素值(在 此為亮度值)、和高速圖像輸入部101a所獲得的高速低分辨率運動圖像以 及低速圖像輸入部101b所獲得的低速高分辨率運動圖像的像素值(在此為 亮度值)之間的關系。該關系，用于生成圖像，以作為高速高分辨率運動圖 像的各個像素應該滿足的外部模型限制條件。
在此假設，各個圖像的像素值與拍攝時的入射光量成比例，比例常數 也是共通的。圖8(a)示出目標高速高分辨率運動圖像的各個幀的像素的配 置。為了便于說明，取出高速高分辨率運動圖像的一部分進行說明。圖8(a) 示出，在縱(Y軸)方向有三個像素、在橫(X軸)方向有三個像素的四個幀的 像素的配置。假設，在像素位置(x，y，t)的像素的值為HH(x,y，t)。在此假設， x和y的值的范圍為O、 1、 2，而t的值的范圍為O、 1、 2、 3。
同樣，圖8(b)示出，在與圖8(a)相同的時間拍攝相同的視角的高速低 分辨率運動圖像的像素的配置。在此，將高速低分辨率運動圖像的像素位 置(xL，yL,t)的像素值表示為HL(xL，yL，t)。對于低分辨率圖像和高分辨率圖 像，由于x， y方向的像素數不同，因此將低分辨率圖像的x， y坐標值分 別表示為xL， yL來區別于高分辨率圖像的情況。在此，存在由高分辨率 圖像的x， y方向的各三個像素組成的九個像素的區域相當于低分辨率運動 圖像的一個像素的關系，而如公式l表示像素值的關系。
(公式1)
jc=0產0
同樣，圖8(c)示出，在與圖8(a)相同的時間拍攝相同的視角的低速高 分辨率運動圖像的像素的配置。在此，將低速高分辨率運動圖像的像素位 置(x，y，tL)的像素值表示為LH(x,y，tL)。
對于高速圖像和低速圖像，由于時間方向的幀數不同，因此將低速圖 像的幀編號表示為tL來區別于高速圖像的情況。在此，存在高速圖像的四 個幀間隔相當于低速圖像的一個幀間隔的關系，而如公式2表示像素值的<formula>formula see original document page 16</formula>
在此，G(t)表示在時間t的拍攝強度，并示出因隨時間變化的攝像元件 的靈敏度或拍攝時的光圈而引起的像素值的變化倍率。在攝像元件的靈敏 度或拍攝時的光圈不隨時間變化的情況下，成為G(t)=1.0。并且，在由曝 光控制部的曝光量不隨時間變化的情況下，成為G(t)=1.0。
而且，在所述的例子中將時間t離散來表示，但是，在與連續的時間上 的變化對應的情況下，利用公式3的關系式。通過將公式1、公式2的 HH(x,y，t)在公式3置換為HHcont(x，y，tcont)，從而可以表示對在時間上連 續的輸入的劣化過程。
(公式3)
服(jf, y, 0 =廣~("")'服自(x，凡"")('
在公式3中，At相當于所生成的高速高分辨率圖像的幀圖像的虛擬曝 光時間，tcont表示連續時間，HHcont(x,y，tcont)表示在時間上連續的圖像， Exp(tcont)表示高速高分辨率圖像的幀圖像的虛擬曝光在時間上的變化。
如圖6(a)以及(b)那樣，通過針對高速圖像的曝光時間使低速圖像的曝 光時間變長，從而可以獲得以下的效果，即，可以蓄積在長時間的運動的 軌跡信息，也可以將在生成高速高分辨率運動圖像時產生運動的部分的空 間上分辨率改進。
在所述的例子中，說明了像素值與拍攝時的入射光量成比例的情況(圖 9(a)),但是，在因Y校正等而不比例的情況下(圖9(b))、或根據像素而比例
常數不同的情況下，另外，通過使圖像被拍攝時的攝像元件的輸出入特性(輸 出入關系)相反地對應來利用，從而可以將像素值校正為對入射光具有同一 比例關系的值，且滿足公式1或公式2的關系。例如，通過利用如圖9(c) 的像素值和校正值的對應關系，來校正如圖9(b)獲得的像素值，從而可以 進行與如圖9(a)獲得的像素值同樣的處理。
并且，在所述的說明中，作為像素值利用亮度值來進行了說明，但是， 在各個像素中存在R、 G、 B的顏色值的情況下，對于R、 G、 B的各個值也可以獲得與亮度值相同的關系。
作為其它的外部模型限制有，與在時間和空間上相鄰的像素之間的像
素值的連續性或平滑度。在利用像素值的連續性的情況下，考慮如公式4 的高速高分辨率運動圖像的相鄰的像素之間的亮度值的差的平方和Qs。 (公式4)
;c=
+ S卿X,乂f)-- l)}2]
在利用像素值的平滑度的情況下，考慮如公式5的高速高分辨率運動 圖像的相鄰的像素之間的亮度值的二階差分的平方和Qs。 (公式5)
y鵬一l
+ ^{2 顯jc,;V)-服(x j + l，Z)-服(jc,y -l,f)}2
+ 3(2.-朋(jc,:m+1)-戰x,乂f -1)}2]
在此，在公式4、公式5中，Xmax、 Ymax、 tmax分別示出x方向像 素編號、y方向像素編號、幀編號的最大值。并且，入s(x,y,t)是指定限制條 件在時間上和空間上的分布的系數，在后述的步驟604利用運動的可靠度 來決定。
如此，外部模型限制條件，可以表示為對所生成的高速高分辨率運動 圖像的評價函數。降低該評價函數的值(評價值)之事宜，對應于向所生成的 高速高分辨率運動圖像附加所述外部模型限制之事宜。
作為其它的外部模型限制，也可以利用邊緣在時間上和空間上的連續 性。在此情況下例如可以是公式6所示，在時間上相鄰的幀之間相對應 的位置的邊緣的朝向變化少的限制；或公式7所示，朝向方向相同的邊緣， 在該邊緣的方向上連續存在的限制。
(公式6)'max ^mttx 'raax ffnuc
Z S S Z +w(;c， y, f )， y+v(x, y, f), f+1， 0 - y， /, f)}2
x=00 '=0
(公式7)
^niL -^叫ro;L:肌、
S Z Zl S +c ，" o -咖o, :m, 0}2
在此，公式6、公式7的edge(x，y，t,i)示出，存在于運動圖像中的(x，y，t)的位置的第i個朝向的邊緣的強度。假設，i示出邊緣的方向的種類，i取從0至i」imax為止的整數值。并且，公式7的(ix， iy)是一種矢量，表示第i個邊緣的朝向方向。
并且，u(x,y，t)、 v(x,y，t)示出在圖像中的(x， y， t)的位置上的運動矢量的x方向成分和y方向成分。利用具有方位依賴性的Gabor濾波器等邊緣檢測濾波器的輸出，或如公式8以微分運算來獲得邊緣的方向和強度后，根據需要將邊緣的方向離散化來利用，從而可以實現邊緣的檢測。
(公式8)
9x: ，
公式8將高速高分辨率運動圖像HH的坐標(x,y,t)中的邊緣的朝向和強度表示為二維矢量，矢量的朝向對應于邊緣的朝向，矢量的大小對應于邊緣的強度。
在此，入te(x，y,t)或入se(x,y，t)是與入s(x，y,t)相同指定限制條件在時間上和空間上的分布的系數，在后述的步驟604利用運動的可靠度來決定。
并且，作為其它的限制條件，也可以限定為預先設定所生成的運動圖像可以表示的自由度的、運動圖像群的主成分。例如是，將構成運動圖像的各個幀的各個像素的亮度值HH(x，y，t)作為獨立的要素，將運動圖像作為一個數據點，對預定的幀數、像素數相同的運動圖像群進行主成分分析，從而以主成分為優先來生成運動圖像。在此情況下，將非主成分的矢量作為NPC(x，y，t)，對于所生成的運動圖像HH(x，y,t)，將非主成分NPC和所生成的運動圖像HH的內積作為限制條件。在此情況下，限制條件為如公式9的Qpc。(公式9)
Jmnx 乂max 'max
jc-0 "0 f=0
可以不具備一種NPC而具備多個NPC，也可以根據輸入圖像來切換NPC的種類。在此情況下，預先學習輸入圖像和高分辨率時的主成分之間的關系，利用該結果進行NPC的選擇即可。例如，具備不同的三種高速高分辨率的運動圖像群1*2， 3,以作為用于學習的運動圖像。依據各個該運動圖像群來求出非主成分的矢量NPC1 NPC2 NPC3。另外，依據各個所述運動圖像群1 2 3，并利用公式1或公式2的關系式，來求出高速低分辨率運動圖像群HL1 *HL2 "HL3和高速高分辨率運動圖像群HH1、HH2、 HH3。
在此，應該學習的關系是，圖像群HL1'HH1、圖像群HL2'HH2以及圖像群HL3 HH3的三個圖像群和所述三種非主成分NPC1 .NPC2.NPC3之間的對應關系。對于對應關系的學習方法，可以利用任意的方法，預先按每個圖像群求出高速低分辨率運動圖像HL和高速高分辨率運動圖像HH的平均圖像的組，保持(學習)平均圖像的組和非主成分的種類之間的對應關系。
對新的輸入圖像HL'HH的組求出與平均圖像的組之間的差，而在輸入圖像的復原處理上利用與差最小的平均圖像的組相對應的非主成分。
為取代保持平均圖像和非主成分的種類之間的關系，而可以預先利用神經網絡(Newral Network)等學習方法來求出輸出入關系，以高速低分辨率運動圖像HL和高速高分辨率運動圖像HH為輸入、并以與這些HL和HH相對應的非主成分的種類為輸出，在學習后將輸入圖像HL HH的組輸入到神經網絡，利用作為輸出被獲得的種類的非主成分，以作為限制條件。
在此，入pc(x，y,t)與所述"(x，y，t)相同，也是指定限制條件在時間上和空間上的分布的系數，在后述的步驟604利用運動的可靠度來決定。
其次，在步驟602，運動檢測部103，依據高速低分辨率運動圖像來計算圖像中的運動和其運動的可靠度。在此，在從高速圖像輸入部101a獲得的運動圖像的各個幀圖像的各個位置，運動分布計算部103a求出被攝物體的運動的朝向和大小(運動檢測)，并求出運動的朝向和大小在時間上和空間上的分布。
并且，此時，運動可靠度分布計算部103b，求出運動檢測的可靠度在時間上和空間上的分布Conf(x，y,t)。在此情況下，運動檢測的可靠度意味著，可靠度越高，運動檢測的結果就越正確，在可靠度低的情況下運動檢測的結果有錯誤。
對于在相鄰的二個幀圖像間的圖像上的各個位置的運動的求出方法，例如可以利用以下的方法RANANDAN，"Computational Frameworkand an Algorithm for the Measurement of VisualMotion"A，IJCV，2,283-310(1989)(非專利文獻3)中所利用的方法；對運動圖像編碼一般所利用的運動檢測方法；或對利用圖像的移動物體追蹤等所利用的特征點追蹤方法等。
并且，可以利用檢測圖像整體的全局運動(仿射運動等)的普通方法，或可以禾!j用Lihi Zelkik誦Manor ， "Multi-body Segmentation-RevisitingMotion Consistency", ECCV(2002)(非專利文獻4)等方法，按多個區域進行運動檢測，將其作為在各個圖像位置的運動。
對于可靠度的求出方法，可以利用所述(非專利文獻3)中記載的方法，在利用塊匹配檢測運動的情況下，如公式10，也可以利用將與運動相對應的塊之間的像素值的差的平方和從差的平方和的取值的最大值SSDmax中
減去的值、即利用使塊之間的像素值的差的平方和的符號反轉的值Conf(x，y，t)，以作為可靠度。并且，在利用圖像的全局運動檢測或按每個區域的運動檢測的情況下，也可以利用將各個像素位置的運動的起點鄰近區域和終點鄰近區域之間的像素值的差的平方和從平方和的取值的最大值SSDmax中減去的值Conf(x,y,t)，以作為可靠度。(公式10)
<formula>formula see original document page 20</formula>在公式10中，位置(x',y'，t+l)是一種像素位置，相當于作為運動檢測的結果獲得的像素位置(x， y， t)的移動目標。并且，公式10的2表示用于塊匹配的塊區域內的加法運算。
而且，在所述說明中，利用從高速圖像輸入部101a獲得的圖像進行運 動檢測和可靠度的計算，但是，也可以對從低速圖像輸入部101b獲得的圖 像進行運動檢測和可靠度的計算，從而進行同樣的運動檢測處理。
并且，也可以利用檢測攝像設備的姿態的變化的傳感器的信息(被輸入 到傳感器輸入部103c的信號)，以作為輸入。在此情況下，攝像裝置10包 括加速度傳感器或角加速度傳感器，通過傳感器輸入部103c獲得速度或角 速度以作為加速度的積分值，從而運動分布計算部103a，可以依據傳感器 輸入部103c所輸入的信息，來獲得因如手抖動之類的攝像機的姿態變化而 引起的圖像整體的運動的信息。
例如，在作為圖像輸入部101利用攝像機的情況下，通過使該攝像機 包括水平方向和垂直方向的角加速度傳感器，從而可以依據該傳感器的輸 出來獲得水平方向和垂直方向的角加速度，以作為在各個時刻的姿態測量 值。若以時間來積分加速度值，則可以計算各個時刻的角速度。
在攝像機在時刻t以水平方向帶有"h的角速度、且以垂直方向帶有" v的角速度的情況下，可以使攝像機的角速度與因攝像機的朝向而引起的攝 像元件上(拍攝圖像上)的位置(x,y)的、在時刻t的圖像的二維運動(u，v)唯一 地對應。
一般而言，可以依據攝像機的光學系統(透鏡等)的特性(焦點距離或透 鏡失真等)、光學系統與攝像元件的配置、或攝像元件的像素間隔，來決定 攝像機的角速度和攝像元件上的圖像的運動之間的對應關系。為了實際進 行計算，可以依據光學系統的特性、光學系統與攝像元件的配置、或像素 間隔來進行幾何學計算和光學計算后獲得對應關系，或者，預先保持對應 關系以作為表，從而依據攝像機的角速度"h' cov來參考攝像元件上(x,y) 的圖像的速度(u,v)。
利用了這些傳感器的運動信息，也可以與從圖像獲得的運動檢測的結 果一起被利用。在此情況下，運動分布計算部103a，對圖像整體的運動檢 測主要利用傳感器的信息，對圖像內的對象的運動利用從圖像獲得的運動 檢測的結果即可。
其次，在步驟603，運動限制指定部104c指定運動檢測部103求出的運動檢測結果和目標高速高分辨率運動圖像之間的關系。利用圖lO(a)以及 圖10(b)說明以低分辨率圖像來求出的運動檢測結果和高速高分辨率運動 圖像之間的關系。
圖lO(a)以及圖10(b),分別表示高速圖像的相鄰的幀圖像(幀編號t和 t+l)。為了便于說明，以低分辨率圖像中的三個像素X三個像素的區域來進 行說明。在此，進一步將低分辨率圖像的一個像素分割為三個像素X三個 像素的區域表示高分辨率圖像的像素。而且，在圖lO(a)以及圖lO(b)中， 只示出為了說明需要的高分辨率像素。
在此設想，運動檢測部103進行的運動檢測的結果為，圖10(a)的粗線 501的低分辨率像素位置與圖10(b)的像素位置502相對應(框501的圖像 移動到框502)。在此， 一般而言，在如上所述的運動檢測方法中，可以以 比像素大小小的單位來計算運動的朝向或大小。
因此，利用低分辨率圖像的運動檢測的結果，來計算如圖10(b)與低分 辨率像素位置不一致的高分辨率圖像的像素單位的運動，從而可以獲得對 高速高分辨率的像素的公式11的關系。
設想，利用該運動檢測的結果，對于粗線的框內(501,502)的高速高分 辨率運動圖像的各個像素值成立公式11的關系。
(公式11)
在此，u(x,y,t)和v(x，y，t)表示檢測結果，并且，在圖10(a)的粗線的黑 框(501)內的位置(x，y，t)移動到圖10(b)的粗線的黑框(502)內的位置的運動 中，將x方向的移動量表示為u(x，y,t)，將y方向的移動量表示為v(x，y,t)。 在所述的例子中，以高速低分辨率運動圖像來進行運動檢測，但是，也可 以同樣利用以低速高分辨率運動圖像來進行運動檢測的結果。在利用高分 辨率圖像的情況下，雖然求出運動檢測的幀的時間間隔增加，但是幀內建 立對應的位置精確度提高。
其次，在步驟604，限制控制部104b決定限制條件的強度在時間上和 空間上的分布，限制指定部104e指定對所生成的高速高分辨率運動圖像的 綜合性的限制條件。以下，進行詳細說明。
限制指定部104e，利用所述公式l、公式2示出的高速高分辨率運動圖像和高速圖像、低速圖像的像素值的關系；所述公式ll示出的運動檢測 結果和高速高分辨率運動圖像的關系；以及所述公式4、公式5、公式6、 公式7、公式9等示出的外部模型限制，來指定對目標高速高分辨率運動圖 像的綜合性的限制條件J(HH)。公式12示出綜合性的限制條件J的例子。 (公式12)
■7=1 ffi-瓜f +|^-司2 +)g w+^+Spc
在公式12，右邊的第一項是一種限制表示依據高速高分辨率運動圖
像利用公式1的關系式來制作出的高速低分辨率運動圖像HL'、和實際上 被輸入到高速圖像輸入部101a的高速低分辨率運動圖像HL之間的差(對 應的像素值之間的差的平方和)，第二項是一種限制表示依據高速高分辨 率運動圖像利用公式2的關系式來制作出的低速高分辨率運動圖像LH'、 和實際上被輸入到低速圖像輸入部101b的低速高分辨率運動圖像LH之間 的差(對應的像素值之間的差的平方抑的限制。第一項的限制和第二項的限 制是一種條件，用于使生成的圖像和拍攝的圖像之間的亮度值的關系盡量 滿足所述公式1和公式2的關系，也用于使拍攝圖像和生成圖像之間的亮 度值的矛盾難以產生。
公式12的右邊的第三項是外部模型限制條件Qs，但是在利用公式4 或公式5的條件的情況下，使生成的圖像中在時間上和空間上相鄰的像素 的亮度值易于具有較近的值的限制。因此，抑制一種圖像的生成，該圖像 的亮度值如噪聲那樣在時間上和空間上一點一點地變化。公式12的右邊的 第四項是基于運動檢測結果的限制條件Qm，以公式13來舉例示出，利用
檢測結果使運動檢測的結果和生成圖像之間的矛盾難以產生的限制。 (公式13)
S 5X(^,fH服(x+"(w力j+v(x,w+i)-服化"tf
;c"0 嚴D f一0
在公式13中利用高速高分辨率運動圖像中相鄰的幀間(t和t+l)的運動 u、 v來構成限制，但是，也可以利用分離一個幀以上的幀間的檢測結果u'、 v'來檢測如公式14那樣分離的幀間的運動，從而設定限制條件。并且，也 可以并用如公式13和公式14那樣的限制。
(公式14)<formula>formula see original document page 24</formula>
通過利用以不同幀間隔的運動檢測，從而可以檢測如慢運動那樣的、 以少的幀間隔難以檢測的運動，并將其反映到圖像的生成。
公式12的右邊的第五項是示出邊緣在時間上的連續性的限制條件，公 式12的右邊的第六項是示出邊緣在空間上的連續性的限制條件，公式12 的右邊的第七項是抑制生成圖像的非主成分的限制條件。
在此，As、 Am、入se、 A te、 A pc是決定限制條件的強度在時間上 和空間上的分布的系數，由限制控制部104b決定。假設，將在步驟602 中運動可靠度分布計算部103b求出的運動檢測的可靠度為 Conf(x,y,t)(X))，若值大，則運動檢測的可靠度也高。
對于入s、入m、 Ase、 Ate、入pc的決定方法的例子，以a為預定的 常數，在滿足Conf(x，y，t)> a的情況下，如A m(x，y，t)=1.0那樣使運動限制 為有效，將其它限制條件設定為在坐標(x，y,t)預先設定的小的值e (<1.0)， 在Conf(x,y，t)^ a的情況下，入m(x,y，t)=0.0，其他的入為1.0。艮卩，在運 動檢測部103中，在以將構成運動圖像的各個圖像分割的塊為單位檢測運 動時，計算將塊之間的像素值的差的平方和從所述平方和的取值的值的最 大值中減去的值，以作為運動檢測的可靠度Conf(x，y，t)，并且，在圖像合 并部104中，將其差比預定的值a大的塊作為可靠度高的圖像區域，將其 差為預定的值a以下的塊作為可靠度低的圖像區域，對于可靠度高的圖像 區域利用運動檢測的結果生成新的圖像，對于可靠度低的圖像區域利用外 部模型限制條件生成新的圖像。
對于A的其他的決定方法，可以利用某種單調增加函數連續定義，以 成為入m(x，y,t^g(Conf(x，y，t》，其他的入的(x，y,t)中的值為g(Conf—max) 一g(Conf(x，y，t))。在此，Conf—max是可靠度的取值的最大值。如此，在運 動檢測的可靠度高時注重運動限制，在可靠度低時使外部模式限制的比率 增加，從而在不能進行準確的運動檢測的位置，也可以抑制圖像的劣化、 提高時間和空間分辨率。并且，在所述說明中，作為外部模式限制同時利 用多個限制，但是，還增加并利用其它的限制，或只利用一部分的限制， 也可以獲得同樣的本發明的效果。其次，在步驟605，合并處理部104a求出使限制條件J為最小的高速 高分辨率運動圖像。對于使限制條件J為最小的高速高分辨率運動圖像的 求出方法，例如，可以解開公式15的方程式來求出，或可以進行利用最速 下降法等的迭代法來求出，在所述公式15中以高速高分辨率運動圖像的各 個像素值來微分限制條件J的算式為0。最后，在步驟606，合并處理部 104a輸出生成的高速高分辨率圖像。
(公式15)
禾U用圖11到圖15進一步說明輸入圖像的組和輸出圖像的具體例子。 在此，為了易于說明，利用六個像素x六個像素x四個幀的運動圖像進行
說明。可以設想該運動圖像是大的圖像或幀數大的運動圖像的一部分。
在此，圖ll(a) (d)示出，在假設以高速高分辨率來能夠將拍攝對象拍 攝時的圖像。圖11(a) (d)的影像本來不能通過拍攝而獲得，是為了說明示 出的。在圖11(a) (d)中，按時間順序排列四個幀，存在靜止狀態的被攝物 體1401和移動狀態的被攝物體1402。
針對這些被攝物體，獲得高速低分辨率運動圖像和低速高分辨率運動 圖像(步驟601)。在圖12(a) (d)中舉例示出這些被攝物體的高速低分辨率 運動圖像(縱橫的各個像素數為三分之一的情況)。圖12(a) (d)是與圖 11(a) (d)的拍攝時間相對應的幀。在此，以向左斜線來示出黑像素和白像 素中間的像素值的像素。幀數與圖ll(a) (d)相同，但是，空間分辨率比圖 11(a) (d)低。
同樣，在圖13中舉例示出這些被攝物體的低速高分辨率運動圖像(幀 數為1的情況)。空間分辨率與圖11(a) (d)相同，但是，由于在圖ll(a) (d)的幀間曝光，因此被攝物體1402被拍攝為移動軌跡。
其次，運動檢測部103依據高速低分辨率運動圖像來求出圖像中的被 攝物體的運動和運動的可靠度(步驟602)。由于圖11(a) (d)的圖像示出更 大的圖像的一部分，因此可以獲得對大的圖像整體進行的結果中的、與圖 11(a) (d)的圖像區域有關的結果，以作為運動檢測本身。
圖14(a) (d)中舉例在示出可靠度的分布。圖14(a) (d)與圖ll(a) (d)的拍攝時間相對應。在圖14(b)以及(d)中，向右斜線部分示出運動檢測 的可靠度低的部分，其它的區域(白以及黑像素)示出運動檢測的可靠度高的 部分。在此，白和黑的像素表示與被攝物體之間的關系，并沒有依據可靠 度的區別。并且，對靜止狀態的被攝物體或背景進行的運動檢測的結果是， 運動量為0。
在如圖11(a) (d)的被攝物體的情況下，在被攝物體1401與1402的 二個被攝物體相接近的部分難以進行準確的運動檢測。限制控制部104b， 依據利用運動檢測結果的限制的設定(步驟603)和對運動的可靠度低的位 置的外部限制條件來設定綜合性的限制條件(步驟604)，合并處理部104a， 利用該限制條件生成并輸出高速高分辨率運動圖像(步驟605， 606)。
圖15示出生成的圖像的例子。
圖15(a) (d)與圖11(a) (d)的拍攝時間相對應。雖然在二個被攝物體 相接近的幀圖15(b)、 (c)中像素值為中間值，但是可以獲得接近圖11的影 像的影像，該圖11的影像本來不能通過拍攝而獲得。
為了進行對比，在圖16中舉例示出在只利用運動檢測的結果、而不利 用運動的可靠度或外部限制條件的情況下的生成圖像。在圖16(b)、 (c)的幀 的圖像的右上方，由于不能進行準確的運動檢測，因此不能生成正確的圖 像。
與圖16(b)、 (c)的結果不同，在圖15的結果中，由于在圖14(b)、 (c) 的右上方的區域不能進行準確的運動檢測，因此，合并處理部104a，依據 外部限制條件，并利用與圖像的其它的位置、其他的幀之間的像素值的連 續性(公式4，公式5等)、邊緣的連續性(公式6，公式7等)或運動圖像的主成 分的傾向(公式9等)，從而可以生成高速高分辨率運動圖像，以作為理想的 圖像。
其次，對于使低速高分辨率運動圖像的曝光時間比高速低分辨率運動 圖像的幀間隔長來拍攝時的效果，利用圖17 圖24的圖像進行說明。
圖17(a) (e)示出，在假設以高速高分辨率能夠將拍攝對象拍攝時的圖 像。圖17(a) (e)的影像本來不能通過拍攝而獲得，是為了說明示出的。圖 17(a) (e)中在時間上連續的五個幀按時間順序排列，并存在移動狀態的被 攝物體A1。針對這些被攝物體，圖18(a) (e)示出拍攝的高速低分辨率運動圖像， 圖19(a)以及(b)、和圖20(a)以及(b)示出低速高分辨率運動圖像。圖18(a) (e)分別示出與圖17(a) (e)的時間相對應的幀圖像。
在圖18(a) (e)中，由于以與高分辨率圖像相同的大小來示出低分辨率 圖像，因此分辨率低的圖像顯得像素粗糙。在此，低速高分辨率圖像的幀 率為高速低分辨率圖像的四分之一，圖19(a)和圖20(a)與在圖17(a)的時間 開始曝光的幀圖像相對應，圖19(b)和圖20(b)與在圖17(e)的時間開始曝光 的幀圖像相對應，
圖19(a)以及(b)示出如以往的例子那樣使低速高分辨率圖像的曝光時 間短的情況下的幀圖像。圖20(a)以及(b)示出如本發明那樣使低速高分辨率 圖像的曝光時間比高速低分辨率圖像的幀率長來拍攝的幀圖像。
在圖21 圖24中舉例示出，利用如此拍攝的圖像、并以所述的過程 來生成的圖像。在此，圖21 圖24的(a) (e)分別示出與圖17(a) (e)的 時間相對應的幀圖像。并且，在圖22 圖24的(a) (e)中斜線部分表示被 攝物體A1的亮度和背景的亮度之間的中間亮度的區域。
圖21(a) (e)和圖22(a) (e)是利用圖18(a) (e)和圖19(a)、 (b)的輸 入圖像而生成的圖像的例子，圖23(a) (e)和圖24(a) (e)是利用圖18(a) (e)和圖20(a)、 (b)的輸入圖像而生成的圖像的例子。在圖21(a) (e)中舉例 示出不利用運動信息而生成的圖像，在圖22(a) (e)中舉例示出利用運動信 息而生成的圖像。
圖21(a)和(e)、圖22(a)和(e)是與圖19的輸入圖像相同時刻的圖像， 因此可以獲得清晰圖像。另一方面，圖21(b) (d)，由于不利用運動信息， 因此成為與圖18(b) (d)相同的低分辨率圖像。
并且，在圖21(b) (d)中，越遠離拍攝低速高分辨率圖像的幀，圖像的 模糊度就越增加，而在達到下一個低速高分辨率圖像的拍攝幀時再次返回 到清晰狀態。
這是因為雖然需要利用依據低分辨率高速圖像獲得的運動信息來提 高圖22(b) (d)的生成圖像的空間分辨率，但是，由于依據低分辨率圖像來 進行運動檢測，而運動檢測的精確度變低以及在運動檢測中產生不可避免 的檢測誤差。由于按每個幀蓄積這些運動檢測誤差，因此清晰度逐漸降低。如上所述，在利用圖19(a)以及(b)的輸入的情況下，若不能獲得運動檢 測的信息、或不能獲得準確的信息，則在圖22(b) (d)中生成圖像的清晰度 逐漸降低的同時，生成圖像的清晰度產生周期性(所述例子中為四個幀周期) 的很大變動，從而成為看不清楚的圖像。低速高分辨率圖像的幀間隔越長， 此傾向就越明顯。
若能夠以高分辨率圖像的分辨率來準確地獲得運動檢測的精確度，則 不產生所述的問題，但是，因圖像中的被攝物體的形狀的復雜變化、遮蔽 或照明變化等，而實際上依據低分辨率圖像的高精度的運動檢測是困難的。
在圖23(a) (e)中舉例示出不利用運動信息而生成的圖像，在圖 24(a) (e)中舉例示出利用運動信息而生成的圖像。在圖23(a) (e)中，與 圖17(a) (e)或圖19(a)、 (b)的圖像相比清晰度稍微降低，但是不會產生如 圖22(d)那樣的清晰度的很大降低。并且，時間上的清晰度的變化被抑制， 因此可以減輕因隨時間變化的清晰度而引起的模糊度。進一步，在圖 24(a) (e)中，由于利用運動的信息，因此，與圖23(a) (e)相比清晰度更 會提高。
如上所述，在以往的圖像生成方法中，對于高速低分辨率圖像和低速 高分辨率圖像，都使曝光時間變短、且抑制運動模糊，從而清晰地拍攝各 個圖像，但是，若使生成的圖像的畫質穩定、且使圖像的突發性變化適當 地反映到生成圖像，則并不一定是理想的方法。
與如上所述的以往的方法不同，本發明的圖像生成方法的特點是，為 了提高所生成的高速低分辨率圖像的清晰度、且抑制幀之間的清晰度的變 化，利用依據會產生運動模糊的長時間拍攝而獲得的低速高分辨率圖像來 生成圖像。
據此，在不能進行運動檢測的情況下，在抑制每個幀的畫質的變動的 同時考慮圖像的運動信息，從而也可以使圖像的清晰度提高。
進一步，通過只利用以運動檢測的可靠度來表示的可靠度高的運動信 息，從而可以抑制因運動信息錯誤而引起的圖像的劣化。
而且，若在低速圖像的幀間開放來使曝光時間變長，則可以容易獲其 效果。實際上，依據像素值的讀取等，從曝光結束到下一個幀的曝光開始 為止會產生未曝光時間。在這些情況下，通過在盡可能的范圍內使曝光變長，從而也可以獲得本發明的效果。
而且，在圖19(a)和(b)之間產生使高分辨率圖像的突發性變化的情況 下，根據在生成圖像中是否包含其變化，來可以判斷是否利用長時間拍攝 生成圖像。
到此為止，說明了曝光控制部105進行控制，以使低速高分辨率圖像 的一個幀的曝光期間中的曝光量在時間上為一定的情況。其次，說明曝光 控制部105進行控制，以使在低速高分辨率圖像的一個幀的曝光期間中的 曝光量隨時間變化的情況。
在圖25(a)中舉例示出，低速圖像輸入部101b所獲得的低速高分辨率 運動圖像的隨時間變化的曝光量，在圖25(b)中舉例示出，高速圖像輸入部 101a所獲得的高速低分辨率運動圖像的隨時間變化的曝光量。在圖25(a) 以及(b)中示出，橫軸為時間，縱軸為拍攝時的曝光量。在圖25(a)以及(b) 中，對各個圖像表示相同期間中隨時間變化的曝光量，連接的一條粗線表 示用于獲得各個圖像的一個幀的隨時間變化的曝光量。
在圖25(a)中，以粗線21al示出，為了獲得低速高分辨率圖像的一個 幀，在一次的曝光期間中，正在曝光中的狀態和無曝光狀態反復出現四次。 在圖25(b)中示出，為了獲得高速低分辨率圖像的四個幀，在與圖25(a)中 的一次的曝光的相同期間中，進行四次的曝光(粗線21bl、 21b2、 21b3、 21b4)。
在圖8(b)的高速低分辨率圖像的劣化過程的說明中，假設幀間隔和曝 光時間相同(即，在幀之間進行開放曝光)，但是，在此，如圖25(b)所示，控 制高速低分辨率圖像的曝光時間，以使曝光時間比幀間隔短(換而言之，各 個幀的曝光期間中的一部分成為無曝光期間)。并且，與圖25(b)的高速低 分辨率圖像的四次的未曝光期間同步，而設定圖25(a)的低速高分辨率圖像 的一次的曝光中的減光期間。
其次，利用圖26說明輸入圖像的曝光時機和生成圖像中的虛擬曝光時 機之間的關系。在此，虛擬曝光時機相當于，在假設實際拍攝了相當于生 成圖像的圖像的情況下的曝光時機。
圖26(a)表示低速高分辨率圖像(虛線和虛線之間示出一個幀的曝光期 間)中的曝光時機，縱軸的上側示出正在曝光中的狀態，下側示出無曝光的狀態。在圖26(a)中，在一個幀中，曝光狀態和無曝光狀態反復出現九次。
圖26(b)示出與圖26(a)同時拍攝的高速低分辨率圖像的曝光時機(白色)和
無曝光時機(斜線)。
在高速低分辨率圖像中，按每一個幀包含一次的曝光和無曝光。
在圖26(b)中，在低速高分辨率圖像的一個幀之間包含高速低分辨率圖
像的九個幀。
圖26(c)表示生成圖像(高速低分辨率圖像)的虛擬曝光時機。 在此，圖26(a)和圖26(b)的曝光期間相一致。舉一個例子，曝光控制 部105控制撮像裝置10，在低速高分辨率圖像的一個幀的曝光期間中包含 的無曝光期間中，也降低高速低分辨率圖像的曝光量，從而可以實現所述 的關系。
并且，在進行控制高速低分辨率圖像的各個幀期間的預定的一部分成 為曝光期間、剩余部分成為無曝光期間中的情況下，曝光控制部105控制 撮像裝置10，使得在高速低分辨率圖像的曝光期間中進行低速高分辨率圖 像的一個幀的曝光，從而也可以實現所述的關系。
通過利用在滿足所述的關系的狀態下被拍攝的圖像來生成具有如圖 26(c)那樣的虛擬曝光時機的運動圖像，從而可以獲得以下的效果。
也就是，即使曝光以及無曝光的時機混在一起，也可以滿足如公式1 或公式2那樣的線型式，因此不需要使圖像的生成過程在結構上依賴于曝 光以及無曝光的時機而變得復雜。而且，在曝光以及無曝光的時機混在一 起的情況下，對于輸入圖像的時間方向的頻率特性，高頻成分的比率提高， 并且，生成圖像的時間方向的高頻成分的再現性也提高。
在步驟601以后，進行與所述的不使曝光量隨時間變化的情況相同的 處理。在此，對于與圖17(a) (e)相同的被攝物體，考慮被攝物體的運動快 的情況。
在圖27(a) (c)中舉例示出，在曝光控制部105不使低速高分辨率圖像 的曝光量隨時間變化、且高速低分辨率圖像的幀間隔和曝光時間相同的情 況下的高速低分辨率圖像。圖27(a)、 (b)、 (c)是連續的幀的圖像，在各個 幀圖像中運動模糊很明顯。這是因為，即使是高速圖像，也在幀間的被攝 物體的運動大的緣故。圖28是同時拍攝的低速高分辨率圖像的例子。圖
3028是，在圖27(a)、 (b)、 (c)的三個幀的時間內一直不使曝光量隨時間變化 而拍攝的、包含更大的運動模糊的圖像。
在圖29(a) (c)中舉例示出，對圖27(a) (c)的高速低分辨率圖像、和 圖28的低速高分辨率圖像，利用與生成圖29(a) (c)所示的運動圖像的情 況相同的處理的結果。圖29(a)、 (b)、 (c)與圖27(a)、 (b)、 (c)的各個幀的時 間相對應。
在圖29(a) (c)中，以與高速低分辨率圖像相同的幀率來獲得比圖 27(a) (c)高的分辨率的圖像。然而，在圖29(a) (c)中也包含圖27(a) (c) 中包含的運動模糊。這是因為，在拍攝時難以獲得比高速低分辨率圖像的 幀率快的運動的信息的緣故。
其次，考慮如圖25(a)以及(b)那樣使相同的被攝物體的曝光量隨時間變 化的情況。在圖30(a) (c)、圖31中舉例示出，曝光控制部105使低速高 分辨率圖像的曝光量隨時間變化而拍攝的圖像。
圖31的圖像是，如圖25(a)那樣使曝光量隨時間變化來拍攝與圖28 相同的被攝物體時的低速高分辨率圖像。在此，圖31的斜線部分表示黑色 區域和白色區域的中間的像素值(亮度值)。由于使曝光量隨時間變化，因此 被攝物體的像素值(亮度值)沿著運動方向而變化。
圖30(a) (c)是高速低分辨率圖像，如圖25(b)那樣根據低速高分辨率 圖像的曝光區間來設定曝光時間。雖然圖30(a) (c)的幀間的被攝物體的移 動量和圖27(a) (c)相同，但是，由于曝光短，因此在圖30(a) (c)中各個 幀圖像的被攝物體的運動模糊比圖27(a) (c)的情況少。
圖32(a) (c)示出利用這些輸入圖像來生成的圖像。圖32(a) (c)是比 圖29(a) (c)抑制了運動模糊的高分辨率圖像。這是因為，雖然以與圖 29(a) (c)的情況相同的幀率來拍攝相同的被攝物體，但是，通過使曝光量 隨時間變化，從而獲得時間上高頻率的信息，來將其利用于圖像的生成的 緣故。
在所述的例子中，說明了如圖25(a)以及(b)那樣使拍攝低速高分辨率圖 像時的未減光區間和高速低分辨率圖像的曝光時間相一致來進行拍攝的情 況，但是，禾擁圖33(a)以及(b)說明兩者不一致的情況的例子。
圖33(a)表示與圖25(a)相同的隨時間變化的曝光量，但是，圖33(b)的高速低分辨率圖像的幀率是圖25(b)的情況的一半，且實際上不能拍攝以 虛線22b2、 22b4所示的曝光期間中的幀。
在這些情況下，利用以粗線22bl以及22b3所示的曝光來拍攝的二個 幀圖像，從而檢測圖像間的運動矢量。并且，利用圖像間的對應點的運動， 來生成在以虛線22b2所示的曝光期間中可能獲得的圖像。同樣，還利用前 后的幀圖像來生成在以虛線22b4所示的曝光期間中的圖像。通過作為以往 的技術的時間方向的內插處理，從而可以進行這些生成。
如此，在生成以虛線22b2以及22b4所示的曝光期間中的圖像后，若 進行與在圖25(b)的情況相同的處理，則可以獲得如圖32(a) (c)那樣高速 高分辨率且抑制了運動模糊的圖像。
但是，優選的是，使低速高分辨率圖像的曝光量變化的時間、和高速 低分辨率圖像的曝光時間相一致。通過使兩者相一致，從而可以獲得以下 的效果，即，從二種圖像獲得的信息的時間方向的多或少被抑制，而因像 估計未拍攝的時間的圖像那樣的附加處理而引起的誤差的發生或運算量的 增加被抑制。
而且，通過將具有與機械型的開閉快門或液晶快門等相同的功能的裝 置設置在比攝像部接近被攝物體的一側，從而可以實現使曝光量隨時間變 化的方法。同樣，通過使照明產生變化，從而也可以使曝光量隨時間變化。
在利用照明變化的情況下，其優點是可以容易構成應該附加的裝置、 或可以容易進行高速的曝光量的變更，但是，在離被攝物體遠時，需要使 照明強度變強。另一方面，在利用快門等的情況下，其優點是與被攝物體 的距離無關而可以利用。同時利用兩者，或利用任一方，都可以獲得本發 明的效果。
如此，通過使低速高分辨率圖像的曝光量隨時間變化，從而可以獲得 與不變化的情況相比在時間上更高的頻率的信息來生成圖像。其結果是， 可以獲得抑制了各個幀圖像中的運動模糊的、提高了生成圖像的高頻成分 的再現性的圖像。
在所述例子中，圖像合并部104只輸出生成圖像，但是，也可以將圖 像生成的可靠度與生成圖像一起輸出。圖像生成的可靠度Y是預測生成的 圖像準確地被高速高分辨率化的程度的值。對于Y的決定方法，可以利用以下的公式16所示的運動的可靠度的總和、或有效的限制條件數N和應 該求出的運動圖像的總像素數M(等于幀數X—個幀圖像的像素數)之間的 比率N/M等。 (公式16)<formula>formula see original document page 33</formula>在此，成為N=Nh+Nl+NA XC， Nh是高速圖像的總像素數(幀數X 一個幀圖像的像素數)，Nl是低速圖像的總像素數，N入是使外部限制條件 為有效的時間和空間位置(x，y,t)的總數，C是外部限制的種類數。
而且，在以聯立一次方程式來解開公式15等方程式的情況下，可以利 用 Cline，A.K.， Moler，C.B.，Stewart， G.W.and Wilkinson，J.H""An Estimate for the Condition Number of a Matrix",SI扁J.Num. AnaU6(1979)，368-375.(非專利文獻5)等中記載的示出解的計算的穩定性 的條件數，以作為可靠度。
在運動的可靠度高的情況下，可以期待利用運動限制的生成圖像的可 靠度也高。并且，在針對所生成的運動圖像的總像素數而有效的限制條件 多的情況下，可以穩定地獲得作為解的生成圖像，也可以期待生成圖像的 可靠度高。同樣，在所述條件數小的情況下，由于可以期待解的誤差小， 因此可以期待生成圖像的可靠度高。
如此，通過輸出生成圖像的可靠度，在對輸出的運動圖像進行MPEG 等的壓縮編碼時，在可靠度低的情況下可以將壓縮率設定為高，反而在可 靠度高的情況下可以將壓縮率設定為低，從而可以設定適當的壓縮率。
例如，將生成圖像的可靠度y和編碼的壓縮率s之間的關系設定為如 圖34的單調增加的關系，以與生成的運動圖像的可靠度y的值相對應的壓 縮率s來進行編碼。在生成圖像的可靠度y低的情況下，由于生成圖像有 可能包含誤差，因此即使提高壓縮率也可以期待實際上很小產生信息的欠 缺，且可以高效率地減少數據量。
在此，壓縮率是指，對原來的圖像的數據量的、編碼后的數據量的比 率，而壓縮率越高(大的值)，就編碼后的數據量越小、解碼后的畫質越降低。
同樣，在MPEG等情況下，通過將所述可靠度高的幀優先地作為I幀等幀內編碼的對象、將其它的幀作為幀間編碼的對象，從而可以使運動圖 像的再生時的快進或暫停時等的畫質提高。
例如，預先按每個幀求出所述生成圖像的可靠度，并將其設定為Y(t)。 t是幀時刻。在連續的多個幀中選擇進行幀內編碼的幀時，從Y(t)比預定的 比閾值Yth大的幀中選擇，或選擇預定的連續幀區間中Y (t)最大的幀。
而且，與對輸出運動圖像進行的編碼處理的有無無關，可以獲得本發 明的效果。
并且，在所述的例子中，作為像素值只以單一亮度為前提進行了說明，
但是，通過對以RGB顏色來表示的R、 G、 B的各個成分分別進行與對亮 度的所述的處理相同的處理，來獲得高速高分辨率運動圖像，從而對于彩 色圖像也可以生成高速高分辨率運動圖像。
并且，對于更簡單地處理顏色信息的方法，將低速圖像分解為亮度和 色差，以所述的處理只將亮度圖像為高速高分辨率化，而將色差信息內插 并擴大后附加給所述高速高分辨率的亮度圖像，從而也可以獲得效果。在 此情況下，由于在亮度中包含圖像的信息的主成分，在其它的色差的信息 被內插并擴大的情況下，通過將兩者合在一起，從而可以獲得與輸入了的 圖像相比高速高分辨率化了的運動圖像，與對R、 G、 B分別進行處理的情 況相比可以減少處理量。
圖35示出對這些彩色圖像的處理的順序。在步驟2101,將高速低分辨 率運動圖像分離為亮度圖像和色差圖像，接著，在步驟2102，利用所述亮 度圖像和低速高分辨率運動圖像的亮度圖像，并根據圖5的順序，從而生 成高速高分辨率運動圖像。在步驟2103，將所述色差圖像內插并擴大為與 高分辨率圖像相同的像素數。在步驟2104，合成所述生成亮度圖像和所述 內插并擴大的色差圖像，從而生成高速高分辨率的彩色圖像。
如此，圖像合并部104，從高速低分辨率運動圖像中抽出色差信息， 依據高速低分辨率運動圖像的亮度信息和低速高分辨率運動圖像來生成中 間的新的運動圖像，向生成的中間運動圖像附加色差信息來生成最后的新 的運動圖像，從而可以以少的處理量來合并彩色運動圖像。
如上所述，根據本實施例的圖像生成系統100，按照運動檢測部103 求出了的運動的可靠度，限制控制部104b決定使外部模型限制條件和運動限制條件為有效的程度，利用所述限制條件來合并高速圖像和低速圖像， 從而在不能進行運動檢測的情況、或在運動檢測的精確度低的圖像區域， 也可以獲得高速高分辨率的運動圖像。
而且，在本實施例中，說明了總括處理運動圖像整體的例子，但是， 將運動圖像在時間上和空間上分割為多個區域，在所述各個區域進行與所 述的處理相同的處理來生成高速高分辨率的部分運動圖像后，將生成的所 述各個部分運動圖像在時間上和空間上接合，從而也可以獲得運動圖像整 體的高速高分辨率的運動圖像。如此，通過在時間上和空間上進行分割處 理，從而可以抑制對像素數多的圖像或幀數多的運動圖像進行處理時需要 的計算處理量或存儲量。特別是，通過在時間方向分割運動圖像，從而也 可以縮短因總括處理已經輸入過的多個幀而導致的圖像生成的時間延遲。
并且，在進行如上所述的分割處理時，可以設定各個區域，以使相鄰
的時間和空間區域在分割邊界附近重疊。圖36示出進行區域分割，并使區 域在空間上重疊的例子。在圖36中將圖像分割為區域701 704的四個區 域，并使其在空間上重疊。在生成相當于各個區域的運動圖像后，對重疊 部分的像素值以重疊的各個區域的像素值來進行加權加法平均，從而可以 進行平滑的接合。并且，可以進行與圖36相同的區域分割，并使其在時間 方向重疊。如此，通過使區域重疊，從而可以抑制在區域分割處理中相鄰 的區域間的處理結果的不連續性。
而且，在允許這些重疊的分割處理中，預先決定重疊區域的大小。通 過使重疊區域的大小變大，從而使在處理區域間的處理結果的不連續性降 低的效果增大。若使重疊區域的大小變小，則可以抑制因重疊而增加的計 算量。
并且，對于進行如上所述的區域分割時的時間方向的區域邊界，也可 以預先計算運動圖像的幀間的圖像的變化，而在幀間的圖像的變化比預定 的基準大的幀間設定在時間上的區域邊界。例如，定義如公式17的值 SSD(t)，以作為相鄰的幀圖像的差，在滿足SSD(t)〉th的情況下，將時刻 t的幀和時刻t+l的幀之間作為處理的邊界，來分別進行時刻t以前的序列 和時刻t+l以后的序列的處理。
(公式17)
35<formula>formula see original document page 36</formula>在此，I(x，y，t)示出在時刻t的幀圖像中的位置(x,y)的亮度，th是預定 的閾值。并且，也可以不是以閾值th為基準來決定處理的劃分，而是將在 希望設定處理的劃分的、時間區域的序列中所述SSD(t)為最大的時刻t作 為處理的劃分。據此，可以期待以下的效果在時間上相鄰的區域間的處 理結果的不連續性對幀間的圖像的變化相對變小，從而難以知覺不連續性。
以上，根據實施例說明了本發明涉及的圖像生成裝置，但是，本發明 不僅限于此實施例。對實施例進行本領域的技術人員可以想到的變形而獲 得的方式，也包含在本發明中。
在實施例中說明了，合并處理部104a，根據限制指定部104e所指定 的公式12的綜合性的限制條件J，使輸入的靜止圖像(低速高分辨率圖像的 幀之一)、和在該靜止圖像的曝光期間中的目標高速高分辨率運動圖像的多 個幀的合計之間的誤差(公式12的右邊的第二項)減少，從而生成高速高分 辨率運動圖像。
在此，也可以不利用合計，而利用平均，該平均是對合計處于常數倍 的關系的、實際上與合計等價的信息。即，使靜止圖像、和在該靜止圖像 的曝光期間中的目標高速高分辨率運動圖像的多個幀的平均之間的誤差減 少，從而生成高速高分辨率運動圖像，這些結構也包含在本發明中。
并且，可以使專用設備進行本發明的圖像生成裝置進行的圖像生成處 理的一部分或全部，也可以通過使計算機終端裝置、被配置在基地電臺等 的通信設備或在獨立的計算機內置的CPU執行圖像生成處理程序，從而進 行圖像生成處理。
并且，利用圖3所示的圖像生成系統100的結構中刪除了顯示裝置40 的結構，以作為如圖37示出的攝像機300、即作為單體的裝置，也可以實 現本發明。
再者，向圖37所示的攝像機300附加顯示裝置40，以作為具有運動 圖像錄像、播放功能的攝像機，也可以實現本發明。
并且，利用圖3所示的圖像生成系統100的結構中刪除了攝像裝置10 的結構，以作為如圖38示出的電視機等顯示設備400，也可以實現本發明。在此情況下，可以使預先已錄像的運動圖像的時間和空間分辨率提高來進 行顯示。
而且，如下示出權利要求書和實施例的構成要素的對應關系。即，權 利要求書中的"曝光控制單元"、"圖像輸入單元"、"運動檢測單元"的一
個例子分別是，實施例中的曝光控制部105、圖像輸入部101、運動檢測部 103、圖像合并部104。但是，權利要求書中的各個構成要素，不僅限于這 些實施例中的對應的構成要素，而也包含其等價的物體。
本發明，可以利用于依據多個運動圖像來生成新的運動圖像的圖像生 成裝置，尤其可以利用于依據高速低分辨率運動圖像和低速高分辨率運動 圖像來生成高速高分辨率運動圖像的圖像生成裝置、編入了這些裝置的影 像設備或系統、影像合成裝置、影像編輯裝置、圖像復原裝置、圖像復原 程序等。
權利要求
1、一種圖像生成裝置，依據由外部的攝像裝置拍攝相同事物而獲得的第一運動圖像以及第二運動圖像，來生成表示所述事物的新的運動圖像，其特征在于，所述第二運動圖像的分辨率比所述第一運動圖像的分辨率高，且所述第二運動圖像的幀的曝光時間比所述第一運動圖像的幀的曝光時間長，所述圖像生成裝置包括曝光控制單元，通過控制所述攝像裝置，從而使在所述第二運動圖像的一個幀的曝光期間中的曝光量隨時間變化；圖像輸入單元，從所述攝像裝置，獲得所述第一運動圖像、和在被所述曝光控制單元控制的狀態下拍攝的所述第二運動圖像；以及圖像合并單元，依據獲得的所述第一運動圖像和所述第二運動圖像來生成幀率在所述第一運動圖像的幀率以上、且分辨率在所述第二運動圖像的分辨率以上的新的運動圖像，該新的運動圖像是通過使所述第二運動圖像的幀和與所述第二運動圖像的幀的曝光期間相對應的所述新的運動圖像的多個幀的合計之間的誤差減少來生成的。
2、 如權利要求l所述的圖像生成裝置，其特征在于， 所述曝光控制單元，在所述第二運動圖像的一個幀的曝光期間中至少設定一次無曝光期間，在該無曝光期間中使所述曝光量減少。
3、 如權利要求2所述的圖像生成裝置，其特征在于， 所述曝光控制單元，進一步，通過控制所述攝像裝置，從而使所述第一運動圖像的曝光量在所述第二運動圖像的無曝光期間中減少。
4、 如權利要求1所述的圖像生成裝置，其特征在于， 所述曝光控制單元，使所述第二運動圖像的曝光量變化，以在所述第二運動圖像的一個幀的曝光期間中包含的所述第一運動圖像的一個以上的 幀的各個曝光期間中進行所述第二運動圖像的所述幀的曝光。
5、 如權利要求l所述的圖像生成裝置，其特征在于， 所述攝像裝置包括，減光單元，在拍攝所述第二運動圖像時，以按照來自外部控制的量來使來自被攝物體的入射光量減少，所述曝光控制單元，通過控制所述減光單元，從而使所述曝光量隨時間變化。
6、 如權利要求l所述的圖像生成裝置，其特征在于，所述攝像裝置包括，照明單元，在拍攝所述第二運動圖像時，以按照來自外部的控制的強度來對被攝物體進行照明，所述曝光控制單元，通過控制所述照明單元，從而使所述曝光量隨時間變化。
7、 一種圖像生成方法，依據由外部的攝像裝置拍攝相同事物而獲得的第一運動圖像以及第二運動圖像，來生成表示所述事物的新的運動圖像，其特征在于，所述第二運動圖像的分辨率比所述第一運動圖像的分辨率高，且所述第二運動圖像的幀的曝光時間比所述第一運動圖像的幀的曝光時間長，所述圖像生成方法包括曝光控制步驟，通過控制所述攝像裝置，從而使在所述第二運動圖像的 一個幀的曝光期間中的曝光量隨時間變化；圖像輸入步驟，從所述攝像裝置，獲得所述第一運動圖像、和在所述曝光控制步驟被控制的狀態下拍攝的所述第二運動圖像；以及圖像合并步驟，依據獲得的所述第一運動圖像和所述第二運動圖像來生成幀率在所述第一運動圖像的幀率以上、且分辨率在所述第二運動圖像的分辨率以上的新的運動圖像，該新的運動圖像是通過使所述第二運動圖像的幀和與所述第二運動圖像的幀的曝光期間相對應的所述新的運動圖像的多個幀的合計之間的誤差減少來生成的。
8、 一種程序，用于依據多個運動圖像來生成新的運動圖像，其特征在于，使計算機執行權利要求7所述的圖像生成方法中包含的步驟。
全文摘要
圖像生成裝置，對于不能準確檢測對應點或運動的圖像區域，也可以生成合并多個運動圖像的新的運動圖像，其包括曝光控制部(105)，通過控制攝像裝置(10)，從而使在一個曝光期間中的曝光量隨時間變化；圖像輸入部(101)，獲得被曝光控制部(105)控制的狀態下拍攝的第一運動圖像和第二運動圖像；圖像合并部(104)，依據第一運動圖像和第二運動圖像來生成幀率在第一運動圖像的幀率以上、且分辨率在第二運動圖像的分辨率以上的新的運動圖像，該新的運動圖像是通過使第二運動圖像的幀和與第二運動圖像的幀的曝光期間相對應的新的運動圖像的多個幀的合計之間的誤差減少來生成的；第二運動圖像的分辨率比第一運動圖像高，且第二運動圖像的幀的曝光時間比第一運動圖像長。
文檔編號H04N5/225GK101485192SQ20078002498
公開日2009年7月15日 申請日期2007年10月24日 優先權日2006年10月30日
發明者今川太郎, 吾妻健夫 申請人:松下電器產業株式會社