專利名稱：影像合成設備的制作方法
技術領域：
本發明涉及將多張影像合成為1屏畫面的影像合成設備，并特別地涉及這種方法即選擇對用戶來說重要的影像以供合成用，并在畫面內配置重要的影像以致從視覺上容易觀看。
背景技術：
由于近年來信息通信技術的發達和相關基礎設施的完備，故例如通過傳輸路徑接收由異地配置的照相機攝像的影像，從而即使從遠離該照相機的場所也有可能進行異地的監視或察看。對于多張影像，也有可能在1臺影像接收終端處進行監視或察看。
然而，為了毫無遺漏地監視全部影像，需要與照相機影像的數量相同數量的顯示畫面，使得影像接收終端不但復雜而且高價。而且，作為接收來自多部照相機的影像的影像接收終端，與其希望高價的專用終端，不如更希望廉價的僅擁有1屏顯示畫面的通用顯示終端。
當前，作為使來自多部照相機的監視影像在僅擁有1屏顯示畫面的影像接收終端處再現的常見的監視系統，它使用時間分割而順序地在1屏畫面上顯示來自多部照相機的影像。由于不同影像按一定時間間隔順序地在1屏畫面上顯示，故這種系統的問題在于所顯示的影像和給影像攝像的照相機間的對應難以把握，并且很難觀看顯示。而且，由于多部照相機的影像是在時間分割基礎上顯示的，故可能損失某些照相機的重要場景。
將來自多部照相機的影像合成為1屏畫面并同時地顯示多張影像的監視系統揭示于待審日本專利公開平4-280594號公報。
如圖1所示，這一系統具有多(這里是3)臺監視照相機1-1、1-2和1-3，連接至監視照相機1-1～1-3的A/D轉換部3-1、3-2和3-3，存儲圖像數據的存儲器5-1、5-2和5-3，處理圖像信號的信號處理電路7，控制信號處理電路7的控制部9，D/A轉換部分11，和顯示影像的監視器13。信號處理電路7含有選擇圖像信號的選擇電路15和縮小多個圖像尺寸并將它們合成為1屏畫面的畫面縮小合成電路17。
在這一系統中，來自各監視照相機1-1～1-3的影像經A/D轉換部3-1～3-3而輸出至存儲器5-1～5-3。畫面縮小合成電路17縮小全部影像并將它們合成為1張圖像，再將其輸出至選擇電路15。當信號處理電路7從控制部9接收影像選擇信號時，選擇電路15根據影像選擇信號而選擇來自多臺監視照相機的影像之一或是被縮小合成的影像，并將其輸出至D/A轉換部分11。D/A轉換部分11將影像信號輸出至監視器13。
這樣，在本系統中，多張影像可顯示在只有1屏顯示畫面的終端，用戶可使用多張影像而容易地把握全體影像。而且，由于可由用戶來切換影像，故使用戶可選擇并觀看1張影像。
然而，在上述現有的系統中，由于多張影像被單純地按相同尺寸縮小合成，故用戶想觀看的影像和用戶不想觀看的影像被按相同尺寸合成，使得難以觀看對用戶來說重要的影像。
還有問題在于當用戶切換至想觀看的影像并顯示時，用戶未選擇的影像中重要的場景無法顯示。特別地，在監視應用中，強烈要求能夠顯示異常或緊急事件等的重要場景，但在現有的系統中，重要場景被遺漏了，有必要由用戶自己來選擇并顯示異常或緊急情況時拍攝到重要場景的影像。
發明內容
本發明的目的在于提供一種影像合成設備，其將多張影像合成為1屏畫面，并可自動地顯示對用戶來說重要的影像，而且，可將該重要的影像合成為從視覺上容易觀看的畫面構成并顯示該重要的影像。
根據本發明的一方面，將多張影像合成為1屏畫面的影像合成設備具有輸入影像的影像輸入裝置；觸發器生成部分，其生成指示影像的重要性的觸發器；畫面構成計算部分，其與所生成的觸發器的重要性對應而計算畫面構成；圖像創建裝置，其基于計算的畫面構成、從輸入的影像創建欲合成的圖像；和畫面合成裝置，其將含所創建的圖像的多個圖像合成為1屏畫面。
圖1是示出現有的監視系統的一例的圖；圖2是示出根據本發明一實施例的影像合成設備的構成的框圖；
圖3是為了說明根據本實施例的影像合成設備的工作的流程圖；圖4是示出圖3中的畫面合成參數計算處理的工作例1處的內容的流程圖；圖5是示出由工作例1處的靜止圖像合成來實行的畫面合成的概覽的說明圖；圖6是示出圖3中的畫面合成參數計算處理的工作例2處的內容的流程圖；圖7是工作例2處的切出區域計算方法的說明圖；圖8是示出由工作例2處的切出合成來實行的畫面合成的概覽的說明圖；圖9是示出圖3中的畫面合成參數計算處理的工作例3處的內容的流程圖；圖10是示出圖3中的影像累積處理的工作例3處的內容的流程圖；圖11是由工作例3處的循環合成來實行的畫面合成的概覽的說明圖；圖12是示出圖3中的畫面合成參數計算處理的工作例4處的內容的流程圖；圖13是示出圖3中的畫面合成參數計算處理的工作例5處的內容的流程圖；和圖14是示出圖3中的畫面合成參數計算處理的工作例6處的內容的流程圖。
具體實施例方式
本發明的主旨在于當將多張影像合成為1屏畫面時，使用指示影像的重要性的觸發器而計算畫面構成(具體地說，是計算畫面合成參數)，并基于這一計算結果來進行畫面合成。例如，有將觸發器發生時刻的影像作為靜止圖像而進行畫面合成的情形(后面稱作“靜止圖像合成”)，放大觸發器發生位置的影像而進行畫面合成的情形(后面稱作“切出合成”)，或為了以慢動作再現觸發器發生前后的場景而進行畫面合成的情形(后面稱作“循環合成”)。
而且，此時，根據觸發器的大小來控制畫面合成參數。例如，根據觸發器的大小來控制顯示時間(“靜止圖像合成”的情形)、控制放大率(“切出合成”的情形)、或控制再現速度、循環區間長度或循環次數(“循環合成”的情形)。具體地說，觸發器越大，則顯示時間越長、放大率越大、再現速度愈慢、循環區間越長、或循環次數愈多。
而且，此時，根據觸發器的大小來控制觸發器所作用的影像的顯示尺寸。例如，觸發器越大，則影像的顯示尺寸越大。
而且，此時，使用圖像來表現畫面合成的種類。例如，由圖像的顯示區域外緣的色彩或形狀，可表現畫面合成的種類。
這里，“多張影像”一語除了基于多部照相機的輸出的情形以外，還含有從1部照相機的輸出生成多個影像數據的情形。
而且，在本說明書中，將構成輸入影像的每張圖像定義為輸入圖像，將輸入圖像中由畫面全體構成的部分定義為“主圖像”，將是由輸入圖像的一部分區域構成的圖像、并與主圖像合成的項定義為“子圖像”。
以下，參照附圖來詳細說明本發明的實施例。
圖2是示出根據本發明一實施例的影像合成設備的構成的框圖。
這一影像合成設備100具有將多張影像合成為1屏畫面的功能，并具有將構成影像的圖像逐圖地輸入的影像輸入部分102，觸發器產生部分104、其產生指示影像的重要性的觸發器，合成觸發器計算部分106、其使用來自觸發器產生部分104的觸發器而計算用于計算后述的畫面合成參數的合成觸發器，畫面構成計算部分108、其使用合成觸發器來確定畫面合成是否存在并計算畫面構成(具體地說，是畫面合成參數)，累積影像的影像累積部分110，子圖像創建部分112、其創建用于與輸入圖像(主圖像)的合成的圖像(子圖像)，將該子圖像的圖像信息添加至子圖像的圖像信息添加部分114，和將多個圖像(主圖像和子圖像)合成為1屏畫面的畫面合成部分116。產生影像信號的影像信號產生部分200和給合成后的影像(圖像)編碼的影像編碼部分300連接至影像合成設備100。
盡管未圖示，不過影像信號產生部分200可由例如照相機和A/D轉換部構成。照相機(和A/D轉換部)的數量沒有特別地限定。從影像信號產生部分200輸出的1張或以上影像被傳送給影像合成設備100內的影像輸入部分102。
影像輸入部分102對從影像信號產生部分200輸出的影像信號逐張影像地進行輸入處理。具體地說，從輸入的影像信號中檢測同步信號，并將構成影像的圖像逐畫面地輸出至畫面構成計算部分108和影像累積部分110。此時，影像輸入部分102將每張圖像固有的、其值隨時間前進而單調增加的圖像編號添加至各張圖像。
觸發器產生部分104產生指示影像的重要性的觸發器，并將該觸發器輸出至合成觸發器計算部分106。更具體地，這里，觸發器是當輸入影像合成設備100的影像內含有被確定為對用戶來說重要的圖像時發出的、并含有指示重要性的程度的值(以下稱作“觸發值”)的信號。
具體地說，例如假定在監視異常狀態是否存在的監視系統中使用此影像合成設備100，則觸發器產生部分104由例如至少1個以下的傳感器構成(1)運動檢測傳感器(2)運動識別傳感器(3)圖像識別傳感器運動檢測傳感器當檢測到在被攝像影像內發生例如侵入者的出現等突然運動的區域時輸出觸發器。在此情形中，運動越大則觸發值越大，而重要性的程度也越大。這一運動檢測傳感器可由例如紅外線傳感器等構成。從而，在此情形中，觸發器可以是例如警報信息，其經由外接至監視照相機的傳感器或設置在監視照相機附近的傳感器來指示異常狀態等預先設定的特定狀態的存在。
運動識別傳感器當在輸入影像內存在這樣的物體(包含人物)其具有預先登記的正常的運動以外的運動時，輸出觸發器。在此情形中，異常的運動越大則觸發值越大，而重要性的程度也越大。這一運動識別傳感器可由例如照相機等構成。從而，在此情形中，觸發器可以是例如通過檢測影像中的物體的運動而得的、指示物體運動的大小的運動檢測信息。
圖像識別傳感器當在輸入影像內存在預先登記的物體時輸出觸發器。在此情形中，識別結果愈高則觸發值越大，而重要性的程度也越大。這一圖像識別傳感器可由例如圖像處理設備等構成。從而，在此情形中，觸發器是由影像中特定物體的圖像識別(例如由模式匹配等方法)而得的、指示特定物體存在于影像中的圖像識別結果。
當在輸入影像內給被確定為重要的場景攝像時，觸發器產生部分104不僅將觸發器輸出至合成觸發器計算部分106，還將指示影像中觸發器發生位置的觸發位置信息與觸發器共同輸出。
觸發器產生部分104不限于上述的運動檢測傳感器、運動識別傳感器和圖像識別傳感器。例如，它可以是接收來自用戶的畫面合成請求的設備。在此情形中，觸發器是來自用戶的畫面合成請求。
而且，由于在輸入影像內確定重要性的基準隨系統的用途而變，故觸發器不一定是由傳感器或用戶要求而觸發的，只要其含有影像中的觸發器發生位置(觸發位置)和指示影像的重要性的程度的值(觸發值)，則不管用什么手段來輸出都可以。
而且，觸發器產生源(上述各種傳感器或用戶要求)可單獨使用或多個一起組合使用。
合成觸發器計算部分106使用來自觸發器產生部分104的觸發器而計算合成觸發器，并將該合成觸發器輸出至畫面構成計算部分108。這里，合成觸發器是具有用來計算畫面合成參數的兩個值的信號即指示輸入影像的重要性種類的觸發類別和指示該重要性程度的觸發值這兩個值。
具體地說，合成觸發器計算部分106根據從觸發器產生部分104輸入的觸發器的種類(或系統的用途)而確定合成觸發器的觸發類別為例如下列中的任一個(1)重要抓拍(意味著在輸入影像的特定時刻包括重要的圖像)(2)重要區域(意味著在輸入影像的特定區域包括重要的區域)(3)重要場景(意味著在輸入影像的特定部分包括重要的圖像)就合成觸發器的觸發值的大小而言，由于從觸發器產生部分104輸入的觸發器的大小，即觸發值，指示重要性的程度，故原樣直接使用輸入的觸發器的大小。
例如，假定系統是監視系統，合成觸發器計算部分106如下確定合成觸發器的觸發類別1.當觸發器是由運動檢測傳感器產生時，可疑的侵入者出現時刻的圖像很重要，為了防止該圖像被漏看，而確定觸發類別為“重要抓拍”，2.當觸發器是由圖像識別傳感器產生時，預先登記的可疑物、可疑人等很重要，為了進行放大以便容易觀看，而確定觸發類別為“重要區域”，3.當觸發器是由運動識別傳感器產生時，包含存在異常運動的物體或人物的場景很重要，為此確定觸發類別為“重要場景”。
結果，在監控異常狀態是否存在的監視系統中，由各種傳感器產生的觸發器可被轉換成明確指示影像內重要性意義的觸發類別。因此，根據指示影像的重要性的觸發類別，能夠為了使重要的場景變得容易觀看而確定畫面合成參數。這一確定方法將在后面詳述。
合成觸發器計算部分106將來自觸發器產生部分104的觸發位置原樣直接輸出至畫面構成計算部分108。
畫面構成計算部分108使用來自合成觸發器計算部分106的合成觸發器(和必要時的觸發位置信息)來判定畫面合成是否存在、并計算畫面構成。即，使用合成觸發器，畫面構成計算部分108確定是否進行畫面合成，而若進行畫面合成則畫面構成計算部分108計算畫面合成參數并將它們輸出至影像累積部分110、子圖像創建部分112、圖像信息添加部分114和畫面合成部分116。來自影像輸入部分102的輸入圖像不論畫面合成是否存在的確定結果如何、都輸出至畫面合成部分116。
例如，當從影像輸入部分102輸入圖像時，畫面構成計算部分108接收來自合成觸發器計算部分106的合成觸發器和觸發位置信息，并將合成觸發器的觸發類別和觸發值存儲于內部存儲器(未示出)。若從合成觸發器計算部分106未輸出合成觸發器，則將合成觸發器的觸發值作為零(0)而存儲于內部存儲器。
這里由畫面構成計算部分108計算的畫面合成參數之一是合成類別。合成類別是表示畫面的合成方法的參數，并可表示下列之一(1)不合成(將輸入圖像原樣直接輸出)(2)靜止圖像合成(在輸入圖像的一部分區域合成靜止圖像子圖像)(3)切出合成(在輸入圖像的一部分區域合成切出子圖像)(4)循環合成(在輸入圖像的一部分區域合成特定場景作為子圖像)例如，當合成觸發器的觸發值非零，即當輸入了合成觸發器時，如下確定合成類別1.當合成觸發器的觸發類別為“重要抓拍”時，由于在輸入影像內觸發器輸出的時刻包括重要的圖像，故確定合成類別為“靜止圖像合成”，2.當合成觸發器的觸發類別為“重要區域”時，由于在輸入影像內觸發器輸出的區域包括重要的物體等，故確定合成類別為“切出合成”，3.當合成觸發器的觸發類別為“重要場景”時，由于在輸入影像內觸發器輸出的時刻前后包括重要的場景等，故確定合成類別為“循環合成”。
通過像這樣由合成觸發器的觸發類別來確定合成類別，有可能在監視系統中容易看見地合成對用戶來說重要的影像。
其余的畫面合成參數隨每一合成類別而異。
例如，當合成類別為靜止圖像合成時，由畫面構成計算部分108計算的畫面合成參數除了合成類別之外還可以是例如，目標子圖像(參數，其指示用于子圖像創建的圖像的圖像編號)和子圖像顯示時間(參數，其指示合成子圖像時連續顯示子圖像的時間)(合計3個參數)。
當合成類別為切出合成時，由畫面構成計算部分108計算的畫面合成參數除了合成類別之外還可以是例如，切出中心坐標(參數，其指示作為子圖像而切出的圖像的輸入圖像處的中心坐標)和切出尺寸(參數，其指示作為子圖像的切出的圖像的尺寸)(合計3個參數)。
當合成類別為循環合成時，由畫面構成計算部分108計算的畫面合成參數除了合成類別之外，例如，在第1模式(以下稱作“模式1”)中還可以是合成場景中心時刻(參數，其指示位于欲合成的場景的中心時刻處的圖像的圖像編號)和再現速度(參數，其指示作為子圖像而反復再現的場景的再現速度)(合計3個參數)；在第2模式(以下稱作“模式2”)中還可以是合成場景中心時刻和循環區間長度(參數，其指示構成作為子圖像而反復再現的場景的圖像張數)(合計3個參數)；在第3模式(以下稱作“模式3”)中還可以是合成場景中心時刻、循環次數(參數，其指示作為子圖像而反復再現的場景的反復次數)和幀計數器(參數，其指示要合成為子圖像的剩余的圖像數量)(合計4個參數)。
而且，當根據觸發值而變更子圖像的尺寸時，在各合成類別中添加子圖像尺寸(表示子圖像的合成尺寸的參數)作為畫面合成參數。
對于畫面合成參數的實際的計算方法，將在后面逐個合成類別地詳細地說明。
影像累積部分110將從影像輸入部分102輸出的圖像存儲于內部存儲器。當存儲影像時，影像累積部分110基于從畫面構成計算部分108輸出的畫面合成參數而確定是否要重寫內部存儲器。
例如，當畫面合成參數的“合成類別”為“不合成”時，使用輸入圖像來進行內部存儲器的重寫。
當合成類別為“靜止圖像合成”時，若畫面合成參數的“目標子圖像”的編號與輸入圖像的圖像編號不同則不進行內部存儲器的重寫。反之，當合成類別為“靜止圖像合成”時，若畫面合成參數的“目標子圖像”的編號與輸入圖像的圖像編號相同則使用輸入圖像來進行內部存儲器的重寫。
當合成類別為“不合成”以外的類別，即“靜止圖像合成”、“切出合成”或“循環合成”時，影像累積部分110將存儲于內部存儲器的圖像輸出至子圖像創建部分112。
當“循環合成”可被當作合成類別處理時，特別地，影像累積部分110具有可存儲多個圖像的內部存儲器，并可將從影像輸入部分102輸出的多個圖像存儲于內部存儲器。在此情形中，內部存儲器除了具有多個影像存儲所用的存儲器區域以外，還具有指示圖像的存儲位置的存儲計數器和指示圖像的讀出位置的讀出計數器。各計數器能保留的最大值是可存儲于內部存儲器的圖像數量，并當更新后計數器的值超過最大值時，計數器的值回到1。即，內部存儲器具有這樣的構造其每當進行圖像的存儲和讀出時即更新計數器，從而可存儲并讀出周期性的圖像數據。
子圖像創建部分112基于從畫面構成計算部分108輸出的畫面合成參數、使用從影像累積部分110輸出的圖像而創建子圖像。
具體地說，例如，當畫面合成參數的“合成類別”為“靜止圖像合成”時，從影像累積部分110輸出的、成為子圖像的目標的圖像被縮小至子圖像的尺寸并輸出至圖像信息添加部分114。這里，假定子圖像的尺寸是預先確定的、且不超過輸入圖像的尺寸。但是子圖像的尺寸可根據影像的內容而變更。
當合成類別為“切出合成”時，使用從影像累積部分110輸出的子圖像目標的圖像來進行子圖像的切出和尺寸的縮小，并將結果圖像輸出至圖像信息添加部分114。子圖像的切出是例如通過在子圖像目標的圖像中、將畫面合成參數的“切出中心坐標”作為中心并切出由水平和垂直方向的切出尺寸定義的切出區域(參照后述的圖7)而進行的。這里，子圖像的尺寸也是預先確定的、且不超過輸入圖像的尺寸。但是，子圖像的尺寸可根據影像的內容而變更。
對于子圖像創建處理的具體內容，將在后面逐個合成類別地詳細地說明。
圖像信息添加部分114根據從畫面構成計算部分108輸出的畫面合成參數的“合成類別”而變更從子圖像創建部分112輸出的子圖像的外緣的色彩。具體地說，例如，當“合成類別”為“靜止圖像合成”時，子圖像的外緣的色彩可變更為紅色，當“切出合成”時可變更為藍色，當“循環合成”時可變更為黃色。但是，對應于合成類別的外緣的色彩不局限于上述的例子，只要能使子圖像標識為靜止圖像、切出圖像或循環再現圖像，則不管用什么色彩都可以。外緣被著色以指示合成類別的子圖像被輸出至畫面合成部分116。
作為表現子圖像的合成類別的另一方法、除了變更子圖像的外緣以外,還有可能例如變更子圖像的形狀。這一方法將在后面詳述。
畫面合成部分116將從畫面構成計算部分108輸出的圖像(主圖像)和從圖像信息添加部分114輸出的子圖像合成為1屏畫面，并將合成后的圖像(合成圖像)輸出至影像編碼部分300。這里假定當進行畫面合成時，將子圖像與主圖像合成的位置是預先確定的，并通過將子圖像重疊于在主圖像中合成子圖像的位置處而創建合成圖像。假定子圖像的合成位置可根據輸入影像的特性而變更，不管什么位置都可以。
下面說明具有上述構成的影像合成設備100的工作的多個實際例子。以下為了說明簡單起見，假定影像信號產生部分200由1部照相機和A/D轉換部構成，并僅有1個影像輸入影像合成設備100。必要時，本說明書假定將本影像合成設備100用于例如監控異常狀態是否存在的監視系統。
(工作例1)在工作例1中，說明了這種情形即當進行畫面合成作為使用合成觸發器的畫面合成的確定結果時，將觸發器發生時刻的圖像作為靜止圖像，在輸入圖像的一部分區域將該靜止圖像合成為子圖像，就是說，進行“靜止圖像合成”的情形。這里假定觸發器的大小越大則顯示時間設定越長。
圖3是為了說明根據本實施例的影像合成設備100的工作的流程圖。
首先，在步驟S1000處，影像輸入部分102進行輸入影像信號的影像輸入處理。具體地說，在從影像信號產生部分200輸入的影像信號中檢測同步信號，并將構成影像的圖像逐畫面地輸出至畫面構成計算部分108和影像累積部分11O。此時，將每張圖像固有的、其值隨時間前進而單調增加的圖像編號添加至從影像輸入部分102輸出的各張圖像。
接著，在步驟S2000處，確定是否由觸發器產生部分104產生了觸發器(含指示重要程度的觸發值)。這一確定是根據例如，來自觸發器產生部分104(觸發器)的信號是否輸入合成觸發器計算部分106而做出的。例如在監視系統的情形中，如上述，由運動檢測傳感器、運動識別傳感器和圖像識別傳感器等的傳感器而輸出觸發器。若這一確定的結果是已產生了觸發器(S2000YES)，則處理流程前進至步驟S3000，而若確定未發生觸發器(S2000NO)，則處理流程前進至步驟S4000。
在步驟S3000，合成觸發器計算部分106進行輸入觸發器并計算合成觸發器的合成觸發器計算處理。具體地說，合成觸發器計算部分106使用來自觸發器產生部分104的觸發器而計算合成觸發器(含觸發類別和觸發值)，并將該合成觸發器輸出至畫面構成計算部分108。如上述，合成觸發器計算部分106根據輸入的觸發器的種類(或系統的用途)而確定合成觸發器的觸發類別為例如下列任何之一(1)重要抓拍、(2)重要區域和(3)重要場景。原樣直接使用輸入的觸發器的大小作為合成觸發器的觸發值的大小。
例如，在監視系統的情形中，如上述，如下確定合成觸發器的觸發類別1.當觸發器是由運動檢測傳感器產生時，可疑的侵入者出現時刻的圖像很重要，為了防止該圖像被漏看，而確定觸發類別為“重要抓拍”，2.當觸發器是由圖像識別傳感器產生時，預先登記的可疑物、可疑人等很重要，為了進行放大以便看得更清楚，而確定觸發類別為“重要區域”，3.當觸發器是由運動識別傳感器產生時，含存在異常運動的物體、人物的場景很重要，為此確定觸發類別為“重要場景”。
在本工作例中，由于進行了“靜止圖像合成”，故確定觸發類別為“重要抓拍”。
接著，在步驟S4000處，畫面構成計算部分108進行計算畫面合成的參數的畫面合成參數計算處理。具體地說，使用來自合成觸發器計算部分106的合成觸發器，首先確定是否進行畫面合成，若這一確定結果是進行畫面合成，則畫面構成計算部分108計算畫面合成參數并將它們輸出至影像累積部分110、子圖像創建部分112、圖像信息添加部分114和畫面合成部分116。另一方面，來自影像輸入部分102的輸入圖像不論畫面合成是否存在的確定結果如何、都輸出至畫面合成部分116。
例如，如上述，當從影像輸入部分102輸入圖像時，接收來自合成觸發器計算部分106的合成觸發器，并將合成觸發器的觸發類別和觸發值存儲于內部存儲器。若從合成觸發器計算部分106未輸出合成觸發器，則將合成觸發器的觸發值作為零(0)而存儲于內部存儲器。接著，畫面合成的確定是根據合成觸發器的觸發值是否為零，即是否有合成觸發器的輸入，而進行的。而且，基于合成觸發器的觸發類別而確定諸如合成類別等的畫面合成參數。
在本工作例中，由于進行了“靜止圖像合成”，故計算合成類別(這里是“靜止圖像合成”)、目標子圖像和子圖像顯示時間這3項作為畫面合成參數。這里，“目標子圖像”參數如上述指示用于子圖像創建的圖像的圖像編號，而“子圖像顯示時間”參數如上述指示合成子圖像時連續顯示子圖像的時間。
圖4是示出圖3中的畫面合成參數計算處理的工作例1處的內容的流程圖。
首先，在步驟S4100處，確定合成觸發器的觸發值是否為零，即合成觸發器的輸入是否存在。若這一確定的結果是合成觸發器的觸發值非零，即有合成觸發器的輸入(S4100NO)，則處理流程前進至步驟S4110，而若確定合成觸發器的觸發值為零，即沒有合成觸發器的輸入(S4100YES)，則處理流程前進至步驟S4140。
在步驟S4110處，由于合成觸發器的觸發值非零，即有合成觸發器的輸入，故根據預定的基準來確定合成類別。例如，如上述1.當合成觸發器的觸發類別為“重要抓拍”時，由于在輸入影像內觸發器輸出的時刻包括重要的圖像，故確定合成類別為“靜止圖像合成”，2.當合成觸發器的觸發類別為“重要區域”時，由于在輸入影像內觸發器輸出的區域包括重要的物體等，故確定合成類別為“切出合成”，3.當合成觸發器的觸發類別為“重要場景”時，由于在輸入影像內觸發器輸出的時刻前后包括重要的場景，故確定合成類別為“循環合成”。
在本工作例中，由于觸發類別為“重要抓拍”，故確定合成類別為“靜止圖像合成”。
接著，在步驟S4120處，確定目標子圖像。這里，將目標子圖像確定為現在的輸入圖像。
接著，在步驟S4130處，確定子圖像顯示時間。具體地說，基于觸發值的大小而計算子圖像的連續顯示時間。例如，子圖像顯示時間time_disp(t)使用以下(式1)來計算。
time_disp(t)=Trigger(t)MAX_Trigger*MAX_time]]>…(式1)time_disp(t)時刻t處的子圖像的顯示時間Trigger(t)時刻t處的觸發值
MAX_Trigger作為觸發值的最大可能值MAX_time子圖像顯示時間的最大設定值如(式1)所示，子圖像的連續顯示時間隨觸發值的大小增大而增大。
(式1)僅是計算方法的一例，而計算不限定于這一方法。只要顯示時間隨觸發值的大小增大而增大，則不管什么子圖像顯示時間的計算方法都可以。
另一方面，在步驟S4140處，由于合成觸發器的觸發值為零，即沒有合成觸發器的輸入，故將畫面合成參數設定為上次計算時使用的參數。
接著，在步驟S4150處，更新子圖像的連續顯示時間。例如，子圖像顯示時間time_disp(t)使用以下(式2)來更新。
time_disp(T)＝time_dusp(t)-(T-t)…(式2)T現在的時刻t計算上次畫面合成參數的時刻即，如(式2)所示，子圖像顯示時間是通過從上次計算時的子圖像顯示時間中減去從計算上次畫面合成參數的時刻到現在的經過時間而更新的。
接著，在步驟S4160處，進行合成類別的更新。具體地說，作為在步驟S4150處的子圖像顯示時間更新處理的結果、若子圖像顯示時間成為零或以下，則將合成類別變更為“不合成”。
在步驟S4170處，由步驟S4100～步驟S4160計算的3個畫面合成參數(合成類別、目標子圖像和子圖像顯示時間)被輸出至影像累積部分110、子圖像創建部分112、圖像信息添加部分114和畫面合成部分116，輸入圖像(來自影像輸入部分102的輸入圖像)被輸出至畫面合成部分116，然后處理返回圖3的主流程。
接著，在步驟S5000處，影像累積部分110進行累積影像的影像累積處理。具體地說，將從影像輸入部分102輸出的圖像存儲于內部存儲器。此時，基于從畫面構成計算部分108輸出的畫面合成參數而確定是否要重寫內部存儲器。例如，當畫面合成參數的“合成類別”為“不合成”時，使用輸入圖像來進行內部存儲器的重寫。當合成類別為“靜止圖像合成”時，若畫面合成參數的“目標子圖像”的編號與輸入圖像的圖像編號不同則不進行內部存儲器的重寫。然而當合成類別為“靜止圖像合成”時，若畫面合成參數的“目標子圖像”的編號與輸入圖像的圖像編號相同則使用輸入圖像來進行內部存儲器的重寫。
在本工作例中，由于進行了“靜止圖像合成”，故將存儲于內部存儲器的圖像輸出至子圖像創建部分112。
接著，在步驟S6000處，子圖像創建部分112進行創建用于畫面合成的圖像的圖像創建處理。具體地說，基于從畫面構成計算部分108輸出的畫面合成參數、使用從影像累積部分110輸出的圖像而創建子圖像，并將創建的子圖像輸出至圖像信息添加部分114。
例如，當像本工作例那樣進行“靜止圖像合成”時，從影像累積部分110輸出的、成為子圖像的目標的圖像被縮小至子圖像的尺寸并輸出至圖像信息添加部分114。這里，如上述，假定子圖像的尺寸是預先確定的、且不超過輸入圖像的尺寸。但是，子圖像的尺寸可根據影像的內容而變更。
接著，在步驟S7000處，圖像信息添加部分114進行附加子圖像的影像信息的圖像信息附加處理。具體地說，例如，根據從畫面構成計算部分108輸出的畫面合成參數的“合成類別”而變更從子圖像創建部分112輸出的子圖像的外緣的色彩，而外緣的色彩被變更的子圖像被輸出至畫面合成部分116。
例如，當像本工作例那樣“合成類別”為“靜止圖像合成”時，子圖像的外緣的色彩變更為紅色。但是，外緣的色彩不限定于紅色，只要能使子圖像標識為靜止圖像，則不管用什么色彩都可以。
接著，在步驟S8000處，畫面合成部分116進行將圖像合成為1屏畫面的畫面合成處理。具體地說，畫面合成部分116將從畫面構成計算部分108輸出的圖像(主圖像)和從圖像信息添加部分114輸出的子圖像合成為1屏畫面，并將合成后的圖像(合成圖像)輸出至影像編碼部分300。如上述，當進行畫面合成時，將子圖像與主圖像合成的位置是預先確定的，并通過將子圖像重疊于在主圖像中合成子圖像的位置處而創建合成圖像。子圖像的合成位置可根據輸入影像的特性而變更。
接著，在步驟S9000處，確定步驟S1000～步驟S8000的一系列的影像合成處理是否終止。這一確定是根據例如，是否超過了預先設定的時間或幀數、或是否由用戶做出了終止請求而進行的。若確定超過了預先設定的時間或幀數、或由用戶做出了終止請求(S9000YES)，則上述一系列的影像合成處理終止，而若確定不是(S9000NO)，則處理流程返回步驟S1000。
圖5是示出由上述“靜止圖像合成”來實行的畫面合成的概覽的說明圖。
在圖5中，附圖標記401表示現在的輸入圖像，403表示欲縮小的目標子圖像，405表示通過縮小目標子圖像403而創建的子圖像，407表示以外緣的色彩來表現子圖像405的圖像信息(合成類別)的子圖像，而409表示這樣的合成圖像其中輸入圖像401和外緣變更后的子圖像407是通過重疊而合成的。
通過這種方式，當進行“靜止圖像合成”時，如圖5所示，在合成圖像409內可同時顯示輸入圖像和觸發器發生時刻的圖像(縮小圖像)。而且，子圖像的狀態(類別這里是“靜止圖像合成”)可由該子圖像的外緣的色彩來表示。
于是，根據本工作例，指示影像的重要性的觸發值越大、則以越長的時間將觸發器發生時刻的影像作為靜止圖像而顯示，為此執行控制而進行圖像合成，因此，通過給合成后的影像編碼、經由傳輸路徑傳送并在接收終端上顯示，用戶在只有1屏畫面的接收終端上不僅可觀看現在的影像，還可將重要的時刻的影像作為靜止圖像而同時觀看，而且重要性愈高可觀看該影像越長時間。
而且，若外緣的色彩和子圖像的內容之間的對應是已知的，則用戶不發送或接收合成圖像以外的信息、也可由子圖像的外緣的色彩來確定子圖像的內容。即，在現有的系統中，由于多張影像僅被單純地縮小合成，故單純地縮小合成的影像不包括指示各影像的狀態等的附加信息，從而，為了得知各影像的附加信息，除影像以外還有必要進行附加信息的收發和顯示，使得系統復雜了；而本發明則能消除這一不利。
在本工作例中，示出了這樣一例即將輸入圖像顯示成主圖像而將靜止圖像顯示成子圖像，但并不限定于此，也有可能將靜止圖像顯示成主圖像而將輸入圖像顯示成子圖像。
而且，輸入圖像的數量不限于1張，在多張輸入圖像的情形中，靜止圖像合成也有可能。
(工作例2)在工作例2中，說明了這種情形即當進行畫面合成作為使用合成觸發器的畫面合成的確定結果時，切出這樣的區域其將圖像區域中發生觸發器的位置作為中心，并將該切出區域的圖像在輸入圖像的一部分區域合成為子圖像，就是說，進行“切出合成”的情形。這里假定觸發器的大小越大則切出尺寸設定得越小。
這里參照圖3、以與工作例1的處理不同的部分為重點來進行說明。
由于步驟S1000～S3000的處理與工作例1是同樣的，因此這里省略了其說明。但是，在工作例1中未言及的是當給輸入影像內認為重要的場景攝像時，如上述，從觸發器產生部分104與觸發器(含指示重要程度的觸發值)共同將指示畫面中的觸發器發生位置的觸發位置的信息輸出至合成觸發器計算部分106。輸入合成觸發器計算部分106的觸發位置信息與合成觸發器共同輸出至畫面構成計算部分108。
在本工作例中，由于進行了“切出合成”，故在步驟S3000的合成觸發器計算處理中確定觸發類別為“重要區域”。
接著，在步驟S4000處，與工作例1同樣，進行畫面合成參數處理。但是這里，當從影像輸入部分102輸入圖像時，接收來自合成觸發器計算部分106的合成觸發器和觸發位置信息，并將合成觸發器的觸發類別和觸發值、以及觸發器的觸發位置存儲于內部存儲器。
在本工作例中，由于進行了“切出合成”，故計算合成類別(這里是“切出合成”)、切出中心坐標和切出尺寸這3項作為畫面合成參數。這里，“切出中心坐標”參數如上述表示作為子圖像而切出的圖像的輸入圖像處的中心坐標，而“切出尺寸”參數如上述表示作為子圖像而切出的圖像的尺寸。
圖6是示出圖3中的畫面合成參數計算處理的工作例2處的內容的流程圖。將就與圖4所示的工作例共同的處理而言做簡單的說明。
首先，在步驟S4200處，與工作例1同樣(參見圖4中的步驟S4100)，確定合成觸發器的觸發值是否為零，即合成觸發器的輸入是否存在。若這一確定的結果是合成觸發器的觸發值非零，即有合成觸發器的輸入(S4200NO)，則處理流程前進至步驟S4210，而若確定合成觸發器的觸發值為零，即沒有合成觸發器的輸入(S4200YES)，則處理流程前進至步驟S4240。
在步驟S4210處，與工作例1同樣(參見圖4中的步驟S4110)，由于合成觸發器的觸發值非零，即有合成觸發器的輸入，故根據預定的基準來確定合成類別。例如，在本工作例中，由于觸發類別為“重要區域”并在輸入影像內觸發器輸出的區域包括重要的物體等，故確定合成類別為“切出合成”。
接著，在步驟S4220處，確定切出中心坐標。這里將切出中心坐標確定為觸發位置。
接著，在步驟S4230處，確定切出尺寸。具體地說，基于觸發值的大小而計算子圖像的切出尺寸。例如，子圖像的水平方向的切出尺寸cut_size_h(t)和垂直方向的切出尺寸cut_size_v(t)分別使用以下(式3)和(式4)計算。
cut_size_h(t)=MAX_TriggerTrigger(t)*MIN_size_h]]>…(式3)cut_size_v(t)=MAX_TriggerTrigger(t)*MIN_size_v]]>…(式4)cut_size_h(t)時刻t處的子圖像的水平方向的切出尺寸cut_size_v(t)時刻t處的子圖像的垂直方向的切出尺寸Trigger(t)時刻t處的觸發值MAX_Trigger作為觸發值的可能最大值MIN_size_h子圖像切出尺寸的水平方向的設定最小值MIN_size_v子圖像切出尺寸的垂直方向的設定最小值如(式3)和(式4)所示，子圖像的切出尺寸隨觸發值的大小增大而減小。假定切出尺寸不超過輸入圖像的尺寸。
圖7是這一切出區域計算方法的說明圖。在圖7中，附圖標記503表示子圖像目標的輸入圖像，505表示觸發位置(這里等于切出中心坐標)，507表示由基于觸發值而計算的切出尺寸定義的切出區域。
(式3)和(式4)僅是計算方法的一例，而不限定于這一方法。只要切出尺寸隨觸發值的大小增大而減小，則不管什么切出尺寸的計算方法都可以使用。
另一方面，在步驟S4240處，由于合成觸發器的觸發值為零，即沒有合成觸發器的輸入，故將畫面合成參數設定為上次計算時使用的參數。
在步驟S4250處，由步驟S4200～步驟S4240計算的3個畫面合成參數(合成類別、切出中心坐標和切出尺寸)被輸出至影像累積部分110、子圖像創建部分112、圖像信息添加部分114和畫面合成部分116，輸入圖像(來自影像輸入部分102的輸入圖像)被輸出至畫面合成部分116，然后處理返回圖3的主流程。
接著，在步驟S5000處，與工作例1同樣，將從影像輸入部分102輸出的圖像存儲于內部存儲器。在本工作例中，由于進行了“切出合成”，故將存儲于內部存儲器的圖像輸出至子圖像創建部分112。
接著，在步驟S6000處，與工作例1同樣，基于從畫面構成計算部分108輸出的畫面合成參數、使用從影像累積部分110輸出的圖像而創建子圖像，并將創建的子圖像輸出至圖像信息添加部分114。
當像本工作例中那樣進行“切出合成”時，使用從影像累積部分110輸出的、成為子圖像的目標的圖像進行子圖像的切出和尺寸的放大/縮小，并將結果輸出至圖像信息添加部分114。如圖7所示，子圖像的切出是通過在子圖像目標的輸入圖像503中以畫面合成參數的“切出中心坐標”G(CX，CY)(等于切出中心坐標505)為中心、切出由水平垂直方向的切出尺寸cut_size_h(t)和cut_size_v(t)定義的切出區域507而進行的。
這里，如上述，假定子圖像的尺寸是預先確定的、且不超過輸入圖像的尺寸。但是，子圖像的尺寸可根據影像的內容而變更。
接著，在步驟S7000處，與工作例1同樣，根據從畫面構成計算部分108輸出的畫面合成參數的“合成類別”而變更從子圖像創建部分112輸出的子圖像的外緣的色彩，而外緣的色彩被變更的子圖像被輸出至畫面合成部分116。
例如，當像本工作例那樣“合成類別”為“切出合成”時，子圖像的外緣的色彩變更為藍色。但是，外緣的色彩不限定于藍色，只要能使子圖像標識為切出圖像，則不管用什么色彩都可以。
由于步驟S8000和S9000的處理與工作例1是同樣的，因此這里省略了其說明。
圖8是示出由上述“切出合成”來實行的畫面合成的概覽的說明圖。
在圖8中，附圖標記501表示現在的輸入圖像，503表示欲切出的目標子圖像，505表示觸發器產生的圖像中的觸發位置，507是表示欲切出的區域的切出區域，509表示通過切出目標子圖像503并縮小其尺寸而創建的子圖像，511表示以外緣的色彩來表現子圖像509的圖像信息(合成類別)的子圖像，而513表示這樣的合成圖像其中輸入圖像501和外緣變更后的子圖像511是通過重疊而合成的。
通過這種方式，當進行“切出合成”時，如圖8所示，在合成圖像513內可同時顯示輸入圖像和以觸發器發生的位置為中心而切出的放大/縮小圖像。而且，子圖像的狀態(類別這里是“切出合成”)可由該子圖像的外緣的色彩來指示。
于是，根據本工作例，指示影像的重要性的觸發值越大、則以觸發器發生的位置為中心的區域的切出尺寸越小，為此執行控制而進行圖像合成，因此，通過給合成后的影像編碼、經傳輸路徑傳送并在接收終端上顯示，用戶在只有1屏畫面的接收終端上不僅可觀看現在的影像，還可對切出并放大/縮小重要的位置的影像同時觀看，而且影像重要性越高則可越放大地觀看重要的位置的圖像。
而且，若外緣的色彩和子圖像的內容之間的對應是已知的，則用戶不發送或接收合成圖像以外的信息、也可由子圖像的外緣的色彩來確定子圖像的內容。
在本工作例中，示出了這樣一例即將輸入圖像顯示成主圖像而將切出圖像顯示成子圖像，但并不限定于此，也有可能將切出圖像顯示成主圖像而將輸入圖像顯示成子圖像。
而且，輸入圖像的數量不限于1張，在多張輸入圖像的情形中，切出合成也有可能。
(工作例3)在工作例3中，說明了這種情形即當進行畫面合成作為使用合成觸發器的畫面合成的確定結果時，為了使由以觸發器發生的時刻為中心的前后的圖像構成的場景被反復再現、而將此場景在輸入圖像的一部分區域合成為子圖像，就是說，進行“循環合成”的情形。這里假定，在“循環合成”中，觸發器的大小越大則反復再現的場景的再現速度設定得越小(模式1)。
這里參照圖3、以與工作例1的處理不同的部分為重點來進行說明。
由于步驟S1000～S3000的處理與工作例1是同樣的，因此這里省略了其說明。但是，在本工作例中，由于進行了“循環合成”，故在步驟S3000的合成觸發器計算處理中確定觸發類別為“重要場景”。
接著，在步驟S4000處，與工作例1同樣，使用合成觸發器、進行畫面合成的確定和畫面構成的計算，并計算畫面合成參數。但是，在本工作例中，由于進行了“循環合成”，故計算合成類別(這里是“循環合成”)、合成場景中心時刻和再現速度這3項作為畫面合成參數。這里，“合成場景中心時刻”參數如上述指示位于欲合成的場景的中心時刻處的圖像的圖像編號，而“再現速度”參數如上述指示作為子圖像而反復再現的場景的再現速度。
圖9是示出圖3中的畫面合成參數計算處理的工作例3處的內容的流程圖。將就與圖4所示的工作例共同的處理而言做簡單的說明。
首先，在步驟S4300處，與工作例1同樣(參見圖4中的步驟S4100)，確定合成觸發器的觸發值是否為零，即合成觸發器的輸入是否存在。若這一確定的結果是合成觸發器的觸發值非零，即有合成觸發器的輸入(S4300NO)，則處理流程前進至步驟S4310，而若確定合成觸發器的觸發值為零，即沒有合成觸發器的輸入(S4300YES)，則處理流程前進至步驟S4340。
在步驟S4310處，與工作例1同樣(參見圖4中的步驟S4110)，由于合成觸發器的觸發值非零，即有合成觸發器的輸入，故根據預定的基準來確定合成類別。例如，在本工作例中，由于觸發類別為“重要場景”并在輸入影像內觸發器輸出的時刻前后含有重要的場景，故確定合成類別為“循環合成”。
接著，在步驟S4320處，確定合成場景中心時刻。這里將合成場景中心時刻確定為現在的輸入幀的圖像編號。
接著，在步驟S4330處，確定再現速度。具體地說，基于觸發值的大小而計算子圖像的再現速度。例如，子圖像的再現速度fps(t)使用以下(式5)而計算。
fps(t)=MAX_TriggerTrigger(t)*MIN_fps]]>…(式5)fps(t)時刻t處的子圖像的再現速度Trigger(t)時刻t處的觸發值MAX_Trigger作為觸發值的可能最大值MIN_fps子圖像的再現速度的設定最小值如(式5)所示，子圖像的再現速度隨觸發值的大小增大而減小。
(式5)僅是計算方法的一例，而不限定于這一方法。只要觸發器的大小越大而再現速度愈減小，則不管什么再現速度的計算方法都可以使用。
另一方面，在步驟S4340處，由于合成觸發器的觸發值為零，即沒有合成觸發器的輸入，故將畫面合成參數設定為上次計算時使用的參數。
在步驟S4350處，由步驟S4300～步驟S4340計算的3個畫面合成參數(合成類別、合成場景中心時刻和再現速度)被輸出至影像累積部分110、子圖像創建部分112、圖像信息添加部分114和畫面合成部分116，輸入圖像(來自影像輸入部分102的輸入圖像)被輸出至畫面合成部分116，然后處理返回圖3的主流程。
接著，在步驟S5000處，影像累積部分110進行影像累積處理。但是，在工作例1中未言及的是影像累積部分110如上述具有可存儲多個圖像的內部存儲器，并可將從影像輸入部分102輸出的多個圖像存儲于內部存儲器。這一內部存儲器除了具有多張影像存儲用的存儲器區域以外，還具有指示圖像的存儲位置的存儲計數器和指示圖像的讀出位置的讀出計數器，并具有這樣的構造其每當進行圖像的保存和讀出時即更新計數器，從而可存儲并讀出周期性的圖像數據。
圖10是示出圖3中的影像累積處理的工作例3處的內容的流程圖。
首先，在步驟S5100處進行存儲器的初始化。具體地說，將畫面合成參數的“合成場景中心時刻”和上次輸入的合成場景中心時刻做比較，若兩者不同，則進行內部存儲器內的圖像數據和各計數器的初始化。在初始化時，將內部存儲器內的圖像數據清除，將各計數器的值重置為1，并將現在的合成場景中心時刻保存于內部存儲器。
接著，在步驟S5110處，確定合成類別是“循環合成”還是“不合成”。若確定合成類別是“循環合成”，則處理流程前進至步驟S5120。若確定合成類別是“不合成”，則處理流程前進至步驟S5170。
在步驟S5120處，確定場景的存儲是否完成了。若確定場景的存儲已完成了(S5120YES)，則處理流程原樣直接前進至步驟S5150。若確定場景的存儲未完成(S5120NO)，則處理流程前進至步驟S5130。
這里，使用以下(式6)來確定場景的存儲是否完成了if(count_write(t)＞center_position+roop_mergin) …(式6)count_write(t)時刻t處的存儲計數器值center_position表示合成場景中央時刻的圖像存儲于內部存儲器的位置的計數器值roop_mergin從合成場景中央時刻到緊接著欲存儲場景后的圖像的計數器值的差具體地說，若(式6)的命題為真，則確定場景存儲已完成了。
在本工作例中，假定，作為欲存儲的場景內的圖像的構成、觸發器發生時刻的以前和以后的圖像數的比率是預先確定的。即，從合成場景中央時刻到欲存儲場景的最后的圖像數是預先確定的，并隨欲存儲場景內的圖像數而確定內部存儲器的大小。因而，內部存儲器的大小確定了欲反復再現的場景的圖像數，即，場景的區間長度。
在步驟S5130處，進行圖像的存儲。具體地說，將輸入圖像存儲于內部存儲器中的存儲計數器所示的位置。
接著，在步驟S5140處，進行存儲計數器的更新。具體地說，通過給存儲計數器的值加1來進行更新處理。若存儲計數器的值超過最大值，則計數器的值設定為1。
接著，在步驟S5150處，進行影像的讀出。具體地說，讀出內部存儲器的讀出計數器位置處的圖像，并輸出至子圖像創建部分112。
接著，在步驟S5160處，進行讀出計數器的更新。具體地說，例如使用以下(式7)或(式8)來更新讀出計數器的值。
if(fps≥fps(t))count_read(t)=count_read(t-1)+1if((tmod(fpsfps(t))=0)]]>…(式7)count_read(t)＝count_read(t-1) elseif(fps＜fps(t))count_read(t)=count_read(t-1)+(fps(t)fps)]]>…(式8)t現在的時刻count_read(t)時刻t處的讀出計數器值fps主圖像的再現速度A mod BA除以B時的余數若讀出計數器的值超過最大值，則計數器的值設定為1。
如(式7)或(式8)所示，根據子圖像的再現速度和主圖像的再現速度之間的比率而確定讀出計數器的更新方法。即，由(式7)，子圖像的再現速度越小，則增加讀出計數器的值的增加頻繁度也越小，結果再現越慢。反之，按(式8)，子圖像的再現速度越大，則讀出計數器的值的增加頻繁度越大，結果再現越高速。
于是，通過控制讀出計數器的更新方法可變更子圖像的再現速度。當此讀出計數器的更新方法結束時，返回圖3的主流程。
另一方面，在步驟S5170處，進行影像的存儲。具體地說，將輸入圖像存儲于內部存儲器中的存儲計數器所示的位置。
接著，在步驟S5180處，進行存儲計數器的更新。具體地說，通過給存儲計數器的值加1來進行更新處理。若存儲計數器的值超過最大值，則計數器的值設定為1。當此存儲計數器的更新方法結束時，返回圖3的主流程。
接著，在步驟S6000處，與工作例1同樣，基于從畫面構成計算部分108輸出的畫面合成參數、使用從影像累積部分110輸出的圖像而創建子圖像，并將創建的子圖像輸出至圖像信息添加部分114。
當像本工作例那樣進行“循環合成”的模式1時，從影像累積部分110輸出的并根據再現速度而控制的讀出計數器而取得的、成為子圖像的目標的圖像被縮小尺寸以創建子圖像。
接著，在步驟S7000處，與工作例1同樣，根據從畫面構成計算部分108輸出的畫面合成參數的“合成類別”而變更從子圖像創建部分112輸出的子圖像的外緣的色彩，而外緣的色彩被變更的子圖像被輸出至畫面合成部分116。
當像本工作例那樣“合成類別”為“循環合成”時，子圖像的外緣的色彩變更為黃色。但是，外緣的色彩不限定于黃色，只要能使子圖像標識為循環再現圖像，則不管用什么色彩都可以。
由于步驟S8000～S9000的處理與工作例1是同樣的，因此這里省略了其說明。
圖11是由上述循環合成來實行的畫面合成的概覽的說明圖。
在圖11中，附圖標記601表示圖像編號如右下的編號所示的輸入圖像，603表示存儲于內部存儲器的場景的圖像，605表示由根據再現速度來控制的讀出計數器而取得的圖像被縮小而創建的子圖像，607表示以子圖像605的外緣色彩來表現子圖像605的類別的子圖像，而609表示這樣的合成圖像其中輸入圖像601和外緣變更后的子圖像607被合成。在圖11中說明了這種情形其中子圖像的循環再現速度成為主圖像的再現速度的1/2，而合成圖像中的子圖像與主圖像相比、圖像的更新間隔更長，并緩慢地再現。
于是，根據本工作例，指示影像的重要性的觸發值越大、則當由觸發器發生時刻前后的圖像構成的場景被反復再現時的再現速度越小，為此執行控制而進行圖像合成，因此，通過給合成后的影像編碼、經傳輸路徑傳送并在接收終端上顯示，用戶在只有1屏畫面的接收終端上不僅可觀看現在的影像，還可將重要的時刻前后的場景作為合成畫面而同時觀看，而且場景重要性愈高則以越小的再現速度和以越長的時間地來觀看場景。
而且，若外緣的色彩和子圖像的內容之間的對應是已知的，則用戶不發送或接收合成圖像以外的信息、也可由子圖像的外緣的色彩來確定子圖像的內容。
在本工作例中，示出了這樣一例即將輸入圖像顯示成主圖像而將重要場景顯示成子圖像，但并不限定于此，也有可能將重要場景顯示成主圖像而將輸入圖像顯示成子圖像。
而且，輸入圖像的數量不限于1張，在多張輸入圖像的情形中，循環合成也有可能。
(工作例4)在工作例4中，說明了這種情形即當進行畫面合成作為使用合成觸發器的畫面合成的確定結果時，為了使由觸發器發生時刻前后的圖像群構成的場景被反復再現、而將此場景在輸入圖像的一部分區域合成為子圖像，就是說，進行“循環合成”的情形。這里假定，與工作例3不同，在“循環合成”中，觸發器的大小越大、則反復再現的場景內的圖像數量設定得越大(模式2)。
這里參照圖3、以與工作例1的處理不同的部分為重點來進行說明。
由于步驟S1000～S3000的處理與工作例1是同樣的，因此這里省略了其說明。但是，在本工作例中，由于進行了“循環合成”，故在步驟S3000的合成觸發器計算處理中確定觸發類別為“重要場景”。
接著，在步驟S4000處，與工作例1同樣，使用合成觸發器、進行畫面合成的確定和畫面構成的計算，并計算畫面合成參數。但是，在本工作例中，由于進行了“循環合成”的模式2，故計算合成類別(這里是“循環合成”)、合成場景中心時刻和循環區間長度這3項作為畫面合成參數。這里“合成場景中心時刻”參數如上述表示位于欲合成的場景的中心時刻處的圖像的圖像編號，而“循環區間長度”參數如上述表示構成作為子圖像而反復再現的場景的圖像張數。
圖12是示出圖3中的畫面合成參數計算處理的工作例4處的內容的流程圖。對于與圖9所示的工作例3共同的處理，這里省略了其說明。
由于步驟S4300～S4320的處理與工作例3是同樣的，因此這里省略了其說明。
接著，在步驟S4332處，確定循環區間長度。具體地說，基于觸發值的大小而計算子圖像的循環區間長度。例如，子圖像的循環區間長度frame_num.(t)使用以下(式9)而計算。
frame_num(t)=Trigger(t)MAX_Trigger*MAX_frame_num]]>…(式9)frame_num.(t)時刻t處的子圖像循環區間長度Trigger(t)時刻t處的觸發值MAX_Trigger作為觸發值的可能最大值MAX_frame_num.子圖像循環區間長度的設定最大值如(式9)所示，子圖像的循環區間長度隨觸發值的大小增大而增大。
(式9)僅是計算方法的一例，而不限定于這一方法。只要子圖像的循環區間長度隨觸發值的大小增大而增大，則不管什么循環區間長度的計算方法都可以使用。
由于步驟S4340～S4350的處理與工作例3是同樣的，因此這里省略了其說明。
接著，在步驟S5000處，影像累積部分110進行影像累積處理。如在工作例3處說明的，影像累積部分110具有可存儲多個圖像的內部存儲器，并可將從影像輸入部分102輸出的多個圖像存儲于內部存儲器。這一內部存儲器具有指示圖像的存儲位置的存儲計數器和指示圖像的讀出位置的讀出計數器。各計數器所取得的最大值是可存儲于內部存儲器的圖像數量，并當更新計數器的值而超過最大值時，計數器的值回到1。即，內部存儲器具有這樣的構造其每當進行圖像的保存和讀出時即更新計數器，從而可存儲并讀出周期性的圖像數據。在本工作例中，為了使可存儲于內部存儲器的圖像數量等于由合成參數的“循環區間長度”所示的值而進行控制。
這里參照圖10、以與工作例1的處理不同的部分為重點來進行說明。
首先，在步驟S5100處進行存儲器的初始化。具體地說，將畫面合成參數的“合成場景中心時刻”和上次輸入的合成場景中心時刻做比較，若兩者不同，則進行內部存儲器內的圖像數據和各計數器以及可存儲于內部存儲器的圖像數量的初始化。在初始化時，將內部存儲器內的圖像數據清除，將各計數器的值重置為1，并將可存儲于內部存儲器的圖像數量設定為畫面合成參數的“循環區間長度”。而且，將現在的合成場景中心時刻保存于內部存儲器。
由于步驟S5110～S5150的處理與工作例3是同樣的，因此這里省略了其說明。
接著，在步驟S5160處，進行讀出計數器的更新。具體地說，與工作例3不同，例如使用以下(式10)來更新讀出計數器的值count_read(t)＝count_read(t-1)+1…(式10)t現在的時刻count_read(t)時刻t處的讀出計數器值若讀出計數器的值超過最大值，則計數器的值設定為1。
在步驟S5100的存儲器初始化處理中，存儲于內部存儲器的圖像數量根據畫面合成參數而變更。這樣一來，有可能控制合成為子圖像的場景內的圖像數量，即場景的區間的大小。即，由于觸發值越大則循環再現的場景的區間的大小設定得越大，故能夠再現以觸發器發生時刻為中心的前后的較長區間的場景。
這樣一來，通過控制存儲于內部存儲器的圖像的最大數量，可變更合成為子圖像的場景的區間長度。
由于步驟S5170～S5180的處理與工作例3是同樣的，因此這里省略了其說明。
接著，在步驟S6000處，與工作例1同樣，基于從畫面構成計算部分108輸出的畫面合成參數、使用從影像累積部分110輸出的圖像而創建子圖像，并將創建的子圖像輸出至圖像信息添加部分114。
當像本工作例那樣進行“循環合成”的模式2時，從影像累積部分110輸出的并由讀出計數器而取得的、成為子圖像的目標的圖像被縮小尺寸以創建子圖像。
接著，在步驟S7000處，與工作例1同樣，根據從畫面構成計算部分108輸出的畫面合成參數的“合成類別”而變更從子圖像創建部分112輸出的子圖像的外緣的色彩，而外緣的色彩被變更的子圖像被輸出至畫面合成部分116。
當像本工作例那樣“合成類別”為“循環合成”時，子圖像的外緣的色彩變更為黃色。但是，外緣的色彩不限定于黃色，只要能使子圖像標識為循環再現圖像，則不管用什么色彩都可以。
由于步驟S8000～S9000的處理與工作例1是同樣的，因此這里省略了其說明。
于是，根據本工作例，指示影像的重要性的觸發值越大、則由觸發器發生時刻前后的圖像群構成的場景的區間長度越大，為此執行控制而進行圖像合成，因此，通過給合成后的影像編碼、經傳輸路徑傳送并在接收終端上顯示，用戶在只有1屏畫面的接收終端上不僅可觀看現在的影像，還可將重要的時刻前后的影像作為合成畫面而同時觀看，而且場景重要性愈高則場景的區間越長，并可觀看到愈多數量的重要時刻的前后的圖像。
而且，若外緣的色彩和子圖像的內容之間的對應是已知的，則用戶不發送或接收合成圖像以外的信息、也可由子圖像的外緣的色彩來確定子圖像的內容。
在本工作例中，示出了這樣一例即將輸入圖像顯示成主圖像而將重要場景顯示成子圖像，但并不限定于此，也有可能將重要場景顯示成主圖像而將輸入圖像顯示成子圖像。
而且，輸入圖像的數量不限于1張，在多張輸入圖像的情形中，循環合成也有可能。
(工作例5)在工作例5中，說明了這種情形即當進行畫面合成作為使用合成觸發器的畫面合成的確定結果時，為了使由觸發器發生時刻前后的圖像群構成的場景被反復再現、而將此場景在輸入圖像的一部分區域合成為子圖像，就是說，進行“循環合成”的情形。這里假定，與工作例3和工作例4不同，觸發器的大小越大、則反復再現的場景的循環再現次數設定得越大(模式3)。
這里參照圖3、以與工作例1的處理不同的部分為重點來進行說明。
由于步驟S1000～S3000的處理與工作例1是同樣的，因此這里省略了其說明。但是，在本工作例中，由于進行了“循環合成”，故在步驟S3000的合成觸發器計算處理中確定觸發類別為“重要場景”。
接著，在步驟S4000處，與工作例1同樣，使用合成觸發器、進行畫面合成的確定和畫面構成的計算，并計算畫面合成參數。但是，在本工作例中，由于進行了“循環合成”的模式3，故計算合成類別(這里是“循環合成”)、合成場景中心時刻、循環次數和幀計數器這4項作為畫面合成參數。這里，“合成場景中心時刻”參數如上述指示位于欲合成的場景的中心時刻處的圖像的圖像編號，循環次數參數如上述指示作為子圖像而反復再現的場景的反復次數，而幀計數器參數如上述指示作為子圖像而合成的其余的圖像數量。
圖13是示出圖3中的畫面合成參數計算處理的工作例5處的內容的流程圖。對于與圖9所示的工作例3共同的處理，這里省略了其說明。
由于步驟S4300～S4320的處理與工作例3是同樣的，因此這里省略了其說明。
接著，在步驟S4334處，確定循環次數。具體地說，基于觸發值的大小而計算子圖像的循環次數，并使用循環計數器來進行幀計數器的設定。
例如，子圖像的循環次數loop_num.(t)使用以下(式11)而計算。
loop_num(t)=Trigger(t)MAX_Trigger*MAX_loop_num]]>…(式11)loop_num.(t)時刻t處的子圖像的循環次數Trigger(t)時刻t處的觸發值MAX_Trigger作為觸發值的可能最大值MAX_loop_num.子圖像的循環次數的設定最大值如(式11)所示，子圖像的循環次數隨觸發值的大小增大而增大。
(式11)僅是計算方法的一例，而不限定于這一方法。只要循環次數隨觸發值的大小增大而增大，則不管什么循環次數的計算方法都可以使用。
在使用(式11)確定循環次數后，設定幀計數器。幀計數器的值frame_count(t)例如使用以下(式12)而計算。
frame_count(t)＝loop_num(t)*MAX_frame_num …(式12)frame_count(t)時刻t處的幀計數器值loop_num.(t)時刻t處的子圖像的循環次數MAX_frame_num.使用可存儲于影像累積部分110的內部存儲器的圖像數量來計算另一方面，在步驟S4345處，由于合成觸發器的觸發值為零，即沒有合成觸發器的輸入，與工作例3不同，故進行合成參數的更新。具體地說，在上次的畫面合成參數內，進行幀計數器和合成方法的更新處理。
例如，幀計數器由以下(式13)來更新
frame_count(t)＝frame_count(t-1)-1 …(式13)如(式13)所示，幀計數器是通過將該逐次減1而更新的。若當值被更新時幀計數器的值成為0或以下，則幀計數器的值設定為0。
其次，與被更新的幀計數器的值對應而進行合成類別的更新處理。合成類別的更新可根據例如以下規則來進行(1)當幀計數器的值為0時，將合成類別變更為“不合成”，(2)當幀計數器的值非0時，不變更合成類別。
通過像這樣進行畫面合成參數的更新，有可能將由幀計數器指定的幀的合成類別設定為“循環合成”。通過使影像累積部分110將圖像累積于內部存儲器、并同時地根據合成類別將循環再現用的圖像輸出至子圖像創建部分112，可控制循環再現的次數。
在步驟S4350處，由步驟S4300～步驟S4345計算的4個畫面合成參數(合成類別、合成場景中心時刻、循環次數和幀計數器)被輸出至影像累積部分110、子圖像創建部分112、圖像信息添加部分114和畫面合成部分116，輸入圖像(來自影像輸入部分102的輸入圖像)被輸出至畫面合成部分116，然后處理返回圖3的主流程。
由于步驟S5000～S9000的處理與工作例3是同樣的，因此這里省略了其說明。
于是，根據本工作例，指示影像的重要性的觸發值越大、則使由觸發器發生時刻前后的圖像群構成的場景被反復再現的循環次數越大，為此執行控制而進行圖像合成，因此，通過給合成后的影像編碼、經傳輸路徑傳送并在接收終端上顯示，用戶在只有1屏畫面的接收終端上不僅可觀看現在的影像，還可將重要的時刻前后的影像作為合成畫面而同時觀看，而且場景重要性愈高則場景的循環次數越大、重要時刻的前后的圖像的反復次數也愈多。
而且，若外緣的色彩和子圖像的內容之間的對應是已知的，則用戶不發送或接收合成圖像以外的信息、也可由子圖像的外緣的色彩來確定子圖像的內容。
在本工作例中，示出了這樣一例即將輸入圖像顯示成主圖像而將重要場景顯示成子圖像，但并不限定于此，也有可能將重要場景顯示成主圖像而將輸入圖像顯示成子圖像。
而且，輸入圖像的數量不限于1張，在多張輸入圖像的情形中，循環合成也有可能。
(工作例6)工作例6說明了這種情形即與觸發器的大小對應而變更子圖像的尺寸。這里，作為一例，當進行畫面合成作為使用合成觸發器的畫面合成的確定結果時，將觸發器發生時刻的圖像作為靜止圖像，在輸入圖像的一部分區域將該靜止圖像合成為子圖像，就是說，進行“靜止圖像合成”的情形。這里假定觸發器的大小越大則子圖像的尺寸設定得越大。
與觸發器的大小對應的子圖像尺寸的變更不僅適用于“靜止圖像合成”的情形，也適用于“切出合成”和“循環合成”等其它的合成類別。
這里參照圖3、以與工作例1的處理不同的部分為重點來進行說明。
由于步驟S1000～S3000的處理與工作例1是同樣的，因此這里省略了其說明。
接著，在步驟S4000處，與工作例1同樣，使用合成觸發器、進行畫面合成的確定和畫面構成的計算，并計算畫面合成參數。但是，在本工作例中，在計算“靜止圖像合成”的畫面合成參數以外還要計算子圖像尺寸，即，計算合成類別(這里是“靜止圖像合成”)、目標子圖像、子圖像顯示時間和子圖像尺寸這4項作為畫面合成參數。這里，“目標子圖像”參數如上達指示用于子圖像創建的圖像的圖像編號，“子圖像顯示時間”參數如上述指示合成子圖像時連續顯示子圖像的時間，而“子圖像尺寸”參數指示子圖像的合成尺寸。
圖14是示出圖3中的畫面合成參數計算處理的工作例6處的內容的流程圖。對于與圖4所示的工作例1共同的處理，這里省略了其說明。
由于步驟S4100～S4130的處理與工作例1是同樣的，因此這里省略了其說明。
接著，在步驟S4135處，確定子圖像尺寸。例如，子圖像的水平方向尺寸sub_size_h(t)和垂直方向尺寸sub_size_v(t)分別使用以下(式14)和(式15)而計算。
sub_size_h(t)=Trigger(t)MAX_Trigger*MAX_size_h]]>…(式14)sub_size_v(t)=Trigger(t)MAX_Trigger*MAX_size_v]]>…(式15)
sub_size_v(t)時刻t處的子圖像的垂直方向尺寸Trigger(t)時刻t處的觸發值MAX_Trigger作為觸發值的可能最大值MIN_size_h子圖像水平方向尺寸的設定最小值MIN_size_v子圖像垂直方向尺寸的設定最小值如(式14)和(式15)所示，子圖像的尺寸隨觸發值的大小增大而增大。
(式14)和(式15)僅是計算方法的一例，而不限定于這一方法。只要子圖像的尺寸隨觸發值的大小增大而增大，則不管什么子圖像尺寸的計算方法都可以使用。
由于步驟S4140～S4170的處理與工作例1是同樣的，因此這里省略了其說明。
而且，在圖3的主流程圖中，由于步驟S5000～S9000的處理與工作例1是同樣的，因此這里省略了其說明。但是，在步驟S6000處創建子圖像時，通過將從影像累積部分110輸出的子圖像目標影像縮小至從畫面構成計算部分108輸出的子圖像尺寸、而進行子圖像的創建。通過像這樣使用子圖像尺寸而創建子圖像，有可能根據觸發值而控制子圖像的尺寸。
于是，根據本工作例，指示影像的重要性的觸發值越大、則將觸發器發生時刻的圖像合成為靜止圖像時的子圖像尺寸越大，為此執行控制而進行圖像合成，因此，通過給合成后的影像編碼、經傳輸路徑傳送并在接收終端上顯示，用戶在只有1屏畫面的接收終端上不僅可觀看現在的影像，還可將重要的時刻的影像作為合成畫面而同時觀看，而且圖像重要性愈大則圖像的尺寸越大、在1屏畫面上愈可詳細地觀看該圖像。
而且，若外緣的色彩和子圖像的內容之間的對應是已知的，則用戶不發送或接收合成圖像以外的信息、也可由子圖像的外緣的色彩來確定子圖像的內容。
在本工作例中，示出了這樣一例即將輸入圖像顯示成主圖像而將重要的靜止圖像顯示成子圖像，但并不限定于此，也有可能將重要的靜止圖像顯示成主圖像而將輸入圖像顯示成子圖像。
而且，輸入圖像的數量不限于1張，在多張輸入圖像的情形中，靜止圖像合成也有可能。
(工作例7)
工作例7說明了這種情形使用表示影像的重要性的合成觸發器來計算畫面的構成，并由欲合成的畫面的形狀來表現合成信息。
這里，假定畫面構成計算部分108由工作例1至工作例6的任一方法計算畫面合成參數，而以下對于圖像信息添加部分114做特別的說明。
圖像信息添加部分114根據從畫面構成計算部分108輸出的畫面合成參數的“合成類別”而變更從子圖像創建部分112輸出的子圖像的形狀。例如，當合成類別為“靜止圖像合成”時，子圖像的形狀變更為圓形。但是，外緣的形狀不限定于圓形，只要能使子圖像標識為靜止圖像，則不管用什么形狀都可以。而且，有可能通過像當合成類別為“切出合成”時使用四邊形而當合成類別為“循環合成”時使用三角形那樣的子圖像的形狀來表現合成類別。圖像信息添加部分114將變更為表示合成類別的形狀的子圖像輸出至畫面合成部分116。
于是，根據本工作例，根據觸發器而進行畫面的合成，并根據子圖像的合成類別而變更子圖像的形狀，為此執行控制而進行圖像合成，因此，通過給合成后的影像編碼、經傳輸路徑傳送并在接收終端上顯示，用戶在只有1屏畫面的接收終端上不僅可觀看現在的影像，還可同時地觀看重要的位置的影像。
由于子圖像的合成類別是由子圖像的形狀來表現的，故若子圖像的形狀和子圖像的內容之間的對應是已知的，則用戶不發送或接收合成影像以外的信息、也可由子圖像的形狀來確定子圖像的合成類別。
如上所述，根據本發明，一種影像合成設備將多張影像合成為1屏畫面，并可自動地顯示對用戶來說重要的影像，而且，可將該重要的影像合成為從視覺上容易觀看的畫面構成并顯示該重要的影像。
本申請書基于2003年2月25日申請的日本專利申請2003-047354。其內容全部包含于此。
產業上的可利用性本發明具有這種效果即自動地顯示對用戶來說重要的影像、而且將該重要的影像合成為從視覺上容易觀看的畫面構成并顯示該重要的影像。并在將多張影像合成為1屏畫面的影像合成設備中很有用。
權利要求書(按照條約第19條的修改)1.一種將多張影像合成為1屏畫面的影像合成設備，所述影像合成設備包括輸入影像的影像輸入裝置；觸發器產生部分，其產生指示影像的重要性的觸發器；畫面構成計算部分，其與所產生的觸發器的重要性對應而計算畫面構成；圖像創建裝置，其基于計算的畫面構成、從輸入的影像創建欲合成的圖像；和畫面合成裝置，其將含所創建的圖像的多個圖像合成為1屏畫面。
2.根據權利要求1所述的影像合成設備，其中所述觸發器生成部分具有這樣的運動檢測傳感器其檢測影像內的運動、并根據檢測到的運動的大小輸出一個信號；而所述重要性是根據所述運動檢測傳感器輸出的信號的大小而計算的。
3.根據權利要求1所述的影像合成設備，其中所述觸發器生成部分具有這樣的運動識別傳感器其識別影像內特定的運動、并根據所識別的運動的大小輸出一個信號；而所述重要性是根據所述運動識別傳感器輸出的信號的大小而計算的。
4.根據權利要求1所述的影像合成設備，其中所述觸發器生成部分具有這樣的圖像識別傳感器其對影像內特定的物體做圖像識別、并根據該圖像識別結果的確定性輸出一個信號；而所述重要性是根據所述圖像識別傳感器輸出的圖像識別結果的確定性的高低而計算的。
5.根據權利要求1所述的影像合成設備，其中所述觸發器生成部分具有接收來自用戶的畫面合成請求的設備；而所述重要性是與所述來自用戶的畫面合成請求對應的。
6.根據權利要求1所述的影像合成設備，其中所述觸發器生成部分還輸出觸發器的生成時刻；而所述畫面構成計算部分計算這樣的畫面構成其中將所述觸發器生成時刻的影像作為靜止圖像與另一個圖像進行合成。
7.根據權利要求6所述的影像合成設備，其中所述畫面構成計算部分根據觸發器的重要性的大小而控制當將觸發器生成時刻的影像顯示成靜止圖像時的顯示時間。
8.根據權利要求7所述的影像合成設備，其中所述畫面構成計算部分為較大的觸發器的重要性設置較長的顯示時間。
9.根據權利要求1所述的影像合成設備，其中所述觸發器生成部分還輸出所述觸發器生成的位置；而所述畫面構成計算部分計算這樣的畫面構成其中切出了以所述觸發器生成位置為中心的區域的圖像、并將該圖像與另一個圖像合成。
10.根據權利要求9所述的影像合成設備，其中所述畫面構成計算部分根據觸發器的重要性的大小而控制當在影像內切出了以所述觸發器生成位置為中心的區域的圖像時的切出尺寸。
11.根據權利要求10所述的影像合成設備，其中所述畫面構成計算部分為較大的觸發器的重要性設置較小的切出尺寸。
12.根據權利要求1所述的影像合成設備，其中所述觸發器生成部分還輸出觸發器被生成的時刻；而所述畫面構成計算部分計算這樣的畫面構成其中由所述觸發器生成時刻的前后的圖像群構成的場景在被反復顯示的同時與另一個圖像合成。
13.根據權利要求12所述的影像合成設備，其中所述畫面構成計算部分根據觸發器的重要性的大小而控制當在影像內反復顯示由所述觸發器生成時刻的前后的圖像群構成的場景時的再現速度。
14.根據權利要求13所述的影像合成設備，其中所述畫面構成計算部分為較大的觸發器重要性而將所述再現速度設置得較慢。
15.根據權利要求12所述的影像合成設備，其中所述畫面構成計算部分根據觸發器的重要性的大小而控制這樣的多個圖像的數量其構成當在影像內反復顯示由所述觸發器生成時刻的前后的圖像群構成的場景。
16.根據權利要求15所述的影像合成設備，其中所述畫面構成計算部分隨觸發器的重要性越大而將構成所述場景的圖像的數量設定為越大。
17.根據權利要求12所述的影像合成設備，其中所述畫面構成計算部分根據觸發器的重要性的大小而控制當在影像內反復顯示由所述觸發器生成時刻的前后的圖像群構成的場景時的反復次數。
18.根據權利要求17所述的影像合成設備，其中所述畫面構成計算部分隨觸發器的重要性越大而將所述反復次數設定得越大。
19.根據權利要求1所述的影像合成設備，還包括圖像信息添加部分其以圖像形式對由所述圖像創建裝置創建的圖像添加該圖像的信息。
20.根據權利要求19所述的影像合成設備，其中由所述圖像創建裝置創建的圖像的分類被所述圖像信息添加部分以該圖像的外緣的色彩來表現。
21.根據權利要求19所述的影像合成設備，其中由所述圖像創建裝置創建的圖像的分類被所述圖像信息添加部分由該圖像的形狀來表現。
22.根據權利要求19所述的影像合成設備，其中所述圖像合成裝置執行靜止圖像合成、切出合成或循環合成之一；而所述圖像信息添加部分將根據所述靜止圖像合成、所述切出合成或所述循環合成之一的圖像類別信息添加至所述圖像。
權利要求
1.一種將多張影像合成為1屏畫面的影像合成設備，所述影像合成設備包括輸入影像的影像輸入裝置；觸發器產生部分，其產生指示影像的重要性的觸發器；畫面構成計算部分，其與所產生的觸發器的重要性對應而計算畫面構成；圖像創建裝置，其基于計算的畫面構成、從輸入的影像創建欲合成的圖像；和畫面合成裝置，其將含所創建的圖像的多個圖像合成為1屏畫面。
2.根據權利要求1所述的影像合成設備，其中所述觸發器生成部分具有這樣的運動檢測傳感器其檢測影像內的運動、并根據檢測到的運動的大小輸出一個信號；而所述重要性是根據所述運動檢測傳感器輸出的信號的大小而計算的。
3.根據權利要求1所述的影像合成設備，其中所述觸發器生成部分具有這樣的運動識別傳感器其識別影像內特定的運動、并根據所識別的運動的大小輸出一個信號；而所述重要性是根據所述運動識別傳感器輸出的信號的大小而計算的。
4.根據權利要求1所述的影像合成設備，其中所述觸發器生成部分具有這樣的圖像識別傳感器其對影像內特定的物體做圖像識別、并根據該圖像識別結果的確定性輸出一個信號；而所述重要性是根據所述圖像識別傳感器輸出的圖像識別結果的確定性的高低而計算的。
5.根據權利要求1所述的影像合成設備，其中所述觸發器生成部分具有接收來自用戶的畫面合成請求的設備；而所述重要性是與所述來自用戶的畫面合成請求對應的。
6.根據權利要求1所述的影像合成設備，其中所述觸發器生成部分還輸出觸發器的生成時刻；而所述畫面構成計算部分計算這樣的畫面構成其中將所述觸發器生成時刻的影像作為靜止圖像與另一個圖像進行合成。
7.根據權利要求6所述的影像合成設備，其中所述畫面構成計算部分根據觸發器的重要性的大小而控制當將觸發器生成時刻的影像顯示成靜止圖像時的顯示時間。
8.根據權利要求7所述的影像合成設備，其中所述畫面構成計算部分為較大的觸發器的重要性設置較長的顯示時間。
9.根據權利要求1所述的影像合成設備，其中所述觸發器生成部分還輸出所述觸發器生成的位置；而所述畫面構成計算部分計算這樣的畫面構成其中切出了以所述觸發器生成位置為中心的區域的圖像、并將該圖像與另一個圖像合成。
10.根據權利要求9所述的影像合成設備，其中所述畫面構成計算部分根據觸發器的重要性的大小而控制當在影像內切出了以所述觸發器生成位置為中心的區域的圖像時的切出尺寸。
11.根據權利要求10所述的影像合成設備，其中所述畫面構成計算部分為較大的觸發器的重要性設置較小的切出尺寸。
12.根據權利要求1所述的影像合成設備，其中所述觸發器生成部分還輸出觸發器被生成的時刻；而所述畫面構成計算部分計算這樣的畫面構成其中由所述觸發器生成時刻的前后的圖像群構成的場景在被反復顯示的同時與另一個圖像合成。
13.根據權利要求12所述的影像合成設備，其中所述畫面構成計算部分根據觸發器的重要性的大小而控制當在影像內反復顯示由所述觸發器生成時刻的前后的圖像群構成的場景時的再現速度。
14.根據權利要求13所述的影像合成設備，其中所述畫面構成計算部分為較大的觸發器重要性而將所述再現速度設置得較慢。
15.根據權利要求12所述的影像合成設備，其中所述畫面構成計算部分根據觸發器的重要性的大小而控制這樣的多個圖像的數量其構成當在影像內反復顯示由所述觸發器生成時刻的前后的圖像群構成的場景。
16.根據權利要求15所述的影像合成設備，其中所述畫面構成計算部分隨觸發器的重要性越大而將構成所述場景的圖像的數量設定為越大。
17.根據權利要求12所述的影像合成設備，其中所述畫面構成計算部分根據觸發器的重要性的大小而控制當在影像內反復顯示由所述觸發器生成時刻的前后的圖像群構成的場景時的反復次數。
18.根據權利要求17所述的影像合成設備，其中所述畫面構成計算部分隨觸發器的重要性越大而將所述反復次數設定得越大。
19.根據權利要求1所述的影像合成設備，其中所述畫面構成計算部分根據觸發器的重要性的大小而控制由所述圖像創建裝置創建的圖像的大小。
20.根據權利要求19所述的影像合成設備，其中所述畫面構成計算部分隨觸發器的重要性越大而將由所述圖像創建裝置創建的圖像的大小設定得越大。
21.根據權利要求1所述的影像合成設備，還包括圖像信息添加部分其以圖像形式對由所述圖像創建裝置創建的圖像添加該圖像的信息。
22.根據權利要求21所述的影像合成設備，其中由所述圖像創建裝置創建的圖像的分類被所述圖像信息添加部分以該圖像的外緣的色彩來表現。
23.根據權利要求21所述的影像合成設備，其中由所述圖像創建裝置創建的圖像的分類被所述圖像信息添加部分由該圖像的形狀來表現。
全文摘要
本發明的一種影像合成設備可自動地顯示對用戶來說重要的影像，而且，可將該重要的影像合成為視覺上容易觀看的畫面構成并顯示該重要的影像。在本設備中，影像輸入部分(102)將構成影像的圖像逐圖輸入，而影像累積部分(110)累積輸入的影像。觸發器產生部分(104)產生表示影像重要性的觸發器，合成觸發器計算部分(106)使用該觸發器而計算為了計算畫面合成參數的合成觸發器。畫面構成計算部分(108)使用合成觸發器來判定畫面合成是否存在并計算畫面構成(具體地說，是畫面合成參數)。子圖像創建部分(112)基于畫面構成計算結果而創建用于與輸入圖像(主圖像)的合成的圖像(子圖像)，而圖像信息添加部分(114)將該子圖像的圖像信息添加至子圖像。畫面合成部分(116)將多張圖像(主圖像和子圖像)合成為1屏畫面。
文檔編號H04N7/18GK1698350SQ20048000026
公開日2005年11月16日 申請日期2004年2月20日 優先權日2003年2月25日
發明者本田義雅, 上野山努 申請人:松下電器產業株式會社