專利名稱：圖像再現裝置和圖像再現方法
技術領域：
本發明涉及再現利用數碼照相機等拍攝的圖像的圖像再現裝置和圖 像再現方法。
背景技術：
以往，利用照相機拍攝的照片可以打印出來并將其粘貼在相冊中欣 賞。在需要將旅行等時拍攝的靜態照片給家人和朋友觀看時，需要考慮 使他們有興趣地觀看而不厭煩。作為其代表性的方法有幻燈片放映，連 續切換所期望的圖像來進行再現的方式廣受歡迎，這種功能也安裝在近 年來廣泛普及的數碼照相機中。
并且，幻燈片放映功能不僅用于單純地切換再現圖像，而且與音樂 一起使用、利用圖像合成等而進行了各種改良。面部識別技術和圖像處 理功能的快速化等圖像處理技術近年來得到飛越性發展。作為對幻燈片 放映追加了合成功能的示例，專利文獻1公開了一種一邊進行幻燈片放
映一邊改變待合成的面部的表情的面部表情生成裝置。并且，專利文獻2 公開了一種電子相冊顯示系統，其執行可以向圖像追加任意字幕的幻燈 片放映。另外，專利文獻3公開了一種照相機，其在拍攝風景時同時拍 攝風景和攝影者的面部，并自動將兩個圖像合成。在旅游地，風景和建 筑物被頻繁拍攝，而拍攝攝影者的圖像較少，但是根據專利文獻3公開 的照相機，可以同時拍攝風景等和攝影者。
專利文獻1日本特開2003—281563號公報
專利文獻2 日本特開2005—341512號公報
專利文獻3日本特開2005—204015號公報
上述專利文獻1和專利文獻2可以通過改變面部表情或追加字幕， 對圖像賦予附加價值，但由于是所拍攝的原始圖像，所以難以對用戶提
供新鮮感。并且，在專利文獻3公開的照相機中，雖然是在圖像中有主 角在場的圖像，但需要在拍攝時攝入主角，在拍攝時需要確定構圖，有 時不會成為感興趣的圖像。
發明內容
本發明就是鑒于上述情況而提出的，其目的在于，提供可以進行使 觀看者對觀看的東西產生興趣的幻燈片放映的圖像再現裝置和圖像再現 方法。
為了達到上述目的，第一發明涉及的圖像再現裝置一邊按預定時間 依次切換作為對象的靜態圖像一邊進行幻燈片放映再現，上述圖像再現
裝置具有提取部，其從在作為幻燈片放映的對象的靜態圖像中選擇的 圖像中提取主角部分；主角生成部，其根據上述提取的主角部分生成主 角圖像；是否適合合成判定部，其對于上述作為幻燈片放映的對象的靜 態圖像中的各個靜態圖像，判定是否是適合于合成上述主角圖像的圖像； 合成部，其在被判定為適合于上述合成的靜態圖像中合成主角圖像，生 成主角合成圖像；以及幻燈片放映控制部，其對于由上述是否適合合成 判定部判定為適合于合成的圖像，以幻燈片放映方式再現上述主角合成 圖像，對于被判定為不適合于合成的圖像，以幻燈片放映方式再現沒有 進行合成的圖像。
第二發明涉及的圖像再現裝置在上述第一發明中，上述是否適合合 成判定部對作為上述判定對象的靜態圖像的攝影日期時間和作為上述主 角圖像的基礎的主角部分所屬的靜態圖像的攝影日期時間進行比較，判 定是否適合合成。
并且，第三發明涉及的圖像再現裝置在上述第一發明中，上述是否 適合合成判定部對作為上述判定對象的靜態圖像的攝影場所和作為上述 主角圖像的基礎的主角部分所屬的靜態圖像的攝影場所進行比較，判定 是否適合合成。
另外，第四發明涉及的圖像再現裝置在上述第一發明中，上述是否 適合合成判定部在作為上述判定對象的圖像是人物占據較大區域的圖像
時，判定為不適合合成。
另外，第五發明涉及的圖像再現裝置在上述第一發明中，上述是否 適合合成判定部在作為上述判定對象的圖像是通過微距模式攝影或近距 離攝影所拍攝的圖像時，判定為不適合合成。
另外，第六發明涉及的圖像再現裝置在上述第一發明中，在由上述 提取部提取的主角部分有多個時，上述主角生成部根據所提取的多個主 角部分生成一個主角圖像。
另外，第七發明涉及的圖像再現裝置在上述第一發明中，上述合成 部在合成基于上述多個主角部分的主角圖像時，如果其待合成的靜態圖 像是上述主角部分的原始圖像之一，則只合成不屬于該待合成的靜態圖 像的主角圖像。
另外，第八發明涉及的圖像再現裝置在上述第一發明中，上述圖像 再現裝置具有操作部，該操作部指示針對合成上述主角圖像時的畫面的 尺寸和位置，上述合成部按照基于上述操作部的指示的尺寸和位置來合 成主角圖像。 t
另外，第九發明涉及的圖像再現裝置在上述第一發明中，在由上述 提取部提取的主角部分有多個時，上述主角生成部將從靜態圖像中提取 的多個主角部分分別生成為多個主角圖像，上述合成部對于被判定為適 合上述合成的靜態圖像，向各個靜態圖像依次合成上述多個主角圖像。
為了達到上述目的，第十發明涉及的圖像再現方法一邊按預定時間 依次切換作為對象的靜態圖像一邊進行幻燈片放映再現，從在作為幻燈 片放映的對象的靜態圖像中選擇的圖像中提取主角部分，根據上述提取 的主角部分生成主角圖像，對于上述作為幻燈片放映的對象的靜態圖像 中的各個靜態圖像，判定是否是適合于合成上述主角圖像的圖像，在被 判定為適合于上述合成的靜態圖像中合成主角圖像，生成主角合成圖像， 對于被判定為適合于上述合成的圖像，以幻燈片放映方式再現上述主角 合成圖像，對于被判定為不適合于合成的圖像，以幻燈片放映方式再現 沒有進行合成的圖像。
根據本發明，可以提供一種能夠進行使觀看者對觀看的東西產生興
趣的幻燈片放映的圖像再現裝置和圖像再現方法。
圖1是表示應用了本發明的一個實施方式涉及的圖像再現裝置的結 構的方框圖。 '
圖2是表示在本發明的一個實施方式中作為示例列舉的攝影圖像的 信息的圖。
圖3是表示在本發明的一個實施方式涉及的圖像再現裝置中，作為 通常的幻燈片放映被再現顯示的圖像的圖。
圖4是表示在本發明的一個實施方式涉及的圖像再現裝置中，主角 固定模式中的主角部分的提取和主角圖像的生成處理的圖。
圖5是表示在本發明的一個實施方式涉及的圖像再現裝置中，在主 角固定模式中的幻燈片放映中被再現顯示的合成圖像的圖。
圖6是表示在本發明的一個實施方式涉及的圖像再現裝置中，主角 切換模式中的主角圖像的設定處理的圖。 .
圖7是表示本發明的一個實施方式涉及的圖像再現裝置的主程序的 流程圖。
圖8是表示本發明的一個實施方式涉及的圖像再現裝置的合成幻燈 片放映的流程圖。
圖9是表示本發明的一個實施方式涉及的圖像再現裝置的合成幻燈 片放映的流程圖。
圖10是表示本發明的一個實施方式涉及的圖像再現裝置的主角部 分提取的流程圖。
圖11是表示本發明的一個實施方式涉及的圖像再現裝置的主角圖像 生成處理的流程圖。
圖12是表示本發明的一個實施方式涉及的圖像再現裝置的執行幻 燈片放映的流程圖。
圖13是表示本發明的一個實施方式涉及的圖像再現裝置的是否適 合合成的判定的流程圖。
圖14是表示本發明的一個實施方式涉及的圖像再現裝置的圖像合 成的流程圖。
標號說明
IO個人計算機；11 CPU; lla是否適合合成判定部；llb幻燈片放 映控制部；12 ROM; 13操作部；14 RAM; 15圖像處理部；16提取部； 17主角生成部；18圖像合成部；19存儲部；20顯示控制部；21顯示部； 22總線；31符號(圖像序號)；32輪廓線(輪廓強調顯示)；33光標； 34識別顯示(合成圖像顯示)；35背景；41主角A; 42主角B; 45主角 圖像A，； 46主角圖像B，； 47主角圖像C'。
具體實施例方式
以下，參照
采用應用了本發明的圖像再現裝置的優選實施 方式。本發明的一個實施方式涉及的圖像再現裝置由存儲了利用數碼照 相機等拍攝的靜態圖像的圖像數據的個人計算機構成，利用該個人計算 機的硬件和所安裝的軟件可以執行幻燈片放映。
圖1是表示該實施方式涉及的個人計算機10的結構的方框圖。該個 人計算機10由CPU (Central Processing Unit) 11、 ROM (Read Only Memory) 13、 RAM (Random Access Memory) 14、圖像處理部15、提 取部16、主角生成部17、圖像合成部18、存儲部19、顯示控制部20、 顯示部21構成。個人計算機10中的CPU11、 ROM12、 RAM14、圖像處 理部15、提取部16、主角生成部17、圖像合成部18、存儲部19和顯示 控制部20連接到總線22。
個人計算機10中的CPU11按照存儲在由閃存等構成的ROM12中的 控制程序，進行個人計算機10的整體控制。在CPU11的內部示出了是 否適合合成判定部lla和幻燈片放映控制部llb，它們表示由控制程序執 行的處理功能。它們的功能也可以利用專用硬件來構成。
是否適合合成判定部lla是如后面所述判定是否適合向攝影圖像合 成主角圖像的判定部。并且，幻燈片放映控制部lib的具體情況也在后
面敘述，其進行依次地再現顯示通常圖像的通常幻燈片放映、和依次地 再現向攝影圖像合成了主角圖像的合成圖像的合成幻燈片放映的控制。
并且，連接到CPU11的操作部13由鍵盤和鼠標等用戶接口構成，向個 人計算機輸入各種操作指令。并且，連接到總線22的RAM14被用作臨 時存儲區域。
圖像處理部15進行再現顯示用的圖像處理。提取部16通過面部檢 測等從圖像數據中檢測面部部分，從該人物的輪廓線中提取人物整體。 主角生成部17生成通過提取部16提取的作為主角的人物來作為主角圖 像。圖像合成部18將通過主角生成部17生成的主角圖像合成到攝影圖 像上。
存儲部19是存儲利用數碼照相機等拍攝的攝影圖像的圖像數據的 存儲部，利用硬盤等大容量存儲裝置構成。顯示部21利用液晶監視畫面 等構成，也進行由幻燈片放映控制部llb控制的幻燈片放映的再現顯示。 該顯示部21連接到顯示控制部20，進行顯示控制。
這樣，本發明的一個實施方式涉及的圖像再現裝置利用市場上f遍 銷售的個人計算機構成。另外，提取部16、主角生成部17、圖像合成部 18采用基于硬件的結構，但也可以通過CPUU的軟件處理實現。該圖像 再現裝置把執行后面說明的動作的程序存儲在ROM12中。在說明有關該 程序的流程之前，使用
圖像再現裝置的幻燈片放映的再現顯示 動作。
首先，在該實施方式中，圖2表示作為示例列舉的攝影圖像的信息。 在該示例中，攝影者在4月6日進行P市和Q市的市內觀光，在P市進 行圖像序號為101 150的攝影，在Q市進行圖像序號為151 180的靜 態圖像的攝影。另外，在次日的4月7日進行P市觀光，進行圖像序號 為181 210的靜態圖像的攝影。另外，在這些圖像數據中添加了攝影日 期時間信息和基于GPS等的攝影位置信息。
下面，圖3表示在通常幻燈片放映中顯示的圖像序號為101 210的 圖像。在各個圖像的左上部標注的符號31表示圖像序號。圖像序號101 103是拍攝風景的圖像，圖像序號120是通過微距(macro)攝影拍攝的
圖像，圖像序號121是近距離拍攝的圖像(具體地講是書架上的書)。
并且，圖像序號122是將人物被拍攝得較大的圖像，圖像序號123 拍攝了主角A的圖像。并且，在圖像序號124的圖像中，在多個人物像 中拍攝了主角B的圖像。圖像序號125的圖像將人物拍攝得比較小，在 圖像序號130、 132、 133的圖像中拍攝了主角切換模式下的主角A、主 角B、主角C的圖像。
在該實施方式涉及的合成幻燈片放映中，準備了主角固定模式和主 角切換模式這兩種模式。主角固定模式是將所提取的固定的主角合成到 攝影圖像中進行顯示的模式，主角切換模式是對每個攝影圖像切換主角 進行顯示的模式。
使用圖4說明主角固定模式下的主角部分的提取和主角圖像的生 成。圖4 (A)表示拍攝了主角A41的圖像序號123的圖像，在該圖像中 以風景為背景拍攝了主角A41。在主角選擇的步驟中，使用面部識別等 技術自動選擇人物，在選擇人物后，其輪廓線32被強調顯示。
圖4 (B)表示拍攝了主角B42的圖像序號124的圖像，在該圖像中 拍攝了風景和多個人物像以及主角B42。與主角A41相同，使用面部識 別技術選擇人物，再利用圖像識別技術識別主角B42。此處識別出的主 角B42的輪廓線32被強調顯示。這些選擇人物并提取主角(A41、 B42) 的處理由提取部16進行，輪廓線32的賦予處理通過圖像合成部18進行。
當主角A41和主角B42的主角圖像的輪廓線32被檢測出并被強調 后，在后面的步驟進行主角部分的提取。即，如圖4 (C)所示，從圖像 序號123的圖像中提取主角部分A41的圖像，從圖像序號124的圖像中 提取主角部分B42的圖像，在作為全背景的虛擬背景35中粘貼主角部分 A45和主角部分B46。另外，在圖4 (C)中，光標33表示特定主角。另 外，在圖4 (C)中，在主角為2人以上時，作為移動和尺寸變更對象的 一方主角部分(以后將其稱為特定主角)賦予光標33進行顯示。在此， 主角部分A45是特定主角。
所提取的主角部分A45、主角部分B46可以通過操作部件13的操作， 變更其位置和大小。在進行合成幻燈片放映時，當確定了最終的主角圖
像時，生成圖4 (D)所示的主角圖像47。適當地設定所提取的主角部分 的尺寸和位置并生成主角圖像的處理由主角生成部17來進行。
下面，使用圖5說明在主角固定模式下的合成幻燈片放映中顯示的 合成圖像的生成。在如圖4 (D)所示生成主角圖像47后，對攝影圖像 進行主角圖像47的合成。此時，判定是否是適合于主角圖像的合成的攝 影圖像，如果是適合的圖像，則進行圖像合成。該是否合適判定處理由 是否適合合成判定部lla進行。
例如，圖像序號101 103、 150是普通的風景照片，對這種攝影圖 像進行圖像合成。另一方面，圖像序號120是微距攝影，圖像序號121 是近距離攝影，在向這種圖像合成主角圖像時會產生不自然感和不協調 感，所以不進行圖像合成，作為合成幻燈片放映，再現顯示原始圖像。 并且，像圖像序號122這樣人物被拍攝得比較大的攝影圖像，由于進行 圖像合成也會顯得不自然，所以不進行圖像合成。
像圖像序號123和圖像序號124這樣主角圖像中的一人被攝入原始 圖像中時，當合成主角圖像47時，同一人物出現于兩處，所以變得不自 然并產生不協調感。在這種情況下，只對原始圖像中拍攝的主角以外的 主角進行圖像合成。像圖像序號125這樣相比圖像序號122人物被拍攝 得充分小的情況下，即使合成主角圖像47也不會不自然，所以執行圖像 合成。
主角圖像47是從通過4月6日的P市觀光所拍攝的圖像中提取而生 成的，所以以上圖像合成只對符合該條件的圖像、即圖像序號101 150 的圖像進行。對在4月6日下午的Q市觀光以及4月7日的P市觀光中 所拍攝獲取的圖像，不進行圖像合成。這是因為由于時間和場所不同， 如果在同一主角圖像47中進行圖像合成，有可能與實際情況不同。
在4月6日下午的Q市觀光和4月7日的P市觀光中，在想要進行 合成幻燈片放映時，按照與前述相同的步驟另外生成主角圖像即可。另 外，各個圖像的右上部的識別顯示34 (顯示為MIX)表示是實施了合成 的合成圖像，沒有被賦予該識別顯示34的圖像仍是原始圖像。
下面，說明主角切換模式。該主角切換模式是生成多個主角圖像， 對每個攝影圖像依次切換顯示主角圖像的模式。由于針對每個攝影圖像 出現不同的主角圖像，所以看起來就像是主角在從攝影圖像向攝影圖像 移動。另外，在該實施方式中，主角圖像是同一人物，但也可以是不同 的人物。
使用圖6說明該主角切換模式下的主角圖像的設定處理。首先，按 照與在前述圖4 (A) (C)中說明的過程相同的過程，進行主角部分 的提取。在圖6 (A)的示例中，從圖像序號130的圖像中提取主角部分 A，從圖像序號132的圖像中提取主角部分B，從圖像序號133的圖像中 提取主角部分C。
然后，根據圖6 (A)所示的所提取的主角部分依次生成主角圖像。 即，分別生成主角圖像A，45 (圖6 (B))、主角圖像B，46 (圖6 (C))、 主角圖像C，47 (圖6 (D))。
下面，使用圖7說明在主角切換模式下的合成幻燈片放映中顯示的 合成圖像。首先，對第一個圖像序號IOI的攝影圖像合成主角圖像A'45。 對下一個圖像序號102的攝影圖像合成主角圖像B'46。對其下一個圖像 序號103的攝影圖像合成主角圖像C'47。
在此主角圖像循環一圈，所以分別對下一個圖像序號104的攝影圖 像合成主角圖像A'45，對圖像序號105的攝影圖像合成主角圖像B，46， 對圖像序號106的攝影圖像合成主角圖像C，47，并進行再現。另外，省 略圖像序號104 106的圖像的背景圖像。
然后，對于微距攝影的圖像序號120的圖像、近距離攝影的圖像序 號121的圖像、人物像較大的圖像序號122的圖像，與主角固定模式時 相同，不進行與主角圖像A，45、 B'46、 C'47的合成。并且，在圖像序號 123、 124的圖像中需要考慮使主角圖像不重復。在4月6日上午的P市 觀光的幻燈片放映中，主角圖像A，、 B'、 C，被依次合成到各個攝影圖像 中，可以營造出好像主角在攝影圖像中移動的氛圍。
使用圖8 圖14，說明用于執行如上所述再現顯示的該實施方式的 幻燈片放映的程序的流程。在啟動用于執行攝影圖像的再現顯示的程序 后，首先進行是否進行幻燈片放映的判定(Sl)。這通過從顯示于個人計
算機10的顯示部21上的幻燈片放映的菜單畫面等中選擇，并根據來自 操作部13的輸入信號來進行判定。
在步驟S1的判定結果是沒有進行幻燈片放映的指示時，進行通常再 現(S5)。通常再現是只顯示所指定的攝影圖像的模式。另一方面，在進 行了幻燈片放映的指示時，接著進行是否已進行合成幻燈片放映的指示 的判定(S2)。
在判定結果是沒有進行合成幻燈片放映的指示時，進行通常的幻燈 片放映，即按照預定的順序以預定時間間隔在顯示部21上再現顯示(S4)。 另一方面，在判定結果是已進行合成幻燈片放映的指示時，執行合成幻 燈片放映(S3)。
在進入合成幻燈片放映的子程序后，如圖9所示，首先進行是否已 進行主角部分的提取指示的判定(Sll)。在判定結果是沒有指示提取主 角部分時，跳至步驟S13，另一方面，在已指示提取主角部分時，執行主 角部分的提取處理(S12)。主角部分的提取如在圖4 (C)中說明的那樣， 是從攝影圖像中選擇主角的處理，具體情況將在后面使用圖IO說明。
然后，進行是否已進行主角合成圖像的生成指示的判定(S13)。在 判定結果是沒有進行主角合成圖像的生成指示時，跳至步驟S15，另一方 面，在已進行主角合成圖像的生成指示時，進行主角合成圖像的生成 (S14)。主角合成圖像的生成如在圖4 (D)和圖6中說明的那樣，是根 據主角部分生成主角圖像的處理。具體情況將在后面使用圖11說明。
然后，進行是否開始基于合成幻燈片放映的再現顯示的判定(S15)。 在判定結果是沒有進行過執行指示時，結束該子程序，返回原來的流程。 另一方面，在已進行了指示時，開始執行幻燈片放映(S16)。關于該幻 燈片放映的具體情況，將在后面使用圖12說明。
下面，使用圖10說明步驟S12的主角提取指示的子程序。首先，進 行是否已進行圖像的選擇指示的判定(S21)。該圖像選擇是指在顯示部 21上依次地逐張顯示攝影圖像，或者從縮略顯示的攝影圖像中選擇通過 合成幻燈片放映來再現顯示的圖像。在判定結果是沒有進行過指示時， 跳至步驟S31。另一方面，在已進行過指示時，從存儲部19讀出選擇圖
像(S22)。
然后，提取部16進行人物的提取(S23)。在該步驟，使用面部識別 等技術從在前一步驟選擇的圖像中檢測人物的存在。根據該人物檢測的 結果，進行是否含有人物的判定(S24)。在判定結果是未確認到人物的 存在時，由于不能進行主角部分的提取，所以跳至步驟S31。
另一方面，在判定結果是確認到人物時，提取部16生成人物輪廓像 (S25)。然后，根據該人物輪廓像，圖像合成部18合成由圖4 (A) (B) 所示的輪廓線32形成的人物輪廓像(S26)。該人物輪廓像被圖4 (A) (B) 所示進行輪廓強調顯示，并顯示在顯示部21上。
然后，進行是否已對人物輪廓像進行了 OK指示的判定(S27)。這 是因為有時會錯誤地把握人物的形狀。在沒有進行過OK指示時，改變 提取條件(S30)，返回步驟S25。通過重復步驟S25 S27、 S30，可以進 行用戶所期望的主角部分的提取。
在步驟S27的判定結果是已進行了 OK指示時，確定主角部分的提 取，進行圖4 (C)所示的主角圖像的顯示(S28)。然后，存儲作為合成 圖像所生成的人物部分的圖像數據(S29)。在存儲結束后，然后進行是 否結束的判定(S31)。在主角圖像的人物為多個人時，有時需要從多個 攝影圖像中進行選擇，在該情況下，返回步驟S21，進行主角部分的追加。 在判定結果是已進行了結束指示時，結束該子程序，返回原來的程序。
下面，使用圖11說明步驟S14的主角圖像生成處理的子程序。首先， 顯示所選擇的全部主角和特定主角(S41)。此處的顯示例如按照圖4 (C) 所示，顯示全部主角圖像，同時顯示其中的特定主角圖像(利用光標33 指示的主角圖像)。在步驟S41中顯示主角圖像時，用戶沒有指定特定主 角，但在主角為多個人時，作為默認值把圖像序號最小的主角設為特定 主角，并利用光標33來顯示。可以通過操作變更特定主角。
然后，進行主角固定模式和主角切換模式的設定(S42)。在步驟Sll 進行了主角部分提取，進行是以固定模式來顯示該提取的主角還是以切 換模式來顯示該提取的主角的設定。通過點擊在顯示部21上設定的圖標 (未圖示)來進行該設定。
然后，進行是否已進行了特定主角的切換指示的判定(S43)。特定 主角是作為位置和尺寸的變更對象的主角，通過移動光標33進行該切換 指示。在判定結果是沒有進行過特定主角的切換指示時，跳至步驟S45， 另一方面，在己進行了切換指示時，顯示特定主角(S44)。此處的顯示 利用光標33來進行，但除此之外，也可以變更主角圖像的色彩等，適當 變更顯示方法。
然后，進行是否已進行了特定主角的位置、尺寸的變更指示的判定 (S45)。在判定結果是沒有進行過變更指示時，跳至步驟S48，另一方面， 在已進行了變更指示時，進行與指示對應的顯示(S46)。即，如果已進 行了位置變更的指示，則變更特定主角的位置進行顯示，并且如果已進 行了尺寸變更的指示，則變更特定主角的尺寸進行顯示。
然后，判定用戶是否己針對變更內容進行了 OK指示(S47),如果 未進行過OK指示，則返回步驟S45，重復前述步驟。另一方面，如果判 定結果是進行了 OK指示，則接下來進行是否結束的判定(S48)。由于 也存在選擇了多個人的主角圖像的情況、或者在主角切換模式下對同一 人選擇了多個主角圖像的情況，所以在需要對它們進行位置和尺寸的變 更時，用戶不結束處理而是返回步驟S43,重復前述步驟。另一方面，在 所需要的特定主角的位置、尺寸的變更結束時，點擊結束圖標。
然后，進行是否是主角固定模式的判定(S49)。由于在步驟S42已 進行了主角固定模式或主角切換模式的設定，所以進行當時設定的模式 的判定。如果判定結果是主角固定模式，則合成所指示的主角的數據(位 置和尺寸)并存儲(S50)。
如果判定結果是主角切換模式，則分別存儲所指示的主角的數據(位 置和尺寸)，即對每個主角存儲數據(S51)。在步驟S50或步驟S51的存 儲結束后，返回原來的流程。
下面，使用圖12說明步驟S16的執行幻燈片放映的子程序。首先進 行圖像的讀出(S61)。在該步驟，進行存儲在存儲部19中的、并且被選 擇為以幻燈片放映來再現顯示的圖像中的第一張圖像數據的讀出。然后， 通過是否適合合成判定部lla進行是否適合合成的判定(S62)。
由于對于主角圖像，根據攝影日期時間和攝影場所只對在同一范圍 內的圖像進行合成，所以在該是否適合合成判定的子程序中，判定是否
符合該條件。并且，如在圖5和圖7中說明的那樣，不對通過微距攝影 和近距離攝影等拍攝的攝影圖像進行主角圖像的合成，所以也進行該是 否適合合成判定。關于該是否適合合成判定的子程序的具體情況，將在 后面使用圖13說明。
在是否適合合成判定結束后，接下來進行合成是否OK的判定 (S63)。由于已在步驟S62的是否適合合成判定的子程序中進行了合成 OK或NG的判定(參照S79和S80)，所以根據該判定結果進行判定。 在判定結果是合成不為OK時，跳至步驟S65，另一方面，在合成為OK 時，進行圖像合成(S64)。在該圖像合成的子程序中，進行在圖5和圖7 中附加有MIX的識別顯示34的合成圖像的生成。關于該圖像合成的子 程序的具體情況，將在后面使用圖14說明。
然后進行圖像顯示(S65)。在該步驟，在步驟S64已進行了圖像合 成的情況下，顯示所合成的圖像，并且在步驟S63中合成不為OK時， 直接顯示在步驟S61讀出的原始圖像(攝影圖像)。然后，進行用戶是否 已進行結束指示的判定(S66)。在判定結果是已進行了結束指示時，返 回原來的程序，進行結束處理。
在步驟S66的判定結果是沒有進行過結束指示時，根據定時器的計 時動作，進行是否已經過預定時間的判定(S67)。在幻燈片放映中再現 顯示的圖像每隔預定時間被切換，在該步驟判定是否已經過該預定時間。 在沒有經過該預定時間時，返回步驟S65，繼續進行圖像的再現顯示。
在步驟S67，在判定為己經過了預定時間時，進行是否是最后的圖 像的判定(S68)。在該步驟，進行是否已對被選擇為以幻燈片放映來再 現顯示的全部圖像完成了處理、即當前再現顯示的圖像是否是最后的圖 像的判定。
在步驟S68的判定結果為是最后的圖像時，返回原來的流程，進行 結束處理。另一方面，如果不是最后的圖像，則進行圖像切換(S69)。 即，切換為當前再現顯示的圖像的下一個圖像，返回步驟S61，讀出該圖
像的圖像數據，與前述說明相同地進行再現顯示。
以上說明了圖12中的執行幻燈片放映的子程序，下面使用圖13說 明步驟S62的是否適合合成判定的子程序。首先，判定攝影日期時間相 對于主角原始圖像的攝影日期時間是否在一定范圍內(S71)。如果判定 結果為在一定范圍內，然后進行攝影場所相對于主角原始圖像的攝影場 所是否在一定范圍內的判定(S72)。即，在合成主角圖像的攝影圖像的 場所和日期時間與拍攝主角圖像的場所和日期時間不同時，由于服裝和 表情不同，在通過幻燈片放映來欣賞時有時會顯得不自然。因此，在該 實施方式中，只在攝影日期時間和場所收斂在一定范圍內時進行主角圖 像的圖像合成。
在這兩個步驟中，對全部主角原始圖像進行判定。即，如果主角原 始圖像有兩個，則判定所讀出的攝影圖像的攝影日期時間和攝影場所相 對于這兩個主角原始圖像的攝影日期時間和攝影場所，是否在一定范圍 內。另外，攝影日期時間根據附加在攝影圖像中的攝影日期時間數據來 判定，攝影場所根據附加在攝影圖像中的基于GPS等的位置信息來判定。
在步驟S71和S72為"是"時跳出，然后進行是否是全部都包含主角 的圖像的判定(S73)。這是為了防止在主角被攝入原始圖像中時，如果 主角圖像被合成，將導致主角被雙重攝入而成為不自然的圖像。如果不 是全部都包括主角的圖像，然后進行是否是近距離攝影的判定(S74)。 這是因為如果對圖像序號121 (參照圖3、圖5)那樣的近距離攝影的圖 像合成主角圖像，將會顯得不自然，為此防止發生該情況。
如果不是近距離攝影，然后進行是否是微距攝影的判定(S75)。這 是因為如果對圖像序號120 (參照圖3、圖5)那樣的微距攝影的圖像合 成主角圖像，將會顯得不自然，為此防止發生該情況。如果判定結果為 不是微距攝影，然后檢測是否含有人物(S76)，根據該檢測結果進行是 否含有人物的判定(S77)。
在判定結果是含有人物時，然后進行人物的尺寸是否比較大的判定 (S78)。這是因為如果對像圖像序號122 (參照圖3、圖5)那樣人物所 占比率較大的圖像合成主角圖像，將會顯得不自然，為此防止發生該情況。
在步驟S78判定人物尺寸所占比率不大時，或者在步驟S77判定為 沒有人物時，判定為合成OK (S79)。這是因為在步驟S71和S72判定的 攝影日期時間和場所與原始圖像的攝影日期時間和場所在一定范圍內相 同，可以清除步驟S73 S78中的是否適合于圖像合成的判定，并合成主
角圖像。
另一方面，在步驟S71或S72中判定為"否"，并且在步驟S73 S75、 S78中判定為"是"的情況下，判定為合成NG(S80)。這是因為在步驟S71 和S72中判定的攝影日期時間和場所與原始圖像的攝影日期時間和場所 不在一定范圍內相同，不能清除步驟S73 S78的是否適合于圖像合成的 判定，不適合合成主角圖像。在步驟S79或S80的判定結束后，返回原 來的程序。
下面，使用圖14說明步驟S64的圖像合成的子程序。在進入該子程 序后，首先進行是否是主角固定模式的判定(S91)。如前面所述，在步 驟S42(圖11)，已設定主角固定模式或主角切換模式，所以判定該設定 的模式。
在判定結果是設定為主角固定模式時，進行主角數據的讀出(S92)。 在此，由于在步驟S50 (圖11)已存儲主角數據，所以進行該數據的讀 出。然后，進行原始圖像是否是包含主角人物的一部分的圖像的判定 (S93)。這是因為在像圖像序號123、 124那樣主角人物被攝入原始圖像 中的情況下，圖像合成的結果將導致同一人物被攝入兩個，使得產生不 協調感，為此避免重復出現同一人物。
在步驟S93的判定結果是原始圖像不包含主角人物的一部分時，將 主角數據合成到原始圖像中(S94)。另一方面，在判定結果是原始圖像 包含主角人物的一部分時，從主角數據中只提取未包含于原始圖像中的 主角的部分數據(S95)，將所提取的主角的部分數據合成到原始圖像中 (S96)。由此，可以防止同一人物被攝入兩個的合成圖像，使主角圖像 中一個人只出現一個。
在步驟S91判定為不是主角固定模式時，即是主角切換模式時，進
行主角數據切換的讀出(S97)。由于在步驟S51 (圖11)中已存儲主角 數據，所以進行該主角數據的讀出。在讀出主角數據時，由于是依次地 切換主角來進行合成，所以按照讀出順序來切換讀出的主角數據。在主 角數據的讀出結束后，接下來將主角數據合成到原始圖像中(S9S)。
在步驟S98、 S96或S94結束后，返回原來的程序。通過執行以上圖 8 圖14的流程，進行主角圖像的合成，主角圖像被合成到原始圖像(攝 影圖像)中，可以執行有主角圖像出現的幻燈片放映。
一般，即使是自己的攝影，如果僅僅是單純的名勝古跡的風景和建 筑物的圖像的幻燈片放映，大多看幾次就夠了。在該實施方式中，可以 將所選擇的人物圖像合成到景色中進行再現顯示，對畫面附加游玩的要 素，并且在給朋友觀看時如果強調說明自己去那里時的服裝和表情，可 以使談話更加起勁。
并且，在該實施方式中，判定是否是適合將人物圖像疊加在原始圖 像(攝影圖像)中的圖像，針對不適合合成的圖像禁止圖像合成。因此， 可以防止人物圖像被疊加在全部圖像中使得在欣賞時感覺厭煩。
另外，在該實施方式中，根據主角圖像的攝影日期時間和場所區分 是否進行圖像合成。在進行幻燈片放映時，優選是同一主題范圍的圖像， 如果服裝、表情等不同，將會使合成圖像顯得不自然，但在該實施方式 中，可以防止這種不良情況。
另外，在該實施方式中，將人物像的合成限制于僅僅是再現時的臨 時圖像，所以能夠輕松使用該幻燈片放映。這是因為如果像前述專利文 獻3那樣合成圖像被記錄為攝影圖像，有可能失去事實性，并成為討厭 的圖像。
另外，該實施方式只是幻燈片放映的再現，所以允許人物與背景的 邊界處理比較簡單，相應地可以在短時間內實現合成處理，幻燈片放映 產生延遲的情況也比較少。并且，不僅顯示同一主角，也可以進行主角 的變更，所以能夠實現賦予了更多變化的幻燈片放映。
另外，在該實施方式中說明了主角為人物的情況，但不限于此，例 如也可以是動物、物體或建筑物。并且，在該實施方式中設定主角固定
模式和主角切換模式中的任一種，但也可以只具有其中任一個模式。并
且，該實施方式涉及的圖像再現裝置表示利用PC (個人計算機)構成的
示例，但不限于此，例如當然也可以內置于數碼照相機中。
并且，本發明不局限于上述實施方式，在實施階段中可以在不脫離 其宗旨的范圍內改變構成要素來具體實施。另外，可以根據上述實施方 式中公開的多個構成要素的適當組合形成各種發明。例如，可以從實施 方式所示的所有構成要素中刪除幾個構成要素。還可以適當組合不同實 施方式中的構成要素。
權利要求
1.一種圖像再現裝置，其一邊按預定時間依次切換作為對象的靜態圖像一邊進行幻燈片放映再現，其特征在于，上述圖像再現裝置具有提取部，其從在作為幻燈片放映的對象的靜態圖像中選擇的圖像中提取主角部分；主角生成部，其根據上述提取的主角部分生成主角圖像；是否適合合成判定部，其對于上述作為幻燈片放映的對象的靜態圖像中的各個靜態圖像，判定是否是適合于合成上述主角圖像的圖像；合成部，其在被判定為適合于上述合成的靜態圖像中合成主角圖像，生成主角合成圖像；以及幻燈片放映控制部，其對于由上述是否適合合成判定部判定為適合于合成的圖像，以幻燈片放映方式再現上述主角合成圖像，對于被判定為不適合于合成的圖像，以幻燈片放映方式再現沒有進行合成的圖像。
2. 根據權利要求l所述的圖像再現裝置，其特征在于，上述是否適 合合成判定部對作為上述判定對象的靜態圖像的攝影日期時間和作為上 述主角圖像的基礎的主角部分所屬的靜態圖像的攝影日期時間進行比 較，判定是否適合合成。
3. 根據權利要求l所述的圖像再現裝置，其特征在于，上述是否適 合合成判定部對作為上述判定對象的靜態圖像的攝影場所和作為上述主 角圖像的基礎的主角部分所屬的靜態圖像的攝影場所進行比較，判定是 否適合合成。
4. 根據權利要求1所述的圖像再現裝置，其特征在于，上述是否適 合合成判定部在作為上述判定對象的圖像是人物占據較大區域的圖像 時，判定為不適合合成。
5. 根據權利要求1所述的圖像再現裝置，其特征在于，上述是否適 合合成判定部在作為上述判定對象的圖像是通過微距模式攝影或近距離 攝影所拍攝的圖像時，判定為不適合合成。
6. 根據權利要求l所述的圖像再現裝置，其特征在于，在由上述提取部提取的主角部分有多個時，上述主角生成部根據所提取的多個主角 部分生成一個主角圖像。
7.根據權利要求6所述的圖像再現裝置，其特征在于，上述合成 部在合成基于上述多個主角部分的主角圖像時，如果其待合成的靜態圖 像是上述主角部分的原始圖像之一，則只合成不屬于該待合成的靜態圖 像的主角圖像。
8. 根據權利要求l所述的圖像再現裝置，其特征在于，上述圖像再 現裝置具有操作部，該操作部指示針對合成上述主角圖像時的畫面的尺 寸和位置，上述合成部按照基于上述操作部的指示的尺寸和位置來合成主角圖像。
9. 根據權利要求l所述的圖像再現裝置，其特征在于，在由上述提 取部提取的主角部分有多個時，上述主角生成部將從靜態圖像中提取的 多個主角部分分別生成為多個主角圖像，上述合成部對于被判定為適合上述合成的靜態圖像，向各個靜態圖 像依次合成上述多個主角圖像。
10. —種圖像再現方法， 一邊按預定時間依次切換作為對象的靜態 圖像一邊進行幻燈片放映再現，其特征在于，從在作為幻燈片放映的對象的靜態圖像中選擇的圖像中提取主角部分，根據上述提取的主角部分生成主角圖像，對于上述作為幻燈片放映的對象的靜態圖像中的各個靜態圖像，判 定是否是適合于合成上述主角圖像的圖像，在被判定為適合于上述合成的靜態圖像中合成主角圖像，生成主角 合成圖像，對于被判定為適合于上述合成的圖像，以幻燈片放映方式再現上述 主角合成圖像，對于被判定為不適合于合成的圖像，以幻燈片放映方式 再現沒有進行合成的圖像。
11. 一種圖像再現裝置，一邊按預定時間依次切換作為對象的靜態圖像一邊進行幻燈片放映再現，其特征在于，上述圖像再現裝置具有提取部，其從在作為幻燈片放映的對象的靜態圖像中選擇的圖像中提取主角部分；主角生成部，其根據上述提取的主角部分生成主角圖像；合成部，其在上述靜態圖像中合成主角圖像，生成主角合成圖像；以及幻燈片放映控制部，其以幻燈片放映方式再現由該合成部合成的圖像。
12. 根據權利要求11所述的圖像再現裝置，其特征在于，上述圖像 再現裝置具有模式設定部，其設定用于固定地顯示上述主角圖像的主角 固定模式、和準備多個上述主角圖像并依次切換著顯示該主角圖像的主 角切換模式。
13. 根據權利要求11所述的圖像再現裝置，其特征在于，上述圖像 再現裝置具有是否適合合成判定部，其在將上述主角圖像合成到上述靜 態圖像中時，判定是否適合合成，在由上述是否適合合成判定部判定為 不適合合成時，上述合成部不進行主角圖像向靜態圖像的合成，而且上圖像。
全文摘要
本發明提供一種可以進行使觀看者感興趣的幻燈片放映的圖像再現裝置和圖像再現方法。從攝影圖像(101～210)中提取主角部分生成主角圖像(47)。把該生成的主角圖像(47)與攝影圖像合成，執行合成幻燈片放映。在進行主角圖像(47)與攝影圖像的合成時，對攝影圖像為微距攝影圖像(120)、近距離攝影圖像(121)、人物占據的比率大的圖像(122)，不執行合成。并且避免主角圖像的重復。
文檔編號H04N1/387GK101360191SQ200810144719
公開日2009年2月4日 申請日期2008年7月30日 優先權日2007年7月31日
發明者細谷基 申請人:奧林巴斯映像株式會社