專利名稱：圖像拍攝裝置及頻閃圖像生成方法
技術領域：
本發明涉及適合于生成頻閃(strobo)圖像的圖像拍攝裝置和頻閃圖像生成方 法。
背景技術：
圖22所示的頻閃圖像(詞匯"頻閃"在美國表示為"頻閃光(strobe light)"，在 本申請說明書中的"頻閃"、"頻閃圖像"在美國通常稱為"閃光(flash)，閃光圖像(flash image)"。其中還使用了頻閃儀(stroboscopic)圖像(使用頻閃的圖像)的例子。另夕卜， 雖然也還補充有多閃圖像(multi-flash image)等含義，但是與頻閃儀圖像相比使用例卻 比較少。)，其采用固定移動的拍攝對象的相機進行攝影，在l個圖像(照相)內表示移動 經過的模樣。在膠片相機(film camera)中，通過在長時間曝光期間對移動的拍攝對象多 次頻閃發光，生成頻閃圖像。在數碼相機普及的今日，也可以在相機內通過計算機進行圖像 處理而生成頻閃圖像，例如日本專利第3793258號公報所記載的那樣。
在頻閃圖像的生成中，通常是將數碼相機的視角和方向置于固定狀態下，通過連 續拍攝對移動拍攝對象進行圖像拍攝。在手持攝影的場合，因為數碼相機存在微動，所以在 所連續拍攝的幀圖像之間視角將發生變動。這里，在拍攝對象(移動拍攝對象)的背景的 景深大時，如果幀圖像間的移動量大，則由于遮擋的影響，而使得原本不應在幀間移動的背 景區域產生差異。如果該差異大，則將背景部分誤認為成移動拍攝對象。其結果是，在所生 成的頻閃圖像上重復(二重合成)背景部分。
發明內容
本發明鑒于所述問題而提出，本發明的目的在于提供一種能夠生成更優質頻閃圖 像的圖像拍攝裝置和頻閃圖像生成方法。 為實現所述目的，本發明第1方面的圖像拍攝裝置具有圖像拍攝單元，由圖像拍 攝生成連續的多個拍攝圖像；拍攝對象提取單元，從所述圖像拍攝單元生成的各拍攝圖像 中，提取表示移動的拍攝對象部分的多個圖像；背景圖像生成單元，根據所述圖像拍攝單元 生成的多個拍攝圖像，生成背景圖像；和頻閃圖像生成單元，對所述背景圖像生成單元生成 的背景圖像和表示所述拍攝對象提取單元提取出的多個拍攝對象部分的圖像進行合成，生 成頻閃圖像，該圖像拍攝裝置的特征在于，還具有移動量檢測單元，檢測所述多個拍攝圖 像中的規定的圖像間的移動量；和圖像平滑化單元，利用與所述移動量檢測單元檢測出的 移動量相應的處理量，對所述圖像進行平滑化處理。
為實現所述目的，本發明第2方面的頻閃圖像生成方法，在進行圖像處理的裝置 中，由拍攝移動的拍攝對象的連續的多個圖像生成頻閃圖像，該頻閃圖像生成方法的特征 在于，所述裝置執行如下步驟拍攝對象提取步驟，從所述多個圖像中提取表示移動的拍攝 對象部分的多個圖像；背景圖像生成步驟，由所述多個圖像生成背景圖像；移動量檢測步 驟，檢測所述多個圖像中的規定圖像間的移動量；圖像平滑化步驟，利用與所述移動量檢測 步驟中檢測出的移動量相應的處理量，對所述拍攝對象提取步驟中提取出的圖像進行平滑 化處理；和頻閃圖像生成步驟，對所述背景圖像生成步驟中生成的背景圖像和表示所述拍 攝對象提取步驟中提取出的多個拍攝對象部分的圖像進行合成，生成頻閃圖像。
本發明所述的這些特點和其他的特點以及優點通過閱讀下面的具體描述和附圖， 變得更加清晰，其中 圖1為表示本發明實施方式的數碼相機結構的方框圖； 圖2為表示圖1所示的控制部所實現的功能的功能方框圖； 圖3為用于說明本發明實施方式的"頻閃圖像生成處理"的流程圖； 圖4A為用于說明圖3所示的"頻閃圖像生成處理"中顯示的設定畫面的顯示例的
圖，表示用于指定相機方向的設定畫面的顯示例； 圖4B為用于說明圖3所示的"頻閃圖像生成處理"中顯示的設定畫面的顯示例的 圖，表示用于指定拍攝對象移動方向的設定畫面的顯示例； 圖5A為用于說明本發明實施方式的拍攝圖像的圖，例舉頻閃圖像生成所需要的 連續拍攝攝影的場面； 圖5B為用于說明本發明實施方式的拍攝圖像的圖，表示圖5A所示的連續拍攝攝 影中得到的拍攝圖像(連續拍攝圖像)的例子； 圖6為用于說明圖3所示"頻閃圖像生成處理"中所執行的"位置對準處理"的流 程圖； 圖7為表示圖6所示的"位置對準處理"中作成的"幀信息表"中記錄的信息的例 子的圖； 圖8為用于說明圖3所示的"頻閃圖像生成處理"中所執行的"一維數據生成處 理"的流程圖； 圖9A為用于說明圖8所示的"一維數據生成處理"的圖，表示拍攝圖像中的坐標 和拍攝對象移動方向的關系； 圖9B為用于說明圖8所示的"一維數據生成處理"的圖，圖9(a)和圖9(b)表示 拍攝圖像的投影和一維數據的例子。圖9(c)為重復表示圖9(a)和圖9(b)所示的一維數 據的圖； 圖10為用于說明圖3所示的"頻閃圖像生成處理"中所執行的"拍攝對象區域檢 測處理"的流程圖； 圖11為用于說明圖3所示的"頻閃圖像生成處理"中所執行的"拍攝對象區域檢 測處理"的流程圖； 圖12為用于說明圖3所示的"頻閃圖像生成處理"中所執行的"拍攝對象區域檢測處理"的流程圖； 圖13A為用于說明圖10 圖12所示的"拍攝對象區域檢測處理"的圖，表示拍攝 對象的移動方向為X方向時檢測出的拍攝對象區域的例子； 圖13B為用于說明圖10 圖12所示的"拍攝對象區域檢測處理"的圖，表示拍攝 對象的移動方向為Y方向時檢測出的拍攝對象區域的例子； 圖14為用于說明圖3所示的"頻閃圖像生成處理"中所執行的"有效幀選擇處理" 的流程圖； 圖15為用于說明圖3所示的"頻閃圖像生成處理"中所執行的"有效幀選擇處理" 的流程圖； 圖16為表示所選擇的有效幀的例子的圖； 圖17為用于說明圖3所示的"頻閃圖像生成處理"中所執行的"背景圖像生成處 理"的流程圖； 圖18為用于說明圖3所示的"頻閃圖像生成處理"中所執行的"拍攝對象圖像提 取處理"的流程圖； 圖19為用于說明圖3所示的"頻閃圖像生成處理"中所執行的"圖像平滑化處理 (l)"的流程圖; 圖20為用于說明遮擋的影響的圖。圖20(a)表示容易受到遮擋的影響的場景的 例子。圖20(b)表示背景部分產生移位的幀圖像的例子。圖20(c)表示本來的背景圖像的 例子。圖20(d)表示為了位置對準而變形的背景圖像的例子。圖20(e)表示本來的背景圖 像和變形后的背景圖像中產生的差異的例子。圖20(f)為表示受到遮擋的影響的頻閃圖像 的例子。圖20(g)表示誤識別為拍攝對象圖像的不要的部分的例子； 圖21為用于說明圖3所示的"頻閃圖像生成處理"中所執行的"圖像合成處理"的 流程圖； 圖22為表示所生成的頻閃圖像的例子的圖； 圖23為用于說明本發明實施方式2的"圖像平滑化處理(2)"的流程圖；
圖24為用于說明本發明實施方式3的"圖像平滑化處理(3)"的流程圖。
具體實施例方式(實施方式1) 下面參照附圖對本發明實施方式進行說明。在本實施方式中，例舉采用數碼照相 機(下稱數碼相機)實現本發明的場合。本實施方式的數碼相機1具有普通數碼相機所具 有的功能，其中，至少含有所謂的連續拍攝功能。這里所述連續拍攝功能指的是能夠在1次 快門操作期間得到連續多個拍攝圖像的功能。 另外，本實施方式的數碼相機1具有通過適用本發明，從連續拍攝功能得到的拍 攝圖像，生成頻閃圖像(多頻閃圖像)的頻閃圖像生成功能。其中，"頻閃圖像"指的是，移 動的拍攝對象移動過程中在1個圖像內所表現出的圖像。在本實施方式中，數碼相機1為 了生成頻閃圖像，是以連續拍攝功能對運動(移動)的拍攝對象進行圖像拍攝的，此時，數 碼相機1的方向和視角在圖像拍攝時不動。
圖1為示出本發明實施方式的數碼相機1的結構的方框圖。如圖1所示，本實施方式的數碼相機l由圖像拍攝部100、數據處理部200、接口 (interface) (I/F)部300、傳感 器部400等構成。 圖像拍攝部100為數碼相機1進行圖像拍攝操作的部分。如圖1所示，由光學裝 置110和圖像傳感器120等構成。 光學裝置110含有透鏡、光圈機構、快門機構等，進行圖像拍攝相關的光學操作。 即，通過光學裝置110的操作，在會聚入射光的同時，對焦距、光圈、快門速度等這樣的、涉 及視角、焦距、曝光等的光學要素進行調整。另外，光學裝置110中所含的快門機構采用機 械快門。在僅通過圖像傳感器操作進行快門操作的場合，光學裝置110中也可以不含快門 機構。另外，光學裝置110通過后述的控制部210的控制而操作。 圖像傳感器部120生成對應于光學裝置IIO所會聚的入射光的電信號。例如 由CCD(Charge Coupled Device :電荷耦合元件)或CMOS(Complementally Metal Oxide Semiconductor :補償金屬氧化物半導體)等的圖像傳感器構成。圖像傳感器120通過光電 轉換，對應于感光的電信號，將其輸出給數據處理部200。 數據處理部200對圖像拍攝部100進行的圖像拍攝操作所生成的電信號進行處 理，生成表示拍攝圖像的數字數據，同時對拍攝圖像進行圖像處理等。如圖l所示，數據處 理部200由控制部210、圖像處理部220、圖像存儲器230、圖像輸出部240、存儲部250、外部 存儲部260等構成。 控制部210由CPU(Central Processing Unit :中央處理器)等的處理器及 RAM (Random Access Mmemory)等的主存儲裝置(存儲器)等構成。控制部210通過執行存 儲在后述的存儲部250等中的程序，對數碼相機1的各部分進行控制。在本實施方式中，通 過執行規定的程序，后述各處理的功能均由控制部210實現。 圖像處理部220由例如，ADC (Analog-Digital Converter :模數轉換器)、緩存器、 圖像處理用處理器(或圖像處理引擎)等構成，基于圖像拍攝部IOO所生成的電信號，生成 表示拍攝圖像的數字數據。 即，在圖像傳感部120輸出的模擬電信號由ADC轉換成數字信號，按照順序存儲在 緩存器中時，通過對所緩沖的數字數據，圖像處理引擎進行所謂的顯影處理等，從而實現畫 質的調整和數據壓縮等的效果。 圖像存儲器230由例如，RAM或閃存等的存儲裝置構成，將圖像處理部220所生成 的拍攝圖像數據及控制部210所處理的圖像數據等暫時存儲。 圖像輸出部240由例如，RGB信號的生成電路等構成，將存儲在圖像存儲器230中 的圖像數據轉換呈RGB信號等，并輸出給顯示畫面(后述的顯示部310等)。
存儲部250由ROM(只讀存儲器)或閃存等存儲裝置構成，存儲數碼相機1的運行 所需要的程序和數據等。本實施方式中，控制部210等執行的操作程序和處理所必須的參 數及計算式等存儲在存儲部250中。 外部存儲器260由存儲卡等這樣的可插拔于數碼相機1的存儲裝置構成，存儲數 碼相機l所拍攝的圖像數據等。 接口部300為用于連接數碼相機1和其用戶或外部裝置的接口的結構。如圖1所
示，接口部300由顯示部310、外部接口 (I/F)部320、操作部330等構成。 顯示部310由液晶顯示裝置等構成，顯示輸出操作數碼相機1所需要的各種畫面，及攝影時的現場圖像、拍攝圖像等。在本實施方式中，基于圖像輸出部240輸出的圖像信號 (RGB信號)等，顯示輸出拍攝圖像等。 外部接口部320由USB (Universal Serial Bus)連接器或視頻輸出端子等構成，
向外部計算機裝置輸出圖像數據，向外部顯示裝置顯示輸出拍攝圖像等。 操作部330由位于數碼相機1外面的各種按鈕等構成，生成對應于數碼相機1的
用戶的操作的輸入信號，并將其輸入控制部210，構成操作部330的按鈕例如有用于指示快
門操作的快門按鈕、用于指定數碼相機1所具有的操作模式的模式按鈕、用于進行各種設
定的十字鍵或功能按鈕等。 傳感器部400是在數碼相機1具有手抖動補償功能時所具有的結構，用于檢測數
碼相機1所產生的運動。傳感器部400由陀螺傳感器等構成，用于檢測由于按下快門按鈕
等時所產生的圖像拍攝時數碼相機1的運動，將檢測值輸入控制部210中。 這里，在本實施方式中，控制部210執行存儲于存儲部250中的操作程序，從而實
現后述的各種處理。下面將參照圖2對此時控制部210所實現的功能進行說明。 圖2為示出控制部210所實現的功能的功能方框圖。在這里，示出為了從使用連
續拍攝功能所拍攝的圖像中生成頻閃圖像的功能所需要的功能結構。此時，如圖2所示，控
制部210具有作為操作模式處理部211、圖像拍攝控制部212、拍攝圖像處理部213、拍攝對
象檢測部214、圖像選擇部215、背景圖像生成部216、頻閃圖像生成部217等功能。 操作模式處理部211通過顯示部310的協作，進行在由數碼相機1的用戶指定數
碼相機1具有的各種操作模式時所必需的畫面顯示及指定的操作模式的每一個模式的設
定畫面顯示等。另外，操作模式處理部211在操作部330的協助下，識別用戶指定的操作模
式，將該操作模式執行所需要的程序及運計算式等從存儲部250中讀取出來，加載到控制
部210的主存儲裝置(存儲器)中。 在本實施方式中，頻閃圖像生成功能的操作模式(頻閃圖像生成模式)由用戶進 行指定，下面說明的控制部210的各功能結構，通過對應于頻閃圖像生成模式的指定，執行 操作模式處理部211所加載的程序的方式實現。 圖像拍攝控制部212通過控制圖像拍攝部IOO，執行數碼相機1中的圖像拍攝操 作。本實施方式中涉及的頻閃圖像生成功能因為從數碼相機1的連續拍攝功能所得到的攝 取圖像中生成頻閃圖像，所以，本實施方式中的圖像拍攝控制部212按照對圖像拍攝部100 進行連續拍攝操作的方式進行控制。此時，在操作部330快門按鈕被按下的期間，圖像拍攝 部100所進行的圖像拍攝操作連續不斷地進行。圖像拍攝控制部212的控制的連續拍攝操 作所得到的拍攝圖像(連續拍攝圖像)經過圖像處理部220的處理，依次存儲在圖像存儲 器230中。此時，對于存儲在圖像存儲器230中的連續拍攝圖像的每個，按照圖像拍攝順序 給予幀序號。 拍攝圖像處理部213將存儲在圖像存儲器230中的連續拍攝圖像按照對應于頻閃 圖像相關處理的形式進行轉換加工，一邊采用拍攝圖像進行各種處理。在本實施方式中，拍 攝圖像處理部213除了進行連續拍攝圖像位置對準之外，還高速提取拍攝對象區域等，為 此，向拍攝圖像的一維數據進行轉換等。拍攝圖像處理部213所轉換的數據存儲在控制部 210的主存儲裝置(存儲器)中。其中，"一維數據"指的是，構成圖像數據的像素值等信息 投影到一維坐標軸上的值。例如，該投影值通過與所述一維坐標軸正交的方向的相加，計算RGB、 YUB等像素值而得到。在本實施方式中，通過將圖像數據投影在規定的1個方向上所 得到的投影數據作為一維數據。此時投影圖像數據的1方向基于作為目標體的拍攝對象的 移動方向確定(后面將詳述)。 拍攝對象檢測部214通過比較各攝取圖像間的一維數據，檢測出各社區圖像中表 示拍攝對象的部分(區域)(文中"拍攝對象""拍攝對象部分""區域"等詞語盡管都在用， 但是它們也可以混用。后文中"圖像內拍攝對象拍照的部分"和"該部分被檢測出的區域" 分別指的是"部分"和"區域")。此時，拍攝對象檢測部214檢測出所檢測的拍攝對象部分 的位置信息(坐標信息)。另外，拍攝對象檢測部214將針對圖像選擇部215所選擇的圖像 的拍攝對象部分，從存儲于圖像存儲器230中的拍攝圖像(連續拍攝圖像)中提取。
圖像選擇部215基于拍攝對象檢測部214所檢測出的拍攝對象部分的位置信息， 選擇不與拍攝對象部分重復的拍攝圖像，從而從連續拍攝圖像中選擇出適合生成頻閃圖像 的圖像(幀)。 背景圖像生成部216根據圖像選擇部215所選擇的拍攝圖像，生成背景圖像。在
這里，背景圖像生成部216針對所選擇的全部拍攝圖像，獲取同一坐標下的像素值，將像素
值的中間值等作為該坐標的像素值，從而生成除拍攝對象之外的背景圖像。 頻閃圖像生成部217通過在背景圖像生成部216生成的背景圖像上合成從所選擇
的拍攝圖像中由拍攝對象檢測部214提取的拍攝對象部分的圖像，從而在1個背景圖像內，
生成不與移動拍攝對象重合的在多個地方展現的頻閃圖像。 以上為通過控制部210所實現的功能。在本實施方式中，通過控制部210執行
程序的邏輯處理，從而實現所述的各種功能，但是，這些功能也可以由ASIC(A卯lication
Specific Integrated Circuit :特定用途集成電路)等硬件構成。此時，在圖2所示的功
能中，也可以是，圖像處理相關功能部分或者整體通過圖像處理部220實現。 如上所述的數碼相機1的結構為實現本發明所必需的結構，數碼相機的基本功能
和各種附加功能結構根據需要也被包含在本發明中。 下面對這種結構的數碼相機1的操作進行說明。在這里，在頻閃圖像生成模式指 定的場合中，關于數碼相機1執行的"頻閃圖像生成處理"，將參照圖3所示的流程圖進行說 明。該頻閃圖像生成處理以通過數碼相機1的用戶對操作部330進行操作，指定頻閃圖像 生成模式的操作為契機而開始。此時，操作模式處理部211通過從存儲部250中加載頻閃 圖像生成模式相關程序等，由圖2所示個功能結構執行如下處理。 處理開始時，操作模式處理部211將用于設定執行頻閃圖像生成模式所需要的設 定畫面顯示于顯示部310 (步驟S101)。在圖4A和圖4B中示出其中所顯示的設定畫面的例 子。 在這里，首先，如圖4A所示，顯示用于設定相機方位(縱橫)的設定畫面。該設定 畫面用于用戶選擇在拍攝作為頻閃圖像的連續拍攝圖像時，數碼相機1是處于橫向位置還 是縱向位置。數碼相機l的用戶操作操作部330，指定連續拍攝圖像時的相機方向。數碼 相機1在因具有加速度傳感器等而具有縱向位置檢測功能等場合，因為能夠使用該檢測結 果，所以無需用戶通過設定畫面進行指定。 如圖4B所示，如果相機方向指定，操作模式處理部211在顯示部310顯示用于設 定拍攝對象移動方向的設定畫面。即，在頻閃圖像生成模式中，因為將對所移動的拍攝對象進行攝影，所以，在這里設定其移動方向。如圖4B所示，在設定拍攝對象移動方向的設定畫 面上，顯示表示4個方向的箭頭。用戶通過操作操作部330的十字鍵等，設定攝影的拍攝對 象的移動方向。 操作模式處理部211將進行如此設定的，相機方向及拍攝對象的移動方向，記錄 在控制部210的主存儲裝置(存儲器)等之中，從而進行頻閃圖像生成模式相關設定(步 驟S102)。 在這里，圖5A例舉在頻閃圖像生成模式下進行攝影的場合的數碼相機1和拍攝對 象之間的關系。此時，假定用數碼相機1對從左向右移動的拍攝對象MV進行攝影。此時， 數碼相機1保持方向和視角不變進行攝影。在圖5A例舉的攝影的場合，步驟S102中設定 的內容為"相機方向橫向位置"、"拍攝對象移動方向一(右)"。即，設定成拍攝對象橫向 移動。 如上所述，因為在頻閃圖像生成模式中連續拍攝圖像，所以，數碼相機1的用戶在
進行所述設定之后，操作操作部330的快門按鈕，開始進行攝影。因此，操作模式處理部211
在指定頻閃圖像生成模式時，指示圖像拍攝控制部212進行連續拍攝圖像。 然后，如果數碼相機l的用戶(攝影者)操作(按下)快門按鈕(操作部330)，對
應于操作的輸入信號從操作部330輸入控制部210中。這樣，圖像拍攝控制部212判斷對
快門按鈕操作(步驟S103 :是)，控制圖像拍攝部100進行連續拍攝圖像(步驟S104)。該
連續拍攝圖像操作在用戶按下快門按鈕持續期間進行(步驟S105 :否)。 快門按鈕操作結束時(步驟S105 :是)，圖像拍攝控制部212指示圖像拍攝部100
圖像拍攝操作結束。這樣，連續拍攝圖像操作結束，連續拍攝圖像得到的圖像(連續拍攝圖
像)依次經過圖像處理部220的處理而存儲在圖像存儲器230 (步驟S106)中。 圖5B列舉在對圖5A例示的場面進行連續拍攝圖像時得到的連續拍攝圖像的例
子。如圖5B所示，拍攝對象MV移動的樣子用多個拍攝圖像表示。如上所述，因為在數碼相
機1方向和視角不變的狀態下進行攝影，所以，各連續拍攝圖像中拍攝對象MV之外的部分
(即背景)變化不大。 在這里，連續拍攝圖像操作中得到的連續拍攝圖像分別按照圖像拍攝時的時間順 序給予編1 P的幀序號。在圖5B的例子中，得到的是幀1 幀12(即p = 12)的圖像。
如果以這樣的方式進行連續拍攝圖像，則依次進行使用得到的連續拍攝圖像而生 成頻閃圖像用的處理。此時，圖像拍攝控制部212將連續拍攝圖像結束信息通知給拍攝圖 像處理部213，從而通過拍攝圖像處理部213執行用于進行連續拍攝圖像位置對準的"位置 對準處理"(步驟S200)。下面參照圖6所示流程圖對該"位置對準處理"進行說明。
在處理開始時，拍攝圖像處理部213從存儲于圖像存儲器230中的拍攝圖像幀 (1 P)中，設定在檢測所連續拍攝的一系列拍攝圖像間移動量時的作為基準的幀(以下稱 為基準幀N)(步驟S201)。在這里，例如，第1幀作為基準幀N。 然后，拍攝圖像處理部213通過指定拍攝圖像幀的指針n，指定步驟S201中設定的 基準幀N的下一幀(即N+l)(步驟S202)。 拍攝圖像處理部213檢測出基準幀N和第n幀(以下稱為幀n)之間的移動量 VF (步驟S203)。此時，拍攝圖像處理部213通過求得表示基準幀N上設定的特征點和幀n 上的該特征點的位置偏移的矢量，求得幀間的移動量。
這里的幀間的移動量表示拍攝圖像全體的晃動等。用于生成頻閃圖像的攝影是在 所述數碼相機l的方向和視角固定的狀態下進行的。因此，最好，使用三腳架等用于固定數 碼相機1等而攝影，根據情形手持相機而攝影也可以。在手持的場合，在連續拍攝圖像期
間，數碼相機l的晃動在所難免。此時，將產生幀間位置偏離。 此時，拍攝圖像處理部213判斷步驟S203中檢測出的移動量VF是否小于第1閾 值thl (步驟S204)。其中，頻閃圖像因為是通過在同一背景圖像上合成表示移動拍攝對象 的多個拍攝對象圖像而生成的，所以，最好，背景部分在所拍攝的多個幀范圍內基本保持固 定。但是，如所述數碼相機l的晃動導致幀間位置出現偏移的場合，幀間背景部分將會產生 較大的差別。因此，在生成頻閃圖像時，背景部分會出現重復的現象。為了嚴格甄別該幀， 對第1閾值thl，設定能夠校正背景部分為固定的移動量VF的允許范圍的上限值。
在基準幀N和幀n之間的移動量VF小于第1閾值thl時(步驟S204 :時)，幀n 相對基準幀N不會產生很大的位置偏離。此時，拍攝圖像處理部213將幀n指定為能夠用 于頻閃圖像生成用幀(有效幀)(步驟S207)。 在本實施方式中，后級"有效幀選擇處理"中，基于拍攝對象位置進行有效幀的選 擇。在這里，"位置對準處理"中所指定的"有效幀"為"幀級別的有效幀"。另外，將后述的 "有效幀選擇處理"中指定的"有效幀"作為"拍攝對象級別的有效幀"。
另一方面，在幀間移動量VF大于第1閾值thl的場合(步驟S204 :否)，拍攝圖像 處理部213比較該移動量VF和第2閾值th2 (thl < th2)(步驟S205)。在這里，即使在檢 測出移動量VF在第1閾值thl以上時，進行使幀n的圖像變形的圖像處理，從而能夠對位 置偏移在允許范圍內進行補償。因此，對第2閾值th2，設定能夠根據圖像變形進行補償的 移動量VF的允許范圍的上限值。 在檢測出的移動量VF小于第2閾值th2時(步驟S205 :是)，拍攝圖像處理部213
進行使幀n的圖像進行變形的圖像處理，從而進行位置對準(步驟S206)。 針對由于這樣的圖像變形而能夠進行位置對準的幀n，因為與基準幀N的差別位
于允許范圍內，所以，拍攝圖像處理部213將幀n指定為能夠用于生成頻閃圖像的有效幀
(幀級別)(步驟S207)。 另外，在幀間移動量VF大于第2閾值th2的場合(步驟S205 :否)，即使進行圖像 變形，與基準幀N之間的差異也不能位于允許范圍內。此時，由于拍攝圖像處理部213從生 成頻閃圖像時合成的目標中剔除該幀，所以將該幀n指定為無效幀(步驟S208)。
進行如上處理的拍攝圖像處理部213，為了記錄關于所拍攝的幀圖像的信息，在例 如，主存儲裝置(存儲器)內生成如圖7所示的"幀信息表"。如圖7所示，該"幀信息表" 中，制作將圖像拍攝時的幀序號(1 P)作為密鑰的記錄，各記錄中記錄針對該幀的信息。
進行如所述各處理的拍攝圖像處理部213，針對各幀，將表示是否為幀級別的有效 幀的信息、和表示與基準幀N的差別的移動量VF和各閾值比較的信息，記錄在"幀信息表" 中。例如，針對步驟S207中指定為"有效幀"的幀，在"有效幀(幀級別)"一欄中記錄為 "0K"，對于在步驟S208中指定為"無效幀"的幀，則記錄為"NG"。 如果對幀n進行如上的處理，則拍攝圖像處理部213將指針n加1，從而指定下一 幀(步驟S209)。進一步，拍攝圖像處理部213在n的值為表示拍攝圖像最終幀的p值以下 時(步驟S210 :否)，則進行步驟S203以后的處理，從而，針對各幀，依次指定在幀級別上為有效幀還是無效幀。 然后，如果對拍攝圖像所有的幀都進行了如上處理(步驟S210 :是)，則本處理結 束，返回到"頻閃圖像生成處理"的流程(圖3) 在數碼相機1具有手抖動補償功能的場合，數碼相機1具有用于檢測數碼相機1 自身產生運動的傳感器部400(陀螺傳感器等)。此時，對每一幀記錄連續拍攝圖像時檢測 出的傳感器部400的檢測值，基于該檢測值能夠求得幀間移動量VF。 在"位置對準處理"結束時，拍攝圖像處理部213執行用于將連續拍攝圖像一維數 據化的"一維數據生成處理"(步驟S300)。下面參照圖8對該一維數據生成處理進行說明。 另外，為了容易理解，下面的說明中，相機方向設定為"橫向位置"。 處理開始時，拍攝圖像處理部213對指針n設定幀序號的初始值"1"(步驟S301)， 選擇存儲在圖像存儲器230中的連續拍攝圖像幀序號n的圖像(幀n)作為處理對象(步 驟S302)。 如果選擇了處理對象圖像，拍攝圖像處理部213進行該圖像調查坐標的初始化處 理(步驟S303)。在這里，拍攝圖像處理部213將x坐標和y坐標分別取值為"O"的坐標設 為初始調查坐標。其中，針對圖像上的坐標，參照圖9A進行說明。在本實施方式中，因為相 機方向為"橫向位置"，所以，數碼相機1得到的拍攝圖像成圖9A所示的橫長圖像。此時，圖 像的左右方向為"X方向"上下方向為"Y方向"。在這里，將該圖像的左上端部作為坐標原 點(O，O)。此時，X方向的像素數取為sizeX， x坐標的最大值為sizeX-l。同樣，Y方向的 像素數為sizeY， y坐標的最大值為sizeY-l。 接下來，拍攝圖像處理部213判定所述頻閃圖像生成處理(圖3)的步驟S102中 設定的拍攝對象移動方向是圖9A所定義的拍攝圖像的坐標系中的X方向還是Y方向(步 驟S304)。在這里，相機方向為橫向位置的場合，如果指定為圖4B所示的設定畫面左右方向 的任意方向，則拍攝對象的移動方向為X方向(橫向)。另一方面，如果指定為上下方向的 任意方向，則進行拍攝拍攝對象的移動方向為Y方向(縱向)。 在圖5A例舉的場面中，對橫向移動的拍攝對象MV進行拍攝，所以，判定拍攝對象 的移動方向為X方向(步驟S304:是)。拍攝對象移動方向為X方向時，拍攝圖像處理部 213在與拍攝對象移動方向正交的方向，即Y方向上進行投影圖像處理。
此時，拍攝圖像處理部213在處理對象圖像的X方向的坐標的整個坐標中對Y方 向的像素值進行相加，并投影在Y方向上(步驟S305、步驟S306、步驟S307 :是)。因為在 步驟S303中進行調查坐標的初始化處理，所以，首先，拍攝圖像處理部213在步驟S305中， 將對應x坐標0的y坐標的像素值相加，將其結果存儲在控制部210的主存儲裝置(存儲 器)中。接著，拍攝圖像處理部213在步驟S306中，將x坐標值+l，對下一個x坐標進行同 樣的計算。重復進行這種處理，x坐標即該圖像在X方向的尺寸，即X方向的像素。
另一方面，拍攝對象移動方向為Y方向(上下方向)的場合(步驟S304:否)，采 用同樣的方法，在與移動方向正交的方向即X方向投影圖像(步驟S308、步驟S309、步驟 S310 :是)。 在處理圖像中的投影結束時(步驟S307 :否或步驟S310 :否)，拍攝圖像處理部 213將指針n加1(步驟S311)。如果與新的指針n對應的幀序號在最終幀的幀序號p以 下(步驟S312 :否)，則拍攝圖像處理部213選擇下一個連續拍攝圖像作為處理對象(步驟S302)。 另一方面，針對所有的連續拍攝圖像的攝影結束時(步驟S312 :是)，則返回到頻 閃圖像生成處理(圖3)的流程。 這樣，通過一維數據生成處理進行投影，連續拍攝圖像分別轉換呈圖9B(a)或(b) 所示的一維數據。這種一維數據生成可以用數學式1表示。
(數學式l) fn(x):像素值Fn(x，y)的Y方向投影
fn(x)= ZFwO，力
少=0 sizeY:Y方向像素數 fn(y):像素值Fn(x，y)的X方向投影fn(y)= J]F"O,力
;t=0 sizeX:X方向像素數 這樣，如果針對每一個連續拍攝圖像，生成一維數據(投影數據)，則拍攝圖像處 理部213將所生成的一維數據與初始拍攝圖像幀序號一一對應起來并依次存儲在圖像存 儲器230中。另外，拍攝圖像處理部213將針對所有連續拍攝圖像的一維數據所生成的指令 通知給拍攝對象檢測部214。在這里，拍攝對象檢測部214根據來自拍攝圖像處理部213的 通知，執行利用轉換的一維數據檢測拍攝對象用的"拍攝對象區域檢測處理"(步驟S400)。
首先，參照圖9B(a) (c)對從連續拍攝圖像的一維數據中檢測出拍攝對象部分 的處理的概念進行說明。圖9B(a)表示在如圖5A所示的場面中，沒有拍攝對象MV的狀態 下拍攝的拍攝圖像的例子(上級)和該拍攝圖像的一維數據的例子(下級)的圖。另外， 圖9B(b)表示在有拍攝對象MV的狀態下拍攝的拍攝圖像的例子(上級)和該拍攝圖像的 一維數據的例子(下級)的圖。 在本實施方式的數碼相機1進行頻閃圖像生成時，因為所述數碼相機1的方向和 視角不變而進行連續拍攝圖像，所以，在得到的多個連續拍攝圖像間，拍攝對象MV之外的 背景部分沒太大的變化。因此，如果對各連續拍攝圖像間的一維數據進行比較，則在拍攝對 象MV的范圍內將出現變化。在這里，為了便于理解，將沒有拍拍攝對象MV的圖像和拍攝了 拍攝對象MV的圖像的一維數據分別示出在圖9B(a)和(b)中。如果比較各自的一維數據， 圖9B(b)中拍攝拍攝對象MV的地方的數據和(a)是不一樣的，其他的部分的數據則相同。
S卩，如果將兩圖像的一維數據重合示出在圖9B的(c)中，則存在不一致的地方。這 種一維數據不一致的地方在于，拍攝對象MV拍攝的范圍處(拍攝對象移動方向為X方向時 為X方向的范圍，移動方向為Y方向時為Y方向的范圍)。因此，如果取時序順序鄰接的連 續拍攝圖像間一維數據的差別，即表明拍攝對象范圍的變化。 拍攝對象檢測部214基于這種原理進行處理，從而進行連續拍攝圖像中的拍攝對 象部分的檢測。下面將參照圖10 圖12所示的流程圖對其中所執行的拍攝對象區域檢測 處理(步驟S400)進行說明。 在處理開始時，首先，拍攝對象檢測部214基于頻閃圖像生成處理(圖3)的步驟 S102中的設定內容，判別拍攝對象的移動方向為X方向還是Y方向(步驟S401)。下面以拍攝對象移動方向為X方向的場合(步驟S401 :是)為中心進行說明。
此時，拍攝對象檢測部214對調查目標的X方向的坐標進行初始化處理。如上所述，拍攝圖像的坐標范圍為(O，O) (sizeX-l，sizeY-l)，所以，x坐標的初始值為"O"(步驟S402)。 接著，拍攝對象檢測部214通過指定指針n為1 p以依次指定連續拍攝圖像的幀，針對各幀，從圖像存儲器230中獲取在"一位數據生成處理"(圖8)中所生成的對應坐標x的一維數據，并存儲在控制部210的主存儲裝置(存儲器)中(步驟S403 步驟S406 :否)。 如果獲得全部幀的一維數據(步驟S406 :是)，則拍攝對象檢測部214對取得的一維數據進行排序(步驟S407)，將其中間值作為坐標x表示背景圖像時的像素值fb(x)(步驟S408)。 該操作對x坐標的各點均實施(步驟S409，步驟S410 :否)。如果針對所有幀的所有x坐標(0 sizeX-l)均得到了背景像素值fb(x)(步驟S410 :是)，則進入步驟S411 (圖11)。 在這里，拍攝對象檢測部214不但將指針n取為幀初始值"l"，并且使x坐標為坐標初始值"0"(步驟S411、步驟S412)。然后，拍攝對象檢測部214計算第n幀的該x坐標中的像素值fn(x)，和步驟S408中求得的該坐標x的背景像素值fb(x)的差fd(x)(=fb (x) -fn (x) I)(步驟S413 :是，步驟S414)。 拍攝對象檢測部214通過判斷計算出的差值fd(x)是否比規定的閾值DiffTh大，以判定該坐標x是否為表示拍攝對象的部分(步驟S415)。 S卩，由于背景像素值fb(x)為坐標x表示背景圖像時的像素值，所以，如果實際像素值fn(x)相對背景圖像的像素值，有較大差異，則幀n的坐標x則表示除背景之外的部分即拍攝對象MV。因此，設定用于進行如此的判定的閾值DiffTh，在差值fd(x)比閾值DiffTh大時，則可以判定像素值fn (x)為表示拍攝對象部分像素值。 在這里，在像素值fd(x)為閾值DiffTh以下時(步驟S415 :否)，則第n幀中的坐標x不是拍攝對象部分。此時，拍攝對象檢測部214將x坐標+1 (步驟S416)，如果為圖像尺寸內的坐標(步驟S413:是)，則針對下一坐標x進行同樣的判別(步驟S414，步驟S415)。
在這里，在步驟S412的初始化處理中，x坐標為作為圖像的左端的"0"，所以，在判斷為調查坐標的坐標x表示拍攝對象部分的像素(步驟S415 :是)時，拍攝對象檢測部214使該x坐標為與第n幀中的拍攝對象部分的左端對應的坐標L(n)(步驟S417).
即，從拍攝圖像的左端的x = 0位置起， 一邊將x坐標+1 —邊進行判別，所以，步驟S412 S416的處理成為從圖像的左端開始進行拍攝對象部分的探索。在這里，針對x坐標的拍攝對象范圍存在寬度，所以，針對拍攝對象的范圍的右端也需要進行具體設定。因此，如果指定拍攝對象部分的左端，則拍攝對象檢測部214進行搜索拍攝對象部分的右端的操作。 此時，從拍攝圖像的右端側開始拍攝對象部分的搜索。所以，拍攝對象檢測部214將調查坐標x取為表示拍攝圖像右端的x坐標即sizeX-l (步驟S418)。其中，因為搜索拍攝對象的右端，所以，調查坐標x必須比步驟S417中拍攝對象部分的左端的坐標L(n)更靠右側。因此，拍攝對象檢測部214在調查坐標x比L(n)大時(步驟S419 :是)，計算出針對該坐標x的fd (x)(步驟S420)，判斷計算出的fd (x)是否比閾值DiffTh大(步驟S421).
在坐標x的fd(x)比閾值DiffTh小，不表示拍攝對象部分的時候(步驟S421 :否)，拍攝對象檢測部214將調查坐標x減1，向左移動1個坐標(步驟S422)，針對該坐標x進行同樣的判斷(步驟S419，步驟S420，步驟S421)。這樣，在從拍攝圖像的左端側起開始搜索，在判斷調查坐標x中的像素表示拍攝對象部分的場合(步驟S421 :是)，拍攝對象檢測部214使該坐標x為幀n中的拍攝對象部分的右端的坐標R(n)(步驟S423)。
在從圖像的左端開始搜索而沒有檢測到拍攝對象部分時(步驟S413 :否)或者在從右端側開始設定的x坐標比拍攝對象左端L(n)還靠左側的場合(步驟S419 :否)，則在該幀n中沒有拍攝對象部分，例如進行L(n) =R(n)這樣的數值設定，將調查目標移至下一幀(步驟S424)。 另外，同樣在針對幀n檢測出拍攝對象范圍的場合，將下一幀作為調查目標，進行所述的處理(步驟S424，步驟S425:否)。然后，針對全部的幀檢測拍攝對象區域(步驟S425 :是)時，則返回到"頻閃圖像生成處理"(圖3)的流程。 以上為拍攝對象移動方向為X方向的場合的拍攝對象區域檢測的操作。此時，如
圖13A所示，依次求得各幀中出現的拍攝對象MV的X方向的范圍。如此求得的拍攝對象范
圍的坐標(L(n)和R(n))對應于幀序號而存儲在主存儲裝置(存儲器)等中。 另一方面，在拍攝對象的移動方向為Y方向的場合，對Y方向進行和所述一樣的處
理。即，進行圖10的步驟S426 步驟S434和圖12的步驟S435 步驟S449，從而分別求
得各幀中出現的拍攝對象圖像的上端坐標T(n)和下端坐標B(n)(參照圖13B)。 這樣，如果檢測出拍攝對象區域，則拍攝對象檢測部214將該指令通知給圖像選
擇部215。此時，圖像選擇部215基于所檢測出的拍攝對象區域，執行"有效幀選擇處理"(圖
3的步驟S500)，該處理用于選擇頻閃圖像生成用拍攝圖像(有效幀)。下面參照圖14和圖
15所示的流程圖對該有效幀選擇處理進行說明。 處理開始時，圖像選擇部215首先判定拍攝對象移動方向時X方向還是Y方向(步驟S501)。在這里，圖14的流程圖表示時拍攝對象移動方向為X方向時的處理。另外，圖15流程圖表示Y方向時的處理。 在拍攝對象移動方向為X方向的場合(步驟S501 :時)，圖像選擇部215將指針n作為幀初始值"l"(步驟S502)、然后，圖像選擇部215基于所述"位置對準處理"的處理結果，判斷該第n幀(幀n)是否指定為幀級別的有效幀(步驟S503)。此時，圖像選擇部215參照在控制部210的主存儲裝置(存儲器)中所生成的"幀信息表"(圖7)，判斷幀n是否指定為幀級別的有效幀。 其中，在指定為幀級別的"無效幀"的場合(步驟S503 :否)，因為背景部分與基準幀N偏離很大，所以，如果將該幀n用于頻閃圖像生成，則具有背景部分會出現重復的危險。因此，圖像選擇部215在這里指定成無效幀(步驟S504)。 此時，如圖7所示的"幀信息表"的例子中，例如，如幀序號"3"的記錄那樣，在"有效幀(幀級別)"和"無效幀(拍攝對象級別)"欄的兩欄中均記錄為"NG"。
另一方面，在幀n指定為幀級別"有效幀"的場合(步驟S503 :是)，圖像選擇部215基于所述"拍攝對象區域檢測處理"的檢測結果，判斷幀n是否存在拍攝對象區域(步驟S505)。在這里，針對幀n記錄表示拍攝對象區域的范圍的L(n)和R(n)(或者T(n)和B(n))，并且，如果為L(n) ^R(n)(或者T(n) # B (n))，則判斷從幀n檢測到拍攝對象區域。
在這里，在從幀n中未檢測出拍攝對象區域的場合(步驟S505 :否)，圖像選擇部215將幀n指定為不用于頻閃圖像生成的無效幀(步驟S504)。 在步驟S504中將幀n指定為"無效幀"的場合，圖像選擇部215通過將指針n加l，從而指定下一幀(步驟S510)。在這里，如果n的值為最終幀p以下(步驟S511 :否)，則進行步驟S503以后的處理。 這樣，圖像選擇部215依次判斷作為幀級別有效幀的幀中的拍攝對象區域的有無。然后，圖像選擇部215將判斷存在拍攝對象區域的最初的幀選擇成有效幀(步驟S505 :是，步驟S506 :否，步驟S508)。在這里，圖像選擇部215對于選擇作為有效幀的幀(連續拍攝圖像)給予與幀序號有別的有效幀序號。此時，圖像選擇部215對于步驟S508中選擇作為最初有效幀的幀給予"l"的有效幀序號。進一步，圖像選擇部215對于用于指定有效幀的指針m，設定在步驟S508中所選擇的幀的幀序號(步驟S509)。 該處理中，圖像選擇部215在"幀信息表"(圖7)中記錄表示是否為拍攝對象級別的有效幀的信息、和給予有效幀(拍攝對象級別)的有效幀序號。 首先，圖像選擇部215選擇最初的有效幀，而且將該幀的幀序號設定為指針m。然后，圖像選擇部215將指針n加1以指定下一幀(步驟S510)、如果n值為最終幀p以下(步驟S511 :否)，則進行步驟S503以后的處理。即，對下一用于頻閃圖像生成的幀進行搜索。
在選擇了最初的有效幀之后(步驟S506 :是)，圖像選擇部215通過在比較調查目標幀(第n幀)和之前選擇的有效幀(指針m指定的幀)之間比較拍攝對象區域的位置，將前一有效幀和拍攝對象部分不重合的幀選擇作為有效幀。 在這里，在拍攝對象的移動方向為X方向的場合，存在從左向右和從右向左移動兩個情況。如果從左向右移動，則幀n中的拍攝對象區域需要比幀m中的拍攝對象區域更靠右側。另一方面，如果從右向左移動，則幀n中的拍攝對象區域需要比幀m中的拍攝對象區域更靠左側。 因此，圖像選擇部215在幀n的拍攝對象左端L(n)比幀m的拍攝對象右端R(m)大，幀n的拍攝對象右端R(n)比幀m的拍攝對象左端L(m)小時，判斷幀n的拍攝對象部分與幀m的拍攝對象部分不重合(步驟S507)。 如果幀n的拍攝對象區域滿足該條件(步驟S507 :是)，則圖像選擇部215將該第n幀選擇作為有效幀(步驟S508)。另一方面，如果條件不相符(步驟S507 :否)，則圖像選擇部215使第n幀作為不用于頻閃圖像生成的無效幀(步驟S504)。 同樣針對后面的連續拍攝圖像，按照該條件判斷進行有效幀的選擇，調查所有的連續拍攝圖像，進行有效幀的選擇(步驟S511 :是)，此時，如圖16所示，甄別被給予了與幀序號不同的有效幀序號的有效幀和不用于頻閃圖像生成的無效幀。 如圖16所示，有效幀序號對于所選擇的有效幀按照時序順序構成連續號碼。此時，將所選擇的有效幀數記為P—(P—《P)。這樣，通過給予表示所選擇的有效幀的識別信息，從而能夠從存儲于圖像存儲器230中的連續拍攝圖像中甄別有效幀。另外，也可通過將無效幀從圖像存儲器230中刪除，在圖像存儲器230中僅留下有效幀。
以上為拍攝對象在X方向移動時選擇有效幀的操作。在拍攝對象的移動方向為Y方向的場合(圖14的步驟S501 :否)，也可以進行同樣的處理來選擇有效幀。S卩，通過執行如圖15所示的流程圖的步驟S512 步驟S521，從而將沿Y方向移動的拍攝對象圖像不重合的幀選擇為有效幀。此時，選擇最初有效幀之后的選擇條件考慮拍攝對象從上向下移動的場合和從下向上移動的場合。 S卩，如果從上向下移動，則需要幀n的拍攝對象區域位于之前選擇的有效幀m的拍攝對象區域的下游。另一方面，如果從下向上移動，則幀n的拍攝對象區域需要位于之前所選擇的有效幀m的拍攝對象區域的上游。 因此，圖像選擇部215在幀n的拍攝對象上端T(n)比之前所選擇的有效幀m的拍攝對象下端B (m)大，幀n的拍攝對象下端B (n)比之前所選擇的有效幀m的拍攝對象上端T(m)小時，判斷幀n的拍攝對象部分與之前所選擇的有效幀m的拍攝對象部分不重合(圖15的步驟S517)。 如上所述，從將拍攝圖像投影在1個方向上的一維數據中進行拍攝對象區域的檢測和不與拍攝對象部分重合的幀的選擇。即，基于數據量的很少的一維數據，選擇頻閃圖像生成用圖像(有效幀)，與采用拍攝圖像全部數據相比，至圖像選擇結束其處理量得到大幅削減。 這樣，如果選擇了頻閃圖像生成用圖像(有效幀)，則在"頻閃圖像生成處理"(圖3)中，利用所選擇的幀圖像數據，依次進行用于生成頻閃圖像的背景圖像的"背景圖像生成處理"(步驟S600)，和用于從有效幀中提取拍攝對象部分圖像的"拍攝對象圖像提取處理"(步驟S700)。 下面參照圖17所示的流程圖對"背景圖像生成處理"進行說明。當圖像選擇部215將有效幀選擇處理結束信息通知給背景圖像生成部216時，該背景圖像生成處理開始。
在處理開始時，背景圖像生成部216對有效幀進行調查的坐標(x， y)進行初始化處理。在這里，x和y各自的初始值均為"O"，從而將有效幀的坐標原點(O，O)作為調查坐標(步驟S601)。 然后，背景圖像生成部216用指定有效幀的指針rT依次指定1 p—，從而從存儲于圖像存儲器230中的所有的有效幀(1 p—)中依次得到所設定的坐標(x， y)的像素值(步驟S602 步驟S604、步驟S605 :否) 如果從全部有效幀中得到坐標(x，y)的像素值(步驟S605 :是)，則背景圖像生成部216對所獲得的像素值進行排序(步驟S606)，將其中間值作為坐標(x， y)表示背景部分時的像素值(背景像素值fb— (x， y)(步驟S607)。 如果求得坐標(x，y)的背景像素值fb— (x，y)，則背景圖像生成部216依次將有效幀的圖像范圍內的坐標作為調查坐標，求得該坐標(x， y)的背景像素值fb— (x， y)，(步驟S608、步驟S609 :否，步驟S602 步驟S607)。在這里，針對同一 y坐標的x坐標依次+1，如果x坐標到達圖像的右端，則將y坐標+1，并且將坐標x歸0，通過重復該操作，依次得到(O，O)到(sizeX-l，sizeY-l)的像素值，求得各坐標背景像素值fb— (x， y)。
如果根據求得所有的坐標而求出背景像素值fb— (x，y)(步驟S609 :是)，則背景圖像生成部216將求得的背景像素值fb— (x，y)作為各坐標的像素值，從而生成表示僅為有效幀表示的背景部分的背景圖像(步驟S610)。背景圖像生成部216在將所生成的背景圖像存儲在圖像存儲器230的同時，將生成背景圖像的指令通知給拍攝對象檢測部214，處理結束。
此時，處理返回到頻閃圖像生成處理(圖3)，執行"拍攝對象圖像提取處理"(步驟S700)。該拍攝對象圖像提取處理在生成背景圖像時，，通過拍攝對象檢測部214而進行。下面參照圖18所示的流程圖，對該拍攝對象圖像提取處理進行說明。 處理開始時，首先，拍攝對象檢測部214進行坐標(x， y)的初始化處理(步驟S701)和目標幀的初始化處理(步驟S702)。然后，拍攝對象檢測部214從有效幀l p—中依次得到坐標(x， y)的像素值frT (x， y)，計算與該坐標(x， y)的像素值fb— (x， y)的差fcf (x， y)(步驟S703 步驟S705、步驟S706 :否) 如果根據所有有效幀，計算坐標(x， y)的差fcf (x， y)(步驟S706 :是)，則拍攝對象檢測部214計算出所計算的差fcf (x， y)的標準偏差fs(x， y)(步驟S707，在這里，拍攝對象檢測部214通過計算數學式2計算出標準偏差f s (x， y)。
(數學式2) 其中，fcf (rT ， x， y)為幀n—的坐標(x， y)的差fcf (x， y)。 當計算出坐標(x， y)的標準偏差fs(x， y)，拍攝對象檢測部214使調查坐標在有效幀圖像范圍內移動，依次計算出各坐標中標準偏差fs(x，y)(步驟S708、步驟S709 :否，步驟S702 步驟S707)。 當計算出各坐標的標準偏差fs(x， y)(步驟S709 :是)，拍攝對象檢測部214基于計算出的標準偏差f s (x， y)，設定各有效幀的拍攝對象部分判別用的變動閾值move (步驟S710)。在這里，通過計算數學式3，設定變動閾值move。
(數學式3) maxm :滿足f s (x， y))) < f cf (rT ， x， y)))的像素數 如果設定變動閾值move，拍攝對象檢測部214從存儲于圖像存儲器230中的有效幀(1 P—)中，分別獲取fcf (x，y) ^變動閾值move的像素值(步驟S711，步驟S712)。
拍攝對象檢測部214將構成這種條件的像素值作為幀rT中表示拍攝對象部分的像素值(步驟S713)，對由該像素值表示的拍攝對象部分，執行用于插補圖像缺損的"圖像平滑化處理"(步驟S900)。下面參照圖19所示流程圖對本實施方式"圖像平滑化處理(1)"進行說明。 處理開始時，拍攝對象檢測部214從控制部210的主存儲裝置(存儲器)中生成的"幀信息表"(圖7)中，參照該幀rT和基準幀N之間的移動量VF的信息(步驟S911)，判斷移動量VF是否小于第1閾值thl (步驟S912)。 如上所述，由于第1閾值thl為幀間背景部分可視為不變的移動量VF的允許范圍的上限值，所以，如果基準幀N的移動量VF小于第l閾值thl，則由于幀間差別微小，所以背景部分的差別也微小。
因此，此時(步驟S912 :是)，為了進行對所提取的拍攝對象區域的缺損進行修復 而平滑的處理，拍攝對象檢測部214以常規的處理量進行所謂的形態學計算。在這里，例 如，進行形態膨脹(dilation)(步驟S913)，之后進行2次形態收縮(erosion)(步驟S914)， 之后又進行形態膨脹(dilation)(步驟S915)。 另一方面，如果移動量VF大于第1閾值thl (步驟S912 :否)，針對幀rT ，在所述的 "位置對準處理"(圖6)中，進行圖像變形的位置對準。此時，因為圖像發生變形，所以，對于 背景部分，本來的圖像和變形后的圖像之間產生差異，將該差異部分誤識別為拍攝對象MV。
特別是，如圖20(a)例示，在拍攝景深大的場景的時候，由于所謂的遮擋 (occlusion)的影響，在幀圖像整體移動時的背景的差異容易變大。 例如，在圖20(a)所示的幀圖像的下一幀N+1為圖20(b)所示的圖像的場合，由于 手持攝影導致的數碼相機1的微動等，本來應該不變的背景部分發生移位，如果該移動量 VF大于第1閾值thl，則通過所述"位置對準處理"(圖6)，對幀N+l進行圖像變形的位置 對準。 此時，對于幀N，如圖20(c)所示，示出了本來的背景圖像的樣子，但是，對于幀 N+l，如圖20(d)所示，示出了變形后的背景圖像的樣子。由于通過圖像變形而進行位置對 準，所以，即使幀N的背景圖像和幀N+l的背景圖像的位置相同，如圖20 (e)所示，對于背景 圖像的形狀等也會產生差異。 在圖20所示的景深大的場景的場合，這種背景部分的形狀的不同由于遮擋的影 響呈現大的差異。如果從這些圖像中提取背景圖像和拍攝對象區域，將它們合成為頻閃圖 像，則如圖20(f)所示，表現出背景部分的差異的一部分等。因為背景部分原本固定，所以， 這些部分屬于不需要的背景圖像。 如果這種無用部分在幀圖像上接近拍攝對象MV，則如圖20(g)所示，該無用部分 誤識別為拍攝對象MV而提取。所述由形態學計算而進行的平滑化處理盡管修復插補拍攝 對象圖像的缺損，但是通過增加此時的計算量，能夠抵消圖20(g)所示的誤識別的背景部 分。 但是，如果一律地增加計算量，則處理負擔將會加重，頻閃圖像生成處理時間加 長。另外，在應該識別為本來的拍攝對象MV(運動體)的區域為比較小的場合等情況下，存 在消除該區域的可能性。因此，如果改變對容易受到遮擋影響的幀和難以受到該影響的幀 進行平滑化處理的權重情況，則可以有效除去背景部分誤識別為拍攝對象(運動體)的區 域。 因此，在本處理中，基于幀間的移動量VF，判斷目標幀是否容易受到遮擋的影響， 對應于該判定結果，形態學計算的處理量不同。 因此，在幀間移動量VF大于第1閾值thl時(步驟S912 :否)，拍攝對象檢測部 214通過增加形態學計算的處理量，將拍攝對象MV附近產生的無用部分去除。此時，拍攝對 象檢測部214對目標幀rT進行相比常規處理量多一些的計算量的形態學計算。在這里，例 如進行形態膨脹(dilation)(步驟S916)，之后進行4次形態收縮(erosion)(步驟S917)， 之后又進行形態膨脹(dialation)(步驟S918)。 在該例子中，基于幀間的移動量VF，對于判別為容易受到遮擋的影響的幀，比普通 形態學計算多2倍量的形態收縮。通過增加這種形態收縮(erosion)的處理量(次數)，能夠增強剔除細微差異的傾向，即使在由于遮擋影響，將背景部分誤識別為拍攝對象(動態) 的情況下，也能夠除去該區域。 這樣，如果對應于幀間移動量VF而進行形態學計算，則拍攝對象檢測部214將經 平滑化處理的拍攝對象區域作為最終的拍攝對象圖像而提取(步驟S919)。此時，拍攝對象 檢測部214生成將差fcf (x， y) ^變動閾值move的坐標記為"l"，將差fcf (x， y) <變動閾 值move的坐標記為"0"的數據。對于生成的0和1的數據，對每一個賦予"1"的值的連續 的區域分配固有的號碼并貼上標簽。而且，在貼上標簽的區域中，使最大大區域的像素值為 該幀rT中表示拍攝對象部分的像素值。 在所述"圖像平滑化處理(1)"中，基于與所述"位置對準處理"(圖6)中所用的 第1閾值thl的比較，使形態學計算的處理量不同。在這里，確定處理量的基準在于幀間的 移動量，作為比較用的閾值并不限于第l閾值thl。 S卩，也可以設定更多的閾值，通過它們與 幀間移動量VF的比較，從而更加細致地區分處理量。不管是哪種情況，幀間移動量越大，越 增加形態學計算的處理量，這樣，能夠有效除去容易受到遮擋影響的無用部分。
如果通過"圖像平滑化處理(l)"除去了無用部分的拍攝對象圖像從幀n中提取， 則處理返回到"拍攝對象圖像提取處理"(圖18)。在這里，如果將指針rT加l，指定下一有 效幀(步驟S714)，第rT有效幀為圖像存儲器230中存在的幀(步驟S715:否)，則進行步 驟S712以后的處理。以這種方式，從各有效幀中提取拍攝對象圖像。 通過進行這樣的處理，如果從存儲在圖像存儲器230中的所有的有效幀中提取拍 攝對象圖像，則拍攝對象檢測部214將該指令通知給頻閃圖像生成部217。
然后，頻閃圖像生成部217在"頻閃圖像生成處理"(圖3)中，將"背景圖像生成處 理"(步驟S600)中生成的背景圖像和"拍攝對象圖像提取處理"(步驟S700)中提取的各 有效幀中的拍攝對象圖像合成，執行圖22所示的用于生成頻閃圖像的"圖像合成處理"(步 驟S800)。 下面參照圖21所示的流程圖對"圖像合成處理"進行說明。該圖像合成處理在拍 攝對象檢測部214將拍攝對象圖像提取處理結束指令通知給頻閃圖像生成部217時開始。
在處理開始時，頻閃圖像生成部217進行目標幀的初始化處理(步驟S801)，通過 使分別從"拍攝對象圖像提取處理"(步驟S700)中提取的各有效幀1 提取的拍攝對 象圖像依次重合，從而將頻閃圖像的拍攝對象區域合成(步驟S802 S804)。
在對所有的頻閃圖像的拍攝對象區域進行合成時(步驟S802 :是)，頻閃圖像生成 部217通過使"背景圖像生成處理"(步驟S600)中生成的背景圖像重合，從而將頻閃圖像 的背景區域合成(步驟S805)。另外，也可以通過重合各有效幀l p—的任何一個圖像，從 而將頻閃圖像的背景區域合成。 在通過這種處理而生成頻閃圖像時，頻閃圖像生成部217不但將生成的頻閃圖像 存儲在圖像存儲器230中，而且將生成頻閃圖像的指令通知給拍攝對象檢測部214，處理結 束。 此時，返回到頻閃圖像生成處理(圖3)，生成的頻閃圖像通過圖像輸出部240顯示 在顯示部310上，另外，對應于數碼相機1的用戶通過操作操作部330的指示輸入，存儲在 存儲部250或外部存儲部260中(步驟S107)，處理結束。 另外，在相機方向為縱向位置時，對拍攝圖像在轉動-90°或90°時的坐標系中進行所述處理，同樣能夠生成頻閃圖像。
(實施方式2) 下面對為從拍攝對象圖像中除去無用部分所進行的"圖像平滑化處理"(圖18步 驟S900)的其他的操作例進行說明。在所述實施方式1中的"圖像平滑化處理(l)"中，通 過比較幀間移動量VF和閾值，從而執行雙值掩蔽處理，將形態學收縮執行次數切換為2次 或4次。進一步，還可以對應移動量VF進一步精細地控制形態學收縮執行次數。下面參照 圖23所示流程圖對此時執行的"圖像平滑化處理(2)進行說明。 處理開始時，和實施方式1的"圖像平滑化處理(1)"一樣，拍攝對象檢測部214訪 問控制部210的主存儲裝置(存儲器)中生成的"幀信息表"(圖7)，參照拍攝對象圖像的 提取目標幀的幀rT和基準幀N之間的移動量VF的信息(步驟S921).
參照移動量VF，拍攝對象檢測部214基于該移動量VF而進行用于確定形態學收 縮(erosion)的執行次數的計算(步驟S922)。在這里，通過用系數k (例如1以上的正整 數)乘以移動量VF，從而計算出形態學收縮(erosion)的執行次數L(L = VFXk)。
—旦計算出形態學收縮(erosion)的執行次數L，拍攝對象檢測部214進行1次形 態學膨脹(dilation)(步驟S923)。 如果進行1次形態學膨脹(dilation)，則拍攝對象檢測部214執行形態學收縮 (erosion)，次數為步驟S922中計算出的執行次數即L次(步驟S924)。
如果執行L次形態學收縮(erosion)，拍攝對象檢測部214執行1次形態學膨脹 (dilation)(步驟S925)，圖像平滑化處理的形態學計算結束。 如果形態學計算結束，則拍攝對象檢測部214將經平滑化處理的拍攝對象區域 作為最終的拍攝對象圖像而提取(步驟S926)，處理結束(返回到"拍攝對象圖像提取處 理"(圖18)的流程)。 在該"圖像平滑化處理(2)"中，通過對移動量VF乘以系數，從而計算出形態學收 縮(erosion)的執行次數。因此，能夠以與幀間移動量成比例的方式，增加形態學計算(形 態學收縮)的處理量，能夠更加有效除去容易受到遮擋影響的無用部分。
在"圖像平滑化處理(l)"(實施方式l)和"圖像平滑化處理(2)"(本實施 方式)中，作為形態學計算的例子，示出了按照"形態學膨脹(dilation)—形態學收縮 (erosion)—形態學膨脹(dilation)"的順序進行計算的情況。另外，也可以按照"形態學 收縮(erosion)—形態學膨脹(dilation)—形態學收縮(erosion)"的順序進行計算。
S卩，作為定義形態學計算的內容的算子，即使在任意地設定"打開(Opening)"(執 行順序"膨脹一收縮一膨脹")或"關閉(Closing)"(執行順序為"收縮一膨脹一收縮"的 情況下，通過對應于移動量VF使處理量(執行次數)不同，從而謀求受遮擋影響的不要部 分的有效去除。 此時，無論對形態學收縮(erosion)的處理量(執行次數)適用哪個時間點的形 態學收縮(erosion)均是任意的。例如，也可以為將所有形態學收縮(erosion)的執行次 數執行得比形態學膨脹(dilation)多的處理，還可以為在"打開(Opening)"中進行的形態 學收縮(erosion)剛好比形態學膨脹(dilation)多的處理等。 另外，在本實施方式中，為了強化排除細微差異的傾向，增加形態學收縮 (erosion)的處理量(執行次數)。另外，通過增加形態學膨脹(dilation)的處理量(執行次數)，可以謀求不要部分的有效去除。即，基于幀間移動量使處理量不同的目標無論形 態學收縮(erosion)，還是形態學膨脹(dilation)都可以。
(實施方式3) 在所述各實施方式中的"圖像平滑化處理"中，例舉對應于移動量VF，使形態學計 算執行次數不同的場合。在這里，不同的處理量不只是限于次數。在這里，即使通過對應幀 間的移動量，使形態學計算的效果(即收縮或膨脹量)不同，仍可謀求因遮擋影響而形成的 無用部分的有效去除。 g卩，在形態學計算中，通過一邊刪去單純形態的"結構分量(Structuring Element :結構分量)"中的目標圖像，一邊修復目標圖像，從而進行收縮(erosion)或膨脹 (dilation)，所以，通過改變該結構分量的尺寸，能夠使收縮和膨脹量不同。
在本實施方式中，對采用這種方法除去無用部分的例子進行說明。下面參照圖24 所示流程圖對此時執行的"圖像平滑化處理(3)"進行說明。 處理開始時，和實施方式1的"圖像平滑化處理(1)"一樣，拍攝對象檢測部214訪
問控制部210的主存儲裝置(存儲器)中生成的"幀信息表"(圖7)，參照拍攝對象圖像的
取出目標幀即幀rT和基準幀N之間的移動量VF的信息(步驟S931)。 在本實施方式中，和所述各實施方式一樣，通過對應幀間移動量VF使形態學計算
處理量不同，從而謀求不要部分的有效去除。此時，在本實施方式中，通過使形態學計算效
果即膨脹或收縮的量不同，從而使得圖像平滑化處理的處理量不同。 在這里，在本處理中，和所述各實施方式的場合一樣，按照"形態學膨脹 (dilation)—形態學收縮(erosion)—形態學膨脹(dilation)"的順序進行計算。另外， 為了強化排除細微差異的傾向，將處理量不同的目標作為形態學收縮(erosion) ，S卩，增加 一次形態學收縮(erosion)的圖像收縮量。 為了進行這樣的處理，在本實施方式中，使形態學膨脹(dilation)用的結構分量 (以下記為"結構分量SEd")的尺寸和形態學收縮(erosion)用的結構分量(以下記為"結 構分量SEe")的尺寸不同。 在這里，因為形態學膨脹(dilation)為通常處理量，所以，結構分量SEd的尺寸適 用針對該結構分量的默認尺寸(以下記為"尺寸DS")。此時，拍攝對象檢測部214在定義 形態學膨脹(dilation)的計算內容的算子中，設定尺寸DS作為結構分量SEd的尺寸(步 驟S932)。 另一方面，由于形態學收縮(erosion)的處理量根據移動量VF的不同而不同，故 拍攝對象檢測部214基于步驟S931中參照的移動量VF計算出結構分量SEe的尺寸(步驟 S933)。其中，通過結構分量的默認尺寸即尺寸DS乘以移動量VF，計算出擴展的結構分量的 尺寸(以下記為"擴展尺寸LS"或"尺寸LS") (LS = VF XDS)。 拍攝對象檢測部214在定義形態學收縮(erosion)的計算內容的算子中，設定尺 寸LS作為結構分量SEe的尺寸(步驟S934)。在這里，尺寸LS以正數表示，設定的數值越 大，結構分量的尺寸越大。即，幀間移動量VF越大，則規定形態學計算用結構分量尺寸越 大。 —旦在各計算的算子中設定結構分量的尺寸，則拍攝對象檢測部214基于該算 子，按照"形態學膨脹(dilation)—形態學收縮(erosion)—形態學膨脹(dilation)"的順序進行計算(步驟S935，步驟S936，步驟S937)。 此時，由于設定為形態學收縮(erosion)中使用的結構分量SEe的尺寸DS，為對應 于移動量VF使形態學膨脹所使用的結構分量SEd中設定的尺寸DS擴展的尺寸LS，所以，以 比形態學膨脹(dilation)執行時的膨脹量大的方式進行圖像收縮。 如果這種形態學計算結束，則拍攝對象檢測部214將經平滑化處理的拍攝對象區 域作為最終的拍攝對象圖像而提取(步驟S938)，處理結束(返回到"拍攝對象圖像提取處 理"(圖18)的流程)。 在該"圖像平滑化處理(3)"中，通過對形態學計算中使用的結構分量的默認尺寸 (尺寸DS)乘以移動量VF，從而計算出擴展尺寸LS，因此，能夠以與幀間移動量成比例的方 式，增加形態學計算的處理量(膨脹或收縮的量)，因此，能夠更加有效除去容易受到遮擋 影響的無用部分。 在本實施方式中，作為形態學計算的例子，表示了按照"形態學膨脹 (dilation)—形態學收縮(erosion)—形態學膨脹(dilation)"的順序進行計算的情 況。另外，也可以按照"形態學收縮(erosion)—形態學膨脹(dilation)—形態學收縮 (erosion)"的順序進行計算。艮P，在算子中任意設定"打開(Opening)"(執行順序"膨脹一收縮一膨脹")或"關 閉"(執行順序為"收縮一膨脹一收縮")的場合，通過對應于移動量VF使處理量(結構分 量尺寸)不同，從而可謀求受遮擋影響的不要部分的有效去除。 此時，無論對形態學收縮(erosion)的處理量(結構分量的尺寸變更)適用哪個 時間點的形態學收縮(erosion)均是任意的。例如，也可以為將所有形態學收縮(erosion) 用結構分量尺寸處理得比形態學膨脹(dilation)的多的處理，此外，還可以為在"打開 (Opening)"中采用進行形態學收縮(erosion)剛好比形態學膨脹(dilation)多的尺寸的 結構分量的處理等。 另外，在本實施方式中，為了強化排除細微差異的傾向，增加形態學收縮
(erosion)的處理量(擴展結構分量的尺寸)。另外，通過增加形態學膨脹(dilation)的
處理量(擴展結構分量的尺寸)，可以謀求不要部分的有效去除。即，基于幀間移動量使處
理量不同的目標無論形態學收縮(erosion)，還是形態學膨脹(dilation)都可以。 如上所述，通過如所述實施方式適用本發明，從而在生成頻閃圖像時的平滑化處
理中，能夠降低由于遮擋的影響而使得背景相位變動的影響，能夠防止背景部分重復的情況。 總之，背景景深大的圖像用連續拍攝圖像生成時，如果由于圖像拍攝時相機的微 動而產生的幀圖像間移動量大，則受到遮擋的影響導致背景部分的差異增加，誤識別為移 動的拍攝對象。為此，在幀間移動量大時，通過增加由形態學計算進行的平滑化處理的處理 量，從而能夠除去可能被誤識別為移動拍攝對象的區域。 另外，在幀間移動量小的場合，通過不增加平滑化處理的處理量，不但能夠降低整 個處理負荷，而且，即使在移動拍攝對象區域小的場合，也不用刪除該區域而能夠生成頻閃 圖像。 S卩，通過移動量越大越增加平滑化處理的處理量，能夠有效生成良好的頻閃圖像。 通過進行對所檢測出的移動量和閾值的比較而進行這種平滑化處理的處理量的切換，能夠有效進行處理。 或者，通過移動量乘以系數使得平滑化處理執行次數不同，或者通過結構分量默 認尺寸乘以移動量而使得平滑化處理的處理量不同，從而能夠更有效生成良好的頻閃圖像。 另外，盡管針對拍攝圖像中的背景部分以基本上不變地方式進行的位置對準，但 是，在幀間移動量大到不能位置對準的場合，因為從頻閃圖像的合成對象中除去該幀，所 以，能夠防止由于遮擋的影響而生成背景重復的頻閃圖像。 另外，根據具有手抖動補償功能等的圖像拍攝裝置中，因為能夠根據手抖動補償 用傳感器的檢測值而求得幀間移動量，所以，能夠減輕幀間移動量計算處理，能夠更加高速 生成頻閃圖像。 所述實施方式只是一個例子，本發明的適用范圍并非僅限于此。 例如，在所述實施方式中，為了檢測頻閃圖像中的拍攝對象及背景，進行將拍攝圖
像轉換成一維數據的處理，但是，檢測拍攝對象及背景的方法是任意的，并不限于所述的例子。 另外，在所述實施方式中，作為有效幀的基準，盡管以拍攝對象不重合為條件，但 是，作為有效幀的基準的條件是任意的，并不限于所述例子。 另外，在所述實施方式中，在進行圖像平滑化處理時，盡管檢測基準幀和后續的各 幀之間的移動量，但是，求得移動量的幀為哪一幀是任意的。例如，可以求得鄰接幀彼此之 間的移動量。 進一步，求得移動量的方法也是任意的，只要能夠得到可以判別是否容易受到遮 擋的影響的數值即可。 另外，在所述實施方式3中，盡管是通過使得結構分量的尺寸不同，從而使得平滑 化處理的處理量不同，但是，只要是與平滑效果不產生沖突，使尺寸之外的要素不同也可 以。例如，只要結構分量形狀的不同對平滑效果產生影響，基于幀間的移動量，使得適用的 結構分量的形狀不同也可以。 另外，在通過所述實施方式中例舉的數碼相機1這樣的圖像拍攝裝置實現本發明 的場合，可以提供預先具備本發明相關結構及功能的圖像拍攝裝置，除此之外，通過適用實 現與控制部210各功能相同的功能的程序，也能夠使得現有圖像拍攝裝置具有本發明圖像 拍攝裝置的功能。 此外，在所述實施方式中，作為圖像拍攝裝置的例子，示出的是數字照相機，但是 圖像拍攝裝置的形態是任意的。本發明也可適用于單體數字照相機。還可以適用于具有與 此相同的圖像拍攝功能的各種電子設備(例如便攜電話等)。 在所述實施方式中，示出的是從相機連續拍攝功能得到的圖像中生成頻閃圖像的 例子。另外，因為可以得到拍攝對象連續變化的幀圖像，所以，還能夠由動畫數據生成頻閃 圖像。因此，本發明即使適用于圖像拍攝機、具有動畫圖像拍攝功能的各種圖像拍攝裝置， 仍能夠高速生成頻閃圖像。 進一步，只要能夠獲取拍攝移動的拍攝對象的連續的多張圖像，不限于圖像拍攝 裝置，對于能夠進行圖像處理的各種裝置(例如個人電腦)等，通過執行和所述各處理相同 的處理，能夠生成緩和遮擋影響的頻閃圖像。
通過在這些場合中采用相關程序，能夠使得現有裝置具有本發明涉及的圖像拍攝 裝置的功能。 這種程序的適用方法是任意的，能夠使用存儲在CD-ROM或存儲卡等存儲介質中， 也能夠通過互聯網等通信介質適用。 另外，按照進行圖像處理的裝置，通過適用所述程序，從而能夠生成高速頻閃圖 像。即，并不限于圖像拍攝裝置，例如通過所述程序適用于個人電腦等中，可以從預先拍攝 的圖像中高速生成頻閃圖像。 上面參照一個或多個優選實施方式對本申請的原理進行了描述，顯然，對于這些 優選實施方式，在不脫離這里公開的原理情況下，對設置和細節做出修改，本申請應按照包 含在不脫離這里公開的主題之精神和范圍的修改或者改變的方式構成。
權利要求
一種圖像拍攝裝置，具有圖像拍攝單元，由圖像拍攝生成連續的多個拍攝圖像；拍攝對象提取單元，從所述圖像拍攝單元生成的各拍攝圖像中，提取表示移動的拍攝對象部分的多個圖像；背景圖像生成單元，根據所述圖像拍攝單元生成的多個拍攝圖像，生成背景圖像；和頻閃圖像生成單元，對所述背景圖像生成單元生成的背景圖像和表示所述拍攝對象提取單元提取出的多個拍攝對象部分的圖像進行合成，生成頻閃圖像，該圖像拍攝裝置的特征在于，還具有移動量檢測單元，檢測所述多個拍攝圖像中的規定的圖像間的移動量；和圖像平滑化單元，利用與所述移動量檢測單元檢測出的移動量相應的處理量，對所述圖像進行平滑化處理。
2. 根據權利要求l所述的圖像拍攝裝置，其特征在于，所述移動量檢測單元檢測出的移動量越大，所述圖像平滑化單元進行所述平滑化處理 的處理量越多。
3. 根據權利要求l所述的圖像拍攝裝置，其特征在于，所述圖像平滑化單元，根據所述移動量檢測單元檢測出的移動量與閾值的比較，使所 述平滑化處理的執行次數不同。
4. 根據權利要求l所述的圖像拍攝裝置，其特征在于，所述圖像平滑化單元，根據所述移動量檢測單元檢測出的移動量乘以系數后得到的數 值，使所述平滑化處理的執行次數不同。
5. 根據權利要求l所述的圖像拍攝裝置，其特征在于，所述圖像平滑化單元，通過形態學計算進行所述平滑化處理，根據所述移動量檢測單 元檢測出的移動量，通過使所述形態學計算中使用的結構分量不同，使所述平滑化處理的 處理量不同。
6. 根據權利要求5所述的圖像拍攝裝置，其特征在于， 所述圖像平滑化單元根據所述移動量，使所述結構分量的尺寸不同。
7. 根據權利要求l所述的圖像拍攝裝置，其特征在于， 所述移動量檢測單元在進行所述拍攝圖像的位置對準時求出所述移動量， 所述圖像拍攝裝置還具有圖像選擇單元，在所述移動量檢測單元檢測出的所述移動量為規定的閾值以上時，將 檢測出該移動量的圖像，從基于所述頻閃圖像生成單元的合成對象中除去。
8. 根據權利要求l所述的圖像拍攝裝置，其特征在于， 還具有傳感器單元，檢測所述圖像拍攝裝置中產生的晃動， 所述移動量檢測單元根據所述傳感器單元的檢測結果，檢測幀間的移動量。
9. 一種頻閃圖像生成方法，在進行圖像處理的裝置中，由拍攝移動的拍攝對象的連續 的多個圖像生成頻閃圖像，該頻閃圖像生成方法的特征在于，所述裝置執行如下步驟拍攝對象提取步驟，從所述多個圖像中提取表示移動的拍攝對象部分的多個圖像； 背景圖像生成步驟，由所述多個圖像生成背景圖像；移動量檢測步驟，檢測所述多個圖像中的規定圖像間的移動量；圖像平滑化步驟，利用與所述移動量檢測步驟中檢測出的移動量相應的處理量，對所 述拍攝對象提取步驟中提取出的圖像進行平滑化處理；禾口頻閃圖像生成步驟，對所述背景圖像生成步驟中生成的背景圖像和表示所述拍攝對象 提取步驟中提取出的多個拍攝對象部分的圖像進行合成，生成頻閃圖像。
全文摘要
本發明提供一種圖像拍攝裝置及頻閃圖像生成方法。如果由連續拍攝得到的多個圖像的基準幀和目標幀之間的移動量小于表示難以受到遮擋影響的第1閾值，則通過通常的處理量的形態學計算而進行拍攝對象區域的平滑化處理。另一方面，如果由連續拍攝得到的多個圖像的基準幀和目標幀之間的移動量為第1閾值以上，則通過增加比通常多的形態學計算的處理量而進行平滑化處理。
文檔編號H04N5/225GK101783877SQ20091100026
公開日2010年7月21日 申請日期2009年12月16日 優先權日2008年12月18日
發明者佐佐木雅昭 申請人:卡西歐計算機株式會社