專利名稱:縮略圖生成裝置及攝像裝置的制作方法
技術領域:
本發明涉及數碼相機及數碼攝像機等攝像裝置使用的縮略圖(Thumbnail)生成裝置。另外,還涉及具備該縮略圖生成裝置的攝像裝置。
背景技術:
在數碼攝像機等攝像裝置中,大多設有顯示縮略象的模式。運動圖象用的縮略象,通常在運動圖象的錄制開始時或錄制結束時等適當的時刻生成(以下將該生成手法稱作“現有手法1”)。這種攝像裝置,例如在日本國特開平10-28250號公報、日本國特開2001-111963號公報、日本國特開2005-229236號公報及日本國特開平8-251540號公報中談及。用戶根據該縮略象,從錄制的多個運動圖象中,選出要再生的運動圖象。圖14示出表示現有技術的縮略象的生成步驟的流程圖。
另外,還有人提出了下述方案在錄制結束后,用戶確認拍攝的運動圖象(圖象)后,再將所需的圖象(某個幀圖象)設定為縮略象的手法(以下將該生成手法稱作“現有手法2”)。
另外,還有人提出了下述方案在攝像裝置中設置縮略圖生成用的專用開關,根據按下該專用開關的時刻的幀圖象,生成縮略象的手法(以下將該生成手法稱作“現有手法3”)(例如參照日本國特開2002-77803號公報)。
另一方面,還有人提出了具備在運動圖象攝影中同時拍攝靜止圖象的功能的攝像裝置。這種攝像裝置,大多可以在運動圖象攝影中拍攝及記錄高清晰度的靜止圖象。這樣,能夠滿足用戶的下述要求例如在運動會時,作為運動圖象從頭到尾記錄孩子奔跑的情況,作為高清晰度的靜止圖象記錄終點等決定性的場景。
如果能夠將對用戶來說印象深刻的圖象作為縮略象,就容易選定再生時的運動圖象文件。可是,如現有手法1那樣,在適當的時刻生成縮略象時,該縮略象往往不能表現拍攝的運動圖象的特征,根據縮略象往往難以有效地選擇、再生所需的運動圖象文件。
此外,在現有手法2中,給用戶增添了麻煩。另外,即使采用現有手法3時,結果也給用戶增添了在錄制的期間按下專用開關的麻煩。并且,還需要設置專用開關。
發明內容
本發明涉及的第1縮略圖生成裝置,其特征在于具備第1生成部,該第1生成部根據來自可以進行運動圖象攝影的攝像裝置具備的攝像部的與被拍攝體對應的攝像信號,生成與拍攝的運動圖象關聯的縮略象,還根據預先規定的時刻中的所述攝像信號,生成作為所述縮略象的候補的第1候補縮略象;在拍攝所述運動圖象的期間,規定的起動條件成立之際,使用將所述起動條件成立時作為基準的規定的時刻中的所述攝像信號,生成和所述第1候補縮略象不同的第2候補縮略象,將該第2候補縮略象作為所述縮略象,與所述運動圖象關聯。
具體地說,例如所述攝像裝置,具備視場角變更部,可以利用所述攝像部變更拍攝的視場角;所述起動條件包含以下的條件在進行了使所述視場角減少的推焦后,持續規定時間以上仍沒有進行利用所述視場角變更部的所述視場角的變更。
另外,具體地說,例如所述攝像裝置,具備自動聚焦控制部,該自動聚焦控制部自動調節聚焦透鏡的位置,以便使表現所述被拍攝體的光學像,在所述攝像部具備的攝像元件的攝像面上成像;所述起動條件包含以下的條件所述位置的變動大小,持續規定時間以上收斂在規定的閾值內。
另外,具體地說,例如所述攝像裝置,具備活動檢出部,該活動檢出部根據所述攝像信號,檢出活動檢出區域內的圖象的活動;所述活動檢出區域,設置在構成所述運動圖象的攝影圖象內;所述起動條件包含以下的條件檢出的所述活動的大小,持續規定時間以上收斂在規定的閾值內。
另外,具體地說,例如所述攝像裝置,具備五官區域檢出部,該五官區域檢出部根據所述攝像信號,檢出構成所述運動圖象的攝影圖象內存在的人的五官區域;所述起動條件包含以下的條件檢出的所述五官區域的大小,是規定的閾值以上。
另外,具體地說,例如所述攝像裝置,具備聲音輸入部,該聲音輸入部從外部接收聲音的輸入;所述起動條件的成立,根據在拍攝所述運動圖象的期間,輸入的所述聲音的強度或大小進行判斷,使用將所述聲音的強度或大小或所述聲音的規定帶域的頻率成分的強度或大小在拍攝所述運動圖象的期間成為最大的時刻作為基準的規定時間中的所述攝像信號,生成所述第2候補縮略象。
另外例如,在拍攝所述運動圖象的期間,在所述起動條件成立之際,根據包含所述起動條件成立時的幀或其附近的幀中的所述攝像信號,生成所述第2候補縮略象。
所謂“其附近的幀”,例如是包含所述起動條件成立時的幀的數幀前或數幀后的幀。但是,也可以是包含所述起動條件成立時的幀的數十幀前或數十幀后的幀等。
另外例如,在拍攝所述運動圖象的期間,在所述起動條件一次也不成立時,將所述第1候補縮略象作為所述縮略象,與所述運動圖象關聯。
另外,例如所述攝像裝置,可以在拍攝所述運動圖象的期間,拍攝靜止畫面;所述起動條件,包含“指令拍攝所述靜止畫面”的條件。
另外,本發明涉及的第1攝像裝置,其特征在于在可以進行運動圖象攝影的攝像裝置中,具備上述的攝像部和上述的第1縮略圖生成裝置。
另外,本發明涉及的第2縮略圖生成裝置,其特征在于根據來自可以在運動圖象攝影中進行靜止畫面攝影的攝像裝置具備的攝像部的與被拍攝體對應的攝像信號,生成與拍攝的運動圖象關聯的縮略象;在拍攝所述運動圖象的期間,進行靜止畫面攝影之際,使用將該靜止畫面的攝影時刻作為基準的規定的時刻中的所述攝像信號,生成所述縮略象。
具體地說,例如根據表現所述靜止畫面的所述攝像信號,生成所述縮略象。
另外,例如具備選擇部,該選擇部在所述運動圖象攝影中拍攝的所述靜止畫面有多個時,作為采用靜止畫面,選擇該多個靜止畫面內的某一個;使用將選擇的所述采用靜止畫面的攝影時刻作為基準的規定的時刻中的所述攝像信號,生成所述縮略象。
具體地說,預先設定作為所述采用靜止畫面,選擇所述多個靜止畫面內的哪一個靜止畫面。
另外,具體地說,例如具備對比度檢出部,該對比度檢出部在所述多個靜止畫面的各自的圖象內,設置規定的對比度檢出區域,根據表現拍攝的所述靜止畫面的所述攝像信號,按照所述各靜止畫面,檢出所述對比度檢出區域內的圖象的對比度量;所述選擇部,根據對所述對比度量的比較,選擇所述采用靜止畫面。
另外,具體地說,例如具備區域分割部,該區域分割部在所述多個靜止畫面的各自的圖象內,設置規定的檢出區域,根據表現拍攝的所述靜止畫面的所述攝像信號,按照所述各靜止畫面,將所述檢出區域內區域分割成多個亮度區域或多個顏色區域;所述選擇部,按照所述各靜止畫面,特定在各檢出區域內具有最大的大小的亮度區域或在各檢出區域內具有最大的大小的顏色區域,根據對具有最大的大小的亮度區域或具有最大的大小的顏色區域的比較,選擇所述采用靜止畫面。
另外,具體地說,例如所述攝像裝置,具備聲音輸入部,該聲音輸入部從外部接收聲音的輸入;該縮略圖生成裝置,具備聲音檢出部,該聲音檢出部按照拍攝所述靜止畫面,檢出與所述靜止畫面的攝影時刻對應的所述聲音的強度或大小或所述聲音的規定帶域的頻率成分的強度或大小;所述選擇部,根據對所述聲音的強度或大小或所述聲音的規定帶域的頻率成分的強度或大小進行比較,選擇所述采用靜止畫面。
另外,例如在所述運動圖象攝影中拍攝的所述靜止畫面有多個時,將該多個靜止畫面內的一部分或全部作為采用靜止畫面;所述采用靜止畫面存在多個,對于所述采用靜止畫面的每一個,根據將所述采用靜止畫面的攝影時刻作為基準的規定的時刻中的所述攝像信號,形成縮略圖要素圖象,合成各縮略圖要素圖象,從而生成所述縮略象。
另外,本發明涉及的第2攝像裝置,其特征在于在進行運動圖象攝影期間可以拍攝靜止畫面的攝像裝置中,具備上述的攝像部和上述的第2縮略圖生成裝置。
圖1是本發明的第1實施方式涉及的攝像裝置的整體方框圖。
圖2是圖1的攝像部的內部圖。
圖3是圖1的映像信號處理部的內部方框圖。
圖4是圖3的AF評價值檢出部的內部方框圖。
圖5是表示在縮略象顯示模式中的圖1的顯示部的顯示畫面的顯示例的圖形。
圖6是表示能夠從圖5的顯示畫面遷移的運動圖象的再生顯示畫面的圖形。
圖7是表示圖1的攝像裝置中的運動圖象用縮略象的生成步驟的流程圖。
圖8是例示圖7的步驟S11中的起動條件的圖形。
圖9是為了講述關于圖7的步驟S11中的起動條件成立/不成立的第1判斷手法而繪制的圖形。
圖10是為了講述關于圖7的步驟S11中的起動條件成立/不成立的第2判斷手法而繪制的圖形。
圖11是為了講述關于圖7的步驟S11中的起動條件成立/不成立的第3判斷手法而繪制的圖形。
圖12是為了講述關于圖7的步驟S11中的起動條件成立/不成立的第4判斷手法而繪制的圖形。
圖13是為了講述關于圖7的步驟S11中的起動條件成立/不成立的第5判斷手法而繪制的圖形。
圖14是表示現有技術的攝像裝置中的運動圖象用縮略象的生成步驟的流程圖。
圖15是本發明的第2實施方式涉及的攝像裝置的整體方框圖。
圖16是圖15的映像信號處理部的內部方框圖。
圖17是表示本發明的第2實施方式的第1生成手法涉及的運動圖象用縮略象的生成步驟的流程圖。
圖18是表示本發明的第2實施方式的第2生成手法涉及的運動圖象用縮略象的生成步驟的流程圖。
圖19是為了講述本發明的第2實施方式的第2生成手法采用的第2選擇手法而繪制的圖形。
圖20是為了講述本發明的第2實施方式的第2生成手法采用的第2選擇手法而繪制的圖形。
圖21是為了講述本發明的第2實施方式的第2生成手法采用的第2選擇手法而繪制的圖形。
圖22是為了講述本發明的第2實施方式的第2生成手法采用的第3選擇手法而繪制的圖形。
圖23是為了講述本發明的第2實施方式的第2生成手法采用的第3選擇手法而繪制的圖形。
圖24A及B是為了講述本發明的第2實施方式的第2生成手法采用的第3選擇手法而繪制的圖形。
圖25是表示本發明的第2實施方式的第3生成手法涉及的運動圖象用縮略象的生成步驟的流程圖。
圖26是表示本發明的第2實施方式的第3生成手法涉及的合成的運動圖象用縮略象例的圖形。
具體實施例方式下面,參照附圖,具體講述本發明涉及的實施方式。參照的各圖中,對于相同的部分賦予相同的符號。
(第1實施方式)首先,講述本發明的第1實施方式。圖1是表示本發明的第1實施方式涉及的攝像裝置1的整體方框圖。例如是數碼相機及數碼攝像機。攝像裝置1可以拍攝運動圖象及靜止畫面,還能在運動圖象攝影中同時拍攝靜止畫面。
攝像裝置1,具備攝像部11、AFE(Analog Front End)12、映像信號處理部13、麥克風(聲音輸入部)14、聲音信號處理部15、壓縮處理部16、作為內部存儲器的一個例子的SDRAM(Synchronous Dynamic RandomAccess Memory)17、存儲卡18、擴展處理部19、映像輸出電路(視頻輸出電路)20、聲音輸出電路21、TG(定時發生器)22、CPU(Central ProcessingUnit)23、總線24、總線25、操作部26、顯示部27和揚聲器28。操作部26,具有錄制按鈕26a、快門按鈕26b及操作鍵26c等。
攝像部11、AFE12、映像信號處理部13、聲音信號處理部15、壓縮處理部16、擴展處理部19、映像輸出電路20、聲音輸出電路21及CPU23,與總線24連接。與總線24連接的各部位,通過總線24,交換各種信號(數據)。
映像信號處理部13、聲音信號處理部15、壓縮處理部16、擴展處理部19及SDRAM17,與總線25連接。與總線25連接的各部位,通過總線25,交換各種信號(數據) TG22,生成的定時控制信號傳輸給攝像裝置1內的各部。具體地說,將定時控制信號給予攝像部11、映像信號處理部13、聲音信號處理部15、壓縮處理部16、擴展處理部19及CPU23。定時控制信號包含垂直同步信號Vsync和水平同步信號Hsync。
CPU23,統一控制攝像裝置1內的各部的動作。操作部26接受用戶的操作。給予操作部26的操作內容,被傳遞給CPU23。SDRAM17,作為幀存儲器發揮作用。攝像裝置1內的各部,按照需要,在進行信號處理時,將各種數據(數字信號)暫時記錄到SDRAM17中。該記錄,例如通過控制向SDRAM17寫入及讀出數據的SDRAM控制器(未圖示)做媒介進行。
存儲卡18是外部記錄介質,例如是SD(Secure Digital)存儲卡。存儲卡18,對于攝像裝置1而言,裝拆自如。存儲卡18的記錄內容,通過存儲卡18的端子做媒介,或通過攝像裝置1設置的通信用連接部(未圖示)做媒介,可以由外部的個人計算機等自由讀出。此外,在本實施方式中,作為外部記錄介質,例示了存儲卡18,但是也可以用1個或多個可以隨機存取的記錄介質(半導體存儲器、存儲卡、光盤、磁盤等)構成外部記錄介質。
圖2是圖1的攝像部11的內部結構圖。攝像部11具有包含可變焦距透鏡30及聚焦透鏡31的多枚透鏡構成的光學系統35、光圈32、攝像元件33、驅動器34。驅動器34由旨在實現調節可變焦距透鏡30及聚焦透鏡31的移動及光圈32的開口量的電動機等構成。
來自被拍攝體(攝像對象)的入射光,通過構成光學系統35的可變焦距透鏡30及聚焦透鏡31和光圈32做媒介,射入攝像元件33。TG22,生成與上述時刻控制信號同步的、旨在驅動攝像元件33的驅動脈沖,將該驅動脈沖給予攝像元件33。
攝像元件33,例如由CCD(Charge Coupled Devices)及CMOS(Complementary Metal Oxide Semiconductor)圖象傳感器等構成。攝像元件33,通過構成光學系統35及光圈32做媒介,對射入的光學象進行光電變換,將該光電變換后獲得的電信號向AFF12輸出。更具體地說,攝像元件33具備矩陣狀二維排列的多個象素(受光象素;未圖示),在各攝影中,各象素積蓄電荷量與曝光時間對應的信號電荷。來自具有與積蓄的信號電荷的電荷量成正比的大小的各象素的電信號,按照來自TG22的驅動脈沖,依次向后級的AFF12輸出。
攝像元件33,是可以進行彩色攝影的、單板式的攝像元件。在構成攝像元件33的各象素中,例如設置著紅(R)、綠(G)及藍(B)中的某一個的彩色濾光片。此外,作為攝像元件33,還可以采用3板式的攝像元件。
AFE12,具備將攝像部11的輸出信號(即攝像元件33的輸出信號)——模擬的上述電信號放大的放大電路(未圖示),和將放大的電信號變換成數字信號的A/D(模擬-數字)變換電路(未圖示)。被AFE12變換成數字信號的攝像部11的輸出信號,依次發送給映像信號處理部13。另外,CPU23根據攝像部11的輸出信號的信號電平,調整上述放大電路的放大度。
以下,將攝像部11或AFE12輸出的、與被拍攝體對應的信號,稱作“攝像信號”。
圖3是映像信號處理部13的內部方框圖。映像信號處理部13具備運動圖象/靜止畫面處理部41、AF評價值檢出部42、AE評價值檢出部43、活動檢出部44、縮略圖生成部45和五官區域檢出部46。
運動圖象/靜止畫面處理部41根據來自AFE12的攝像信號,生成表現由攝像部11的攝影獲得的映像(攝影圖象)的映像信號,將生成的映像信號發送給壓縮處理部16。映像信號由表現攝影圖象的亮度的亮度信號Y和表現攝影圖象的顏色的色差信號U及V構成。運動圖象/靜止畫面處理部41進行運動圖象的映像信號的生成和靜止畫面的映像信號的生成。
麥克風14將外部給予的聲音,變換成模擬的電信號后輸出。聲音信號處理部15將麥克風14輸出的電信號(聲音模擬信號)變換成數字信號。該變換后獲得的數字信號,作為表現向麥克風14輸入的聲音的聲音信號,發送給壓縮處理部16。
壓縮處理部16使用規定的壓縮方式,壓縮來自映像信號處理部13(運動圖象/靜止畫面處理部41)的映像信號。對于運動圖象,例如使用MPEG(Moving Picture Experts Group)等的壓縮方式,進行映像信號的壓縮;對于靜止畫面,則例如使用JPEG(Joint Photographic Experts Group)等的壓縮方式,進行映像信號的壓縮。在進行運動圖象或靜止畫面的攝影時,壓縮的映像信號,被發送給存儲卡18。
此外,例如構成運動圖象的各攝影圖象的圖象尺寸,在運動圖象/靜止畫面處理部41等中,按照需要,經過間隔抽取處理等被縮小。對于靜止畫面,例如不實施這種縮小處理(也可以實施)。
另外,壓縮處理部16使用AAC(Advanced Audio Coding)等的規定的壓縮方式,壓縮來自聲音信號處理部15的映像信號。在進行運動圖象攝影時,來自映像信號處理部13的映像信號和來自聲音信號處理部15的聲音信號,在壓縮處理部16中,在時間上互相關聯地壓縮,壓縮后的這些數據,被發送給存儲卡18。
錄制按鈕26a,是用戶為了指令開始及結束運動圖象(動態圖像)的攝影而使用的按下按鈕開關;快門按鈕26b,是用戶為了指令進行靜止畫面(靜止圖像)的攝影而使用的按下按鈕開關。按照對于錄制按鈕26a的操作,實施運動圖象攝影的開始及結束;按照對于快門按鈕26b的操作,實施靜止畫面的攝影。在1個幀中,可以獲得1個幀的圖像。各幀的長度,例如是1/60秒。這時,以1/60秒的周期,依次取得的幀圖像的集合(流圖像),構成運動圖象。
在攝像裝置1的動作模式中,包含可以拍攝運動圖象及靜止畫面的攝影模式,和用顯示部27再生顯示被存儲卡18存放的運動圖象或靜止畫面的再生模式。再生模式包含用顯示部27再生顯示與被存儲卡18存放的運動圖象或靜止畫面關聯的縮略象的縮略象顯示模式。按照對于操作鍵26c的操作,實施各模式之間的轉移。
在攝影模式中,用戶按下錄制按鈕26a后,就在CPU23的控制之下,該按下后的各幀的映像信號及與其對應的聲音信號,依次通過壓縮處理部16做媒介,被存儲卡18記錄。就是說,各幀的攝影圖象(即幀圖象),和聲音信號一起,依次被存儲卡18存放。開始運動圖象攝影后,用戶再度按下錄制按鈕26a,就結束運動圖象攝影。就是說,結束向存儲卡18記錄映像信號及聲音信號,完成一個運動圖象的攝影。
另外,在攝影模式中,用戶按下快門按鈕26b后,就進行靜止畫面的攝影。具體地說,在CPU23的控制之下,該剛按下后的1幀的映像信號,就作為表示靜止畫面的映像信號,通過壓縮處理部16做媒介,被存儲卡18記錄。還可以在運動圖象的攝影中,同時拍攝靜止畫面,這時,根據同一個幀的攝像信號,并列進行關于運動圖象信號處理和關于靜止畫面信號處理。此外,還可以采用時間分割方式,利用共同的電路,在不同的時刻進行關于運動圖象信號處理和關于靜止畫面信號處理。例如在結束運動圖象攝影后,進行關于靜止畫面信號處理。這時,可以使SDRAM17暫時記憶事后進行的該信號處理所需的攝像信號(攝影信號)。
在再生模式中,用戶對操作鍵26c實施規定的操作后,表現被存儲卡18記錄的運動圖象或靜止畫面的壓縮的映像信號,就發送給擴展處理部19。擴展處理部19擴展接收的映像信號后,發送給映像輸出電路20。另外,在攝影模式中,通常與是否正在拍攝運動圖象或靜止畫面無關,逐次進行利用映像信號處理部13的映像信號的生成,該映像信號被發送給映像輸出電路20。
映像輸出電路20,將被給予的數字的映像信號,變換成可以在顯示部27中顯示的形式的映像信號(例如模擬的映像信號)后輸出。顯示部27,是液晶顯示器等顯示裝置,顯示與映像輸出電路20輸出的映像信號對應的圖象。就是說,顯示部27顯示根據攝像部11現在輸出的攝像信號的圖象(表現現在的被拍攝體的圖象)或存儲卡18記錄的運動圖象(動態圖象)或靜止畫面(靜止圖象)。
另外,在再生模式中再生運動圖象之際,與存儲卡18記錄的運動圖象對應的壓縮了的聲音信號,也發送給擴展處理部19。擴展處理部19擴展接收的聲音信號后,發送給聲音輸出電路21。聲音輸出電路21將被給予的聲音信號變換成可以用揚聲器28輸出的形式的聲音信號(例如模擬的聲音信號)后輸出。揚聲器28將來自聲音輸出電路21的聲音信號,作為聲音向外部輸出。
此外,還可以考慮外部的電視機等具備顯示部27及揚聲器28的情況。這時,映像輸出電路20輸出的映像信號及聲音輸出電路21輸出的聲音信號,通過未圖示的連接器做媒介,供給外部的電視機等。
接著,參照圖2及圖3,進一步講述攝像部11及映像信號處理部13的功能。攝像裝置1,具備所謂自動聚焦控制功能——“自動控制聚焦透鏡31的位置,以便使表現被拍攝體的光學像,在攝像元件33的攝像面(受光面)上成像”。從理論上說,利用該功能,可以使表現被拍攝體的光學像成像的點,和攝像元件33的攝像面上的點一致。
自動聚焦控制功能,可以利用各種手法實現。例如從映像信號中的亮度信號中,抽出規定的高域頻率成分,按照該高域頻率成分的電平(大小),控制聚焦透鏡31的位置,從而使表現被拍攝體的光學像,在攝像元件33的攝像面上成像。還可以使用測距傳感器(未圖示)等,實現自動聚焦控制功能。
自動聚焦控制功能,主要通過圖3的AF評價值檢出部42、圖1的CPU23、圖2的驅動器34實現。驅動器34為了將上述高域頻率成分的電平(大小)保持為最大值(附近),而根據CPU23發送來的自動聚焦控制信號,使聚焦透鏡31沿著與攝像面垂直的軸——光軸移動,從而使表現被拍攝體(攝像對象)的光學像,在攝像元件33的攝像面(受光面)上成像。
圖4是AF評價值檢出部42的內部方框圖。AF評價值檢出部42具有抽出部51、HPF(高通濾波器)52及積算部53。
抽出部51根據運動圖象/靜止畫面處理部41生成的映像信號或來自AFE12的攝像信號,抽出亮度信號。這時,只抽出圖象內的預先設定的聚焦檢出區域內的亮度信號。聚焦檢出區域,例如是圖象的一部分區域,該圖象的一部分區域,設置在圖象內的中央附近。HPF52只抽出被抽出部51抽出的亮度信號中規定的高域頻率成分。
積算部53積算被HPF52抽出的高域頻率成分,從而求出聚焦檢出區域內的與圖象的對比度量對應的AF評價值。AF評價值按照各幀求出,逐次傳遞給CPU23。AF評價值與該對比度量大致成正比,隨著該對比度量的增大而增大。
CPU23暫時記憶被逐次給予的AF評價值,采用所謂的爬山運算,通過驅動器34做媒介,控制聚焦透鏡31的位置,從而使AF評價值保持為最大值(附近)。隨著聚焦透鏡31的移動,圖象的對比度變化,AF評價值也變化。CPU23通過驅動器34做媒介,控制聚焦透鏡31的位置,從而使AF評價值變大。其結果,對于相同的光學像而言的聚焦檢出區域內的圖象的對比度量,就被保持為最大值(附近)。
另外,攝像裝置1具備使攝影圖象的明亮度(大致)保持一定的所謂自動光圈控制功能。自動光圈控制功能,主要通過圖3的AE評價值檢出部43、圖1的CPU23、圖2的驅動器34實現。
AE評價值檢出部43,根據運動圖象/靜止畫面處理部41生成的映像信號或來自AFE12的攝像信號,抽出亮度信號。這里抽出的亮度信號,例如是圖象的整體中的亮度信號。AE評價值檢出部43在1枚整體圖象中積算抽出的亮度信號,從而求出與圖象的明亮度量成正比的AE評價值。AE評價值按照各幀求出,逐次傳遞給CPU23。
CPU23通過驅動器34做媒介,控制光圈32的開口量(開口部的大小),從而使被逐次給予的AE評價值保持為一定值。射入光學系統35的光學象相同時,隨著光圈32的開口量變大,向攝像元件33的單位時間的射入光量增大,亮度信號的值增大。此外,即使將CPU23通過驅動器34做媒介,控制聚焦透鏡31的位置,從而將光圈32的開口量置于最大,AE評價值也小于上述一定值時,調整AFE12的放大電路的放大度,將AE評價值保持為一定值。
另外,按照對于操作鍵26c進行的規定的操作,CPU23通過驅動器34做媒介,使可變焦距透鏡30沿著光軸移動,從而變更采用攝像部11進行攝影時的視場角(換言之,擴大或縮小在攝像元件33的攝像面上形成的被拍攝體的像)。
另外,圖1的映像信號處理部13,還包含活動檢出部44(參照圖3)。活動檢出部44,根據攝像信號,檢出各圖象之間存在的被拍攝體的活動。在該檢出中,例如使用眾所周知的代表點微調法。根據檢出的活動(活動向量等),實施所謂手抖修正等。
圖3的縮略圖生成部45,在拍攝靜止畫面之際,在CPU23的控制之下,根據靜止畫面的攝影時刻中的攝像信號,生成關于靜止畫面的縮略象。該縮略象,是對攝影及記錄的一枚靜止畫面(靜止圖象)進行間隔抽取處理等后縮小的縮小圖象。關于靜止畫面的縮略象,與拍攝的靜止畫面關聯,通過壓縮處理部16進行的壓縮(JPEG等),被存儲卡18記錄。將上述與拍攝的靜止畫面關聯的縮略象,稱作“靜止畫面用縮略象”。
另外,縮略圖生成部45,在拍攝運動圖象之際,在CPU23的控制之下,根據規定時刻中的攝像信號,生成關于運動圖象的縮略象。該縮略象,是對運動圖象攝影中的某幀的圖象(1幀的圖象)進行間隔抽取處理等后縮小的縮小圖象。關于運動圖象的縮略象,(原則上)與拍攝的運動圖象關聯,通過壓縮處理部16進行的壓縮(JPEG等),被存儲卡18記錄。將上述與拍攝的運動圖象關聯、為了記錄而生成的縮略象,稱作“運動圖象用縮略象”。此外,在運動圖象的圖象尺寸比較小等時,還可以將一枚構成拍攝的運動圖象的圖象本身,作為運動圖象用縮略象。
另外,運動圖象用縮略象實際生成的時刻,是任意的。既可以在拍攝運動圖象的期間,接收來自AFE12的攝像信號后,生成運動圖象用縮略象;也可以在拍攝運動圖象時,選擇成為運動圖象用縮略象的基礎的圖象,然后(例如在顯示部27上顯示之際)使用該圖象生成運動圖象用縮略象。無論哪種情況,成為相同的運動圖象用縮略象的基礎的攝像信號,都是相同的。在本實施方式中,以在拍攝運動圖象時,生成運動圖象用縮略象,存入存儲卡18的情況為例,進行講述。同樣,靜止畫面用縮略象實際生成的時刻,也是任意的。
在縮略象顯示模式中,被存儲卡18存放的運動圖象用及靜止畫面用縮略象,經過擴展處理部19的擴展處理及映像輸出電路20的變換處理后,在顯示部27上顯示。
圖5表示在縮略象顯示模式中的顯示部27上的顯示畫面的顯示例。在圖5中,顯示部27上的顯示區域被四分割,在顯示區域的左上、右上、左下及右下中,分別顯示縮略象TN1、TN2、TN3及TN4。其它的縮略象,被存儲卡18存放時,對操作鍵26c實施規定的操作后,顯示上述其它的縮略象。附加給縮略象TN2及TN3的標記71,表示該縮略象是運動圖象用的縮略象。這樣,縮略象TN2及TN3,是運動圖象用的縮略象,而縮略象TN1及TN4,則是靜止畫面用的縮略象。
在圖5中,72是顯示畫面上的光標。對操作鍵26c進行操作后,光標72就在顯示畫面上移動。圖5表示縮略象TN3被光標72選擇的狀態。在各縮略象的右下方顯示的“001”等編號,表示各縮略象的文件編號。
在用光標72選擇某個縮略象的狀態中,對操作鍵26c進行規定的操作后,就從存儲卡18讀出與該縮略象關聯的運動圖象或靜止畫面。然后,使用顯示部27的整個顯示畫面顯示讀出的運動圖象或靜止畫面。例如,進行再生與縮略象TN3對應的運動圖象的鍵操作后,顯示部27的顯示畫面,就從圖5所示的狀態遷移到圖6所示的狀態,使用顯示部27的整個顯示畫面,再生顯示與縮略象TN3對應的運動圖象。在該狀態下,進行停止再生的鍵操作后,顯示畫面就恢復圖5所示的狀態。
[運動圖象用縮略象的生成手法]接著,講述運動圖象用縮略象的生成手法。圖7是表示運動圖象用縮略象的生成步驟的流程圖。在本實施方式中,除非特別敘及,就是著眼于某一個運動圖象進行講述。
操作攝像裝置1設置的電源開關(未圖示),使攝像裝置1內的各部的電源起動后,TG22在規定的周期(例如1/60秒)逐次生成垂直同步信號。首先,在步驟S1中,確認TG22是否輸出垂直同步信號。垂直同步信號,在各幀的開始時刻,由TG22輸出。
沒有確認輸出垂直同步信號時(步驟S1的No),反復進行步驟S1的處理;確認輸出垂直同步信號時(步驟S1的Yes),在步驟S2中,判斷攝像裝置1是不是正在錄制中(正在拍攝運動圖象中)。正在錄制中時(步驟S2的Yes),移行到步驟S7;而并非正在錄制中時(步驟S2的No),移行到步驟S3。在步驟S3中,確認在錄制模式中是否按下錄制按鈕26a。確認在錄制模式中按下錄制按鈕26a時(步驟S3的Yes),移行到步驟S4;否則(步驟S3的No),就返回步驟S1。這樣反復實行由步驟S1、S2及S3構成的循環處理,直到錄制開始為止。
在步驟S4中,CPU23定義取0或1的值的2個標志F0及F1,將0代入雙方的標志F0及F1(即復位)。標志F0,每當開始錄制時復位。關于標志F1的作用,將在后文闡述。
在結束步驟S4后移行的步驟S5中,縮略圖生成部45根據現在AFE12輸出的一枚的圖象的攝像信號,生成運動圖象用縮略象。在繼步驟S5之后的步驟S6中,CPU23編制標題文件。該標題文件,除了在步驟S5中生成的運動圖象用縮略象以外,還存放攝影日期、文件編號等諸信息。編制的標題文件,被SDRAM17記錄。在本實施方式中,列舉一個標題文件存放一個運動圖象用縮略象的例子。
結束步驟S6后,就返回步驟S1,再度等待發生垂直同步信號。在介有步驟S4~S6后,到達步驟S2時,由于攝像裝置1正在錄制中,所以移行到步驟S7(步驟S2的Yes)。
在步驟S7中,CPU23編制旨在存放表示拍攝的運動圖象的圖象的集合(即流圖象)的流圖象文件,并且將該流圖象文件記錄到存儲卡18中。在流圖象文件中,依次追記拍攝運動圖象時的表現各幀的攝影圖象的映像信號(壓縮映像信號)及與其對應的聲音信號(壓縮聲音信號)。結束錄制后,在流圖象文件中,最終存放從錄制開始到錄制結束為止的表現各幀的攝影圖象的映像信號及與其對應的聲音信號。
在結束步驟S7的處理后移行的步驟S8中,確認是否再度按下錄制按鈕26a、即是否指令停止錄制。沒有指令停止錄制時(步驟S8的No),移行到步驟S10。直到指令停止錄制為止,反復實行由步驟S10~S15的步驟組和步驟S1、S2、S7及S8構成的循環處理。該循環處理,在每個幀中進行一次。
在步驟S8中,確認有停止錄制的指令時(步驟S8的Yes),移行到步驟S9,將在步驟S6中編制的標題文件,追記到在步驟S7中編制的流圖象文件中。這樣,兩文件相互關聯,在步驟S5中生成的運動圖象用縮略象和流圖象文件內的運動圖象相互關聯或(由后文所述可知)在后文講述的步驟S13中生成的運動圖象用縮略象和流圖象文件內的運動圖象相互關聯。結束步驟S9后,就返回步驟S1,攝像裝置1的狀態遷移到接收其它的運動圖象攝影開始的狀態。
下面,講述本發明的特征部分——步驟S10~S15的處理。
在步驟S10中,判斷標志F0是否被固定即標志F0是否為1。標志F0為1時(步驟S10的Yes),返回步驟S1;標志F0為0時(步驟S10的No),移行到步驟S11。在一個運動圖象攝影中,實行一次步驟S13及S14的處理后,步驟S10的判斷就總是成為肯定(Yes)。
在步驟S11中,CPU23判斷規定的起動條件是否成立。關于該起動條件,將在后文詳述。標志F0為0時,步驟S11的處理在運動圖象攝影中的各幀中進行。起動條件不成立時(步驟S11的No),移行到步驟S15,將零代入標志F1后,返回步驟S1。另一方面,起動條件成立時(步驟S11的Yes),移行到步驟S12,判斷標志F1是否為1。標志F1為1時(步驟S12的Yes),返回步驟S1;而標志F1為0時(步驟S12的No),移行到步驟S13。
在步驟S13中,根據現在AFE12輸出的一枚圖象的攝像信號,生成運動圖象用縮略象。這樣,就根據包含步驟S11的起動條件成立的時刻的幀或下一個幀的攝像信號(攝影圖象),生成運動圖象用縮略象。此外,還可以根據起動條件成立時的數幀前及數幀后的攝像信號(攝影圖象),生成應該在步驟S13中生成的運動圖象用縮略象。
在繼步驟S13之后的步驟S14中,將已經被在步驟S6中編制的標題文件存放的運動圖象用縮略象,置換成在步驟S13中生成的運動圖象用縮略象。進而,將1代入標志F0及F1的雙方后,返回步驟S1。
此外,還可以省略步驟S10的處理。這時,在步驟S8中,判斷沒有指令停止錄制時(步驟S8的No),就直接移行到步驟S11。省略步驟S10的處理時,在進行了步驟S13及S14的處理后,起因于起動條件不成立,經過步驟S15的處理后,容許再度實行步驟S13及S14的處理。這時,在第2次以后的步驟S14的處理中,就將已經被標題文件存放的運動圖象用縮略象,置換成在步驟S13中生成的“最新的”運動圖象用縮略象。
由上述處理步驟可知在步驟S5及S13中生成的各運動圖象用縮略象,成為具備應該與拍攝的運動圖象關聯的運動圖象用縮略象。在一個運動圖象的攝影期間中,假如起動條件只成立一次,那么在步驟S5中生成的運動圖象用縮略象,就最終成為與運動圖象關聯的運動圖象用縮略象。
在步驟S11中,起動條件成立時,在步驟S13中生成的運動圖象用縮略象,最終與拍攝的運動圖象關聯。省略步驟S10的處理時,在步驟S13中生成的最新的運動圖象用縮略象,最終與拍攝的運動圖象關聯。
規定上述起動條件,以便很好地表現拍攝了在步驟S13中生成的運動圖象用縮略象的運動圖象的特征。以下,作為步驟S11的起動條件成立/不成立的判斷手法,列舉第1、第2、第3、第4及第5判斷手法。圖8表示出第1~第5判斷手法中的起動條件的典型例子。
·第1判斷手法首先,講述第1判斷手法。將采用第1判斷手法時的步驟S11的起動條件,稱作“第1起動條件”。第1起動條件成立時,移行到步驟S12;不成立時,移行到步驟S15。
采用第1判斷手法時,在步驟S11中,例如判斷“進行最近的推焦后,持續規定的時間T1以上,不推焦或拉焦變更視場角(即將視場角固定)”的第1起動條件成立/不成立。該判斷,將現在的時刻(現在的幀)作為基準進行。此外,時間T1,例如是數秒(1~2秒等)。
例如如圖9所示,開始拍攝運動圖象后,在剛進行第1次推焦后,不等待經過時間T1,就進行拉焦,然后在進行第2次推焦后,將第2次推焦(相當于“剛進行的次推焦”)結束的時刻,作為起算點,判斷上述時間T1的經過。
所謂“推焦”,是擴大在攝像元件33的攝像面上形成的被拍攝體的像的動作,伴隨著該動作,采用攝像部11進行攝影時的視場角減少。所謂“拉焦”,是縮小在攝像元件33的攝像面上形成的被拍攝體的像的動作,伴隨著該動作,采用攝像部11進行攝影時的視場角增加。按照對于操作鍵26c進行的規定操作,實行推焦及拉焦。
用戶常常采用推焦手法,擴大攝影注重的人物等被拍攝體。用戶判斷采用推焦設定了適當的視場角后,就停止變更視場角。在該狀態下拍攝的圖象,往往是抓住了用戶注重的被拍攝體的特征的圖象。因此,采用第1判斷手法后,可以獲得恰如其分地表現運動圖象的特征的縮略象,其結果可以很容易地搜尋所需的運動圖象。
此外,還可以將第1起動條件,變更成“進行最近的拉焦后,持續規定的時間T1以上,不推焦或拉焦變更視場角(即將視場角固定)”的條件。
·第2判斷手法接著,講述第2判斷手法。將采用第2判斷手法時的步驟S11的起動條件,稱作“第2起動條件”。第2起動條件成立時,移行到步驟S12;不成立時,移行到步驟S15。
采用第2判斷手法時,在步驟S11中,對準焦點,判斷焦點(基本)被鎖定的狀態是否持續一定時間以上。更詳細地說,在步驟S11中,判斷“聚焦透鏡31的位置變動的大小,收斂在規定的閾值內,持續規定的時間T2以上”的第2起動條件成立/不成立。該判斷,將現在的時刻(現在的幀)作為基準進行。此外,時間T2,例如是數秒(1~2秒等)。
如上所述,CPU23根據逐次計算的AF評價值,通過驅動器34做媒介,調整聚焦透鏡31的位置,從而使使表現被拍攝體的光學像,在攝像元件33的攝像面(受光面)上成像。因此,CPU23當然知道聚焦透鏡31的位置。所謂“聚焦透鏡31的位置”,例如是將攝像元件33的攝像面作為基準的聚焦透鏡31的位置。
參照圖10,詳細講述上述第2起動條件成立/不成立的判斷手法的例子。圖10的曲線75及76,分別表示在運動圖象攝影中的AF評價值,和聚焦透鏡31的位置(例如聚焦透鏡31和攝像面的距離)的時間變化。圖10表示出在時刻t1,AF評價值大概成為爬山曲線的最大值,并且將該狀態維持到時刻t2為止的狀態。時刻t1和t2之間的時間,與時間T2一致。
在時刻t2中,CPU23對從時刻t1起,到時刻t2為止的期間中聚焦透鏡31的位置的變動的大小(變動范圍的大小)和預先規定的基準值BREF,進行比較。而且,在前者成為后者(BREF)以下時,判斷第2起動條件成立,否則就判斷第2起動條件不成立。如可以進行上述的判斷那樣,CPU23使SDRAM17逐次記錄特定經過時間T2的聚焦透鏡31的位置的信息。
此外,在對準焦點的狀態中,完全停止聚焦透鏡31的位置的變動時,還可以將基準值BREF作為零。這時,第2起動條件可以表記為“聚焦透鏡31的位置被固定,持續規定的時間T2以上”。AF評價值的變動被收斂在某個范圍(該范圍的大小,例如是后文講述的閾值AREF)內時,可以采用固定聚焦透鏡31的位置的位置控制手法,這時,閾值AREF成為零。
另外,還如圖10所示,AF評價值和聚焦透鏡31的位置通常連動。因此,關于AF評價值,也可以進行步驟S11的分岔判斷。就是說,例如在時刻t2中,CPU23對從時刻t1起,到時刻t2為止的期間中的AF評價值的變動的大小(變動范圍的大小)和預先規定的基準值AREF,進行比較。而且,在前者成為后者(AREF)以下時,從步驟S11移行到步驟S12,否則就從步驟S11移行到步驟S15。這時,如可以進行上述的判斷那樣,CPU23使SDRAM17逐次記錄經過時間T2的AF評價值。
這樣,也可以在步驟S11中,判斷“AF評價值的變動的大小,收斂在規定的基準值AREF內,持續規定的時間T2以上”的條件成立/不成立。如果考慮AF評價值和聚焦透鏡31的位置連動的情況,可以說該條件和上述第2起動條件等效。
開始拍攝運動圖象后,用戶往往一邊考慮攝影的構圖,一邊頻繁移動攝像裝置1。確定攝影的構圖后,用戶就將攝像裝置1與被拍攝體的位置關系(大致)固定。在該狀態下,一方面焦點通常被鎖定,另一方面攝像裝置1能夠捕捉用戶注重的被拍攝體。因此,采用第2判斷手法后,可以獲得恰如其分地表現運動圖象的特征的縮略象,其結果可以很容易地搜尋所需的運動圖象。
·第3判斷手法接著,講述第3判斷手法。將采用第3判斷手法時的步驟S11的起動條件,稱作“第3起動條件”。第3起動條件成立時,移行到步驟S12;不成立時,移行到步驟S15。
采用第3判斷手法時,在步驟S11中,對準焦點,判斷攝影圖象內的活動(基本)停止的狀態是否持續一定時間以上。更詳細地說,在步驟S11中,判斷“活動檢出區域的活動的大小,持續規定的時間T3以上收斂在規定的閾值內”的第3起動條件成立/不成立。該判斷,將現在的時刻(現在的幀)作為基準進行。活動檢出區域,設置在構成運動圖象的各幀的攝影圖象內。活動檢出區域,是攝影圖象的全部或一部分的區域(也可以理解為攝像元件33的攝像區域的全部或一部分的區域)。此外,時間T3,例如是數秒(1~2秒等)。
參照圖11,詳細講述第3起動條件成立/不成立的判斷手法的例子。圖11被圖3的活動檢出部44定義,表示攝影圖象內的檢出塊。活動檢出部44,在各幀的攝影圖象內,設置9個檢出塊BL1~BL9。9個檢出塊BL1~BL9,形成上述“活動檢出區域”。
而且,活動檢出部44,根據逐次取得的攝影圖象之間的對比,使用眾所周知的代表點微調法,按照檢出塊BL1~BL9,檢出活動向量。檢出塊BL1的活動向量,是表示檢出塊BL1內的圖象的活動的向量。檢出塊BL2~BL9的活動向量,也同樣。另外,將用檢出塊BL1~BL9檢出的活動向量,分別表記為活動向量VC1~VC9。
CPU23根據活動評價值(該活動評價值根據按照各幀檢出的活動向量VC1~VC9的大小而定),判斷第3起動條件的成立/不成立。活動評價值,按照各幀計算。活動評價值,例如是活動向量VC1~VC9的大小的平均值或累計值。此外,還可以將活動向量VC1~VC9的大小的本身,作為活動評價值。這時,關于一個幀,活動評價值由9個值構成。
圖12的曲線77,表示運動圖象攝影中的活動評價值的時間變化。假設在時刻t3中,活動評價值從超過預先規定的基準值CREF成為基準值CREF以下,然后活動評價值繼續保持基準值CREF以下,直到時刻t4為止的狀態。時刻t3和t4之間的時間,與時間T3一致。
在時刻t4中,CPU23對從時刻t3起,到時刻t4為止的期間中的各活動評價值和基準值CREF進行比較。而且,在時刻t3~t4的期間,前者總是保持為后者(CREF)以下時,判斷第3起動條件成立,否則就判斷第3起動條件不成立。如可以進行上述的判斷那樣,CPU23使SDRAM17逐次記錄特定經過時間T3的活動評價值。
由以上的講述可知第3起動條件,也可以說是“與活動檢出區域的活動的大小對應的活動評價值,持續規定的時間T3以上收斂在規定的閾值內”。
運動圖象的攝影圖象內的活動,停止一定時間以上的狀態,例如可以推測和以靜止的狀態捕捉注重的人物等被拍攝體的狀態一致。因此,采用第3判斷手法后,可以獲得恰如其分地表現運動圖象的特征的縮略象,其結果可以很容易地搜尋所需的運動圖象。
此外,用手支持攝像裝置1時,由于所謂手抖,圖象內的被拍攝體有若干活動。通過使用實際的攝像裝置進行試驗等后,適當地設定上述的閾值,從而避免出現起因與該手抖的活動,第3起動條件完全不成立的現象。
另外,作為檢出活動檢出區域內的活動(活動的大小)的手法,列舉了使用代表點微調法的手法,但也可以采用其它各種檢出手法。
例如可以象眾所周知的那樣,在構成運動圖象的各幀之間,按照各檢出塊,比較明亮度(亮度信號),根據各檢出塊中的明亮度的變化,檢出活動檢出區域內的活動(活動的大小)。另外,例如還可以象眾所周知的那樣,在構成運動圖象的各幀之間,按照各檢出塊,比較顏色(顏色由映像信號特定),根據各檢出塊中的顏色的變化,檢出活動檢出區域內的活動(活動的大小)。
·第4判斷手法接著,講述第4判斷手法。將采用第4判斷手法時的步驟S11的起動條件,稱作“第4起動條件”。第4起動條件成立時,移行到步驟S12;不成立時,移行到步驟S15。
在第4判斷手法中,利用檢出各幀的攝影圖象內存在的人物的五官區域的五官區域檢出功能。在映像信號處理部13中,設置著為了實現該五官區域檢出功能而必需的五官區域檢出部46(參照圖3)。而且,采用第4判斷手法時,在步驟S11中,例如判斷“檢出的五官區域的大小,是規定的閾值(基準尺寸)以上”的第4起動條件成立/不成立。
作為五官區域檢出的手法,可以采用各種手法。五官區域檢出部46,例如眾所周知地抽出攝影圖象的皮膚顏色后,判斷五官區域的大小。就是說,例如從構成運動圖象的各幀的攝影圖象中,作為五官區域,抽出具有被分類成皮膚顏色的映像信號的區域,根據抽出的區域的大小(例如面積),求出(檢出)五官區域的大小。上述的抽出及五官區域的大小的檢出,在各幀中進行。此外,預先規定將哪種映像信號分類成皮膚顏色。
另外,可以使用眾所周知的圖案微調法,抽出五官區域的大小。這時,預先將有關各種五官區域的圖案的信息存入攝像裝置1內的存儲器,對這些圖案和攝影圖象加以比較,從而在檢出五官區域的同時,還抽出五官區域的大小。
在實際的處理中,例如五官區域檢出部46按照各幀,求出與五官區域的大小對應的五官區域值,逐次傳遞給CPU23。CPU23在逐次傳遞的五官區域值是規定的閾值以上時,判斷第4起動條件成立,否則就判斷第4起動條件不成立。該五官區域值,是隨著檢出的五官區域的大小增大而增加的值。
可以推測圖象內五官的大小比較大的狀態,和突出表現用戶注重的人物的五官的狀態一致。因此,采用第4判斷手法后,可以獲得恰如其分地表現運動圖象的特征的縮略象,其結果可以很容易地搜尋所需的運動圖象。
此外,還可以給使第4起動條件成立的五官區域的大小或五官區域值,規定上限。就是說,“檢出的五官區域的大小或五官區域值,是第1閾值以上而且是第2閾值以下”時,換言之“檢出的五官區域的大小或五官區域值,在規定的范圍內”時,移行到步驟S12;守則就移行到步驟S15。但是,第2閾值具有大于第1閾值的值。
如果根據五官的大小在圖象內所占的面積過大的圖象,生成縮略象,有時反而不能抓住運動圖象的特征。考慮到這種情況,可以如上所述地規定上限。
·第5判斷手法接著,講述第5判斷手法。將采用第5判斷手法時的步驟S11的起動條件,稱作“第5起動條件”。第5起動條件成立時,移行到步驟S12;不成立時,移行到步驟S15。此外,采用第5判斷手法時,省略步驟S10的處理。
在第5判斷手法中,著眼于在運動圖象攝影中由麥克風14輸入的聲音的強度。聲音信號處理部15具備逐次檢出在運動圖象攝影中由麥克風14輸入的聲音的強度或聲音的規定的帶域的頻率成分的強度的功能。檢出的聲音的強度或聲音的規定的帶域的頻率成分的強度,作為音強度值,逐次傳遞給CPU23。
另外,還可以取代聲音的強度,檢出聲音的大小,將與檢出的聲音的大小或聲音的規定的帶域的頻率成分的大小對應的值,作為音強度值。這時,下述的“聲音的強度”及“聲音的規定的帶域的頻率成分的強度”,就分別該讀作“聲音的大小”及“聲音的規定的帶域的頻率成分的大小”。
音強度值,例如是檢出的聲音的強度的一幀的平均值或該幀中的峰值。或者,音強度值,例如是檢出的聲音的規定的帶域的頻率成分的強度的一幀的平均值或該幀中的峰值。這樣,音檢出值就按照各幀檢出。音強度值隨著聲音的強度的增大而變大。上述所謂“規定的帶域的頻率成分”,例如是人的聲音的帶域的頻率成分或可聽帶域的頻率成分。聲音信號處理部15,使用帶通濾波器等,從由麥克風14輸入的聲音信號中,抽出上述規定的帶域的頻率成分。
CPU23在從開始拍攝運動圖象的時刻的幀起,到現在的幀為止的音強度值中,判斷現在的幀的音強度值是不是最大。而且,現在的幀的音強度值是最大時,判斷第5起動條件成立,否則就判斷第5起動條件不成立。
可以認為在拍攝音樂會及慶祝晚會會場的狀況時,聲音的強度變大的狀態,和拍攝現場的歡樂的狀態一致。因此,采用第5判斷手法后,可以獲得恰如其分地表現運動圖象的特征的縮略象,其結果可以很容易地搜尋所需的運動圖象。
此外,采用第5判斷手法時,還可以取代圖7的流程圖所示的運動圖象用縮略象的生成步驟,采用圖13的流程圖所示的運動圖象用縮略象的生成步驟。
下面,講述該圖13所示的生成步驟。在圖7和圖13中,被賦予相同記號的步驟中的處理相同。就是說,圖13中的步驟S1~S3、S5~S9及S13,進行和圖7中的它們相同的處理。在圖13所示的步驟中,取代圖7的步驟S4,實行步驟S21;取代圖7的步驟S10~S12及S15,實行步驟S22及S23;取代圖7的步驟S14,實行步驟S24。
在步驟S3中,確認在錄制模式中按下錄制按鈕26a后,就移行到步驟S21。在步驟S21中,將初始值Sinit(例如0)代入變量Smax,移行到步驟S5。在步驟S8中,判斷沒有指令停止錄制時(步驟S8的No),移行到步驟S22。直到指令停止錄制為止,反復實行由步驟S22、S23、S13及S24的步驟組和步驟S1、S2、S7及S8構成的循環處理。該循環處理,在每個幀中進行一次。
在步驟S22中,判斷現在幀的音強度值Sin是否大于變量Smax。不等式Sin>Smax成立時(步驟S22的Yes),移行到步驟S23;不成立時(步驟S22的No),返回步驟S1。在步驟S23中,將現在幀的音強度值Sin代入變量Smax,移行到步驟S13。在步驟S13中,生成運動圖象用縮略象后,移行到步驟S24。步驟S24的處理,是從圖7的處理中除去對于標志F0及F1的處理后的處理。結束步驟S24的處理后,返回步驟S1。
·追加附加條件對于以上列舉的第1~第5起動條件的每一個,可以追加任意的附加條件。就是說,例如可以只在上述第k起動條件成立的基礎上(k是1~5范圍內的任意的整數),進而附加條件也成立時,才移行到步驟S12;而即使第k起動條件成立,但是附加條件不成立時,則移行到步驟S15。
例如對于上述的第1起動條件,可以附加“攝像裝置1沒有進行搖攝或俯仰”的附加條件。就是說,在上述第1判斷手法中,可以在“進行最近的推焦后,持續規定的時間T1以上,沒有推焦或拉焦變更視場角,而且攝像裝置1沒有進行搖攝或俯仰”時,移行到步驟S12,否則就移行到步驟S15。
因為可以認為在沒有進行搖攝或俯仰的狀態下取得的圖象、即在將攝像裝置1固定的狀態下取得的圖象,更適當地拍攝出用戶注重的被拍攝體。
所謂“搖攝”,是指將攝像裝置1的機體(未圖示)向左右方向擺動;所謂“俯仰”,則是指將攝像裝置1的機體向上下方向擺動。
攝像裝置1的活動的狀態(攝像裝置1的機體的活動的狀態),大致可以分為攝像裝置1的機體靜止的靜止狀態、攝像裝置1的機體由于手抖等而向任意的方向輕微擺動的手抖狀態、對攝像裝置1進行搖攝操作(進行搖攝操作)的搖攝狀態、對攝像裝置1進行俯仰操作(進行俯仰操作)的俯仰狀態。因此,上述附加條件,可以換句話說成“攝像裝置1處于靜止狀態或手抖狀態”。
判斷上述附加條件的成立/不成立之際,CPU23作為活動檢出部發揮作用,判別攝像裝置1的活動狀態是靜止狀態、手抖狀態、搖攝狀態及俯仰狀態中的哪一個。
例如CPU23根據來自眾所周知的檢出攝像裝置1的機體的角速度的角速度傳感器(回轉儀;未圖示)的表示該角速度的輸出信號,進行上述判別。
例如考慮搖攝方向時,分析角速度傳感器的輸出信號,在攝像裝置1的機體朝左擺動時取正值、朝右擺動時取負值、被固定時取零的值的情況。這時,角速度傳感器的輸出信號為零實質上為零時,判別處于靜止狀態;角速度傳感器的輸出信號一邊稍微振動一邊取正值和負值時,判別處于手抖狀態;在規定時間內,角速度傳感器的輸出信號持續取正值或負值時判別處于搖攝狀態。對于俯仰方向也同樣。
另外,眾所周知,還可以根據圖3的活動檢出部44對于圖象的活動的檢出結果,判別攝像裝置1的活動的狀態。例如CPU23參照在第3判斷手法中講述的活動向量VC1~VC9。例如在活動向量VC1~VC9的每一個的朝向,在規定時間以上持續維持相同的朝向(例如朝左)時,就判別是搖攝狀態或俯仰狀態,否則判別處于靜止狀態或手抖狀態。
另外,例如也可以對上述的第2起動條件,追加“攝像裝置1沒有進行搖攝或俯仰”的附加條件。就是說,在上述第2判斷手法中,可以在“聚焦透鏡31的位置變動的大小,持續規定的時間T2以上收斂在規定的閾值內,而且攝像裝置1沒有進行搖攝或俯仰”時,移行到步驟S12,否則就移行到步驟S15。此外,拍攝遠處的景色等時,即使是搖攝狀態,也往往鎖定聚焦。
[關于第1實施方式的變形等]此外,用戶還能夠設定將在步驟S11中采用的起動條件,作為什么樣的起動條件。例如作為在步驟S11中采用的起動條件,用戶能夠設定采用上述第1~第5起動條件中的哪一個。該設定,例如通過操作操作部26后進行。
另外,還可以自由組合上述第1~第5判斷手法內任意的兩個以上的判斷手法。例如組合第1判斷手法和第2判斷手法時,在步驟S11中,判斷第1起動條件和第2起動條件的成立/不成立。而且,可以在第1及第2起動條件中的某一個起動條件成立時,移行到步驟S12;只在兩者都不成立時,移行到步驟S15。或者還可以只在第1及第2起動條件都成立時,移行到步驟S12;否則就移行到步驟S15。
另外,以上講述了在標題文件中存放一個運動圖象用縮略象,將存放的一個運動圖象用縮略象與一個運動圖象關聯的例子。但是在標題文件中存放多個運動圖象用縮略象,將存放的多個運動圖象用縮略象與一個運動圖象關聯也行。這時,在步驟S14中,不將標題文件已經存放的運動圖象用縮略象,置換成在步驟S14中生成的(最新的)運動圖象用縮略象,而將在步驟S13中生成的運動圖象用縮略象,追加到標題文件中。
使多個運動圖象用縮略象與一個運動圖象關聯時,例如使圖5中的光標72移動到縮略圖TN部分后,構成該多個運動圖象用縮略象的各運動圖象用縮略象,就隔開規定的間隔,被依次更新顯示。
雖然與之關聯,但運動圖象用縮略象也可以是運動圖象(以下稱作“縮略運動圖象”)。根據與拍攝的運動圖象對應的聲音信號,編制縮略聲音,在顯示縮略運動圖象之際,通過揚聲器28做媒介,同時輸出該縮略聲音。此外,縮略象是靜止畫面時,也可以輸出上述縮略聲音。
另外,以上講述了在一個運動圖象的攝影期間,如果起動條件一次也沒有成立時,在步驟S5中生成的運動圖象用縮略象(第1候補縮略象),最終成為與運動圖象關聯的運動圖象用縮略象的例子。該運動圖象用縮略象,根據在運動圖象的攝影開始時刻(攝影開始幀或即將攝影開始之際的幀)中的攝像信號編制。
在一個運動圖象的攝影期間,起動條件一次也沒有成立時,與運動圖象關聯的運動圖象用縮略象,并不局限于上述情況。該運動圖象用縮略象,還可以根據預先規定的任意的時刻(幀)中的攝像信號編制。例如可以根據即將開始運動圖象攝影之前或剛進行運動圖象攝影之后的幀的攝像信號,或運動圖象攝影期間的某個的幀的攝像信號編制。
如上所述,存儲卡18的記錄內容,可以利用外部的個人計算機等自由讀出。以上講述了能夠用顯示部27和揚聲器28再生(映像顯示及聲音輸出)存儲卡18的記錄內容的情況。但是利用具備顯示部和揚聲器的個人計算機等,也同樣能夠再生存儲卡18的記錄內容。
在本實施方式中,作為視場角變更部發揮作用的部位,包含驅動器34。圖1的操作鍵26c及/或CPU23或圖2的可變焦距透鏡30也可以理解為視場角變更部的構成要素。另外,聚焦控制部主要由圖3的AF評價值檢出部42、圖1的CPU23和圖2的驅動器34實現。
在本實施方式中,縮略圖生成裝置主要由縮略圖生成部45(或包含它的映像信號處理部13)及CPU23形成。在此基礎上,還可以將視場角變更部、自動聚焦控制部、活動檢出部(與圖3的活動檢出部44對應)、五官區域檢出部(與圖3的五官區域檢出部46對應)及聲音輸入部(與圖3的麥克風14對應)中的某一個以上,理解為縮略圖生成裝置的構成要素。此外,在圖7及圖13的步驟S5中,縮略圖生成部45作為第1生成部發揮作用。
此外,在以上講述的第1實施方式中,還可以應用后文講述的第2實施方式的內容。就是說,例如在圖7的步驟S11中,判斷“按下旨在指令拍攝靜止畫面的快門按鈕26b(參照圖1)”的第6起動條件成立/不成立。而且,第6起動條件成立時,移行到步驟S12;不成立時,移行到步驟S15。
(第2實施方式)接著,講述本發明的第2實施方式。圖15是表示本發明的第2實施方式涉及的攝像裝置101的整體方框圖。攝像裝置101,類似于圖1的攝像裝置1。攝像裝置101,在將圖1的映像信號處理部13置換成映像信號處理部113的這一點上,和圖1的攝像裝置1不同,在其它的點上,攝像裝置1和攝像裝置101一樣。因此,省略相同部分的重復說明,著眼于映像信號處理部113,講述第2實施方式。
映像信號處理部113,具有和映像信號處理部13的功能同等的功能,根據來自AFE12的輸出信號(攝像信號),生成各攝影圖象的映像信號,將生成的映像信號發送給壓縮處理部16及映像輸出電路20。關于在第1實施方式中講述的映像信號處理部的說明,也適合于映像信號處理部113。將在第1實施方式中講述的內容,應用于第2實施方式時,關于映像信號處理部的符號13和113的差異,可以忽視。第1實施方式的講述部分中使用的術語,只要沒有矛盾,就能夠應用于第2實施方式。在第1實施方式中參照的各圖,在本實施方式中也可以適當參照。
圖16是映像信號處理部113的內部方框圖。映像信號處理部113具備運動圖象/靜止畫面處理部41和縮略圖生成部142。
映像信號處理部113中的運動圖象/靜止畫面處理部41,和圖3中的映像信號處理部相同。此外,雖然圖16沒有示出,但映像信號處理部113也設置著圖3中的AF評價值檢出部42、AE評價值檢出部43及活動檢出部44等。CPU23按照AF評價值,通過圖2的驅動器34做媒介,調節聚焦透鏡31的位置,從而使被拍攝體的光學像在攝像元件33的攝像面(受光面)上成像。另外,CPU23按照AE評價值,通過圖2的驅動器34做媒介,調節光圈32的開口量(及按照需要調節AFE12的放大電路的放大度),從而控制受光量(圖象的明亮度)。
圖16的縮略圖生成部142,在拍攝靜止畫面之際,在CPU 23的控制之下,根據靜止畫面的攝影時刻中的攝像信號,生成關于靜止畫面的縮略象。更具體地說,生成表現縮略象的、由亮度信號Y和色差信號U及V構成的映像信號。該縮略象,是對攝影及記錄的一枚靜止畫面(靜止圖象)進行間隔抽取處理等后縮小的縮小圖象。關于靜止畫面的縮略象(表現縮略象的映像信號),與拍攝的靜止畫面關聯,通過壓縮處理部16進行的壓縮(JPEG等),被存儲卡18記錄。將上述與拍攝的靜止畫面關聯的縮略象,稱作“靜止畫面用縮略象”。
另外,縮略圖生成部142,在拍攝運動圖象之際,在CPU23的控制之下,根據規定時刻中的攝像信號,生成關于運動圖象的縮略象。更具體地說,生成表現縮略象的、由亮度信號Y和色差信號U及V構成的映像信號。對于該生成的時刻,將在后文詳述。關于運動圖象的縮略象,與拍攝的運動圖象關聯,通過壓縮處理部16進行的壓縮(JPEG等),被存儲卡18記錄。將上述與拍攝的運動圖象關聯、為了記錄而生成的縮略象,稱作“運動圖象用縮略象”。此外,運動圖象用縮略象的圖象尺寸,經過間隔抽取處理等后,小于構成運動圖象的各圖象的圖象尺寸(或靜止畫面的圖象尺寸)。但是不必縮小該圖象尺寸。
在縮略象顯示模式中,被存儲卡18存放的運動圖象用及靜止畫面用縮略象,經過擴展處理部19的擴展處理及映像輸出電路20的變換處理后,在顯示部27上顯示。
圖5表示在縮略象顯示模式中的顯示部27上的顯示畫面的顯示例。在圖5中,顯示部27上的顯示區域被四分割,在顯示區域的左上、右上、左下及右下中,分別顯示縮略象TN1、TN2、TN3及TN4。其它的縮略象,被存儲卡18存放時,對操作鍵26c實施規定的操作后,顯示上述其它的縮略象。附加給縮略象TN2及TN3的標記71,表示該縮略象是運動圖象用的縮略象。這樣,縮略象TN2及TN3,是運動圖象用的縮略象,而縮略象TN1及TN4,則是靜止畫面用的縮略象。
在圖5中,72是顯示畫面上的光標。對操作鍵26c進行操作后,光標72就在顯示畫面上移動。圖5表示縮略象TN3被光標72選擇的狀態。在各縮略象的右下方顯示的“001”等編號,表示各縮略象的文件編號。
在用光標72選擇某個縮略象的狀態中,對操作鍵26c進行規定的操作后,就從存儲卡18讀出與該縮略象關聯的運動圖象或靜止畫面。然后,使用顯示部27的整個顯示畫面顯示讀出的運動圖象或靜止畫面。例如,進行再生與縮略象TN3對應的運動圖象的鍵操作后,顯示部27的顯示畫面,就從圖5所示的狀態遷移到圖6所示的狀態,使用顯示部27的整個顯示畫面,再生顯示與縮略象TN3對應的運動圖象。在該狀態下,進行停止再生的鍵操作后,顯示畫面就恢復圖5所示的狀態。
接著,講述運動圖象用縮略象的生成手法。作為該生成手法,以下列舉第1、第2及第3生成手法。以下除非特別敘及,就是著眼于某一個運動圖象進行講述。
[第1生成手法]首先,講述第1生成手法。圖17是表示第1生成手法涉及的運動圖象用縮略象的生成步驟的流程圖。第1生成手法,假設在拍攝運動圖象的期間,只拍攝1枚靜止畫面時的情況。
首先,在步驟S101中,CPU23在攝影模式中,判斷是否按下錄制按鈕26a。沒有按下時,反復進行步驟S101的處理,按下時移行到步驟S102(步驟S101的Yes)。
移行到步驟S102后,開始關于運動圖象信號處理(開始錄制)。具體地說,移行到步驟S102之后,到起因于再度按下錄制按鈕26a而移行到步驟S107為止的期間,在CPU23的控制下,表現各幀的攝影圖象的映像信號(即運動圖象)及與其對應的聲音信號,依次通過壓縮處理部16,記錄到存儲卡18中。
結束步驟S102的處理后,移行的步驟S103。在步驟S103中,CPU23判斷是否再度按下錄制按鈕26a、即是否指令停止錄制。再度按下錄制按鈕26a時(步驟S103的Yes),移行的步驟S107;沒有再度按下錄制按鈕26a時(步驟S103的No),移行到步驟S104。
在步驟S104中,CPU23判斷是否按下旨在指令拍攝靜止畫面的快門按鈕26b。沒有按下快門按鈕26b時(步驟S104的No),返回步驟S103;按下快門按鈕26b時(步驟S104的Yes),進入步驟S105。
在步驟S105中,與關于運動圖象信號處理平行進行關于靜止畫面信號處理。具體地說,與關于運動圖象信號處理平行,在CPU23的控制下,運動圖象/靜止畫面處理部41根據現在時刻的幀(以下稱作“靜止畫面攝影幀”)的攝像信號,生成表現靜止畫面的映像信號。然后,在步驟S106中,縮略圖生成部142根據靜止畫面攝影幀的攝像信號,生成運動圖象用縮略象。其結果,運動圖象用縮略象成為拍攝的靜止畫面的縮小圖象(或和靜止畫面相同的圖象)。
步驟S105及步驟S106的處理,平行進行。步驟S105生成的表現靜止畫面的映像信號,通過壓縮處理部16做媒介,被存儲卡18記錄。步驟S106生成的表現運動圖象用縮略象的映像信號,被SDRAM17暫時記錄。結束步驟S106的處理后,返回步驟S103。
指令停止錄制時,在從步驟S103移行到步驟S107中,結束關于運動圖象信號處理(結束錄制)。就是說,停止從步驟S102開始進行的將表現各幀的攝影圖象的映像信號及與其對應的聲音信號記錄到存儲卡18中的處理。在隨后的步驟S108中,步驟S106生成的運動圖象用縮略象(表現運動圖象用縮略象的映像信號),與拍攝的運動圖象關聯,被存儲卡18記錄。結束步驟S108的處理后,就結束圖17的處理。
在運動圖象攝影中,用戶將被拍攝體的特別的狀態,作為靜止畫面拍攝。在運動圖象攝影中拍攝的靜止畫面,對用戶來說,可以說是具有特別意義的圖象。采用本生成手法后,與同時拍攝的靜止畫面對應的圖象,作為運動圖象用縮略象,與運動圖象關聯,所以運動圖象用縮略象,成為恰如其分地表現運動圖象的特征的圖象,對用戶來說印象很深的圖象。其結果,可以很容易地搜尋所需的運動圖象,提高用戶的便利性。另外,拍攝靜止畫面之際,用戶必然要操作快門按鈕26b,所以相當于選定運動圖象用縮略象,不會給用戶增加多余的操作負擔等。
此外,作為典型的例子,以上講述了根據靜止畫面攝影幀的攝像信號,生成運動圖象用縮略象的例子。但是也可以根據靜止畫面攝影幀的k幀前或k幀后的攝像信號,生成運動圖象用縮略象(k是數值預定的自然數,例如是1~幾十)。這時,步驟S106生成的運動圖象用縮略象,成為靜止畫面攝影的k幀前或k幀后的攝影圖象的縮小圖象(或攝影圖象本身)。這種情況,在后文講述的第2及第3生成手法中也同樣。運動圖象用縮略象編制源的圖象,即使和拍攝的靜止畫面不完全一致,也能獲得和上述同樣的效果。
例外,在第1生成手法及后文講述的第2及第3生成手法中,在拍攝運動圖象期間一次也沒有按下快門按鈕26b時,預定時刻的攝影圖象的縮小圖象(或攝影圖象本身),作為運動圖象用縮略象,與拍攝的運動圖象關聯,被存儲卡18記錄。例如可以根據即將拍攝運動圖象前或剛拍攝運動圖象后的幀的圖象、運動圖象的前頭或末尾的圖象或開始拍攝運動圖象后經過一定時間后的幀的圖象,生成運動圖象用縮略象。
另外,靜止畫面用縮略象,例如在步驟S106中生成。生成的靜止畫面用縮略象,與步驟S105中生成的靜止畫面關聯,通過壓縮處理部16做媒介,記錄到存儲卡18中。典型的例子,是在步驟S106中生成的運動圖象用縮略象和靜止畫面用縮略象相同。
[第2生成手法]
接著,講述第2生成手法。圖18是表示第2生成手法涉及的運動圖象用縮略象的生成步驟的流程圖。
第2生成手法涉及的生成步驟,由步驟S101~S107、步驟S110~S112構成。步驟S101~S107的處理,和第1生成手法涉及的它們(參照圖17)相同,所以不再贅述。
第2生成手法,假設在拍攝運動圖象的期間,拍攝多枚靜止畫面時的情況。為使說明具體化,宜于列舉在拍攝運動圖象的期間拍攝2枚靜止畫面的例子。
在拍攝運動圖象的期間,第1次按下快門按鈕26b時,在步驟S105中,生成表現第1枚靜止畫面的映像信號,并將該映像信號記錄到存儲卡18中。另一方面,在步驟S106中,根據第1枚靜止畫面的攝影構成的幀(以下稱作“第1靜止畫面攝影幀”)的映像信號,生成第1運動圖象用縮略象。
然后,在繼續進行拍攝運動圖象的期間,第2次按下快門按鈕26b時,在步驟S105中,生成表現第2枚靜止畫面的映像信號,并將該映像信號記錄到存儲卡18中。另一方面,在步驟S106中,根據第2枚靜止畫面的攝影構成的幀(以下稱作“第2靜止畫面攝影幀”)的映像信號,生成第2運動圖象用縮略象。
第1和第2靜止畫面攝影幀,是不同的幀;第1和第2運動圖象用縮略象,是不同的運動圖象用縮略象。表現第1及第2運動圖象用縮略象的映像信號,被暫時記錄到SDRAM17中。此外,在拍攝運動圖象的期間,拍攝第n枚靜止畫面時,進行和上述同樣的處理,編制n枚運動圖象用縮略象(n是3以上的整數)。
指令停止錄制時,在從步驟S103移行到步驟S107中,結束關于運動圖象信號處理(結束錄制)。在第2生成手法中,步驟S107的處理后,移行到步驟S110。在步驟S110中,判斷在拍攝運動圖象的期間,是否拍攝了多枚靜止畫面。在拍攝運動圖象的期間,只拍攝了1枚靜止畫面時(步驟S110的No),移行到步驟S112,進行和第1生成手法中的步驟S108同樣的處理。即步驟S106生成的運動圖象用縮略象(表現運動圖象用縮略象的映像信號),與拍攝的運動圖象關聯,被存儲卡18記錄。
如上所述,拍攝了多枚靜止畫面時(步驟S110的Yes),從步驟S110移行到步驟S111。在步驟S111中,按照規定的規則,從編制的多枚運動圖象用縮略象中,選擇1枚運動圖象用縮略象。結束步驟S111的選擇后,就移行到步驟S112,在步驟S111中選擇的1枚運動圖象用縮略象(表現運動圖象用縮略象的映像信號),與拍攝的運動圖象關聯,被存儲卡18記錄。結束步驟S112的處理后,就結束圖18的處理。
以下,作為步驟S111中的選擇手法,列舉可以采用的第1、第2、第3及第4選擇手法。將與在步驟S111中選擇的運動圖象用縮略象對應的靜止畫面,稱作“采用靜止畫面”。上述第1靜止畫面是采用靜止畫面時,在步驟S111中,第1運動圖象用縮略象,就作為應該與運動圖象關聯的圖象被選擇。實際上,在步驟S111中選擇采用靜止畫面。這樣,在步驟S111中就自動地決定應該選擇的運動圖象用縮略象。
由上述說明可知根據將采用靜止畫面的攝影時刻(靜止畫面攝影幀)作為基準的規定的時刻(靜止畫面攝影幀本身或其前后的幀等)中的攝像信號,生成在步驟S111中選擇的運動圖象用縮略象。
此外,選擇采用靜止畫面的選擇部,主要由CPU23和映像信號處理部113實現。
·第1選擇手法首先,講述第1選擇手法。在第1選擇手法中,預先規定將拍攝的多枚靜止畫面內哪一枚靜止畫面,作為采用靜止畫面選擇。
例如,將在運動圖象攝影中最初拍攝的靜止畫面或最后拍攝的靜止畫面,作為采用靜止畫面選擇。例如在運動圖象攝影中,按照下列順序,拍攝第1、第2、…第n枚靜止畫面(n為3以上的整數)時,將第1或第n枚靜止畫面,作為采用靜止畫面選擇。毫無疑問,也可以將第2~第(n-1)中的某一枚靜止畫面,作為采用靜止畫面選擇。
·第2選擇手法接著,講述第2選擇手法。在第2選擇手法中,參照圖象的對比度量。
在圖19中,175表示由一幀的攝像信號中獲得的圖象的整體區域,176表示該整體區域的一部分區域。將176稱作“對比度檢出區域”。對比度檢出區域176,例如設置在整體區域175的中央附近。在圖19中,對比度檢出區域176成為四邊形的一個區域,但是也可以用在整體區域175內設置的多個區域,構成對比度檢出區域176。另外,還可以將整體區域175其本身作為對比度檢出區域176。另外,也可以將整體區域175理解為圖2的攝像元件33的整個攝像區域。
對于在運動圖象攝影中拍攝的靜止畫面每一個,定義對比度檢出區域176。圖12表示出采用第2選擇手法時使用的對比度檢出部150。對比度檢出部150,設置在圖15的映像信號處理部113內。對比度檢出部150,具有抽出部151、HPF(高通濾波器)152及積算部153。
抽出部151,被給予表示拍攝的靜止畫面的、運動圖象/靜止畫面處理部41生成的映像信號或來自AFE12的攝像信號。抽出部151根據被給予的映像信號或攝像信號,抽出亮度信號。這時,只抽出對比度檢出區域176內的亮度信號。HPF152只抽出被抽出部151抽出的亮度信號中規定的高域頻率成分。如眾所周知的那樣,抽出的高域頻率成分,與對比度檢出區域176內的圖象的對比度量大致成正比地變大。
積算部153積算被HPF152抽出的高域頻率成分,從而求出對比度檢出區域176內的與圖象的對比度量對應的對比度評價值。對比度評價值按照拍攝的靜止畫面的每一個求出,傳遞給CPU23。對比度評價值,隨著上述對比度量的增大而增大。
CPU23比較按照靜止畫面的每一個求出的對比度評價值。然后,將與最大的對比度評價值對應的靜止畫面、即對比度檢出區域176內的圖象的對比度量最大的靜止畫面,作為采用靜止畫面選擇,這樣決定在步驟S111中應該選擇的運動圖象用縮略象。
在以天空等作為背景的攝影的構圖中,對將人物等被拍攝體較小配置時和將該被拍攝體放大配置時加以比較,圖象的對比度量,通常是后者的大。另外,對用戶來說,后者通常是印象深刻的照片。因此,采用第2選擇手法后,可以很容易地搜尋所需的運動圖象,提高用戶的便利性。
·第3選擇手法再接著,講述第3選擇手法。在第3選擇手法中,利用根據亮度信號或顏色信息進行的區域分割。
在圖21中,175表示由一幀的攝像信號獲得的圖象的整體區域,177表示該整體區域的一部分區域。將177稱作“檢出區域”。檢出區域177,例如設置在整體區域175的中央附近。另外,也可以將整體區域175理解為圖2的攝像元件33的整個攝像區域。
對于在運動圖象攝影中拍攝的靜止畫面每一個,定義檢出區域177。下面,參照圖12,講述第3選擇手法的處理步驟的流程圖。
首先,著眼于拍攝的多枚靜止畫面內的1枚靜止畫面。而且,在步驟S151中,根據靜止畫面攝影幀中的攝像信號,將檢出區域177內區域分割成多個亮度區域或多個顏色區域。
下面,講述將檢出區域177區域分割成多個亮度區域的情況。檢出區域177內的各部的亮度,根據來自與檢出區域177對應的象素的攝像信號特定。與各象素對應的亮度信號,例如可以取0~255的值,對0~255的數值范圍,進行多個階段的分類。例如分別以30的間隔,分類成9個亮度區分。如圖23所示,將亮度信號值為0~30的象素,分類成第1亮度區分;將亮度信號值為31~60的象素,分類成第2亮度區分;…;將亮度信號值為211~240的象素,分類成第8亮度區分;將亮度信號值為241~255的象素,分類成第9亮度區分。
將亮度信號值這樣分類成9個亮度區分時,檢出區域177內就被區域分割成由第1、第2、…及第9亮度區域構成的9個亮度區域。第1、第2、…及第9亮度區域的每一個,由分類成第1亮度區分的象素、分類成第2亮度區分的象素、…及分類成第9亮度區分的象素構成。相同的亮度區域,由具有類似的亮度信息的象素構成。此外,根據攝像信號,檢出區域177內還可能被區域分割成小于9個的亮度區域。例如給予一樣的平坦圖象時,檢出區域177內就被用單一的亮度區域占領。
在步驟S151之后的步驟S152中,計數構成各亮度區域的象素數后,特定具有最大的大小(面積)的亮度區域(以下稱作“最大分割區域A”)。某個亮度區域的大小(面積),與構成該亮度區域的象素數成正比。
步驟S151及S152的處理,按照拍攝的各靜止畫面進行,按照各靜止畫面,特定最大分割區域A。在步驟S153中,判斷是否對所有的靜止畫面實施了步驟S151及S152。對所有的靜止畫面實施了步驟S151及S152后,移行到步驟S154。在步驟S154中,例如CPU23對最大分割區域A彼此的大小進行比較。而且,該比較的結果,將與具有最大的大小的最大分割區域A對應的靜止畫面,作為采用靜止畫面選擇。
例如與第1及第2靜止畫面對應的最大分割區域A的大小,分別是“10”及“15”時,將第2靜止畫面作為采用靜止畫面選擇。
將檢出區域177區域分割成多個顏色區域時,也進行同樣的處理。下面講述將檢出區域177區域分割成多個顏色區域的情況。
檢出區域177內的各部的顏色(色調),根據來自與檢出區域177對應的象素的攝像信號特定。根據該攝像信號,將與各象素對應的顏色,分類成多個顏色區分。例如分類成第1~第9顏色區分的9個顏色區分。
將與各象素對應的顏色,分類成9個顏色區分時,檢出區域177內就被區域分割成由第1、第2、…及第9顏色區域構成的9個顏色區域。第1、第2、…及第9顏色區域的每一個,由分類成第1顏色區分的象素、分類成第2顏色區分的象素、…及分類成第9顏色區分的象素構成。相同的顏色區域,由具有類似的顏色信息的象素構成。此外,根據攝像信號,檢出區域177內還可能被區域分割成小于9個的顏色區域。例如給予一樣的平坦圖象時,檢出區域177內就被用單一的顏色區域占領。
在步驟S152中,計數構成各顏色區域的象素數后,特定具有最大的大小(面積)的顏色區域(以下稱作“最大分割區域B”)。某個顏色區域的大小(面積),與構成該顏色區域的象素數成正比。
步驟S151及S152的處理,按照拍攝的各靜止畫面進行,按照各靜止畫面,特定最大分割區域B。在步驟S153中,判斷是否對所有的靜止畫面實施了步驟S151及S152。對所有的靜止畫面實施了步驟S151及S152后,移行到步驟S154。在步驟S154中,例如CPU23對最大分割區域B彼此的大小進行比較。而且,該比較的結果,將與具有最大的大小的最大分割區域B對應的靜止畫面,作為采用靜止畫面選擇。
例如試比較象圖24A那樣在白色的背景中較小地配置具有綠色的被拍攝體178的構圖,和象圖24B那樣在白色的背景中較大地配置具有綠色的被拍攝體178的構圖。這時,較大地反映被拍攝體178的后者,最大分割區域A及B都大。
用戶往往使注重的被拍攝體在圖象中占據較大的面積地進行攝影,另外,越是這樣拍攝的圖象,給用戶的印象越深刻。因此,采用第3選擇手法后,運動圖象用縮略象可以成為恰如其分地表現運動圖象的特征的圖象或給用戶的印象深刻的圖象。其結果,可以很容易地搜尋所需的運動圖象,提高用戶的便利性。
此外,步驟S151的處理(區域分割部),主要由CPU23或映像信號處理部113實現。
·第4選擇手法接著,講述第4選擇手法。在第4選擇手法中,著眼于在運動圖象攝影中介有麥克風14輸入的聲音的強度。
聲音信號處理部15,具備逐次檢出在運動圖象攝影中介有麥克風14輸入的聲音的強度或大小或聲音的規定的帶域的頻率成分的強度或大小的功能。按照拍攝的各靜止畫面,計算與聲音的強度或大小或聲音的規定的帶域的頻率成分的強度或大小對應的音強度值。以下,將音強度值是與聲音的強度或聲音的規定的帶域的頻率成分的強度對應的值,進行講述。將音強度值作為與聲音的大小或聲音的規定的帶域的頻率成分的大小對應的值時,只要將下述關于聲音的“強度”的文字,改讀為“大小”的文字即可。此外,在本實施方式中講述的音強度值,應該理解為是和第1實施方式中講述的音強度值不同的概念。
與某個靜止畫面對應的音強度值,例如是與該靜止畫面對應的聲音評價期間的聲音的強度的平均值或峰值(最大值)或聲音的規定帶域的頻率成分的強度的平均值或峰值(最大值)。聲音評價期間,是包含靜止畫面攝影幀的期間,例如是將靜止畫面攝影幀的期間本身或者是以靜止畫面攝影幀為中心的規定的多個幀的期間。
音強度值,隨著聲音的強度的增大而變大。上述所謂“規定的帶域的頻率成分”,例如是人的聲音的帶域的頻率成分或可聽帶域的頻率成分。聲音信號處理部15,使用帶通濾波器等,從介有麥克風14輸入的聲音信號中,抽出上述規定的帶域的頻率成分。
CPU23,對按照在運動圖象攝影中拍攝的各靜止畫面計算出來的音強度值進行比較。而且,例如將與最大的音強度值對應的靜止畫面,作為采用靜止畫面選擇。
可以認為在拍攝音樂會及慶祝晚會會場的狀況時,聲音的強度變大的狀態,和拍攝現場的歡樂的狀態一致。因此,可以認為與較大的音強度值對應的靜止畫面,給用戶的印象深刻。這樣,采用第4選擇手法后,運動圖象用縮略象可以成為恰如其分地表現運動圖象的特征的圖象或給用戶的印象深刻的圖象。其結果,可以很容易地搜尋所需的運動圖象,提高用戶的便利性。
[第3生成手法]接著,講述第3生成手法。圖25是表示第3生成手法涉及的運動圖象用縮略象的生成步驟的流程圖。
第3生成手法涉及的生成步驟,由步驟S101~S107、步驟S110、S121及S122構成。步驟S101~S107的處理,和第2生成手法涉及的它們(參照圖18)相同,所以不再贅述。
第3生成手法也和第2生成手法一樣,假設在運動圖象攝影中,拍攝了多枚靜止畫面。
在第2生成手法中,講述了在第1靜止畫面攝影幀中拍攝第1靜止畫面,然后在第2靜止畫面攝影幀中拍攝第2靜止畫面的情況。在第3生成手法中,也假設拍攝了這些靜止畫面。而且假設在拍攝了第2靜止畫面后,在第3靜止畫面攝影幀中拍攝第3靜止畫面,進而然后再在第4靜止畫面攝影幀中拍攝第4靜止畫面的情況。
根據第1、第2、第3及第4靜止畫面攝影幀的攝像信號,分別在步驟S106中生成第1、第2、第3及第4運動圖象用縮略象。在本生成手法中,在步驟S106中生成的各運動圖象用縮略象,成為應該與一個運動圖象關聯的運動圖象用縮略象的一部分。因此,在本生成手法中,將在步驟S106中生成第1、第2、第3及第4運動圖象用縮略象分別,稱作第1、第2、第3及第4縮略圖要素圖象。
第3生成手法,也和第2生成手法一樣,在步驟S107的處理后,移行到步驟S110。在步驟S110中,判斷在運動圖象攝影中,是否拍攝了多枚靜止畫面。在運動圖象攝影中只拍攝了1枚靜止畫面時(步驟S110的No),移行到步驟S112。進行和第1生成手法中的步驟S108同樣的處理。
如上所述,拍攝了多枚靜止畫面時(步驟S110的Yes),從步驟S110移行到步驟S121。在步驟S121中,合成在步驟S106中生成的4個縮略圖要素圖象,從而最終生成運動圖象用縮略象。結束步驟S121的合成后,移行到步驟S122,將經過步驟S121的合成后獲得的運動圖象用縮略象(表現運動圖象用縮略象的映像信號),與拍攝的運動圖象關聯地記錄到存儲卡18中。結束步驟S122的處理后,就結束圖25的處理。
作為步驟S121中的合成手法,例示可以采用的第1及第2合成手法。在本生成手法中,第1~第4靜止畫面,全部成為采用靜止畫面。
·第1合成手法首先,講述第1合成手法。在圖26中,用180表示采用第1合成手法合成后獲得的運動圖象用縮略象。在圖26中,181、182、183及184,分別是第1、第2、第3及第4縮略圖要素圖象。運動圖象用縮略象180的圖象尺寸,例如和圖5的縮略圖TN3的圖象尺寸相同。因此,編制運動圖象用縮略象180之際,各縮略圖要素圖象的圖象尺寸,通過間隔抽取處理等,被適當縮小。
采用第1合成手法時,在縮略象顯示模式中,例如在顯示縮略圖TN3的部分,顯示運動圖象用縮略象180。
此外,拍攝5枚以上的靜止畫面時,將其中的4枚靜止畫面作為采用靜止畫面選擇,合成與各采用靜止畫面對應的合計4個縮略圖要素圖象后,生成運動圖象用縮略象。例如將最初的4枚靜止畫面或最后的4枚靜止畫面,作為采用靜止畫面選擇。
·第2合成手法接著,講述第2合成手法。采用第2合成手法時,經過步驟S121的合成后獲得的運動圖象用縮略象,由具有和圖5的縮略圖TN3的尺寸相同的多個圖象構成。拍攝第1~第4靜止畫面時,合成后獲得的運動圖象用縮略象,由分別具有和縮略圖TN3的尺寸相同的第1~第4縮略圖要素圖象構成。
在與縮略圖TN3對應的運動圖象的拍攝中,拍攝第1~第4靜止畫面時,選擇縮略象顯示模式后,首先在縮略圖TN3的部分,顯示第1縮略圖要素圖象。然后,經過規定的時間(例如1秒)后,在縮略圖TN3的部分,更新顯示第2縮略圖要素圖象。同樣,每經過規定的時間,都將在縮略圖TN3的部分顯示的圖象,依次更新成第3、第4縮略圖要素圖象,接下來再度顯示第1縮略圖要素圖象。
上述的顯示更新,只在光標72位于縮略圖TN3的部分時,或與光標72的位置無關地實施。
在第2實施方式中,上述各生成手法(第1~第3生成手法)記述的內容,只要沒有矛盾,就可以在其它生成手法中應用。
另外,實際生成運動圖象用縮略象的時刻,是任意的。既可以在運動圖象攝影中接收來自AFE12的攝像信號后生成運動圖象用縮略象,也可以在運動圖象攝影時,選擇成為運動圖象用縮略象的基礎的圖象,然后(例如在顯示部27顯示之際)使用該圖象,生成運動圖象用縮略象。無論哪種時候,成為相同的運動圖象用縮略象的生成基礎的攝像信號,都是相同的。
如上所述,存儲卡18的記錄內容,可以利用外部的個人計算機等自由讀出。以上講述了能夠用顯示部27和揚聲器28再生(映像顯示及聲音輸出)存儲卡18的記錄內容的情況。但是利用具備顯示部和揚聲器的個人計算機等,也同樣能夠再生存儲卡18的記錄內容。
此外,在第2實施方式中,縮略圖生成裝置主要由縮略圖生成部142構成。可以認為CPU23被縮略圖生成裝置包含。
另外,運動圖象用縮略象也可以是運動圖象(以下稱作“縮略運動圖象”)。根據與拍攝的運動圖象對應的聲音信號,編制縮略聲音,在顯示縮略運動圖象之際,通過揚聲器28做媒介,同時輸出該縮略聲音。此外,縮略象是靜止畫面時,也可以輸出上述縮略聲音。
權利要求
1.一種縮略圖生成裝置,其特征在于具備第1生成部,該第1生成部根據來自可以進行運動圖象攝影的攝像裝置所具備的攝像部的、與被拍攝體對應的攝像信號,生成與拍攝的運動圖象關聯的縮略象,并根據預先規定的時刻的所述攝像信號,生成作為所述縮略象的候補的第1候補縮略象;在拍攝所述運動圖象的期間,當規定的起動條件成立之際,使用將所述起動條件成立時作為基準的規定的時刻的所述攝像信號,生成與所述第1候補縮略象不同的第2候補縮略象,將該第2候補縮略象作為所述縮略象與所述運動圖象關聯。
2.如權利要求1所述的縮略圖生成裝置,其特征在于所述攝像裝置,具備視場角變更部,該視場角變更部可使所述攝像部變更拍攝的視場角;所述起動條件,包含“進行使所述視場角減少的推焦后,持續規定時間以上,未由所述視場角變更部變更所述視場角”的條件。
3.如權利要求1所述的縮略圖生成裝置,其特征在于所述攝像裝置,具備自動聚焦控制部,該自動聚焦控制部自動調節聚焦透鏡的位置,以便使表現所述被拍攝體的光學像,在所述攝像部具備的攝像元件的攝像面上成像;所述起動條件,包含“所述位置的變動大小,持續規定時間以上,收斂在規定的閾值內”的條件。
4.如權利要求1所述的縮略圖生成裝置,其特征在于所述攝像裝置,具備活動檢出部,該活動檢出部根據所述攝像信號,檢出活動檢出區域內的圖象的活動;所述活動檢出區域,設置在構成所述運動圖象的攝影圖象內;所述起動條件,包含“檢出的所述活動的大小,持續規定時間以上,收斂在規定的閾值內”的條件。
5.如權利要求1所述的縮略圖生成裝置,其特征在于所述攝像裝置,具備五官區域檢出部,該五官區域檢出部根據所述攝像信號,檢出構成所述運動圖象的攝影圖象內存在的人的五官區域;所述起動條件,包含“檢出的所述五官區域的大小,是規定的閾值以上”的條件。
6.如權利要求1所述的縮略圖生成裝置,其特征在于所述攝像裝置,具備聲音輸入部,該聲音輸入部從外部接收聲音的輸入;所述起動條件的成立,根據在拍攝所述運動圖象的期間,所輸入的所述聲音的強度或大小進行判斷,使用將所述聲音的強度或大小或所述聲音的規定帶域的頻率成分的強度或大小在拍攝所述運動圖象的期間成為最大的時刻作為基準的規定時刻的所述攝像信號,生成所述第2候補縮略象。
7.如權利要求1所述的縮略圖生成裝置,其特征在于在拍攝所述運動圖象的期間,當所述起動條件成立之際,根據包含所述起動條件成立時的幀或其附近的幀中的所述攝像信號,生成所述第2候補縮略象。
8.如權利要求1所述的縮略圖生成裝置,其特征在于當在拍攝所述運動圖象的期間所述起動條件一次也未曾成立時,將所述第1候補縮略象作為所述縮略象與所述運動圖象關聯。
9.如權利要求1所述的縮略圖生成裝置,其特征在于所述攝像裝置,可以在拍攝所述運動圖象的期間,拍攝靜止畫面;所述起動條件,包含“得到所述靜止畫面的拍攝指令”的條件。
10.一種攝像裝置,其特征在于在可以進行運動圖象攝影的攝像裝置中,具備權利要求1所述的攝像部及縮略圖生成裝置。
11.一種縮略圖生成裝置,其特征在于根據來自可以在運動圖象攝影中進行靜止畫面攝影的攝像裝置所具備的攝像部的、與被拍攝體對應的攝像信號,生成與拍攝的運動圖象關聯的縮略象;當在拍攝所述運動圖象的期間進行靜止畫面攝影之際,使用將該靜止畫面的攝影時刻作為基準的規定的時刻的所述攝像信號,生成所述縮略象。
12.如權利要求11所述的縮略圖生成裝置,其特征在于根據表現所述靜止畫面的所述攝像信號,生成所述縮略象。
13.如權利要求11所述的縮略圖生成裝置,其特征在于具備選擇部,該選擇部在所述運動圖象攝影中拍攝的所述靜止畫面有多個時,選擇該多個靜止畫面內的某一個,作為采用靜止畫面;使用將選擇的所述采用靜止畫面的攝影時刻作為基準的規定的時刻的所述攝像信號,生成所述縮略象。
14.如權利要求13所述的縮略圖生成裝置,其特征在于預先設定選擇所述多個靜止畫面內的某一個靜止畫面,作為所述采用靜止畫面。
15.如權利要求13所述的縮略圖生成裝置,其特征在于具備對比度檢出部,該對比度檢出部在所述多個靜止畫面的各自的圖象內,設置規定的對比度檢出區域,根據表現拍攝的所述靜止畫面的所述攝像信號,按照所述各靜止畫面,檢出所述對比度檢出區域內的圖象的對比度量;所述選擇部,根據對各所述對比度量之間的比較,選擇所述采用靜止畫面。
16.如權利要求13所述的縮略圖生成裝置,其特征在于具備區域分割部,該區域分割部在所述多個靜止畫面的各自的圖象內,設置規定的檢出區域,根據表現拍攝的所述靜止畫面的所述攝像信號,按照所述各靜止畫面,對所述檢出區域內進行區域分割,分成多個亮度區域或多個顏色區域;所述選擇部,按照所述各靜止畫面,確定在各檢出區域內具有最大的大小的亮度區域或在各檢出區域內具有最大的大小的顏色區域,根據對各具有最大的大小的亮度區域之間或各具有最大的大小的顏色區域之間的比較,選擇所述采用靜止畫面。
17.如權利要求13所述的縮略圖生成裝置,其特征在于所述攝像裝置,具備聲音輸入部,該聲音輸入部從外部接收聲音的輸入;該縮略圖生成裝置,具備聲音檢出部,該聲音檢出部按照所拍攝的各所述靜止畫面,檢出與所述靜止畫面的攝影時刻對應的、所述聲音的強度或大小或者所述聲音的規定帶域的頻率成分的強度或大小;所述選擇部,根據對各所述聲音的強度或大小之間或者各所述聲音的規定帶域的頻率成分的強度或大小之間的比較,選擇所述采用靜止畫面。
18.如權利要求11所述的縮略圖生成裝置,其特征在于當在所述運動圖象攝影中拍攝的所述靜止畫面有多個時,將該多個靜止畫面內的一部分或全部作為采用靜止畫面,所述采用靜止畫面存在多個;針對所述采用靜止畫面的每一個,根據將所述采用靜止畫面的攝影時刻作為基準的規定的時刻的所述攝像信號,形成縮略圖要素圖象;合成各縮略圖要素圖象,從而生成所述縮略象。
19.一種攝像裝置,其特征在于在進行運動圖象攝影期間可以拍攝靜止畫面的攝像裝置中,具備權利要求11所述的攝像部及縮略圖生成裝置。
全文摘要
使用運動圖像的前頭圖像,暫時生成縮略像,存入標題文件。然后,在運動圖像攝影中,當規定的起動條件成立時,根據該起動條件成立時的幀圖像,生成新的縮略像,將標題文件內的縮略像置換成新生成的縮略像。例如,推焦后將視場角固定一定時間以上時,以及鎖定焦點后經過一定時間等時,上述起動條件成立。
文檔編號G11B27/10GK101047822SQ20071008637
公開日2007年10月3日 申請日期2007年3月15日 優先權日2006年3月27日
發明者森幸夫, 浜本安八, 岡田誠司, 吉田博明, 竹內悟, 橫畠正大 申請人:三洋電機株式會社