運動圖像拍攝裝置的制作方法

專利名稱：運動圖像拍攝裝置的制作方法
技術領域：
本發明涉及運動圖像拍攝裝置，尤其涉及在拍攝動作劇烈的運動圖像時的編碼中，可以消除代碼量抑制與畫質確保的權衡的技術。作為裝載本發明涉及的運動圖像拍攝裝置的產品，有數碼靜態照相機或數碼攝像機等。
背景技術：
幀間編碼方法因為在運動圖像信號中幀間的相關關系較強，所以作為運動圖像信號的數據壓縮方法而被廣泛采用。提出了各種各樣的幀間編碼方法，大多是對圖像信號的幀差分進行編碼的方法。在幀間編碼方法中，經常采用變換編碼，在變換編碼中，采用對差分信號進一步有效利用圖像所具有的二維空間內的相關的正交變換。尤其是，在作為存儲介質用的運動圖像編碼標準的IS0/IEC 11172-2(通稱MPEG1)等的國際標準的編碼方法中，采用以正交變換、即DCT (Discrete Cosine Transform 離散余弦變換)為基礎的編碼方法。在幀間編碼方法中，在對象幀為幀間編碼幀的情況下，計算圖像信號的幀間的差分，將計算出的差分值變換為霍夫曼(Huffman)代碼等可變長度代碼。在具有這種變換形態的幀間編碼方法中，因為在運動圖像的特性上動作補償后的幀相關會增高，所以通過向0 或接近0的差分值分配短的可變長度代碼，從而可以提高壓縮效率。其中，在分割后的塊的動作補償預測后的數據為0的情況下，不進行編碼也可以，所以可以進一步提高壓縮效率。在運動圖像信號的數據壓縮過程中，必須進行代碼量調整(速率控制)。作為代碼量調整方法，公知量化步長可變方法。這是對代碼的產生量進行監控，以決定在編碼中采用的量化步長的方法。在該方法中，在接收所產生的代碼后還要準備以恒定速率(固定速率)輸出的虛擬緩沖器，在此基礎上按照與該虛擬緩沖器的充足率成比例的方式估算量化步長。即，若緩沖器的充足率上升，則會增大量化步長，若充足率下降，則會縮小量化步長。 由此，在量化步長較大時抑制代碼的產生，相反，在量化步長較小時促進代碼的產生。因此， 通過將緩沖器的充足率抑制到例如50%左右，從而可以將代碼的產生平均控制為恒定。然而，即使是量化步長可變方法，在動作劇烈的場景中，因為差分編碼變得困難， 代碼量增大，所以在代碼量調整的過程中即使增大量化步長，其結果，畫質也會劣化。在量化步長可變方法中，作為實現高畫質的方法也存在以下方法，即在基于手抖動信息或動作矢量判定了各幀的動作的基礎上，在判斷為動作較大的幀中，通過與之前的幀相比增大量化步長來抑制代碼量。上述的量化步長可變方法是固定速率代碼量調整控制方法。已知，與這種固定速率控制方法不同的、將量化步長固定后允許代碼量變動的可變速率方式。這是預先決定不會成為某一基準的畫質以下的量化步長并在編碼時固定量化步長的方法。專利文獻1 JP特開2006-13570號公報專利文獻2 JP特開2006-166233號公報采用了幀差分信息的編碼雖然在編碼效率方面較佳，但在幀間若發生激烈的動作，則幀間的相關關系變弱或者消失，由此編碼變得困難。因此，雖然必須用幀內的信息來進行編碼，但幀內的編碼與幀差分的編碼相比，編碼效率會降低，代碼量也會增大。在固定速率代碼量調整控制方法中，因為在產生了激烈動作的幀內代碼量會增大，所以在之后的幀內必須調整代碼量。于是，對于到此為止的幀而言，量化步長變成極端高的值，會在圖像中產生顯著的劣化。尤其是在低頻成分較多的幀中，該傾向變得更加顯著。作為回避這種圖像劣化的方法，有通過基于手抖動信息增大量化步長而抑制代碼量的方法。然而，因為在動作劇烈的幀中量化步長較大，所以該幀會劣化，即使在以后的幀中也會引起幀的劣化。再有，也存在針對編碼前的YC數據降低高頻成分來抑制代碼量的方法。然而，在該方法中，因為將被攝體的動作或追蹤被攝體的照相機的動作也作為動作來捕捉，所以存在針對攝影者所需要的圖像也降低了高頻成分的課題。

發明內容
本發明是鑒于上述情況而進行的，其目的在于即使在與畫面的相對位置關系中被攝體的動作量劇烈的情況下，也可以消除代碼量抑制與畫質確保的權衡，可以兼顧兩者。(1)在本發明中，設置有用于在編碼處理之前判定攝影狀況為何種場景的場景判定編碼控制部。場景判定編碼控制部基于照相機主體的動作信息和畫面內的被攝體像的動作信息這兩種動作信息，進行攝影狀況的判定，并將該判定結果作為編碼控制信息來輸出。 畫面內的被攝體像的動作信息是在對從圖像傳感器輸入的運動圖像數據實施信號處理的圖像處理部中生成的。照相機主體的動作信息可以利用透鏡控制中采用的角速度信息。如上所述，本發明涉及的運動圖像拍攝裝置包括圖像處理部，其檢測設于照相機主體的圖像傳感器所生成的運動圖像數據中的畫面內的被攝體像的動作，并輸出被攝體像動作信息；圖像壓縮處理部，其進行所述運動圖像數據的壓縮編碼；傳感器，其檢測所述照相機主體中產生的動作，并輸出照相機主體動作信息；和場景判定編碼控制部，其基于所述被攝體動作信息和所述照相機主體動作信息， 判定所述運動圖像數據的攝影狀況，所述場景判定編碼控制部使所述圖像壓縮處理部實施適于所述攝影狀況的代碼量抑制控制。另外，在本發明的方式中，所謂攝影狀況是指組合了所述照相機主體中產生的運動狀況和實際的被攝體的移動狀況的狀況，進而，所述場景判定編碼控制部基于所述照相機主體動作信息表示的所述照相機主體中產生的運動的程度、和所述被攝體動作信息表示的所述運動圖像數據中的畫面內的所述被攝體像的移動的程度的組合，對所述攝影狀況進行判定。關于攝影狀況，例如有“畫面內被攝體像動作”、“單獨型照相機主體動作”、“被攝體追蹤型照相機主體動作”、和“被攝體/照相機主體未移動”等。“畫面內被攝體像動作” 是指原則上沒有照相機主體的動作，而是因被攝體實際運動，由此被攝體像在畫面內移動的攝影狀況。“單獨型照相機主體動作”是指被攝體中沒有實際的動作，而是照相機主體單獨活動，由此在畫面內看起來被攝體像相對地移動的攝影狀況。“被攝體追蹤型照相機主體動作”是指為了在畫面內捕捉移動的被攝體像，攝影者根據被攝體的動作使照相機主體移動的攝影狀況，這相當于攝影者在使被攝體像收斂在畫面內的規定區域內的狀態下進行攝影的攝影狀況。也包含實施了數碼靜態照相機中的被稱為所謂的“平移”的攝影技術的攝影狀況。“被攝體/照相機主體未移動”是指照相機主體靜止且被攝體也靜止的攝影狀況。 由場景判定編碼控制部進行這種基于照相機主體的動作信息、和畫面內的被攝體像的動作信息的組合的攝影狀況判定，并將該場景判定的判定結果作為編碼控制信息來輸出。接收了該編碼控制信息的圖像壓縮處理部或圖像壓縮/伸展處理部依據編碼控制信息的指示進行運動圖像數據的壓縮編碼。即，選擇適于各種攝影狀況的代碼量抑制控制方法，從而不會產生畫質劣化，能夠抑制代碼量。例如，在編碼控制信息表示“被攝體追蹤型照相機主體動作”的攝影狀況時，對于攝影者來說是非常重要的場景的拍攝，因此只要能生成高精細且無畫質劣化的壓縮運動圖像數據即可，無需削減代碼量。再有，例如，在編碼控制信息表示“單獨型照相機主體動作”的攝影狀況時，只要活用因為圖像整體移動而導致人眼難以察覺到畫質劣化的視覺特性，除去作為輸入的YC數據的高頻成分并抑制代碼量即可。還有，例如，在編碼控制信息表示“畫面內被攝體像動作”的攝影狀況時，只要通過進行高壓縮來抑制代碼量即可。另外，例如，在編碼控制信息表示“被攝體/照相機主體未移動”的攝影狀況時，只要不進行代碼量抑制控制即可。(2)在本發明的運動圖像拍攝裝置中，存在以下方式所述傳感器將施加在所述照相機主體上的角速度作為所述照相機主體中產生的動作來檢測。作為照相機主體的動作信息，角速度是優選的一種。(3)在本發明的運動圖像拍攝裝置中，存在以下形態，即該裝置還包括透鏡控制部，其通過對使攝影光聚集到所述圖像傳感器的透鏡賦予抵消所述角速度，從而校正因所述角速度而在畫面內的被攝體像中產生的不需要的運動；和角速度傳感器，其檢測所述角速度并提供給所述透鏡控制部，所述角速度傳感器被共用為所述傳感器。根據該方式，因為將角速度傳感器共用為傳感器，所以可以實現零件件數的削減。(4)在本發明的運動圖像拍攝裝置中，存在以下形態所述圖像處理部將通過設定于所述畫面內的代表點的幀間匹配處理得到的代表點動作信息作為所述被攝體像動作信息進行檢測。所謂代表點匹配是指確定圖像數據區域內的某一塊(框)的1個代表點，檢測該點在下一幀中移動到何處，該代表點匹配用于進行照相機的手抖動校正。根據該方式，通過將通過這種代表點的幀間匹配處理得到的動作信息用作畫面內的被攝體像動作信息，從而可以獲得兼用構成要素的成本優勢。(5)在本發明的運動圖像拍攝裝置中，存在以下方式所述圖像處理部還檢測所述運動圖像數據中的頻率分布信息，所述場景判定編碼控制部控制所述圖像壓縮處理部，以使根據所述狀況判定而個別地實施在所述運動圖像數據中基于所述頻率分布信息分離的各頻帶中的代碼量抑制處理。根據該方式，若為包含較多高頻成分的圖像，則能進行高壓縮來抑制代碼量。(6)本發明的運動圖像拍攝裝置中，存在以下方式所述傳感器將施加給所述照相機主體的角速度作為所述照相機主體中產生的動作來檢測，所述圖像處理部將通過設定于所述畫面內的代表點的幀間匹配處理得到的代表點動作信息作為所述被攝體像動作信息來檢測，所述圖像處理部還檢測所述運動圖像數據中的頻率分布信息，所述場景判定編碼控制部根據該運動圖像拍攝裝置的用途，選擇并使用所述角速度、所述代表點動作信息和所述頻率分布信息，以判定所述攝影狀況。根據該方式，通過按照每種用途來選擇最佳的信息，從而能夠進行高精度的攝影狀況判定。(7)在上述(6)的運動圖像拍攝裝置中，存在以下方式所述場景判定編碼控制部根據該運動圖像拍攝裝置的用途，選擇并組合所述角速度、所述代表點動作信息和所述頻率分布信息，以判定所述攝影狀況。根據該方式，通過按照每種用途采用最佳的信息的組合，從而能夠進行更高精度的攝影狀況判定。(8)在本發明的運動圖像拍攝裝置中，存在以下方式所述場景判定編碼控制部通過濾波去除高頻成分來實施所述代碼量抑制控制。根據該方式，在被攝體像相對于畫面的相對動作量劇烈的攝影狀況(上述的“畫面內被攝體像動作”、“單獨型照相機主體動作”、“被攝體追蹤型照相機主體動作”、和“被攝體/照相機主體未移動”等)中，通過除去高頻成分，從而能夠提高壓縮效率，并且能夠防止畫質劣化。(9)在本發明的運動圖像拍攝裝置中，存在以下方式所述場景判定編碼控制部以多個幀為單位，對所述濾波去除高頻成分中的濾波器設定進行多階段控制。根據該方式，在除去高頻成分之際，通過以多個幀為單位而不是以幀為單位對濾波器的設定進行多階段控制，從而能夠順利地除去高頻成分，由此能夠防止急劇的圖像變化。(10)在本發明的運動圖像拍攝裝置中，存在以下方式所述場景判定編碼控制部通過跳過幀來實施所述代碼量抑制控制。根據該方式， 在被攝體像相對于畫面的相對動作量劇烈的攝影狀況下，通過跳過幀，能夠有效地削減代碼量。(11)在本發明的運動圖像拍攝裝置中，存在以下方式所述場景判定編碼控制部通過插入虛擬幀來實施所述代碼量抑制控制。根據該方式，在被攝體像相對于畫面的相對動作量劇烈的攝影狀況下，通過插入虛擬幀，能夠有效地削減代碼量。(12)在本發明的運動圖像拍攝裝置中，存在以下方式所述場景判定編碼控制部通過多路復用幀來實施所述代碼量抑制控制。根據該方式，在被攝體像相對于畫面的相對動作量劇烈的攝影狀況下，通過多路復用幀，能夠有效地削減代碼量。(13)在本發明的運動圖像拍攝裝置中，存在以下方式所述場景判定編碼控制部通過使量化步長增加來實施所述代碼量抑制控制。根據該方式，在被攝體像相對于畫面的相對動作量劇烈的攝影狀況下，通過使量化步長增加，能夠提高壓縮效率，且可有效地削減代碼量。(14)在本發明的運動圖像拍攝裝置中，存在以下方式所述場景判定編碼控制部通過進行濾波去除高頻成分、幀的跳躍、虛擬幀的插入、 幀的多路復用以及量化步長的增加中的任一種來實施所述代碼量抑制控制。根據該方式， 可以按照攝影狀況的判定結果采用最佳的代碼量抑制控制，能夠實現精度高的代碼量抑制控制。(15)在本發明的運動圖像拍攝裝置中，存在以下方式所述場景判定編碼控制部在所述被攝體像的動作判定過程中采用多階段的閾值。 根據該方式，通過利用多階段的閾值進行選擇切換，從而能夠進行與條件相應的精細控制。(16)在本發明的運動圖像拍攝裝置中，存在以下方式所述場景判定編碼控制部在所述被攝體像的動作判定過程中采用閾值，并且根據編碼的搜索范圍的大小來切換該閾值。在畫面內的被攝體像的相對動作量劇烈且被攝體像超過了動作搜索范圍的情況下，無法進行幀間預測，代碼量異常增大。一般想要通過被攝體像的動作來判定的攝影狀況是產生超過了動作搜索范圍的被攝體像的動作的攝影狀況。根據該方式，因為根據搜索范圍來變更用于被攝體像的動作信息的檢測判定的閾值，所以即使在在畫面內的被攝體像的相對動作量劇烈的攝影狀況下，也能進行適當的控制。(17)在本發明的運動圖像拍攝裝置中，存在以下方式所述場景判定編碼控制部在所述被攝體像的動作判定過程中采用閾值，并且根據編碼的幀速率或比特率來切換該閾值。分配給1幀的代碼量隨著幀速率、比特率而變化。根據該方式，因為根據幀速率、 比特率來變更被攝體像的動作判定中采用的閾值，所以能夠進行還追隨分配給1幀的代碼量的變化的控制。(發明的效果)根據本發明，因為基于照相機主體動作信息和被攝體像動作信息這兩種動作信息來進行攝影狀況的判定，并將該判定結果作為編碼控制信息來輸出，所以例如能夠對“被攝體追蹤型照相機主體動作”、“單獨型照相機主體動作”、“畫面內被攝體像動作”、和“被攝體 /照相機主體未移動”的各攝影狀況進行區分，選擇并實施適于各種攝影狀況的代碼量抑制控制，由此不會產生畫質劣化，能夠抑制代碼量。即，即使在因與畫面的相對關系而導致被攝體像的動作量劇烈的情況下，也能消除代碼量抑制與畫質確保的權衡，能夠兼顧兩者。


圖1是表示本發明的實施方式的進行運動圖像記錄的照相機系統中的運動圖像拍攝裝置的構成的框圖。圖2A是本發明的實施方式的代表點匹配算法的說明圖(其一)。圖2B是本發明的實施方式的代表點匹配算法的說明圖(其二)。圖2C是本發明的實施方式的代表點匹配算法的說明圖(其三)。圖3是本發明的實施方式的角速度傳感器的動作說明圖。圖4是本發明的實施方式的動作判定方法的說明圖。圖5是表示本發明的實施方式中的運動圖像拍攝裝置的動作的流程圖(其一)。
圖6是表示本發明的實施方式中的運動圖像拍攝裝置的動作的流程圖(其二)。符號說明1-傳感器部，Ia-圖像傳感器，Ib-加速度傳感器，2_透鏡控制部，3_圖像處理部，4-圖像壓縮/伸展處理部，5-場景判定編碼控制部，6-圖像顯示處理部，7-CPU， 8-外部存儲器，9-顯示裝置，10-記錄介質，11-透鏡部，12-運動圖像拍攝裝置，20-照相機主體。
具體實施例方式以下，參照圖1詳細說明本發明涉及的運動圖像拍攝裝置12的實施方式。該運動圖像拍攝裝置12是進行運動圖像記錄的照相機系統中的運動圖像拍攝裝置，包括傳感器部1、透鏡控制部2、圖像處理部3、圖像壓縮/伸展處理部4、場景判定編碼控制部5、圖像顯示處理部6、CPU (Central Processing Unit) 7、外部存儲器8、顯示裝置9、記錄介質10和透鏡部11。運動圖像拍攝裝置12被收納在照相機主體20內。傳感器部1具備圖像傳感器Ia與角速度傳感器lb。圖像傳感器Ia取入運動圖像并進行光電變換，輸出RGB信息的運動圖像數據。角速度傳感器Ib將在照相機主體20中產生的動作作為角速度來進行檢測，然后將該檢測結果作為角速度信息來進行輸出。角速度信息是本發明中的照相機主體動作信息的一例。透鏡控制部2通過將抵消角速度傳感器Ib檢測到的角速度的動作賦予給透鏡部 11內的規定透鏡，從而校正因角速度而在畫面內的被攝體像中產生的不需要的動作。為了發揮這種功能，透鏡控制部2接受角速度傳感器Ib輸出的角速度信息，并基于所接受的角速度信息，進行透鏡部11的方向控制。透鏡控制部2還向場景判定編碼控制部5輸出所接受的角速度信息。圖像處理部3在從圖像傳感器Ia取得了 RGB的圖像數據之后，對所取得的圖像數據進行除噪聲、信號電平校正等圖像校正，然后變換為YC數據并保存在外部存儲器8中。進而，圖像處理部3對所取得的圖像數據實施代表點匹配處理，并且進行圖像的頻率分析處理，將通過這些處理而得到的代表點匹配信息(畫面內的被攝體像動作信息的一例)和圖像的頻率分布信息輸出到場景判定編碼控制部5。圖像壓縮/伸展處理部4對從外部存儲器8讀出的YC數據進行編碼處理后進行壓縮，將壓縮后的編碼數據保存在外部存儲器8中。進而，圖像壓縮/伸展處理部4從外部存儲器8讀取壓縮編碼數據后進行伸展，然后保存在外部存儲器8中。場景判定編碼控制部5取得透鏡控制部2所輸出的角速度信息和圖像處理部3所輸出的代表點匹配信息，并基于這兩種動作信息來判定攝影狀況，基于該判定結果生成編碼控制信息后輸出。所謂攝影狀況是指將照相機主體12中產生的運動狀況和被攝體的動作狀況組合后的狀況。場景判定編碼控制部5基于照相機主體12中產生的運動的程度(由照相機主體動作信息來表示)和運動圖像數據中的畫面內的被攝體像的動作的程度(由被攝體動作信息來表示)的組合，對攝影狀況進行判定。圖像顯示處理部6以與顯示裝置9吻合的形狀顯示從外部存儲器8讀取出的YC 數據。CPU7負責整體的控制。顯示裝置9顯示從圖像顯示處理部6輸出的數據。向記錄介質10寫入經由CPU7從外部存儲器8讀取出的代碼數據。透鏡部11是使攝影光聚集到圖像傳感器Ia的光學機構，具備能夠無階段地變更焦點距離的變焦透鏡。
在此，對圖像處理部3進行的代表點的幀間匹配處理進行說明。圖2A 圖2C是代表點的幀間匹配處理的算法的說明圖。所謂代表點的幀間匹配處理是指在圖像數據區域(幀)內設定塊(框)，然后進一步在該塊內確定1個代表點，估算在下一幀中使該代表點移動多少的處理。圖2A表示第一幀的圖像。在第一幀中，圖像處理部3將Pl設為代表點，并保持這一點的信息。圖2B表示第二幀(自第一幀開始往后1幀的幀)的圖像。在第二幀中，圖像處理部3搜索在第一幀中被確定為代表點的點Pl移動到第二幀內的何處。圖2C是重合了第一幀的圖像與第二幀的圖像的圖，根據圖2C可知在第一幀中確定的代表點Pl在第二幀中移動到點P2。將該移動后的距離作為被攝體像的動作量、即畫面內的被攝體像動作信息來取得。如上所述，取得被攝體像動作信息的處理就是代表點的幀間匹配處理。接著，對從透鏡控制部2輸出的角速度信息進行說明。所謂角速度信息是指圖3 所示的照相機主體20的動作量的信息，表示利用角速度傳感器Ib檢測出照相機主體20移動了多少的結果。將該角速度信息用作照相機主體動作信息。接著，對用于各場景判定的動作檢測方法進行說明。圖4是動作判定方法的說明圖。作為動作的檢測方法，在動作判定用途中設定閾值，根據動作量是否超過閾值來判定動作。在運動圖像中被攝體像產生劇烈動作且該動作超過了動作搜索范圍的情況下，不能進行幀間預測，代碼量會增大。一般想要判定被攝體像的動作是在超過該動作搜索范圍之時。因此，判定被攝體像的動作的閾值是能夠根據動作搜索范圍的大小來變更的。再有， 因為分配給一幀的代碼量根據幀速率或比特率的變化而變動，所以判定被攝體像的動作的閾值根據幀速率或比特率的變動而變更。接著，參照圖5的流程圖，對場景判定編碼控制部5進行的處理進行說明。首先， 在步驟Sl中，作為進行編碼之前的處理，場景判定編碼控制部5進行取得被攝體像動作信息和照相機主體動作信息的處理。所取得的動作信息成為圖像處理部3檢測作為編碼對象的圖像的動作時的檢測要素。所取得的動作信息是從圖像處理部3取得的代表點匹配數據 (畫面內的被攝體像動作信息)和從透鏡控制部2取得的角速度信息(照相機主體動作信接著，在步驟S2中，場景判定編碼控制部5根據作為動作信息而從透鏡控制部2 取得的角速度信息，計算照相機主體動作量。如圖3所示，在透鏡中被變焦操作為長焦距側的狀態(長焦距透鏡狀態)和被變焦操作為廣角側的狀態(廣角透鏡狀態)下，角速度信息中的動作量不同。即使角速度信息小，但是若變成長焦距透鏡狀態，則動作量也會增大。 因此，場景判定編碼控制部5在根據角速度信息計算出照相機主體20的動作量的情況下， 將角速度信息乘以變焦倍率的值用作動作量。在此，所謂變焦倍率是指在變焦透鏡中最廣角狀態的焦點距離fx和變焦處理后的焦點距離fy之間的比率(fy/fx)。接下來，在步驟S3中，場景判定編碼控制部5基于在步驟Sl中取得的被攝體像動作信息、和在步驟S2中算出的照相機主體20的動作量，判定攝影中的攝影狀況為下述哪種攝影狀況· “單獨型照相機主體動作”· “被攝體追蹤型照相機主體動作”
· “畫面內被攝體像動作”· “被攝體/照相機主體未移動”。其中，關于該判定，將參照圖6在后面描述。然后，在步驟S4中，場景判定編碼控制部5在圖像壓縮/伸展處理部4中實施適于在步驟S3中判定出的攝影狀況的代碼量抑制控制。在此，變更為適于所判定出的攝影狀況的抑制控制。接下來，參照圖6的流程圖，對場景判定編碼控制部5的攝影狀況判定處理進行說明。場景判定處理相當于圖5的流程圖中的步驟S3。首先，在步驟Sll中，場景判定編碼控制部5取得各動作信息，并將所取得的動作信息變換為動作判定用的參數。接著，在步驟S12中，基于角速度傳感器Ib的參數(照相機主體動作信息)，進行照相機主體20的動作判定。在步驟S12中，在判定為照相機主體 20的動作量大(參數超過閾值)的情況下，分支到步驟S13，在判定為動作量少(參數低于閾值)的情況下，分支到步驟S16。在步驟S13和步驟S16中，基于代表點匹配參數進行動作判定。在步驟S13中，在判定為畫面內的被攝體像的動作量大(參數超過閾值)的情況下，角速度、代表點匹配的值都比較大。若處于該狀態，則場景判定編碼控制部5判斷為照相機、被攝體均產生了大的動作，并且在步驟S14中，將攝影狀況判定為“單獨型照相機主體動作”。所謂“單獨型照相機主體動作”包含以下攝影狀況。即，無論實際的被攝體是否產生了動作，只要照相機主體20 中產生因手抖動等引起的動作，則照相機主體20的動作信息、即角速度就會變大，且畫面內的被攝體像的動作信息、即代表點匹配信息也會增大。若基于這種分析，則“單獨型照相機主體動作”包含以下攝影狀況，即因為攝影操作時攝影者產生的手抖動等物理動作被傳遞到照相機主體20，所以無論實際的被攝體是否產生了動作，上述的物理動作在相鄰幀內都被檢測為代表點的移動。在步驟S13中判定為畫面內的被攝體像的動作量小(參數低于閾值)的情況下， 只有角速度的值較大。若處于該狀態，則場景判定編碼控制部5判斷為雖然在照相機主體 20中產生了大的動作，但畫面內的被攝體像沒有產生大的動作，并且在步驟S15中將攝影狀況判定為“被攝體追蹤型照相機主體動作”。“被攝體追蹤型照相機主體動作”包含為了在畫面內捕捉所移動的被攝體像而實施了攝影者根據被攝體的動作來移動照相機主體的攝影操作(平移/傾斜)。在這種攝影狀況下，雖然照相機主體20動作比較大，但畫面內的被攝體像的動作比較小。若在照相機主體20與畫面內的被攝體像中產生了這種動作，則照相機主體20的動作信息、即角速度增大，但畫面內的被攝體像的動作信息、即代表點匹配信息變小。若基于這種分析，則“被攝體追蹤型照相機主體動作”包含以下攝影狀況，即雖然在攝影操作時，因為實施上述攝影動作等而引起的物理動作被傳遞到照相機主體，但在畫面內的被攝體像中幾乎觀察不到動作(在相鄰的幀內作為代表點的移動幾乎不會被檢測出來)。另一方面，在步驟S16中判斷為有動作(參數超過閾值)的情況下，只有代表點匹配信息的值較大。若處于該狀態，則場景判定編碼控制部5判斷為雖然畫面內的被攝體像中產生了大的動作，但在照相機主體20中并未產生大的動作，并且在步驟S17中，將攝影狀況判定為“畫面內被攝體像動作”。所謂“畫面內被攝體像動作”包含以下的攝影狀況。 即，若在照相機主體20中未產生因手抖動等引起的動作，而是在實際的被攝體中產生了動作，則照相機主體20的動作信息、即角速度變小，且畫面內的被攝體像的動作信息、即代表點匹配信息變大。基于這種分析，“畫面內被攝體像動作”可以說是包含以下攝影狀況，即 在攝影操作時攝影者產生的手抖動等物理動作、或在未實施平移/傾斜等攝影操作的狀態下，實際的被攝體中產生了動作，所以在相鄰的幀內，畫面內的被攝體像的動作被檢測為代表點的移動。在步驟S16中判斷為被攝體像的動作少(參數低于閾值)的情況下，角速度信息與代表點匹配信息都小。若處于該狀態，則場景判定編碼控制部5判斷為照相機主體20以及畫面內的被攝體像中都未產生大的動作，并且在步驟S18中，將攝影狀況設為“被攝體/ 照相機主體未移動”。“被攝體/照相機主體未移動”是指以下狀態。即，若在照相機主體20 中幾乎未產生因手抖動等引起的動作，且實際的被攝體中也幾乎未產生動作，則照相機主體12的動作信息、即角速度信息變小，且畫面內的被攝體像動作信息、即代表點匹配信息也變小。若基于這種分析，則“被攝體/照相機主體未移動”可以說是包含以下攝影狀況， 即在攝影操作時攝影者產生的手抖動等物理動作、或在未實施平移/傾斜等攝影操作的狀態下，實際的被攝體中也未產生動作，所以在相鄰的幀內未檢測出代表點的移動。(1)在被場景判定為“單獨型照相機主體動作”的攝影狀況下，因為圖像整體活動， 所以人的眼睛難以察覺到畫質的劣化。在活用這種視覺特性而判定為“單獨型照相機主體動作”的攝影狀況下，場景判定編碼控制部5控制圖像壓縮/伸展處理部4，以便除去作為輸入的YC數據的高頻成分，并抑制代碼量。其中，若急劇降低頻率成分會導致人眼容易察覺到，所以以幀為單位緩慢地降低頻率成分。再有，即使在判定為“單獨型照相機主體動作”的攝影狀況下，若照相機主體20的動作量顯著增大，則僅降低YC數據的頻率成分是不能有效抑制代碼量的。因此，場景判定編碼控制部5進一步設置用于判定照相機主體20中是否產生了明顯大的動作量的閾值，控制圖像壓縮/伸展處理部4，以便在角速度信息超過該閾值的情況下，將該幀圖像判定為不需要的圖像，在不除去YC數據的高頻成分的情況下跳過該幀，對幀本身不進行編碼。這種幀的跳躍處理并不能在被稱為適于AVCHD (Advanced Video Codec High Definition)的運動圖像流標準的圖像數據中實施。這是因為，在這種標準中，跳過幀被判定為違反標準。這種情況下，場景判定編碼控制部5按照以下方式控制圖像壓縮/伸展處理部4，即取代幀的跳躍處理，將由跳躍大塊構成所有的大塊的虛擬幀插入到該幀中、或者將上一次的幀中的幀圖像作為本次幀中的幀圖像來重復使用。(2)在被場景判定為“被攝體追蹤型照相機主體動作”的攝影狀況下，場景判定編碼控制部5按照不進行代碼量抑制控制的方式控制圖像壓縮/伸展處理部4。這是因為考慮到在攝影者實施以將有動作的被攝體像收斂于畫面內的規定區域內的狀態進行攝影的攝影操作等的攝影狀況下，攝影者期望盡可能高精細的圖像。但是，若是包含較多高頻成分的圖像數據，則代碼量會增大。在這種情況下，場景判定編碼控制部5基于圖像處理部3所取得的頻率分布信息，使圖像壓縮/伸展處理部4實施以下控制。即，場景判定編碼控制部 5使圖像壓縮/伸展處理部4實施通過在高頻成分區域內使量化步長增大并對圖像數據進行高壓縮處理來抑制代碼量的控制。(3)在被判定為“畫面內被攝體像動作”的攝影狀況下，場景判定編碼控制部5使圖像壓縮/伸展處理部4實施通過使量化步長增大并對圖像數據進行高壓縮來抑制代碼量的控制。(4)在被場景判定為“被攝體/照相機主體未移動”的狀態下，場景判定編碼控制部5不讓圖像壓縮/伸展處理部4進行代碼量抑制控制。在進行了如上所述的攝影狀況判定后的代碼量抑制控制被用于數碼靜態照相機或數碼攝像機中。對于以監視照相機或網絡照相機等的照相機固定式要求盡可能在不使畫質劣化的情況下顯示活動物體的攝影裝置，上述說明的控制方法有可能會造成不良影響。 因此，能夠根據用途來變更攝影狀況判定后的代碼量抑制控制。(工業上的可利用性)本發明的運動圖像拍攝裝置基于照相機主體的動作信息和畫面內的被攝體像的動作信息這兩種動作信息進行場景判定，并將該判定結果作為編碼控制信息來輸出。因此， 即使在動作劇烈的幀中，也可以很好地進行代碼量抑制，對于動作結束的幀而言，也能分配代碼量，可以實現畫質的提高。發揮這種效果的本發明在數碼靜態照相機或數碼攝像機等中是大有用處的。
權利要求
1.一種運動圖像拍攝裝置，包括圖像處理部，其檢測設于照相機主體的圖像傳感器所生成的運動圖像數據中的畫面內的被攝體像的動作，并輸出被攝體像動作信息；圖像壓縮處理部，其進行所述運動圖像數據的壓縮編碼； 傳感器，其檢測所述照相機主體中產生的動作，并輸出照相機主體動作信息；和場景判定編碼控制部，其基于所述被攝體動作信息和所述照相機主體動作信息，判定所述運動圖像數據的攝影狀況，所述場景判定編碼控制部使所述圖像壓縮處理部實施適于所述攝影狀況的代碼量抑制控制。
2.根據權利要求1所述的運動圖像拍攝裝置，其中，所述攝影狀況是組合了所述照相機主體中產生的運動狀況和實際的被攝體的移動狀況的狀況。
3.根據權利要求1所述的運動圖像拍攝裝置，其中，所述場景判定編碼控制部基于所述照相機主體動作信息表示的所述照相機主體中產生的運動的程度、和所述被攝體像動作信息表示的所述運動圖像數據中的畫面內的所述被攝體像的移動的程度的組合，判定所述攝影狀況。
4.根據權利要求1所述的運動圖像拍攝裝置，其中，所述傳感器將施加在所述照相機主體上的角速度作為所述照相機主體中產生的動作， 來進行檢測。
5.根據權利要求4所述的運動圖像拍攝裝置，其中， 該運動圖像拍攝裝置還包括透鏡控制部，其通過對使攝影光聚集到所述圖像傳感器的透鏡部賦予抵消所述角速度的動作，從而校正因所述角速度而在畫面內的被攝體像中產生的不需要的運動；和角速度傳感器，其檢測所述角速度并提供給所述透鏡控制部， 所述角速度傳感器被共用為所述傳感器。
6.根據權利要求1所述的運動圖像拍攝裝置，其中，所述圖像處理部將通過設定于所述畫面內的代表點的幀間匹配處理得到的代表點動作信息作為所述被攝體像動作信息來進行檢測。
7.根據權利要求1所述的運動圖像拍攝裝置，其中， 所述圖像處理部還檢測所述運動圖像數據中的頻率分布信息，所述場景判定編碼控制部控制所述圖像壓縮處理部，以使根據所述狀況判定而個別地實施在所述運動圖像數據中基于所述頻率分布信息分離的各頻帶中的代碼量抑制處理。
8.根據權利要求1所述的運動圖像拍攝裝置，其中，所述傳感器將施加給所述照相機主體的角速度作為所述照相機主體中產生的動作來進行檢測，所述圖像處理部將通過設定于所述畫面內的代表點的幀間匹配處理得到的代表點動作信息作為所述被攝體像動作信息來進行檢測，所述圖像處理部還檢測所述運動圖像數據中的頻率分布信息， 所述場景判定編碼控制部根據該運動圖像拍攝裝置的用途，選擇并使用所述角速度、所述代表點動作信息和所述頻率分布信息，以判定所述攝影狀況。
9.根據權利要求8所述的運動圖像拍攝裝置，其中，所述場景判定編碼控制部根據該運動圖像拍攝裝置的用途，選擇并組合所述角速度、 所述代表點動作信息和所述頻率分布信息，以判定所述攝影狀況。
10.根據權利要求1所述的運動圖像拍攝裝置，其中，所述場景判定編碼控制部通過濾波去除高頻成分來實施所述代碼量抑制控制。
11.根據權利要求10所述的運動圖像拍攝裝置，其中，所述場景判定編碼控制部以多個幀為單位，對所述濾波去除高頻成分中的濾波設定進行多階段控制。
12.根據權利要求1所述的運動圖像拍攝裝置，其中，所述場景判定編碼控制部通過跳過幀來實施所述代碼量抑制控制。
13.根據權利要求1所述的運動圖像拍攝裝置，其中，所述場景判定編碼控制部通過插入虛擬幀來實施所述代碼量抑制控制。
14.根據權利要求1所述的運動圖像拍攝裝置，其中，所述場景判定編碼控制部通過多路復用幀來實施所述代碼量抑制控制。
15.根據權利要求1所述的運動圖像拍攝裝置，其中，所述場景判定編碼控制部通過使量化步長增加來實施所述代碼量抑制控制。
16.根據權利要求1所述的運動圖像拍攝裝置，其中，所述場景判定編碼控制部通過進行濾波去除高頻成分、幀的跳躍、虛擬幀的插入、幀的多路復用以及量化步長的增加中的任一種來實施所述代碼量抑制控制。
17.根據權利要求1所述的運動圖像拍攝裝置，其中，所述場景判定編碼控制部在所述被攝體像的動作判定過程中采用多階段的閾值。
18.根據權利要求1所述的運動圖像拍攝裝置，其中，所述場景判定編碼控制部在所述被攝體像的動作判定過程中采用閾值，并且根據編碼的搜索范圍的大小來切換該閾值。
19.根據權利要求1所述的運動圖像拍攝裝置，其中，所述場景判定編碼控制部在所述被攝體像的動作判定過程中采用閾值，并且根據編碼的幀速率或比特率來切換該閾值。
20.根據權利要求1所述的運動圖像拍攝裝置，其中，所述圖像壓縮處理部是具有進行運動圖像數據的伸展的功能的圖像壓縮/伸展處理部。
21.根據權利要求1所述的運動圖像拍攝裝置，其中，該運動圖像拍攝裝置還包括進行所述運動圖像數據的圖像顯示控制的圖像顯示處理
全文摘要
本發明提供一種運動圖像拍攝裝置。其中圖像處理部對設于照相機主體的圖像傳感器生成的運動圖像數據中的畫面內的被攝體像的動作進行檢測，并輸出被攝體動作信息。傳感器檢測照相機主體中產生的動作并輸出照相機主體動作信息。場景判定編碼控制部基于被攝體像動作信息與照相機主體動作信息，判定運動圖像數據的攝影狀況，并使圖像壓縮處理部實施適于該攝影狀況的代碼量抑制控制。
文檔編號H04N5/232GK102326389SQ200980157198
公開日2012年1月18日 申請日期2009年12月25日 優先權日2009年2月23日
發明者內田友和, 小川雅裕, 方城正博 申請人:松下電器產業株式會社