畫面信號處理裝置及方法、記錄介質、程序和攝像機的制作方法

專利名稱：畫面信號處理裝置及方法、記錄介質、程序和攝像機的制作方法
技術領域：
本發明涉及用于處理畫面信號的設備和方法、記錄介質、程序以及攝像機，并且，具體地，涉及用于處理畫面信號的設備和方法、記錄介質、程序以及攝像機，其適用于在畫面信號的壓縮編碼中的壓縮比的控制。
背景技術：
例如，當數字運動畫面數據被記錄在信息記錄介質中，或經由典型為互聯網的網絡被傳送時，對運動畫面數據進行壓縮編碼，這是由于，其數據量非常大。作為對運動畫面數據的代表性編碼方法，可引用運動補償預測編碼方法。
運動補償預測編碼方法的具體例子包括MPEG(運動畫面專家組)編碼系統。在MPEG系統中，將一幀或一場劃分為各自由16行乘16像素構成的宏塊，并且，在宏塊的基礎上執行運動補償預測編碼。
運動補償預測編碼方法是利用沿時間軸的畫面的校正的編碼方法。具體地，在此方法中，檢測要編碼的畫面(編碼目標畫面)相對于作為參考對象(參考畫面)的畫面的運動矢量，然后根據運動矢量，對已經經過編碼和解碼的參考畫面執行運動補償，以由此產生預測畫面。隨后，獲得編碼目標畫面相對于預測畫面的預測殘差，然后對預測殘差和運動矢量編碼，從而壓縮運動畫面的信息量。
運動補償預測編碼方法大致包括兩類編碼方案幀內編碼(intra-coding)和幀間編碼(inter-coding)。在幀內編碼中，通過將宏塊視作編碼目標，直接對編碼目標畫面的信息進行編碼。在幀間編碼中，將時間上在編碼目標畫面之間和之后的畫面用作參考畫面，并且對從參考畫面產生的預測畫面與編碼目標畫面之間的差進行編碼。
在MPEG系統中，通過將各個畫面分類為I畫面(幀內編碼畫面)、P畫面(預測編碼畫面)以及B畫面(雙向預測編碼畫面)中的任一畫面類型，而對各個畫面進行編碼。另外，在MPEG系統中，基于GOP(畫面組)執行處理。
當根據基于GOP的編碼的編碼數據結果被記錄在信息記錄介質中、或被傳送時，編碼的壓縮比需要被精確地控制，以便在編碼數據被展開解碼時實現高畫面質量，并且，使得編碼數據具有等于或小于信息記錄介質的記錄容量、或通信線路的傳輸容量的數據量。
在相關技術中的用于精確控制編碼的壓縮比的方法中，在實際編碼之前，對要編碼的畫面精確估計要生成的代碼量，并基于估計結果控制壓縮比。
例如，存在一種方法，其中，為了精確估計要生成的代碼量，在實際編碼之前暫時設置關于壓縮比的參數，隨后執行編碼。然而，這樣的方法涉及對執行實際編碼所需的計算量兩倍的計算量的計算的需要，并由此導致低效率的問題。
作為相對于此的對策，存在一種方法，其中，基于畫面的預測殘差而估計要生成的代碼量，而不需執行其計算量是實際編碼所需計算量的兩倍的計算(例如，參考專利文獻1)。
然而，編碼目標畫面的預測殘差是除非對編碼目標畫面實際編碼、否則便不能獲得的指標(index)。因而，用于估計要生成的代碼量的預測殘差不是與編碼目標畫面相對應的預測殘差，而是例如被反饋到編碼目標畫面的前面一幀的畫面的預測殘差，并將其用作編碼目標畫面的預測殘差。
W098/26599(日本專利申請號Hei 10-526505)發明內容本發明要解決的問題如果如上所述反饋例如在編碼目標畫面前面一幀的畫面的預測殘差，并將其用作編碼目標畫面的預測殘差，則存在如下問題，即如果在編碼目標畫面和前一畫面之間存在場景變化等，則不充分地估計關于編碼目標畫面的要生成的代碼量，并由此不能精確地控制編碼壓縮比。
考慮到這樣的情況而作出了本發明，并且，其一個目的在于，允許在編碼目標畫面的實際編碼之前精確預測出編碼目標畫面的預測殘差。
解決問題的手段根據本發明的一種畫面信號處理設備包括幀內預測殘差計算器，其對構成運動畫面的靜態畫面產生幀內預測畫面，并計算指示靜態畫面與幀內預測畫面之間差異的幀內預測殘差；幀間預測殘差計算器，其對構成運動畫面的靜態畫面產生幀間預測畫面，并計算指示靜態畫面與幀間預測畫面之間差異的幀間預測殘差；以及偽預測殘差產生器，其通過使用幀內預測殘差或幀間預測殘差中的至少一個，而產生對應于靜態畫面的偽預測殘差。該畫面信號處理設備還包括預期預測殘差計算器，其基于與第n靜態畫面的前一靜態畫面相對應的偽預測殘差、以及與第n靜態畫面的前一靜態畫面相對應的實際預測殘差，對由偽預測殘差產生器產生且對應于第n靜態畫面的偽預測殘差進行校正，以由此計算與第n靜態畫面相對應的預期預測殘差；壓縮比控制器，其基于由預期預測殘差計算器計算且對應于第n靜態畫面的預期預測殘差，控制與第n靜態畫面相對應的畫面信號的壓縮編碼的壓縮比；以及編碼器，其根據壓縮比控制器的控制而執行對與第n靜態畫面相對應的畫面信號的壓縮編碼，并將通過壓縮編碼的處理過程產生且對應于第n靜態畫面的實際預測殘差提供給預期預測殘差計算器。
對于在靜態畫面中設置且具有預定大小的每個分割區域，偽預測殘差產生器可采用幀內預測殘差和幀間預測殘差中的較小者，以由此產生與該靜態畫面相對應的偽預測殘差。
分割區域可以是宏塊。
預期預測殘差計算器可通過將特定值加上由偽預測殘差產生器產生且對應于第n靜態畫面的偽預測殘差，而計算與第n靜態畫面相對應的預期預測殘差。通過將對應于第n靜態畫面的前一靜態畫面的偽預測殘差與對應于第n靜態畫面的前一靜態畫面的實際預測殘差之間的差乘以預定系數，而獲得該特定值。
預定編碼系統可以是MPEG系統。
預定編碼系統可以是MPEG4-AVC系統。
根據本發明的畫面信號處理方法包括幀內預測殘差計算步驟，用于對構成運動畫面的靜態畫面產生幀內預測畫面，并由此計算指示靜態畫面與幀內預測畫面之間差異的幀內預測殘差；幀間預測殘差計算步驟，用于對構成運動畫面的靜態畫面產生幀間預測畫面，并計算指示靜態畫面與幀間預測畫面之間差異的幀間預測殘差；以及偽預測殘差產生步驟，用于通過使用幀內預測殘差或幀間預測殘差中的至少一個而產生對應于靜態畫面的偽預測殘差。該畫面信號處理方法還包括預期預測殘差計算步驟，用于基于與第n靜態畫面的前一靜態畫面相對應的偽預測殘差、以及與第n靜態畫面的前一靜態畫面相對應的實際預測殘差，對通過偽預測殘差產生步驟中的處理而產生且對應于第n靜態畫面的偽預測殘差進行校正，以由此計算與第n靜態畫面相對應的預期預測殘差；壓縮比控制步驟，用于基于通過預期預測殘差計算步驟中的處理而計算且對應于第n靜態畫面的預期預測殘差，控制與第n靜態畫面相對應的畫面信號的壓縮編碼的壓縮比；以及編碼步驟，用于根據壓縮比控制步驟中的處理的控制而執行對與第n靜態畫面相對應的畫面信號的壓縮編碼，并為預期預測殘差計算步驟中的處理提供通過壓縮編碼的處理過程產生且對應于第n靜態畫面的實際預測殘差。
根據本發明的記錄介質中的程序包括幀內預測殘差計算步驟，用于對構成運動畫面的靜態畫面產生幀內預測畫面，并由此計算指示靜態畫面與幀內預測畫面之間差異的幀內預測殘差；幀間預測殘差計算步驟，用于對構成運動畫面的靜態畫面產生幀間預測畫面，并計算指示靜態畫面與幀間預測畫面之間差異的幀間預測殘差；以及偽預測殘差產生步驟，用于通過使用幀內預測殘差或幀間預測殘差中的至少一個而產生對應于靜態畫面的偽預測殘差。該程序還包括預期預測殘差計算步驟，用于基于與第n靜態畫面的前一靜態畫面相對應的偽預測殘差、以及與第n靜態畫面的前一靜態畫面相對應的實際預測殘差，對通過偽預測殘差產生步驟中的處理而產生且對應于第n靜態畫面的偽預測殘差進行校正，以由此計算與第n靜態畫面相對應的預期預測殘差；壓縮比控制步驟，用于基于通過預期預測殘差計算步驟中的處理而計算且對應于第n靜態畫面的預期預測殘差，控制與第n靜態畫面相對應的畫面信號的壓縮編碼的壓縮比；以及編碼步驟，用于根據壓縮比控制步驟中的處理的控制而執行對與第n靜態畫面相對應的畫面信號的壓縮編碼，并為預期預測殘差計算步驟中的處理提供通過壓縮編碼的處理過程產生且對應于第n靜態畫面的實際預測殘差。
根據本發明的程序使得計算機執行如下處理，其包括幀內預測殘差計算步驟，用于對構成運動畫面的靜態畫面產生幀內預測畫面，并由此計算指示靜態畫面與幀內預測畫面之間差異的幀內預測殘差；幀間預測殘差計算步驟，用于對構成運動畫面的靜態畫面產生幀間預測畫面，并計算指示靜態畫面與幀間預測畫面之間差異的幀間預測殘差；以及偽預測殘差產生步驟，用于通過使用幀內預測殘差或幀間預測殘差中的至少一個而產生對應于靜態畫面的偽預測殘差。該處理還包括預期預測殘差計算步驟，用于基于與第n靜態畫面的前一靜態畫面相對應的偽預測殘差、以及與第n靜態畫面的前一靜態畫面相對應的實際預測殘差，對通過偽預測殘差產生步驟中的處理而產生且對應于第n靜態畫面的偽預測殘差進行校正，以由此計算與第n靜態畫面相對應的預期預測殘差；壓縮比控制步驟，用于基于通過預期預測殘差計算步驟中的處理而計算且對應于第n靜態畫面的預期預測殘差，控制與第n靜態畫面相對應的畫面信號的壓縮編碼的壓縮比；以及編碼步驟，用于根據壓縮比控制步驟中的處理的控制而執行對與第n靜態畫面相對應的畫面信號的壓縮編碼，并為預期預測殘差計算步驟中的處理提供通過壓縮編碼的處理過程產生且對應于第n靜態畫面的實際預測殘差。
根據本發明的攝像機包括畫面捕捉單元，其捕捉目標對象的運動畫面，并產生畫面信號；幀內預測殘差計算器，其對構成由畫面捕捉單元捕捉的運動畫面的靜態畫面產生幀內預測畫面，并計算指示靜態畫面與幀內預測畫面之間差異的幀內預測殘差；幀間預測殘差計算器，其對構成由畫面捕捉單元捕捉的運動畫面的靜態畫面產生幀間預測畫面，并計算指示靜態畫面與幀間預測畫面之間差異的幀間預測殘差；以及偽預測殘差產生器，其通過使用幀內預測殘差或幀間預測殘差中的至少一個而產生對應于靜態畫面的偽預測殘差。該攝像機還包括預期預測殘差計算器，其基于與第n靜態畫面的前一靜態畫面相對應的偽預測殘差、以及與第n靜態畫面的前一靜態畫面相對應的實際預測殘差，對由偽預測殘差產生器產生且對應于第n靜態畫面的偽預測殘差進行校正，以由此計算與第n靜態畫面相對應的預期預測殘差；壓縮比控制器，其基于由預期預測殘差計算器計算且對應于第n靜態畫面的預期預測殘差，而控制與第n靜態畫面相對應的畫面信號的壓縮編碼的壓縮比；編碼器，其根據壓縮比控制器的控制而執行對與第n靜態畫面相對應的畫面信號的壓縮編碼，并將通過壓縮編碼的處理過程產生且對應于第n靜態畫面的實際預測殘差提供給預期預測殘差計算器；以及記錄器，其將已由編碼器壓縮編碼的畫面信號記錄在信息記錄介質中。
在畫面信號處理設備和方法、程序、以及攝像機中，對構成運動畫面的靜態畫面計算幀內預測殘差和幀間預測殘差，并通過使用幀內預測殘差和幀間預測殘差中的至少一個來產生對應于靜態畫面的偽預測殘差。另外，基于與第n靜態畫面的前一靜態畫面相對應的偽預測殘差和與第n靜態畫面的前一靜態畫面相對應的實際預測殘差，校正對應于第n畫面的偽預測殘差。由此，計算對應于第n靜態畫面的預期預測殘差。此外，基于計算出的、對應于第n靜態畫面的預期預測殘差，控制當對與第n靜態畫面相對應的畫面信號進行壓縮編碼時的壓縮比。根據此控制，對與第n靜態畫面相對應的畫面信號進行壓縮編碼。另外，為預期預測殘差計算的處理提供在壓縮編碼的處理過程中產生且對應于第n靜態畫面的實際預測殘差。
發明的效果本發明允許在編碼目標畫面的實際編碼之前精確預測編碼目標畫面的預測殘差。


圖1是示出應用了本發明的畫面信號處理設備的配置示例的框圖。
圖2是示出圖1的偽預測殘差產生器(producer)的配置示例的框圖。
圖3是示出圖1的預感器(anticipator)的配置示例的框圖。
圖4是示出圖1的目標代碼量決定器的配置示例的框圖。
圖5是用于說明畫面信號處理設備執行的畫面壓縮處理的流程圖。
圖6是用于詳細說明圖5的步驟S1的流程圖。
圖7是用于詳細說明圖5的步驟S2的流程圖。
圖8是用于詳細說明圖5的步驟S3的流程圖。
圖9是示出對于特定序列的VBR目標代碼量BIT_VBR(n)的圖。
圖10是示出對于特定序列的目標代碼量BIT_TGT(n)的圖。
圖11是示出作為序列困難度的函數的目標代碼量BIT_TGT(n)的變化的圖。
圖12是圖解圖1的編碼器5的配置示例的框圖。
圖13是示出量化比例和所生成代碼量的對數之間的關系的圖。
圖14是示出量化比例和使用預測殘差而正規化的所生成代碼量的對數之間的關系的圖。
圖15是示出用二次方程式近似的、量化比例和使用預測殘差而正規化的所生成代碼量的對數之間的關系的圖。
圖16是用于說明對序列的開始處的I畫面的編碼處理的流程圖。
圖17是圖解應用本發明的數字攝像機的配置示例的框圖。
圖18是圖解應用本發明的個人計算機的配置示例的框圖。
附圖標記的描述1畫面信號處理設備；2偽預測殘差產生器；3預測殘差預感器；4目標代碼量決定器；5編碼器；11幀內預測器；12幀間預測器；13、14差分單元；15比較器；21預測殘差計算器；31VBR分配器；32CBR分配器；33比較器；41幀內預測器；42幀內預測殘差計算器；43比率控制器；45量化器；201相機單元；222壓縮器；301CPU；311記錄介質。
具體實施例方式
下面將說明本發明的一個實施例。圖1示出了應用本發明的畫面信號處理設備的配置示例。畫面信號處理設備1對輸入運動畫面信號(下文中，描述為編碼目標畫面信號)進行壓縮編碼，以由此產生具有比編碼目標畫面信號的數據量和比特率小和低的數據量和比特率的編碼畫面信號。畫面信號處理設備1包括偽預測殘差產生器2、預測殘差預感器3、目標代碼量決定器4以及編碼器5。
偽預測殘差產生器2基于輸入編碼目標畫面信號而計算預測殘差SAD(下文中，描述為偽預測殘差BD)的偽值，并將計算的偽預測殘差BD輸出到預測殘差預感器3。當在后級編碼器5中對編碼目標畫面信號實際編碼時，計算預測殘差SAD。在下文中，與第n畫面(幀畫面或場畫面)的編碼目標畫面信號相對應的偽預測殘差將被描述偽預測殘差BD(n)。
預測殘差預感器3基于與第n-1畫面的編碼目標畫面信號和預測殘差SAD(n-1)相對應的偽預測殘差BD(n-1)，校正從偽預測殘差產生器2輸入的、并對應于第n畫面的偽預測殘差BD(n)，其中，預測殘差SAD(n-1)從編碼器5被輸入，并對應于第n-1畫面的編碼目標畫面信號。接著，預測殘差預感器3將作為校正結果獲得的預期的預測殘差PRED(n)輸出到目標代碼量決定器4。
目標代碼量決定器4基于從預測殘差預感器3輸入的偽預測殘差PRED(n)而計算兩類目標代碼量。一類是在將VBR(可變比特率)應用于第n畫面的編碼時的目標代碼量(下文中，描述為VBR目標代碼量BIT_VBR(n))。另一類是在將CBR(恒定比特率)應用于其的目標代碼量(下文中，描述為CBR目標代碼量BIT_CBR(n))。在計算之后，目標代碼量決定器4將這些目標代碼量之一作為目標代碼量BIT_TGT(n)而輸出到編碼器5。
另外，編碼器5向目標代碼量決定器4通知占用VBV緩沖器(或CPB緩沖器)的數據量，并且，目標代碼量決定器4基于占用VBV緩沖器(或CPB緩沖器)的數據量而計算VBV目標代碼量BIT_VBV(n)。由此，如果VBV目標代碼量BIT_VBV(n)小于VBR目標代碼量BIT_VBR(n)和CBR目標代碼量BIT_CBR(n)，則可將VBV目標代碼量BIT_VBV(n)設置為目標代碼量BIT_TGT。VBV緩沖器(或CPB緩沖器)是在編碼器5中提供的虛擬緩沖器，并監視實際生成的代碼量，使得在對編碼的畫面信號進行解碼時不會發生溢出和下溢。VBV緩沖器是MPEG2中的術語，而CPB緩沖器是MPEG4-AVC(高級視頻編碼)中的術語。
編碼器5是應用運動補償預測編碼方法的編碼設備，即，基于例如MPEG2系統、MPEG4系統、MPEG4-AVC系統等的編碼設備。編碼器5根據從目標代碼量決定器4輸入的目標代碼量BIT_TGT，而對輸入編碼目標畫面信號進行壓縮編碼，以由此產生編碼畫面信號。此外，編碼器5向預測殘差預感器3輸出通過壓縮編碼的處理過程而計算的實際預測殘差SAD。
圖2示出了偽預測殘差產生器2的配置示例。參考圖2的配置示例，幀內預測器11將幀內預測應用于輸入的編碼目標畫面信號，以由此產生幀內預測畫面，并將其輸出到差分單元13。幀間預測器12將幀間預測器應用于輸入的編碼畫面信號，以由此產生幀間預測畫面，并將其輸出到差分單元14。幀內預測器11和幀間預測器12不一定要能夠產生與由例如應用MPEG2系統、MPEG4系統、MPEG4-AVC系統等的編碼器5中包括的幀內預測器和幀間預測器所產生的畫面精度相同的幀內預測畫面和幀間預測畫面。對于幀內預測器11和幀間預測器12，能夠產生顯示出對編碼器5中的預測器產生的畫面的大概相似的趨勢的幀內預測畫面和幀間預測畫面就足夠了。
差分單元13計算幀內預測器11產生的幀內預測畫面和相應的編碼目標畫面信號的畫面之間的差，并將計算結果作為幀內預測殘差而輸出到比較器15。差分單元14計算幀間預測器12產生的幀間預測畫面和相應編碼目標畫面信號的畫面之間的差，并將計算結果作為幀間預測殘差而輸出到比較器15。比較器15在每個宏塊的基礎上比較從差分單元13輸入的幀內預測殘差與從差分單元14輸入的幀間預測殘差，并采用較小者作為偽預測殘差BD，以將其輸出到后級預測殘差預感器3。比較的區域單位不限于宏塊，而可基于任何劃分單位、對從編碼目標畫面的劃分產生的每個區域進行比較。
圖3示出了預測殘差預感器3的配置示例。參考圖3的配置示例，將與來自偽預測殘差產生器2的第n(n＝1，2，...)畫面相對應的偽預測殘差BD(n)輸入到預測殘差計算器21和延遲器22。預測殘差計算器21通過將值G(SAD(n-1)-BD(n-1))加到從偽預測殘差產生器2輸入的、并對應于第n畫面的偽預測殘差BD(n)(如方程式(1)所示)，而計算與第n畫面的編碼目標畫面信號相對應的預期預測殘差PRED(n)。通過將調整系數G乘以與由延遲器22延遲一個畫面得到的第n-1畫面的編碼目標畫面信號相對應的偽預測殘差BD(n-1)、與由編碼器5實際計算且對應于第n-1畫面的編碼目標畫面信號的預測殘差SAD(n-1)之間的差，而獲得值G(SAD(n-1)-BD(n-1))。調整系數(G是等于或小于1的正數，并且是例如0.9。
PRED(n)＝BD(n)+G(SAD(n-1)-BD(n-1)) (1)除了與第n-1畫面的編碼目標畫面信號相對應的偽預測殘差BD(n-1)和預測殘差SAD(n-1)之外，還可使用與第n-1畫面之前的畫面的編碼目標畫面信號相對應的偽預測殘差和預測殘差。例如，可使用與第n-2畫面的編碼目標畫面信號相對應的偽預測殘差BD(n-2)和預測殘差SAD(n-2)。
然而，因為不存在第0畫面，所以預測殘差預感器3不能計算對應于第一畫面的預期預測殘差PRED(1)。因此，預測殘差預感器3計算與第二畫面之后的畫面相對應的預期預測殘差PRED。注意，后面將描述對應于第一畫面的編碼目標畫面信號的壓縮比的控制。
圖4示出了目標代碼量決定器4的配置示例。參考圖4的配置示例，VBR分配器31通過將從預測殘差預感器3輸入的預期預測殘差PRED(n)乘以預定系數k(例如0.2)(如方程式(2)所示)，或通過使用包括作為獨立變量的、從預測殘差預感器3輸入的預期預測殘差PRED(n)的函數f(PRED(n))(如方程式(3)所示)，而計算VBR目標代碼量BIT_VBR(n)。
BIT_VBR(n)＝k·PRED(n) (2)BIT_VBR(n)＝f(PRED(n)) (3)對于系數k和函數f(x)，可取決于編碼目標畫面信號的畫面質量和編碼畫面信號的使用目的，而可選地采用任何值和函數。另外，可根據畫面的畫面類型來改變系數k和函數f(x)。
CBR分配器32基于從預測殘差預感器3輸入的預期預測殘差PRED(n)，取決于編碼目標畫面信號的畫面類型而使用方程式(4-1)到(4-3)中的一個，來計算CBR目標代碼量BIT_CBR(n)，使得在對編碼目標畫面信號編碼時生成的代碼量是基于GOP(畫面組)的預定固定值。接著，CBR分配器32將計算的CBR目標代碼量BIT_CBR(n)輸出到比較器33。
CBR目標代碼量BIT_CBR(n)_I(當第n畫面是I畫面時)＝R/(1+(Np·PREDp)/(PRED(n)·Kp)+(Nb·PREDb)/(PRED(n)·Kb)) (4-1)CBR目標代碼量BIT_CBR(n)_P(當第n畫面是P畫面時)＝R/(Np+(Nb·PREDb·Kp)/(PRED(n)·Kb)) (4-2)CBR目標代碼量BIT_CBR(n)_B(當第n畫面是B畫面時)＝R/(Nb+(Np·PREDp·Kb)/(PRED(n)·Kp)) (4-3)在方程式(4-1)到(4-3)中，R是指示預先分配給GOP的代碼中還未被分配給任何畫面的、尚未分配代碼的量的虛擬緩沖器值。每次計算方程式(4-1)到(4-3)中的一個時，反饋計算結果，使得R變為從用于獲得此計算結果的原始R減去反饋值而得到的值。例如，當GOP中畫面的類型為I、B、B、P...的順序時，按I、P、B、B、P...的順序執行編碼。因此，一開始用初始值代替方程式(4-1)中的R，從而計算BIT_CBR(n)_I。接著，用通過從初始值減去計算出的BIT_CBR(n)_I而獲得的值代替方程式(4-2)中的R，從而計算BIT_CBR(n)_P。即，每次對畫面編碼時，從R的值減去畫面的目標代碼量。
Np是GOP中包括的全部畫面中的還未對其計算目標代碼量BIT_CBR(n)_P的P畫面的數目。Nb是GOP中包括的全部畫面中的還未對其計算目標代碼量BIT_CBR(n)_B的B畫面的數目。PREDp是與將要對其計算目標代碼量BIT_CBR(n)的畫面的之前且最接近的P畫面相對應的預期預測殘差。PREDb是與將要對其計算目標代碼量BIT_CBR(n)的畫面的之前且最接近的B畫面相對應的預期預測殘差。Kp是P畫面的加權因子。Kb是B畫面的加權因子。
可取決于編碼目標畫面信號的畫面類型，通過使用在MPEG2 TM(測試模型)5步驟1中采用的方程式(5-1)到(5-3)代替方程式(4-1)到(4-3)，來計算CBR目標代碼量BIT_CBR(n)。
CBR目標代碼量BIT_CBR(n)_I(當第n畫面是I畫面時)＝R/(1+(Np·Xp)/(Xi·Kp)+(Nb·Xb)/(Xi·Kb)) (5-1)CBR目標代碼量BIT_CBR(n)_P(當第n畫面是P畫面時)＝R/(Np+(Nb·Xb·Kp)/(Xp·Kb)) (5-2)
CBR目標代碼量BIT_CBR(n)_B(當第n畫面是B畫面時)＝R/(Nb+(Np·Xp·Kb)/(Xb·Kp))(5-3)在方程式(5-1)到(5-3)中，R是預先分配給GOP的代碼中剩余代碼的量。每次計算方程式(5-1)到(5-3)中的一個時，R變為從先前計算中使用的原始R減去先前計算結果而獲得的值。例如，當GOP中畫面的類型為I、B、B、P...的順序時，按I、P、B、B、P...的順序執行編碼。因此，一開始用初始值代替方程式(5-1)中的R，以便計算BIT_CBR(n)_I。接著，用通過從初始值減去I畫面的代碼量而獲得的值代替方程式(5-2)中的R，以便計算BIT_CBR(n)_P。即，每次對畫面編碼時，從R的值減去畫面的實際代碼量。
Np是GOP中包括的全部畫面中的還未對其計算目標代碼量BIT_CBR(n)_P的P畫面的數目。Nb是GOP中包括的全部畫面中的還未對其計算目標代碼量BIT_CBR(n)_B的B畫面的數目。Xi、Xp和Xb分別是I畫面、P畫面和B畫面的復雜度。Kp是P畫面的加權因子。Kb是B畫面的加權因子。
比較器33比較從VBR分配器31輸入的VBR目標代碼量BIT_VBR與從CBR分配器32輸入的CBR目標代碼量BIT_CBR。當VBR目標代碼量BIT_VBR小于CBR目標代碼量BIT_CBR時，比較器33將VBR目標代碼量BIT_VBR作為目標代碼量BIT_TGT輸出。當VBR目標代碼量BIT_VBR等于或大于CBR目標代碼量BIT_CBR時，比較器將CBR目標代碼量BIT_CBR作為目標代碼量BIT_TGT輸出。
可替換地，可以總是以固定的方式將VBR目標代碼量BIT_VBR和CBR目標代碼量BIT_CBR的其中一個作為目標代碼量BIT_TGT不變地輸出，而不由比較器33比較從VBR分配器31輸入的VBR目標代碼量BIT_VBR與從CBR分配器32輸入的CBR目標代碼量BIT_CBR。
另外，可替換地，比較器33可基于從編碼器5提供的、占用VBV緩沖器(或CPB緩沖器)的數據量而決定目標代碼量BIT_TGT。
下面將參考圖5的流程圖作出描述，該流程圖關于由用于對應于第n畫面的編碼目標畫面信號的壓縮編碼的畫面信號處理設備1執行的畫面壓縮處理。
在步驟S1中，偽預測殘差產生器2基于與第n畫面相對應的輸入編碼目標畫面信號，計算與第n畫面相對應的偽預測殘差BD(n)，并將其輸出到預測殘差預感器3。下面參考圖6的流程圖詳細說明步驟S1中的處理。
在步驟S11中，幀內預測器11將幀內預測應用于第n畫面的輸入編碼目標畫面信號，以由此產生幀內預測畫面，并將其輸出到差分單元13。同時，幀間預測器12將幀間預測應用于第n畫面的輸入編碼目標畫面信號，以由此產生幀間預測畫面，并將其輸出到差分單元14。
在步驟S12中，差分單元13計算由幀內預測器11產生的幀內預測畫面與第n畫面之間的差，并將計算結果作為幀內預測殘差輸出到比較器15。同時，差分單元14計算由幀間預測器產生的幀間預測畫面與第n畫面之間的差，并將計算結果作為幀間預測殘差輸出到比較器15。
在步驟S13中，比較器15對于畫面中的每個宏塊，比較從差分單元13輸入的幀內預測殘差與從差分單元14輸入的幀間預測殘差，并采用較小者作為偽預測殘差BD(n)，以將其輸出到后級預測殘差預感器3。這是步驟S1中的處理的詳細描述的結束。
回到圖5，在步驟S2中，預測殘差預感器3基于與第n-1畫面的編碼目標畫面信號相對應的偽預測殘差BD(n-1)和從編碼器5輸出且對應于第n-1畫面的編碼目標畫面信號的實際預測殘差SAD(n-1)，校正從偽預測殘差產生器2輸入且對應于第n畫面的偽預測殘差BD(n)。接著，預測殘差預感器3將作為校正結果而獲得的預期預測殘差PRED(n)輸出到目標代碼量決定器4。下面參考圖7的流程圖詳細說明步驟S2中的處理。
在步驟S21中，預測殘差計算器21從編碼器5獲取第n-1畫面的編碼目標畫面信號的實際預測殘差SAD(n-1)，并且還從延遲器22獲取與第n-1畫面的編碼目標畫面信號相對應的偽預測殘差BD(n-1)。在步驟S22中，預測殘差計算器21從偽預測殘差產生器2獲取對應于第n畫面的偽預測殘差BD(n)。
在步驟S23中，預測殘差計算器21通過將值G(SAD(n-1)-BD(n-1))加到從偽預測殘差產生器2輸入的且對應于第n畫面的偽預測殘差BD(n)(如方程式(1)所示)，計算與第n畫面的編碼目標畫面信號相對應的預期預測殘差PRED(n)。通過將調整系數G乘以偽預測殘差BD(n-1)(其與由延遲器22延遲一個畫面得到的第n-1畫面的編碼目標畫面信號相對應)與預測殘差SAD(n-1)(即，由編碼器5實際計算且對應于第n-1畫面的編碼目標畫面信號)之間的差而獲得值G(SAD(n-1)-BD(n-1))。這是步驟S2中的處理的詳細描述的結束。
回到圖5，在步驟S3中，目標代碼量決定器4基于從預測殘差預感器3輸入的預期預測殘差PRED(n)，而決定對應于第n畫面的目標代碼量BIT_TGT(n)，并將目標代碼量BIT_TGT(n)輸出到編碼器5。下面參考圖8的流程圖詳細描述步驟S3中的處理。
在步驟S31中，VBR分配器31基于從預測殘差預感器3輸入的預期預測殘差PRED(n)，使用方程式(2)或(3)計算對應于第n畫面的VBR目標代碼量BIT_VBR(n)。圖9示出了由VBR分配器31對任何序列(在某一周期內的編碼目標畫面信號)計算的VBR目標代碼量BIT_VBR(n)的一個示例。在圖9中，橫坐標表示序列的經過時間，而縱坐標表示取決于多個編碼畫面的代碼量而確定的比特率。如圖9中的曲線51所示，VBR目標代碼量BIT_VBR(n)取決于各個畫面的復雜度(編碼的困難度)等而變化，并且，因此，從后級編碼器5輸出的、取決于編碼畫面的代碼量而確定的比特率經常超越預先作為目標的比特率的最大值(上限率L)。
在步驟S32中，CBR分配器32基于從預測殘差預感器3輸入的預期預測殘差PRED(n)，根據對應于第n畫面的編碼目標畫面信號的畫面類型，而計算CBR目標代碼量BIT_CBR(n)(如方程式(4-1)到(4-3)所示)，使得在對編碼目標畫面信號進行編碼時生成的代碼量是基于GOP的固定值(圖9中的上限率L)。
盡管為了方便已描述了在不同的定時執行步驟S31中的處理和步驟S32中的處理，但實際上，可同時執行這些步驟。
在步驟S33中，比較器33確定從VBR分配器31輸入的VBR目標代碼量BIT_VBR(n)是否小于從CBR分配器32輸入的CBR目標代碼量BIT_CBR(n)。如果確定VBR目標代碼量BIT_VBR(n)小于CBR目標代碼量BIT_CBR(n)，則處理序列前進到步驟S34，其中，比較器33將VBR目標代碼量BIT_VBR(n)作為目標代碼量BIT_TGT(n)而輸出到后級編碼器5。
相反，如果在步驟S33中確定VBR目標代碼量BIT_VBR(n)不小于CBR目標代碼量BIT_CBR(n)，則處理序列前進到步驟S35。在步驟S35中，比較器33將CBR目標代碼量BIT_CBR(n)作為目標代碼量BIT_TGT(n)輸出到后級編碼器5。
當作為例子而采用與圖9中的序列相同的序列時，如圖10中的曲線71所示，從比較器33輸出的目標代碼量BIT_TGT(n)取決于各個畫面的復雜度(編碼的困難度)等而變化。然而，當從后級編碼器5輸出的取決于編碼畫面的代碼量而確定的比特率達到預先作為目標的比特率的最大值(上限率L)時，比特率值穩定在上限率L。另外，由于對每個畫面的編碼而有規律地計算VBR目標代碼量BIT_VBR(n)和CBR目標代碼量BIT_CBR(n)這兩者的特性，迅速地執行從VBR目標代碼量BIT_VBR(n)到CBR目標代碼量BIT_CBR(n)的切換。
目標代碼量決定器4通過使用在實際編碼前獲得的預期預測殘差PRED而計算目標代碼量BIT_TGT(n)，并由此能夠反映要編碼的畫面的代碼量是小還是大。另外，目標代碼量決定器4能在畫面的編碼前反映場景改變和序列的移動趨勢，并由此能夠分配適當的代碼量。因此，可抑制畫面質量的惡化。此外，當使用采用方程式(4-1)到(4-3)的方法時，不反饋從實際編碼得到的所生成的代碼以供使用。這個特征提供了目標代碼量與實際結果代碼量之間的偏移不容易累積的特性，并由此提供了穩定的操作。
回到圖5，在步驟S4中，編碼器5根據從編碼代碼量決定器4輸入且對應于第n畫面的目標代碼量BIT_TGT(n)，而對與第n畫面相對應的輸入編碼目標畫面信號執行壓縮編碼，以由此產生編碼畫面信號。可使用任何方法作為用于根據目標代碼量BIT_TGT(n)執行壓縮編碼、以由此產生編碼畫面信號的方法。例如，使用在MPEG2 TM5步驟2中采用的如下算法的方法是可用的，該算法在每個宏塊的基礎上逐點監視生成的代碼量，并由此調整壓縮比，以由此實現目標代碼量。
另外，在MPEG2 TM5步驟2中，例如，如下方法是可用的，其中，將為每種畫面類型獨立提供的虛擬緩沖器(指示目標代碼量與生成的代碼量之間的差的實體)集成到單個虛擬緩沖器中，從而對各個畫面共公地使用單個虛擬緩沖器。由于可穩定編碼器5的操作，所以，此方法更有效。本受讓人已提出了此方法，并已在日本專利公開號2003-230151中公開了該方法。
在日本專利公開號2003-230151中，具體地，基于畫面的全局復雜度的比，而正規化不同畫面類型之間的所生成比特量的差。相反，編碼器5直接從預期預測殘差計算目標代碼量。
當對I畫面編碼時，使用方程式(6-1)計算虛擬緩沖器占用量dj，然后使用方程式(7-1)將虛擬緩沖器占用量dj轉換為量化比例碼Qi。當對P畫面編碼時，使用方程式(6-2)計算虛擬緩沖器占用量dj，然后使用方程式(7-2)將虛擬緩沖器占用量dj轉換為量化比例碼Qp。當對B畫面編碼時，使用方程式(6-3)計算虛擬緩沖器占用量dj，然后使用方程式(7-3)將虛擬緩沖器占用量dj轉換為量化比例碼Qb。
dj＝d0+B(j-1)-(Ti·(j-1))/MB_COUNT (6-1)dj＝d0+(Last_Ibit/Tp)·(B(j-1)-(Tp·(j-1))/MB_COUNT) (6-2)dj＝d0+(Last_Ibit/Tb)·(B(j-1)-(Tb·(j-1))/MB_COUNT) (6-3)Qi＝dj×QP/r (7-1)Qp＝dj×QP/r (7-2)Qb＝dj×QP/r+c (7-3)d0是虛擬緩沖器的初始占用量。B(j-1)是要編碼的畫面中從第一宏塊到第j-1宏塊的宏塊中生成的代碼量的總和。Last_Ibit是過去已被編碼的I畫面的生成的代碼量。Ti、Tp和Tb分別是I畫面、P畫面和B畫面的目標代碼量。MB_COUNT是要編碼的畫面中宏塊的數目。QP是在MPEG2 TM5中推薦的值(特別地，31)。r是反應(reaction)參數。c是校正值(例如，2)。
方程式(6-2)中的(Last_Ibit/Tp)的乘法和方程式(6-3)中的(Last_Ibit/Tb)的乘法等價于對單個虛擬緩沖器的使用的校正。可取決于畫面類型改變編碼時的相關加權，這類似于方程式(7-3)中校正值c的添加。
圖11示出了在對輸入到編碼器5的編碼目標畫面信號進行編碼的困難度(畫面的復雜度)、與從編碼器5輸出的編碼畫面信號的比特率之間的關系。
當由圖11的橫坐標指示的畫面的困難度相對低時，將VBR應用于編碼目標畫面信號的編碼，并且，由直線81A指示困難度與比特率之間的關系。由此，當編碼的困難度增加時，生成的代碼量也增加。當畫面的困難度進一步增加、從而生成的代碼量達到上限率L時，應用CBR，并且，由此，比特率穩定(plateau)為如直線81B所示。圖11中的直線81A的斜率對應于方程式(2)中的系數k。另外，例如，如果取決于應用而可選地確定方程式(3)中的函數f，則在采用VBR時可提供由曲線82指示的特性。
上述特征允許確保從編碼器5輸出的編碼畫面信號的代碼量的上限。因此，當在例如信息記錄介質中記錄從編碼器5輸出的編碼畫面信號時，可確保介質的最大可記錄時間。
如果在應用CBR時的上限率L被設置為高于正常值的值，則可提供允許畫面以較高畫面質量編碼的高畫面質量模式。相反，通過將上限率L設置為低于正常值的值，可提供允許具有特定容量的記錄介質具有較長的可記錄時間的長時間模式。
此外，通過改變方程式(2)中的系數k的值、或改變方程式(3)中的函數f，也能夠實現高畫面質量模式和長時間模式。
通過上述步驟，完成對與第n畫面相對應的編碼目標畫面信號的編碼。接著，作為對與第n+1畫面相對應的編碼目標畫面信號的畫面壓縮處理，進行步驟S1和后續步驟。這是畫面壓縮處理的描述的結束。
在上述畫面壓縮處理中，對于預期預測殘差PRED(n)的計算，利用了前一畫面的實際預測殘差SAD(n-1)。由此，不計算第一畫面(例如，在序列開始處的I畫面)的預期預測殘差PRED(1)。因此，也不計算第一畫面的目標代碼量BIT_TGT(1)。由于該原因，對于第一畫面，編碼器5計算生成預設目標代碼量BIT的代碼的適當量化比例QP，然后對第一畫面編碼。
圖12示出了編碼器5的配置示例，限于關于第一畫面的編碼的部分。參考圖12，將來自前一級的I畫面的編碼目標畫面信號輸入到幀內預測器41、幀內預測殘差計算器42、以及正交變換器44。
幀內預測器41產生與I畫面的輸入編碼目標畫面信號相對應的幀內預測信號，并將其輸出到幀內預測殘差計算器42。幀內預測殘差計算器42計算幀內預測殘差(其是從幀內預測器41輸入的幀內預測畫面與作為原始畫面的I畫面之間的差)，并將其輸出到比率控制器43。比率控制器43基于從幀內預測殘差計算器42輸入且對應于第I畫面的幀內預測殘差，計算量化比例QP，并將其輸出到量化器45。正交變換器44執行正交變換處理，如對I畫面的輸入編碼目標畫面信號的離散余弦變換、或Karhunen-Loeve變換，并將作為處理結果而獲得的變換系數輸出到量化器45。量化器45根據從比率控制器43輸入的量化比例QP，對從正交變換器44輸入的變換系數進行量化，并將量化的變換系數輸出到無損編碼器46。無損編碼器46對從量化器45輸入的量化變換系數進行編碼，以由此產生編碼的畫面信號。
下面將描述關于比率控制器43執行的處理，其基于與I畫面相對應的幀內預測殘差而計算量化比例QP。圖13中的線段91-A、91-B和91-C示出量化比例QP與在對不同序列的開始處的I畫面編碼時獲得的生成代碼量BIT、與正在不同地改變的量化比例QP的值之間的關系。在圖13中，縱坐標指示生成代碼量BIT的對數ln(BIT)，而橫坐標指示量化比例QP。
如從線段91-A到91-C清楚看到的那樣，在任何序列中，生成代碼量的對數ln(BIT)幾乎隨著量化比例QP的增加而線性減小。生成代碼量的對數ln(BIT)與量化比例QP之間的這個關系是通常公知的。
當從對各個序列開始處的I畫面的編碼得到的生成代碼量BIT被每個使用相應I畫面的幀內預測殘差ERROR正規化時，以由此如方程式(8)所示而獲得值NORM_BIT。然后，計算值NORM_BIT的對數ln(NORM_BIT)，并將其與量化比例QP相關聯地繪制，在圖14中可確認，在圖13中相互獨立的線段91-A、91-B和91-C聚集成一條直線形式。
NORM_BIT＝BIT·(NORM/ERROR) (8)NORM是任何常量。在圖14中，縱坐標指示使用幀內預測殘差ERROR正規化的生成代碼量BIT的對數ln(NORM_BIT)，而橫坐標指示量化比例QP。
如圖15所示，可由一條直線(在下文中，描述為代表直線)近似這些聚集線段。當由包括量化比例QP作為獨立變量的線性函數描述此代表直線101時，線101被表達為方程式(9)。在方程式(9)中，a是代表直線101的斜率，而b是線101對縱坐標的截距。需要基于圖14中所示的結果預先計算這些a和b。
ln(BIT·(NORM/ERROR))＝a·QP+b(9)變換方程式(9)而產生方程式(10)，其允許計算量化比例QP，以便實現期望的生成代碼量BIT。
QP＝(ln(BIT·(NORM/ERROR))-b)/a (10)由此，比率控制器43中的方程式(10)的采用允許計算能在對序列開始處的I畫面編碼時提供期望的生成代碼量BIT的量化比例QP。這個基于方程式(10)的計算等價于在圖15中、通過代表直線101而從期望的生成代碼量102獲得的量化比例103的操作。向比率控制器43提供預先在方程式(10)中包括的BIT、NORM、a和b。如方程式(10)中的幀內預測殘差ERROR那樣，使用從幀內預測殘差計算器42向比率控制器43提供的幀內預測殘差。可替換地，如有必要，則可將偽預測殘差預感器3中包括的幀內預測器11用于提供幀內預測殘差。
下面將參考圖16描述對序列開始處的I畫面編碼的編碼器5的操作。在步驟S41中，幀內預測器41產生與I畫面的編碼目標畫面信號相對應的幀內預測畫面，并將其輸出到幀內預測殘差計算器42。幀內預測殘差計算器42計算幀內預測殘差，即從幀內預測器41輸入的幀內預測畫面與I畫面之間的差，并將其輸出到比率控制器43。
在步驟S42中，如方程式(8)所示，比率控制器43使用從幀內預測殘差計算器42輸入的幀內預測殘差ERROR，而對預設的目標代碼量BIT進行正規化。在步驟S43中，如方程式(10)所示，比率控制器43從正規化的目標代碼量的對數減去b，并將減法結果除以a，以由此計算量化比例QP，然后將其輸出到量化器45。在執行步驟S41到S43的處理期間，正交變換器44實現對I畫面的輸入編碼目標畫面信號的正交變換處理，并將作為處理結果而獲得的變換系數輸出到量化器45。在步驟S44中，量化器45根據從比率控制器43輸入的量化比例QP而量化從正交變換器44輸入的變換系數，并將量化變換系數輸出到無損編碼器46。無損編碼器46對從量化器45輸入的量化的變換系數進行編碼，以由此產生編碼畫面信號。這是由編碼器5執行的對序列開始處的I畫面的編碼的操作的描述的結束。
不僅可將上述的編碼器5的操作應用于序列開始處的I畫面，還可將其應用于例如在場景變化之后緊接著的I畫面，甚至應用于常規的I畫面。
上述操作提供了下面的優點在編碼器5中，特別大的計算量和未包括在普通編碼設備中的特定電路配置是不必要的；能將應用該操作的序列的范圍較寬；由操作得到的成功和不成功的編碼結果之間的影響的差異較小(即使當該操作導致非優化的編碼結果時，其負面影響也較小)；以及可應用該操作的壓縮比的范圍較大。
還可將本發明用于數字攝像機。圖17示出了應用了本發明的數字攝像機的配置示例。數字攝像機200捕捉目標對象的畫面，以獲取編碼目標畫面信號，并以類似于上述畫面信號處理設備1的方式，對所獲取的編碼目標畫面信號進行壓縮編碼，以由此產生編碼畫面信號。接著，數字攝像機200將產生的編碼畫面信號記錄在記錄介質中。
在大體分類中，數字攝像機200包括相機單元201、相機DSP(數字信號處理器)202、以及控制單元205。另外，數字攝像機200包括SDRAM(同步動態隨機存取存儲器)203、介質接口(I/F)204、操作部件206、LCD(液晶顯示器)控制器207、LCD 208、外部接口(I/F)209、以及可拆卸記錄介質210。
對于記錄介質210，可采用以下各種介質中的任何種類，如采用半導體存儲器的所謂的存儲卡、諸如可記錄DVD(數字多用盤)和可記錄CD(致密盤)之類的光學記錄介質、以及磁盤。在本實施例中，可將例如存儲卡用作記錄介質210。
相機單元201包括光學塊211、CCD(電荷耦合器件)212、預處理電路213、光學塊驅動器214、CCD驅動器215、以及定時生成器216。光學塊211包括鏡頭、聚焦機構、快門機構、孔徑(光圈)機構等。
控制單元205是微計算機，其中，經由系統總線255耦接了CPU(中央處理單元)251、RAM(隨機存取存儲器)252、刷新(flush)ROM(只讀存儲器)253、以及時鐘電路254。控制單元205可控制數字攝像機200中的各個單元。
主要將RAM 252用作工作區，用于例如處理的中間結果的臨時存儲器。刷新ROM 253在其中存儲要在CPU 251中執行的各種程序、以及處理所需的其它數據。時鐘電路254能輸出當前年、月、日、星期幾、以及時間。
在捕捉畫面時，控制單元205控制光學塊驅動器214，使得驅動器214形成操作光學塊211的驅動信號，以由此操作光學塊211。響應于此，光學塊211通過控制聚焦機構、快門機構以及孔徑機構而獲取目標對象的光學畫面，然后將該光學畫面聚焦到CCD 212上。
CCD 212對來自光學塊211的畫面進行光電轉換，以輸出所得信號，并響應于來自CCD驅動器215的驅動信號而操作。具體地，CCD 212在其中導入來自光學塊211的目標對象的光學畫面，并基于來自控制單元205所控制的定時生成器216的定時信號，將導入的目標對象的畫面(畫面信息)作為電信號提供給預處理電路213。如上所述，定時生成器216響應于控制單元205的控制，而形成用于提供預定定時的定時信號。另外，CCD驅動器215基于來自定時生成器216的定時信號，形成要提供給CCD 212的驅動信號。
預處理電路213執行對作為電信號從CCD 212輸入的畫面信息的CDS(相關雙采樣)處理，從而保留理想的信號的S/N比，并對信號執行AGC(自動增益控制)處理，以由此控制增益。此外，預處理電路213對信號進行A/D(模擬/數字)轉換，以由此形成被轉換為數字信號(在下文中，描述為編碼目標畫面信號)的畫面數據，并將該信號輸出到DSP 202。
DSP 202中的AF AE AWB處理器221對從相機單元1提供的編碼目標畫面信號執行相機信號處理，如AF(自動聚焦)、AE(自動曝光)和AWB(自動白平衡)。壓縮器222執行編碼目標畫面信號(已對其執行各種相機信號處理)的壓縮編碼，以由此產生編碼畫面信號。壓縮器222具有與圖1的畫面信號處理設備1相似的配置，并以與圖1的畫面信號處理設備1相似的方式操作，因此省略其詳細描述。
經由系統總線255和介質I/F 204，將由壓縮器222產生的編碼畫面信號記錄在記錄介質210中。解壓器223響應于輸入到操作部件206的用戶操作，對從記錄介質210檢索到的編碼畫面信號執行解壓處理(展開處理)，并將解壓后的畫面信號經由系統總線255提供給LCD控制器207。LCD控制器207將所提供的畫面信號的格式轉換為可適用于LCD 208的格式，并將所得到的畫面信號提供給LCD 208。由此，在LCD 208的屏幕上顯示與記錄介質210中記錄的編碼畫面信號相對應的畫面。
將外部I/F 209耦接到例如外部個人計算機。由此，通過I/F 209，接收到從個人計算機提供的編碼畫面信號，并將記錄介質210中記錄的編碼畫面信號提供給外部計算機等。另外，將通信模塊耦接到外部I/F 209，這允許將數字攝像機200耦接到諸如互聯網的網絡上，并經由該網絡交換各種數據。可作為IEEE(電氣和電子工程師協會)的有線接口、USB(通用串行總線)等而提供外部I/F 209。可替換地，其可作為用于光或無線電波的無線接口而被提供。即，外部I/F 209可以是有線和無線接口的任意接口。
可由類似畫面信號處理設備或數字攝像機200的硬件執行上述的系列處理。可替換地，可通過軟件執行這些處理。當通過軟件執行系列處理時，從合并到專用硬件中的計算機中的記錄介質等，或者從具有例如圖10所示的配置、且允許通過在其中安裝各種程序而執行其各種功能的通用個人計算機300安裝構成軟件的程序。
圖18所示的個人計算機300包括CPU 301。經由總線304將CPU 301耦接到輸入/輸出接口305。還將ROM 302和RAM 303耦接到總線304。
將輸入/輸出接口305耦接到由諸如鍵盤、鼠標、遠程控制器(通過其用戶輸入操作命令)形成的輸入部件306、輸出視頻和音頻的輸出部件307、以及由存儲程序和各種數據的硬盤驅動器等形成的存儲單元308。另外，還將輸入/輸出接口305通信單元309(其經由互聯網代表的網絡執行通信處理)、以及從記錄介質311讀取數據和向記錄介質311寫入數據的驅動器310。
用于使個人計算機300執行上述的系列處理的程序被以存儲在記錄介質311中、隨后由驅動器310檢索的狀態提供給個人計算機，以便被安裝到并入存儲單元308的硬盤驅動器中。將安裝在存儲單元308中的程序從存儲單元308載入RAM 303中，并根據輸入到輸入部件306的用戶操作、響應于來自CPU 301的指令而執行該程序。
在本說明書中，描述記錄介質中記錄的程序的步驟不僅包括根據所述順序按時間次序執行的處理，還包括不必按時間次序執行、而是并行或單獨執行的處理。
權利要求
1.一種畫面信號處理設備，其根據預定編碼系統，執行對用于顯示運動畫面的畫面信號的壓縮編碼，該畫面信號處理設備包括幀內預測殘差計算器，其對構成運動畫面的靜態畫面產生幀內預測畫面，并計算指示靜態畫面與幀內預測畫面之間差異的幀內預測殘差；幀間預測殘差計算器，其對構成運動畫面的靜態畫面產生幀間預測畫面，并計算指示靜態畫面與幀間預測畫面之間差異的幀間預測殘差；偽預測殘差產生器，其通過使用幀內預測殘差或幀間預測殘差中的至少一個，而產生對應于靜態畫面的偽預測殘差；預期預測殘差計算器，其基于與第n靜態畫面的前一靜態畫面相對應的偽預測殘差、以及與第n靜態畫面的前一靜態畫面相對應的實際預測殘差，對由偽預測殘差產生器產生且對應于第n靜態畫面的偽預測殘差進行校正，以計算與第n靜態畫面相對應的預期預測殘差；壓縮比控制器，其基于由預期預測殘差計算器計算且對應于第n靜態畫面的預期預測殘差，控制與第n靜態畫面相對應的畫面信號的壓縮編碼的壓縮比；以及編碼器，其根據壓縮比控制器的控制而執行對與第n靜態畫面相對應的畫面信號的壓縮編碼，并將通過壓縮編碼的處理過程產生且對應于第n靜態畫面的實際預測殘差提供給預期預測殘差計算器。
2.如權利要求1所述的畫面信號處理設備，其中對于在靜態畫面中設置且具有預定大小的每個分割區域，偽預測殘差產生器采用幀內預測殘差和幀間預測殘差中的較小者，以產生與該靜態畫面相對應的偽預測殘差。
3.如權利要求2所述的畫面信號處理設備，其中，所述分割區域是宏塊。
4.如權利要求1所述的畫面信號處理設備，其中預期預測殘差計算器通過將特定值加到由偽預測殘差產生器產生且對應于第n靜態畫面的偽預測殘差，而計算與第n靜態畫面相對應的預期預測殘差，通過將對應于第n靜態畫面的前一靜態畫面的偽預測殘差與對應于第n靜態畫面的前一靜態畫面的實際預測殘差之間的差乘以預定系數，而獲得該特定值。
5.如權利要求1所述的畫面信號處理設備，其中所述預定編碼系統是MPEG(運動畫面專家組)系統。
6.如權利要求1所述的畫面信號處理設備，其中所述預定編碼系統是MPEG4-AVC(高級視頻編碼)系統。
7.一種畫面信號處理方法，用于根據預定編碼系統、執行對用于顯示運動畫面的畫面信號的壓縮編碼，該畫面信號處理方法包括幀內預測殘差計算步驟，用于對構成運動畫面的靜態畫面產生幀內預測畫面，并計算指示靜態畫面與幀內預測畫面之間差異的幀內預測殘差；幀間預測殘差計算步驟，用于對構成運動畫面的靜態畫面產生幀間預測畫面，并計算指示靜態畫面與幀間預測畫面之間差異的幀間預測殘差；偽預測殘差產生步驟，用于通過使用幀內預測殘差或幀間預測殘差中的至少一個，而產生對應于靜態畫面的偽預測殘差；預期預測殘差計算步驟，用于基于與第n靜態畫面的前一靜態畫面相對應的偽預測殘差、以及與第n靜態畫面的前一靜態畫面相對應的實際預測殘差，對通過偽預測殘差產生步驟中的處理而產生且對應于第n靜態畫面的偽預測殘差進行校正，以計算與第n靜態畫面相對應的預期預測殘差；壓縮比控制步驟，用于基于通過預期預測殘差計算步驟中的處理而計算且對應于第n靜態畫面的預期預測殘差，控制與第n靜態畫面相對應的畫面信號的壓縮編碼的壓縮比；以及編碼步驟，用于根據壓縮比控制步驟中的處理的控制而執行對與第n靜態畫面相對應的畫面信號的壓縮編碼，并為預期預測殘差計算步驟中的處理提供通過壓縮編碼的處理過程產生且對應于第n靜態畫面的實際預測殘差。
8.一種記錄介質，其存儲用于根據預定編碼系統、執行對用于顯示運動畫面的畫面信號的壓縮編碼的計算機可讀程序，該程序包括幀內預測殘差計算步驟，用于對構成運動畫面的靜態畫面產生幀內預測畫面，并計算指示靜態畫面與幀內預測畫面之間差異的幀內預測殘差；幀間預測殘差計算步驟，用于對構成運動畫面的靜態畫面產生幀間預測畫面，并計算指示靜態畫面與幀間預測畫面之間差異的幀間預測殘差；偽預測殘差產生步驟，用于通過使用幀內預測殘差或幀間預測殘差中的至少一個而產生對應于靜態畫面的偽預測殘差；預期預測殘差計算步驟，用于基于與第n靜態畫面的前一靜態畫面相對應的偽預測殘差、以及與第n靜態畫面的前一靜態畫面相對應的實際預測殘差，對通過偽預測殘差產生步驟中的處理而產生且對應于第n靜態畫面的偽預測殘差進行校正，以計算與第n靜態畫面相對應的預期預測殘差；壓縮比控制步驟，用于基于通過預期預測殘差計算步驟中的處理而計算且對應于第n靜態畫面的預期預測殘差，控制與第n靜態畫面相對應的畫面信號的壓縮編碼的壓縮比；以及編碼步驟，用于根據壓縮比控制步驟中的處理的控制而執行對與第n靜態畫面相對應的畫面信號的壓縮編碼，并為預期預測殘差計算步驟中的處理提供通過壓縮編碼的處理過程產生且對應于第n靜態畫面的實際預測殘差。
9.一種用于根據預定編碼系統、執行對用于顯示運動畫面的畫面信號的壓縮編碼的程序，該程序使得計算機執行包括如下步驟的處理幀內預測殘差計算步驟，用于對構成運動畫面的靜態畫面產生幀內預測畫面，并計算指示靜態畫面與幀內預測畫面之間差異的幀內預測殘差；幀間預測殘差計算步驟，用于對構成運動畫面的靜態畫面產生幀間預測畫面，并計算指示靜態畫面與幀間預測畫面之間差異的幀間預測殘差；偽預測殘差產生步驟，用于通過使用幀內預測殘差或幀間預測殘差中的至少一個而產生對應于靜態畫面的偽預測殘差；預期預測殘差計算步驟，用于基于與第n靜態畫面的前一靜態畫面相對應的偽預測殘差、以及與第n靜態畫面的前一靜態畫面相對應的實際預測殘差，對通過偽預測殘差產生步驟中的處理而產生且對應于第n靜態畫面的偽預測殘差進行校正，以計算與第n靜態畫面相對應的預期預測殘差；壓縮比控制步驟，用于基于通過預期預測殘差計算步驟中的處理而計算且對應于第n靜態畫面的預期預測殘差，控制與第n靜態畫面相對應的畫面信號的壓縮編碼的壓縮比；以及編碼步驟，用于根據壓縮比控制步驟中的處理的控制而執行對與第n靜態畫面相對應的畫面信號的壓縮編碼，并為預期預測殘差計算步驟中的處理提供通過壓縮編碼的處理過程產生且對應于第n靜態畫面的實際預測殘差。
10.一種攝像機，其根據預定編碼系統而執行與所捕捉的運動畫面相對應的畫面信號的壓縮編碼，并將所得畫面信號記錄到信息記錄介質，該攝像機包括畫面捕捉單元，其捕捉目標對象的運動畫面，并產生畫面信號；幀內預測殘差計算器，其對構成由畫面捕捉單元捕捉的運動畫面的靜態畫面產生幀內預測畫面，并計算指示靜態畫面與幀內預測畫面之間差異的幀內預測殘差；幀間預測殘差計算器，其對構成由畫面捕捉單元捕捉的運動畫面的靜態畫面產生幀間預測畫面，并計算指示靜態畫面與幀間預測畫面之間差異的幀間預測殘差；偽預測殘差產生器，其通過使用幀內預測殘差或幀間預測殘差中的至少一個而產生對應于靜態畫面的偽預測殘差；預期預測殘差計算器，其基于與第n靜態畫面的前一靜態畫面相對應的偽預測殘差、以及與第n靜態畫面的前一靜態畫面相對應的實際預測殘差，對由偽預測殘差產生器產生且對應于第n靜態畫面的偽預測殘差進行校正，以計算與第n靜態畫面相對應的預期預測殘差；壓縮比控制器，其基于由預期預測殘差計算器計算且對應于第n靜態畫面的預期預測殘差，控制與第n靜態畫面相對應的畫面信號的壓縮編碼的壓縮比；編碼器，其根據壓縮比控制器的控制而執行對與第n靜態畫面相對應的畫面信號的壓縮編碼，并將通過壓縮編碼的處理過程產生且對應于第n靜態畫面的實際預測殘差提供給預期預測殘差計算器；以及記錄器，其將已由編碼器壓縮編碼的畫面信號記錄在信息記錄介質中。
全文摘要
一種圖像信號處理裝置、圖像信號處理方法、記錄介質以及攝像機，其中，能在圖像的實際編碼前，以較高精確度預測要編碼的圖像的殘差。將來自偽預測殘差產生部件的、對應于第n圖像的偽預測殘差BD(n)輸入到預測殘差計算部件(21)和延遲部件(22)。預測殘差計算部件(21)通過將調整系數G乘以已由延遲部件(22)延遲一個圖像量且對應于第(n－1)圖像的編碼圖像信號的偽預測殘差BD(n－1)與已由編碼部件(5)實際計算出且對應于第(n－1)圖像的編碼圖像信號的預測殘差SAD(n－1)之間的差，以產生值G(SAD(n－1)－BD(n－1))，并且，進一步通過將其加上來自偽預測殘差產生部件(2)且對應于第n圖像的偽預測殘差BD(n)，而計算并獲得對應于第n圖像的編碼圖像信號的潛在預測殘差PRED(n)。可將本發明用于數字攝像機。
文檔編號H04N5/232GK1957615SQ20058001641
公開日2007年5月2日 申請日期2005年3月4日 優先權日2004年4月9日
發明者小川要, 矢崎陽一, 關貴仁 申請人:索尼株式會社