專利名稱：圖像處理設備和圖像處理方法
技術領域：
本公開涉及圖像處理設備和圖像處理方法。更具體地說，本公開涉及通過對圖像數據進行諸如預測編碼技術之類的壓縮編碼處理，獲得編碼數據的圖像處理設備等。
背景技術：
過去，當在輸入圖像數據的編碼和解碼之后，進行圖像質量增強處理時，這樣的編碼和解碼處理，及圖像質量增強處理是獨立進行的，從而只有圖像數據從解碼處理被傳送給圖像質量增強處理。這導致編碼和解碼處理不利地影響圖像質量增強處理的問題。 例如，當編碼和解碼處理已導致圖像的退化時，在一些情況下，圖像質量增強處理會強化所述退化。在這種情況下，必須削弱圖像質量增強處理的總體效果，以便防止強化所述退化，或者降低壓縮比，以減小在編碼和解碼處理中引起的退化，或者換句話說，增大傳送率。另外，當編碼和解碼處理極大地改變了圖像的空間-時間分辨率時，存在圖像質量增強處理不能獲得足夠效果的情況。例如，日本特開2001-285881號公報試圖通過在后續的圖像質量增強處理中，使用在解碼處理中參考的解碼處理附加信息，解決該問題。不過，不存在解碼處理附加信息包括可用于該用途的信息的保證，導致當不包括有用信息時，沒有任何效果的問題。
發明內容
本發明目的在于有利地對經過編碼和解碼的圖像數據，進行諸如圖像質量增強處理之類的圖像處理。按照本公開的一個實施例，提供一種圖像處理設備，包括編碼處理單元，用于對輸入圖像數據進行壓縮編碼處理，以獲得編碼數據，附加信息生成單元，用于根據與輸入圖像數據相關的附加信息生成信息，生成當對通過對編碼數據進行壓縮解碼處理而獲得的圖像數據進行規定的圖像處理時使用的附加信息，和數據輸出單元，用于將編碼處理單元獲得的編碼數據和附加信息生成單元生成的附加信息相互關聯地輸出。按照本公開，編碼處理單元對輸入圖像數據進行壓縮編碼處理，從而獲得編碼數據。附加信息生成單元還根據與輸入圖像數據相關的附加信息生成信息，生成附加信息。當對通過對編碼數據進行壓縮解碼處理而獲得的圖像數據進行規定的圖像處理時，使用該附加信息。數據輸出單元隨后將編碼處理單元獲得的編碼數據和附加信息生成單元生成的附加信息相互關聯地輸出。例如，輸出其中附加信息被混合到編碼數據中的混合數據。按照本公開，在對經過編碼和解碼的圖像數據的圖像處理中使用的附加信息是和編碼數據一起傳送的。這意味在對經過編碼和解碼的圖像數據的圖像處理期間，能夠利用附加信息，進行有利的處理。對通過對編碼數據進行壓縮解碼處理而獲得圖像數據進行的規定圖像處理可以是圖像質量增強處理，附加信息生成單元生成的附加信息可以是當進行圖像質量增強處理時使用的信息。
例如，圖像質量增強處理是銳化處理或者對比度校正處理，附加信息生成單元生成表示是否由于壓縮編碼處理丟失了高頻信息，或者丟失了色調信息的信息，作為附加信息。在這種情況下，例如，附加信息生成單元可生成與輸入圖像數據的空間活動性，和通過對編碼數據進行壓縮解碼處理而獲得的圖像數據的空間活動性之間的差相關的信息，作為附加信息。在這種情況下，當附加信息表示由于壓縮編碼處理，丟失了高頻信息時，進行銳化處理，作為圖像質量增強處理，當附加信 息表示由于壓縮編碼處理，丟失了色調信息時，進行對比度校正處理(平滑處理)，作為圖像質量增強處理。通過利用附加信息，有利地對經過編碼和解碼的圖像數據進行銳化處理或對比度校正處理。又例如，圖像質量增強處理是降噪處理，附加信息生成單元生成表示由于壓縮編碼處理產生的退化(噪聲)的大小的信息，作為附加信息。這種情況下，附加信息生成單元生成關于輸入圖像數據和通過對編碼數據進行壓縮解碼處理而獲得的圖像數據之間的絕對差的最大值的信息，作為附加信息。這種情況下，通過利用附加信息，有利地對經過編碼和解碼的圖像數據進行降噪處理。在本公開中，例如，對通過對編碼數據進行壓縮解碼處理而獲得的圖像數據進行的規定圖像處理可以是放大指定對象的區域的圖像放大處理，附加信息生成單元生成的附加信息可以是通過根據輸入圖像數據進行指定對象的檢測處理而獲得的指定對象的區域信息。通過利用附加信息，有利地對經過編碼和解碼的圖像數據進行放大諸如面部之類的指定對象區域的圖像放大處理。按照本公開的另一個實施例，提供一種圖像處理設備，包括分離單元，用于從其中混合了編碼數據和當對通過對編碼數據進行壓縮解碼處理而獲得的圖像數據進行規定圖像處理時使用的附加信息的混合數據中，分離編碼數據和附加信息，解碼處理單元，用于對分離單元分離的編碼數據進行壓縮解碼處理，以獲得圖像數據，和圖像處理單元，用于利用分離單元分離的附加信息，對解碼處理單元獲得的圖像數據進行規定圖像處理，以獲得輸出圖像數據。按照本公開，分離單元從混合數據中，分離編碼數據和附加信息。這里，附加信息是當對通過對編碼數據進行壓縮解碼處理而獲得的圖像數據進行規定圖像處理時使用的信息。規定的圖像處理是圖像質量增強處理(銳化處理，對比度校正處理或者降噪處理)，面部區域放大處理等等。解碼處理單元對編碼數據進行壓縮解碼處理，從而獲得圖像數據。隨后，圖像處理單元利用附加信息，有利地對圖像數據進行規定的圖像處理。按照本公開，能夠有利地對經過編碼和解碼的圖像數據進行諸如圖像質量增強處理之類的圖像處理。
圖I是表示按照本公開的第一實施例的圖像傳送系統的例證結構的方框圖；圖2A和2B是用于其中說明圖像質量增強處理是銳化處理和對比度校正處理的例子的不圖；圖3是表示構成發射器一側的圖像處理設備的附加信息生成單元的例證結構的方框圖4是用于說明活動性計算單元的活動性計算操作的示圖；圖5是表示構成發熱器一側的圖像處理設備的圖像質量增強處理單元的例證結構的方框圖；圖6A和6B是表示類別分類自適應處理中的類別抽頭和預測抽頭的例證模式的示圖；圖7是表示生成在類別分類自適應處理中使用的預測系數組的生成設備的例證結構的方框圖；圖8是表示構成接收器一側的圖像處理設備的圖像質量增強處理單元的例證結構的方框圖；
圖9是表示構成接收器一側的圖像處理設備的圖像質量增強處理單元的另一個例證結構的方框圖；圖10是用于說明圖像質量增強處理是降噪處理的情況的示圖；圖11是表示構成發射器一側的圖像處理設備的附加信息生成單元的另一個例證結構的方框圖；圖12是表示構成接收器一側的圖像處理設備的圖像質量增強處理單元的另一個例證結構的方框圖；圖13是表示按照本公開的第二實施例的圖像傳送系統的例證結構的方框圖。
具體實施例方式下面參考附圖，詳細說明本公開的優選實施例。注意在說明書和附圖中，功能和結構基本相同的構成元件用相同的附圖標記表示，這些構成元件的重復說明被省略。 本公開的實施例是按照以下順序說明的。I.第一實施例2.第二實施例3.變形例I.第一實施例圖像傳送系統的結構圖I表示作為本公開的第一實施例的圖像傳送系統10的例證結構。圖像傳送系統10是通過借助傳送路徑300，連接在發射器一側(記錄側)的圖像處理設備100和在接收器一側(再現側)的圖像處理設備200構成的。表述“傳送路徑300”包括諸如網絡之類的通信路徑，和諸如記錄介質，例如光盤或存儲器之類的記錄/再現單元。圖像處理設備100包括編碼處理單元101、附加信息生成單元102和編碼數據/附加信息混合單元103。編碼數據/附加信息混合單元103構成本公開的“數據輸出單元”。編碼處理單元101對輸入圖像數據Al進行按照諸如MPEG2之類的編碼技術的壓縮編碼處理，以獲得編碼數據A2。編碼數據Al包括解碼處理所需的附隨信息(解碼附加信息)。下面說明解碼附加信息的例子。(I)信號類型信息，比如分量信號中的分量(Y、U、V分量，Y、Pr、Pb分量，R、G、B分
量等等)。(2)圖像格式信息，比如隔行/逐行標識信息，場頻或幀頻(時間分辨率信息)，表示水平分辨率和垂直行數的圖像尺寸信息(空間分辨率信息)，和諸如4 : 3或16 : 9之類的長寬比信息。(3)諸如傳送比特率(壓縮率)信息之類的圖像質量信息。(4)運動向量，比如表示水平和垂直運動的信息。根據與輸入圖像數據Al相關的附加信息生成信息A3，附加信息生成單元102生成有用的附加信息A4，附加信息A4將用于在接收器一側，對通過對編碼數據A2進行壓縮解碼處理而獲得的圖像數據進行的圖像質量增強處理。附加信息生成信息A3可以是輸入圖像數據Al、編碼數據A2等等。附加信息A4完全不同于前面說明的解碼附加信息。編碼數據/附加信息混合單元103把附加信息生成單元102生成的附加信息A4混合到編碼處理單元101獲得的編碼數據A2中，從而獲得混合數據A5。混合數據構成“傳 送數據”，通過傳送路徑300，被發送給在接收器一側的圖像處理設備200。附加信息生成單元102生成的附加信息A4將在后面詳細說明。信息處理設備200包括編碼數據/附加信息分離單元201、解碼處理單元202和圖像質量增強處理單元203。編碼數據/附加信息分離單元201從混合數據A5中分離編碼數據A2和附加信息A4。解碼處理單元202對用編碼數據/附加信息分離單元201分離的編碼數據A2進行壓縮解碼處理，以獲得圖像數據A6。圖像質量增強處理單元203利用由編碼數據/附加信息分離單元201分離的附加信息，對解碼處理單元202獲得的圖像數據A6進行圖像質量增強處理，并輸出輸出圖像數據A7。圖像質量增強處理是提高圖像的質量的處理，例如可包括銳化處理、對比度校正處理、降噪處理、空間分辨率增大處理和時間分辨率增大處理。圖像質量增強處理單元203將在后面詳細說明。現在簡要說明圖I中所示的圖像傳送系統10的操作。首先，說明在發射器一側的圖像處理設備100的操作。輸入圖像數據Al被提供給編碼處理單元101。在編碼處理單元101中，按照諸如MPEG2之類的編碼技術，對輸入圖像數據Al進行壓縮編碼處理，以獲得編碼數據A2。編碼數據A2被提供給編碼數據/附加信息混合單元103。與輸入圖像數據Al相關的附加信息生成信息A3，例如，輸入圖像數據Al、編碼數據A2等從編碼處理單元101被提供給附加信息生成單元102。附加信息生成單元102根據附加信息生成信息A3，生成當在接收器一側，對通過對編碼數據A2進行壓縮解碼處理而獲得的圖像數據進行圖像質量增強處理時將使用的有用附加信息A4。附加信息A4被提供給編碼數據/附加信息混合單元103。在編碼數據/附加信息混合單元103中，獲得其中附加信息A4被混合到編碼數據A2中的混合數據A5。混合數據A5通過傳送路徑300，被發送給在接收器一側的圖像處理設備 200。下面，說明在接收器一側的圖像處理設備200的操作。混合數據A5被提供給編碼數據/附加信息分離單元201。在編碼數據/附加信息分離單元201中，從混合數據A5中分離編碼數據A2和附加信息A4。編碼數據A2被提供給解碼處理單元202。附加信息A4被提供給圖像質量增強處理單元203。在解碼處理單元202中，對編碼數據A2進行壓縮解碼處理，從而獲得圖像數據A6。此時，解碼處理單元202利用包含在編碼數據A2中的解碼附加信息。圖像數據A6被提供給圖像質量增強處理單元203。在圖像質量增強處理單元203中，利用由編碼數據/附加信息分離單元201分離的附加信息A4，對由解碼處理單元202獲得的圖像數據A6進行圖像質量增強處理，比如銳化處理、對比度校正處理或者降噪處理。之后，通過圖像質量增強處理生成的圖像數據，作為輸出圖像數據A7，從圖像質量增強處理單元203輸出。圖像質量增強處理和附加信息的詳細說明下面詳細說明由圖像質量增強處理單元203進行的圖像質量增強處理，和由附加信息生成單元102生成的附加信息A4。(I)當圖像質量增強處理是銳化處理或者對比度校正處理時 首先，說明其中圖像質量增強處理是銳化處理或者對比度校正處理的情況。盡管當進行壓縮編碼處理時，丟失圖像信息是常見的，不過，圖像質量增強處理的處理將隨哪些信息被丟失而不同。由于不可能從解碼圖像數據本身了解哪些信息已丟失，因此在解碼期間，不可能重新產生這樣的信息。例如，如圖2A中所示，如果解碼圖像數據是其中從輸入圖像數據中丟失了高頻信息的數據，那么作為圖像質量增強處理，可取的是進行銳化處理。又例如，如圖2B中所示，如果解碼圖像數據是其中從輸入圖像數據中丟失了色調信息的數據，那么作為圖像質量增強處理，可取的是進行對比度校正處理(平滑處理)。這種情況下，由在發射器一側的圖像處理設備100中的附加信息生成單元102生成的附加信息A4是表示是否由于壓縮編碼處理，已丟失高頻信息，或者是否由于壓縮編碼處理，已丟失色調信息的信息。圖3表示附加信息生成單元102的例證結構。附加信息生成單元102包括解碼處理單元111和活動性計算單元112。解碼處理單元111和在接收器一側的圖像處理設備200的解碼處理單元202(參見圖I)相同，對編碼數據A2進行壓縮解碼處理，以獲得圖像數據A6'。活動性計算單元112生成與輸入圖像數據Al的空間活動性BI和解碼圖像數據A6，的空間活動性B2之間的差相關的信息，作為附加信息A4。即，如圖4中所示，活動性計算單元112分別把輸入圖像數據Al和解碼圖像數據A6'分成多個M水平像素XN垂直像素的塊，并計算每個塊的空間活動性BI和B2。輸入圖像數據Al的空間活動性BI以式(I)表述。數學式IBI =
N-\M-2N-2M-X
「 Σ Σ (柳，■/')—師+1 i))2+Σ Σ (免取·/')—柳，j+ο)2j=Q /=0y=o /=0
■■■(1)解碼圖像數據A6'的空間活動性B2由式(2)表述。數學式2B2 =
權利要求
1.一種圖像處理設備，包括 編碼處理單元，用于對輸入圖像數據進行壓縮編碼處理，以獲得編碼數據； 附加信息生成單元，用于根據與輸入圖像數據相關的附加信息生成信息，生成當對通過對編碼數據進行壓縮解碼處理而獲得的圖像數據進行規定圖像處理時使用的附加信息；和 數據輸出單元，用于將編碼處理單元獲得的編碼數據和附加信息生成單元生成的附加信息相互關聯地輸出。
2.按照權利要求I所述的圖像處理設備， 其中對通過對編碼數據進行壓縮解碼處理而獲得圖像數據進行的規定圖像處理是圖像質量增強處理， 附加信息生成單元生成的附加信息是當進行圖像質量增強處理時使用的信息。
3.按照權利要求2所述的圖像處理設備， 其中圖像質量增強處理是銳化處理或者對比度校正處理，附加信息生成單元生成表示是否由于壓縮編碼處理丟失了高頻信息、或者丟失了色調信息的信息，作為附加信息。
4.按照權利要求3所述的圖像處理設備， 其中附加信息生成單元生成與輸入圖像數據的空間活動性和通過對編碼數據進行壓縮解碼處理而獲得的圖像數據的空間活動性之間的差相關的信息，作為附加信息。
5.按照權利要求2所述的圖像處理設備， 其中圖像質量增強處理是降噪處理，附加信息生成單元生成表示由于壓縮編碼處理產生的退化的大小的信息，作為附加信息。
6.按照權利要求5所述的圖像處理設備， 其中附加信息生成單元生成關于輸入圖像數據和通過對編碼數據進行壓縮解碼處理而獲得的圖像數據之間的絕對差的最大值的信息，作為附加信息。
7.按照權利要求I所述的圖像處理設備， 其中對通過對編碼數據進行壓縮解碼處理而獲得的圖像數據進行的規定圖像處理是放大指定對象的區域的圖像放大處理， 附加信息生成單元生成的附加信息是通過根據輸入圖像數據進行指定對象的檢測處理而獲得的指定對象的區域信息。
8.按照權利要求I所述的圖像處理設備， 其中數據輸出單元輸出其中附加信息生成單元生成的附加信息被混合到編碼處理單元獲得的編碼數據中的混合數據。
9.一種圖像處理方法，包括 對輸入圖像數據進行壓縮編碼處理，以獲得編碼數據； 根據與輸入圖像數據相關的附加信息生成信息，生成當對通過對編碼數據進行壓縮解碼處理而獲得的圖像數據進行規定圖像處理時使用的附加信息；和 將編碼數據和附加信息相互關聯地輸出。
10.一種圖像處理設備，包括 分離單元，用于從其中混合了編碼數據和當對通過對編碼數據進行壓縮解碼處理而獲得的圖像數據進行規定圖像處理時使用的附加信息的混合數據中，分離編碼數據和附加信息； 解碼處理單元，用于對分離單元分離的編碼數據進行壓縮解碼處理，以獲得圖像數據；和 圖像處理單元，用于利用分離單元分離的附加信息，對解碼處理單元獲得的圖像數據進行規定圖像處理，以獲得輸出圖像數據。
11.一種圖像處理方法,包括 從其中混合了編碼數據和當對通過對編碼數據進行壓縮解碼處理而獲得的圖像數據進行規定圖像處理時使用的附加信息的混合數據中，分離編碼數據和附加信息； 對分離的編碼數據進行壓縮解碼處理，以獲得圖像數據；和 利用分離的附加信息，對獲得的圖像數據進行規定圖像處理，以獲得輸出圖像數據。
全文摘要
本公開涉及圖像處理設備和圖像處理方法。所述圖像處理設備包括編碼處理單元，用于對輸入圖像數據進行壓縮編碼處理，以獲得編碼數據；附加信息生成單元，用于根據與輸入圖像數據相關的附加信息生成信息，生成當對通過對編碼數據進行壓縮解碼處理而獲得的圖像數據進行規定圖像處理時，使用的附加信息；和數據輸出單元，用于將編碼處理單元獲得的編碼數據和附加信息生成單元生成的附加信息相互關聯地輸出。
文檔編號H04N7/32GK102780887SQ201210128500
公開日2012年11月14日 申請日期2012年4月27日 優先權日2011年5月9日
發明者內田真史, 宮井岳志 申請人:索尼公司