圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置的制造方法
【技術領域】
[0001]本發明涉及將圖像進行層級編碼的圖像編碼方法及將被層級編碼的圖像解碼的圖像解碼方法等。
【背景技術】
[0002]以往，提出了將圖像進行層級編碼的圖像編碼方法、以及將該通過層級編碼進行編碼而得到的圖像解碼的圖像解碼方法(例如參照非專利文獻1)。
[0003]現有技術文獻
[0004]非專利文獻
[0005]非專利文獻1:Joint Collaborative Team on Video Coding(JCT — VC)of ITU —T SG16 WP3 and IS0/IEC JTC1/SC29/WG11 12th Meeting:Geneva，CH，14 — 23 Jan.2013JCTVC — L1003_v34.doc, High Efficiency Video Coding(HEVC)text specificat1ndraft 10(for FDIS&Last Call)http://phenix.1t — sudparis.eu/jct/doc_end_user/documents/12_Geneva/wgl1/JCTVC — L1003 — v34.zip
【發明內容】
[0006]有關本發明的一技術方案的圖像編碼方法，是按屬于多個層級中的某一個層級的每個圖片、不參照屬于比該圖片所屬的層級高的層級的其他圖片而將運動圖像編碼的圖像編碼方法，決定上述運動圖像中包含的多個圖片各自的解碼時刻，以使上述運動圖像中包含的多個圖片中的一部分的多個圖片、且不屬于上述多個層級中的最高層級的多個下層圖片的各自的解碼時刻成為等間隔，并且在被編碼的上述運動圖像中包含的多個圖片被解碼的情況與僅上述多個圖片中的上述多個下層圖片被解碼的情況之間、上述多個下層圖片分別被解碼的定時相同；按照與所決定的上述解碼時刻相應的編碼順序，將上述運動圖像中包含的多個圖片分別編碼；生成編碼流，該編碼流包含被編碼的上述多個圖片和對上述多個圖片分別決定的解碼時刻。
[0007]另外，這些包括性或具體的形態也可以通過系統、方法、集成電路、計算機程序或計算機可讀取的CD — ROM等記錄介質實現，也可以通過系統、方法、集成電路、計算機程序及記錄介質的任意的組合實現。
[0008]本發明的圖像編碼方法及圖像解碼方法能夠抑制處理負荷。
【附圖說明】
[0009]圖1A是表示用于實現基于HEVC的時間可伸縮性的一例的圖。
[0010]圖1B是表示用于實現基于HEVC的時間可伸縮性的另一例的圖。
[0011]圖2是用于說明不能將120fps的編碼流解碼的課題的圖。
[0012]圖3是用于說明實施方式1的圖像編碼裝置的圖。
[0013]圖4是表示實施方式1的使用3個層級將運動圖像編碼的一例的圖。
[0014]圖5是表示實施方式1的使用4個層級將運動圖像編碼的一例的圖。
[0015]圖6是表示實施方式1的使用3個層級將運動圖像編碼的另一例的圖。
[0016]圖7是用于說明實施方式1的圖像解碼裝置的圖。
[0017]圖8是表示有關實施方式1的變形例1的、將編碼流以120fps再現時的各圖片的解碼順序及顯示順序和DTS及PTS的圖。
[0018]圖9是表示有關實施方式1的變形例1的圖像解碼裝置的結構的框圖。
[0019]圖10是表示有關實施方式1的變形例1的圖像解碼裝置將全部層級的圖片解碼時的動作的一例的流程圖。
[0020]圖11是表示有關實施方式1的變形例2的將DTS變更的一例的圖。
[0021]圖12是用于說明有關實施方式1的變形例3的在開放末端隨機訪問單位中被解碼的圖片的圖。
[0022]圖13是表示有關實施方式1的變形例3的圖像解碼裝置基于再現控制用的輔助信息將運動圖像解碼的動作的一例的流程圖。
[0023]圖14是表示有關實施方式1的變形例4的DTS或PTS的變換的一例的圖。
[0024]圖15A是有關本發明的一形態的圖像編碼裝置的框圖。
[0025]圖15B是表示有關本發明的一形態的圖像編碼方法的流程圖。
[0026]圖15C是有關本發明的一形態的圖像解碼裝置的框圖。
[0027]圖15D是表示有關本發明的一形態的圖像解碼方法的流程圖。
[0028]圖16是實現內容分發服務的內容供給系統的整體結構圖。
[0029]圖17是數字廣播用系統的整體結構圖。
[0030]圖18是表示電視機的結構例的框圖。
[0031]圖19是表示對作為光盤的記錄介質進行信息的讀寫的信息再現/記錄部的結構例的框圖。
[0032]圖20是表示作為光盤的記錄介質的構造例的圖。
[0033]圖21A是表示便攜電話的一例的圖。
[0034]圖21B是表示便攜電話的結構例的框圖。
[0035]圖22是表示復用數據的結構的圖。
[0036]圖23是示意地表示各流在復用數據中怎樣被復用的圖。
[0037]圖24是更詳細地表示在PES包序列中視頻流怎樣被存放的圖。
[0038]圖25是表示復用數據中的TS包和源包的構造的圖。
[0039]圖26是表示PMT的數據結構的圖。
[0040]圖27是表示復用數據信息的內部結構的圖。
[0041 ]圖28是表示流屬性信息的內部結構的圖。
[0042]圖29是表示識別影像數據的步驟的圖。
[0043]圖30是表示各實施方式的運動圖像編碼方法以及運動圖像解碼方法的集成電路的結構例的框圖。
[0044]圖31是表示切換驅動頻率的結構的圖。
[0045]圖32是表示識別影像數據、切換驅動頻率的步驟的圖。
[0046]圖33是表示將影像數據的標準與驅動頻率建立了對應的查找表的一例的圖。
[0047]圖34A是表示將信號處理部的模塊共用的結構的一例的圖。
[0048]圖34B是表示將信號處理部的模塊共用的結構的其他一例的圖。
【具體實施方式】
[0049](作為本發明的基礎的認識)
[0050]本發明者關于在“【背景技術】”部分中記載的上述非專利文獻1發現會發生以下的問題。
[0051]在MPEG—4 AVC (Moving Picture Experts Group — 4 Advanced Video Coding)或HEVC (High Efficiency Video Coding)等編碼方式中，通過將圖片層級性地編碼，能夠實現時間方向的可伸縮性(以下稱作時間可伸縮性)。例如，通過將全部的圖片解碼，能夠進行120fps下的再現，通過僅將屬于特定的層級的圖片解碼，能夠進行60fps下的再現。
[0052]通過利用這樣的時間可伸縮性，能夠實現通過僅將屬于特定的層級的圖片以120fps的間隔解碼而進行的2倍速再現。進而，在不對應于以120fps的間隔解碼的再現裝置(以下稱作120fps非對應再現裝置)中，有可能能夠將120fps的編碼流以60fps再現。
[0053]圖1A和圖1B是表示用于實現基于HEVC的時間可伸縮性的一例的圖。在這些圖中，表示層級間的參照關系及各圖片的解碼順序(即編碼順序)。
[0054]圖1A表示將各圖片通過3層構造編碼的例子。圖1A中的TId是Temporal ID，是用于識別層級的識別碼。此外，I表示I圖片(幀內預測圖片)，P表示P圖片(例如前方參照預測圖片)，B表示B圖片(例如雙向參照預測圖片)。此外，1、P及B各自的右旁附帶的數字表示這些圖片的顯示順序。此外，箭頭表示圖片間的參照關系，例如圖片B2參照圖片10和圖片P4。S卩，在該層級間的參照關系中，圖片不參照屬于比該圖片所屬的層級高的層級的圖片，而參照屬于與該圖片所屬的層級相同的層級或比該層級低的層級的圖片而編碼。這里，如果將屬于Temporal ID為0到2的全部層級中的某一個層級的各圖片解碼，則幀速率為120fps。在此情況下，如果將屬于Temporal ID為0到1的某一個層級的各圖片解碼，則幀速率為60fps。
[0055]圖1B表示將各圖片通過4層構造編碼的例子。在此情況下，如果將屬于TemporalID為0到3的全部層級中的某一個層級的各圖片解碼，則幀速率為120fps。在此情況下，也如果將屬于Temporal ID為0到2的某一個層級的各圖片解碼，則幀速率為60fps。
[0056]如上述那樣，120fps非對應再現裝置通過使用時間可伸縮性，S卩，通過僅將120fps的編碼流中的屬于一部分層級的圖片解碼，有可能能夠實現60fps的再現。
[0057]但是，在此情況下，120fps非對應再現裝置有時必須以比1/60秒短的間隔將各圖片解碼。因而，120fps非對應再現裝置即使使用時間可伸縮性，由于將各圖片解碼的間隔較短，所以也有不能將120fps的編碼流解碼的問題。
[0058]圖2是用于說明120fps非對應再現裝置不能將120fps的編碼流解碼的問題的圖。圖2所示的編碼流是圖1A所示的120fps的編碼流。120fps非對應再現裝置在將該編碼流以60fps再現的情況下，僅將屬于Temporal ID為0的層級的各圖片和屬于TemporalID為1的層級的各圖片解碼。
[0059]圖2中的T相當于與120fps對應的時間、S卩1/120秒。廣播內容或儲存內容中，當以固定幀速率顯示內容時，通常將解碼也以固定的幀速率進行。因而，在120fps的再現時，各圖片被解碼的間隔(以下稱作解碼間隔)及各圖片被顯示的間隔(以下稱作顯示間隔)都是T。
[0060]因而，在60fps的再現時，解碼間隔和顯示間隔也都需要為與60fps對應的時間即2T的間隔。但是，如圖2所示，在以60fps進行再現的情況下，圖片10與圖片P4的解碼間隔或圖片P4與圖片B2的解碼間隔是T。在作為解碼間隔而需要2T的時間的120fps非對應再現裝置中，有圖片的解碼趕不上的問題。即，在120fps非對應再現裝置中有處理負荷較高的問題。
[0061]為了解決這樣的問題，有關本發明的一形態的圖像編碼方法，是按屬于多個層級中的某一個層級的每個圖片、不參照屬于比該圖片所屬的層級高的層級的其他圖片而將運動圖像編碼的圖像編碼方法，決定上述運動圖像中包含的多個圖片各自的解碼時刻，以使上述運動圖像中包含的多個圖片中的一部分的多個圖片、且不屬于上述多個層級中的最高層級的多個下層圖片的各自的解碼時刻成為等間隔，并且在被編碼的上述運動圖像中包含的多個圖片被解碼的情況與僅上述多個圖片中的上述多個下層圖片被解碼的情況之間、上述多個下層圖片分別被解碼的定時相同；按照與所決定的上述解碼時刻相應的編碼順序，將上述運動圖像中包含的多個圖片分別編碼；生成編碼流，該編碼流包含被編碼的上述多個圖片和對上述多個圖片分別決定的解碼時刻。
[0062]由此，編碼流中包含的多個圖片分別不參照屬于比該圖片所屬的層級高的層級的其他圖片而被編碼。因而，圖像解碼裝置能夠僅將編碼流中的多個下層圖片解碼。此外，編碼流中包含的多個下層圖片各自的解碼時刻是等間隔。因而，圖像解碼裝置在僅將編碼流中的多個下層圖片解碼時，能夠每經過等間隔的時間則將這些下層圖片依次解碼。因而，通過使該等間隔為適當的時間，能夠減輕圖像解碼裝置的處理負荷。即，圖像解碼裝置將各個圖片的解碼不用以較高的幀速率進行、而能夠以與自己的處理能力相應的幀速率進行。進而，在編碼流中包含的多個圖片(例如全部圖片)被解碼的情況與僅其多個下層圖片被解碼的情況之間，該多個下層圖片各自被解碼的定時相同。因而，圖像解碼裝置在將編碼流的全部圖片解碼的情況和僅將多個下層圖片解碼的情況之間，不需要改變該多個下層圖片各自的解碼定時。因而，能夠進一步減輕圖像解碼裝置的處理負荷。
[0063]此外，也可以是，在上述解碼時刻的決定中，將上述運動圖像中包含的多個圖片中的一部分的多個圖片、且屬于上述最高層級的多個最上層圖片的各自的解碼時刻決定為上述多個下層圖片各自的解碼時刻之間。
[0064]由此，在編碼流被解碼時，最上層圖片和下層圖片分別被交替地解碼。因而，在編碼流中，多個下層圖片分別被解碼的時刻的間隔都比解碼流的全部圖片分別被解碼的時刻的間隔長。結果，圖像解碼裝置在僅將多個下層圖片解碼時，與將解碼流的全部圖片分別解碼時相比，能夠以確實低的幀速率將各圖片解碼。因而，能夠可靠地減輕圖像解碼裝置的處理負荷。
[0065]此外，也可以是，在上述解碼時刻的決定中，決定上述運動圖像中包含的多個圖片各自的解碼時刻，以使上述多個最上層圖片及上述多個下層圖片中的在解碼順序上連續的最上層圖片及下層圖片的各自的解碼時刻的間隔的2倍的時間與上述等間隔的時間相等。
[0066]由此，多個下層圖片各自的解碼時刻的間隔都為在解碼順序上連續的最上層圖片及下層圖片的各自的解碼時刻的間隔、即解碼流的全部圖片分別被解碼的時刻的間隔的2倍。因而，在將編碼流的全部圖片解碼并顯示時的幀速率是120fps的情況下，圖像解碼裝置能夠以60fps的幀速率的倒數的時間間隔將編碼流中包含的多個下層圖片分別沒有負擔地解碼。
[0067]此外，也可以是，在上述運動圖像具有多個由在解碼順序上連續的多個圖片構成的隨機訪問單位的情況下，在上述解碼時刻的決定中，按每個上述隨機訪問單位決定該隨機訪問單位內的各圖片的解碼時刻，以使得在該隨機訪問單位中，不參照其他隨機訪問單位中包含的圖片而能夠將除了在顯示順序上比在解碼順序上為開頭的圖片靠前被顯示的圖片以外的全部圖片解碼。例如，上述開頭的圖片是被禁止在解碼順序上比該開頭的圖片靠后的圖片參照在解碼順序上比該開頭的圖片靠前的圖片的I圖片。或者，上述開頭的圖片是被許可在解碼順序上比該開頭的圖片靠后且在顯示順序上比該開頭的圖片靠前的圖片參照在解碼順序上比該開頭的圖片靠前的圖片的I圖片。
[0068]由此，圖像解碼裝置能夠按每個隨機訪問單位將該隨機訪問單位中包含的多個圖片分別適當地解碼。
[0069]此外，也可以是，在上述解碼時刻的決定中，決定被編碼的上述運動圖像中包含的全部圖片各自的解碼時刻，以使得在上述全部圖片被解碼并顯示的幀速率是f的情況下，上述全部圖片中包含的上述多個下層圖片各自的解碼時刻相偏離由上述f的倒數的η倍(η是2以上的整數)表示的時間。
[0070]由此，圖像解碼裝置能夠以該幀速率的倒數的η倍的時間間隔將多個下層圖片的各自依次沒有負擔地解碼。
[0071]此外，也可以是，上述圖像編碼方法還將表示顯示延遲的顯示延遲信息包含在上述編碼流中，上述顯示延遲是上述運動圖像中包含的在解碼順序上為開頭的圖片的解碼時刻與上述運動圖像中包含的在顯示順序上為開頭的圖片的顯示時刻之間的時間。
[0072]由此，圖像解碼裝置能夠從編碼流取得顯示延遲信息。因而，圖像解碼裝置如果從比顯示開始時刻靠前由該顯示延遲信息表示的顯示延遲的時刻起開始編碼流的解碼，則能夠從該顯示開始時刻起沒有延遲地顯示運動圖像。
[0073]此外，也可以是，上述圖像編碼方法還將非等間隔信息包含在上述編碼流中，該非等間隔信息表示對上述運動圖像中包含的多個圖片分別決定的解碼時刻不是等間隔。
[0074]由此，圖像解碼裝置能夠從編碼流取得非等間隔信息。因而，圖像解碼裝置能夠判斷為不能將編碼流中包含的多個圖片分別以顯示的幀速率依次解碼。結果，圖像解碼裝置能夠一邊參照對編碼流中包含的多個圖片分別決定的解碼時刻一邊將這些多個圖片在適當的定時解碼。
[0075]此外，有關本發明的一形態的圖像解碼裝置，將編碼流解碼，該編碼流包含按屬于多個層級中的某一個層級的每個圖片、不參照屬于比該圖片所屬的層級高的層級的其他圖片而編碼的運動圖像，上述圖像解碼方法中，從上述編碼流取得上述編碼流中包含的多個圖片各自的解碼時刻，上述多個圖片各自的解碼時刻被決定為，上述編碼流中包含的多個圖片中的一部分的多個圖片、且不屬于上述多個層級中的最高層級的多個下層圖片的各自的解碼時刻成為等間隔，并且在上述編碼流中包含的多個圖片被解碼的情況與僅上述多個圖片中的上述多個下層圖片被解碼的情況之間，上述多個下層圖片各自被解碼的定時相同；按照所取得的上述解碼時刻，將上述編碼流中包含的多個圖片或上述多個下層圖片分別解碼。
[0076]由此，編碼流中包含的多個圖片分別不參照屬于比該圖片所屬的層級高的層級的其他圖片而被編碼。因而，圖像解碼裝置能夠僅將編碼流中的多個下層圖片解碼。此外，編碼流中包含的多個下層圖片各自的解碼時刻是等間隔。因而，圖像解碼裝置在僅將編碼流中的多個下層圖片解碼時，能夠每經過等間隔的時間則將這些下層圖片依次解碼。因而，如果該等間隔為適當的時間，則能夠減輕圖像解碼裝置的處理負荷。即，圖像解碼裝置將各個圖片的解碼不用以較高的幀速率進行、而能夠以與自己的處理能力相應的幀速率進行。進而，在編碼流中包含的多個圖片(例如全部圖片)被解碼的情況與僅其多個下層圖片被解碼的情況之間，該多個下層圖片分別被解碼的定時相同。因而，圖像解碼裝置在將編碼流的全部圖片解碼的情況和僅將多個下層圖片解碼的情況下，不需要改變該多個下層圖片各自的解碼定時。因而，能夠進一步減輕圖像解碼裝置的處理負荷。
[0077]此外，也可以是，上述圖像解碼方法還在上述編碼流中包含的多個圖片各自的解碼時刻不是等間隔的情況下，將上述多個圖片各自的解碼時刻變更為等間隔；在上述編碼流的解碼中，按照變更后的上述解碼時刻，將上述編碼流中包含的多個圖片或上述多個下層圖片分別解碼。
[0078]由此，多個圖片各自的解碼時刻被變更為等間隔，所以圖像解碼裝置能夠每經過等間隔的時間則將編碼流中包含的多個圖片分別解碼。因而，能夠進一步減輕圖像解碼裝置的處理負荷。
[0079]此外，也可以是，在上述編碼流的解碼中，按上述編碼流中包含的每個圖片，判定針對該圖片取得的解碼時刻是否與按每預先設定的周期產生的處理信號的產生定時一致，在判定為一致時將該圖片解碼。例如，上述圖像解碼方法還將上述編碼流中包含的全部圖片被解碼而顯示時的幀速率的倒數決定為上述預先設定的周期。
[0080]由此，即使多個圖片各自的解碼時刻不是等間隔，也能夠將多個圖片分別在該圖片的解碼時刻適當地解碼。
[0081]另外，這些包括性或具體的形態也可以通過系統、方法、集成電路、計算機程序或計算機可讀取的CD — ROM等記錄介質實現，也可以通過系統、方法、集成電路、計算機程序及記錄介質的任意的組合實現。
[0082]以下，參照附圖對實施方式具體地說明。
[0083]另外，以下說明的實施方式都表不本發明的一具體例。在以下的實施方式中表不的數值、形狀、材料、構成要素、構成要素的配置位置及連接形態、步驟、步驟的順序等是一例，并不是限定本發明的意思。此外，關于以下的實施方式的構成要