圖像編碼裝置、圖像編碼方法、圖像解碼裝置和圖像解碼方法
【技術領域】
[0001] 本發明設及高效地對圖像進行編碼的圖像編碼裝置、圖像編碼方法、圖像解碼裝 置和圖像解碼方法。
【背景技術】
[0002] 例如，在下面的非專利文獻1中記載的現有的圖像編碼裝置中，將輸入的彩色圖 像分割為規定大小的最大編碼塊，并進一步將最大編碼塊分層分割為更細小的編碼塊。
[0003] 并且，通過將該編碼塊進一步分割為更細小的預測塊，實施針對該預測塊的畫面 內預測和/或運動補償預測，由此生成預測誤差。
[0004] 并且，在編碼塊內將該預測誤差分層地分割為變換塊，對各自的變換系數進行賭 編碼，由此達成較高的壓縮率。
[0005] 在現有的圖像編碼裝置中，為了實現利用時間相關性的高效編碼，例如通過圖37 等的編碼構造，從已經編碼的圖片中捜索與編碼對象塊之間的相關性較高的塊，實現利用 將作為其捜索對象的塊作為預測值的運動補償預測的編碼。一般情況下，將作為此時的捜 索（參照）對象的圖片稱為參照圖片。特別是如圖37所示，公知參照在顯示順序中過去和 未來雙方的圖片的運動補償即雙向預測能夠實現高精度的預測。但是，通過運樣使圖片間 具有參照關系，將在各圖片的解碼中產生依賴性，無法實現從編碼比特流的中途進行解碼 的序列的中途再現。
[0006] 因此，在應用圖37等的利用雙向運動補償預測的編碼構造的情況下，有時要準備 用于即使從編碼比特流的中途進行解碼也能夠正確再現的隨機接入點。例如考慮設定在圖 37的顯示順序中編號8(在解碼（編碼）順序中編號1)的灰色（網格）圖片是非專利文獻 1中記載的能夠隨機接入的圖片（非專利文獻1記載的Intra Random Access Point(IRAP) 圖片）的情況。在非專利文獻I中，將與IRAP圖片相比解碼順序（在解碼裝置中為解碼 序，與編碼裝置中的編碼順序意思相同）在后且顯示順序在前的圖片（在圖37的顯示順序 中編號1~7的圖片）定義為"leading picture(首位圖片）"，將與IRAP圖片相比解碼順 序和顯示順序均在后的圖片（在圖37的顯示順序中編號9~16的圖片）定義為"trailing picture(末位圖片）"。當在圖37的顯示順序中編號8 (在解碼（編碼）順序中編號1)的 灰色（網格）圖片是一種IRAP圖片即CRA (Clean Random Access)圖片的情況下，在從CRA 圖片開始解碼時，無法保證能夠對首位圖片進行正確解碼，但是，始終能夠對末位圖片進行 正確解碼。為了保證該動作，定義相關的各圖片的限制事項。具體而言，在非專利文獻1中， 禁止利用首位圖片作為末位圖片的參照圖片，還禁止存在與IRAP圖片相比顯示順序在后 且解碼順序在前的圖片。進而，在非專利文獻1中定義成首位圖片必須在末位圖片之前解 碼（編碼）。在運種定義下，通過使用CRA圖片，在從編碼比特流的中途開始解碼時，只要從 CRA開始進行解碼，則始終能夠對與CRA圖片相比顯示順序在后的圖片進行正確解碼，能夠 實現編碼序列的中途再現。并且，在CRA圖片的情況下，僅保證能夠對末位圖片進行正確解 碼，因此，首位圖片能夠進行包含CRA圖片的雙向預測，能夠抑制由于插入能夠隨機接入的 圖片而導致的編碼效率的降低。
[0007] 現有技術文獻
[0008] 非專利文獻
[0009]非專利文獻1 :B. Bross, W.-J. Han, J.-R. Ohm, G. J. Sullivan, Y.-K. Wang and T.Wiegand, "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS&Consent)", doc. JCTVC-L1003, Joint Collaborative Team on Video Coding(JCT-VC)OfmJ-TSG16 WP3 and ISO/IEC JTC1/SC29/WG11, 12th Meeting, 2013
【發明內容】
[0010] 發明要解決的課題
[0011] 由于現有的圖像編碼裝置如上所述地構成，因此，對于1帖由1個圖片構成的逐 行（progressive)視頻，能夠實現如下的隨機接入：即使從編碼比特流的中途起，也能夠通 過從特定圖片開始解碼，對在顯示順序中從該圖片起的圖片進行正確解碼。另一方面，在1 帖由頂場和底場運兩個場構成的隔行（interlace)視頻的情況下，有時將該場設定成作為 編碼單位的圖片，并且，利用考慮到由兩個場構成的帖的場對構造對參照構造進行編碼。圖 33示出使用雙向預測的場對構造的一例。在本例中，在想要設定圖33的在顯示順序中編號 32(在解碼（編碼）順序中編號18)的灰色所示的頂場作為能夠隨機接入的圖片的情況下， 相當于首位圖片的圖片的一部分參照在顯示順序中編號32的頂場和在顯示順序中編號33 的底場，因此，需要是對在顯示順序中編號32的頂場進行解碼后立即對末位圖片即在顯示 順序中編號33的底場進行解碼然后再對首位圖片進行解碼運樣的解碼順序，但是，根據非 專利文獻1的首位圖片必須在末位圖片之前解碼（編碼）運樣的定義，無法將在顯示順序 中編號32的頂場設定成CRA圖片。換言之，當基于非專利文獻1的首位圖片必須在末位 圖片之前解碼（編碼）運樣的定義時，在對被設定成CRA圖片的在顯示順序中編號32的頂 場進行解碼后，無法立即對末位圖片即在顯示順序中編號33的底場進行解碼，因此，無法 采取圖33的參照構造。因此，在想要在非專利文獻1的定義范圍內實現使用CRA圖片的隨 機接入的情況下，例如，需要變更成首位圖片不參照在顯示順序中編號33的底場的參照構 造，并且在首位圖片解碼后對在顯示順序中編號33的底場進行解碼，或者，需要將在顯示 順序中編號33的底場定義成CRA圖片。因此，在前者的情況下，與圖33的參照構造相比， 首位圖片的參照圖片受到限制，因此存在預測效率降低運樣的課題。在后者的情況下，在從 編碼比特流的開頭進行再現的情況下從頂場開始再現，在從編碼比特流的中途進行再現的 情況下從底場進行再現。目P，與編碼比特流的解碼開始位置無關，無法始終從相同場進行解 碼，在顯示裝置中，需要應對運種再現，存在顯示處理變得復雜運樣的課題。
[0012] 本發明正是為了解決上述課題而完成的，其目的在于，得到一種圖像編碼裝置、圖 像編碼方法、圖像解碼裝置和圖像解碼方法，在隔行視頻的場對編碼中，也能夠生成與編碼 比特流的解碼開始位置無關而能夠始終從相同場正確再現的編碼比特流并進行編碼。
[0013] 用于解決課題的手段
[0014] 在本發明的圖像編碼裝置中，各帖由第一場和第二場運兩個場構成，將各場作為 圖片進行編碼，其特征在于，所述圖像編碼裝置具有：編碼單元，其將特定帖的第一場作為 僅通過內部預測進行預測的內部圖片進行編碼，并且，按照所述特定帖的第一場、所述特定 帖的第二場、與所述特定帖的第一場相比編碼順序在后且顯示順序在前的圖片、與所述特 定帖的第一場相比編碼順序和顯示順序均在后的圖片的順序進行編碼；W及復用單元，其 將表示所述特定帖的第一場是能夠從比特流的中途開始解碼的圖片的信息復用到所述比 特流。 陽〇1引發明效果
[0016] 根據本發明，在隔行視頻的場對編碼中，也生成與編碼比特流的解碼開始位置無 關而能夠始終從相同場正確再現的編碼比特流，因此，在隔行視頻的場對編碼中，顯示解碼 圖像的顯示裝置也與編碼比特流的解碼開始位置無關而始終從相同場起進行顯示即可，具 有能夠簡易地進行顯示處理的效果。
【附圖說明】
[0017] 圖1是示出本發明的實施方式1的圖像編碼裝置的結構圖。
[0018] 圖2是示出本發明的實施方式1的圖像編碼裝置的處理內容（圖像編碼方法）的 流程圖。
[0019] 圖3是示出本發明的實施方式1的圖像解碼裝置的結構圖。
[0020] 圖4是示出本發明的實施方式1的圖像解碼裝置的處理內容（圖像解碼方法）的 流程圖。
[0021] 圖5是示出最大編碼塊被分層地分割為多個編碼塊的示例的說明圖。 陽02引圖6的（a)是示出分割后的編碼塊化及預測塊的分布的說明圖，化）是示出通過 分層分割來分配編碼模式m度。）的情況的說明圖。
[002引圖7是示出編碼塊B"內的各預測塊P1"可選擇的內部預測模式的一例的說明圖。 [0024] 圖8是示出在Ii"=Hii"= 4的情況下生成預測圖像生成塊內的像素的預測值時使 用的像素的一例的說明圖。
[00巧]圖9是示出W預測圖像生成塊內的左上像素為原點的相對坐標的說明圖。
[00%] 圖10是示出量化矩陣的一例的說明圖。
[0027] 圖11是示出本發明的實施方式1的在圖像編碼裝置的環路濾波部中使用多個環 路濾波處理的情況下的結構例的說明圖。
[0028] 圖12是示出本發明的實施方式1的在圖像解碼裝置的環路濾波部中使用多個環 路濾波處理的情況下的結構例的說明圖。
[0029] 圖13是示出編碼比特流的一例的說明圖。
[0030] 圖14是示出像素自適應偏移處理的類別分類方法的索引的說明圖。
[0031] 圖15是示出16X16像素尺寸的正交變換中的變換系數的編碼順序的說明圖。
[0032] 圖16是示出16X16像素尺寸的正交變換中的變換系數的分布的一例的說明圖。
[0033] 圖17是示出平均值預測時的濾波處理的濾波器切換區域的說明圖。
[0034] 圖18是示出平均值預測時的濾波處理的參照像素配置的說明圖。
[0035] 圖19是示出場編碼時對內部預測圖像的濾波處理的說明圖。
[0036] 圖20是示出實施YUV4:2:0格式的信號中的亮度信號W及色差信號的壓縮處理時 的變換塊尺寸的說明圖。
[0037] 圖21是示出實施YUV4:2:2格式的信號中的亮度信號W及色差信號的壓縮處理時 的變換塊尺寸的說明圖。
[0038] 圖22是示出實施YUV4:4:4格式的信號中的亮度信號W及色差信號的壓縮處理時 的變換塊尺寸的說明圖。
[0039] 圖23是示出色差信號的內部預測參數與色差內部預測模式的對應示例的說明 圖。
[0040] 圖24是示出不使用LM模式的情況下的色差信號的內部預測參數與色差內部預測 模式的對應示例的說明圖。
[0041] 圖25是示出在YUV4:2:0格式的信號中亮度信號和色差信號使用相同的方向性預 測的情況的說明圖。
[0042] 圖26是示出在YUV4:2:2格式的信號中亮度信號和色差信號使用相同的方向性預 測的情況的說明圖。
[0043] 圖27是示出YUV4:4:4格式與YUV4:2:2格式之間的關系的說明圖。
[0044] 圖28是示出與在YUV4:4:4格式的信號中亮度信號和色差信號使用相同的方向性 預測等效的、YUV4:2:2格式下的方向性預測的示例的說明圖。
[0045] 圖29是示出YUV4:2:2格式的信號的方向性預測的預測方向矢量的說明圖。
[0046] 圖30是示出方向性預測與角度之間的關系的說明圖。
[0047]圖31是示出在YUV4:2:2格式的信號中亮度信號的內部預測模式索引與色差信號 的內部預測模式索引之間的關系的說明圖。
[0048] 圖32是示出內部預測模式索引與tan 0之間的關系的說明圖。
[0049] 圖33是示出在隔行信號的場對編碼中使用雙向預測的編碼構造的一例的說明 圖。
[0050] 圖34是示出在隔行信號的場對編碼中使用雙向預測的編碼構造的一例的說明 圖。
[0051] 圖35是示出在隔行信號的場對編碼中使用雙向預測的編碼構造的一例的說明 圖。
[0052] 圖36是示出在隔行信號的場對編碼中使用雙向預測的編碼構造的一例的說明 圖。
[0053] 圖37是示出使用雙向預測的編碼構造的一例的說明圖。
[0054] 圖38是示出RecoveiT Point SEI Message的語法的說明圖。
【具體實施方式】 陽0對實施方式1
[0056] 圖1是示出本發明的實施方式1的圖像編碼裝置的結構圖。
[0057] 被該實施方式1的圖像編碼裝置作為處理對象的視頻信號是視頻帖由水平/垂直 的二維數字采樣（像素）串構成的任意的視頻信號，包含由亮度信號和2個色差信號構成 的YUV信號、從數字攝像元件輸出的RGB信號等任意顏色空間的彩色視頻信號、單色圖像信 號、紅外線圖像信號等。
[0058] 各像素的灰度可W是8位，也可W是10位、12位等的灰度。
[0059] 并且，由于靜態圖像信號能夠被解釋為僅由I帖構成的視頻信號，因此當然輸入 信號也可W不是視頻信號而是靜態圖像信號。
[0060] 在下面的說明中，為了方便起見，在沒有特別指定的情況下，設輸入的視頻信號是 如下格式的信號：相對于亮度成分Y，2個色差成分U、V在縱橫方向上均被子采樣為1/2的 YUV4:2:0格式；相對于亮度成分Y，2個色差成分U、V在橫向上被子采樣為1/2的YUV4:2:2 格式；或者2個色差成分U、V與亮度成分Y采樣數相同的YUV4:4:4格式。并且，關于由紅 色（R)、綠色（G)、藍色度）運S原色的信號構成的RGB4:4:4格式的信號，將各個信號視為 YUV4:4:4格式的信號而進行與YUV4:4:4格式相同的編碼。但是，關于RGB4:4:4格式的各 信號（RGB)如何與YUV4:4:4格式的各信號（YUV)對應并不作限定（可W任意設定）。并 且，在YUV4 :4 :4格式信號或RGB4 :4 :4格式信號的情況下，也可W將各信號視為單色圖像 信號而分別獨立地進行單色（YUV4 :0:0)編碼并生成比特流。運樣，能夠W各信號并列的方 式進行編碼處理。
[0061] 另外，將與視頻的各帖對應的處理數據單位稱為"圖片（picture)"，在該實施方式 1中，"圖片"作為被依次掃描（圖像順序掃描（progressivescan))的視頻帖的信號進行 說明。但是，在視頻信號為隔行（interlace)信號的情況下，"圖片"也可W是作為構成視頻 帖的單位的場（field)圖像信號。
[0062] 在圖1中，片分割部14在輸入視頻信號作為輸入圖像時，實施依照由編碼控制部 2決定的片分割信息將該輸入圖像分割為一個W上的被稱為"片（slice)"的部分圖像的處 理。片的分割單位能夠細小至后文敘述的編碼塊單位。
[0063] 每當輸入由片分割部14分割得到的片時，塊分割部1實施如下處理：將該片分割 為由編碼控制部2決定的最大尺寸的編碼塊即最大編碼塊，并且將該最大編碼塊分層分割 為各個編碼塊，直至達到由編碼控制部2決定出的上限層數。
[0064] 目P，塊分割部1實施根據由編碼控制部2決定的分割將片分割為各個編碼塊并輸 出該編碼塊的處理。并且，各個編碼塊被分割為作為預測處理單位的一個或多個預測塊。 陽0化]編碼控制部2實施如下處理：決定作為實施編碼處理時的處理單位的編碼塊的最 大尺寸，并且決定分層分割最大尺寸的編碼塊時的上限分層數，由此決定各個編碼塊的尺 寸。
[0066] 另外，編碼控制部2實施從可選擇的一個W上的編碼模式（表示預測處理單位的 預測塊的尺寸等不同的一個W上的內部編碼模式、預測塊的尺寸等不同的一個W上的帖間 (Inter)編碼模式）中選擇適用于從塊分割部1輸出的編碼塊的編碼模式的處理。作為選 擇方法的例子，有從可選擇的一個W上的編碼模式中選擇對從塊分割部1輸出的編碼塊的 編碼效率最高的編碼模式的方法。
[0067]另外，編碼控制部2實施如下處理：在編碼效率最高的編碼模式是內部編碼模式 的情況下，按照每個預測塊決定W該內部編碼模式對編碼塊實施內部預測處理時使用的內 部預測參數，其中，該預測塊是上述內部編碼模式所示的預測處理單位；在編碼效率最高的 編碼模式是帖間編碼模式的情況下，按照每個預測塊決定W該帖間編碼模式對編碼塊實施 帖間預測處理時使用的帖間預測參數，其中，該預測塊是上述帖間編碼模式所示的預測處 理單位。 W側另外，編碼控制部2實施決定提供給變換/量化部7W及逆量化/逆變換部8的 預測差分編碼參數的處理。預測差分編碼參數包含表示編碼塊中的成為正交變換處理單位 的變換塊的分割信息的變換塊分割信息、規定進行變換系數量化時的量化步階大小的量化 參數等。
[0069] 在此，圖20是示出實施YUV4:2:0格式的信號中的亮度信號W及色差信號的壓縮 處理（變換處理、量化處理）時的變換塊尺寸的說明圖。
[0070] 如圖20所示，變換塊尺寸由W四叉樹（如adtree)狀對編碼塊進行分層分割的情 況來決定。
[0071]例如，根據在分割變換塊的情況下和不分割變換塊的情況下的編碼量、考慮到編 碼誤差的評價尺度等，來決定是否分割變換塊W使評價值最小，由此能夠從編碼量和編碼 誤差折衷的觀點出發來決定最佳的變換塊的分割形狀。
[0072] 關于亮度信號，例如，如圖20所示，構成為編碼塊被分層分割為一個或多個正方 形的變換塊。
[0073] 關于色差信號，如圖20所示，在輸入信號格式為YUV4:2:0信號的情況下，與亮度 信號同樣地，構成為編碼塊被分層分割為一個或多個正方形的變換塊。
[0074] 在該情況下，色差信號的變換塊尺寸在縱橫方向上均為對應的亮度信號的變換塊 的一半的尺寸。
[00巧]如圖21所示，在輸入信號格式為YUV4:2:2信號的情況下，進行與亮度信號同樣的 四叉樹狀的分層分割。并且，分割后的塊的形狀成為垂直方向的像素數為水平方向的像素 數的2倍的長方形，因此通過進一步在上下方向上對分割后的塊一分為二，成為由2個與 YUV4:2:0信號的色差信號相同塊尺寸（縱橫方向上均為亮度信號的變換塊的一半的尺寸） 的變換塊構成。
[0076] 另外，如圖22所示，在輸入信號格式為YUV4:4:4信號的情況下，色差信號的變換 塊始終進行與亮度信號的變換塊同樣的分割，構成為相同尺寸的變換塊。
[0077] 亮度信號的變換塊的分割信息例如作為表示是否按照每層進行分割的變換塊分 割標志輸出給可變長度編碼部13。
[0078] 切換開關3實施如下處理：如果由編碼控制部2決定的編碼模式為內部編碼模式， 則將從塊分割部1輸出的編碼塊輸出給內部預測部4,如果由編碼控制部2決定的編碼模式 為帖間編碼模式，則將從塊分割部1輸出的編碼塊輸出給運動補償預測部5。
[0079] 內部預測部4實施如下處理：在編碼控制部2選擇內部編碼模式作為與從切換開 關3輸出的編碼塊對應的編碼模式的情況下，參照存儲在內部預測用存儲器10中的局域解 碼圖像，實施利用由編碼控制部2決定的內部預測參數的內部預測處理（帖內預測處理）， 生成內部預測圖像。另外，內部預測部4構成內部預測單元。
[0080]旨P，內部預測部4對于亮度信號實施使用亮度信號的內部預測參數的內部預測處 理（帖內預測處理），生成亮度信號的預測圖像。
[0081] 另一方面，對于色差信號，在色差信號的內部預測參數示出使用與針對亮度信號 的內部預測模式相同的預測模式的情況下（內部預測參數示出亮度色差公共內部預測模 式值M模式）的情況下），實施與亮度信號相同的帖內預測，生成色差信號的預測圖像。
[0082]另外，在色差信號的內部預測參數示出垂直方向預測模式或水平方向預測模式的 情況下，實施針對色差信號的方向性預測，生成色差信號的預測圖像。
[0083]另外，在色差信號的內部預測參數示出利用與亮度的相關性的色差信號預測模 式（LM模式）的情況下，使用與預測圖像的生成對象塊的上側和左側相鄰的多個像素的亮 度信號和色差信號，計算示出亮度信號與色差信號之間的相關性的相關性參數，使用該相 關性參數和與作為預測處理對象的色差信號的塊對應的亮度信號，生成色