圖像編碼裝置及方法、圖像解碼裝置及方法、以及它們的程序的制作方法

圖像編碼裝置及方法、圖像解碼裝置及方法、以及它們的程序的制作方法
【專利摘要】在多視點圖像編碼中，使用與編碼對象圖像不同的視點的參照視點圖像和針對該參照視點圖像的深度圖來生成針對編碼對象區域的第一視點合成圖像。使用該第一視點合成圖像來生成針對在對所述編碼對象區域進行幀內預測時參照的已經編碼完畢的像素組即參照像素的第二視點合成圖像。使用針對所述參照像素的解碼圖像和所述第二視點合成圖像來生成針對所述編碼對象區域的幀內預測圖像。
【專利說明】
圖像編碼裝置及方法、圖像解碼裝置及方法、從及它們的程序
技術領域
[0001] 本發明設及對多視點圖像進行編碼和解碼的圖像編碼裝置、圖像解碼裝置、圖像 編碼方法、圖像解碼方法、圖像編碼程序、W及圖像解碼程序。
[0002] 本申請基于在2014年3月20日申請的特愿2014-058902號要求優先權，并將其內容 引用于此。
【背景技術】
[0003] W往，已知由使用多個攝像機拍攝了相同的被攝物和背景的多個圖像構成的多視 點圖像(Multiview images:多視點圖像）。將該使用多個攝像機拍攝的活動圖像稱為多視 點活動圖像(或多視點視頻）。
[0004] 在W下的說明中，將使用1個攝像機拍攝的圖像(活動圖像)稱為"二維圖像(活動 圖像)"，將使用位置、方向下，稱為視點）不同的多個攝像機拍攝了相同的被攝物和背景 的二維圖像(二維活動圖像)組稱為"多視點圖像(多視點活動圖像)"。
[0005] 二維活動圖像關于時間方向具有強的相關性，通過利用該相關性，從而能夠提高 編碼效率。另一方面，在多視點圖像或多視點活動圖像中，在各攝像機被同步的情況下，各 攝像機的視頻的相同的時刻所對應的帖（圖像)是從不同的位置拍攝了完全相同的狀態的 被攝物和背景的帖（圖像），因此，在攝像機間（相同的時刻的不同的二維圖像間）具有強的 相關性。在多視點圖像或多視點活動圖像的編碼中，通過利用該相關性，從而能夠提高編碼 效率。
[0006] 在此，對與二維活動圖像的編碼技術相關的現有技術進行說明。
[0007] 在W作為國際編碼標準的H. 264、H. 265、MPEG-2、MPEG-4為首的W往的許多二維 活動圖像編碼方式中，利用運動補償預測、正交變換、量化、賭編碼運樣的技術來進行高效 率的編碼。例如，在H. 265中，能夠進行利用了過去或未來的多個帖與編碼對象帖的時間相 關性的編碼。
[000引關于在H. 265中使用的運動補償預測技術的細節，例如被記載在非專利文獻1中。 對在H. 265中使用的運動補償預測技術的概要進行說明。
[0009] 在H. 265的運動補償預測中，將編碼對象帖分割為各種尺寸的塊，在各塊中允許 具有不同的運動矢量和不同的參照帖。通過使用在各塊中不同的運動矢量，從而實現對按 照每個被攝物而不同的運動進行補償后的精度高的預測。另一方面，通過使用在各塊中不 同的參照帖，從而實現考慮了由于時間變化而產生的遮擋(occlusion)的精度高的預測。
[0010] 接著，對W往的多視點圖像或多視點活動圖像的編碼方式進行說明。
[0011] 多視點圖像的編碼方法與多視點活動圖像的編碼方法的不同在于，在多視點活動 圖像中除了攝像機間的相關性之外還同時存在時間方向的相關性。可是，在哪一種情況下 均能使用相同的方法來利用攝像機間的相關性。因此，在此，對在多視點活動圖像的編碼中 使用的方法進行說明。
[0012] 關于多視點活動圖像的編碼，W往存在為了利用攝像機間的相關性而利用將運動 補償預測應用于相同的時刻的被不同的攝像機拍攝的圖像的"視差補償預測"來對多視點 活動圖像高效率地進行編碼的方式。在此，視差是指在配置于不同的位置的攝像機的圖像 平面上被攝物上的相同的部分所存在的位置的差。
[0013] 圖7是示出在攝像機間產生的視差的概念圖。在圖7所示的概念圖中，垂直地俯視 光軸平行的攝像機的圖像平面。像運樣，在不同的攝像機的圖像平面上投影被攝物上的相 同的部分的位置通常被稱為對應點。
[0014] 在視差補償預測中，基于其對應關系，根據參照帖來預測編碼對象帖的各像素值， 對其預測殘差和示出對應關系的視差信息進行編碼。視差按照作為對象的攝像機對、位置 的每一個發生變化，因此，需要按照進行視差補償預測的每個區域對視差信息進行編碼。
[0015] 實際上，在H. 265的多視點活動圖像編碼方式中，按照使用視差補償預測的每個 塊對表示視差信息的矢量進行編碼。
[0016] 關于根據視差信息提供的對應關系，通過使用攝像機參數，從而能夠基于對極幾 何約束使用示出被攝物的Ξ維位置的一維量而不是二維矢量來表示。
[0017] 作為示出被攝物的Ξ維位置的信息，存在各種表現，但是，使用從成為基準的攝像 機到被攝物的距離或者與攝像機的圖像平面不平行的軸上的坐標值的情況較多。再有，也 存在不使用距離而使用距離的倒數的情況。此外，由于距離的倒數為與視差成比例的信息， 所W，也存在設定2個成為基準的攝像機而表現為在由運些攝像機拍攝的圖像間的視差量 的情況。
[0018] 無論使用了怎樣的表現，都沒有本質的不同，因此，在W下，不進行根據表現的區 另IJ，將示出運些Ξ維位置的信息表現為深度。
[0019] 圖8是對極幾何約束的概念圖。根據對極幾何約束，與某個攝像機的圖像上的點對 應的另外的攝像機的圖像上的點被約束在極線運樣的直線上。此時，在得到了針對該點的 像素的深度的情況下，對應點被唯一地確定在極線上。
[0020] 例如，如圖8所示那樣，針對在第一攝像機圖像中被投影到m的位置的被攝物的在 第二攝像機圖像中的對應點在實空間中的被攝物的位置為r的情況下被投影到極線上的 位置m'，在實空間中的被攝物的位置為M' '的情況下被投影到極線上的位置m' '。
[0021] 在非專利文獻2中，利用該性質，按照由針對參照帖的深度圖（距離圖像)提供的各 被攝物的Ξ維信息，根據參照帖生成針對編碼對象帖的合成圖像來作為每個區域的預測圖 像的候補，由此，實現精度高的預測，實現高效率的多視點活動圖像的編碼。
[0022] 再有，基于該深度而生成的合成圖像被稱為視點合成圖像、視點內插圖像或視差 補償圖像。
[0023] 進而，在非專利文獻3中，在深度圖的精度的情況下或在即使在實空間上為相同的 點而在視點間圖像信號也微妙地不同的情況下等，即使為不能生成充分的品質的視點合成 圖像的狀況，也在空間上或時間上對將視點合成圖像作為預測圖像時的預測殘差進行預測 編碼，由此，削減編碼的預測殘差的量，實現高效率的多視點活動圖像的編碼。
[0024] 根據非專利文獻3所記載的方法，在空間上或時間上對將使用根據深度圖得到的 被攝物的Ξ維信息而生成的視點合成圖像作為預測圖像時的預測殘差進行預測編碼，由 此，即使在視點合成圖像的品質不高的情況下也能夠強健地實現高效率的編碼。
[0025] 現有技術文獻 非專利文獻 非專利文獻 1: 口U-T Recommendation Η. 265(04/2013),巧 igh efficiency video coding", April, 2013； 非專矛U文南犬2: S. Shimizu, H. Kimata, and Y. Ohtani , "Adaptive appearance compensated view synthesis prediction for Multiview Video Coding''，Image Processing!；ICIP), 2009 16th IE邸 International Conference, pp. 2949-2952, 7- 10 Nov. 2009； 非專矛U文南犬 3:S. Shimizu and H. Kimata, ''MVC view synthesis residual prediction", JVT Input Contribution, JVT-X084, June, 2007。

【發明內容】

[00%]發明要解決的課題 但是，在非專利文獻2或非專利文獻3所記載的方法中，不管是否利用視點合成圖像，必 須針對圖像整體來生成并蓄積視點合成圖像，因此，存在處理負荷或存儲器消耗量增加運 樣的問題。
[0027] 估計針對需要視點合成圖像的區域的深度圖，由此，也能夠針對圖像的一部分來 生成視點合成圖像。可是，在進行殘差預測的情況下，除了預測對象的區域之外針對殘差預 測中的參照像素組也需要生成視點合成圖像，因此，進行殘差預測，由此，依然存在處理負 荷或存儲器訪問增大運樣的問題。
[0028] 特別地，在空間上預測將視點合成圖像作為預測圖像時的預測殘差的情況下，參 照的像素組成為與預測對象的區域鄰接的1行或1列的像素組，產生進行本來不使用的塊尺 寸中的視差補償預測的需要。因此，存在安裝或存儲器訪問變得復雜運樣的問題。
[0029] 本發明是鑒于運樣的情況而完成的，其目的在于提供能夠實現一邊抑制處理或存 儲器訪問的復雜化一邊在空間上對將視點合成圖像作為預測圖像時的預測殘差進行預測 編碼的圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法、圖像編碼程序、W及圖 像解碼程序。
[0030] 用于解決課題的方案 本發明提供一種圖像編碼裝置，在對由多個不同的視點的圖像構成的多視點圖像進行 編碼時，使用針對與編碼對象圖像不同的視點的編碼完畢的參照視點圖像和針對所述參照 視點圖像中的被攝物的參照深度圖，一邊在不同的視點間對圖像進行預測一邊按照作為對 所述編碼對象圖像進行分割后的區域的編碼對象區域的每一個進行編碼，所述圖像編碼裝 置的特征在于，具有:編碼對象區域視點合成圖像生成單元，使用所述參照視點圖像和所述 參照深度圖，生成針對所述編碼對象區域的第一視點合成圖像;參照像素設定單元，將在對 所述編碼對象區域進行帖內預測時參照的已經編碼完畢的像素組設定為參照像素;參照像 素視點合成圖像生成單元，使用所述第一視點合成圖像來生成針對所述參照像素的第二視 點合成圖像；W及帖內預測圖像生成單元，使用針對所述參照像素的解碼圖像和所述第二 視點合成圖像，生成針對所述編碼對象區域的帖內預測圖像。
[0031] 典型地，所述帖內預測圖像生成單元生成針對所述編碼對象區域的針對所述編碼 對象圖像與所述第一視點合成圖像的差分圖像的帖內預測圖像即差分帖內預測圖像，使用 該差分帖內預測圖像和所述第一視點合成圖像來生成所述帖內預測圖像。
[0032] 在優選例中，還具有:帖內預測方法設定單元，所述帖內預測方法設定單元針對所 述編碼對象區域設定帖內預測方法，所述參照像素設定單元將在使用所述帖內預測方法時 參照的已經編碼完畢的像素組作為參照像素，所述帖內預測圖像生成單元基于所述帖內預 測方法來生成所述帖內預測圖像。
[0033] 在該情況下，所述參照像素視點合成圖像生成單元基于所述帖內預測方法來生成 所述第二視點合成圖像也可。
[0034] 在另一優選例中，所述參照像素視點合成圖像生成單元基于所述帖內預測方法來 生成所述第二視點合成圖像。
[0035] 在該情況下，所述參照像素視點合成圖像生成單元使用在所述編碼對象區域內與 該編碼對象區域外的像素相接的像素組所對應的所述第一視點合成圖像的像素組來生成 所述第二視點合成圖像也可。
[0036] 本發明此外也提供一種圖像解碼裝置，在根據由多個不同的視點的圖像構成的多 視點圖像的碼數據對解碼對象圖像進行解碼時，使用針對與解碼對象圖像不同的視點的解 碼完畢的參照視點圖像和針對所述參照視點圖像中的被攝物的參照深度圖，一邊在不同的 視點間對圖像進行預測一邊按照作為對所述解碼對象圖像進行分割后的區域的解碼對象 區域的每一個進行解碼，所述圖像解碼裝置的特征在于，具有:解碼對象區域視點合成圖像 生成單元，使用所述參照視點圖像和所述參照深度圖，生成針對所述解碼對象區域的第一 視點合成圖像;參照像素設定單元，將在對所述解碼對象區域進行帖內預測時參照的已經 解碼完畢的像素組設定為參照像素;參照像素視點合成圖像生成單元，使用所述第一視點 合成圖像來生成針對所述參照像素的第二視點合成圖像；W及帖內預測圖像生成單元，使 用針對所述參照像素的解碼圖像和所述第二視點合成圖像，生成針對所述解碼對象區域的 帖內預測圖像。
[0037] 典型地，所述帖內預測圖像生成單元生成針對所述解碼對象區域的針對所述解碼 對象圖像與所述第一視點合成圖像的差分圖像的帖內預測圖像即差分帖內預測圖像，使用 該差分帖內預測圖像和所述第一視點合成圖像來生成所述帖內預測圖像。
[0038] 在優選例中，還具有:帖內預測方法設定單元，所述帖內預測方法設定單元針對所 述解碼對象區域設定帖內預測方法，所述參照像素設定單元將在使用所述帖內預測方法時 參照的已經解碼完畢的像素組作為參照像素，所述帖內預測圖像生成單元基于所述帖內預 測方法來生成所述帖內預測圖像。
[0039] 在該情況下，所述參照像素視點合成圖像生成單元基于所述帖內預測方法來生成 所述第二視點合成圖像也可。
[0040] 在另一優選例中，所述參照像素視點合成圖像生成單元根據所述第一視點合成圖 像進行外插，由此，生成所述第二視點合成圖像。
[0041] 在該情況下，所述參照像素視點合成圖像生成單元使用在所述解碼對象區域內與 該解碼對象區域外的像素相接的像素組所對應的所述第一視點合成圖像的像素組來生成 所述第二視點合成圖像也可。
[0042] 本發明此外也提供一種圖像編碼方法，在對由多個不同的視點的圖像構成的多視 點圖像進行編碼時，使用針對與編碼對象圖像不同的視點的編碼完畢的參照視點圖像和針 對所述參照視點圖像中的被攝物的參照深度圖，一邊在不同的視點間對圖像進行預測一邊 按照作為對所述編碼對象圖像進行分割后的區域的編碼對象區域的每一個進行編碼，所述 圖像編碼方法的特征在于，具備:編碼對象區域視點合成圖像生成步驟，使用所述參照視點 圖像和所述參照深度圖，生成針對所述編碼對象區域的第一視點合成圖像;參照像素設定 步驟，將在對所述編碼對象區域進行帖內預測時參照的已經編碼完畢的像素組設定為參照 像素;參照像素視點合成圖像生成步驟，使用所述第一視點合成圖像來生成針對所述參照 像素的第二視點合成圖像；W及帖內預測圖像生成步驟，使用針對所述參照像素的解碼圖 像和所述第二視點合成圖像，生成針對所述編碼對象區域的帖內預測圖像。
[0043] 本發明此外也提供一種圖像解碼方法，在根據由多個不同的視點的圖像構成的多 視點圖像的碼數據對解碼對象圖像進行解碼時，使用針對與解碼對象圖像不同的視點的解 碼完畢的參照視點圖像和針對所述參照視點圖像中的被攝物的參照深度圖，一邊在不同的 視點間對圖像進行預測一邊按照作為對所述解碼對象圖像進行分割后的區域的解碼對象 區域的每一個進行解碼，所述圖像解碼方法的特征在于，具備:解碼對象區域視點合成圖像 生成步驟，使用所述參照視點圖像和所述參照深度圖，生成針對所述解碼對象區域的第一 視點合成圖像;參照像素設定步驟，將在對所述解碼對象區域進行帖內預測時參照的已經 解碼完畢的像素組設定為參照像素;參照像素視點合成圖像生成步驟，使用所述第一視點 合成圖像來生成針對所述參照像素的第二視點合成圖像；W及帖內預測圖像生成步驟，使 用針對所述參照像素的解碼圖像和所述第二視點合成圖像，生成針對所述解碼對象區域的 帖內預測圖像。
[0044] 本發明此外也提供一種圖像編碼程序，其中，用于使計算機執行所述圖像編碼方 法。
[0045] 本發明此外也提供一種圖像解碼程序，其中，用于使計算機執行所述圖像解碼方 法。
[0046] 發明效果 根據本發明，得到W下運樣的效果:能夠在對多視點圖像或多視點活動圖像進行編碼 或解碼時，一邊抑制處理或存儲器訪問的復雜化，一邊在空間上對將視點合成圖像作為預 測圖像時的預測殘差進行預測編碼。
【附圖說明】
[0047] 圖1是示出本發明的實施方式中的圖像編碼裝置的結構的框圖。
[0048] 圖2是示出圖1所示的圖像編碼裝置100的工作的流程圖。
[0049] 圖3是示出本發明的實施方式中的圖像解碼裝置的結構的框圖。
[0050] 圖4是示出圖3所示的圖像解碼裝置200的工作的流程圖。
[0051] 圖5是示出由計算機和軟件程序構成圖像編碼裝置100的情況下的硬件結構的框 圖。
[0052] 圖6是示出由計算機和軟件程序構成圖像解碼裝置200的情況下的硬件結構的框 圖。
[0053] 圖7是示出在攝像機間產生的視差的概念圖。
[0054] 圖8是對極幾何約束的概念圖。
【具體實施方式】
[0055] W下，參照附圖來對本發明的實施方式的圖像編碼裝置和圖像解碼裝置進行說 明。
[0056] 在W下的說明中，說明設想對從第一視點（稱為視點A)、第二視點(稱為視點B)運2 個視點拍攝的多視點圖像進行編碼的情況，并將視點A的圖像作為參照視點圖像來對視點B 的圖像進行編碼或解碼。
[0057] 再有，假設另外提供為了根據深度信息得到視差而需要的信息。具體地，為表示視 點A和視點B的位置關系的外部參數或表示利用攝像機等的向圖像平面的投影信息的內部 參數，但是，即使為運些W外的方式，只要根據深度信息得到視差，則也可W提供另外的信 息。
[005引與運些攝像機參數相關的詳細的說明例如被記載在文獻％liver Faugeras， "Three-Dimension Computer Vision", MIT Press; BCTC/UFF-006.37 F259 1993, ISBN: 0-262-06158-9."中。在該文獻中，記載了與示出多個攝像機的位置關系的參數、表 示利用攝像機的向圖像平面的投影信息的參數相關的說明。
[0059] 在W下的說明中，假設對圖像、視頻帖、深度圖附加由記號[]夾著示出的能夠對位 置進行特別指定的信息（坐標值或能夠與坐標值相對應的索引），由此，示出利用該位置的 像素采樣后的圖像信號或針對其的深度。
[0060] 此外，假設通過能夠與坐標值或塊相對應的索引值和矢量的相加來表示使該坐標 或塊錯開矢量的量的位置的坐標值或塊。
[0061] 圖1是示出本實施方式中的圖像編碼裝置的結構的框圖。
[0062] 圖像編碼裝置100如圖1所示那樣具備:編碼對象圖像輸入部101、編碼對象圖像存 儲器102、參照視點圖像輸入部103、參照視點圖像存儲器104、參照深度圖輸入部105、參照 深度圖存儲器106、編碼對象區域視點合成圖像生成部107、參照像素設定部108、參照像素 視點合成圖像生成部109、帖內預測圖像生成部110、預測殘差編碼部111、預測殘差解碼部 112、解碼圖像存儲器113、W及4個加法運算器114、115、116、117。
[0063] 編碼對象圖像輸入部101將成為編碼對象的圖像輸入到圖像編碼裝置100中。在W 下，將該成為編碼對象的圖像稱為編碼對象圖像。在此，假設輸入視點B的圖像。此外，將針 對編碼對象圖像的視點(在此為視點B)稱為編碼對象視點。
[0064] 編碼對象圖像存儲器102存儲所輸入的編碼對象圖像。
[0065] 參照視點圖像輸入部103將在生成視點合成圖像(視差補償圖像)時參照的圖像輸 入到圖像編碼裝置100中。在W下，將在此輸入的圖像稱為參照視點圖像。在此，假設輸入視 點A的圖像。
[0066] 參照視點圖像存儲器104存儲所輸入的參照視點圖像。
[0067] 參照深度圖輸入部105將在生成視點合成圖像時參照的深度圖輸入到圖像編碼裝 置100中。在此，假設輸入針對參照視點圖像的深度圖，但是，也可W為針對另外的視點的圖 像的深度圖。在W下，將該深度圖稱為參照深度圖。
[0068] 再有，深度圖是指表示在對應的圖像的各像素中顯現的被攝物的Ξ維位置。只要 是利用另外提供的攝像機參數等信息來得到Ξ維位置的信息，則是怎樣的信息都可W。例 如，能夠使用從攝像機到被攝物的距離、相對于與圖像平面不平行的軸的坐標值、針對另外 的攝像機(例如視點B處的攝像機)的視差量。
[0069] 此外，在此只要得到視差量即可，因此，不是使用深度圖而是使用直接表現視差量 的視差圖也可。
[0070] 再有，在此，作為深度圖，W圖像的方式給出，但是，只要得到同樣的信息，則也可 W不是圖像的方式。
[0071] 在W下，將與參照深度圖對應的視點(在此為視點A)稱為參照深度視點。
[0072] 參照深度圖存儲器106記錄所輸入的參照深度圖。
[0073] 編碼對象區域視點合成圖像生成部107使用參照深度圖來求取編碼對象圖像的像 素與參照視點圖像的像素的對應關系，生成編碼對象區域中的視點合成圖像。
[0074] 參照像素設定部108設定在對編碼對象區域進行帖內（帖內）預測時參照的像素 組。在W下，將所設定的像素組統一稱為參照像素。
[0075] 參照像素視點合成圖像生成部109使用針對編碼對象區域的視點合成圖像來生成 針對參照像素的視點合成圖像。
[0076] 在帖內預測圖像生成部110中，使用針對參照像素的視點合成圖像(從參照像素設 定部108輸出）與參照像素處的解碼圖像的差分圖像(從加法運算器116輸出），生成編碼對 象區域中的針對編碼對象圖像與視點合成圖像的差分圖像的帖內預測圖像。在W下，將該 針對差分圖像的帖內預測圖像稱為差分帖內預測圖像。
[0077] 加法運算器114將視點合成圖像與差分帖內預測圖像相加。
[0078] 加法運算器115通過求取編碼對象圖像與加法運算器114的輸出的差分來輸出預 測殘差。
[0079] 在預測殘差編碼部111中，對編碼對象區域中的編碼對象圖像的預測殘差(加法運 算器115的輸出）進行編碼。
[0080] 在預測殘差解碼部112中，對編碼后的預測殘差進行解碼。
[0081] 加法運算器117將加法運算器114的輸出與解碼后的預測殘差相加來輸出解碼后 的編碼對象圖像。
[0082] 在解碼圖像存儲器113中存儲解碼后的編碼對象圖像。
[0083] 接著，參照圖2來說明圖1所示的圖像編碼裝置100的工作。圖2是示出圖1所示的圖 像編碼裝置100的工作的流程圖。
[0084] 首先，編碼對象圖像輸入部101將編碼對象圖像化g輸入到圖像編碼裝置100中，并 存儲到編碼對象圖像存儲器102中。參照視點圖像輸入部103將參照視點圖像輸入到圖像編 碼裝置100中，并存儲到參照視點圖像存儲器104中。參照深度圖輸入部105將參照深度圖輸 入到圖像編碼裝置100中，并存儲到參照深度圖存儲器106中（步驟S101)。
[0085] 再有，假設在步驟S101中輸入的參照視點圖像和參照深度圖與對已經編碼完畢的 圖進行解碼后的圖等在解碼側得到的圖相同。運是因為，通過使用與由解碼裝置得到的信 息完全相同的信息，從而抑制漂移(drift)等編碼噪聲的產生。但是，在容許那樣的編碼噪 聲的產生的情況下，也可W輸入編碼前的信息等僅在編碼側得到的信息。
[0086] 關于參照深度圖，除了對已經編碼完畢的深度圖進行解碼后的深度圖W外，也能 夠將通過對針對多個攝像機而解碼后的多視點圖像應用立體匹配(stereo matching)等而 估計出的深度圖或者使用解碼后的視差矢量或運動矢量等而估計出的深度圖等用作在解 碼側得到相同的深度圖的深度圖。
[0087] 此外，在另外存在針對其他的視點的圖像編碼裝置等而能夠每次取得需要的區域 的圖像或深度圖的情況下，在圖像編碼裝置100的內部不需要具備圖像或深度圖的存儲器 而在適當的定時將按照在下述說明的每個區域所需要的信息輸入到圖像編碼裝置100中也 可。
[0088] 在編碼對象圖像、參照視點圖像、參照深度圖的輸入結束之后，將編碼對象圖像分 割為預先確定的大小的區域，按照每個所分割的區域對編碼對象圖像的圖像信號進行預測 編碼（步驟S102~S112)。
[0089] 目P，當假設使用Wk表示編碼對象區域索引并且使用numBlks表示編碼對象圖像中 的總編碼對象區域數目時，使用0初始化blk(步驟S102)，之后，一邊對blk加上1(步驟 S111)，一邊重復進行W下的處理(步驟S103~S110)直到Wk變為numB化S(步驟S112)。
[0090] 在通常的編碼中，向16像素 X 16像素的被稱為宏塊的處理單位塊分割，但是，只要 與解碼側相同，則也可W分割為其他的大小的塊。此外，也可W按照每個場所分割為不同的 大小的塊。
[0091] 在按照每個編碼對象區域重復的處理中，首先，編碼對象區域視點合成圖像生成 部107生成針對編碼對象區域Wk的視點合成圖像Syn(步驟S103)。
[0092] 關于在此的處理，只要是使用參照視點圖像和參照深度圖來合成針對編碼對象區 域blk的圖像的方法，則使用怎樣的方法都可W。例如，也可W使用在非專利文獻2或文獻 "L. Zhang, G. Tech, K. Wegner, and S.化a, "Test Model 7of 3D-皿VC and MV- HEVC", Joint Collaborative Team on 3D Video Coding Extension Development of mj-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11， Doc. JCT3V-G1005, San Jose, US,化n. 2014/'中記載的方法。
[0093] 接著，參照像素設定部108根據存儲在解碼圖像存儲器113中的針對已經編碼完畢 的區域的解碼圖像Dec設定在進行針對編碼對象區域blk的帖內預測時使用的參照像素 Ref (步驟S104)。使用怎樣的帖內預測都可W，但是，基于帖內預測的方法來設定參照像素。
[0094] 例如，當在使用非專利文獻1所記載的活動圖像壓縮編碼標準H. 265(通稱皿VC) 的帖內預測的方法的情況下將編碼對象區域的大小設為N像素 XN像素(N為2W上的自然 數)時，將編碼對象區域Wk的附近4化1個像素設定為參照像素。
[00M]具體地，當將編碼對象區域Wk內的左上的像素位置設為[X，y] = [0, 0]時，為x=- 1且或者且y=-l的像素位置的參照像素。參照圖像根據針對運些 位置的解碼圖像是否被包含在解碼圖像存儲器中，如下述準備。
[0096] (1)在針對參照像素的全部的像素位置得到解碼圖像的情況下，為Ref [X，y]=Dec [x, y]〇
[0097] (2)在針對參照像素的全部的像素位置未得到解碼圖像的情況下，為Ref[X，y]=l <<(位深度(BitDepth)-l)。
[0098] 再有，《表示左位移位運算，位深度表示編碼對象圖像的像素值的位深度。
[0099] (3)在其他的情況下： W[-l，2N-1]~[-1，-1]~[2N-1，-1]的順序掃描4N+1個參照像素的像素位置，求取最 初解碼圖像存在的位置[XO, yo]。
[0100] 為Ref[-1, 2N-l]=Dec[xo, yo]。
[0101] 在按照[-1，2N-2]~[-1，-1]的順序進行掃描而得到注目像素位置[-1，y]處的 解碼圖像的情況下，為Ref[-1, y]=Dec[-l，y]。在未得到[-1，y]處的解碼圖像的情況下， 為Ref[-1, y]=Ref[-l， y+1]。
[0102] 在按照[0, -1]~[2N-1，-1]的順序進行掃描而得到注目像素位置[X，-1]處的解 碼圖像的情況下，為Ref[x，-l]=Dec[x, -1]。在未得到[X，-1]處的解碼圖像的情況下，為 Ref[x, -l]=Ref[x-l, -l]〇
[0103] 再有，在作為皿VC的帖內預測的一種的方向性預測中，不是直接使用像運樣做設 定的參照像素，而是在通過被稱為疏化轉印的處理更新了參照像素之后使用更新后的參照 圖像來生成預測圖像。設定在前述的說明中進行疏化轉印之前的參照像素，但是，也可W進 行疏化轉印而將更新后的參照像素新設定為參照像素。與疏化轉印相關的詳細的說明被記 載在非專利文獻1(第8.4.4.2.6節，PP. 109-111)中。
[0104] 在參照像素的設定完成之后，接著，參照像素視點合成圖像生成部109生成針對參 照像素的視點合成圖像Syn'（步驟S105)。關于在此的處理，只要能夠在解碼側進行相同的 處理而使用針對編碼對象區域Wk的視點合成圖像來進行生成，則使用怎樣的方法都可W。
[0105] 例如，按照參照像素的每個像素位置分配針對在編碼對象區域blk內距離最近的 像素的視點合成圖像也可。在前述的HEVC中的參照像素的情況下，W下面的（1)~巧)式來表 示所生成的針對參照像素的視點合成圖像。
[0106]
[0107] 作為另外的方法，按照參照像素的每個像素位置，對與編碼對象區域鄰接的像素 分配該鄰接的像素的(編碼對象區域中的)視點合成圖像，對未與編碼對象區域鄰接的像素 分配處于傾斜45度方向的最近的編碼對象區域內的像素的視點合成圖像也可。
[0108] 在前述的皿VC中的參照像素的情況下，根據該方式，W下面的（6)~（10)式表示所 生成的針對參照像素的視點合成圖像。
[0109]
[0110] 再有，使用傾斜45度w外的角度也可，使用基于使用的帖內預測的預測方向的角 度也可。例如，分配處于帖內預測的預測方向的最近的編碼對象圖像內的像素的視點合成 圖像也可。
[0111] 進而，作為另外的方法，通過對針對編碼對象區域的視點合成圖像進行解析來進 行外插處理而生成也可。在外插處理中使用任意的算法也可。例如，也可W為使用了在帖內 預測中使用的預測方向的外插，也可W為與在帖內預測中使用的預測方向無關且考慮了針 對編碼對象區域的視點合成圖像的紋理(texture )的方向性的外插。
[0112] 此外，在此，不管帖內預測的方法而針對存在在帖內預測中被參照的可能性的像 素全部來生成視點合成圖像，但是，事先決定帖內預測的方法而僅針對基于該方法實際上 被參照的像素來生成視點合成圖像也可。
[0113] 如進行肥VC的帖內方向性預測的情況那樣，在根據鄰接像素通過疏化轉印來更新 參照像素的情況下，直接生成針對更新后的位置的視點合成圖像也可。此外，與進行參照像 素的更新的情況同樣地，在生成針對更新前的參照像素的視點合成圖像之后，W與對參照 像素進行的更新相同的方法進行針對參照像素的視點合成圖像的更新，由此，生成針對更 新后的參照像素位置的視點合成圖像也可。
[0114] 在針對參照像素的視點合成圖像的生成完成之后，加法運算器116按照下面的 (11)式生成參照像素視點合成圖像生成部109的輸出與參照像素設定部108的輸出的差分 (針對參照像素的差分圖像VSRes )(步驟S106 )。
[0115] 再有，在此將Ref與SynW相同的比率相減，但是，也可W進行加權減法運算。在該 情況下，需要利用與解碼側相同的權重。 V 這 R 該 S [ X， y 1 二S 巧 @ f 1' X, y 1 S y η ' fx, yl ，
[0116] 。 ?? 1:1
[0117]接著，在帖內預測圖像生成部110中，使用針對參照像素的差分圖像來生成編碼對 象區域blk中的差分帖內預測圖像RPred(步驟S107)。只要使用參照像素來生成預測圖像， 則使用怎樣的帖內預測的方法都可W。
[0118] 在得到差分帖內預測圖像之后，如下面的（12)式所示，按照每個像素利用加法運 算器114計算視點合成圖像與差分帖內預測圖像的和，由此，生成編碼對象區域blk中的編 碼對象圖像的預測圖像Pr ed (步驟S108 )。
[0119]
[0120] 在此，將對視點合成圖像與差分帖內預測圖像進行相加后的結果直接作為預測圖 像，但是，將按照每個像素在編碼對象圖像的像素值的值域中對加法運算結果進行裁剪 (clipping)后的結果作為預測圖像也可。
[0121] 進而，在此，將Syn與RPredW相同的比率相加，但是，進行加權加法運算也可。在該 情況下，需要利用與解碼側相同的權重。
[0122] 此外，在此的權重按照生成針對參照圖像的差分圖像時的權重決定也可。例如，使 針對生成針對參照圖像的差分圖像時的Syn的比率與在此的Syn的比率相同也可。
[0123] 在得到預測圖像之后，加法運算器115求取加法運算器114的輸出與在編碼對象圖 像存儲器102中存儲的編碼對象圖像的差分(預測殘差）。然后，預測殘差編碼部111對作為 編碼對象圖像與預測圖像的差分的預測殘差進行編碼(步驟S109)。編碼的結果得到的位流 成為圖像編碼裝置100的輸出。
[0124] 再有，對于編碼的方法，使用怎樣的方法都可W。在MPEG-2、Η. 264/AVC、肥VC等通 常的編碼中，對差分殘差依次實施DCT等頻率變換、量化、二值化、賭編碼，由此，進行編碼。
[0125] 接著，預測殘差解碼部112對預測殘差Res進行解碼，如由（13)式所示那樣，通過加 法運算器117將預測圖像Pred與預測殘差相加，由此，生成解碼圖像Dec(步驟S110)。
[0126]
[0127] 再有，在將BR〉A預測圖像與預測殘差相加之后在像素值的值域中進行裁剪也可。
[0128] 所得到的解碼圖像被存儲到解碼圖像存儲器113中，W便用于其他的編碼區域的 預測。
[0129] 再有，在預測殘差的解碼中，使用與在編碼時使用的手法對應的手法。例如，只要 為Μ陽G-2、Η. 264/AVC、肥VC等通常的編碼，則對位流依次實施賭解碼、逆二值化、逆量化、 IDCT等頻率逆變換，由此，進行解碼。
[0130] 在此，假設根據位流進行解碼，但是，對在編碼側的處理成為無損耗的稍前的數據 進行接收而通過簡化后的解碼處理來進行解碼處理也可。即，只要為前述的例子，則接收在 編碼時施加量化處理后的值，對該量化后的值依次實施逆量化、頻率逆變換，由此，能夠進 行解碼處理。
[0131] 此外，在此，圖像編碼裝置100輸出針對圖像信號的位流。即，根據需要，對圖像編 碼裝置100輸出的位流另外追加示出圖像尺寸等信息的參數集(parameter set)或標題 (header)。
[0132] 接著，對本實施方式中的圖像解碼裝置進行說明。圖3是示出本實施方式中的圖像 解碼裝置的結構的框圖。
[0133] 圖像解碼裝置200如圖3所示那樣具備:位流輸入部201、位流存儲器202、參照視點 圖像輸入部203、參照視點圖像存儲器204、參照深度圖輸入部205、參照深度圖存儲器206、 解碼對象區域視點合成圖像生成部207、參照像素設定部208、參照像素視點合成圖像生成 部209、帖內預測圖像生成部210、預測殘差解碼部211、解碼圖像存儲器212、W及3個加法運 算器 213、214、215。
[0134] 位流輸入部201將成為解碼對象的圖像的位流輸入到圖像解碼裝置200中。在W 下，將該成為解碼對象的圖像稱為解碼對象圖像。在此，指視點B的圖像。此外，在W下，將針 對解碼對象圖像的視點(在此為視點B)稱為解碼對象視點。
[0135] 位流存儲器202存儲所輸入的針對解碼對象圖像的位流。
[0136] 參照視點圖像輸入部203將在生成視點合成圖像(視差補償圖像)時參照的圖像輸 入到圖像解碼裝置200中。在W下，將在此輸入的圖像稱為參照視點圖像。在此，假設輸入視 點A的圖像。
[0137] 參照視點圖像存儲器204存儲所輸入的參照視點圖像。
[0138] 參照深度圖輸入部205將在生成視點合成圖像時參照的深度圖輸入到圖像解碼裝 置200中。在此，假設輸入針對參照視點圖像的深度圖，但是，也可W為針對另外的視點的圖 像的深度圖。在W下，將該深度圖稱為參照深度圖。
[0139] 再有，深度圖是指表示在對應的圖像的各像素中顯現的被攝物的Ξ維位置。只要 是利用另外提供的攝像機參數等信息來得到Ξ維位置的信息，則是怎樣的信息都可W。例 如，能夠使用從攝像機到被攝物的距離、相對于與圖像平面不平行的軸的坐標值、針對另外 的攝像機(例如視點B處的攝像機)的視差量。
[0140] 此外，在此只要得到視差量即可，因此，不是使用深度圖而是使用直接表現視差量 的視差圖也可。
[0141] 再有，在此，作為深度圖，W圖像的方式給出，但是，只要得到同樣的信息，則也可 W不是圖像的方式。
[0142] 在W下，將與參照深度圖對應的視點(在此為視點A)稱為參照深度視點。
[0143] 參照深度圖存儲器206存儲所輸入的參照深度圖。
[0144] 解碼對象區域視點合成圖像生成部207使用參照深度圖來求取解碼對象圖像的像 素與參照視點圖像的像素的對應關系，生成解碼對象區域中的視點合成圖像。
[0145] 參照像素設定部208設定在對解碼對象區域進行帖內預測時參照的像素組。在W 下，將所設定的像素組統一稱為參照像素。
[0146] 參照像素視點合成圖像生成部209使用解碼對象區域中的視點合成圖像來生成參 照像素處的視點合成圖像。
[0147] 加法運算器215輸出參照像素處的解碼圖像與視點合成圖像的差分圖像。
[0148] 在帖內預測圖像生成部210中，使用該參照像素處的解碼圖像與視點合成圖像的 差分圖像，生成解碼對象區域中的針對解碼對象圖像與視點合成圖像的差分圖像的帖內預 測圖像。在W下，將針對差分圖像的帖內預測圖像稱為差分帖內預測圖像。
[0149] 在預測殘差解碼部211中，根據位流對解碼對象區域中的解碼對象圖像的預測殘 差進行解碼。
[0150] 加法運算器213將解碼對象區域中的視點合成圖像與差分帖內預測圖像相加并輸 出。
[0151] 加法運算器214將加法運算器213的輸出與解碼后的預測殘差相加并輸出。
[0152] 在解碼圖像存儲器212中，存儲解碼后的解碼對象圖像。
[0153] 接著，參照圖4來說明圖3所示的圖像解碼裝置200的工作。圖4是示出圖3所示的圖 像解碼裝置200的工作的流程圖。
[0154] 首先，位流輸入部201將對解碼對象圖像進行編碼后的結果的位流輸入到圖像解 碼裝置200中，并存儲到位流存儲器202中。參照視點圖像輸入部203將參照視點圖像輸入到 圖像解碼裝置200中，并存儲到參照視點圖像存儲器204中。參照深度圖輸入部205將參照深 度圖輸入到圖像解碼裝置200中，并存儲到參照深度圖存儲器206中（步驟S201)。
[0155] 再有，假設在步驟S201中輸入的參照視點圖像和參照深度圖與在編碼側使用的圖 相同。運是因為，通過使用與由圖像編碼裝置得到的信息完全相同的信息，從而抑制漂移等 編碼噪聲的產生。但是，在容許那樣的編碼噪聲的產生的情況下，也可W輸入與在編碼時使 用的信息不同的信息。
[0156] 關于參照深度圖，除了另外解碼的深度圖W外，有時使用通過對針對多個攝像機 而解碼后的多視點圖像應用立體匹配等而估計出的深度圖或者使用解碼后的視差矢量或 運動矢量等而估計出的深度圖等。
[0157] 此外，在另外存在針對其他的視點的圖像解碼裝置等而能夠每次取得需要的區域 的圖像或深度圖的情況下，在圖像解碼裝置200的內部不需要具備圖像或深度圖的存儲器 而在適當的定時將按照在下述說明的每個區域所需要的信息輸入到圖像解碼裝置200中也 可。
[0158] 在位流、參照視點圖像、參照深度圖的輸入結束之后，將解碼對象圖像分割為預先 確定的大小的區域，按照每個所分割的區域對解碼對象圖像的圖像信號進行解碼（步驟 S202~S211)。
[0159] 目P，當假設使用Wk表示解碼對象區域索引并且使用numBlks表示解碼對象圖像中 的總解碼對象區域數目時，使用0初始化blk(步驟S202)，之后，一邊對blk加上1(步驟 S210)，一邊重復進行W下的處理(步驟S203~S209)直到Wk變為numB化S(步驟S211)。
[0160] 在通常的解碼中，向16像素 X 16像素的被稱為宏塊的處理單位塊分割，但是，只要 與編碼側相同，則也可W分割為其他的大小的塊。此外，也可W按照每個場所分割為不同的 大小的塊。
[0161] 在按照每個解碼對象區域重復的處理中，首先，解碼對象區域視點合成圖像生成 部207生成解碼對象區域Wk中的視點合成圖像Syn(步驟S203)。
[0162] 在此的處理與前述的編碼時的步驟S103相同。再有，為了抑制漂移等編碼噪聲的 產生，需要使用與在編碼時使用的方法相同的方法，但是，在容許那樣的編碼噪聲的產生的 情況下，也可W使用與在編碼時使用的方法不同的方法。
[0163] 接著，參照像素設定部208根據存儲在解碼圖像存儲器212中的針對已經解碼完畢 的區域的解碼圖像Dec設定在進行針對解碼對象區域blk的帖內預測時使用的參照像素 Ref (步驟S204)。在此的處理與前述的編碼時的步驟S104相同。
[0164] 再有，如果為與編碼時相同的方法，則使用怎樣的帖內預測都可W，但是，基于帖 內預測的方法來設定參照像素。
[0165] 在參照像素的設定完成之后，接著，參照像素視點合成圖像生成部209生成針對參 照像素的視點合成圖像Syn'（步驟S205)。在此的處理與前述的編碼時的步驟S105相同，如 果為與編碼時相同的方法，則使用怎樣的方法都可W。
[0166] 在針對參照像素的視點合成圖像的生成完成之后，加法運算器215生成針對參照 像素的差分圖像VSRes(步驟S206)。之后，帖內預測圖像生成部210使用所生成的針對參照 像素的差分圖像來生成差分帖內預測圖像RPred(步驟S207)。
[0167] 在此的處理與前述的編碼時的步驟S106和S107相同，如果為與編碼時相同的方 法，則使用怎樣的方法都可W。
[0168] 在得到差分帖內預測圖像之后，加法運算器213生成解碼對象區域blk中的解碼對 象圖像的預測圖像Pred(步驟S208)。在此的處理與前述的編碼時的步驟S108相同。
[0169] 在得到預測圖像之后，預測殘差解碼部211根據位流對解碼對象區域Wk的預測殘 差進行解碼，通過加法運算器214將預測圖像與預測殘差相加，由此，生成解碼圖像Dec(步 驟S209)。
[0170] 再有，在解碼中使用與在編碼時使用的方法對應的方法。例如，在使用MPEG-2、H. 264/AVC、皿VC等通常的編碼的情況下，對位流依次實施賭解碼、逆二值化、逆量化、IDCT等 頻率逆變換，由此，進行解碼。
[0171] 所得到的解碼圖像成為圖像解碼裝置200的輸出，并且，被存儲到解碼圖像存儲器 212中，W便用于其他的解碼對象區域的預測。
[0172] 此外，在此，在圖像解碼裝置200中輸入針對圖像信號的位流。即，關于示出圖像尺 寸等信息的參數集或標題，根據需要在圖像解碼裝置200的外側被解釋，關于解碼所需要的 信息，向圖像解碼裝置200通知。
[0173] 在前述的說明中，作為對圖像整體進行編碼/解碼的處理進行了說明，但是，也能 夠僅對圖像的一部分應用。在該情況下，判斷是否應用處理，對示出其的標志進行編碼或解 碼也可，使用某些另外的方案來指定其也可。例如，表現為示出生成每個區域的預測圖像的 手法的模式之一也可。
[0174] 此外，一邊從多個帖內預測的方法按照每個區域選擇一個一邊進行編碼或解碼也 可。在該情況下，需要按照每個區域使用的帖內預測的方法在編碼時和解碼時一致。
[0175] 怎樣一致都可W，但是，將所使用的帖內預測的方法編碼為模式信息并被包含在 位流內而向解碼側通知也可。在該情況下，在解碼時，需要根據位流對示出按照每個區域使 用的帖內預測的方法的信息進行解碼并基于解碼后的信息來進行差分帖內預測圖像的生 成。
[0176] 再有，作為在不編碼那樣的信息的情況下使用與編碼側相同的帖內預測的方法的 手法，使用帖內的位置或已經解碼完畢的信息，在編碼側和解碼側進行相同的估計處理，由 此，能夠使用相同的帖內預測的方法。
[0177] 在前述的說明中，說明了對1帖進行編碼和解碼的處理，但是，重復多個帖，由此， 也能夠應用于活動圖像編碼。此外，也能夠僅應用于活動圖像的一部分的帖或一部分的塊。
[0178] 進而，在前述的說明中說明了圖像編碼裝置和圖像解碼裝置的結構和處理工作， 但是，能夠通過與運些圖像編碼裝置和圖像解碼裝置的各部的工作對應的處理工作來實現 本發明的圖像編碼方法和圖像解碼方法。
[0179] 此外，在前述的說明中，假設參照深度圖為針對使用與編碼對象攝像機或解碼對 象攝像機不同的攝像機拍攝的圖像的深度圖而進行了說明，但是，也可w將針對在與編碼 對象圖像或解碼對象圖像不同的時刻通過編碼對象攝像機或解碼對象攝像機拍攝的圖像 的深度圖用作參照深度圖。
[0180] 圖5是示出通過計算機和軟件程序構成前述的圖像編碼裝置100的情況下的硬件 結構的框圖。
[0181] 圖5所示的系統為W總線連接有W下各部的結構:執行程序的CPU50、CPU50訪問的 儲存有程序、數據的RAM等存儲器51、將來自攝像機等的編碼對象的圖像信號輸入到圖像編 碼裝置內的編碼對象圖像輸入部52(也可W是利用磁盤裝置等的存儲圖像信號的存儲部）、 將來自存儲器等的參照視點的圖像信號輸入到圖像編碼裝置內的參照視點圖像輸入部53 (也可W是利用磁盤裝置等的存儲圖像信號的存儲部）、將來自（用于取得深度信息的)深度 攝像機等的針對拍攝了與編碼對象視點和參照視點圖像相同的場景的攝像機的深度圖輸 入到圖像編碼裝置內的參照深度圖輸入部54(也可W是利用磁盤裝置等的存儲深度圖的存 儲部）、儲存有使CPU50執行圖像編碼處理的軟件程序即圖像編碼程序551的程序存儲裝置 55、W及例如經由網絡輸出通過CPU50執行被加載到存儲器51中的圖像編碼程序551而生成 的位流的位流輸出部56(也可W是利用磁盤裝置等的存儲位流的存儲部）。
[0182] 圖6是示出通過計算機和軟件程序構成前述的圖像解碼裝置200的情況下的硬件 結構的框圖。圖6所示的系統為W總線連接有W下各部的結構:執行程序的CPU60XPU60訪 問的儲存有程序、數據的RAM等存儲器61、將圖像編碼裝置利用本手法來進行編碼后的位流 輸入到圖像解碼裝置內的位流輸入部62(也可W是利用磁盤裝置等的存儲圖像信號的存儲 部）、將來自攝像機等的參照視點的圖像信號輸入到圖像解碼裝置內的參照視點圖像輸入 部63(也可W是利用磁盤裝置等的存儲圖像信號的存儲部）、將來自深度攝像機等的針對拍 攝了與解碼對象圖像和參照視點圖像相同的場景的攝像機的深度圖輸入到圖像解碼裝置 內的參照深度圖輸入部64(也可W是利用磁盤裝置等的存儲深度信息的存儲部）、儲存有使 CPU60執行圖像解碼處理的軟件程序即圖像解碼程序651的程序存儲裝置65、W及將通過 CPU60執行被加載到存儲器61中的圖像解碼程序651來對位流進行解碼而得到的解碼對象 圖像輸出到再生裝置等中的解碼對象圖像輸出部66(也可W是利用磁盤裝置等的存儲圖像 信號的存儲部）。
[0183] 如W上說明的那樣，在空間上對將視點合成圖像作為預測圖像的情況下的預測殘 差進行預測編碼時，根據針對預測對象區域的視點合成圖像估計預測殘差時的參照圖像中 的視點合成圖像，由此，能夠在不使視點合成圖像生成中的視差補償預測的處理復雜化的 情況下W少的處理量對多視點圖像和多視點活動圖像進行編碼/解碼。
[0184] 也可W通過計算機實現前述的實施方式中的圖像編碼裝置100和圖像解碼裝置 200。在該情況下，將用于實現該功能的程序記錄在計算機可讀取的記錄介質中，使計算機 系統讀入記錄在該記錄介質中的程序并執行，由此，也可W實現。
[0185] 再有，在此所說的"計算機系統"包含0S、周圍設備等硬件。
[0186] 此外/'計算機可讀取的記錄介質"是指軟盤、光磁盤、R0MXD-R0M等可移動介質、 內置于計算機系統的硬盤等存儲裝置。
[0187] 進而，"計算機可讀取的記錄介質"也可W還包含像經由因特網等網絡或電話線路 等通信線路來發送程序的情況下的通信線那樣在短時間的期間動態地保持程序的記錄介 質、像該情況下的成為服務器或客戶端的計算機系統內部的易失性存儲器那樣將程序保持 固定時間的記錄介質。
[0188] 此外，上述程序也可W是用于實現前述的功能的一部分的程序，進而，也可W是能 通過與已經記錄在計算機系統中的程序的組合來實現前述的功能的程序，也可W是使用 化D(P;rogrammable Logic Device,可編程邏輯器件）、FPGA(Field Programmable Gate Array，現場可編程口陣列)等硬件來實現的程序。
[0189] W上，參照附圖來說明了本發明的實施方式，但是，上述實施方式只不過是本發明 的例示，顯然本發明并不限定于上述實施方式。因此，也可W在不偏離本發明的技術思想和 范圍的范圍內進行結構要素的追加、省略、替換、其他的變更。
[0190] 產業上的可利用性 能夠應用于在使用從與拍攝了編碼(解碼)對象圖像的攝像機不同的位置拍攝的圖像 和針對該圖像中的被攝物的深度圖來進行使用了針對編碼(解碼)對象圖像的視點合成圖 像的預測編碼時、一邊抑制伴隨著需要視點合成圖像的區域的增加的存儲器訪問或處理的 增加 W及復雜化一邊在空間上對編碼(解碼)對象圖像與視點合成圖像的差分圖像進行預 測編碼、由此達成高的編碼效率而不可缺少的用途。
[0191] 附圖標記的說明 100…圖像編碼裝置 lOl···編碼對象圖像輸入部 102…編碼對象圖像存儲器 103…參照視點圖像輸入部 104…參照視點圖像存儲器 105…參照深度圖輸入部 106…參照深度圖存儲器 107…編碼對象區域視點合成圖像生成部 108…參照像素設定部 109…參照像素視點合成圖像生成部 110…帖內預測圖像生成部 111…預測殘差編碼部 112…預測殘差解碼部 113…解碼圖像存儲器 114、115、116、117…加法運算器 200…圖像解碼裝置 201…位流輸入部 202…位流存儲器 203…參照視點圖像輸入部 204…參照視點圖像存儲器 205…參照深度圖輸入部 206…參照深度圖存儲器 207…解碼對象區域視點合成圖像生成部 208…參照像素設定部 209…參照像素視點合成圖像生成部 210…帖內預測圖像生成部 211…預測殘差解碼部 212…解碼圖像存儲器 213、214、215…加法運算器。
【主權項】
1. 一種圖像編碼裝置，在對由多個不同的視點的圖像構成的多視點圖像進行編碼時， 使用針對與編碼對象圖像不同的視點的編碼完畢的參照視點圖像和針對所述參照視點圖 像中的被攝物的參照深度圖，一邊在不同的視點間對圖像進行預測一邊按照作為對所述編 碼對象圖像進行分割后的區域的編碼對象區域的每一個進行編碼，所述圖像編碼裝置的特 征在于，具有： 編碼對象區域視點合成圖像生成單元，使用所述參照視點圖像和所述參照深度圖，生 成針對所述編碼對象區域的第一視點合成圖像； 參照像素設定單元，將在對所述編碼對象區域進行幀內預測時參照的已經編碼完畢的 像素組設定為參照像素； 參照像素視點合成圖像生成單元，使用所述第一視點合成圖像來生成針對所述參照像 素的第二視點合成圖像;以及 幀內預測圖像生成單元，使用針對所述參照像素的解碼圖像和所述第二視點合成圖 像，生成針對所述編碼對象區域的幀內預測圖像。2. 根據權利要求1所述的圖像編碼裝置，其特征在于，所述幀內預測圖像生成單元生成 針對所述編碼對象區域的針對所述編碼對象圖像與所述第一視點合成圖像的差分圖像的 幀內預測圖像即差分幀內預測圖像，使用該差分幀內預測圖像和所述第一視點合成圖像來 生成所述幀內預測圖像。3. 根據權利要求1所述的圖像編碼裝置，其特征在于， 還具有：幀內預測方法設定單元，所述幀內預測方法設定單元針對所述編碼對象區域 設定幀內預測方法， 所述參照像素設定單元將在使用所述幀內預測方法時參照的已經編碼完畢的像素組 作為參照像素， 所述幀內預測圖像生成單元基于所述幀內預測方法來生成所述幀內預測圖像。4. 根據權利要求3所述的圖像編碼裝置，其特征在于，所述參照像素視點合成圖像生成 單元基于所述幀內預測方法來生成所述第二視點合成圖像。5. 根據權利要求1所述的圖像編碼裝置，其特征在于，所述參照像素視點合成圖像生成 單元根據所述第一視點合成圖像進行外插，由此，生成所述第二視點合成圖像。6. 根據權利要求5所述的圖像編碼裝置，其特征在于，所述參照像素視點合成圖像生成 單元使用在所述編碼對象區域內與該編碼對象區域外的像素相接的像素組所對應的所述 第一視點合成圖像的像素組來生成所述第二視點合成圖像。7. -種圖像解碼裝置，在根據由多個不同的視點的圖像構成的多視點圖像的碼數據對 解碼對象圖像進行解碼時，使用針對與解碼對象圖像不同的視點的解碼完畢的參照視點圖 像和針對所述參照視點圖像中的被攝物的參照深度圖，一邊在不同的視點間對圖像進行預 測一邊按照作為對所述解碼對象圖像進行分割后的區域的解碼對象區域的每一個進行解 碼，所述圖像解碼裝置的特征在于，具有： 解碼對象區域視點合成圖像生成單元，使用所述參照視點圖像和所述參照深度圖，生 成針對所述解碼對象區域的第一視點合成圖像； 參照像素設定單元，將在對所述解碼對象區域進行幀內預測時參照的已經解碼完畢的 像素組設定為參照像素； 參照像素視點合成圖像生成單元，使用所述第一視點合成圖像來生成針對所述參照像 素的第二視點合成圖像;以及 幀內預測圖像生成單元，使用針對所述參照像素的解碼圖像和所述第二視點合成圖 像，生成針對所述解碼對象區域的幀內預測圖像。8. 根據權利要求7所述的圖像解碼裝置，其特征在于，所述幀內預測圖像生成單元生成 針對所述解碼對象區域的針對所述解碼對象圖像與所述第一視點合成圖像的差分圖像的 幀內預測圖像即差分幀內預測圖像，使用該差分幀內預測圖像和所述第一視點合成圖像來 生成所述幀內預測圖像。9. 根據權利要求7所述的圖像解碼裝置，其特征在于， 還具有：幀內預測方法設定單元，所述幀內預測方法設定單元針對所述解碼對象區域 設定幀內預測方法， 所述參照像素設定單元將在使用所述幀內預測方法時參照的已經解碼完畢的像素組 作為參照像素， 所述幀內預測圖像生成單元基于所述幀內預測方法來生成所述幀內預測圖像。10. 根據權利要求9所述的圖像解碼裝置，其特征在于，所述參照像素視點合成圖像生 成單元基于所述幀內預測方法來生成所述第二視點合成圖像。11. 根據權利要求7所述的圖像解碼裝置，其特征在于，所述參照像素視點合成圖像生 成單元根據所述第一視點合成圖像進行外插，由此，生成所述第二視點合成圖像。12. 根據權利要求11所述的圖像解碼裝置，其特征在于，所述參照像素視點合成圖像生 成單元使用在所述解碼對象區域內與該解碼對象區域外的像素相接的像素組所對應的所 述第一視點合成圖像的像素組來生成所述第二視點合成圖像。13. -種圖像編碼方法，在對由多個不同的視點的圖像構成的多視點圖像進行編碼時， 使用針對與編碼對象圖像不同的視點的編碼完畢的參照視點圖像和針對所述參照視點圖 像中的被攝物的參照深度圖，一邊在不同的視點間對圖像進行預測一邊按照作為對所述編 碼對象圖像進行分割后的區域的編碼對象區域的每一個進行編碼，所述圖像編碼方法的特 征在于，具備： 編碼對象區域視點合成圖像生成步驟，使用所述參照視點圖像和所述參照深度圖，生 成針對所述編碼對象區域的第一視點合成圖像； 參照像素設定步驟，將在對所述編碼對象區域進行幀內預測時參照的已經編碼完畢的 像素組設定為參照像素； 參照像素視點合成圖像生成步驟，使用所述第一視點合成圖像來生成針對所述參照像 素的第二視點合成圖像;以及 幀內預測圖像生成步驟，使用針對所述參照像素的解碼圖像和所述第二視點合成圖 像，生成針對所述編碼對象區域的幀內預測圖像。14. 一種圖像解碼方法，在根據由多個不同的視點的圖像構成的多視點圖像的碼數據 對解碼對象圖像進行解碼時，使用針對與解碼對象圖像不同的視點的解碼完畢的參照視點 圖像和針對所述參照視點圖像中的被攝物的參照深度圖，一邊在不同的視點間對圖像進行 預測一邊按照作為對所述解碼對象圖像進行分割后的區域的解碼對象區域的每一個進行 解碼，所述圖像解碼方法的特征在于，具備： 解碼對象區域視點合成圖像生成步驟，使用所述參照視點圖像和所述參照深度圖，生 成針對所述解碼對象區域的第一視點合成圖像； 參照像素設定步驟，將在對所述解碼對象區域進行幀內預測時參照的已經解碼完畢的 像素組設定為參照像素； 參照像素視點合成圖像生成步驟，使用所述第一視點合成圖像來生成針對所述參照像 素的第二視點合成圖像;以及 幀內預測圖像生成步驟，使用針對所述參照像素的解碼圖像和所述第二視點合成圖 像，生成針對所述解碼對象區域的幀內預測圖像。15. -種圖像編碼程序，其中，用于使計算機執行根據權利要求13所述的圖像編碼方 法。16. -種圖像解碼程序，其中，用于使計算機執行根據權利要求14所述的圖像解碼方 法。
【文檔編號】H04N19/597GK106063273SQ201580014206
【公開日】2016年10月26日
【申請日】2015年3月16日 公開號201580014206.2, CN 106063273 A, CN 106063273A, CN 201580014206, CN-A-106063273, CN106063273 A, CN106063273A, CN201580014206, CN201580014206.2, PCT/2015/57631, PCT/JP/15/057631, PCT/JP/15/57631, PCT/JP/2015/057631, PCT/JP/2015/57631, PCT/JP15/057631, PCT/JP15/57631, PCT/JP15057631, PCT/JP1557631, PCT/JP2015/057631, PCT/JP2015/57631, PCT/JP2015057631, PCT/JP201557631
【發明人】志水信哉, 杉本志織
【申請人】日本電信電話株式會社