基于塊的交錯的制作方法

專利名稱：基于塊的交錯的制作方法
技術(shù)領(lǐng)域：
描述了涉及圖像壓縮的實(shí)施方式。各種特定的實(shí)施方式涉及交錯圖像的壓縮，交錯圖像可能由具有重疊內(nèi)容的圖像形成。
背景技術(shù)：
已知各種技術(shù)來壓縮圖像，包括立體圖像和多視像。AVC，是指現(xiàn)有的國際標(biāo)準(zhǔn)化組織/國際電工委員會(IS0/IEC)運(yùn)動圖片專家組-4(MPEG-4)第10部分高級視頻編碼(AVC)標(biāo)準(zhǔn)/國際電信聯(lián)盟電信分部(ITU-T)的H. 264建議(以下稱“H. 264/MPEG-4AVC標(biāo)準(zhǔn)”或其變化，如“AVC標(biāo)準(zhǔn)”、“'H. 264標(biāo)準(zhǔn)”或簡稱為“AVC”或“'H. 264”)，可用于個別地壓縮此類圖像。在使用幀內(nèi)編碼技術(shù)AVC內(nèi)通常對“I”幀進(jìn)行壓縮。

發(fā)明內(nèi)容
根據(jù)一般方面，訪問包括多個塊的第一圖像。第一圖像的多個塊包括第一圖像塊。訪問包括多個塊的第二圖像。第二圖像的多個塊包括具有與第一圖像塊重疊的內(nèi)容的第二圖像塊。第一圖像的多個塊和第二圖像的多個塊以塊為基礎(chǔ)交錯以形成交錯圖像。交錯圖像的至少一部分通過使用第二圖像塊作為參考來編碼第一圖像塊而被編碼。提供編碼后的第一圖像塊以供傳輸或存儲。根據(jù)另外的一般方面，視頻信號或視頻信號結(jié)構(gòu)包括用于編碼的一個或多個圖片 部分。編碼是第一圖像的多個塊和第二圖像的多個塊的基于塊的交錯的編碼。第一圖像的多個塊包括第一圖像塊，第二圖像的多個塊包括具有與第一圖像塊重疊的內(nèi)容的第二圖像塊。第一圖像塊的編碼使用第二圖像塊作為參考。根據(jù)另外的一般方面，訪問編碼后的圖像。編碼后的圖像是第一圖像的多個塊和第二圖像的多個塊的基于塊的交錯的編碼。第一圖像的多個塊包括第一圖像塊，第二圖像的多個塊包括具有與第一圖像塊重疊的內(nèi)容的第二圖像塊。解碼編碼后的圖像的一部分。編碼后的圖像部分使用第二圖像塊作為參考來編碼第一圖像塊。提供解碼后的部分以供處理或顯示。在附圖和下面的描述中闡明了一個或多個實(shí)施方式的細(xì)節(jié)。即使是以一特定的方式描述，應(yīng)該明確的是，實(shí)施方式可以各種方式配置或?qū)嵤?。例如，?shí)施方式可以執(zhí)行為一種方法，或?qū)嵤橐环N設(shè)備(例如配置為執(zhí)行一組操作的設(shè)備或存儲用于執(zhí)行一系列操作的指令的設(shè)備)，或以信號實(shí)施。從下面的詳細(xì)說明結(jié)合所附的附圖和權(quán)利要求書一并考慮，其他方面和特征將變得很明顯。


圖I是描繪了可與一個或多個實(shí)施方式一起使用的用于編碼和解碼圖像的系統(tǒng)和處理的示例的方塊圖/流程圖。圖2是描繪了可與一個或多個實(shí)施方式一起使用的相鄰塊的示例的方塊圖。圖3是描繪了可與一個或多個實(shí)施方式一起使用的相鄰參考塊的示例的方塊圖。圖4是描繪了可與一個或多個實(shí)施方式一起使用的垂直交錯和水平交錯的示例的方塊圖/流程圖。圖5是描繪了可與一個或多個實(shí)施方式一起使用的編碼處理的示例的流程圖。圖6是描繪了可與一個或多個實(shí)施方式一起使用的解碼處理的示例的流程圖。 圖7是描繪了可與一個或多個實(shí)施方式一起使用的編碼系統(tǒng)的示例的方塊圖/流程圖。圖8是描繪了可與一個或多個實(shí)施方式一起使用的解碼系統(tǒng)的示例的方塊圖/流程圖。圖9是描繪了可與一個或多個實(shí)施方式一起使用的視頻傳輸系統(tǒng)的示例的方塊圖/流程圖。圖10是描繪了可與一個或多個實(shí)施方式一起使用的視頻接收系統(tǒng)的示例的方塊圖/流程圖。
具體實(shí)施例方式在此申請中說明的至少一個實(shí)施方式旨在提高對已合并成單個圖像的立體圖像對的壓縮效率。實(shí)施方式以允許H. 264壓縮算法以更好地利用幀內(nèi)塊預(yù)測的方式重新排列立體圖像對。立體圖像對的左視片和右視片在宏塊級交錯。左視片和右視片被一起編碼為單個圖片，并且交錯圖片的排列通常提高了對典型的水平或垂直分割屏幕排列的幀內(nèi)預(yù)測效率。在基于塊的壓縮算法(例如支持MPEG2，MPEG4)中，發(fā)明人已確定，在I-圖片壓縮上花費(fèi)了不均衡百分比的分配給壓縮流的總位預(yù)算。注意，I圖片經(jīng)常被用作參考圖片。在短期內(nèi)，廣播3D視頻可能依靠分割屏幕方法來遞送左/右立體圖像對。一個典型的排列是左圖片和右圖片，每一個圖片按一半來進(jìn)行水平子采樣，連接在一起以形成單個全尺寸的復(fù)合左+右圖片。水平子采樣和垂直子采樣兩者都在當(dāng)代的半分辨率3D編碼器中使用。通常情況下，水平子采樣用于1920X1080源材料，垂直子采樣用于1280X720p源材料。這些子采樣方法的優(yōu)點(diǎn)是，復(fù)合圖片可以由原有設(shè)備編碼和解碼，而顯示裝置負(fù)責(zé)分離左圖像和右圖像。此方法雖然方便，但沒有很好地利用在左圖像和右圖像之間的冗余。通過以允許壓縮算法更好地利用此冗余的方式重新排列左圖像和右圖像，所產(chǎn)生的壓縮后的圖像流仍然能夠與原有編碼/解碼工具在很大程度上保持兼容，同時提高了編碼后的I (或參考)圖片的壓縮效率。上面的方法能夠用來作為MVC (多視圖編碼)的可替代方法。雖然是可替代方法，但上面的方法和MVC并不一定等同，這兩種方法可能會產(chǎn)生不同的結(jié)果。MVC更具體地是指AVC標(biāo)準(zhǔn)的多視圖視頻編碼(“MVC”)擴(kuò)展(附錄H)，被稱為H. 264/MPEG-4AVC，MVC擴(kuò)展(“MVC擴(kuò)展”或簡稱為“MVC”)。MVC是非向后兼容的壓縮算法，它是已被開發(fā)來利用例如在立體圖像對中的左視圖和右視圖之間的冗余的H. 264/MPEG-4AVC標(biāo)準(zhǔn)的擴(kuò)展。參照圖I，示出了系統(tǒng)100，系統(tǒng)100提供了用于處理幀內(nèi)編碼后的圖片(即，I圖片)的實(shí)施方式。幀內(nèi)編碼后的圖片遵循圖I所示和下文所述的處理。系統(tǒng)100包括編碼塊110、解碼塊120、連接編碼塊110和解碼塊120的傳輸操作130。提供用于立體圖像對的全分辨率輸入圖片作為到編碼塊110的輸入。全分辨率立體圖像包括左視片140和右視片142。全分辨率圖像在水平維度上按1/2來進(jìn)行下采樣將原始水平尺寸減小1/2。這導(dǎo)致了使水平采樣率轉(zhuǎn)換(“SRC”)成為原始水平尺寸的1/2。下采樣也被稱為子采樣、速率轉(zhuǎn)換或向下縮放。編碼塊110包括下采樣左視 片140的采樣器144和下采樣右視片142的采樣器146。采樣器144產(chǎn)生是在水平維度上的左視片140的尺寸的1/2的采樣后的左視片148。同樣地，采樣器146產(chǎn)生是在水平維度上的右視片142的尺寸的1/2的采樣后的右視片150。采樣后的左視片148和采樣后的右視片150被交錯，以形成交錯復(fù)合圖片152。復(fù)合圖片152是通過將采樣后的左視片148分解(也稱為分區(qū)或劃分)成16X16的宏塊、將采樣后的右視片150分解成16X16的宏塊，并將來自左視片148和右視片150的宏塊交錯以形成復(fù)合圖片152。在圖I所示的實(shí)施方式中，如相對于下文圖4所進(jìn)一步解釋，宏塊以逐列的格式在交替的基礎(chǔ)上被交錯。這產(chǎn)生了復(fù)合圖片152，復(fù)合圖片152具有與采樣后的左視片148和采樣后的右視片150相同的垂直維度，以及兩倍于采樣后的左視片148或采樣后的右視片150的水平維度。編碼塊110包括編碼復(fù)合圖片152的H. 264編碼器154。在編碼塊110中，復(fù)合圖片152使用HP0L4. X而被編碼以形成編碼后的圖片(未示出)。HP0L4. x是指高級規(guī)范(profile), 4. X級，其包括4. 0,4. I和4. 2。然而，其他實(shí)施方式使用H. 264編碼規(guī)范中的任意若干，諸如例如所有等級的基線規(guī)范、所有等級的主規(guī)范和所有等級的高級規(guī)范。編碼器154將復(fù)合圖片152編碼為I圖片，并使用H. 264幀內(nèi)編碼模式。因此，復(fù)合圖片152的塊使用來自復(fù)合圖片152的一個或多個其他塊作為參考而被編碼。例如，一個給定塊的預(yù)測塊可能會由相鄰塊的組合形成。一個給定塊的相鄰塊通常被定義為在角落或邊緣上觸及給定塊的八個塊中的一個。參照圖2，中間塊M的八個相鄰塊以塊1-8示出。注意，為了 H. 264幀內(nèi)預(yù)測模式的目的，塊1、2、3、4和6 —般是允許作為預(yù)測塊的。參照圖3，各種實(shí)施方式通過水平位于左側(cè)的塊(塊A)、垂直位于上側(cè)的塊(塊B)、對角線式地位于右上的塊(塊C)的結(jié)合而形成給定塊(塊G)的預(yù)測塊。因?yàn)閺?fù)合圖片152使用逐列交錯，應(yīng)明確的是，塊G將來自采樣后的左視片148或采樣后的右視片150中的一個，并且塊A和C兩者都將是來自其他采樣后的圖片。各種實(shí)施方式可能會形成基于塊A、B或C中的僅僅一個(而不是其組合)的預(yù)測塊或者基于包括非相鄰塊的其他塊的預(yù)測塊。特別地，各種實(shí)施方式提供了允許塊G相對于僅塊A被編碼或相對于僅塊C被編碼的編碼模式。與使用不交錯的分割屏幕格式(見下文描述的水平分割屏幕圖片160)相比，此種代碼塊G僅使用塊A或塊C的模式被期望通過使用交錯復(fù)合圖片152來提高編碼效率。至少部分提高的效率被期望通過能使用來自其他視圖的相應(yīng)塊編碼來自一個視圖(左視圖或右視圖)的塊而帶來。如果相應(yīng)塊對齊得好，則殘留將較少，并且將需要更少的位來編碼。然而，需要注意的是，對齊不必完美以減少殘留和提供編碼增益。如上所述，如圖2中所示的塊1、2、3、4和6可用作H. 264幀內(nèi)預(yù)測中的塊M的預(yù)測塊。然而，各種實(shí)施方式執(zhí)行交錯以利用如下事實(shí)在立體視圖中，期望在兩個圖片中有水平位移但沒有垂直位移。在此種情況下，期望最好的預(yù)測塊是來自其他立體視圖的相應(yīng)塊。該相應(yīng)塊將往往是處于在列交錯后被編碼的塊的左側(cè)，并將往往是處于在行交錯后被編碼的塊的上側(cè)。各種實(shí)施方式通過在復(fù)合圖片152內(nèi)搜索最好的參考塊來執(zhí)行復(fù)合圖片152的幀內(nèi)編碼。更具體地說，若干此類實(shí)施方式在已被編碼的當(dāng)前圖片的那些部分的重建中搜索。由于搜索，與僅使用預(yù)定的鄰近塊作為參考相比，此種模式往往更時間密集和更處理器密集。然而，此種模式通常提供了找到給定塊的更好預(yù)測的優(yōu)勢。此種模式通常也提供了在 無需知道視差的情況下找到相應(yīng)立體圖像塊的優(yōu)勢。編碼塊110包括解碼編碼后的圖片以產(chǎn)生后解碼的圖片158的H. 264解碼器156。在編碼塊110的實(shí)施方式中，編碼后的圖片使用HP0L4. X被解碼。解碼后的圖片158是復(fù)合圖片152的重建。編碼塊110解交錯解碼后的圖像158，以形成水平分割屏幕圖片160。水平分割屏幕圖片160包括采樣后的左視片148的左圖片重建162，并包括采樣后的右視片150的右圖片重建164。水平分割屏幕圖片160被作為參考圖片存儲在參考圖片存儲裝置(未示出)中，可以被編碼塊110用來作為參考圖片。P和B圖片被編碼為水平分割屏幕圖片。也就是說，針對P和B圖片，是將采樣后的左視片148和采樣后的右視片150形成水平分割屏幕圖片，而不是形成交錯復(fù)合圖片，并由編碼器154編碼。如上所述，參考圖片也被作為水平分割屏幕圖片存儲。當(dāng)P或B編碼后的塊包含指向I圖片的運(yùn)動參考時，運(yùn)動估計(jì)就被從水平分割屏幕重建圖片160中提取出來。因此，與P和B塊相比，編碼塊110針對I塊執(zhí)行不同的操作。例如，針對I塊’編碼塊110執(zhí)行(i)在編碼前交錯，和(ii)在形成水平分割屏幕重建圖片前解交錯。作為另一個示例，針對P和B塊，編碼塊110在編碼之前形成分割屏幕圖片。編碼器154也提供了編碼后的圖片(未示出)到傳輸操作130以供傳輸。被傳輸圖片由解碼塊120接收。解碼塊120包括執(zhí)行接收到的圖片的HP0L4. x解碼的H. 264解碼器170。解碼器170產(chǎn)生重建圖片172，重建圖片172是復(fù)合圖片152的重建。因此，重建圖片172具有從左圖像(采樣后的左視片148)和右圖像(采樣后的右視片150)交錯的宏塊。在一個典型的實(shí)施方式中，解碼器170與解碼器156將是相同的。解碼塊120解交錯重建圖片172以形成包括左圖片重建176和右圖片重建178的水平分割屏幕圖片174。如果在傳輸或解碼中沒有錯誤，則(i)重建圖片172將匹配來自編碼塊110的解碼后的圖片，(ii)水平分割屏幕圖片174將匹配水平分割屏幕圖片160，(iii)左圖片重建176將匹配左圖片重建162，及(iv)右圖片重建178將匹配右圖片重建164。
解碼塊120包括執(zhí)行水平采樣率轉(zhuǎn)換以恢復(fù)原始水平尺寸的采樣器180。采樣器180通過上采樣左圖片重建176以恢復(fù)左視片140的原始水平尺寸來執(zhí)行轉(zhuǎn)換。采樣器180產(chǎn)生重建左視片184，重建左視片184是左視片140的重建。上采樣也被稱為速率轉(zhuǎn)換或向上縮放。同樣地，解碼塊120包括執(zhí)行水平采樣率轉(zhuǎn)換以恢復(fù)原始水平尺寸的采樣器182。采樣器182通過上采樣右圖片重建178以恢復(fù)右視片142的原始水平尺寸來執(zhí)行轉(zhuǎn)換。采樣器182產(chǎn)生重建右視片186，重建右視片186是右視片142的重建。重建左視片184和重建右視片186是準(zhǔn)備好輸出到顯示器的全分辨率圖片。其他實(shí)施方式也提供，或者可替代地提供重建左視片184和/或重建右視片186用于處理。此處理包括例如濾波、渲染另外的圖像、偽影減少、顏色修改、邊緣銳化和/或?qū)ο髾z測，并可在顯示之前執(zhí)行或代替顯示來執(zhí)行。此外，其他實(shí)施方式提供了水平分割屏幕圖片174作為處理和/或顯示的輸出174。 如編碼塊110 —樣，與P和B塊相比，解碼塊120也對I塊執(zhí)行不同的操作。例如，針對I塊，解碼塊120在形成水平分割屏幕圖片174之前執(zhí)行解交錯。相比之下，針對P和B塊而言，解碼器170的輸出將是水平分割屏幕圖片。圖I的處理至少在很大程度上與現(xiàn)有的處理是向后兼容的。此外，原有H. 264編碼器和解碼器都可以使用。然而，圖I的處理可以不與所有現(xiàn)有的解碼過程完全向后兼容。盡管如此，許多解碼器具有使用集成位塊傳送(Blit)(例如，可編程的位形裝置；或執(zhí)行位塊圖像傳送例如以組合多個位圖的位塊傳送裝置)的能力或?qū)⒑陦K交錯I圖片圖像轉(zhuǎn)換成左/右分割屏幕圖像的DMA能力。也就是說，現(xiàn)有的H. 264解碼器可能沒有配置為將解碼后的(交錯圖片)158轉(zhuǎn)換成水平分割屏幕圖片160，或?qū)⒅亟▓D片172轉(zhuǎn)換成水平分割屏幕圖片174。然而，用于執(zhí)行此轉(zhuǎn)換的技術(shù)是可行的，是使用例如諸如集成位塊傳送或DMA的技術(shù)的普通技術(shù)人員所掌握的。此外，此類技術(shù)可用于選擇性地創(chuàng)建交錯圖像(例如，復(fù)合圖片152)或待用作到H. 264編碼器的輸入的分割屏幕連接圖像。其他實(shí)施方式修改了上述系統(tǒng)100的各個方面。某些實(shí)施方式和修改在下文描述，但也考慮了其他修改。-例如，兩個輸入圖像不需要形成立體圖像對。在各種實(shí)施方式中，輸入圖像是來自多視圖系統(tǒng)的圖像。-此外，輸入圖像不需要按正好1/2來進(jìn)行下采樣，且根本不需要下采樣。在各種實(shí)施方式中，輸入圖像(i)保持在其原始的采樣率，(ii)以非1/2的值來進(jìn)行下采樣，或
(iii)上采樣。-此外，輸入圖像不需要以同樣的速率進(jìn)行采樣。在各種實(shí)施方式中，第一輸入圖像以第一速率采樣，第二輸入圖像以與第一速率不同的第二速率采樣。-實(shí)施方式可以使用兩個以上的輸入圖像。各種實(shí)施方式使用三個或三個以上的輸入圖像，并交錯所有的輸入圖像。一個此類實(shí)施方式交錯來自多視圖系統(tǒng)的三個或三個以上的輸入視圖。另一個此類實(shí)施方式交錯四個圖像，四個圖像包括在第一時刻通過立體攝像機(jī)拍攝的第一立體圖像對和在第二時刻通過立體攝像機(jī)拍攝的第二立體圖像對。-各種實(shí)施方式除了采樣輸入圖像外還處理輸入圖像，或代替采樣輸入圖像而處理輸入圖像。由各種實(shí)施方式執(zhí)行的處理包括例如濾波圖像的像素值、剪輯圖像的像素值、將塊添加到圖像邊框周圍的圖像或去除沒有重疊內(nèi)容的塊。-用于交錯的塊不必為16x16，甚至也不必為宏塊。各種實(shí)施方式使用非16x16尺寸的塊和/或使用與在編碼中使用的宏塊的尺寸不同的塊尺寸。各種實(shí)施方式也改變塊尺寸，或使用可選的塊尺寸。H. 264標(biāo)準(zhǔn)允許4X4塊、8X8塊和16x16宏塊的幀內(nèi)預(yù)測。一個上述實(shí)施方式圖示并說明了使用宏塊的概念，但其他實(shí)施方式實(shí)施了在塊級別的交錯，包括例如4x4塊的級別、8x8塊的級別和采用4X4塊和8x8塊兩者的可變級別。-交錯圖像不需要使用HP0L4.X進(jìn)行編碼，更不需要H. 264進(jìn)行編碼。各種實(shí)施方式使用不同的札264規(guī)范或不同的編碼方案。例如，針對H. 264，可以使用所有等級的高級規(guī)范、所有等級的主規(guī)范和所有等級的基線規(guī)范，各種實(shí)施方式被指向于這些等級和規(guī)范中的每一個。-由編碼塊110提供的編碼后的交錯圖像不必被傳輸。例如，各種實(shí)施方式存儲編碼后的圖像。 -參考圖像不需要是水平分割屏幕圖像，或者甚至根本不需要是分割屏幕圖像。各種實(shí)施方式使用例如垂直分割屏幕圖像作為參考，或使用交錯圖像作為參考，或使用單個圖像作為參考。-P和B圖片不需要編碼為水平分割屏幕圖片。各種實(shí)施方式執(zhí)行P和/或B立體圖像對的交錯，如上面對I圖片所進(jìn)行的。這些實(shí)施方式的一個或多個對于用作參考的其他圖片使用幀間編碼來編碼交錯P和/或B圖片。若干此類實(shí)施方式的參考也是交錯圖片，但對于其他實(shí)施方式，未對參考進(jìn)行交錯。此外，這些實(shí)施方式中的一些考慮了幀內(nèi)預(yù)測模式和幀間預(yù)測模式兩者以在交錯P或B圖片中編碼給定塊。正因?yàn)槿绱?，這些實(shí)施方式中的一些執(zhí)行來自交錯P或B圖片的給定塊的最優(yōu)編碼。參照圖4，示出了宏塊級交錯的兩個實(shí)施方式的更詳細(xì)的視圖。圖4描繪出了立體圖像對的左圖片410和右圖片420。在此實(shí)施方式中，假定左圖片410和右圖片420已在水平方向上按因數(shù)2進(jìn)行了下采樣。如箭頭425所示，這兩個圖片410和420被結(jié)合，以形成交錯圖片430。交錯圖片430實(shí)際上是圖片410和420的列交錯。針對此實(shí)施方式，假定編碼器由左到右逐行編碼交錯圖片430。因此，當(dāng)編碼器編碼交錯圖片430時，可以看出，當(dāng)編碼器到達(dá)標(biāo)記為R22的塊(在交錯圖片430中圈出)時，編碼器已編碼了來自左圖片的相應(yīng)塊L22 (也在交錯圖片430中圈出)，并具有可以在編碼R22中使用的L22的編碼。L22在交錯圖片430中緊鄰R22的左側(cè)。L22和R22在立體圖像對中互為相應(yīng)塊，因此假定其內(nèi)容在很大程度上是重疊的。當(dāng)兩個塊具有一些共同的內(nèi)容時，內(nèi)容重疊。當(dāng)例如兩個塊包括特定的對象或背景時，即使該對象或背景不是在在各塊中完全相同的相對位置，此兩個塊也共享共同的內(nèi)容。這些相應(yīng)塊的識別是簡單地基于L22和R22在兩個圖片410和420中具有相應(yīng)的位置的事實(shí)。也就是說，假定L22和R22在其各自的圖片410和420中具有相同的(x，y)坐標(biāo)。其他實(shí)施方式基于例如視差來確定相應(yīng)塊。針對此類基于視差的實(shí)施方式，可使用各種基于視差的度量，諸如例如立體圖像對的平均視差。在一個此類實(shí)施方式中，圖片410的平均視差被確定為等于單塊的水平尺寸。因此，圖片410的塊L12被確定為相應(yīng)于圖片420的塊R11。注意，在此實(shí)施方式中，交錯仍然可以如在交錯圖片430中執(zhí)行，或者交錯可基于視差。在一個基于視差的實(shí)施方式中，塊如在交錯圖片430中交錯。然而，相應(yīng)塊可能是或不是相鄰塊。在示例中，L12相應(yīng)于R11，如在交錯圖片430中所示，該兩個塊仍相鄰。然而，如果視差等于塊的水平尺寸的兩倍，那么L13將相應(yīng)于R11，該兩個塊在交錯圖片430中將不是相鄰塊。在另一個基于視差的實(shí)施方式中，塊基于視差交錯。因此，如果L13相應(yīng)于RlI，那么該兩個塊交錯，以使它們是相鄰塊。在一個此類實(shí)施方式中，圖片410的前兩列直接插入交錯圖片中，然后圖片410的其余列與來自圖片420的列進(jìn)行列交錯。最后，圖片420最后剩下的列被直接插入交錯圖片中。在各種實(shí)施方式中，塊之間的相應(yīng)關(guān)系并不完美。也就是說，共同的內(nèi)容不是在每一相應(yīng)塊中的相同的相對位置上。例如，視差不等于塊的水平尺寸。盡管如此，仍然實(shí)現(xiàn)了編碼增益。
在其他的基于視差的實(shí)施方式中，來自各個輸入圖像的塊基于其在輸入圖像中的相對位置被交錯。例如，圖片410的第一列后跟圖片420的第一列。然而，交錯圖片的單個塊是通過在交錯圖片搜索以找到好的參考來進(jìn)行幀內(nèi)編碼的。此類搜索可識別相應(yīng)塊，而不需要實(shí)施方式在搜索之前知道視差。其他下采樣和交錯選項(xiàng)也是可能的。仍參照圖4，示出了實(shí)施方式，其中假定左圖片410和右圖片420已在垂直方向上按因數(shù)2進(jìn)行了下采樣，而不是如之前在上面的圖4的討論中說明的在水平方向上。此外，垂直下采樣后的圖片410和420然后進(jìn)行行交錯，以形成如箭頭435所示的交錯圖片440。在編碼交錯圖片430時，可以看出，當(dāng)編碼器到達(dá)標(biāo)記為R22的塊(在交錯圖片440中圈出)時，編碼器已編碼了來自左圖片相應(yīng)塊L22(也在交錯圖片440中圈出)，并具有可以在編碼R22中使用的L22的編碼。L22在交錯圖片440中緊鄰R22的上側(cè)。在另一個實(shí)施方式中，左圖片和右圖片是以水平和垂直方向的組合進(jìn)行下采樣，以將其尺寸按組合因數(shù)2減小。如本領(lǐng)域普通技術(shù)人員所理解的，為實(shí)現(xiàn)按組合因數(shù)2的減小，在水平和垂直方向上的下采樣的各種組合都是可能的。這些下采樣后的圖片然后可以以本領(lǐng)域普通技術(shù)人員所知道的各種方式交錯，包括行交錯和列交錯的組合。另一個實(shí)施方式根本不進(jìn)行下采樣，假定圖片410和420是其原始尺寸。此實(shí)施方式使用任一本領(lǐng)域已知的各種交錯選項(xiàng)簡單地結(jié)合左圖片和右圖片以產(chǎn)生大的交錯圖片。
H.264編碼器然后對該大的交錯圖片進(jìn)行編碼。在圖4的一個交錯選項(xiàng)的典型實(shí)施方式中，編碼器和解碼器對交錯圖片430和440解交錯，以形成典型的左/右水平分割屏幕視圖的重建，如圖I的水平分割屏幕圖片174所提供。然而，在其他實(shí)施方式中，編碼器和解碼器不執(zhí)行此操作。相反，編碼器和解碼器簡單地產(chǎn)生仍使左視圖和右視圖交錯的重建交錯圖片。編碼器使用此交錯重建來執(zhí)行后續(xù)圖片的編碼。例如，如果P圖片使用交錯I圖片作為參考進(jìn)行運(yùn)動編碼，則編碼器使用交錯I圖片以正常方式執(zhí)行對適當(dāng)運(yùn)動矢量的搜索。以此種方式，編碼器可以確定相應(yīng)于左視圖或右視圖的塊是針對正在P圖片中編碼的當(dāng)前塊的最佳“匹配”。其他實(shí)施方式擴(kuò)大了在尋找參考圖片中的最佳“匹配”中使用的搜索窗口，以說明在交錯參考圖片中交錯已將分量左圖片和右圖片的塊展開得更遠(yuǎn)的事實(shí)。
參照圖5，示出了在編碼兩個圖像中使用的實(shí)施方式。圖5描繪出了在編碼兩個圖像或其部分中使用的處理500。處理500包括訪問第一圖像塊(510)。第一圖像可以是例如圖I的采樣后的左視片148，第一圖像塊可以是例如來自采樣后的左視片148的左上塊。處理500包括訪問內(nèi)容與第一圖像塊重疊的第二圖像塊(520)。第二圖像可以是例如圖I的采樣后的右視片150。采樣后的左視片148和采樣后的右視片150兩者都從立體圖像對產(chǎn)生，因此假定在內(nèi)容上重疊。第 圖像塊可以是例如來自采樣后的右視片150的左上塊。如果采樣后的左視片148的左上塊的視差大于左上塊的水平塊尺寸，其內(nèi)容有可能不與采樣后的右視片150的左上塊的內(nèi)容重疊。如上所述，例如當(dāng)兩個塊包括共同的特征時，即使特征沒有在兩個塊中的每一個中的相同的相對位置對齊，內(nèi)容也可能會重疊。此種重疊通常發(fā)生在立體圖像對以及多視圖系統(tǒng)的獨(dú)立視圖中。無論圖像中的一個是否翻轉(zhuǎn)、旋轉(zhuǎn)、濾波或以其他方式處理，內(nèi)容都可能重疊。處理500包括對包括第一圖像塊的第一圖像的一部分和包括第二圖像塊的第二圖像的一部分進(jìn)行塊交錯(530)。兩個部分可包括整個第一圖像和第二圖像?？商鎿Q地，兩個部分可包括少于全部的第一圖像和第二圖像。塊交錯可以是例如如上所述的形成圖I的復(fù)合圖片152。處理500包括使用交錯第二圖像塊作為參考對交錯第一圖像塊進(jìn)行編碼(540)?？梢詧?zhí)行編碼，例如如上所述的使用圖I的編碼器154來編碼來自復(fù)合圖片152的塊。例如，假定列交錯，使用塊A作為預(yù)測塊(即作為參考)編碼圖IB的塊G將導(dǎo)致第一圖像塊(塊G)被使用第二圖像塊(塊A)作為參考來編碼。參照圖6，示出了在解碼兩個圖像中使用的實(shí)施方式。圖6描繪出了在解碼兩個圖像或其部分中使用的處理600。處理600包括訪問圖像的編碼(610)。圖像是交錯圖像，其中兩個圖像已基于塊進(jìn)行交錯。兩個圖像是包括多個第一圖像塊的第一圖像和包括多個第二圖像塊的第二圖像。編碼可以是例如由上文討論的圖I的解碼塊120所接收和解碼的接收到的圖片。處理600包括解碼所訪問的編碼的一部分(620)。該部分包括已使用第二圖像塊作為參考編碼的第一圖像塊的編碼。如上文建議的，第一圖像塊可以是來自采樣后的左視片148的左上塊。如上文建議的，第二圖像塊可以是來自采樣后的右視片150的左上塊，在此討論中假定其與來自采樣后的左視片148的左上塊具有重疊內(nèi)容?？梢杂衫缟衔挠懻摰膱DI的H. 264解碼器170執(zhí)行解碼。參照圖7，編碼器700描繪出了可用于編碼諸如例如視頻圖像或深度圖像的圖像的編碼器的實(shí)施方式。在一個實(shí)施方式中，編碼器700被用作圖I的系統(tǒng)100中的編碼器154。編碼器700也可用于編碼數(shù)據(jù)，諸如例如提供編碼后的比特流的有關(guān)信息的元數(shù)據(jù)。編碼器700可以實(shí)施為例如視頻傳輸系統(tǒng)的一部分,視頻傳輸系統(tǒng)將關(guān)于圖9在下文進(jìn)行描述。還應(yīng)該明確的是，圖7的塊除提供了編碼器的方塊圖外，還提供了編碼處理的流程圖。輸入圖像序列到達(dá)加法器701以及位移補(bǔ)償塊720和位移估計(jì)塊718。注意，位移是指例如運(yùn)動或視差。到加法器701的另一個輸入是通過交換器723接收到的各個可能的參考圖片信息中的一個。例如，如果與交換器723進(jìn)行信號通信的模式?jīng)Q定模塊724確定編碼模式應(yīng)該是參照來自當(dāng)前正在被編碼的同一圖片的塊的幀內(nèi)預(yù)測，則加法器701從幀內(nèi)預(yù)測模塊722接收其輸入?？商鎿Q地，如果模式?jīng)Q定模塊724確定編碼模式應(yīng)該是參照與當(dāng)前正在被編碼的圖片不同的圖片的位移補(bǔ)償和估計(jì)，則加法器701從位移補(bǔ)償模塊720接收其輸入。在各種實(shí)施方式中，幀內(nèi)預(yù)測模塊722基于作為正在被編碼的塊的相鄰塊的一個或多個塊提供了預(yù)定的預(yù)測塊。此相鄰塊可以是交錯塊，交錯塊來自另一個輸入圖像，諸如例如與正在被編碼的圖片形成立體圖像對的圖片。在各種實(shí)施方式中，交錯基于(x，y)坐標(biāo)，使得塊以它們在組成的圖片中出現(xiàn)的順序被交錯。然而，在其他實(shí)施方式中，交錯基于視差，使得內(nèi)容相應(yīng)的塊盡可能相互相鄰交錯，不管這些塊是位于其組成的圖片的何處。一個特定的實(shí)施方式通過編碼單個值提供了此概念的實(shí)際使用，該單個值指定了在交錯之前在左圖片和右圖片之間的整數(shù)個移位塊。這允許在編碼器處的平均視差測量來指導(dǎo)交錯，在流中編碼花費(fèi)很少，并且允許在顯示之前在解碼器處進(jìn)行容易的塊解擾。
在各種實(shí)施方式中，幀內(nèi)預(yù)測模塊722通過在正在被編碼的圖片內(nèi)搜索最佳參考塊而提供預(yù)測塊(參考)。更具體地說，若干此類實(shí)施方式在已編碼的當(dāng)前圖片的那些部分的重建內(nèi)搜索。在一些實(shí)施方式中，搜索限于位于現(xiàn)有的塊邊界上的塊。然而，在其他實(shí)施方式中，搜索允許搜索塊，不管那些塊是否越過現(xiàn)有的塊邊界。由于搜索，此類實(shí)施方式往往比僅僅使用預(yù)定的鄰近塊作為參考更時間密集和處理器密集。然而，此類實(shí)施方式通常提供了找到給定塊的更好預(yù)測的優(yōu)勢。此類實(shí)施方式通常還提供了在無需知道視差的情況下找到相應(yīng)立體圖像塊或相應(yīng)多視像塊的優(yōu)勢。
此類實(shí)施方式可導(dǎo)致最佳估計(jì)幀內(nèi)預(yù)測塊。此外，在各種實(shí)施方式中，參考塊的邊界能夠位于亞像素的邊界上，參考的恢復(fù)涉及內(nèi)插步驟以還原在解碼過程中被用作參考的實(shí)際塊。取決于圖片的內(nèi)容，與使用相鄰塊作為參考相比，此類亞像素內(nèi)插實(shí)施方式可提高壓縮效率。加法器701提供信號給變換模塊702，其配置為變換其輸入信號并將變換后的信號提供給量化模塊704。量化模塊704配置為對其接收到的信號執(zhí)行量化和將量化后的信息輸出給熵編碼器705。熵編碼器705配置為對其輸入信號執(zhí)行熵編碼以產(chǎn)生比特流。反量化模塊706配置為從量化模塊704接收量化后的信號并對量化后的信號執(zhí)行反量化。接著，反變換模塊708配置為從反量化模塊706接收反量化后的信號并對其接收到的信號執(zhí)行反變換。反變換模塊708的輸出是從加法器701輸出的信號的重建。加法器(更一般地被稱為組合器)709將從反變換模塊708和交換器723接收到的信號相加(組合)，并將產(chǎn)生的信號輸出到幀內(nèi)預(yù)測模塊722和環(huán)路濾波器710。產(chǎn)生的信號是輸入到編碼器700的圖像序列信號的重建。如上文所討論，幀內(nèi)預(yù)測模塊722使用其接收到的信號執(zhí)行幀內(nèi)預(yù)測。同樣地，環(huán)路濾波器710對從加法器709接收到的信號濾波并將濾波后的信號提供給參考緩沖器712。參考緩沖器712將圖像信息提供給位移估計(jì)和補(bǔ)償模塊718和720。元數(shù)據(jù)可以被加到編碼器700作為編碼后的元數(shù)據(jù)，并與來自熵編碼器705的輸出比特流結(jié)合。可替換地，例如，未編碼的元數(shù)據(jù)可隨著量化后的圖像序列輸入到熵編碼器705進(jìn)行熵編碼。
數(shù)據(jù)還由模式?jīng)Q定模塊724提供給輸出比特流。模式?jīng)Q定模塊724將指示用于編碼給定塊的模式的信息提供給比特流。此類信息常常包括參考塊的位置的指示。例如，在使用幀內(nèi)預(yù)測和執(zhí)行當(dāng)前圖片的搜索以找到參考塊的各種實(shí)施方式中，模式?jīng)Q定模塊724使用視差矢量指示參考位置。視差矢量信息可由幀內(nèi)預(yù)測模塊722提供給模式?jīng)Q定模塊724。如下文進(jìn)一步所述，視差矢量信息可使用相鄰宏塊的視差矢量作為參考而以不同方式進(jìn)行編碼。此外，圖片的視差矢量可分組并額外編碼以去除熵，因?yàn)樵谝暡钍噶恐锌赡苡锌臻g相似性。參照圖8，解碼器800描繪了可用于解碼圖像并將它們提供給例如顯示裝置的解碼器的實(shí)施方式。解碼器800也可用于解碼例如提供解碼后的比特流的有關(guān)信息的元數(shù)據(jù)。在一個實(shí)施方式中，解碼器800被用作圖I的系統(tǒng)100中的解碼器156和/或解碼器170。此外，解碼器800可以實(shí)施為例如視頻接收系統(tǒng)的一部分，視頻接收系統(tǒng)將關(guān)于圖10在下文進(jìn)行描述。還應(yīng)該明確的是，圖8的塊除提供了解碼器的方塊圖外，還提供了解碼處理的流程圖。 解碼器800配置為使用比特流接收器802接收比特流。比特流接收器802與比特流解析器804進(jìn)行信號通信并將比特流提供給比特流解析器804。比特流解析器804配置為將殘留比特流傳輸給熵解碼器806、將控制句法元素傳輸給模式選擇模塊816以及將位移(運(yùn)動/視差)矢量信息傳輸給位移補(bǔ)償模塊826和中貞內(nèi)預(yù)測模塊818。位移矢量信息可以是例如運(yùn)動矢量信息或視差矢量信息。運(yùn)動矢量信息通常用于幀間預(yù)測以指示與前一圖像的相對運(yùn)動。視差矢量信息通常用于(i)幀間預(yù)測，以指示對于獨(dú)立圖像的視差；或(ii)幀內(nèi)預(yù)測，以指示對于相同的圖像的一部分的視差。如在本領(lǐng)域中所已知，視差通常指示兩個圖像之間的相對偏移或位移。視差也可以用來指示在圖像的兩部分之間的相對偏移或位移。反量化模塊808對從熵解碼器806接收到的熵解碼后的信號執(zhí)行反量化。此外，反變換模塊810配置為對從反量化模塊808接收到的反量化后的信號執(zhí)行反變換并將反變換后的信號輸出到加法器(也稱為合并器)812。取決于采用的解碼模式，加法器812能夠接收多種其他信號中的一種。例如，模式?jīng)Q定模塊816能夠通過解析和分析控制句法元素來確定編碼器對當(dāng)前處理的塊執(zhí)行了位移補(bǔ)償還是幀內(nèi)預(yù)測編碼。根據(jù)確定的模式，模式選擇控制模塊816能夠基于控制句法元素訪問和控制交換器817，使得加法器812能夠從位移補(bǔ)償模塊826或幀內(nèi)預(yù)測模塊818接收信號。在這里，幀內(nèi)預(yù)測模塊818配置為執(zhí)行幀內(nèi)預(yù)測，以使用當(dāng)前正在被解碼的相同的圖片作為參考對塊進(jìn)行解碼。接著，位移補(bǔ)償模塊826配置為執(zhí)行位移補(bǔ)償，以使用另一個先前處理的、與當(dāng)前正在被解碼的圖片不同的圖片的塊作為參考對塊進(jìn)行解碼。此外，各種實(shí)施方式的幀內(nèi)預(yù)測模塊818從比特流解析器804接收視差矢量信息，該視差矢量信息識別在幀內(nèi)預(yù)測中使用的參考塊的位置。在此類實(shí)施方式中，塊通常已按搜索正在被編碼的圖片以找到參考的幀內(nèi)編碼模式被編碼。這與(例如)使用來自正在被編碼的圖片的一個或多個預(yù)定塊來產(chǎn)生預(yù)測塊相反。在接收預(yù)測或補(bǔ)償信息信號后，加法器812將預(yù)測或補(bǔ)償信息信號與反變換后的信號相加，以供傳輸?shù)街T如例如濾掉塊偽影的去塊濾波器的環(huán)路濾波器814。加法器812還將相加后的信號輸出到幀內(nèi)預(yù)測模塊818，以供幀內(nèi)預(yù)測使用。環(huán)路濾波器814配置為濾波其輸入信號并輸出解碼后的圖片。此外，環(huán)路濾波器814將濾波后的信號提供給參考緩沖器820。參考緩沖器820配置為解析其接收到的信號以允許并輔助位移補(bǔ)償模塊826的位移補(bǔ)償解碼，參考緩沖器820向位移補(bǔ)償模塊826提供解析后的信號。此類解析后的信號可以是例如可能已被用作參考的各個圖片的全部或部分。元數(shù)據(jù)可以包括在提供給比特流接收器802的比特流中。元數(shù)據(jù)可用比特流解析器804解析并用熵解碼器806解碼。使用輸出(未示出)進(jìn)行熵解碼后，可從解碼器800提取解碼后的元數(shù)據(jù)?，F(xiàn)在參照圖9，示出了上文所述的特征和原理可以適用的視頻傳輸系統(tǒng)/設(shè)備900。視頻傳輸系統(tǒng)900可以是例如前端(head-end)系統(tǒng)或傳輸系統(tǒng),用于使用諸如例如衛(wèi)星、電纜、電話線或地面廣播的多種介質(zhì)中的任何一個傳輸信號。傳輸可通過互聯(lián)網(wǎng)或一 些其他網(wǎng)絡(luò)提供。視頻傳輸系統(tǒng)900能夠產(chǎn)生和遞送例如視頻內(nèi)容和諸如例如的深度指示符的其他內(nèi)容，深度指示符包括例如深度和/或視差值。還應(yīng)明確的是，圖9的塊除提供了視頻傳輸系統(tǒng)/設(shè)備的方塊圖外，還提供了視頻傳輸處理的流程圖。視頻傳輸系統(tǒng)900接收來自處理裝置901的輸入視頻。在一個實(shí)施方式中，處理裝置901簡單地提供諸如左視片140和右視片142的原始尺寸的圖像給視頻傳輸系統(tǒng)900。然而，在另一個實(shí)施方式中，處理裝置901是處理器，配置為針對系統(tǒng)100關(guān)于采樣器144和采樣器146的操作以及產(chǎn)生復(fù)合圖片152的交錯執(zhí)行如上文所述的下采樣和交錯。處理裝置901的各種實(shí)施方式包括，例如實(shí)施了圖5的處理500的操作510、520和530的處理裝置。處理裝置901還可以向視頻傳輸系統(tǒng)900提供元數(shù)據(jù)，該元數(shù)據(jù)指示輸入圖片是否被交錯和/或提供描述交錯的各種參數(shù)。此類參數(shù)包括例如交錯圖片數(shù)、每一張圖片的轉(zhuǎn)換率、每一張圖片的轉(zhuǎn)換類型(例如，水平采樣或垂直采樣)或交錯模式(例如，行交錯或列交錯)。視頻傳輸系統(tǒng)900包括編碼器902和能夠傳輸編碼后的信號的傳輸器904。編碼器902從處理器901接收視頻信息。視頻信息可包括例如圖像和深度指示符。編碼器902基于視頻信息生成編碼后的信號。編碼器902可以是例如編碼塊110、編碼器154或編碼器700。編碼器902可包括子模塊，包括例如用于接收各種信息并將其組裝成結(jié)構(gòu)化的格式以供存儲或傳輸?shù)难b配單元。各種信息可包括例如編碼后的或未編碼的視頻、編碼后或未編碼的深度指示符和/或信息以及編碼后的或未編碼的元素(諸如，例如運(yùn)動矢量、編碼模式指示符和句法元素)。在一些實(shí)施方式中，編碼器902包括處理器901，因此執(zhí)行處理器901的操作。傳輸器904從編碼器902接收編碼后的信號并在一個或多個輸出比特流中傳輸編碼后的信號。傳輸器904可以例如適應(yīng)為傳輸節(jié)目信號，該節(jié)目信號具有表示編碼后的圖片和/或與之相關(guān)的信息的一個或多個比特流。典型的傳輸器執(zhí)行諸如例如提供糾錯編碼、對信號中的數(shù)據(jù)進(jìn)行交錯、將信號中的能量隨機(jī)化、使用調(diào)制器906將信號調(diào)制到一個或多個載波上中的一個或多個功能。傳輸器904可包括天線(未示出)或與其以接口聯(lián)接。此外，傳輸器904的實(shí)施方式可能是限于調(diào)制器906。
現(xiàn)在參照圖10，示出了上文所述的特征和原理可以適用的視頻接收系統(tǒng)/設(shè)備1000。視頻接收系統(tǒng)1000可配置為通過諸如例如衛(wèi)星、電纜、電話線或地面廣播的多種介質(zhì)接收信號。信號可通過互聯(lián)網(wǎng)或一些其他網(wǎng)絡(luò)接收。還應(yīng)明確的是，圖10的塊除提供了視頻接收系統(tǒng)/設(shè)備的方塊圖外，還提供了視頻接收處理的流程圖。視頻接收系統(tǒng)1000可以是例如手機(jī)、計(jì)算機(jī)、機(jī)頂盒、電視或接收編碼后的視頻并提供例如解碼后的視頻顯示給用戶以供處理或存儲的其他裝置。因此，視頻接收系統(tǒng)1000可將其輸出提供給例如電視屏幕、計(jì)算機(jī)顯示器、計(jì)算機(jī)(用于存儲、處理或顯示)或一些其他存儲、處理或顯示裝置。視頻接收系統(tǒng)1000能夠接收和處理包括視頻信息的視頻內(nèi)容。視頻接收系統(tǒng)1000包括接收編碼后的信號(諸如例如在本申請的實(shí)施方式中所描述的信號)的接收器1002。接收器1002可接收例如向圖I的解碼塊120提供接收到的圖片的信號、承載來自圖 7的編碼器700的比特流的信號、或者從圖9的視頻傳輸系統(tǒng)900輸出的信號。接收器1002可以例如適應(yīng)為接收節(jié)目信號，該節(jié)目信號具有表示編碼后的圖片的多個比特流。典型的接收器執(zhí)行諸如例如接收調(diào)制和編碼后的數(shù)據(jù)信號、使用解調(diào)器1004解調(diào)來自一個或多個載波的數(shù)據(jù)信號、將信號中的能量去隨機(jī)化、對信號中的數(shù)據(jù)解交錯、糾錯解碼信號中的一個或多個功能。接收器1002可包括天線(未示出)或與其以接口聯(lián)接。接收器1002的實(shí)施方式可限于解調(diào)器1004。視頻接收系統(tǒng)1000包括解碼器1006。接收器1002將接收到的信號提供給解碼器1006。解碼器1006輸出解碼后的信號(諸如例如包括視頻信息的解碼后的視頻信號)。解碼器1006可以是例如圖I的系統(tǒng)100的解碼器156或解碼器170或圖8的解碼器800。在一個實(shí)施方式中，將來自解碼器1006的視頻輸出提供給處理裝置1008。在一個實(shí)施方式中，處理裝置1008是處理器，配置為針對系統(tǒng)100關(guān)于產(chǎn)生水平分割屏幕圖片174的解交錯以及采樣器180和采樣器182的操作執(zhí)行如上文所述的解交錯和上采樣。在一些實(shí)施方式中，解碼器1006包括處理器1008并因此執(zhí)行處理器1008的操作。在其他實(shí)施方式中，處理器1008是諸如例如機(jī)頂盒或電視的下游裝置的一部分。因此，提供了具有特定特征和方面的一個或多個實(shí)施方式。然而，所描述的實(shí)施方式的特征和方面可能還適用于其他實(shí)施方式。-例如，上述特征、方面和實(shí)施方式可應(yīng)用于或適應(yīng)于不局限于左/右立體系統(tǒng)的其他系統(tǒng)。一個此類實(shí)施方式將視頻圖像和其相應(yīng)深度圖片交錯。另一個此類實(shí)施方式將來自不一定與左視圖和右視圖有關(guān)的多視圖系統(tǒng)的兩個或兩個以上不同的視圖交錯。-作為另一個示例，上述實(shí)施方式一般性地描述了宏塊級交錯。然而，在其他實(shí)施方式中，在其他等級上執(zhí)行交錯。此類其他級包括例如場等級、分片(slice)等級和分區(qū)等級。-作為另一個示例，這些實(shí)施方式和特征可用于編碼視頻和/或編碼其他類型的數(shù)據(jù)的上下文。此外，這些實(shí)施方式和特征可用于或適應(yīng)用于標(biāo)準(zhǔn)的上下文。此類標(biāo)準(zhǔn)包括例如AVC、針對多視圖編碼(MVC)的AVC擴(kuò)展、針對可伸縮視頻編碼(SVC)的AVC擴(kuò)展、針對3-D視頻編碼(3DV)和針對高性能視頻編碼(HVC)的任何建議的MPEG/JVT標(biāo)準(zhǔn)，但也可使用(現(xiàn)有的或?qū)淼?其他標(biāo)準(zhǔn)。當(dāng)然，實(shí)施方式和特征不需要在標(biāo)準(zhǔn)中使用。各種實(shí)施方式涉及“圖像”和/或“圖片”。在本文中，術(shù)語“圖像”和“圖片”通篇交替使用，旨為廣義上的術(shù)語?！皥D像”或“圖片”可以是，例如一個幀或一個場的全部或部分。術(shù)語“視頻”是指圖像(或圖片)的序列。圖像或圖片可包括例如各種視頻組分中的任意一個或它們的組合。此類組分或它們的組合包括例如亮度、色度、(YUV或YCbCr或YPbPr中的)Y、(YUV 中的)U、(YUV 中的)V、(YCbCr 中的)Cb、(YCbCr 中的)Cr、(YPbPr 中的)Pb、(YPbPr中的)Pr、(RGB中的)紅、(RGB中的)綠、(RGB中的)藍(lán)、S-視頻以及任何這些組分的負(fù)或正?！皥D像”或“圖片”也可以指或者可替代地指各種不同類型的內(nèi)容，包括例如典型的二維視頻、2D視頻圖像的視差圖、相應(yīng)于2D視頻圖片的深度圖或邊緣圖。此外，本申請或其權(quán)利要求可指“確定”各種信息。確定信息可包括例如估計(jì)信息、計(jì)算信息、預(yù)測信息、識別信息或從存儲器中檢索信息中的一個或多個。應(yīng)理解的是，例如在“A/B”、“A和/或B”以及“A和B中的至少一個”的情況下使用下面的和/或”以及“至少一個”旨在包括選擇第一列舉選項(xiàng)(A)而不選擇第二列舉選項(xiàng)(B)、選擇第二列舉選項(xiàng)(B)而不選擇第一列舉選項(xiàng)(A)、或選擇兩個選項(xiàng)(A和B)。作為一個進(jìn)一步的示例，在“A、B和/或C”、“A、B和C中的至少一個”和“A、B或C中的至少 一個”的情況下，此類措辭旨在包括選擇第一列舉選項(xiàng)(A)而不選擇第二列舉選項(xiàng)⑶和第三列舉選項(xiàng)(C)、選擇第二列舉選項(xiàng)(B)而不選擇第一列舉選項(xiàng)(A)和第三列舉選項(xiàng)(C)、選擇第三列舉選項(xiàng)(C)而不選擇第一列舉選項(xiàng)(A)和第二列舉選項(xiàng)(B)、選擇第一列舉選項(xiàng)(A)和第二列舉選項(xiàng)(B)而不選擇第三列舉選項(xiàng)(C)、選擇第一列舉選項(xiàng)(A)和第三列舉選項(xiàng)(C)而不選擇第二列舉選項(xiàng)(B)、選擇第二列舉選項(xiàng)(B)和第三列舉選項(xiàng)(C)而不選擇第一列舉選項(xiàng)(A)、或者選擇所有三個選項(xiàng)(A、B和C)。對于本領(lǐng)域及相關(guān)領(lǐng)域的普通技術(shù)人員將顯而易見的，此情況可以延伸為任意尺寸的列舉。注意，在本段中討論的措辭不是為了限制選擇，以便不包括未列舉的元素。例如，“A和/或B”不排除選擇“A”和“C”。參照本原理的“一個實(shí)施例”或“一實(shí)施例”或“一個實(shí)施方式”或“一實(shí)施方式”及其變形是指結(jié)合實(shí)施例說明的一個特定的特征、結(jié)構(gòu)、特點(diǎn)等被包括在本原理的至少一個實(shí)施例中。因此，整個說明書的各個地方出現(xiàn)的短語“在一個實(shí)施例中”或“在一實(shí)施例中”或“在一個實(shí)施方式中”或“在一實(shí)施方式中”及其任何其他變形并不一定都是指相同的實(shí)施例。此外，這些短語(例如，“在一個實(shí)施例中”)并不旨在指示只有一個可能的實(shí)施例，而是要注意正在討論一個特定的實(shí)施例的事實(shí)。本文所述的實(shí)施方式可以用例如方法或處理、設(shè)備、軟件程序、數(shù)據(jù)流或信號實(shí)施。即使是只在單一形式的實(shí)施方式(例如，只作為方法討論)的上下文中討論，所討論的特征的實(shí)施方式也可以其他形式(例如，設(shè)備或程序)實(shí)施。一種設(shè)備可在例如合適的硬件、軟件和/或固件中實(shí)施。方法可以在例如一種諸如例如處理器的設(shè)備中實(shí)施，處理器是指一般的處理裝置，包括例如計(jì)算機(jī)、微處理器、集成電路或可編程邏輯裝置。處理器還包括通信裝置，諸如例如計(jì)算機(jī)、手機(jī)、便攜/個人數(shù)字助理(“PDA”)和方便終端用戶或裝置之間的信息通信的其他裝置。本文所述的各種處理和特征的實(shí)施方式可在各種不同的設(shè)備或應(yīng)用中實(shí)現(xiàn)，特別是在例如與數(shù)據(jù)編碼和解碼相關(guān)聯(lián)的設(shè)備或應(yīng)用中。這類設(shè)備的示例包括編碼器、解碼器、處理來自解碼器的輸出的后處理器、給編碼器提供輸入的預(yù)處理器、視頻編碼器、視頻解碼器、視頻編解碼器、網(wǎng)頁服務(wù)器、機(jī)頂盒、筆記本計(jì)算機(jī)、個人計(jì)算機(jī)、手機(jī)、PDA和其他通信裝置。應(yīng)當(dāng)明確的是，設(shè)備可以是移動的，甚至可安裝在移動車輛上。
此外，本方法可用由處理器執(zhí)行的指令來實(shí)施，這些指令(和/或?qū)嵤┓绞疆a(chǎn)生的數(shù)據(jù)值)可以存儲在諸如例如集成電路、軟件載體或其他存儲裝置的處理器可讀介質(zhì)中，其他存儲裝置諸如例如硬盤、壓縮盤、隨機(jī)存取存儲器(“RAM”)或只讀存儲器(“ROM”)的。指令可以形成在處理器可讀介質(zhì)上有形實(shí)現(xiàn)的應(yīng)用程序。指令可以例如在硬件、固件、軟件或組合中。指令可以在例如操作系統(tǒng)、獨(dú)立應(yīng)用或二者的組合中發(fā)現(xiàn)。因此，處理器可以特征化為，例如既是配置為執(zhí)行處理的裝置，又是包括具有執(zhí)行處理的指令的處理器可讀介質(zhì)(諸如存儲裝置)的裝置。此外，處理器可讀介質(zhì)在指令之外還存儲實(shí)施方式產(chǎn)生的數(shù)據(jù)值，或存儲實(shí)施方式產(chǎn)生的數(shù)據(jù)值來代替指令。對本領(lǐng)域的技術(shù)人員將是顯而易見的是，實(shí)施方式可產(chǎn)生各種信號，其格式化以攜帶例如存儲或傳輸?shù)男畔?。信息可包括例如?zhí)行方法的指令或由所描述的實(shí)施方式之一產(chǎn)生的數(shù)據(jù)。此信號可能被格式化為例如電磁波(例如，使用頻譜的無線電頻率部分)或基帶信號。格式化可包括例如編碼數(shù)據(jù)流和用編碼后的數(shù)據(jù)流調(diào)制載波。信號所攜帶的信息可以是，例如模擬或數(shù)字信息。如已知，信號可以經(jīng)過各種不同的有線或無線鏈路傳輸。 信號可存儲在處理器可讀介質(zhì)上。已描述了很多實(shí)施方式。然而，將會理解的是，可做出各種修改。例如，不同的實(shí)施方式的元素可以結(jié)合、補(bǔ)充、修改或去除，以產(chǎn)生其他實(shí)施方式。此外，普通技術(shù)人員將理解，其他結(jié)構(gòu)和處理可取代公開的實(shí)施方式，生成的實(shí)施方式將以至少大體上相同的方式執(zhí)行至少大體上相同的功能，以實(shí)現(xiàn)至少大體上相同的結(jié)果。因此，這些和其他實(shí)施方式被本公開考慮到并且在本公開的范圍之內(nèi)。
權(quán)利要求
1.一種方法，包括 訪問包括多個塊的第一圖像，所述第一圖像的多個塊包括第一圖像塊； 訪問包括多個塊的第二圖像，所述第二圖像的多個塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 以塊為基礎(chǔ)交錯所述第一圖像的多個塊和所述第二圖像的多個塊以形成交錯圖像；通過使用所述第二圖像塊作為參考編碼所述第一圖像塊來編碼所述交錯圖像的至少一部分；和 提供編碼后的第一圖像塊以供傳輸或存儲。
2.如權(quán)利要求I所述的方法，其中所述第一圖像和所述第二圖像形成了一個立體圖像對。
3.如權(quán)利要求I所述的方法，其中所述第一圖像和所述第二圖像是多視圖系統(tǒng)的兩個單獨(dú)的視圖。
4.如權(quán)利要求1-3中任一所述的方法，其中所述第一圖像塊是(i)分區(qū)，(ii)宏塊， iii)分片，或Qv)場。
5.如權(quán)利要求1-4中任一所述的方法，其中所述編碼包括H.264編碼。
6.如權(quán)利要求5所述的方法，其中所述H.264編碼包括使用H. 264幀內(nèi)編碼模式來編碼。
7.如權(quán)利要求1-6中任一所述的方法，其中編碼所述第一圖像塊包括基于所述第一圖像塊的視差值識別所述第二圖像塊。
8.如權(quán)利要求1-7中任一所述的方法，其中交錯包括基于所述第一圖像和所述第二圖像中的相對位置交錯塊。
9.如權(quán)利要求1-7中任一所述的方法，其中交錯包括基于在述第一圖像中的多個塊的視差值交錯塊。
10.如權(quán)利要求1-9中任一所述的方法，其中所述第一圖像塊和所述第二圖像塊是所述交錯圖像中的相鄰塊。
11.如權(quán)利要求1-9中任一所述的方法，其中所述第一圖像塊和所述第二圖像塊是所述交錯圖像中的非相鄰塊。
12.如權(quán)利要求1-11中任一所述的方法，其中所述第一圖像塊和所述第二圖像塊是以包括一個或多個水平交錯或垂直交錯的方式被交錯的。
13.如權(quán)利要求1-12中任一所述的方法，其中所述第一圖像是原始第一圖像的下采樣后的版本。
14.如權(quán)利要求13所述的方法，還包括下采樣所述原始第一圖像以產(chǎn)生所述第一圖像。
15.一種包括一個或多個處理器的設(shè)備，一個或多個處理器整體配置為執(zhí)行 訪問包括多個塊的第一圖像，所述第一圖像的多個塊包括第一圖像塊； 訪問包括多個塊的第二圖像，所述第二圖像的多個塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 以塊為基礎(chǔ)交錯所述第一圖像的多個塊和所述第二圖像的多個塊以形成交錯圖像； 通過使用所述第二圖像塊作為參考編碼所述第一圖像塊來編碼所述交錯圖像的至少一部分； 提供編碼后的第一圖像塊以供傳輸或存儲。
16.如權(quán)利要求15所述的設(shè)備，還包括存儲編碼后的第一圖像塊的存儲器。
17.—種設(shè)備,包括 用于訪問包括多個塊的第一圖像的裝置，所述第一圖像的多個塊包括第一圖像塊；用于訪問包括多個塊的第二圖像的裝置，所述第二圖像的多個塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 用于以塊為基礎(chǔ)交錯所述第一圖像的多個塊和所述第二圖像的多個塊以形成交錯圖像的裝置； 用于通過使用所述第二圖像塊作為參考編碼所述第一圖像塊來編碼所述交錯圖像的 至少一部分的裝置；和 用于提供編碼后的第一圖像塊以供傳輸或存儲的裝置。
18.—種處理器可讀介質(zhì)，其上存儲了導(dǎo)致一個或多個處理器整體執(zhí)行如下操作的指令 訪問包括多個塊的第一圖像，所述第一圖像的多個塊包括第一圖像塊； 訪問包括多個塊的第二圖像，所述第二圖像的多個塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 以塊為基礎(chǔ)交錯所述第一圖像的多個塊和所述第二圖像的多個塊以形成交錯圖像；通過使用所述第二圖像塊作為參考編碼所述第一圖像塊來編碼所述交錯圖像的至少一部分；和 提供編碼后的第一圖像塊以供傳輸或存儲。
19.一種設(shè)備,包括 一個或多個處理器，其整體配置為 訪問包括多個塊的第一圖像，所述第一圖像的多個塊包括第一圖像塊； 訪問包括多個塊的第二圖像，所述第二圖像的多個塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊；和 以塊為基礎(chǔ)交錯所述第一圖像的多個塊和所述第二圖像的多個塊以形成交錯圖像；以及 編碼器，用于 通過使用所述第二圖像塊作為參考編碼所述第一圖像塊來編碼所述交錯圖像的至少一部分； 提供編碼后的第一圖像塊以供傳輸或存儲。
20.—種設(shè)備,包括 一個或多個處理器，其整體配置為 訪問包括多個塊的第一圖像，所述第一圖像的多個塊包括第一圖像塊； 訪問包括多個塊的第二圖像，所述第二圖像的多個塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊；和 以塊為基礎(chǔ)交錯所述第一圖像的多個塊和所述第二圖像的多個塊以形成交錯圖像； 編碼器，用于通過使用所述第二圖像塊作為參考編碼所述第一圖像塊來編碼所述交錯圖像的至少一部分；以及 調(diào)制器，用于用編碼后的第一圖像塊調(diào)制信號。
21.一種格式化為包括信息的視頻信號，所述視頻信號包括 用于第一圖像的多個塊和第二圖像的多個塊的基于塊的交錯的編碼的一個或多個圖片部分，所述第一圖像的多個塊包括第一圖像塊，所述第二圖像的多個塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊，其中所述第一圖像塊的編碼使用所述第二圖像塊作為參考。
22.一種視頻信號結(jié)構(gòu)，包括 用于第一圖像的多個塊和第二圖像的多個塊的基于塊的交錯的編碼的一個或多個圖片部分，所述第一圖像的多個塊包括第一圖像塊，所述第二圖像的多個塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊，其中所述第一圖像塊的編碼使用所述第二圖像塊作 為參考。
23.一種處理器可讀介質(zhì)，其上存儲了視頻信號結(jié)構(gòu)，包括 用于第一圖像的多個塊和第二圖像的多個塊的基于塊的交錯的編碼的一個或多個圖片部分，所述第一圖像的多個塊包括第一圖像塊，所述第二圖像的多個塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊，其中所述第一圖像塊的編碼使用所述第二圖像塊作為參考。
24.—種方法,包括 訪問編碼后的圖像，所述編碼后的圖像是第一圖像的多個塊和第二圖像的多個塊的基于塊的交錯的編碼，所述第一圖像的多個塊包括第一圖像塊，所述第二圖像的多個塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 解碼使用所述第二圖像塊作為參考編碼所述第一圖像塊的編碼后的圖像的一部分；和 提供解碼后的部分以供處理或顯示。
25.如權(quán)利要求24所述的方法還包括 對編碼后的圖像解碼，以產(chǎn)生包括解碼后的部分的解碼后的圖像； 對編碼后的圖像解交錯，以產(chǎn)生包括至少所述第一圖像的重建和所述第二圖像的重建的解交錯后的圖像。
26.如權(quán)利要求25所述的方法，進(jìn)一步包括上采樣解交錯后的圖像，以產(chǎn)生上采樣后的圖像。
27.如權(quán)利要求26所述的方法，進(jìn)一步包括交錯上采樣后的圖像，以產(chǎn)生重新交錯后的圖像以供3D顯示。
28.如權(quán)利要求24-27中任一所述的方法，其中所述第一圖像和所述第二圖像形成了一個立體圖像對。
29.如權(quán)利要求24-26中任一所述的方法，其中所述第一圖像和所述第二圖像是多視圖系統(tǒng)的兩個單獨(dú)的視圖。
30.如權(quán)利要求24-29中任一所述的方法，其中所述第一圖像塊是(i)分區(qū)，(ii)宏塊，(iii)分片，或Qv)場。
31.如權(quán)利要求24-30中任一所述的方法，其中所述解碼包括H.264解碼。
32.如權(quán)利要求31所述的方法，其中所述H.264解碼包括使用H. 264幀內(nèi)解碼模式來解碼。
33.如權(quán)利要求24-32中任一所述的方法，其中解碼所述第一圖像塊包括基于所述第一圖像塊的視差值識別所述第二圖像塊。
34.如權(quán)利要求24-33中任一所述的方法，其中所述基于塊的交錯包括基于所述第一圖像和所述第二圖像中的相對位置交錯塊。
35.如權(quán)利要求24-33中任一所述的方法，其中所述基于塊的交錯包括基于所述第一圖像中的多個塊的視差值交錯塊。
36.如權(quán)利要求24-35中任一所述的方法，其中所述第一圖像塊和所述第二圖像塊是所述交錯圖像中的相鄰塊。
37.如權(quán)利要求24-35中任一所述的方法，其中所述第一圖像塊和所述第二圖像塊是所述交錯圖像中的非相鄰塊。
38.如權(quán)利要求24-37中任一所述的方法，其中所述基于塊的交錯包括以包括一個或多個水平交錯或垂直交錯的方式交錯所述第一圖像塊和所述第二圖像塊。
39.如權(quán)利要求24-38中任一所述的方法，其中所述第一圖像是原始第一圖像的下采樣后的版本。
40.一種包括一個或多個處理器的設(shè)備，一個或多個處理器整體配置為執(zhí)行 訪問編碼后的圖像，所述編碼后的圖像是第一圖像的多個塊和第二圖像的多個塊的基于塊的交錯的編碼，所述第一圖像的多個塊包括第一圖像塊，所述第二圖像的多個塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 解碼使用所述第二圖像塊作為參考編碼所述第一圖像塊的編碼后的圖像的一部分；和 提供解碼后的部分以供處理或顯示。
41.如權(quán)利要求40所述的設(shè)備還包括用于存儲解碼后的部分的存儲器。
42.一種設(shè)備，包括 用于訪問編碼后的圖像的裝置，所述編碼后的圖像是第一圖像的多個塊和第二圖像的多個塊的基于塊的交錯的編碼，所述第一圖像的多個塊包括第一圖像塊，所述第二圖像的多個塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 用于解碼使用所述第二圖像塊作為參考編碼所述第一圖像塊的編碼后的圖像的一部分的裝置；和 用于提供解碼后的部分以供處理或顯示的裝置。
43.一種處理器可讀介質(zhì)，其上存儲了導(dǎo)致一個或多個處理器整體執(zhí)行如下操作的指令 訪問編碼后的圖像，所述編碼后的圖像是第一圖像的多個塊和第二圖像的多個塊的基于塊的交錯的編碼，所述第一圖像的多個塊包括第一圖像塊，所述第二圖像的多個塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 解碼使用所述第二圖像塊作為參考編碼所述第一圖像塊的編碼后的圖像的一部分；和 提供解碼后的部分以供處理或顯示。
44.一種包括解碼器的設(shè)備，解碼器配置為執(zhí)行 訪問編碼后的圖像，所述編碼后的圖像是第一圖像的多個塊和第二圖像的多個塊的基于塊的交錯的編碼，所述第一圖像的多個塊包括第一圖像塊，所述第二圖像的多個塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 解碼使用所述第二圖像塊作為參考編碼所述第一圖像塊的編碼后的圖像的一部分；和 提供解碼后的部分以供處理或顯示。
45.如權(quán)利要求44所述的設(shè)備，其中所述解碼器是編碼器的一部分。
46.一種設(shè)備，包括 解調(diào)器，用于解調(diào)包括編碼后的圖像的信號；和 解碼器，用于執(zhí)行至少如下操作 訪問解調(diào)后的編碼后的圖像，所述編碼后的圖像是第一圖像的多個塊和第二圖像的多個塊的基于塊的交錯的編碼，所述第一圖像的多個塊包括第一圖像塊，所述第二圖像的多個塊包括具有與所述第一圖像塊重疊的內(nèi)容的第二圖像塊； 解碼使用所述第二圖像塊作為參考編碼所述第一圖像塊的編碼后的圖像的一部分；和 提供解碼后的部分以供處理或顯示。
全文摘要
至少一個實(shí)施方式交錯了來自立體圖像對的塊，并使用相應(yīng)塊作為參考實(shí)現(xiàn)了交錯圖像的幀內(nèi)編碼。一個特定的實(shí)施方式訪問包括多個塊的第一圖像，多個塊的其中之一是第一圖像塊。訪問包括多個塊的第二圖像，多個塊的其中之一是具有與第一圖像塊重疊的內(nèi)容的第二圖像塊。以塊為基礎(chǔ)交錯第一圖像和第二圖像的多個塊，以形成交錯圖像。通過使用第二圖像塊作為參考編碼第一圖像塊來編碼交錯圖像的至少一部分。另一個實(shí)施方式提供了在信號中的編碼后的一部分。又另一個實(shí)施方式通過使用第二圖像塊作為參考來訪問編碼后的圖像并解碼該部分。
文檔編號H04N13/00GK102742282SQ201180007731
公開日2012年10月17日 申請日期2011年1月28日 優(yōu)先權(quán)日2010年1月29日
發(fā)明者布蘭·J·多林尼, 托馬斯·愛德華·豪蘭德爾 申請人:湯姆遜許可證公司