無顯式信令的局部照明和色彩補償的制作方法

專利名稱：無顯式信令的局部照明和色彩補償的制作方法
技術領域：
本原理通常涉及視頻編碼和解碼，更具體地，涉及不使用顯式信令 (explicit signaling)的局部照明(local illumination)和色彩補償的方法和裝置。
背景技術：
人們已經廣泛地意識到多視點(multi-view)視頻編碼(MVC )是一種適用 于廣泛應用的技術，包括例如自由視點(free-viewpoint)和3D視頻應用、家庭 娛樂和監視。在那些多視點應用中，所涉及的視頻數據量通常非常大。因此， 需要有效的壓縮技術來提高執行獨立視點的同時聯播(simulcast)的當前視 頻編碼解決方案的編碼效率。
由于多視點視頻源包括相同場景的多個視點，因此在多個視點圖像之間 存在較高的關聯性。因此，除了時間冗余，可以利用視點冗余，并且通過在 不同視點上進行視點預測可以實現該視點冗余。
在實際情景中，將使用異類照相機或者未被完全地校準的照相機來構建 涉及大量照相機的多視點視頻系統。當 一場景的相同部分被不同照相機觀察 時，這會導致亮度和色度上的差異。而且，照相機距離和定位也影響照明， 在某種意義上，相同的表面在從不同角度觀察時可能不同地反射光。在這些 情景下，亮度和色度差異將降低交叉視點(cross-view)預測的效率。
已經提出了多種途徑來解決圖像對之間的照明失配(mismatch)問題。 在一種這樣的途徑(下文中稱作第一現有途徑)中，可以使用16 x 16宏塊的尺度(scale) /偏移(offset)參數和這些參數的預測編碼。而且，在該第一 現有途徑中，可以使用基于率失真代價(rate-distortion cost)的使能開關。然 而，該第一現有途徑關注于時間視頻序列。在視頻序列中，照明失配問題通 常并不象在交叉視點預測中一貫地發生。在其它現有途徑中，提出了用于多 視點視頻編碼的局部照明補償方法，例如，這樣一種方法其中每個信號塊 的偏移被預測性編碼并且被發信號，以便補償交叉視點預測中的照明差異。
針對照明補償的現有途徑可以使用信令比特來實現照明補償。被發信號 的信息將能夠更好地表示照明失配，但是發送該信息方面的額外開銷將使獲 得更好預測的利益處于不利的地位。

發明內容
通過本原理解決了現有技術的這些和其它缺陷和不足，本原理致力于不
使用顯式信令的用于局部照明和色彩#卜償的方法和裝置。
根據本原理的一方面，提供了一種裝置。所述裝置包括編碼器，該編碼
器不使用顯式信令，而通過對圖片的圖像塊的預測使能至少一個顏色分量的 色彩補償和照明補償中的至少一個，編碼所述圖片。
根據本原理的另一方面，提供了一種方法。所述方法包括不使用顯式 信令，而通過對圖片的圖像塊的預測的至少一個顏色分量使能色彩補償和照 明補償中的至少一個，編碼所述圖片。
根據本原理的再一方面，提供了一種裝置。所述裝置包括解碼器，該解 碼器不接收與到那里對應的任何顯式信令，而通過對圖片的圖像塊的預測的 至少 一 個顏色分量使能色彩補償和照明補償中的至少 一個，解碼所述圖片。
根據本原理的再一方面，提供了一種方法。所述方法包括不接收與到 那里對應的任何顯式信令，而通過對圖片的圖像塊的預測的至少 一個顏色分 量使能色彩補償和照明補償中的至少一個，編碼所述圖片。
根據本原理的再一方面，提供了一種裝置。所述裝置包括編碼器，該編
碼器通過對于圖片中的一區域，基于來自所述圖片和一個或多個相關圖片的 至少一個中的一個或多個其它區域的照明信息和色彩信息而推導出照明補償
信息和色彩補償信息中的至少 一 個，編碼所述圖片。
根據本原理的再一方面，提供了一種方法。所述方法包括通過對于圖 片中的一區域，基于來自所述圖片和一個或多個相關圖片的至少一個中的一個或多個其它區域的照明信息和色彩信息而推導出照明補償信息和色彩補償 信息中的至少一個，編碼所述圖片。
根據本原理的再一方面，提供了一種裝置。所述裝置包括解碼器，所述 解碼器通過對于圖片中的一區域，基于來自所述圖片和一個或多個相關圖片 的至少 一個中的 一個或多個其它區域的照明信息和色彩信息而推導出照明補 償信息和色彩補償信息中的至少 一個，解碼所述圖片。
根據本原理的再一方面，提供了一種方法。所述方法包括通過對于圖
片中的一區域，基于來自所述圖片和一個或多個相關圖片的至少一個中的一 個或多個其它區域的照明信息和色彩信息而推導出照明補償信息和色彩補償 信息中的至少一個，解碼所述圖片。
根據本原理的再一方面，提供了一種裝置。所述裝置包括編碼器，其中 對于圖片的圖像塊的預測，所述編碼器通過選擇性地確定是否隱式信令
(implicit signaling)對于至少一個顏色分量的照明補償和色彩補償中的至少 一個的使能，編碼圖片。
根據本原理的再一方面，提供了一種方法。所述方法包括對于圖片的 圖像塊的預測，所述編碼器通過選擇性地確定是否隱式信令對于至少 一個顏 色分量的照明補償和色彩補償中的至少一個的使能，編碼圖片。
從結合附圖要閱讀的示例性實施例的下列詳細描述中，本原理的這些和 其它方面、特征和優點將變得明顯。


根據下列示例性的附圖可以更好地理解本原理，其中 圖1是根據本原理實施例的、可以應用本原理的示例性多視點視頻編碼 (MVC)編碼器的方框圖2是根據本原理實施例的、可以應用本原理的示例性多視點視頻編碼 (MVC)解碼器的方框圖3是根據本原理實施例的、用于使用照明補償和色彩補償中的至少一 個編碼圖片的示例性方法的流程圖；和
圖4是根據本原理實施例的、用于使用照明補償和色彩補償中的至少一 個解碼圖片的示例性方法的流程圖。
具體實施例方式
本原理致力于不使用顯式信令的用于局部照明和色彩補償的方法和裝置。
本描述圖解說明了本原理。因此將會理解到，本領域的普通技術人員將 能夠設計出體現本原理并且被包含在其精神和范疇之內的各種結構(盡管未 在此處詳細描述或示出)。
此處敘述的所有示例和條件性語言是為了教學目的，以輔助讀者理解發 明人對現有技術進一步貢獻的本原理和概念，并且應當被理解為不限于如此 特別敘述的示例和條件。
而且，此處描述原理、方面和本原理的實施例的所有陳述、以及其特定 實施例意欲涵蓋其結構性和功能性的等價物。另外，所述等價物包括當前已 知的等價物以及將來研發的等價物，例如，不管結構如何執行相同功能而研 發的任何元件。
因此，例如，本領域的普通技術人員將會理解此處展現的方框圖表示體 現本原理的圖解性電路的概念圖。類似地，將會理解，任何流程圖、作業圖、 狀態轉換圖、偽代碼等表示可以基本在計算機可讀媒體上表現并且因此由計 算機或處理器執行的各種處理，無論是否清楚地示出了這樣的計算機或處理器。
附圖中示出的各種元件的功能可以通過使用專用硬件和能夠與適當的軟 件聯合執行軟件的硬件來提供。當功能被處理器提供時，可以通過單個專用 處理器、單個共享處理器或者多個單獨的處理器(可以共享其中的一些處理 器)來提供所述功能。而且，術語"處理器"或"控制器"的清晰使用不應 當被曲解為排他地表示能夠執行軟件的硬件，而是可以含蓄地包括，而不限
于，數字信號處理器("DSP")硬件、用于存儲軟件的只讀存儲器("ROM")、 隨機存取存儲器("RAM")和非易失性存儲器。
也可以包括其它硬件，常規的和/或定制的硬件。類似地，附圖中所示的 任意開關僅僅是概念性的。它們的功能可以通過編程邏輯的操作、通過專用 邏輯、通過編程控制和專用邏輯的交互作用、或者甚至手動來實現，從上下 文中可以更清晰地理解，實施者可以選擇特定的技術。
在權利要求書中，被表述為用于執行特定功能的部件的任意元件意欲涵 蓋執行該功能的任意方式，包括例如，a)執行該功能的電路元件的組合，或者b)任意形式的軟件，因此包括固件、微代碼等，它們被與用于執行該 軟件的適當電路相結合以執行該功能。由所述權利要求定義的本原理蘊含的
事實是各種所記載的手段提供的功能性被組合并且以權利要求請求的方式 集合在一起。因此，認為是，可以提供那些功能性的任意手段等效于此處所 示的那些手段。
說明書中對本原理的"一個實施例"或者"實施例"的引用是指在本原 理的至少一個實施例中包含了結合該實施例描述的特殊特征、結構、特性等 等。因此，在貫穿說明書的各個位置出現的詞語"在一個實施例中"或者"在 實施例中"不必都是指向相同的實施例。
詞語"多視點視頻序列，，是指從不同的視點捕獲相同場景的一組兩個或 多個一見頻序列。
詞語"交叉視點"和"內視點，，此處可以相互交換地使用，以便都表示 屬于當前視點以外的視點的圖片。
將會理解，術語"和/或"的使用(例如，在"A和/或B"的情況下)往 往涵蓋第一所列選項(A)的選擇、第二所列選項(B)的選擇、或者兩個選 項(A和B)的選擇。作為另一個示例，在"A、 B和/或C"的情況下，這 樣的措辭往往涵蓋第一所列選項(A)的選擇、第二所列選項(B)的選擇、 第三所列選項(C)的選4奪、第一和第二所列選項(A和B)的選^^、第一和 第三所列選項(A和C)的選擇、第二和第三所列選項(B和C)的選擇、 或者所有三個選項(A、 B和C)的選擇。如本領域和相關領域中的普通技術 人員容易明白的是，對于許多所列的項來說，這可以進行擴展。
而且，將會理解，盡管此處參考MPEG-4AVC標準描述了本原理的一個 或多個實施例，但是本原理并不單單限于該標準，因此本原理可以利用其它 視頻編碼標準、建議書及其擴展，包括諸如MPEG-4AVC標準的多視點(和 非多視點)擴展之類的擴展，同時維持本原理的精神。
同樣，將會理解，盡管此處針對被應用于MPEG-4AVC標準的多視點視 頻編碼(MVC)擴展(對此，使能了運動補償和視差補償)描述了本原理的 一個或多個實施例，但是本原理并不單單限于前述內容，因此本原理可以利 用使能視差補償的任意多視點視頻編碼方案。
另外地，將會理解，除了視頻壓縮和/或視頻解壓以外和/或代替視頻壓縮 和/或視頻解壓，本原理可被有利地應用于視頻處理。例如，任意視頻處理器和/或涉及照明和/或色彩補償的視頻處理能夠容易地使用本原理。
再者，將會理解，本原理可被有利地應用于圖像配準和相機校準。假設
此處提供的本原理的示教，本領域和相關領域的普通技術人員能夠容易地確
定本原理的這些和其它應用。
而且，將會理解，對于照明和/或色彩補償可以應用本原理。
而且，將會理解，對于多視點和單視點視頻編碼和解碼(例如，單視點
-現頻編碼中的時間預測)，可以使用本原理。
如此處所使用的，詞語"相關圖片"是指時間參考圖片和/或交叉視點參
考圖片。
而且，如此處所使用的，詞語"局部信號塊"是指空間相鄰塊、和/或視 點/時間共在一起/相鄰的塊。
再者，盡管主要針對每個信號塊的偏移描述了所提出的照明和/或色彩補 償途徑，但是對于本領域和相關領域中的普通技術人員明顯容易的是，在維 持本原理的精神的同時，所述途徑可被任意地延伸以包括比例因子和/或偏移 和尺寸的組合。
轉向圖1,可以應用本原理的示例性多^L點^L頻編碼(MVC)編碼器通 常用附圖標記100表示。編碼器100包括組合器105,該組合器105具有與 變換器110的輸入信號通信地連接的輸出。變換器110的輸出與量化器115 的輸入信號通信地連接。量化器115的輸出與熵編碼器120的輸入和逆量化 器125的輸入信號通信地連接。逆量化器125的輸出與逆變換器130的輸入 信號通信地連接。逆變換器130的輸出與組合器135的第一非反相輸入信號 通信地連接。組合器135的輸出與內預測器145的輸入和解塊濾波器150的 輸入信號通信地連接。解塊濾波器150的輸出與參考圖片存儲器155 (用于 視點i)的輸入信號通信地連接。參考圖片存儲器155的輸出與運動補償器 175的第一輸入和運動估計器180的第一輸入信號通信地連接。運動估計器 180的輸出與運動補償器175的第二輸入信號通信地連接。
參考圖片存儲器160 (用于其它視點)的輸出與差異/照明估計器170的 第一輸入和差異/照明補償器165的第一輸入信號通信地連接。差異/照明估計 器170的輸出與差異/照明補償器165的第二輸入信號通信地連接。
熵編碼器120的輸出可用作編碼器100的輸出。組合器105的非反相輸 入可用作編碼器100的輸入，并且與差異/照明估計器170的第二輸入和運動估計器180的第二輸入信號通信地連接。開關185的輸出與組合器135的第 二非反相輸入和組合器105的反相輸入信號通信地連接。開關185包括與運 動補償器175的輸出信號通信地連接的第一輸入、與差異/照明補償器165的 輸出信號通信地連接的第二輸入、和與內預測器145的輸出信號通信地連接 的第三輸入。
模式判定模塊140具有連接到開關185的輸出，用于控制開關185選擇 哪個l命入。
轉向圖2,可以應用本原理的示例性多碎見點-現頻編碼(MVC)編碼器通 常用附圖標記200表示。編碼器200包括熵解碼器205，該熵解碼器205具 有與逆量化器210的輸入信號通信地連接的輸出。逆量化器的輸出與逆變換 器215的輸入信號通信地連接。逆變換器215的輸出與組合器220的第一非 反相輸入信號通信地連接。組合器220的輸出與解塊濾波器225的輸入和內 預測器230的輸入信號通信地連接。解塊濾波器225的輸出與參考圖片存儲 器240 (用于視點i)的輸入信號通信地連接。參考圖片存儲器240的輸出與 運動補償器235的第一輸入信號通信地連接。
參考圖片存儲器245 (用于其它視點)的輸出與差異/照明補償器250的 第 一 輸入信號通信地連接。
熵解碼器205的輸入可用作到解碼器200的輸入，用于接收殘余位流。 而且，模式模塊260的輸入也被用作到解碼器200的輸入，用于接收控制語 法以控制開關255選擇哪個輸入。再者，運動補償器235的第二輸入被用作 解碼器200的輸入，用于接收運動矢量。而且，差異/照明補償器250的第二 輸入被用作到解碼器200的輸入，用于接收差異矢量和照明補償語法。
開關255的輸出與組合器220的第二非反相輸入信號通信地連接。開關 255的第一輸入與差異/照明補償器250的輸出信號通信地連接。開關255的 第二輸入與運動補償器235的輸出信號通信地連接。開關255的第三輸入與 內預測器230的輸出信號通信地連接。模式模塊260的輸出與開關255信號 通信地連接，用以控制開關255選擇哪個輸入。解塊濾波器255的輸出可用 作解碼器200的輸出。
如上所述，本原理致力于一種不使用顯式信令的用于局部照明和色彩補 償的方法和裝置。本原理可被用來針對多視點和單視點視頻序列。再者，可 以實現本原理。在一個實施例中，不需要顯式信令傳輸任何額外信息，基于有原因地可 用的相鄰信息可以對局部信號進行"隱式"照明和/或色彩補償。
至少一個實施例解決的問題是有效地編碼多視點視頻序列。如上所注意 的，多視點視頻序列是從不同視點捕獲的相同場景的 一組兩個或多個視頻序 列。
在涉及照明補償和/或色彩補償的本原理的圖解性實施例中，其致力于
MPEG-4AVC標準的多視點視頻編碼(MVC)擴展，下面闡述了示例性的框 架。在片段級別，引入新語法元素(ic_prediction—flag和/或cc_prediction—flag ) 以指示對于當前片段是否分別使能照明補償和色彩補償。在宏塊級別，引入 新語法元素ic_enable和/或cc—enable被引入來分別表示對于每個塊利用照 明補償和色彩補償；和ic一sym和/或cc一sym被引入來分別表達照明偏移參數 和色彩偏移參凄t。總之,ic—enable和/或cc—enable、以及ic—sym和/或cc一sym 是我們需要來對照明和色彩補償發信號的新語法元素。
因此，在一個實施例中，我們建議了在局部信號的預測處理中不需要用 信號通知任何照明和/或色彩補償特定信息而使能照明補償和/或色彩補償的 方法，也就是，我們不需要發送ic—enable禾口/或cc—enable、 ic—sym和/或cc—sym 的語法元素。那些元素是使用本發明推導出的。
在一個實施例中，在MPEG-4 AVC標準中用可變塊大小功能性充分地集 成照明和/或色彩補償。
作為交叉^f見點預測處理一部分的照明補償
在涉及編碼應用的實施例中，照明補償將被認為是差異補償處理的一部 分。在這種情況下，交叉視點預測通常涉及從不同視點計算圖片之間的差異
概念。為了簡單目的，我們將假設在下文中，基于一個塊并且通過擴展差異 估計來進行交叉視點預測。對于本領域和相關領域中的普通技術人員來說， 所公開的方法、特征和各方面擴展到其它取樣組是顯而易見的。所述其它取 樣組例如包括單個像素、具有不止一個像素的塊、幀、圖片等等。
當在塊的差異補償中使用照明補償時，照明#卜償的參考塊被計算如下
<formula>formula see original document page 13</formula> 其中R(x，y)是交叉視點參考圖片，(zk,辦)是差異矢量(DV)。 ic_offset是應用于參考塊以便解決當前信號與參考信號之間的失配的偏移的量。 不使用顯式信令的局部照明補償
假設本原理的一個或多個實施例應用于MPEG-4 AVC標準的多視點^L頻 編碼(MVC)擴展，我們不需要顯式信令傳輸任意照明補償特定信息或色彩 補償特定信息，就可以執行照明補償(IC)和/或色彩補償(CC)。這可以例 如通過在當前信號周圍的時間、視圖和/或空間相鄰物中利用信號統計(有原 因地在解碼器方是可用的(例如，已經^皮解碼))來實現。通常的信號統計在 時間、視點和/或空間相鄰物上是高度關聯的，并且這種特性可被應用來不需 要顯式信令就可以對于當前信號推導出照明補償和/或色彩補償信息。具體 地，在下面的圖示說明中，我們使用照明補償偏移作為信號統計的一個示例， 并且照明補償信息包括是否使能IC和應用的IC量。當然，這也適用于色彩 補償，在此為了簡潔而沒有完全地進行描述。
在一個實施例中，將照明補償用作信號統計的示例的一種可能性是在空 間相鄰塊中使用先前處理的/解碼的照明補償偏移。所述空間相鄰塊也可以來 自其它視點，或者來自時間不同的圖片(相同視點或不同視點)。可以通過平 均、中值濾波、和/或其它類型的濾波，從相鄰照明補償偏移中推導出是否使 能照明補償和對當前塊使用的照明補償量。注意，所述濾波可以是例如線性 或者非線性的。
在另 一個實施例中，將照明補償用作信號統計的示例的另 一種可能性是 使用在先前處理的/解碼的圖片(時間不同的圖片)中的位于一起信號塊中的 處理的/解碼的照明補償偏移。然后，可以通過平均、中值濾波、和/或其它類 型的濾波，從那些位于一起的照明補償偏移中推導出是否使能照明補償和對 當前塊使用的照明補償量。所述位于一起的信號塊(如自上面具有空間相鄰 塊)可以是來自相同視點中的先前處理的/解碼的圖片；或者來自其它視點中 的先前處理的/解碼的圖片。而且，令人信服地是，從推導出照明補償偏移的 信號位置可以通過位移矢量(displacement vector)來指定。所述位移矢量或 者可以從空間相鄰物發信號通知或者從空間相鄰物中推導出，并且使用該位 移矢量，更相關的信號可被定位在它指向的圖片中。
可以使用來自其它視點以及甚至來自將來(時間領先的)圖片的當前圖 片的(位于一起、空間相鄰和/或其它方式)塊。然而，這樣的實現可能引入附加的處理和/或延遲。
由于對于照明補償語法不進行顯式信令，因此所建議的隱式照明補償方
法可以與MPEG-4 AVC標準中的現有跳過(Skip)和/或直4妄*潘放(Direct) 模式或者其任何擴展進行結合。對于跳過和直接播放模式，可以推導出照明 補償偏移以及運動信息，并且隨后使用所述照明補償偏移以及運動信息來重 構當前信號。不需要信令開銷推導照明補償信息的性能在壓縮效率方面非常 有效。除了該隱式照明補償模式，從時間、視圖和/或空間相鄰物推導出的照 明補償信息可被用作顯式照明補償模式中照明補償參數的預測編碼中的預測 因子。
在針對MPEG-4 AVC標準的實施例中，基于宏塊的跳過^^式和直接播放 模式的照明補償的推導處理如下面圖解說明
對于P跳過模式，從相鄰宏塊中推導出對于當前宏塊是否使能照明補償 (ic一flag),和所應用的照明補償量(ic—offset)。如果對于上級宏塊或者左宏 塊使能照明補償，則將語法ic—flag設置為1,相反地，如果對于上級宏塊或 者左宏塊都不使能照明補償，則將ic一flag設置為0。如果兩個相鄰宏塊使用 照明補償，則來自上級宏塊和左宏塊的平均值ic—offset被用作當前宏塊的照 明補償參數。如果僅一個相鄰宏塊使用照明補償，則該宏塊的ic一offset被用 于當前宏塊。數學上地，照明補償處理可表達為
& (x,力=雖+ zlx， _y + 4y) + /c — y/ag /c _: 0 其中ic一flag和ic一offset都是從相鄰宏塊中推導出的，而不使用顯式信令。
相同的原理基本也可應用于B一SLICE中的直接播放模式。對于B—SLICE 中的Direct—16 x 16和Direct—8 x 8模式，ic—flag和ic_offset都是從相鄰解碼
的信號塊中推導出的。
將會理解，在變換域中可以進行其它實施例。更具體地，在一個實施例
中，像素域中的照明補償偏移等效于變換域中的離散余弦(DC)系數。所建
議的隱式照明補償方法隨后可被執行如下
(步驟1 )從變換域中的相鄰塊的各個DC系數中提取該相鄰塊的IC量； (步驟2)然后可以從步驟1中獲得的信息推導出是否使能照明補償，
和當前塊所使用的照明補償量；
(步驟3)使用步驟2的結果，在變換域中可以執行對當前塊的照明補
償處理。將會理解，基于變換域的途徑可以與基于像素域的途徑相結合。例如，
在特定設計中，可以在像素域中執行步驟(3),但是可以在變換域中執行步
驟(1 )。
將會理解，對于使用推導出的照明補償信息的跳過模式和直接播放模式， 推導出運動矢量，因此，不存在在編碼器方涉及的照明補償自適應運動估計。 對于這些模式，推導出的照明補償信息被應用于由推導出的運動矢量指向的 參考塊。
在基于MPEG-4 AVC標準的實施例中，在所建議的隱式照明補償方法中 可以考慮多個參考圖片的存在。例如，為了利用最相關的照明補償信息，例 如照明補償偏移的推導可以限于從相同參考圖片中預測的相鄰塊，或者從多 個根據一些度量衡標準被考慮為類似的參考塊之一中預測的塊。或者，可以 利用所有塊(例如，在一些相鄰物中)，而不管所述塊是從哪個參考塊中預測 的。而且，我們可以選擇地應用相同規則，所述相同規則描述對于運動矢量 預測是否考慮多個參考圖片。
MPEG-4AVC標準支持可變塊尺寸運動補償，其中所述塊尺寸從16 x 16 到4x4。所建議的隱式照明補償方法可根據信號的照明變化的特性和所允許 的編碼器/解碼器復雜度而應用到一個或多個塊尺寸。
而且，照明失配的程度從一個圖像變化到另一個圖像。因此，總是使能 所建議的隱式照明補償方法可能是不太有效率的。為了解決這個問題，可以 發信號傳輸序列/圖片/片段級別語法以表示針對所述序列/圖片/片段是否利用 所建議的隱式照明補償方法。
針對所提出的隱式IC方法的編碼器設計
提供了編碼方法的 一個實施例的描述，以更好地圖解說明可以如何來使 用所提出的隱式照明補償方法。當然，本原理不限于該編碼方法，給出此處 提供的本原理的示教，本領域和相關領域中的普通技術人員將預料這些和其 它編碼方法及其變化，同時維持本原理的精神。假設我們當前正在編碼塊—i 并且存在多個使能照明補償的相鄰塊，每個塊具有ic一offsetj的IC偏移。關 于一個塊中的所有像素，所述偏移可被計算為例如該塊中的像素與參考圖片 的對應塊中的對應像素之間的差的平均值。編碼器具有選擇是否使用推導出 的照明補償偏移的靈活性，即，具有從下列兩種操作模式中進行選擇的靈活性。可以使用一個位或者更多位將所述選擇傳送到解碼器，或者可以不使用 任意位隱式地傳送所述選擇。例如，當接收到的數據對應于新的塊時，零位 可被例如能夠隱式地確定先前塊不具有用于照明補償和/或色彩補償的信令 信息的已知解碼器使用。
在一個實施例中，通過利用相鄰ic_offsetJ，例如平均它們，推導出 ic—offset—i。然后，可以依次使用推導出的ic_offset—i來推導在隨后處理順序 中的塊的IC。
在另一實施例中，通過計算下列等式來計算ic—offset—i并且發信號通知 ic_offset—i:
/c — q/^e/ — z' = weaw(5(x， _y) — + zb:， y + 4>0)
其中B表示當前塊，R表示參考圖片。計算出的ic—offset—i可以通過預測性 編碼和/或量化被進一步處理。在其中涉及量化的情況下，重構的值 ic一offset一recon—i將被用來推導隨后處理順序中的塊的照明補償；否則，將使 用ic—offset—i。
編碼器可以基于某一準則、例如率失真代價從上面的兩種操作模式中進 行選擇。隱式照明補償方法(選項1 )在補償照明差別方面可能不是最佳的 模式。然而，由于隱式照明補償方法(選項1)不花費任何額外的開銷，因 此在率失真平衡方面，隱式照明補償方法可能比顯式照明補償方法(選項2) 更好。
可以將各種實現實施為例如處理/方法、裝置、 一組指令、用于承載指令 的介質、和信號。而且，此處描述的各種實現、特征和方面可被組合來形成 附加的實現，并且可以添加、省略和修改特征。另外地，本7>開中的標題決 不意欲進行限制、或者例如決不意欲將一章節中描述的特征僅限制到這一章
節
轉向圖3，使用照明補償和色彩補償中的至少一個來編碼圖片的示例性 方法通常用附圖標記300表示。
所述方法300包括開始塊305,該開始塊305將控制傳遞到循環限制塊 310。循環限制塊310對當前圖片中的每個宏塊進行循環，包括初始化變量 mb (具有從0到MacroBlocksInSlice-l的值)，并且將控制傳遞到判定塊315。 判定塊確定對于這個片段是否使能照明補償和/或色彩補償。如果使能，則控 制被傳遞到功能塊320。否則，控制被傳遞到功能塊355。功能塊320使用顯式照明補償和/或顯式色彩補償進行運動估計和模式判
定，獲取率失真(RD)代價，并且將控制傳遞到判定塊325。判定塊325確 定對于這個模式是否使能隱式照明補償和/或隱式色彩補償。如果使能，則控 制被傳遞到功能塊330。否則，控制被傳遞到功能塊355。
功能塊330從空間/時間/交叉視點相鄰塊中推導出是否使用照明補償和/ 或色彩補償，并且將控制傳遞到功能塊335。功能塊335在運動補償中應用 推導出的照明補償信息和/或色彩補償信息，獲取率失真(RD)代價，并且將 控制傳遞到功能塊340。功能塊340進行模式判定，并且將控制傳遞到功能 塊345。功能塊345進行語法寫，并且將控制傳遞到循環限制塊350。循環限 制塊350對當前圖片中的每個宏塊結束循環，并且將控制傳遞到結束塊399。
功能塊355不需要照明補償和色彩補償來執行運動估計和模式判定，獲 取率失真(RD)代價，并且將控制傳遞到功能塊340。
轉向圖4，使用照明補償和色彩補償中的至少一個來編碼圖片的示例性 方法通常用附圖標記400表示。
方法400包括開始塊405，該開始塊405將控制傳遞到循環限制塊410。 循環限制塊410對當前圖片中的每個宏塊進行循環，包括初始化變量mb (具 有從0到MacroBlocksInSlice-l的值)，并且將控制傳遞到功能塊415。功能 塊415執行語法讀，并且將控制傳遞到判定塊420。判定塊420確定對于這 個片段是否使能照明補償和/或色彩補償。如果使能，則控制被傳遞到判斷塊 425。否則，控制被傳遞到功能塊445。
判定塊425確定對于當前模式是否使能隱式照明補償和/或隱式色彩補 償。如果使能，則控制被傳遞到功能塊430。否則，控制被傳遞到判定塊450。
功能塊430從空間/時間/交叉視點相鄰塊中推導出是否使用分別來自照 明補償量和色彩補償量的照明補償和/或色彩補償，并且將控制傳遞到功能塊 435。功能塊435在使用照明補償和/或色彩補償的運動補償中應用推導出的 照明補償信息和/或色彩補償信息，并且將控制傳遞到循環限制塊440。循環 限制塊440對當前圖片中的每個宏塊結束循環，并且將控制傳遞到結束塊 499。
功能塊445不使用照明補償和色彩補償來執行運動補償，并且將控制傳 遞到循環限制塊440。
判定塊450確定是否使能照明補償和/或色彩補償。如果使能，則將控制傳遞到功能塊455。否則，將控制傳遞到功能塊445。
功能塊455形成照明補償預測因子ic—offset_p和/或色彩補償預測因子 cc_offset_p,并且將控制傳遞到功能塊460。功能塊460逆量化ic_sym和/或 cc—sym,并且差分地解碼ic_offset和/或cc—offset,且將控制傳遞到功能塊465。 功能塊465使用照明補償和/或色彩補償來執行運動補償，并且將控制傳遞到 循環限制塊440。
現在將對本發明的許多伴隨優點/特征中的某些進行描述，其中 一些伴隨 優點/特點已經在上面進行了描述。例如， 一個優點/特征是一種具有編碼器的 裝置，所述編碼器不使用顯式信令，而使能對圖片的圖像塊的預測的至少一 個顏色分量的色彩補償和照明補償中的至少一個，編碼圖片。
另一個優點/特征是具有如上所述的編碼器的裝置，其中所述圖片對應于 相同或相似場景的多視點內容、單視點內容、和相同場景的可縮放(scalable) 視頻層。
再一個優點/特征是具有如上所述的編碼器的裝置，其中所述編碼器基于 像素組和對應于該圖片的局部信號塊中的至少一個來使能色彩補償和照明補 償中的至少一個。
而且，另一個優點/特征是具有如上所述的編碼器的裝置，其中該編碼器 基于像素組和對應于該圖片的局部信號塊中的至少一個來使能色彩補償和照 明補償中的至少 一個，其中至少 一個顏色分量的色彩補償信息和照明補償信 息中的至少 一 個表示為偏移和比例因子中的至少 一 個。
再者，另一個優點/特征是具有如上所述的編碼器的裝置，其中至少一個 顏色分量的色彩補償信息和照明補償信息中的至少一個表示為偏移和比例因 子中的至少一個，其中所述編碼器使用推導處理來推導色彩補償信息和照明 補償信息中的至少一個，所述推導處理使用對應于圖像塊的空間相鄰物、視 點相鄰物和時間相鄰物中的至少 一 個的信號統計。
而且，另一個優點/特征是具有使用如上所述的推導處理的編碼器的裝 置，其中在所述推導處理中使用平均濾波器和中值濾波器中的至少一個。
另外，另一個優點/特征是具有使用如上所述的推導處理的編碼器的裝 置，其中在變換域中執行所述推導處理。
而且，另一個優點/特征是具有使用如上所述的推導處理的編碼器的裝 置，其中所述推導處理包括在編碼圖像塊和針對該圖像塊的相鄰圖像塊中的至少一個期間，估計多個參考圖片。
再者，另一個優點/特征是具有使用如上所述的估計多個參考圖片的推導 處理的編碼器的裝置，其中所述推導處理使用從來自多個參考圖片的相同參 考圖片中預測的相鄰圖像塊。
而且，另一個優點/特征是具有使用如上所述的推導處理的編碼器的裝 置，其中推導出的色彩補償信息和推導出的照明補償信息中的至少 一個包括
是否使能色彩補償和照明補償中的至少一個的指示、和將應用于至少一個顏 色分量的色彩補償和照明補償中的至少一個的量。
另外，另一個優點/特征是具有使用如上所述的推導處理的編碼器的裝 置，其中推導出的色彩補償信息和推導出的照明補償信息中的至少 一個一皮應
用于下列組織的一種模式國際標準化組織/國際電工委員會(ISO/IEC)運 動圖^f象專家組-4 (MPEG-4)第IO部分高級一見頻編碼(AVC)標準/國際電信 聯盟、電信部門(ITU-T) H.264建議書。
而且，另一個優點/特征是具有使用如上所述的推導處理的編碼器的裝 置，其中推導出的色彩補償信息和推導出的照明補償信息中的至少 一個被應 用于下列組織的現有跳過模式國際標準化組織/國際電工委員會(ISO/IEC ) 運動圖像專家組-4 (MPEG-4)第IO部分高級視頻編碼(AVC)標準/國際電 信聯盟、電信部門(ITU-T ) H.264建議書。
而且，另一個優點/特征是具有使用如上所述的推導處理的編碼器的裝 置，其中推導出的色彩補償信息和推導出的照明補償信息中的至少 一個被應 用于下列組織中的現有直接播放模式國際標準化組織/國際電工委員會 (ISO/IEC)運動圖像專家組-4 (MPEG-4)第IO部分高級視頻編碼(AVC ) 標準/國際電信聯盟、電信部門(ITU-T ) R264建議書。
而且，另一個優點/特征是具有使用如上所述的推導處理的編碼器的裝 置，其中推導出的色彩補償信息和推導出的照明補償信息中的至少一個被應 用于至少一個顏色分量。
另外，另一個優點/特征是具有如上所述的編碼器的裝置，其中使用隱式 信令和顯式信令中的至少一個來使能色彩補償和照明補償中的至少一個。
另外，另一個優點/特征是具有如上所述的編碼器的裝置，其中使用隱式 信令和顯式信令中的至少 一個來使能色彩補償和照明補償中的至少一個，其 中所述編碼器基于預定準則進行判定以來使用顯式信令和隱式信令中的至少一個。
另外，另一個優點/特征是具有如上所述的編碼器的裝置，其中所述編碼 器基于預定準則進行判定以來使用顯式信令和隱式信令中的至少一個，其中 所述預定準則包括率失真代價。
再者， 一個優點/特征是具有如下編碼器的裝置，其中針對圖片中的一個 區域，所述編碼器基于來自該圖片和一個或多個相關圖片中的至少 一個中的 一個或多個其它區域的照明信息和顏色信息，推導照明補償信息和色彩補償 信息中的至少一個。
而且，另一個優點/特征是具有如上所述的編碼器的裝置，其中圖片中的 區域是圖像塊，并且一個或多個其它區域包括來自相同視點或不同視點的空 間相鄰的圖像塊和時間相鄰的圖像塊中的至少 一 個。
而且， 一個優點/特征是具有如下編碼器的裝置，其中對于圖片的圖像塊 的預測，所述編碼器通過選擇性地確定是否隱式信令對于至少一個顏色分量 的照明補償和色彩補償中的至少 一個的使能，來編碼圖片。
另外，另一個優點/特征是具有如上所述的裝置，其中對于圖片中的圖像 塊的預測，所述編碼器基于所述圖片中的一個或多個其它圖像塊以及相關圖 片中的 一個或多個其它圖像塊的照明信息和顏色信息，推導出至少 一個顏色 分量的照明補償信息和色彩補償信息中的至少一個，計算至少一個顏色分量 的照明補償信息和色彩補償信息中的至少 一個，執行推導出的照明補償信息 與所計算的照明信息的比較和推導出的色彩補償信息與所計算的色彩補償信 息的比較中的至少一個，并且基于比較結果，確定是否發信號通知照明補償 和色彩補償中的至少一個的使能。
基于此處的示教，相關領域的普通技術人員可以容易地獲得本原理的這 些和其它特征和優點。將會理解，本原理的示教能夠以硬件、軟件、固件、 專用處理器或者它們的組合的各種形式來實現。
更優選地，本原理的示教被實現為硬件和軟件的組合。而且，所述軟件 可被實現為在程序存儲單元中有形體現的應用程序。所述應用程序可被上傳 到包括任意適當體系結構的機器并且由該機器執行。優選地，所述機器被實
現在具有諸如一個或多個中央處理單元("CPU")、隨機存取存儲器("RAM") 和輸入/輸出("I/0，，)接口的硬件的計算機平臺上。所述計算機平臺也可以包 括操作系統和微指令代碼。此處描述的各種處理和功能可以或者是微指令代碼的一部分或者是應用程序的一部分、或者是它們的任意組合，所述微指令 代碼或應用程序可以由CPU執行。另外，各種其它外圍單元可以連接到諸如 附加數據存儲單元和打印單元之類的計算機平臺。
還將會理解，由于以軟件完美地實現了附圖中描繪的一些組成系統和組 件，因此系統組件或處理功能塊之間的實際連接可能根據本原理被編程的方 式而有所不同。假定此處的示教，相關領域的普通技術人員將能夠預料本原 理的這些和類似實現或配置。
盡管此處已經參考附圖描述了圖解性實施例，但是應當理解，本原理不 限于那些精確的實施例，并且在不背離本原理的范疇或精神的情況下，相關 領域的普通技術人員可以實現各種變化和修改。所有這樣的變化和修改往往 被包含在所附權利要求中闡述的本原理的范疇之內。
權利要求
1.一種裝置，包括編碼器(100)，用于通過對于圖片中的一區域，基于來自所述圖片和一個或多個相關圖片的至少一個中的一個或多個其它區域的照明信息和色彩信息而推導出照明補償信息和色彩補償信息中的至少一個，編碼所述圖片。
2. 如權利要求l所述的裝置，其中，所述圖片中的區域是圖像塊，并且所述一個或多個其它區域包括來自相同視點或不同視點的空間相鄰的圖像塊和時間相鄰的圖像塊中的至少一個。
3. 如權利要求l所述的裝置，其中，推導出的色彩補償信息和推導出的照明補償信息中的至少一個被應用于下列組織的模式國際標準化組織/國際電工委員會(ISO/IEC)運動圖像專家組-4 (MPEG-4)第10部分高級^L頻編碼(AVC)標準/國際電信聯盟、電信部門(ITU-T) H.264建議書。
4. 如權利要求l所述的裝置，其中，推導出的色彩補償信息和推導出的照明補償信息中的至少一個被應用于下列組織中的現有跳過模式國際標準化組織/國際電工委員會(ISO/IEC)運動圖像專家組-4 (MPEG-4)第10部分高級視頻編碼(AVC )標準/國際電信聯盟、電信部門(ITU-T ) H.264建議書。
5. 如權利要求l所述的裝置，其中，推導出的色彩補償信息和推導出的照明補償信息中的至少一個被應用于下列組織中的現有直接播放模式國際標準化組織/國際電工委員會(ISO/IEC)運動圖像專家組-4 (MPEG-4)第10部分高級^L頻編碼(AVC)標準/國際電信聯盟、電信部門(ITU-T ) H.264建議書。
6. —種方法，包括通過對于圖片中的一區域，基于來自所述圖片和一個或多個相關圖片的至少一個中的一個或多個其它區域的照明信息和色彩信息而推導出照明補償信息和色彩補償信息中的至少一個，編碼所述圖片(330 )。
7. 如權利要求6所述的方法，其中，所述圖片中的區域是圖像塊，并且所述一個或多個其它區域包括來自相同視點或不同視點的空間相鄰的圖像塊和時間相鄰的圖像塊中的至少一個。
8. 如權利要求6所述的方法，其中，推導出的色彩補償信息和推導出的照明補償信息中的至少一個被應用于下列組織的模式國際標準化組織/國際電工委員會(ISO/IEC)運動圖像專家組-4 (MPEG-4)第IO部分高級視頻編碼(AVC)標準/國際電信聯盟、電信部門(ITU-T) H.264建議書(325 )。
9. 如權利要求6所述的方法，其中，推導出的色彩補償信息和推導出的照明補償信息中的至少一個被應用于下列組織中的現有跳過模式國際標準化組織/國際電工委員會(ISO/IEC)運動圖像專家組-4 (MPEG-4)第10部分高級視頻編碼(AVC)標準/國際電信聯盟、電信部門(ITU-T) R264建議書(325)。
10. 如權利要求6所述的方法，其中，推導出的色彩補償信息和推導出的照明補償信息中的至少 一個被應用于下列組織中的現有直接播放模式國際標準化組織/國際電工委員會(ISO/正C)運動圖像專家組-4 (MPEG-4)第IO部分高級視頻編碼(AVC)標準/國際電信聯盟、電信部門(ITU-T)H.264建議書(325 )。
11. 一種裝置，包括解碼器(200),用于通過對于圖片中的一區域，基于來自所述圖片和一個或多個相關圖片的至少一個中的一個或多個其它區域的照明信息和色彩信息而推導出照明*卜償信息和色彩 一卜償信息中的至少 一個，解碼所述圖片。
12. 如權利要求11所述的裝置，其中，所述圖片中的區域是圖像塊，并且所述一個或多個其它區域包括來自相同視點或不同視點的空間相鄰的圖像塊和時間相鄰的圖像塊中的至少 一 個。
13. 如權利要求11所述的裝置，其中，推導出的色彩補償信息和推導出的照明補償信息中的至少一個被應用于下列組織的模式國際標準化組織/國際電工委員會(ISO/IEC)運動圖像專家組-4 (MPEG-4)第10部分高級視頻編碼(AVC)標準/國際電信聯盟、電信部門(ITU-T) H.264建議書。
14. 如權利要求11所述的裝置，其中，推導出的色彩補償信息和推導出的照明補償信息中的至少一個被應用于下列組織中的現有跳過模式國際標準化組織/國際電工委員會(ISO/IEC)運動圖像專家組-4 (MPEG-4)第10部分高級視頻編碼(AVC)標準/國際電信聯盟、電信部門(ITU-T) H.264建議書。
15. 如權利要求11所述的裝置，其中，推導出的色彩補償信息和推導出的照明補償信息中的至少 一個被應用于下列組織中的現有直接播放模式國際標準化組織/國際電工委員會(ISO/IEC)運動圖像專家組-4 (MPEG-4)第IO部分高級視頻編碼(AVC)標準/國際電信聯盟、電信部門(ITU-T)H.264建議書。
16. —種方法，包括通過對于圖片中的一區域，基于來自所述圖片和一個或多個相關圖片的至少一個中的一個或多個其它區域的照明信息和色彩信息而推導出照明補償信息和色彩補償信息中的至少一個，解碼所述圖片(430)。
17. 如權利要求16所述的方法，其中，所述圖片中的區域是圖像塊，并且所述一個或多個其它區域包括來自相同視點或不同視點的空間相鄰的圖像塊和時間相鄰的圖像塊中的至少一個。
18. 如權利要求16所述的方法，其中，推導出的色彩補償信息和推導出的照明補償信息中的至少 一個被應用于下列組織的模式國際標準化組織/國際電工委員會(ISO/IEC)運動圖像專家組-4 (MPEG-4)第IO部分高級視頻編碼(AVC)標準/國際電信聯盟、電信部門(ITU-T) H.264建議書(425 )。
19. 如權利要求16所述的方法，其中，推導出的色彩補償信息和推導出的照明補償信息中的至少 一個被應用于下列組織中的現有跳過模式國際標準化組織/國際電工委員會(ISO/IEC)運動圖像專家組-4 (MPEG-4)第10部分高級視頻編碼(AVC)標準/國際電信聯盟、電信部門(ITU-T ) H.264建議書(425 )。
20. 如權利要求16所述的方法，其中，推導出的色彩補償信息和推導出的照明補償信息中的至少 一個被應用于下列組織中的現有直接播放模式國際標準化組織/國際電工委員會(ISO/IEC)運動圖像專家組-4 (MPEG-4)第IO部分高級視頻編碼(AVC)標準/國際電信聯盟、電信部門(ITU-T)H.264建議書(425 )。
21. —種具有在其上編碼的視頻信號數據的存儲介質，包括圖片，通過對于所述圖片中的一區域，基于來自所述圖片和一個或多個相關圖片的至少一個中的一個或多個其它區域的照明信息和色彩信息而推導出照明補償信息和色彩補償信息中的至少 一個，所述圖片被編碼。
22. 如權利要求21所述的存儲介質，其中，推導出的色彩補償信息和推導出的照明補償信息中的至少 一個被應用于下列組織的模式國際標準化組織/國際電工委員會(ISO/IEC)運動圖像專家組-4 (MPEG-4)第10部分高級視頻編碼(AVC )標準/國際電信聯盟、電信部門(ITU-T )H.264建議書(425 )。
23. 如權利要求21所述的存儲介質，其中，推導出的色彩補償信息和推 導出的照明補償信息中的至少 一個被應用于下列組織中的現有跳過模式國 際標準化組織/國際電工委員會(ISO/IEC)運動圖像專家組-4 (MPEG-4)第 IO部分高級視頻編碼(AVC)標準/國際電信聯盟、電信部門(ITU-T)H.264 建議書(425 )。
24. 如權利要求21所述的存儲介質，其中，推導出的色彩補償信息和推 導出的照明補償信息中的至少 一個被應用于下列組織中的現有直接播放模 式國際標準化組織/國際電工委員會(ISO/IEC )運動圖像專家組-4( MPEG-4 ) 第10部分高級視頻編碼(AVC)標準/國際電信聯盟、電信部門(ITU-T )H.264 建議書(425 )。
全文摘要
提供了不需顯式信令的用于局部照明和色彩補償的方法和裝置。一種裝置包括編碼器(100)，其不使用顯式信令，而通過對圖片的圖像塊的預測的至少一個顏色分量使能色彩補償和照明補償中的至少一個，編碼所述圖片。所述方法至少包括下列步驟再次不使用顯式信令，使得在所述裝置中能夠如上所述地編碼圖片(325)。在特定實施例的描述中，所述使能色彩補償和照明補償是基于像素組和對應于該圖片的局部信號塊中的至少一個而進行的(330)。對于用于解碼編碼信號的方法和裝置提供了類似的描述。
文檔編號H04N7/50GK101529921SQ200780039070
公開日2009年9月9日 申請日期2007年10月11日 優先權日2006年10月18日
發明者澎 尹, 蘇野平, 金宰勛 申請人:湯姆森特許公司