用于減少經壓縮及經解壓縮數字圖像及視頻的顯示中的可見偽影的系統及方法
【技術領域】
[0001] 本發明的實施例涉及圖像處理,且更特定來說涉及改進現有圖像及視頻壓縮方法 的感知質量及/或效率。
【背景技術】
[0002] 實現良好圖像及視頻壓縮效率需要選擇緊密逼近人類視覺系統(下文中,HVS)的 差分敏感性的圖像色彩及亮度的符號表示;否則,譯碼速率被浪費,如以引用的方式并入本 文中的瓊L.米切爾(Joan L.Mitchell)等人的"MPEG視頻壓縮標準(MPEG Video Compression Standard)"(查普曼與霍爾有限責任公司,倫敦,英國,1996)中所描述。由于 HVS的感知機制是復雜且非線性的,因此用于視頻及圖像壓縮、發射及顯示的色彩系統及色 彩空間的設計遭受準確度及精確度對系統復雜性及實際實施方案的折衷。
[0003] 國際照明委員會(通常縮寫為CIE ( Commi ss ion internat i onaI e de 1 ' eclairage))色彩空間(下文中"CIE1931XYZ")提出基于人類色彩感知的粗略測量而產生色 彩空間的第一次嘗試(即,1931指的是出版年代)<XIE1931XYZ用于基于JPEG2000的編解碼 器系統(例如數字電影封包所使用的那些系統,如"數字電影系統規范版本1.2與勘誤表" (DCI,LLC,2012年10月10日)中所規定)中,但其在其它方面由于其復雜性及對由系統實施 者(或終端用戶)提供標準照明與三色刺激值的需要而未廣泛用于視頻發射系統中。盡管 CIE1931XYZ有對HVS的色彩感知敏感性的良好逼近,但CIE1931XYZ遠不是HVS對色彩差異的 敏感性的完美表示-即便其中使所需三色刺激值及照明值保持恒定-作為對HVS及其感知敏 感性的調查及仔細測量的結果而獲得的知識,如國際色彩聯盟,"規范ICC. 1:2004-10(特性 文件(profi Ie)版本4.2.0.0)圖像技術色彩測量-架構、特性文件格式及數據結構(Image technology colour management-Architecture,profile format,and data structure)'' (2006)(其引用的方式并入本文中)中所描述。
[0004] 在CIE1931XYZ之后且隨著后來彩色電視的出現及標準化,在1953年開發照度(Y)、 同相(I)、正交(Q)色彩空間(下文中,"YIQ色彩空間")主要作為用以在頻帶嚴重受限的發射 及接收制度中將彩色信號編碼的方式。盡管相比于RGB磷光體陰極射線管彩色電視在其發 明及廣泛使用時所需的RGB色彩空間表示,YIQ確實是對人類視覺感知特性的感知趨勢的更 佳逼近,但YIQ色彩空間絕不是理想的。YIQ色彩空間主要是出于同時可用的具成本效益的 模擬射頻組件的實際實施方案的目的且為了維持與現有"黑白"電視發射標準的向后兼容 性而構想。
[0005] YCbCr及Y ' CbCr色彩空間是YIQ色彩空間出于對人類視覺感知色彩處理及感知均 勻性的非常有效、但仍非常粗略的逼近的目的的衍生物。盡管這些色彩空間在于1980年代 早期設計時是實際的,但采用YCbCr及Y'CbCr色彩空間的設計限于具有非常有限的處理能 力及數字存儲器傳送帶寬的簡單數字電路及系統。YCbCr及Y'CbCr色彩空間表示形成采用 JPEG及MPEG壓縮標準的較早及當前視頻壓縮編解碼器系統的基礎。盡管有其實際性,但 YCbCr及Y'CbCr色彩空間表示是低效的,這是因為其將顯著照度及色彩深度符號速率或位 速率分配給感知上不顯著的色彩差異。
[0006] 最近,已發布表示對HSV感知均勻性的更忠實逼近的色彩空間及感知差異框架,例 如"ISO 11664-4:2008(E)/CIE S 014-4/Ε:2007:聯合IS0/CIE標準:比色法-第4部分:CIE 1976L*a*b* 色彩空間(ISO 11664-4:2008(E)/CIE S 014-4/E:2007:Joint IS0/CIE StandarchColorimetry-Part 4:CIE 1976L*a*b*Colour Space)"(下文中,CIELAB)中所描 述的CIELAB標準。CIELAB將明度及色彩維度中的感知敏感性及CIECAM02考慮在內,所述 CIECAM02描述于"CIE 159: 2004:用于色彩管理系統的色彩外觀模型:CIECAM02(CIE 159: 2004: A Colour Appearance Model for Colour Management Systems :CIECAM02)''(下文 中,CIECAM02)中,其并入前述CIELAB維度以及如E.H.蘭德(E.H.Land)在"色彩視覺的視網 膜皮層理論(The retinex theory of color vision)"(科學,美國,1977年)中所觀察的眾 所周知的空間中心-環繞視網膜皮層效應。
[0007] 甚至在定義感知上均勻的色彩空間上的這些先進努力也遭受特定觀察到的異常。 一個實例稱為"藍-紫色調恒定性"問題,其中在明度橫穿從暗到亮的色彩空間時,藍色調色 彩不沿循完全線性路徑,如莫羅尼(Moroney)的"使用梯度評價色調恒定性(Assessing hue constancy using gradients)"(色彩成像:獨立于裝置的色彩、色彩硬復制及圖形藝術V (Color Imaging:Device-Independent Color,Color Hardcopy,and Graphic Arts V),萊 納埃斯克巴克(Reiner Eschbach),加布里埃爾G.馬爾庫(Gabriel G.Marcu)編輯,SPIE學 報,第3963卷,第294頁到第300頁(2000年),其以引用的方式并入本文中)中所詳細說明。此 外,CIELAB及其相關色彩空間的更特定色調恒定性異常已被仔細測量及映射(如布勞恩 (Braun)等人的1998年的"色調線性化的CIELAB色彩空間中的色域映射(Color Gamut Mapping in a Hue-Linearized CIELAB Color Space)"(IS&T/SID第六次色彩成像會議 (IS&T/SID 6th Color Imaging Conference),第163頁到第168頁)中所教示),且比僅藍-紫 恒定性問題更廣泛。具體來說,此問題的大體所觀察形式稱為貝佐爾德_布魯克(Bezold-Brucke)移位:明顯色調可隨照度改變(且反之亦然),且此效應已挫敗尋找用于視頻及圖像 發射以及其它應用的感知上高效的色彩表示的努力。
[0008] 存在擴展或修改CIELAB及相關色彩空間表示上的許多嘗試,例如高村(Takamura) 和小林(Kobayashi)的2002年的"用以改進均勻性的對CIELUV色彩空間的實際擴展 (Practical extension to CIELUV color space to improve uniformity)''(IEEICIP 002,其教示用以改進感知線性的跨CIELUV的交替轉換矩陣系數),及貝倫斯(Behrens)的 "CIE-L*a*b*色彩空間的缺陷及SRLAB2色彩模型的介紹(Deficiencies of the CIE-L*a* bgcolor space and introduction of the SRLAB2color model)''("www.magnetkern.de/ srlab2.tex"(下文中,SRLAB2,其以引用的方式并入本文中DARLAB〗提出使用CIECAM02的 色度適應模型的完全新的色彩空間表示,但其以藍-紫(色調)恒定性換取色調角度均勻性 及色調-明度間隔長度均勻性的減小,尤其是在色彩空間的皮膚色區域中。
[0009] 明顯地,不存在展現照度或明度均勻性、色調恒定性、色調角度均勻性及色調-明 度間隔長度均勻性的所有特性的完全感知上均勻的色彩空間,所有所述特性對用于視頻及 圖像譯碼及發射的理想色彩空間表示均是必要的。
[0010] 由于YCbCr及Y'CbCr色彩空間主要為了實施方案的簡化及實際性且稍后出于向后 兼容性原因的開始時期,大多數視頻編碼器系統今天仍保持基于利用YCbCr色彩空間而不 是最近、更復雜但感知上更均勻的色彩空間及基于感知差異的色彩表示而標準化。
[0011] 使用YCbCr作為用于視頻壓縮的色彩空間基礎的低效率擴展超出色彩符號表示以 及照度的理想化。舉例來說,CIELAB還引入用于明度感知而不僅是色彩(且在大多數圖像及 視頻編碼及顯示系統中)的非線性、非指數感知曲線,此僅被過于簡單的指數伽馬函數考慮 在內。實際觀察者測量已證明,簡單指數或對數關系不足以表示照度的感知差異,尤其是在 低照度范圍區域中,如CIELAB中所教示。
[0012] 然而,盡管有包含減小的重構質量及浪費的譯碼速率的缺點,但即使是在本發明 的時間的最當前視頻及圖像編碼系統(例如所提出HEVC視頻編碼標準)繼續利用YCbCr作為 色彩空間基礎。
[0013] 當前視頻編碼系統的色彩空間基礎及符號表示的選擇的缺陷是本技術領域中眾 所周知的,且已存在矯正或至少緩解這些編解碼器低效率的負面影響的數次嘗試。使用感 知上均勻的色彩空間表示作為用于圖像及視頻壓縮的基礎的較早嘗試(例如莫羅尼及費爾 柴爾德(Fairchild)的"用于JPEG圖像壓縮的色彩空間選擇(Color space selection for JPEG image compression)"(電子成像雜志(Journal of Electronic Imaging)4(4),373_ 381 (1995年10月))及朱克魯(Drukarev)的"色彩空間的壓縮相關的性質(Compression-related properties of color spaces)" (SPIE,第3024 卷) 中所教不的那些嘗試) 被其用 于實時編碼及解碼的應用的復雜性或其展現相比來說較少益處所挫敗。此外,當與RGB、YIQ 或YCbCr相比時,擴展地用于相關技術中的CIE1931XYZ色彩空間被公認為更佳逼近人類視 覺系統對色彩差異的敏感性,但其也因高達80:1的比率而為高度不均勻的,如波因頓查爾 斯(Poynton Charles)的"對數字視頻的技術介紹(A Technical Introduction to Digital Video)"(約翰威利父子出版公司(John Wiley&Sons),1996)及在 "www · poynton · com/CoIorFAQ · html"下的所附"關于色彩的常被問到的問題(FrequentIy Asked Questions about Colour)"(下文中,波因頓)(其兩者均以引用的方式并入本文中) 中所論述。對于CIELAB,此比率改進為大約6:1,但如波因頓指出,CIELAB轉換針對視頻在計 算上非常昂貴,且在其寫此文時不適合于實時處理。均勻性是實現最高效譯碼的關鍵概念, 且即使是CIELAB也遠不是理想感知上均勻的色彩空間,如現有技術中所展示。
[0014] 其它方法(例如第US 2012/0314943 Al號美國專利申請公開案(下文中,"