專利名稱：：高動(dòng)態(tài)范圍編解碼器的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及編碼圖像數(shù)據(jù)。本發(fā)明具有用于編碼圖像或者用于編碼視頻數(shù)據(jù)序列的特殊應(yīng)用。
背景技術(shù)：
：動(dòng)態(tài)范圍是一種圖像的最亮和最暗部分的相對(duì)亮度的度量。直到最近，大多數(shù)電視機(jī)、計(jì)算機(jī)監(jiān)視器和其它顯示設(shè)備已經(jīng)能夠再現(xiàn)僅僅幾百到1的動(dòng)態(tài)范圍。這遠(yuǎn)遠(yuǎn)小于人眼能察覺的動(dòng)態(tài)范圍。具有更大的動(dòng)態(tài)范圍的顯示設(shè)備正變得可用。這種高動(dòng)態(tài)范圍的顯示設(shè)備能夠提供比由傳統(tǒng)的"低動(dòng)態(tài)范圍"顯示設(shè)備產(chǎn)生的圖像更為自然和逼真的圖像。高動(dòng)態(tài)范圍顯示設(shè)備在寬頻帶的應(yīng)用中十分有益。例如，高動(dòng)態(tài)范圍的顯示設(shè)備可以被用來顯示從電影和游戲畫面到諸如飛行模擬器的模擬器中的視覺顯示的范圍的逼真的視頻圖像。高動(dòng)態(tài)范圍的顯示設(shè)備還具有要求苛求的成像應(yīng)用方面的應(yīng)用，比如醫(yī)學(xué)成像。許多當(dāng)前的圖像數(shù)據(jù)格式利用每像素24位或更少位數(shù)指定像素值。這些位同時(shí)指定了像素的亮度和顏色。對(duì)于指定可以在高動(dòng)態(tài)范圍顯示器能夠再現(xiàn)的范圍上平滑地變化的整個(gè)范圍的色彩和亮度，24位太少。為了從高動(dòng)態(tài)范圍顯示器獲得全部益處，需要提供能夠指定寬范圍的像素值的圖像數(shù)據(jù)。已經(jīng)開發(fā)或建議了提供每像素更多位數(shù)的各種高動(dòng)態(tài)范圍數(shù)據(jù)格式。這種高動(dòng)態(tài)范圍數(shù)據(jù)格式與先前的較低動(dòng)態(tài)范圍數(shù)據(jù)格式不是典型地向后兼容。例如，如同在R.Mantiuk，G.Krawczyk，K.Myszkowski禾口H—P.Seidel.的"Perception-motivatedhighdynamicrangevideoencoding，，.ACMTransactionsonGr即hics(Proc.ofSIGGRAPH2004)，23(3):730-38,2004中描述的HDRV"Perc印tion-motivatedHDRVideoEncoding"是一種不能提供向后兼容性的有損HDR視頻壓縮方法。該方法針對(duì)亮度利用11位以及針對(duì)色度利用兩倍8位來編碼HDR像素。這就使得視頻流不包括LDR幀上的任何信息。在GregWard禾口Marya皿Simmons.的"Subbandencodingofhighdynamicrangeimagery，，.InAPGV—04-ProceedingsoftheIstSymposiumonAppliedperceptioningraphicsandvisualization,83-90頁，紐約，NY，USA，2004.ACMPress中描述了JPEGHDR。該方法包括子抽樣子帶層，這可能導(dǎo)致高頻損耗。為了防止產(chǎn)生這種損耗，該方法建議三種方法預(yù)先校正LDR層，以在該層內(nèi)編碼由于子抽樣可能丟失的高頻；事后校正，其試圖恢復(fù)已經(jīng)丟失的高頻，而不是修正LDR圖像和全采樣，這意味著不執(zhí)行子抽樣。仍然有對(duì)用于編碼和解碼HDR圖像，特別編碼和解碼是HDR視頻圖像的實(shí)用的方法和設(shè)備的需求。特別是需要這種方法和設(shè)備提供與現(xiàn)有硬件的向后兼容性以再現(xiàn)較低動(dòng)態(tài)范圍圖像。
發(fā)明內(nèi)容本發(fā)明提供了用于編碼高動(dòng)態(tài)范圍圖像數(shù)據(jù)和用于解碼該數(shù)據(jù)以提供較低動(dòng)態(tài)范圍圖像數(shù)據(jù)和較高動(dòng)態(tài)范圍圖像數(shù)據(jù)的方法和設(shè)備?？梢詫⒃摲椒ê驮O(shè)備應(yīng)用于編碼視頻數(shù)據(jù)。在本發(fā)明的一些實(shí)施例中，以諸如MPEG(運(yùn)動(dòng)圖像專家組)格式的標(biāo)準(zhǔn)格式來編碼較低動(dòng)態(tài)范圍的數(shù)據(jù)。本發(fā)明一方面提供了一種用于編碼高動(dòng)態(tài)范圍圖像的方法。該方法包括獲得對(duì)應(yīng)于高動(dòng)態(tài)范圍圖像的較低動(dòng)態(tài)范圍圖像；識(shí)別高動(dòng)態(tài)范圍圖像中的像素組，較低動(dòng)態(tài)范圍圖像中這些對(duì)應(yīng)的像素全部都具有相同的像素值；至少部分基于屬于多個(gè)組的每一個(gè)的高動(dòng)態(tài)范圍圖像中的像素的像素值，生成預(yù)測函數(shù)；對(duì)較低動(dòng)態(tài)范圍圖像應(yīng)用該預(yù)測函數(shù)，以獲得預(yù)測的圖像；計(jì)算表示預(yù)測圖像中的像素值和高動(dòng)態(tài)范圍圖像中的對(duì)應(yīng)的像素值之間的差異的殘留圖像；以及編碼并存儲(chǔ)表示較低動(dòng)態(tài)范圍圖像、預(yù)測函數(shù)和殘留圖像的數(shù)據(jù)。本發(fā)明的其它方面提供用于解碼已經(jīng)根據(jù)本發(fā)明編碼的高動(dòng)態(tài)范圍圖像的方法，以及用于編碼和/或解碼高動(dòng)態(tài)范圍圖像的設(shè)備。下面描述本發(fā)明另外的方面和本發(fā)明的特定實(shí)施例的特征。附圖中舉例說明了本發(fā)明的非限制性實(shí)施例，圖1是舉例說明根據(jù)本發(fā)明的一個(gè)實(shí)施例的編碼方法的流程圖；圖1A是來自高動(dòng)態(tài)范圍圖像的像素值的直方圖，較低動(dòng)態(tài)范圍版本的圖像中的這些對(duì)應(yīng)的像素全部都具有相同的像素值；圖2是舉例說明根據(jù)本發(fā)明的解碼方法的流程圖；圖3是舉例說明根據(jù)一個(gè)特定實(shí)施例的MPEG編碼方法的流程圖；圖4A到4F示出了對(duì)于各種色調(diào)映射算法，對(duì)應(yīng)的HDR和LDR圖像中亮度值之間的關(guān)系；圖5示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例用于過濾殘留圖像數(shù)據(jù)的方法；以及圖6是舉例說明對(duì)于一個(gè)原型編碼系統(tǒng)，作為圖像質(zhì)量參數(shù)的函數(shù)的位速率圖。具體實(shí)施例方式通過下面的描述，闡明了一些特定細(xì)節(jié)以使得更為徹底地理解本發(fā)明。然而，可以在沒有這些細(xì)節(jié)的情況下實(shí)踐本發(fā)明。在其它實(shí)例中，并沒有詳細(xì)的示出或描述眾所周知的元素以避免不必要地模糊本發(fā)明。因此，以示例性而不是限制性的意義來看待說明書和附圖。圖1示出了根據(jù)本發(fā)明的一個(gè)基本實(shí)施例，用于編碼圖像數(shù)據(jù)幀的方法10。方法10同時(shí)將高動(dòng)態(tài)范圍(HDR)數(shù)據(jù)12和較低動(dòng)態(tài)范圍(LDR)數(shù)據(jù)14二者編碼為編碼圖像數(shù)據(jù)38。如下文描述的，編碼圖像數(shù)據(jù)38可以被解碼以重構(gòu)LDR數(shù)據(jù)和HDR數(shù)據(jù)。僅通過示例，可以以例如絕對(duì)CIEXYZ(2E標(biāo)準(zhǔn)觀察者)色彩空間的色彩空間來表示HDR數(shù)據(jù)12，其中每個(gè)像素的色彩和亮度由三個(gè)浮點(diǎn)數(shù)指定。可以以例如sRGB色彩空間的色彩空間來表示LDR數(shù)據(jù)14，其中每個(gè)像素的色彩和亮度由三個(gè)字節(jié)指定。在某些實(shí)施例中，通過適當(dāng)?shù)膭?dòng)態(tài)范圍縮減處理16從HDR數(shù)據(jù)12(或HDR數(shù)據(jù)12的前驅(qū)(precursor))導(dǎo)出LDR數(shù)據(jù)14。動(dòng)態(tài)范圍縮減例如可以包括色調(diào)映射和/或色域(gamut)映射?？梢允褂萌魏芜m當(dāng)?shù)纳{(diào)映射算子(operator)或色域映射。例如，可以選擇色調(diào)映射算子以使亮度和色彩飽和，改變色值并增強(qiáng)局部對(duì)比度。這種變化可能產(chǎn)生較低的壓縮比，但是LDR和HDR幀均將被保存在結(jié)果視頻流中。在塊18中，方法10建立一個(gè)預(yù)測函數(shù)19。預(yù)測函數(shù)19基于LDR數(shù)據(jù)14中對(duì)應(yīng)的像素的像素值，提供HDR數(shù)據(jù)12中的像素的像素值作為輸出。因?yàn)槟繕?biāo)是能夠從編碼圖像數(shù)據(jù)38再現(xiàn)HDR數(shù)據(jù)12和LDR數(shù)據(jù)14，優(yōu)選地使預(yù)測函數(shù)19基于可以根據(jù)編碼圖像數(shù)據(jù)38重構(gòu)的LDR數(shù)據(jù)14的版本。在此，利用有損算法編碼和壓縮LDR數(shù)據(jù)14，這不能夠保證重構(gòu)的LDR數(shù)據(jù)14的版本將與原始LDR數(shù)據(jù)14的一致。由于這個(gè)原因，圖1示出了塊19，其接收重構(gòu)的LDR數(shù)據(jù)26作為輸入。在塊20中，通過編碼/壓縮LDR數(shù)據(jù)14獲得重構(gòu)的LDR數(shù)據(jù)26，以便提供編碼的壓縮LDR數(shù)據(jù)22，并隨后在塊24中解碼/解壓縮編碼壓縮的LDR數(shù)據(jù)22。編碼壓縮的LDR數(shù)據(jù)22被包括在編碼圖像數(shù)據(jù)38中。線條15說明了不太精確的可選方法，其中塊18使用LDR數(shù)據(jù)14直接建立預(yù)測函數(shù)19。預(yù)測函數(shù)19優(yōu)選采用重構(gòu)的LDR數(shù)據(jù)26中的像素值和HDR數(shù)據(jù)12中對(duì)應(yīng)的像素值之間的統(tǒng)計(jì)關(guān)系。通常，如果采用了重構(gòu)的LDR圖像26中全都具有相同的特定像素值的全部像素，則HDR圖像數(shù)據(jù)12中對(duì)應(yīng)的像素將不是全都具有相同的像素值。也就是說，通常在LDR像素值和HDR像素值之間存在一對(duì)多的關(guān)系。圖IA是一個(gè)直方圖，其中水平軸包括所有可能的HDR像素值，而垂直軸指示在由HDR圖像數(shù)據(jù)12表示的圖像中有多少像素具有該值?？赡苡写罅康钠渲性搱D像中沒有任何具有該值的像素值。圖1A中的陰影條表示HDR圖像數(shù)據(jù)12中的像素值，其中在重構(gòu)的LDR圖像數(shù)據(jù)26中的相應(yīng)像素全都具有相同的像素值X皿。對(duì)應(yīng)于LDR像素值X皿的HDR像素值的范圍為從A到B。對(duì)于對(duì)應(yīng)重構(gòu)的LDR圖像數(shù)據(jù)26中的相同像素值的像素的所有HDR像素值可以被稱為倉(bin)。典型但不是強(qiáng)制性的是不同的倉不會(huì)重疊?？梢酝ㄟ^收集HDR像素值到倉中并統(tǒng)計(jì)分析每個(gè)倉，根據(jù)HDR圖像數(shù)據(jù)12和重構(gòu)的LDR圖像數(shù)據(jù)26獲得圖像的預(yù)測函數(shù)19。收集HDR像素值到倉中可包括§采用重構(gòu)的LDR圖像數(shù)據(jù)26，并且針對(duì)重構(gòu)的LDR圖像數(shù)據(jù)26中表示的每個(gè)像素值，識(shí)別一組具有該像素值的所有像素；§針對(duì)該組像素的每一個(gè)，識(shí)別HDR數(shù)據(jù)12中對(duì)應(yīng)的像素，并確定那些對(duì)應(yīng)像素的像素值，以產(chǎn)生一組對(duì)應(yīng)于每個(gè)LDR像素值的所有HDR像素值?？梢酝ㄟ^下面任何一項(xiàng)獲得預(yù)測函數(shù)19:§找到每個(gè)倉中HDR像素值的算術(shù)平均；§找到每個(gè)倉中HDR像素值的中值；§找到定界該倉的值A(chǔ)和B的平均值；§這些項(xiàng)的某些組合；或§類似方法相信對(duì)于許多應(yīng)用，算術(shù)平均提供了精度和計(jì)算效率的良好組合。對(duì)于預(yù)測函數(shù)19，僅僅需要編碼由預(yù)測函數(shù)19預(yù)測的值和來自HDR圖像數(shù)據(jù)12的實(shí)際值之間的差異。這種差異通常接近于O，并且因此可以被有效地壓縮到殘留幀中。僅僅需要為LDR數(shù)據(jù)14中可能的像素值(在像素值由8位數(shù)表示的情況下為256個(gè)值)定義預(yù)測函數(shù)19。預(yù)測函數(shù)19可以包括根據(jù)LDR像素的有效值索引的查閱表。預(yù)測函數(shù)19可以實(shí)現(xiàn)為具有一個(gè)輸出值對(duì)應(yīng)每個(gè)索引值的查閱表。例如，在此LDR像素具有8位值。查閱表可以包括由從1至IJ256范圍內(nèi)的整數(shù)索引的256個(gè)不同的值。預(yù)測函數(shù)19不需要是連續(xù)的，因?yàn)槠渲饕蝿?wù)是使殘留幀的值盡可能小。在可選實(shí)施例中，預(yù)測函數(shù)可以部分或整體地由適當(dāng)?shù)膮?shù)化的連續(xù)曲線表示。在塊28，方法10通過對(duì)重構(gòu)的LDR數(shù)據(jù)26應(yīng)用預(yù)測函數(shù)19來獲得預(yù)測HDR圖像。重構(gòu)的LDR數(shù)據(jù)26的每個(gè)像素的像素值被應(yīng)用作為對(duì)預(yù)測函數(shù)19的輸入，并以來自預(yù)測函數(shù)19的結(jié)果輸出替代該像素值以產(chǎn)生預(yù)測的HDR圖像29。塊30計(jì)算預(yù)測的HDR圖像29和HDR數(shù)據(jù)12的圖像之間的差異以提供殘留圖像32。在塊34，殘留圖像32被編碼/壓縮，并輸出到編碼圖像數(shù)據(jù)38作為殘留圖像數(shù)據(jù)35。塊34可以包括過濾和量化殘留圖像32，以便刪除對(duì)根據(jù)編碼圖像數(shù)據(jù)38重構(gòu)的HDR圖像的保真度沒有可辨認(rèn)的影響(或者具有更加侵襲性的過濾和/或量化極為有害的影響)的信息。圖2示出了用于解碼編碼圖像數(shù)據(jù)38的方法40。LDR數(shù)據(jù)22可以根據(jù)編碼圖像數(shù)據(jù)38提取，并在塊32被解碼/解壓縮以產(chǎn)生LDR數(shù)據(jù)43，該LDR數(shù)據(jù)43被輸出作為LDR數(shù)據(jù)輸出44。如果LDR數(shù)據(jù)輸出44都是所需要的，則不需要進(jìn)行另外的處理。如果還需要HDR數(shù)據(jù)輸出56，則在塊46解碼預(yù)測函數(shù)37，以產(chǎn)生預(yù)測函數(shù)47，并且在塊50解碼/解壓縮殘留圖像數(shù)據(jù)35以產(chǎn)生殘留圖像52。在塊48，對(duì)LDR數(shù)據(jù)43應(yīng)用預(yù)測函數(shù)47以產(chǎn)生預(yù)測HDR圖像49。在塊54，預(yù)測的HDR圖像49與殘留圖像52組合以產(chǎn)生HDR數(shù)據(jù)輸出56。如同圖2所示工作的解碼器可以與要求LDR數(shù)據(jù)輸出44的系統(tǒng)和設(shè)備向后兼容，同時(shí)在HDR數(shù)據(jù)輸出56提供高質(zhì)量的HDR數(shù)據(jù)?？梢酝ㄟ^以下執(zhí)行方法10和40:§編程的數(shù)據(jù)處理器，其可以包括一個(gè)或多個(gè)微處理器、數(shù)字信號(hào)處理器、它們的某一組合，或者執(zhí)行促使數(shù)據(jù)處理器實(shí)現(xiàn)該方法的軟件的類似物；§硬件電路，例如包括協(xié)同工作以實(shí)現(xiàn)該方法的功能塊的電路_該電路例如可以包括適當(dāng)配置的場可編程門陣列("FPGAs")或?qū)Ｓ眉呻娐?"ASICs");或者§在編程的數(shù)據(jù)處理器中執(zhí)行該方法的某些部分以及在適當(dāng)?shù)挠布娐分袌?zhí)行該方法的其它部分。圖3示出了根據(jù)更為具體的示例性實(shí)施例的方法70。方法70以遵循由活動(dòng)圖像專家組(MPEG)標(biāo)準(zhǔn)設(shè)置的標(biāo)準(zhǔn)的方式編碼視頻幀。方法70接收兩種輸入的視頻數(shù)據(jù)流。一種包括HDR幀74的流在輸入72被接收。一種包括LDR幀76的流在輸入78被接收。可以從HDR幀74或來自輸入78的HDR幀74上游的一些前驅(qū)導(dǎo)出LDR幀76。如圖3所示工作的編碼器產(chǎn)生三個(gè)壓縮流LDR流80，其可與MPEG完全兼容；殘留流82，其包括LDR幀76和對(duì)應(yīng)的HDR幀74之間的差異；以及輔助流84，其包括用于重構(gòu)HDR幀74的輔助數(shù)據(jù)。當(dāng)殘留流82和輔助流84未復(fù)制在LDR流80中編碼的信息時(shí)可以達(dá)到最佳性能。在塊88中利用適當(dāng)?shù)木幋a器編碼LDR幀76。例如，塊88可以使用與IS0/IEC14496-2標(biāo)準(zhǔn)兼容的MPEG視頻編碼器。可以在可選實(shí)施例中使用其它視頻編碼器。可以以適當(dāng)?shù)拿襟w容器格式，比如音頻視頻交織(AVI)或QuickTime來封裝產(chǎn)生的視頻流，以使得其可以通過現(xiàn)有的軟件被識(shí)別并重放。在塊90，解碼利用MPEG編碼的LDR幀。為了使計(jì)算量減至最小，可以通過在塊88中使用的MPEG編碼器來執(zhí)行塊90中的解碼。MPEG編碼器典型地在內(nèi)部解碼幀，以用于估計(jì)運(yùn)動(dòng)向量。塊90可以包括存取由MPEG解碼器生成的解碼幀。在可選實(shí)施例中，可以獨(dú)立于塊88執(zhí)行塊90。來自塊90的輸出將通常不同于到塊88的輸入，因?yàn)镸PEG是一種有損壓縮方法。經(jīng)MPEG編碼并隨后被解碼的LDR幀與原始的LDR幀不完全相同，而是包括壓縮偽像(artifact)。在塊92A和92B，如果需要的話，LDR幀76和HDR幀74其中之一或二者的色彩空間被變換，以提供在相互兼容的色彩空間中表現(xiàn)的LDR幀和HDR幀。在塊92A和92B中執(zhí)行的這種變換，如果有的話，取決于輸入的LDR幀76和HDR幀74的色彩空間。在某些情況下，不需要塊92A和92B。在其它情況下，僅僅需要塊92A和92B的其中一個(gè)。當(dāng)LDR和HDR色彩空間的色彩通道近似地表示相同的信息時(shí)，HDR和LDR色彩空間是相容的。還期望HDR和LDR色彩空間感知為一致的。感知的一致性促進(jìn)了根據(jù)可以感覺到的而不是算法的差異估計(jì)色彩差異。還期望HDR色彩空間保持一個(gè)寬的色域，理想地為整個(gè)可見的色域，盡管在現(xiàn)有的顯示器上不能顯示整個(gè)可見的色域。發(fā)明人考慮到一個(gè)用于表示HDR圖像數(shù)據(jù)的一個(gè)良好的色彩空間是CIE1976UniformChromacityScales(y。，v。))與sRGB色彩空間的伽馬校正的組合。還可以使用其它色彩空間。在一個(gè)實(shí)例中，以sRGB色彩空間表示輸入的LDR幀76，而以CIEXYZ(2E標(biāo)準(zhǔn)觀察者)色彩空間表示輸入的HDR幀74。在這種情況下，塊92A包括將LDR像素從sRGB色彩空間變換成Ildruldrvldr空間。這可以通過計(jì)算CIEXYZ色彩坐標(biāo)并隨后根據(jù)XYZ值計(jì)算亮度和u'和v'色彩坐標(biāo)來完成?？梢岳迷贗EC61966-2-1:1999.Multimediasystemsandequipment—Colourmeasurementandmanagement—Part2—1:Colourmanagement—DefaultRGBcolourspace—sRGB.InternationalElectrotechnicalCommission,1999.中給出的sRGB變換公式來確定XYZ值。例如，對(duì)于R8—bit是8位色彩坐標(biāo)<formula>formulaseeoriginaldocumentpage7</formula>G8—bit和B8—bit色彩坐標(biāo)可以被類似地變換成浮點(diǎn)值并且隨后可以根據(jù)下面的公式確定X、Y和Z:■0.4124035760.1895-0.21260.71520.0722G公式(3)0.01930.11920.95055公式(3)中的示例性距陣假定白點(diǎn)D65。通過利用適當(dāng)?shù)男Ｕ手悼梢詾槊縇DR像素計(jì)算亮度。例如，可以通過下面的公式給出亮度水0.2126XR8—bit+0.7152XG8—bit+0.0722XB8—bit公式(4)lld在此I^是LDR像素的亮度值。亮度是在已經(jīng)應(yīng)用伽馬校正之后的非線性R'G'B'成分的加權(quán)和?？梢酝ㄟ^下面的公式獲得色度P'禾Pv'比如色彩值:和公式(5)97r公式(6)可以通過將'和v'的每--水乘以適當(dāng)?shù)谋壤驍?shù)來獲得8位數(shù)y^和VUidl和X410X410公式(7)公式(8)在變換的色彩空間中，LDR數(shù)據(jù)的每個(gè)像素由像素值I他，vldr，hdr表示。塊92B可以以如上文描述的用于LDR像素值的基本相同的方式變換HDR幀74的普通的伽馬校正通常不能用于可以在HDR幀中指定的亮度值的范圍。因此，某些實(shí)施例使用感覺均勻的亮度表示，這種表示已經(jīng)從用于人類觀察者的對(duì)比度檢測測量法導(dǎo)出。該空間具有類似于LDR像素值被伽馬校正的空間的特性，但是可以編碼整個(gè)可見亮度范圍(例如，利用11-12位)。在一個(gè)示例性實(shí)施例中，通過下面的公式，將HDR亮度y變換成12位的HDR亮度如果y,^j^h公式(9)其中的常量列于下面的表1。通過下面的公式給出反向變換如果'KU=〗如果7&《公式(10)在此，公式(9)和(10)中使用的各種常量列于下面的表1,表I—公式(9)和(10)中的常數(shù)示例<table>tableseeoriginaldocumentpage9</column></row><table>塊94生成了HDR圖像數(shù)據(jù)的預(yù)測函數(shù)。該預(yù)測函數(shù)試圖根據(jù)LDR圖像數(shù)據(jù)中的對(duì)應(yīng)像素的對(duì)應(yīng)像素值，預(yù)測HDR圖像數(shù)據(jù)中像素的像素值。在理想情況下，選擇預(yù)測函數(shù)以將具有的值明顯不同于由預(yù)測函數(shù)預(yù)測的值的HDR圖像數(shù)據(jù)中的像素?cái)?shù)減至最小。預(yù)測函數(shù)在對(duì)數(shù)域中優(yōu)選為非線性。在表示HDR數(shù)據(jù)中的色度的像素值與LDR圖像數(shù)據(jù)中對(duì)應(yīng)的像素值幾乎相同的情況下，計(jì)算色度像素值(例如，P'和v')的預(yù)測函數(shù)是無益的。在這種情況下，僅僅需要提供亮度值的預(yù)測函數(shù)(例如，亮度(luma)、輝度等等)。因?yàn)長DR幀76和HDR幀74包括類似的信息，這些幀強(qiáng)相關(guān)。在通過對(duì)HDR幀74應(yīng)用色調(diào)映射算法獲得LDR幀76的情況下，相關(guān)的特性取決于使用了什么色調(diào)映射算法。圖4A到4F示出了LDR幀的亮度值與對(duì)應(yīng)的HDR幀的亮度值是如何相關(guān)的。這些圖的每一個(gè)應(yīng)用了不同的色調(diào)映射函數(shù)以從示例性的HDR圖像中導(dǎo)出LDR圖像。這些色調(diào)映射函數(shù)通常提供1^和U在較小值之間的線性關(guān)系。對(duì)于較高的亮度值，色調(diào)映射函數(shù)之間有更多的變化。在圖4A到4D的每一個(gè)中，LDR亮度值被描繪在水平軸上，而HDR亮度值被描繪在垂直軸上。以X標(biāo)記的點(diǎn)指示LDR和HDR圖像中對(duì)應(yīng)像素的像素值。圖4A到4F分別對(duì)應(yīng)下面公開中的色調(diào)映射函數(shù)$S.Pattanaik，J.E.Tumblin，HYee，andD.P.Greenberg.Timed印endentvisualadaptationforrealisticimagedisplay.InProceedingsofACMSIGGRAPH2000，ComputerGraphicsProceedings,AnnualConferenceSeries，pages47—54，July2000.$ErikReinhard，MichaelStark，PeterShirley,andJimFerwerda.Photographictonereproductionfordigitalimages.ACMTrans.onGraph.，21(3):267-276,2002.$Fr6doDurandandJulieDorsey.Fastbilateralfilteringforthedisplayofhigh-dynamic-rangeimages.ACMTrans,onGraph.，21(3):257-266,2002.$RaananFattal，DaniLischinski，andMichaelWerman.Gradientdomainhighdynamicrangecompression.ACMTrans,onGraph.，21(3):249-256,2002.$Fr6d6ricDrago，KarolMyszkowski，ThomasAnnen，andNorishigeChiba.Adaptivelogarithmicmappingfordisplayinghighcontrastscenes.ComputerGraphicsForum，proceedingsofEurographics2003,22(3):419-426,2003.$RafalMantiuk，KarolMyszkowski,andHans-PeterSeidel.Aperceptualframeworkforcontrastprocessingofhighhdyn咖icrangeimages.InAPGV'05-Proceedingsofthe2ndSymposiumonAppliedPerc印tioninGraphicsandVisualization,pages87_94，NewYork,NY，USA，2005.ACMPress.可以如上所述生成預(yù)測函數(shù)。在預(yù)測函數(shù)被定義為落入對(duì)應(yīng)的倉中的所有HDR像素的值的算術(shù)平均的情況下，該預(yù)測可以被寫為在此Ei=U=l...N*lldr(i)=1}，1=0…255;N為幀中像素的數(shù)量，而l他(i)禾PU(I)分別為LDR和HDR幀中對(duì)于ith像素的亮度值。優(yōu)選為每個(gè)幀更新預(yù)測函數(shù)。在圖4A到4F中，以實(shí)線來顯示預(yù)測函數(shù)。預(yù)測函數(shù)將取決于圖像內(nèi)容以及所使用的色調(diào)映射函數(shù)。圖4A到圖4F示出了典型的HDR圖像的預(yù)測函數(shù)。圖4A到4F示出了典型的預(yù)測函數(shù)在它們的大部分范圍內(nèi)隨著斜率逐漸增大而傾向于緩慢變化。因此，在某些實(shí)施例中，不是對(duì)每個(gè)倉編碼預(yù)測函數(shù)的值，而是編碼兩個(gè)連續(xù)倉的預(yù)測函數(shù)值之間的差異。為了進(jìn)一步減少位的數(shù)量，例如可以利用如塊95中指示的自適應(yīng)霍夫曼算法來壓縮這些差異。輔助數(shù)據(jù)流84的大小在某些實(shí)施例中為整個(gè)流大小的1%或者更小。因此，預(yù)測函數(shù)的存儲(chǔ)開銷可以幾乎是無關(guān)緊要的。還可以以其它方式表示預(yù)測函數(shù)或預(yù)測函數(shù)的各部分，例如，作為參數(shù)化的多項(xiàng)式曲線、樣條曲線、或其它參數(shù)化的函數(shù)。在塊96計(jì)算殘留幀。殘留幀中的像素值每個(gè)表示HDR幀的對(duì)應(yīng)像素的像素值與通過對(duì)LDR幀的對(duì)應(yīng)像素的像素值應(yīng)用預(yù)測函數(shù)預(yù)測的像素的像素值之間的差異。可以針對(duì)每個(gè)像素值(在該實(shí)例中為1，u和v)分別執(zhí)行塊96。對(duì)于亮度值，殘留幀中的每個(gè)像素巧(i)可以如下面的公式計(jì)算巧(i)=lhdr(i)-RF(lldr(i))公式(12)對(duì)于色度值，預(yù)測函數(shù)可以是恒等函數(shù)，在此情況下ru(i)=uhdr(i)-uldr(i)公式(13)禾口rv(i)=Vhdr(i)-Vldr(i)公式(14)適當(dāng)?shù)剡x擇預(yù)測函數(shù)可以明顯地減少編碼HDR幀的數(shù)據(jù)量。盡管這種節(jié)約的、殘留幀可能仍包括大量噪聲，其不會(huì)明顯的改善重構(gòu)的HDR圖像的質(zhì)量。可以通過過濾殘留幀以減少或消除這種噪聲，在不引起圖像質(zhì)量明顯降低的情況下提高壓縮比。塊98過濾殘留幀。殘留幀中的信號(hào)通常相對(duì)接近于可見門限。因此，過濾可以使數(shù)據(jù)大大的減少而不會(huì)大大的降級(jí)根據(jù)這些數(shù)據(jù)重構(gòu)的HDR圖像的質(zhì)量。塊98的一個(gè)輸出是殘留幀，其中高頻在它們不可見的那些區(qū)域已經(jīng)被削弱。圖5示出了一種可以應(yīng)用于過濾殘留幀的方法110?？梢栽诟鶕?jù)本發(fā)明的編碼方法的環(huán)境中執(zhí)行方法110，但是還具有在其它環(huán)境中的應(yīng)用，在這些其它環(huán)境中期望減少表示圖像的數(shù)據(jù)量，而不引入可見的偽像到圖像中。以下的說明描述了在亮度通道上執(zhí)行的處理。相同的處理還可以應(yīng)用于色度通道。色度通道可以是子抽樣的，例如抽樣到它們原始分辨率的一半以減少處理。這就減少了針對(duì)亮度和色度CSF中的差異的近似計(jì)算。方法110接收殘留幀112和屏蔽殘留幀的HDR幀114。在塊116和118，應(yīng)用離散子波變換(DWT)以便將每個(gè)屏蔽幀114和殘留幀112拆分為多個(gè)頻率和定向選擇通道?？梢詰?yīng)用其它適當(dāng)?shù)淖儞Q代替DWT，如在A.B.Watson.Thecortextransform:Rapidcomputationofsimulatedneuralimages.ComputerVisionGraphicsandImageProcessing，39:311-327,1987中描述的皮層(cortex)變換。皮層變換可能是非常計(jì)算密集的，并且因此僅在有足夠的計(jì)算資源可用時(shí)才是實(shí)用的。—個(gè)原型實(shí)施例使用CDF9/7離散子波基準(zhǔn)(根據(jù)JPEG-2000標(biāo)準(zhǔn)，其還可以用于圖像的有損壓縮)。這種子波基準(zhǔn)給出了平滑和計(jì)算效率之間的良好折衷。在該原型中，僅僅使用三個(gè)最好的子波分解比例，因?yàn)橐愿鼮榇植诘谋壤^濾較低的空間頻率可能導(dǎo)致明顯的偽像。在塊120，應(yīng)用一個(gè)諸如對(duì)比敏感度函數(shù)(CSF)的函數(shù)以說明人類視覺系統(tǒng)對(duì)較高空間頻率的較低的靈敏度。應(yīng)用CSF包括利用一個(gè)常數(shù)加權(quán)子波系數(shù)的每個(gè)頻帶。表2中給出了對(duì)于1700像素的觀察距離的示例性加權(quán)因子。表2-CFS系數(shù)<table>tableseeoriginaldocumentpage11</column></row><table>人類視覺通道具有有限的相位靈敏度。這就提供了另外的機(jī)會(huì)以便在不會(huì)明顯的降質(zhì)重構(gòu)的圖像的情況下丟棄信息。屏蔽信號(hào)不僅僅影響子波系數(shù)值最高的區(qū)域，而且還可能影響相鄰區(qū)域。相位的不確定還減小了在與呈現(xiàn)更高的屏蔽數(shù)量的紋理相反的邊緣處的屏蔽的影響?？梢杂?^。.2標(biāo)準(zhǔn)來建模相位不確定性，其還用在JPEG-2000圖像壓縮中。L。^標(biāo)準(zhǔn)由下面的公式及其數(shù)學(xué)等式給出<formula>formulaseeoriginaldocumentpage11</formula>其中，l表示一個(gè)系數(shù)的鄰域(在原型實(shí)現(xiàn)中13H13盒子被用作鄰域)，L^是已經(jīng)通過應(yīng)用CSF因子加權(quán)的子波系數(shù)，而Zc^是在考慮了相位不確定性之后CSF-加權(quán)的子波系數(shù)。塊124預(yù)測在出現(xiàn)來自原始HDR幀114的屏蔽信號(hào)中的門限對(duì)比度是如何變化的。為了建模對(duì)比度屏蔽，可以使用門限提升函數(shù)。門限提升函數(shù)可以具有例如下面的形式<formula>formulaseeoriginaldocumentpage12</formula>公式(16)在該原型實(shí)施例中，公式(16)中的常11.535。對(duì)于殘留幀，每個(gè)CSF加權(quán)的系數(shù)RCSF與根據(jù)原始HDR幀114計(jì)算的對(duì)應(yīng)的門限提升L的值相比較。如果根據(jù)公式(16)R^小于可見性門限i;，則系數(shù)可以設(shè)置為0而不會(huì)在最終重構(gòu)的圖像中引入明顯的變化。這可以通過下面的公式來表示及,公式(17)^其它最后，過濾的子波系數(shù)Rmt被變換回到圖像域。上文給出的預(yù)過濾方法可以明顯地減小殘留流的大小。過濾是計(jì)算效率和可視模型的精確度之間合理的折衷。在此描述的過濾典型地增大編碼時(shí)間不超過大約80%。在編碼期間的過濾不會(huì)增大解碼時(shí)間。返回到圖3，塊IOO量化過濾的殘留幀。盡管在殘留幀中編碼的差異幅值通常較小，它們可以??！4095到4095范圍內(nèi)的值(對(duì)于12位HDR亮度編碼)。顯然，不能利用8位MPEG編碼器編碼這種值。盡管MPEG標(biāo)準(zhǔn)提供了以12位編碼亮度值的擴(kuò)展，但這種擴(kuò)展很少實(shí)現(xiàn)，尤其在硬件中。量化塊100允許降低殘留值的幅值，充分的優(yōu)選可以利用標(biāo)準(zhǔn)的8位MPEG編碼器來編碼的那些值。可以使用各種量化方案。例如，某些實(shí)施例應(yīng)用非線性量化，在此殘留的大的絕對(duì)值被強(qiáng)量化，而小的絕對(duì)值被以最大的精度保留。因?yàn)楹苌儆邢袼匕ň哂休^大的幅值的殘留，大部分像素不會(huì)受強(qiáng)量化的影響。強(qiáng)量化可以導(dǎo)致在某些圖像中具有差的可視質(zhì)量。這是因?yàn)榧词故巧贁?shù)具有大的量化誤差的像素也可能以一種降低感知的圖像質(zhì)量的方式被突出。簡單的箝位殘留值(例如，到8位范圍)可以以丟失非常亮或暗的區(qū)域中的細(xì)節(jié)的代價(jià)來產(chǎn)生視覺更好的結(jié)果。此外，在典型的圖像中，適當(dāng)?shù)倪x擇預(yù)測函數(shù)，僅僅很少像素具有超過8位范圍的殘留值。在某些實(shí)施例中，為了減少以更強(qiáng)量化的代價(jià)的箝位，將殘留值除以恒定量化因子。可以根據(jù)由于箝位引起的誤差和由于量化引起的誤差之間的折衷來選擇因子?？梢曰趯儆诿總€(gè)倉的所有像素的殘留的最大幅值，分別設(shè)置每個(gè)倉的這種量化因子。因此，在量化之后的殘留值可以被計(jì)算為<formula>formulaseeoriginaldocumentpage12</formula>在此§算子[]—或小于-127則箝位該值；§q(l)是針對(duì)每個(gè)倉Ek.分別選擇的公式(18)將方括號(hào)內(nèi)的值四舍五入為最接近整數(shù)，并且如果其大于127t化因子，可以通過下面的公式給出量化因子g(/)=maxmax,en,127公式(19)乂在此q^是最小的量化因子，其可以是例如1或2。量化因子q(l)可以與預(yù)測函數(shù)一起存儲(chǔ)在輔助數(shù)據(jù)流84中。這種數(shù)據(jù)可以如在塊95中那樣首先被壓縮。在大多數(shù)情況下，大部分量化因子q(l)將具有值q^。因此，跟隨霍夫曼編碼的行程(run-length)編碼是一種壓縮表示量化因子的數(shù)據(jù)的有效方法。在塊102中，殘留值被編碼。當(dāng)殘留值為8位值時(shí)，可以利用普通的MPEG壓縮(例如，MPEG-4壓縮)來編碼。在原型實(shí)施例中，所量化的殘留值A(chǔ)、以及色度殘留值ru和iv在將它們四舍五入為最接近的整數(shù)值之后被MPEG編碼。注意，在預(yù)測函數(shù)接近線性而且公式(18)的自適應(yīng)量化的影響為最小的情況下，應(yīng)用以獲得殘留值的操作近似地為線性。在這種情況下，殘留幀的可視信息與原始HDR幀處于相同的頻帶，并且殘留的DCT量化具有與針對(duì)原始的HDR像素值類似的效應(yīng)。因此，可以使用標(biāo)準(zhǔn)的DCT量化距陣來編碼殘留幀。由于在塊88和102中的MPEG編碼是獨(dú)立的，就能夠?yàn)閴K88和102的每一個(gè)分別設(shè)置MPEG質(zhì)量參數(shù)。在大多數(shù)應(yīng)用中，設(shè)置兩組MPEG質(zhì)量參數(shù)既不直觀也不方便。在優(yōu)選實(shí)施例中，單個(gè)質(zhì)量控制設(shè)置塊88和102二者的質(zhì)量參數(shù)。已經(jīng)發(fā)現(xiàn)將塊88和102中的質(zhì)量參數(shù)設(shè)置為彼此相等通常提供了滿意的結(jié)果。塊88和102的一些質(zhì)量設(shè)置可以給出比其它質(zhì)量設(shè)置更好的壓縮結(jié)果。為了達(dá)到最佳質(zhì)量的HDR圖像，塊102應(yīng)當(dāng)包括利用最佳質(zhì)量編碼。塊88中的質(zhì)量設(shè)置主要影響從流80重構(gòu)的LDR圖像的質(zhì)量，但是也可能對(duì)HDR圖像的質(zhì)量有些影響。本發(fā)明的某些實(shí)施例采用了這樣的事實(shí)，即LDR和HDR幀包括相同的場景。因此對(duì)于它們二者光流(opticalflow)應(yīng)當(dāng)相同。在這些實(shí)施例中，針對(duì)LDR幀計(jì)算的相同的運(yùn)動(dòng)向量也被用于殘留幀。數(shù)據(jù)結(jié)構(gòu)38可以僅包括一組運(yùn)動(dòng)向量。在本發(fā)明的可選實(shí)施例中，分別為LDR和殘留幀計(jì)算運(yùn)動(dòng)向量，而且這兩組運(yùn)動(dòng)向量都被存儲(chǔ)在編碼圖像數(shù)據(jù)38中?？梢砸愿鞣N方式實(shí)現(xiàn)用于執(zhí)行根據(jù)本發(fā)明的方法的軟件。在一個(gè)原型實(shí)施例中，軟件實(shí)現(xiàn)為動(dòng)態(tài)庫以簡化與外部軟件的集成。一組分離的命令行工具允許編碼和解碼往來于HDR圖像文件的視頻流。由于HDR視頻重放涉及解碼兩個(gè)MPEG流80和82，與在普通LDR視頻重放的情況下相比，達(dá)到一個(gè)可接受的幀速率更具挑戰(zhàn)。通過利用圖形硬件執(zhí)行某些部分的解碼處理可以提高重放幀速率。例如，當(dāng)在CPU上執(zhí)行時(shí)，色彩空間轉(zhuǎn)換和上抽樣色彩通道可能是計(jì)算昂貴的，然而可以在圖形處理器(GPU)中作為片段程序非常有效地執(zhí)行。此外，通過使用固定點(diǎn)算術(shù)和查閱表可以顯著地加速某些色彩轉(zhuǎn)換函數(shù)。圖6示出了作為質(zhì)量設(shè)置的函數(shù)的原型實(shí)施例的性能。較低的點(diǎn)對(duì)應(yīng)于LDR流80，反之較高的點(diǎn)對(duì)應(yīng)于LDR流80和殘留流82之和。可以看出，對(duì)于q比例質(zhì)量參數(shù)的較低值(即，對(duì)于較高質(zhì)量的圖像)，由殘留流82組成的整個(gè)數(shù)據(jù)流的百分比小于其質(zhì)量參數(shù)的較高值(對(duì)應(yīng)于較低質(zhì)量的LDR圖像)。在此描述的編解碼器可以被用于編碼和解碼各個(gè)圖像和視頻流。這種編解碼器可以被用于編碼和解碼將被存諸在諸如DVD的介質(zhì)中，或者在將來可能普遍地用來存儲(chǔ)電影的其它存儲(chǔ)介質(zhì)中的電影。本發(fā)明的某些方面提供了媒體播放器，其包括一個(gè)HDR圖像輸出，一個(gè)HDR顯示設(shè)備連接到或者可以被連接到該輸出。這種媒體播放器包括硬件、軟件、或者實(shí)現(xiàn)如圖2所示的解碼方法的硬件和軟件的組合。本發(fā)明的某些實(shí)現(xiàn)包括計(jì)算機(jī)處理器，其執(zhí)行促使處理器執(zhí)行本發(fā)明的方法的軟件指令。例如，數(shù)據(jù)處理系統(tǒng)中的一個(gè)或多個(gè)處理器通過執(zhí)行存儲(chǔ)在存儲(chǔ)器中可被處理器訪問的軟件指令，可以實(shí)現(xiàn)圖1或3的編碼方法或者圖2的解碼方法。還可以以程序產(chǎn)品的形式提供本發(fā)明。該程序產(chǎn)品可以包括任何介質(zhì)，其攜帶一組包括當(dāng)由數(shù)據(jù)處理器執(zhí)行時(shí)促使數(shù)據(jù)處理器執(zhí)行本發(fā)明的方法的指令的計(jì)算機(jī)可讀信號(hào)。根據(jù)本發(fā)明的程序產(chǎn)品可以是任何廣泛變化的形式。該程序產(chǎn)品可以包括例如物理介質(zhì)，如包括軟盤、硬盤驅(qū)動(dòng)器的磁性數(shù)據(jù)存儲(chǔ)介質(zhì)，包括CDR0M、DVD的光數(shù)據(jù)存儲(chǔ)介質(zhì)，包括R0M、快速RAM的電子數(shù)據(jù)存儲(chǔ)介質(zhì)，等等。程序產(chǎn)品上的計(jì)算機(jī)可讀信號(hào)可以被隨意壓縮或加密。在此，上文涉及的組件(例如，軟件模塊、處理器、部件、裝置、電路等等)，除非另外的指出，參考那些組件(包括對(duì)"裝置"的參考)應(yīng)當(dāng)被解釋為包括那些組件的等同物，執(zhí)行所描述的組件的功能的任何組件(即，其是功能等同物)，包括在結(jié)構(gòu)上與所公開的執(zhí)行在所示例的本發(fā)明的示例性實(shí)施例中的功能的結(jié)構(gòu)不相同的組件。如同將被本領(lǐng)域的技術(shù)人員理解的是，根據(jù)前述公開內(nèi)容，在實(shí)踐本發(fā)明時(shí)可能進(jìn)行許多變更和修正而不偏離本發(fā)明的精神和范圍。因此，將根據(jù)下面的權(quán)利要求書定義的實(shí)質(zhì)來解釋本發(fā)明的范圍。權(quán)利要求一種編碼高動(dòng)態(tài)范圍圖像的方法，所述方法包括以下步驟從高動(dòng)態(tài)范圍圖像產(chǎn)生低動(dòng)態(tài)范圍圖像；確定預(yù)測函數(shù)，該預(yù)測函數(shù)包括從低動(dòng)態(tài)范圍圖像到預(yù)測的高動(dòng)態(tài)范圍圖像的基于統(tǒng)計(jì)的反色調(diào)映射；計(jì)算殘留圖像(32)，該殘留圖像表示預(yù)測的圖像(29)中的像素值和高動(dòng)態(tài)范圍圖像(12)中對(duì)應(yīng)的像素值之間的差異，以及編碼(20，34，36)和存儲(chǔ)表示低動(dòng)態(tài)范圍圖像(14)、預(yù)測函數(shù)(19)和殘留圖像(32)的數(shù)據(jù)。2.根據(jù)權(quán)利要求的l所述的方法，其中，統(tǒng)計(jì)預(yù)測函數(shù)包括反色調(diào)映射方法。3.—種解碼器，包括輸入設(shè)備，被配置為接收以低動(dòng)態(tài)范圍圖像、預(yù)測函數(shù)和殘留圖像編碼的數(shù)據(jù)流，該預(yù)測函數(shù)包括在低動(dòng)態(tài)范圍圖像和高動(dòng)態(tài)范圍圖像之間的統(tǒng)計(jì)關(guān)系；變換器，被配置為將預(yù)測函數(shù)應(yīng)用到低動(dòng)態(tài)范圍圖像，以獲得預(yù)測的高動(dòng)態(tài)范圍圖像；以及組合器，被配置為將殘留圖像與預(yù)測的高動(dòng)態(tài)范圍圖像組合，以獲得解碼的高動(dòng)態(tài)范圍圖像。全文摘要一種高動(dòng)態(tài)范圍編解碼器。一種用于編碼高動(dòng)態(tài)范圍(HDR)圖像的方法，包括提供較低動(dòng)態(tài)范圍(LDR)圖像，基于LDR圖像中對(duì)應(yīng)的像素的值，生成預(yù)測函數(shù)，用以估計(jì)HDR圖像中像素的值，以及基于HDR圖像的像素值和估計(jì)的像素值之間的差異獲得殘留幀。LDR圖像、預(yù)測函數(shù)和殘留幀都可以被編碼在數(shù)據(jù)中，從中可以重建LDR圖像或HDR圖像。文檔編號(hào)H04N7/46GK101742306SQ20091017327公開日2010年6月16日申請(qǐng)日期2006年9月7日優(yōu)先權(quán)日2006年1月23日發(fā)明者A·埃弗雷莫維,G·克勞克齊克,K·米斯科斯基,R·曼蒂尤克,漢斯-彼得·塞德爾申請(qǐng)人:馬普科技促進(jìn)協(xié)會(huì)