保持銳度不變的同時增強視頻數據的對比度的方法和系統的制作方法
【專利摘要】一種增強圖像或視頻數據對比度的方法，可以包括：對參考圖像運用對比度增高傳遞函數來生成增強圖像。可以對該參考圖像運用變換來生成參考高頻分量并且還可以對增強圖像運用變換來生成增強高頻分量。可以針對參考圖像中的像素，確定對應的增強高頻分量是否具有比對應的參考高頻分量高的能量。該方法還可以包括，如果對應的增強高頻分量具有比對應的參考高頻分量高的能量，則用參考圖像中的對應像素替換參考圖像中的像素。
【專利說明】保持銳度不變的同時增強視頻數據的對比度的方法和系統
【技術領域】
[0001]所要求保護的發明的實現總地來說可以涉及用于增強圖像或視頻信息的方案，更加具體地講，涉及用于增強圖像或視頻信息的對比度的方案。
【背景技術】
[0002]視頻序列中的畫面可以包括在水平和垂直兩個方向上采樣的三個信號(例如，紅/綠/藍(RGB)或亮度和色度(YUV))。對于那些在YUV彩色空間中的圖像，可以將對比度理解為表示圖像中不同亮度(Y)值當中的能量分布的特征。一般來說，對比度增強在將圖像中的能量重新分配到亮度值的極值(例如，最高和最低值)上的同時，可以增加圖像的動態范圍。
[0003]圖像的銳度可以是基于圖像的高頻分量中相對較高能量的集中程度的感官印象。一定程度的對比度增強可以增強圖像中的細節，還造成感覺上的銳度的增高。
[0004]不過，過分的對比度增強可能造成圖像中的細微細節丟失，并且造成銳度相應降低，因為可能在沒有平衡或跟蹤能量重新分配對圖像高頻分量的影響的情況下，就將能量重新分配到了圖像的亮度值內。
【發明內容】
[0005]按照本發明的第一方面，提供了一種用于增強圖像對比度的方法，包括:增大參考圖像的對比度來生成增強圖像；將參考圖像的至少一個頻率分量與增強圖像的至少一個頻率分量進行比較；以及根據比較用增強圖像的對應部分選擇性地替換參考圖像的一部分。
[0006]按照本發明的第二方面，提供了一種用于增強圖像對比度的系統，包括:對比度增強器，用于將對比度增強傳遞函數運用于第一圖像來生成第一對比度增強圖像；存儲器；頻率提取器，用于從所述第一圖像中提取第一頻率分量和從所述第一對比度增強圖像中提取第二頻率分量并將所述分量存入所述存儲器中；及比較邏輯，用于從存儲器中獲取所述分量并且比較第一頻率分量和第二頻率分量，并且用于根據比較結果用來自所述第一對比度增強圖像的像素選擇性地替換所述第一圖像中的像素以便形成第二對比度增強圖像。
【專利附圖】
【附圖說明】
[0007]結合在本說明書中并且構成本說明書的一部分的附圖圖解說明符合本發明原理的一種或多種實現方式，并且與說明書一起解釋說明這些實現方式。附圖不必按照比例繪制，重點是說明本發明的原理。在圖中，
[0008]圖1圖解說明示范性對比度增強系統；
[0009]圖2圖解說明示范性對比度增強傳遞函數；
[0010]圖3A和3B圖解說明頻率提取之如和之后的不范性圖像；及
[0011]圖4圖解說明增強圖像對比度的示范性處理過程。【具體實施方式】
[0012]下面詳細的描述參照附圖。相同的附圖標記可以用在不同附圖中指代相同或相似的元件。在下面的描述中，為了解釋說明而非限定，給出了諸如特定結構、構造、接口、技術之類的具體細節，以便提供所要求保護的發明的各個不同方面的全面理解。不過，對于獲益于本公開內容的本領域技術人員而言，顯而易見，所要求保護的發明的各個不同方面可以實踐于超出這些具體細節的其它實例當中。在某些情況下，省略了對公知的裝置、電路和方法的描述，以便不致使本發明的描述因不必要的細節而不清楚。
[0013]圖1圖解說明示范性對比度增強系統100。系統100可以接收來自任何適當媒介的視頻信息，這些媒介包括但不限于各種傳輸和/或存儲介質。盡管為了便于說明而圖示為獨立的功能單元，但是系統100的任何一個或所有單元都可以位于同一處和/或由共用的一組門電路和/或晶體管來實現。此外，系統100可以借助軟件、固件、硬件或它們的任何適當組合來實現。
[0014]對比度增強系統100可以包括第一存儲器110、對比度增強器120、第二存儲器130、頻率提取器140、第三存儲器150、第四存儲器160和比較邏輯170。雖然圖示為分立的功能單元，但是單元110-170中的某一些可以是共同實現的。例如，在一些實現方式中，在重新使用或不重新使用的情況下可以將存儲器110、130、150和160實現為單個存儲器的一些部分。而且，在一些實現方式中，對比度增強器120、頻率提取器140和/或比較邏輯170中的一個或多個可以由執行軟件和/或固件的通用或專用處理器來實現。對于單元110-170而言，其它具體的實現方式是既可能又可預見的。
[0015]可以將第一存儲器110安排成用來接收并存儲多種格式的參考圖像數據，這些格式可以包括但不局限于，MPEG-l、MPEG-2、MPEG-4、高級視頻編碼(AVC)(例如，MPEG-4，第10部分和ITU-T建議H.264)、Windows媒體視頻9 (WMV-9)、SMPTE的VC-1。在一些實現方式中，第一存儲器110可以為整個參考圖像存儲亮度(例如，Y)值。不過，在一些實施方式中，第一存儲器110可以為整個圖像的某一部分或者為不止一個圖像存儲亮度值。在一些實現方式中，第一存儲器110可以包括隨機存取存儲器(RAM)，從而如果需要的話，可以重寫第一存儲器110中參考圖像內的各個像素。
[0016]可以將對比度增強器120安排成用來增強第一存儲器110中參考圖像的對比度并且將具有增強對比度的增強圖像輸出到第二存儲器130。對比度增強器120可以采用多種現在已知的或今后開發的技術中的任何一種來增強第一存儲器110中的參考圖像的對比度。在一些實現方式中，舉例來說，對比度增強器120可以確定參考圖像的圖像特征(例如參考圖像的亮度柱狀圖)。然后對比度增強器120可以接著對參考圖像中的亮度值應用任何對比度增強傳遞函數(可能基于參考圖像的特征，可能不基于參考圖像的特征)，來生成得到增強的圖像。
[0017]圖2圖解說明包括一個可以由對比度增強器120使用的示范性對比度增強傳遞函數230的曲線圖200。為了對照，傳遞函數230是相對于單位增益線210和該函數230逼近的連續對比度增強傳遞曲線220加以圖解說明的。當然，連續曲線220可以用在一些實現方式中，但在其它一些實現方式中，諸如四點傳遞函數230這樣的分段線性曲線實現起來更加容易。
[0018]借助于傳遞函數230，可以對不同的亮度輸入值(比如圖示的黑暗、中間和明亮區域中的亮度值)做出不同的反應。這些區域之間的邊界可以由對比度增強器120根據參考圖像的亮度特征來設定。例如，在一些實現方式中，可以將函數230的“黑暗”和“中間”部分之間的邊界設定在滿刻度亮度的5%處，以防止輸出中的核化(coring)產生噪聲，不過其它閾值既可行又可預見。作為另一個例子，可以將函數230的“中間”和“明亮”部分之間的邊界設定在滿刻度亮度的75 %處，不過其它閾值既可行又可預見。
[0019]在中間區域內，函數230可以在例如參考圖像的中值或平均亮度值處改變斜率。在明亮區域內，傳遞函數230可以在例如明亮區域起始點處(例如，滿刻度的75% )的亮度值和滿刻度(例如，最大可用)值處的亮度值的平均值處改變斜率。對于上述的具體實例，明亮區域中函數230的拐點或間斷可以出現在滿刻度的大約87.5%處。在中間和明亮兩個區域內，函數230對于不同的線段可以具有略大于和/或略小于一的斜率。在一些實現方式中，例如，對于某個相對較小的值δ，傳遞函數230的至少一些線段的斜率可以是(I 土 δ )。
[0020]在一些實現方式中，對比度增強器120可以采用傳遞函數230來增強第一存儲器110中參考圖像的對比度并且將得到的增強圖像輸出到第二存儲器130。對比度可以通過經由傳遞函數230 “延展”圖像的亮度分布(例如，使明亮的像素更明亮并且使黑暗的像素更黑暗)來增強。不過，應該注意，對比度增強器120可以對參考圖像運用任何對比度增強傳遞函數來產生增強圖像，并且所要求保護的發明不應局限于圖2中所示的具體的、純粹示范性的傳遞函數230。
[0021]回到圖1，可以將第二存儲器130安排成用來接收和存儲來自圖像增強器120的增強圖像(例如亮度數據)。在由增強器120的傳遞函數進行操作之后，第二存儲器130中的增強圖像可以在尺寸和其它特征上與第一存儲器110中的參考圖像相對應。在一些實現方式中，第二存儲器130可以包括隨機存取存儲器(RAM)或類似的可尋址存儲器，從而如果需要的話，可以讀取第二存儲器130內增強圖像中的各個像素。
[0022]可以將頻率提取器140安排成用來從第一存儲器110中的參考圖像中提取至少一些高頻分量并且用來將得到的參考頻率分量存儲到第三存儲器150中。也可以將頻率提取器140安排成用來從第二存儲器120中的增強圖像中提取至少一些高頻分量并且用來將得到的增強頻率分量存儲到第四存儲器160中。在一些實現方式中，頻率提取器140可以基本上同時地對參考圖像和增強圖像進行操作。不過，在一些實現方式中，頻率提取器140可以例如在對比度增強器120正在生成增強圖像的時候首先對參考圖像進行操作。
[0023]在一些實現方式中，可以將頻率提取器140安排成用來對參考圖像和增強圖像進行二維(2D)變換。可由頻率提取器140為了提取高頻分量而實施的各種變換可以包括但不局限于，傅立葉變換、離散余弦變換(DCT)、阿達瑪(Hadamard)變換、小波變換和/或任何能從圖像中產出高頻分量的一維或2D變換。在一些實現方式中，頻率提取器140可以對參考圖像進行2D離散小波變換(DWT)來產生第三存儲器150中的參考頻率分量，并且對增強圖像進行2D離散小波變換(DWT)來產生第四存儲器160中的增強頻率分量。
[0024]圖3A圖解說明由頻率提取器140進行頻率提取前的示范性圖像310。為了解釋目的，圖像310可以是參考圖像或增強圖像，并且可以包括，例如，亮度(Y)值。
[0025]圖3B圖解說明由提取單元140進行了 2D離散小波變換(DWT)后的圖像310的示范性分量。2D-DWT可以將圖像310分解成低細節分量320和在水平方向上的(即水平分量330)、在垂直方向上的(即垂直分量340)及對角線方向上的(即對角線分量350)三個高細節分量(例如，包括高頻信息)。熟悉DWT的人可以認識到，圖3B圖解說明的是第一級分解，并且可以在第二級、第三級等的分解中相繼分解低細節分量320。雖然可以使用來自第一級小波分解的分量來執行所要求保護的本發明，但是不應局限于此，因為通過利用更高等級的小波分解和/或其它類型的變換來提取例如高頻分量330-350或類似的高頻信息，也可以執行所要求保護的發明。
[0026]參考圖3B的示范性分量，頻率提取器140可以將從位于第一存儲器110內的參考圖像生成的一組分量320-350(例如，“參考分量”)保存至第三存儲器150中。相似地，頻率提取器140也可以將從位于第二存儲器130內的增強圖像生成的另一組分量320-350(例如，“增強分量”)保存至第四存儲器160中。根據某些2D變換的特性，各個水平、垂直和對角線分量320-350的數量可以與參考圖像或增強圖像的像素數量相對應(或以已知的方式相關聯)。
[0027]回到圖1，可以將第三存儲器150安排成用來接收并保存來自頻率提取器140的參考分量(例如，包括參考圖像的高頻分量)。在一些實現方式中，第三存儲器150可以包括隨機存取存儲器(RAM)或類似的可尋址存儲器，從而如果需要的話，可以讀取第三存儲器150中的各個分量(例如，與對應的參考圖像中的像素相對應的)。
[0028]可以將第四存儲器160安排成用來接收并保存來自頻率提取器140的增強分量(例如，包括增強圖像的高頻分量)。在一些實現方式中，第四存儲器160可以包括隨機存取存儲器(RAM)或類似的可尋址存儲器，從而如果需要的話，可以讀取第四存儲器160中的各個分量(例如，與對應的增強圖像中的像素相對應的)。
[0029]可以將比較邏輯170安排成用來根據第三和第四存儲器150和160中對應的參考分量和增強分量的比較，用第三存儲器130中增強圖像的對應像素選擇性替換第一存儲器110中參考圖像的像素。總地來說，比較邏輯170可以在高頻增強分量的能量大于高頻參考分量的能量的時候用增強像素替換參考像素。如果對于給定像素而言，增強分量的能量不夠大，則比較邏輯170可以不替換第一存儲器110中參考圖像中的像素。
[0030]比較邏輯170可以使用存儲器150和160中一個、一些或者全部的參考分量和增強分量來針對給定圖像像素做出增大或降低高頻能量的決定。參考圖3B中的具體實例，比較邏輯可以使用一個、一些或全部水平分量330、垂直分量340和對角線分量350來進行比較。例如，比較邏輯170可以計算下列總和:
[0031]水平因子* (水平enh_水平Mf) +垂直因子* (垂直enh_垂直Mf) +對角線因子* (對角線enh-對角線Mf)，
[0032]其中“enh”和“ref”代表高頻增強和參考分量，并且其中各個因子指的是用于將一個分量(例如，水平分量)不同加權得大于、小于或者然后等于其它分量的加權或縮放因子。然后比較邏輯170可以將這一加權和與零進行比較來認定絕對能量增高，或者與某一非零數比較來認定大于某一量的能量增高。
[0033]在一些實現方式中，比較邏輯170可以僅僅對頻率分量(例如330-350)中的一個或兩個使用或不使用加權系數地進行比較。例如比較邏輯可以只比較水平分量330，只比較垂直分量340，只比較對角線分量350，或它們的某種組合。，比較邏輯單元170還可以在終止條件得到滿足之后使第一存儲器110輸出參考圖像。終止條件的例子可以包括在整個參考圖像內每像素遍歷(包括由對比度增強器120進行的相繼對比度增強)的固定次數(例如，一次、二次、三次、四次，等)，或者直到增強圖像的高頻分量中的能量開始降低。
[0034]圖4圖解說明增強參考圖像對比度的示范性處理的實例處理過程400。雖然為了解釋起來簡單明了，可以針對圖1中的對比度增強系統100來描述圖4，但應當理解，處理過程400可以由其它硬件和/或軟件實現方式來執行。
[0035]處理可以開始于通過對比度增強器120增強參考圖像的對比度來生成增強圖像[動作410]。可以使用任何對比度增強傳遞函數來生成增強圖像，比如圖2中的函數230。在一些實現方式中，可以對包括亮度值的圖像執行動作410。與動作410相協同地，可以將參考圖像和增強圖像存儲在存儲器110和130中。
[0036]處理可以通過頻率提取器140分別計算參考圖像的和增強圖像的高頻分量來產生參考分量和增強分量[動作420]而繼續進行下去。雖然可以用任何ID或2D變換來計算高頻分量，但是在一些實現方式中，可以使用第一級、2D DWT來確定參考圖像的和增強圖像的水平、垂直和/或對角線高頻分量。與動作420相協同地，可以將這些參考分量和增強分量存儲在存儲器150和160中。
[0037]比較邏輯170可以執行參考和增強高頻分量的每像素比較，并且如果增強高頻分量的能量足夠大，還可以用來自增強圖像的對應像素替換參考圖像中的像素[動作430]。可以在利用或不利用加權或縮放因子來對彼此不同的一個或多個分量加權的情況下，比較來自增強圖像和來自參考圖像的水平、垂直和/或對角線高頻分量的任意組合。
[0038]僅當動作430中比較邏輯170確定增強圖像的高頻分量的能量大于(從絕對值角度或按照預定余量)參考圖像的高頻分量的能量，比較邏輯170才可以用來自增強圖像的對應像素替換參考圖像中涉及的像素。比較邏輯170可以對第一存儲器110中的參考圖像內的所有像素進行這種比較和選擇性替換操作。
[0039]如果，在對參考圖像中的所有像素(或交替地對像素的二次采樣集合)進行動作430后，沒有達到終止條件[動作440]，可以再次在動作410中增強修改的參考圖像(已經替換了它的某些像素)，并且可以重復執行動作420和430。幾個最終條件是即可能又可預見的。在一些實現方式中，可以重復執行動作410-430，直到增強圖像中沒有像素具有比參考圖像中的像素更大的高頻能量。在一些實現方式中，終止條件可以是在參考圖像中像素替換的數量足夠小(例如，5個、10個、50個、100個，等)。就是說，動作410-430迭代，直到在動作430中替換了比預定數量少的像素。
[0040]在一些實現方式中，終止條件可以是參考圖像遍歷的預定次數(例如，在執行動作430—次、兩次、五次、十次等之后)。不過，其它的變化也是可以的，比如較早發生在參考圖像中預定次數的迭代(例如，5次迭代)，并且隨后生成增強圖像且替換在參考圖像內的預定數量像素(例如，50或更少的像素替換)。
[0041]當比較邏輯170確定達到了終止條件[動作440]時，它可以命令第一存儲器110輸出參考圖像[動作450]。在有選擇的像素替換后，參考圖像可以具有增強的對比度，同時保持了高頻能量(例如，感覺的銳度)。因此，通過考慮對比度增強前后的參考圖像的頻率分量，可以防止對比度增強消除圖像中的精細細節。這樣的頻率分析可以避免在改善圖像對比度的同時損失圖像中(或圖像作為其一部分的視頻中)的精細細節。
[0042]前面的一個或多個實現方式的描述給出了圖解和說明，但并非是想作為窮舉或將本發明的范圍限定于所公開的精確形式。根據上述教導可以進行修改和變化或者可以通過本發明的各種實現方式的實踐來獲得這些修改和變化。
[0043]例如，盡管上述設計包括每個像素的比較和選擇性替換，但在一些實現方式中，可以對圖像中的交替像素、像素組等執行這種基于更高頻率內容的比較/替換。本文描述和要求保護的方案可以包括任何使用任何類型的頻率分析來避免在增強對比度的時候損失精細細節的對比度增強技術。此外，本文使用的“高頻”可以包括與所涉及的圖像的整個上下文中“精細的”空間細節(例如，細的特征、小的特征、過渡、紋理，等)相對應的任何頻率或頻率范圍。
[0044]此外，圖4中的動作不需要按照示出的順序執行；也不是所有動作都必須執行。而且，那些不依賴于其它動作的動作可以和其它動作并行地執行。此外，該圖中至少一部分動作可以實現為在計算機可讀介質中實現的指令或指令組。
[0045]本申請說明書中用到的單元、動作或指令都不應解釋為對本發明是關鍵的或必要的，除非另有明確說明。并且，這里用到的“一個”意味著包括一個或多個項目。在實質上不偏離本發明的精神和原理的情況下可以對本發明的上述實施方式做出變化和修改。所有這些修改和變化包括在權利要求揭示和保護的范圍內。
【權利要求】
1.一種方法，包括: 由參考繪圖創建第一對比度增強的繪圖； 用所述增強的繪圖的要素選擇性地替換所述參考繪圖的要素以便形成第二對比度增強的繪圖；以及 利用處理器，基于所述第二對比度增強的繪圖來顯示繪圖。
2.如權利要求1所述的方法，還包括: 在存儲器中存儲所述參考繪圖和第一對比度增強的繪圖。
3.如權利要求1所述的方法，還包括: 對所述參考繪圖應用變換來生成所述第一對比度增強的繪圖的要素；以及 對所述第一對比度增強的圖像應用所述變換來生成所述第二對比度增強的圖像的至少一個頻率分量。
4.如權利要求3所述的方法，其中所述變換是二維小波變換。
5.如權利要求1所述的方法，包括比較所述參考繪圖的至少一個頻率分量和所述第一對比度增強的繪圖的至少一個頻率分量，其中比較包括: 確定所述第一對比度增強的繪圖的至少一個頻率分量是否具有比所述參考繪圖的至少一個頻率分量更大的能量。
6.一種系統,包括: 對比度增強器，用于對第一圖像應用對比度增強變換函數以便生成第一對比度增強的圖像； 存儲器； 頻率提取器，用于從所述第一圖像提取第一頻率分量以及從所述第一對比度增強的圖像提取第二頻率分量并且將所述分量存儲進所述存儲器；以及 比較邏輯，用于從存儲器存取所述分量，比較所述第一頻率分量和所述第二頻率分量，基于比較的結果用來自所述第一對比度增強的圖像的像素選擇性地替換所述第一圖像中的像素以便形成第二對比度增強的圖像。
7.如權利要求6所述的系統，還包括: 第一存儲器，耦合至所述對比度增強器以便存儲所述第一圖像；以及 第二存儲器，耦合至所述對比度增強器以便存儲所述第一對比度增強的圖像。
8.如權利要求6所述的系統，還包括: 第三存儲器，耦合至所述頻率提取器以便存儲所述第一頻率分量；以及 第四存儲器，耦合至所述頻率提取器以便存儲所述第二頻率分量。
9.如權利要求6所述的系統，其中所述頻率提取器被布置成對所述第一圖像和所述第一對比度增強的圖像執行傅里葉變換、余弦變換或小波變換。
10.如權利要求6所述的系統，其中所述比較邏輯被布置成確定所述第二頻率分量的組合是否大于所述第一頻率分量的組合。
【文檔編號】H04N5/57GK103517008SQ201310316282
【公開日】2014年1月15日 申請日期:2006年11月8日 優先權日:2005年11月9日
【發明者】W.阿利 申請人:英特爾公司