專利名稱：圖像轉換單元和方法
技術領域：
本發明涉及一種圖像轉換單元，用于將具有第一分辨率的第一圖像轉換為具有第二分辨率的第二圖像，所述圖像轉換單元包括-系數確定裝置，用于根據所述第一圖像的像素值確定第一濾波器系數；-自適應濾波裝置，用于根據第一圖像的像素值中的第一像素值和第一濾波器系數計算所述第二圖像的第二像素值。
本發明還涉及一種方法，用于將具有第一分辨率的第一圖像轉換為具有第二分辨率的第二圖像，所述圖像轉換方法包括-根據所述第一圖像的像素值確定第一濾波器系數的步驟；-根據所述第一圖像的像素值中的第一像素值和所述第一濾波器系數計算第二圖像的第二像素值的步驟。
本發明還涉及一種圖像處理設備，其中包括-用于接收與所述第一圖像相對應的信號的接收裝置；和-前面提到的圖像轉換單元，用于將所述第一圖像轉換為第二圖像。
背景技術：
高清晰電視的出現突出了對于空間上變換技術的需要，該空間上變換技術使得標準清晰度(SD)影像素材能夠在高清晰度(HD)電視(TV)中進行高清晰顯示。傳統的技術是諸如雙線性內插法和使用低通內插濾波器的方法之類的線性內插方法。由于前一種方法質量低，所以在電視應用領域并不常用，但是后一種方法可以在商業上可得到的IC中實現。使用線性方法，幀中的像素數量增加了，但是頻譜中的高頻部分并沒有得到擴展，即可覺察的圖像清晰度并沒有得到提高。換句話說，顯示的能力并沒有完全發掘出來。
除了所述傳統的線性技術，已經提出了大量的非線性算法來完成這種上變換技術。有時這些技術被稱為基于內容的或依賴邊緣的空間上變換技術。其中的一些技術已經可以在消費者電子市場中得到了。
從Xin Li等人發表的文章“New Edge-directed Interpolation(新邊緣引導內插法)”(IEEE圖像處理會報(IEEE Transactions onImage Processing)，第10期，第10卷，2001年10月，第1521-1527頁)中，可以了解到本文起始段落中所介紹的那種類型的圖像轉換單元的一種實施方式。在這種圖像轉換單元中，內插上變換濾波器的濾波器系數適應于本地圖像內容。所述內插上變換濾波器孔徑使用如等式1所規定的四階內插算法FHD(2(i+1),2(j+1))=Σk=11Σl=01w2k+lFSD(2i+2k,2j+2l)---(1)]]>其中，FHD(i，j)表示HD輸出像素的亮度值，FSD(i，j)是輸入像素的亮度值，而w1是濾波器系數。所述濾波器系數使用最小均方(LMS)優化過程由較大的孔徑得到的。在所引用的文章中解釋了所述濾波器系數是如何計算的。結合附圖1A和附圖1B，對現有技術的方法也進行了解釋說明。所述方法的目的是沿著邊緣而不是跨越邊緣進行內插，以防止圖像模糊。文章的作者提出了邊緣方位不會隨著比例的變化而變化的合理假設。所以，所述系數可以通過使用LMS方法在本地窗口中由SD輸入圖像逼近。
盡管按照所引用的現有技術的“新邊緣引導內插法”在許多圖像部分表現相對較好，但是在輸出圖像的一些部分中存在與它們直接相鄰部分的像素值相比相對較高或相對較低的像素值，即這些像素值可以認為是非正常值。
發明內容
本發明的一個目的是提供一種本文起始段落中所提到的那種類型的圖像轉換單元，該圖像轉換單元相對較為強健。
本發明的這個目的之所以得以實現是在于，將所述自適應濾波構件設置為用于進行非線性操作。這意味著所述自適應濾波裝置不能完全滿足等式2和等式3所規定的線性濾波器G的要求。
αG(A)＝G(αA) (2)G(A)+G(B)＝G(A+B) (3)其中A和B是輸入值，α是常數。
非線性操作的優點是，在選擇濾波器系數的過程中引入了更多的自由度，而不會有輸出像素的結果像素值為非正常值的風險。換句話說，所述轉換單元的強健度得到了提高。
一般來說，SD輸入圖像具有按照CCIR-601中所規定的像素矩陣，例如625×720像素或525×720像素。而HD輸出圖像所具有的像素矩陣在水平方向和垂直方向的像素數量都比SD的高出兩倍或一倍半。
使用像素值表示亮度或顏色值。
依照按本發明的一種實施方式，所述非線性操作包括在所述像素值中的所述第一像素值基礎上剪輯(clip)一個中間值。例如一個HD輸出像素值是在緊臨的SD像素中或者取決于其相鄰部分內的像素值動態范圍的一個更大范圍的像素中的最暗的像素值(即最低亮度值)和最亮的像素值(即最高亮度值)之間剪輯的。剪輯的一個優點是它相對來說易于實施。
依照按本發明的另外一種實施方式，所述自適應濾波裝置包括一個順序統計濾波器。這一濾波器可以是一個差順序統計濾波器。作為一個順序統計濾波器的一個例子就是一個中值濾波器。
依照按本發明的另外一種實施方式，所述系數確定裝置包括一個用于將由像素值中的所述第一像素值的一個相鄰部分中的像素值而獲得的數據轉換為所述第一濾波器系數的轉換裝置，所述轉換裝置是在訓練處理的基礎上而設計的。這一實施方式的一個優點是濾波器系數的確定僅需要使用相對較低的計算資源。而所述轉換裝置更是包括了一個查詢表(LUT)。在一個上變換單元的情況中，一種應用一個LUT來確定濾波器系數的途徑在一篇名為“Towards an overview ofspatial up-conversion techniques(對空間上變換技術的一個概述)”的文章中進行了揭示，該篇文章是由Meng Zhao等人發表在2002年9月23日至26日于德國厄爾伏特市的SCE 2002會議匯編中。
在根據本發明所涉及的所述圖像轉換單元的一種實施方式中，所述系數計算裝置被設置成用于通過一種優化算法來計算第一濾波器系數。而所述優化算法最好是最小均方(LMS)算法。LMS算法相對簡單和強健。
本發明的另一個目的是提供一種在本文起始段落中所提到的那種類型的相對強健的方法。
本發明的這一個目的是通過在計算第二像素值的步驟中包括非線性操作來實現的。
本發明的另一個目的是提供一種本文起始段落中提到的圖像處理設備，該設備的圖像轉換單元相對強健。
本發明的這一個目的之所以得到實現是在于，將所述圖像處理設備中的自適應濾波裝置設置為用于進行非線性操作。所述圖像處理設備可選地包括用于顯示所述第二圖像的顯示裝置。所述圖像處理設備可以是電視機、機頂盒、VCR(錄像機)播放器或者DVD(數字通用盤)播放器。
圖像轉換單元的修改方案及其變形方案與所介紹的方法和圖像處理設備的修改方案及其變形方案相對應。
通過下文中介紹的實現方式和實施方式，并且參照附圖，按照本發明的圖像轉換單元、方法和圖像處理設備的這些和其它方面將會變得顯而易見，并且將會針對下文中介紹的實現方式和實施方式，同時參照附圖，對按照本發明的圖像轉換單元、方法和圖像處理設備的這些和其它方面加以解釋說明，其中附圖1A示意性地表示按照現有技術的圖像轉換單元的一種實施方式；附圖1B示意性地表示多個像素，用以解釋按照現有技術的方法；附圖1C示意性地表示按照現有技術的圖像轉換單元的另一種可選在全部附圖中，相同的附圖標記用來表示了相似的部分。
具體實施例方式
附圖1A示意性地表示按照現有技術的圖像轉換單元100的一種實施方式。在輸入連接器108處為所述圖像轉換單元100提供標準清晰度(SD)圖像，并且該圖像轉換單元100在輸出連接器110處給出高清晰度(HD)圖像。所述圖像轉換單元100包括-像素獲取單元102，該獲取單元設置成用于獲取在與HD輸出像素位置相對應的SD輸入圖像中的第一圖像內的特定位置上的第一相鄰部分中的像素1-4(見附圖1B)的第一組像素值，并且設置成用于獲取在SD輸入圖像的第一圖像內的特定位置上的第二相鄰部分中的像素1-16的第二組像素值；-濾波器系數確定單元106，該系數確定單元設置成用于在所述第一組像素值和所述第二組像素值的基礎上計算濾波器系數。換句話說，所述濾波器系數是由本地窗口內的SD輸入圖像逼近的。這一計算是通過使用最小均方(LMS)法完成的，這一方法將結合附圖1B進行解釋。
-自適應濾波單元104，用于根據所述第一組像素值以及等式1所確定的所述濾波器系數計算HD輸出像素的像素值。所以所述濾波器系數確定單元106設置成對自適應濾波單元104進行控制。
附圖1B示意性地表示SD輸入圖像的多個像素1-16和HD輸出圖像的一個HD像素，以解釋說明按照現有技術的方法。將所述HD輸出像素內插為像素1-4的4個像素值的加權平均值。這意味著所述HD輸出像素FHD的亮度值的結果是它的4個SD相鄰像素的亮度值的加權和FHD＝w1FSD(1)+w2FSD(2)+w3FSD(3)+w4FSD(4)， (4)其中FSD(1)至FSD(4)是所述4個SD輸入像素1-4的像素值，w1至w4是要通過LMS方法計算的濾波器系數。介紹了現有方法的參考文章的作者做出了明智的假設邊緣取向不會隨著比例的變化而變化。這種假設的結果是，對于標準分辨率點陣，最優濾波器系數與那些通過內插所得到的濾波器系數相同-像素1來自于5，7，11和4(這意味著像素1能夠從其相鄰的4個像素導出)-像素2來自于6，8，3和12-像素3來自于9，2，13和15-像素4來自于1，10，14和16這就提供了4個為一組的線性等式，通過這些等式，利用所述LMS優化算法，就得到了對HD輸出像素進行內插的最佳的4個濾波器系數。
對于SD點陣，用M表示用于計算4個加權值的像素組，而優化算法中像素組M的均方差(MSE)可以寫做原始SD像素FSD與經內插的SD像素FSI之間的差方和MSE=ΣFSD(i,j)∈M(FSD(2i+2,2j+2)-FSI(2i+2,2j+2))2---(5)]]>該式的矩陣表述為MSE=||y→-w→C||2---(6)]]>這里的 包含M中的SD像素(像素FSD(1，1)至FSD(1，4)，FSD(2，1)至FSD(2，4)，FSD(3，1)至FSD(3，4)，FSD(4，1)至FSD(4，4))，并且C是一個4×M2矩陣，其第k行包含 中的第k個SD像素的4個對角相鄰SD像素。每一行的加權和表示如等式5中所使用的像素FSI。為了找出最小MSE，即LMS，計算MSE關于 的導數∂(MSE)∂w→=0---(7)]]>-2y→C+2w→C2=0---(8)]]>w→=(CTC)-1(CTy→)---(9)]]>通過求解等式7就可以得到所述濾波器系數，并且通過使用等式4，能夠計算出所述HD輸出像素的像素值。
在這個例子中，使用了4×4像素的窗口來進行濾波器系數的計算。對更大的窗口(例如用8×8代替4×4)進行LMS優化會給出更好的結果。
附圖1C示意性地表示按照現有技術的圖像轉換單元101的另外一種實施方式。所述濾波器系數確定單元106包括壓縮單元107和含有在訓練處理期間導出的數據的LUT 109。壓縮方案基于檢測在滑動窗口中哪些像素高于該窗口中的像素的平均亮度值和該窗口中的哪些像素低于該窗口中的像素的平均亮度值。該結果對于所述滑動窗口的每一個位置將導致出現一種零(像素值低于平均亮度值)和一(像素值高于平均亮度值)的圖案。這一圖案對應于于所述LUT 109的一個條目。對于所述給定的輸入，在所述LUT 109的各輸出端上，會提供適當的濾波器系數。在由Meng Zhao等人在2002年9月23日至26日于德國厄爾伏特市召開的ISCE 2002會議上發表的名為《縱覽空間上變換技術(Towards an overview of spatial up-conversiontechniques)》的文章中，對現有技術的圖像轉換單元101的實施方式進行了進一步的解釋說明。
附圖2示意性地表示按照本發明的圖像轉換單元200的一種實施方式。這一圖像轉換單元200基本上包括了與分別結合附圖1A以及附圖1C所介紹的圖像轉換單元100和101相同類型的組成部分。區別在于，自適應濾波單元104設置成用于進行非線性操作。根據需要，所述系數確定單元106設置為用于在考慮到所述自適應濾波單元是設置成用于進行非線性操作的情況下而確定濾波器系數的。這意味著對于確定所述濾波器系數來說，有了額外的約束條件。
下面將借助幾個實例來說明不同類型的非線性操作。在這些實例中FSD(i)相當于SD輸入像素的像素值，w1相當于非標準化濾波器系數，FHD是HD輸出像素的像素值。
在線性內插的情況下，所述HD輸出像素的像素值能夠借助等式4計算出來。對于非標準化濾波器系數，這一等式能夠改寫成等式10FHD=W1FSD(1)+W2FSD(2)+W3FSD(3)+W4FSD(4)W1+W2+W3+W4---(10)]]>在表1中，針對按照等式10的FSD(i)、W1和FHD給出了一些實例。
表1線性內插FSD(1) W1FSD(2) W2FSD(3) W3FSD(4) W4FHD10 1 15 18 111 1 1110 3 15 28 111 4 11.210 1 15 18 -1 11 -2510 1 15 38 -2 11 1 16.667
按照本發明一種實施方式，所述自適應濾波單元104設置成用于根據對哪個HD進行內插，在所述SD輸入像素值之間剪輯所述HD輸出像素的像素值的。表2給出了從表1導出的一些實例。將表2中的第4行與表1中的第4行進行比較，可以看出將HD輸出像素值剪輯為最低值，即SD輸入像素值10，15，8，11中的8。將表2中的第5行與表1中的第5行進行比較，可以看出將HD輸出像素值剪輯為所述SD輸入像素值10，15，8，11中的最高值15。
表2使用剪輯的線性內插FSD(1) W1FSD(2) W2FSD(3) W3FSD(4) W4FHD10 1 15 1 81 11 1 1110 3 15 2 81 11 4 11.210 1 15 1 8-111 -2810 1 15 3 8-211 1 15按照本發明的另外一種實施方式，所述自適應濾波單元104設置成用于確定加權中間值作為輸出像素值。在表3中列出了輸入值和輸出值。
表3加權中間值FSD(1) W1FSD(2) W2FSD(3) W3FSD(4) W4FHD10 415 38 511 110在這種情況下，所述加權中間值是通過在所述像素值和相應的濾波器系數的基礎上建立一組值S來確定的。例如，像素值等于10的第一像素的濾波器系數是4。于是這一像素值在所述組S中出現4次。像素值15在所述組S中出現3次。所述加權中間值是通過對組S中的元素進行排序，然后提取排序后的組中的中間元素來確定的。即S＝{8，8，8，8，8，10，10，10，10，11，15，15，15}，而FSD＝10所述像素獲取單元102，所述濾波器系數確定單元106以及所述自適應濾波單元104可以通過使用一個處理器來實現其功能。通常，這些功能是在軟件程序產品的控制下執行的。在執行過程中，通常要將所述軟件程序產品裝載到一個存儲器中，比如隨機存儲器RAM，并且從此處執行。該程序也可以從后臺存儲器中載入，如ROM設備、硬盤或者磁性和/或光學存儲介質，或者可以通過像因特網這樣的網絡載入。可選地，專用集成電路也可以提供所公開的功能。
為了將SD輸入圖像轉換成HD輸出圖像，需要多個處理步驟。借助附圖3A至3D對這些處理步驟加以解釋說明。附圖3A示意性地表示SD輸入圖像；附圖3D示意性地表示由附圖3A的SD輸入圖像得出的HD輸出圖像，而附圖3B和3C示意性地表示中間結果。
-附圖3A示意性地表示SD輸入圖像。每個X標記相當于一個相應的像素。
-附圖3B示意性地表示為了增大分辨率而對附圖3A中的SD輸入圖像添加像素。所述加入的像素用+標記來表示。這些所加入的像素是借助對相應的對角相鄰像素進行內插計算出來的。用于內插的濾波器系數是按照結合附圖2B所介紹的方式確定的。
-附圖3C示意性地表示附圖3B中的圖像在旋轉了45度之后的情形。與用于在附圖3A的基礎上計算附圖3B中示的圖像的圖像轉換單元200相同的圖像轉換單元200也能夠用于在附圖3B中所示圖像的基礎上計算附圖3D中所示的圖像。也就是說，新的像素值是通過對相應的對角相鄰像素進行內插計算出來的。可以注意到，這些對角相鄰像素的第一部分(用X標記表示)與所述SD輸入圖像最初的像素值相對應，而這些對角相鄰像素的第二部分(用+標記表示)則與已經通過內插從所述SD輸入圖像的原始像素值導出的像素值相對應。
-附圖3D示意性地表示最后的HD輸出圖像。在最后的轉換步驟中加入的像素用0標記來表示。
附圖4示意性地表示按照本發明的圖像處理設備400的一種實施方式，其中包括-接收裝置402，用來接收代表SD圖像的信號。該信號可以是通過天線或者電纜接收到的廣播信號，不過也可以是來自諸如VCR(錄像機)或數字通用盤(DVD)這樣的存儲裝置的信號。該信號在輸入連接器408處提供；-結合附圖2B中所介紹的圖像轉換單元404；和-顯示裝置406，用于顯示所述圖像轉換單元200的HD輸出圖像。所述顯示裝置406是選裝的。
所述圖像處理設備400可以是，例如，TV。另外，所述圖像處理設備400可以不包括選裝的顯示裝置，而是將HD圖像提供給包括顯示裝置406的設備。于是所述圖像處理設備400可以是機頂盒、衛星調諧器、VCR播放器或DVD播放機。但它也可以是由電影制片廠或廣播臺采用的系統。
應當注意的是，上述的實施方式是用于說明而非限定本發明，并且本領域的技術人員能夠設計出很多可供選擇的不同的實施方案，而不會超出所附權利要求書的范圍。在權利要求書中，置于括號中的任何附圖標記都不應理解為是對權利要求的限定。詞“包括”并不排除存在權利要求中未列出的裝置或步驟的情況。置于一個元件之前的詞“一個”或“一”并不排除存在多個此種元件的情況。本發明能夠通過包含有多種不同元件的硬件設備以及通過具有合適程序的計算機來實施和完成。在單元權利要求中所列舉的多種構件中，其中所述構件的數個能夠通過同一硬件單位來具體實現。
權利要求
1.一種圖像轉換單元，用于將具有第一分辨率的第一圖像轉換為具有第二分辨率的第二圖像，所述圖像轉換單元包括-系數確定裝置，用于根據所述第一圖像的像素值確定第一濾波器系數；-自適應濾波裝置，用于根據第一圖像的像素值中的第一像素值和第一濾波器系數計算第二圖像的第二像素值，其特征在于所述自適應濾波裝置設置成用于進行非線性操作。
2.按照權利要求1所述的圖像轉換單元，其特征在于所述非線性操作包括根據像素值中的所述第一像素值剪輯一個中間值。
3.按照權利要求1所述的圖像轉換單元，其特征在于所述自適應濾波裝置包括一個順序統計濾波器。
4.按照權利要求3所述的圖像轉換單元，其特征在于所述順序統計濾波器是差順序統計濾波器。
5.按照權利要求3所述的圖像轉換單元，其特征在于所述順序統計濾波器是中值濾波器。
6.按照權利要求1所述的圖像轉換單元，其特征在于所述系數確定裝置包括一個轉化裝置，用于將由像素值中的所述第一像素值的相鄰部分中的像素值得出的數據轉化為第一濾波器系數，所述轉化裝置被設計為以訓練處理為基礎。
7.按照權利要求6所述的圖像轉換單元，其特征在于所述轉化裝置包括查詢表。
8.按照權利要求1所述的圖像轉換單元，其特征在于所述系數計算裝置設置成借助優化算法來計算第一濾波器系數。
9.一種用于將第一圖像序列轉換為第二圖像序列的方法，所述第一圖像序列包括具有第一分辨率的第一圖像和具有所述第一分辨率的第二圖像，所述第二圖像序列包括具有第二分辨率的第三圖像，所述方法包括-根據所述第一圖像的像素值確定第一濾波器系數的步驟；-根據所述第一圖像的像素值中的第一像素值和所述第一濾波器系數計算所述第二圖像的第二像素值的步驟，其特征在于所述計算第二像素值的步驟包括非線性操作。
10.一種圖像處理設備，包括-接收裝置，用于接收與第一圖像相對應的信號；和-按照權利要求1所述圖像轉換單元，用于將所述第一圖像轉換為一個第二圖像。
11.按照權利要求10所述的圖像處理設備，其特征在于還包括用于顯示所述第二圖像的顯示裝置(406)。
12.按照權利要求11所述的圖像處理設備，其特征在于所述圖像處理設備是電視機。
全文摘要
一種圖像轉換單元(200)，用于將具有第一分辨率的第一輸入圖像轉換為具有第二分辨率的輸出圖像，所述圖像轉換單元包括系數確定裝置(106)，用于根據所述第一輸入圖像的像素值確定第一濾波器系數。所述系數確定裝置(106)被設置用于控制自適應濾波裝置(104)，該自適應濾波裝置(104)用于根據第一圖像的輸入像素值和第一濾波器系數計算輸出圖像的像素值。所述自適應濾波裝置(104)設置成進行非線性操作。
文檔編號H04N7/01GK1689322SQ03824040
公開日2005年10月26日 申請日期2003年9月17日 優先權日2002年10月11日
發明者G·德哈恩 申請人:皇家飛利浦電子股份有限公司