高質量、高性價比的用于高清晰度電視的影片－視頻轉換器的制作方法

專利名稱：高質量、高性價比的用于高清晰度電視的影片－視頻轉換器的制作方法
技術領域：
本發明總體上涉及視頻信號轉換，更具體地涉及對用于高清晰度顯示的電影素材的運動補償的場速率上轉換。
隨著按照先進電視系統委員會(ATSC)數字電視(DTV)標準的廣播的到來，特別是高清晰電視(HDTV)的到來，出現了在高清晰度電視接收機上顯示影片素材的需要。高清晰度電視所用的場速率(即每秒鐘內全場圖象數或幀數)通常至少是50-60Hz并且可高達100-120Hz。但是，由于歷史上的機械-電學的原因，在創制影片素材中所用的電影攝影機傳統上是以每秒24幀的拍攝速率操作的。盡管新型的電影攝影機已經作了改進，但現有的許多影片是以從前標準的拍攝速率攝制的。而且，以24Hz拍攝的影片在轉換到高清晰度的分辨率時提供了與高清晰度的攝象機可相比擬的質量，因而消除了制片公司不再使用傳統攝影機而去購買高分辨率的攝影機的任何積極性。
將影片素材轉換成更高的顯示場速率通常是由簡單的場重復實現的，它利用已知的3∶2下拉或2∶2下拉技術。但是，這樣的由簡單的場重復的場速率上變換會導致每個動作或運動狀態(即幀)被多次顯示，使得運動物體在重復的運動狀態中出現在與它們預期的空間-時間位置稍微偏離的地方。對于慢速物體的動作這會導致運動的模糊，而對快速物體的動作則導致運動的跳變。
為了改善上轉換的影片素材的運動圖象，必須增加運動的狀態(phase)的數量。在將影片素材上轉換到標準清晰度(SD)的電視中已為此總體目標開發了經運動補償的上轉換技術。例如，見G.de Haan等人的《用于經運動補償的去隔行掃描、減少噪聲、和畫面速率轉換的IC》，消費者電子學國際會議(ICEE)，1999，212-213頁，和O.A.Ojo和G.de Huan的《牢固的運動補償視頻上轉換》，IEEE Tr.On ConsumerElectronics，vol.43，No.4，1045-1056頁，(1997年11月)。
除了更高的幀速率外，高清晰度電視還使用了比影片或標準清晰度電視的素材大4到6倍的圖象尺寸。因此，對于高清晰度電視，運動估算的存儲器大小和存儲器帶寬要求由于更高的象素分辨率而要比標準清晰度素材的相應要求高出4到6倍。這些要求向消費者的解決方案提出了可行性的問題。
因此，在本技術領域中具有這樣的需要，即提供一種改進的影片到視頻的運動補償技術以用于將影片素材上轉換到高清晰度電視。
為了解決上面討論的已有技術的缺點，本發明的第一個主要目的是提供一個用于視頻接收機中的視頻轉換器系統，其中高清晰度的視頻信號被預濾波和欠采樣成標準的清晰度的畫面尺寸。然后把用于場速率上轉換的標準清晰度運動估算器用來估算標準清晰度畫面的運動矢量。所得的運動矢量被進行定標以及為了獲得運動的平滑性而進行后處理，以便用于高清晰度畫面的場速率運動補償的上變換。相關的存儲器大小和帶寬要求以及總成本，使得在保持畫面質量的同時，將影片素材經過運動補償的場速率上轉換成為高清晰度視頻的消費電子學的實施在商業上是可行的。
上面所述較為廣泛地概括了本發明的特點和技術優點，這使得熟悉本技術的人們可以更好地理解下面的對本發明的詳細說明。本發明的另外的特點和優點將在此后說明，它們形成了本發明的權利要求的主題。熟悉本技術的人們將會理解，他們可以方便地利用所公開的概念和特定的實施例作為基礎來修改或設計其他的結構以便實現本發明的同樣目標。熟悉本技術的人們同樣會認識到，這樣的等價的構造并不背離本發明在最廣泛形式上的精神和范圍。
在下面進行本發明的詳細說明之前，對在整個專利文件中所使用的某些單詞或詞組提出它們的定義可能是有益的術語“包含”和“包括”以及它們的衍生詞指的是沒有限制的包含，術語“或”是內含的，指的是和/或，詞組“相關聯”和“與其相關的”以及它們的衍生詞可以指包括、被包括在內、與之相連、包含、被包含在內、連接到或與之連接、耦合到和與之耦合、與之相聯系、與之相合作、相交錯、并置、鄰近于、結合到或與之相結合、具有、具有什么性質、或其類似意義，術語“控制器”指的是任何設備、系統或其一部分，它控制至少一種操作而不論這樣一個設備是用硬件、固件、軟件或它們中的至少兩個的某種組合所實現的。應該注意，與任何特定的控制器相關聯的功能可以是集中的或分散的而不論是本地的還是遠程的。某些單詞和詞組的定義在整個本專利文件中將會提供，對本技術有一般了解的人們將理解這樣的定義適用于即使不是絕大多數也是許多使用這些已經定義過的單詞和詞組的已有的以及將來的例子中。
通過結合附圖來閱讀下面的說明，可以達到對本發明以及它的優點的更完整的理解，在這些圖中同樣的數字指相同的對象，其中

圖1表明按照本發明的一種實施例的視頻系統，它使用了改進的影片素材運動補償并經上轉換以用于高清晰度電視顯示；圖2表明更加詳細的按照本發明一種實施例的影片-高清晰視頻轉換器系統；以及圖3圖示了按照本發明一種實施例的用于影片-高清晰視頻轉換器系統的使用鄰近相關性的運動補償；和圖4是按照本發明的一種實施例的從影片到高清晰視頻轉換過程的高級別流程圖。
下面(從圖1到圖4)所討論的以及用來說明在本專利文件中的本發明的原理的各種實施例僅僅是作為解釋之用的并且不應以任何方式理解為對本發明范圍的限制。熟悉本技術的人們將理解，本發明的原理可以用任何合適地設計的器件來實施。
圖1表明按照本發明的一種實施例的視頻系統，它使用了改進的影片素材運動補償并經上轉換以用于高清晰度電視顯示。系統100包括視頻接收機101，它在示范的實施例中是一臺接收地面的、衛星的或電纜廣播的高清晰度數字電視(HDTV)接收機。不過，接收機101也可以替換地是一臺中間的收發器或者任何別的用來接收或收發視頻信號的設備，例如，重新發送視頻信息以便由高清晰度電視接收的收發器。在任何一種實施例中，接收機101包括如下面要更詳細說明的運動補償機理。
接收機101包括用于接收視頻信號的輸入端102，并且可任選地包括用于將視頻信號發送到另一設備的輸出端103。在示范實施例中，接收機包括一個高清晰度電視顯示器104，在其上顯示按照本發明的改進的運動補償技術所生成的或以別的方法產生的圖象。
熟悉本技術的人們會觀察到圖1并沒有清楚地顯示示范實施例的高清晰度電視接收機內部的所有部件。只有高清晰度電視機中那些公知的結構和操作以及對本發明是獨特的和/或為了理解本發明所必需的那些部件才在這里顯示和說明。
圖2更詳細地表明按照本發明的一個實施例的影片-高清晰度視頻轉換器系統。視頻轉換器系統200是在視頻接收機101之內實施的，并包括輸入端102a和102b，它們用于分別接收標準清晰度和高清晰度視頻信號。從輸入端102b接收的高清晰度視頻信號，雖然具有高清晰度顯示所要求的增加了的圖象分辨率，但仍然需要對場速率進行上轉換以用于高清晰度顯示。視頻轉換器系統200還分別包括標準清晰度和高清淅度輸出103a和103b。
在本發明中，運動補償處理是在縮小了的圖象上實現的而不是在全尺寸的高清晰圖象上實施運動估算的。這減少了復雜性和對存儲器的要求，同時增大了運動的范圍，這可能適合于利用標準清晰度分辨率信號所使用的現有運動估算器。
在視頻轉換器系統200中的復用器201允許從輸入端102a-102b根據可利用性和輸出的需要來選擇標準清晰度或高清晰度的視頻信號。視頻接收機101的另一部分(未示出)可實現空間分辨率的上轉換以產生高分辨率的場。當選擇高清晰度視頻信號時，各個幀首先經下轉換或次采樣以轉換成標準清晰度的分辨率，這是由預濾波器和欠采樣單元202實施的。
由單元202所實施的欠采樣可使用一個欠采樣因子，它隨不同的高清晰度尺寸序列而變化(例如，對于1440×1080大小畫面的垂直和水平方向的欠采樣因子都是2，或對于1920×1080大小畫面的垂直和水平方向的欠采樣因子都是3或者在水平方向是3而垂直方向是2)。預濾波在單元202中是在欠采樣之前實施的，以防止起混淆作用的人為因素(aliasing artifacts)。這樣，可以根據下式來實施在兩個方向都用因子2或3來對預濾波的內容進行欠采樣If(H_size＞1440 and H_size＜＝2160)or(V_size＞1152and v_size＜＝1728)downsample factor＝3else if(H_size＞720)or(V_size＞576)downsample factor＝2else downsample factor＝1{不需要欠采樣，標準分辨率畫面}這里H_size是每行象素數而V_size是每幀行數。大于2160×1728的畫面需要欠采樣因子為4或更大，不在本示范實施例中實現。
然后利用一種現有的標準清晰度運動估算器203例如PhilipsSemiconductor IC SAA 4992(它還為標準清晰度視頻信號提供運動補償過的去隔行掃描、噪聲抑制、以及畫面速率轉換)來產生對欠采樣的標準清晰度尺寸的幀的運動矢量，最好是以運動矢量覆蓋方式，這里的運動矢量是作為色度數據覆蓋在畫面上的以便不要附加功能而可被提取。運動補償的去隔行掃描、噪聲抑制、以及畫面速率轉換也可以由運動估算器203來實現。
然后，由運動估算器203所產生的標準清晰度運動矢量由下式定標成高清晰度速度mvxHD[(downsample factor)xi，(downsample factor)xj]＝(downsample factor)x mvx(Ij)mvyHD[(downsample factor)xi，(downsample factor)xj]＝(downsample factor)x mvy(Ij).可以看出，運動矢量的速度(大小)和位置都被加以定標，這使得在標準清晰度畫面中使用于2×2象素塊的運動矢量將能應用到(下采樣因子×2)×(下采樣因子×2)象素的塊上。這樣，如果欠采樣因子是2，則2×2象素的塊所用的標準清晰度運動矢量當被應用到高清晰度象素時，就被定標成標準清晰度畫面尺寸的4倍，從而使同樣的運動矢量與4×4象素塊相關。
定標導致運動矢量的準確度的損失。例如，由SAA4992集成電路運動估算器產生的運動矢量是精確到0.25個象素。在用因子2定標后，運動矢量公稱的精度為0.5個象素，然而在預濾波和欠采樣期間的平滑會使真正的精度變得不那么精確。因此，定標后的運動矢量并不非常可靠，尤其是在邊緣。
因此，定標后的運動矢量要由單元204進行后處理。為了使定標的運動矢量適合于高清晰度的分辨率，需要進行后處理。例如上面所說明的大的量化因子(用于4×4的塊的2×2塊的運動矢量)會引起煩人的人為產物，尤其是在畫面中的物體邊緣。因此，為了運動的平滑性需要進行后處理，以便在塊內將各象素的標準清晰度總體速度細化成局部速度。
在對定標的標準清晰度運度矢量細化之后，在上轉換單元205內實施高清晰度運動補償。上轉換的一個普遍的方法是取平均值，其中，給定一幀、一場、以及相關聯的運動矢量，來自幀和場的運動補償的象素被取平均值。如果運動矢量是精確的，即對于幀和對于場的運動補償的象素值是相同的，那么這個方法是簡單而有效的。不然的話，對于幀和對于場的運動補償的象素值之間的差異會在進行平均時引起畫面的模糊。
在例如大的運動區域的情況下取平均是有用的，因為如果不能實現良好的運動補償，由于對錯誤的補償取平均值，取平均值將掩蓋在畫面之內的錯誤的運動矢量并且同時會使畫面模糊。由于對象區域是快速移動的，眼睛不能觀察到任何情況下的微小細節。但是，這種模糊在慢速移動的區域將成為不能接受的。因此，在下列情況使用取平均值如果來自幀的運動補償的象素接近于來自場的運動補償的象素，在這種情況下可以假定運動矢量是精確的；或者如果運動矢量在給定區域內有高的速度，這時在連續的幀中有快速移動的特定區域。
圖3圖示了按照本發明的一個實施例的用于影片-高清晰視頻轉換器系統的使用鄰近相關性的運動補償。為了在不需要另外的運動估算的情況下避免畫面的模糊，將鄰近相關性應用到運動補償中。根據標準清晰度畫面而產生的合適地定標的運動矢量(即，在時間T的(前一個)高分辨率幀A、在時間T+1的(后一個)高分辨率幀B、以及運動補償過的場中的因果區域(象素A1-A5和相應的象素B1-B5))都是可以得到的，從而可以實施當產生在時間T+1/2處的中間插入的運動補償的高清晰度場C中的運動補償。
如前面所指出的，定標的運動矢量在全局上是準確的，但不能準確到0.5個象素或更小，相反，定標的運動矢量只能準確到一個或兩個象素，這意味著當運動補償是用取均值來實現時，邊緣將會模糊。不過，通過利用(a)幀A運動補償象素和(b)場B運動補償象素這兩者中的僅僅一種而不是把這兩者都取均值，則可以避免模糊。
考慮場C中的象素C4，以及為該象素尋找合適的值的問題。幀A中的象素A4是對應于適動補償的象素C4的象素，而象素B4是對應于象素C4的場B中運動補償的象素。如果象素A4和B4取平均值C4=A4+B42]]>如果A4和B4差別很大，則意味著不是運動矢量不準確就是在該象素上有一個區域被運動所覆蓋或未被覆蓋，這時應避免取平均值而只有兩個象素A4和B4中的一個(而不是同時兩個)應該被用來作運動補償，這就是說，C4＝A4或C4＝B4。對A4或B4的選擇是在象素C4的鄰近象素和A4和B4象素相應的鄰近象素之間的相關性的基礎上作出的。如果象素C4的有因果關系的相鄰象素和A4象素的相對應的鄰近象素區域匹配，則象素A4的值被選作象素C4的值；如果不匹配，則象素B4的相鄰象素和象素C4的相鄰象素是可以相比較的，如果在一定范圍內匹配，則象素B4的值被選作象素C4的值if(A_correlation＜threshold)C4＝A4else if(B_correlation＜threshold)C4＝B4where A_correlation＝|(A1-C1)|+|A2-C2)|+|(A3-C3)|+|A5-C5)|，and B_correlation＝|(B1-C1)|+|B2-C2)|+|(B3-C3)|+|B5-C5)|.
使用來自場C的已經作了運動補償的相鄰象素有助于驗證這一情況，即來自正確的幀/場的象素值已被利用。許多由于取平均值而引起的模糊被消除，從而給出一個鮮明的經過運動補償的圖象。在區域被覆蓋或未被覆蓋的情況下，這個運動補償的方法允許在兩個可用的象素值中選擇更好的一個，從而改善了覆蓋或未覆蓋的區域。
圖4是按照本發明的一個實施例的從影片到高清晰視頻轉換過程的高級別流程圖。該過程400從接收到要作場速率上轉換的視頻信號(401步)開始。如果收到的視頻信號是屬于高清晰度的空間分辨率或其尺寸大小的，則接收到的場首先要經過預濾波和欠采樣到標準清晰度的空間分辨率(402步)。
然后實施按照已知技術的對欠采樣的標準分辨率視頻場的運動估算(403步)，然后將所得的運動矢量經過定標和后處理以用于高清晰度視頻場的場速率上轉換(404步)。其后再利用經過定標和后處理的運動矢量對高清晰度視頻場的場速率進行帶有運動補償的上轉換(405步)。這一過程重復進行直到視頻信號消失或因其它原因終止為止。
本發明對為高清晰度顯示而上轉換的電影素材的運動畫面提供了高性價比的改進。在對欠采樣的標準清晰度場上估算的用于高清晰度場的場速率上轉換的運動矢量的細分，可以提供更好的畫面質量，尤其是保持了更多的鮮明度，這比傳統方法所得到的更好。
重要的是要指出，雖然本發明是在一個完整功能的視頻接收機的環境下說明的，但熟悉本技術的人們將理解，本發明的至少部分機理是可以用含有各種形式的指令的機器可用的介質的形式來傳播的，同時本發明對于在實際進行傳播時所使用的不論何種具體的信號載體都同樣適用。機器可用的介質的例子包括非易失性硬編碼類型的介質，例如只讀存儲器(ROM)或可擦除電可編程只讀存儲器(EEPROM)，可記錄類型的介質，例如軟盤、硬盤驅動器、光盤只讀存儲器(CD-ROM)或數字多用盤(DVD)，以及傳輸型的介質，例如數字或模擬通信鏈路。
雖然本發明已作了詳細說明，熟悉本技術的人們將會懂得，在不違背最廣義形式上的本發明的精神和范圍的情況下，可以對在這里公開的發明實現各種改變、替代、變化、提高、微小差異、分級、縮減形式、變形、修正、改進以及拆散。
權利要求
1.一種用于高性價比地將影片素材經過運動補償的場速率上轉換成為高清晰度視頻的視頻轉換器系統100，包括-標準清晰度運動估算器203，它產生運動矢量以便用于標準清晰度大小的場的運動補償的場速率上轉換；-定標單元204，它為運動矢量定標以便用于高清晰度場速率上轉換；以及-場速率轉換器205，它利用定標的運動矢量來進行高清晰度大小的場的運動補償的場速率上轉換。
2.如權利要求1提出的視頻轉換器系統100，還包括欠采樣單元202，它將接收到的高清晰度大小的場欠采樣成標準清晰度大小的場，根據該標準清晰度大小的場，標準清晰度運動估算器203產生運動矢量。
3.如權利要求2提出的視頻轉換器系統100，其中定標單元204對定標的運動矢量進行后處理，以便在場速率上轉換過的高清晰度大小的場內使運動平滑。
4.如權利要求2提出的視頻轉換器系統100，其中如果來自前一幀A的經運動補償的象素值與來自相繼一場B的經運動補償的象素值的差是在一個閾值之內，場速率轉換器205就對中間場C的運動補償取平均值。
5.如權利要求2提出的視頻轉換器系統100，其中場速率轉換器205在對中間場C實施運動補償時，選擇來自前一幀A的經運動補償的象素值和來自相繼一場B的經運動補償的象素值中的一個作為中間場C的經運動補償的象素值。
6.如權利要求5提出的視頻轉換器系統，其中如果來自前一幀A的經運動補償的象素值和在中間場C中預測的運動補償的象素值之間的差小于一個閾值時，則場速率轉換器205選擇來自前一幀A的經運動補償的象數值作為中間場C的經運動補償的象素值。
7.如權利要求6提出的視頻轉換器系統100，其中如果來自前一幀A的經運動補償的象素值和在中間場C中預測的運動補償的象素值之間的差不小于該閾值，則如果來自相繼的場B的經運動補償的象素值和在中間場C中的預測的運動補償的象素值之間的差小于該閾值，于是場速率轉換器205選擇來自相繼場B的經運動補償的象素值作為中間場C的經運動補償的象素值。
8.一種視頻接收機，包括一輸入端102，用于接收視頻信號；以及-視頻轉換器系統200，用于高性價比地將影片素材經運動補償的場速率上轉換成高清晰度視頻，包括-標準清晰度運動估算器203，它產生運動矢量以便用于標準清晰度大小的場的經運動補償的場速率上轉換；-定標單元204，它為運動矢量定標，以便用于高清晰度場速率上轉換；以及-場速率轉換器205，它利用定標的運動矢量來進行高清晰度大小的場的經運動補償的場速率上轉換。
9.如權利要求8提出的視頻接收機101，其中視頻轉換器系統200還包括欠采樣單元202，它將接收到的高清晰度大小的場欠采樣成標準清晰度大小的場，根據該標準清晰度大小的場，標準清晰度運動估算器203產生運動矢量。
10.如權利要求9提出的視頻接收機101，其中定標單元204對定標的運動矢量進行后處理，以便在場速率上轉換過的高清晰度大小的場內使運動平滑。
11.如權利要求9提出的視頻接收機101，其中在來自前一幀A中的經運動補償的象素值與來自相繼一場B中的經運動補償的象素值的差是在一個閾值之內時，場速率轉換器205就對中間場C的運動補償取平均值。
12.如權利要求9提出的視頻接收機101，其中場速率轉換器205在為中間場C實施運動補償時，選擇來自前一幀A的經運動補償的象素值和來自相繼一場B的經運動補償的象素值中的一個作為中間場C的經運動補償的象素值。
13.如權利要求12提出的視頻接收機101，其中如果來自前一幀A的經運動補償的象素值和在中間場C中預測的運動補償的象素值之間的差小于一個閾值時，則場速率轉換器205選擇來自前一幀A的經運動補償的象素值作為中間場C的經運動補償的象素值。
14.如權利要求13提出的視頻接收機101，其中如果來自前一幀A的經運動補償的象素值和在中間場C的預測的運動補償的象素值之間差不小于閾值，則如果來自相繼的場B的經運動補償的象素值和在中間場C中預測的運動補償的象素值之間的差小于該閾值，于是場速率轉換器205選擇來自后繼場B的經運動補償的象素值作為中間值C的經運動補償的象素值。
15.一種高性價比地將影片素材經運動補償的場速率上變換成高清晰度視頻的方法400，包括-產生運動矢量以便用于標準清晰度大小的場經運動補償的場速率上變換；-對運動矢量進行定標以便用于高清晰度場速率上轉換；以及-利用定標的運動矢量來進行高清晰度大小的場的經運動補償的場速率上轉換。
16.如權利要求15提出的方法400，還包括將接收到的高清晰度大小的場欠采樣成標準清晰度大小的場，以便用于產生運動矢量。
17.如權利要求16提出的方法400，還包括對定標的運動矢量進行后處理，以便在場速率上轉換后的高清晰度大小的場內使運動平滑。
18.如權利要求16提出的方法400，還包括如果來自前一幀A的經運動補償的象素值和來自相繼的場B的經運動補償的象素值之差在一閾值以內，則對中間場C的運動補償取平均值。
全文摘要
高清晰度視頻信號由視頻轉換器系預濾波和欠采樣成標準清晰度的畫面大小。然后利用供場速率上轉換用的標準清晰度運動估算器來估算標準清晰度畫面的運動矢量。所得到的運動矢量進行定標和后處理，以用于高清晰度畫面的經運動補償的場速率上轉換使運動平滑。相關的存儲器大小和帶寬要求使得用來將影片素材經運動補償的場速率上轉換成高清晰度視頻的消費電子產品實施成為在保持畫面的質量的同時在商業上是可行的。
文檔編號H04N7/46GK1451235SQ01804575
公開日2003年10月22日 申請日期2001年11月23日 優先權日2000年12月6日
發明者N·R·丹特瓦拉, O·A·奧喬 申請人:皇家菲利浦電子有限公司