專利名稱：動態影像的適應性去交錯方法及裝置的制作方法
技術領域：
本發明涉及一種動態影像的去交錯方法及裝置，特別是一種將動態影像以視場為單位進行計算及判斷處理的具有適應性功能的去交錯方法及裝置。
背景技術：
隨著數字式產品推陳出新，其與模擬式產品的兼容問題隨之衍生。以目前模擬電視的掃描標準而言，普遍被采用的有NationalTelevision Standards Committee(NTSC)及Phase Alternation by Line(PAL)兩種，而日本與美國所采用的NTSC方式是以525條的掃描線來進行隔行掃描(又稱為交錯掃描)，以構成一個圖框(或是稱為畫面；frame)，也就是以1秒30圖框(畫面)的速度，依照第1、3、5、7條掃描線的順序進行掃描，直至第525線，然后再回到第2線，然后以4、6、8的順序進行。因此，交錯視訊信號由兩個視場(field)所組成，而每個視場只包含影像的奇數線或影像的偶數線。由于奇數場和偶數場是由一半的掃描線(即262.5條線)所組成，因此每個奇數場和偶數場只有原來影像一半的分辨率，而每個奇數場和偶數場以1/60秒的速度來顯示。交錯掃描方式的優點在于動態影像顯示流暢，但缺點則是屏幕會產生閃爍，因此衍生出「順序掃描(progressivescan)」技術以克服之。「順序掃描」是以1、2、3連續至525條線，一次順序描繪出所有的掃描線，并且以1秒60格畫面的速度重現，因此其掃描速度是「隔行掃描」的兩倍，而畫面是以525條掃描線在顯示器上顯示，所以畫面非常纖細且清晰，也因此目前先進的影音設備大都已采用此方式來掃描及顯示。然而，現行的NTSC系統的影像信號，仍是采用「交錯掃描」的方式為主，因此若將交錯掃描所組成的畫面在「順序掃描」的顯示系統來顯示時，例如將一經由交錯掃描編輯成的DVD影片直接在高分辨率電視(HDTV)上播放及顯示時，則只能顯示奇數場和偶數場的畫面，因此會使得影像的分辨率變差(因只有原來影像一半的分辨率)。為解決此一問題，就必須使用「去交錯(De-interlace)」的技術來克服，換句話說，「去交錯」就是將交錯掃描轉換成順序掃描的一種方法。
在去交錯處理的技術上，有兩類基本的算法可供選擇，即無移動補償(non-motion compensated)及移動補償(motion-compensated)。其中，無移動補償去交錯算法更包含兩種最基本的線性轉換技術，分別為編織(Weave)及擺動(Bob)。編織是將兩個輸入視場重疊或編織在一起，以產生一個順序圖框；而擺動是僅接受輸入影像的其中一視場(例如只接受偶數線的影像)，而丟棄另一個視場(即奇數線的影像)，因此畫面在垂直方向的分辨率大小會從720×486像素(pixel)降低到720×243像素。這個只有一半分辨率的影像，則通過相鄰掃描線去填補另一線的空隙空間(voids)，以便將影像內插回到720×486像素。
至于移動補償是在一時間中，將兩個具有時間位移視場中的像素位移到一共同點上，以組成一畫面，而其中移動向量的偵測和確認可以是將視場分割成數個宏區塊(macro block)，然后以區塊匹配(block-matching)的程序來執行。其中，以宏區塊作移動向量偵測時，實際上僅選用宏區塊中的亮度(即Y)區塊來執行，而丟棄彩度(即Cr、Cb)區塊，最主要的原因為人類的眼睛對亮度的變化較敏感，而對彩度上的變化則相對遲鈍。因此在減少數據處理量的要求下，MPEG在進行壓縮編碼時，僅以亮度區塊作為移動向量偵測的基準。
由于目前的影像擷取系統(例如一數字攝影機)均采用交錯掃描方式，因此編輯成的DVD盤片必須在交錯顯示裝置上播放，才能顯現出高畫質影像，而且為了消除交錯掃描的缺點，必須在播放裝置上選擇以編織或是擺動的去交錯方法將交錯掃描轉換成順序掃描方式播放。然而，對于動態影像而言，選擇「編織」方式來播放會產生影像對準誤差(misalignment)，因此會出現鋸齒狀或是毛邊的畫面而導致影響畫質；而對于靜態影像而言，選擇「擺動」方式來播放雖然可克服移動影像的影像對準誤差，使動態影像可較清晰及自然，但卻犧牲了靜態影像的垂直分辨率，因此現行的影音播放系統與數字顯示系統在去交錯處理過程中，缺乏一選用適性的去交錯算法的相關機制，無法兼顧動態畫面及靜態畫面的影像品質要求。
此外，有些DVD以靜態影像壓縮標準(Joint Photographic ExpertsGroup；JPEG)或是只以MPEG壓縮標準中的I畫面來編輯，使得該片光盤的動態影像可能僅包含了I畫面來的編碼資料。因此，當影音播放系統在播放此一光盤的影像時，就會因為無法擷取到MPEG壓縮技術中P或B畫面的移動向量而產生不兼容(incompatible)，意即所謂”挑片”問題，致使影音播放系統無法播放此類影片，造成使用上的不方便。
發明內容
本發明的目的在于克服現有技術的不足與缺陷，提供一種動態影像的適應性去交錯處理方法，以視場為去交錯處理單位，以進行動態影像的去交錯處理。
為達上述目的，本發明提供一種動態影像的適應性去交錯方法，其步驟包括首先，根據影像的編碼資料，計算一視場影像移動值。其中，該步驟包括檢測該影像是否含有移動向量。接著，比較該視場影像移動值與一臨界值，以決定一去交錯算法，以作為該動態影像去交錯處理的依據。其中，若此視場影像移動值本質上大于臨界值時，選擇擺動算法作為去交錯處理依據；另一方面，若此視場影像移動值本質上小于臨界值時，則選擇編織算法作為去交錯處理依據，然后再執行該去交錯算法，以完成該動態影像的去交錯處理。
本發明還提供一種動態影像的適應性去交錯處理裝置，包括一檢視單元，其用以接收及檢視一動態影像的編碼資料，并將該動態影像的編碼資料及檢視結果輸出；一計算單元，其將該檢視單元所輸出的該動態影像的編碼資料經過計算及處理后，輸出一視場影像移動值；一判斷單元，其用以接收及比較該視場影像移動值及一第二臨界值，并輸出一決定訊息；一視訊處理單元，其于接收該決定訊息后，選擇一算法以構成該動態影像。
由此，通過本發明的一種動態影像的適應性去交錯方法與裝置，能夠使得現行的影音播放系統(例如VCD及DVD Player)與數字顯示系統(例如HDTV或電漿電視)在去交錯處理的過程中，兼顧動態影像及靜態影像的影像品質，使得高畫質的數字化影像得以呈現，進而滿足觀賞者的視聽品質要求。
圖1為本發明的流程圖；圖2為本發明具體實施例的流程圖；圖3為本發明在無移動向量時的視場影像移動值計算方法的示意圖；圖4為執行本發明的適應去交錯處理功能方塊圖。
圖中符號說明10去交錯處理單元12檢視單元14計算單元 16判斷單元18視訊處理單元 20影像編碼資料單元30存儲單元 32視訊影像緩沖單元40微處理單元50顯示單元具體實施方式
本發明中所利用到的一些壓縮標準及編碼相關的技術及方法，以及MPEG壓縮技術所沿用的現有編碼(encoding)及譯碼(decoding)技術，在此僅作重點式的引用，以助本發明的闡述，而且下述文中的方塊圖，亦并未依據實際的相關位置及完整的連接圖來繪制，其作用僅在表達與本發明特征有關的示意圖。
圖1為本發明的適應性去交錯方法步驟的流程圖，其由步驟110來檢視(detecting)動態影像的影像編碼資料，接著由步驟120來計算輸入影像編碼資料，以獲得一視場影像移動值。在此視場影像移動值計算過程中，當110步驟檢視出輸入影像編碼資料具有移動向量時，即計算移動向量并將移動向量計算結果與一第一臨界值比較后，將該移動向量計算值大于第一臨界值的次數累積，以作為視場影像移動值。此第一臨界值的訂定可依播放影像畫面品質的要求或是播放系統的性能(performance)來決定，即第一臨界值為一可經過程控制改變的值。當110步驟檢視出輸入影像編碼資料不具有移動向量時，則計算該輸入影像編碼資料的奇數視場亮度(Y值)像素的總數及偶數視場亮度(Y值)像素的總數后，選擇一計算方法以輸出一視場影像移動值，其計算方法可選擇以相鄰奇數視場Y值像素總數相減后再取絕對值或是以相鄰偶數視場Y值像素總數相減后再取絕對值，亦或是選擇以相鄰畫面的奇數視場Y值像素總數與偶數視場Y值像素總數差值的絕對值相減后再取絕對值，以作為視場影像移動值。
當獲得視場影像移動值后，即交由步驟130來與一第二臨界值進行比較。此第二臨界值的訂定亦可依播放影像畫面品質的要求或是播放系統的性能以及步驟110所檢視的結果來決定，也就是說，第二臨界值亦為一可經過程控制改變的值。當步驟130比較的結果為視場影像移動值本質上大于該第二臨界值時，則交由步驟140選擇擺動算法進行去交錯處理；當步驟130比較的結果為視場影像移動值本質上小于該第二臨界值時，則交由步驟140選擇編織算法進行去交錯處理，以顯示該動態影像。
前述的具體的實施例請參考圖2，其為本發明以視場為單位的適應性去交錯處理的流程圖。于步驟210判斷與檢視移動向量存在與否，當檢視出輸入影像編碼資料具有移動向量時，于步驟220依MPEG壓縮標準讀取及計算該移動向量，以獲得一移動向量計算值，同時此移動向量可自P畫面或B畫面中擷取，例如，當讀取到P畫面上的每一區塊的移動向量分別為(0，0)、(0，-2)、(1，-3)、(2，5)、(-2，-4)、(-4，8)、(8，-10)、(-6，2)、(-4，-2)、(18，-10)、(-10，-20)、(-16，-30)、(-8，0)、(-4，4)、(-6，2)及(4，-5)。接著將每一移動向量相加并取絕對值后，其所得的移動向量計算值則分別為0、2、4、7、6、12、18、8、6、28、30、46、8、8、8及9。于步驟221比較移動向量值與第一臨界值，當第一臨界值訂定為10時，則計有12、18、28、30及46等5個移動向量計算值大于第一臨界值，故于步驟222及步驟223輸出，并在步驟240中累加，以作為一視場影像移動值，故此例所得到的視場影像移動值為5。再接著于步驟250將步驟240所得的視場影像移動值與一第二臨界值進行比較，當視場影像移動值大于第二臨界值時，則認定此一視場為具有位移的動態視場，因此由步驟260將視場以擺動算法來執行去交錯處理；若視場影像移動值小于第二臨界值時，則認定此一視場為無位移的靜態視場，因此由步驟270將視場以編織算法來執行去交錯處理，并且接著執行步驟280。另一方面，當于步驟210檢視出輸入影像編碼資料不具有移動向量時，例如影像為使用JPEG壓縮標準所編輯的影像，由于沒有移動向量可供計算，因此須經230步驟將每一畫面的奇數視場及偶數視場中具有亮度的像素累加，以獲得奇數視場中具有亮度的像素總數及偶數視場中具有亮度的像素總數，接著由231步驟來選擇一種計算方法來計算不同視場間的像素差值，并將計算結果送到240步驟，以作為一視場影像移動值。
由于沒有MPEG的移動向量編碼資料，故只能檢測到由一連串的I畫面所構成的動態影像，而每一個I畫面是由一奇數視場及一偶數視場交錯而成，因此可以獲得每一畫面的奇數視場及偶數視場中亮度的像素總數。因而，在230步驟中的計算方法可以選擇使用目前畫面的奇數視場中的Y值像素總數減去一參考畫面(可為前一畫面或下一畫面)的奇數視場中的Y值像素總數，然后再取絕對值，以作為視場影像移動值；也可選擇使用目前畫面的偶數視場中的Y值像素總數減去一參考畫面的偶數視場中的Y值像素總數，然后再取絕對值，以作為視場影像移動值；另外，還可以選擇使用將目前畫面的奇數視場與偶數視場中的Y值像素差值的絕對值與一參考畫面的奇數視場與偶數視場中的Y值像素差值的絕對值相減后再取絕對值后，以作為視場影像移動值。上述計算方法可再以圖3來說明。
如圖3A和圖3B所示，例如目前畫面的奇數視場中的Y值像素總數為2887，而參考畫面的奇數視場中的Y值像素總數為2340，故兩相鄰的奇數視場的Y值像素差值的取絕對值為547，此即為視場影像移動值。當選擇使用目前畫面的偶數視場中的Y值像素總數減去一參考畫面的偶數視場中的Y值像素總數時，其Y值像素總數的差值取絕對值后為255，所以此視場影像移動值為255，如圖3C所示。當選擇使用將目前畫面的奇數視場與偶數視場中的Y值像素差值的絕對值與一參考畫面的奇數視場與偶數視場中的Y值像素差值的絕對值相減后再取絕對值后，以作為視場影像移動值的計算方法時，由圖3D所示，其目前畫面的奇數視場與偶數視場中的Y值像素差值的絕對值為202，而參考畫面的奇數視場與偶數視場中的Y值像素差值的絕對值為90，故其相鄰畫面間的Y值像素差值的絕對值為112，因此所得視場影像移動值為112。
將上述不同的計算方法所得的視場影像位移值送到240步驟等待處理。在獲得一第二臨界值的訊息后，例如第二臨界值為250，則再接著將步驟240所得的視場影像移動值與第二臨界值進行比較，當視場影像移動值大于第二臨界值時，則為具有位移的動態視場(motionfield)。因此前述范例中，前兩種計算方法所得的相鄰畫面的奇數視場的視場影像移動值(547)與相鄰畫面的偶數視場的視場影像移動值(255)均大于第二臨界值(250)，故交由步驟260將視場以擺動算法來執行去交錯處理。另外，若視場影像移動值小于第二臨界值時，則為無位移的靜態區塊，故前述范例中的第三種計算方法所得的相鄰畫面間的Y值像素差值的絕對值(112)就小于第二臨界值(250)，因此交由步驟270將視場以編織算法來執行去交錯處理。
由上述詳細的計算過程中，可以進一步地觀察到使用相鄰畫面的奇數視場或是偶數視場計算所得的Y值像素差值較大，因此其對動態影像的靈敏度(sensitivity)會較高；而使用相鄰畫面間的奇數與偶數視場所計算出的Y值像素差值相對較小，故其對動態影像的靈敏度則相對較低。因此當在播放一動態影片時，可優先選擇以相鄰畫面的奇數視場或是偶數視場的Y值像素差值作為視場影像移動值。當然，若已知此播放的影像為一靜態的影片時，例如教學影片，或許可以經過另一控制路徑，例如人為操作，選擇以相鄰畫面間的奇數與偶數視場所計算出的差值來作為視場影像移動值，此時影片會以較多的編織算法來構成影像，因此可以觀看到一相對清晰的影片。
當決定輸入影像的去交錯處理方式后，緊接著要檢查視場是否為畫面的終點(end)。若視場并非畫面的終點時，則依步驟280執行下一個視場的檢視，然后重復執行前述的步驟；若視場為畫面的終點時，則停止處理。
接下來是本發明的具體實施例說明。如圖4所示，其為執行本發明的適應去交錯處理的功能方塊圖，包括一去交錯處理單元10，其與一編碼資料單元20、一存儲單元30中的視訊影像緩沖單元32、一微處理單元40及一顯示單元50相連接；其中去交錯處理單元10更進一步地包括一檢視單元12、一計算單元14、一判斷單元16、以及一視訊處理單元18。
首先，去交錯處理單元10中的檢視單元12，自編碼資料單元20(例如DVD光盤片)中讀取編碼資料，然后將編碼資料中是否包含移動向量的檢視結果，以一信號連系微處理單元40，然后，將編碼數據送到計算單元14；當編碼資料中包含了移動向量時，則微處理單元40會送出一信號至計算單元14，并隨即進行移動向量的萃取及計算，以獲得一移動向量計算值；于此同時，微處理單元40會送出一第一臨界值到計算單元14中，以便將此第一臨界值與移動向量計算值逐一進行比較；在比較過程中，當第一臨界值小于移動向量計算值時，則輸出”1”的信號至累加器(accumulator)，而當第一臨界值大于移動向量計算值時，則輸出”0”的信號至累加器(未顯示計算單元14中)，然后由累加器將累加的結果作為視場影像移動值，并送到判斷單元16中；這里的第一臨界值由微處理單元40依播放影像畫面品質的要求或是播放系統的性能(performance)來決定，即第一臨界值為一可經微處理單元40來進行過程控制(programmable)改變的值。當編碼數據中未包含了移動向量時，則檢視單元12會將編碼資料單元20中的動態影像編碼資料傳遞到計算單元14中；此時，微處理單元40以一信號要求計算單元14將目前畫面(current frame)的奇數視場及偶數視場的Y值像素相加，以獲得目前畫面的奇數視場及偶數視場的Y值像素總數；于此同時，計算單元14亦會接獲來自視訊處理單元18所傳送的參考畫面資料，其中該參考畫面資料可為目前畫面的前一畫面或下一畫面的資料；同樣的，計算單元14亦將此參考畫面(referenceframe)的奇數視場及偶數視場的Y值像素相加，以獲得參考畫面的奇數視場及偶數視場的Y值像素總數；接著，在接依據獲微處理單元40所傳遞的訊息，選擇使用目前畫面的奇數視場中的Y值像素總數減去一參考畫面的奇數視場中的Y值像素總數，然后再取絕對值，以作為視場影像移動值；或是選擇使用目前畫面的偶數視場中的Y值像素總數減去一參考畫面的偶數視場中的Y值像素總數，然后再取絕對值，以作為視場影像移動值；亦或是選擇使用將目前畫面的奇數視場與偶數視場中的Y值像素差值的絕對值與一參考畫面的奇數視場與偶數視場中的Y值像素差值的絕對值相減后再取絕對值后，以作為視場影像移動值。最后，將其中之一的視場影像移動值送到判斷單元16。
當判斷單元16接收到微處理單元40所傳送的第二臨界值后，隨即將視場影像移動值與第二臨界值進行比較，然后將比較的結果以一信號送到視訊處理單元18；若當視訊處理單元18接收到判斷單元16所傳送的比較結果為視場影像移動值大于臨界值的信號時，隨即送出目前所執行去交錯處理所需的影像地址(image address)到視訊影像緩沖單元32，其中影像地址的內容包括了奇數視場及偶數視場的編碼內容；待視訊緩影像沖單元32將各個影像編碼資料自存儲器30中依序傳送回視訊處理單元18后，再以內建(build in)于視訊處理單元18的擺動演算來法完成該區塊的影像的去交錯處理，最后再將處理過的影像送到顯示單元50(例如HDTV、PDP或液晶顯示電視)中顯示；在此同時，視訊處理單元18亦會將自存儲器30所提供的影像編碼資料，送到計算單元14中，以便作為一參考畫面。此外，若當視訊處理單元18接收到判斷單元16所傳送的比較結果為視場影像移動值小于臨界值的信號時，同樣地，隨即送出目前所執行去交錯處理所需的區塊影像地址到視訊影像緩沖單元32；待視訊緩影像沖單元32將各個影像編碼資料自存儲器30中依序傳送回視訊處理單元18后，再以內建于視訊處理單元18的編織演算來法完成影像的去交錯處理，最后再將處理過的影像送到顯示單元50中顯示。另外，視訊處理單元18在持續執去交錯處理的同時，亦持續檢測檢視單元12所讀取的編碼資料，當檢視到編碼資料內容包括畫面的終點時，則結束去交錯處理程序，否則，繼續執行下一個視場的去交錯處理。
本發明前述圖4中所表示的適應去交錯處理的功能方塊圖中，除了作為輸入與輸出的編碼資料單元20與顯示單元50外，雖區分成不同的單元，但這并不表示這些單元一定是獨立存在的裝置，這些單元可依產品的接口規格與需求，作不同的配置與組合。例如，使用在高階的影像處理工作平臺或是可播放DVD影片的個人計算機(PC)時，去交錯處理單元10可嵌入高階系統的中央處理單元(CPU)內或是可單獨制造成一裝置(例如一芯片；chip)而與CPU相連；而若使用在播放機時，例如DVD Player，則去交錯處理單元10可與存儲器30及微處理單元40整合于一芯片上等等。隨著半導體制造技術已邁入0.13微米以下的制程時，單芯片系統(System on a Chip；SoC)的技術亦日益成熟，因此本發明的去交錯處理單元可進一步地與不同應用系統相整合。
以上所述僅為本發明的較佳實施例，并非用以限定本發明的保護范圍；同時以上的描述，對于熟知本技術領域的專業人士應可明了及實施，因此其它未脫離本發明所揭示的精神下所完成的等效改變或修飾，均應包含在權利要求書的范圍中。
權利要求
1.一種動態影像的適應性去交錯方法，其特征在于，包括根據該動態影像的編碼資料，計算一視場影像移動值；比較該視場影像移動值與一臨界值，以決定一去交錯算法，以作為該動態影像去交錯處理的依據；以及執行該去交錯算法，以完成該動態影像的去交錯處理。
2.如權利要求1所述的動態影像的適應性去交錯方法，其中，若該動態影像的編碼資料包含MPEG技術中的P畫面，以及B畫面任一者的移動向量時，該計算該視場影像移動值包括計算該移動向量值；比較該移動向量值與一第一臨界值；以及累加該移動向量計算值大于該臨界值的次數，以作為該視場影像移動值。
3.如權利要求1所述的動態影像的適應性去交錯方法，其中，該計算該視場影像移動值包括根據MPEG技術中的I畫面，以及JPEG技術中的畫面任一者以計算該動態影像的一奇數視場Y值像素總數及一偶數視場Y值像素總數；以及根據該奇數視場Y值像素總數及該偶數視場Y值像素總數，選擇一計算方法，以作為該視場影像移動值的計算依據。
4.如權利要求3所述的動態影像的適應性去交錯方法，其中，該計算方法可為相鄰畫面的奇數視場Y值像素總數相減后再取絕對值，以作為該視場影像移動值。
5.如權利要求3所述的動態影像的適應性去交錯方法，其中，該計算方法可為相鄰畫面的偶數視場Y值像素總數相減后再取絕對值，以作為該視場影像移動值。
6.如權利要求3所述的動態影像的適應性去交錯方法，其中，該計算方法可為相鄰畫面的奇數視場Y值像素總數與偶數視場Y值像素總數差值的絕對值相減后再取絕對值，以作為該視場影像移動值。
7.如權利要求1所述的動態影像的適應性去交錯方法，其中，該比較該視場影像移動值與該臨界值，包括若該視場影像移動值本質上大于該臨界值時，選擇一擺動算法，以作為該動態影像去交錯處理的依據；以及若該視場影像移動值本質上小于該臨界值時，選擇一編織算法，以作為該動態影像去交錯處理的依據。
8.一種動態影像的適應性去交錯處理裝置，其特征在于，包括一檢視單元，其用以接收及檢視一動態影像的編碼資料是否含有移動向量，并將該檢視結果輸出；一計算單元，其將該檢視單元所輸出的該動態影像的編碼資料經過計算及處理后，輸出一視場影像移動值；一判斷單元，其用以接收及比較該視場影像移動值及一第二臨界值，并輸出一決定訊息；以及一視訊處理單元，其于接收該決定訊息后，選擇一算法以構成該動態影像。
9.如權利要求8所述的動態影像的適應性去交錯處理裝置，其中，當該檢視單元的輸出為該動態影像編碼資料中含有該移動向量時，該計算單元擷取及計算該移動向量的值，并將該移動向量計算結果與一第一臨界值比較。
10.如權利要求8所述的動態影像的適應性去交錯處理裝置，其中，當該檢視單元的輸出為該動態影像編碼資料中未含有該移動向量時，則該計算單元將該檢視單元所提供的一目前畫面的奇數視場及偶數視場的亮度像素相加并進行計算，以作為該視場影像移動值并輸出該值。
全文摘要
本發明涉及一種動態影像的適應性去交錯方法及裝置，其將一個動態影像所含有編碼資料，經過計算以獲得一視場影像移動值，然后將視場影像移動值與一可調整的臨界值作比較，當此視場影像移動值大于臨界值時，選擇擺動算法進行去交錯處理；當此視場影像移動值小于臨界值時，則選擇編織算法進行去交錯處理，以構成一高畫質的動態影像。
文檔編號H04N5/265GK1523885SQ20041000365
公開日2004年8月25日 申請日期2004年2月5日 優先權日2003年5月23日
發明者葉丁坤, 熊家豪, 曹盛哲, 邱安德 申請人:威盛電子股份有限公司