專利名稱：圖像處理器和配有這種圖像處理器的圖像顯示設備的制作方法
技術領域：
本發明涉及用于運動補償圖像處理的圖像處理器，包括-存儲單元，用于存儲第一輸入圖像和第二輸入圖像；-運動估計器，用于根據該第一輸入圖像和第二輸入圖像估計運動向量場；以及-運動補償單元，用于根據另一運動向量場以及根據第一輸入圖像和第二輸入圖像計算輸出圖像。
本發明還涉及一種圖像顯示設備，包括-接收機，用于接收包含第一輸入圖像和第二輸出圖像的圖像序列；-用于運動補償圖像處理的圖像處理器，包括-存儲單元，用于存儲第一輸入圖像和第二輸入圖像；-運動估計器，用于根據該第一輸入圖像和第二輸入圖像估計運動向量場；以及-運動補償單元，用于根據另一運動向量場以及根據第一輸入圖像和第二輸入圖像計算輸出圖像；-顯示裝置，用于顯示該輸出圖像。
在G.de Haan 1999年8月發表于IEEE消費電子學報第45卷第3期的論文“用于運動補償解交織、噪聲降低以及圖像速率轉換的IC”(“IC for motion-compensated de-interlacing，noise reduction，and picture rate conversion”，IEEE Transaction on ConsumerElectronics，Vol.45，No.3，August 1999)中，可以了解在起始段所述的這種圖像處理器的一種實施方式。
圖像序列以各種圖像速率輸入電影資料為24、25和30Hz，而視頻通常為50Hz和60Hz。另一方面，電視顯示器在商業上可以利用圖像速率50、60和100Hz，逐行掃描或者隔行掃描。簡單的圖像速率轉換器重復圖像，直到下一圖像到達，這將導致運動發生時的模糊和/或抖動。相似地，解交織有時也來自于圖像重復、或者相鄰行的平均。更先進的解交織思想是施加垂直時間處理，但是這會惡化圖像的發生運動的那些部分。
在上述的論文中記載了在90年代中期出現的消費電視IC，使用運動估計和運動補償來獲得甚至對于運動序列的高性能轉換。該論文揭示了改善的算法，用于運動估計、運動補償解交織、運動補償圖像內插以及運動補償噪聲降低。實施這些算法的IC包含了用于高速緩沖當前和前一圖像的存儲單元、運動估計器和運動補償單元。以下為該IC的工作方式。兩個連續的輸入圖像被接收并被高速緩沖在IC的存儲單元中。根據這些輸入圖像計算運動向量。一個圖像對(即當前圖像和前一圖像)的運動向量組被稱為運動向量場。這些運動向量被提供到運動補償單元，后者執行以上列出的操作。其結果為運動補償輸出圖像。該IC實時執行這些操作。這意味著以相對少的操作數量來實施運動估計算法。盡管該運動估計單元的結果相對較好，但是也會存在錯誤運動向量，導致運動補償圖像中的偽像(artifact)。特別是在圖像的邊界或者在圖像的閉合區域。因此，在這些情形中需要更先進的運動估計。
本發明的第一個目標是提供在起始段所述的那種圖像處理器，它被設計以允許更先進的運動估計。
本發明的第二個目標是在起始段所述的那種具有更先進的運動估計的圖像顯示設備。
實現本發明的第一個目標是通過將該圖像處理器設計成選擇性地從以下裝置接收另一運動向量場-運動估計器；或-外部單元。
它和現有技術的圖像處理器的主要差別在于，運動向量不但可以由圖像處理器自身的運動估計器計算，而且運動向量還可以由外部單元計算，即并非處理器自身的部分的信號源，它被安排用作協處理器。優選地，該協處理器被設計用于執行比該運動估計器的運動估計更先進的運動估計。注意，該另一運動向量場可以對應于運動估計器計算的運動向量場，也可以是由外部單元提供的運動向量場。
依照本發明的該圖像處理器的一個實施例被設計用于提供運動向量場至外部單元，該外部單元被安排用來根據上述運動向量場計算該另一運動向量場。在本實施例中，該運動向量場被交換到外部單元，后者被安排用作協處理器，以改善由該圖像處理器的運動估計器所計算的運動向量場。其優點在于使用了該圖像處理器的可用的運動估計器并且利用外部單元改善了所獲得的運動向量場。該圖像處理器具有兩種操作模式-單遍(one pass)模式第一輸入圖像和第二輸入圖像被接收，并被存儲在該圖像處理器的存儲單元。基于這些輸入圖像計算運動向量。這些運動向量被提供到計算運動補償輸出圖像的運動補償單元。
-兩遍(two pass)模式在兩遍的第一遍中，第一輸入圖像和第二輸入圖像被接收，并被存儲在存儲單元。基于這些輸入圖像計算運動向量。這些運動向量被提供給外部單元。在外部，所接收的運動向量場可以被暫時存儲。但最重要的是，該外部單元被安排用于對該運動向量場執行操作，以便改善該運動向量場。同時，圖像處理器可以繼續處理其它圖像。例如，該圖像處理器的運動補償單元可以計算第二運動補償輸出圖像，或者該圖像處理器的運動補償器可以計算另一圖像對的運動向量場。在兩遍的第二遍中，將對應于第一和第二輸入圖像的另一向量場與第一和第二輸入圖像一起提供給運動補償單元。根據該輸入計算輸出圖像。
在兩遍模式，該第一和第二輸入圖像必須被讀入到存儲單元兩次一次用于第一遍，一次用于第二遍。其結果導致存儲器總線的附加負載。然而，依照本發明被設計在單遍和兩遍模式之間改變的圖像處理器的主要優點是可伸縮性。它允許在一些附加帶寬的代價和圖像質量的增加之間作出選擇。
依照本發明，在該圖像處理器的另一實施例，其中該運動向量場被提供到外部單元，該外部單元被安排用于重新計算該運動向量場的特定運動向量。可以應用該運動向量場的甚至更高級的適配。例如，通過使用候選運動向量的擴展集合來找出適當運動向量。基于多于兩個連續圖像的運動估計也是可能的。
依照本發明該圖像處理器的實施例，其中該運動向量場可以被提供到外部單元，包括一個開關，該開關具有-同該運動估計器相連的第一輸入接頭；-同該外部單元相連的第二輸入接頭；以及-同該運動補償單元相連的輸出接頭，該開關具有
-第一狀態，其中第一輸入接頭被連接到輸出接頭；以及-第二狀態，其中第二輸入接頭被連接到輸出接頭。
該開關的優點在于它使得運動補償單元的設計相對容易。該運動補償單元包含可提供適當的運動補償向量場的一個接口，而不是可能提供另一運動向量場的兩個接口。
在依照本發明的該圖像處理器的實施例中，其中該運動向量場被提供到外部單元，該運動估計器包括第一控制接口，以便允許和/或禁止運動估計器。該第一控制接口的優點在于它使得設計運動估計器單元相對容易。該運動估計器的定時和控制的主要部分在運動估計器之外執行。
在依照本發明的該圖像處理器的實施例中，其中該運動向量場被提供到外部單元，該運動補償單元包括第二控制接口，以便允許和/或禁止運動補償單元。該第二控制接口的優點在于它使得設計運動補償單元相對容易。該運動補償單元的定時和控制的主要部分在運動補償單元之外執行。
在依照本發明的該圖像處理器的實施例中，該運動補償單元被設計執行用于以下操作中的至少一個-解交織通用音頻廣播信號被交織，這意味著連續圖像交替地只包含偶數或者奇數行。解交織試圖恢復完全的垂直分辨率，即，使得奇數和偶數行都可用于每個圖像；-時間圖像內插根據一系列原始輸入圖像計算較大系列的輸出圖像。輸出圖像在時間上位于兩個原始輸入圖像之間。
-時間噪聲降低。這也會涉及空間處理，導致空間-時間噪聲降低。
由于該圖像顯示設備的圖像處理器被設計用于從一組信號源中選擇一個信號源，從而實現了本發明的第二目標，該信號源將該另一運動向量場提供到運動補償單元，并且該組信號源包括-運動估計器；以及-外部單元，將該運動向量場提供到該外部單元。
該圖像處理器的改進及其變化也許對應于所述圖像顯示設備的修改及其變化。
參照附圖，根據此后所述的實施方式和實施例，將進一步闡明本發明的圖像顯示設備和圖像處理器的這些和其它方面，從而使其明白。在附圖中
圖1A示意性地示出了在其環境中的該圖像處理器的實施例；圖1B示意性地示出了該圖像處理器的實施例，包括一個在來自運動估計器的運動向量和來自外部單元的運動向量之間進行選擇的開關；圖2示意性地示出了運行在單遍模式的該圖像處理器實施例中的運動向量場的數據流；圖3A示意性地示出了在兩遍模式的第一遍期間，在該圖像處理器的實施例中運動向量場的數據流；圖3B示意性地示出了在兩遍模式的第二遍期間，在該圖像處理器的實施例中另一運動向量場的數據流；圖4示意性地示出了依照本發明的圖像顯示設備。
在所有的附圖中，相應的附圖標記具有相同的意義。
圖1A示意性地示出了在其環境中的圖像處理器100。該圖像處理器100包括-存儲單元102，用于存儲第一輸入圖像和第二輸入圖像；-運動估計器104，用于根據第一輸入圖像和第二輸入圖像估計運動向量；和-運動補償單元106，用于根據另一運動向量場以及根據第一輸入圖像和第二輸入圖像來計算輸出圖像。
該圖像處理器100被設計用于從一組信號源中選擇一個信號源，所選的信號源將另一運動向量場提供給運動補償單元106，并且該組信號源包括-運動估計器104；以及-外部單元108。
數據總線112被設計用來交換例如輸入和輸出圖像以及運動向量的數據。在總線112上連接了-圖像處理器100；-外部存儲設備110，被安排來存儲輸入和輸出圖像以及運動向量的數據；以及-外部單元108。
圖像處理器的工作原理如下。第一和第二輸入圖像經由數據總線112從外部存儲設備110中獲得，并存儲在存儲單元102中。有可能第一和第二輸入圖像中的所有像素都被同時存儲在存儲單元102中。但是優選地，只是將這些像素的一部分存儲在存儲單元102中。第一和第二輸入圖像分別經由圖像數據路徑116和圖像數據路徑118交換。如果之前沒有計算該圖像對的運動向量場，則第一和第二輸入圖像被提供到運動估計器104。運動向量估計器104計算運動向量場并經由運動向量路徑114將其提供到運動補償單元106。第一和第二輸入圖像經由圖像數據路徑126和128也被提供到運動補償單元106，由其計算相應的輸出圖像。如果之前已經計算了該圖像對的運動向量場，則另一運動向量場被從外部信號源108中獲得，并同該第一和第二輸入圖像一起經由運動向量路徑120被提供到運動補償單元106。基于該輸入，運動補償單元106計算相應的輸出圖像。經由圖像數據路徑115交換輸出圖像。圖像數據經由圖像數據路徑125被提供到外部單元108，并且經由運動向量路徑123從外部單元108中獲得運動向量。運動補償單元106被設計用于執行至少一個以下操作-解交織；-時間圖像內插；或-時間噪聲降低。
優選地，運動估計器104和運動補償單元106按照1999年8月由G.de Haan發表于IEEE消費電子學報第45卷第3期的論文“用于運動補償解交織、噪聲降低以及圖像速率轉換的IC”中所述的算法工作。可選地，也可以根據G.de Haan發表于IEEE學報第86卷第9期的論文“解交織概述”(De-interlacing-An Overview)中所述的另一種方法來執行解交織。
該圖像處理器最好在一片IC上實現。可替換地，也可以使用具有相對大的帶寬的連線互聯的多片IC來實現該圖像處理器。
圖1B示意性地示出了包括開關130的該圖像處理器101的實施方式，開關130有-第一輸入接頭，經由運動向量路徑114和運動估計器104相連；-第二輸入接頭，經由運動向量路徑120和外部單元108相連；以及
-同運動補償單元106相連的輸出接頭，并且開關(130)具有-第一狀態，其中第一輸入接頭被連接到輸出接頭，允許該另一運動向量場被直接從運動估計器104提供到運動補償單元106；以及-第二狀態，其中第二輸入接頭被連接到輸出接頭，允許把該另一運動向量場從外部單元108提供到運動補償單元106。
運動估計器104包含第一控制接口134以便允許和/或禁止運動估計器104，并且運動補償單元106包含第二控制接口132以便允許和/或禁止運動補償單元106。運動估計器104和運動補償單元106的定時和控制的主要部分在這些單元104、106之外執行。
存儲單元102包含用于存儲第一輸入圖像的第一子單元103以及用于存儲第二輸入圖像的第二子單元105。
圖像處理器101被安排用于把運動向量場從運動估計器104分別124經由運動向量路徑113交換到外部單元108。
與圖2有關，根據開關是處于第一狀態還是第二狀態以及該運動估計器104和運動補償單元106被允許還是禁止來描述圖3A和圖3B。
在表1中對其進行了總結。
表1
圖2示意性地示出了在單遍模式運行的該圖像處理器101的實施例中運動向量場的數據流202。如鉤號204和206所示，運動估計器104和運動補償單元106都被允許。開關130處于第一狀態。處理步驟的順序如下。從外部存儲設備110中獲得第一輸入圖像和第二輸入圖像，并且將其高速緩沖在圖像處理器101的存儲單元102中。第一圖像，即所謂的前一圖像，被輸入到子單元103中，而第二輸入圖像，即所謂的前一圖像，被輸入到子單元105。圖像被分成多個段。對于每一段計算運動向量。一幅圖像的所有向量在一起構成了運動向量場。這些運動向量被直接提供到運動補償單元106，由其計算運動補償后的輸出圖像。原則上，運動向量被一個接一個地提供或者在小分組中提供。但是最終提供整個運動向量場。一個接一個地提供運動向量的優點在于，在上一個運動向量已被計算之后相對短的時間之內就可以完成輸出圖像。另一個優點在于，不需要在圖像處理器101中提供存儲空間來存儲整個運動向量場。通常運動向量也被存儲在外部存儲設備110中。
圖3A示意性地示出了在兩遍模式的第一遍期間，在該圖像處理器101的實施例中該運動向量場的數據流302。如附圖標記304和306所示，允許該運動估計器104而禁止運動補償單元106。開關130處于第二狀態。然而，開關130的狀態是無關緊要的，因為禁止了運動補償單元106。處理步驟的順序如下。從外部存儲設備110中獲得第一輸入圖像和第二輸入圖像，并將其高速緩沖在圖像處理器101的存儲單元102中。這些圖像被分成多個段。對于每個段計算運動向量。這些運動向量被暫時存儲在外部存儲設備110中。外部單元108可以訪問這些運動向量。外部單元108被設計用于可選地基于正由運動估計器104計算的運動向量來計算另一運動向量場。由外部單元108計算的另一運動向量場將被圖像處理器101在第二遍中使用。可選地，該另一運動向量場也可以被存儲在外部存儲設備110中。
圖3B示意性地示出了在兩遍模式的第二遍期間，在該圖像處理器101的實施例中另一運動向量場的數據流302。如附圖標記308、310所示，運動估計器104被禁止而運動補償單元106被允許。開關130處于第二狀態。處理步驟的順序如下。從外部存儲設備110中接收第一輸入圖像和第二輸入圖像，并將其高速緩沖在圖像處理器101的存儲單元102中。對應于該第一和第二輸入圖像的特定運動向量由外部信號源108提供，或者從外部存儲器110中獲得。運動補償單元106計算輸出圖像。在第二遍期間的掃描方向，即被處理的分段順序，與第一遍期間的掃描方向無關。換而言之，在第一遍期間，運動向量可以從右下角到左上角計算分段，而在第二遍期間，可以通過例如從左上角到右下角處理分段來創建運動補償后的輸出圖像。這允許改變運動估計器的掃描方向，提高了該算法的收斂速度，盡管運動補償經常應用相同的掃描方向。
外部單元108和圖像處理器101均被設計用于計算與相同的圖像順序有關的運動向量。圖像處理器101被設計用于在第一時隙計算特定圖像對的第一運動向量場。外部單元108被安排用來在第二時隙期間根據第一運動向量場計算特定圖像對的第二運動向量場。在第三時隙期間，圖像處理器101的運動補償單元106使用第二運動向量場來計算輸出圖像。然而外部單元108和圖像處理器101是并行運行的處理器。利用一個實例，列出了并行處理的效果。
在表2中概括了該實例。
表2
在時隙1期間，圖像處理器101的運動估計器104計算圖像對N，N+1的運動向量場F1(N，N+1)，而外部單元108計算圖像對N-1，N的運動向量場F2(N-1，N)。在時隙2期間，圖像處理器101的運動補償單元106使用圖像對N-1，N的運動向量場F2(N-1，N)，而外部單元108計算圖像對N，N+1的運動向量場F2(N，N+1)。注意在此例中，外部單元108比起圖像處理器來可以花費更多的時間計算運動向量場。還應注意，在大多數情況下，只有一部分運動向量場需要改進，因此可以確信兩遍模式可以獲得改進的圖像質量。
圖4示意性地示出了依照本發明的圖像顯示設備400，包括-用于接收圖像序列的接收機402。這些圖像可以被廣播并且經由天線或者電纜接收，也可以來自于類似VCR(盒式磁帶錄像機)或者DVD(數字通用光盤)的存儲設備。該圖像序列被提供到圖像顯示設備400輸入接頭406。圖像序列可以用多種圖像速率電影資料為24、25和30Hz，而視頻通常為50Hz和60Hz；-以聯合圖1B所述的方式實施的圖像處理器101；以及-用于顯示圖像的顯示裝置404。顯示裝置404的類型可以是CRT、LCD或者PDP。顯示裝置404可以用50、60或者100Hz的圖像速率工作并且可以是逐行掃描或者隔行掃描。
還應指出，上述實施例只是示例而非限制本發明，本領域技術人員還可能設計替換實施方式，而不超出附加的權利要求的范圍。在權利要求中，在括號中的任何附圖標記不應被視為對權利要求的限制。單詞“包括”不排除存在權利要求中未列出的元件或者步驟。在元件之前的單詞“一個”也不排除存在多個此類元件。本發明可以利用包括幾個不同元件的硬件實現，也可以利用適當編程的計算機實現。在權利要求書中列舉了多個裝置，這些裝置中的一些可以使用同一硬件實現。
權利要求
1.一種用于運動補償圖像處理的圖像處理器(100，101)，包括-存儲單元(102)，用于存儲第一輸入圖像和第二輸入圖像；-運動估計器(104)，用于根據第一輸入圖像和第二輸入圖像估計運動向量場；以及-運動補償單元(106)，用于根據另一運動向量場以及根據第一輸入圖像和第二輸入圖像計算輸出圖像，其特征在于，該圖像處理器(100，101)被設計用于選擇性地從以下裝置中接收另一運動向量場-運動估計器(104)；或者-外部單元(108)。
2.權利要求1所述的圖像處理器(100，101)，其特征在于，該圖像處理器(100，101)被設計用于將運動向量場提供給外部單元(108)，該外部單元(108)被安排用來根據該運動向量場計算另一運動向量場。
3.權利要求2所述的圖像處理器(100，101)，其特征在于，該外部單元(108)被安排用于重新計算運動向量場的特定運動向量。
4.權利要求2所述的圖像處理器(100，101)，其特征在于，該圖像處理器(100，101)包括開關(130)，該開關(130)包含-與運動估計器(104)相連的第一輸入接頭；-與外部單元(108)相連的第二輸入接頭；以及-與運動補償單元(106)相連的輸出接頭，該開關(130)具有-第一狀態，其中第一輸入接頭被連接到輸出接頭，以及-第二狀態，其中第二輸入接頭被連接到輸出接頭。
5.權利要求2所述的圖像處理器(100，101)，其特征在于，運動估計器(104)包括第一控制接口(134)，以便允許和/或禁止該運動估計器(104)。
6.權利要求2所述的圖像處理器(100，101)，其特征在于，運動補償單元(106)包含第二控制接口(132)，以便允許和/或禁止運動補償單元(106)。
7.權利要求1所述的圖像處理器(100，101)，其特征在于，運動補償單元(106)被設計用于執行以下操作中的至少一個-解交織；-時間圖像內插；或者-時間噪聲降低。
8.一種圖像顯示設備(400)，包括-接收機(402)，用于接收包含第一輸入圖像和第二輸出圖像的圖像序列；-圖像處理器(100，101)，用于運動補償圖像處理，包括*存儲單元(102)，用于存儲第一輸入圖像和第二輸入圖像；*運動估計器(104)，用于根據第一輸入圖像和第二輸入圖像估計運動向量場；以及*運動補償單元(106)，用于根據另一運動向量場以及根據第一輸入圖像和第二輸入圖像計算輸出圖像；-用于顯示輸出圖像的顯示裝置(404)，其特征在于，該圖像處理器(100，101)被設計用于選擇性地從以下裝置中接收另一運動向量場-運動估計器(104)；或者-外部單元(108)。
9.權利要求8所述的圖像顯示設備(400)，其特征在于，圖像處理器(100，101)被設計用于將運動向量場提供給外部單元(108)，該外部單元(108)被安排用于根據運動向量場來計算另一運動向量場。
10.權利要求8所述的圖像顯示設備(400)，其特征在于，運動補償單元(106)被設計用于執行以下操作中的至少一個-解交織；-時間圖像內插；或者-時間噪聲降低。
全文摘要
用于運動補償圖像處理的該圖像處理器(101)包括運動補償單元(106)，用于根據一個特定的運動向量場以及根據第一輸入圖像和第二輸入圖像計算輸出圖像。該特定運動向量場可以由運動估計器(104)或者由外部單元(108)計算，其中運動估計器(104)是該圖像處理器(101)的一部分。圖像處理器(101)被設計用于確定用于計算輸出圖像的該特定運動向量場是來自于哪個信號源，即運動估計器(104)或者外部單元(108)。該外部信號源被設計根據由圖像處理器(101)的運動估計器(104)所提供的運動向量場來計算該特定運動向量場。
文檔編號H04N7/01GK1552160SQ02817458
公開日2004年12月1日 申請日期2002年9月2日 優先權日2001年9月7日
發明者K·A·維塞斯, K A 維塞斯, A·K·里門斯, 里門斯, R·J·舒特坦, 舒特坦 申請人:皇家飛利浦電子股份有限公司