專利名稱：視頻信號處理裝置、視頻信號處理方法和視頻信號處理程序的制作方法
技術領域：
這里討論的實施方式涉及視頻信號處理裝置、視頻信號處理方法和 視頻信號處理程序。
背景技術：
近來，以液晶顯示器(LCD)和等離子顯示面板(PDP)為代表的 具有又大又薄屏幕的電視機是電視機市場的主流。在采用液晶顯示器的 電視機中，由于稱作"保持顯示器"的在16.7毫秒(1/60秒)內持續顯 示同一圖像的系統，與自發光等離子顯示器相比較，會報告出現圖像模 糊。當眼球跟隨畫面上圖像的移動進行連續移動時，由于畫面上的連續 靜止圖像導致眼球的移動與圖像的移動之間不匹配，從而認為出現這種 模糊。為了提高這種運動圖像特性，縮短保持時間是有效的。因此，現 在許多液晶顯示器采用二倍速顯示。
為了實現二倍速顯示，存在在由實際視頻信號形成的原始圖像幀之 間插入黑屏幀的方法和在原始圖像幀之間插入插值幀的方法。圖14是解 釋傳統技術的示意圖。作為插入插值幀的方法，存在在原始圖像幀之間 插入一個插值幀的二倍速顯示方法以及在原始圖像幀之間插入三個插值 幀的四倍速顯示方法，如圖14所示。作為插入插值幀的方法，還存在將 24幀電影視頻轉換成120幀每秒(^)S)的五倍速顯示方法。由于插值幀 生成為插值圖像以插值在原始圖像幀之間，所以在顯示的圖像中會出現 模糊。因此，當插入幀的數量增加時，會損失運動圖像(或者動畫)的 清晰度。
通常，為了減小在放大(或插值)幀中出現的模糊，公開了一種增 強圖像的邊緣的增強處理方法(增強器)。針對形成幀的各像素執行增強 處理以檢測圖像的邊緣，并且在檢測時對邊緣應用增強濾波器，以清楚
4地強調邊緣的方向的亮度差。公開了一種基于搜索運動矢量的結果控制 用于在時間軸方向上進行增強處理的增強濾波器的系數的方法和一種基 于各像素群的運動矢量的可靠性生成插值幀的亮度的方法。
在日本特開2006-91412號公報和日本特表2004-518339號公報中示 例性公開了這樣的傳統技術。
上述傳統技術的問題在于可能不能夠對插入了插值幀的流執行恰 當的增強處理。例如，當對插入了插值幀的流應用傳統增強處理時，不 需要進行增強的原始圖像幀也會增強，因此沒有執行恰當的增強。另外， 傳統的增強處理對整個幀均勻地應用增強濾波器。然而，由于插值幀的 模糊并不均勻地出現于幀內的所有像素中，所以出現如下問題靜止文 本字幕增強太大，因此不能夠進行恰當的增強。
發明內容
本發明的一個目的在于至少部分解決現有技術中的問題。 根據本發明的一個實施方式的一個方面，提供了一種視頻信號處理 裝置，其在由實際視頻信號形成的原始圖像幀之間生成插值幀，該視頻 信號處理裝置包括像素信息生成單元，其生成針對各像素指示生成形 成所述插值幀的像素的過程的信息；系數調整單元，其利用由所述像素 信息生成單元生成的信息針對各像素確定要應用于形成插值幀的像素的 增強程度并且根據所確定的程度針對各像素調整增強濾波器的系數；以 及增強濾波器應用單元，其對形成所述插值幀的像素應用通過所述系數 調整單元針對各像素調整了系數的增強濾波器。
利用在權利要求中具體指出的要素和組合實現并獲得本發明的目的 和優點。
應該理解，上述一般性描述和下面的詳細描述是示例性和解釋性的 并且并非限制所要求保護的本發明。
圖1是解釋根據第一實施方式的視頻信號處理裝置的概要的示意圖；圖2是根據第一實施方式的視頻信號處理裝置的構成的框圖； 圖3是解釋運動矢量搜索的示意圖； 圖4是解釋插值像素的生成的示意圖； 圖5A和5B是解釋增強濾波器的系數的調整的示意圖； 圖6是由根據第一實施方式的視頻信號處理裝置執行的處理步驟的 序列圖7是由根據第一實施方式的視頻信號處理裝置執行的處理步驟的 流程圖8是解釋根據第二實施方式的運動矢量搜索的示意圖； 圖9是由根據第二實施方式的視頻信號處理裝置執行的處理步驟的 流程圖10是根據第三實施方式的視頻信號處理裝置的結構的框圖11是解釋幀率轉換裝置的示意圖12是解釋幀率轉換裝置的另一個示意圖
圖13示出了執行視頻信號處理程序的計算機；以及
圖14是解釋傳統技術的示意圖。
具體實施例方式
下面將參照附圖詳細解釋根據本發明的視頻信號處理裝置、視頻信 號處理方法和視頻信號處理程序的示例性實施方式。首先解釋根據第一 實施方式的視頻信號處理裝置的概要，接下來解釋根據第一實施方式的 視頻信號處理裝置的構成、過程程序和效果。然后，解釋其它實施方式。
首先，參照圖1解釋根據第一實施方式的視頻信號處理裝置的概要。 圖1是解釋視頻信號處理裝置的概要的示意圖。在第一實施方式中，盡 管假定視頻信號處理裝置生成進行二倍速顯示的插值幀，但是本發明不 限于此并且還能夠類似地應用到四倍速顯示和五倍速顯示。
如圖1所示，在根據第一實施方式的視頻信號處理裝置中，幀插值 單元在原始圖像幀之間生成插值幀。此時，幀插值單元生成針對各插值 像素指示如何生成像素的過程的像素插值信息。例如，幀插值單元搜索原始圖像幀之間的運動矢量，并且利用搜索 到的運動矢量生成各個插值像素。此時，針對指示如何生成像素的過程 的像素插值信息，幀插值單元生成"運動矢量經過了插值幀上的像素坐 標"的信息和"運動矢量沒有經過插值幀上的像素坐標"的信息。
接下來，如圖1所示，在視頻信號處理裝置中，增強濾波器系數調 整單元利用像素插值信息針對各插值像素確定將應用到插值像素的增強 程度，并且根據確定的程度針對各插值像素調整增強濾波器的系數。
例如當像素插值信息是"運動矢量經過了插值幀上的像素坐標"的 信息時，增強濾波器系數調整單元確定不增加將要應用到插值像素的增
強程度。增強濾波器系數調整單元將增強濾波器的系數調整為"a-l"。
另外，例如當像素插值信息是"運動矢量沒有經過插值幀上的像素 坐標"的信息時，增強濾波器系數調整單元確定應該增加將要應用到插 值像素的增強程度。增強濾波器系數調整單元然后將增強濾波器的系數 調整為"a>l"。
如圖1所示，在視頻信號處理裝置中，增強濾波器應用單元對形成 插值幀的各插值像素應用具有針對各插值像素調整的系數的增強濾波 器。
例如，增強濾波器應用單元利用針對各插值像素調整的系數"a=l" 來計算增強濾波器的系數"B"，并且對相應的插值像素應用系數"B"。 另外，例如，增強濾波器應用單元利用針對各插值像素調整的系數"cOl" 來計算增強濾波器的系數"B"，并且對相應的插值像素應用系數"B"。
如上所述，根據第一實施方式的視頻信號處理裝置利用指示各插值 過程的生成過程的像素插值信息來針對各插值像素調整增強濾波器的系 數。視頻信號處理裝置對各插值像素應用增強濾波器。因此，視頻信號 處理裝置能夠對插入了插值幀的流執行恰當的增強處理。
例如，在插值像素的過程中，當運動矢量沒有經過插值幀上的像素 坐標時，認為在插值像素中出現模糊。另一方面，當運動矢量經過插值 幀上的像素坐標時，不認為在插值像素中出現模糊。如上所述，插值幀 的模糊不會均勻地出現于所有的插值像素中。在這方面，根據第一實施方式的視頻信號處理裝置基于插值像素的過程確定在插值像素中是否出 現模糊。由此，例如通過進行調整使得不增強靜止文本字幕，能夠恰當 地對流進行增強。
參照圖2到圖5解釋根據第一實施方式的視頻信號處理裝置的構成。 圖2是視頻信號處理裝置的構成的框圖。
如圖2所示，根據第一實施方式的視頻信號處理裝置IO包括幀插值 單元11、增強濾波器系數調整單元12和增強濾波器應用單元13。
幀插值單元11生成原始圖像幀之間的插值幀，并且生成針對各像素 指示生成形成插值幀的插值像素的過程的像素插值信息。具體地講，幀 插值單元11包括矢量搜索單元lla和像素插值單元llb。
矢量搜索單元lla連接到像素插值單元lib,并且搜索原始圖像幀之 間的運動矢量。具體地講，矢量搜索單元lla搜索輸入原始圖像流的原 始圖像幀之間的運動矢量，并且向像素插值單元lib通知搜索的運動矢 量。在第一實施方式中，矢量搜索單元lla搜索一幀的運動矢量，并且 向像素插值單元llb通知這一幀的運動矢量。
參照圖3解釋由矢量搜索單元lla執行的運動矢量搜索。圖3是解 釋運動矢量搜索的示意圖。在圖3中的水平方向上的三條實線之中，上 實線和下實線表示用于搜索運動矢量的原始圖像幀，而中間實線表示要 進行插值的幀。垂直方向上的虛線將像素坐標表示為像素所在的位置。
如圖3所示，矢量搜索單元lla例如利用基于MPEG (運動圖像專 家組)所采用的塊匹配的矢量搜索來對原始圖像幀之間的運動矢量進行 搜索。也就是說，矢量搜索單元lla將原始圖像幀劃分成多個塊，并且 搜索運動矢量的塊單元。矢量搜索單元lla還能夠搜索運動矢量的像素 單元。
當由矢量搜索單元lla搜索到的運動矢量是左向運動矢量時，矢量 搜索單元lla搜索在左向上運動量3的矢量。當由矢量搜索單元lla搜索 到的運動矢量是右向運動矢量時，矢量搜索單元lla搜索在左向上運動 量2的矢量。如圖3所示，左向運動矢量沒有經過插值幀上的像素坐標。 另一方面，如圖3所示，右向運動矢量經過插值幀上的像素坐標。
8像素插值單元llb連接到矢量搜索單元lla、增強濾波器系數調整單 元12和增強濾波器應用單元13。像素插值單元lib生成要進行插值的幀 和像素插值信息。具體地講，像素插值單元llb利用從矢量搜索單元lla 通知的運動矢量生成插值像素和像素插值信息。當像素插值單元lib通 過生成一幀的插值像素生成插值幀時，像素插值單元lib向增強濾波器 應用單元13發送插值幀。當像素插值單元llb通過生成一幀內的插值像 素來生成一幀的像素插值信息時，像素插值單元lib向增強濾波器系數 調整單元12通知所生成的像素插值信息。
參照圖4解釋由像素插值單元lib生成插值像素。圖4是解釋插值 像素的生成的示意圖。當從矢量搜索單元Ua通知的運動矢量經過插值 幀上的像素坐標時(見圖3右側的運動矢量)，像素插值單元Ub平行移 動現有像素以生成要進行插值的像素。例如，如圖4所示，當大小是運 動矢量"mv"的一半的"mv/2"矢量的端點在像素坐標上時，像素插值 單元lib平行于運動矢量"mv"移動原始圖像幀中的現有像素以生成插 值像素。
另一方面，當從矢量搜索單元lla通知的運動矢量沒有經過插值幀 上的像素坐標時(見圖3左側的運動矢量)，像素插值單元llb利用附近 現有像素進行計算來生成插值像素。例如，如圖4所示，當"nw/2"矢 量的端點不在像素坐標上時，像素插值單元lib利用運動矢量"nw/2" 的端點附近的四個現有像素執行雙線性插值計算來生成插值像素。在這 個過程中，通過應用低通濾波器生成插值像素。因此，在生成的插值像 素中出現模糊。
接下來，解釋由像素插值單元lib執行的像素插值信息的生成。根 據第一實施方式的像素插值單元lib針對像素插值信息生成"運動矢量 經過了插值幀上的像素坐標"的信息和"運動矢量沒有經過插值幀上的 像素坐標"的信息。例如通過確定從矢量搜索單元lla通知的運動矢量 除以2獲得的商是否是整數來生成這個信息。
像素插值單元lib能夠設置成僅僅將用于生成插值像素的矢量信息 通知給增強濾波器系數調整單元12作為像素插值信息。在這種情況下，增強濾波器系數調整單元12確定運動矢量除以2獲得的商是否是整數， 并且確定是"運動矢量經過了插值幀上的像素坐標"還是"運動矢量沒 有經過插值幀上的像素坐標"。
增強濾波器系數調整單元12連接到像素插值單元lib和增強濾波器 應用單元13。增強濾波器系數調整單元12利用像素插值信息針對各插值 像素確定要應用到插值像素的增強程度，并且根據確定的程度調整增強 濾波器的系數。具體地講，增強濾波器系數調整單元12利用從像素插值 單元lib通知的像素插值信息針對各插值像素確定增強程度，針對各插 值像素調整增強濾波器的系數，并且向增強濾波器應用單元13通知一幀 的調整系數。
參照圖5A和5B解釋由增強濾波器系數調整單元12執行的增強濾 波器的系數的調整。圖5A和5B是解釋增強濾波器的系數的調整的示意 圖。在第一實施方式中，增強濾波器應用單元13利用圖5A所示的增強 濾波器并且利用圖5B所示的方程計算增強濾波器的系數"B"。 "B"是 正數，附近四個像素的差值用作增強系數。增強濾波器系數調整單元12 針對各插值像素調整系數"a"，由此針對各插值像素調整增強濾波器的 系數。
例如當像素插值信息指示運動矢量經過插值濾波器上的像素坐標 時，增強濾波器系數調整單元12確定要應用于插值像素的增強程度沒有 改變，并且將該系數調整為系數"cc=l"。因此，通過圖5B所示的方程計 算的增強濾波器的系數"B"沒有改變。結果，要應用于插值像素的增強 的程度也沒有改變。
另一方面，例如當像素插值信息指示運動矢量不經過插值濾波器上 的像素坐標時，增強濾波器系數調整單元12確定要應用于插值像素的增 強程度增加，并且將該系數調整為系數"01>1"。通過圖5B所示的方程計 算的增強濾波器的系數"B"是大值。結果，要應用于插值像素的增強的 程度增加。
增強濾波器應用單元13連接到像素插值單元lib和增強濾波器調整 單元12，并且對形成插值幀的各插值像素應用針對各插值像素調整了系數的增強濾波器。具體地講，增強濾波器應用單元n利用從增強濾波器
系數調整單元12通知的一幀的系數針對各插值像素對從像素插值單元lib發送的一幀的插值幀應用增強濾波器。
例如，當增強濾波器應用單元13對一幀的插值幀應用增強濾波器時，
增強濾波器應用單元13利用從增強濾波器系數調整單元12通知的整個
一幀的系數"ct"來針對各插值像素計算整個幀內的增強濾波器的系數
"B"。增強濾波器應用單元13然后針對各插值像素對整個一幀的插值幀應用針對各插值像素計算的整個幀內的增強濾波器的系數"B"。
接下來參照圖6和圖7解釋由根據第一實施方式的視頻信號處理裝置執行的處理步驟。圖6是由視頻信號處理裝置執行的處理步驟的序列圖，而圖7是由視頻信號處理裝置執行的處理步驟的流程圖。
如圖6所示，在視頻信號處理裝置10中，矢量搜索單元lla搜索原始圖像幀之間的運動矢量(步驟S101),并且向像素插值單元llb通知搜索到的運動矢量(步驟S102)。
像素插值單元llb然后生成插值像素和像素插值信息(步驟S103)，并且生成一幀的插值幀(步驟S104)。像素插值單元lib向增強濾波器應用單元13發送所生成的插值幀(步驟S105),并且向增強濾波器系數調整單元12通知生成的像素插值信息(步驟S106)。
接下來，增強濾波器系數調整單元12利用通知的像素插值信息針對各插值像素確定要應用于插值像素的增強的程度(步驟S107)，并且根據確定的程度針對各插值像素調整增強濾波器的系數(步驟S108)。增強濾波器系數調整單元12向增強濾波器應用單元13通知調整后的增強濾波器的系數(步驟S109)。
另一方面，增強濾波器應用單元13利用從增強濾波器系數調整單元12通知的系數對從像素插值單元lib發送的形成插值幀的各插值像素應用增強濾波器(步驟SllO)。
接下來，參照圖7解釋由視頻信號處理裝置10執行的整個處理步驟。視頻信號處理裝置10搜索運動矢量(步驟S201)，生成像素插值信息(步驟S202)，并且確定運動矢量除以2獲得的商是否是整數(步驟S203)。通過確定運動矢量除以2獲得的商是否是整數，視頻信號處理裝置10確定生成插值像素的過程，并且確定是否應該增加增強程度。
當運動矢量除以2獲得的商是整數(步驟S203為是)時，通過平行
移動現有像素生成插值像素。因此，該插值像素的增強程度不應該增加。因此，視頻信號處理裝置10將增強濾波器的系數調整為"a=l"(步驟S204)。另一方面，當運動矢量除以2獲得的商不是整數(步驟S203為否)時，通過應用低通濾波器生成插值像素。因此，該插值像素的增強程度不應該增加。因此，視頻信號處理裝置10將增強濾波器的系數調整為"a>l"(步驟S205)。
然后，視頻信號處理裝置IO針對各插值像素計算增強濾波器的系數"B"(步驟S206),并且對各插值像素應用增強濾波器(步驟S207)。
如上所述，視頻信號處理裝置10在由實際視頻信號形成的原始圖像幀之間生成插值幀。幀插值單元11生成針對各插值像素指示生成形成插值幀的插值像素的過程的像素插值信息。增強濾波器系數調整單元12利用像素插值信息針對各插值像素確定要應用于插值像素的增強程度，并且根據確定的程度針對各插值像素調整增強濾波器的系數。增強濾波器應用單元13對形成插值幀的各插值像素應用針對各插值像素調整了系數的增強濾波器。
如上所述，視頻信號處理裝置10利用針對各插值像素指示生成過程的像素插值信息來針對各插值像素調整增強濾波器的系數，并且對各插值像素應用增強濾波器。從而，視頻信號處理裝置10能夠對插入了插值幀的流執行恰當的處理。
例如，在生成插值像素的過程中，當運動矢量沒有經過插值幀上的像素坐標時，認為在生成的插值像素中出現模糊。另一方面，當運動矢量經過插值幀上的像素坐標時，不認為在生成的插值像素中出現模糊。如上所述，在所有插值像素中沒有均勻出現插值幀的模糊。在這個方面，視頻信號處理裝置10利用關于如何生成插值幀中的插值像素的信息確定在插值像素中是否出現模糊，然后視頻信號處理裝置10針對各插值像素調整增強濾波器的系數。因此，例如通過調整使得靜止文本字幕沒有增
12強可以對流進行恰當增強。
另外，根據第一實施方式的幀插值單元11針對像素插值信息生成指示在原始圖像幀之間搜索到的運動矢量是否經過插值幀上的像素坐標的信息。當像素插值信息指示運動矢量沒有經過插值幀上的像素坐標時，
增強濾波器系數調整單元12確定要應用于由像素插值信息進行表示的像素的增強程度應該增加。增強濾波器系數調整單元12根據確定的程度調整系數。
如上所述，視頻信號處理裝置IO將運動矢量的信息用于像素插值信息。因此，當通過搜索運動矢量執行插值像素的生成時，視頻信號處理裝置10能夠對插入了插值幀的流執行恰當的增強處理。
根據上述第一實施方式的視頻信號處理裝置通過在原始圖像幀之間在一個方向上搜索運動矢量生成插值幀。根據本發明的第二實施方式的視頻信號處理裝置通過在兩個方向上搜索運動矢量生成插值幀。因此，在基于生成插值像素的過程確定增強的程度時，根據第二實施方式的視頻信號處理裝置還利用搜索到的兩個運動矢量之間的關系。
參照圖8解釋根據第二實施方式的運動矢量搜索。圖8是解釋根據第二實施方式的運動矢量搜索的示意圖。當由矢量搜索單元lla搜索到的運動矢量是左向運動矢量時，這些運動矢量具有兩個運動矢量其中之一為另一個運動矢量的逆矢量的逆矢量關系。當由矢量搜索單元lla搜索的運動矢量是右向運動矢量時，兩個運動矢量其中之一不是另一個運動矢量逆矢量。逆矢量是指僅僅是矢量的方向不同的兩個矢量之間的關系，如圖8的左側所示。
當兩個運動矢量其中之一與另一個運動矢量為逆矢量關系時，認為運動矢量的可靠性為高。因此，像素插值單元lib基于這些運動矢量生成插值像素。另一方面，當兩個運動矢量其中之一與另一個運動矢量不是逆矢量關系時，認為運動矢量的可靠性為低。因此，像素插值單元llb利用一種通過進一步混合利用兩個運動矢量生成的插值像素減小誤差的方法生成插值像素。換言之，當沒有獲得逆矢量的關系時，像素插值單元llb有意地在插值像素中生成模糊。因此，增強濾波器系數調整單元12確定運動矢量是否經過插值幀上的像素坐標，并且還確定兩個運動矢量其中之一是否與另一個運動矢量為逆矢量關系。當像素插值信息指示兩個運動矢量其中之一與另一個運
動矢量不是逆矢量關系時，增強濾波器系數調整單元12確定不改變要應用于插值像素的增強的程度而不考慮運動矢量是否經過像素坐標。增強濾波器系數調整單元12將系數調整為"(x-l"。或者，作為確定不改變增強的程度的替代，增強濾波器系數調整單元12能夠確定降低增強的程度。在這種情況下，增強濾波器系數調整單元12將系數調整為"cKl"。
參照圖9解釋這個特征。圖9是由根據第二實施方式的視頻信號處理裝置執行的處理步驟的流程圖。視頻信號處理裝置10搜索運動矢量(步驟S301)，生成像素插值信息(步驟S302)，并且確定運動矢量除以2獲得的商是否是整數(步驟S303)。
當運動矢量除以2獲得的商是整數(步驟S303中為是)時，通過平行移動現有像素生成插值像素。因此，不應該增加插值像素的增強程度。因此，視頻信號處理裝置10將增強濾波器的系數調整為"(x-I"(步驟S304)。
另一方面，當運動矢量除以2獲得的商不是整數(步驟S303為否)時，根據第二實施方式的視頻信號處理裝置IO還確定兩個運動矢量其中之一是否與另一個運動矢量為逆矢量關系(步驟S305)。
當兩個運動矢量其中之一與另一個運動矢量為逆矢量關系(步驟S305為是)時，插值像素的增強程度應該增加。因此，視頻信號處理裝置10將增強濾波器的系數調整為"ct>l"(步驟S306)。另一方面，當兩個運動矢量其中之一與另一個運動矢量不是逆矢量關系(步驟S305為否)時，認為有意地在插值像素中生成模糊，并且不應該增加插值像素的增強程度。因此，視頻信號處理裝置IO將系數調整為"a-l"(步驟S307)。
然后，視頻信號處理裝置IO針對各插值像素計算增強濾波器的系數"B"(步驟S308)，并且對各插值像素應用增強濾波器(步驟S309)。
如上所述，根據第二實施方式的幀插值單元11指示運動矢量是否經過插值幀上的像素坐標，并且還生成指示兩個運動矢量其中之一是否與另一個運動矢量為逆矢量關系的像素插值信息。當像素插值信息指示兩個運動矢量其中之一與另一個運動矢量不是逆矢量關系時，增強濾波器
系數調整單元12確定不增加增強程度，并且根據確定的程度調整系數。
如上所述，視頻信號處理裝置IO將指示兩個運動矢量是否為逆矢量關系的信息用作像素插值信息。因此，當通過在兩個方向上搜索運動矢量執行插值像素的生成時，視頻信號處理裝置IO能夠對插入了插值幀的流執行恰當的增強處理。
盡管在上面解釋了第一和第二實施方式，但是可以通過不同T上述實施方式的各種不同實施方式執行本發明。
在第一和第二實施方式中，假定將固定值用于增強濾波器的系數"B"，如圖5B所示。然而，本發明不限于此。能夠針對各插值像素計算增強濾波器的系數"B"，并且可以將不同的值用于各插值像素。
參照圖10簡要解釋本發明的第三實施方式。圖10是根據第三實施方式的視頻信號處理裝置的構成的框圖。如圖10所示，根據第三實施方式的視頻信號處理裝置20還包括邊緣檢測單元24，該邊緣檢測單元24位于增強濾波器應用單元23的前置級。圖10所示的幀插值單元21、增強濾波器系數調整單元22和增強濾波器應用單元23分別對應于圖2所示的幀插值單元11、增強濾波器系數調整單元12和增強濾波器應用單元13。
邊緣檢測單元24針對各插值像素在從像素插值單元21b發送的插值幀中檢測形成插值幀的各插值像素的邊緣量。為了檢測類邊緣(edge-like)特征，例如，己知的是對外圍3X3像素應用拉普拉斯算子。然后，邊緣檢測單元24針對各插值像素根據檢測到的類邊緣特征計算增強濾波器的系數"B"。當邊緣檢測單元24針對一幀計算增強濾波器的系數"B"時，邊緣檢測單元24向增強濾波器應用單元23發送插值幀，并且向增強濾波器應用單元23通知針對每幀計算出的增強濾波器的系數"B"。
增強濾波器應用單元23利用從增強濾波器系數調整單元22通知的系數"a"針對各插值像素計算從邊緣檢測單元24通知的增強濾波器的系數"B"。增強濾波器應用單元23針對一幀計算增強濾波器的系數"B"，并且對形成插值幀的各插值像素應用計算出的增強濾波器的系數"B"。
上述視頻信號處理裝置例如可以實現為圖11和圖12所示的幀率轉換裝置的一部分。也就是說，如圖11所示，除了幀插值單元110、增強濾波器系數調整單元120和增強濾波器應用單元130以外，幀率轉換裝置100還包括原始圖像幀輸入接收單元101、插值幀插入單元102和輸出單元103。圖11所示的幀插值單元110、增強濾波器系數調整單元120和增強濾波器應用單元130分別對應于圖2所示的幀插值單元11、增強濾波器系數調整單元12和增強濾波器應用單元13。
原始圖像幀輸入接收單元101接收原始圖像幀的視頻流的輸入，并且將輸入接收的原始圖像幀發送給矢量搜索單元110a。原始圖像幀輸入接收單元101還向插值幀插入單元102發送輸入接收的原始圖像幀。插值幀插入單元102將通過增強濾波器應用單元130應用了增強濾波器的插值幀插入在從原始圖像幀輸入接收單元101發送的原始圖像幀之間，并且將插值幀發送給輸出單元103。輸出單元103輸出通過插值幀插入單元102插入了插值幀的視頻流。
例如當需要應用增強濾波器擴展圖像時，能夠如圖12所示實現幀率轉換裝置。也就是說，如圖12所示，幀率轉換裝置200還能夠包括插值幀插入單元202，該插值幀插入單元202位于增強濾波器應用單元230之后。圖12所示的幀插值單元210、增強濾波器系數調整單元220和增強濾波器應用單元230分別對應于圖2所示的幀插值單元11、增強濾波器系數調整單元12和增強濾波器應用單元13。
插值幀插入單元202將通過像素插值單元210b生成的插值幀插入在從原始圖像幀輸入接收單元201發送的原始圖像幀之間，并且將生成的插值幀發送給增強濾波器應用單元230。增強濾波器應用單元230對各插值像素應用調整了系數的增強濾波器。結果，增強濾波器應用單元230對原始圖像幀應用沒有調整系數的增強濾波器("a-l")。增強濾波器應用單元230將應用了增強濾波器的視頻流發送給輸出單元203。輸出單元203輸出插入了插值幀并且應用了增強濾波器的視頻流。
如上所述，增強濾波器應用單元230還具有應用用于放大等的增強濾波器的傳統增強濾波器應用單元的功能。因此，能夠減小成本。
在第一和第二實施方式中，通過確定增強應該增加還是不應該增加來調整系數。然而，本發明不限于此。例如，當兩個方向的運動矢量不
是逆矢量關系時，可以通過確定增強應該減小來將系數調整為"a<l"。除非另外指明，否則在本說明書中描述或者在附圖(例如，圖6、圖7和圖9)中所示的處理步驟、具體名稱和包括各種類型的數據和參數的信息可以任意改變。
在附圖中描述的各個裝置的各個組成要素是功能性概念，并且附圖(例如，圖2、圖10、圖11和圖12)中描述在物理上相同的結構并不總是必需的。也就是說，這些裝置的分布和集成的特定模式不限于這里描述的模式，并且根據各種類型的負載和使用狀態，所有或-一部分裝置能夠在功能上或者在物理上分布或集成在任意單元中。此外，通過各個裝置執行的處理功能的全部或者任意部分可以由中央處理單元(CPU)和由該CPU進行分析和執行的程序來實現或者可以由有線邏輯來實現為硬件。
通過預先準備程序，諸如個人計算機和工作站的計算機能夠執行在以上實施方式中解釋的各種過程。下面參照圖13解釋執行功能與上述實施方式的功能相似的視頻信號處理程序的計算機的一個示例。圖13描述了執行視頻信號處理程序的計算機。
如圖13所示，視頻信號處理程序(計算機)30包括彼此通過總線36連接的高速緩沖存儲器31、 RAM (隨機存取存儲器)32、 HDD (硬盤驅動器)33、 ROM (只讀存儲器)34和CPU 35。 ROM34包括呈現了與上述實施方式的功能相似的功能的視頻信號處理程序。也就是說，ROM34包括矢量搜索程序34a、像素插值程序34b、增強濾波器系數調整程序34c和增強濾波器應用程序34d，這如圖13所示。
CPU 35通過讀取這些程序執行程序34a到34d。如圖13所示，程序34a到34d用作矢量搜索處理35a、像素插值處理35b、增強濾波器系數調整處理35c和增強濾波器應用處理35d。處理35a到35d分別對應于矢量搜索單元lla、像素插值單元llb、增強濾波器系數調整單元12和增強濾波器應用單元13。
各程序34a到34d并不是必需要預先存儲在ROM 34中。例如，這 些程序可以存儲在諸如FD (軟盤)、CD (壓縮盤)一ROM、 MO (磁光) 盤、DVD (數字多功能盤)、光磁盤和插入計算機30中的IC (集成電路) 卡的"便攜式物理介質"、諸如設置在計算機30內部或外部的HDD的"固 定物理介質"或者經由公共線路、互聯網、LAN (局域網)或WAN (廣 域網)連接到計算機30的"另一計算機(或者服務器)"中，并且計算 機從這些介質讀取并執行這些程序。
根據這些實施方式，能夠對插入了插值幀的流執行恰當的增強處理。 這里敘述的所有示例和條件語言是用于教學目的，以幫助讀者理解 本發明和發明人對促進現有技術貢獻的概念，并且解釋為不限于這些具 體敘述的示例和條件，說明書中的這些示例的組織也不涉及本發明的優 劣性的展示。盡管詳細描述了本發明的實施方式，但是應該理解在不偏 離本發明的精神和范圍的情況下可以進行各種改變、替代和改動。
權利要求
1、一種視頻信號處理裝置，其在由實際視頻信號形成的原始圖像幀之間生成插值幀，所述視頻信號處理裝置包括像素信息生成單元，其生成針對各像素指示生成形成所述插值幀的像素的過程的信息；系數調整單元，其利用由所述像素信息生成單元生成的所述信息，針對各像素確定要應用于形成所述插值幀的像素的增強程度，并且根據所確定的程度針對各像素調整增強濾波器的系數；以及增強濾波器應用單元，其對形成所述插值幀的像素應用通過所述系數調整單元針對各像素調整了系數的增強濾波器。
2、 如權利要求l所述的視頻信號處理裝置，其中 所述像素信息生成單元生成指示在所述原始圖像幀之間搜索到的運動矢量是否經過所述插值幀上的像素坐標的信息，作為所述信息，并且 當所述信息指示所述運動矢量不經過所述插值幀上的像素坐標時， 所述系數調整單元確定應該增加要應用于由所述信息表示的像素的增強 程度，并且根據所確定的程度來調整所述系數。
3、 如權利要求2所述的視頻信號處理裝置，其中，所述視頻信號處 理裝置在所述原始圖像幀之間在兩個方向上搜索運動矢量并且生成所述 插值幀，所述像素信息生成單元生成指示在所述原始圖像幀之間搜索到的運 動矢量是否經過所述插值幀上的像素坐標、并且指示在所述原始圖像幀 之間在兩個方向上搜索到的兩個運動矢量其中之一是否與另一個運動矢 量為逆矢量關系的信息，作為所述信息，并且當所述信息指示在所述原始圖像幀之間在兩個方向上搜索到的兩個 運動矢量其中之一與另一個運動矢量不是逆矢量關系時，即使所述信息 指示所述運動矢量不經過所述插值幀上的像素坐標，所述系數調整單元 也確定不增加所述增強程度，并且根據所確定的程度調整所述系數。
4、 一種視頻信號處理方法，其在由實際視頻信號形成的原始圖像幀之間生成插值幀，所述視頻信號處理方法包括以下步驟生成步驟，生成針對各像素指示生成形成所述插值幀的像素的過程的信息；確定步驟，利用通過所述生成步驟生成的所述信息，針對各像素確定要應用于形成所述插值幀的像素的增強程度；調整步驟，根據所確定的程度，針對各像素調整增強濾波器的系數；以及應用步驟，對形成所述插值幀的像素應用通過所述調整步驟針對各 像素調整了參數的增強濾波器。
5、 一種幀率轉換裝置，其通過在原始圖像幀之間插入插值幀來轉換 幀率，所述幀率轉換裝置包括幀插值單元，其生成在所述原始圖像幀之間進行插值的所述插值幀；像素信息生成單元，其生成針對各像素指示生成形成插值幀的像素的過程的信息；系數調整單元，其利用由所述像素信息生成單元生成的所述信息， 針對各像素確定要應用于形成所述插值幀的像素的增強程度，并且根據 所確定的程度針對各像素調整增強濾波器的系數；增強濾波器應用單元，其對形成由所述幀插值單元生成的插值幀的 像素應用通過所述系數調整單元針對各像素調整了參數的增強濾波器； 以及插值幀插入單元，其將通過所述增強濾波器應用單元應用了增強濾 波器的插值幀插入在所述原始圖像幀之間。
全文摘要
本發明提供了一種視頻信號處理裝置，其在由實際視頻信號形成的原始圖像幀之間生成插值幀。幀插值單元生成針對各像素指示生成形成插值幀的像素的過程的像素插值信息；接著，增強濾波器系數調整單元利用像素插值信息針對各像素確定要應用于形成插值幀的像素的增強程度，并且根據所確定的程度針對各像素調整增強濾波器的系數；然后，增強濾波器應用單元對形成插值幀的像素應用通過系數調整單元針對各像素調整了系數的增強濾波器。
文檔編號H04N7/01GK101674448SQ200910151139
公開日2010年3月17日 申請日期2009年7月23日 優先權日2008年9月9日
發明者佐藤輝幸, 山田幸二, 浜野崇 申請人:富士通株式會社