活動圖像回放設備、活動圖像回放方法及其程序的制作方法

專利名稱：活動圖像回放設備、活動圖像回放方法及其程序的制作方法
技術領域：
本發明涉及活動圖像回放設備、活動圖像回放方法及其程序。例如，本 發明可以應用到用于從記錄介質(諸如硬盤、光盤等)回放活動圖像(moving image)的回放設備。在本發明中，在記錄介質上記錄已經通過將關于每個像 素的活動圖像A-Z調制(delta-sigma modulate )成為A-Z調制數據(delta-sigma modulated data)產生的活動圖像數據。在回放時間，將該A-Z調制數據經歷 關于每個像素的過濾處理，以便被轉換成視頻數據。因此，本發明允許用戶 以比以前更高的分辨率回放用戶想要的活動圖像。
背景技術：
到目前為止，在集成照相機的記錄與回放設備中，從成像裝置進行光柵 掃描產生的輸出信號經歷模數轉換處理，然后經歷白平衡調節、顏色轉換處 理、曝光補償等，并且記錄在記錄介質上。此外，已經通過成像裝置的電荷 存儲時間的設置來設置快門速度。也已經通過成像裝置的驅動信號的設置來 設置幀速率。同時，已經通過稀疏要輸出的相鄰幀(thin consecutive frames )， 來在回放時間進行快進播放(fast-forward playback )，并且已經通過以根據回 放速度的時間間隔重復輸出同 一 幀來以慢運動方式(in slow motion )回放活 動圖像。
另一方面，近年來，對于靜止圖像的記錄設備，諸如數字照相機等，市 場上提供省掉了白平衡調節、顏色轉換處理、曝光補償等，直接將RAW數 據(通過成像裝置的輸出信號的模數轉換而獲得)記錄到記錄介質上的一些 設備。在直接記錄這種RAW數據的情況下，與在記錄之前進行白平衡調節、 顏色轉換處理、曝光補償等的情況相比，在回放時間減少圖像質量的退化并對圖像質量進行各種調節成為可能。
關于這樣的成像設備，國際公告No.W02006/25232說明書已經公開了這 樣一種配置，其中借助成像裝置的光電轉換的結果被關于每個像素進行A-2: 調制。
附帶地，在活動圖像的相關技術的回放中，存在這樣的問題那些技術 在輸出具有用戶從實用立場角度希望的高分辨率的活動圖像方面還不夠。
也就是說，在活動圖像的相關技術的回放中，當進行慢運動方式的回放 時，才艮據回放速度重復同一幀，因此以平滑運動(smooth motion)回放活動 圖像變得很困難。此外，在這種情況下，還出現模糊運動。相反，當進行快 進回放時，稀疏要回放的相鄰幀，因此活動變成偶爾發生跳躍。因此，在這 種情況下，以平滑運動回放活動圖像也變得很困難。從而，關于活動圖像的 相關技術的回放存在這樣的問題輸出具有用戶關于可變速度的回放而希望 的高分辨率的活動圖像很困難。
在這一點上，在慢運動回放中，作為平滑運動并用以進一步防止模糊運 動(motion blurring )的方法，考慮以高幀速率獲得成像結果然后通過記錄介 質以低幀速輸出該活動圖像的方法。然而，在這種情況下，當以正常回放速 度進行回放時，以與上述快進回放的情況相同的方式稀疏要回放的相鄰幀。 從而，運動變成偶爾發生跳躍，因此，在這種情況下，以平滑運動回放活動 圖像也變得很困難。此外，在這情況下，還出現不均勻紊亂(jerkiness disturbance )。在快進回放的情況下也出現同樣的問題。在這一點上，在這種 情況下，考慮通過借助圖像數據的內插計算處理組合多幀來創建一幀的方法。 然而，在這種方法中，存在這樣的問題附加地提供具有大存儲容量的緩沖 器成為必需，并且配置變得復雜。
此外，在活動圖像的相關技術的回放中，當內容包括快速運動圖像(諸 如體育運動等)時，通過快速快門(fast-speed shutter)抓取圖像并且在回放 時間以小模糊運動回放該活動圖像成為可能。此外，當內容包括慢速活動圖 像(諸如戲劇等)時，最好通過開放快門(open shutter)抓取圖像。然而， 在活動圖像的相關技術的回放中，不允許在回放時間中改變快門速度，因此， 關于快門速度的設置存在這樣的問題難以輸出具有用戶希望的高分辨率活 動圖像。

發明內容
本發明已經在上述觀點下做出。希望提出允許用戶以比以前更高的分辨 率回放用戶想要的活動圖像的活動圖像回放設備、活動圖像回放方法及其程 序。
根據本發明的實施方式，提供活動圖像回放設備，包括數據回放部分， 用于回放通過關于每個像素的、相鄰幀的像素值進行A-Z調制而生成的A-Z 調制數據；視頻數據回放部分，用于關于每個像素使用過濾器對由數據回放 部分回放的A-Z調制數據進行過濾處理，以便回放視頻數據；以及控制部分， 用于控制該過濾處理。
此外，根據本發明的另一實施方式，提供回放活動圖像的方法，包括步 驟從記錄介質回放數據，該數據是通過關于每個像素的、相鄰幀的像素值 進行A-Z調制而生成的△ J調制數據；對回放關于每個像素的數據的步驟回 放的A-Z調制數據進行過濾處理，以便回放視頻數據；控制該過濾處理。
此外，根據本發明的另一實施方式，提供用于回放活動圖像的視頻數據 的方法的程序，該程序包括步驟從記錄介質回放數據，該數據是通過關于 每個像素的、相鄰幀的像素值進行A-Z調制而生成的A-i:調制數據；對回放 關于每個像素的數據的步驟回放的A-Z調制數據進行過濾處理，以便回放視 頻數據；控制該過濾處理。
借助于本發明的實施方式上述配置，通過在過濾處理的控制下改變要供
應給過濾處理的樣本數量，進行與視頻數據的快門速度的變化對應的處理成 為可能。此外，通過改變對于A-Z調制數據的過濾處理的周期(cycle),進行與 視頻數據的回放速度的變化對應的處理成為可能。從而，在過濾處理的控制 下以想要的快門速度和回放速度輸出視頻數據，進而以平滑運動、在可變速 度下回放視頻數據成為可能。此外，在慢運動回放的時間等下設置各種快門 速度并且回放想要的活動圖像成為可能。從而，以比以前更高的分辨率回放 用戶想要的活動圖像成為可能。
通過本發明，用戶以比以前更高的分辨率回放用戶想要的活動圖像成為 可能。


圖1是圖解將要應用到根據本發明的第一實施方式的記錄與回放設備的
回放部分的配置的框圖2是圖解根據本發明的第 一 實施方式的記錄與回放設備的框圖3是圖解將要應用到根據本發明的第四實施方式的記錄與回放設備的
回放部分的配置的框圖；以及
圖4是圖解圖3的回放部分的積分器的處理過程的流程圖。
具體實施例方式
在下面，將參考附圖給出本發明的實施方式的詳細描述。
第一實施方式
1、實施方式的配置
圖2是圖解根據本發明的第一實施方式的記錄與回放設備的框圖。在記 錄與回放設l中，記錄部分2接收由于高幀速率而以高速度抓取的圖像數據 Dl的輸出，對每個像素的圖像數據D1進行A-Z調制，并生成包括一位或多 位、與圖像數據Dl具有相同幀速率的經A-Z調制的碼串(在以下稱為A-Z 調制數據)D2。在這點上，在這種情況下，例如，國際公開No.W02006/25232 說明書，可以關于每個像素直接處理高幀速率下的抓取結果，以作為A-Z調 制數據D2生成。
在監視時間，分發部分3直接向選擇部分4輸出A-Z調制數據D2,而在 記錄時間，分發部分3向存儲部分5輸出△ -Z調制數據D2 。存儲部分5是△ -Z 調制數據D2的記錄和回放部分，在記錄時間，將從分發部分3輸入的A-Z 調制數據D2記錄并保持到記錄介質(諸如光盤、硬盤等)上。此外，存儲 部分5依次從記錄介質回放A-Z調制數據D2，以在控制器7的控制下輸出數 據。
在監視時間，選擇部分4將從分發部分3輸入的A-Z調制數據D2輸出 到回放部分6。在回放時間，選擇部分4也將存儲部分5輸出的A-Z調制數 據D2輸出到回放部分6。
回放部分6是處理從選擇部分4輸入的A-Z調制數據D2以便回放視頻 數據D3的視頻數據回放部分。回放部分6對從選擇部分4輸入的A-Z調制 數據D2進行過濾處理，以便以預定幀速率輸出視頻數據D3。
也就是說，如圖1所示，回放部分6關于每個像素使用抽選過濾器處理 A-Z調制數據D2，以輸出視頻數據D3。因此，關于各個像素，回放部分6
配備有圖像處理部分IIA、 IIB、……、IIN，每個都具有抽選過濾器。這里， 圖像處理部分IIA、 IIB、……、11N除了每個具有要處理的不同像素外，具 有相互同樣的配置。從而，在以下，將僅僅給出圖像處理部分IIA的詳細描 述，而省略重復的描述。
這里，例如，圖像處理部分IIA從以光柵掃描的次序的順序輸入的A-Z 調制數據D2中選擇分配來進行處理的像素的A-i:調制數據D2,以便輸入數 據到緩沖存儲器12。緩沖存儲器12依次接收A-i:調制數據D2的輸入，保持 預定數量的樣本。圖像處理部分IIA也通過積分器13的指令將A-i:調制數 據D2輸出并保持到積分器13。
積分器13通過從控制部分14輸出的積分開始信號ST,在與從控制器7 輸出的積分期間(period) DW對應的范圍中，從緩沖存儲器12獲得A-Z調 制數據D2，并積分該數據。此時，積分器13設置用于根據積分期間DW正 規化積分結果的加權因子，并通過使用該加權因子的經加權積分來執行積分 處理。從而，圖像處理部分IIA借助于緩沖存儲器12和積分器13構成抽選 過濾器，并在基于積分開始信號ST的周期的過濾處理的周期上，基于與積分 期間DW對應的樣本數量的A-Z調制數據D2的積分值，輸出像素值D4。這 里，積分期間DW限定在以高幀速率輸入的多幀圖像數據Dl組合成一幀圖 像時多個幀的數量。
樣本保持電路(SH) 16樣本保持(sample hold)從積分器13輸出的像 素值D4,并輸出該值。控制器14根據從控制器7輸出的更新期間信息DT 改變積分開始信號ST的定時，并輸出該積分開始信號ST。
輸出部分18臨時存儲從每個圖像處理部分IIA、 IIB、……、IIN輸出的 像素值D4，并以光柵掃描的順序輸出該值，因此，回放部分6將輸出部分 18的輸出數據作為視頻數據D3輸出。從而，回放部分6在基于積分開始信 號ST的周期的幀周期上，在積分期間DW,以光柵掃描的順序，基于相鄰像 素值D4，輸出視頻數據D3。
這里，通過在積分開始信號ST的周期上組合具有高速幀速率的圖像數據 Dl的、對應于積分期間DW的多幀產生照這種方式輸出的視頻數據D3的一 幀。從而，視頻數據D3變成等效于以基于在A-i:調制數據D2的幀周期上的 積分開始信號ST的周期的幀速率，以基于積分期間DW的快門速度抓取的 數據。因此，在回放部分6，如果使用抽選過濾器供應給過濾處理的樣本數
量隨積分期間DW的變化而變化，則執行與視頻數據D3的快門速度的變化 對應的處理成為可能。而如果關于A-Z調制數據D2的過濾處理的周期隨積 分開始信號ST的周期的變化而變化，則執行與視頻數據D3的回放速度的變 化對應的處理，并進一步執行與視頻數據D3的幀速率的變化對應的處理成 為可能。
因此，控制器7通過用戶響應于操作員的操作控制每個部分的操作，以 改變積分期間DW和積分開始信號ST。也就是說，當用戶指令監視圖像數據 時，控制器7使得回放部分6通過分發部分3和選擇部分4輸入從記錄部分 2輸出的A-2:調制數據D2，并處理A-Z調制數據D2以輸出視頻數據D3。此 外，當用戶指令記錄圖像數據Dl時，控制器7使得存儲部分5從分發部分3 輸入A-Z調制數據D2以記錄該數據到記錄介質上。此外，當用戶指令存儲 部分5的回放時，控制器7使得存儲部分5回放A-i:調制數據D2，并且通過 選擇部分4將被回放的A-Z調制數據D2輸入到回放部分6。
在這種控制中，控制器7響應用戶指令，輸出更新期間信息DT到回放 部分6的每個圖像處理部分IIA、 IIB、……、IIN，從而設置視頻數據D3的 幀速率。此外，控制器7指令與用戶所指令給每個圖像處理部分11A、11B、……、 11N的快門速度對應的積分期間DW,從而設置視頻數據D3的快門速度。因 此，控制器7根據視頻數據D3的幀速率改變關于A-Z調制數據D2的過濾處 理的周期，并且還改變根據快門速度供應給過濾處理的樣本數量。
具體地說，例如，當以幀速率60[fps]輸出視頻數據D3時，控制器7輸 出更新期間信息DT，以便在周期1/60[s]上積分，從而設置過濾處理的周期到 1/60[s]。此外，在這種情況下，當通過開放快門以1/60[s]的快門速度輸出視 頻數據D3時，控制器7將積分期間DW設置成積分與1/60 [s]的快門速度 對應的期間的樣本數量。另一方面，如果用戶從開放快門增加或減少快門速 度，則控制器7設置積分期間來響應用戶操作而增加或較少積分樣本的數量。 也就是說，例如，當用戶指令1/120 [s]的快門速度時，控制器7將積分期間 DW設置成積分與1/120[s]的快門速度對應的期間的樣本數量。此外，當用戶 指令l/30[s]的快門速度(其大于開放快門的快門速度)時，控制器7將積分 期間DW設置成積分與1/30[s]的快門速度對應的期間的樣本數量。
另一方面，如果以120[fps]的幀速率輸出視頻數據D3，則控制器7輸出 更新期間信息DT以在周期1/120[s]上積分，從而將過濾處理的周期設置到 1/120 [s]。此外，在這種情況下，控制器7根據用戶指令的快門速度設置積分 期間DW。
此外，當用戶指令慢運動回放或快進回放時，控制器7控制存儲部分5 的操作，使得輸入到回放部分6的A-Z調制數據D2的位速率變成與用戶指 令的回放速度對應的位速率。也就是說，在這種情況下，例如，如果用戶指 令以半速度(half speed )慢運動回放，則控制器7控制存儲部分5的操作來 將A-2:調制數據D2以針對存儲部分5的記錄時間的位速率的一半的位速率 回放。此外，相反，如果用戶指令以倍速快進回放，則控制器7控制存儲部 分5的操作來將A-Z調制數據D2以針對存儲部分5的記錄時間的位速率的 兩倍的位速率回放。
此外，在這種情況下，控制器7以視頻數據D3的幀速率設置更新期間 信息DT，從而改變A-Z調制數據D2的幀速率，并改變A-Z調制數據D2的 取樣處理周期以便以預定幀速率輸出變速度回放視頻數據D3。此外，控制 器7設置積分期間DW，使得積分范圍像回放速度與此相應地改變那樣改變 那么多。也就是說，在開放快門的時間，控制器7設置積分期間DW為與相 對于A-Z調制數據D2改變了的取樣處理的周期那么多。因此，例如，當以 半速度進行慢運動回放時，控制器7將積分期間DW設置到標準回放速度的 期間的一半的期間。此外，控制器7根據用戶指令改變積分期間DW。
2、實施方式的操作
利用上述配置，在記錄與回放設備l (圖2)中，將具有高速率的圖像數 據D1依次輸入到記錄部分2，并且關于每個像素將該圖像數據D1通過A-Z 調制轉換成A-Z調制數據D2。在監視時間，A-Z調制數據D2通過分發部分 3和選擇部分4被輸入到回放部分6，并且一皮轉換成視頻數據D3以便在這里 輸出到外部設備。另一方面，通過用戶的記錄指令，A-Z調制數據D2被輸 入到存儲部分5，并且由存儲部分5依次進行記錄。此外，通過用戶的回放 指令，回放記錄在存儲部分5中的A-i:調制數據D2，以便通過選擇部分4輸 入到回放部分6,并且由回放部分6回放視頻數據D3。
因此，在記錄與回放設備l，將基于具有高幀速率的圖像數據D1的活動 圖像記錄到記錄介質上，作為已經關于每個像素進行了 △ -Z調制的△ -Z調制 數據D2，并且由每個部分進行處理。這里，與利用相關技術的高速照相機的 拍攝相比，作為已經關于每個像素進行了A-Z調制的A-Z調制數據D2可以
以很低的位速率保證高圖像質量。因此，在這種實施方式中，具有高幀速率
的活動圖像以A-Z調制數據記錄在記錄介質上。此外，通過執行每個部分中 的處理，可以減少記錄介質的消耗量，還可以有效地避免每個部分中的處理 速度和傳輸率的增加。
此外，在回放部分6(圖1)中，A-Z調制數據D2被分發給關于每個像素 的圖像處理部分11A、 IIB、……、IIN，并且輸入到每個圖像處理部分IIA、 IIB、……、IIN的緩沖存儲器中，以保持預定數量的樣本。此外，保持在緩 沖存儲器12中的A-Z調制數據D2由積分器13根據更新期間信息DT，在積 分開始信號ST的定時處積分。從而，A-Z調制數據D2在更新期間信息DT 指示的過濾周期上經歷使用基于緩沖存儲器12和積分器13的抽選過濾器的 過濾處理，并且被轉換為指示每個像素的像素值的數據D4。通過樣本保持電 路16樣本保持像素值數據D4,然后以光柵掃描的順序排序(sort),并輸出 到輸出部分18，作為視頻數據D3。
因此，在回放部分6中，具有高幀速率的A-Z調制數據D2的多個幀關 于每個像素、由過濾處理進行組合，以產生視頻數據D3。從而，可以通過改 變這種過濾處理的周期來改變^L頻數據D3的幀速率。此外，通過改變關于 A-^調制數據D2的過濾處理的周期，可以動態地改變回放速度。此外，通 過改變供應給過濾處理的樣本數量，可以動態地改變快門速度。
從而，在這個實施方式中，已經允許僅僅在拍攝時間當時設置的幀速率 和快門速度，可以在回放時間設置成不同。因此，徹底地解決了相關技術關 于變速速度回放和快門速度的不便，并且允許用戶以其所希望的高分辨率回 放活動圖像。
也就是說，通過根據為視頻數據D3請求的回放速度來改變關于A-i:調
制數據D2的過濾處理的周期，可以改變基于A-i:調制數據D2的視頻數據 D3的幀速率。因此，在這個實施方式中，通過根據視頻數據D3的回放速度 來改變A-i:調制數據D2的幀速率，來改變關于A-Z調制數據D2的過濾處理 的周期，從而使得不同地改變視頻數據D3的回放速度成為可能。
此外，在這個時間，通過改變供應給過濾處理的樣本數量，來改變快門 速度。將快門速度設置成好像由高速快門以高速度抓取的活動圖像以慢運動 方式回放，從而使得防止模糊運動并且以具有平滑運動的慢運動方式回放活 動圖像成為可能。此外，在正常回放速度下，將快門速度設置到開放快門，
因此，可以有效地通過平滑運動避免不均勻紊亂。此外，在快進回放等情況 下，可以進一步降低快門速度，從而以平滑運動回放活動圖像。
此外，當以恒定回放速度進行回放時，可以不同地改變快門速度。例 如，當圖像正在快速運動(諸如體育運動等)時，可以通過短快門速度執行 回放。當圖像正在慢速運動(諸如戲劇表演等)時，可以通過長快門速度執 行回放。因此，可以使用最適合內容的觀看方法。
此外，可以根據外部設備設置幀速率。因此，通過設置幀速率使得外部
設備的能力可以被完全施展(exercise)，可以高圖像質量地觀看各種內容。 也就是說，如果外部設備的幀速率與要從記錄介質回放的視頻數據的幀速率 不同，則已經需要執行用于轉換幀速率到最新的處理。例如，這種幀速率轉 換是將電影創建的24P視頻數據轉換到60P視頻數據的處理，因此圖像質量 退化是不可避免的。然而，通過這個實施方式，可以輸出具有想要的幀速率 的視頻數據，而不會有圖像質量的退化。 3、實施方式的優點
利用上述配置，將已經通過將關于每個像素的活動圖像A-Z調制成A-Z 調制數據所生成的活動圖像數據，記錄到記錄介質上。在回放時間時，A-Z 調制代碼串經歷過濾處理以轉換成視頻數據。從而，可以以比以前更高的分 辨率回放用戶想要的活動圖像。
具體地說，通過將抽選過濾器應用到這種過濾器，可以以比以前更高的 分辨率回放用戶想要的活動圖像。
也就是說，通過改變關于A-Z調制數據的過濾處理的周期，來改變視頻 數據的回放速度。從而，可以通過不同地改變回放速度來以平滑運動方式回 放活動圖像。
此外，通過改變被供應給過濾處理的樣本數量來改變視頻數據的快門速 度，可以以快門速度的不同設置來回放活動圖像。具體地說，可以以一個幀 周期或以上的快門速度來輸出視頻數據，而這是在相關技術的拍攝的時間通 過快門速度的設置難以實現的。因此，可以進一步提高視頻內容表達能力 (power of expression )。
此外，通過改變過濾處理的周期來改變視頻數據的幀速率，可以通過不 同地改變幀速率來輸出視頻數據。
進一步地，更具體地說，由依次接收A-i:調制數據的輸入并且保持關于
預定數量的樣本的數據的緩沖器，以及積分保持在該緩沖器中的A-Z調制數 據的積分器，構成該過濾器。因此，通過借助于這種積分器的積分的周期以 及將由該積分器進行積分的樣本數量的控制，控制過濾處理。從而，用戶可 以以其所希望的、比以前更高的分辨率回放活動圖像。 第二實施方式
在該實施方式中，例如，以恒定幀速率回方文通過應用非線性編輯系統而
在存儲部分5上記錄的A-Z調制數據D2，以產生視頻數據D3，并且將視頻 數據D3記錄到記錄介質。在該實施方式下，記錄與回放設備除了與A-i;調
制數據D2和視頻數據D3相關的圖像處理部分11A........ 1 IN的控制不同
以外，具有與第一實施方式中的記錄與回放設備相同的配置。因此，在以下， 將使用圖1和圖2的配置給出描述。
在該實施方式中，控制器7根據視頻數據D3的回放速度來改變更新期 間信息DT，從而改變過濾處理的周期。因此，改變關于A-Z調制數據D2的 過濾處理的周期，并且不同地改變視頻數據D3的回放速度。此外，為了與 過濾處理的周期的變化對應，由積分期間DW改變供應給過濾處理的樣本數 量。因此，當以半速度執行慢運動回放時，分別將過濾處理的周期和樣本數 半。 、 、；.、、。、、口 、
此外，積分期間DW響應于用戶操作進行改變，以便不同地改變快門速度。
以與這個實施方式同樣的方式，通過根據^L頻數據的回放速度改變過濾 處理的周期來改變關于A-Z調制數據的過濾處理的周期，并且通過不同地改 變視頻數據的回放速度，可以獲得與第 一 實施方式相同的效果。
第三實施方式
在這個實施方式中，根據外部設備，進一步關于每個內容、關于每一幀 或關于每多個幀，動態地改變要回放的視頻數據D3的幀速率、快門速度以 及回放速度。在這個實施方式中，記錄與回放設備具有除了該配置中的這些 動態可變單元以外，具有與第一實施方式中的記錄與回放設備相同的配置。 因此，在以下，將使用圖1和圖2的配置給出描述。
在該實施方式中，控制器7通過視頻數據D3輸出到的外部設備的連接 來檢測該外部設備的可用幀速率。此外，控制器7設置過濾處理的周期和樣
本數量使得以所檢測到的幀速率輸出視頻數據D3。因此，控制器7根據外部 設備動態地設置視頻數據D3的幀速率。
此外，屬性檢測部分(圖中未示出)檢測和記錄圖像數據Dl的屬性。 在這一點上，這里，所述屬性是直接或間接地指示圖像數據Dl中的運動的 信息。間接地指示運動的屬性信息包括例如節目類型(諸如戲劇、體育運動、 電影)、更詳細的類型(諸如動作電影、言情電影、恐怖電影等)。另一方面， 直接地指示運動的屬性信息包括例如關于每一幀平均，使用運動矢量檢測電 路，針對每個預定塊檢測到的運動矢量而產生的運動信息。
當控制器7回放快速運動內容的A-Z調制數據D2并且基于間接屬性信 息將該數據作為視頻數據D3輸出時，控制器7設置關于過濾處理的樣本數 量以便增加快門速度。從而，控制器7關于每個內容動態地改變快門速度。
此外，對于快速運動場景，控制器7改變關于過濾處理的樣本數量，以 便基于運動矢量檢測到的運動信息增加關于每個幀或關于每多個幀的快門速 度。從而，控制器7動態地改變關于每個幀或關于每多個幀的快門速度，以 便以進一步高的分辨率輸出視頻數據D3。此外，當用戶指令改變快門速度 時，控制器7基于按照這種方式改變的快門速度來改變快門速度。
此外，當外部設備是能夠應付各種幀速率的設備時，如果該設備可以應 付幀速率的動態變化，則控制器7設置過濾的周期，使得快速運動內容的幀 速率按照間接運動信息增加，并且相應地改變要進行過濾處理的樣本數量。
從而，控制器7動態地改變關于每個內容的幀速率。
此外，進一步，對于快速運動場景，控制器7設置關于每個幀和關于每 多個幀的過濾的周期，以便按照直接運動信息增加幀速率，并且相應地改變 要進行過濾處理的樣本數量。從而，控制器7動態地改變關于每個幀和關于 每多個幀的視頻數據D3的幀速率。
通過改變這些幀速率，當視頻數據D3的輸出通過家庭網絡等輸出到外 部設備時，控制器7以高分辨率傳送視頻數據D3，并盡可能多地減少關于該 網絡中視頻數據D3的傳輸的負擔，從而根據連接到該網絡的各個設備提高 該網絡的實際效率。
此外，進一步，通過用戶改變操作模式，控制器7根據運動信息來改變 回放速度，并且設置關于每個幀或每多個幀的過濾的周期，以便減少關于快 速運動場景的回放速度。此外，控制器7與此相應地改變要進行過濾處理的樣本數量。此外，控制器7改變與回放速度的變化對應的、將要由存儲部分
5處理的A-Z調制數據的幀速率。因此，控制器7動態地改變回放速度，并 且例如，在決定性時刻(諸如體育運動節目中的球門場景)，控制器7自動 以慢運動方式回放場景。在這點上，在這種情況下，控制器7可以檢測高潮 等，并且可以代替運動信息或除了運動信息之外，動態地改變過濾處理的周 期或將要供應給過濾處理的樣本數量。
與該實施方式一樣，通過動態改變過濾處理的周期以及供應給過濾處理 的樣本數量，可以以更高的分辨率回放活動圖像。
具體地說，通過根據基于A-i:調制數據的活動圖像的屬性，改變過濾處
理的周期和/或供應給過濾處理的樣本數量，可以以更高的分辨率回放活動圖像。
此外，進一步，通過根據基于A-i:調制數據的活動圖像的運動信息，改 變過濾處理的周期和/或供應給過濾處理的樣本數量，可以根據活動圖像場景 來動態地改變快門速度、回放速度以及幀速率，并以更高的分辨率回放活動 圖像。
第四實施方式
圖3是圖解將應用到根據本發明的第四實施方式的記錄與回放設備的回 放部分的配置。這個實施方式的記錄與回放設備具有運動矢量檢測電路，并 在記錄的時間，通過該運動矢量檢測電路，檢測關于每個宏塊的圖像數據D1 的運動矢量MV。此外，記錄與回放設備將所檢測到的運動矢量MV與圖像 數據Dl的A-Z調制數據D2 —起記錄在存儲部分5。記錄與回放設備根據基 于運動矢量MV的運動信息，在視頻數據D3的一幀的各個部分中，動態地 改變快門速度。這種實施方式的記錄與回放設備，除了快門速度的控制外， 具有與第一至第三實施方式相同的配置。
這種記錄與回放設備配備有圖3中的回放部分26和控制器27，分別代 替回放部分6和控制器7。在這種實時方式中，記錄與回放設備具有與第一 至第三實施方式的記錄與回放設備相同的配置。
這里，在回放部分26，緩沖存儲器31是具有能夠存儲多幀A-S調制數 據D2的存儲容量的存儲器。例如，緩沖存儲器31存儲從存儲部分5按照光 柵掃描的順序依次輸入的A-i;調制數據D2，并且保持預定數量的樣本。此外， 緩沖存儲器31在積分器32的控制下，輸出所保持的A-i:調制數據D2。
積分器32基于指定要處理的區域大小的區域大小信息DS、積分開始信 號ST和積分時間DW,關于每個像素，從緩沖存儲器31獲得A-Z調制數據 D2，進行積分處理，然后輸出該積分結果。
樣本保持電路(SH) 33樣本保持從積分器32輸出的積分結果，并輸出 該值。控制部分34按照與第一實施方式的控制部分14那樣的方式，根據從 控制器27輸出的更新期間信息DT來改變積分開始信號ST的定時，并且輸 出積分開始信號ST。
積分期間計算部分35用在包括將要由圖像處理部分11A處理的像素的宏 塊中檢測到的運動矢量MV，補償從控制器27輸出的標準積分期間DWB， 以便計算積分期間DW，并且將該積分期間DW輸出到積分器32。
這里，標準積分期間DWB是指示要供應給由控制器27以與從第一實施 方式的控制器7輸出的積分期間DW相同的方式創建的積分的標準樣本數量 的時間信息。積分期間計算部分35基于運動矢量MV來設置并輸出積分期間 D W ，使得當運動變大時要供應給該積分的樣本數量變成比標準積分期間 DWB的樣本數量更小，相反，當運動變小時要供應給該積分的樣本數量變成 比標準積分期間DWB的樣本數量更小。
控制器27以與第一實施方式的控制器7同樣的方式，計算更新期間和積 分期間，并且分別輸出作為更新期間信息DT和標準積分期間DWB。在這一 點上，在這種情況下，第二和第三實施方式中所描述的積分期間DW可以設 置成標準積分期間DWB。此外，控制器27回放在依次記錄A-Z調制數據D2 的時間所檢測到的運動矢量MV，并且將被回放的運動矢量MV輸出到回放 部分26。
因此，在這種實施方式中，關于每個處理單元在區域中設置宏塊，并且 按照由運動矢量獲得的每個部分的屬性，關于活動圖像的每個部分改變快門 速度。例如，在靜止圖像部分，通過足夠長的快門速度獲得具有高灰度級和 高S/N比的圖像，而在快速運動的活動圖像部分中，獲得沒有模糊運動的圖 像。從而，以更高的圖像質量回放活動圖像。
在這一點上，替代關于每個宏塊的運動矢量的檢測，可以關于每個像素 檢測運動矢量，以執行上述處理。此外，控制器27可以確定每個部分中的運 動矢量，而且可以關于每個圖像處理部分IIA、 IIB、……、IIN設置積分時 間期間DW。圖4是圖解積分器32的操作的流程圖。積分器32關于每幀視頻數據進 行該處理過程。也就是說，當該處理過程開始時該處理從步驟SP1進入步驟 SP2,并且積分器32進行初始值設置處理。在該初始值設置處理中，積分器 32獲得通過以運動矢量MV補償從控制器27輸出的標準積分期間DWB獲得 的、關于每個宏塊的積分期間DW的一幀。此外，積分器32從區域大小信息 DS中接收水平方向Sbx和垂直方向Sby上的宏塊的像素數量的輸入。此外， 積分器32初始化標識存儲在緩沖存儲器31中的A-Z調制數據D2的參數B。
接下來，該處理進入到步驟SP3，積分器32初始化標識要處理的垂直方 向上的像素的位置的變量y。此外，在下一步驟SP4中，積分器32初始化標 識要處理的水平方向上的像素的位置的變量x。接下來，在步驟SP5,積分 器32檢測位置(x， y)的像素屬于的宏塊的水平方向數量bx和垂直方向數 量by。在這一點上，這里，[x]是代表不超過x的最大整數的函數。
接下來，該處理進入到步驟SP6，積分器32基于由數量bx和數量by標 識的宏塊上的積分期間DW，從緩沖存儲器31載入位置(x， y)的像素的A-Z 調制數據D2，以執行積分處理。此后，在步驟SP7，積分器32正規化該積 分結果sum(和)。此外，在接下來的步驟SP8，積分器32遞增指示水平方 向上要處理的像素的位置的變量x。在接下來的步驟SP9，積分器32確定該 處理是否已經完成要處理的圖像的右端(right end of image )。
這里，如果回答是肯定的，則該處理進入到步驟SP5，并且積分器32處 理接下來的最右邊像素。另一方面，如果在步驟SP9回答是否定的，則該處 理從步驟SP9進入到步驟SP10,并且積分器32遞增(increment)指示垂直 方向上要處理的像素的位置的變量y。在接下來的步驟SPll，作出關于該處 理是否已經完成要處理的圖像的下端(lower end of image )。
這里，如果回答是肯定的，則該處理進入到步驟SP4，并且積分器32處 理接下來的最右邊像素。另一方面，如果在步驟SPll回答是否定的，則積分 器32輸出一幀的積分結果，然后該處理進入到步驟SP13,并結束該處理過 程。
通過這個實施方式，檢測基于A-Z調制數據的活動圖像的每個部分的運 動信息，并基于該運動信息改變該圖像的一幀的每個部分中的過濾處理的樣 本數量。從而，可以以更高的圖像質量回放活動圖像。
第五實施方式
在這一點上，在上述第四實施方式等中，已經在記錄時間;險測運動矢量 的情況下給出了描述。然后，本發明不限于此，可以在回放時間從A-Z調制 數據或視頻數據檢測運動矢量。
此外，在上述第四實施方式中，已經在根據基于運動矢量的屬性信息、 在一幀的每個部分中改變快門速度的情況下給出了描述。然后，本發明不限 于此，例如，可以基于指示圖像的每個部分的屬性的信息(諸如關于是否存 在很多或很少高頻分量、是否存在高頻分量的退化的信息等)改變快門速度。
在上述實施方式中，已經在由硬件產生視頻數據的情況下給出了描述。 然后，本發明不限于此。例如，本發明可以應用于由計算機進行活動圖像處 理，并且視頻數據可以由軟件處理產生。
本領域普通技術人員應該理解，依賴于設計要求和其他因素，只要它們 在附屬權利要求或其等效物的范圍內，可以出現各種修改、組合、部分組合 和變更。
權利要求
1、一種活動圖像回放設備，包括數據回放部分，用于回放通過關于每個像素的、相鄰幀的像素值進行△-∑調制而生成的△-∑調制數據；視頻數據回放部分，用于關于每個像素使用過濾器對由該數據回放部分回放的△-∑調制數據進行過濾處理，以便回放視頻數據；以及控制部分，用于控制該過濾處理。
2、 根據權利要求1的活動圖像回放設備，其中該過濾器是抽選過濾器。
3、 根據權利要求1的活動圖像回放設備，其中該控制部分改變關于該△-∑調制數據的該過濾處理的周期，以改變該視頻數據的回放速度。
4、 根據權利要求1的活動圖像回放設備，其中該控制部分改變供應給該 過濾處理的樣本數量，以改變該視頻數據的快門速度。
5、 根據權利要求1的活動圖像回放設備，其中該控制部分改變該過濾處 理的周期，以改變該視頻數據的幀速率。
6、 根據權利要求1的活動圖像回放設備，其中該控制部分自適應地改變 關于該△-∑調制數據的該過濾處理的周期和/或供應給該過濾處理的樣本數 量。
7、 根據權利要求1的活動圖像回放設備，還包括屬性檢測部分，用于 檢測基于該△ -Z調制數據的活動圖像的屬性，其中該控制部分基于該屬性改變關于該△-∑調制數據的該過濾處理的周期和/或供應給該過濾處理的樣本數量。
8、 根據權利要求7的活動圖像回放設備，其中該屬性是基于該△-∑調制數據的活動圖像的運動信息。
9、 根據權利要求1的活動圖像回放設備，還包括運動信息檢測部分，用于檢測基于該△-∑調制數據的活動圖像的每個部分的運動信息，其中該控制部分基于該運動信息改變供應給每個部分上的該過濾處理的樣本數量。
10、 根據權利要求1的活動圖像回放設備，其中該濾波器具有緩沖器，用于根據要處理的像素接收該△-∑調制數據的輸入，并保持預定數量的樣本，以及積分器，用于積分被保持在該緩沖器中的該A-Z調制數據，以及該控制部分在借助該積分器的積分周期和/或將要由該積分器積分的樣 本數量的控制下，控制該過濾處理。
11、 一種回放活動圖像的方法，包括步驟從記錄介質回放數據，該數據是通過關于每個像素的、相鄰幀的像素值 進行△－Σ調制而生成的△－Σ調制數據；對回放關于每個像素的數據的步驟回放的A-i:調制數據進行過濾處理，以便回放一見頻數據；以及 控制該過濾處理。
12、 一種用于回放活動圖像的視頻數據的方法的程序，該程序包括步驟 從記錄介質回放數據，該數據是通過關于每個像素的、相鄰幀的像素值進行△－Σ調制而生成的△－Σ調制數據；對回放關于每個像素的數據的步驟回放的A-Z調制數據進行過濾處理， 以便回放視頻數據；以及控制該過濾處理。
全文摘要
活動圖像回放設備包括數據回放部分，用于回放通過關于每個像素的、相鄰幀的像素值進行Δ-∑調制而生成的Δ-∑調制數據；視頻數據回放部分，用于關于每個像素使用過濾器對由該數據回放部分回放的Δ-∑調制數據進行過濾處理，以便回放視頻數據；以及控制部分，用于控制該過濾處理。
文檔編號H04N5/92GK101345840SQ200810136108
公開日2009年1月14日 申請日期2008年7月9日 優先權日2007年7月9日
發明者小林誠司, 小柳津秀紀 申請人:索尼株式會社