處理圖像的設備和方法及產生再現信息的設備和方法

專利名稱：處理圖像的設備和方法及產生再現信息的設備和方法
技術領域：
本發明涉及用于處理圖像的方法和設備和用于處理圖像的程序 產品，以及用于產生再現信息的方法和設備和用于產生再現信息的程 序產品，它們可應用于用于處理與輸入的圖像例如電視廣播節目和電 影相關的圖像信號的設備等
背景技術：
用于顯示電視廣播節目、電影等的圖像顯示系統一直使用固定的 圖像幀，其中呈現的圖像的顯示尺寸和圖像幀一致。當產生電視廣播 節目、電影等中的圖像內容時，創建者在以這種固定的圖像幀顯示圖 像的條件下創建所述內容。
為了顯示增強其真實性的圖像，近來研發了多顯示器系統、彎曲 的顯示器、寬視野的顯示器、頭戴顯示器等。多顯示器系統等擴大了 圖像幀，從而顯示寬視野的圖像，借以使得能夠增加其真實性.
日本專利申請公開號2004-15549披露了一種用于處理圖像的 設備，其處理與輸入的圖像例如電視廣播節目和電影相關的圖像信 號。在場景改變的情況下，當在較早幀的輸出信號和關于輸入圖像的 圖像信號之間的差值不超過設置值時，這種用于處理圖像的設備根據 較早幀的圖像信號把圖像顯示位置設置到輸入圖像的顯示位置，以便使觀看者能夠容易地領會場景之間的關系。

發明內容
不過，和上述的圖像顯示系統相關聯，當在固定的圖像幀上連續 地顯示圖像時，可能難于容易地理解例如電視廣播節目和電影的內 容，除非觀看者正確地領會關于被顯示的圖像的場景的改變。此外， 如果有時發生場景的改變，可能難于領會這些場景的關系。此外，如 果觀看者未看到較早場景的任何圖像，可能難于理解下一個場景的內 容。
此外，利用在日本專利申請公開號2004 _ 15549中披露的用于處 理圖像的設備，通過估計在場景改變前后的圖像中的相似性，觀看者 可以領會場景的關系，不過，觀看者難于根據圖像的內容領會場景的 關系。
需要提供一種用于處理圖像等的設備和方法，借以使觀看者能夠 根據圖像的內容容易地領會場景的關系。
按照本發明的實施例，提供一種用于處理圖像的設備，所述設備 包括場景改變檢測單元，用于根據關于輸入圖像的圖像信號檢測輸 入圖像的場景改變；顯示位置控制單元，用于根據場景改變檢測單元 的檢測結果，把場景改變之后圖像的顯示位置確定為與場景改變之前 的圖像相關的顯示位置；以及顯示位置設置單元，用于把在顯示位置 控制單元中確定的顯示位置設置為顯示在場景改變之后的圖像的顯 示位置.所述顯示位置控制單元檢測場景改變前后的圖像的特征值， 并根據圖像的特征值確定場景改變之后的圖像的顯示位置。
利用按照本發明的實施例的用于處理圖像的設備，場景改變檢測 單元根據關于輸入圖像的圖像信號檢測輸入困像的場景改變。顯示位 置控制單元根據場景改變檢測單元的檢測結果，確定場景改變之后的 圖像的顯示位置為與場景改變之前的圖像相關的顯示位置。在這個實 施例中，顯示位置控制單元檢測場景改變前后的圖像的特征值，并根 據這些圖像的特征值確定場景改變之后的圖像的顯示位置。例如，顯示位置控制單元從圖像信號中提取面部圖像的區域，從面部圖像的這 個區域檢測眼睛的方向，并根據這樣檢測的眼睛的方向決定關于圖像 信號的輸入圖像的顯示方向。顯示位置設置單元把在顯示位置控制單 元中確定的顯示位置設置為顯示在場景改變之后的圖像的顯示位置。 這使得觀看者能夠根據圖像中對象的視線方向容易地領會場景改變 前后圖像的顯示位置之間的關系。
按照本發明的另一個實施例，提供一種用于處理圖像的方法。所
述方法包括第一步驟，用于根據關于輸入圖像的圖像信號檢測輸入 圖像的場景改變；第二步驟，用于根據第一步驟的檢測結果，把場景 改變之后圖像的顯示位置確定為與場景改變之前的圖像相關的顯示 位置；以及第三步驟，用于把在第二步驟中確定的顯示位置設置為顯 示在場景改變之后的圖像的顯示位置。在第二步驟中，檢測場景改變 前后的圖像的特征值，并根據這些圖像的特征值確定顯示在場景改變 之后的圖像的顯示位置。
利用按照本發明的實施例的用于處理困像的方法，觀看者能夠根 據圖像的內容，容易地領會場景的改變，并領會在場景改變前后圖像 的內容的關系。
按照本發明的另一個實施例，提供一種程序產品，其允許計算機 通過執行上述的用于處理圖像的方法來處理圖像信號。
當計算機實現按照本發明的實施例的程序產品時，觀看者可以根 據圖像的內容容易地領會場景的改變，并領會場景改變前后的圖像的 內容的關系，
利用按照本發明的用于處理圖像的設備和方法以及允許計算機
按照^發明的實施例，提供一種用于產生再現信息的設備，該設 備處理關于輸入的圖像的圖像信號，從而產生關于輸入的圖像的再現 信息。所述用于產生再現信息的設備包括場景改變檢測單元，用于 根據關于輸入圖像的圖像信號檢測輸入圖像的場景改變；以及顯示位 置控制單元，用于根據場景改變檢測單元的檢測結果把場景改變之后圖像的顯示位置確定為與場景改變之前的圖像相關的顯示位置。所述 顯示位置控制單元檢測場景改變前后的圖像的特征值，并根據圖像的 特征值產生再現信息，以便確定場景改變之后的圖像的顯示位置。
利用按照本發明的這個實施例的用于產生再現信息的設備，當處 理關于輸入圖像的圖像信號以產生關于輸入圖像的再現信息時，場景
變。、顯示位置控制單元根據場景改變檢測^元的檢測結果把場景改變 之后圖像的顯示位置確定為與場景改變之前的圖像相關的顯示位置. 在這個實施例中，顯示位置控制單元檢測場景改變前后的圖像的特征 值，并根據圖像的特征值產生再現信息，以便確定場景改變之后的圖 像的顯示位置。這樣，借助于根據這樣產生的再現信息再現圖像，觀 看者能夠容易地根據圖像的內容領會場景的改變，并能夠領會場景改 變前后圖像的內容的關系。
按照本發明的另 一個實施例，提供一種通過處理關于輸入圖像的
圖像信號來產生關于輸入圖像的再現信息的方法。所述方法包括第 一步驟，用于根據關于輸入圖像的圖像信號檢測輸入圖像的場景改 變；以及第二步驟，用于根據第一步驟的檢測結果，把場景改變之后 圖像的顯示位置確定為與場景改變之前的圖像相關的顯示位置。所述 第二步驟包括以下子步驟檢測場景改變前后的圖像的特征值，以及 產生再現信息，以根據圖像的特征值確定在場景改變之后圖像的顯示 位置.
利用按照本發明的實施例的用于產生再現信息的方法，當根據這 樣產生的再現信息再現圖像時，觀看者能夠容易地根據圖像的內容領 會場景的改變，并能夠領會場景改變前后的圖像的內容的關系。
按照本發明的另一個實施例，提供一種程序產品，其允許計算機 通過執行上述的用于產生再現信息的方法產生再現信息，用于再現關 于輸入圖像的圖像信號。
利用按照本發明的實施例的程序產品，當根據這樣產生的再現信 息再現圖像時，觀看者能夠容易地根據圖像的內容領會場景的改變，并能夠領會場景改變前后的圖像的內容的關系。
利用按照本發明的用于產生再現信息的設備和方法以及用于使 計算機能夠產生再現信息的程序產品的實施例，能夠顯示觀看者能夠 容易理解的圖像。
本說明書的結束部分具體指出了本發明的主題并直接要求保護 這些主題。不過，通過結合附圖閱讀本說明的其余部分，本領域技術 人員能夠最好地理解本發明的組織結構及其操作方法，以及本發明的 其它的優點和目的，在附圖中相同的標號表示相同的元件。


圖l是一個示意圖，用于表示一個可以應用按照本發明的用于處
理圖像的設備的實施例的圖像顯示系統的配置；
圖2A表示在場景改變前后幀內的內容和在場景改變前后這些幀 在屏幕上被顯示時的圖像，圖2B表示在場景改變前后幀內的內容和 在場景改變前后這些幀在屏幕上被顯示時的圖像，圖2C表示在場景 改變前后幀內的內容和在場景改變前后這些幀在屏幕上被顯示時的
圖像；
圖3是用于表示按照本發明的用于處理圖像的設備的實施例的 配置的方塊圖4是用于表示場景改變檢測單元的配置的方塊圖； 圖5是用于說明像素的稀疏化處理的示意圖； 圖6是用于表示場景改變檢測單元的另一種配置的方塊圖； 圖7是用于表示用于確定場景改變前后圖像之間的關系的單元 (場景改變前后關系確定單元)的配置的方塊圖8是用于表示面部區域提取部分的配置的方塊圖9A，9B的每一個用于說明有色皮膚區域提取部分的操作的例
子；
圖10A，10B的每一個用于說明水平線檢測部分的操作的例子； 圖11A，11B的每一個用于說明垂直線檢測部分的操作的例子；圖12A，12B的每一個用于說明面部區域提取部分的操作的例子； 圖13A，13B的每一個用于說明面部圖像識別部分的操作的例子； 圖14A-14E的每一個用于說明面部圖像識別部分的另一個操作 的例子；
圖15A-15C的每一個用于說明視線方向檢測部分的操作的例子； 圖16A表示在場景改變前后幀內的內容和在場景改變前后這些 幀在屏幕上被顯示時的圖像，圖16B表示在場景改變前后幀內的內容 和在場景改變前后這些幀在屏幕上被顯示時的圖像，以及圖16C表示 在場景改變前后幀內的內容和在場景改變前后這些幀在屏幕上被顯 示時的圖像；
圖17是用于表示場景改變前后關系確定單元的另一種配置的方
塊圖18是用于表示場景改變前后關系確定單元的另一種配置的方
塊圖19是用于表示在以離線方式進行處理的情況下按照本發明的 用于處理圖像的設備的另一個實施例的配置的方塊圖20A表示幀內的內容和該幀在屏幕上被顯示時的圖像，圖20B 表示幀內的內容和該幀在屏幕上被顯示時的圖像，以及圖20C表示幀 內的內容和該幀在屏幕上被顯示時的圖像；
圖21是用于表示可以應用本發明的實施例的計算機的配置的方
塊圖22是用于表示在以實時方式進行處理的情況下圖像處理程序
的整個配置的方塊圖23是用于表示場景區別的操作的流程圖24是借助于視線方向進行的場景改變前后關系確定操作的流
程圍；
圖25是借助于運動矢量進行的場景改變前后關系確定操作的流
程圖26是借助于音量進行的場景改變前后關系確定操作的流程圖27是用于表示在以離線方式進行處理的情況下圖像處理程序
的整個配置的流程圖28是用于表示按照本發明用于產生再現信息的設備的實施例
的配置的方塊圖29是用于表示信息再現設備的配置的方塊圖；以及
圖30是用于表示在以實時方式進行處理的情況下產生顯示位置
信息的流程圖。
具體實施例方式
下面結合

按照本發明的用于處理圖像的設備和方法、用 于處理圖像的程序產品、用于產生再現信息的設備和方法以及用于產 生再現信息的程序產品的實施例。
圖1表示可以應用按照本發明的用于處理圖像的設備120的實施 例的圖像顯示系統100的配置。圖像顯示系統100包括3個屏幕IIOL， 110C和110R，它們被設置在用戶101的前方和兩側，并作為整體構 成一個圖像顯示區域。提供分別對應于屏幕IIOL， 110C和110R的投 射器112L， 112C和112R。投射器112L， 112C和112R被連接到用于 處理圖像的設備120。投射器112L根據從用于處理圖像的設備120 接收的輸出信號SDL在屏幕110L上投射圖像，類似地，投射器112C
SDR在屏幕110C和110R上投射圖像。
用于處理圖像的設備120接收關于輸入的圖像的輸入圖像信號 SDin，并檢測場景改變以確定是否發生了場景改變。如果發生了場景 改變，則用于處理圖像的設備120還檢測在場景改變前后的圖像之間 是否具有一定關系。如果具有一定關系，則用于處理圖像的設備120 這樣改變場景改變前后的圖像的圖像顯示位置，使得場景改變前后的 圖像可以具有所述關系。
圖2A-2C分別表示在圖像顯示系統IOO中的圖像顯示的例子。圖2A表示在幀F(l)和F(2)中的圖像和當幀F(l)、 F(2)被分別在 屏幕110L， 110C以及110R中的任何一個上顯示時的圖像。圖2B表 示在幀F(3)和F(4)中的圖像和當幀F(3)、 F(4)被分別在屏幕IIOL， 110C以及110R中的任何一個上顯示時的圖像。圖2C表示在幀F(5) 和F(6)中的圖像和當幀F(5)、F(6)被分別在屏幕110L， 110C以及110R 中的任何一個上顯示時的圖像。
當輸入圖像中的對象將其眼睛轉向幀F(l)的右側的同時發生場 景改變時，如圖2A所示，如果關于幀F(l)的場景改變之前的圖像Ha 被顯示在屏幕110C上，則關于幀F(2)的場景改變之后的圖像Hb被 顯示在屏幕110R上，這是因為場景改變之后的圖像Hb和對象使其 眼睛轉向的方向相關.
當輸入圖像中的對象OB向幀F(3)的左側運動的同時發生場景改 變時，如圖2B所示，如果關于幀F(3)的場景改變之前的圖像Hc被 顯示在屏幕110C上，則關于幀F(4)的場景改變之后的圖像Hd被顯 示在屏幕110L上，這是因為場景改變之后的圖像Hd和對象OB運 動的方向相關。
當在關于幀F(5)的圖像的輸入立體聲音頻的右側音量大于左側 音量的時候發生場景改變時，如圖2C所示(在這種情況下，用八分 音符的數量表示音量)，如果關于幀F(5)的場景改變之前的圖像He 被顯示在屏幕110C上，則關于幀F(6)的場景改變之后的圖像Hf被顯 示在屏幕110C上，這是因為場景改變之后的圖像Hf和產生具有較大 音量的任何聲音的方向相關。
當如上所述每個場景的顯示位置改變時，用于處理圖像的設備 120，如圖1所示，便通過以實時的或者離線的方式進行處理改變顯 示位置。在以實時方式進行處理的情況下，用于處理圖像的設備120， 如圖3所示，便接收關于輸入困像的圖像信號SDin，并根據圖像信號 SDin檢測場景的改變，并確定場景改變前后的圖像之間的關系。用于
圖像之間的關系的確定結果實時地昧變輸入圖像的顯示位置(要被顯示的方向)。然后，用于處理圖像的設備120產生輸出信號SDL，SDC 和SDR，并輸出這些信號，以便在其改變的顯示位置上顯示輸入圖像。
在以離線方式進行處理的情況下，用于處理圖像的設備120A， 如圖19所示，從存儲介質或其類似物中讀出積累的圖像信號SDin， 并從中檢測場景的改變。用于處理圖像的設備120A確定這樣檢測的 每個場景改變前后的圖像之間的關系，并由過去的和將來的場景決定 當前場景的顯示位置。用于處理圖像的設備120A和相關的圖像信號 SDin —道保持用于指示所決定的顯示位置(要被顯示的方向)的顯示 位置信息JP。
為了顯示圖像，用于處理圖像的設備120A讀出輸入圖像的圖像 信號SDin和顯示位置信息JP，并產生和輸出輸出信號 SDL，SDC，SDR，以便根據圖像信號SDin和顯示位置信息JP在其改 變的顯示位置上顯示輸入的圖像。
圖3表示在以實施方式進行處理的情況下按照本發明的用于處 理圖像的設備120的實施例的配置。場景改變檢測單元121、用于確 定場景改變前后圖像之間的關系的單元(下面稱為場景改變前后關系 確定單元)124、以及顯示位置設置單元126分別接收關于輸入圖像 的圖像信號SDin。
場景改變檢測單元121根據圖像信號SDin檢測場景的改變，即 檢測圖像中中斷的位置，即，在連續的場景和與該連續的場景不同的 場景之間的連接部分。
圖4表示通過利用兩個幀的圖像信號檢測場景改變的場景改變 檢測單元121的配置。
在場景改變檢測單元121中的延遲電路211接收輸入的圖像信號 SDin，按照一幀顯示輸入的圖像信號SDin，并作為延遲的圖像信號 SDa將其提供給平均差值計算電路213。平均差值計算電路213接收 圖像信號SDin和延遲的圖像信號SDa，根據圖像信號SDin和延遲的 圖像信號SDa計算兩幀之間的差的平均值Dav，并把這個差的平均值 Dav提供給標稱化電路217。計算在各個像素上兩幀之間的亮度值的差，并計算所得差的平均值作為差的平均值Dav，其被提供給標稱化 電路217。差的平均值Dav可以按照下式(1)計算<formula>formula see original document page 16</formula>其中N是在一幀圖像內的像素數，YC是基于圖像信號SDin的 像素的亮度值，以及YP是基于延遲的圖像信號SDa的像素的亮度值。差的平均值Dav依照圖像中的亮度值而發生大的改變。例如， 在以亮色調顯示圖像的情況下，即使沒有場景改變，僅僅通過把圖像 的一部分改變成暗的也能使差的平均值Dav增加。在以暗色調顯示圖 像的情況下，即使場景改變，但是由于亮度值的改變小，差的平均值 Dav也不增加。因而，場景改變檢測單元121包含標稱化電路217， 其按照圖像的量度標稱化差的平均值Dav，使得借助于接收由圖像中 的亮度產生的任何小的影響來檢測正確的場景改變。在場景改變檢測單元121中的亮度平均計算電路215根據圖像信 號SDin中的每個像素的亮度值計算一幀內的亮度值的平均值。然后， 亮度平均計算電路215把計算的平均值作為亮度平均值Yav提供給標 稱化電路217。亮度平均值Yav可以根據下式(2)計算Yav - ,..(2)其中N是一幀圖像內的像素數，YC是基于圖像信號SDin的像 素的亮度值。標稱化電路217標稱化差的平均值Dav。即，標稱化電路217通過按照下式(3)校正表示圖像中的亮度的亮度平均值Yav的差的平均值Dav來產生差的平均值的標稱化值E(以后稱為"標稱化值E，，)<formula>formula see original document page 16</formula>然后標稱化電路217把標稱化值E提供給場景改變檢測單元121 中的判定電路219。判定電路219接收標稱值E，并使標稱值E和一 個閾值比較，該閾值是在判定電路中被預先確定的，如果標稱化值E超過閾值，則判定發生了場景改變。然而，如果標稱化值E未超過閾 值，則判定電路219判定任何場景未發生改變。然后判定電路219產 生表示這個判定結果的場景改變檢測信號SC，并把該場景改變檢測 信號SC提供給圖3所示的場景改變前后關系確定單元124。這樣，標稱化電路217按照圖像中的亮度對差的平均值Dav進 行了標稱化，判定電路219利用標稱化值E進行了是否發生了場景改 變的判定，因而，通過接收由圖像中的亮度產生的任何較小的影響， 可以檢測正確的場景改變。雖然在上述的場景改變檢測單元121中利用關于一幀內的所有 像素的信號檢測了場景的改變，但是如果使用所有像素的信號計算差 的平均值Dav和亮度平均值Yav，則花費大量的時間進行計算處理。 如果這種計算以高速進行以便節省計算時間，則可能為此增加成本。因而，進行關于像素的稀疏化處理。例如，如圖5所示，把一幀 的圖像分類成為一些區域，每個區域包括8x4個像素，并從每個區域 選擇一個帶有對角線陰影的像素。然后通過利用關于選擇的像素的信號使得能夠計算差的平均值Dav和亮度平均值Yav。這種稀疏化處理 能夠減少計算量，從而使計算處理得以容易地進行，并避免任何快速 的計算處理，以便避免用于計算處理的費用增加。雖然在上述的場景改變檢測單元121中，利用標稱化值E檢測 場景改變，但是希望獲得兩幀圖像之間的相關系數r，并使相關系數 r和一個閾值比較，借以使得能夠精確地檢測場景的改變。圖6表示利用相關系數r的場景改變檢測單元121A的配置。在場景改變檢測單元121A中的延遲電路211接收圖像信號 SDin，將圖像信號SDin延遲一幀，并作為延遲的圖像信號SDa將其 提供給相關系數計算電路216。相關系數計算電路216接收圖像信號 SDin和延遲的圖像信號SDa，并根據圖像信號SDin和延遲的圖像信 號SDa計算相關系數r。可以按照下式(4)計算相關系數r:<formula>formula see original document page 18</formula>(4)
其中N是一幀圖像內的像素數，YF是基于第一幀的圖像信號 的像素的亮度值，YS是基于下一幀的圖像信號的像素的亮度值，YFav 是基于笫一幀的圖像信號的像素的平均亮度值，YSav是基于下一幀 的圖像信號的像素的平均亮度值。相關系數計算電路216把計算的相關系數r提供給場景改變檢測 單元121A中的判定電路219。判定電路219接收相關系數r，并將其和一個閾值比較，該閾值 是在其中被預定確定的，如果相關系數r未超過該閾值，則判定發生 了場景改變。但是，如果相關系數r超過了該閾值，則判定電路219 判定任何場景均未改變，即該場景是一個連續的場景。然后判定電路 219產生表示這個判定的結果的場景改變檢測信號SC，并把該場景改 變檢測信號SC提供給圖3所示的場景改變前后關系確定單元124。圖7表示場景改變前后關系確定單元124的配置。場景改變前后 關系確定單元124構成顯示位置控制單元。場景改變前后關系確定單 元124接收來自場景改變檢測單元121的場景改變檢測信號SC，被 根據場景改變檢測單元121的場景改變檢測信號SC把場景改變后的 圖像的顯示位置確定到和場景改變前的圖像相關的顯示位置。在這個 實施例中，場景改變前后關系確定單元124檢測在場景改變前后的圖 像之間的特征值，并根據該特征值確定場景改變后的圖像的顯示位 置，在場景改變前后關系確定單元124中的延遲電路221和第一面部 區域提取部分224A分別接收關于輸入的圖像的圖像信號SDin,如圖 7所示，延遲電路221把圖像信號SDin延遲一個幀，從而產生延遲的 圖像信號SDa,延遲電路221把延遲的圖像信號SDa提供給場景改變 前后關系確定單元124中的第二面部區域提取部分224B。假定接收 輸入圖像的圖像信號SDin的笫 一 面部區域提取部分224A具有和接收延遲的圖像信號SDa的第二面部區域提取部分224B相同的配置。第 一面部區域提取部分224A從圖像信號SDin中提取面部區域，第二面 部區域提取部分224A從延遲的圖像信號SDa中提取面部區域。
圖8表示面部區域提取部分224A或224B的配置。圖8所示的 面部區域提取部分224A的HSV轉換部分2241接收圖像信號SDin， 并對圖像信號SDin進行HSV (色調、飽和度和值)轉換，以便利用 HSV顏色空間。
圖9A和9B表示皮膚有色區域提取部分2243的操作例子。皮膚 有色區域提取部分2243從圖9A所示的圖像SDc提取具有在其一個 設置范圍內的色調值的像素，所述設置范圍例如是大于20小于40 (20<Hu<40)。皮膚有色區域提取部分2243在提取的像素上進行標 記，并判定這個標記的區域是皮膚有色區域Tr (圖9B所示的有陰影 的區域)，并提取這個皮膚有色區域Tr,
圖10A，10B表示圖8所示的水平線檢測部分2245的一個操作例 子。水平線檢測部分2245計算每個水平線上的從圖IOA所示的皮膚 有色區域Tr提取的像素，并檢測皮膚有色區域Tr內的具有含有計算 的最大像素數的水平長度Lg的水平線，如圖IOB所示.根據這個水 平線的位置獲得垂直座標(垂直參考點Ver)。把計算的像素的最大 數量乘以一個預定值，例如0.8。把這個乘積設置為水平長度Lg，并 使水平長度Lg的中央沿其水平方向對準提取的皮膚有色區域Tr的中 心，
圖11A，11B表示圖8所示的垂直線檢測部分2247的一個操作例 子，垂直線檢測部分2247把檢測的圖11A所示的水平長度Lg乘以一 個預定值，例如1.3，并把乘積設置為垂直長度Lg2,圖IIB所示的 垂直參考點Ver被設置為垂直長度Lg2的中央.
圖12A和12B表示圖8所示的幀區域提取部分2249的一個採作 例子。楨區域提取部分2249提取由具有在水平線檢測部分2245中檢 測的水平長度Lg和在垂直線檢測部分2247中檢測的垂直長度Lg2 的框圍成的一個圖像區域，如圖12A所示。在這個實施例中，如圖12B所示，由具有水平長度Lg和垂直長度Lg2的框圍成的圖像區域 被設置為要被提取的一個幀圖像區域。
圖13A和圖13B表示圖8所示的面部圖像辨別部分2250的一個 操作例子。面部圖像辨別部分2250具有如圖13A所示的標準的面部 圖像模板T叩c，并計算例如關于每個像素的該模板Tnpc和在幀區域 提取部分2249中提取的圖像區域Rec之間的差的絕對值的總和。面 部圖像辨別部分2250比較計算的差的絕對值的總和和一個預定的閾 值。如果差的絕對值的總和不超過預定的閾值，則面部圖像辨別部分 2250判定提取的圖像區域Rec是面部圖像，而如果差的絕對值的總和 超過預定的閾值，則面部圖像辨別部分2250判定提取的圖像區域Rec 不是面部圖像。
應當注意，當提取的圖像區域Rec的尺寸和模板Tnpc的尺寸不 匹配時，則通過任何的內插或細化對模板Tnpc的尺寸進行合適的調 整，以便使其尺寸匹配，然后進行上述的處理。
面部圖像辨別部分2250除去辨別面部圖像之外還辨別面部的方 向。圖14A-14E表示面部圖像辨別部分2250的一個操作例子。面部 圖像辨別部分2250除去圖14C所示的面部朝前的標準的面部圖像模 板Tnpc之外還具有一些標準的面部圖像模板。如圖14A-14E所示， 在這個實施例中，面部圖像辨別部分2250具有5個標準的面部圖像 模板，即，圖14A所示的面部朝左的標準面部圖像模板Tpna，困14B 所示的面部向左傾斜的標準面部圖像模板Tpnb，圖14C所示的面部 朝前的標準的面部圖像模板Tnpc，圖14D所示的面部向右傾斜的標 準面部圖像模板Tpnd，以及圖14E所示的面部向右的標準面部圖像 模板Tpne。
當面部圖像辨別部分2250借助于利用模板進行匹配辨別面部圖 像時，面部圖像辨別部分2250可以計算關于每個像素的面部朝不同 方向的這些模板Tnpa到Tnpe的每一個與在幀區域提取部分2249中 提取的圖像區域Rec之間的差的絕對值的總和。面部圖像辨別部分 2250比較計算的差的絕對值的總和和一個閾值。如果計算的差的絕對值的總和不超過所述閾值并且成為最小值，則面部圖像辨別部分2250 將其辨別為面部的方向。應當注意，如果面部不是朝前的，則在皮膚 有色區域提取部分2243中提取的圖像區域Rec小于當面部朝前時在 皮膚有色區域提取部分2243中提取的圖像區域Rec，因而模板的尺寸 可以較小，在標準面部圖像模板中，除去向右和向左之外，面部還可 以向上和向下。
應當注意，面部圖像辨別部分2250辨別在幀區域提取部分2249 中提取的所有的圖像區域REC上的面部圖像。如果面部圖像辨別部 分2250辨別多于一個的面部圖像，則面部圖像辨別部分2250辨別例 如面部圖像當中具有最大圖像區域Rec的面部圖像。如果沒有面部圖 像被辨別，則結束處理。
向回參見圖7，第一視線方向檢測部分226A從關于圖像信號 SDin的在第一面部區域提取部分224A中提取的面部圖像的圖像區域 Rec檢測第一視線方向。第二視線方向檢測部分226B從關于延遲的 圖像信號SDa的在第二面部區域提取部分224B中提取的面部圖像的 圖像區域Rec檢測第二視線方向。
圖15A-15C表示圖7所示的視線方向檢測部分226A或226B的 一個操作例子。視線方向檢測部分226A或226B通過利用圖15A所 示的標準面部圖傳j溪板Tpnc中的眼睛的瞳孔區域Receye檢測眼睛的 方向。假定預先提取了標準面部圖像模板Tpnc中的眼晴瞍孔區域 Tpnc。計算圖15B所示的面部圖像的圖像區域Rec2的一個設置的搜 索范圍內關于對應于眼睛瞳孔區域Receye的像素的運動矢量。如果 圖15C所示的計算的運動矢量Vtr的絕對值超過預定的閾值，則確定 眼睛的方向和面部的方向不同，此時判定運動矢量Vtr的方向是新的 視線方向，如果圖15C所示的計算的運動矢量Vtr的絕對值未超過預 定的閾值，則判定在面部區域提取部分224A或224B的面部圖像辨別 部分2250中提取的面部方向是眼睛的方向，
圖7所示的顯示方向判定部分228根據表示圖像的特征值的第一 和第二視線方向判定關于圖像信號SDiii的輸入圖像被顯示的方向，并產生和輸出顯示方向信息JP。例如，圖16A到16C分別表示圖像 顯示的操作的例子。在本實施例中，如圖16A所示，如果從關于延遲 的圖像信號SDa的圖像檢測到眼睛的方向(在幀F(ll)中為右方向)， 而從關于圖像信號SDin的幀F(12)的圖像未檢測到視線方向，則根據 關于延遲的圖像信號SDa的檢測的視線方向顯示關于圖像信號SDin 的圖像。在本實施例中，關于延遲的圖像信號SDa的圖像被在屏幕 110C上顯示，關于圖像信號SDin的圖像被在屏幕110R上顯示。
如圖16B所示，如果從關于延遲的圖像信號SDa的幀F(13)中的 圖像未檢測到視線方向，而從關于圖像信號SDin的圖像檢測到眼睛 的方向(在幀F(14)中為左方向)，則關于圖像信號SDin的圖像被這 樣顯示，使得關于圖像信號SDin的視線方向可以滿足關于延遲的圖 像信號SDa的圖像的顯示位置。在本實施例中，關于延遲的圖像信號 SDa的圖像被顯示在屏幕110C上，關于圖像信號SDin的圖像被顯示 在屏幕110R上。
如圖16C所示，如果在關于延遲的圖像信號SDa的幀F(15)中的 圖像和關于圖像信號SDin的幀F(16)中的圖像中都檢測到視線方向， 則優先使用從關于延遲的圖像信號SDa的圖像檢測到的視線方向。此 時，如果從關于延遲的圖像信號SDa的圖像檢測到從上到右的視線方 向，從關于圖像信號SDin的圖,測到從下到左的視線方向，即如 果從關于延遲的圖像信號SDa的圖像檢測到的視線方向和從關于圖 像信號SDin的圖像檢測到視線方向彼此相交，則顯示方向判定部分 228可以垂直地改變其顯示位置。例如，顯示方向判定部分228這樣 改變其顯示位置，使得其中檢測到的視線方向從上到右的關于延遲的 圖像信號SDa的圖像可被顯示在屏幕110C的下部，其中檢測到的視 線方向從下到左的關于困像信號SDin的圖像可被顯示在屏幕110R的 上部。這使得關于延遲的圖像信號SDa和圖《象信號SDin的圖像能夠 分別按照彼此的視線方向被布置。
因而，按照本發明的用于處理圖像的設備120的實施例包含場景 改變前后關系確定單元124，其把場景改變后的顯示位置確定到和場景改變前的圖像相關的顯示位置，并且還檢測場景改變前后圖像的視 線方向，以便根據眼睛的方向確定場景改變后的圖像的顯示位置。
利用按照本發明的用于處理圖像的設備120的實施例，觀看者能 夠容易地領會場景改變，并根據圖像中的視線方向能夠容易地領會場 景改變前后圖像之間的關系。
圖17表示場景改變前后關系確定單元124A的一種配置。場景 改變前后關系確定單元124A包含延遲電路221A和221B，運動矢量 檢測電路230，運動矢量判定電路232,以及顯示方向判定部分228。
延遲電路221A接收關于輸入圖像的圖像信號SDin，并將其延遲 一幀，從而產生延遲的圖像信號SDa。延遲電路221A把延遲的圖像 信號SDa提供給顯示電路221B,顯示電路221B接收延遲的圖像信號 SDa，并將其延遲一幀而產生延遲的圖像信號SDb。延遲電路221A 和221B向運動矢量檢測電路230提供延遲的圖4象信號SDa和SDb。 然后運動矢量檢測電路230從延遲的圖像信號SDa，SDb檢測運動矢 量。為了檢測運動矢量，例如把延遲的圖像信號SDa分類成每個具有 8x8個像素的塊，并檢測顯示的圖像信號SDb的所需的搜索區域內的 使得差值的絕對值的和最小的位置作為運動矢量。然后運動矢量檢測 電路230把檢測的運動矢量提供給運動矢量判定電路232。
運動矢量判定電路232接收來自運動矢量檢測電路230的運動矢 量，并由接收的運動矢量判定表示圖像之間的特征值的一個預定運動 矢量。例如，運動矢量判定電路232產生所有接收的運動矢量的直方 圖，在圖像的直方圖中確定具有最高頻率的運動矢量作為背景的運動 矢量，并確定圖像的直方圖上具有次最高頻率的運動矢量作為主要對 象的運動矢量.運動矢量檢測電路232把具有次最高頻率的運動矢量 提供給顯示方向判定部分228.在本實施例中，如果在直方圖中具有 最髙頻率的運動矢量在數量上和在圖像的直方圖中具有次最高頻率 的運動矢量幾乎相同，則運動矢量判定電路232可以確定圖像直方圖 中具有笫三最大頻率的運動矢量為主要對象的運動矢量。如果圖像的 直方圖中具有最高頻率的運動矢量占據運動矢量的總數，則運動矢量判定電路232可以確定這種條件為無運動條件。
顯示方向判定部分228根據在運動矢量判定電路232中判定的運 動矢量判定關于圖像信號SDin的輸入圖像的顯示方向。即，如圖2B 所示，例如，在圖像的直方圖中具有次最高頻率的運動矢量Vtr表示 在關于圖像信號SDin的場景改變之前主要對象的運動(顯示)方向。 顯示方向判定部分228這樣產生顯示方向信息JP，使得關于圖像信號 SDin的圖像Hd可以按照所述顯示方向被顯示。
因而，按照本發明的用于處理圖像的設備120的另 一個實施例包 含這樣一種場景改變前后關系確定單元124A，其把場景改變后的圖 像的顯示位置確定到和場景改變前的圖像相關的顯示位置，并檢測場 景改變前的圖像中的運動矢量，以便根據該運動矢量確定場景改變后 的顯示位置。
因而，利用按照本發明的用于處理圖像的設備120的這個實施 例，觀看者能夠容易地領會場景的改變，并根據圖像中的運動矢量容 易地領會場景改變前后圖像之間的關系。
圖18表示場景改變前后關系確定單元124B的配置。場景改變 前后關系確定單元124B包含延遲電路221C，音量檢測電路240，音 量比較電路242和顯示方向判定部分228。
延遲電路221和顯示方向判定部分228接收關于輸入圖像的圖像 信號SDin。延遲電路221把圖像信號SDin延遲一幀而產生延遲的圖 像信號SDa。延遲電路221把延遲的圖像信號SDa提供給音量檢測電 路240,音量檢測電路240檢測伴隨著延遲的圖像信號SDa的具有一 個以上的音頻信道的音頻信號的音量。應當注意，為了便于說明本實 施例，假定音頻信號和圖像信號SDin重疊并和雙通道立體聲有關。
音量檢測電路240檢測立體聲的兩個通道的每個通道的音頻信 號的音量，并把關于檢測的音量的信息提供給音量比較電路242。
音量比較電路242計算在音量檢測電路240中檢測的雙聲道立體 聲音頻的右聲道和左聲道中的音量之間的差的絕對值，并將表示圖像 的特征值的所述差的絕對值和預定閾值比較。如果差的絕對值超過預定閾值，則確定在左右聲道的音量之間具有顯著的差別。音量比較電
路242向顯示方向判定部分228提供表示具有較大音量的聲道的方向 的信息。如果雙聲道立體聲音頻的左聲道L中的音量大于雙聲道立體 聲音頻的右聲道R的音量，則音量比較電路242向顯示方向判定部分 228提供表示左方向的信息，而如果雙聲道立體聲音頻的右聲道R中 的音量大于雙聲道立體聲音頻的左聲道L的音量，則音量比較電路 242向顯示方向判定部分228提供表示右方向的信息。如果差的絕對 值未超過預定閾值，則確定在左右聲道的音量之間沒有顯著的不同， 因而結束處理。
顯示方向判定單元228根據音量比較電路242的確定結果判定關 于圖像信號SDin的圖像的顯示方向.例如，當收到來自音量比較電 路242的表示方向的信息時，顯示方向判定單元228輸出收到的作為 關于圖像信號SDin的輸入圖像的行駛方向信息JP的信息中的方向。 在這個實施例中，例如，如圖2C所示，如果在關于場景改變前的圖 像的雙聲道立體聲信號的左右聲道中的音量之間具有任何顯著不同， 并且在雙聲道立體聲音頻的右聲道R中的音量大于雙聲道立體聲音 頻的左聲道L中的音量，則顯示方向判定單元228輸出右方向，使得 關于圖像信號SDin的圖像的Hf可在右屏幕110R上被顯示，如圖2C 所示。
雖然延遲電路221、 221A、 221B和221C使圖像信號SDin或其 類似物延遲一幀，但是可以把要延遲的幀的數量設置為一個可選的數 量，除非被延遲的時間點遠離場景改變的時間點。從其中檢測音量的 幀不限于一幀。例如，可以檢測關于一幀以上的音量的平均音量。
除去單聲道的音頻信號之外，音頻信號可以包含任何任選的聲 道.例如，本發明可以應用于5.1聲道環繞音頻信號。此時，可以根 據前兩個聲道或后兩個聲道中音量之間的差來應用上述的處理。此 外，可以根據前兩個聲道和后兩個聲道音量之間的差應用上述的處 理。
雖然場景改變前后關系確定單元124、 124A和124B分別利用視線方向、運動矢量和音量，在本實施例中，可以利用視線方向、運動 矢量和音量中任何的或所有的組合。在這種情況下，如果關于視線方 向的顯示位置信息JP和關于音量的顯示位置信息JP不同，則可以優 先使用關于音量的顯示位置信息JP。或者，可以使用關于所有判定的 方向中最高頻率的顯示位置信息JP。
回來參看圖3，顯示位置設置單元126從場景改變前后關系確定 單元124、 124A或124B的顯示方向判定部分228接收顯示尺寸信息 JP，并根據輸入圖像的顯示方向信息JP顯示在場景改變前后關系確 定單元124、 124A或124B中判定的關于圖像信號SDin的輸入圖像 的顯示位置。然后，顯示位置設置單元126把對應于投射器 112L，112C，112R的圖像信號分別提供給信號輸出單元142L，142C和 142R。
應當注意，如果沒有設置輸入圖像的顯示位置，例如，如果在當 前場景的圖像被顯示在右屏幕110R上時下一個場景的圖像被顯示在 右側，則下一個場景的圖像被顯示在右屏幕110R。
如果即使在場景改變時顯示位置也未改變，則顯示位置可以返回 中央屏110C或者被保持在當前屏。
如果當場景改變時顯示位置被改變，則場景改變前的圖像可被保 持為要作為靜止圖像被顯示的圖像。這使得在場景改變前后的圖像之 間的關系能夠更可被理解。
因而，按照本發明的用于處理圖像的設備120包含這樣一種場景 改變前后關系確定單元124B，其把場景改變后的圖像的顯示位置確 定到和場景改變前的圖像相關的顯示位置，并且還檢測場景改變前的 圖像中的音量，以便根據該音量確定場景改變后的圖像的顯示位置，
因而，利用按照本發明的用于處理圖像的設備120的這個實施 例，觀看者能夠容易地領會場景的改變，并根據圖像中的音量容易地 理解場景改變前后的圖像之間的關系，從而使得更容易地理解圖像顯 示，
圖19表示當以離線方式進行處理時按照本發明的用于處理圖像的設備120A的實施例的配置。和圖3所示的用于處理圖像的設備120 的相同的標號表示圖19所示的用于處理圖像的設備120A的相同的元 件，并因而省略其詳細的說明。
在用于處理圖像的設備120A中的存儲單元130接收并存儲關于 輸入圖像的圖像信號SDin。存儲單元130還把存儲的圖像信號SDin 提供給場景改變檢測單元121。
和上述以實時方式進行處理的情況類似，場景改變檢測單元121 檢測場景改變，場景改變前后關系確定單元124 (124A，124B )把場景 改變后的圖像的顯示位置確定到和場景改變前的圖像相關的顯示位 置。顯示位置設置單元126然后把場景改變后圖像的顯示位置設置到 已被確定的和場景改變前的圖像相關的顯示位置，并把用于顯示場景 改變后的圖像的關于圖像信號SDin的輸入圖像的顯示位置信息JC提 供給存儲單元130。存儲單元130完全根據接收的每個場景的顯示位 置信息JC調節要顯示的圖像的顯示位置，并把關于調節的顯示位置 的圖像信號提供給信號輸出單元142L，142C和142R。
圖20A-20C表示圖像顯示操作的例子。如圖20A所示，如果在 場景改變前后的圖像的顯示位置被連續地改變，即，如果圖20B所示 的圖像Hg的顯示位置和圖20C所示的圖像Hh的顯示位置被向右方 改變，并被連續地向右方改變，存儲單元130的未示出的控制器便把 笫一圖像Ha的顯示位置設置到左屏幕IIOL，使得圖像Ha，Hg和Hh 可被連續地顯示。這還使得能夠實現任何連續的顯示位置的改變，
因而，利用按照本發明的用于處理圖像的設備120A的實施例， 通過根據場景改變前后圖像之間的關系改變困像的顯示位置，觀看者 能夠理解場景之間的關系。在以離線方式進行處理的情況下，能夠處 理連續的顯示位置的改變，從而觀看者能夠容易地理解場景的改變. 還能夠作為靜止圖像保持顯示場景改變前的圖像，從而能夠使觀看者 更容易地理解場景的改變。
除去上述的硬件之外，任何軟件也可以實現上述的處理。圖21 表示可以應用按照本發明的實施例的計算機300的實施例的配置。計算機300包含中央處理單元(CPU)301。只讀存儲器(ROM)302、隨機 存取存儲器(RAM) 303、硬盤驅動器(HDD) 304以及輸入/輸出接口 305通過總線320和CPU 301相連。輸入單元311、記錄介質驅動單 元312、通信單元313、圖像信號輸入單元314以及圖像信號輸出單 元315被連接到輸入/輸出接口 305。
當外部設備向計算機300發送任何指令時，或者由操縱裝置例如 鍵盤和鼠標構成的輸入單元311或者音頻輸入裝置例如麥克風輸入任 何指令時，這些指令通過輸入/輸出(I/0)接口 305被提供給CPU301。
CPU 301執行在ROM 302、 RAM 303、與/或HDD 304中存儲 的任何程序并根據接收的指令執行任何處理。ROM 302、 RAM 303、 與/或HDD 304預先存儲任何圖像處理程序，這些程序允許計算機300 執行類似于上述的用于處理圖像的設備的任何處理。CPU 301控制 ROM 302、 RAM 303、與/或HDD 304根據圖像信號輸入單元314接 收的輸入圖像信號SDin讀出其中的信息，并產生輸出信號SDL， SDC 和SDR,并通過圖像信號輸出單元315傳送這些輸出信號。記錄介質 可以存儲這種圖像處理程序。記錄介質驅動單元312在記錄介質上記 錄圖像處理程序，或者從記錄介質中讀出圖像處理程序，借以使計算 機300能夠執行圖像處理程序。通信單元313可以通過任何傳輸通路 發送和接收圖像處理程序，借以使計算機300能夠執行接收的圖像處 理程序。
圖22表示在以實時方式進行處理的情況下的圖像處理程序，在 圖22所示的步驟ST1，對場景進行辨別。圖23表示這種場景辨別操 作的例子.在圖23所示的步驟ST 11,幀之間的差的平均值Dva和 每幀中亮度的平均值Yav被計算，并且處理前進到步驟ST12。在步 驟ST12，使用亮度的平均值Yav對差的平均值Dav標稱化，從而計 算標稱值E。
在步驟ST13，通過比較標稱值E和閾值，確定是否具有場景改 變。如果標稱值E未超過閾值，則處理前進到步驟ST14,在該步驟 確定沒有場景改變，圖像被包含在同一個場景中。如果標稱值E超過閾值，則處理前進到步驟ST15，在該步驟確定具有場景改變。因而， 根據標稱值E進行場景辨別。
或者，在場景辨別的操作中，如上所述，可以計算相關系數r， 并可以通過比較相關系數r和一個閾值檢測場景改變。在這種情況下， 代替步驟ST11和ST12,按照上述的公式(4)計算相關系數r。代替 步驟ST13,通過比較相關系數r和所述閾值，確定是否具有場景改 變。如果相關系數r不小于所述閾值，則處理前進到步驟ST14，在 該步驟確定沒有場景改變，因而圖像被包含在同一個場景內。如果標 稱值E小于所述閾值，則處理前進到步驟ST15,在該步驟確定具有 場景改變。
返回圖22，在步驟ST2，確定是否檢測到場景改變。如果確定 未檢測到場景改變，則處理回到步驟ST1。如果確定在步驟ST2檢測 到場景改變，則處理前進到步驟ST3。在步驟ST3，確定場景改變前 后圖像之間的關系。
圖24表示在步驟ST3根據視線方向確定場景改變前后圖像之間 的關系的操作的例子。在圖24所示的步驟ST311,對關于輸入圖像 的圖像信號SDin進行HSV轉換。在步驟ST312,從這樣進行了 HSV 轉換的圖像中提取具有一個預定的色度值的區域。在步驟ST313，從 提取的區域提取沿水平線方向的最大連續像素的值。水平線的這個位 置被設置為垂直參考點，并檢測通過對連續像素的數量進行預定的計 算而獲得的值作為水平線。
在步驟ST314,通過根據垂直參考點對在步驟ST313檢測的水 平線的值進行預定計算而獲得垂直線的長度。在步驟ST315，提取由 具有在步驟ST313檢測的水平線和在步驟ST314檢測的垂直線的框 圍成的圖像區域。在步稞ST 316,在步驟ST315提取的圖像區域和 事先準備的標準面部圖M板比較，從而辨別這是否是面部圖像。此 時，準備具有不同方向的標準面部圖像模板，因而，除去辨別面部圖 像之外還辨別面部的方向。在步驟ST317,確定是否檢測到面部圖像。 如果檢測到面部圖像，則處理前進到步驟ST318，在該步驟由標準面部圖像模板中的眼睛瞳孔區域內的運動矢量檢測眼睛的方向，把檢測 的視線方向設置為場景改變后的圖像的顯示位置。如果未檢測到面部 圖像，則結束處理。
圖25表示根據步驟ST3中的運動矢量確定場景改變前后圖像之 間的關系的操作的例子。在步驟ST321,例如對于具有8x8個像素的 每個塊，檢測在當前幀的輸入圖像和在當前幀之前緊挨當前幀的一幀 的輸入圖像之間的運動矢量。在步驟ST322，在圖像的直方圖內具有 最高頻率的運動矢量被規定為背景的運動矢量，在圖像的檢測的直方 圖上具有次最高頻率的運動矢量被規定為主要對象的運動矢量。從檢 測的運動矢量中提取具有次最高頻率的運動矢量。在步驟ST323，檢 查具有次最高頻率的運動矢量對運動矢量的總數的比率，如果具有次 最高頻率的運動矢量的數量對于運動矢量的總數是足夠的，則確定除 去背景的運動矢量之外還有任何的運動矢量。然后處理前進到步驟 ST324。如果具有次最高頻率的運動矢量的數量對于運動矢量的總數 不足，則確定除了背景的運動矢量之外沒有運動矢量。處理然后結束。 在步驟ST324，具有次最高頻率的每個運動矢量的方向被設置為場景 改變之后的圖像的顯示位置。
圖26表示在步驟ST3根據音量確定場景改變前后圖像之間的關 系的操作的例子。在步驟ST331，從輸入的立體聲雙聲道音頻信號檢 測左右聲道的音量.在步驟ST332，使檢測的左右聲道的音量相互比 較。在步驟ST333，確定在左右聲道的音量之間是否具有任何差異。 如果具有任何差異，則處理前進到步驟ST334，在該步猓確定具有較 大音量的聲道的方向作為場景改變后的圖像的顯示位置。如果沒有差 異，則處理結束.
回到圖22，在步驟ST4，產生用于在步驟ST3確定的顯示位置 上顯示圖像的輸出信號SDL，SDC和SDR。在產生輸出信號時，圖像 被存儲在幀存儲器中，在基于顯示位置的定時從幀存儲器中這樣讀出 圖像信號，使得讀出的圖像信號可對于每個屏幕被劃分從而產生輸出 信號SDL, SDC和SDR。或者，在其中的記錄區域按照圖像信號的顯示位置對應于圖像顯示區域的存儲器中存儲圖像信號，借以使得能
夠產生輸出信號SDL，SDC和SDR。
然后處理前進到步驟ST5。在步驟ST5，確定關于輸入圖像的圖 像信號是否結束。如果確定圖像信號未結束，則處理返回步驟ST1， 在該步驟重復所述的圖像處理。如果確定圖像信號結束，則圖像處理 結束。
圖27表示在以離線方式進行處理的情況下圖像處理程序的整個配置.
在圖27所示的步驟ST21，場景被辨別。在步驟ST22，確定是 否檢測到場景改變。如果在步驟ST22確定未檢測到場景改變，則處 理返回步驟ST21。如果在步驟ST22確定檢測到場景改變，則程序前 進到步驟ST23，在該步驟確定場景改變前后的圖像之間的關系。
在步驟ST24，確定是否對于每個場景都進行了場景改變前后圖 像之間的關系的確定。如果在步驟ST24確定尚未對于每個場景都進 行過場景改變前后圖像之間的關系的確定，則處理返回步驟ST21繼 續進行處理。如果在步驟ST24確定對于每個場景都進行了場景改變 前后圖像之間的關系的確定，則處理前進到步驟ST25。
在步驟ST25，從每個場景前后確定的顯示位置中提取顯示位置 連續地改變的情況，并這樣設置顯示位置，使得顯示位置可以連續地 改變.
在步驟ST26,這樣產生輸出信號SDL，SDC，SDR，使得圖像可 以在步驟ST25確定的顯示位置上被顯示，在產生輸出信號時，圖像 被存儲在幀存儲器中，并且在按照圖像的顯示位置的定時從幀存儲器 中這樣讀出圖像信號，使得讀出的圖像信號對于每個屏幕被劃分，借 以使得能夠產生輸出信號SDL，SDC和SDR。或者，把圖像信號存儲 器其中記錄區域按照圖像信號的顯示位置對應于圖俸顯示區域的存 儲器中，并使用在對應于每個屏幕的記錄區域中存儲的信號，從而使 得能夠產生輸出信號SDL，SDC和SDR。
因而，在按照本發明的用于處理圖像的方法和圖像處理程序產品的實施例中，檢測場景改變前后的圖像的特征值，并根據圖像的特征 值確定場景改變后的顯示位置。在這些實施例中，視線方向、運動矢 量和音量被用作圖像的特征值。
因而，觀看者能夠容易地領會場景的改變，并由圖像中的內容容 易地領會場景改變前后圖像之間的關系。這使得能夠實現容易理解的 圖像呈現。
應當注意，雖然在上述實施例中說明了一個以上的屏幕和投射 器，它們的數量和屏幕的尺寸等可被選擇地改變。可以使用其它種類 的顯示器，例如寬屏顯示器或者彎曲表面顯示器例如圓柱顯示器。
雖然在上述實施例中用于處理圖像的設備120A內含有存儲單元 130,可以使用任何外部信息存儲裝置。當存儲單元130可拆卸時， 借助于利用在這個可拆卸的存儲單元130中存儲的圖像信號SDin和 顯示位置信息JC，具有任何圖像顯示控制功能的另一種圖像顯示系 統也可以顯示具有任何的真實性和可容易理解的圖像。
按照上述的本發明的實施例，通過使用現有內容的圖像信號而不 創建新的圖像源與/或其它格式，可以在顯示位置上顯示場景改變，從 而使得能夠顯示比以前的圖像具有更好的效果并且能夠容易理解的 圖像.
下面參照圖28到30說明按照本發明的用于產生再現信息的設備 和方法以及再現信息產生程序產品的實施例。圖28表示按照本發明 的用于產生再現信息的設備500的實施例的配置，圖29表示用于再 現信息的設備600的配置。和圖3所示的用于處理圖像的設備120的 相同的標號表示設備500和600的相同的元件，并因而省略對這些元 件的細節的說明。
用于處理困像的設備120被劃分以便構成設備500和600。用于 產生再現信息的設備500對關于輸入圖像的圖像信號SDin進行任何 處理，并產生關于視頻的作為再現信息的例子的幀的顯示位置信息 JP。用于產生再現信息的設備500包含場景改變檢測單元121(121A) 和場景改變前后關系確定單元124 (124A和124B)。用于再現信息的設備600根據顯示位置信息JP對圖像信號SDin進行任何處理并再 現圖像。
在圖28所示的用于產生再現信息的設備500中的場景改變檢測 單元121接收圖像信號SDin，根據圖像信號SDin檢測幀內的場景改 變，從而產生場景改變檢測信號SC，并把場景改變檢測信號SC提供 給場景改變前后關系確定單元124。
當收到場景改變檢測信號SC時，場景改變前后關系確定單元 124根據表示圖像的特征值的面部方向與/或視線方向確定場景改變 前后圖像間的關系，并把輸入圖像的顯示位置作為顯示位置信息JP 傳送到輸出端501。
輸出端501可以連接外部存儲介質例如USB存儲器，其存儲顯 示位置信息JP。這使得能夠提供用于表示每個場景的顯示位置的顯示 位置信息JP。此外，端子501還可以連接電信線路例如局域網(LAN) 電纜。例如，顯示位置信息JP通過互聯網通信網絡被下栽到用戶的 個人計算機(PC)。
圖29所示的用于再現信息的設備600從外部存儲介質中讀出顯 示位置信息JP,或者通過互聯網獲得顯示位置信息JP，并根據顯示 位置信息JP對關于輸入圖像的圖像信號SDin進行任何處理以再現圖 像。用于再現信息的設備600包含顯示位置設置單元126和信號輸出 單元142L，142C，142R。
顯示位置設置單元126接收顯示位置信息JP和圖像信號SDin。 然后顯示位置設置單元126根據顯示位置信息JP設置關于圖像信號 SDin的輸入圖像的顯示位置，并劃分圖像信號SDin，以便把劃分的 信號分別提供給信號輸出單元142L，142C，142R。
信號輸出單元142L，142C，142R由圖flU!"儲器構成。當接收圖像 信號SDin時，信號輸出單元142L連續地在圖像存儲器上存儲圖像信 號SDin。
然后從信號輸出單元142L讀出圖像信號SDin,并作為輸出信號 SDL提供給投射器112L。當提供劃分的圖像信號SDin時，信號輸出單元142L在其存儲器中存儲該圖像信號，使得不包括內容的圖像信 號的部分在屏幕上以黑色被顯示。
信號輸出單元142C和142R具有和信號輸出單元142L相同的配 置，并在其圖像存儲器上連續地存儲圖像信號SDin。然后從信號輸出 單元142C和142R讀出圖像信號SDin，并作為輸出信號SDC和SDR 分別提供給投射器112C和112R。當提供劃分的圖像信號SDin時， 信號輸出單元142C和142R在其圖像存儲器中這樣存儲圖像信號， 使得不包括內容的圖像信號的部分以黑色在屏幕上被顯示。
圖30表示在以實時方式進行處理的情況下顯示位置信息的產生 的例子，其表示再現信息產生程序。
在圖30所示的步驟ST31，場景被辨別。在步驟ST32，確定是 否檢測到場景改變。如果確定未檢測到場景改變，則處理返回步驟 ST1,如果確定檢測到場景改變，則處理前進到步驟ST3。在步驟ST3， 確定場景改變前后圖像間的關系。例如根據面部方向與/或圖像中眼睛 的方向、圖像的運動矢量以及圖像中左右聲道的音量之間的差來確定 場景改變前后圖像間的關系，
在步驟ST34，根據場景改變前后圖像間的關系，產生關于場景 改變后的圖像的顯示位置的顯示位置信息JP，該信息是在步驟ST33 確定的，然后處理前進到步驟ST35。
在步稞ST35，確定關于輸入圖像的圖像信號SDin是否結束。如 果確定圖像信號SDin尚未結束，則處理返回步驟ST1。如果確定圖 像信號結束，則圖像處理結束。
因而，利用按照上述本發明實施例的用于產生再現信息的設備 500、用于產生再現信息的方法及其程序產品，檢測場景改變前后的 圖像的特征值，并根據所述特征值，產生這樣的顯示位置信息JP，使 得場景改變后的圖像的顯示位置被設置到和場景改變前的圖像相關 的顯示位置。
因而，按照本發明的實施例，通過根據產生的顯示位置信息JP 再現圖像，能夠容易地領會場景的改變，并能夠根據圖像的內容領會在場景改變前后圖像間的關系。這使得圖像能夠以可理解的方式被呈 現。
因而，按照本發明的上述實施例的用于處理圖像的設備和方法、 用于處理圖像的程序產品、用于產生再現信息的設備和方法以及用于 產生再現信息的程序產品，優選地被應用于用于處理關于輸入圖像例 如電視廣播節目和電影的圖像信號的設備等。
本領域技術人員應當理解，根據迄今為止的設計要求和其它因 素，可以作出各種改型、組合、子組合以及等同替換，只要它們都落 在所附權利要求及其等效物的范圍內。
權利要求
1.一種用于處理圖像的設備，所述設備包括場景改變檢測單元，用于根據關于輸入圖像的圖像信號檢測輸入圖像的場景改變；顯示位置控制單元，用于根據場景改變檢測單元的檢測結果，把場景改變之后圖像的顯示位置確定為與場景改變之前的圖像相關的顯示位置；以及顯示位置設置單元，用于把在顯示位置控制單元中確定的顯示位置設置為顯示在場景改變之后的圖像的顯示位置，其中所述顯示位置控制單元檢測場景改變前后的圖像的特征值，并根據圖像的特征值確定場景改變之后的圖像的顯示位置。
2. 如權利要求1所述的設備，其中所述顯示位置控制單元包括 第一面部區域提取部分，用于從圖像信號中提取面部圖像的區域；第一視線方向檢測部分，用于從在第一面部區域提取部分中提取 的面部圖像的區域中檢測第一視線方向；延遲部分，用于延遲圖像信號以產生延遲的圖像信號； 第二面部區域提取部分，用于從自延遲部分接收的延遲圖像信號第二視線方向檢測部分，用于從在第二面部區域提取部分中提取 的面部圖像的區域中檢測笫二視線方向；以及顯示方向判定部分，用于在第一和第二視線方向被檢測出之后根 據表示特征值的第一和笫二視線方向判定關于圖像信號的輸入圖像 的顯示方向。
3.如權利要求2所述的設備，其中第一面部區域提取部分包括 有色皮膚區域提取部分，用于從圖像信號提取圖像的值在一個設 置范圍內的像素，并把所述像素設置為有色皮膚的區域；水平線檢測部分，用于計數在每個水平線上在有色皮膚區域提取部分中提取的有色皮膚區域中的像素的數量，并檢測具有最大的計數 像素數的水平線，以從具有最大的計數像素數的水平線的位置獲得參考點;垂直線檢測部分，用于根據水平線檢測部分中檢測的水平線的長度獲得垂直線的長度，并把參考點設置為垂直線的中點；幀區域提取部分，用于根據在水平線檢測部分中檢測的水平線和在垂直線檢測部分中檢測的垂直線從圖像中提取幀區域；以及面部圖像辨別部分，包含用于設置的面部圖像的模板，計算在所述模板和在幀區域提取部分提取的幀區域之間的差值，比較所述差值和預定閾值，并根據比較結果辨別圖像中的所述幀區域是否是面部區域。
4. 如權利要求2所述的設備，其中第二面部區域提取部分包括 有色皮膚區域提取部分，用于從延遲的圖像信號提取圖像的值在一個設置范圍內的像素，并把所述像素設置為有色皮膚的區域；水平線檢測部分，用于計數在每個水平線上在有色皮膚區域提取 部分中提取的有色皮膚區域中的像素的數量，并檢測具有最大的計數 像素數的水平線，以從具有最大的計數像素數的水平線的位置獲得參 考點；垂直線檢測部分，用于根據水平線檢測部分中檢測的水平線的長 度獲得垂直線的長度，并把參考點設置為垂直線的中點；幀區域提取部分，用于根據在水平線檢測部分中檢測的水平線和 在垂直線檢測部分中檢測的垂直線從圖像中提取幀區域；以及面部圖像辨別部分，包含用于設置的面部圖像的模板，計算在所 述模板和在幀區域提取部分提取的幀區域之間的差值，比較所述差值 和預定閾值，并根據比較結果辨別固像中的所述幀區域是否是面部區 域。
5. 如權利要求1所述的設備，其中顯示位置控制單元包括 第一延遲部分，用于延遲圖像信號，以產生第一延遲圖像信號； 第二延遲部分，用于延遲第一延遲圖像信號，以產生第二延遲圖像信號；運動矢量檢測部分，用于接收第一和第二延遲圖像信號，并從第一和第二延遲圖像信號檢測運動矢量；運動矢量判定部分，用于根據在運動矢量檢測部分中檢測的運動矢量判定表示特征值的預定的運動矢量；以及顯示方向判定部分，用于根據在運動矢量判定部分中判定的運動 矢量判定關于圖像信號的輸入圖像的顯示方向。
6. 如權利要求1所述的設備，其中顯示位置控制單元包括 延遲部分，用于延遲圖像信號，以產生延遲的圖像信號； 音量檢測部分，用于檢測關于伴隨著延遲的圖像信號的具有多個聲道的音頻信號的音量；音量比較部分，用于計算在音量檢測部分中檢測的聲道之間的音 量的差值，比較所述差值和預定的閾值，并根據其比較結果辨別在聲 道之間是否具有音量的差異，所述差值表示特征值；以及顯示方向判定部分，用于根據在音量比較部分中的辨別結果判定 關于圖像信號的輸入圖像的顯示方向。
7. 如權利要求1所述的設備，還包括積累單元，用于積累關于輸 入圖像的圖像信號，其中場景改變檢測單元根據在所述積累單元中積累的圖像信號 檢測輸入圖像的場景改變；其中當檢測到場景改變時，顯示位置控制單元把場景改變后的圖 像的顯示位置確定為與場景改變前的圖像相關的顯示位置；其中顯示位置設置單元把在顯示位置控制單元中確定的顯示位 置設置為用于顯示場景改變后的圖像的顯示位置，并向積累單元提供 用于在該設置的顯示位置上顯示場景改變后的圖像的顯示位置信息， 以及其中積累單元根據提供的用于每個場景的顯示位置信息調整用 于最終顯示場景改變后的圖像的顯示位置。
8. —種用于處理圖像的方法，所述方法包括第 一步驟，用于根據關于輸入圖像的圖像信號檢測輸入圖像的場景改變；第二步驟，用于根據第一步驟的檢測結果，把場景改變之后圖像 的顯示位置確定為與場景改變之前的圖像相關的顯示位置；以及第三步驟，用于把在第二步驟中確定的顯示位置設置為顯示在場 景改變之后的圖像的顯示位置，其中在第二步驟中，檢測場景改變前后的圖像的特征值，并根據 這些圖像的特征值確定顯示在場景改變之后的圖像的顯示位置。
9. 一種程序產品，其允許計算機通過執行用于處理圖像的方法來 處理圖像信號，所述方法包括第一步驟，用于根據關于輸入圖像的圖像信號檢測輸入圖像的場 景改變；笫二步驟，用于根據第一步驟的檢測結果，把場景改變之后圖像 的顯示位置確定為與場景改變之前的圖像相關的顯示位置；以及第三步驟，用于把在第二步驟中確定的顯示位置設置為顯示在場 景改變之后的圖像的顯示位置，其中在第二步驟中，檢測場景改變前后的圖像的特征值，并根據 這些圖像的特征值確定顯示在場景改變之后的圖像的顯示位置。
10. —種用于產生再現信息的設備，該設備處理關于輸入的圖像 的圖像信號，從而產生關于輸入的圖像的再現信息，所述設備包括場景改變檢測單元，用于根據關于輸入圖像的圖像信號檢測輸入 圖像的場景改變；以及顯示位置控制單元，用于根據場景改變檢測單元的檢測結果把場 景改變之后圖像的顯示位置確定為與場景改變之前的圖像相關的顯 示位置，其中所述顯示位置控制單元檢測場景改變前后的圖像的特征值， 并根據圖像的特征值產生再現信息，以便確定場景改變之后的圖像的 顯示位置。
11. 一種通過處理關于輸入圖像的圖像信號來產生關于輸入圖像的再現信息的方法，所述方法包括第 一步驟，用于根據關于輸入圖像的圖像信號檢測輸入圖像的場 景改變；以及第二步驟，用于根據第一步驟的檢測結果，把場景改變之后圖像 的顯示位置確定為與場景改變之前的圖像相關的顯示位置，其中所述第二步驟包括以下子步驟檢測場景改變前后的圖像的 特征值，以及產生再現信息，以根據圖像的特征值確定在場景改變之 后圖像的顯示位置.
12.—種程序產品，其允許計算機通過執行下述步驟產生用于再 現關于輸入圖像的圖像信號的再現信息第一步驟，用于根據關于輸入圖像的圖像信號檢測輸入圖像的場 景改變；以及第二步驟，用于根據第一步驟的檢測結果，把場景改變之后圖像 的顯示位置確定為與場景改變之前的圖像相關的顯示位置，其中所述第二步驟包括以下子步驟檢測場景改變前后的圖像的 特征值，以及產生再現信息，以根據圖像的特征值確定在場景改變之 后圖像的顯示位置。
全文摘要
本發明公開了處理圖像的設備和方法及產生再現信息的設備和方法。一種用于處理圖像的設備包括場景改變檢測單元，用于根據關于輸入圖像的圖像信號檢測輸入圖像的場景改變；顯示位置控制單元，用于根據場景改變檢測單元的檢測結果，把場景改變之后圖像的顯示位置確定為與場景改變之前的圖像相關的顯示位置；以及顯示位置設置單元，用于把在顯示位置控制單元中確定的顯示位置設置為顯示在場景改變之后的圖像的顯示位置。所述顯示位置控制單元檢測場景改變前后的圖像的特征值，并根據圖像的特征值確定場景改變之后的圖像的顯示位置。
文檔編號H04N5/74GK101291392SQ200810092940
公開日2008年10月22日 申請日期2008年4月18日 優先權日2007年4月20日
發明者山元左近, 近藤哲二郎 申請人:索尼株式會社