使用沿時間軸改變的圖像數據產生新圖像的方法和裝置的制作方法

專利名稱：使用沿時間軸改變的圖像數據產生新圖像的方法和裝置的制作方法
技術領域：
本發明涉及用于產生圖像的方法和裝置，尤其涉及處理由攝像機拍攝的 活動圖像并因此再輸出處理過的活動圖像的技術。
背景技術：
隨著近幾年計算機技術的顯著進步和發展，計算機提供的圖像處理能力 顯著改善。甚至一般用戶可用的家用PC (個人計算機)和游戲機也可以實現 曽經是圖像處理專用的高端工作站才能實現的多樣的處理。PC的圖像處理性能和能力上的改善提供了另 一種家用PC和游戲機的潛 在應用。即，存在低價的、面向一般用戶的用于電影編輯、圖像處理、創作 等的工具。因此，專業技巧不再是操作復雜圖像處理的先決條件，甚至業余 用戶也可以通過使用這些可用工具操作活動圖像的處理。發明內容由于前述情況，本發明的發明人已經著手尋找革新的圖像處理方法，通 過該方法可以獲得新奇的以及特殊效果的圖像。本發明的發明人根據上述認 識發明了本發明，并且本發明的一個目標是獲得有趣的圖像。此外，考慮下 列目標或通過本專利說明書的描述理解的其他目標而開發了本發明。即，目 標包括改進圖像處理的效率、降低由圖像處理引起的負載、改進圖像處理技 術的新建議等等。根據本發明的優選實施例涉及圖像產生方法。該方法包括:將原始活動圖 像當作沿時間軸改變的二維圖像，并且當以虛擬方式將活動圖像表示為由二 維圖像和時間軸形成的盒空間時，用包含多個在時間值上相互不同的點的曲
面切割該盒空間。將截面上出現的圖像投影到在時間軸方向上的平面，并通 過隨時間改變截面，來將在平面上出現的圖像作為新活動圖像輸出。通過以 各種方式設置曲面來確定改變的內容，并且輸出與原始活動圖像的內容不同 的新活動圖像。這里，"原始活動圖像，，可以是由攝像機當場拍攝的圖像，也可以是在記錄介質中預先存儲的、諸如由MPEG等格式編碼的圖像。"投影到平面"是 如果投影到時間軸上的平面，則將要投影到該平面的圖像是"投影到平面"的 結果。具體講，其指的是當直接從時間軸方向觀看截面時，將要投影到該 截面的圖像等于投影到平面的圖像。例如，通過沿時間軸移動截面而保持截面的曲面形狀的完整，可以實現 "隨時間改變截面"。通過隨時間流逝而移動截面，可以獲得平滑和連續的新 活動圖像。曲面(surface)形狀可能隨時間流逝而改變。如果包含在時間軸 上曲面中的點的位置由t表示，并且包含在二維圖像中的點的坐標由(x,y) 表示，則t可以由一般等式表示的函數t-f(x,y)定義。曲面可以是平面。投影 的圖像根據所設置的曲面形狀的類型而改變。根據本發明的另一個優選實施例涉及圖像產生裝置。該裝置包括圖像 存儲器，用于沿時間軸順序存儲原始活動圖像；圖像轉換單元，用于將存儲 在圖像存儲器中的原始活動圖像當作沿時間軸改變的二維圖像，并且當以虛 擬方式將活動圖像表示為由二維圖像和時間軸形成的盒空間時，用包含多個 在時間值上相互不同的點的曲面切割該盒空間，并且將截面上出現的圖像投 影到在時間軸方向上的平面；和圖像數據輸出單元，將通過在圖像轉換單元 中隨時間改變截面獲得的、在平面上出現的圖像設置為新活動圖像幀。圖像 存儲器作為暫時存儲在直到在原始活動圖像中包含的幀已經轉換為新幀的固 定時間段中的多個幀的緩沖器。圖像產生裝置還可以包括圖像輸入單元，用于獲得由攝像機拍攝的圖像 作為原始活動圖像并且將這些獲得的圖像發送到圖像存儲器。因此，實時圖 像處理拍攝的圖像，從而可以在屏幕上顯示與目標的實際狀態不同的、獨特 的、神秘的或特殊效果的圖像。圖像轉換單元可以用構成二維圖像的圖像區域的坐標的函數定義的曲面切割盒空間。這里，"圖像區域，，可以是覆蓋單一像素的區域或覆蓋像素塊的 區域。該曲面可以由不依賴于水平方向的二維圖像的坐標的函數定義。"水平
方向"可以是掃描線的方向。圖像轉換單元可以用關于構成二維圖像的圖像區 域的屬性值的函數定義的曲面切割盒空間。決定每個像素的顯示內容的"屬性值，，可以是各種屬性，諸如像素值、深度值(depth value )、與特定模式的近似 階數(order )、相對其他幀的改變程度等等。該屬性值可以是圖像區域的平均 值或中心值。根據在像素值、深度值、與特定模式的近似階數和改變程度中的任何參 數可以確定在上述曲面中包含的點的時間值。此外，根據在像素值、深度值、 與特定模式的近似階數和改變程度中的任何參數可以確定哪個圖像區域將投 影到上述的平面。根據本發明的另一個優選實施例涉及圖像產生方法。該方法包括對于 在原始活動圖像中的目標幀中包含的圖像的每個圖中位置，從原始活動圖像中包含的多個幀的至少 一 幀中讀出對應于圖中位置的數據；合成讀出的數據； 并且通過順序輸出在合成中形成的幀形成新活動圖像。以像素或像素行為單 位從過去的幀中讀出數據，然后合成數據，從而獲得與原始活動圖像不同的 圖像。這些是所謂的拼湊的圖像，其包含以像素或像素行為單位混合合成的、 在時間上不同的數據，從而可以獲得不能在現實世界中存在的獨特的并且神 秘的圖像。"目標幀"是在顯示時作為參考的幀，并且隨時間流逝可能改變。例如， 在現有掃描方法中，該"目標幀"對應于在目前定時將要輸出的當前幀。根據 該目標幀，判斷從哪個幀中讀出并輸出哪個實際數據。"圖中位置(in-picture position)，，可以是作為掃描線的像素行的位置，或者可以是像素的位置。從幀 中可以讀出對應于其的相應數據，并且以像素或像素行為單位合成數據。"合 成"可以是重疊、混合、置換和粘合。根據本發明的另 一個優選實施例涉及圖像產生裝置，包括圖像存儲器、 圖像轉換單元和圖像數據輸出單元。圖像存儲器為每個幀順序記錄原始活動圖像。圖像轉換單元為每個包含在目標幀中的圖像的圖中位置從記錄在圖像 存儲器中的至少一幀中讀出對應于圖中位置的數據，并且合成數據。圖像數 據輸出單元順序輸出由圖像轉換單元合成和重構的幀。圖像存儲器用作在預 定的時間周期中暫時存儲多個幀，直到在原始活動圖像中包含的幀已經轉換 為新幀并且不再使用這些幀時為止。"像素"是構成在顯示屏上顯示的圖像的 點，并且可以是由一組RGB顏色表示的像素。
應當注意的是在方法、裝置、系統、計算機程序、存儲計算機程序的記 錄介質、數據結構等之間改變的上述結構元件和表達式的任意組合都是有效 的，并且由該實施例包含。此外，本發明的發明內容部分不需要描述所有的必要特征，因此，本發 明也可以是這些所述特征的子組合。


圖1以虛擬方式圖解并表達了在根據本發明第一實施例中、原始活動圖 像的幀沿時間軸連續出現的狀態。圖2A和2B被提供來比較示出拍攝的目標(object shot)的屏幕與示出實際顯示的內容的屏幕。圖3是示出根據第一實施例的圖像產生裝置的功能的方框圖。圖4是示出根據第一實施例的、將原始活動圖像轉換成新活動圖像的步驟的流程圖；圖5根據第二實施例，以虛擬方式將活動圖像圖解為盒空間。圖6A和6B被提供來根據第二實施例，比較示出拍攝的目標的屏幕與示出實際顯示的內容的屏幕。圖7是示出在第二實施例中，通過根據Z值從幀中讀出數據來產生新活動圖像的步驟的流程圖。圖8根據第三實施例，以虛擬方式將活動圖像圖解為盒空間。圖9A和9B根據第三實施例，比較示出拍攝的目標的屏幕與示出實際顯示的內容的屏幕。圖IO是示出根據第三實施例的、從產生原始活動圖像中產生提取了所期 望的顏色部分的活動圖像的步驟的流程圖。圖ll根據第四實施例，將原始活動圖像圖解為盒空間。 圖12是示出圖像產生裝置的結構的功能方框圖。圖13顯示了顯示由設置輸入單元確定的函數的圖表的監視器的屏幕的 示例。圖14是示出產生定向和操作(directing and manipulating )目標的步驟的流程圖。圖15是示出將定向和操作效果應用到當前幀的步驟的流程圖。
具體實施方式
將根據實施例描述本發明，所述實施例不意味著限制本發明而是示例本 發明。在實施例中描述的所有的特征和它們的組合不是必要的。 第一實施例根據本發明第一實施例，在原始活動圖像中包含的多個幀順序存儲在環 形緩沖器(見圖3)，并且針對每個掃描線從不同的幀中讀出數據，以便將這 樣讀出的數據作為新幀顯示在屏幕上。具體講，從更新的幀中讀出關于位于 屏幕上沿的掃描線上的像素的數據，而從時間上較舊的先前幀中讀出關于屏 幕下沿的掃描線的像素的數據。在屏幕上，所顯示的是與實際目標不同的、 奇怪和神秘的圖像。圖1以虛擬方式圖解并表達了原始活動圖像的幀沿時間軸連續出現的狀 態。原始活動圖像被當作并抓取為沿時間軸改變的二維圖像。矩形平行管狀(rectangular-parallelopiped)空間10 (在后面也稱為"盒空間")隨時間流逝而 在時間軸t方向上擴展。與時間軸t垂直的橫截面表示幀。幀是一組由x軸和 y軸形成的平面的坐標表示的像素。該盒空間10由具有所期望的形狀的曲面 切割。如圖l所示，根據第一實施例，盒空間10由平行于x軸的、在隨著時 間從to流逝到時間^而從x軸之上朝向下面一條線的方向上的斜面切割。當 出現在曲面14的圖像投影到沿時間軸方向的平面上時，投影到時間軸上的平 面的圖像作為實際幀輸出，而不是輸出當前幀12。隨時間流逝，截面14沿時間軸t移動。以其在時間軸t的方向具有連續 的寬度方式來定義截面14。合成包含在該寬度中的圖像，并且這些合成的圖 像用作實際在屏幕上顯示的幀。當前幀12對應于應該已經位于在正常顯示模式中目前掃描的定時上的 幀。設當前幀12在時間軸上的目前位置是在時間to。然后，在時間t。前的幀(例如分別位于時間tp t2、 t3和tt的幀)對應于在正常顯示定時下已經顯示 了的幀。然而，在第一實施例中，實際上顯示了先于時間to的幀。以對每個 沿水平方向的像素行順序顯示數據的輸出的方式，輸出在每個幀中包含的像 素的數據。在同一定時讀出包含在單一像素行中的每個像素的數據，然后顯 示。在正常掃描定時輸出最高點的像素行。其后，以一幀的延遲輸出位于最 高點的像素行下面一個像素的像素行。因此，像素行的次序越低，就在越延 遲的定時輸出。從過去的幀中讀出屏幕上每個像素的數據，并且這些幀應該被后退的程度可以由像素坐標的函數表示，諸如t=t。-y。函數t=t()-y僅是像素行的y坐標 的函數，并且不依賴于像素行的x坐標。在當前幀12的解析度是720x480的情況下，設左上像素的坐標是(O， 0) 右下像素的坐標是(719, 479)。在這種情況下，坐標y的最大值是479,并 且最低次序的像素行的掃描定時被延遲479幀。在盒空間10中，在時間to 和時間t2之間放置了 480幀。圖2A和2B分別圖解示出所拍攝目標的屏幕與示出實際顯示的目標的屏 幕，并被提供來將前者與后者進行比較。圖2A示出圖像鏡頭，該目標的圖 像等效于當前幀12。這里，目標緩慢擺動他/她的手16。圖2B是出現在圖1 所示的截面14上的圖像，并且是圖2A的目標在屏幕上實際顯示的圖像。換 句話說，根據過去的幀到當前幀，手16的位置以從左邊到中點、右邊、中點 和左邊的次序改變，因此，通過為每個掃描線從不同的過去幀讀出凝:據，在 左邊位置的手16的圖像和在右邊位置的圖像交替出現。由于從時間上相同的 掃描定時的幀中讀出相同的數據線上的數據，因此在水平方向上不會引起彎 曲或變形。然而，在垂直方向上，以手16的形狀在左邊和右邊是曲折和彎曲 的方式顯示手16。換句話說，擺動手16的目標除了手16外幾乎不移動。因此，即使合成 從時間上相互不同的幀讀出的圖.像，由于在其顯示位置上沒有差別，彎曲或 變形也是幾乎不存在的。圖3是示出根據第一實施例的圖像產生裝置的功能方框圖。就硬件來說， 通過諸如任意計算機的CPU和其類似裝置可以實現圖像產生裝置50的結構。 就軟件來說，通過具有數據存儲、圖像處理和畫圖功能的程序或類似程序實 現它，但圖3中所圖解并描述的是結合它們所實現的功能框。因此，通過僅 <又硬件、僅僅軟件或將它們結合可以以多種形式實現這些功能框。圖像產生裝置50包括圖像輸入單元52，其獲得由攝像機拍攝的圖像作 為原始活動圖像，并且將包含在原始活動圖像中的幀發送到圖像存儲器；環 形緩沖器56,用作沿時間軸順序存儲原始活動圖像的圖像存儲器；緩沖器控 制單元54，控制從環形緩沖器56的讀出幀和向環形緩沖器56的寫入幀；圖 像轉換單元60,將存儲在環形緩沖器56中的幀轉換為用于顯示的幀；函數 存儲器70,其存儲幀轉換時引用的函數；和顯示緩沖器74,其存儲用于顯示 的幀。圖像輸入單元52可以包括抓取數字圖像的CCD,以及通過A-D轉換獲 得數字圖像的轉換單元。圖像輸入單元52可以實現為以可分離方式外部地提 供并且安裝在圖像產生單元50的設備。緩沖控制單元54將由圖像輸入單元 52輸入的原始活動圖像的幀順序記錄到由環形緩沖器56的寫指針指示的區 域。對于包含在當前幀12中的每個像素，圖像轉換單元60從記錄在環形緩 沖器56的頓中讀出對應于像素的數據，并且合成數據。圖像轉換單元60包 括決定處理單元62，用于為每個像素確定應該從哪個幀中讀出數據；數據獲 得單元64，用于從由決定處理單元62確定的幀中讀出數據；和圖像形成單 元66，用于通過為每個讀出的像素行合成數據而形成幀。在決定處理單元62中，根據下面的等式(1)定義并根據該等式得出應 該從哪個幀讀出數據的決定。PFr(x，y，t0) = P(x，y，t0-y) -—(1) 其中如圖l所示，x和y是關于當前幀12的像素坐標，而to是時間軸t上的 時間值。Pft是實際輸出的幀中每個像素的像素值。從等式(1)顯而易見， 將要輸出的幀的時間值僅是y坐標的函數。因此，為每個像素行作出應該從 在環形緩沖器56中存儲的多個幀中的哪個幀讀出數據的決定，并且該決定其 不依賴于x坐標。由等式(1 )表示的函數存儲在函數存儲器70中。其它可選函數也存儲 在函數存儲器70中。用戶經由命令獲得單元72可以設置來采用哪個函數。對于由數據獲得單元64讀出的每個像素的數據由具有圖像芯片功能的 圖像形成單元66順序寫入到顯示緩沖器74，從而組成幀。圖像產生單元50還包括命令獲得單元72，其從用戶接收命令；圖像數 據輸出單元76，用于輸出存儲在緩沖器74中的幀；和監視器78,用于在屏 幕上顯示輸出的幀。該監視器78可以是外部地提供到圖像產生裝置50的顯 示器。圖像數據輸出單元76從為一幀存儲圖像數據的顯示緩沖器74中讀出圖 像數據，然后將它們轉換為模擬信號并且將它們發送到監視器78。圖像數據
輸出單元76順序輸出存儲在顯示緩沖器74中的幀，以便輸出新活動圖像。圖4是示出根據第一實施例的、將原始活動圖像轉換成新活動圖像的步 驟的流程圖。首先，初始化環形緩沖器56中表示下一寫入位置的寫指針t， 即設置t二0(S10)，以便從環形緩沖器56的頂端區域開始存儲幀。包含在原 始活動圖像中的幀記錄在環形緩沖器56的第t區域中(S12)。因此，提供了 一幀的To區域的總和。初始化在顯示緩沖器74中的像素行號n,即設置n=0 ( S14 )，以便將從 對應于屏幕的頂行的那些開始的像素行的數據順序復制到顯示緩沖器74。所 計算的是指定對應于行號n的數據讀出位置的讀出指針T (S16)。這里，通 過T4-n獲得T。隨行號增加，讀出指針T進一步返回到過去的幀。起初， T=0-0=0，因此，讀出指針T指示第O區域。如果讀出指針T小于0(S18Y),則實際上不存在這樣的讀出指針。因此， 讀出指針移動到環形緩沖器56的末端(S20)。更具體講，將環形緩沖器56 的區域To的數量加到讀出指針T。數據獲得單元64從存儲在環形緩沖器56 中的讀出指針的區域的幀中讀出行號n,而圖像形成單元66將對應于該讀出 號的數據復制到顯示緩沖器74的行號n的區域。當行號n不是顯示緩沖器74中的最后行時(S24N)，將行號加"1"(S26)。 行號n持續遞增并且重復S16到S24的處理，直到行號達到最后行。當行號 成為對應于最后行的數字時，就將一幀的圖像數據存儲到顯示緩沖器74 (S24Y),并且將寫指針加"l" (S28)。當寫指針t指示環形緩沖器56的結尾 區域時(S30Y)，寫指針t返回到環形緩沖器56的開始區域(S32)。圖像數據輸出單元從顯示緩沖器74中讀出幀，將幀作為視頻數據輸出并 讓監視器78在屏幕上顯示幀(S34 )。重復S12到S34的處理直到命令終止顯 示為止(S36)。以這種方式，以像素行為單位從同一幀中讀出數據，并將數 據寫入顯示緩沖器。然而，像素行首先是與沿水平方向布置的掃描線相同的 多個像素集合，因此像素行是應該在正常設置中的同 一掃描定時讀出的數據。 因此，在掃描過程中有效地處理了讀和寫，并且可以防止由于本實施例中的 圖像轉換而引起的負載的過度增加。作為本實施例的改進的例子，決定處理單元62可以根據x坐標確定將要讀出的幀。例如，對于位于屏幕的左手邊的像素行，從當前幀12的左手邊讀出其數據，而對于位于屏幕的右手邊的像素行，從圖l所示時間k上的幀的 右手邊像素行讀出其數據。然后，其截面將是由與y軸平行的、從時間to到 時間t2的#|"面所切割的曲面。作為另 一種修改，決定處理單元62可以根據x和y坐標確定將要讀出的幀。例如，關于位于屏幕的左上邊的像素行，從當前幀12的左上邊讀出其數據，而關于位于屏幕的右下邊的像素行，從圖1所示時間12上的幀的右下邊 像素讀出其數據。作為另一種修改，掃描線可以沿垂直方向而不是水平方向設置。在這種 情況下，通過根據x坐標確定將要讀出的幀，可以實現更有效的圖像轉換。 第二實施例在第二實施例中，根據為每個像素指定妁深度值(Z佳〉，從不同幀中讀 出數據。這樣，在這個方面，由第二實施例執行的處理與根據像素的y坐標 確定幀的第一實施例的處理不同。例如，在原始活動圖像中拍攝的目標之間， 從較舊的幀中讀出距離攝像機更近的目標。因此，攝像機和目標之間的距離 越近，其顯示定時延遲得更多。圖5根據第二實施例以虛擬方式將活動圖像圖解為盒空間。在當前幀12 中拍攝的目標之間，第一圖像20的Z值設置為"U0"而第二圖像24的Z值設 置為"60"。 Z值越大表示目標離攝像機越近。顯示定時的延遲量與Z值成比 例。實際顯示在屏幕上的幀的每個像素由下列等式(2)定義。PFr(x,y，t0) = P(x，y,VZ(x,y，to)) —(2) 其中Z(x，y，to)是目前像素單元的Z值。隨Z值的增加，從其讀出像素數據的 幀從時間軸上的to向h和t2的方向后退。從時間t2上的幀中的、指示為第三圖像22的區域中讀出對應于第一圖像20的數據。從時間t,上的幀中的、指 示為第四圖像26的區域中讀出對應于第二圖像24的數據。在盒空間10的截面中，第三圖像區域22占用時間值t2,而第四圖像區 域26占用時間值ti。其它區域占用時間值to。因此，在截面中包含的點分散 在to、 ti和t2,使得其截面在時間軸方向具有離散的寬度。組成第一圖像20的像素具有比第二圖像的像素更大的Z值，并且其數據 從時間上較舊的幀中讀出。即，由于組成第二圖像的像素具有比第一圖像20 的像素更小的Z值，返回到較舊的幀的時間更短。提供圖6A和6B來比較顯示拍攝的目標(object shot)的屏幕與示出實 際顯示的目標的屏幕。圖6A表示拍攝的目標，在這種情況中所拍攝的目標
是抬起他/她的手并且開始慢慢左右擺動手的人30和在后面行駛的汽車32。 圖6B表示圖6A中所示的目標實際投影到屏幕的圖像。在屏幕上以與正常設 置不同的狀態顯示目標。即，區域離攝像機越近，其顯示定時越被延遲。現 在，特別地，人30是離攝像機最近的目標，因此顯示定時的延遲量是最大的。 關于幾乎不移動的部分或區域，為其像素顯示較舊的圖像將導致該目標的幾 乎相同的圖像。另一方面，關于頻繁或大幅度地左右或上下方向上移動的區 域的圖像，在幀上的其顯示部分是移動的。因此，如圖6B所示，甚至當其數 據從在對應于圖6A的那些坐標的坐標下的較舊的幀中讀出時，該區域的圖 像將是透明的或處于彌漫(permeated)狀態。在圖6B中，人30以頻繁移動 的手部消失的狀態顯示在屏幕上。在后面的汽車32位于相對遠離攝像機的位 置上，并且其Z值很小，因此在圖6A和與圖6B的所示的汽車的顯示狀態之 間存在很小的差異。根據該第二實施例的圖像產生裝置50具有與圖3所示的裝置基本相同的 結構。根據上面的等式(2)，決定處理單元62根據每個Z值計算向過去返回 的時間量，然后為每個像素單元確定將從哪個幀中讀出數據。此后，從其中 將讀出數據的幀也稱為源幀。根據第二實施例的圖像輸入單元52包括用于檢 測每個像素單元的Z值的距離測量傳感器。距離測量方法可以是激光方法、 紅外線照明方法、相^^測方法等等。圖7是示出在第二實施例中根據Z值通過從幀中讀出數據來產生新活動 圖像的步驟的流程圖。首先，初始化指示環形緩沖器56中下一個寫位置的寫 指針t，即設置t-0(S100),使得從緩沖器56的頂端區域開始存儲幀。包含在 原始活動圖像中的幀記錄在環形緩沖器56的第t區域(S102 )。在顯示緩沖器74中初始化目標像素的位置x和y,即，位置x和y設置 為x=0和y=0 ( S104 ),使得從屏幕頂行開始的像素被順序復制到顯示緩沖器 74。所計算的是指定對應于像素x和y的數據的讀出位置的讀出指針T (S106 )。決定處理單元62根據每個像素的Z值計算讀出指針T。數據獲得 單元64從存儲在環形緩沖器56的讀出指針區域的幀中讀出像素Px,y的數據。 然后，圖像形成單元66將讀出數據復制到顯示緩沖器74中的像素Px，y區域 上(S108)。當Px,y還不是顯示緩沖器74的最后像素時，即當像素Px,y不是右下邊緣 的像素時(S110N),像素Px,y移動到下一像素(S112)。重復S106到S112 處理直到像素Px,y成為最后像素為止。當像素P、y成為最后像素時，關于一幀的圖像被寫入顯示緩沖器74( S110Y)并且其由圖像形成單元66畫出(S114 )。 "l"加到寫指針t (S116)。當寫指針t指示環形緩沖器56的末端區域時 (S118Y),寫指針t返回到環形緩沖器56的頂端區域(S120)。圖像輸出單 元76向顯示器輸出所畫出的圖像。重復S102到S122的處理直到命令顯示終 止為止(S124)。以這種方式，以像素為單位從分離的幀讀出數據然后寫入顯 示緩沖器74。在這里應該注意的是，為每個像素分別確定從哪個幀中讀出數 據，可以從不同或相同的幀中讀出數據。 第三實施例根據本發明第三實施例與第 一和第二實施例的不同之處在于通過從多個 幀中讀出具有期望參數的像素的數據來合成圖像。上述屬性值是像素值，例 如，當通過讀出僅具有紅色分量的圖像值來合成圖像時，獲得神秘和特殊效 果的圖像，其中僅殘留好像為余像的期望的顏色。圖8根據第三實施例以虛擬方式將活動圖像圖解為盒空間。在盒空間10中，投影在時間to、 t" t2和t3的幀上的人30,是手持紅色材料的目標、緩慢地左右揮手的目標。紅色材料目標圖像34、 35、 36和37的各個顯示部分投 影在各個相互不同的幀上。根據第三實施例，預先在多個存儲在環形緩沖器56中的舊幀中確定將用 于圖像合成或圖像合成的幀。在圖8的情況中，在時間to、 t,、 t2和t3的幀用 于圖像合成。這四個幀是在盒空間10中的固定時間間隔上排列的多個曲面。提供圖9A和9B來比較顯示拍攝的目標的屏幕與示出實際顯示的目標的 屏幕。圖9A表示拍攝的目標。圖9B表示圖9A中顯示的目標實際投影到屏 幕上的圖像。在該屏幕上僅僅提取并合成紅色分量，因此僅僅顯示紅色材料 目標的圖像34、 35、 36和37,并且其背景為白色或黑色。通過下面的等式(3)定義實際顯示在屏幕上的幀的每個像素。i^(x，少，fo) = ZoF(x,;;，fo — cow^*/)—- (3 )/=0其中由下面的等式(4)表示指示合成比率的a或alpha值。a = i^(x，乂/。-coraW) — (4)其中A是像素的紅色分量值。數據獲得單元64根據等式(3)為每個像素讀取數據，并且確定是否合
成圖像。以這種方式，實現通過顏色的像素提取。雖然在等式(4)中紅色分量的像素值被設置為alpha值，但是其設置不受限制。如果alpha值設置為PG 或Pb,則僅提取并合成綠色分量或藍色分量。因此，如果在目標中包含任何 特定的顏色分量，則僅顯示包含特定顏色分量的特定部分，就好像是殘留余 像。根據該第三實施例的圖像產生裝置50具有與圖3所示裝置基本相同的結 構。根據上面的等式(3)和(4),決定處理單元62選擇在固定時間間隔上 的多個幀。數據獲得單元64和圖像形成單元66按由每個像素的像素值所確 定的比率合成讀出數據。圖IO是示出根據第三實施例的、從產生原始活動圖像中產生提取了期望 顏色部分的活動圖像的步驟的流程圖。首先，初始化指示環形緩沖器56中下 一個寫入位置的寫指針t，即設置tK)(S50)，并且初始化幀合成號i,即設置 i=0 (S51),使得從環形緩沖器56的頂端區域開始存儲幀。在原始活動圖像 中包含的幀記錄在環形緩沖器56的第t區域中(S52 )。在顯示緩沖器74中初始化目標像素的位置x和y,即，位置x和y設置 為x=0和y=0 (S54),使得從屏幕左上邊緣開始的像素被順序復制到顯示緩 沖器74。在環形緩沖器56中的讀出指針T的位置作為對應于像素x和y的 數據的讀出位置進行計算(S56 )。該讀出指針T是通過T=/0-com" 獲得的時 間值，并且指示通過沿時間軸按固定時間間隔返回的多個過去幀。數據獲得 單元64從存儲在環形緩沖器56的讀出指針區域的幀中讀出像素Px,y的數據。 然后，圖像形成單元66將讀出數據復制到顯示緩沖器74中的像素Px,y區域 上(S58)。計算并設置像素Px,y的alpha值ax，y ( S60 )。當像素Px，y還不是顯示緩沖 器74中的最后像素時，即當像素Px,y不是右下邊緣像素時(S62N),像素Px,y 移動到下一像素(S64)。重復S56到S62的處理直到像素P^成為顯示緩沖 器74中的最后像素。當像素Px，y成為顯示緩沖器74中的最后像素時，關于 一幀的圖像寫入顯示緩沖器74 ( S62Y)并且由圖像形成單元66畫出(S66 )。如果幀合成號i還沒有到達預定的號I ( S68N )，則給號i加"l"并且重復 S54到S66的處理。在第三實施例中，預定的號I是"3"并且重復合成4次直 到幀合成的號i從"0，，計數到"3"。當幀合成的號i到達預定的號i時(S68Y)， 將寫指針t加"r (S70)。當寫指針t指示環形緩沖器56的末端區域時，寫指
針t返回到環形緩沖器56的頂端區域。圖像數據輸出單元76向顯示器78輸 出所畫圖像數據(S76 )。重復S52到S76的處理直到命令終止顯示為止(S78 )。 以這種方式，僅以像素為單位從過去幀中讀出期望顏色分量的數據，然后寫 入顯示緩沖器。例如作為第三實施例的改進的例子，幀的alpha值對應于合成號1=0,即 可以將當前幀12的alpha值而不是PR設置為P。在這種情況下， 一起提取三 個顏色RGB,使得在圖9B的顯示屏上不僅出現紅色材料目標34-37而且同 時出現人30。第四實施例根據本發明的第四實施例與第三實施例不同之處在于在第四實施例中的 屬性值是指示期望的圖像模式和實際圖像之間的近似階(order)。作為模式匹 配的結果，圖像越近似并接近期望的圖像模式，其數據就從越舊的幀中讀出。 因此，在延遲的定時上可以顯示單獨包含在原始活動圖像中的期望的部分圖 像。圖ll根據第四實施例以虛擬方式將原始活動圖像圖解為盒空間。包含在 盒空間10的當前幀20包含第一圖像40。現在假設通過圖像模式計算匹配， 以便近似第一圖像40,然后，與其它區域中的像素相比，組成第一圖像40 的像素具有與圖像^t式更高階近似。因此，通過沿時間軸進一步返回，4艮據 近似階，從過去的幀中讀出對應于其的數據。這里，通過沿時間軸返回到時 間t2,來從具有時間值t2的幀中的第二圖像42的位置讀出數據。盒空間10 的截面在第二圖像42的區域中僅占用時間值t2，而在其它區域占用時間值ti。 因此，截面沿時間軸方向具有離散的寬度。根據第四實施例的圖像產生裝置50具有與圖3所示裝置基本相同的結 構。用戶經由命令獲得單元72指定圖像模式，而決定處理單元62處理圖像 模式和幀圖像之間的匹配。作為其結果，逐像素的檢測與圖像模式的近似階。 決定處理單元62根據其近似階，為每個像素確定應該從哪個幀中讀出數據。將參照圖7描述根據第四實施例的處理流程。首先，先于步驟SIOO,用 戶指定作為對其計算匹配的目標的圖像模式，并且在當前幀12和圖像模式之 間計算匹配，以便為每個像素檢測由"s"表示的近似階。即，關于圖像區域中 與圖像模式近似的像素，設置圖像區域的近似階。步驟S100到S104與第二 實施例的步驟相同。在步驟S106中，根據近似階"s"確定讀出指針T。例如通 過T4-s(x,y)獲得讀出指針T。其后的步驟也與第二實施例的步驟相同。 第五實施例在第五實施例中，也是從分離的幀中讀出數據并根據像素屬性值合成。 該屬性值與第三和第四實施例不同之處在于其為表示圖像區域的時變程度的 值。例如，在目標之間，快速或大幅移動的區域在時間上具有大圖像改變， 因此從較舊的幀中讀出數據。因此，可以延遲包含在原始活動圖像中的、具 有大圖像改變的區域顯示，以便圖像改變越大，就越延遲圖像區域的顯示。根據第五實施例的圖像產生裝置50具有與圖3所示的裝置基本相同的結 構。由檢測處理單元62為每個像素檢測在目標幀和該目標幀的緊前一巾貞之間據。將參照圖7描述根據第五實施例的處理流程。在S106,逐像素地比較第 t幀和第(T-l)幀，并且檢測由"c"表示的改變程度。根據其改變程度"c，，確定 讀出指針T。例如，通過T4-c(x,y)獲得讀出指針T。當改變程度"c"增加時， 表示沿時間軸返回過去的時間的程度的時間值增加。第六實施例根據本發明的第六實施例與第 一實施例不同之處在于用戶通過使用屏幕 上的界面可以為每個掃描線自由確定或定義從哪個幀中讀出數據。在下面通 過強調與第 一 實施例不同之處來描述第六實施例。圖12是示出圖像產生裝置的結構的功能方框圖。圖像產生裝置50與圖 3中示出的、根據第一實施例的圖像產生裝置50的主要不同之處在于，圖12 中所示的裝置包括設置輸入單元80。設置輸入單元80經由用戶操作的命令 獲得單元72獲得用于定義圖l的截面14的設置值的輸入。在第六實施例中， 作為定義從哪個幀中讀出每個像素行的數據的功能，t=Vy是作為默認設置值 的預定值。即，該功能定義幀向過去返回的程度。設定輸入單元80向顯示緩 沖器74發送由顯示在t^Vy上時間值的關系和像素行的坐標y的圖表表示的 圖像。圖像數據輸出單元76在顯示器78顯示由設置輸入單元80產生的圖像， 該圖像還顯示時間t和坐標y之間的關系。當觀看顯示在顯示器7 8上的圖時， 用戶操作命令獲得單元72，并且修改圖的形狀來將函數t二Vy改變為其他函 數。例如，命令獲得單元72可以是連接到顯示器屏幕的觸摸屏。在這種情況 下，表示用戶壓觸摸屏的位置的值作為操作內容輸入。
命令獲得單元72向設置輸入單元80發送用戶操作內容來改變顯示在顯 示器78上的圖。根據從命令獲得單元72獲得的操作內容，設置輸入單元改 變函數t-Vy,從而設置新函數，并因此而將新設置的函數存儲在函數存儲器 70中。決定處理單元62從函數存儲單元中讀出由設置輸入單元80設置的函 數，并且根據該新函數為每個像素行確定從哪個幀中讀出數據。作為其結果， 圖l所示的盒空間10由設置輸入單元80設置的函數定義的曲面所切割，并 且輸出出現在截面上的圖像而不是當前幀12作為實際幀。通過實現以上結 構，用戶可以利用圖像產生裝置50作為授權工具，并且通過自由改變顯示在 屏幕上的圖可以產生神秘和獨特的圖像。
圖13示出顯示由設置輸入單元確定的函數的圖表的監視器的屏幕。最 初，在設置屏幕82上顯示指示函數t-Vy中的時間t和坐標y之間關系的直 線84。用戶可以將直線84改變為貝塞爾曲線86。貝塞爾曲線86是連接第一 端點88和第二端點90的曲線，由第一控制點96和第二控制點98的位置確 定該曲線的形狀。通過用戶改變第一手柄(handle) 92和第二手柄94的位置 和長度來確定第一控制點96的位置和第二控制點98的位置。如果由設置輸 入單元80設置的函數由貝塞爾曲線86指定，則獲得的是為每個像素行而將 從與當前幀鄰近的幀中讀出數據與從過去的幀中讀出的數據混合在一起的圖 像。例如，經由設置輸入單元80,用戶通過貝塞爾曲線86可以指定周期曲 線，諸如正弦波曲線。雖然在該實施例中，由貝塞爾曲線86指定函數，但可 以提供一種結構作為改進的例子，其中由諸如B-樣條等曲線的其他曲線指定 函數。
第七實施例
根據本發明的第七實施例與第六實施例不同之處在于設置輸入單元80 獲得當前幀12中的特征點的坐標作為設置值之一，并且由該特征點的坐標定 義函數。下面通過強調其與第六實施例的不同之處來描述本實施例。
命令獲得單元72也是連接到顯示器78的觸摸屏。當用戶在期望的位置 按壓觸摸屏并且以畫圓的方式移動觸點時，表示觸點的坐標的多個連續值被 發送到設置輸入單元80。根據獲得的坐標值，設置輸入單元80識別由多個 觸點環繞并覆蓋的區域，并且產生用于確定環繞區域的函數，以便記錄到函 數存儲器70中。根據從函數存儲器70讀出的函數，從過去幀中讀出關于包 含在環繞區域中的像素的數據，而從當前幀12中讀出關于沒有包含在環繞區域中的像素的數據。作為其結果，圖l所示的盒空間IO由通過設置輸入單元 80獲得的坐標函數定義的曲面所切割，并且輸出在截面上出現的圖像而不是當前幀12作為實際幀。通過實現上面的結構，用戶可以利用圖像產生單元 50作為授權工具，并且可以通過在觸摸屏上指定任意區域來產生神秘和獨特 的圖像。第八實施例根據本發明的第八實施例與其他實施例不同之處在于以某種方式預先定 義函數，使得預定的改變形狀出現在屏幕上，從根據該函數確定的幀中讀出 數據。根據該第八實施例，以諸如水環的波形改變形狀出現在屏幕上的方式 預先定義函數。決定處理單元62確定當前幀12中的特征點。與第六和第七實施例類似， 通過用戶經由連接到顯示器78的屏幕的觸摸屏指定特征點，其中觸摸屏用作 命令獲得單元72。決定處理單元62確定源幀和像素坐標，以便水環的波形 作為其中心從特征點出現。這里，源幀是要從其讀出數據的幀。例如，為了表現水環的立體圖，假設從特征點沿放射方向顯示圓圈，決定處理單元62為 每個放射圓圈使用漸變時間值確定源幀。定義漸變時間值的改變，使得其成 為周期改變。從而可以表現水環的不平坦性。此外，決定處理單元62在預定 方向移動要讀出的像素坐標預定量。從而可以表現水環引起的光折射。 第九實施例根據本發明的第九實施例與觸摸屏用作輸入特征點的命令獲得單元72 的第七和第八實施例不同之處在于根據在當前幀12中包含的信息確定特征 點。根據第九實施例的決定處理單元62根據包含在當前幀12中的每個像素 的像素值確定特征點。例如，高速閃爍的LED合成到目標上從而成為目標的 一部分，并且決定處理單元62通過指定在連續輸入的當前幀12中的、像素 值在兩個值之間間歇改變的區域來識別出閃爍部分。決定處理單元62確定閃 爍部分作為特征點的坐標。作為改進的例子，決定處理單元62可以使用固定 的坐標確定特征點。作為另一個改進的例子，如果下面的因素即像素值、Z 值、與期望模式的近似階和像素的像素值改變中的任何一個落入預定范圍中， 決定處理單元62可以確定像素是特征點。第十實施例
根據本發明的第十實施例與其他實施例不同之處在于圖像輸入裝置52不僅獲得原始活動圖像，還獲得音頻數據。圖像輸入裝置52獲得的音頻數據 與原始活動圖像同步輸入，以便發送到環形緩沖器56。根據音頻數據的頻率 分布、音量改變等，決定處理單元62確定源幀、讀出定時、alpha值和特征 點中的至少一個。例如，當音頻數據的音量改變超過閾值時，決定處理單元 62可以以諸如在屏幕上出現第八實施例中描述的形狀的方式，確定源幀和讀 出像素。例如，如果音量的改變超出頻域部分的閾值，則決定處理單元62可 以根據頻域確定在第八和第九實施例中的特征點。 第十一實施例根據本發明第十一實施例，根據目標幀中包含的像素的屬性值，預定的 圖形組合在像素的位置附近。這里，屬性值是指示圖像區域的時變程度的數 字值。例如，在目標中的快速或大幅移動的區域被連續顯示，以便藝術并生 動地表示的具有微粒形式(form of particle)目標以從時變更大的像素向其外 圍擴散的方式變形。以這種方式，可以在原始活動圖像中的、諸如移動區域 或軌跡之類的主目標的外圍產生諸如顯示在屏幕上的紙-降雪(paper-snowfall-like )效果的定向和操作效果。根據第十一實施例的圖像產生單元50具有與圖3所示的裝置類似的結 構。決定處理單元62為每個4象素，在當前幀12和時間上在當前幀12之前的 幀之間，檢測組成幀的圖像區域的像素值的時變程度。如果這個像素的改變 程度超出預定閾值，則決定處理單元62將像素當作用于定向并操作目標的中 心位置。如果存在多個其改變程度超過閾值的像素并且相互臨近布置，則可 以確定它們中具有最大改變程度的一個像素作為中心位置，并且中心位置周 圍可以以擴散方式顯示多個定向和操作目標。此外，決定處理單元62可以根 據當前幀12中的像素和先前幀中的像素(在每個幀中該兩個像素中每個都具 有最大的改變程度)，確定定向和操作目標的移動方向。圖14是示出產生定向和操作目標的步驟的流程圖。首先，輸入當前幀 12作為處理目標(S150)。如果在開始輸入當前幀12之后沒有立即執行再現 處理(S152N)，則在當前幀12和在時間上其前一幀之間提取像素值的改變(S154)，檢測像素值改變最大的位置(S156),并且將其像素值改變最大的 位置的矢量確定為定向和操作目標的移動方向(S158)。如果在開始輸入當前 幀12之后立即執行再現處理，則沒有這樣的前一幀，因此省略處理S154到 S158(S152Y)。當前幀12分離存儲以便與下一幀進行比較(S160)。在作為 中心的、在S156檢測到的位置周圍產生將要顯示的定向和操作目標的圖像 (S162)。由此而產生的定向和操作目標與當前幀12重疊，以便處理將要顯 示的圖畫(S164)。通過重復處理S150到S164直到終止顯示為止(S166Y)， 當沿S158確定的移動方法移動時，顯示定向和操作目標。在上面的例子中，描述了根據與其前一幀的像素值改變確定顯示定向和 操作目標的位置的結構。作為另一個例子，決定處理單元62根據顏色分量、 輪廓、亮度、Z值、動作軌跡等等可以確定位置來執行定向和操作效果。例 如，根據諸如"在圖中包含最多紅色分量的位置"的像素值的大小可以確定將 產生定向和操作效果的位置，或者在單幀中其與其它相鄰輪廓之間的像素值 的差是最大的輪廓線可以被確定為定向和操作部分。這里，"將產生定向和操 作效果的位置，，也將在后面筒稱為"定向位置"。此外，例如臨近"紅色輪廓"的 像素值之間的差大于闊值，并且其顏色分量大于閾值的部分可以被確定為定 向位置。此外，可以將亮度大于閾值的部分確定為定向部分，而具有特定Z 值范圍的部分可以確定為定向部分。如果在固定時期限制內存儲了多個過去 幀，則可以檢測根據特定標準提取的特征點的軌跡(locus )。因此，沿這樣的 軌跡可以產生定向和操作效果。作為定向和操作效果，決定處理單元62可以 顯示對其應用了閃亮顏色或其他特征的線性目標或人物，或諸如符號之類的 目標。此外，決定處理單元62可以產生從當前幀12提取的特性區域的透明 度變為半透明狀態的定向和操作效果，以便重疊到過去幀。決定處理單元62可以根據諸如坐標、Z值和每個像素的像素值、與期望 的圖像模式的近似階和像素值中的改變率之類的屬性值，確定將要顯示的定 向和操作目標的大小和移動速度。用于組合定向和操作目標的alpha值可以是 固定值或對于各個像素來說是不同的。例如，可以根據諸如坐標、Z值和每 個像素的像素值、與期望的圖像模式的近似階、像素值中的改變程度之類的 屬性值設置alpha值。圖15是示出定向和操作效果應用到當前幀12的步驟的流程圖。首先， 根據來自用戶的命令，確定將應用到當前幀12的定向和操作效果的類型 (S200)。然后，輸入產生定向和操作效果的當前幀12 (S202)。然后，提取 當前幀12中相鄰的像素值差超過閾值的部分作為輪廓(S204),并且確定像 素值差最大的部分作為產生定向和操作效果的部分(S206 )。然后將定向和操
作效果應用到確定的部分(S208 ),并且處理用于顯示產生定向和操作效果的 圖像的圖(S210)。在當前幀上重復執行以上處理S202到S210 (S212N)直 到終止顯示為止(S212Y),以便在其上應用定向和操作效果。 第十二實施例根據第十二實施例，根據包含在目標幀中像素屬性值的改變，局部改變 再現幀率。即，根據構成二維圖像的圖像區域的屬性值，對每個圖像區域， 截面14按不同的速率隨時間改變，以使得將要從圖像數據輸出單元76輸出 的新活動圖像的幀速率局部改變。例如，對于在時間上像素值改變的程度大 于閾值的部分，從幀讀出數據的時間間隔變長，從而降低再現幀速率。從而， 將產生神秘而獨特的圖像，其中區域實際移動越快，在顯示器上顯示的區域 就移動得越慢，因此活動圖像中目標的一部分以與正常速度不同的速率移動。根據第十二實施例的圖像產生裝置50具有與圖3所示的裝置基本相同的 結構。根據該實施例的決定處理單元62可以逐像素地改變幀速率，或以根據 其像素值提取的目標為單位改變幀。決定處理單元62可以以圍繞該像素的一 些像素被包括為所討論的范圍的一部分的方式來提取目標。在這種情況下， 諸如其像素值逐漸改變的目標邊緣這樣的部分可以包括為目標的一部分，并 還對其進行處理。關于其幀速率將改變的區域，決定處理單元62確定在該改變后的幀速 率。例如，可以根據區域的像素值的時變程度設置幀速率，而且其速率改變 越大的區域的幀速率可以設置越低的值。根據這樣確定的幀速率，決定處理 單元62為每個像素確定讀取源幀和下一幀之間的時間間隔。決定處理單元 62可以隨時間改變幀速率。例如，決定處理單元62首先將幀速率設置為低 速率并且逐漸增加幀速率，以使得其跟上其他圍繞該像素的像素的顯示定時。作為改進的例子， 一種結構可以使得用戶經由圖12所示的命令獲得單元 72，可以設置是否以目標的邊緣包括在目標的范圍中的方式執行處理。可以 改變在當前幀12中具有預定Z值范圍的像素的幀速率。可以改變在當前幀中 具有與期望的圖像模式預定近似階的位置。換句話說，逐像素地控制幀速率。第十三實施例根據本發明第十三實施例，從在時間上是先前的幀而不是目標幀中讀出 在目標幀中具有預定屬性值的像素的數據。例如，從舊幀中讀出對應于黑色 的像素值的數據，以便可以產生生動的效果，好像從修剪形狀(trimmingshape )窗口中觀看部分過去的圖像。根據第十三實施例的圖像產生單元50具有與圖3所示的裝置基本相同的 結構。根據本實施例的決定處理單元62從當前幀12中提取具有預定像素值 范圍的區域，并且同時確定區域的源幀。源幀可以是通過沿時間軸返回預定 時期獲得的過去幀，或者可以根據諸如坐標、Z值、每個像素的像素值、與 期望圖像模式的近似階、像素值的改變幅度等等的屬性值確定源幀。作為改進的例子，幀越舊，就越是順序排列(gradate)這些幀，以便可 以強調并生動表示舊事物。決定處理單元62可以提取也包括一些圍繞像素的 區域。例如從人臉中一起提取對應于嘴和圍繞嘴的一些像素的區域，從而肯 定提取出諸如目標邊緣的、像素值逐漸改變的部分。在上面的實施例中，從 時間上在前的幀中讀出數據。然而，如果時間上將來的幀也存儲在環形緩沖器56中，則可以從這些將來幀中從讀出數據。 第十四實施例在本發明第十四實施例中，根據包含在目標幀中的像素的屬性值的改變 將像素值加到像素，從而改變顏色。例如，以將目標中大幅移動的區域顯示 為紅色等方式，將定向和操作效果應用到原始圖像上。根據第十四實施例的圖像產生裝置50具有與圖3所示裝置基本相同的結 構。根據該實施例的決定處理單元62將預定的值加到像素的像素值上，使得 以紅色顯示當前幀12中改變程度大的像素。其后，關于加了預定值的像素， 將要加到該像素的像素值隨時間逐漸降低，并且作為其結果，可以顯示留下 了紅色尾部的余像。作為圖像產生裝置50的改進例子，其結構可以是通過甚至在像素已經顯 示后該像素仍然保留在屏幕上的方式，在時間上劇烈改變的像素的數據可以 與預定的alpha值合成。像素值還可以加到合成的數據，使得可以以期望的顏 色顯示其圖像。其后，將要合成的數據的alpha值隨時間逐漸降低，作為其結 果，可以顯示留下尾部的余像。作為另一個改進的例子，結構可以使得通 過使用預定的alpha值，其改變程度高的像素數據與關于屏幕的所有像素的 alpha值設置為零的屏幕合成，并且逐漸顯示整個屏幕。作為另一改進的例子， 可以改變加到每個像素的像素值，并且通過以積累的方式添加該像素的像素 值，可以改變像素的顏色。第十五實施例
在本發明第十五實施例中，根據包含在將來幀中的像素的屬性值，使用 預定的目標合成目標幀。即，在預先存儲的原始活動圖像中包含的幀之間， 如在第十一 實施例中的顆粒狀目標顯示在接近將要顯示的幀中預定圖像模式的區域上。從而，可以產生類似廣播(announce)的定向效果。例如在屏幕 上露出的、在這里作為目標的主要人物之前顯示紙-降雪等圖像。根據第十五實施例的圖像產生裝置50具有與圖3所示的裝置基本相同的 結構。根據本實施例的決定處理單元62從預先存儲在環形緩沖器56中的原 始活動圖像包含的幀中，檢測落入關于時間上以后將要顯示的幀中預定圖像 模式的近似階的預定范圍中的區域。決定處理單元62在所檢測的區域周圍合 成顆粒狀目標。組合和合成圖像的方法與在第十一 實施例中描述的方法類似。作為改進的例子，目標的合成可以應用到實時活動圖像，其中與圖像的 當前再現并行地拍攝該活動圖像。即，在拍攝后立即獲得活動圖像暫時存儲 在緩沖器中，然后在比拍攝定時延遲的定時再現每個幀。從拍攝后立即獲得 的當前幀中提取預定的圖像模式，同時在比拍攝定時延遲的定時再現其幀， 從而可以產生類似廣播的定向效果。根據僅僅為示例性的實施例描述了本發明。本領域技術人員應該理解存 在關于上述每個部件和處理的組合的其它各種修改，并且這樣的修改由本發 明的范圍包含。在第二實施例中，根據Z值確定從哪個幀中讀出數據。然而在改進的例 子中，在固定時間間隔上設置多個幀作為源幀，并且通過^4居Z值的比率可 以合成多個幀。在這里再次說明源幀是從其讀出數據的幀。在這種情況下， 根據Z值確定alpha值。在目標中具有相對大的Z值的區域，即可以以將其 alpha值設置得更大的方式設置離攝像機近的區域。在這種情況下，將更加清 楚明晰地投影離攝像機近的區域，而將以殘留方式顯示劇烈移動的區域，就 好像其為余像。在第三實施例中，根據像素值設置alpha值。然而在另一個改進的例子 中，根據像素值可以確定源幀。例如，當提取具有紅色分量的像素值時，從 較舊的幀中讀出在具有更多紅色分量的區域上的數據，以便包含更多紅色分 量的區域的顯示被進一步延遲。在第四實施例，根據與期望圖像模式的近似階確定源幀。然而在另一個 改進的例子中，根據近似階可以設置alpha值。在這種情況下，更清楚明晰地 顯示更接近圖像模式的區域，并且以進一步的殘留余像的方式顯示快速和大 幅移動的區域。此外，預先準備了多個不同圖像模式，并且可以根據哪個特 定模式將被使用來采用近似階來讀出源幀。或者，可以根據哪個特定模式將被使用來采用近似階來確定alpha值。圖像的識別不僅可以是每個幀的識別， 而且也可以是if爭越多個幀的姿勢的識別。在第五實施例中，根據圖像區域中的時變程度確定源幀。然而在另一個 改進的例子中，可以根據改變的程度設置alpha值。在這種情況下，更清楚明 晰地顯示具有更大程度改變的區域，并且也以殘留余像的方式顯示具有更大 程度改變的區域。在第一到第十五實施例中的每個實施例中，通過相同的坐標(x,y)判定 在多個幀中的像素的對應關系。然而根據另一個修改，可以通過移動特定的 像素的坐標來判定對應關系，或者可以根據屬性或像素的寬度判定是否應該 作出該移動。在第二到第五實施例中，根據各個單一屬性值或alpha值確定源幀。然 而在另一個修改中，可以根據Z值、像素值、近似階和改變程度中的多個屬 性值確定源幀或alpha值。例如，在根據其Z值為特定像素確定了源幀之后， 可以在所述幀和當前幀12之間計算模式匹配，然后根據對應于其近似階的 alpha值可以合成多個幀。在這種情況中，如果目標離攝像機更近，則從較舊 的幀中讀出數據，此外，以殘留余像的方式顯示大幅移動的區域。在第一到第十五實施例中的每個實施例中，提供了一種結構，使得包含 在原始活動圖像中的、對應于特定時期的源幀存儲在環形緩沖器56中。然而 在另一個修改中，圖像輸入單元52可以從以MPEG格式壓縮的原始活動圖 像中讀出由決定處理單元62確定的幀，并且緩沖器控制單元54可以使這些 幀存儲在環形緩沖器54中。此外，緩沖器控制單元54可以參照該幀之前和 之后的幀。在下文中，將描述進一步的修改。1-1.在第一實施例中，提供一種結構，使得為每個像素行從不同的幀中 讀出數據。在該改進的例子1-1中， 一種結構可以使得作為源幀的一些過去 幀被設置，并且為每個像素行從這些設置的幀中的任何幀中讀出數據。例如， 一種結構可以使得將兩個幀A和B設置為源幀，并且根據像素行的次序是奇 數還是偶數從A和B中讀出數據。例如，結構可以使得將六個幀A、 B、 C、
D、 E和F設置為源幀，從幀A中讀出第0到第79像素行的數據，并且從幀 B中讀出第80到第159像素行的數據等等。換句話說，以80條線為單位分 割像素行并且從不同的過去幀讀出用于分割線的每個單元的數據。當為屏幕 上每個由50個像素行組成的單元從各個不同的幀中輸出數據時，在移動區域 上出現帶狀模式或類似模式。1-2.在第二實施例中，提供一種結構，使得根據Z值從不同的幀中讀出 數據。在這個改進的例子1-2中， 一種結構可以使得從過去帕中讀出僅具有 預定Z值范圍的像素的數據。例如，至少預先設置Z值的上限和下限之一， 并且預先設置了從其讀出數據的一個或多個過去幀。關于具有落入設置范圍 (在上限之下在下限之上)中的Z值的像素，從設置的過去幀中讀出數據。 關于具有設置范圍之外的Z值的像素，從當前幀12中讀出數據。這里將要設 置的源幀的數量被固定為 一個或多個幀，或者根據源幀的像素坐標源幀可以 是過去幀。1-3.在第三實施例中，提供一種結構，使得從多個過去幀中讀出具有預 定像素值的像素的數據，并且與當前幀12合成。在這個改進的例子1-3中， 一種結構可以使得關于具有預定像素值的當前幀12的像素，從預定的過去 幀中讀出數據，而關于其他像素，從當前幀12中讀出數據。此外，可以以固 定方式設置用作源幀的過去幀，或者根據其像素值，源幀可以是過去幀。1_4.在第四實施例中，提供一種結構，使得從對應于與期望的圖像模式 的近似階的過去幀中讀出數據。在這個改進的例子1-4中， 一種結構可以使 得從過去幀中僅僅讀出其與期望的圖像模式的近似階落入預定的范圍中的像 素的數據，而從當前幀12中讀出其他像素。作為近似階的范圍，可以至少預 先設置其上限和下限之一。可以以固定的方式設置用作源幀的過去幀，或者1-5.在第五實施例中，提供一種結構，使得根據像素值的改變從過去幀 中讀出數據。在這個改進的例子1-5中， 一種結構可以使得從過去幀中僅僅 讀出其像素值改變落入預定范圍中的像素的數據，而從當前幀12中讀出其他 像素的數據。可以以固定方式設置用作源幀的過去幀，或者源幀可以是根據 像素值改變通過沿時間軸返回獲得的過去幀。1-6.在第一實施例中，根據時間值t和像素坐標y定義函數t=Vy。在 這個改進的例子1-6中，在時間t和像素坐標y之間的關系可以定義為使用三 角函數的t-sin y等。在圖13中描述的圖中，周期性地混合的是從沿時間軸 進一步返回的過去幀中讀出其數據的像素行，以及從更新的幀中讀出其數據 的另一個像素行。此外，如在改進的例子1-1中那樣， 一種格式可以使得預 先設置作為源幀的一些過去幀，并且從對應于時間值t的這些設置的幀中的 任何幀中讀出每個像素行的數據。2-1.在第一實施例中，提供一種結構，使得為每個像素行從過去幀中讀 出數據，并且這些數據以垂直方向布置以便構造一幀。在這個改進的例子2-l 中， 一種結構可以使得為每個像素行從過去幀中讀出的數據與當前幀12合成 以便形成一幀。在這種情況下，alpha值可以是固定值，也可以對于每個像素 行而不同。例如，可以根據坐標、Z值、每個像素的像素值、其與期望的圖 像模式的近似階、其像素值的改變等，設置alpha值。2-2.在第二實施例中，提供一種結構，使得根據Z值從不同的幀中讀出 數據。在這個改進的例子2-2中， 一種結構可以使得根據Z值從不同幀中讀 出的數據與當前幀12合成以便產生一幀。或者，從過去幀中讀出當前幀12 中僅僅具有Z值的預定范圍的像素的數據，并且將這樣的數據與當前幀12 合成以便形成一幀。在這種情況下的alpha值可以是固定值，也可以對于每個 像素行而不同。例如，可以根據坐標、Z值、每個像素的像素值、其與期望 的圖像模式的近似階、其像素值的改變等，設置alpha值。2-3.在第三實施例中，提供一種結構，使得從多個過去幀中讀出具有預 定像素值的像素的數據以便與當前幀12合成。在這個改進的例子中， 一種結 構可以使得關于在當前幀12中具有預定像素值的像素，從預定的過去幀中 讀出其數據，并且該數據與當前幀12合成。在這種情況下的alpha值可以是 固定值，也可以是對于每個像素行而不同。例如，可以根據坐標、Z值、每 個像素的像素值、其與期望的圖像模式的近似階、其像素值的改變等，設置 alpha值。2-4.在第四實施例中，提供一種結構，使得從對應于與期望圖像模式的 近似階的過去幀中讀出數據。在這個改進的例子2-4中， 一種結構可以使得 從對應于與期望圖像模式的近似階的過去幀中讀出的數據與當前幀12合成。 或者，從過去幀中讀出僅僅其與期望圖像模式的近似階落入預定范圍的像素 的數據，并且將這樣的數據與當前幀12合成。在這種情況下的alpha值可以 是固定值，也可以是對于每個像素行而不同。例如，可以根據坐標、Z值、
每個像素的像素值、其與期望的圖像模式的近似階、其像素值的改變等，設置alpha值。2-5.在第五實施例中，提供一種結構，使得根據像素值的改變從沿時間 軸返回的過去幀中讀出數據。在改進的例子2-5中， 一種結構可以使得根據 像素值改變從過去幀中讀出的數據與當前幀12合成。或者，從過去幀中讀出 僅僅其像素值改變落入預定范圍中的像素的數據，并且將這樣的數據與當前 幀12合成。在這種情況下的alpha值可以是固定值，也可以對于每個像素行 而不同。例如，可以根據坐標、Z值、每個像素的像素值、其與期望的圖像 模式的近似階、其像素值的改變等，設置alpha值。2-6.在改進的例子l-6中，時間t和像素坐標y之間的關系被定義為使 用三角函數的t=siny等。作為其進一步修改，根據使用諸如t二siny這類的三 角函數的函數，將從當前到過去幀中讀出的數據與當前幀12合成。在這種情 況下的alpha值可以是固定值，也可以對于每個像素行而不同。例如，可以根 據坐標、Z值、每個像素的像素值、其與期望的圖像模式的近似階、其像素 值的改變等，設置alpha值。2- 7.在第六實施例中，提供一種結構，使得從對應于由用戶在設置屏幕 82上設置的貝塞爾曲線86的幀中讀出數據。在這個改進的例子2-7中，結構 可以使得根據由用戶在設置屏幕82上設置的貝塞爾曲線86,將從幀中讀出 的數據與當前幀.12合成。在這種情況下的alpha值可以是固定值，也可以對 于每個像素行而不同。例如，可以根據坐標、Z值、每個像素的像素值、其 與期望的圖像模式的近似階、其像素值的改變等，設置alpha值。3- 1.在這個改進的例子中， 一種結構可以使得將在第一到第十五實施例、 1-1到1-6改進的例子和2-1到2-7改進的例子中的至少兩個或更多實施例或 改進的例子中，為每個像素讀出的兩份或更多份數據合成。在這種情況下的 alpha值可以是固定值，也可以對于每個像素行而不同。例如，根據坐標、Z 值、每個像素的像素值、其與期望的圖像模式的近似階、其像素值的改變等， 可以設置alpha值。盡管已參照本發明的確定優選實例表示和描述了本發明，但本領域內的 普通技術人員將理解的是，可在不背離由所附權利要求書限定的本發明宗旨 和范圍的前提下對本發明進行各種形式和細節上的修改。
權利要求
1. 一種圖像產生方法，包括對于在原始活動圖像的目標幀中包含的圖像的每個圖中位置，從原始活 動圖像中包含的多個幀的至少一幀中讀出對應于圖中位置的數據； 合成讀出的數據；及通過順序輸出在所述合成時形成的幀來形成新活動圖像。
2. 如權利要求1所述的圖像產生方法，其中所述讀出使得根據其坐標為 每個圖中位置確定從多個幀的至少一幀中將要讀出的數據。
3. 如權利要求1所述的圖像產生方法，其中所述合成使得讀出的數據以 根據包含在多個幀的至少 一 幀中的圖像的屬性值的 一 個比率來合成。
4. 一種包括圖像存儲器、圖像轉換單元和圖像數據輸出單元的圖像產生 裝置，其中所述圖像存儲器順序記錄每個幀的原始活動圖像，并且所述圖像轉 換單元為每個包含在目標幀中的圖像的圖中位置而從記錄在所述圖像存儲器 的至少一幀中讀出對應于圖中位置的數據，并合成該數據，并且所述圖像數 據輸出單元順序輸出由所述圖像轉換單元合成和重構的幀。
5. 如權利要求4所述的圖像產生裝置，其中所述圖像轉換單元根據其坐 標為每個圖中位置確定至少 一 幀。
6. 如權利要求5所述的圖像產生裝置，其中該坐標使得其與掃描線正交。
7. 如權利要求4所述的圖像產生裝置，其中所述圖像轉換單元根據其屬 性值為每個圖中位置確定至少一幀。
8. 如權利要求4所述的圖像產生裝置，其中所述圖像轉換單元以預定的 時間間隔確定多個幀作為所述至少一幀，并且所述圖像轉換單元為每個圖中 位置以根據其屬性值的一個比率合成所述多個幀。
9. 如權利要求4所述的圖像產生裝置，其中對于包含在目標幀中的圖像 的每個圖中位置，所述圖像轉換單元根據其位置的屬性值應用定向效果。
10. 如權利要求7所述的圖像產生裝置，其中所述圖像轉換單元根據其 屬性值為每個圖中位置將確定幀的時間間隔設置為分離的時間間隔。
11. 如權利要求4所述的圖像產生裝置，其中目標幀或者所述至少一幀 是關于應該已經由所述圖像數據輸出單元從所述圖像存儲器自然地輸出的參考幀，在時間上在前的幀或時間上后來的幀中的至少 一個。
12. 如權利要求4所述的圖像產生裝置，其中對于包含在目標幀中的圖 像的每個圖中位置，所述圖像轉換單元根據其屬性值添加預定像素值。
13. 如權利要求7所述的圖像產生裝置，其中屬性值是深度值。
14. 如權利要求7所述的圖像產生裝置，其中屬性值是指示相對期望圖 像模式的近似階的值。
15. 如權利要求7所述的圖像產生裝置，其中屬性值是指示圖像區域在 時間上改變的程度的值。
16. 如權利要求7所述的圖像產生裝置，其中屬性值是像素值。
17. 如權利要求4所述的圖像產生裝置，還包括圖像輸入單元，用于獲 得由攝像機拍攝的圖像作為原始活動圖像并且將這些圖像發送到所述圖像存 儲器。
18. 如權利要求4所述的圖像產生裝置，還包括設置輸入單元，用于經 由用戶操作獲得用于確定所述至少一幀的設置值的輸入，其中所述圖像轉換 單元根據由所述設置輸入單元獲得的設置值確定所述至少一幀。
19. 如權利要求13所述的圖像產生裝置，其中當顯示在屏幕上時，通過 指示包含在二維圖像中的點的坐標和其時間值之間的關系的曲線來表示由所 述設置輸入單元獲得的設置值。
20. 如權利要求13所述的圖像產生裝置，其中所述設置輸入單元獲得二 維圖像中的特征點的坐標作為設置值，并且所述圖像轉換單元根據特征點的 坐標確定所述至少一幀。
全文摘要
本發明提供了一種使用沿時間軸改變的圖像數據產生新圖像的方法和裝置。矩形平行管狀空間(盒空間)通過使用虛擬空間表示活動圖像。包含在活動圖像中的多個幀沿時間軸連續出現。盒空間由所期望的面切割開，并且投影到該截面的圖像投影到與時間軸方向平行的平面上。將順序投影到該平面的圖像輸出作為新活動圖像。
文檔編號G06T3/00GK101123692SQ20071010255
公開日2008年2月13日 申請日期2003年10月22日 優先權日2002年10月25日
發明者大場章男, 掛智一, 鈴木章 申請人:索尼計算機娛樂公司