專利名稱:位流無斷層連接編碼方法及其裝置的制作方法
技術領域:
本發明涉及一種對所構成的各個標題具有一系列相關內容的活動圖像數據、音頻數據、副圖像數據的信息傳輸位流,進行種種處理,生成所構成的標題具有符合用戶所需內容的位流,并將這樣生成的位流高效地記錄于規定記錄媒體的記錄裝置和記錄媒體,以及對此重放的重放裝置和創作系統所用的視頻流無斷層連接編碼方法及其裝置。
背景技術:
近年來,在使用激光光盤和VCD等的系統中,對活動圖像、聲音、副圖像等多媒體數據進行數字處理,構成具有一系列相關內容的標題的創作系統正在付諸實用。
特別是采用VCD的系統中,在具有約600M字節的存儲容量,本來是記錄數字音頻信號用的CD媒體上,借助于稱為MPEG的高壓縮率的活動圖像壓縮方法,實現了活動圖像數據的記錄。以卡拉OK為代表,已有的激光光盤的標題正在換入VCD。
用戶對各標題的內容及重放質量的要求逐年復雜,逐年提高。為了適應這種用戶要求,需要以層次結構比以往深的位流構成各標題。借助于這樣以具有更深層次結構的位流構成的多媒體數據,其數據量達到已往的十多倍以上。再者,還要非常細致地編輯標題中細節所對應的內容,因而需要用較低層數據單元對位流進行數據處理及控制。
需要建立可在各層次對這樣具有多層結構的大量數字位流進行有效控制的位流結構,以及包含錄放的高級數字處理方法。也需要進行這種數字處理的裝置,能有效地記錄、保存經該裝置數字處理的位流信息,并使記錄信息迅速重放的記錄媒體。
鑒于這樣的狀況,就記錄媒體來說,正在大量進行提高以往使用的光盤存儲容量的研究。為了提高光盤的存儲容量,要縮小光束的光點直徑D,但是如果激光波長為λ、物鏡數值孔徑為NA,則所述光點直徑D與λ/NA成正比,因而λ越小,NA越大,越有利于提高存儲容量。
然而,在使用NA大的透鏡的情況下,如美國專利5235581所述,稱為射束傾斜的光盤面與光束的光軸的相對傾斜產生的彗形像差變大,為了防止發生這種情況,必須減小透明基板的厚度。在薄透明基板的情況下,存在機械強度差的問題。
又,關于數據處理,作為活動圖像、聲音、圖表等的信號數據的錄放制式,已研究成功并得到實際應用的有比已有的MPEG1更能高速傳送大容量數據的MPEG2。MPEG2采用與MPEG1有些不同的壓縮方式、數據格式。關于MPEG1與MPEG2的內容及其不同點,在ISO11172及ISO13818的MPEG規范書有詳細敘述,因此省略其說明。MPEG2中也對視頻編碼流的結構作了規定,但是沒有闡明系統流的層次結構及低層的處理方法。
如上所述,在已有的創作系統中,不能處理具有充分滿足用戶各種要求所需的信息的大量數據流。而且即使建立了處理技術,也因為沒有能夠充分用于有效記錄、重放大量數據流的大容量記錄媒體,不能有效地反復利用處理過的數據。
換句話說,為了以比標題小的單元處理位流,就要消除對記錄媒體大容量化、數字處理高速化的硬件,以及設計包含精練的數據結構的高級數據處理方法的軟件的過高要求。
本發明的目的在于,提供一種有效的創作系統,以上述小于對硬件及軟件有高要求的標題的單元控制多媒體數據的位流,從而更適合用戶要求。
而且,為了在多個標題之間共用數據,有效地使用光盤,最好有任意選擇共用的場面數據和安排在同一時間軸上的多個場面,重放多個標題的多場面控制。為了在同一時間軸上安排多個場面,即多場面數據,由于連續排列多場面的各個場面數據,所以變成為在選定的共同場面和選定的多場面數據之間插入非選定的多場面數據,以生成位流。
而且,象體育節目實況轉播那樣,在同時以不同視角攝取同一對象得多場面數據,在這種多視角場面數據場合,通過按規定單位使多個視頻信號自由聯結獲得一個標題。這種場合,編碼時無法識別多個視頻流如何連接重放。因此,多視角切換等時候,有時無法在編碼時識別解碼器視頻緩存數據占用量的變遷,視頻緩存出現漏損。而且,共同場面互相進行1對1場面連接時,同樣也無法在編碼時識別解碼器視頻緩存數據占用量的變遷。
用可變長度碼進行編碼處理時,必須總是在時間上進行串行處理,因而需要管理編碼處理順序,標題制作處理缺乏靈活性。而且,第一視頻流編碼時的最終占用量大于第二視頻流初始占用量時,解碼緩沖存儲器很可能在編碼時無法預料的時刻溢出。
此外,用以獲得視頻流的編碼處理過程中,進行MPEG方式等可變長度碼處理時,編碼數據的數據量在編碼處理結束時才開始確定。這是因為,是根據視頻數據所具有的信息量,即空間復雜度或時間復雜度和以往編碼狀況來選擇所用的編碼,確定碼長的。所以,難以將編碼數據其數據量正確設定為預定的規定量,因而最終占用量還是難以正確設定。尤其,根據視頻數據所具有的信息量分配編碼數據其數據量,進行編碼處理時,視頻數據不同的話,所分配的數據量當然不同,視頻緩存數據占用量的變遷也不同。所以難以統一多個視頻數據的最終占用量。
本發明鑒于這些情況,如下文揭示一種即便任意聯結獨立編碼得到的一個以上視頻流,也在視頻緩存不出現漏損的情況下獲得順暢的重放圖像所用的編碼方法、編碼裝置、記錄方法、記錄媒體和重放方法。
而且,如下文揭示一種連接多個視頻流以得到一個視頻流時,不需要為獲得各視頻流在時間上串行編碼處理,而是通過并行編碼處理來縮短處理時間和簡化處理管理的編碼方法、編碼裝置、記錄方法、記錄媒體和重放裝置。
此外,如下文揭示一種重放可選的多個場面視頻流,在重放各個視頻流之后,在視頻緩存不出現漏損的情況下連續地重放一個場面視頻流所用的編碼方法、編碼裝置、記錄方法、記錄媒體和重放裝置。另外,本申請是基于日本專利申請號H7-252736(1995年9月29日申請)和H8-041582(1996年2月28日申請)提出的,上述兩申請說明書的公開事項均作為本發明公開的一部分。
發明概述一種方法,就重放時對經編碼處理的編碼數據解碼所用的規定容量的解碼緩沖存儲器計算其數據占用量,根據該計算結果設定某一規定期間的分配編碼量,由所述分配編碼量對所述規定期間信號進行壓縮編碼處理,生成規定編碼數據。
一種編碼方法,設法將第一編碼數據傳送至所述解碼緩沖存儲器后,還繼續傳送虛擬編碼數據,以計算所述數據占用量,將所述第一編碼數據的最末數據解碼時所述數據占用量作為最終占用量Be計算,而開始生成第二編碼數據用的編碼處理時,將所述數據占用量作為比所述最終占用量Be小的規定初始占用量Bi,并根據所述數據占用量的變遷,設定所述分配編碼量。
附圖簡要說明圖1示出的是多媒體位流的數據結構,圖2示出的是創作編碼器,圖3示出的是創作解碼器,圖4示出的是單記錄面DVD記錄媒體的剖面,圖5示出的是圖4放大的剖面圖,圖6示出的是圖5放大的剖面,圖7示出的是多記錄面(單面雙層型)DVD記錄媒體的剖面,圖8示出的是多記錄面(雙面單層型)DVD記錄媒體的剖面,圖9是DVD記錄媒體的平面圖,圖10是DVD記錄媒體的平面圖,圖11是單面雙層型DVD記錄媒體的展開圖,圖12是單面雙層型DVD記錄媒體的展開圖,圖13是雙面單層型DVD記錄媒體的展開圖,圖14是雙面單層型DVD記錄媒體的展開圖,圖15示出的是一例多規格標題流,圖16示出的是VTS數據結構,圖17示出的是系統流的數據結構,圖18示出的是系統流的數據結構,圖19示出的是系統流的數據組結構,圖20示出的是導航組NV的數據結構,圖21示出的是DVD多場面腳本例,圖22示出的是DVD的數據結構,圖23示出的是多視角控制的系統流的連接,圖24示出的是多場面對應的VOB例,圖25示出的是DVD創作編碼器,圖26示出的是DVD創作解碼器,圖27示出的是VOB集數據串,圖28示出的是VOB數據串,圖29示出的是編碼參數,圖30示出的是DVD多場面程序鏈的構成例,
圖31示出的是DVD多場面VOB的構成例,圖32示出的是視頻編碼流的連接例,圖33示出的是多視角控制的概念,圖34示出的是編碼控制流程圖,圖35示出的是非無斷層切換多視角編碼參數生成的流程圖,圖36示出的是生成編碼參數的共同流程圖,圖37示出的是生成無斷層切換多視角編碼參數的流程圖,圖38示出的是生成保護性加鎖控制編碼參數的流程圖,圖39示出的是視頻編碼流的連接例,圖40示出的是單一視頻編碼流中視頻緩存的位流起始部分數據占用量的變遷,圖41示出的是單一視頻編碼流中視頻緩存的位流結束部分數據占用量的變遷,圖42示出的是視頻編碼流連接時視頻緩存數據占用量的變遷,圖43示出的是一例保護性加鎖控制的多場面,圖44示出的是系統流的概念圖,圖45示出的是一例系統編碼制作方法,圖46示出的是間歇傳送中視頻編碼流連接時視頻緩存數據占用量的變遷,圖47示出的是解碼系統表,圖48示出的是解碼表,圖49示出的是解碼器的流程圖,圖50示出的是PGC重放流程圖,圖51示出的是位流緩存內的數據解碼處理流程圖,圖52示出的是各解碼器的同步處理流程圖,圖53示出的是視頻編碼的具體框圖,圖54示出的是解碼緩存占用量計算器例1的工作流程圖,圖55示出的是解碼緩存占用量計算器的一例框圖,圖56示出的是解碼緩存占用量計算器的一例工作流程圖,圖57示出的是解碼緩存占用量計算器的一例框圖,圖58示出的是解碼緩存占用量計算器的一例工作流程圖,圖59示出的是解碼緩存占用量計算器的一例框圖,圖60示出的是視頻編碼流的一例連接記錄,圖61示出的是視頻編碼流的一例連接記錄,圖62示出的是視頻編碼流記錄在記錄媒體上的例子,
圖63示出的是一例視頻編碼流,圖64示出的是單一場面的編碼參數生成流程圖,圖65示出的是交錯數據塊的構成例,圖66示出的是VTS的VOB塊的構成例,圖67示出的是連續數據塊內的數據結構,圖68示出的是交錯數據塊內的數據結構。
實施發明的最佳方式為了更加詳細地說明本發明,現根據附圖加以說明。創作系統的數據結構首先參照圖1對本發明的記錄裝置、記錄媒體、重放裝置,以及在包含這些功能的創作系統中被當作處理對象的多媒體數據的位流的邏輯結構加以說明。以用戶能夠認識、理解或欣賞內容的圖像及聲音信息作為1個標題。這個“標題”,在電影上說,最大相當于表示一部電影的全部內容的信息量,而最小則相當于表示各場面的內容的信息量。
由包含規定數目的標題的信息的位流構成視像標題集VTS。下面為了簡單,簡稱視像標題集為VTS。VTS包含表示上述各標題的內容本身的圖像、聲音等的重放數據,以及對其進行控制的控制數據。
由規定數目的VTS形成創作系統中的作為一視頻數據單元的視像區VZ。下面為了簡化,將視像區簡稱為VZ。在一個VZ上成直線連續排列VTS#0~VTS#K(K為包括0的正整數),共K+1個。然后,將其中的一個,最好是前頭的VTS#0,用作表示各VTS所含標題的內容信息的視像管理文件。由這樣構成的、規定數目的VZ形成創作系統中作為多媒體數據流最大管理單元的多媒體位流MBS。創作編碼器EC圖2表示以按照適合用戶要求的任意腳本,將原多媒體位流編碼,生成新的多媒體位流MBS的本發明創作編碼器EC的一實施形態。而且,原多媒體位流由運送圖像信息的視頻流St1、運送解說詞等輔助圖像信息的子圖像流St3,以及運送聲音信息的音頻流St5構成。視頻流及音頻流是包含規定時間內從對象得到的圖像信息及聲音信息的位流。另一方面,子圖像流是包含一個畫面的、也就是瞬間的圖像信息的位流。必要時可以在視頻存儲器等上截獲一個畫面份額的子畫面,連續顯示該截獲的子圖像畫面。
這些多媒體源數據St1、St3、及St5在實況轉播的情況下由電視攝像機等手段提供實況圖像及聲音信號。或者是提供錄像磁帶等記錄媒體重放的非實況的的圖像及聲音信號。還有,在圖2中,為了簡單起見,采用三種多媒體源數據流,當然也可以輸入3種以上,分別表示不同標題內容的源數據。具有這樣的多個標題的聲音、圖像、輔助圖像信息的多媒體源數據被稱為多標題流。
創作編碼器EC由編輯信息生成部100、編碼系統控制部200、視頻編碼器300、視頻流緩存器400、子圖像編碼器500、子圖像流緩存器600、音頻編碼器700、音頻流緩存器800、系統編碼器900、視像區格式編排器1300、記錄部1200,以及記錄媒體M構成。
在圖2中,本發明的編碼器編碼的位流作為一個例子記錄于光盤媒體上。
創作編碼器EC具備編輯信息生成部100,該作成部能將根據用戶有關原多媒體標題中圖像、子圖像和聲音的要求,編輯多媒體位流MBS的相當部分的指示作為腳本數據輸出。編輯信息生成部100最好是以顯示部、揚聲器部、鍵盤、CPU,以及源數據流緩存器等構成。編輯信息生成部100連接于上述外部多媒體流源上,接受提供的多媒體源數據St1、St3及St5。
用戶將多媒體源數據用顯示部及揚聲器重放出圖像和聲音,可以識別標題的內容。而且用戶一邊確認重放的內容,一邊用鍵盤輸入符合所要求腳本的內容編輯指示。編輯指示內容是指對包含多個標題內容的各源數據的全部或各個,每一規定時間選擇一個以上的各源數據的內容,并將這些選擇的內容以規定的方法連接重放這樣的信息。
CPU根據鍵盤輸入,生成將多媒體源數據中St1、St3及St5各數據流的編輯對象部分的位置、長度,以及各編輯部分之間在時間上的相互關系等信息代碼化的腳本數據St7。
源數據流緩存器具有規定的容量,將多媒體源數據的St1、St3、及St5延遲規定時間Td后輸出。
其原因在于,在與用戶作成腳本數據St7的同時進行編碼的情況下,也就是逐次進行編碼處理的情況下,如下文所述根據腳本數據St7決定多媒體源數據的編輯處理內容需要若干時間Td,所以在實際進行編輯時需要使多媒體源數據延遲該時間Td,以便與編輯編碼同步。
在這樣逐次進行編輯處理的情況下,延遲時間Td根據調整系統內各要素之間同步所需要的程度決定,因此通常源數據流緩存器由半導體存儲器等高速記錄媒體構成。
但是,在通過全部標題,完成腳本數據St7之后,對一批多媒體源數據進行編碼的所謂成批編輯時,延遲時間Td需要有相當于一個標題或更長的時間。在這樣的情況下,源數據流緩存器可以利用錄像磁帶、磁盤、光盤等低速大容量記錄媒體構成。也就是說,源數據流緩存器根據延遲時間Td及制造成本,采用合適的記錄媒體構成即可。
編碼系統控制部200連接于編輯信息生成部100,從編輯信息生成部100接受腳本數據St7。創作系統控制部200根據腳本數據St7所包含的關于編輯對象部分的時間上的位置及長度的信息,分別生成對多媒體源數據的編輯對象部分進行編輯用的編碼參數及編碼開始/結束定時信號St9、St11和St13。還有,如上所述各多媒體源數據St1、St3及St5由源數據流緩存器延遲時間Td輸出,因此與各定時St9、St11和St13同步。
即,信號St9是為從視頻流St1提取編碼對象部分,生成視頻編碼單元,指示對視頻流St1進行編碼的定時的視頻編碼信號。同樣,信號St11是為生成子圖像編碼單元,指示對子圖像流St3進行編碼的定時的子圖像流編碼信號。而信號St13是為生成音頻編碼單元,指示對音頻流St5進行編碼的定時的音頻編碼信號。
編碼系統控制部200又根據腳本數據St7所包含多媒體源數據中St1、St3及St5各數據流的編碼對象部分之間在時間上的相互關系等信息,生成用于將編碼的多媒體編碼流按規定的相互關系排列的定時信號St21、St23及St25。
編碼系統控制部200就一個視像區VZ份額的各標題的標題編輯單元(VOB),生成表示該標題編輯單元(VOB)的重放時間的重放時間信息IT及表示用于使視頻、音頻、子圖像的多媒體編碼流復接的系統編碼的編碼參數的流編碼數據St33。
編碼系統控制部200由相互處于規定的時間關系下的各數據流的標題編輯單元(VOB),生成規定多媒體位流MBS的各標題的標題編輯單元(VOB)的連接,或規定將用于生成把各標題編輯單元加以重迭的交錯標題編輯單元(VOBs)的各標題編輯單元(VOB)作為多媒體位流MBS進行格式化的格式化參數的排列指示信號St39。
視頻編碼器300連接于編輯信息生成部100的源數據流緩存器及編碼系統控制部200,分別輸入視頻流St1和視頻編碼用的編碼參數數據及編碼開始/結束定時信號St9,例如編碼開始/結束定時、位速率、編碼開始/結束時的編碼條件、編輯素材的種類是否NTSC信號或PAL信號,還是電視電影等參數。視頻編碼器300根據視頻編碼信號St9對視頻流St1的規定部分進行編碼,生成視頻編碼流St15。
同樣,子圖像編碼器500連接于編輯信息生成部100的源數據緩存器及編碼系統控制部200,分別輸入子圖像流St3和子圖像流編碼信號St11。子圖像編碼器500根據子圖像流編碼用的參數信號St11對子圖像流St3的規定部分進行編碼,生成子圖像編碼流St17。
音頻編碼器700連接于編輯信息生成部100的源數據緩存器及編碼系統控制部200,分別輸入音頻流St5及音頻編碼信號St13。音頻編碼器700根據用于音頻編碼的參數數據及編碼開始/結束定時信號St13,對音頻流St5的規定部分進行編碼,生成音頻編碼流St19。
視頻流緩存器400連接于視頻編碼器300,存儲從視頻編碼器300輸出的視頻編碼流St15。視頻流緩存器400還連接于編碼系統控制部200,根據定時信號St21的輸入,將存儲著的視頻編碼流St15作為定時視頻編碼流St27輸出。
同樣,子圖像流緩存器600連接于子圖像編碼器500,存儲從子圖像編碼器500輸出的子圖像編碼流St17。子圖像流緩存器600還連接于編碼系統控制部200,根據定時信號St23的輸入,將存儲的子圖像編碼流St17作為定時子圖像編碼流St29輸出。
又,音頻流緩存器800連接于音頻編碼器700,存儲從音頻編碼器700輸出的音頻流St19。音頻流緩存器800還連接于編碼系統控制部200,根據定時信號St25的輸入,將存儲的音頻編碼流St19作為定時音頻編碼流St31輸出。
系統編碼器900連接于視頻流緩存器400、子圖像流緩存器600及音頻緩存器800,輸入定時視頻編碼流St27、定時子圖像編碼流St29,及定時音頻編碼流St31。系統編碼器900又連接于編碼系統控制部200,輸入流編碼數據St33。
系統編碼器900根據系統編碼的編碼參數數據及編碼開始/結束定時的信號St33,對各定時流St27、St29及St31進行復接處理,生成標題編輯單元(VOB)St35。
視像區格式編排器1300連接于系統編碼器900,輸入標題編輯單元St35。視像區格式編排器1300還連接于編碼系統控制部200,輸入用于對多媒體位流MBS進行格式化的格式化參數及格式化開始/結束定時信號St39。視像區格式編排器1300根據標題編輯單元St39,將1視像區(VZ)份額的標題編輯單元St35,按照符合用戶所要求腳本的順序改換排列,生成編輯好的多媒體位流St43。
該編輯成用戶所要求腳本的內容的多媒體位流St43被傳送到記錄部1200。記錄部1200將編輯多媒體位流MBS加工成與記錄媒體M相適應的形式的數據St43,記錄在記錄媒體M上。在這種情況下,多媒體位流MBS中預先包含表示由視像區格式編排器1300生成的媒體上的物理地址的卷文件結構VFS。
又可以將編碼過的多媒體位流St35直接輸出到下文將述的那樣的解碼器,重放編輯過的標題內容。在這種情況下,多媒體位流MBS中當然不包含卷文件結構VFS。創作解碼器DC下面參照圖3對借助于本發明的創作解碼器EC,將編輯過的多媒體位流MBS解碼,按照用戶所要求的腳本將各標題的內容展開的、編碼解碼器DC的一實施形態加以說明。而且,在本實施形態中,圖2中記錄媒體M記錄的、創作編碼器EC編碼過的多媒體位流St45記錄于圖3的記錄媒體M。
創作解碼器DC由多媒體位流重放部2000、腳本選擇部2100、解碼系統控制部2300、位流緩存器2400、系統解碼器2500、視頻緩存2600、子圖像緩存器2700、音頻緩存器2800、同步控制部2900、視頻解碼器3800、子圖像解碼器3100、音頻解碼器3200、合成部3500、視頻數據輸出端子3600,以及音頻數據輸出端子3700構成。
多媒體位流重放部2000由驅動記錄媒體M的記錄媒體驅動裝置2004、讀出記錄媒體M上記錄的信息,生成二值讀取信號St57的讀取頭裝置2006、對讀取信號St57進行各種處理,生成重放位流St61的信號處理部2008,以及機構控制部2002構成。機構控制部2002連接于解碼系統控制部2300,接收多媒體位流重放指示信號St53,生成分別對記錄媒體驅動單元(電動機)2004及信號處理部2008進行控制的重放控制信號St55及St59。
解碼器DC具備腳本選擇部2100,該選擇部能將按照選擇相應腳本重放的要求,給予創作解碼器DC的指示作為腳本數據輸出,使涉及創作編碼器EC編輯的多媒體標題的圖像、子圖像及聲音的用戶所想要的部分得以重放。
腳本選擇部2100最好是用鍵盤及CPU等構成。用戶根據用創作編碼器EC輸入的腳本內容操作鍵盤輸入所想要的腳本。CPU根據鍵盤輸入生成指示所選擇的腳本的腳本選擇數據St51。腳本選擇部2100借助于例如紅外線通信裝置等連接于解碼系統控制部2300。解碼系統控制部2300根據St51生成控制多媒體位流重放部2000的操作的重放指示信號St53。
位流緩存器2400具有規定的緩存器容量,暫時存儲從多媒體位流重放部2000輸入的重放信號位流St61,同時提取各位流的地址信息及同步初始值數據,生成位流控制數據St63。位流緩存器2400連接于解碼系統控制部2300,將生成的位流控制數據St63提供給解碼系統控制部2300。
同步控制部2900連接于解碼系統控制部2300,接收同步控制數據St81所包含的同步初始值數據(SCR),將內部的系統時鐘(STC)置位,并將復位的系統時鐘St79提供給解碼系統控制部2300。解碼系統控制部2300根據系統時鐘St79,以規定的時間間隔生成位流讀出信號St65,輸入位流緩存器2400。
流緩存器2400根據讀出信號St65,以規定的時間間隔輸出重放位流St61。
解碼系統控制部2300又根據腳本選擇數據St51,生成表示所選擇的腳本對應的視頻流、子圖像流、音頻流各自的ID的解碼流指示信號St69,向系統解碼器2500輸出。
系統解碼器2500根據解碼指示信號St69的指示,將從流緩存器2400輸入的視頻、子圖像及音頻的數據流分別作為視頻編碼流St71向視頻緩存2600輸出,作為子圖像編碼流St73向子圖像緩存器2700輸出,作為音頻編碼流St75向音頻緩存器2800輸出。
系統解碼器2500檢測出各流St67在各最小控制單元的重放開始時間(PTS)及解碼開始時間(DTS),生成時間信息信號St77。該時間信息信號St77經過解碼系統控制部2300,作為同步控制數據St81輸入同步控制部2900。
作為對同步控制數據St81的響應,同步控制部2900對各流決定使各流在解碼后形成預定的順序的解碼開始時間。同步控制部2900根據該解碼時間生成視頻流解碼開始信號St89,輸入視頻解碼器3800。同樣,同步控制部2900生成子圖像解碼開始信號St91及音頻解碼開始信號St93,分別輸入子圖像解碼器3100及音頻解碼器3200。
視頻解碼器3800根據視頻流解碼開始信號St89生成視頻輸出請求信號St84,對視頻緩存2600輸出。視頻緩存2600接收視頻輸出請求信號St84,向視頻解碼器3800輸出視頻流St83。視頻解碼器3800檢測出視頻流St83所包含的重放時間信息,在接收了長度相當于重放時間的視頻流St83的輸入后,立即使視頻輸出請求信號St84無效。這樣做,使相當于規定的重放時間的視頻流在視頻解碼器3800得到解碼,重放的視頻信號St104被輸出到合成部3500。
同樣,子圖像解碼器3100根據子圖像解碼開始時間St91生成子圖像輸出請求信號St86,提供給子圖像緩存器2700。子圖像緩存器2700接收子圖像輸出請求信號St86,向子圖像解碼器3100輸出子圖像流St85。子圖像解碼器3100根據子圖像流St85所包含的重放時間信息,將長度相當于規定的重放時間的子圖像流St85解碼,重放子圖像信號St99,并向合成部3500輸出。
合成部3500使視頻信號St104和子圖像信號St99重迭,生成多圖像視頻信號St105,向視頻輸出端子3600輸出。
音頻解碼器3200根據音頻解碼開始信號St93,生成音頻輸出請求信號St88,提供給音頻緩存器2800。音頻緩存器2800接收音頻輸出請求信號St88,向音頻解碼器3200輸出音頻流St87。音頻解碼器3200根據音頻流St87所包含的重放時間信息,將長度相當于規定的重放時間的音頻流St87解碼后向音頻輸出端子3700輸出。
這樣做,可以響應用戶的腳本選擇,實時地重放用戶所想要的多媒體位流MBS。也就是說,每當用戶選擇不同的腳本,創作解碼器DC可以重放與該選擇的腳本對應的多媒體位流MBS,以重放用戶所想要的標題內容。
如上所述,在本發明的創作系統中,為了對基本的標題內容,將表示各內容的最小編輯單元的可能有多分支的子流按規定的時間上的相互關系排列,對多媒體源數據進行實時編碼或成批編碼,可以按照多個任意腳本生成多媒體位流。
又可以按照多個腳本內的任意腳本重放這樣編碼的多媒體位流。于是,即使是在重放當中還選擇與選定的腳本不同的腳本(切換),也能夠重放與該新選擇的腳本動態對應的多媒體位流。而且,在按照任意腳本重放標題內容時,還能夠在多個場面中動態選擇任意場面重放。
這樣,在本發明的創作系統中,不僅能夠進行編碼、實時地重放多媒體位流MBS,而且能夠反復重放。關于創作系統的詳細情況,本申請的申請人1996年9月27日在日本提出的專利申請中已揭示。DVD圖4表示具有單一記錄面的DVD的一個例子。在本例子中的DVD記錄媒體RC1由照射激光LS,并進行寫入和讀出的信息記錄面RS1和覆蓋該記錄面的保護層PL1構成。還在記錄面RS1的背面設加強層BL1。這樣,以保護層PL1一側的面為正面SA,以加強層BL1一側的面為背面SB。像該媒體RC1那樣,將一個面上有單一記錄層RS1的DVD媒體叫做單面單層光盤。
圖5表示圖4中C1部分的詳細情況。記錄面RS1由附著金屬薄膜等反射膜的信息層4109形成。在該層上面由具有規定的厚度T1的第1透明基板4108形成保護層PL1。由具有規定的厚度T2的第2透明基板4111形成加強層BL1。第1及第2透明基板4108及4111由設于其間的粘接層4110將其相互連接。
根據需要,還在第2透明基板4111上面設有印刷標簽用的印刷層4112。印刷層4112不是在加強層BL1的基板4111上的全部區域,而只在需要顯示文字和圖畫的部分印刷,其他部分也可以將透明基板4111剝開。在該情況下,從背面SB側看,在未印刷的部分可以直接看見形成記錄面RS1的金屬薄膜4109反射的光,例如在金屬薄膜是鋁膜的情況下可以看到背景為銀白色,其上可以看見印刷文字和圖形浮現。印刷層4112不必設在加強層BL1的整個面上,可以根據用途在一部分設置。
圖6還示出圖5中C2部分的細節。在射入光束,取出信息的表面SA,第1透明基板4108與信息層4109相接的面用成型技術形成凹凸的坑,借助于改變坑的長度和間隔來記錄信息。也就是在信息層4109復印第1透明基板4108的凹凸的坑的形狀。該坑的長短和間隔與CD的情況相比要小些,以成列的坑形成的信息光道和間距都做得窄。結果是,面記錄密度大幅度提高。
又,第1透明基板4108的沒有形成坑的表面SA一側做成平坦的面。第2透明基板4111是加強用的,是用與第1透明基板4108相同的材料構成的兩面平坦的透明基板。而規定的厚度T1及T2都相同,例如0.6毫米是理想的數值,但也不限于此。
信息的取出與CD的情況相同,借助于光束LS的照射,將信息作為光點的反射率變化取出。在DVD系統中,加大物鏡的數值孔徑NA,而且光束的波長λ可以取得小,因此,可以將使用的光點Ls的直徑收縮到CD的情況下的光點直徑的約1/1.6。這意味著與CD系統相比,具有1.6倍的析像度。
在從DVD讀出數據時,使用波長短(650毫微米)的紅色半導體激光器和物鏡數值孔徑NA大達0.6毫米的光學系統。這和透明基板厚度T做成0.6毫米薄聯結起來,使得直徑120毫米的光盤一個面上能夠記錄的信息容量超過5G字節。
DVD系統如上所述,即使在具有單一記錄面RS1的單側單層光盤RC1,與CD相比,可記錄的信息量也接近10倍,因此,對每單元數據規模非常大的活動圖像,也能不損害其圖像質量地加以處理。結果是,已有的CD系統即使犧牲活動圖像的質量,也只可錄放74分鐘,而相比之下,DVD可以錄放高圖像質量的圖像2小時以上。這樣,DVD具有適合作為活動圖像記錄媒體的特點。
圖7及圖8表示具有多個所述記錄面RS的DVD記錄媒體的例子。圖7的DVD記錄媒體RC2在同一側,也就是正面側SA有成雙層配置的第1記錄面和半透明的第2記錄面RS1和RS2。對第1記錄面RS1和第2記錄面RS2分別使用不同的光束LS1及LS2,可以同時在兩個面上錄放。又可以用光束LS1或LS2兩者之一對應兩個記錄面錄放。這樣構成的DVD記錄媒體稱為單面雙層光盤。在這個例子中,配設兩個記錄層RS1及RS2,當然也可以根據需要做成配設兩層以上的的記錄層RS的DVD記錄媒體。這樣的記錄媒體稱為單面多層光盤。
另一方面,圖8的DVD記錄媒體RC3分別在正面側配設第1記錄面RS1,而在背面側SB配設第2記錄面RS2。在這些例子中,示出了一張DVD上配設兩層記錄面的例子,但是當然也可以做成具有兩層以上記錄面的多層記錄面光盤。與圖7的情況相同,光束LS1及LS2也可以分別配設,也可以用一支光束對兩個記錄面RS1及RS2進行錄放。這樣構成的DVD記錄媒體稱為雙面單層光盤。當然也可以做成一側配設兩層以上的記錄層RS的DVD記錄媒體。這樣的光盤稱為雙面多層光盤。
圖9及圖10分別表示從光束LS照射的一側看DVD記錄媒體RC的記錄面RS的平面圖。在DVD上從內圓周向外圓周連續設有螺旋狀的記錄信息的光道TR。信息記錄道TR按照每一規定的數據單元分割成多個扇區。在圖9中,為了看起來方便表示為每一周光道分割成3個以上的扇區。
通常光道TR如圖9所示從光盤RCA的內圓周的端點IA向外圓周的端點OA在時針方向DrA卷繞。這樣的光盤RCA稱為順時針旋轉光盤,其光道稱為順時針旋轉光道TRA。根據用途的不同,又有如圖10所示,光道TRB從光盤RCB的外圓周的端點OB向內圓周的端點IB,在時針方向DrB卷繞的情況。該方向DrB如果從內圓周向外圓周看,就是逆時針方向,因此,為了區別于圖9的光盤RCA,就稱為逆時針旋轉光盤RCB和逆時針旋轉光道。上述光道旋轉方向DrA及DrB是光束為錄放而對光道掃描的動向,也就是光道路徑。光道卷繞方向DrA的反方向RdA是使光盤RCA旋轉的方向。光道卷繞方向DrB的反方向RdB是使光盤RCB旋轉的方向。
圖11中模式性地畫出圖7所示的、作為單面雙層光盤RC2的一個例子的光盤RC2o的展形圖。下側的第1記錄面RS1上,如圖9所示順時針旋轉光道TRA設置于順時針方向DrA,上側的第2記錄面RS2上,如圖10所示逆時針旋轉光道TRB設置于逆時針方向DrB。在這種情況下,上下側的光道的外圓周端部OB及OA位于平行于光盤RC2o的中心線的同一線上。上述光道TR的卷繞方向DrA及DrB也都是對光盤RC讀寫數據的方向。在這種情況下,上下光道的卷繞方向相反,也就是上下記錄層的光道路徑DrA及DrB相向。
相向光道路徑型的單面雙層光盤RC2o對應于第1記錄面RS1在RdA方向上旋轉,光束LS沿著光道路徑DrA跟蹤第1記錄面RS1的光道,在到達外周圍端部OA的時刻,調節光束LS使其在第2記錄面RS2的外圓周端部OB聚焦,光束LS可以連續跟蹤第2記錄面RS2的光道。這樣做,第1及第2記錄面RS1及RS2的光道TRA和TRB的物理距離可以用調整光束LS的焦點的方法在瞬時消除。結果是,相向光道路徑型的單側雙層光盤RCo容易將上下兩層的光道作為一個連續的光道TR處理。因此,參照圖1敘述的創作系統中的、作為多媒體數據的最大管理單元的多媒體位流MBS可以連續記錄于一個媒體RC2o的兩層記錄層RS1和RS2上。
還有,在使記錄面RS1和RS2的光道的卷繞方向與本例所述相反,也就是在第1記錄面RS1設反時針方向旋轉的光道TRB,在第2記錄面設順時針方向旋轉的光道TRA的情況下,除了將光盤的旋轉方向改變到RdB外,與上述例子同樣把兩個記錄面當作一個具有連續的光道TR的記錄面使用。因此,為了簡便起見,將這樣的例子的附圖的圖示說明加以省略。采用這樣的結構做成DVD,可以將內容長的標題的多媒體位流MBS收錄于一張相向光道路徑型單面雙層光盤RC2o。這樣的DVD媒體稱為單面雙層相反光道路徑型光盤。
圖12中模式性地畫出圖7所示的單面雙層光盤RC2的又一例子RC2p的展開圖。第1和第2記錄面RS1及RS2如圖9所示,均設有順時針旋轉的光道TRA。在這種情況下,單面雙層光盤RC2p在RdA方向上旋轉,光束的移動方向與光道的卷繞方向相同,也就是說,上下記錄層的光道路徑互相平行。即使在這種情況下,最好是上下側光道的外圓周端部OA及OA位于與光盤RC2p的中心線平行的同一線上。因此,在外圓周端部OA調節光束LS的焦點,可以與圖11中所述的媒體RC2o一樣在一瞬間將訪問的地址從第1記錄面RS1的光道TRA的外圓周端部OA變成第2的記錄面RS2的光道TRA的外圓周端部OA。
但是,光束LS在時間上連續地對第2記錄面RS2的光道TRA進行訪問時最好是使媒體RC2p反向(逆RdA方向)旋轉。然而,根據光束的位置改變媒體的旋轉方向效率不佳,因此,如圖中箭頭所示,光束LS在到達第1記錄面RS1的光道的外圓周端部OA后,使光束移動到第2記錄面RS2的光道的內圓周部IA,以此可以將其作為邏輯上連續的一張光盤使用。而且如果有必要,也可以不把上下記錄面的光道作為一錄連續的光道處理,分別作為不同光道,在各光道上逐個標題記錄多媒體位流MBS。這樣的DVD媒體稱為單面雙層平行光道路徑型光盤。
還有,即使將兩記錄面RS1及RS2的光道的卷繞方向設置為與本例所述的相反,也就是設置反時針方向旋轉的光道TRB,除了使光盤的旋轉方向在RdB上外,其他都相同。這種單面雙層平行光道路徑型光盤適合要求像查百科事典那樣頻繁進行隨機訪問的把多個標題收錄在一張媒體RC2p的用途。
圖13是表示圖8所示的每一個面上分別具有一層記錄面RS1及RS2的雙面單層型DVD媒體RC3的一個例子RC3s的展開圖。一記錄面RS1設有順時針旋轉的光道TRA,另一記錄面RS2設有逆時針旋轉的光道TRB。即使在這種情況下,最好也是兩記錄面的光道的外圓周端部OA及OB位于與光盤RC3s的中心線平行的同一線上。這兩個記錄面RS1和RS2光道的卷繞方向相反,但光道路徑相互之間成面對稱關系。這樣的光盤RC3s稱為雙面單層對稱光道路徑型光盤。這種雙面單層對稱光道路徑型光盤RC3s對應于第1記錄媒體RS1在RdA方向上旋轉。結果是,相反側的第2記錄媒體RS2的光道路徑是在與該光道卷繞方向DrB相反的方向,也就是DrA方向上。在這種情況下,不管是連續還是不連續,在本質上,以同一光束LS訪問兩個記錄面RS1及RS2是不實際的。因此,表面和背面兩個記錄面分別記錄多媒體位流。
圖14是圖8所示的雙面單層DVD媒體RC3的又一例子RC3a的展開圖。兩記錄面RS1及RS2上都如圖9所示設有順時針旋轉的光道TRA。在這種情況下也最好是兩記錄面RS1及RS2的光道的外圓周端部OA及OA位于與光盤RC3a的中心線平行的同一直線上。但是,在本例中,與前面所述的雙面單層對稱光道路徑型光盤RC3s不同,這兩個記錄面RS1與RS2上的光道之間成非對稱關系。這樣的光盤RC3a稱為雙面單層非對稱光道路徑型光盤。這種雙面單層非對稱光道路徑型光盤RC3s與第1記錄媒體RS1對應在RdA方向上旋轉。
其結果是,相反側的第2記錄面RS2的光道路徑在與該光道卷繞方向DrA相反的方向上,也就是在DrB方向上。因此,只要使單一的光束LS從第1記錄面RS1的內圓周移向外圓周后,又使光束LS從第2記錄面RS2的外圓周移到內圓周這樣連續移動,即使不為每個記錄面準備不同的光束源,也能夠不翻轉媒體PC3a的正反面對兩個面進行錄放。又,這種雙面單層非對稱光道路徑型光盤,兩記錄面RS1及RS2的光道是相同的。因此,將媒體PC3a的正反面翻轉,即使不為每個記錄而準備不同的光束,也能以單一光束LS對兩個面進行錄放,結果,就可以經濟地制造錄放裝置。還有,在兩個記錄面RS1及RS2上設置光道TRB代替光道TRA也與本例基本相同。
如上所述,借助于因記錄面的多層化,記錄容量易于成倍增加的DVD系統,在通過與使用者的對話操作重放在1張光盤上記錄的一些活動圖像數據、一些音頻數據、一些圖形數據等的多媒體領域將發揮其真正價值。也就是說,使得傳統的軟件提供者所夢想的事成為可能,即可保持制作的電影的質量不變將一部電影錄下來,用一種媒體向使用不同語言的地區及不同世代的人提供。保護性加鎖向來,作為適應全世界的多種語言,以及在歐美各國制度化的保護性加鎖的各種獨立套件,電影標題的軟件提供者必須就同一標題,制作、供應、管理多規格標題。所花的功夫是很大的。又,這里圖像質量高重要,內容能夠按用戶的意圖重放也重要。向解決這一愿望靠近一步的記錄媒體就是DVD。多視角又,作為對話操作的典型例子,在重放一個場面時,要求有切換至從別的視角看的場面的“多視角”功能。這是一種應用要求,例如在場面是棒球的情況下,在從網后一側看到的投手、捕手、擊球者為中心的視角、從網后一側看到的內場為中心的視角、從中心一側看到的投手、捕手、擊球者為中心的視角等幾個視角中,用戶像切換攝像機似地自由選擇喜歡的視角。
作為能夠適應這樣的要求記錄活動圖像、話音、圖形等信號數據的制式,DVD采用與VCD相同的MPEG。VCD與DVD由于其容量和傳輸速度,以及重放裝置內的信號處理性能的差別,雖說是相同的MPEG形式,也還是采用與MPEG1和MPEG2的有些不同的壓縮方式、數據格式。但是,關于MPEG1和MPEG2的內容及與其不同之處,由于與本發明所關心的內容沒有直接關系,故省略其說明(例如可參看ISO11172、ISO13818的MPEG標準)。
關于本發明涉及的DVD系統的數據結構,將參照圖16、圖17、圖18及圖20在下面加以說明。多場面如果為了滿足上面所述的加鎖重放及多視角重放的要求,分別準備符合各種要求內容的標題,必須準備所要求數目的、具有很少一部分不同的場面數據的大致相同內容標題,預先記錄在記錄媒體上。這相當于在記錄媒體的大部分區域反復記錄同一數據,因而記錄媒體的存儲容量的利用效率明顯不受重視。再者,即使具有DVD那樣的大容量的記錄媒體,也不可能記錄適合全部要求的標題。這樣的問題可以說增加記錄媒體的容量基本上會解決,但是從系統資源的有效利用的觀點出發卻非常不希望這樣。
在DVD系統中,使用下面將說明其大概情況的多場面控制,以最低限度需要的數據構成具有多種變化的標題,使記錄媒體等系統資源能夠有效利用。即用各標題間的共用數據形成的基本場面區間和適合各種要求的一些不同的場面形成的多場面區間構成具有各種變化的標題。于是,預先做好準備,使用戶在重放時能夠隨時自由選擇各多場面區間中的特定場面。關于包括加鎖重放及多視角重放的多場面控制將在下面參照圖21進行說明。DVD系統的數據結構圖22表示本發明所涉及DVD系統中的創作數據的數據結構。在DVD系統中,為了記錄多媒體位流MBS,具備大致區分為寫入區域LI、卷區域VS及讀出區域LO三個區域的記錄區域。
寫入區域LI位于光盤的最內圈的圓周部分,例如在圖9及圖10說明的磁盤中位于其光道的內圓周端部IA及IB。在寫入區域LI記錄著重放裝置讀出開始時用于使動作穩定的數據等。
讀出區域LO位于光盤的最外圈的圓周上,也就是圖9及圖10說明的光道的外圓周端部OA及OB。在該讀出區域LO記錄著表示卷區域VS終止的數據等。
卷區域VS位于寫入區域LI和讀出區域LO之間,將2048字節的邏輯扇區LS作為n+1個(n為零或正整數)一維陣列記錄。各邏輯扇區LS用扇區號(#0、#1、#2、…#n)區別。而卷區域VS分為由m+1個邏輯扇區LS#0~LS#m(m為比n小的正整數或0)形成的卷/文件管理區域VFS和n-m個邏輯扇區LS#m+1~LS#n形成的文件數據區域FDS。該文件數據區域FDS相當于圖1所示的多媒體位流MBS。
卷/文件管理區域VFS是用于將卷區域VS的數據作為文件進行管理的文件系統,由容納管理整個盤所需要的數據所需的扇區數目m(m為比n小的自然數)的邏輯扇區LS#0到LS#m形成。該卷/文件管理區域按照例如ISO9660及ISO13346等標準,記錄著文件數據區域FDS內的文件的信息。
文件數據區域FDS由n-m個邏輯扇區LS#m+1~LS#n構成,包含規模為邏輯扇區的整數倍(2048×I,I為規定的整數)的視像管理文件VMG和k個VTS視像標題集VTS#1~VTS#k(k為比100小的自然數)。
視像管理文件VMG保持表示整個光盤的標題管理信息的信息,同時具有表示作為進行整卷重放控制的設定/變更用的菜單的卷菜單的信息。視像標題集VTS#k也簡稱為視像文件,表示由活動圖像、聲音、靜止圖像等數據構成的標題。
圖16表示圖22的視像標題集VTS的內容結構。視像標題集大致分為表示整個光盤的管理信息的VTS信息(VTSI)和作為多媒體位流的系統流的VTS標題用的VOBS(VTSTT_VOBS)。首先在下面對VTS信息進行說明之后,對VTS標題用VOBS加以說明。
VTS信息主要包含VTSI管理表(VTSI_MAT)及VTSPGC信息表(VTS-PGCIT)。
VTSI管理表記述視像標題集VTS的內部結構及視像標題集VTS中所包含的可選擇的音頻流的數目、子圖像數目及視像標題集VTS的收容地址等。
VTSPGC信息管理表是記錄表示控制重放順序的程序鏈(PGC)的i個(i為自然數)PGC信息VTS_PGCI#1~VTS_PGCI#I的表。各項PGC信息VTS_PGCI#I是表示程序鏈的信息,由j個(j為自然數)訪問單元重放信息C_PBI#1~C_PBI#j構成。各訪問單元重放信息C_PBI#j包含關于訪問單元的重放順序和重放的控制信息。
又,所謂程序鏈PGC是記述標題流的概念。記述訪問單元(下述)的重放順序以形成標題。上述VTS信息,在關于例如菜單信息的情況下,在重放開始時收容于重放裝置內的緩存器內,在重放的中途遙控器的“菜單”鍵按下的時刻由重放裝置參照該VTS信息,將例如#1的最上部菜單加以顯示。在分級菜單的情況下,其結構為例如程序鏈信息VTS_PGCI#1是“菜單”鍵按下后顯示的主菜單,#2~#9是對應于遙控器的數字鍵的數字的子菜單,#10以后是更下層的子菜單。其結構還可為例如#1為按下數字鍵顯示的最上部菜單,#2以下為相應于數字鍵的數字重放的指導聲的結構。
菜單本身由于該表指定的多個程序鏈表示,可構成任意形態的菜單,例如分級菜單或是包含指導聲的菜單。
又例如在電影的情況下,重放裝置參照重放開始時收容于重放裝置內的緩存器,并在PGC中記述的訪問單元重放順序,重放系統流。
這里說的訪問單元是系統流的全部或一部分,作為重放時的訪問點使用。例如在電影的情況下,可以作為在中途將標題分段的章節使用。
還有,輸入的PGC信息C_PBI#j分別包含訪問單元重放處理信息及訪問單元信息表。重放處理信息由重放時間、重復次數等訪問單元重放所需要的信息構成。C_PBI#j由訪問單元塊模式(CBM)、訪問單元塊類型(CBT)、無斷層重放標志(SPF)、交錯數據塊配置標志(IAF)、STC再設定標志(STCDF)、訪問單元重放時間(C_PBTM)、無斷層視角切換標志(SACF)、訪問單元前頭VOBU開始地址(C_FVOBU_SA),及訪問單元末尾VOBU開始地址(C_LVOBU_SA)構成。
這里說的所謂無斷層重放,就是在DVD系統中,不中斷各數據及信息地重放映像、聲音、副映像等各媒體數據。詳細情況將在下面參照圖23及圖24加以說明。
訪問單元塊模式CBM表示多個訪問單元是否構成一個功能塊,構成功能塊的各訪問單元的訪問單元重放信息連續配置在PGC信息內,配置在前頭的訪問單元重放信息的CBM示出表示“功能塊起始訪問單元”的值,配置在最后的訪問單元重放信息的CBM示出表示“功能塊最末訪問單元”的值,配置在中間的訪問單元重放信息的CBM示出表示“功能塊中間訪問單元”的值。
訪問單元塊類型CBT表示CBM所示訪問單元塊的種類。例如在對多視角功能進行設定的情況下,將與各視角的重放對應的訪問單元信息作為前面所述那樣的功能塊設定,作為該功能的種類,還在各訪問單元的訪問單元重放信息的CBT上設定表示“視角”的值。
系統重放標志SPF是表示該訪問單元是否與前面重放的訪問單元或訪問單元塊無斷層地連接、重放的標志,在與前面重放的訪問單元或前面的訪問單元塊無斷層連接、重放的情況下,在該訪問單元的訪問單元重放信息的SPF設定標志值1。在非無斷層的情況下,則設定標志值0。
交錯配置標志IAF是表示該訪問單元是否配置于交錯區域的標志,在配置于交錯區域的情況下,在該訪問單元的交錯分配標志IAF設定標志值1。反之,設定標志值0。
STC再設定標志STCDF為是否有必要在訪問單元重放時重新設定取同步時使用的STC的信息,在有必要重新設定的情況下設定標志值1。反之,設定標志值0。
無斷層視角變換標志SACF在該訪問單元屬于視角區間,并且無斷層地切換的情況下,在該訪問單元的SACF設定標志值1。反之,設定標志值0。
訪問單元重放時間(C_PBTM)在視像幀數精度范圍內表示訪問單元的重放時間。
C_LVOBU_SA表示訪問單元末尾VOBU開始地址,其值以扇區數目表示與VTS標題用的VOBS(VTSTT_VOBS)的開頭訪問單元邏輯扇區的距離。C_FVOBU_SA表示訪問單元開頭VOBU的開始地址,以扇區數目表示與VTS標題用VOBS(VTSTT_VOBS)的開頭訪問單元邏輯扇區的距離。
下面對VTS標題用的VOBS,即1多媒體系統流數據VTSTT_VOBS加以說明。系統流數據VTSTT_VOBS由稱為視頻重放對象(VOB)的i個(i為自然數)系統流SS構成。各視頻重放對象VOB#1~VOB#i以至少一個視頻數據構成,有的情況下可構成與最多8個音頻數據,最多32個副圖像數據交錯。
各視頻重放對象VOB由q個(q為自然數)訪問單元C#1~C#q構成。各訪問單元C由r個(r個自然數)視頻重放對象單元VOBU#1~VOBU#r組成。各VOBU由多個視頻編碼更新周期(GOP)及時間與該周期相當的音頻數據和子圖像構成。又,各VOBU的前頭包含作為該VOBU的管理信息的導航組NV。關于NV的結構參照圖19在下面加以敘述。
圖17示出參見圖25下文敘述的編碼器EC所編碼的系統流St35(圖25),即視像區VZ(圖22)的內部結構。在該圖中,視頻編碼流St15是由視頻編碼器300編碼的、壓縮過的一維視頻數據串。音頻編碼流St19也一樣是由音頻編碼器700編碼的立體聲的左右聲道各數據經壓縮及綜合的一維音頻數據串。又,作為音頻數據也可以是環繞聲等多聲道的數據。
系統流St35具有在圖22說明的、具有與有2048字節的容量的邏輯扇區LS#n相當的字節數的數據組(pack)一維排列的結構。系統流St35的前頭、即VOBU的前頭配置著稱為導航組NV的、記錄系統流內的數據排列等管理信息的流管理數據組。
視頻編碼流St15及音頻編碼流St19分別被按照與系統流的數據組對應的字節數分為數據包(packet)。這些數據包在圖中表達為V1、V2、V3、V4及A1、A2、…。這些數據包考慮到視頻、音頻各數據擴展用的解碼器的處理時間及解碼器的緩存器容量,以合適的順序,作為圖中的系統流進行交錯,形成數據包陣列。例如,在本例中,排列成V1、V2、A1、V3、V4、A2的順序。
圖17表示將一套活動圖像數據和一套音頻數據進行交錯的例子。但是,在DVD系統中,錄放容量被大幅度擴大,實現了高速錄放,信息處理用的LSI的性能得到提高,因而能夠使一套活動圖像數據與多個音頻數據和作為多個圖形數據的副圖像數據交錯,作為一個MPEG系統流,并以這樣的形態進行記錄,而重放時則多個音頻數據和多個副圖像數據有選擇地進行重放。圖18表示在這樣的DVD系統使用的系統流的結構。
圖18也和圖17相同,形成數據包的視頻編碼流St15表示為V1、V2、V3、V4、…。但是在該例子中,音頻編碼流St19不是一個,而是將St19A、St19B及St19C三個音頻數據串作為源輸入。還有,作為副圖像數據串的子圖像編碼流St17,也將St17A、St17B兩串數據作為源輸入。將這些總計6串的壓縮數據交錯成一個系統流St35。
視頻數據以MPEG制式編碼,所謂GOP單元成了壓縮的單元,GOP單元的標準,在NTSC的情況下以15幀構成1GOP,但該幀數可變。表示具有已交錯數據的相互關系等信息的管理用數據的流管理數據組也以把視頻數據作為基準的GOP為單元的間隔進行交錯。如果構成GOP的幀數改變,該間隔也發生變動。在DVD的情況下,該間隔以重放時間長度衡量,在0.4秒至1.0秒的范圍內,該界限取為GOP單元。如果連續的多個GOP的重放時間在1秒以下,對于該多個GOP的視頻數據,可將管理用數據組在一個流中交錯。
在DVD的情況下,將這樣的管理用數據組稱為導航組,把從該導航組NV到下一導航組之前的數據組稱為視頻重放對象單元(下稱VOBU),將通常可以定義為一個場面的一個連續重放單元稱為視頻重放對象(下稱VOB),由一個以上的VOBU構成。又將多個VOB集合而成的數據集合稱為VOB集(下稱VOBS)。這些是在DVD初次采用的數據格式。
在這樣對多個數據串進行交錯的情況下,對體現表達已交錯數據相互間關系的管理用數據的導航組NV也有必要以稱為規定的數據組數單元的單元進行交錯。GOP是匯集通常相當于12~15幀的重放時間的約0.5秒的視頻數據的單元,可以認為,在這一時間的重放所需要的數據包數目中有一個流管理數據包交錯進來。
圖19是表示構成系統流的交錯視頻數據、音頻數據、副圖像數據等數據組中包含的流管理信息的說明圖。像該圖那樣,系統流中的各數據以依據MPEG2的數據包化及數據組化形式記錄。視頻、音頻及副圖像數據,其數據包結構都基本相同。在DVD系統中,1個數據組具有如上所述的2048字節的容量,包含稱為PES數據包的1個數據包,由數據組首標PKH、數據包首標PTH及數據區域構成。
在數據組首標PKH中,記錄著表示該數據組應該從圖26中的流緩存器2400向系統解碼器2500傳送的時間、即AV同步重放用的基準時間信息的SCR。在MPEG中,設想將該SCR作為解碼器整體的基準時鐘,但在DVD等光盤媒體的情況下,為了能對各錄放裝置進行封閉式時間管理,另行設置了作為解碼器整體的時間基準的時鐘。又,在數據包首標PTH中,記錄著表示該數據包所包含的視頻數據或音頻數據經過解碼后作為重放輸出應該被輸出的時間的PTS和表示視頻流應該被解碼的時間的DTS等。在數據包內有作為解碼單元的訪問單元的首標時設置PTS和DTS,PTS表示訪問單元的展現開始時間,DTS表示訪問單元的解碼開始時間。又,在PTS與DTS為相同時間的情況下,DTS被省略。
還有,在數據包首標PTH中,包含作為表示是視頻數據串的視頻數據包,還是專用數據包,還是MPEG音頻數據包的8位長的字段的流ID。
這里所謂專用數據包是可以把MPEG2的標準上的該內容自由定義的數據,在本實施形態中,使用專用數據包1傳輸音頻數據(MPEG音頻數據以外)及副圖像數據,使用專用數據包2傳輸PCI數據包及DSI數據包。
專用數據包1和專用數據包2由數據包首標、專用數據區域及數據區域組成。在專用數據區域包含表示記錄著的數據是音頻數據還是副圖像數據的、具有8位長的字段的子流ID。用專用數據組2定義的音頻數據可分別就線性PCM方式、AC-3方式設定從#0到#7的最多8個種類。而副圖像數據可設定從#0到#31的最多32個種類。
數據區域是一種記錄區域,在視頻數據的情況下記錄MPEG2格式的壓縮數據,在音頻數據的情況下記錄線性PCM方式、AC-3方式或MPEG制式的數據,在副圖像數據的情況下記錄游程長度編碼所壓縮的圖形數據等。
又,MPEG2視頻數據作為其壓縮方法,存在著固定位速率方式(下面也記作“CBR”)和可變位速率方式(下面也記作“VBR”)。所謂固定位速率方式是視頻流以一定的速率連續輸入視頻緩存的方式。與此相反,所謂可變位速率方式,是視頻流斷續輸入視頻緩存的方式,借助于此可以抑制不需要的編碼的發生。
在DVD中,固定位速率方式和可變位速率方式都可以使用。在MPEG中,活動圖像數據以可變長度編碼化方式壓縮,因此GOP的數據量不一定。而且活動圖像與聲音的解碼時間不同,從光盤讀出的活動圖像數據和音頻數據的時間關系與從解碼器輸出的活動圖像數據和音頻數據的時間關系不一致。因此,將參照圖26在稍后對使活動圖像與聲音在時間上取同步的方法加以詳述,而為了簡便,首先對固定位速率方式加以說明。
圖20表示導航組NV的結構。導航組NV由PCI數據包和DSI數據包組構成,在前頭設置組件首標PKH。在PKH如前所述記錄著該組應該從圖26的流緩存器2400傳送到系統解碼器2500的時間,也就是表示AV同步重放用的基準時間信息的SCR。
PCI數據包具有PCI信息(PCI_GI)和非無斷層多視角信息(NSML_AGLI)。在PCI信息(PCI_GI)中以系統時鐘精度(90KHz)記述包含于該VOBU中視頻數據的開頭圖像幀顯示時間(VOBU_S_PTM)及末尾圖像幀的顯示時間(VOBU_E_PTM)。
在非無斷層多視角信息(NSML_AGLI),把切換視角時的讀出開始地址作為距離VOB開頭的扇區數記述。在這種情況下,由于視角數目在9以下,所以有9個視角大小的地址記述區域(NSML_AGL_D1_DStA~NSML_AGL_C9_DStA)。
在DSI數據組中有DSI信息(DSI-GI)、無斷層重放信息(SML_PBI)及無斷層多視角重放信息(SML_AGLI)。作為DSI信息(DSI_GI),將該VOBU內的末尾數據組地址(VOBU_EA)作為距離VOBU開頭的扇區數記述。
關于無斷層重放將在后面敘述,但是為了將分開或接合的標題無斷層地重放,有必要以ILVU為連續讀出單元,在系統流一級進行交錯(復接)。把以ILVU為最小單元對多個系統流進行交錯處理的區間定義為交錯數據塊。
為了將這樣以ILVU為最小單元交錯的系統流無斷層地重放,記述無斷層重放信息(SML_PBI)。在無斷層重放信息(SML_PBI)中,記述表示該VOBU是否交錯數據塊的交錯單元標志。該標志表示VOBU是否存在于交錯區域(后文將述)。存在于交錯區域時,設標志值“1”。反之,設標志值“0”。
又,在VOBU存在于交錯區域時,記述表示該VOBU是否ILVU的末尾VOBU的單元末尾標志。ILVU是連續讀出單元,因此現在正在讀出的VOBU如果是ILVU的末尾VOBU,就設定所述標志的值為“1”。反之,則設定特征值“0”。
在該VOBU存在于交錯區域時,記述表示該VOBU所屬的ILVU的末尾數據組的地址的ILVO末尾數據組地址(ILVU-EA)。這里地址用距離該VOBU的NV的扇區數記述。
又,在該VOBU存在于交錯區域的情況下,記述下一ILVU的開始地址(NT_ILVU_SA)。這里地址用距離該VOBU的NV的扇區數記述。
又,在將兩個系統流無斷層連接時,特別是在連接前和連接后的音頻信號不連續的情況下(音頻信號不同的情況等),為了對連接后的視頻信號和音頻信號取同步,有必要使音頻信號暫時停止。例如在NTSC的情況下,視頻信號的幀周期為大約33.33毫秒,音頻信號AC3的幀周期為32毫秒。
為此,記述表示停止音頻信號的時間及時間長度信息的音頻信號重放停止時間1(VOBU_A_STP_PTM1)、音頻信號重放停止時間2(VOBU_A_STP_PTM2)、音頻信號重放停止時長1(VOB_A_GAP_LEN1)、音頻信號重放停止時長2(VOB_A_GAP_LEN2)。該時間信息用系統時鐘精度(90KHz)記述。
又,記述切換視角時的讀出開始地址作為無斷層多視角重放信息(SML_AGLI)。此區域在無斷層多視角的情況下是有效的區域。該地址用距離該VOBU的NV的扇區數記述。由于視角數目小于9,所以有9個視角大小的地址記述區域(SML_AGL_C1_DSTA~SML_AGL_C9_DSTA)。DVD編碼器圖25表示將本發明涉及的多媒體位流創作系統用于上述DVD系統時,創作編碼器ECD的一實施形態。使用于DVD系統的創作編碼器ECD(下面稱為DVD編碼器)具有與圖2所示的創作編碼器EC非常類似的結構。DVD創作編碼器ECD具有將創作編碼器EC的視像區格式編排器1300變為VOB緩存器1000和格式編排器1100的基本結構。當然,用本發明的編碼器編碼的位流記錄于DVD媒體M。下面將DVD創作編碼器ECD的操作與創作編碼器EC的比較并加以說明。
在DVD創作編碼器ECD中,也與創作編碼器EC相同,根據表示從編輯信息生成部100輸入的用戶編輯指示內容的腳本數據St7,編碼系統控制部200生成各控制信號St9、St11、St13、St21、St23、St25、St33及St39,控制視頻編碼器300、子圖像編碼器500及音頻編碼器700。而DVD系統中的編輯指示內容,與參照圖2說明的創作系統的編輯指示內容相同,也包含對于含有多個標題內容的各源數據的全部或各個,每一規定的時間從各源數據的內容選擇一個以上,并將所選擇的這些內容用規定的方法連接重放這樣的信息,同時還包含如下信息。即還包含是否從分割為每一規定的時間單元的編輯單元所包含的流數、各流內的音頻信號數和子圖像數及其顯示時間等數據、加鎖或多視角等多種流中選擇多標題源數據流,以及所設定多視角區間的場面間切換連接方法等信息。
還有,在DVD系統中,腳本數據St7中包含對媒體源數據流編碼所需的VOB單元控制內容,即是否多視角,是否生成使加鎖控制成為可能的多規格標題,考慮下文所述多視角控制和加鎖控制的情況下的交錯和光盤容量的各流編碼時的位速率、各控制的開始時間和終止時間、與前后的流是否無斷層連接等內容。編碼系統控制部200從腳本數據St7提取信息,生成編碼控制所需要的編碼信息表及編碼參數。關于編碼信息表及編碼參數在下面將參照圖27、圖28及圖29進行詳述。
在系統流編碼參數數據及系統編碼開始/結束定時信號St33中包含將上述信息用于DVD系統生成VOB的信息。VOB生成信息有前后連接條件、音頻信號數目、音頻信號的編碼信息、音頻信號ID、子圖像數、子圖像ID、開始圖像顯示的時間信息(VPTS)、開始聲音重放的時間信息(APTS)等。還有,多媒體位流MBS的格式參數數據及格式化開始/結束定時信號St39包含重放控制信息及交錯信息。
視頻編碼器300根據視頻編碼用的編碼參數信號及編碼開始/結束定時的信號St9將視頻流St1的規定部分加以編碼,生成以ISO13818規定的MPEG2視頻標準為標準的基本流。然后將該基本流作為視頻編碼流St15向視頻流緩存器400輸出。
這里在視頻編碼器300生成以ISO13818規定的MPEG2視頻標準的基本流,而根據包含視頻編碼參數數據的信號St9,作為編碼參數輸入編碼開始/結束定時、位速率、編碼開始/結束時的編碼條件、素材的種類是NTSC信號或PAL信號或是否電視電影等參數,開放式GOP或封閉式GOP的編碼模式的設定也作為編碼參數分別輸入。
MPEG2的編碼方式基本上是利用幀之間的相互關系進行編碼的。亦即參照作為編碼對象的幀的前后幀進行編碼。但是,傳送差錯及流的中途接入性方面插入不參照其他幀的幀(內幀)。至少有1幀這種內幀的編碼處理單元稱為GOP。
在這種GOP中,編碼完全封閉在該GOP內進行的GOP是封閉式GOP。GOP內存在參照前一GOP內的幀的幀時,該GOP稱為開放式GOP。
因而,在重放封閉式GOP時,僅用該GOP就能重放,而在重放開放式GOP時,通常需要前一個GOP。
又,GOP的單元往往作為接用單元使用。例如在從標題的中途開始重放的情況下的重放開始點、映像的切換點或在快放等特殊的重放時,僅在GOP單元重放作為GOP中幀內編碼幀的幀,以此實現高速重放。
子圖像編碼器500根據子圖像流編碼信號St11,將子圖像流St3的規定的部分加以編碼,生成位映像數據的可變長度編碼數據。然后將該可變長度編碼數據作為子圖像編碼流St17向子圖像流緩存器600輸出。
音頻編碼器700根據音頻編碼信號St13,將音頻流St5的規定部分加以編碼,生成音頻編碼數據。該音頻編碼數據,有以ISO11172規定的MPEG1音頻標準及ISO13818規定的MPEG2音頻標準為依據的數據、或AC-3音頻數據及PCM(LPCM)數據等。對這些音頻數據進行編碼的方法及裝置是公知的。
視頻流緩存器400連接于視頻編碼器300,存儲從視頻編碼器300輸出的視頻編碼流St15。視頻流緩存器400還連接于編碼系統控制部200,根據定時信號St21的輸入,將保存著的視頻編碼流St15作為定時視頻編碼流St27輸出。
同樣,子圖像流緩存器600連接于子圖像編碼器500,存儲從子圖像編碼器500輸出的子圖像編碼流St17。子圖像流緩存器600還連接于編碼系統控制部200,根據定時信號St23的輸入,將保存著的子圖像編碼流St17作為定時子圖像編碼流St29輸出。
又,音頻流緩存器800連接于音頻編碼器700,保存從音頻編碼器700輸出的音頻編碼流St19。音頻流緩存器800還連接于編碼系統控制部200,根據定時信號St25的輸入,將保存著的音頻編碼流St19作為定時音頻編碼流St31輸出。
系統編碼器900連接于視頻流緩存器400、子圖像流緩存器600及音頻流緩存器800,輸入定時視頻編碼流St27、定時子圖像編碼流St29及定時音頻編碼流St31。系統編碼器900又連接于編碼系統控制部200,輸入包含系統編碼用的編碼參數數據的St33。
系統編碼器900根據編碼參數數據及編碼開始/結束定時信號St33,對各定時流St27、St29及St31實施復接處理,生成最小標題編輯單元(VOSs)St35。
VOB緩存器1000是暫時存儲系統編碼器900中生成的VOB的緩沖存儲區域,格式編排器1100則按照St39從VOB緩存器1000讀出定時所需要的VOB,生成1視像區VZ。又在該格式編排器1100添加文件系統(VFS),生成St43。
將此編輯于用戶所要求腳本的內容中的流St43傳輸到記錄部1200。記錄部1200將編輯多媒體位流MBS加工成適應記錄媒體M的形式的數據St43,并記錄于記錄媒體M。DVD解碼器下面參照圖26,將本發明涉及的多媒體位流創作系統用于上述DVD系統時的創作解碼器DC的一實施形態加以表述。應用于DVD系統的創作解碼器DCD(下稱DVD解碼器)把本發明的DVD編碼器ECD編輯的多媒體位流MBS解碼,按照用戶所希望的腳本將各標題的內容展開。還有,在本實施形態中,由DVD編碼器ECD編碼的多媒體位流St45記錄于記錄媒體M。
DVD創作解碼器DCD的基本結構與圖3所示的創作解碼器DC相同,視頻解碼器3800替換成視頻解碼器3801,同時在視頻解碼器3801與合成部3500之間插入再排列緩存器3300和切換器3400。而且切換器3400連接于同步控制部2900,接受切換指示信號St103的輸入。
DVD創作解碼器DCD由多媒體位流重放部2000、腳本選擇部2100、解碼系統控制部2300、位流緩存器2400、系統解碼器2500、視頻緩存2600、子圖像緩存器2700、音頻緩存器2800、同步控制部2900、視頻解碼器3801、按序排列緩存器3300、子圖像解碼器3100、音頻解碼器3200、選擇器3400、合成部3500、視頻數據輸出端子3600及音頻數據輸出端子3700構成。
多媒體位流重放部2000由驅動記錄媒體M的記錄媒體驅動裝置2004、讀取記錄媒體M上記錄的信息生成二值讀取信號St57的讀取頭裝置2006、對讀取信號St57施加各種處理生成重放位流St61的信號處理部2008及機構控制部2002構成。機構控制部2002連接于解碼系統控制部2300,接收多媒體位流重放指示信號St53,生成分別控制記錄媒體驅動裝置(電動機)2004及信號處理部2008的重放控制信號St55及St59。
解碼器DC具備腳本選擇部2100,該選擇部能將按照選擇相應腳本重放的要求,給予創作解碼器DC的指示作為腳本數據輸出,以重放關于創作編碼器EC編輯的多媒體標題的圖像、子圖像及聲音的、用戶所希望的部分。
腳本數據選擇部2100最好是用鍵盤及CPU構成。用戶根據用創作編碼器EC輸入的腳本內容,操作鍵盤輸入所希望的腳本。CPU根據鍵盤輸入生成指示所選擇的腳本的腳本選擇數據St51。腳本選擇部2100借助于例如紅外線通信裝置等連接于解碼系統控制部2300,將生成的腳本選擇信號St51輸入解碼系統控制部2300。
位流緩存器2400具有規定的緩存器容量,暫時保存從多媒體位流重放部2000輸入的重放信號位流St61,同時提取卷文件結構VFS、存在于各數據組的同步初始值數據(SCR),以及導航組NV存在的VOBU控制信息(DSI),生成流控制數據St63。
解碼系統控制部2300根據在解碼系統控制部2300生成的腳本選擇數據St51生成控制多媒體位流重放部2000的操作的重放指示信號St53。解碼系統控制部2300還從腳本數據St53提取用戶的重放指示信息,生成解碼控制所需要的解碼信息表。關于解碼信息表將參考圖47和圖48在下面詳細敘述。還有,解碼系統控制部2300從流重放數據St63中的文件數據區域FDS信息提取視頻管理文件VMG、VTS信息VTSI、PGC信息C_PBI#j、訪問單元重放時間(C_PBTMCell play back time)等記錄于光盤M的標題信息,生成標題信息St200。
這里,流控制數據St63生成圖19的數據組單元。流緩存器2400連接于解碼系統控制部2300,將生成的流控制數據St63提供給解碼系統控制部2300。
同步控制部2900連接于解碼系統控制部2300,接收同步重放數據St81所包含的同步初始值數據(SCR),進行內部的系統時鐘(STC)置位,并將復位的系統時鐘St97提供給解碼系統控制部2300。解碼系統控制部2300根據系統時鐘St79以規定的間隔生成流讀出信號St64,輸入流緩存器2400。這種情況下的讀出單元是數據組。下面對流讀出信號St65的生成方法加以說明。在解碼系統控制部2300,將從流緩存器2400提取的流控制數據中的SCR與來自同步控制部2900的系統時鐘St79加以比較,在系統時鐘St79變得比St63中的SCR大的時刻生成讀出要求信號。以數據組單元進行這樣的控制,控制數據組的傳送。
解碼數據控制部2300還根據腳本選擇數據St51,生成表示與所選擇的腳本對應的視頻、子圖像、音頻各流的ID的解碼指示信號St69,向系統解碼器2500輸出。
在標題中存在例如日語、英語、法語等語言不同的聲音等的多個音頻數據及日語字幕、英語字幕、法語字幕等語言不同字幕等多個子圖像數據的情況下,分別被提供ID。亦即如參照圖19所說明那樣,向視頻數據及MPEG音頻數據提供流ID,向子圖像數據、AC3方式的音頻數據、線性PCM及導航組NV信息提供子流ID。用戶沒有意識到ID,而是用腳本選擇部2100選擇哪種語言的聲音或字幕。如果選擇英語的聲音,就將對應于英語的聲音的ID作為腳本選擇數據St51傳送到解碼系統控制部2300。進而,解碼系統控制部2300將該ID傳送到St69交給系統解碼器2500。
系統解碼器2500將從流緩存器2400輸入的視頻、子圖像及音頻的流根據解碼指示信號分別作為視頻偏碼流St71輸出到視頻緩存2600,作為子圖像解碼流St73輸出到子圖像緩存器2700,作為音頻編碼流St75輸出到音頻緩存器2800。亦即系統解碼器2500在從腳本選擇部2100輸入的流的ID和從流緩存器2400傳送的數據組的ID一致的情況下,分別向各緩存器(視頻緩存2600、子圖像緩存器2700、音頻緩存器2800)傳送該數據組。
系統解碼器2500檢測出在各流St67的各最小控制訪問單元的重放開始時間(PTS)及重放結束時間(DTS),生成時間信息信號St77。該時間信息信號St77作為St81經由解碼系統控制部2300輸入同步控制部2900。
同步控制部2900根據該時間信息信號St81,就各流決定能在解碼后使其形成規定的順序的解碼開始時間。同步控制部2900根據該解碼定時,生成視頻流解碼開始信號St89,輸入視頻解碼器3801。同樣,同步控制部2900生成子圖像解碼開始信號St91及音頻編碼開始信號St93,分別輸入子圖像解碼器3100及音頻解碼器3200。
視頻解碼器3801根據視頻流解碼器開始信號St89,生成視頻輸出請求信號St84,對視頻緩存2600輸出。視頻緩存2600接收視頻輸出請求信號St84,把視頻流St83輸出到視頻解碼器3801。視頻解器3801檢測出視頻流St83中包含的重放時間信息,在接收到長度與重放時間相當的視頻流St83的輸入的時刻使視頻輸出請求信號St84無效。這樣做,使相當于規定重放時間的視頻流在解碼器3801被解碼,重放的視頻信號St95被輸出到再排序緩存器3300和切換器3400。
視頻編碼流是利用幀之間的相互關系進行編碼的,因此,以幀為單元觀察時,顯示順序與編碼流的順序并不一致。所以不能以解碼順序顯示。因此,把結束解碼的幀暫存于再排序緩存器3300。在同步控制部2900控制St103,使其符合顯示順序,并切換視頻解碼器3801的輸出St95與再排序緩存器St97的輸出,輸出到合成部3500。
同樣,子圖像解碼器3100根據子圖像解碼開始信號St91生成子圖像輸出請求信號St86,提供給子圖像緩存器2700。子圖像緩存器2700接收視頻輸出請求信號St84,將子圖像流St85輸出到子圖像解碼器3100。子圖像解碼器3100根據子圖像流St85所包含的重放時間信息,對長度相當于規定的時間的子圖像流St85進行解碼,重放子圖像信息St99,并輸出到合成部3500。
合成部3500將選擇器3400的輸出及子圖像信號St99加以重迭,生成映像信號St105,輸出到視頻輸出端子3600。
音頻解碼器3200根據音頻解碼開始信號St93生成音頻輸出請求信號St88,提供給音頻緩存器2800。音頻緩存器2800接收音頻輸出請求信號St88,將音頻流St87輸出到音頻解碼器3200。音頻解碼器3200根據音頻流St87所包含的重放時間信息,將長度相當于規定的重放時間的音頻流St解碼,并輸出到音頻輸出端子3700。
這樣做,可以根據用戶對腳本的選擇,實時地重放用戶所希望的多媒體位流MBS。亦即,每當用戶選擇不同的腳本,創作解碼器DCD即重放對應于該選擇的腳本的多媒體位流MBS,以此可以重放用戶所希望的標題內容。
還有,解碼系統控制部也可以經由上述紅外線通信裝置等向腳本選擇部2100提供標題信息信號St200。腳本選擇部2100從包含于標題信息信號St200的流重放數據St63中的文件數據區域FDS信息提取記錄于光盤M的標題信息,在內裝的顯示器上顯示,以此使人機對話式的用戶的腳本選擇成為可能。
又,在上述例子中,流緩存器2400、視頻緩存2600、子圖像緩存器2700、音頻緩存器2800再排序緩存器3300由于功能上不相同,表示為各不相同的緩存器。但是,可以將具有這些緩沖存器所要求寫入及讀出速度的數倍的操作速度的緩存器在時間上分開使用,使一個緩存器起這些分立的緩存器的作用。多場面下面用圖21對本發明的多場面控制的概念加以說明。像上面說明過的那樣,此控制由各標題間共用的數據形成的基本場面區間與由適應各種要求的一些場面形成的多場面區間構成。在該圖中,場面1、場面5、及場面8為共用場面。共用場面1和場面5之間的視角場面及場面5和場面8之間的加鎖場面為多場面區間。在多視角區間,可以在重放時動態地選擇從不同的視角、即視角1、視角2和視角3拍攝的場面中的某一個場面重放。在加鎖區間,可以預先靜態地選擇與不同內容的數據對應的場面6和場面7中的某一個重放。
選擇這樣的多場面區間的哪一個場面重放的腳本內容被用戶輸入腳本選擇部2100,作為腳本選擇數據St51生成。圖中表示,腳本1自由選擇任意視角的場面,在加鎖區間重放預先選擇的場面6。同樣,還表示腳本2在視角區間可以自由選擇場面,在加鎖區間預先選擇場面7。
下面參照圖30和圖31,就使用DVD的數據結構的情況下的PGC信息VTS_PGCI對圖21所示的多場面進行說明。
圖30是用表示圖16的DVD數據結構中視像標題集內部結構的VTSI數據結構記述圖21所示的用戶指示的腳本的情況。在圖中,圖21的腳本1、腳本2作為圖16的VTSI中的程序鏈信息VTS_PGCIT內的兩個程序鏈VTS_PGCI#1與VTS_PGCI#2記述。即記述腳本1的VTS_PGCI#1由相當于場面1的訪問單元再生信息C_PBI#3、訪問單元再生信息C_PBI#4、相當于場面5的訪問單元再生信息C_PBI#5、相當于場面6的訪問單元再生信息C_PBI#6、相當于場面8的訪問單元再生信息C_PBI#7構成。
又,記述腳本2的VTS_PGCI#2由相當于場面1的訪問單元再生信息C_PBI#1、相當于多視角場面的多視角訪問單元塊內的訪問單元再生信息C_PBI#2、訪問單元再生信息C_PBI#3、訪問單元再生信息C_PBI#4、相當于場面5的訪問單元再生信息C_PBI#5、相當于場面7的訪問單元再生信息C_PBI#6、相當于場面8的訪問單元再生信息C_PBI#7構成。DVD數據結構將腳本的一個重放控制單元(即一個場面)置換為稱為訪問單元的DVD數據結構上的單位記述,在DVD上實現用戶指示的腳本。
圖31以作為圖16的DVD數據結構內的視像標題集用的多媒體位流的VOB數據結構VTSTT_VOBS記述圖21所示的用戶指示的腳本。
在圖31中,圖21的腳本1和腳本2兩個腳本共同使用一個標題用的VOB數據。在各腳本共用的單獨場面方面,將相當于場面1的VOB#1、相當于場面5的VOB#5和相當于場面8的VOB#8作為單獨的VOB,配置于非交錯數據塊部分,即配置于連續數據塊。
在腳本1和腳本2共用的多視角場面方面,視角1由VOB#2構成,視角2由VOB#3構成,視角3由VOB#4構成,即以1VOB構成一個視角,并且為了在各視角之間的切換和各視角的無斷層重放,取為交錯數據塊。
又,在腳本1和腳本2作為固有的場面的場面6和場面7,當然都要無斷層重放,而且還要與前后的共用場面無斷層連接重放,因而取為交錯數據塊。
如上所述,圖21所示的用戶指示的腳本在DVD數據結構中可以用圖30所示視像標題集的重放控制信息和圖31所示標題重放用VOB數據結構實現。無斷層重放下面對上述聯系DVD系統的數據結構敘述的無斷層重放進行說明。所謂無斷層重放是在共用場面區間之間、共用場面區間與多場面區間之間,以及多場面區間之間,連接圖像、聲音、副圖像等的多媒體數據進行重放時,不使各數據和信息中斷地進行重放。各數據和信息重放中斷的主要原因中,涉及硬件的是,在解碼器輸入源數據的速度和對輸入的源數據解碼的速度失去平衡,即所謂解碼器下溢。
再者,作為涉及重放數據的特性的主要原因,有重放數據像聲音那樣,為了使用戶理解其內容或信息,要求進行等于或長于固定時間單元的連續重放,而對這樣的數據重放,在所要求的連續重放時間不能確保的情況下,會失去信息的連續性。這樣確保信息連續性地進行重放稱為連續信息重放,又稱為無斷層信息重放。又把不能確保信息的連續性的重放稱為非連續信息重放,又稱為非無斷層信息重放。當然,連續信息重放與非連續信息重放分別就是無斷層和非無斷層重放。
如上所述,對無斷層重放定義了借助于緩存器下溢等在物理上防止數據重放時發生空白或中斷的無斷層數據重放,和防止發生數據本身沒有中斷而用戶在根據重放數據識別信息時覺得信息中斷的無斷層信息重放。無斷層重放的詳述關于能夠這樣使無斷層重放成為可能的具體方法將參照圖23和圖24在下面詳述。交錯對上述DVD數據的系統流,使用創作編碼器EC,在DVD媒體上記錄電影之類的標題。但是,為了以在不同的文化圈或國家也能夠利用相同的電影的形態提供服務,當然要以各國的語言記錄臺詞,而且必須根據各文化圈的倫理要求對內容進行編輯記錄。在這樣的情況下,為了將根據原來的標題編輯的多個標題記錄在一張媒體上,即使是在DVD這樣的大容量系統,也必須降低位速率,不能滿足高圖像質量的要求。因此采取多個標題共用相同的部分,對各標題只記錄不同的部分的方法。這樣做可以不降低位速率,在一張光盤可以記錄國別或文化圈不同的多個標題。
一張光盤上記錄的標題,如圖21所示,為了能夠進行加鎖控制和多視角控制,具有包括共用部分(場面)和非共用部分(場面)的多場面區間。
在加鎖控制的情況下,一個標題中包含有性場面、暴力場面等對小孩不合適的所謂只適合成人的場面時,該標題由共用場面、只適合成人的場面,和適合未成年人的場面構成。配置將只適合成人的場面和適合未成年人的場面作為在共用場面之間設置的多場面區間,得以實現這樣的標題流。
而在通常的單一視角標題內實現多視角控制的情況下,其實現的方法是將分別以規定的攝像機視角對對象進行攝影得到的多個多媒體場面作為多場面區間配置于共用場面之間。這里,各場面以不同的視角拍攝的場面為例,也可以是視角相同,但在不同時間拍攝的場面,還可以是計算機圖形等數據。
多個標題共用數據時,為了使光束從數據的共用部分移動到數據的非共用部分,必然要使光拾取頭在光盤(RCI)的不同位置上移動。由于該移動需要時間,要使聲音和圖像在重放的中途不發生中斷,即實現無斷層重放是困難的。要解決這樣的問題,從理論上說,只要具備緩存時間與最長訪問時間相當的跟蹤緩存器(位流緩存器2400)即可。通常光盤上記錄的數據由光拾取頭讀取,在進行規定的信號處理后,作為數據暫時存儲于跟蹤緩存器。所存儲的數據此后經過解碼,作為視頻數據或音頻數據重放。交錯的定義為了使如前所述的刪剪某一場面和從多個場面中選擇成為可能,在記錄媒體的光道上以屬于各場面的數據訪問單元相互連續的布局進行記錄。因此必然發生共用場面的數據與選擇場面的數據之間有非選定的場面插入記錄的情況。在這樣的情況下,按照記錄順序讀出數據,則在對所選擇場面的數據進行訪問、解碼之前,不得不對非選定場面的數據進行訪問,因此對場面難于進行無斷層連接。
但是,在DVD系統中,利用對該記錄媒體的優異的隨機訪問性能,在這樣的多個場面之間進行無斷層連接是可能的。也就是說,是將屬于各場面的數據分割成具有規定的數據量的多個單元,并將這些屬于不同場面的多個分割數據單元相互間以規定的順序配置于轉移性能范圍,從而按每一分割單元,斷續訪問各個選擇場面所屬的數據并進行解碼,以此可以不發生數據中斷地將該選擇的場面加以重放。亦即保證無斷層數據的重放。交錯數據塊、交錯單元的結構下面參照圖24及圖65對使無斷層數據重放成為可能的交錯方式加以說明。圖24表示從一個VOB(VOB-A)分支為多個VOB(VOB-B、VOB-D、VOB-C)重放,然后聯結為一個VOB(VOB-E)的情況。圖65表示將這些數據實際配置于光盤上的光道TR的情況。
在圖65中的VOB-A和VOB-E是重放的開始點和結束點單獨的視頻重放對象,原則上配置于連續區域。又如圖24所示,對VOB-B、VOB-C、VOB-D,使重放的開始點、結束點一致后,進行交錯處理。然后將該交錯處理過的區域作為交錯區域在光盤上的連續區域配置。再把上述連續區域和交錯區域按重放的順序,也就是在光道路徑Dr的方向上配置。圖65示出將多個VOB、即VOBS配置于光道TR上的圖。
圖65以數據連續配置的數據區域為數據塊,此數據塊有將上述開始點和結束點單獨完結的VOB連續配置的連續數據塊和使開始點和結束點一致,對該多個數據塊進行交錯的交錯數據塊兩種。這些數據塊具有按重放順序,如圖66所示配置為數據塊1、數據塊2、數據塊3、……數據塊7的結構。
圖66中,VTSTT VOBS由數據塊1、2、3、4、5、6和7構成。在數據塊1,VOB1單獨配置,同樣,在數據塊2、3、5及7,分別單獨配置VOB2、3、6和10。也就是說,這些數據塊2、3、5和7是連續數據塊。
另一方面,在數據塊4,VOB4與VOB5交錯配置。同樣,在數據塊6,對VOB7、VOB8及VOB9三個VOB交錯配置。亦即此二數據塊4和6是交錯數據塊。
圖67表示連續數據塊內的數據結構。在該圖中,VOB-i、VOB-j作為連續數據塊配置于VOBS。連續數據塊內的VOB-i和VOB-j如參照圖16所作的說明那樣,再分割成作為邏輯上的重放單元的訪問單元。圖中表示VOB-i及VOB-j分別由三個訪問單元CELL#1、CELL#2、CELL#3構成。訪問單元由1個以上的VOBU構成,以VOBU定義其界限。如圖16所示,訪問單元在DVD的重放控制信息的程序鏈(下稱PGC)上,記述其位置信息。也就是說,記述訪問單元開頭的VOBU和末尾的VOBU的地址。如圖67所示出的那樣,連續數據塊為了連續重放,VOB和其中所定義的訪問單元都記錄于連續區域。因此,連續數據塊的重放沒有問題。
接著,圖68表示出交錯數據塊內的數據結構。在交錯數據塊,各VOB被分割成交錯單元ILVU,各VOB所屬交錯單元交錯配置。然后,該交錯單元獨立定義訪問單元界限。在該圖中,VOB-k被分割成四個交錯單元ILVUk-1、ILVUk-2、ILVUk-3及ILVUk-4,同時也定義兩個訪問單元CELL#1k及CELL#2k。同樣,VOB-m被分割成ILVUm-1、ILVUm2。ILVUm3及ILVUm4,同時也定義兩個訪問單元CELL#1m及CELL#2m。亦即,在交錯單位ILVU中包含視頻數據和音頻數據。
圖68例子中、兩個不同的VOB-k與VOB-m的各交錯單元ILVUk1、ILVUk2、ILVUk3及ILVUk4與ILVUm1、ILVUm2、ILVUm3及ILVUm4在交錯數據塊內交錯配置。將兩個VOB的各交錯單元ILVU在這樣的陣列進行交錯,可以實現從單獨的場面分支到多個場面之一,再從這些場面之一到單獨的場面的無斷層重放。這樣進行交錯,可以進行在多個場面情況下的、有分支、聯結的場面的、可無斷層重放的連接。多場面下面說明以本發明為基礎的多場面控制的概念,同時對多場面區間加以說明。
下面舉在不同的視角拍攝的場面構成的例子。不過,多場面的各場面是同一視角的,但是也可以是在不同的時間拍攝的場面,又可以是電腦圖形等的數據。換句話說,多視角場面區間是多場面區間。保護性加鎖下面參照圖15對保護性及總監剪裁等多標題的概念進行說明。
圖15表示以加鎖為基礎的多規格標題流的一個例子。在一個標題中包含性場面、暴力場面等對少年兒童不宜的所謂只適合成人的場面的情況下,該標題由共用系統流SSa、SSb及SSe、包含只適合成人的場面的面向成人的系統流SSc,以及只包含面向未成年人的場面的面向未成年人的系統流SSd構成。這樣的標題流將適合成人的系統SSc和適合非成人的系統流SSd作為多場面系統流配置于設置在共用系統流SSb與SSe之間的多場面區間。
下面說明如上所述構成的標題流的程序鏈PGC中記述的系統流與各標題的關系。在適合成人的標題的程序鏈PGC1上,依序記述共用系統流SSa、SSb、適合未成年人的系統流SSc及共用系統流SSe。在適合未成年人的標題的程序鏈PGC2上,依序記述共用系統流SSa、SSb、適合未成年人的系統流SSd及共用系統流SSe。
這樣,借助于將適合成年人的系統流SSc與適合未成的人的系統流SSd作為多場面排列,根據各PGC的記述,在用上述解碼方式重放共用的系統流SSa及SSb之后,在多場面區間重放適合成人的SSc,再重放共同的系統流SSe,從而可以重放具有適合成人的內容的標題。另一方面,在多場面區間選擇適合未成年人的系統流SSd重放,可以重放不包含只適合成人的場面的、適合未成年人的標題。這樣,在標題流中預先準備由多種替代場面組成的多場面區間,事前在該多場面區間的場面中選擇重放的場面,按照該選擇的內容,從基本上相同標題的場面生成具有不同的場面的多個標題的方法被稱為保護性加鎖。
還有,這種加鎖以從保護未成年人的觀點出發的要求為基礎,被稱為保護性加鎖,但是按照系統流處理的觀點,如上所述,這是用戶預先選擇在多場面區間的特定的場面,生成靜態上不同的標題的技術。反之,多視角則是在標題重放時用戶隨時自由選擇多場面區間的場面,以此使同一標題的內容動態變化的技術。
又,使用主鎖定技術,也可以進行稱為總監的剪裁的標題流編輯。所謂總監剪裁,是在飛機上提供電影等重放時間長的標題時,與劇場中重放不同,由于飛行時間的關系,不能把標題重放到最后的情況下。為了避免這種情況發生,預先由標題的制作負責人,亦即總監判斷,確定為了縮短標題的重放時間,刪剪掉也無妨的場面,將包含這樣的刪剪場面的系統流和場面未刪剪的系統流配置于多場面區間。借助于此,可以按照制作者的意思進行場面的刪剪、編輯。這樣的保護性加鎖控制中,對于從一個系統流到另一系統流的交接處,必須沒有矛盾且平滑地連接重放圖像,亦即需要進行視頻、音頻等緩存器沒有下溢的無斷層數據重放與重放聲像在聽覺和視覺上沒有不自然的感覺,并且沒有中斷地重放的無斷層信息重放。多視角下面參照圖33對本發明的多視角控制的概念加以說明。通常是在對象物體經歷時間T的同時進行錄音和攝像(以下簡單稱為攝像)后得到多媒體標題。#SC1、#SM1、#SM2、#SM3及#SC3各方塊代表分別以規定的攝像機視角將對象物體攝像得到的、在拍攝單位時間T1、T2及T3得到的多媒體場面。#SM1、#SM2及#SM3是在拍攝單位時間T2以各不相同的(第一、第二和第三)攝像機視角拍攝的場面,下面稱為第一、第二及第三多視角場面。
這里多視角場面舉以不同的視角拍攝的場面構成的例子。然而,多場面中的各個場面也可以是視角相同,但在不同時間拍攝的場面,或電腦圖形等的數據。換句話說,多視角場面區間是多場面區間,該區間的數據不限于實際上不同的拍攝像機視角得到的場面數據,而是能夠有選擇地重放顯示時間處于同一段時間的多個場面的數據組成的區間。
#SC1和#SC2是分別在拍攝單位時間T1及T3、即多視角場面的前后,以同一基本的攝像機視角拍攝的場面,以下稱為基本視角場面。通常多個視角中的一個視角與基本攝像機視角相同。
為了易于了解這些視角場面的關系,下面以棒球的中繼轉播為例加以說明。基本視角場面#SC1及#SC3是以從中心方面看到的投手、捕手、擊球者為中心的基本攝像機視角拍攝的。第一多視角場面#SM1是以從網后一側看到的投手、捕手、擊球者為中心的第一多攝像機視角拍攝的。第二多視角場面#SM2是以從中心方面看到的投手、捕手、擊球者為中心的第二多攝像機視角,亦即基本攝像機視角拍攝的。
其意思是,第二多視角場面#SM2是在拍攝單位時間T2里的基本視角場面#SC2。第三多視角場面#SM3是以從網后一側看到的內場為中心的第三多攝像機多視角拍攝的。
多視角場面#SM1、#SM2及#SM3就拍攝單位時間T2,其展現(presentation)時間重復出現,這段時間稱為多視角區間。觀眾借助于在多視角區間自由選擇該多視角場面區間#SM1。#SM2及#SM3,可以象在切換攝像機那樣在基本視角場面中欣賞所喜歡視角場面的圖像。還有,在圖中可以看到基本視角場面#SC1及#SC3與各多視角場面#SM1、#SM2及#SM3之間存在時間間隙,但這是因為用箭頭表示,以便易于理解選擇哪一個多視角場面重放的場面的路徑是怎樣的,實際上當然不存在時間上的間隙。
下面參照圖23,從數據連接的觀點說明以本發明為基礎的系統流的多視角控制。以與基本視角場面#SC對應的多媒體數據作為基本視角數據BA,以拍攝單位時間T1及T3中的基本視角數據BA分別作為BA1及BA3。把與多視角場面#SM1、#SM2及#SM#對應的多視角數據分別作為第一、第二及第三多視角數據MA1、MA2及MA3。首先參照圖33,如前所述,選擇多視角場面數據MA1、MA2及MA3中的某一個,可以切換著欣賞喜歡的視角場面的圖像。同樣,基本視角場面數據BA1及BA3和各多視角場面數據MA1、M2及M3之間在時間上不存在間隙。
但是,在MPEG系統流的情況下,各多視角數據MA1、MA2及MA3內的任意數據與先行基本數據BA1來的連接,和/或向后續基本視角數據BA3的連接時,因所連接的視角數據的內容的不同,有時發生重放數據之間重放信息不連續,不能作為一個標題自然地重放。亦即,在這種情況下,雖然是無斷層數據重放,但卻并非無斷層信息重放。
下面再參照圖23說明作為對DVD系統中的多場面區間內的多個場面加以選擇重放,并連接于前后場面的無斷層信息重放的多視角切換。
視角場面圖像的切換,即選擇多視角場面數據MA1、MA2及MA3中的一個,必須在先行的基本視角數據BA1的重放結束之前完成。例如,正在重放視角場面數據BA1時,要切換到別的多視角場面數據MA2是非常困難的。這是由于多媒體數據具有可變長度編碼方式的MPEG的數據結構,在切換目標的數據的中途要找到數據的中斷處是困難的,而且由于在進行編碼處理時利用幀之間的相關性,所以在進行視角切換時圖像有可能發生混亂。在MPEG中,GOP被定義為至少具有1更新幀的處理單元。在這個稱為GOP的處理單元中,可以進行不參照屬于別GOP的幀的封閉式處理。
換句話說,如果在重放到達多視角區間之前,最晚在先行基本視角數據BA1的重放結束的時刻,選擇任意多視角數據,例如MA3,則該被選擇的多視角數據可以無斷層地進行重放。但是,在多視角數據重放的中途對別的多視角場面數據進行無斷層重放是非常困難的。因此,在多視角周期內,很難得到切換攝像機那樣自由的視點。流程圖編碼器下面參照圖27,根據上述的腳本數據St7對編碼系統控制部200生成的編碼信息表進行說明。編碼信息表由對應于將場面的分支點、聯結點作為分隔界線的場面區間,包含多個VOB的VOB集數據串和各場面的VOB數據串組成。圖27所示的VOB集數據串將在下面敘述。
在圖34的步驟#100,為了根據用戶指示的標題內容生成DVD的多媒體流而在編碼系統控制部200內作成編碼信息表。用戶指示的腳本具有從共用場面通向多個場面的分支點,或通向共同的場面的聯結點。把與將該分支點、聯結點作為分隔界限的場面區間相當的VwOB作為VOB集,把為了將VOB集編碼而作成的數據作為VOB集數據串。而VOB集數據串中,把包含多場面區間的情況下所呈現的標題數表示為VOB集數據串的標題數(TITLE_NO)。
圖27的VOB集數據結構示出用于對VOB集數據串的一個VOB集進行編碼的數據的內容。VOB集數據結構由VOB集編號(VOBS_NO)、VOB集的VOB編號(VOB_NO)、先行VOB無斷層連接標志(VOB_Fsb)、后續VOB無斷層連接標志(VOB_Fsf)、多場面標志(VOB_Fp)、交錯標志(VOB_Fi)、多視角標志(VOB_Fm)、多視角無斷層切換標志(VOB_FsV)、交錯VOB的最大位速率(ILV_BR)、交錯VOB的分割數(ILV_DIV)、最小交錯單元重放時間(ILV_MT)構成。
VOB集編號VOBS_NO是識別例如著眼于標題腳本重放順序的VOB集用的編號。
VOB集內的VOB編號VOB_NO是例如著眼于標題腳本重放順序,對全部標題腳本識別VOB用的編號。
先行VOB無斷層連接標志VOB_Fsb是表示腳本重放時與先行VOB是否無斷層連接的標志。
后續VOB無斷層連接標志VOB_Fsf是表示腳本重放時與后續VOB是否無斷層連接的標志。
多場面標志VOB_Fp是表示VOB集是否用多個VOB構成的標志。
交錯標志VOB_Fi是表示VOB集內的VOB是否進行交錯配置的標志。
多視角標志VOB_Fm是表示VOB集是否多視角的標志。
多視角無斷層切換標志VOB_FsV是表示多視角內的切換是否無斷層的標志。
交錯VOB最大速率ILV_BR表示進行交錯的VOB的最大位速率的值。
交錯VOB分割數ILV_DIV表示進行交錯的VOB的交錯單元數。
最小交錯單元重放時間ILVU_MT表示交錯數據塊重放時在跟蹤緩存器不下溢的最小交錯單元中,該VOB的位速率在ILV_BR的時候能夠重放的時間。
下面參照圖28對根據上述腳本數據St7,對與編碼系統控制部200生成的與每一個VOB對應的編碼信息表進行說明。根據該編碼信息表,生成與下述各VOB對應的編碼參數數據,提供給視頻編碼器300、子圖像編碼器500、音頻編碼器700、系統編碼器900。圖28所示的VOB數據串是為了在圖51的步驟#100根據用戶指示的標題內容生成DVD的多媒體流而在編碼系統控制內作成的每一VOB的編碼信息表。以1個編碼單元作為VOB,將為了對該VOB編碼而作成的數據作為VOB數據串。例如以3個視角的場面構成的VOB集合即由3個VOB構成。圖28的VOB數據結構示出對VOB數據串的一個VOB進行編碼用的數據的內容。
VOB數據結構包括圖像素材開始時間(VOB_VST)、圖像素材結束時間(VOB_VEND)、圖像素材種類(VOB_V_KIND)、視頻編碼位速率(V_BR)、聲音素材開始時間(VOB_AST)、聲音頻素材結束時間(VOB_AEND)、音頻編碼方式(VOB_A_KIND)、音頻位速率(A_BR)。
視頻素材的開始時刻VOB_ST是與圖像素材時間對應的視頻編碼開始時間。
圖像素材結束時間VOB_VEND是與圖像素材時間對應的視頻編碼的結束時間。
圖像素材種類VOB_V_KIND表示編碼素材是NTSC制式還是PAL制式,或表示圖像素材是否經電視電影變換處理過的素材。
視頻位速率V_BR是視頻信號的編碼位速率。
聲音素材開始時間VOB_AST是與聲音素材時間對應的音頻編碼開始時間。
聲音素材結束時間VOB_AEND是與聲音素材時間對應的音頻編碼結束時間。
音頻編碼方式VOB_A_KIND表示音頻信號的編碼方式。編碼方式中有AC-3、MPEG、線性PCM等制式。
音頻位速率A_BR是音頻信號的編碼位速率。
圖29表示輸往對VOB進行編碼用的視頻、音頻、系統各編碼器300、500及900的編碼參數。編碼參數包括VOB編號(VOB_NO)、視頻編碼開始時間(V_STTM)、視頻編碼結束時間(V_ENDTM)、視頻編碼模式(V_ENCMD)、視頻編碼位速率(V_RATE)、視頻編碼最大位速率(V_MRATE)、GOP結構固定標志(GOP_FXflag)、視頻編碼GOP結構(GOPST)、視頻編碼初始數據(V_INIST)、視頻編碼結束數據(V_ENDST)、音頻編碼開始時間(A_STTM)、音頻編碼結束時間(A_ENDTM)、音頻編碼位速率(A_RATE)、音頻編碼方式(A_ENCMD)、聲音開始時的間隙(A_STGAP)、聲音結束時的間隙(A_ENDGAP)、先行VOB編號(B_VOB_NO)、后續VOB編號(F_VOB_NO)。
VOB編號VOB_NO是識別例如著眼標題腳本重放順序,對全部標題腳本進行編號的VOB用的編號。
視頻編碼開始時間V_STTM是圖像素材方面的視頻編碼開始時間。
視頻編碼結束時間V_STTM是圖像素材方面的視頻編碼結束時間。
視頻編碼模式V_ENCMD是用于在圖像素材是經過電視電影變換的素材的情況下,設定是否在視頻編碼時進行反向電視電影變換處理,以便能夠高效率地進行編碼的編碼模式。
視頻編碼位速率V_RATE是視頻編碼時的平均位速率。
視頻編碼最大位速率V_MRATE是視頻編碼時的最大位速率。
GOP結構固定標志GOP_FXflag表示在視頻解碼是否不中途改變GOP的結構進行編碼。是在多視角場面中可進行無斷層切換時有效的參數。
視頻編碼器GOP結構GOPST是編碼時的GOP結構數據。
視頻編碼初期數據V_INST是設定視頻編碼開始時的VBV緩存器(解碼緩存器)的初始值等的、在與先行的視頻解碼流無斷層地重放時有效的參數。
視頻編碼結束數據V_ENDST是設定視頻編碼結束時的VBV緩存器(解碼緩存器)的結束值等的、在與后續的視頻解碼流無斷層地重放時有效的參數。
音頻編碼開始時間A_STTM是聲音素材方面的音頻編碼開始時間。
音頻編碼結束時間A_ENDTM是聲音素材方面的音頻編碼結束時間。
音頻編碼位速率A_RATE是音頻編碼時的位速率。
音頻編碼方式A_ENCMD是音頻信號的編碼方式,有AC-3、MPEG、線性PCM等制式。
聲音開始時的間隙A_STGAP是VOB開始時的圖像與聲音始端的時間偏移。是在與先行的系統編碼流無斷層地重放時有效的參數。
聲音結束時的間隙A_ENDGAP是VOB結束時的圖像與聲音的結束錯開的時間。是在與后續的系統編碼流無斷層地重放時有效的參數。
先行VOB編號B_VOB_NO在無斷層連接的先行VOB存在的情況下表示該VOB編號。
后續VOB編號F_VOB_NO在無斷層連接的后續VOB存在的情況下表示該VOB編號。
下面參照圖34所示的流程圖對本發明的DVD編碼器ECD的運作加以說明。在該圖中用雙重線框表示的方塊分別表示子程序。本實施形態對DVD系統作了說明。不言而喻,對于創作編碼器EC也可采用相同的結構。
在步驟#100,用戶在編輯信息生成部100一邊確認多媒體源數據St1、St2及St3的內容,一邊輸入添加到所希望腳本的內容的編輯指示。
在步驟#200編輯信息生成部100根據用戶的編輯指示生成包含上述編輯指示信息的腳本數據St7。
在步驟#200生成腳本數據St7時,用戶的編輯指示內容中,在對設想進行交錯的多視角、加鎖控制多場面區間進行交錯時的編輯指示,按照如下條件輸入。
首先,決定在圖像質量上能夠獲得足夠好的圖像質量的VOB最大位速率,再決定設想當作DVD編碼數據重放裝置的DVD解碼器DCD的跟蹤緩存器容量、轉移性能、轉移時間和轉移距離的數值。以上述數值為基礎,從式3、式4得到最小交錯單元的重放時間。
接著,以包含于多場面區間的各場面的重放時間為基礎,檢驗(式5)和(式6)是否得到滿足。如果沒有得到滿足,用戶就變更輸入指示,進行將后續場面的一部分場面連接多場面區間各場面等處理,以滿足(式5)及(式6)。
在多視角編輯指示的情況下進行無斷層切換時,在滿足(式7)的同時,還輸入在多視角的各場面重放時間使音頻信號相同的編輯指示。進行非無斷層切換時,按照滿足(式8)的要求,輸入用戶的編輯指示。
在步驟#300,編碼系統控制部200根據腳本數據St7,首先判斷作為對象的場面是否與先行場面無斷層連接。所謂無斷層連接,是在先行場面區間為多個場面組成的多場面區間的情況下,將該先行多場面區間所包含的全部場面中的任意一個場面與作為當時的連接對象的共用場面無斷層地連接。同樣,在當時的連接對象是多場面區間的情況下,無斷層連接意味著能夠連接多場面區間的任意一個場面。在步驟#300判斷為“否”,即判斷為非無斷層連接的情況下,進入步驟#400。
在步驟#400,編碼系統控制部200將表示作為對象的場面與先行場面無斷層連接的先行場面無斷層連接標志VOB_Fsb復位后,進入步驟#600。
而在步驟#300判斷為“是”,即判斷為先行場面無斷層連接時,進入步驟#500。
在步驟#500,將先行場面無斷層連接標志VOB_Fsb置位后,進入步驟#600。
在步驟#600,編碼系統控制部200根據腳本數據St7判斷對象場面與后續場面是否無斷層連接。在步驟#600判斷為“否”,即判斷為非無斷層連接的情況下,進入步驟#700。
在步驟#700,編碼系統控制部200將表示場面與后續場面無斷層連接的后續場面無斷層連接標志VOB_Fsf復位后,進入步驟#900。
而在步驟#600判斷為“是”,即判斷為與后續場面無斷層連接時,進入步驟#800。
在步驟#800,編碼系統控制部200將后續場面無斷層連接標志VOB_Fsf置位后,進入步驟#900。
在步驟#900,編碼系統控制部200根據腳本數據St7判斷作為連接對象的場面是否一個以上,即判斷是否多場面。在多場面的情況下,存在著在可以用多場面構成的多條重放路徑中只通過一條重放路徑加以重放的加鎖控制和重放路徑可在多場面區間之間切換的多視角控制。在腳本步驟#900判斷為“否”,即判斷為非多場面連接時,進入步驟#1000。
在步驟#1000,將表示是多場面連接的多場面標志VOB_Fp復位后,進入編碼參數生成步驟#1800。關于步驟#1800的操作將在下面進行敘述。
反之,在步驟#900判斷為“是”,即判斷為多場面連接時,進入步驟#1100。
在步驟#1100,將多場面標志VOB_Fp置位后,進入判斷是否多視角連接的步驟#1200。
在步驟#1200,判斷是否在多場面區間中的多個場面之間進行切換,即判斷是否多視角區間。在步驟#1200判斷為“否”,即判斷為不在多場面區間的中途進行切換,只經過一條重放路徑重放的加鎖控制時,進入步驟#1300。
在步驟#1300,將表示作為連接對象的場面是多視角的多視角標志VOB_Fm復位后,進入步驟#1302。
在步驟#1302,判斷先行場面無斷層連接標志VOB_Fsb及后續場面無斷層連接標志VOB_Fsf二者中的某一個是否被置位。在步驟#1300判斷為“是”,即判斷為作為連接對象的場面與先行和后續的場面中的某一個,或者兩個無斷層連接時,進入步驟#1304。
步驟#1304將表示對作為對象場面的編碼數據的VOB進行交錯的交錯標志VOB_Fi置位,進入步驟#1800。
反之,在步驟#1302判斷為“否”,即對象場面與先行場面及后續場面中的任何一個都不是無斷層連接的情況下,進入步驟#1306。
在步驟#1306,將交錯標志VOB_Fi復位后,進入步驟#1800。
而在步驟#1200判斷為“是”,即判斷為多視角的情況下,進入步驟#1400。
步驟#1400在將多視角標志VOB_Fm及交錯標志VOB_Fi置位后,進入步驟#1500。
在步驟#1500,編碼系統控制部200根據腳本數據St7判斷是否在多視角場面區間、即以比VOB小的重放單元,進行圖像和聲音沒有中斷的所謂無斷層切換。在步驟#1500判斷為“否”,即判斷為非無斷層切換時,進入步驟#1600。在步驟#1600,將表示對象場面是無斷層切換的無斷層切換標志VOB_FsV復位后,進入步驟#1800。
反之,步驟#1500判斷為“是”,即判斷為無斷層切換時,進入步驟#1700。
在步驟#1700,將無斷層切換標志VOB_FsV置位后,進入步驟#1800。這樣,本發明在根據反映編輯思想的腳本數據St7,將編輯信息作為上述各標志的置位狀態檢測出后,進入步驟#1800。
在步驟#1800,根據作為如上所述各標志置位狀態檢測出的用戶的編輯思想,生成用于源數據流的編碼的、分別示于圖27和圖28的各VOB集合單元及VOB單元的編碼信息表附加信息和示于圖29的VOB數據單元中的編碼參數。接著,進入步驟#1900。后文將參照圖35、圖36、圖37、圖38對這個生成編碼參數的步驟進行詳細說明。
在步驟#1900,根據在步驟#1800作成的編碼參數進行對視頻數據和音頻數據的編碼后進入步驟#2000。還有,子圖像數據本來就是為了根據需要在圖像重放時隨時插入使用的,因此原本就不需要有與前后場面等連接的連續性。而且子圖像是大約一個畫面份額的圖像信息,因此與時間軸上延續存在的視頻數據及音頻數據不同,顯示上多為靜止的場合,不是經常連續重放的。因此,在關于無斷層及非無斷層的連續重放的本實施形態中,為了簡化將省略關于子圖像數據編碼的說明。
在步驟#2000,環繞由步驟#300到步驟#1900的各步驟構成的環路,反復進行處理,處理的次數等于VOB集合的數目,對圖16中自身數據結構內具有標題的各VOB的重放順序等重放信息的程序鏈(VTS_PGC#I)信息進行格式化,作成對多場面區間的VOB進行交錯的配置,然后完成系統編碼所需要的VOB集數據串及VOB數據串。接著,進入步驟#2100。
在步驟#2100,得到了作為判斷#2000為止的環路的處理結果能夠得到的VOB集總數VOBS_NUM,追加于VOB集數據串,再對腳本數據St7設定取腳本重放路徑的數目為標題數的情況下的標題數TITLE_NO,完成作為編碼信息表的VOB集數據串,而后進入步驟#2200。
在步驟#2200,根據在步驟#1900編碼過的視頻編碼流、音頻編碼流、圖29的編碼參數,進行以作成圖16的VTSTT_VOBS內的VOB(VOB#i)數據為目的的系統編碼。接著,進入步驟#2300。
在步驟#2300進行格式化處理,其中包括生成圖16的VTS信息、VTSI中所包含的VTSI管理表(VTSI_MAT)、VTSPGC信息表(VTSPGCIT)和控制VOB數據重放順序的程序鏈信息(VTS_PGCI#I),并對多場面區間所包含的VOB進行交錯配置等。
下面參照圖35、圖36及圖37,對圖34所示的流程圖的步驟#1800的編碼參數生成子程序中的、多視角控制時的編碼參數生成的操作加以說明。
首先,參照圖35,對在圖34的步驟#1500判斷為“否”時,也就是各標志分別為,VOB_Fsb=1或VOB_Fsf=1、VOB_Fp=1、VOB_Fi=1、VOB_Fm=1、FsV=0的情況下的操作,亦即多視角控制時的非無斷層切換流編碼參數生成操作加以說明。以下述操作作成圖27、圖28所示的編碼信息表、圖29所示的編碼參數。
步驟#1812提取腳本數據St7中所包含的腳本重放順序,設定VOB集合編號VOBS_NO,再對VOB集合內的一個以上的VOB設定VOB編號VOB_NO。
步驟#1814從腳本數據St7提取交錯VOB的最大位速率ILV_BR,在交錯標志VOB_Fi=1的基礎上,設定編碼參數的視頻編碼最大位速率V_MRATE。
步驟#1816從腳本數據St7提取最小交錯單元重放時間ILVU_MT。
步驟#1818在多視角標志VOB_Fp=1的基礎上,設定視頻編碼GOP結構GOPST的N=15、M=3的值和GOP結構固定標志GOPFXflag=“1”。
步驟#1820是VOB數據設定的共用子程序。圖36表示出步驟#1820的VOB數據共用設定子程序。以如下的操作流程作成圖27、圖28所示的編碼信息表和圖29編碼參數。
步驟#1822從腳本數據St7提取各VOB的圖像素材的開始時間VOB_VST、結束時間VOB_VEND,將視頻編碼開始時間V_STTM與編碼結束時間V_ENDTM作為視頻編碼的參數。
步驟#1824從腳本數據St7提取各VOB的聲音素材開始時間VOB_AST,將音頻編碼開始時間A_STTM作為音頻編碼參數。
步驟#1826從腳本數據St7提取各VOB的聲音素材結束時間VOB_AEND,將在不超過VOB_AEND的時間以音頻編碼方式決定的音頻訪問單元(下面記作AAU)的時間作為音頻編碼的參數(編碼結束時間A_ENDTM)。
步驟#1828從視頻編碼開始時間V_STTM與音頻編碼開始時間A_STTM的差得到聲音開始時的間隙A_STGAP作為系統編碼的參數。
步驟#1830從視頻編碼結束時間V_ENDTM與音頻編碼結束時間A_ENDTM的差得到聲音結束時的間隙A_ENDTM作為系統編碼的參數。
步驟#1832從腳本數據St7提取視頻位速率V_BR作為視頻編碼的平均位速率,將視頻編碼位速率V_RATE作為視頻編碼的參數。
步驟#1834從腳本數據St7提取音頻位速率A_BR,將音頻編碼位速率A_RATE作為音頻編碼的參數。
步驟#1836從腳本數據St7提取圖像素材種類VOB_V_KIND,如果是電影素材,也就是電視電影變換過的素材,則將反向電視電影變換設定為視頻編碼模式V_ENCMD,作為視頻編碼的參數。
步驟#1838從腳本數據提取音頻編碼方式VOB_A_KIND,在音頻編碼模式A_ENCMD中設定音頻編碼方式,作為音頻編碼的參數。
步驟#1840設定得使視頻編碼初始數據V_INST的VBV緩存器初始值成為小于視頻編碼結束數據V_ENDST的VBV緩存器結束值,并作為視頻編碼的參數。
步驟#1842在先行VOB無斷層連接標志VOB_Fsb=1的基礎上,將先行連接的VOB編號VOB_NO設定為先行連接VOB編號B_VOB_NO,作為系統編碼的參數。
步驟#1844在后續VOB無斷層連接標志VOB_Fsf=1的基礎上,將后續連接的VOB編號VOB_NO設定為后續連接VOB編號F_VOB_NO,作為系統編碼的參數。
如上所述,能夠以多視角VOB集生成非無斷層多視角切換控制的情況下的編碼信息表及編碼參數。
下面參照圖37,對圖34中步驟#1500判斷為“是”的情況下,也就是各標志分別為VOB_Fsb=1或VOB_Fsf=1、VOB_Fp=1、VOB_Fi=1、VOB_Fm=1、VOB_FsV=1的情況下,多視角控制時的無斷層切換流的編碼參數的生成操作加以說明。
用下述操作作成圖27、圖28中所示的編碼信息表及圖29中所示的編碼參數。
步驟#1850提取包含于數據St7的腳本重放順序,設定VOB集合編號VOBS_NO,再對VOB集合內的一個以上的VOB設定VOB編號VOB_NO。
步驟#1852從腳本數據St7提取交錯VOB的最大位速率ILV_BR,在交錯標志VOB_Fi=1的基礎上,設定視頻編碼最大位速率V_RATE。
步驟#1854從腳本數據St7提取最小交錯單元重放時間ILVU_MT。
步驟#1856在多視角標志VOB_Fp=1的基礎上,設定視頻編碼GOP結構GOPST的N=15、M=3的值和GOP結構固定標志GOPFXflag=1。
步驟#1858在無斷層切換標志VOB_FsV=1的基礎上,在視頻編碼GOP結構GOPST設定封閉式GOP,作為視頻編碼的參數。
步驟#1860是VOB數據設定的共用子程序。該共用子程序是示于圖35的子程序,已經作了說明,故加以省略。
如上所述,能夠以多視角的VOB集生成無斷層切換控制情況下的編碼參數。
下面參照圖38,對在圖34中步驟#1200判斷為“否”,在步驟#1304判斷為“是”時,亦即各標志分別為VOB_Fsb=1或VOB_Fsf=1、VOB_Fp=1、VOB_Fi=1、VOB_Fm=0的情況下,加鎖控制時的編碼參數生成操作加以說明。用下述操作作成示于圖27、圖28的編碼信息表及示于圖29的編碼參數。
步驟#1870提取包含于腳本數據St7中的腳本重放順序,設定VOB集編號VOBS_NO,再對VOB集內的一個以上的VOB設定VOB編號VOB_NO。
步驟#1872從腳本數據St7提取交錯VOB的最大位速率ILV_BR,在交錯標志VOB_Fi=1的基礎上,設定視頻編碼最大位速率V_RATE。
步驟#1874從腳本數據St7提取VOB交錯單元分割數ILV_DIV。
步驟#1876為VOB數據設定的共用子程序,該共用子程序即示于圖35的子程序,已經說明過,所以加以省略。
如上所述,能夠以多場面的VOB集合生成加鎖控制情況下的編碼參數。
下面參照圖64對在圖34中步驟#900判斷為“否”,亦即各標志分別為VOB_Fp=0的情況下,也就是單一腳本的編碼參數生成操作加以說明。用下述操作作成示于圖27、圖28的編碼信息表及示于圖29的編碼參數。
步驟#1880提取包含于腳本數據St7中的腳本重放順序,設定VOB集合編號VOBS_NO,再對VOB集合內的一個以上的VOB設定VOB編號VOB_NO。
步驟#1882從腳本數據St7提取交錯VOB的最大位速率ILV_BR,在交錯標志VOB_Fi=1的基礎上,設定視頻編碼最大位速率V_MRATE。
步驟#1884是VOB數據設定的共用子程序。該共用子程序就是示于圖35的子程序,已經作過說明,故加以省略。
借助于上面所述的作成編碼信息表、編碼參數的流程,可以生成DVD的視頻、音頻、系統編碼和DVD的格式編排器用的編碼參數。解碼器流程圖從光盤到流緩存器的傳送流程下面參照圖47和圖48,根據腳本選擇數據St51對解碼系統控制部2300生成的解碼信息表加以說明。解碼信息表由圖47所示的解碼系統表和圖48所示的解碼表構成。
如圖47所示,解碼系統表由腳本信息寄存器部與訪問單元信息寄存器部構成。腳本信息寄存器部提取包含于腳本選擇數據St51的、用戶所選擇的標題編號等重放信息加以記錄。訪問單元信息寄存器部根據腳本信息寄存器部提取的、用戶選擇的腳本信息,提取重放構成程序鏈的各訪問單元信息所需要的信息加以記錄。
腳本信息寄存器部包含視角編號寄存器ANGLE_NO_reg、VTS編號寄存器VTS_NO_reg、PGC編號寄存器VTS_PGCI_NO_reg、聲音ID寄存器AUDIO_ID_reg、副圖像ID寄存器SP_ID_reg,以及SCR用緩存器SCR_buffer。
視角編號寄存器ANGLE_NO_reg在重放的PGC中存在多視角的情況下記錄關于重放哪一個的信息。VTS編號寄存器VTS_NO_reg記錄存在于光盤上的多個VTS中下一個重放的VTS的編號。PGC編號寄存器VTS_PGCI_NO_reg記錄指示為加鎖控制等用途而在存在于VTS中的多個PGC中重放哪一個PGC的信息。
聲音ID寄存器AUD10_ID_reg記錄指示存在于VTS中的多個音頻流中重放哪一個的信息。副圖像ID寄存器SP_ID_reg在VTS中存在多個副圖像流的情況下記錄指示重放哪一個副圖像流的信息。SCR用緩存器SCR_buffer是如圖19所示暫時存儲數據組首標記述的SCR的緩存器。該暫時存儲的SCR如參照圖26進行的說明所述,被作為流重放數據St63輸出到解碼系統控制部2300。
訪問單元信息寄存器部包含訪問單元塊模式寄存器CBM_reg、訪問單元塊類型寄存器CBT_reg、無斷層重放標志寄存器SPB_reg、交錯配置標志寄存器IAF_reg、STC再設定標志寄存器STCDF_reg、無斷層視角切換標志寄存器SACF_reg訪問單元開頭的VOBU開始地址寄存器C_FVOBU_SA_reg、訪問單元末尾VOBU開始地址寄存器C_LVOBU_SA_reg。
訪問單元塊模式寄存器CBM_reg表示是否多個訪問單元是否構成一個功能塊,在未構成的情況下,其值記錄為“N_BLOCK”。而在訪問單元構成一個功能塊的情況下,作為相應的值,該功能塊的開頭單元記錄“F_CELL”,末尾單元記錄“L_CELL”,中間單元記錄“BLOCK”。
訪問單元塊類型寄存器CBT_reg是記錄以訪問單元塊模式寄存器CBM_reg表示的單元塊種類的寄存器,在多視角的情況下記錄“A_BLOCK”,在不是多視角的情況下記錄“N_BLOCK”。
無斷層重放標志寄存器SPF_reg記錄表示該訪問單元是否與前面重放的訪問單元或單元塊無斷層地連接重放的信息。在與前一單元或前一單元塊無斷層連接重放的情況下,其值記錄為“SML”,在不是無斷層連接的情況下,其值記錄為“NAML”。
交錯配置標志寄存器IAF_reg記錄該訪問單元是否配置于交錯區域的信息。在配置于交錯區域的情況下,其值記錄為“ILVB”,在沒有配置在交錯區域的情況下,記錄為“N_ILVB”。
STC再設定標志寄存器STCDF_reg記錄關于是否有必要在訪問單元重放時重新設定取同步時使用的STC(系統時鐘)的信息。在有必要重新設定的情況下,其值記錄為“STC_RESET”,在不必要重新設定的情況下,其值記錄為“STC_NRESET”。
無斷層視角切換標志寄存器SACF_reg記錄表示是否該訪問單元屬于視角區間而且進行無斷層切換的信息。在是屬于視角區間而且進行無斷層切換的情況下,其值記錄為“SML”,在并非如此的情況下記錄為“NSML”。
訪問單元開頭VOBU開始地址寄存器C_FVOBU_SA_reg記錄訪問單元開頭VOBU的開始地址。其值以扇區數表示對VTS標題用VOBS(VTSTT_VOBS)的開頭訪問單元的邏輯扇區的距離,記錄該扇區數。
訪問單元末尾VOBU開始地址寄存器C_LCOBU_SA_reg記錄訪問單元末尾VOBU的開始地址。其值以扇區數表示對VTS標題用VOBS(VTSTT_VOBS)的開頭訪問單元邏輯扇區的距離,記錄該扇區數。
下面對圖48的解碼表加以說明,如該圖所示,解碼表由非無斷層多視角信息寄存器部、無斷層多視角信息寄存器部、VOBU信息寄存器部、無斷層重放寄存器部構成。
非無斷層多視角信息寄存器部包含NSML_AGL_C1_DSTA_reg~NSML_AGL_C9_DSTA_reg。在NSML_AGL_C1_DSTA_reg~NSML_AGL_C9_DSTA_reg記錄圖20所示的PCI數據包中的NSML_AGL_C1_DSTA~NSML_AGL_C9_DSTA。
無斷層多視角信息寄存器部包含SML_AGL_C1_DSTA_reg~SML_AGL_C9_DSTA_reg。
在SML_AGL_C1_DSTA_reg~SML_AGL_C9_DSTA_reg記錄圖20所示的DSI數據包中的SML_AGL_C1_DSTA~SML_AGL_C9_DSTA。
VOBU信息寄存器部包含VOBU末尾地址寄存器VOBU_EA_reg。
在VOBU信息寄存器VOBU_EA_reg記錄圖20所示的SI數據包中的VOBU_EA。
無斷層重放寄存器部包含交錯單元標志寄存器ILVU_flag_reg、單位末尾標志寄存器UNIT_END_flag_reg、ILVU末尾數據組地址寄存器ILVU_EA_reg、下一交錯單元開始地址NT_ILVU_SA_reg、VOB內開頭圖像幀顯示開始時間寄存器VOB_V_SPTM_reg,VOB內末尾圖像幀顯示結束時間寄存器VOB_V_EPTM_reg、聲音重放停止時間1寄存器VOB_A_GAP_PTM1_reg、聲音重放停止時間2寄存器VOB_A_GAP_PTM2_reg、聲音重放停止時長1寄存器VOB_A_GAP_LEN1、聲音重放停止時長2寄存器VOB_A_GAP_LEN2。
交錯單元標志寄存器ILVU_flag_reg表示VOBU是否在交錯區域,是在交錯區域的情況下記錄“ILVU”,不是在交錯區域時記錄“N_ILVU”。
單位末尾標志寄存器UNIT_END_flag_reg在VOBU是在交錯區域的情況下記錄表示該VOBU是否ILVU的末尾VOBU的信息。ILVU是連續讀出單位,因此如果現在正在讀出的VOBU是ILVU的末尾VOBU就記錄“END”,如果不是末尾VOBU就記錄“N_END”。
ILVU末尾數據組地址寄存器ILVU_EA_reg在VOBU存在于交錯區域的情況下記錄該VOBU所屬ILVU的末尾數據組的地址。這里地址是距離該VOBU的NV的扇區數。
下一ILVU開始地址寄存器NT_ILVU_SA_reg在VOBU存在于交錯區域的情況下記錄下一ILVU的開始地址。這里地址是距離該VOBU的NV的扇區數。
VOB內開頭圖像幀顯示開始時間寄存器VOB_V_SPTM_reg記錄開始顯示VOB的開頭圖像幀的時間。
VOB內末尾的圖像幀顯示結束時間寄存器VOB_V_EPTM_reg記錄VOB的末尾圖像幀顯示結束的時間。
聲音重放停止時間1寄存器VOB_A_RAP_PTM1_reg記錄使聲音重放停止的時間,聲音重放停止時長1寄存器VOB_A_GAP_LEN1_reg記錄使聲音重放停止的時間間隔。
聲音重放停止時間2寄存器VOB_A_GAP_PTM2_reg及聲音重放停止時長2寄存器VOB_A_GAP_LEN2也一樣。
下面參照圖49所示的DVD解碼器流程對在圖26表示其方框圖的本發明的DVD解碼器DCD的操作加以說明。
步驟#310202是判斷光盤是否已插入的步驟,如果光盤已經插入就進至步驟#310204。
在步驟#310204讀出圖22的卷文件信息VFS之后,進入步驟#310206。
步驟#310206讀出圖22所示的視像管理文件VMG,提取重放的VTS,進入步驟#310208。
步驟#310208從VTS的管理表TVSI提取視像標題集菜單地址信息VTSM_C_ADT后,進入步驟#310210。
步驟#310210根據VTSM_C_ADT信息,從光盤中讀出視像標題集菜單VTSM_VOBS,并顯示標題選擇菜單。用戶按該菜單選擇標題。在該情況下,如果不是僅有標題,而是包含聲音編號、副圖像編號和多視角的標題,則輸入視角編號。用戶的輸入結束,即進入下一步驟#310214。
步驟#310214從管理表提取與用戶選擇的標題編號對應的VTS_PGCI#i后,進入步驟#310216。
在下一步驟#310216開始PGC的重放。PGC的重放結束,解碼處理也就結束。以后重放別的標題時,如果腳本選擇部有用戶的鍵盤輸入,可用返回步驟#310210的標題菜單顯示等控制實現。
下面參照圖50對前面敘述過的步驟#310216的PGC的重放作更加詳細的說明。PGC重放步驟#310216如圖所示由步驟#31030、#31032、#31034、#31035組成。
步驟#31030進行圖47的解碼系統表的設定。視角編號寄存器ANGLE_NO_reg、VTS編號寄存器VTS_NO_reg、PGC編號寄存器PGC_NO_reg、聲音ID寄存器AUDIO_ID_reg、副圖像寄存器SP_ID_reg由用戶在腳本選擇部210操作設定。
用戶選擇標,從而單值地決定重放的PGC后,即提取相應的訪問單元信息(C_PBI),設定于訪問單元信息寄存器。設定的寄存器是CBM_reg、CBT_reg、SPF_reg、IAF_reg、STCDF_reg、SACF_reg、C_FVOBU_SA_reg、C_LVOBU_SA_reg。
在設定解碼系統表后,并行起動步驟#31032中、向流緩存器傳送數據的處理和步驟#31034中流緩存器內的數據解碼。
這里步驟#31032的向流緩存器傳送數據的處理是關于圖26中從光盤M向流緩存器2400傳送數據的處理。亦即按照用戶選擇的標題信息及在數據流中記述的重放控制信息(導航組NV),從光盤M讀出必要的數據,傳送到流緩存器2400的處理。
另一方面,步驟#31034是在圖26中進行將流緩存器2400內的數據解碼,輸出到視頻輸出端3600和音頻輸出端3700的處理的部分。亦即將流緩存器2400存儲的數據解碼重放的處理。該步驟#31032與步驟#31034并行運作。
關于步驟#31032下面將進行更詳細的說明。步驟#31032的處理是以訪問單元為單位的,一個訪問單元的處理一結束,在下一步驟#31035即調查PGC的處理是否結束。如果PGC的處理沒有結束,就在步驟#31030進行對應于下一訪問單元的解碼系統表的設定。進行該處理直到PGC結束。位流緩存解碼的流程下面參照圖51對圖50所示的步驟#31034的位流緩存內的解碼處理進行說明。
步驟#31034如圖所示由步驟#31110、步驟#31112、步驟#31114、步驟#31116組成。
步驟#31110進行從圖26所示流緩存器2400向系統解碼器2500的以數據組為單位的數據傳送后,進入步驟#31112。
步驟#31112進行數據傳送,將從流緩存器2400傳送出的數據組數據傳送給各緩存器,即傳送給視頻緩存2600、子圖像緩存器2700、音頻緩存器2800。
步驟#31112將用戶選擇的聲音及副圖像的ID,即圖47所示的腳本信息寄存器中包含的聲音ID寄存器AUDIO_ID_reg、副圖像ID寄存器SP_ID_reg與圖19所示的數據包首標中的流ID及子流ID加以比較,將一致的數據包分到各緩存器(視頻緩存2600、音頻緩存器2700、子圖像緩存器2800)后,進入步驟#3114。
步驟#31114控制各解碼器(視頻解碼器、子圖像解碼器、音頻解碼器)的解碼定時,即進行各解碼器間的同步處理,并進入步驟#31116。步驟#31114的各解碼器的同步處理將在下面詳細說明。
步驟#31116進行各種基本解碼處理。也就是,視頻解碼器從視頻緩存讀出數據,進行解碼處理。子圖像解碼器也一樣從子圖像緩存器讀出數據,進行解碼處理。音頻解碼器也一樣從音頻緩存器讀出數據,進行解碼處理。解碼處理結束,步驟#31034也就結束。
下面參照圖52對前面敘述過的步驟#31114進行更加詳細的說明。
步驟#31114如圖所示由步驟#31120、步驟#31122、步驟#31124組成。
步驟#31120是調查先行訪問單元與該訪問單元的連接是否無斷層連接的步驟,如果是無斷層連接,就進入步驟#31122,如果不是,就進入步驟#31124。
步驟#31122進行無斷層用的同步處理。而步驟#31124進行非無斷層連接用的同步處理。
視頻編碼器生成MPEG視頻流的視頻編碼器進行編碼處理,即編碼,以免MPEG解碼器中配置的視頻緩存2600發生漏損。對以通常視頻信號為對象的MPEG2主面、主層(以下記作MPEG2MP@ML)視頻流進行解碼的解碼器,需要配置224KB以上容量的視頻緩存2600(參見ISO13818中MPEG規格)。所以,MPEG2MP@ML用視頻編碼器模擬解碼器中按最低限度配置的224KB容量的視頻緩存2600的數據占用量Vdv編碼時,進行編碼量控制,以免視頻緩存2600下溢或溢出。
視頻緩存2600一旦發生下溢,就無法在輸入解碼所需數據以前對圖像進行解碼處理,即解碼,往往發生重放圖像瞬間停止等失常。而視頻緩存2600一旦溢出,所需編碼數據丟失時,就有可能無法正確解碼。
但圖26所示的本發明DVD解碼器DCD等從記錄媒體M當中讀出數據時,可以實現間歇數據傳送,從記錄媒體M當中讀出解碼所需數據量。這時,即便是DVD解碼器DCD的視頻緩存2600看來要發生溢出時,也可以通過在發生溢出之前停止數據讀出,來防止溢出,在編碼數據不丟失的情況下解碼。所以,對于溢出對策來說,是可以由重放處理一側,即解碼器DCD采取相應對策的。
但有時數據傳送速率最大值因DVD系統驅動器等的限制而有規定,所以進行解碼處理的速率超過最大傳送速率的話,就會發生下溢。因而,DVD解碼器等可以實現間歇數據傳送的場合,編碼時進行編碼量控制以防止下溢,尤為重要。
在視頻編碼處理時,虛擬計算視頻緩存2600數據占用量Vdv,與該數據占用量Vdv相對應進行編碼量控制。對于該視頻緩存2600數據占用量Vdv的計算,以下詳細說明。
參見圖40,在圖26所示的本發明DVD解碼器DCD當中,就視頻編碼流ST71傳送至視頻緩存2600進行編碼處理時一例視頻緩存2600其數據占用量Vdv的變遷加以說明。線SVi示出的是視頻編碼流St71起始部分在視頻緩存2600中的存儲量Vdv的變遷,其斜率BR表示視頻緩存2600的輸入速率。
該視頻緩存的輸入速率是視頻編碼流數據傳送速率,其值大致等于DVD讀出速率的恒定速率的系統流的數據傳送速率減去非視頻流的其他數據流傳送速率得到的數值。
令視頻編碼流的傳送按規定傳送速率BR進行,1幀Fv解碼所需的數據與解碼開始同時從視頻緩存2600瞬間傳送至視頻解碼器3800。而各幀解碼開始時刻是按重放幀周期設定的,因而按恒定幀周期連續重放時,解碼開始時刻按與幀周期相同周期進行。這些是進行這些編碼處理方面的一般條件,據此在對視頻緩存2600的數據占用量Vdv作編碼處理時計算目標編碼量。
視頻編碼中,以每一幀為單位,每幀設定其目標編碼量,各幀編碼時進行編碼處理,以便達到該目標編碼量。此外,該目標編碼量有以下兩種方法可以得到一種是對所編碼的視頻圖像進行一次模擬編碼,得出每一幀編碼所需的模擬編碼量,再根據該模擬編碼量和壓縮比特率求得(2次編碼);另一種是根據壓縮比特率與壓縮幀種類(I幀,P幀,B幀)的不同,根據預先設定或編碼處理時適當設定的比例求得各幀編碼量(1次編碼)。
前述數據占用量Vdv的計算是根據這種辦法得到的每一幀編碼量進一步計算,以免視頻緩存2600有漏損,求出最終編碼時的目標編碼量的。
圖40中,首先在時刻Ti開始視頻流St71至視頻緩存2600的數據傳送。時刻Ti數據占用量Vdv為0,此后按規定傳送速率BR慢慢地使數據占用量Vdv增加。接著,在數據占用量Vdv為規定初始占用量Bi,即時刻Td1時,開始對最初幀的解碼。這里,從數據輸入時刻Ti起至解碼開始時刻Td的時間為解碼延遲時間,即解碼保證存儲時間vbv_delay。接著解碼開始的同時,視頻緩存2600的數據占用量Vdv瞬間減少1幀Fv份額的數據量BG后,再次按規定的傳送速率BR使數據占用量Vdv增加。
初始占用量Bi為開始解碼處理的時刻視頻緩存2600的數據占用量Vdv。
各幀數據量按可變長度碼進行編碼處理,因而各幀數據量并非恒定,各幀解碼開始時刻的數據占用量Vdv如圖所示變化。
象這樣,視頻緩存2600的數據占用量Vdv的變遷,一旦初始占用量Bi確定,便可以根據數據傳送速率BR所設定的數據占用量Vdv的增量和與每一幀數據量相當的減少量,計算每一幀的數據占用量Vdv。
如上文所述,將所設定的初始占用量Bi和數據傳送速率作為條件,在進行編碼量控制的同時進行編碼處理,以免視頻緩存2600下溢或溢出。所以,解碼處理當中若是與編碼處理時所設定的初始占用量Bi和數據傳送速率BR相等進行解碼處理的話,就有可能造成下溢或溢出,有時無法重放相應的圖像。另外,對于解碼緩沖存儲器,是以視頻緩存2600為例說明的,但加上副圖像緩存2700和音頻緩存2800也一樣。
標題所用的視頻編碼流St71若是從一視頻信號的最初起至最后進行一次編碼處理,如前文所述進行適當解碼的話,盡管沒有問題,但連接分別經編碼的位流進行重放時,就有可能發生視頻緩存2600下溢等問題。
例如電影,有的按10分鐘左右、稱為章的單位進行編碼處理生成每一章位流,然后連接這些位流生成一視頻編碼流。
而進行前文所述那種多視角重放時,用戶根據多場面的多個視角位流所組成的多視角場面,必須動態地將重放著的位流與隨時指定的任意視角場面的位流連接重放。同樣,在保護性加鎖控制等當中,用戶也根據多場面的多個位流所組成的保護性加鎖控制區間,將預先選定的任意場面的位流靜態地與共同的一個位流連接重放。不論哪種場合,共同位流與多場面的各個位流分別獨立地進行編碼處理。另一方面,重放時需要將共同的位流與所選定的任意位流連接,連續地解碼。象這樣,將與其他位流獨立進行解碼的同一時間軸上的多場面位流與其他位流連接,連續重放時,可以預料有如下所述困難。
參見圖41,說明對規定幀數的視頻流St71進行解碼處理時視頻緩存2600的數據占用量Vdv的變遷。這里,例如以5幀視頻幀F1、F2、F3、F4和F5為解碼對象。尤其著眼于位于視頻流末端的數據占用量Vdv的變遷加以說明。
與圖40所示例相同,在時刻Ti開始數據傳送,在經過解碼保證存儲時間vbv delay后的時刻Td(f1)開始對起始幀F1的解碼。這時,數據占用量Vdv為規定初始占用量Bi。以下,按同樣斜度的數據傳送速率BR增加,在各幀解碼開始時刻(f2、f3、f4、f5),開始解碼。接著,在時刻Te結束視頻流Svi的數據傳送。具體來說,時刻Te以后,視頻緩存2600的數據占用量Vdv沒有增加。最末一幀F5在時刻f5被解碼的話,視頻緩存2600的數據占用量Vdv便為0。
接下來,參見圖42說明兩個視頻流St71a和St71b相接時視頻緩存2600數據占用量Vdv的變遷。這里,以先行的第一視頻流St71a(幀F1、F2、F3、F4、F5)與后續的第二視頻流St71b(幀F6、F7、…)連接這種場合為例進行說明。
先在時刻Ti1開始視頻流St71a至視頻緩存2600的傳送。時刻Te1視頻流St71a的傳送結束,但在與時刻Te1相同時刻Ti2,開始視頻流St71b的傳送。所以,與圖41所示例不同,在視頻流St71a傳送結束時刻Te1以后,從時刻Te2起,進行的是視頻流St71b的數據傳送,因而其間數據占用量Vdv發生變遷,按數據傳送速率BR增加,并隨每一幀的解碼反復減少。
這里,將視頻流St71a解碼結束時刻(即視頻流St71b解碼開始時刻)Td2視頻緩存2600基于視頻流St71b的數據占用量定義為最終占用量Be1。
換言之,兩個以上編碼數據連續重放時,先行編碼數據傳送至視頻緩存2600后,后續編碼數據也繼續,按規定數據傳送速率傳送至視頻緩存2600。這時,對先行編碼數據的最末數據解碼時,為與后續編碼數據有關的視頻緩存2600位流數據占用量Vdv。具體來說,本實施例中,先行編碼數據的最終占用量Be控制為與后續編碼數據初始占用量Bi相等。
一個視頻流與其他視頻流連接,連續重放時,重要的是編碼時預先計算這種最終占用量Be。這是因為先行位流最終占用量Be1成為后面連接的視頻流St71b初始占用量Bi2的緣故。也就是說,圖42中先行視頻流St71a的最終占用量Be1成為視頻流St71b的初始占用量Be2。所以,用以獲得后續視頻流St71b的編碼處理過程中,是將視頻緩存2600的初始占用量Be2設定為Be2=Be1,以所設定的初始占用量Be2為條件進行編碼量控制,以免視頻緩存2600發生漏損的。
接下來參見圖43,說明如圖21所示作為DVD系統特征的保護性加鎖場面或多視角場面那樣,選擇多個場面中的一個重放,重放各個場面之后,連續地合流為一個場面重放這種場合的位流構成。圖43是多個場面經分支、聯結合流為一個場面時各個場面系統流的概念圖。圖中,SSA和SSB表示共同的系統流,SSB1和SSB2表示多場面區間的各個系統流。對于系統流,以共同系統流SSA為例加以說明的話,復接該共同場面的視頻流VA和音頻流AA生成SSA。這時,視頻流VA從系統流SSA起始端起開始,至終止端前邊結束。而音頻流AA從系統流SSA當中開始,共用終止端。同樣,圖43示出各場面視頻流和音頻流經復接得到的數據流,即各個系統流當中,視頻流和音頻流的時間位置。以下說明這樣將音頻流和系統流在系統流中按時間前后順序排列的理由。
在多個場面分別不同的多場面區間,每一場面必須構成系統流。但一般來說視頻數據編碼量比音頻數據編碼量大。而且視頻數據的視頻緩存2600的容量與音頻數據的音頻緩存2800相比也較大。此外,視頻數據的解碼延遲,即視頻緩存2600輸入開始后至解碼所需時間,與音頻數據的解碼延遲相比較長。
由于這些原因,在將視頻流和音頻流復接生成系統流時,對于相同時刻重放的視頻數據和音頻數據,如圖43所示,復接成視頻數據相對于音頻數據提前輸入解碼器。也就是說,復接成在時間上系統流起始部僅僅將視頻數據輸入至視頻緩存2600,而系統流終止部僅僅將音頻數據輸入至音頻緩存2800。
還需要復接成音頻數據以適當間隔輸入音頻緩存2800,以免音頻緩存2800溢出。系統流終止部由于沒有應輸入至視頻緩存2600的視頻流,所以根據音頻緩存2800數據占用量Vda中斷數據傳送等,以便音頻數據按適當間隔輸入音頻緩存2800,防止音頻緩存2800溢出。
圖44示出前面所示的多場面系統流SSB1與共同場面系統流SSC簡單聯結時系統流的概念圖。如圖所示,系統流SSB1終止部復接成僅僅音頻AB1輸入音頻緩存2800。所以,即便系統流SSB1和系統流SSC連接,僅僅將先行系統流SSB1的音頻AB1終止部輸入音頻緩存2800的時間,無法傳送后續系統流SSC的視頻數據VC,很可能造成視頻緩存2600下溢。
因此,在日本專利公報特愿平7-252735中提出一種方法,用以下圖45所示那種系統編碼制作方法,移動部分視頻流或部分音頻流,來防止下溢。
參見圖45,說明對該位流一部分進行移動獲得系統流的方法。與圖43所示系統流相同,本圖中,共同系統流SSA’分支到多場面區間的系統流SSB1’和SSB2’連接時,使音頻AA終止部AAe移至音頻AB1和AB2。音頻AA終止部AAe變為有多個拷貝存在,但這樣分支點數據就沒有不連續性,可以防止視頻緩存2600下溢。而且,從多個位流開始的結點,使視頻VC起始部VCt拷貝為視頻VB1和VB2移動。與分支點不同,之所以移動視頻流,是因為一般來說音頻AB1與音頻AB2不同,所以拷貝的是共同數據即視頻VC起始部。顯然,音頻AB1和音頻AB2完全相同的話,將音頻AB1(或AB2)終止部移至音頻AC也行。
MPEG方式中,通常是按進行幀內編碼的幀所設定的GOP這種單位處理位流的。因而,結點處視頻流的移動也是以GOP為單位進行的。
上述方法中,對獲得系統編碼場合視頻緩存2600的數據占用量Vdv連續性加以說明。系統流連接點與原來的視頻流連接點或音頻流連接點不同。具體來說,系統流SSB1’含有部分視頻VC,是將原來連續的視頻流SSC’的視頻VC切斷得出的連接點,因而在系統流SSB1’和系統流SSC’的連接點處,可保證視頻緩存2600數據占用量Vdv的連續性。此外,設定視頻VC初始占用量Bi,使得視頻VB1視頻緩存2600的最終占用量和視頻VB2視頻緩存2600的最終占用量相等,編碼處理時,可以用通常的數據占用量Vdv計算方法來計算,以確保視頻緩存2600占用量Vdv變化的連續性。
接下來,參見圖46,用間歇數據傳送中視頻緩存2600數據占用量Vdv的變遷來說明。圖中,縱軸表示進行間歇數據傳送、使視頻編碼流SS1與視頻編碼流SS2連接時視頻緩存2600的數據占用量Vdv,橫軸表示時間經過。圖中,f1~f8分別表示幀F1~F8的解碼時刻。
按各個時刻說明。先在時刻Ti1開始位流SS1至視頻緩存2600的數據傳送。在時刻Td1對最初幀F1進行解碼。
接下來,與圖40中說明的相同,數據占用量Vdv發生變遷。但在時刻Ts1數據占用量Vdv達到規定量Bmax。這里,一旦數據傳送時超過Bmax,有的時候視頻緩存2600會發生溢出,數據丟失,因而暫時中斷數據傳送。具體來說,保證數據占用量Vdv不變。然后,一旦在時刻f3對幀F3解碼的話,視頻緩存2600的數據占用量Vdv便使規定量Bmax下降,所以再次開始數據傳送。接下來,同樣數據占用量Vdv一旦達到規定量Bmax,便中斷數據傳送,一旦靠解碼處理使數據得到消耗,便再次開始數據傳送。
該圖46所示例中,在時刻Ts1、Ts2、Ts3、Ts4、Ts5中斷數據傳送。而且,時刻Ti2’是視頻編碼流SS2數據傳送的開始,并且設定為視頻編碼流SS1數據傳送的結束。
另外,圖示時刻并非限定數據傳送開始中斷,但在視頻編碼流SS1數據傳送期間,即時刻Ti1至時刻Ti2的期間Tt1,必須中斷數據傳送的期間DG可根據以下式1求出。
DG=Tt1-D1/Br…(式1)這里,D1是位流1的數據量,Br是視頻編碼流SS1的數據傳送速率。
如上文所述,為了對數據傳送適當進行中斷,管理視頻緩存2600的數據傳送時間,將該時間設定為數據傳送時刻,與編碼數據一起,根據MPEG標準記錄在位流中,以防止視頻緩存2600溢出。重放時,可按照與編碼數據一起記錄的數據傳送時刻進行數據傳送,完成解碼和重放,以免視頻緩存2600溢出。
但在按規定單位即ILVU單位使多個視頻信號自由聯結,獲得一個標題以便多視角重放的情況下,編碼時無法識別多視角場面區間內多個視頻流是如何連接重放的。因此,有的時候無法在編碼時識別多視角切換等時候解碼器DCD視頻緩存2600其數據占用量Vdv的變遷,視頻緩存2600出現漏損。
而用可變長度碼進行編碼處理時,對第一視頻流解碼時的視頻緩存2600的最終占用量只有第一視頻流編碼處理結束之后才可獲得。將第二視頻流與該第一視頻流終止端無斷層數據連接時,第二視頻流需要將視頻緩存2600初始占用量Bi設定為與第一視頻流最終占用量相等,并通過編碼量控制進行編碼處理,以免視頻緩存2600發生漏損。所以,獲得第二視頻流初始占用量Bi是在編碼處理以獲得第一視頻流之后,使2個視頻編碼流無斷層連接重放,需要按所重放的視頻流順序編碼。
而第一視頻流編碼時的最終占用量與第二視頻流初始占用量Bi不一致時,圖46中,在位流2最初數據解碼的時刻Td2(f7),視頻緩存2600的數據占用量Vdv作為Bi2進行編碼量控制,同時還進行編碼處理。但解碼時,時刻Td2(f7)成為位流SS1的最終占用量Bi1。而且,解碼時,在時刻Ts4和Ts5數據傳送有中斷,但編碼時則沒有這種數據傳送的中斷。也就是說,編碼時在無法預料的時刻解碼緩沖存儲器會溢出。
只要上述位流SS1和位流SS2肯定連接,圖2206那種數據占用量Vdv的變遷就有可能在編碼時計算。但如前文所述,在多視角重放等多個可選位流合流至一個位流連續重放場合,有時使與位流SS1不同的第三位流同位流SS2連接。這時,要使位流2視頻緩存2600數據占用量Vdv的變遷與編碼時計算得出的相等,也需要使可能與位流2連接的多個位流其最終占用量完全相等。
用以獲得視頻流的編碼處理過程中進行MPEG等方式可變長度編碼處理時,編碼數據數據量在編碼處理結束時才開始確定。這是因為,是根據視頻數據所具有的信息量,即空間復雜度或時間復雜度以及以往的編碼狀況,來選擇所用編碼,確定碼長的。所以,難以將編碼數據其數據量正確設定為預定的規定量,因而最終占用量還是難以正確設定。
尤其,根據視頻數據所具有的信息量分配編碼數據其數據量,進行編碼處理時,視頻數據不同的話,所分配的數據量當然不同,視頻緩存2600數據占用量Vdv的變遷也不同。所以難以統一多個視頻數據的最終占用量。
本發明鑒于這些情況,如下文揭示一種即便任意聯結獨立編碼得到的多個視頻流,也在視頻緩存2600不出現漏損的情況下獲得順暢的重放圖像所用的編碼方法、編碼裝置、記錄方法、記錄媒體和重放方法。
而且,如下文揭示一種連接多個視頻流以得到一個視頻流時,不需要為獲得各視頻流在時間上串行編碼處理,而是通過并行編碼處理來縮短處理時間和簡化處理管理的編碼方法、編碼裝置、記錄方法、記錄媒體和重放裝置。
此外,如下文揭示一種重放可選的多個場面視頻流,在重放各個視頻流之后,在視頻緩存2600不出現漏損的情況下連續地重放一個場面視頻流所用的編碼方法、編碼裝置、記錄方法、記錄媒體和重放裝置。
以下參見附圖詳細說明本發明一實施例。本說明書中,先對本發明編碼裝置構成和各圖像組編碼時的動作加以說明,接下來說明對本發明圖像編碼裝置得到的編碼數據組成的位流進行記錄的方法。接著說明記錄媒體之后,再說明重放方法。
首先對本發明實施例說明中所用的用語作如下定義。
圖21所示那種各個場面定義為一個圖像組,下文將說明。圖像組不限于此,可以分割場面構成,也可以是多個不同場面。
本實施例圖像組基本上相當于例如圖21中的各個場面。而且,無斷層切換的多視角中的交錯單元ILVU也相當于圖像組。
接下來,視頻編碼流解碼時視頻緩存2600的最終占用量定義如下。
如圖41所示,圖像組視頻編碼流解碼過程中,結束至視頻緩存2600的數據傳送時,對視頻編碼流的最末數據解碼之后,視頻緩存2600的數據占用量Vdv為0。但實際上大多是一個視頻編碼流與其他視頻編碼流連接構成位流的情形。這種位流連接場合要求出視頻緩存2600數據占用量Vdv時,假定視頻編碼流的最末數據傳送后,還繼續將可能連接的假想視頻編碼流傳送至解碼緩存。
根據這種假定,將視頻編碼流的最末數據解碼時視頻緩存2600中的數據占用量Vdv計算作為最終占用量Be。本發明最終占用量Be,定義為象這樣設法在最末數據傳送后繼續將假想編碼數據傳送至視頻緩存2600計算得出的。
以下,參見圖53,其中示出圖25所示的DVD編碼器ECD其視頻編碼器300一實施例300’。視頻編碼器300’即圖像編碼裝置,由壓縮編碼器22101、編碼量控制器22102、分配編碼量設定器22103、發生編碼量測定器22104和解碼緩存占用量計算器22105組成。
壓縮編碼器22101與編輯信息生成部100連接,輸入視頻流St1。壓縮編碼器22101對該視頻流St1加以壓縮編碼處理,生成視頻編碼流St15。
解碼緩存占用量計算器22105與壓縮編碼器22101連接,輸入編碼數據。解碼緩存占用量計算器22105根據所輸入的編碼數據,求出視頻緩存2600的數據占用量B。
分配編碼量設定器22103與解碼緩存占用量計算器22105連接,接收視頻緩存2600數據占用量Vdv計算結果的輸入。分配編碼量設定器22103根據該計算結果,在編碼量控制器22102中設定編碼后的數據量目標值,即目標編碼量。具體來說,分配編碼量設定器22103根據每一幀分別預先分配的編碼量,對視頻緩存2600占用量進行模擬。
模擬的結果,未下溢的話,便將預先分配的編碼量設定為目標編碼量,下溢時便由預先分配的編碼量變更為不下溢的編碼量,設定為目標編碼量。
發生編碼量測定器22104與壓縮編碼器22101連接,接收視頻編碼流的輸入。發生編碼量測定器22104在規定時間測定所輸入編碼數據發生的編碼量,生成表示測定值的信號。
編碼量控制器22102與分配編碼量設定器22103和發生編碼量測定器22104連接,根據分配編碼量設定器22103所設定的目標編碼量,控制壓縮編碼器22101。接下來,編碼量控制器22102接收發生編碼量測定器22104輸出的表示發生編碼量的信號,求出與目標編碼量的差,生成壓縮編碼控制信號,控制壓縮編碼器22101使得該差值變小。
壓縮編碼器22101還與編碼量控制器22102連接,接收壓縮編碼控制信號的輸入。壓縮編碼器22101根據壓縮編碼控制信號,對視頻流St1進行編碼處理,生成視頻編碼流Den。因此,所生成的視頻編碼流其編碼量控制為分配編碼量設定器22103所設定的目標編碼量。
接下來,參見圖54和圖55,詳細敘述解碼緩存占用量計算器22105與分配編碼量設定器22103的動作。
圖54中由流程圖示出解碼緩存占用量計算器22105的動作,該流程圖各個步驟是在將1幀編碼處理分成幾段的期間T內進行處理的。而且,對于解碼處理,說明的是對視頻緩存2600間歇進行數據傳送的場合。該流程圖中,視頻緩存2600中將編碼中變化的數據占用量設為B。而且,根據目標編碼量計算的編碼中每一期間T預計的數據占用量設定為預計占用量BL。而且,令編碼開始時視頻緩存2600的初始占用量為Bi,編碼結束時作為目標的最終目標占用量為BE,編碼后最終占用量為Be,視頻緩存最大容量為Bmax。
以下,作為第一視頻編碼實施例,說明一例編碼處理后的視頻編碼流盡管分別獨立編碼,但解碼時不會引起視頻緩存2600下溢的視頻編碼方法和裝置。
第一實施例中,分別設定初始占用量Bi為創作編碼器EDC中編碼系統控制部200在圖29所示視頻編碼參數的視頻編碼初始數據V_INST,設定最終目標占用量BE為視頻編碼結束數據V_ENDST。該設定值為預先確定的值,BE>Bi。
以下說明圖54所示的對圖像組編碼的流程圖。
步驟#201,根據編碼系統控制部200設定規定值的編碼參數,即視頻編碼初始數據V_INST,將B初始化為所生成的初始占用量Bi(B=Bi)。
步驟#202,測定期間T內編碼數據的發生編碼量Bg,由B減去發生編碼量Bg(B=B-Bg)。
步驟#203,評價數據占用量B是否比預計占用量BL大。數據占用量B比BL大時,也就是肯定(“YES”)場合,進入步驟#204。而數據占用量B比BL小時,也就是否定(“NO”)場合,則進入步驟#210。
步驟#210,控制分配編碼量設定器22103,使得給接著編碼的幀的分配編碼量受到抑制。
步驟#204,B上加一基于視頻緩存2600輸入視頻傳送速率BR的期間T內數據占用量Vdv的增量Br(B=B+Br)。因此,求出的是期間T后的B。
步驟#205,評價數據占用量B是否比規定的最大占用量Bmax小。肯定“YES”場合,也就是說數據占用量B超過Bmax時,進行步驟#206的處理。而肯定“YES”時,進入步驟#207。
步驟#206,令數據占用量B為最大占用量Bmax(B=Bmax)。由此,將數據占用量B的最大值限制為Bmax。
步驟#207,評價是否處理圖像組中最末一幀。肯定(“YES”)場合,也就是說處理的是最末一幀時,進入步驟#208。而否定(“NO”)場合,則進入步驟#202。
步驟#208,評價數據占用量是否比最終目標占用量BE大。肯定(“YES”)場合,也就是說數據占用量B比BE大時,進入步驟#209。而否定(“NO”)場合,則進入步驟#211。
步驟#211,控制分配編碼量設定器22103,使得后續視頻流編碼量受到抑制。進入步驟#209。
步驟#209,評價編碼處理是否結束。若圖像組處于處理之中,就進入步驟#202。
視頻編碼對象是無斷層切換的多視角時,以上流程重復與ILVU相當的次數。
現更為詳細地說明以上流程圖的特征。
步驟#203、步驟#210是目的在于防止視頻緩存2600溢出的處理。具體來說,視頻緩存2600的數據占用量B一旦小于預計占用量BL,1幀編碼結束時有可能視頻緩存2600會下溢,所以控制分配編碼量設定器22103,抑制后續視頻流數據的分配編碼量。通過這種處理,以防止視頻緩存2600下溢。
而步驟#205、步驟#206是用以應付溢出的處理。具體來說,求得數據占用量超過最大占用量Bmax的時刻,并在解碼處理時,從該時刻起停止數據傳送。通過這樣來應付溢出。
步驟#207、步驟#208、步驟#211是本發明特征,目的在于限制圖像組最末一幀編碼結束時的數據占用量。預料到數據占用量B小于預計占用量BE時,控制分配編碼量設定器22103,以便抑制后續視頻流編碼時的分配編碼量。
通過這樣控制分配編碼量,可預料每一幀編碼量的變化和總編碼量的變化,但通過每一幀變化量在時間上超前或滯后的多個分配編碼量上加減該變化數量的編碼量,才能使總編碼量符合規定量。
利用這種第一實施例,對圖像組視頻編碼流進行解碼處理之后的數據占用量B為最終占用量Be,其值大于最終目標占用量BE,即大于初始占用量Bi。
具體來說,第一實施例得到的視頻編碼流初始占用量Bi和最終占用量Be其值大于Bi,即便連接視頻編碼流進行重放,視頻緩存2600也不致下溢。
即便對第一實施例得到的視頻編碼流進行1對1連接加以重放,視頻緩存也不致下溢。而且,而且,在圖45所示帶有分支和聯結的場面間連接中,也是全部初始占用量Bi和最終占用量Be相同,且Be的值大于Bi,因而視頻緩存沒有下溢。此外,不論在無斷層切換多視角當中,還是全部視角的全部ILVU中,都一樣,視頻緩存無下溢。
接下來,作為第一實施例一例裝置,圖55中示出了一例實現圖54所示流程圖的解碼緩存占用量計算器22105的框圖。
圖示視頻緩存占用量計算器22105由切換開關22301、端子22302、22303、減法器22304、編碼量測定器22305、加法器22306、第一比較器22307、限幅電路22308、第二比較器22309、端子22310、端子22311和切換開關22312構成。
以下說明解碼緩存占用量計算器22105的構成和動作。
首先,在對圖像組最初幀解碼之前,切換開關22301與端子22302連接,數據占用量B為初始占用量Bi。
接下來,設定為初始占用量Bi后,切換開關22301與端子22303連接,存儲器22313存儲的規定期間T后的數據占用量設定為數據占用量B。切換開關22301的輸出輸入至減法器22304,而減法器22304將數據占用量B減去編碼量測定器22305測定的規定期間T的發生編碼量Bg。
接下來,由第一比較器22307將減下來的數據占用量B’同預計占用量BL比較。這里,數據占用量B’一旦比BL小,就控制分配編碼量設定器22103,以便抑制后續視頻流的分配編碼量,防止下溢。
而減法器22304輸出B’輸入加法器22306。加法器22306將期間T輸入視頻緩存2600的數據量Br與B’相加。加法器22306的輸出靠限幅電路22308限制在最大占用量Bmax,應付溢出。限幅電路22308的輸出輸入至存儲器22313,存儲為下一期間T的數據占用量B。
接下來,對圖像組最末一幀進行編碼處理時,由第二比較器22309將限幅電路22308的輸出與最終占用量BE比較。限幅電路22308的輸出一旦小于BE,便控制分配編碼量設定器22103,以便抑制后續視頻流編碼的分配編碼量,使得圖像組編碼處理結束后解碼緩存的數據占用量V大于最終目標占用量BE。
當處理的是圖像組中最末一幀時,切換開關22312與端子22310連接。
而非最末一幀的處理時,切換開關22312與端子22311連接,由第二比較器22309的比較結果控制分配編碼量設定器22105,由第一比較器22307的比較結果控制分配編碼量設定器22105。
通過這樣構成,可以實現圖54所示的流程圖。
如前文所述,即便使本實施例編碼方法和編碼裝置得到的視頻編碼流連接,即便成立Be>Bi關系,并連續解碼,重放中仍然可以避免視頻緩存2600下溢。
接下來說明本發明編碼方法和編碼裝置的第二實施例。編碼裝置的構成與圖53一樣,但解碼緩存占用量計算器22105的動作有所不同。
圖56就解碼緩存占用量計算器22105一例動作示出流程圖。第一實施例中,將各圖像組編碼處理中視頻緩存2600的初始占用量Bi設定為統一規定量,對分配編碼量進行控制,使最終占用量Be大于最終目標占用量BE(BE>Bi),但本實施例對第二圖像組編碼時卻是將第一圖像組后續的第二圖像組的初始占用量Bi設定得比第一圖像組對應的最終占用量Be小。具體來說,與第一實施例不同之處在于,對連接后重放的視頻編碼流的先行視頻編碼流預先解碼,對最終占用量Be進行控制。
以下參見圖56說明與第一實施例不同的處理。
步驟#1601,將比先行第一圖像組視頻編碼流的最終占用量Be小的初始占用量設定為Bi。
步驟#1602,將數據占用量B初始化為步驟#1601所設定的初始占用量Bi。
以下步驟與第一實施例相同,但不需要圖54的步驟#207、步驟#208和步驟211。
以下,作為第二實施例一例編碼裝置,圖57示出一例實現圖56流程圖的解碼緩存占用量計算器22105的框圖。
圖57的解碼緩存占用量計算器22105進行與圖55解碼緩存占用量計算器22105大致相同的動作,不同之處在于包括初始占用量Bi確定器221700。
以下參見
。
圖像組編碼開始前,初始占用量Bi確定器221700將比前面緊接的圖像組的最終占用量Be小的值設定為初始占用量Bi。
設定為初始占用量Bi后,切換開關22301與端子22303連接,存儲器22313存儲的內容變成數據占用量B。
開關22301的輸出輸入減法器22304,由減法器22304以數據占用量B減去編碼量測定器22305測定的規定期間T的發生編碼量Bg。
由第一比較器22307將減下來的數據占用量B’與規定閾值BL比較。這里,數據占用量B’一旦比BL小,就控制分配編碼量設定器22103以便抑制后續視頻流的編碼量,防止下溢。
而減法器22304的輸出B’輸入加法器22306。加法器22306將期間T輸入視頻緩存2600的數據量Br與B’相加。加法器22306的輸出由限幅電路22308限制為最大占用量Bmax,以應付溢出。限幅電路22308的輸出輸入存儲器22313,存儲作為下一期間T的數據占用量Vdv。將圖像組編碼結束時的數據占用量設定為最終占用量Be,用以求出下一圖像組的初始占用量Bi。通過這樣構成,可實現圖56所示的流程圖,接著先行第一圖像組位流中后續連接的第二圖像組,其初始占用量Bi設定為比第一圖像組最終占用量Be小的值,進行編碼處理。
圖57解碼緩存占用量計算器22105與圖55中的相比,不需要用以控制最終占用量Be的比較器22309、開關22312,對于編碼量分配的限制少。
接下來說明本發明編碼方法和編碼裝置的第三實施例。本實施例雖然與圖53的第一實施例編碼裝置相同,但解碼緩存占用量計算器22105的動作有所不同。
作為解碼緩存占用量計算器22105的一例動作,在圖58中示出其流程圖。第一實施例中設定最終目標占用量BE對各圖像組緩存2600最終占用量Be進行控制,但第三實施例不同之處在于增加了處理步驟221800,設定最終目標占用量BE以便最終占用量Be為比下一圖像組初始占用量Bi大的占用量。其他處理與圖53完全相同,故省略。
圖59中示出了一例實現圖58流程圖的解碼緩存占用量計算器22105的框圖。與圖55解碼緩存占用量計算器22105相比,不同之處在于包括閾值確定器221900。閾值確定器221900是求出比當前編碼處理的圖像組的后續下一圖像組的規定初始占用量Bi大的最終目標占用量BE的。
圖中,閾值確定器221900的輸入為連接時后續的下一圖像組的初始占用量Bi。如圖55第一實施例那樣控制視頻緩存的占用量,使最終占用量Be超過最終目標占用量BE(BE>Ri)。
這樣構成,提前確定圖像組初始占用量Bi的話,其先行連接的圖像組的最終占用量Be就比后續圖像組初始占用量Bi大。
第一實施例中,各圖像組初始占用量Bi設定為完全相同,但第二和第三實施例中是每一圖像組都設定初始占用量Bi的。而且,第二實施例中,為了根據最終占用量Be設定后續圖像組初始占用量Bi,必須按所連接的視頻編碼流順序進行編碼處理。
第一和第三實施例中,編碼處理可以按任意順序處理,通過并行處理,可以縮短處理時間和減少編碼處理中的順序管理。
即便以上編碼方法和編碼裝置得到的視頻編碼流在重放時進行1對1的連接,視頻緩存也不至下溢。而且,對于存在圖45所示分支和聯結的場面間連接,也由于初始占用量Bi低于最終占用量Be,因而視頻緩存沒有下溢。
而且,在無斷層切換多視角中,第一實施例中,通過使全部視角全部的ILVU初始占用量Bi、最終占用量Be統一,并且使初始占用量Bi低于最終占用量Be,這樣在視角切換時視頻緩存也不至下溢。
接下來,用圖60說明連接前述編碼方法和編碼裝置得到的視頻編碼流進行重放所用的視頻流生成方法。
圖中,以假定連接視頻編碼流SS1(幀F1、F2、F3、F4、F5)和視頻編碼流SS2(幀F6、F7、…)加以重放的生成狀態為例加以說明。另外,視頻編碼流SS1和視頻編碼流SS2是用本發明編碼方法和編碼裝置生成的。
而且,視頻編碼流SS1的最終占用量Be1比視頻編碼流SS2初始占用量Be2大。另外,視頻編碼流SS1的最終占用量Be1當視頻編碼流SS1傳送至視頻緩存2600后繼續數據傳送時,是對視頻編碼流SS1最末數據解碼時視頻緩存2600的數據占用量。圖60中由虛線示出此時數據占用量的變遷。
圖中,視頻編碼流SS1的數據傳送在時刻Te1一旦結束,便在期間DTi中斷數據傳送,此后,在時刻Ti2開始視頻編碼流SS2的數據傳送。通過此辦法,視頻緩存沒有漏損。具體來說,可以在避免溢出和下溢的情況下,順暢地進行解碼處理。
為了生成這種位流,將傳送至視頻緩存的時間信息用于基于MPEG規格的視頻緩存。具體來說,可以通過將視頻編碼流SS2至視頻緩存的傳送開始時刻設定為Ti2而非Te1來實現。因此,視頻編碼流傳送至視頻緩存2600,中斷時間可長達DTi。
通過該期間DTi中斷數據傳送,視頻編碼流SS2起始數據的解碼時間期間數據占用量Vdv為編碼時設定的初始占用量Be2。
因而,解碼時可以與編碼時計算出的視頻緩存2600的數據占用量相等來解碼。也就是說,如果至少保證編碼時視頻緩存2600不出現漏損,便可以在解碼時防止視頻緩存2600的漏損。
另外,數據傳送的中斷時間DTi是根據最終占用量Be[bits]與后續編碼數據初始占用量Bi[bits]之差設定的。而且,令視頻數據其數據傳送速率為Br[bits/sec],時間DTi[sec]可按(式2)計算。
DTi=(Be-Bi)/Br …(式2)另外,(式2)中傳送速率Br為只提供給視頻流的傳送速率,與系統流整體的傳送速率不同。
另外,是使傳送中斷時刻在視頻編碼流SS1傳送之后的,但不限于此,也可以將期間DTi分為幾段,對多次數據傳送進行中斷。
而且,還可以在任意時刻中斷,只要至少有一次數據傳送中斷,對視頻編碼流SS2最初數據開始解碼的時刻Td2數據占用量為Be2就行。
另外,圖60中說明的是Bi1與Be2有所不同的情況,但為相同值也行。
而且,為了傳送音頻流等其他數據,有時視頻流的數據傳送中斷超過(式2)。但這種場合,進行數據傳送時還必須滿足視頻緩存2600數據占用量在解碼開始時刻一定達到初始占用量Bi。因而,這種場合還考慮賦予視頻編碼流的數據傳送速率Br因其他數據影響而變化,必須對數據傳送中斷時間和視頻緩存2600數據占用量Vdv進行計算。
而且,還有使多個視頻流復接構成一個數據流的情形,從復接的位流個數、各個位流的數據量等方面來看,即便為相同的視頻流解碼處理,往往數據傳送速率卻變化。這樣考慮,就必須對數據傳送中斷時間、視頻緩存2600數據占用量Vdv進行計算。
接下來對于圖61說明本發明第二種位流生成方法。本發明生成方法的第二實施例,是在視頻編碼流SS1中,插入第一實施例中說明的對視頻流1的數據傳送進行中斷的數量的填空數據這種方法。
也就是說,是根據MPEG規格,生成數據量為(Be1-Be2)的填空數據,作為視頻編碼流SS1,以便視頻編碼流SS2的初始占用量Be2等于編碼時的設定值。
連接如上生成的視頻編碼流SS1和SS2進行解碼的話,解碼時視頻流2的初始占用量Bi等于編碼時所設定的,解碼時視頻緩存2600數據占用量的變遷便可以等于編碼時假定的數據占用量的變遷。
另外,是將填空數據傳送至視頻緩存2600的,但只要是與編碼數據不同的規定數據,是任意數據都行。
此外,填空數據的插入位置只要在視頻流SS1中,任意位置都行,分成幾處插入也行。
另外,還可以使本發明位流生成方法第一實施例中說明的數據傳送的中斷與第二實施例中說明的填空數據組合。具體來說,可以通過數據傳送的中斷和填空數據的插入,記錄使得視頻流2最初數據解碼時的數據占用量為編碼時設定的規定初始占用量Be2。
與后面述及的本發明重放方法的說明一起敘述以上本發明生成方法所達到的效果。
本發明的數據作為一例如圖62所示記錄于圖4至圖14所示DVD上。
圖62所示的DVD22801記錄的是按照本發明編碼方法和編碼裝置生成的2個以上圖像組編碼數據流,但作為例子假設記錄的是第一編碼數據22901、第二編碼數據22902和第三編碼數據22903。
該光盤22801其特征在于,記錄成至少一個圖像組編碼數據至視頻緩存2600的數據傳送結束以后,存在以期間DTi(DTi>0)為間隔的數據傳送中斷,再進行下一圖像組編碼數據至視頻緩存2600的數據傳送。
通過記錄上述位流生成方法得到的視頻編碼流,可以實現這種記錄。
另外,至視頻緩存2600的傳送存在中斷的編碼數據,其連接點可以如上述例所述位于DVD22801上連續的兩個編碼數據之間,也可以記錄成傳送的中斷位于例如編碼數據22901和編碼數據22903那種不連續編碼數據之間。
另外,如本發明記錄方法第二實施例那樣,記錄相當于視頻緩存2600傳送中斷的數據量的填空數據也一樣。
此外,使數據傳送中斷和填空數據插入相組合也一樣,也可以進行數據傳送中斷或填空數據插入,以便對視頻流最初數據解碼時刻,視頻緩存2600的數據占用量Vdv為編碼時設定的規定初始占用量Bi。
參見圖63A、圖63B、圖32A、圖32B、圖32C和圖32D說明2個視頻編碼流連續重放時的重放控制方法。
圖63A、圖63B示出的是對各個視頻編碼流解碼時視頻緩存2600數據占用量Vdv的時間變遷。Bi表示解碼開始時刻視頻緩存2600的占用量,Be表示解碼結束時刻視頻緩存2600的數據占用量。
對于終止部來說,按該視頻編碼流輸入結束后還連續輸入下一解碼視頻編碼流,說明視頻緩存2600的占用量。
不論圖63A所示的視頻編碼流#1,還是圖63B所示的視頻編碼流#2,解碼結束時刻視頻緩存2600的數據占用量Be比解碼開始時刻視頻緩存2600的數據占用量Bi大。
以下說明具有這種特征,對本發明生成的視頻編碼流連接重放的重放控制方法。
圖32示出將圖63A所示的視頻編碼流#1與圖63B所示的視頻編碼流#2簡單連接重放時視頻緩存2600數據占用量Vdv的變遷。
這時,圖63A所示的視頻編碼流EVS#1解碼結束時視頻緩存2600的數據占用量Be,比圖63B所示的視頻編碼流EVS#2解碼開始時視頻緩存2600的數據占用量Bi大。因而,視頻編碼流EVS#2可以保證解碼處理過程中視頻緩存2600不下溢。
另一方面,視頻編碼流EVS#2解碼開始時視頻緩存2600的占用量Vdv與視頻編碼時假定的緩存占用量Bi相比,大出視頻編碼流EVS#1的Be與視頻編碼流#2的Bi之差值(ΔB)。因而,視頻緩存2600的數據占用量Vdv便在ΔB的許多狀態下變遷。
這種情形意味著,視頻緩存2600有可能溢出。
以下參見圖32B、圖32C、圖32D說明避免溢出的方法。
參見圖32B,說明避免視頻緩存2600溢出的第一方法。
(方法1)如圖32B所示,點Qd處停止輸入至視頻緩存2600。這樣,通過停止輸入給視頻緩存2600,使得視頻編碼流EVS#2解碼開始時的視頻緩存2600的數據占用量為Bi。
這樣,通過使視頻編碼流EVS#2解碼開始時的視頻緩存2600的占用量為Bi,以后視頻緩存2600的數據占用量Vdv的變遷與圖63B相等。因而,視頻緩存2600的數據占用量Vdv可以避免溢出。
這里,停止輸入至視頻緩存2600,可以通過數據組首部記載的表明數據組傳送時刻的SCR值(圖19)很容易地控制。
視頻編碼流由視頻數據包輸送。該視頻數據包可按照輸送該數據包的數據組SCR值,從位流緩存2400(圖26)讀出,輸入至視頻緩存2600。
因而,可以通過輸送視頻數據包的數據組SCR值,使至視頻緩存2600的輸入停止。
(方法2)如圖32B所示,通過在連接點插入填空數據包(Ds),使視頻編碼流EVS#2解碼開始時的視頻緩存2600的數據占用量為Bi。
這樣,通過使視頻編碼流EVS#2解碼開始時的視頻緩存2600的占用量為Bi,以后視頻緩存2600的數據占用量Vdv的變遷與圖63B相等。因而,視頻緩存2600的數據占用量Vdv可以避免溢出。
這里,填空數據包的大小可以取為視頻編碼流#1的Be與視頻編碼流#2的Bi之差值(ΔB)。
(方法3)如圖32D所示,通過連接點處改變至視頻緩存2600的數據輸入速度(Rcp),使得視頻編碼流#2解碼開始時的視頻緩存2600的數據占用量為Bi。
這樣,通過使視頻編碼流EVS#2解碼開始時的視頻緩存2600的占用量為Bi,以后視頻緩存2600的數據占用量Vdv的變遷與圖63B相等。因而,視頻緩存2600的數據占用量Vdv可以避免溢出。
這里,改變至視頻緩存2600的輸入速度Rcp,可以通過數據組首部記載的表明數據組傳送時刻的SCR值(圖19)很容易地控制。
這如方法1所示那樣,可以改變輸送視頻編碼流的數據組的SCR值的間隔來實現。
圖39中示出按照本發明記錄方法和重放方法進行間歇數據傳送,連接視頻編碼流SS1和視頻編碼流SS2時視頻緩存2600數據占用量Vdv的變遷。
與圖46相對照,沿各個時刻說明。先與圖46一樣,時刻Ti1開始位流1至視頻緩存2600的數據傳送,時刻Td1對最初一幀F1進行解碼。以后數據占用量Vdv的變遷,與圖46中說明的相同。但在時刻Ts1數據占用量Vdv達到規定量Bmax。這里,一旦超過Bmax進行數據傳送,視頻緩存2600有時就發生溢出,數據丟失,因而數據傳送暫時中斷。具體來說,數據占用量Vdv保持不變。此后,在時刻f3一旦對幀F3解碼,視頻緩存2600的數據占用量Vdv便使Bmax下降,再次開始數據傳送。從下一時刻Ts2至時刻Ti2中斷數據傳送。時刻Ti2開始視頻編碼流SS2至視頻緩沖2600的數據傳送。時刻Td2(f7)對位流2的最初一幀F7進行解碼。
這里,本發明其特征在于,圖39中時刻Ts2至時刻Ti2中斷數據傳送,在視頻編碼流SS2解碼開始時刻Td2(f7),中斷數據傳送以便視頻緩存2600的數據占用量Vdv為初始占用量Be2。
圖39中所示的本發明中數據傳送中斷時間Dts可以如(式3)所示計算。
Dts=Tt1-D1/Br+(Be1-Bi2)/Br …(式3)其中,與(式1)相同,D1是視頻編碼流SS1的數據量,Br是位流數據傳送速率,Tt1是圖中SS1期間所示的視頻編碼流SS1的數據傳送時間。
(式3)中(Tt1-D1/Br)與(式1)相同,是為了防止溢出所需的數據傳送中斷時間。而(Be1-Bi2)/Br指定的時間則與(式2)相同,是按位流2最初數據解碼開始時刻Td2(f7)數據占用量Vdv為編碼時設定的初始占用量Be2這種要求的數據傳送中斷時間,是本發明記錄方法和重放方法的特征。
本發明重放方法,通過根據本發明位流生成方法生成的視頻編碼流中的傳送時刻信息進行解碼、重放,解碼時可以進行與編碼處理時假定的視頻緩存2600數據占用量Vdv的變遷相同的變遷。
綜上所述,即便聯結本發明編碼方法和編碼裝置對各圖像組編碼得到的編碼數據流,也可以在視頻緩存2600不出現漏損的情況下,連續進行解碼處理,進行無斷層數據重放,獲得順暢的重放圖像。而且,按照本發明重放裝置,重放對多個圖像組編碼得到的位流場合,位流編碼使得各位流解碼結束時的視頻緩存2600的數據占用量Vdv大于解碼開始時數據占用量Vdv規定占用量Bt以上的場合,可以聯結不同的位流連續解碼,獲得順暢的重放圖像。
此外,只要是本發明編碼方法和編碼裝置生成的位流,即便要聯結連續解碼,也總是可以在編碼時計算解碼時的數據占用量Vdv,可以使考慮與聲音數據等其他數據同步的復接變得容易。
尤其,按照本發明編碼方法和編碼裝置的第一實施例,對于各編碼數據初始占用量Bi和最終占用量Be,成立Be>Bi,因而即便使這些編碼數據流任意聯結,也可以在視頻緩存2600不出現漏損的情況下,連續編碼處理,獲得順暢的重放圖像。
另外,對于至視頻緩存2600的數據傳送,可以間歇地進行數據傳送,也可以使傳送速率可變。
另外,至于壓縮編碼處理,可以是變換編碼,也可以是其他編碼方式。
各圖像組的時間長度并不限定,也可以是分別不同的時間長度。
另外,本發明編碼裝置的分配編碼量設定器22103可以檢出對圖像信號編碼處理的難易度,根據難易度設定分配編碼量。由此,可以進行可變比特率編碼,按與圖像對應的編碼速率編碼。
另外,并不限于控制使得發生編碼量在規定編碼量以內的編碼量控制方法,也可以通過例如控制信號量化當中的參數來控制發生編碼量。
另外,說明的是用光盤作為記錄媒體的場合,但不限于此,是磁盤或磁帶等記錄媒體,不論哪種都行。
綜上所述,本發明編碼方法和編碼裝置,即便分別對多個圖像組編碼得到的編碼數據流任意聯結,也可以在視頻緩存2600不出現漏損的情況下,連續編碼處理,順暢地獲得連續重放信號。
而且,所聯結的位流其聯結點處不需要使最終占用量和初始占用量Bi相等,保證(最終占用量>初始占用量Bi)這種關系為好,可以很容易進行編碼量控制。
按照本發明記錄方法,圖像組編碼數據流連接點處,通過使位流至視頻緩存2600的傳送中斷規定時間,可以開始與編碼時所設定的視頻緩存2600的初始占用量Bi相等的解碼處理,可以按與編碼時假定的視頻緩存2600的數據占用量Vdv的變遷相同的變遷進行解碼處理。從而,解碼時也可以在視頻緩存2600不出現漏損的情況下進行解碼處理。
而且,按照本發明重放方法,對多個圖像組編碼得到的視頻編碼流進行重放場合,位流編碼成各位流的視頻緩存2600最終占用量大于解碼開始時數據占用量Vdv的場合,可以聯結不同的位流連續解碼,順暢地獲得連續重放信號。
本發明編碼方法和編碼裝置,即便對多個視頻流分別編碼得到的編碼數據流任意聯結,也可以在視頻緩存不出現漏損的情況下,進行無斷層數據重放,可以連續解碼處理,順暢地獲得連續重放信號。
按照本發明記錄方法,可以按與編碼時假定的視頻緩存的數據占用量Vdv的變遷相同的變遷進行解碼處理。從而,解碼時也可以在視頻緩存2600不出現漏損的情況下進行解碼處理。
工業實用性如上所述,本發明的對媒體進行位流交錯錄放的方法及其裝置,適合使用在能夠將傳送各種信息的位流構成的標題,根據用戶的要求加以編輯,以構成新標題的創作系統,進一步說,也適用于近年來開發的數字視像光盤系統、即所謂DVD系統。
權利要求
1.一種編碼方法,為一對于重放經編碼處理的編碼數據時解碼所用的規定容量的解碼緩沖存儲器(2600)計算其數據占用量(Vdv)(22105),根據該計算結果,設定某個規定期間分配編碼量(22103),按所述分配編碼量對所述規定期間信號進行壓縮編碼處理(22102,22101),生成規定編碼數據(St15)的方法,其特征在于,設法第一編碼數據(EVS1)傳送至所述解碼緩沖存儲器(2600)之后,還接著傳送虛擬的編碼數據(EVS2)來計算所述數據占用量(22105),將所述第一編碼數據(EVS1)最末數據解碼時的所述數據占用量設定為最終占用量Be進行計算,開始編碼處理以生成第二編碼數據(EVS2)時,將所述數據占用量設定為比前述最終占用量Be小的規定初始占用量Bi,根據所述數據占用量的變遷設定前述分配編碼量。
2.一種編碼方法,為一對于重放經編碼處理的編碼數據時解碼所用的規定容量的解碼緩沖存儲器計算其數據占用量(Vdv),根據該計算結果,設定某個規定期間分配編碼量,按所述分配編碼量對所述規定期間信號進行壓縮編碼處理,生成規定編碼數據的方法,其特征在于,設法第一編碼數據(EVS1)傳送至所述解碼緩沖存儲器(2600)之后,還接著傳送虛擬的編碼數據來計算該數據占用量(Vdv),將該第一編碼數據(EVS1)最末數據解碼時的該數據占用量(Vdv)設定為最終占用量Be進行計算,開始編碼處理以生成第二編碼數據(EVS2)時,將所述數據占用量設定為規定初始占用量Bi,根據所述數據占用量(Vdv)的變遷設定前述分配編碼量,設定所述分配編碼量以便該第一編碼數據所述最終占用量Be超過規定量Bt(Bt>Bi)。
3.一種編碼方法,為一對于重放經編碼處理的編碼數據時解碼所用的規定容量的解碼緩沖存儲器計算其數據占用量,根據該計算結果,設定某個規定期間分配編碼量,按所述分配編碼量對所述規定期間信號進行壓縮編碼處理,生成規定編碼數據的方法,其特征在于,開始編碼處理以生成各前述編碼數據時,將所述數據占用量設定為規定初始占用量Bi,設法各個該編碼數據傳送至該解碼緩沖存儲器(2600)之后,還接著傳送虛擬的編碼數據來計算該數據占用量(Vdv),并將各個該編碼數據最末數據解碼時的該數據占用量(Vdv)作為最終占用量Be計算,根據該數據占用量(Vdv)的變遷設定該分配編碼量,并且設定該分配編碼量以便該最終占用量Be超過規定量Bt(Bt>Bi)。
4.如權利要求1或2或3所述的編碼方法,其特征在于,設定分配編碼量,以便所述數據占用量(Vdv)超過規定最低占用量B1(#203,#203,#203)。
5.如權利要求1或2或3所述的編碼方法,其特征在于,編碼數據(視頻編碼數據)輸入所述解碼緩沖存儲器(2600)時按可變傳送速度(2219DRcp)進行數據傳送。
6.如權利要求1或2或3所述的編碼方法,其特征在于,編碼數據(視頻編碼數據)輸入所述解碼緩沖存儲器(2600)時間歇(Qd)進行數據傳送(22105)。
7.如權利要求1或2或3所述的編碼方法,其特征在于,所述數據占用量限制為低于規定最大占用量Bm(Bmax)(#205,#205,#205)。
8.一種編碼裝置,為一對規定信號進行壓縮編碼處理,生成編碼數據(視頻編碼數據)的裝置,其特征在于,包括設定規定期間分配編碼量的編碼量設定手段(22103),對該信號進行編碼處理生成編碼的編碼處理手段(22101),控制編碼量以便所述分配編碼量與所述編碼數據發生編碼量之差變小的壓縮編碼控制手段(22102),對于所述編碼數據重放時解碼所用的規定容量的解碼緩沖存儲器計算其數據占用量(Vdv)的數據占用量計算手段(22105),該數據占用量計算手段(22105),設法在第一編碼數據(EVS1)傳送至所述解碼緩沖存儲器(2600)之后,還接著傳送虛擬編碼數據(EVS2)來計算所述數據占用量(Vdv),將第一編碼數據(EVS1)最末數據解碼時的所述數據占用量(Vdv)設定為最終占用量Be,開始編碼處理以生成第二編碼數據(EVS2)時,將所述數據占用量(Vdv)設定為比前述最終占用量Be小的規定初始占用量Bi,編碼量設定手段(22103)根據所述數據占用量(Vdv)的變遷,設定所述分配編碼量。
9.一種編碼裝置,為一對規定信號進行壓縮編碼處理,生成編碼數據的裝置,其特征在于,包括設定規定期間分配編碼量的編碼量設定手段(22103),對該信號進行編碼處理生成編碼,并控制編碼量使得該分配編碼量與該編碼數據發生編碼量之差變小的壓縮編碼控制手段(22102),對于該編碼數據重放時解碼所用的規定容量的解碼緩沖存儲器(2600)計算其數據占用量(Vdv)的數據占用量計算手段(22105),該數據占用量計算手段(22105),設法在第一編碼數據(EVS1)傳送至該解碼緩沖存儲器(2600)之后,還接著傳送虛擬編碼數據(EVS2)來計算所述數據占用量(Vdv),將第一編碼數據(EVS1)最末數據解碼時的該數據占用量(Vdv)作為最終占用量Be計算,開始編碼處理以生成第二編碼數據(EVS2)時,將該數據占用量(Vdv)設定為規定初始占用量Bi,該編碼量設定手段(22103)按該數據占用量(Vdv)設定分配編碼量,并且設定該分配編碼量以便該第一編碼數據最終占用量Be超過規定量Bt(Bt>Bi)。
10.一種編碼裝置,為一對規定信號進行壓縮編碼處理,生成編碼數據的裝置,其特征在于,包括設定規定期間分配編碼量的編碼量設定手段(22103),對該信號進行編碼處理生成編碼,并控制編碼量使得該分配編碼量與該編碼數據發生編碼量之差變小的壓縮編碼控制手段(22102),對于該編碼數據重放時解碼所用的規定容量的解碼緩沖存儲器(2600)計算其數據占用量(Vdv)的數據占用量計算手段(22105),該數據占用量計算手段(22105),開始編碼處理時,將該數據占用量設定為規定初始占用量Bi,接著設法在各個該編碼數據傳送至該解碼緩沖存儲器(2600)之后,還接著傳送虛擬編碼數據來計算該數據占用量(Vdv),該編碼量設定手段(22103)按該數據占用量(Vdv)設定分配編碼量,并且設定該分配編碼量以便對于各個該編碼數據的最終占用量Be超過規定量Bt(Bt>Bi)。
11.如權利要求8或9或10所述的編碼裝置,其特征在于,設定分配編碼量,以便所述數據占用量(Vdv)超過規定最低占用量B1。
12.如權利要求8或9或10所述的編碼裝置,其特征在于,編碼數據輸入所述解碼緩沖存儲器(2600)時按可變傳送速度進行數據傳送。
13.如權利要求8或9或10所述的編碼裝置,其特征在于,編碼數據輸入所述解碼緩沖存儲器(2600)時間歇進行數據傳送。
14.如權利要求8或9或10所述的編碼方法,其特征在于,所述數據占用量(Vdv)限制為低于規定最大占用量Bm。
15.一種記錄方法,為一根據重放經編碼處理的編碼數據時解碼所用的規定容量的解碼緩沖存儲器(2600)其數據占用量(Vdv),將規定信號編碼數據記錄于記錄媒體(M)上的方法,其特征在于,設法第一編碼數據(EVS1)傳送至該解碼緩沖存儲器(2600)之后,還接著傳送虛擬的編碼數據(EVS2)時,將該第一編碼數據(EVS1)最末數據解碼時的該數據占用量(Vdv)設定為最終占用量Be,記錄使得第二編碼數據(EVS2)解碼開始時該數據占用量(Vdv)為比該最終占用量Be小的規定初始占用量Bi。
16.如權利要求15所述的記錄方法,其特征在于,第一編碼數據(EVS1)和第二編碼數據(EVS2)傳送至該解碼緩沖存儲器(2600)時,記錄各個該編碼數據(EVS1,EVS2)至該解碼緩沖存儲器(2600)的輸入時間信息(SCR),以便在該第一編碼數據(EVS1)所對應的該最終占用量Be和該第二編碼數據(EVS2)所對應的該初始占用量Bi設定的規定時間T(T>0)期間,中斷至該解碼緩沖存儲器(2600)的數據傳送(Qd)。
17.如權利要求16所述的記錄方法,其特征在于,令至所述解碼緩沖存儲器(2600)的數據傳送速率為Br,則所述規定時間T設定為((Be-Bi)/Br)。
18.如權利要求15所述的記錄方法,其特征在于,記錄時所述第一編碼數據(EVS1)插入(Be-Bi)所設定的數據量的規定方式數據(Ds)。
19.一種記錄媒體,為一根據重放經編碼處理的編碼數據時解碼所用的規定容量的解碼緩沖存儲器(2600)其數據占用量(Vdv),記錄規定信號編碼數據的記錄媒體(M),其特征在于,設法第一編碼數據(EVS1)傳送至該解碼緩沖存儲器(2600)之后,還接著傳送虛擬的編碼數據(EVS2)時,將該第一編碼數據(EVS1)最末數據解碼時的該數據占用量(Vdv)設定為最終占用量Be,記錄使得第二編碼數據(EVS2)解碼開始時該數據占用量(Vdv)為比該最終占用量Be小的規定初始占用量Bi。
20.如權利要求19所述的記錄媒體,其特征在于,所述第一編碼數據(EVS1)和第二編碼數據(EVS2)傳送至所述解碼緩沖存儲器(2600)時,記錄各個該編碼數據(EVS1,EVS2)至該解碼緩沖存儲器(2600)的輸入時間信息(SCR),以便在該第一編碼數據(EVS1)所對應的該最終占用量Be和該第二編碼數據(EVS2)所對應的所述初始占用量Bi設定的規定時間T(T>0)(Qd)期間,中斷至該解碼緩沖存儲器(2600)的數據傳送。
2 1.如權利要求20所述的記錄媒體,其特征在于,令至所述解碼緩沖存儲器(2600)的數據傳送速率為Br,則所述規定時間T(Qd)設定為((Be-Bi)/Br)。
22.如權利要求21所述的記錄方法,其特征在于,記錄時所述第一編碼數據(EVS1)插入(Be-Bi)設定的數據量的規定圖案數據(Ds)。
23.一種重放方法,為一根據重放經編碼處理的編碼數據時解碼所用的規定容量的解碼緩沖存儲器(2600)其數據占用量(Vdv),重放記錄有規定信號編碼數據的記錄媒體(M)的方法,其特征在于,設法第一編碼數據(EVS1)傳送至該解碼緩沖存儲器(2600)之后,還接著傳送虛擬的編碼數據(EVS2)時,將該第一編碼數據最末數據解碼時的該數據占用量(Vdv)設定為最終占用量Be,按照第二編碼數據(EVS2)解碼開始時該數據占用量(Vdv)為比該最終占用量Be小的規定初始占用量Bi的要求,將該第二編碼數據傳送至該解碼緩沖存儲器。
24.如權利要求23所述的重放方法,其特征在于,所述第一編碼數據(EVS1)和所述第二編碼數據(EVS2)傳送至所述解碼緩沖存儲器(2600)時,在該第一編碼數據(EVS1)所對應的該最終占用量Be和該第二編碼數據(EVS2)所對應的所述初始占用量Bi設定的規定時間T(T>0)(Qd)期間,中斷至該解碼緩沖存儲器(2600)的數據傳送。
25.如權利要求25所述的記錄媒體,其特征在于,令至所述解碼緩沖存儲器(2600)的數據傳送速率為Br,則所述規定時間T設定為((Be-Bi)/Br)。
26.如權利要求23所述的重放方法,其特征在于,編碼數據輸入所述解碼緩沖存儲器(2600)時按可變傳送速度(Rcp)進行數據傳送。
27.如權利要求23所述的重放方法,其特征在于,編碼數據輸入該解碼緩沖存儲器時間歇進行數據傳送(Qd)。
28.如權利要求23所述的重放方法,其特征在于,限制編碼數據傳送至所述解碼緩沖存儲器(2600),以便所述數據占用量(Vdv)限制為低于規定最大占用量Bm(Bmax)。
全文摘要
本發明提供一種對分別編碼得到的多個視頻流聯結得到的位流連續解碼時也能夠獲得平滑的重放圖像的編碼方法及其裝置,記錄方法,記錄媒體和重放方法。具有解碼緩存占用量計算器,在各圖像組編碼數據解碼前瞬間,將設于對編碼數據解碼的解碼器的前級的解碼緩沖存儲器(2600),其數據占用量(Vdv)設定為規定初始占用量Bi,每當第二規定期間求出該數據占用量(Vdv),設定分配編碼量以便剛對各圖像組解碼后的數據占用量超過規定最終占用量Bt(其中Bt>Bi)。
文檔編號H04N7/24GK1197575SQ96197223
公開日1998年10月28日 申請日期1996年9月27日 優先權日1995年9月29日
發明者福田秀樹, 津賀一宏, 長谷部巧, 森美裕, 岡田智之, 堀池和由 申請人:松下電器產業株式會社