專利名稱：圖像記錄裝置、場景轉換提取方法及圖像語音記錄裝置的制作方法
技術領域：
本發明涉及一種可以與圖像的記錄并行地檢測圖像的場景轉換(Scene Change)的圖像記錄裝置、及通過該圖像記錄裝置實施的場景轉 換提取方法。并且，本發明涉及一種可以與電視廣播節目的錄制并行地 進行廣告消息(Commercial Message)廣播的檢測的圖像語音記錄裝置， 該廣告消息被夾在將要錄制的電視廣播節目的本體之間。
背景技術：
以往，在對圖像進行編碼并記錄的圖像記錄裝置中，為了從所記錄 的圖像中尋找所期望的圖像場景， 一面利用快進或回放等特殊再現，一 面依靠人的眼睛尋找相應的場景，需要花費非常多的時間和精力。為了消除這種問題，提出了用于發現圖像的場面轉換場景(以后稱 為"場景轉換")的方法(例如參照專利文獻1和2)。專利文獻1披露的 方法如下在進行編碼的編碼器前級的預圖像信號處理裝置中，計算時 間上的前后兩個圖像的直方圖之差的絕對值，在所計算的絕對值超過預 定閾值時判定為場景轉換。并且，專利文獻2披露的方法如下讀出已 經存儲在HDD等存儲介質中的圖像數據并提取場景轉換。并且，電視廣播可以根據其內容分為"節目本體廣播"和"廣告消息廣 播"。節目本體廣播是在電影節目中基于電影的內容自身的圖像語音數據 的廣播部分。另一方面，廣告消息廣播指在廣告主和廣告代理商等委托 方與廣播臺簽訂合同的情況下，基于接受委托方提供的圖像語音數據的 廣播部分，其在節目本體廣播的空閑時間被廣播。并且，廣告消息廣播 也包含廣播臺進行自家的廣告宣傳用的廣播。在本申請中，把"節目本體 廣播"表述為"節目本體"，把'廣告消息廣播"表述為"CM廣播"。節目本 體和CM廣播的內容關聯性較小的情況居多，對于想要集中視聽節目本體的視聽者而言，在錄制或視聽電視廣播時，有想要高效地刪除或跳過 CM廣播的要求。以往的圖像語音記錄裝置檢測電視廣播的語音方式，根據所檢測的語音方式進行節目本體和CM廣播的識別。節目本體的語音方式多是單 聲道(monaural)語音或兩國語言語音(外語節目中的日語和英語等)， 一般CM廣播的語音方式多是立體聲語音。利用這種差異，將檢測到立 體聲語音的區間判別為CM廣播區間，在錄制時不進行(即刪除)CM廣 播區間的錄制、或者在視聽時進行跳過(即略過)CM廣播區間的處理。 上述以往的CM檢測方式在節目本體的語音方式為與CM廣播的語 音方式相同的立體聲語音時不發揮作用。作為其改善對策提出如下方案: 檢測在節目本體和CM廣播的交界處插入的被稱為"黑色幀"的全黑畫面 的幀圖像來確定CM廣播區間(例如參照專利文獻3)。并且，還提出如 下方案檢測在節目本體和CM廣播的交界處產生的無音區間，根據所 檢測的無音區間的出現間隔來確定CM廣播區間(例如參照專利文獻4)。 另外，還提出如下方案利用圖像的場景轉換的產生頻次來提取CM廣 播(例如參照專利文獻5)。此外還有如下方案提供視聽時通過用戶的 按鈕操作跳過(即略過)15秒等固定時間的用戶接口。專利文獻l:日本特開2004—282318號公報(第7頁，圖2) 專利文獻2:日本特開2002—064823號公報(第5頁，圖l) 專利文獻3:日本特表平8 — 507633號公報(第12-15頁，圖l) 專利文獻4:日本特開2003—47031號公報(第5-8頁，圖l) 專利文獻5:日本特開2000 — 165796號公報(第7頁，圖14) 但是，專利文獻1披露的方法利用設于編碼器前級的預圖像信號處 理裝置檢測場景轉換，所以不能適用于從視頻編碼器到編碼器的結構為 一體的編碼器芯片組，即不能適用于具有不向外部輸出場景轉換提取結 果的單元的圖像記錄裝置。并且，即便在編碼器芯片組輸出場景轉換提 取結果時，由于每當使用的編碼器芯片組的類型變化時場景轉換提取結 果都將變化，所以存在每當編碼器芯片組的類型變化時都需要調整圖像 記錄裝置的問題。并且，專利文獻2披露的方法是根據已經被壓縮記錄在HDD上的圖 像流來檢測場景轉換的方法，所以在記錄處理結束后，需要離線進行花 費很多時間的處理，因此不實用。并且，在檢測黑色幀來確定CM廣播區間的專利文獻3記載的方法 中，由于根據國家和地區或廣播臺有時不能插入黑色幀(實際上在國內 廣播中黑色幀的插入不能通過法令義務化)，所以存在不能充分提高CM 廣播區間的自動檢測的可靠度的問題。并且，在專利文獻4或5記載的方法中，由于在節目本體中還存在 多個無音區間和場景轉換，所以存在難以高精度地確定CM廣播區間的 問題。另外，在通過用戶的按鈕操作使之略過15秒的方法中，存在不能對 應具有非15秒的倍數序列的既定時間長度之外的時間長度(例如5秒的 節目插播宣傳等)的CM廣播的問題。發明內容本發明正是為了解決上述現有技術的問題而提出的，其目的在于， 提供一種可以與圖像的記錄并行地進行圖像的場景轉換提取的圖像記錄 裝置、以及在該圖像記錄裝置中實施的場景轉換提取方法。并且，本發 明的其他目的在于，提供一種可以與電視廣播節目的記錄并行地提取CM 廣播區間的圖像語音記錄裝置。本發明的圖像記錄裝置的特征在于，所述圖像記錄裝置具有編碼 單元，其對圖像數據進行編碼；記錄單元，其記錄從所述編碼單元輸出 的編碼流；流控制單元，其把從所述編碼單元輸出的編碼流轉送給所述 記錄單元；圖像變化點提取單元，其對從所述編碼單元輸出的編碼流進 行解碼，提取該解碼后的圖像數據的場景轉換；以及錄制控制單元，其 從所述編碼單元按照編碼流的編碼單位獲取編碼結束通知，在獲取了該 編碼結束通知時，輸出針對所述圖像變化點提取單元的場景轉換提取指不。并且，本發明的場景轉換提取方法的特征在于，所述場景轉換提取方法包括通過編碼單元對圖像數據進行編碼并輸出編碼流的步驟；通 過流控制單元轉送所述編碼流并記錄到記錄單元中的步驟；通過錄制控 制單元從所述編碼單元按照編碼流的編碼單位獲取編碼結束通知，在獲 取了該編碼結束通知時，輸出針對圖像變化點提取單元的場景轉換提取 指示的步驟；以及通過所述圖像變化點提取單元對從所述編碼單元輸出的編碼流進行解碼，并提取該解碼后的圖像數據的場景轉換的步驟。 本發明的圖像語音記錄裝置的特征在于，所述圖像語音記錄裝置具有編碼單元，其對所輸入的圖像數據和語音數據進行編碼并輸出編碼 流；記錄單元，其記錄從所述編碼單元輸出的編碼流；圖像變化點檢測 單元，其對從所述編碼單元輸出的編碼流進行解碼，并根據該解碼后的 數據來檢測圖像的場景轉換；無音檢測單元，其根據所輸入的語音數據 來檢測無音區間；轉移點檢測單元，其檢測通過所述圖像變化點檢測單 元檢測到的場景轉換和通過所述無音檢測單元檢測到的無音區間同時發 生的轉移點；CM廣播區間判定單元，其把通過所述轉移點檢測單元檢測 到的轉移點的間隔在以預先設定的基準時間為中心的預定時間范圍內的 轉移點的組合連續持續兩個以上的區間，判定為CM廣播區間；以及CM 廣播區間信息記錄單元，其記錄通過所述CM廣播區間判定單元判定出 的CM廣播區間的時刻信息。根據本發明的圖像記錄裝置和場景轉換提取方法，每當圖像被編碼 時進行場景轉換提取處理，所以具有能夠實時地進行場景轉換的提取的 效果。根據本發明的圖像語音記錄裝置，與廣播節目的記錄并行地執行CM 廣播區間檢測處理，所以具有能夠實時地進行CM廣播區間檢測的效果。
圖1是表示本發明的實施方式1的圖像記錄裝置的結構的框圖。 圖2是表示實施方式1的圖像記錄裝置的場景轉換提取部的結構的 框圖。圖3是表示本發明的實施方式2的圖像記錄裝置的場景轉換命令控制部的結構的框圖。圖4是表示實施方式2的圖像記錄裝置的動作的流程圖。圖5是表示實施方式2的圖像記錄裝置的場景轉換命令控制部的 API部的動作的流程圖。圖6是表示實施方式2的圖像記錄裝置的場景轉換命令控制部的狀 態控制部的動作的流程圖。圖7是表示本發明的實施方式3的圖像記錄裝置的解碼部的結構的 框圖。圖8 (A) (D)是用于說明實施方式3的圖像記錄裝置的DCT 系數削減處理的圖。圖9是表示本發明的實施方式4的圖像記錄裝置的解碼部的結構的 框圖。圖10是表示本發明的實施方式5的圖像記錄裝置的YUV區域的圖。 圖11是表示實施方式5的圖像記錄裝置的動作的流程圖。 圖12是簡要表示本發明的實施方式6的圖像語音記錄裝置的結構的 框圖。圖13是表示實施方式6的圖像語音記錄裝置的轉移點檢測部的動作 的流程圖。圖14是表示實施方式6的圖像語音記錄裝置的轉移點組合表的一例 的圖。圖15 (A) (E)是用于說明實施方式6的圖像語音記錄裝置的 CM廣播區間檢測動作的圖。圖16是表示實施方式6的圖像語音記錄裝置的CM廣播區間檢測動 作的流程圖。圖17 (A) (C)是表示本發明的實施方式7的圖像語音記錄裝置 的轉移點檢測方法的圖。圖18是表示本發明的實施方式8的圖像語音記錄裝置的CM之間的 無音時間長度的測定結果的曲線圖。圖19是表示在實施方式8的圖像語音記錄裝置中從CM轉入節目本體時的無音時間長度的測定結果的曲線圖。圖20是表示在實施方式8的圖像語音記錄裝置中利用無音時間長度的CM廣播區間檢測動作的流程圖。圖21是表示在本發明的實施方式9的圖像語音記錄裝置中利用場景 轉換差異值的CM廣播區間檢測動作的流程圖。圖22是用于說明在實施方式9的圖像語音記錄裝置中利用場景轉換 差異值的CM廣播區間檢測動作的圖。圖23是用于說明實施方式10的圖像語音記錄裝置的動作的圖。符號說明100圖像記錄裝置；101編碼部；102錄制控制部；103流控制部； 104流緩沖器；105 HDD; IIO場景轉換提取部；lll解碼部；112直方圖 生成器；113第1直方圖緩沖器；114第2直方圖緩沖器；115差值提取 器；116場景轉換判定器；120場景轉換命令控制部；121 API部；122 命令緩沖器；123場景轉換提取結果緩沖器；124狀態控制部；301像素 尺寸檢測部；302次數確定部；303 DCT系數提取部；304IDCT部；305 圖像整形部；306使用片(slice)確定部；307首部(header)檢測部； 308逆量化部；l天線；2調諧器；3視頻A/D轉換部；4音頻A/D轉換 部；5視頻編碼器；6音頻編碼器；7多路復用器(Mux); 8錄制控制部； 9流控制部；IO文件系統部；11 HDD; 12導航部；13場景轉換檢測部； 14無音檢測部；15轉移點檢測部；16 CM濾波器；17流緩沖器；18轉移點組合表；19轉移點匹配緩沖器；20圖像語音記錄裝置；31a.....31m無音區間；32a、…、32o場景轉換；33a、…、33i轉移點；34a、…、 34c檢測到的CM; 35檢測到的CM廣播區間；51a從節目本體轉入CM 廣播區間的時間點的轉移點；51b、 ...、 51e CM之間的轉移點；51f從 CM廣播區間轉入節目本體的時間點的轉移點。
具體實施方式
實施方式1圖1是表示本發明的實施方式1的圖像記錄裝置100的結構的框圖。如圖1所示，圖像記錄裝置100具有作為編碼單元的編碼部101，對從未圖示的調諧器或外部輸入的輸入圖像數據進行基于MPEG—2 (Moving Picture Experts Group:運動圖像專家組)的編碼；作為記錄單元的HDD (硬盤驅動器)105，記錄通過編碼部101生成的編碼流；以及作為流控 制單元的流控制部103，進行對HDD105穩定地進行編碼流的寫入和讀 出的流控制。并且，圖像記錄裝置100具有作為臨時存儲單元的流緩 沖器104，由流控制部103臨時存儲編碼流；作為錄制控制單元的錄制控 制部102，對編碼部101指示編碼的開始/結束等；以及作為圖像變化點 提取單元的場景轉換提取部110，從通過編碼部101生成的編碼流中提取 場景轉換。圖1示出了作為記錄單元的HDD105，但記錄單元也可以是 DVD那樣的光盤和磁帶等其他信息記錄介質。并且，圖像記錄裝置100 也可以是DVD/HDD復合記錄器。另外，圖像記錄裝置100不限于家庭 用的視頻記錄器，也可以適用于個人計算機、圖像服務器或監視系統用 的監視記錄器等各種用途。作為編碼部101的編碼方式的MPEG—2對應于可變速率，因此在1 秒期間產生的編碼量(位率)因時間而大幅變動。因此，流控制部103 使流緩沖器104臨時保持編碼流，以使編碼流不會通過向HDD105寫入 數據和從HDD105讀出數據而上溢或下溢，根據HDD105的狀態，進行 向HDD105寫入編碼流和從HDD105讀出編碼流。流緩沖器104利用環 形緩沖器構成，利用寫入位置指針和讀出位置指針管理有效的數據區域。 即，在寫入數據時，將寫入位置指針置于前頭進行數據尺寸量的寫入， 使寫入位置指針前進所寫入的數據尺寸量。另一方面，在讀出數據時， 將讀出位置指針置于前頭進行數據尺寸量的讀出，使讀出位置指針前進 所讀出的數據尺寸量。但是，在到達環形緩沖器的結束位置時，進行使 指針返回前頭位置的處理。圖2是表示圖1所示的場景轉換提取部110的結構的框圖。如圖2 所示，場景轉換提取部110具有作為解碼單元的解碼部lll，進行所輸 入的編碼流的解碼；作為直方圖生成單元的直方圖生成器112，生成所解 碼的圖像數據的直方圖；第1直方圖緩沖器113和第2直方圖緩沖器114，保持通過直方圖生成器112生成的直方圖；以及作為差值提取單元的差 值提取器115，求出保持在第1直方圖緩沖器113中的直方圖與保持在第 2直方圖緩沖器114中的直方圖之間的差異。并且，場景轉換提取部110 具有作為場景轉換判定單元的場景轉換判定器116，比較通過差值提取 器115求出的差異值和預先設定的閾值；以及作為場景轉換命令控制單 元的場景轉換命令控制部120，根據來自錄制控制部102的場景轉換開始命令等控制信號，控制場景轉換提取部iio。下面，說明圖像記錄裝置100的錄制動作。在錄制開始后，錄制控 制部102向編碼部101輸出控制信號C^來指示開始編碼，編碼部101 開始所輸入的圖像數據PiN的編碼處理。編碼部101例如每當作為編碼單 位的GOP (Group of Pictures:圖像組)的編碼結束時，向錄制控制部102 發送GOP編碼結束通知IEN。流控制部103將流緩沖器104的寫入位置 指針置于前頭并依次寫入通過編碼部101編碼的編碼流。另一方面，流 控制部103 —面確認HDD105處于寫入狀態， 一面從流緩沖器104的讀 出位置指針讀出編碼流，向HDD105進行寫入。在執行錄制的期間，重 復進行所述動作。在錄制結束時，錄制控制部102指示編碼部101結束 編碼，編碼部101停止編碼。流控制部103將殘留在流緩沖器104中的 編碼流全部寫入HDD105。下面，說明一面進行錄制一面提取場景轉換的方法。錄制控制部102 例如每當從編碼部101接收GOP的編碼結束通知Im時，向場景轉換提 取部110發送場景轉換提取命令Csc。場景轉換提取命令Csc作為解碼開 始命令CDE經由場景轉換提取部110內的場景轉換控制部120，被發送給 解碼部111。解碼部111經由流控制部103從流緩沖器104調出編碼流 PST，開始解碼。通過解碼部lli從MPEG—2解碼為YUV的圖像數據被 輸入直方圖生成器112，通過直方圖生成器112根據圖像數據的YUV的 各個區段中包含的計數，生成直方圖。其中，用于生成直方圖的區段劃 分，包括按照一定間隔劃分值的可取范圍的方法，或者預先設定多個閾 值并根據相對于各個閾值的大小關系進行區段劃分的方法等。并且，此 處說明對亮度分量Y和色差分量U、 V的全部分量生成直方圖的情況，但也可以采用只對亮度分量Y生成直方圖的方法。并且，對亮度分量Y 和色差分量U、 V的全部分量生成直方圖，但也可以采用對色差分量U 和V施加權重而使區段劃分變劇烈的方法。此外，直方圖的區段劃分的 方法不限于以上說明的示例，也可以采用其他的區段劃分方法。通過直方圖生成器112生成的直方圖，被交替發送到第1直方圖緩 沖器113或第2直方圖緩沖器114中進行保持。差值提取器115使用交 替存儲在第1直方圖緩沖器113和第2直方圖緩沖器114中的直方圖， 進行當前的圖像數據與前一個圖像數據的圖像比較(例如，進行當前幀 的圖像數據與前一個幀的圖像數據的比較)，求出差異值。關于求出兩個 直方圖的差異值的方法，例如有對所有分量累計兩個直方圖對應的分量 的值之差的方法。在此，把第i個圖像的直方圖設為Hi，Hi,(l)，hi(2)，…,hi(K》利用下式求出第i個圖像的直方圖Hi與前一個第i一 1個圖像的直方 圖Hi-t的差異值d。其中，K為預定的正整數。[式l]其中，N為l幀內的像素數。由此，差異值d取0到l的值，如果 第i個幀的圖像與第i一l個幀的圖像是相同圖像，則差異值d為0，如果 第i個幀的圖像與第i一l個幀的圖像的差異較大，則差異值d接近l。通過差值提取器115求出的差異值d被發送給場景轉換判定器116， 并與預先通過場景轉換命令控制部120設定的閾值ETH比較，如果是大于 所設定的閾值ETH的值，則判定為場景轉換，把該判定結果Rsc發送給場 景轉換命令控制部120。另外，在錄制結束時等，把判定結果Rsc發送給 錄制控制部102。如以上說明的那樣，每當通過編碼部101結束GOP的編碼時(即， 在實施方式1中，與GOP的編碼結束同步)，在從圖像的錄制開始到結 束的期間持續進行通過場景轉換提取部110進行場景轉換判定的處理，由此可以一面錄制圖像流PST—面提取圖像流PST的場景轉換。即，每當作為編碼的最小單位的GOP的編碼結束時執行場景轉換提取處理，所以能夠與編碼并行地進行場景轉換提取。并且，由于實時地進行場景轉換提取，所以可以把不具有場景轉換 提取功能的編碼器用作編碼部IOI。因此，在選定圖像記錄裝置中采用的 編碼器時，可以選擇不具有場景轉換提取功能的編碼器，編碼器的選擇 范圍擴大，能夠選擇重視成本和可購性的編碼器。并且，在分析已經存儲在HDD等中的編碼流來提取場景轉換的方法中，除場景轉換的分析時間之外，還需要從存儲裝置即HDD讀出編碼流 的時間。但是，在實施方式1的圖像記錄裝置100中，從寫入和讀出速 度比HDD105快的、臨時存儲流的流緩沖器104 (通常使用易失性半導 體存儲器)讀出，所以能夠快速讀出，從而處理時間變快。并且，場景轉換提取部110不受編碼部101 (編碼器)的動作的影響， 所以即使編碼器的類型或規格變更，也能夠將場景轉換的提取基準保持 在一定范圍內。并且，實施方式1的圖像記錄裝置除能夠與錄制并行地提取場景轉 換的功能外，還具有直接分析編碼流的功能。因此，對于直接記錄在HDD 中的編碼流，通過流控制部103讀出編碼流也可以進行場景轉換提取。另外，也可以不采用通常利用硬件構成的編碼器芯片內的場景轉換 功能，而只利用錄制再現裝置的固件構成，所以可以比較容易地改變場 景轉換提取用的算法，或者根據錄制再現裝置的狀態等動態地變更場景 轉換提取處理的狀態遷移和閾值。例如，可以采用以下控制方法，在輸入圖像數據是CM圖像數據的 期間，增大場景轉換的判定閾值eth，使得難以判定為場景轉換，從而不 執行對CM圖像數據的場景轉換檢測。并且，還可以釆用以下控制方法，著眼于在場景轉換中存在語音信 號成為無音的瞬間，在語音信號為無音(即，低于預定閾值的水平)時， 減小場景轉換的判定閾值Eth，由此在檢測場景轉換時不僅考慮到圖像數 據還考慮到語音數據，提高場景轉換的檢測精度。并且，在以上的說明中，把場景轉換提取單位設為1G0P，但也可 以把場景轉換提取單位設為多個GOP單位。并且，還可以把場景轉換提取單位設為一個或多個片單位或者一個或多個宏塊單位。并且，在以上的說明中，關于進行解碼處理的方法示出了基于軟件的示例，但也可以通過硬件來執行。 實施方式2本發明的實施方式2的圖像記錄裝置只有圖2所示的場景轉換命令 控制部120的結構和動作與實施方式1的圖像記錄裝置的不同。因此， 在實施方式2的說明中也參照圖1和圖2。實施方式2的圖像記錄裝置在與錄制并行地進行場景轉換提取時， 與GOP的編碼處理不同步地進行場景轉換提取動作。把該不同步地進行 的編碼處理簡稱為"不同步處理"。該不同步處理也可以在以下狀態下執 行，即，對編碼部101進行的編碼處理已結束的GOP執行的場景轉換提 取處理的開始定時未必與編碼處理的結束定時一致。不同步處理的實際 動作是以下方法，即，在著眼于某個GOP時，在編碼處理結束后不馬上 進行場景轉換提取處理，而是在隔幵一會兒時間后執行場景轉換提取處 理。一般，在記錄圖像的裝置例如HDD/DVD復合記錄器等中，與錄制 動作并行進行再現和配音等那樣的裝置，可能產生CPU的負荷上升的動 作。并且，由用戶不定期地進行的動作、例如DVD的托盤打開、功能設 定畫面的顯示以及電子節目表的瀏覽等動作，將導致裝置的臨時性CPU 負荷上升。在由于這些動作產生負荷上升時，由于進行場景轉換提取處 理，將無法保障能夠持續占用CPU，在等待其他處理結束的期間，有時 期望使場景轉換提取處理稍微變慢。另一方面，不能由于場景轉換提取 處理而妨礙裝置的基本功能即圖像的記錄功能，所以期望場景轉換提取 處理成為相比記錄處理降低優先度的處理。為了實現這種功能，在實施 方式2的圖像記錄裝置中構成為可以與錄制動作不同步地進行場景轉換 提取處理。圖3是表示實施方式2的圖像記錄裝置的場景轉換命令控制部120 (圖2所示)的結構的框圖。如圖3所示，場景轉換命令控制部120具 有從錄制控制部102接收命令的API (應用程序接口)部121;保持多個所接收的命令的命令緩沖器122;掌管場景轉換提取部的狀態遷移，并 處理所接收的命令的狀態控制部124;保持場景轉換提取結果和錯誤狀態并回送給錄制控制部102的場景轉換提取結果緩沖器123。實施方式2的圖像記錄裝置與實施方式1的圖像記錄裝置的不同之處是，從錄制控制部102發行的場景轉換提取命令被傳送給場景轉換命令控制部120內的 API部121，并暫時保持在命令緩沖器122中。命令緩沖器122可以保持 的命令的數量根據流緩沖器104的容量設定即可。例如只要如下構成即 可，即，假設流緩沖器104的尺寸為實施方式1所示的20M字節，則可 以臨時保持約15秒的編碼流(即假設每1GOP為15像素、時間長度為 0.5秒，則為30GOP的數據)，因此可以保持30個場景轉換提取命令。 如果命令緩沖器122可以保持30個場景轉換提取命令，而且流緩沖器104 中殘留有30GOP的數據，則意味著可以從最新GOP追溯到30個之前的 GOP進行場景轉換提取，也意味著可以進行30個GOP量的、即延遲15 秒后的場景轉換提取處理。場景轉換命令控制部120的場景轉換提取結 果緩沖器123，可以保持場景轉換提取部110的狀態控制部124執行的多 次場景轉換提取結果，只要假定可以保持與在命令緩沖器122中可以保 持的命令數量相同的數量即可。由此，在先行的GOP的場景轉換提取處理沒有結束的狀態下(例如， 由于用戶進行了已經錄制的流的再現請求，所以系統的負荷上升，使得 場景轉換提取處理未能結束的情況下)，在下一個GOP的編碼結束，并 從錄制控制部102發行了場景轉換提取命令的情況下，新的場景轉換提 取命令被保持到命令緩沖器122中。根據保持在命令緩沖器122中的場 景轉換提取命令，在當前正在執行的場景轉換提取處理結束后，可以執 行先行的GOP的場景轉換提取處理，所以能夠防止由于每當進行GOP 編碼時場景轉換提取處理未結束而不能執行下一個場景轉換提取處理的 問題。下面，使用圖4、圖5和圖6的流程圖，說明與錄制動作不同步動 作的場景轉換提取處理。首先，說明錄制控制部102的動作。在圖像記 錄裝置IOO被接通電源后，系統起動(步驟S201)，定期進行系統結束的確認(步驟S202)和錄制開始的確認(步驟S204)，如果有系統結束的 請求，則轉入系統結束(步驟S202)。另一方面，如果有錄制開始的請求， 則對場景轉換命令控制部120進行錄制開始命令的發行(步驟S205)。在 發行錄制開始命令后，確認錄制結束(步驟S206)，如果錄制結束，則對 場景轉換命令控制部120發行錄制結束命令(步驟S207)。在錄制狀態下， 如果GOP單位的編碼結束(步驟S208)，則對場景轉換命令控制部120 發行場景轉換檢測命令(步驟S209)。 GOP編碼檢測(步驟S208) —直 持續到錄制結束。從錄制控制部102發行的控制命令，在場景轉換命令 控制部120的API部121內進行處理。在發行場景轉換控制命令Csc后， 檢查命令緩沖器122的空閑狀況(步驟S223)，如果命令緩沖器122有空 閑，則在命令緩沖器122中存儲命令(步驟S224)。包括不能在命令緩沖 器122中存儲的情況在內，然后從場景轉換狀態控制部124獲取存儲在 場景轉換結果緩沖器123中的場景轉換提取結果(步驟S225)。最后，將 場景轉換提取結果和是否已接收到命令回送給錄制控制部102 (步驟 S226)。另一方面，在場景轉換狀態控制部124起動電源后(步驟S241)， 處于命令等待狀態(步驟S242)，如果所接收的命令是系統結束(步驟 S243)，則轉入系統結束(步驟S245)。并且，如果命令是錄制開始命令 (步驟S252)，則執行錄制開始用的例如存儲器的確保和變量的初始化等 錄制開始處理(步驟S253)，如果是錄制結束命令(步驟S254)，則進行 例如己確保的存儲器的開放和將場景轉換提取結果發送給錄制控制部 102的錄制結束處理(步驟S255)。另一方面，如果所接收的命令是場景 轉換提取命令，則以場景轉換提取命令附帶的編碼流在流緩沖器104中 的前頭地址為基礎，進行編碼流的解碼(步驟S246)。根據通過解碼部 111轉換為YUV的圖像數據生成直方圖(步驟S247)，把該直方圖存儲 在第1直方圖緩沖器113 (或第2直方圖緩沖器114)中(步驟S248)。 求出所生成的直方圖與存儲在第2直方圖緩沖器114 (或第1直方圖緩沖 器113)中的前一個圖像的直方圖的差異值(步驟S249)，如果在預先設 定的閾值以上，則判定為場景轉換(步驟S250)。把該結果存儲在結果緩沖器123中(步驟S251)。在針對一個GOP的場景轉換提取處理結束后，轉入命令等待以便進 行下一個處理(步驟S242)。在此，如果命令緩沖器122中已經存儲有命 令，則馬上開始下一個GOP的分析，但是如果還沒有設定下一個命令緩 沖器，則繼續命令等待(步驟S242)。在實施方式2的圖像記錄裝置中，進行場景轉換提取的軟件模塊的 任務或線程(thread)的優先度比進行錄制再現的模塊組低。其原因是進 行場景轉換提取的模塊伴隨有MPEG的軟件解碼處理，所以處理負荷非 常高，雖然沒有圖示，但是占用處理軟件的CPU的時間遠遠多于其他模 塊。因此，如果把場景轉換提取模塊的優先度設為與錄制再現模塊的優 先度相同或在其之上，則在錄制再現時將占用許多CPU的處理時間，因 此與圖像記錄相關的模塊處理延遲，結果有可能產生不能記錄或再現的 問題。另外，通過用戶輸入而動作的模塊，例如掌管鍵輸入、畫面顯示 等的模塊的動作，同樣可以假定通過場景轉換提取模塊使其動作延遲。 因此，期望場景轉換提取模塊的優先度低于其他模塊的優先度。另一方 面，如果不對后面通過錄制生成的GOP執行場景轉換的分析，則不能進 行場景轉換檢測。但是，編碼部101的編碼處理實時地進行，所生成的 編碼流被臨時保持在流緩沖器104中，以便向HDD105進行寫入。因此， 在編碼流被保持在流緩沖器104中的期間，如果場景轉換模塊處理流緩 沖器104中的編碼流，則能夠對全部GOP進行場景轉換提取處理。實際上在持續進行場景轉換提取動作的過程中，例如假定起動了用 戶對其他節目的再現請求和EPG節目表的顯示等導致系統負荷較大的處 理的情況。在執行先行的GOP的場景轉換提取時產生較大負荷，在該處 理的進行不怎么前進的狀況下，從編碼部101向錄制控制部102傳遞下 一個GOP的編碼結束通知。錄制控制部102馬上對場景轉換提取部110 的場景轉換命令控制部120發行場景轉換提取命令。場景轉換命令控制 部120的API部監視命令緩沖器的空閑(步驟S223)，如果有空閑，則 在命令緩沖器中存儲場景轉換提取命令。場景轉換命令控制部120只進 行場景轉換提取命令的存儲，并馬上向錄制控制部102回送返回。另外，在下一個GOP的編碼結束之前，如果先行的GOP的場景轉換提取沒有結束，則針對再下一個GOP的場景轉換提取命令也存儲在命令緩沖器中。然后，在場景轉換提取結束后，場景轉換狀態控制部轉入命令等待(步驟S242)，從命令緩沖器接收最早的命令，開始執行下一個GOP的場景 轉換提取。然后，在系統的負荷處于恒定狀態時，場景轉換提取處理的 處理頻次增加，依次執行命令緩沖器的延遲的命令。但是，該延遲所允 許的最大數量為20GOP量，在產生了該量以上的場景轉換處理請求時， 命令緩沖器沒有命令的空閑，所以不對相應的GOP執行場景轉換處理。 此時，錄制控制部102可以執行任何錯誤處理，也可以因為裝置的主要 目的即正常進行錄制動作，所以不執行錯誤處理而繼續原來的處理。這樣，通過分析臨時保持在流緩沖器104中的流，并且緩沖從錄制 控制部102發行的命令，不需要一定每當編碼圖像時對被編碼的流執行 場景轉換提取，可以進行延遲處理。因此，不需要連續處理錄制控制部 102的編碼處理的編碼單位和場景轉換提取部120的分析單位，由此，可 以把編碼處理和場景轉換處理設計為獨立的處理單位。并且，錄制控制部102和場景轉換提取部120可以獨立動作，通過 使場景轉換提取部120的處理優先度低于與錄制相關的處理的優先度， 可以借助處理時間較長的場景轉換提取部120的動作使錄制控制部102 的處理延遲，從而不會產生對普通的錄制處理產生影響這樣的不良影響。并且，由于場景轉換提取處理可以進行延遲處理，所以在場景轉換 提取處理由于系統的臨時性負荷上升而不能在GOP的再現時間內完成 時、以及處理未轉入場景轉換提取處理時，可以使用存儲在命令緩沖器 122中的場景轉換提取命令，依次對過去被編碼的流執行提取處理，所以 能夠避免場景轉換提取處理被跳過而未執行的問題。另外，上述場景轉換提取處理可以延遲的時間或次數，根據流緩沖 器104和命令緩沖器的數量確定。并且，在實施方式2中，上述以外的情況與上述實施方式1所示的 情況相同。實施方式3本發明的實施方式3的圖像記錄裝置確定了實施方式1的圖像記錄 裝置的解碼部111的結構，這一點與實施方式1的圖像記錄裝置不同。 因此，在實施方式3的說明中也參照圖l和圖2。圖7是表示圖1的解碼部111的結構的框圖。實施方式3的圖像記 錄裝置的特征在于圖7所示的方法，在從編碼流進行場景轉換的提取處 理時的解碼處理中，控制DCT (離散余弦轉換)系數的解碼次數。如圖 7所示，解碼部1U具有像素尺寸檢測部301，根據所輸入的編碼流的 首部求出像素尺寸；次數確定部302，根據通過像素尺寸檢測部301檢測 到的像素尺寸確定DCT塊的使用分量(次數)；DCT系數提取部303， 對編碼流進行逆量化直到通過次數確定部302確定的次數，同吋提取DCT 系數；IDCT部304，根據所提取的DCT系數執行逆DCT;以及圖像整 形部305，縮減通過按照削減后的次數執行的逆DCT而離散化的像素數 據，生成縮小的圖像。圖8 (A) (D)是用于說明實施方式3的圖像記錄裝置的DCT 系數削減處理的圖。圖8 (A)表示編碼流像素尺寸，圖8 (B)表示DCT 塊(使用2x2時)禾卩DCT塊(使用4x4時)，圖8 (C)表示已解碼DCT 塊(將2x2以外設為無效時)和已解碼DCT塊(將4x4以外設為無效時)， 圖8 (D)表示解碼圖像。在實施方式3中，說明能夠根據用戶要求從 704x480像素和352x240像素選擇將要編碼的圖像的像素尺寸的圖像記 錄裝置。因此，被輸入到解碼部111的流存在704x480像素的編碼流或 352x240像素的編碼流這兩種像素尺寸的流。在解碼部111被輸入編碼流 后，首先像素尺寸檢測部301進行編碼流的像素尺寸的檢測，把所檢測 的像素尺寸發送給次數確定部302。次數確定部302根據所檢測的像素尺 寸，確定編碼流中包含的DCT系數中將要處理的次數De。例如，在 704x480像素的編碼流時，預先設定處理到DCT塊內的次數2;在352x240 像素的編碼流時，預先設定處理到次數4。按照該次數，DCT系數提取 部303和IDCT部304設定作為DCT塊的處理對象的次數并進行解碼。 從IDCT部304輸出的已解碼的圖像數據，以DCT塊單位進行DCT系數 的間取，所以將已解碼的DCT塊接合而生成的己解碼的圖像的像素成為離散的圖像。像素整形部305對該像素之間離散的圖像進行縮減像素間隙的處理。由此，已解碼的圖像在704x480像素的編碼流時成為176x120 像素，在352x240像素的編碼流時成為176x120像素，盡管所輸入的編 碼流的像素尺寸不同，但是能夠獲得相同尺寸的圖像。只要將這樣解碼 后的圖像發送給后面的直方圖生成器112，即可進行與實施方式1相同的 場景轉換的檢測。艮P，在實施方式3中，通過對解碼部111附加進行DCT系數控制的 功能，即使通過編碼部101被編碼為不同像素尺寸的編碼流，在場景轉 換提取中使用的圖像也能夠實現相同的像素尺寸，并且能夠將在場景轉 換提取中作為分析對象的圖像的頻帶的上限調整為相同頻帶。并且，在 直方圖生成器112以后，能夠始終對相同像素尺寸的編碼流進行場景轉 換提取，所以后面的直方圖生成器112以后的處理能夠進行不依賴于像 素尺寸的相同處理。通過形成上述結構，即使在編碼流的像素尺寸不同時，也能夠獲得 被解碼為相同或大致相同的像素尺寸的圖像。并且，在編碼流的像素尺寸不同時，也能夠對相同像素尺寸的解碼 后的圖像進行場景轉換提取處理，所以對于編碼流的像素尺寸不同的流， 也能夠使用相同的場景轉換的評價方法和評價基準，從而在改變像素尺 寸來錄制相同圖像的情況下，也能夠把相同時間位置檢測為場景轉換。并且，通過對像素尺寸不同的編碼流控制DCT系數，可以調整已解碼的圖像的頻帶，所以在改變像素尺寸來錄制相同圖像的情況下，能夠 把相同時間位置檢測為場景轉換。并且，能夠對應高分辨率的編碼數據地增多間取，所以對于花費處 理時間的高分辨率的編碼數據，也能夠快速地進行場景轉換提取。并且，由于構成為對應高分辨率的編碼數據地間取高頻的次數，所 以能夠對應比較容易產生高頻噪聲的高分辨率的編碼數據有效去除噪 聲。并且，生成與分辨率無關的相同的解碼圖像，所以能夠使存儲解碼 圖像的存儲器尺寸相同。并且，對應為了存儲原來的解碼圖像而需要較大存儲器尺寸的高分 辨率圖像進行間取處理，所以能夠減小為了解碼處理而應預先準備的存 儲器區域。另外，在實施方式3中，上述以外的情況與上述實施方式1和2的 情況相同。實施方式4本發明的實施方式4的圖像記錄裝置確定了實施方式1的圖像記錄裝置的解碼部111的結構，這一點與實施方式1的圖像記錄裝置不同。因此，在實施方式4的說明中也參照圖l和圖2。圖9是表示本發明的實施方式4的圖像記錄裝置的解碼部的結構的 框圖。使用圖9說明在從編碼流進行場景轉換的提取處理時的解碼處理 中，限定執行解碼的片的處理。實施方式4的圖像記錄裝置的解碼部111具有像素尺寸檢測部301，根據所輸入的編碼流的首部求出像素尺寸；使用片確定部306，根據像素尺寸檢測部301檢測到的像素尺寸，確定作 為場景轉換提取的處理對象的片；分析編碼流的首部的首部檢測部307; 進行編碼流的逆量化的逆量化部308;以及對被轉換為頻率區域的系數值 進行逆DCT處理的IDCT部304。下面，說明與片削減并行動作的場景轉換提取處理的動作。像素尺 寸檢測部301進行像素尺寸的檢測，使用片確定部306確定將要使用的 片。在此，例如在編碼部101生成的編碼流的分辨率只存在720x480像 素和352x240像素這兩種時，在垂直方向的像素數為480時，不使用上 下5片、即(16像素x5片)x2二80像素x2;在像素數為240時，不使 用上下2片、即(16像素x2片)x2-32像素x2。此處根據分辨率而不 使用的像素數不同，但作為相對于垂直方向的比率，在480像素時相對 于總計30片不使用10片，所以不使用1/3;在240像素時相對于總計15 片不使用4片，所以不使用4/15，從而可知把大致相同的比率設為場景 轉換提取對象。這樣在使用片確定部306中求出將要使用的片數，首部檢測部307 分析編碼流的首部，每當提取片首部時，如果是由前面的使用片確定部306判定為不使用片的片，則跳至下一個片首部，而如果是將要使用的片，則將相應的片發送給逆量化部308。逆量化部308進行編碼流的逆量化， IDCT部304執行逆DCT。根據上述結構，只對將要使用的片進行解碼處 理，結果，如果垂直分辨率是480像素，則可以求出垂直分辨率320像 素的圖像；如果垂直分辨率是240像素，則可以求出垂直172像素的解 碼后的圖像。針對通過解碼部111按照上述方式在垂直方向削減并解碼 后的圖像，直方圖生成器112以與有效片區域相同位置的像素為對象生 成直方圖。為了由差值提取器115導出將要求出的差異值d，利用表示幀 內的像素數的N (1幀內的像素數)。在實施方式4中，由于在垂直方向 削減了像素，所以按照下述方式校正幀內的像素數N。首先，如果原來 是垂直分辨率720像素，則削減后的垂直分辨率為320像素，水平分辨 率為720像素，那么N=320x720 = 230400。并且，在垂直分辨率240像 素時，如果削減后的垂直分辨率為172像素，水平分辨率為352像素， 則校正為N二172x352二60544。使用在進行該校正后求出的差異值d，場 景轉換判定器116可以進行與實施方式1相同的場景轉換判定。在上述說明中，設定了是否以片單位進行解碼，但是也可以以像素 位置或宏塊單位設定在場景轉換中使用的區域。在該情況下，由于能夠 確定檢測場景轉換的位置，所以能夠提高檢測精度。并且，在對每個像 素設定是否進行場景轉換提取的情況下，可以通過對所有像素進行解碼 并獲取解碼后想要提取的區域的直方圖以及直方圖的差異值來實現，但 是如果以宏塊單位指定檢測單位，由于能夠在首部檢測部或解碼處理部 中控制是否以宏塊單位執行處理，所以能夠構成為不執行不必要的解碼， 可以提高處理速度。通過按照上述方式構成，能夠以片單位削減將要解碼和場景轉換提 取的像素尺寸，所以能夠實現處理的快速化。并且，通過片的削減，解碼后的圖像的尺寸也變小，所以使用的存 儲器尺寸也變小。并且，如果檢測場景轉換的對象是廣播節目，則通過構成為不使用 圖像的上下位置的片，可以不影響到與節目本體的關聯性較低、或者不怎么重要的信息即時間顯示、臨時新聞的文字顯示或字幕等地，進行場 景轉換提取。并且，通過以宏塊單位指定執行解碼和場景轉換提取處理，可以只 對任意一個或多個宏塊進行場景轉換檢測，可以進行已確定位置的場景 轉換提取。另外，在實施方式4中，上述以外的情況與上述實施方式1 3的情況相同。實施方式5實施方式5的圖像記錄裝置的差值提取器115的動作與實施方式1 的圖像記錄裝置不同。因此，在實施方式5的說明中也參照圖1和圖2。在實施方式5中，說明根據作為場景轉換提取對象的圖像來切換場 景轉換的判定基準的方法。圖IO表示圖像的像素值的YUV分布。 一般， YUV分別利用256值表述，亮度信號Y取0 255的值，色差信號U和 V取一128 127的值。此時，在圖10中，分別利用W和B表示人的眼 睛大致感覺為白色的區域和大致感覺為黑色的區域。在實施方式5中， 其目的在于，在作為提取對象的圖像是總體上接近白色的顏色區域較多 的圖像(以下也稱為"白色圖像")時，在區域W以外的區域中計算差異 值；在是總體上接近黑色的顏色區域較多的圖像(以下也稱為"黑色圖 像")時，在區域B以外的區域中計算差異值，利用這種方法，即使將要 比較的兩個圖像是較為近似的圖像也能夠可靠地檢測場景轉換。圖11利用流程圖表示實施方式5的差值提取器115的動作。首先， 從第1直方圖緩沖器113和第2直方圖緩沖器114獲取第i個幀(以下也 稱為"i幀")和第i一l個幀(以下也稱為"i一l幀")的直方圖(步驟S301)。 然后，計數各個幀的白色區域W的像素數(步驟S302)。 i幀和i一l幀 的白色像素數Cwi、 CWi—,利用下式表示。式2<formula>formula see original document page 28</formula>然后，利用下式求出白色區域W的累計差異rw (步驟S303)。式3<formula>formula see original document page 29</formula>另一方面，對于黑色區域B，也同樣利用下式求出黑色像素數CBi、CBi—!(步驟S304)。 式4<formula>formula see original document page 29</formula>并且，利用下式求出黑色區域B的累計差異fB (步驟S305)。 式5<formula>formula see original document page 29</formula>然后，如果i幀和i一l幀都滿足以下條件式，則判斷是接近白色的顏色區域較多的圖像(也稱為"白色圖像")(步驟S306)。 Cw—MAX > CWi > Cw—MIN，并且 CW—MAX > Cwi—i > Cw—MIN上述關于判定為總體上接近白色的顏色區域較多的圖像的條件，把 白色區域W的像素數大于下限Cw—MIN小于上限Cw—MAX作為條件。 這樣，白色像素數不僅滿足大于下限還設計上限的理由如下，在白色像 素數大于某個值時，接近白色的顏色區域以外的像素數非常少，避免利 用相對于總體像素數非常少的白色以外的像素對圖像總體的場景轉換進 行判定。如果能夠滿足上述條件，則利用下式對除白色區域W之外的區域求 出差異值(步驟S307)。 式6<formula>formula see original document page 29</formula>另一方面，在未判斷為接近白色的顏色區域較多的圖像時，利用以下條件式判定是否是接近黑色的顏色區域較多的圖像(步驟S308)。 CB—MAX > CBi > CB—MIN，并且 CB MAX > CBw > CB MIN上述關于判定為接近黑色的顏色區域較多的圖像的條件，把黑色區域B的像素數大于下限CB—MIN小于上限CB—MAX作為條件。如果能夠 滿足上述條件，則利用下式對除黑色區域B之外的區域求出差異值(步 驟S309)。另一方面，在未判斷為接近白色的顏色區域較多的圖像，而且也未 判斷為接近黑色的顏色區域較多的圖像時，利用實施方式1所示的差異 值的導出式求出差異值(步驟S310)。使用以上求出的差異值d，與實施方式1所示的方法相同地，通過 場景轉換判定器116進行場景轉換的判定。通過上述動作，如果將要比較的兩個圖像都是接近白色的顏色區域 較多的圖像，則能夠在除白色區域W之外的區域中比較圖像的變化，另 一方面，如果將要比較的兩個圖像都是接近黑色的顏色區域較多的圖像， 則能夠在除黑色區域B之外的區域中比較圖像的變化，所以能夠提取除 特定顏色區域之外的圖像的場景轉換。因此，在總體上接近白色的顏色區域較多的圖像或接近黑色的顏色 區域較多的圖像連續的場景中，也能夠檢測場景轉換。尤其在廣播節目的CM (CommercialMessage)之間的連接處，在從白色背景(或黑色背景)下顯示企業名稱或產品名稱的場景、切換為同 樣在白色背景(或黑色背景)下顯示不同的企業名稱或產品名稱的場景 時，在除白色背景或黑色背景之外的區域中進行場景轉換判定，結果， 能夠根據企業名稱或產品名稱的區域檢測為場景轉換，能夠在檢測CM 的區分時非常有效地動作。另外，在實施方式5中，上述以外的情況與上述實施方式1 4的情況相同。實施方式6圖12是簡要表示本發明的實施方式6的圖像語音記錄裝置20的結構的框圖。如圖12所示，圖像語音記錄裝置20具有調諧器2，從通過 天線1接收到的廣播波中選擇將要錄制的廣播節目；視頻A/D轉換部3， 將從調諧器2輸出的模擬圖像信號數字化；音頻A/D轉換部4，將從調 諧器2輸出的模擬語音信號數字化；作為編碼單元的視頻編碼器5，把數 字圖像信號壓縮編碼為MPEG—2 (Moving Picture Experts Group—2); 作為編碼單元的音頻編碼器6，把數字語音信號編碼為例如線性PCM (Linear pulse code modulation:脈沖編碼調制)或杜比數字(Dolby Digital);多路復用器(Multiplexer)(以下也記為"Mux") 7，將編碼后的 圖像和語音信號多路復用為1個編碼流；以及錄制控制部8，控制視頻編 碼器5、音頻編碼器6以及Mux7。并且，圖像語音記錄裝置20具有記錄編碼流的作為記錄單元的硬 盤驅動器(HDD) 11;作為流控制單元的流控制部9，把通過Mux7多路 復用的編碼流穩定地寫入HDD11;臨時存儲編碼流的流緩沖器17;文件 系統部10，把所生成的各個編碼流作為文件保存在HDDll中；以及導航 部12，生成并管理所生成的編碼流的節目名稱和生成日期時間、以及用 于實現特殊再現的地址信息和后述的CM區間信息。另外，圖像語音記錄裝置20具有作為圖像變化點檢測單元的場景 轉換檢測部13，檢測圖像的場面轉換場景；作為無音檢測單元的無音檢 測部14，檢測語音的無音區間；作為轉移點檢測單元的轉移點檢測部15， 檢測場景轉換和無音區間同時發生的轉移點；作為臨時存儲單元的轉移 點匹配緩沖器19，設于轉移點檢測部15內，保持場景轉換和無音區間的 信息，以便檢測轉移點；作為CM廣播區間判定單元的CM濾波器16， 根據CM固有的周期性等，從多個轉移點檢測CM區間；以及轉移點組 合表18，存儲通過CM濾波器16分析的轉移點。圖12示出了作為記錄單元的HDD105，但記錄單元也可以是DVD 那樣的光盤或磁帶等其他信息記錄介質。并且，圖像語音記錄裝置20也 可以是接收并錄制廣播節目的接收機或者DVD/HDD復合記錄器。另外， 圖像語音記錄裝置20不限于家庭用的視頻記錄器，也可以適用于個人計算機、圖像服務器或監視系統用的監視記錄器等各種用途。文件系統部10通過將寫入HDDll的信息文件化，進行用于使得能夠簡單地進行對寫入信息的存取的數據管理。根據文件系統部10，流控 制部9和導航部12在向HDDll寫入或者從HDDll讀出流或信息時，不 必在意HDDll上的直接地址，通過指定文件，可以從前頭起順序地或者 從指定位置順序地進行讀出和寫入。作為視頻編碼器5的編碼方式的MPEG—2對應于可變速率，因此 在l秒期間產生的編碼量(位率)因時間而大幅變動。因此，流控制部9 使流緩沖器17臨時保持編碼流，以使編碼流不會由于向HDD11寫入數 據和從HDDll讀出數據而上溢或下溢，根據HDD11的狀態，向HDDll 寫入編碼流和從HDDll讀出編碼流。流緩沖器17利用環形緩沖器構成， 利用寫入位置指針和讀出位置指針管理有效的數據區域。即，在寫入數 據時，將寫入位置指針置于前頭進行數據尺寸量的寫入，使寫入位置指 針前進所寫入的數據尺寸量。另一方面，在讀出數據時，將讀出位置指 針置于前頭進行數據尺寸量的讀出，使讀出位置指針前進所讀出的數據 尺寸量。但是，在到達環形緩沖器的結束位置時，進行使指針返回前頭 位置的處理。下面，說明記錄廣播節目的動作。在用戶手動按下錄制開始按鈕、 或者到達預先利用錄制定時器設定的錄制開始時間后，調諧器2從通過 天線1接收到的廣播波中選擇指定頻道。從調諧器2輸出的圖像和語音 的模擬信號，分別被發送給視頻A/D轉換部3和音頻A/D轉換部4，轉 換為數字圖像信號和數字語音信號。錄制控制部8在錄制開始時指示視 頻編碼器5和音頻編碼器6開始編碼，并指示Mux7開始多路復用處理。 這樣，從視頻A/D轉換部3或音頻A/D轉換部4輸出的數字圖像信號和 數字語音信號，依次通過視頻編碼器5和音頻編碼器6實施壓縮編碼處 理，另外，通過Mux7多路復用為1個程序流，并通過流控制部9 一面 進行流的控制一面記錄在HDDll中。視頻編碼器5在每當作為編碼單位的GOP (Group of Pictures)的編 碼結束時，向錄制控制部8發送GOP編碼結束通知。流控制部9將流緩沖器17的寫入位置指針置于前頭，依次寫入通過視頻編碼器5和音頻編碼器6編碼并通過Mux7多路復用的編碼流。另一方面，流控制部9 一 面確認HDD11處于寫入狀態， 一面從流緩沖器17的讀出位置指針讀出 編碼流，并向HDD11進行寫入。在執行錄制的期間，重復進行所述動作。 在錄制結束時，錄制控制部8指示視頻編碼器5和音頻編碼器6結束編 碼，使編碼停止。在停止編碼后，流控制部9將殘留在流緩沖器17中的 編碼流全部寫入HDDll。下面，說明場景轉換檢測和無音檢測。錄制控制部8每當從視頻編 碼器5接收到GOP的編碼結束時，向場景轉換檢測部13發送場景轉換 檢測命令。場景轉換檢測部13從流控制部9讀出編碼已結束的GOP數 據，進行圖像的場景轉換的檢測。作為檢測方法的一例有以下方法。首 先，根據所讀出的GOP單位的數據進行I像素的解碼，生成直方圖。將 該直方圖與前一個I像素的直方圖進行比較，把直方圖的各個要素值的絕 對值之差的合計定義為場景轉換差異值，如果該場景轉換差異值大于預 先設定的閾值，則判定是場景轉換。在以下的說明中，為了簡化說明， 假設構成GOP的像素數為固定的15個，該GOP的時間為0.5秒。因此， 發生場景轉換的時刻可以簡單地利用GOP的個數表示。音頻A/D轉換部4把模擬語音信號轉換為數字語音信號即線性PCM 信號。無音檢測部14在所輸入的線性PCM信號的振幅小于等于預先設 定的閾值的狀態持續預先設定的時間以上時，判定是無音區間。在此， 如果所輸入的線性PCM信號的振幅小于等于預先設定的閾值的狀態持續 300毫秒以上，則判定為發生了無音區間。作為無音區間的條件，需要使 線性PCM信號的振幅較低的狀態持續某個時間以上，其理由如下，為了 避免把瞬間的無音判定為無音區間，并且，每當發生無音時后述的CM 廣播區間檢測動作的頻次增多時，系統的處理負荷增大，有可能給CM 廣播區間檢測之外的動作帶來妨礙。在判定是無音區間的情況下，根據 從錄制開始后的采樣數的累計序號計算無音開始時刻。并且，在無音區 間持續的狀態下，線性PCM信號的振幅大于預先設定的閾值時，判定為 無音區間結束，同樣根據采樣數的累計序號計算無音結束時刻。圖13是表示圖12所示的圖像語音記錄裝置20的轉移點檢測部15 的動作的流程圖。轉移點檢測部15根據從場景轉換檢測部13發送的場 景轉換信息或從無音檢測部14發送的無音信息而切換動作。例如，在轉 移點檢測部15幵始動作后，場景轉換檢測部13進行場景轉換的檢測動 作(步驟S101)，將場景轉換檢測標志、GOP序號和場景轉換差異值作 為場景轉換信息發送給轉移點檢測部15，在步驟S101中檢測到的場景轉 換信息被保存在轉移點檢測部15內的轉移點匹配緩沖器19中(步驟 S102)。另一方面，在通過無音檢測部14檢測無音區間后(步驟S103)，將 無音檢測標志、無音發生時刻和無音結束時刻作為無音區間信息發送給 轉移點檢測部15。與在步驟S103中判定出的無音區間相關的無音信息， 被保存在轉移點檢測部15內的轉移點匹配緩沖器19中(步驟S104)。在 檢測到無音區間時，還在轉移點匹配緩沖器19中進行轉移點檢測，即進 行場景轉換和無音同時發生的時間位置的檢測(步驟S105)。每當檢測到 無音區間時進行轉移點檢測，這是因為在獲取場景轉換檢測區間和無音 區間的乘積信息時，從處理效率方面考慮，每當檢測到發生頻次比場景 轉換檢測低的無音區間時進行比較合適。在轉移點匹配緩沖器19中臨時 保持有最新的場景轉換和無音區間的信息，在雙方一致的情況下， 一致 的信息被發送到后續處理即步驟S106，并且該場景轉換信息和無音區間 信息以及此前的場景轉換信息和無音區間信息被廢棄。并且，在經過預 先設定的一定時間時，場景轉換信息和無音區間信息也被廢棄。通過這 種控制，即使是有限的緩沖器尺寸，也能夠實時地檢測場景轉換與無音 區間的一致。因此，在轉移點匹配緩沖器19中，對于在從無音區間的開 始時刻到結束時刻期間發生的場景轉換，能夠以場景轉換的GOP序號為 基礎檢測轉移點。并且，把場景轉換的GOP序號用作表示轉移點的時刻 的值。把這樣選擇出的轉移點、 一致的場景轉換的差異值以及無音的時 間長度發送給后面的CM濾波器16 (步驟S106)，并保存在CM濾波器 16內的轉移點存儲用的轉移點組合表18中，執行CM濾波器16的動作 (步驟S107)。下面，說明通過圖12所示的CM濾波器16檢測CM廣播區間的方 法。如圖12所示，在CM濾波器16內設有存儲與轉移點有關的信息的 轉移點組合表18。圖14是表示轉移點組合表18的一例的圖。轉移點組 合表18在與錄制并行執行的CM廣播區間檢測動作時被更新，所以取環 形緩沖器的結構。因此，從讀出指針到寫入指針前面是CM廣播區間檢 測用的處理范圍。在轉移點組合表18內設有表示轉移點的時間位置的 轉移點GOP序號；表示后續轉移點被視為CM時的最后轉移點的時間位 置的連接結束GOP序號；表示后續轉移點的個數的轉移點計數器；轉移 點的無音時間長度；轉移點的場景轉換差異值；以及表示該轉移點的有 效/無效的有效無效標志。轉移點GOP序號是檢測到場景轉換的GOP序號。在實施方式6中， 把場景轉換的檢測精度設為1G0P，所以能夠利用從錄制幵始后的GOP 的累計序號來表示時間。連接結束GOP序號是指以某個轉移點為基點的CM廣播區間的最后 轉移點的GOP序號。在圖14中，關于轉移點GOP序號'10'，由于在GOP序號'io'、 '4o'、 'ior中連續檢測到cm，所以gop序號'ior為連接結束GOP序號。在轉移點檢測部15中，在檢測到轉移點33g后，GOP序 號'130，與GOP序號'101，連接，從轉移點33b到轉移點33g被判定為CM 廣播區間。并且，在沒有轉移點GOP序號后續的轉移點時，連接結束 GOP序號為與轉移點GOP序號相同的值。轉移點計數器表示在CM廣播區間中CM通過轉移點連接時的轉移 點數量。無音時間長度利用毫秒單位表示轉移點的無音區間的長度。 場景轉換差異值利用0到1的值表示轉移點的場景轉換的變化量。 場景轉換差異值越大，意味著圖像的變化量越大。有效無效標志是在轉移點組合表內表示處理對象范圍的標志，在轉 移點被登記時，設定有效'l'，在CM濾波器16的處理中，例如像'40'這 樣與先行轉移點連接的轉移點被變更為無效'O，。并且，在某個轉移點偏 離處理對象范圍時，例如在檢測到'10'、 '40'、 '101'、 '131'作為CM區間的情況下，把'10，以前的'6'和'10'到'131'之間的所有轉移點'62'、 '83'設 為無效'O'，由此可以實現處理的快速化和轉移點組合表所需要的存儲器 尺寸的減小。在CM濾波器16中，分別比較轉移點組合表18的要素即轉移點， 抽取轉移點的間隔為預定的基準間隔、例如相當于15秒、30秒、60秒 或90秒的轉移點。此時，根據檢測誤差、CM的幀水平的長度偏差等， CM的長度有可能偏離15秒，因此把其允許誤差設為例如IGOP量。因 此，作為前面轉移點的間隔，可以利用GOP的個數表示有效的間隔，可 以像30GOP士1GOP、 60GOP土1GOP、 120GOP土1GOP禾B 180GOP土1GOP 這樣，利用設置有士IGOP的允許誤差的GOP的數量來表示。在CM濾波 器16中，把上述轉移點的間隔與按照上述方式預先設定的GOP間隔一 致的轉移點的間隔作為CM候選間隔。另外，在CM候選間隔連續兩個 以上時，把該區間作為CM廣播區間。圖15 (A) (E)是用于說明實施方式6的圖像語音記錄裝置20 的CM廣播區間檢測動作的圖。使用圖15 (A) (E)說明確定CM廣播區間的方法。說明通過無音檢測部14檢測到無音區間31a.....31m的情況。另一方面，如圖15 (B)所示，假設存在場景轉換32a、 ...、 32o。 關于無音區間，能夠獲得無音發生時刻和無音結束時刻，關于場景轉換 能夠獲得發生了場景轉換的GOP序號。在實施方式6中，使GOP的幀 數固定，所以能夠利用GOP序號唯一地表示時間。比較無音和場景轉換 的時刻，當在同一時刻發生了無音和場景轉換時，把該點設為轉移點。 在此，如圖15 (C)所示，檢測到轉移點33a、 ...、 33i。另外，在各個 轉移點33a、 ...、 33i之間，把與上述CM間隔一致的判定為CM。在此， 從轉移點33b到轉移點33c的間隔為30GOP，從轉移點33c到轉移點33f 的間隔為61GOP，從轉移點33f到轉移點33g的間隔為29GOP，所以各 自的區間被檢測為CM，另夕卜，由于CM連續持續3個，所以判定轉移點 33b、 ...、 33g是CM廣播區間。另外，在從轉移點33g經過201GOP后， 檢測到轉移點33i，但由于從轉移點33g到轉移點33i的間隔己超過預先 設定的CM廣播區間的最大值即180GOP，所以可以判斷為CM已結束，表示已結束CM廣播區間檢測。下面，使用圖16說明CM濾波器16的CM檢測處理步驟。在轉移 點檢測部15中檢測到場景轉換和無音區間同時發生的轉移點后，該信息 被發送給CM濾波器16，由此開始CM濾波器16的動作(步驟S401)。 所檢測的轉移點的信息被保存在CM濾波器16內的轉移點組合表18的 最末尾(步驟S402)。保存在CM濾波器16內的轉移點組合表18中的信 息包括有效無效標志、轉移點GOP序號、連接結束GOP序號、被檢測 為連續CM的轉移點的個數即轉移點計數器值、所檢測的轉移點的無音 時間長度、以及表示場景轉換的變化量的場景轉換差異值。然后，設定 轉移點組合表18的讀出基點(步驟S403)。在圖15 (C)中，例如假設 上次截止到轉移點33a的處理已結束，此次把下一個轉移點33b作為最 初基點。然后，設定轉移點的終點側(步驟S407)。在圖15 (C)中，把 轉移點33c作為終點。如果轉移點組合表18中沒有作為終點的轉移點(步 驟S408)，則獲取下一個基點(步驟S404)。在圖15 (C)中表示基點為 轉移點33a、終點為轉移點33i時，把基點設為轉移點33b的處理。在此， 如果沒有發現下一個基點(步驟S404)，則結束CM檢測處理(步驟S406)。 在基點和終點已經確定后，求出從基點到終點的時間長度(步驟S409)。 在圖15 (C)中，在基點為轉移點33b、終點為轉移點33c時，基點'10' 與終點'40，之差(即轉移點間隔)即30GOP是時間長度。如果該時間長 度與作為CM基準時間的30GOP土1GOP、 60GOP土1GOP、 120GOP土1GOP 和180GOP土1GOP中的任意一方一致(步驟S410)，則把基點的連接結束 GOP序號置換為終點的連接結束GOP序號(步驟S411)。另外，使終點 的有效無效標志無效(步驟S412)，將基點的轉移點計數增加一個(步驟 S413)。并且，在步驟S410中判定為不是CM基準時間長度時，接下來 判斷基點和終點之間的時間長度是否己超過最大CM基準時間長度即 180GOP土1GOP (步驟S414)，在判定為己超過時，把從基點到連接結束 GOP序號判定為CM廣播區間，把CM廣播區間的信息發送給錄制控制 部8 (歩驟S415)。另外，把下一次CM廣播區間檢測處理的基點設定為 此次CM廣播區間的最后轉移點的下一個轉移點，并且使所檢測的最后轉移點前面的轉移點的有效無效標志無效(步驟S416)。通過在錄制動作中持續執行上述步驟，可以實時地檢測將要記錄的廣播節目的CM廣播區間。通過CM濾波器16檢測到的CM廣播區間的 時刻信息被暫時發送給錄制控制部8，并傳送給處理所錄制的節目的管理 信息的導航部12，通過文件系統10文件化，并記錄在發揮CM廣播區間 信息記錄單元的作用的HDDll中。通過按照上述方式構成圖像語音記錄裝置20，可以一面錄制廣播節 目一面檢測CM廣播區間。并且，在使用不具有場景轉換檢測功能的編碼器時，通常需要在執 行錄制后重新分析所錄制的節目，但在本發明的結構中，可以與錄制動 作并行地進行CM廣播區間的檢測，所以編碼器的選擇范圍擴大，結果， 能夠選擇重視成本和可購性的編碼器。另外，通過從流控制部9向場景轉換檢測部13和無音檢測部14發 送流，可以對錄制在HDDll中的節目進行CM廣播區間檢測。但是，在 該情況下，無音檢測必須使用與場景轉換相同的從流中分析的方法。并且，通過把場景轉換檢測結果和無音檢測結果記錄在作為臨時存 儲區域的轉移點匹配緩沖器19中，并在轉移點匹配緩沖器19的存儲區 域中比較，可以實時地檢測轉移點。因此，可以與錄制并行地檢測CM 廣播區間。并且，即使同時發生的場景轉換和無音區間以某種程度的時 間差被通知給轉移點檢測部15，由于在轉移點匹配緩沖器19中保持有信 息，所以能夠執行CM廣播區間的檢測，而不會采信單方面的信息。并且，在檢測場景轉換時，只執行向作為臨時存儲區域的轉移點匹 配緩沖器19的登記，而在檢測到無音時，不僅進行向轉移點匹配緩沖器 19的登記，而且在轉移點匹配緩沖器19中檢測與無音同時發生的場景轉 換，還進行CM廣播區間的檢測處理，通過采用這種結構，可以與檢測 次數較少的無音檢測同步地進行處理，所以能夠在CPU的處理時間減少、 而且系統負荷較小的狀態下進行CM廣播區間的檢測。并且，通過把CM廣播區間檢測的單位設為例如GOP單位而不是幀 單位，不僅可以實現處理頻次和處理負荷的降低，而且在CM的長度因每個CM而相差數幀時，也能夠進行CM廣播區間的檢測，而不受各個 CM的長度差異的影響。并且，在以上的說明中，把場景轉換檢測單位設為IGOP，但是也 可以把場景轉換檢測單位設為多個GOP單位。而且，還可以按照任意數 量的每個幀設定場景轉換檢測單位。并且，在以上的說明中，作為進行場景轉換和無音檢測處理的方法， 示出了采用軟件的示例，但也可以通過硬件來執行。并且，關于語音， 直接分析音頻A/D轉換部4的輸出，但也可以根據編碼流進行分析并檢測無音。實施方式7在實施方式7中，說明在CM之間的交界處附近存在多個轉移點時 選擇判定為CM之間的交界的轉移點的方法。通常，在CM的前后部分 臨時顯示進行宣傳的企業名稱或產品名稱等字幕的情況居多。因此，在 CM之間的交界處附近同時發生無音和場景轉換，連續發生多次轉移點的 情況居多。另一方面，在CM廣播區間的檢測中，為了彌補CM的時間 長度誤差、檢測延時以及檢測偏差，使作為基準的CM長度具有某種程 度的幅度來進行檢測。例如，在實施方式6中，為了檢測15秒的CM， 在30土1GOP的范圍內進行檢測。但是，在土1G0P的檢測幅度中有時存在 多次轉移點，需要從作為候選的轉移點中選擇一個轉移點的指針。因此， 在實施方式7中，示出從作為候選的轉移點中選擇一個轉移點的指針的3 個選擇基準。圖17 (A) (C)表示被選擇為候選轉移點的轉移點。第1方法是 如下方法如圖17(A)所示，如轉移點間隔為30GOP、60GOP以及90GOP 這樣，選擇下一個轉移點以使距基準時間為土0GOP。第2方法是如下方法如圖17 (B)的GOP序號'30'到GOP序號'59' 所示，當在某個CM交界檢測中選擇出的轉移點的間隔為29GOP (= 30GOP — 1GOP)時，按照圖17 (B)的GOP序號'60，到GOP序號'90， 所示，以31GOP (=30GOP + 1GOP)為中心選擇下一個CM交界檢測中 選擇出的轉移點的間隔。在所選擇的轉移點臨時偏離基準值時(相當于圖17 (B)中的GOP序號'59')，下一個轉移點優先選擇抵消偏離的GOP (相當于圖17 (B)中的GOP序號'90')。艮P，在以預先設定的基準時間 (例如30GOP)為中心的預定時間范圍內(土IGOP的范圍內)，在檢測 到的場景轉換和檢測到的無音區間同時發生的轉移點被檢測到多個時， CM濾波器16把此前剛剛判定出的CM的時間長度和之后判定出的CM 的時間長度之合計接近所述預先設定的基準時間(例如30GOP)的整數 倍的程度較大的轉移點，判定為用于規定CM廣播區間的轉移點。第3方法是選擇使累計時間盡可能地為土0GOP的方法。如圖17 (C) 所示，在把所選擇的轉移點設為GOP序號'0'、 '29，、 '58'后，不選擇GOP 間隔為30土0GOP的GOP序號'88，，而選擇GOP間隔為30+1GOP的GOP 序號'89，，在進行下一個檢測時，GOP間隔不選擇30GOP — 1GOP或 30GOP±0GOP，而選擇GOP序號'120'，由此使轉移點的偏離總體上達到 士0GOP。即，在以預先設定的基準時間(例如30GOP)為中心的預定時 間范圍內(土1G0P的范圍內)，檢測到的場景轉換和檢測到的無音區間同 時發生的轉移點被檢測到多個時，CM濾波器16把使將要判定的CM廣 播區間接近預先設定的基準時間(例如30GOP)的整數倍的程度較大的 轉移點，判定為用于規定CM廣播區間的轉移點。通過釆用上述第2方法或第3方法，在由于檢測誤差等使得轉移點 暫時偏離原來的CM之間的交界位置的情況下，也能夠進行校正處理， 結果，可以提高CM廣播區間檢測精度。并且，通過優先選擇轉移點的偏離總體上達到土0GOP的轉移點，可 以使檢測到的CM廣播區間接近基準時間，CM廣播區間的檢測精度提 咼。并且，為了使累計時間數或GOP數的累計值距基準時間的偏離達到 士0GOP，通過對檢測到的轉移點進行加權，可以降低如下問題用于檢 測一個CM的誤差即士1G0P在持續執行CM廣播區間的過程中隨著CM 的數量增加而累計，即，偏離原來的CM交界乃至由于偏離原來的CM 交界而使得應該檢測的CM不能檢測到。另外，在實施方式7中，上述以外的情況與上述實施方式6的情況相同。實施方式8在實施方式8中，說明使用轉移點的無音時間長度提高CM廣播區 間的檢測精度的方法。一般，在電視廣播節目中，在一個CM的前后存在約0.5秒左右的 無音部分，在CM與CM的連接處即交界處附近，存在雙方的CM的無 音部分之和約l秒(—0.5秒x2)的無音部分。另一方面，在從節目本體 轉入CM時、以及從CM轉入節目本體時，節目本體側的無音部分較短 的情況居多，只加入雙方的無音部分之和約0.6秒左右的無音部分。圖18是表示在包括實際廣播的任意20個節目、591個CM的廣播 區間中，某個CM與其后面的CM之間的無音部分的時間長度的測定結 果的曲線圖。如圖18所示，CM之間的無音部分大多存在于0.8秒 1.4秒之間。圖19是表示在與圖18的情況相同的任意20個節目的廣播區間中， CM廣播區間結束并轉入節目本體時的無音部分的時間長度的測定結果 的曲線圖。如圖19所示可知，在從CM廣播區間轉入節目本體時，無音 部分的時間長度大多存在于約0.4秒 1.2秒之間。即，在實施方式6所 示的轉移點的無音時間長度為0.4秒 0.8秒期間或者在1.4秒以上時， 在大多數情況下可以判斷為CM己結束并轉入節目本體。圖20是表示使用CM之間的無音時間長度檢測CM廣播區間的方法 的流程圖。在圖20中，對與圖16的步驟相同的步驟賦予相同符號。實 施方式8的CM廣播區間的檢測方法基本與實施方式6的情況相同，但 在實施方式8中追加以下步驟，在步驟S420對轉移點的無音時間長度進 行驗證，在檢測到兩個以上CM的狀態下，如前面所述，如果無音時間 長度不在0.8秒 1.4秒(即第l規定范圍)之間，則判定為CM已結束。 并且還追加以下步驟，在檢測到CM廣播區間的情況下，也驗證是否存在 CM廣播區間的各個轉移點的無音時間長度中至少具有一個以上在0.8秒 1.4秒范圍內的時間長度的無音部分(步驟S420)，如果不包含具有0.8秒 1.4秒范圍內的時間長度的無音部分，則不用作CM廣播區間。通過按照上述方式構成，可以檢測CM廣播區間的結束和本體開始 位置，可以提高CM廣播區間的檢測精度。尤其在從CM轉入節目本體后，在以與CM間隔相同的間隔發生了 場景轉換和無音時，有時會把節目本體的前頭部分錯誤檢測為CM，但是 根據無音時間長度，可以高精度地檢測CM結束位置，可以降低把節目 本體前頭錯誤檢測為CM的情況的發生頻次，結果，可以提高CM廣播 區間的檢測精度。另外，在節目本體中同時發生多個場景轉換和無音區間，在其間隔 與CM廣播區間的場景轉換和無音區間的發生間隔相同的情況下，有時 會把節目本體錯誤檢測為CM廣播區間，但是由于把無音時間長度與CM 之間的無音時間長度一致設為條件，所以能夠降低把節目本體錯誤檢測 為CM的情況的發生頻次。另外，在實施方式8中，上述以外的情況與上述實施方式6和7的 情況相同。實施方式9在實施方式9中，說明可以利用表示場景轉換變化量的場景轉換差 異值提高檢測精度的CM廣播區間的檢測方法。圖21是表示在實施方式9的圖像語音記錄裝置中利用了場景轉換差 異值的CM廣播區間的檢測方法的流程圖。并且，圖22是用于說明在實 施方式9的圖像語音記錄裝置中利用了場景轉換差異值的CM廣播區間 檢測方法的圖。在圖22中示出了檢測到的CM廣播區間、和位于CM廣播區間的各個CM的交界處的轉移點51a..... 51f。 一般，CM和節目本體之間或者CM和CM之間的圖像的因果關系不足，因此場景轉換的 變化量極大。在實施方式9中，示出利用CM和節目本體之間以及CM 和CM之間的場景轉換差異值大于節目本體內的場景轉換差異值的特點， 降低將節目本體錯誤視為CM的錯誤檢測的方法。圖21的流程圖所示的動作以實施方式6的圖16的流程圖所示的動 作為基礎，追加利用場景轉換差異值的幾個判斷和處理。在圖21中，對 與圖16的步驟相同或對應的步驟賦予相同符號。首先，CM濾波器16在判定為從作為基點的轉移點到作為終點的轉移點的時間長度與CM基準時間長度(例如15秒、30秒、60秒、90秒 等)相同后(步驟S410)，判定該基點和終點是否是前頭CM、且時間長 度是否是60秒或90秒(步驟S430)。在符合該條件時，比較基點的場景 轉換差異值和終點的場景轉換差異值(步驟S431)，如果基點的場景轉換 差異值較大，則判定為CM從基點位置開始，返回步驟S411。在圖22 中表示比較轉移點51a和轉移點51b的場景轉換差異值，將場景轉換差 異值較大者判定為節目本體和CM的交界。另一方面，當在步驟S431中判斷為終點的場景轉換差異值大于基點 的場景轉換差異值時，CM濾波器16判定為CM從終點位置開始、即節 目本體在該基點和終點之間持續。同樣，CM濾波器16在CM結束時也判定是否是最后CM、且時間 長度是否是60秒或90秒(步驟S432)，在符合該條件時，比較基點的場 景轉換差異值和終點的場景轉換差異值(步驟S433)，如果終點的場景轉 換差異值大于基點的場景轉換差異值，則判定為節目本體從終點位置開 始，使處理轉入步驟S435。在圖22中表示比較轉移點51e的場景轉換差 異值和轉移點51f的場景轉換差異值，將場景轉換差異值較大者判定為 CM和節目本體的交界。另一方面，在判斷為基點的場景轉換差異值大于終點的場景轉換差 異值時，CM濾波器16判定為節目本體從基點位置開始、即該基點和終 點之間已經進入節目本體。這樣，在CM開始時或本體開始時長度為 60秒或90秒等、且將要廣播的頻次較少的CM的情況下，根據該區間前 后的哪一個圖像變化量更大，判斷節目本體和CM的交界。有時節目本 體的前頭或最后成為一體的插曲或一角(comer)等編輯而成的單位，在 該情況下，有可能錯誤檢測為CM，但是在實施方式9的CM廣播區間檢 測方法中，通過發現圖像變化更大的CM交界，可以正確檢測CM和節 目本體的交界。并且，在步驟S435中，檢查所有轉移點的場景轉換差異值，并與大 于在場景轉換的判定中使用的閾值的第2閾值比較，如果CM廣播區間的至少一個轉移點的場景轉換差異值超過第2閾值，則轉入步驟S415，將其作為CM廣播區間處理，相反如果沒有超過，則使該CM廣播區間 無效(步驟S436)。在圖14的說明中，假設場景轉換差異值的閾值是0,9， 由于轉移點33b、 33c、 33f、 33g中的轉移點33b和33g的場景轉換差異 值超過閾值0.9，所以將從轉移點33b到轉移點33g的期間判定為CM廣 播區間。如上所述，通過在節目本體和CM的交界處的CM中，利用場景轉 換差異值選擇節目本體和CM的交界，可以判定節目本體和CM的交界， 可以降低把節目本體的前頭或最后錯誤檢測為CM的情況的發生頻次。并且，當在檢測到的CM廣播區間內場景轉換差異值的至少一個未 超過某閾值時，判定不是CM，由此可以降低將圖像的變化量比CM少的 節目本體錯誤檢測為CM的情況的發生頻次。另外，在實施方式9中，上述以外的情況與上述實施方式6 8的情 況相同。實施方式10在實施方式10中，表示在所記錄的流的前頭存在數秒的CM，在該 CM之后記錄有本體的情況下檢測該數秒的被片斷化的CM的方法。通 常，圖像語音記錄裝置20大多構成為在判斷為開始記錄后到實際開始記 錄之前需要一定時間，因此從預先設定的記錄開始時刻起追溯數秒再開 始記錄。并且，圖像語音記錄裝置的內部所具有的時鐘無法保證總是指 示正確時刻。因此，例如假設廣播節目預定在PM9: OO開始、且本體正 好在PM9: OO開始，有時也會被記錄在所記錄的流的前頭。在實施方式 10中，表示提取被記錄在所記錄的流的前頭并被片斷化的CM的方法。使用圖23說明實施方式10。假設從所記錄的流中檢測到場景轉換 和無音同時發生的點即轉移點。該轉移點把在圖23的強制CM化區間61 中最后發生的轉移點60c判斷為CM和本體的交界，把從記錄開始位置 62到60c之間視為CM。強制CM化區間根據圖像語音記錄裝置的規格 確定，例如如果從預定記錄時刻前的5秒開始記錄，則把強制CM化區 間設為5秒即可。并且，也可以考慮圖像語音記錄裝置的內部時鐘的誤差量例如2秒而將其設定為7秒。在此，把強制CM化區間的最后轉移點60c用作CM和本體的交界，這是因為強制CM化區間的時間幅度被 設定為與實際記錄開始時刻和預定記錄時刻之差大致相等，并且CM內 的轉移點發生頻次遠大于本體中的轉移點發生頻次。如上所述，由于不是正好從預先設定的預定記錄時刻開始記錄，在 從本體前的不需要的CM開始記錄的圖像語音記錄裝置中，也能夠檢測 本體前的不需要的CM。并且，即使圖像語音記錄裝置的內部時鐘不能保證正確的時刻，也 能夠檢測本體前的不需要的CM。并且，在實施方式10中，采取把強制CM化區間的最后轉移點用作 CM和本體的交界的方法，但也可以構成為取代強制CM化區間，而采用 從記錄開始時刻起經過例如5秒后的時刻作為強制CM化時刻，把最接 近該強制CM化時刻的轉移點用作CM和本體的交界。在圖23中表示把 60d和CM用作本體的交界的方法。并且，也可以選擇性地組合實施方式6 10的各種結構來進行CM 廣播區間的檢測。
權利要求
1.一種圖像記錄裝置，其特征在于，所述圖像記錄裝置具有編碼單元，其對圖像數據進行編碼并輸出編碼流；記錄單元，其記錄從所述編碼單元輸出的編碼流；流控制單元，其把從所述編碼單元輸出的編碼流轉送給所述記錄單元；圖像變化點提取單元，其對從所述編碼單元輸出的編碼流進行解碼，提取該解碼后的圖像數據的場景轉換；以及錄制控制單元，其從所述編碼單元按照編碼流的編碼單位獲取編碼結束通知，在獲取了該編碼結束通知時，輸出針對所述圖像變化點提取單元的場景轉換提取指示。
2. 根據權利要求l所述的圖像記錄裝置，其特征在于， 所述圖像變化點提取單元具有解碼單元，其對從所述編碼單元輸出的編碼流進行解碼；直方圖生成單元，其生成所述解碼后的圖像數據的直方圖；第1直方圖緩沖器和第2直方圖緩沖器，其按照預定的像素數交替 保持所述生成的直方圖；差值提取單元，其求出保持在所述第1直方圖緩沖器中的直方圖和 保持在所述第2直方圖緩沖器中的直方圖的差異值；場景轉換判定單元，其比較通過所述差值提取單元求出的差異值和 預先設定的閾值；以及場景轉換命令控制單元，其根據來自所述錄制控制單元的場景轉換 提取指示，控制所述圖像變化點提取單元。
3. 根據權利要求1所述的圖像記錄裝置，其特征在于， 所述圖像記錄裝置還具有臨時存儲單元，所述臨時存儲單元的數據寫入速度和數據讀出速度比所述記錄單元快，所述臨時存儲單元臨時存 儲被輸入到所述流控制單元的編碼流，針對從所述臨時存儲單元讀出的編碼流，由所述圖像變化點提取單元提取場景轉換。
4. 根據權利要求l所述的圖像記錄裝置，其特征在于，每當從所述編碼單元輸出一個或多個GOP的編碼流時，從所述編碼單元發送編碼結束通知。
5. 根據權利要求l所述的圖像記錄裝置，其特征在于，每當從所述編碼單元輸出一個或多個片的編碼流時，從所述編碼單元發送編碼結束通知。
6. 根據權利要求l所述的圖像記錄裝置，其特征在于，每當從所述 編碼單元輸出一個或多個宏塊的編碼流時，從所述編碼單元發送編碼結 束通知。
7. 根據權利要求l所述的圖像記錄裝置，其特征在于，與從所述錄 制控制單元接收場景轉換提取指示同步地，由所述圖像變化點提取單元 進行場景轉換提取動作。
8. 根據權利要求i所述的圖像記錄裝置，其特征在于， 所述圖像變化點提取單元具有控制命令保持單元，所述控制命令保持單元臨時保持來自所述錄制控制單元的場景轉換提取指示，根據從所述控制命令保持單元輸出的場景轉換提取指示，在與從所 述錄制控制單元接收場景轉換提取指示不同步的定時，由所述圖像變化 點提取單元進行場景轉換提取動作。
9. 根據權利要求8所述的圖像記錄裝置，其特征在于，所述控制命 令保持單元多次保持所述場景轉換提取指示，每當預定編碼單位的場景 轉換提取結束時，進行與所述場景轉換提取指示對應的處理。
10. 根據權利要求l所述的圖像記錄裝置，其特征在于， 所述編碼單元使用DCT壓縮圖像數據，所述圖像變化點提取單元在所述解碼時，根據編碼流的像素尺寸來 控制編碼流的DCT系數的解碼次數。
11. 根據權利要求10所述的圖像記錄裝置，其特征在于，所述圖像 變化點提取單元根據編碼流的像素尺寸來控制編碼流的解碼片。
12. 根據權利要求2所述的圖像記錄裝置，其特征在于，所述直方圖生成單元判定所述直方圖的分布是否適合于所指定的顏色分布，在判 定是所指定的顏色分布時，把所指定的顏色分布之外的直方圖輸出給所 述第1直方圖緩沖器和所述第2直方圖緩沖器。
13. —種場景轉換提取方法，其特征在于，所述場景轉換提取方法 包括通過編碼單元對圖像數據進行編碼并輸出編碼流的步驟； 通過流控制單元轉送所述編碼流并記錄到記錄單元中的步驟；通過錄制控制單元從所述編碼單元按照編碼流的編碼單位獲取編碼 結束通知，在獲取了該編碼結束通知時，輸出針對圖像變化點提取單元的場景轉換提取指示的步驟；以及通過所述圖像變化點提取單元對從所述編碼單元輸出的編碼流進行 解碼，并提取該解碼后的圖像數據的場景轉換的步驟。
14. 根據權利要求13所述的場景轉換提取方法，其特征在于， 所述提取場景轉換的步驟包括對從所述編碼單元輸出的編碼流進行解碼的步驟；生成所述解碼后的圖像數據的直方圖的步驟；按照預定的像素數將所述生成的直方圖交替保持到第1直方圖緩沖 器和第2直方圖緩沖器中的步驟；求出保持在所述第1直方圖緩沖器中的直方圖和保持在所述第2直 方圖緩沖器中的直方圖的差異值的步驟；比較所述求出的差異值和預先設定的閾值的步驟；以及根據來自所述錄制控制單元的場景轉換提取指示，控制所述圖像變 化點提取單元的步驟。
15. 根據權利要求13所述的場景轉換提取方法，其特征在于， 所述場景轉換提取方法還包括在數據寫入速度和數據讀出速度比所述記錄單元快的臨時存儲單元中臨時存儲被輸入到所述流控制單元的編 碼流的步驟，針對從所述臨時存儲單元讀出的編碼流，由所述圖像變化點提取單 元提取場景轉換。
16. 根據權利要求13所述的場景轉換提取方法，其特征在于，每當 從所述編碼單元輸出一個或多個GOP的編碼流時，從所述編碼單元發送 編碼結束通知。
17. 根據權利要求13所述的場景轉換提取方法，其特征在于，每當 從所述編碼單元輸出一個或多個片的編碼流時，從所述編碼單元發送編 碼結束通知。
18. 根據權利要求13所述的場景轉換提取方法，其特征在于，每當 從所述編碼單元輸出一個或多個宏塊的編碼流時，從所述編碼單元發送 編碼結束通知。
19. 根據權利要求13所述的場景轉換提取方法，其特征在于，與從 所述錄制控制單元接收場景轉換提取指示同步地，由所述圖像變化點提 取單元進行場景轉換提取動作。
20. 根據權利要求13所述的場景轉換提取方法，其特征在于， 所述場景轉換提取方法還包括使控制命令保持單元臨時保持來自所述錄制控制單元的場景轉換提取指示的步驟，根據從所述控制命令保持單元輸出的場景轉換提取指示，在與從所 述錄制控制單元接收場景轉換提取指示不同步的定時，由所述圖像變化 點提取單元進行場景轉換提取動作。
21. 根據權利要求20所述的場景轉換提取方法，其特征在于，在所述使控制命令保持單元臨時保持場景轉換提取指示的步驟中，使之多次 保持所述場景轉換提取指示，每當預定編碼單位的場景轉換提取結束時， 進行與所述場景轉換提取指示對應的處理。
22. 根據權利要求13所述的場景轉換提取方法，其特征在于， 所述編碼單元使用DCT壓縮圖像數據，所述圖像變化點提取單元在所述解碼時，根據編碼流的像素尺寸來 控制編碼流的DCT系數的解碼次數。
23. 根據權利要求22所述的場景轉換提取方法，其特征在于，根據 編碼流的像素尺寸來控制編碼流的解碼片。
24. 根據權利要求14所述的場景轉換提取方法，其特征在于，所述直方圖生成單元判定所述直方圖的分布是否適合于所指定的顏色分布， 在判定是所指定的顏色分布時，把所指定的顏色分布之外的直方圖輸出 給所述第1直方圖緩沖器和所述第2直方圖緩沖器。
25. —種圖像語音記錄裝置，其特征在于，所述圖像語音記錄裝置 具有-編碼單元，其對所輸入的圖像數據和語音數據進行編碼并輸出編碼流；記錄單元，其記錄從所述編碼單元輸出的編碼流； 圖像變化點檢測單元，其對從所述編碼單元輸出的編碼流進行解碼，并根據該解碼后的數據來檢測圖像的場景轉換；無音檢測單元，其根據所述語音數據來檢測無音區間； 轉移點檢測單元，其檢測通過所述圖像變化點檢測單元檢測到的場景轉換和通過所述無音檢測單元檢測到的無音區間同時發生的轉移點； CM廣播區間判定單元，其把通過所述轉移點檢測單元檢測到的轉移點的間隔在以預先設定的基準時間為中心的預定時間范圍內的轉移點的組合連續持續兩個以上的區間，判定為CM廣播區間；以及CM廣播區間信息記錄單元，其記錄通過所述CM廣播區間判定單元判定出的CM廣播區間的時刻信息。
26. 根據權利要求25所述的圖像語音記錄裝置，其特征在于， 所述轉移點檢測單元具有臨時存儲單元，所述臨時存儲單元臨時保持通過所述圖像變化點檢測單元檢測到的場景轉換信息、以及通過所述 無音檢測單元檢測到的無音區間信息，所述轉移點檢測單元檢測在所述臨時存儲單元中場景轉換和無音區 間同時發生的時刻。
27. 根據權利要求25所述的圖像語音記錄裝置，其特征在于，每當 通過所述無音檢測單元檢測到無音區間時，由所述轉移點檢測單元進行 轉移點的檢測動作并由所述CM廣播區間判定單元進行CM廣播區間的 判定動作。
28. 根據權利要求25所述的圖像語音記錄裝置，其特征在于，按照把多個幀作為1單位的處理單位，由所述圖像變化點檢測單元 進行場景轉換的檢測動作，按照與所述圖像變化點檢測單元進行的場景轉換的檢測動作相同的處理單位，由所述CM廣播區間判定單元進行所述CM廣播區間的判定 動作。
29. 根據權利要求25所述的圖像語音記錄裝置，其特征在于， 所述CM廣播區間判定單元使用的所述基準時間是相當于預先設定數量的GOP的時間，所述CM廣播區間判定單元使用的以所述基準時間為中心的預定時 間范圍內，是以所述預先設定數量的GOP為中心的土1G0P的范圍內。
30. 根據權利要求25所述的圖像語音記錄裝置，其特征在于， 當在所述CM廣播區間判定單元使用的以所述基準時間為中心的預定時間范圍內檢測到多個所述轉移點時， 所述CM廣播區間判定單元，在此前通過所述CM廣播區間判定單元剛剛判定出的轉移點間隔比 所述基準時間長第1值的情況下，優先選擇使此后通過所述CM廣播區 間判定單元判定出的轉移點間隔比所述基準時間短第1值的轉移點，作 為用于規定CM廣播區間的轉移點，在此前通過所述CM廣播區間判定單元剛剛判定出的轉移點間隔比 所述基準時間短第2值的情況下，優先選擇使此后通過所述CM廣播區 間判定單元判定出的轉移點間隔比所述基準時間長第2值的轉移點，作 為用于規定CM廣播區間的轉移點。
31. 根據權利要求25所述的圖像語音記錄裝置，其特征在于， 當在所述CM廣播區間判定單元使用的以所述基準時間為中心的預定時間范圍內檢測到多個轉移點時，所述CM廣播區間判定單元把通過所述CM廣播區間判定單元判定 出的CM廣播區間接近所述基準時間的整數倍的程度較大的轉移點，判 定為用于規定CM廣播區間的轉移點。
32. 根據權利要求25所述的圖像語音記錄裝置，其特征在于，所述無音檢測單元檢測語音數據的無音部分的發生時刻和無音時間 長度，如果無音時間長度在預先設定的第1規定范圍內，則把所述無音 部分判定為檢測所述轉移點時使用的所述無音區間，如果檢測到的第3個以后的轉移點的無音時間長度在預先設定的第1規定范圍外，則所述CM廣播區間判定單元判定為CM廣播區間已結束。
33. 根據權利要求32所述的圖像語音記錄裝置，其特征在于，當在 通過所述CM廣播區間判定單元判定出的CM廣播區間的轉移點中不存 在無音時間長度在第1規定范圍內的轉移點時，不將通過所述CM廣播 區間判定單元判定出的所述CM廣播區間記錄到所述記錄單元中。
34. 根據權利要求25所述的圖像語音記錄裝置，其特征在于， 從所述圖像變化點檢測單元輸出的信息包括場景轉換發生時間、以及表示場景轉換中的圖像數據變化程度的場景轉換差異值，當在通過所述CM廣播區間判定單元檢測到的CM廣播區間的轉移 點中不存在場景轉換差異值大于預先設定的場景轉換基準值的轉移點 時，不將通過所述CM廣播區間判定單元判定出的所述CM廣播區間記 錄到所述記錄單元中。
35. 根據權利要求34所述的圖像語音記錄裝置，其特征在于，在轉 移點間隔為60秒或90秒、且位于CM和節目本體的交界處時，所述CM 廣播區間判定單元根據作為基點的轉移點的場景轉換差異值和作為終點 的轉移點的場景轉換差異值的比較結果，判定CM廣播區間和節目本體。
36. 根據權利要求25所述的圖像語音記錄裝置，其特征在于，所述 CM廣播區間判定單元把通過所述轉移點檢測單元檢測到的轉移點中、從 開始記錄流起到在規定時間內發生于最末尾的轉移點判定為CM廣播區 間。
全文摘要
提供一種可以與圖像的記錄并行地進行圖像的場景轉換提取的圖像記錄裝置和場景轉換提取方法。圖像記錄裝置(100)具有對圖像數據PIN進行編碼的編碼器(101)；記錄從編碼器(101)輸出的編碼流的HDD(105)；把從編碼器(101)輸出的編碼流轉送給HDD(105)的流控制部(103)；場景轉換提取部(110)，對從編碼器(101)輸出的編碼流進行解碼，提取被解碼的圖像數據的場景轉換；以及錄制控制部(102)，從編碼器(101)按照編碼流的編碼單位獲取編碼結束通知I<sub>EN</sub>，并輸出針對場景轉換提取部(110)的場景轉換提取指示C<sub>SC</sub>。
文檔編號H04N5/91GK101238727SQ20068002916
公開日2008年8月6日 申請日期2006年3月17日 優先權日2005年8月11日
發明者大塚功, 楠惠明 申請人:三菱電機株式會社