緩沖器控制方法、中繼裝置、通信系統的制作方法

專利名稱：緩沖器控制方法、中繼裝置、通信系統的制作方法
技術領域：
本發明涉及對中繼裝置中具有的緩沖器進行控制的緩沖器控制方法， 特別是涉及在經由傳輸路徑的狀態(頻帶或數據損失、錯誤特性)不同的 網絡來進行伴有視頻的電視電話或電視會議等通信時，能夠使由傳輸路徑 狀態的影響導致的在接收側所顯示的視頻的紊亂達到最小限度的視頻緩沖 器控制方法。另外，本發明涉及使用了緩沖器控制方法的中繼裝置以及通 信系統。
背景技術：
近年來，隨著使用ADSL或光通信技術等而實現的網絡的高速化，經 由網絡并利用分組對圖像或聲音的編碼數據進行通信。例如，被稱為VoIP (Voice over IP)或TVoIP (TV over IP)的雙向通信系統和會議系統快速 普及起來。
用于上述圖像或聲音的編碼數據的通信中的編碼方式具有若干種類。 例如作為運動圖像的編碼方式，多使用對通過基于幀間預測的高效率壓縮 而編碼的編碼數據進行傳輸的方法。在這些基于幀間預測的編碼方式中， 通過時間上位于前后的幀來預測編碼圖像。并且，通過對預測編碼圖像而 得的預測參數和預測殘差圖像數據進行編碼來削減時間方向的相關性高的 運動圖像的信息量。然后，對預測殘差圖像數據進行變換編碼或量化，由 此進行高效率的壓縮編碼，從而能夠以較少的傳輸頻帶來進行通信。
另外，在第三代便攜式電話中存在支持提供線路交換(CS)式的電視 電話服務的便攜式電話終端。另外，還存在將可使用上述電視電話服務的 便攜式電話機和連接在IP網絡上的TvoIP客戶連接起來的網關。并且，已 經使用上述的便攜式電話終端和網關實現了跨越CS網(線路交換網)和 PS網(分組交換網)的實時通信。
當如上述在傳輸路徑的狀態(頻帶或數據損失、錯誤特性)不同的網 絡之間進行實時通信時，為了連結(中繼)雙方的網絡而使用中繼裝置。 此時，中繼裝置具有吸收網絡上的抖動的抖動緩沖器，或進行削減吸收抖 動時的傳輸延遲的延遲削減處理。
另外，作為對編碼數據進行中繼的中繼裝置，例如在專利文獻1中記 載了將從編碼流中取得的編碼信息插入編碼流中的編碼流中繼裝置。
專利文獻1:日本專利文獻特開2006-13583號公報(0029段-0042 段、圖6);
非專利文獻1: H.Schulzrinne， S.Casner， R.Frederick, V.Jacobson, " RTP: A Transport Protocol for Real-Time Applications " , RFC 3550, July 2003， , 乂 夕 一氺y卜< URL:http:〃www.ietf.org/rfc/rfc3550.tet > ;
非專利文獻2 : TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU， " ITU-T Recommendation H.223 " ， 03/1996。

發明內容
但是，當對視頻流實施延遲削減處理時，如果使用當前廣泛使用的預 測編碼來進行視頻流的編碼，則視頻流中的任意數據都被執行削減處理， 從而在接收側再現的視頻流的圖像質量會大幅度惡化。并且，當使用預測 編碼來進行視頻流的編碼時，存在以視頻的惡化持續好一會兒的狀態圖像 被再現的問題。
另外，為了吸收不同網絡間的頻帶差異，想到了對編碼數據進行轉碼 的方法。但是，用于對編碼數據進行轉碼的處理量的增加很顯著，不能適 用于必須使用同一裝置處理許多流的情況。
另外，根據專利文獻1記載的編碼流中繼裝置，與編碼信息的傳遞方 式無關，能夠對接收終端中所接收的編碼流進行正常解碼。但不能防止由 于不同網絡間的傳輸路徑狀態的影響而在接收側發生圖像紊亂。
因此，本發明目的在于，提供一種在進行伴有視頻的通信時能夠降低 視頻由于受傳輸路徑狀態的影響而惡化的緩沖器控制方法、中繼裝置、通 信系統。
本發明涉及的緩沖器控制方法是對中繼裝置(例如，中繼裝置101、
401)所具有的緩沖器(例如，視頻緩沖器208)進行控制的緩沖器控制方
法，其特征在于，包括存儲步驟，將從發送終端(例如，發送終端 102)接收的視頻流存儲在中繼裝置的緩沖器中；以及緩沖器控制步驟， 以段(即便在有一部分段由于丟失或出錯而不能解碼的情況下也能夠用其
他的段獨立進行解碼的單位，例如，幀、視頻包、GOB、切片、或NAL
單元)為單位對由中繼裝置的緩沖器存儲的視頻流的數據量進行控制。
另外，本發明涉及的緩沖器控制方法是對中繼裝置所具有的緩沖器進
行控制的緩沖器控制方法，其也可以包括從發送終端接收視頻流的接收 步驟；將接收的視頻流存儲在中繼裝置的緩沖器中的存儲步驟；對由中繼 裝置的緩沖器存儲的視頻流的數據量進行控制的緩沖器控制步驟；以及從 中繼裝置的緩沖器中取出視頻流并將其發送給目的地的接收終端(例如， 接收終端103)的發送步驟。
另外，本發明涉及的緩沖器控制方法是對中繼裝置所具有的緩沖器進 行控制的緩沖器控制方法，其也可以包括從發送終端接收視頻流的接收 步驟；將接收的視頻流存儲在中繼裝置的緩沖器中的存儲步驟；對由中繼 裝置的緩沖器存儲的視頻流的數據量進行控制的緩沖器控制步驟；以及從 中繼裝置的緩沖器中取出視頻流并將其發送給目的地的接收終端的發送步 驟，并且在緩沖器控制步驟中，可以執行對由中繼裝置的緩沖器存儲的視 頻流的規定數據量進行間拔的間拔處理。
另外，本發明涉及的緩沖器控制方法也可以在緩沖器控制步驟中，通 過丟棄由中繼裝置的緩沖器存儲的視頻流，或者停止向中繼裝置的緩沖器 中的視頻流的輸入，或者提高從中繼裝置的緩沖器輸出視頻流的輸出速 率，來以段為單位對由中繼裝置的緩沖器存儲的視頻流的數據量進行控 制。
另外，本發明涉及的緩沖器控制方法也可以在緩沖器控制步驟中，將 幀、視頻包、GOB、切片、NAL單元中的至少一個用作所述段單位，來控 制由中繼裝置的緩沖器存儲的視頻流的數據量。
另外，本發明涉及的緩沖器控制方法也可以包括以規定的方法設定閾
值的閾值設定步驟，并且在緩沖器控制步驟中，可根據所設定的閾值來控 制由中繼裝置的緩沖器存儲的視頻流的數據量。
另外，本發明涉及的緩沖器控制方法在緩沖器控制步驟中，作為基于
閾值的緩沖器控制，也可以利用下述(A)至(C)控制中的至少一種控制 來對所述緩沖器存儲的視頻流的數據量進行控制，其中所述(A)至(C)
控制分別如下
(A) 將所述視頻流的數據量的上限值設定為閾值，并將所述緩沖器
內積累的視頻流的數據量達到所述上限值以上為條件，停止向所述中繼裝 置的緩沖器中的輸入，或者丟棄所述中繼裝置的緩沖器內的視頻流的至少 一部分，或者提高從所述中繼裝置的緩沖器輸出視頻比特流的輸出比特速
率；
(B) 將所述視頻流的數據量的上限值和下限值設定為閾值，并將所 述中繼裝置的緩沖器內積累的視頻流的數據量達到所述上限值以上為條 件，執行停止向所述中繼裝置的緩沖器中的輸入、或者提高從所述中繼裝 置的緩沖器輸出視頻比特流的輸出比特速率的控制，直到所述中繼裝置的 緩沖器內的視頻流的數據量達到下限值；以及
(C) 將用于間拔所述視頻流的數據量的間拔閾值設定為閾值，并將 所述中繼裝置的緩沖器內的視頻流的數據量達到間拔閾值為條件，不進行 向所述中繼裝置的緩沖器中的規定數據量的數據的輸入。
另外，本發明涉及的緩沖器控制方法在緩沖器控制步驟中，也可以基 于規定的定時來控制由中繼裝置的緩沖器存儲的視頻流的數據量。
另外，本發明涉及的緩沖器控制方法在緩沖器控制步驟中，也可以將 每隔固定時間的定時、接收包數目達到固定量的定時、接收視頻流的數據 量達到固定量的定時、向所述緩沖器輸入的數據量達到固定量的定時、或 者接收段數目達到固定量的定時中的至少一個定時作為規定的定時，并基 于此定時來控制由中繼裝置的緩沖器存儲的視頻流的數據量。
另外，本發明涉及的緩沖器控制方法在緩沖器控制步驟中，也可以根 據從外部裝置(例如，外部裝置104)接收的控制命令，來控制由中繼裝 置的緩沖器存儲的視頻流的數據量。
另外，本發明涉及的緩沖器控制方法也可以包括對視頻流中包含的幀 的幀類型進行判斷的幀類型判斷步驟，并且在緩沖器控制步驟中，可以利 用在幀類型判斷步驟中判斷的幀類型來控制由中繼裝置的緩沖器存儲的視 頻流的數據量。
另外，本發明涉及的緩沖器控制方法也可以包括有沒有被參考的判斷 步驟，該步驟根據幀類型來判斷是否為被其他幀所參考的被參考幀，并且 在緩沖器控制步驟中，可利用幀是否為被參考幀的判斷結果來控制由中繼 裝置的緩沖器存儲的視頻流的數據量，以作為利用了幀類型的緩沖器控 制。
另外，本發明涉及的緩沖器控制方法也可以包括根據與所述被參考幀 之間的距離來設定幀的優先級的步驟，并且在緩沖器控制步驟中，可利用 幀的優先級來控制由中繼裝置的緩沖器存儲的視頻流的數據量，以作為利 用了幀類型的緩沖器控制。
另外，本發明涉及的緩沖器控制方法也可以包括對視頻流中包含的切 片的切片類型進行判斷的切片類型判斷步驟，并且在緩沖器控制步驟中， 可利用所判斷的切片類型來控制由中繼裝置的緩沖器存儲的視頻流的數據 量。
另外，本發明涉及的緩沖器控制方法也可以包括對所述視頻流中包含
的NAL單元的類別進行判斷的類別判斷步驟，并且在緩沖器控制步驟 中，可利用所判斷的NAL單元的類別來控制由中繼裝置的緩沖器存儲的 視頻流的數據量。
另外，本發明涉及的緩沖器控制方法也可以包括有沒有被參考的判斷 步驟，該步驟判斷視頻流中包含的NAL單元是否為被視頻流中包含的其 他NAL單元所參考的被參考單元，并且在緩沖器控制步驟中，可利用 NAL單元是否為被參考單元的判斷結果，來控制由中繼裝置的緩沖器存儲 的視頻流的數據量。
另外，本發明涉及的緩沖器控制方法也可以包括對視頻流中包含的宏 塊的宏塊類型進行判斷的宏塊類型判斷步驟，并且在緩沖器控制步驟中， 可利用所判斷的宏塊類型來控制由中繼裝置的緩沖器存儲的視頻流的數據本發明涉及的中繼裝置是對視頻流的通信進行中繼的中繼裝置，其特 征在于，包括存儲控制單元(例如由接收數據分離部202實現)，將從 發送終端接收的視頻流存儲到所述中繼裝置的緩沖器(例如，視頻緩沖器
208)中；以及緩沖器控制單元(例如由視頻緩沖器控制部207、 407實
現)，以段為單位對由所述中繼裝置的緩沖器存儲的視頻流的數據量進行 控制。
另外，本發明涉及的中繼裝置是對視頻流的通信進行中繼的中繼裝
置，所述中繼裝置也可以包括接收單元(例如由接收部201實現)，接 收從所述發送終端發送的視頻流；存儲控制單元(例如由接收數據分離部 202實現)，將由接收單元接收的視頻流存儲到該中繼裝置的緩沖器(例 如，視頻緩沖器208)中；緩沖器控制單元(例如由視頻緩沖器控制部 207、 407實現)，對存儲在所述中繼裝置的緩沖器中的視頻流的數據量進 行控制；提取單元(例如由發送數據生成部209實現)，從所述中繼裝置 的緩沖器中提取視頻流；以及發送單元(例如由發送部210實現)，將由 提取單元提取的視頻流發送給目的地的接收終端。
另外，本發明涉及的中繼裝置是對視頻流的通信進行中繼的中繼裝 置，所述中繼裝置也可以包括接收單元，對從所述發送終端發送的視頻 流進行接收；存儲控制單元，將由接收單元接收的視頻流存儲到該中繼裝 置的緩沖器中；緩沖器控制單元，對存儲在所述中繼裝置的緩沖器中的視 頻流的數據量進行控制；提取單元，從所述中繼裝置的緩沖器中提取視頻 流；以及發送單元，將由提取單元提取的視頻流發送給目的地的接收終 端，并且緩沖器控制單元可以包括間拔單元(例如由視頻緩沖器控制部 207、 407實現)，該間拔單元執行對由中繼裝置的緩沖器存儲的視頻流的 規定數據量進行間拔的間拔處理。
另外，在本發明涉及的中繼裝置中，緩沖器控制單元可以通過丟棄由 中繼裝置的緩沖器存儲的視頻流，或者停止向中繼裝置的緩沖器中的視頻 流的輸入，或者提高從中繼裝置的緩沖器輸出視頻流的輸出速率，來以段 為單位對由中繼裝置的緩沖器存儲的視頻流的數據量進行控制。
另外，在本發明涉及的中繼裝置中，緩沖器控制單元也可以將幀、視
頻包、GOB、切片、NAL單元中的至少一個用作所述規定的單位來對中繼 裝置的緩沖器所存儲的視頻流的數據量進行控制。
另外，本發明涉及的中繼裝置也可以包括以規定的方法來設定閾值的 閾值設定單元(例如由閾值設定部204實現)，并且緩沖器控制單元可基 于由閾值設定單元設定的閾值來控制由中繼裝置的緩沖器存儲的視頻流的 數據量。
另外，在本發明涉及的中繼裝置中，緩沖器控制單元，作為基于閾值 的緩沖器控制，也可以利用下述(A)至(C)控制中的至少一種控制來對 所述緩沖器存儲的視頻流的數據量進行控制，其中所述(A)至(C)控制 分別如下
(A) 將所述視頻流的數據量的上限值設定為閾值，并將所述緩沖器
內積累的視頻流的數據量達到所述上限值以上為條件，停止向所述中繼裝
置的緩沖器中的輸入，或者丟棄所述中繼裝置的緩沖器內的視頻流的至少
一部分，或者提高從所述中繼裝置的緩沖器輸出視頻比特流的輸出比特速 率；
(B) 將所述視頻流的數據量的上限值和下限值設定為閾值，并將所 述中繼裝置的緩沖器內積累的視頻流的數據量達到所述上限值以上為條 件，執行停止向所述中繼裝置的緩沖器中的輸入、或者提高從所述中繼裝 置的緩沖器輸出視頻比特流的輸出比特速率的控制，直到所述中繼裝置的 緩沖器內的視頻流的數據量達到下限值；以及
(C) 將用于間拔所述視頻流的數據量的間拔閾值設定為閾值，并將 所述中繼裝置的緩沖器內的視頻流的數據量達到間拔閾值為條件，不進行 向所述中繼裝置的緩沖器中的規定數據量的數據的輸入。
另外，在本發明涉及的中繼裝置中，緩沖器控制單元也可以基于規定 的定時來控制由中繼裝置的緩沖器存儲的視頻流的數據量。
另外，在本發明涉及的中繼裝置中，緩沖器控制單元也可以將每隔固 定時間的定時、接收包數目達到固定量的定時、接收視頻流的數據量達到 固定量的定時、向所述緩沖器輸入的數據量達到固定量的定時、或者接收
段數目達到固定量的定時中的至少一個定時作為規定的定時，并基于此定 時來控制由中繼裝置的緩沖器存儲的視頻流的數據量。
另外，在本發明涉及的中繼裝置中，緩沖器控制單元也可以根據從外 部裝置接收的控制命令，來控制由中繼裝置的緩沖器存儲的視頻流的數據
另外，本發明涉及的中繼裝置也可以包括對視頻流中包含的幀的幀類
型進行判斷的幀類型判斷單元(例如由段解析部206實現)，并且緩沖器
控制單元可利用由幀類型判斷單元判斷的幀類型來控制由中繼裝置的緩沖 器存儲的視頻流的數據量。
另外，本發明涉及的中繼裝置也可以包括有沒有被參考的判斷單元
(例如由流解析部406實現)，該單元根據幀類型來判斷是否為被其他幀 所參考的被參考幀，并且緩沖器控制單元可利用幀是否為被參考幀的判斷 結果，來控制由中繼裝置的緩沖器存儲的視頻流的數據量，以作為利用了 幀類型的緩沖器控制。
另外，本發明涉及的中繼裝置也可以包括根據與被參考幀之間的距離 來設定幀的優先級的優先級設定單元(例如由流解析部406實現)，并且 緩沖器控制單元可利用幀的優先級來控制由中繼裝置的緩沖器存儲的視頻 流的數據量，以作為利用了幀類型的緩沖器控制。
另外，本發明涉及的中繼裝置也可以包括對視頻流中包含的切片的切 片類型進行判斷的切片類型判斷單元(例如由段解析部206實現)，并且 緩沖器控制單元可利用由切片類型判斷單元判斷的切片類型，來控制由中 繼裝置的緩沖器存儲的視頻流的數據量。
另外，本發明涉及的中繼裝置也可以包括對所述視頻流中包含的NAL 單元的類別進行判斷的類別判斷單元(例如由段解析部206實現)，并且 緩沖器控制單元可利用由類別判斷單元判斷的NAL單元的類別來控制由 中繼裝置的緩沖器存儲的視頻流的數據量。
另外，本發明涉及的中繼裝置也可以包括沒有沒被參考的判斷單元 (例如由段解析部206實現)，該單元判斷視頻流中包括的NAL單元是 否為被視頻流中包含的其他NAL單元所參考的被參考單元，并且緩沖器
控制單元可利用由沒有沒被參考的判斷單元進行的NAL單元是否為被參 考單元的判斷結果，來控制由中繼裝置的緩沖器存儲的視頻流的數據量。
另外，本發明涉及的中繼裝置也可以包括對視頻流中包含的宏塊的宏
塊類型進行判斷的宏塊類型判斷單元(例如由段解析部206實現)，并且 緩沖器控制單元可利用由宏塊類型判斷單元判斷的宏塊類型，來控制由中 繼裝置的緩沖器存儲的視頻流的數據量。
另外，本發明涉及的通信系統是進行視頻流的通信的通信系統，其特
征在于，包括對視頻流的通信進行中繼的中繼裝置，所述中繼裝置包括
存儲控制單元，將從發送終端接收的視頻流存儲到該中繼裝置的緩沖器
中；以及緩沖器控制單元，以段為單位對所述中繼裝置的緩沖器存儲的視 頻流的數據量進行控制。
另外，本發明涉及的通信系統是進行視頻流的通信的通信系統，其特 征在于，包括對視頻流的通信進行中繼的中繼裝置，所述中繼裝置可以包
括接收單元，從發送終端接收視頻流；存儲控制單元，將由接收單元接 收的視頻流存儲到所述中繼裝置的緩沖器中；緩沖器控制單元，控制由所 述中繼裝置的緩沖器存儲的視頻流的數據量；提取單元，從所述中繼裝置 的緩沖器中提取視頻流；發送單元，將由提取單元提取的視頻流發送給目 的地的接收終端。
本發明涉及的緩沖器控制程序是用于對中繼裝置所具有的緩沖器進行 控制的緩沖器控制程序，其使計算機執行以下處理將從發送終端接收的 視頻流存儲到中繼裝置中的處理；以及以段為單位對中繼裝置的緩沖器存 儲的視頻流的數據量進行控制的處理。
另外，本發明涉及的緩沖器控制程序是用于對中繼裝置所具有的緩沖 器進行控制的緩沖器控制程序，其也可以使計算機執行以下處理從發送 終端接收視頻流的處理；將從發送終端接收的視頻流存儲在中繼裝置中的 處理；對由中繼裝置的緩沖器存儲的視頻流的數據流進行控制的處理；以 及從中繼裝置的緩沖器中取出視頻流并將其發送給目的終端的處理。
發明效果
根據本發明，將從發送終端接收的視頻流存儲在中繼裝置的緩沖器
中。另外，以段為單位對中繼裝置的緩沖器所存儲的視頻流的數據量進行 控制。由于以段為單位進行緩沖器控制，因此，在丟棄(刪除)了本應由 中繼裝置發送的視頻流的一部分的情況下，也能夠緩解基于由接收終端接 收的視頻流來再現視頻時的圖像質量的惡化。
另外，根據本發明，由于以段為單位進行緩沖器控制，因此，即使在 進行由傳輸路徑的狀態不同的網絡來進行視頻流的通信的情況下，也不用 對編碼數據進行轉碼，就能夠降低在接收側顯示的視頻由于傳輸路徑的狀 態的影響而惡化的情況。


圖1是示出使用了緩沖器控制方法的通信系統的結構的一個示例的框
圖2是示出中繼裝置的結構的一個示例的框圖3是示出由中繼裝置中繼的視頻流的格式的示例的說明圖； 圖4是示出中繼裝置控制視頻緩沖器的緩沖器控制處理的一個示例的 流程圖5是示出中繼裝置的結構的另一示例的框圖； 圖6是示出流解析部的結構的一個示例的框圖7是示出根據幀類型來決定數據的優先級的處理的一個示例的流程
圖8是示出根據參考圖像(picture)來決定數據的優先級的處理的一 個示例的流程圖9是示出根據是否為IntraMB來決定數據的優先級的處理的一個示 例的流程圖。 標號說明 101中繼裝置 102發送終端 103接收終端 104外部裝置
105、 106、 107傳輸路徑
201接收部
202接收數據分離部
203命令接收部
204閾值設定部
205定時生成部
206段解析部
207視頻緩沖器控制部
208視頻緩沖器
209發送數據生成部
210發送部
具體實施方式
實施方式1
下面，參照附圖對本發明的第一實施方式進行說明。本發明的視頻緩 沖器控制方法(緩沖器控制方法)可應用于對從終端發送的視頻流進行中 繼的中繼裝置中。另外，緩沖器控制方法可應用于使用中繼裝置對經由不 同網絡的通信進行中繼的通信系統中。
另外，在本實施方式中，對從終端發送的視頻流進行中繼的中繼裝置 包括接收從終端裝置發送的視頻流的單元；將接收到的視頻流存儲到視 頻緩沖器中的單元；以及控制緩沖器內的數據量的單元。
另外，中繼裝置可以具有以規定單位控制緩沖器內的數據量的單元。 此時，中繼裝置也可以包括將(1)幀、(2)視頻包、(3) GOB (Group Of Blocks,塊組)、(4)切片(slice)、以及(5) NAL (Network Abstraction Layer,網絡提取層)單元等視頻流固有的段(segment)中的 至少一個用作規定單位的單元。
另外，中繼裝置也可以包括通過規定的方法來設定閾值的單元；以 及基于所設定的閾值來控制緩沖器內的數據量的單元。另外，中繼裝置也 可以包括基于規定的定時來控制緩沖器內的數據量的單元。另外，中繼裝
置也可以包括根據來自外部裝置的指令來控制緩沖器內的數據量的單元， 并且從視頻緩沖器中取出視頻流后發送給中繼目的地的終端。
首先，參照附圖，對使用了緩沖器控制方法的通信系統的結構進行說 明。圖1是示出使用了緩沖器控制方法的通信系統的結構的一個示例的框 圖。如圖1所示，通信系統包括中繼裝置101;發送視頻流的發送終端 102;接搜從發送終端102發送的視頻流的接收終端103;以及發送視頻隊 列控制命令的外部裝置104。
另外，如圖1所示，中繼裝置101和發送終端102經由傳輸路徑105 連接。另外，中繼裝置101和接收終端103經由傳輸路徑106連接。另 外，中繼裝置101與外部裝置經由傳輸路徑107連接。此外，傳輸路徑 105 107通過利用有線或者無線下的IP (Internet Protocol,網際協議)的 網絡或者線路交換網來實現。
此外，在本實施方式中，發送終端102和接收終端103分別連接在傳 輸路徑的狀態(頻帶或數據損失、錯誤特性)不同的網絡上。例如，在圖 1所示的例子中，傳輸路徑105與傳輸路徑106的頻帶或數據損失、錯誤 特性不同。
另夕卜，在圖1中，雖然示出了發送終端102為l個的情況，但是在通 信系統中，可以包括多個發送終端102。另外，在圖1中，雖然示出了接 收終端103為1個的情況，但是在通信系統中，可以包括多個發送終端 103。另外，發送終端102不僅具有發送視頻流的功能還可以具有接收視 頻流的功能。另外，接收終端103不僅具有接收視頻流的功能還可以具有 發送視頻流的功能。此外，外部裝置104也可以通過與發送終端102或接 收終端103相同的裝置實現。
具體地說，發送終端102通過便攜式電話機或PDA等信息處理終端 實現。另外，接收終端例如可以是個人計算機等終端。發送終端102在進 行電視電話或電視會議時，根據用戶的操作，經由傳輸路徑，對包括視頻 流的數據進行發送。
具體地說，接收終端103通過便攜式電話機或PDA等信息處理終端 實現。另外，接收終端103例如也可以是個人計算機等終端。接收終端
103具有經由傳輸路徑106來接收視頻流的功能。另外，接收終端103具 有基于所接收的視頻流在液晶顯示部等顯示部上顯示視頻的功能。例如， 接收終端103在進行電視電話或電視會議時，依照用戶的操作，經由傳輸 路徑106來接收包括視頻流在內的數據，并在液晶顯示部上再現視頻。
具體地說，外部裝置104通過工作站或個人計算機等信息處理裝置實 現。外部裝置104例如由管理中繼裝置101的通信運送商或提供商運營。 外部裝置104具有將用于控制中繼裝置101所具有的緩沖器的控制命令經 由傳輸路徑107發送給中繼裝置101的功能。此外，外部裝置104在通過 與發送終端102或接收終端103相同的裝置(例如，用戶終端)來實現時 可以是便攜式電話機或PDA等終端。
具體地說，中繼裝置101通過網關等通信控制裝置實現。另外，中繼 裝置101可以是按照用于中繼通信的通信中繼程序來執行處理的工作站或 個人計算機等信息處理裝置。圖2是示出中繼裝置的結構的一個示例的框 圖。如圖2所示，中繼裝置包括接收數據分離部202、命令接收部203、 閾值設定部204、定時生成部205、段解析部206、視頻緩沖器控制部 207、視頻緩沖器208、發送數據生成部209、以及發送部210。
接收部201具有從發送終端102經由傳輸路徑105來接收包含視頻流 在內的數據的功能。接收數據分離部202具有從接收數據中分離視頻流并 提取視頻流的功能。另外，接收數據分離部202具有將分離的視頻流存儲 到視頻緩沖器208中的功能。
命令接收部203具有經由傳輸路徑107來接收來自外部裝置的命令的 功能。閾值設定部204具有設定在緩沖器控制中使用的閾值的功能。定時 生成部205具有設定進行緩沖器控制的定時并生成定時信息的功能。段解 析部206具有從接收數據分離部202接受視頻流并對視頻流內的段進行解 析(解釋)的功能。
視頻緩沖器控制部207具有對視頻緩沖器208進行控制的功能。在本 實施方式中，視頻緩沖器控制部207通過進行削減視頻緩沖器208所存儲 的視頻流等處理，來對視頻緩沖器208進行控制。此時，視頻緩沖器控制 部207基于命令接收部203從外部裝置104接收的控制命令來控制視頻緩
沖器208。另外，視頻緩沖器控制部207基于由閾值設定部207設定的閾 值來控制視頻緩沖器208。另外，視頻緩沖器控制部207基于由定時生成 部205設定的定時來控制視頻緩沖器208。另外，視頻緩沖器控制部207 基于段解析部206的解析結果來控制視頻緩沖器208。
視頻緩沖器208具有存儲由接收數據分離部209分離而得的視頻流的 功能。發送數據生成部209具有基于視頻緩沖器208內的視頻流來生成可 用傳輸路徑106進行通信的形式的發送數據的功能。發送部210具有將由 發送數據生成部209生成的發送數據經由傳輸路徑106發送給接收終端 103的功能。
此外，假設由接收部201接收的數據的格式是依賴于在傳輸路徑105 中使用的通信協議的傳輸格式。另外，假設由發送部210發送的格式是依 賴于在傳輸路徑106中使用的通信協議的傳輸格式。這里所說的傳輸格式 是指傳輸視頻流時使用的格式，例如IP網絡的RTP格式或線路交換網絡 的H.223格式等。
此外，所述RTP格式例如被記載于非專利文獻1 " <formula>formula see original document page 21</formula>
另外，當中繼裝置101通過信息處理裝置來實現時，中繼裝置101的 存儲裝置存儲有用于中繼經由不同網絡所進行的視頻流通信的各種程序。 例如，中繼裝置101的存儲裝置存儲有緩沖器控制程序，該緩沖器控制程
序用于使計算機執行將從發送終端接收的視頻流存儲到中繼裝置的緩沖器 中的處理、以及將中繼裝置的緩沖器所存儲的視頻流的數據量控制為段單 位的處理。
接著，對由中繼裝置101中繼的視頻流的格式進行說明。圖3是示出 由中繼裝置101中繼的視頻流的格式例的說明圖。如圖3所示，假定視頻 流由多個幀30-l 30-n構成。在圖3中，VP表示MPEG4的視頻包。如圖
3所示，幀30-1由多個VP31-l 31-m構成。此外，幀30-1不限于由多個 VP31-l 31-m構成，也可以不以VP為單位來進行劃分。另外，幀30-2 30-n與幀30-1—樣，既可以由多個VP構成，也可以不以VP為單位來進 行劃分。
此外，在本實施方式中，雖然說明了對以MPEG4方式編碼后的視頻 流進行通信的情況，但是緩沖器控制方法不限定于特定的編碼方式，例如 也可以應用于進行使用MPEG1或MPEG2編碼后的視頻流的通信的通信 系統中。另外，視頻流中包含的幀不限于以VP為單位進行劃分的情況， 例如也可以以H.263中的GOB或切片等視頻編碼方式所固有的單位來進 行劃分。另外，幀例如也可以以H.264中的NAL單元或切片等視頻編碼 方式所固有的單位來進行劃分。
接著，對動作進行說明。圖4是示出中繼裝置101控制視頻緩沖器 208的緩沖器控制處理的一個示例的流程圖。發送終端102的用戶在與接 收終端103的用戶進行電視電話或電視會議時，操作發送終端來進行用于 指示視頻流的發送的操作。發送終端102按照用戶的操作，經由發送線路 105，將包含視頻流在內的數據發送給中繼裝置101。
首先說明中繼裝置101接收視頻流并將其存儲到視頻緩沖器208中的 動作。中繼裝置101的接收部201經由發送線路105，從發送終端102接 收至少包含視頻流的接收數據(步驟Sll)。然后，接收數據分離部202 根據在傳輸路徑105中使用的傳輸格式，從接收數據中分離視頻流，并提 取視頻流(步驟S12)。另外，接收數據分離部202將分離后的視頻流存 儲到視頻緩沖器208中(步驟S13)。通過以上的處理，視頻流被依次存 儲到中繼裝置101的視頻緩沖器208中。
接著，對中繼裝置101控制視頻緩沖器208的動作進行說明。中繼裝 置101的命令接收部203以規定的定時從外部裝置104經由傳輸路徑107 來接收控制命令(步驟S14)。然后，視頻緩沖器控制部207根據命令接 收部203所接收的控制命令，丟棄(刪除)視頻緩沖器208所存儲的視頻 流(步驟S15)。
另外，在本實施方式中，中繼裝置101的閾值設定部204預先設定有
規定的閾值。此時，視頻緩沖器控制部207在步驟S15中根據閾值設定部 204所設定的閾值來丟棄(刪除)視頻緩沖器208所存儲的視頻流。
另外，在本實施方式中，中繼裝置101的定時生成部205預先設定有 規定的定時。此時，視頻緩沖器控制部207在步驟S15中根據定時生成部 205所設定的定時來丟棄(刪除)視頻緩沖器208所存儲的視頻流。
另外，在本實施方式中，中繼裝置101的段解析部206在接收到視頻 流時，對視頻流中包括的段進行解析。此時，視頻緩沖器控制部207在步 驟S15中根據段解析部206所解析的段，以段為單位來丟棄(刪除)視頻 緩沖器208中的視頻流。
視頻緩沖器控制部207也可以不是根據來自外部裝置104的控制命 令、閾值、定時、以及段的解析結果的全部來控制視頻緩沖器208，而是 根據來自外部裝置104的控制命令、閾值、定時、以及段的解析結果中的 某一個或多個來控制視頻緩沖器208。此時，例如中繼裝置101可以不包 括命令接收部203，通信系統可以不包括發送控制命令的外部裝置104。 另外，例如，中繼裝置101可以不包括閾值設定部204。另外，例如中繼 裝置101可以不包括定時生成部205。
另外，視頻緩沖器控制部207既可以丟棄視頻緩沖器208所存儲的視 頻流中的一部分流，也可以丟棄所有的視頻流。
接著，對由中繼裝置101發送緩沖器208中存儲的視頻流的動作進行 說明。中繼裝置101的發送數據生成部209將視頻緩沖器208所存儲的視 頻流(在步驟S15中沒有丟棄而留在視頻緩沖器208中的視頻流)加工成 在傳輸路徑106中使用的傳輸格式，從而生成發送數據(步驟S16)。并 且，發送部210將由發送數據生成部209生成的發送數據經由傳輸路徑 106發送給接收終端103 (步驟S17)。另外，接收終端103基于從中繼裝 置101接收的數據中所包括的視頻流，在顯示部上顯示視頻。
此外，在視頻緩沖器208中存儲視頻流或丟棄視頻緩沖器208內的數 據的處理具體地說可通過停止向視頻緩沖器208中的輸入、或者提高從視 頻緩沖器208輸出數據的輸出比特速率來實現。
接著，對從外部裝置104發送的控制命令進行說明。從外部裝置104
發送的控制命令在想從外部對中繼裝置101內的視頻緩沖器208進行操作 時，從外部裝置104向中繼裝置101進行發送。然后，經由命令接收部 203被傳給中繼裝置101內的閾值設定部204、定時生成部205、段解析部 206以及視頻緩沖器控制部207等各個模塊。
例如，當發送終端102被切換為通信系統中的其他發送終端時，從外 部裝置104發送用于視頻緩沖器208清除緩沖器內部(刪除視頻流)的控 制命令，以使切換前的發送終端102的過去的視頻流不被發送。并且，該 控制命令經由命令接收部203被傳遞給視頻緩沖器控制部207。另外，例 如當通過轉送而接收終端103被改為通信系統中的其他接收終端時，從外 部裝置104發送用于視頻緩沖器208刪除視頻流的控制命令。
另外，當從發送終端102發送的視頻流的比特速率或幀速率發生急劇 變化或已發生了變化時，也可以從外部裝置104發送與該比特速率或幀速 率的變化相符地增大或減小視頻緩沖器大小的控制命令。并且，控制命令 可以經由命令接收部203被傳遞給視頻緩沖器控制部207。另外，可以將 變更為與所述比特速率或幀速率的變化相符的閾值的控制命令傳遞給閾值 設定部204。另外，可以將變更為與所述比特速率或幀速率的變化相符的 緩沖器控制定時的控制命令傳遞給定時生成部205。另外，可以將控制變 更為與所述比特速率或幀速率的變化相符的段的命令傳遞給段解析部 206。另外，上述的四個命令既可以分別獨立地單獨發送，也可以多個控 制命令同時發送。
另外，當由發送終端102發送的視頻流從以MPEG4編碼的流變成以 H.263編碼的流時，可以將清除(刪除)視頻緩沖器208內的視頻流的控 制命令傳遞給視頻緩沖器控制部207。并且，可以將控制命令轉送給段解 析部206，以便對與變更的視頻流相符的段進行解析(解釋)。此外，在 變更為以MPEG4以及H.263以外的方式編碼的流的情況下也一樣。
接著，對由閾值設定部204設定的閾值進行說明。閾值設定部204可 以根據預先存儲在存儲器等存儲裝置中的設定文件的設定內容來設定閾 值。另外，閾值設定部204也可以根據從與中繼裝置IOI連接的規定的設 定終端(例如，個人計算機等終端)輸入的設定信息來設定閾值。
閾值設定部204例如將視頻緩沖器208中積攢的(可積累的)視頻流 的數據量的上限值設定為閾值。此時，如果判斷出在緩沖器208中積累了 限值以上的視頻流時，則視頻緩沖器控制部207丟棄(刪除)視頻緩沖器 208中的視頻流的一部分或者全部。或者，視頻緩沖器控制部207停止向 視頻緩沖器208的輸入、或者提高從視頻緩沖器208的輸出比特速率。
另外，閾值設定部204例如也可以將視頻緩沖器208中積累的視頻流 的數據量的上限值和下限值這兩個值設定為閾值。此時，如果判斷出在緩 沖器208中積累了上限值以上的視頻流，則視頻緩沖器控制部207控制向 視頻緩沖器208中的視頻流的輸入，以使所述輸入不至于進行到視頻緩沖 器208所積累的視頻流的數據量達到下限值。或者，視頻緩沖器控制部 207也可以控制從視頻緩沖器208的視頻流的輸出比特速率，以使視頻緩 沖器208所積累的視頻流的數據量達到下限值。
另外，閾值設定部204既可以獨自計算視頻流的輸入比特速率或幀速 率，或者，通過經由命令接收部203從外部裝置104接收來取得輸入比特 速率或幀速率。在此情況下，當所取得的比特速率或幀速率瞬間升高時， 閾值設定部204可以暫時提高視頻緩沖器208所積累的視頻流的數據量的 上限值。
此外，當視頻流被輸入視頻緩沖器208中時，閾值設定部204也可以 計算在規定的時間(例如，分、秒、毫秒等)內輸入的視頻流的數據量或 者數據量的微分值。并且，閾值設定部204也可以將用于與上述求得的數 據量或微分值進行比較的值設定為閾值。在此情況下，例如當輸入比特速 率的微分值較大時，閾值設定部204可以提高視頻緩沖器208的上限值。 或者，為了防止數據從視頻緩沖器208中溢出，也可以進行在緩沖量達到 上限值之前停止視頻流的輸入等的控制。
例如，可以設定用于間拔(間引〈)視頻緩沖器208內數據的間拔閾 值，并在緩沖量達到間拔閾值時對規定的數據量進行緩沖器控制(例如， 不向視頻緩沖器208進行規定數據量的數據的輸入)。即，視頻緩沖器控 制部207可以執行對視頻緩沖器208存儲的視頻流的規定數據量進行間拔 的間拔處理。另外，可以設定多個所述間拔閾值，例如，可以在緩沖量的
三分之一處(達到第一間拔閾值的時候)對一幀的數據量進行緩沖器控 制，在緩沖量的三分之二處(達到第二間拔閾值的時候)對二幀的數據量 進行緩沖器控制。
接著，對由定時生成部205設定規定的定時(以下也稱為緩沖器控制 定時)并生成定時信息的動作進行說明。"緩沖器控制定時"是用于視頻
緩沖器控制部207查看視頻緩沖器208的內部(確認視頻緩沖器208存儲 的視頻流)并進行緩沖器控制的定時。
定時生成部205可以根據預先存儲在存儲器等存儲裝置中的設定文件 的設定內容來設定緩沖器控制定時。另外，定時生成部205也可以根據從 與中繼裝置101相連的規定的設定終端輸入的設定信息，將某個固定的定 時設定為緩沖器控制定時。
另外，定時生成部205也可以將由接收部201進行數據接收的定時作 為緩沖器控制定時。另外，定時生成部205也可以將從命令接收部203接 收控制命令的定時作為緩沖器控制定時。
另外，定時生成部205可以在與視頻緩沖器208積累的數據量相比來 自接收數據分離部202的視頻流的數據量少時、或者視頻流的接收頻率低 時，以使緩沖器控制定時延遲地進行設定。另外，相反地，定時生成部 205可以在與視頻緩沖器208積累的數據量相比來自接收數據分離部202 的視頻流的數據量多時、或者視頻流的接收頻率高時，以使緩沖器控制定 時提前地進行設定。這里的定時例如既可以是以每隔固定時間的時間信息 確定的定時，也可以是接收包的數目達到固定量的定時、接收視頻流的數 據量達到固定量的定時、或者輸入到視頻緩沖器中的數據量達到固定量的 定時。另外，可以是在與接下來示出的段解析部206協作的情況下，接收 幀的數目達到固定量的定時、或者接收視頻編碼方式所固有的段的數目達 到固定量的定時等。
接著說明由段解析部206進行的段解析(視頻流中包含的段的解析處 理)。在本實施方式中，將作為解析對象的段假定為幀以及將幀進一步分 割的視頻編碼方式所固有的單位(例如，視頻包、GOB、切片、NAL單 元)這兩類。此時，段解析部206例如通過進行段的解析處理來指定是能
夠將視頻流劃分為幀單位，還是能夠將視頻流劃分為視頻編碼方式所固有 的單位。
在本實施方式中，作為段的視頻編碼方式所固有的單位是將幀分割的 單位，是即使在視頻流中的一部分的段由于丟包或誤碼而不能解碼的情況 下視頻流中的其他段也能夠獨立地解碼的單位。
作為段解析的方法，段解析部206例如使用從視頻流中搜索表示段劃 分的起始碼的方法來指定視頻流中的段。此外，段解析部206例如也可以 使用從傳輸格式中辨別段劃分的方法來指定視頻流中的段。另外，段解析 部206例如也可以使用視頻流所固有的段解析方法來指定視頻流中的段。
下面，對將MPEG4中的視頻包(VP)用作段單位的情況進行說明。 在將其他視頻編碼方式所固有的單位(例如，GOB、切片或NAL單元) 用作段的情況下也一樣。
首先，段解析部206根據預先設定的初始值或者從命令接收部203接 收到的控制命令，決定是否對某段(幀或者視頻包)進行解析。中繼裝置 101將在這里由段解析部203解析的段用作向視頻緩沖器208輸入視頻流 時或丟棄視頻緩沖器208內的視頻流時的單位。
如果以幀單位進行緩沖器控制，則在接收終端103接收的視頻的幀數 目就會減少，幀速率下降。例如，當經幀間預測從發送終端102發送了圖 3所示的幀30-3時，如果前一幀30-2通過緩沖器控制被丟棄并沒有被發送 給接收終端103，參考幀就會發生偏移。因此，對幀30-3進行解碼時所參 考的幀變成之前第二個的幀30-1，從而導致在接收終端103再現的圖像的 圖像質量惡化。但是，在運動較少的視頻(幀間變化少的視頻)的情況 下，由參考幀偏移引起的圖像質量惡化較少。因此，在運動較少的視頻的 情況下，通過將幀單位作為段來進行緩沖器控制，能夠降低在接收終端 103再現的圖像的圖像質量惡化。
另一方面，如果以VP單位進行緩沖器控制，則在接收終端103接收 的視頻的幀速率不發生變化，接收到的VP能夠正常地解碼。例如，即使 在圖3所示的VP31-2通過緩沖器控制而被丟棄并沒有被發送給接收終端 103時，構成幀30-1的其他的VP31-1、 31-3 31-m也正常地被解碼。此
時，對于幀中VP31-2部分的解碼處理依賴于接收終端103的解碼精度。 因此，根據接收終端103的解碼精度，能夠通過將視頻包單位作為段來進 行緩沖器控制，來降低在接收終端103再現的圖像的圖像質量惡化。
接著考慮不以段單位而是以某個固定的比特量為單位進行緩沖器控制 的情況。例如假定通過緩沖器控制丟棄了幀30-1的末尾附近以及幀30-2 的開頭附近。此時，對于幀30-l，接收終端103能夠正常地解碼其開頭部 分至丟棄部分之前的部分的內容。另一方面，對于幀30-2，接收終端103 由于其開頭部分已被丟棄(例如，由于頭部分已被丟棄)，因此不能正常 地解碼至下一個VP或下一個幀的部分。
同樣地，當通過緩沖器控制而丟棄了 VP31-5的末尾附近與VP31-6的 開頭附近時，接收終端103也不能正常地解碼至下一個VP或幀的部分。 如果如上述那樣不以段單位而是以固定的比特量為單位進行緩沖器控制， 就會向接收終端大量發送即便接收也不能正常解碼的數據，從而會引起在 接收終端103中再現的圖像的圖像質量惡化。在本實施方式中，通過以段 為單位進行視頻緩沖器控制，能夠緩解在接收終端103中再現的圖像的圖 像質量的惡化。
視頻緩沖器控制部207接收來自命令接收部203、閾值設定部204、 定時生成部205、以及段解析部206的信息，對視頻緩沖器208中的視頻 流進行控制。
如上所述，根據本實施例，中繼裝置IOI將從來自發送終端102的接 收數據中分離的視頻流存儲到視頻緩沖器208中。另外，中繼裝置101解 析視頻流中包含的段，并基于段的解析結果來將視頻緩沖器208所存儲的 視頻流的數據量控制為段單位。由于以段為單位進行緩沖器控制，因此即 便在丟棄(刪除)了本應由中繼裝置101發送的視頻流的一部分的情況 下，也能夠緩解接收終端103基于接收到的視頻流來再現視頻時的圖像質 量的惡化。因此，當進行伴有視頻的通信時，能夠降低在接收側顯示的視 頻由于受傳輸路徑狀態的影響而惡化的情況。
此外，根據本實施方式，由于以段為單位進行緩沖器控制，因此即便 在經由傳輸路徑的狀態不同的網絡來進行視頻流的通信的情況下，也不用
對編碼數據進行轉碼，就能夠降低在接收側顯示的視頻由于受傳輸路徑狀 態的影響而惡化的情況。 實施方式2
下面，參照附圖對本發明的第二實施方式進行說明。在本實施方式 中，使用了視頻緩沖器控制方法(緩沖器控制方法)的中繼裝置除了第一 實施方式所示的構成部分以外，還包括指定包含于視頻流中的視頻流信息 的單元。
另外，中繼裝置具有將(1)幀類型、(2)切片類型、(3) NAL單 元的類別、(4) NAL單元有沒有被參考的情況、或者(5)宏塊類型中的 至少一種用作視頻流信息的單元。另外，中繼裝置具有使用特定的視頻流 信息來控制數據量的單元，并且從視頻緩沖器中取出視頻流后發送給中繼 目的地的終端。
首先，參照附圖對使用了緩沖器控制方法的通信系統的結構進行說 明。在本實施方式中，通信系統的基本結構與第一實施方式中示出的結構 (參照圖1)相同。在本實施方式中，中繼裝置401的功能不同于第一實 施方式中示出的中繼裝置101的功能。
圖5是示出中繼裝置的結構的其他示例的框圖。如圖5所示，在該實 施方式中，中繼裝置401包括代替了圖2所示的中繼裝置101的段解析部 206的流解析部406，這一點不同于第一實施方式。另外，在本實施方式 中，視頻緩沖器控制部407的功能不同于圖2所示的視頻緩沖器控制器 207的功能。
在本實施方式中，中繼裝置401相當于在第一實施方式所示的中繼裝 置101中增加了使用視頻流信息進行緩沖器控制的單元(流解析部406以 及視頻緩沖器控制部407)。此外，接收部201、接收數據分離部202、命 令接收部203、閾值設定部204、定時生成部205、視頻緩沖器208、發送 數據生成部209、以及發送部210的功能與第一實施方式中示出的各部分 的功能相同。
流解析部406具有進行段解析(段的解釋)并從視頻流中取得(提 取)段信息的功能。
視頻緩沖器控制部407具有控制視頻緩沖器208的功能。此時，視頻 緩沖器控制部407與第一實施方式中示出的視頻緩沖器控制部207同樣 地，根據由命令接收部203從外部裝置104接收的控制命令來控制視頻緩 沖器208。另外，視頻緩沖器控制部407與第一實施方式中示出的視頻緩 沖器控制部207同樣地，根據閾值設定部所設定的閾值來控制視頻緩沖器 208。另外，視頻緩沖器控制部407與第一實施方式中示出的視頻緩沖器 控制部207同樣地，根據定時生成部205所設定的定時來控制視頻緩沖器 208。另外，視頻緩沖器控制部407除第一實施方式中示出的視頻緩沖器 控制部207的功能以外，還取得由流解析部406解析的段以及由流解析部 406提取的段信息，進行視頻緩沖器控制部207的緩沖器控制。
圖6是示出流解析部406的結構的一個示例的框圖。如圖6所示，流 解析部406包括段解析部206和段信息取得部501。段解析部206與第一 實施方式中示出的中繼裝置101所包括的段解析部206同樣地具有對視頻 流中的段進行解析(解釋)的功能。段信息取得部501具有從由段解析部 206解析的段(視頻流中包含的段)中取得(提取)段所固有的信息(段 信息)的功能。
接著，對動作進行說明。在本實施方式中，中繼裝置401按照與圖4 所示的緩沖器控制處理相同的處理，從發送終端102接收視頻流并將其存 儲到視頻緩沖器208中，并且控制視頻緩沖器208來將存儲在視頻緩沖器 208中的視頻流發送給接收終端103。
另外，流解析部406的段解析部206在接收到視頻流時若從接收數據 分離部202輸入了視頻流，則與第一實施方式示出的段解析部206同樣 地，按照幀單位或將幀分割而得的視頻編碼方式所固有的單位來進行段解 析。另外，段解析部206將解析的段傳(輸出)給段信息取得部501。
段信息取得部501根據來自段解析部206的段的解析結果來取得(提 取)段信息。另外，段信息取得部501將得到的段信息輸出給視頻緩沖器 控制部407。然后，視頻緩沖器控制部407將從流解析部406輸入的段信 息用于緩沖器控制中。
首先考慮以幀為單位對段進行解析的情況。此時，段信息取得部501
通過解析流開頭的頭部分或者解析傳輸格式等，來取得(提取)作為段信
息的幀類型。另外，視頻緩沖器控制部407使用由段信息取得部501判斷 的幀類型來控制視頻緩沖器208。因此，能夠將為了判斷幀類型而增加的 處理量控制得較小。
另外，當以幀為單位對段進行解析時，流解析部406根據所提取的幀 類型來決定緩沖器控制中的數據的優先級。并且，視頻緩沖器控制部407 根據由流解析部406決定的優先級來控制視頻緩沖器208。例如，視頻緩 沖器控制部407進行控制，以便按照優先級從低到高的順序以段單位丟棄 視頻緩沖器208所存儲的視頻流。
圖7是示出根據幀類型來決定數據優先級的處理的一個示例的流程 圖。如圖7所示，流解析部406根據由段信息取得部501提取的幀類型， 首先判斷幀類型是否為I幀(步驟S601)。當判斷為I幀時，由于是可通 過幀間預測來單獨解碼的數據，因此流解析部406提高該幀的優先級(步 驟S602) 。 g卩，流解析部406進行設定使得I幀的優先級變高。
當在步驟S601中判斷為是I幀以外的幀(例如，B幀)時，由于解碼 視頻質量依賴于幀間預測中的其他幀的狀況，因此流解析部406降低該幀 的優先級(步驟S603)。即，流解析部406進行設定使得I幀以外的幀的 優先級變低。
在例如MPEG4的SimpleProfile等僅存在I幀和P幀的視頻流中，I幀 跟前的P幀不被任何圖像所參考。因此，即使丟棄I幀跟前的P幀，也只 不過是比特速率或幀速率有所下降，而輸出的視頻流不會發生紊亂。另 外，當丟棄了 I幀跟前的P幀時，位于所述丟棄的P幀跟前的P幀也不被 任何圖像所參考。因此，即使將所丟棄的P幀跟前的P幀丟棄掉，輸出的 視頻流也不會發生紊亂。即可考慮將距離被參考幀最遠的幀(I幀跟前的P 幀)的優先級設定為最低，并隨著接近被參考幀而將優先級設定得逐漸升 高。另外，不限于所述I幀跟前的P幀的情況，只要是沒有被其他的幀參 考的幀，就可以同樣地將優先級設定得很低。例如，B幀沒有被其他的幀 參考，即使丟棄B幀，輸出的視頻流也不會發生紊亂。因此可考慮將B幀 的優先級設定得很低。
通過執行上述的處理，流解析部406根據幀類型來判斷是否為被其他
幀所參考的被參考幀。并且，視頻緩沖器控制部407使用該判斷結果來控 制視頻緩沖器208所存儲的視頻流的數據量。另外，流解析部406根據與 被參考幀之間的距離來設定幀的優選度。并且，視頻緩沖器控制部407利 用所設定的幀的優先級來控制視頻緩沖器208所存儲的視頻流的數據量。
此外，當解析了 H.264中的切片單位的段時，在圖7中可以代替幀而 讀取切片。此時，段信息取得部501判斷并提取視頻流中包含的切片的切 片類型來作為段信息。并且，視頻緩沖器控制部407使用由段信息取得部 501判斷的切片類型來控制視頻緩沖器208。
另外，段信息取得部501也可以判斷并提取視頻流中包含的宏塊的宏 塊類型來作為段信息。并且，視頻緩沖器控制部407可以使用由段信息取 得部501判斷的宏塊類型來控制視頻緩沖器208。
接著考慮以NAL單元為單位對段進行解析的情況。此時，段信息取 得部501判斷視頻流中包含的NAL單元是否為被視頻流中包含的其他 NAL單元所參考的被參考單位(參考圖像)。并且，視頻緩沖器控制部 407利用NAL單元是否為參考圖像的判斷結果來控制視頻緩沖器208。
NAL單元通常具有被稱為NAL頭的頭部，在該頭部中包含有表示是 否為參考圖像的標志、以及表示NAL單元類別的標識符。此時，流解析 部406根據NAL單元中所包含的用于表示是否為參考圖像的標志來判斷 段(NAL單元)是否為參考圖像，從而決定緩沖器控制中的數據的優先 級。
圖8是示出根據是否為參考圖像來決定數據優先級的處理的一個示例 的流程圖。如圖8所示，流解析部406首先判斷段是否為參考圖像(步驟 S701)。當判斷為參考圖像時，由于該段是被其他圖像所參考的數據，因 此流解析部406使該段的優先級上升(步驟S702)。即，流解析部406進 行設定使得參考圖像的優先級變高。
當步驟S701中判斷為不是參考圖像時，流解析部406獲知即使該段 的圖像損失(丟棄)也不會影響到其他圖像，因此降低該段的優先級(步 驟S703) 。即，流解析部406進行設定使得參考圖像以外的圖像的優先級
變低。當僅丟棄了參考圖像以外的圖像時，將得到雖比特速率或幀速率有 所下降但輸出的視頻流完全沒有發生紊亂的視頻。
同樣地，也可以使用NAL單元類別來設定用于緩沖器控制的優先 級。此時，段信息取得部501對視頻流中包含的NAL單元的類別進行判 斷。并且，視頻緩沖器控制部407利用由段信息取得部501判斷的NAL 單元的類別來控制視頻緩沖器208。
例如，當NAL單元類別示出序列參數集(SPS)或圖像參數集 (PPS)時，由于這些信息是在以后的圖像流的解碼中所需的參數，因此 流解析部406將優先級設定為最高。另外，當NAL單元類別示出AU定界 符時，由于其是表示幀的分界線的重要的值，因此流解析部406將優先級 設定為第二高。另外，當NAL單元類別示出IDR圖像的切片時，由于其 示出了復合比特流所需的所有的狀態被重置并給以后的解碼帶來很大影 響，因此流解析部406將優先級設定為第三高。此外，當是上述類別以外 的NAL單元類別時，流解析部406將優先級設定得較低。
例如，MPEG4的DcoderConfiglnfo (DCI)信息雖然不是NAL單元， 但同樣是視頻流的解碼中所需要的參數，因此，流解析部406也可以根據 DcoderConfiglnfo (DCI)信息來將優先級設定得較高。另外，在傳輸路徑 406是具有可靠性的無差錯傳輸路徑的情況下，流解析部406也可以在接 收到與上一次的SPS、 PPS、 DCI相同的參數時，將該接收數據的優先級 設定得較低。
接著考慮以VP (視頻包)為單位對段進行解析并且一個VP由一個宏 塊(MB)構成的情況。此時，流解析部406可通過解析MB的開頭部分 來判別是否為IntraMB，從而決定緩沖器控制中的數據的優先級。另外， 由于可以只對MB的開頭部分進行解析，因此能夠將處理量的增加控制在 最低限度。
圖9是示出根據是否為IntraMB來決定數據優先級的處理的一個示例 的流程圖。如圖9所示，流解析部406首先判斷段是否為I幀(步驟 S801)。在判斷為段為I幀時，由于MB類型全部是IntraMB，段間不存 在差異，因此，流解析部406不改變該段的優先級，并直接結束處理。
當判斷為段不是I幀時，流解析部406判斷段是否為IntraMB (步驟 S802)。當判斷為段為IntraMB時，由于在采用了不以I幀以外的幀進行 幀間預測的視頻編碼方式的情況下能夠用該MB單體進行解碼，因此，流 解析部406提高該段的優先級(步驟S803) 。 S卩，流解析部406進行設定 使得IntmMB的段的優先級變高。
當在步驟S802中判斷為IntraMB以外的MB時，流解析部406由于可 通過基于其他數據的預測來進行解碼，因此降低該段的優先級(步驟 S804) 。 B卩，流解析部406進行設定使得IntraMB以外的段的優先級變 低。
在圖9中，可以代替VP而以切片、NAL單元等其他的視頻編碼方式 所固有的段單位來讀取。
另外，圖7 圖9示出的賦予優先級的方法(優先級設定方法)為一 個示例，例如，即使根據使用者的設定策略來進行變更，也能夠得到相同 的效果。
視頻緩沖器控制部407在緩沖器控制中以段單位丟棄視頻緩沖器208 內的數據中的優先級低的數據(視頻流)，或者停止優先級低的數據輸入 到視頻緩沖器208。
在接收終端103具有能夠吸收若干到達順序的緩沖器的情況下，中繼 裝置401可以有意識地更換優先級高的數據的發送順序后進行發送。另 外，當如使用H.264的場合那樣能夠基于切片頭部內的PPS來判斷數據屬 于哪個順序，并使用能夠不依賴于到達順序進行解碼的視頻編碼方式等 時，中繼裝置401也可以有意識地更換優先級高的數據的發送順序后進行 發送。
產業上的實用性
本發明能夠應用于對經由不同網絡所進行的視頻流的通信進行中繼的 中繼裝置。另外，能夠應用于包括對不同網絡間的通信進行中繼的中繼裝 置的通信系統。
權利要求
1. 一種緩沖器控制方法，對中繼裝置所具有的緩沖器進行控制，所述中繼裝置將來自接收終端的視頻流中繼給接收終端，其特征在于，包括存儲步驟，將從所述發送終端接收的視頻流存儲到所述中繼裝置的緩沖器中；以及緩沖器控制步驟，以段為單位對由所述中繼裝置的緩沖器存儲的視頻流的數據量進行控制。
2. 根據權利要求1所述的緩沖器控制方法，其特征在于， 作為積累所述中繼裝置所接收的視頻流的所述中繼裝置的緩沖器的數據量的控制，基于對與所述中繼裝置所接收的視頻流相關的段進行解析的結果與其 他設定的組合，以段為單位對所述中繼裝置的緩沖器中的視頻流的數據量 進行控制，所述其他設定包括閾值、規定的定時、控制命令中的一個或多個，所 述閾值是就所述中繼裝置的緩沖器的數據量的控制所設定的閾值，所述規 定的定時是就所述中繼裝置的緩沖器的數據量的控制所設定的定時，所述 控制命令是由與所述中繼裝置連接的外部裝置向所述中繼裝置輸入的控制 命令，所述中繼裝置取出所述中繼裝置的緩沖器中積累的視頻流，并將其發 送給接收終端。
3. 根據權利要求1所述的緩沖器控制方法，其特征在于， 作為積累所述中繼裝置所接收的視頻流的所述中繼裝置的緩沖器的數據量的控制，還包括以下(Sl)至(S4)步驟中的任意步驟(51) 包括對所述視頻流中包含的幀的幀類型進行判斷的幀類型判斷 步驟，在所述緩沖器控制步驟中，使用在所述幀類型判斷步驟中判斷的幀 類型來控制由所述中繼裝置的緩沖器存儲的視頻流的數據量；(52) 包括對所述視頻流中包含的切片的切片類型進行判斷的切片類 型判斷步驟，在所述緩沖器控制步驟中，使用在所述切片類型判斷步驟中判斷的切片類型來控制由所述中繼裝置的緩沖器存儲的視頻流的數據量，(53) 包括對所述視頻流中包含的NAL (Network Abstraction Layer)單元的類別進行判斷的類別判斷步驟，在所述緩沖器控制步驟中，使用在 所述類別判斷步驟中判斷的NAL單元的類別來控制由所述中繼裝置的緩 沖器存儲的視頻流的數據量，(54) 包括對所述視頻流中包含的宏塊的宏塊類型進行判斷的宏塊類 型判斷步驟，在所述緩沖器控制步驟中，使用在所述宏塊類型判斷步驟中 判斷的宏塊類型來控制由所述中繼裝置的緩沖器存儲的視頻流的數據量。
4. 一種對視頻流的通信進行中繼的中繼裝置，其特征在于，包括 緩沖器，用于存儲視頻流；存儲控制單元，將從發送終端接收的視頻流存儲到所述緩沖器中；和 緩沖器控制單元，以段為單位對所述緩沖器所存儲的視頻流的數據量 進行控制。
5. 根據權利要求4所述的中繼裝置，其特征在于， 所述中繼裝置包括接收從所述發送終端發送的視頻流的接收單元， 所述存儲控制單元將由所述接收單元接收的視頻流存儲到所述緩沖器中，所述所述中繼裝置包括提取單元，從所述緩沖器中提取視頻流；以及發送單元，將所述提取單元提取的視頻流發送給目的地的接收終端。
6. 根據權利要求4所述的中繼裝置，其特征在于， 所述緩沖器控制單元通過執行以下處理中的至少一個來控制所述緩沖器所存儲的視頻流的數據量，其中所述處理分別如下對所述緩沖器所存 儲的視頻流進行間拔的處理；丟棄所述緩沖器所存儲的視頻流的處理；停 止向所述緩沖器中的視頻流的輸入；以及提高從所述緩沖器輸出的視頻流 的輸出速率的處理。
7. 根據權利要求4所述的中繼裝置，其特征在于， 所述緩沖器控制單元將幀、視頻包、GOB (Group Of Blocks)、切片、NAL (Network Abstraction Layer)單元中的至少一個用作所述段單位來控制所述緩沖器所存儲的視頻流的數據量。
8. 根據權利要求4所述的中繼裝置，其特征在于， 所述中繼裝置包括以規定的方法設定閾值的閾值設定單元， 所述緩沖器控制單元基于由所述閾值設定單元設定的閾值來控制所述緩沖器所存儲的視頻流的數據量。
9. 根據權利要求8所述的中繼裝置，其特征在于， 所述緩沖器控制單元使用下述(A)至(C)控制中的至少一種控制來對所述緩沖器存儲的視頻流的數據量進行控制，其中所述(A)至(C)控制分別如下(A) 將所述視頻流的數據量的上限值設定為閾值，并將所述緩沖器 內積累的視頻流的數據量達到所述上限值以上為條件，停止向所述緩沖器 中的輸入，或者丟棄所述緩沖器內的視頻流的至少一部分，或者提高從所 述緩沖器輸出視頻比特流的輸出比特速率；(B) 將所述視頻流的數據量的上限值和下限值設定為閾值，并將所 述緩沖器內積累的視頻流的數據量達到所述上限值以上為條件，執行停止 向所述緩沖器中的輸入、或者提高從所述緩沖器輸出視頻比特流的輸出比 特速率的控制，直到所述緩沖器的視頻流的數據量達到下限值；以及(C) 將用于間拔所述視頻流的數據量的間拔閾值設定為閾值，并將 所述緩沖器的視頻流的數據量達到間拔閾值為條件，不進行向所述緩沖器 中的規定數據量的數據的輸入。
10. 根據權利要求9所述的中繼裝置，其特征在于， 所述緩沖器控制單元基于規定的定時來控制所述緩沖器所存儲的視頻流的數據量，作為所述規定的定時，包括每隔固定時間的定時、接收包數目達到固 定量的定時、接收視頻流的數據量到達固定量的定時、以及向所述緩沖器 輸入的數據量到達固定量的定時、接收視頻流的段數目達到固定量的定時 中的至少一個。
11. 根據權利要求4所述的中繼裝置，其特征在于，所述緩沖器控制單元根據從外部裝置接收的控制命令來控制所述緩沖器所存儲的視頻流的數據量。
12. 根據權利要求4所述的中繼裝置，其特征在于，所述中繼裝置包括幀類型判斷單元、切片類型判斷單元、類別判斷單 元、以及宏塊類型判斷單元中的至少一個判斷單元，其中，幀類型判斷單 元判斷所述視頻流中包含的幀的幀類型，所述切片類型判斷單元判斷所述 視頻流中包含的切片的切片類型，所述類別判斷單元判斷所述視頻流中包含的NAL單元的類別，所述宏塊類型判斷單元判斷所述視頻流中包含的 宏塊的宏塊類型，所述緩沖器控制單元使用由所述判斷單元判斷的幀類型、切片類型、 NAL單元的類別、以及宏塊類型中的至少一個，來控制所述緩沖器所存儲 的視頻流的數據量。
13. 根據權利要求4所述的中繼裝置，其特征在于， 所述中繼裝置包括幀類型判斷單元，判斷所述視頻流中包含的幀的幀類型；以及有沒有被參考的判斷單元，根據所述幀類型來判斷是否為被 其他幀所參考的被參考幀，所述緩沖器控制單元利用由所述有沒有被參考的判斷單元進行的有關 所述幀是否為被參考幀的判斷結果，來控制由所述緩沖器存儲的視頻流的 數據量，以作為利用了所述幀類型的緩沖器控制。
14. 根據權利要求13所述的中繼裝置，其特征在于， 所述中繼裝置包括優先級設定單元，該優先級設定單元根據與所述被參考幀之間的距離來設定幀的優先級，所述緩沖器控制單元利用所述幀的優先級來控制由所述中繼裝置的所 述緩沖器存儲的視頻流的數據量，以作為利用了所述幀類型的緩沖器控 制。
15. 根據權利要求4所述的中繼裝置，其特征在于， 所述中繼裝置包括類別判斷單元，判斷所述視頻流中包含的NAL單元的類別；以及有沒有被參考的判斷單元，判斷所述視頻流中包含的 NAL單元是否為被所述視頻流中包含的其他NAL單元所參考的被參考單 元，所述緩沖器控制單元利用由所述有沒有被參考的判斷單元進行的NAL 單元是否為被參考單元的判斷結果，對所述緩沖器存儲的視頻流的數據量 進行控制。
16. —種通信系統，將來自發送終端的視頻流通過中繼裝置中繼并發 送給接收終端，其特征在于，所述中繼裝置包括緩沖器，存儲從所述發送終端接收的視頻流；緩沖器控制單元，以段為單位對所述緩沖器所存儲的視頻流的數據量 進行控制；以及取出所述緩沖器中積累的視頻流并將其發送給所述接收終端的單元。
17. 根據權利要求16所述的通信系統，其特征在于， 所述中繼裝置包括對與所述視頻流相關的段進行解析的段解析單元， 并且，所述中繼裝置還包括閾值設定單元、定時生成單元以及命令接收單元中的一個或多個單元，其中，所述閾值設定單元就所述緩沖器的數 據量的控制設定閾值；所述定時生成單元生成控制所述緩沖器的數據量的 規定的定時；所述命令接收單元從與所述中繼裝置連接的外部裝置接收向 所述中繼裝置輸入的控制命令，所述緩沖器控制單元根據(A)所述段的解析結果以及(B)所述段的 解析結果與其他設定的組合中的任一個，以段為單位對所述緩沖器中的視 頻流的數據量進行控制，所述(B)中的所述其他設定包括所述閾值、所述規定的定時、所述 控制命令中的一個或多個。
18. 根據權利要求16所述的通信系統，其特征在于， 所述中繼裝置包括流解析單元，該流解析單元進行所述視頻流的段解析，并從所示視頻流中提取段信息，所述中繼裝置執行下述(Sl)至(S4)控制中的任意控制，其中所述 (Sl)至(S4)控制分別如下(Sl)所述流解析單元判斷所述視頻流中包含的幀的幀類型，所述緩 沖器控制單元利用所述判斷的幀類型來控制由所述緩沖器存儲的視頻流的 數據量； (52) 所述流解析單元判斷所述視頻流中包含的切片的切片類型，所 述緩沖器控制單元利用所述判斷的切片類型來控制由所述緩沖器存儲的視頻流的數據量；(53) 所述流解析單元判斷所述視頻流中包含的NAL (Network Abstraction Layer)單元的類別，所述緩沖器控制單元利用所述判斷的 NAL單元的類別來控制由所述緩沖器存儲的視頻流的數據量；(54) 所述流解析單元判斷所述視頻流中包含的宏塊的宏塊類型，所 述緩沖器控制單元利用所述判斷的宏塊類型來控制由所緩沖器存儲的視頻 流的數據量。
19. 根據權利要求18所述的通信系統，其特征在于， 在所述中繼裝置中，作為所述(SI)的控制，所述流解析單元基于所述視頻流中包含的幀 類型來判斷是否為被其他幀所參考的被參考幀，所述緩沖器控制單元利用 由所述有沒有被參考的判斷單元進行的有關所述幀是否為被參考幀的判斷 結果，來控制由所述緩沖器存儲的視頻流的數據量，以作為利用了所述幀 類型的緩沖器控制，作為(S3)的控制，所述流解析單元判斷所述視頻流中包含的NAL 單元是否為被所述視頻流中包含的其他NAL單元所參考的被參考單元， 所述緩沖器控制單元利用由所述有沒有被參考的判斷單元進行的NAL單 元是否為被參考單元的判斷結果，來控制由所述緩沖器存儲的視頻流的數 據量。
20. 根據權利要求18所述的通信系統，其特征在于， 在所述中繼裝置中，作為所述(SI)的控制，所述流解析單元包括根據與所述被參考幀之間的距離來設定幀的優先級的單元，所述緩沖器控制 單元利用所述幀的優先級來控制由所述中繼裝置的所述緩沖器存儲的視頻 流的數據量，以作為利用了所述幀類型的緩沖器控制。
全文摘要
本發明在經由傳輸路徑的狀態(頻帶或數據損失、錯誤特性)不同的網絡之間進行伴有視頻的電視電話或電視會議等實時通信時，能夠使傳輸路徑的狀態不同的接收側中的顯示圖像的紊亂最小化。在對經由傳輸路徑的狀態不同的網絡間的通信進行中繼的中繼裝置中，進行考慮了傳輸路徑的狀態和所接收的視頻流的特性的視頻緩沖器控制。通過上述的控制來緩解在接收側顯示視頻時發生的紊亂。中繼裝置(101)的視頻緩沖器控制部(207)根據由命令接收部(203)接收的控制命令、由閾值設定部(204)設定的閾值、以及由定時生成部(205)設定的定時來控制視頻緩沖器(208)。另外，視頻緩沖器控制部(207)根據段解析部(206)的解析結果，以段為單位控制視頻緩沖器(208)。
文檔編號H04L12/66GK101395871SQ200780007950
公開日2009年3月25日 申請日期2007年3月9日 優先權日2006年3月14日
發明者出井洋明, 小澤一范, 竹島良太 申請人:日本電氣株式會社