專利名稱：圖像傳輸設備、圖像傳輸方法、記錄介質及圖像傳輸程序的制作方法
技術領域：
本發明涉及傳輸從圖像源抽取的圖像的圖像傳輸方法、圖像傳輸方法、使計算機擔當起所述圖像傳輸設備的工作的圖像傳輸程序、以及在其上記錄著上述程序的記錄介質，尤其是，涉及根據網絡帶寬的情況實時傳輸最新圖像數據的圖像傳輸設備，以及圖像傳輸方法和記錄介質，還有圖像傳輸程序。
背景技術：
隨著近年來網絡技術的發展，網絡圖像傳輸系統開始廣泛使用，這種系統通過網絡傳輸圖像，并可以回放接收方接收的圖像。一般來說，圖像數據量是很大的。這樣，為了通過網絡傳輸圖像，必須保留用于傳輸圖像的寬帶網。近來的一些新技術即使在沒有一定帶寬保證的網絡環境中也能夠降低回放圖像時的延時。
日本專利特許公開No.123456/1997中公開了一種技術，該技術用于降低由于圖像回放側不足的回放能力或者不足的網絡帶寬所引起的回放時間的延時，以保持實時特性。根據這一技術，為了避免接收圖像的客戶機在接收和解碼數據包時花費時間，客戶機放棄那些解碼不完全的數據包，而從服務器接收最近的數據包，從而保持了實時特征。
根據日本專利特許公開No.123456/1997的網絡運動圖像分配系統(以后被稱為相關技術圖像傳輸設備)以后將參照附圖31-37進行描述。
如圖31所示，相關技術圖像傳輸設備包括服務器3101，用于傳輸圖像；客戶機3102，用于接收數據，并顯示圖像；以及網絡3103，執行服務器3101與客戶機3102之間的數據通信。
服務器3101包括運動圖像數據存儲處理器3111，用于從記錄介質，例如硬盤，抽取圖像數據；服務器裝載數據包傳輸處理器3112，用于將圖像數據分割為數據包，并通過網絡3103將數據包傳輸給客戶機3102；以及刷新數據檢測器3113，用于檢測可被解碼的圖像的第一部分。
客戶機3102包括運動圖像顯示處理器3121，用于顯示接收的圖像；解碼處理器3122，用于解碼接收的圖像數據，并將結果數據轉換成可以顯示在顯示設備上(例如顯示器)，的格式；數據包請求/接收處理器3123，用于通過網絡接收從服務器3101傳輸的數據；解碼延時檢測器3124，用于根據存儲在數據包中的時間信息，計算從服務器3101傳輸的數據包的解碼延時；以及傳輸延時檢測器3125，用于根據數據包自身擁有的時間信息計算從服務器3101傳輸的數據包的傳輸延時。
接下來，將參照附圖32-34描述從服務器3101通過網絡3103傳輸給客戶機3102的數據結構。附圖32是示意圖，表示由幀間編碼數據串和刷新數據構成的編碼數據比特串。附圖33是示意圖，表示分離成如圖32所示的大量數據包的編碼數據的比特串。附圖34是示意圖，表示在每一數據包的前面加首標(header)的編碼數據的數據結構。
當服務器3101通過網絡3103將圖像數據傳輸給客戶機3102時，服務器3101使用例如H.261或者MPEG基于幀間差的編碼系統進行圖像數據的編碼。在即將傳輸給客戶機3102的圖像數據中，循環幀內編碼的圖像幀(以后被稱為刷新數據)重復地插入到如圖32所示的幀間編碼數據串3201中。通過編碼系統例如H.261或者MPEG提供的編碼數據以比特串的方式表示。如圖33所示的編碼數據分離成合適大小的數據包3301，以利于在網絡3103上傳輸。
接下來，如圖34所示，首標3402加在從編碼數據分離出來的每一數據包3301，形成包數據3401。這樣形成的一組包數據3401在服務器3101中作為單獨的圖像數據片斷而保存。各個包數據3401的首標3402包含時間索引3411，表示在正常執行比特流的最新編碼的情況下包數據3401的傳輸時間以及編碼結束時間；以及標識符3412，用于確定數據包是否包含幀內編碼數據。
接下來，將參照附圖35和36描述在降低傳輸延時或者編碼延時的同時，由如圖31所示的圖像傳輸設備傳輸圖像的機制。圖35是在單個數據包的傳輸時間或解碼結束時間比時間索引3411表示的傳輸時間或解碼結束時間短的情況下使用的傳輸的概念圖。圖36是在單個數據包的傳輸時間或解碼結束時間比時間索引3411表示的傳輸時間或解碼結束時間長的情況下使用的傳輸的概念圖。
數據包請求/接收處理器3123通過網絡3103與服務器裝載數據包傳輸處理器3112相連，并限定需要的圖像的內容名稱。數據包請求/接收處理器3123請求以數據包的形式從服務器裝載數據包傳輸處理器3112進行數據傳輸。數據包請求/接收處理器3123接收的數據包存儲在數據包請求/接收處理器3123的接收緩存器中(圖中未示出)。解碼處理器3122順序讀出并解碼數據包。在客戶機3102，解碼延時檢測器3124以及傳輸延時檢測器3125在從服務器裝載數據包傳輸處理器3112接收到第一數據包的同時，開始測量傳輸和解碼所用的時間。
傳輸延時檢測器3125測量從接收到第一數據包開始到接收到新的數據包時經過的時間。解碼延時檢測器3124在完成解碼包含在從數據包請求/接收處理器3123接收的數據包中的圖像數據的時候，測量從數據包請求/接收處理器3123的接收緩存器讀出第一數據包的時間開始經過的時間。經傳輸延時檢測器3125或者解碼延時檢測器3124測量的每個經過時間都要與記錄在每一數據包的首標3402中的時間索引3411相比較。
如圖35所示，當經傳輸延時檢測器3125或者解碼延時檢測器3124測量的經過時間3502比時間索引3411表示的解碼結束時間或者傳輸時間3501短時，解碼處理器3122以及數據包請求/接收處理器3123將暫停處理步驟，直到經過時間3502達到時間索引3411表示的時間為止。
如圖36所示，當經解碼延時檢測器3124或者傳輸延時檢測器3125測量的解碼結束時間或者傳輸時間3603、3604比時間3601、3602長，而且在時間3601、3602與檢測時間3603、3604之間的時間差3611、3612小于允許的值(3611)的情況下，解碼處理器3122以及數據包請求/接收處理器3123繼續處理步驟。另一方面，在時間差3611、3612大于允許的值(3612)的情況下，解碼處理器將暫停處理步驟，執行接下來的延時降低操作。
下文將參照附圖37描述在差值，例如時間差3612大于允許值的情況下采用的降低延時的方法。在差值大于允許值例如差值3612的情況下，客戶機3102將暫停解碼處理器3122的處理，清除數據包請求/接收處理器3123接收的數據包3711、3712、3713、3714，然后從服務器裝載數據包傳輸處理器3112請求刷新數據3202，該數據出現在下一個傳輸暫停數據包之后。當請求刷新數據的時候，客戶機3102將差值3702通知給服務器3101。
在服務器3101中，響應于客戶機3102的刷新數據請求，刷新數據檢測器3113檢測數據包3722，該數據包包含刷新數據，刷新數據出現在從下一個規定傳輸數據包的時間索引傳輸給客戶機3102的差值3702之后，然后刷新數據檢測器傳輸數據包3722和下一個數據包給客戶機3102。在客戶機3102，根據請求接收刷新數據3202，數據包請求/接收處理器3123請求跟在接收的數據包之后的數據包。解碼處理器3122暫停解碼處理，直到記錄在數據包中的開始時間以消除延時，當開始時間到達時，重新啟動解碼處理。
以這種方式，根據相關技術圖像傳輸設備，當客戶機3102向服務器3101請求傳輸圖像時，服務器3101根據請求抽取需要的數據包，并將其傳輸給客戶機3102。除了上面提及的相關技術的例子，還有另一個例子，當傳輸數據包的時候，服務器從記錄介質，例如硬盤，讀出數據包，從而提供下一個即將傳輸的數據包，以保證一旦接收到客戶機的數據包請求就可以立即傳輸數據包。
前面描述的圖像傳輸設備編碼服務器3101抽取的圖像數據，并將得到的圖像數據傳輸給客戶機3102。為了避免編碼或者抽取圖像數據花費時間，服務器3101不能在從編碼開始到編碼結束的時間給客戶機3102傳輸編碼的數據。這樣就使分配的網絡帶寬空閑一段時間，使得客戶機3102接收的圖像的幀速率(每秒能夠傳輸的幀數)保持較低。
而且，在編碼數據傳輸與圖象數據編碼各自并行地進行的情況下，從圖象數據編碼結束到編碼數據傳輸開始產生等待時間。這一等待時間在客戶機3102中引起回放圖像延時。
當網絡中出現突然的抖動(變化)時，作為測量傳輸時間的結果，客戶機3102請求服務器3101放棄太多的幀。這可以導致能夠被傳輸給分配的網絡帶寬的幀在服務器3101中被放棄。
當網絡帶寬變化時，除了在服務器3101中準備傳輸的幀被放棄，或者具有大延時的數據包將被傳輸以外，其他變化是不會跟著發生的。
在服務器3101在編碼之前抽取圖像數據的情況下，圖象數據編碼所花費的時間取決于中央處理器(CPU)的負載，以至于當CPU執行圖像數據編碼時，編碼數據傳輸是不允許的。這樣就存在著分配的網絡帶寬未被使用的時間，客戶機3102接收的圖像數據的幀速率就會持續較低。
還有，在編碼數據傳輸與圖象數據編碼各自并行地進行的情況下，從圖像數據編碼結束到編碼數據傳輸開始之間產生等待時間。這一等待時間導致了客戶機3102重放圖像時的延時。
在服務器3101抽取圖像數據并在隨后編碼抽取的圖像數據的情況下，編碼必須在較短的時間內進行，從而使客戶機3102已請求刷新數據時，服務器3101無延時地向客戶機3102傳輸編碼數據。在這種情況下，服務器3101不能進行高質量的編碼，也就是不能獲得高質量的壓縮數據。
當抽取圖像數據的位置發生變化時，例如從硬盤變化為錄像帶，服務器3101花費時間從錄像帶抽取客戶機3102請求的數據包。這導致了圖像回放時的延時。
更進一步，當服務器3101使用同樣的網絡從另一服務器接收圖像數據并將其傳輸給客戶機3102時，服務器3101接收圖像數據的所需時間與服務器3101傳輸圖像的所需時間是不同的。這樣服務器3101不能將接收到的圖像傳輸給客戶機3102，從而不能被傳輸的圖像將在服務器3101中放棄。
特別是，在通過網絡執行遠程監測的監測系統中，表明最新情況的圖像對于監測側是重要的。但是，用于傳輸圖像數據的網絡的傳輸速度可能會有所波動。當監測側通過遠程控制將攝像機安裝在指定的方向或者執行放大/縮小操作時，監測側的圖像回放設備不能同時顯示需要的圖像。特別是，除了這個問題之外，當由于網絡波動而引起傳輸速度降低時，在監測側的圖像回放設備上顯示的圖像缺少實時特征。在監測系統中，即使僅一兩秒的延時都是致命的。必需這樣一種圖像傳輸設備，其能夠不依賴于網絡環境提供最新的高精度圖像。
本發明就是為了解決現有的相關技術的問題而提供圖像傳輸設備，當通過網絡傳輸圖像時能夠根據網絡帶寬的情況降低圖像回放時的延時，也就是說，提供的圖像傳輸設備能夠實時地傳輸最新的圖像數據，并且提供一種圖像傳輸方法、和記錄介質、以及圖像傳輸程序。
發明內容
為了解決前面提及的問題，根據本發明的圖像傳輸設備的特征在于所述圖像傳輸設備包括圖像轉換裝置，將包含多個幀的圖像轉換成可以傳輸給另一設備的格式，以產生基于每幀的轉換圖像；圖像傳輸裝置，將所述圖像轉換裝置基于每一圖像幀產生的轉換圖像傳輸給經網絡連接的預定圖像接收裝置；傳輸時間測量裝置，用于基于每一圖像幀測量從所述圖像傳輸裝置傳輸的轉換圖像的傳輸時間；傳輸時間預測裝置，預測所述圖像傳輸裝置傳送傳輸候選幀中的轉換圖像所需的傳輸時間，并根據被所述傳輸時間測量裝置測量的過去幀的傳輸時間產生預測傳輸時間；以及操作定時控制裝置，根據所述傳輸時間預測裝置產生的所述傳輸候選幀的預測傳輸時間，控制所述圖像轉換裝置開始轉換候選幀的轉換的定時。
這樣，從圖像轉換結束到圖像開始傳輸的等待時間就被去除了。這使從圖像轉換結束到圖像開始傳輸的所需時間最小。結果是使從作為客戶機的圖像接收裝置接收到圖象傳輸請求到圖象傳輸完成的時間最小。就是說，因為最新轉換的圖像能夠實時地傳輸，所以圖像接收裝置就能夠回放最新的圖像。這可減少網絡的占用時間，從而提高網絡的利用率，并提高圖像接收裝置接收的圖像的幀速率(每秒能夠傳輸的幀數)。
根據本發明的圖像傳輸設備的特征在于，所述傳輸時間測量裝置包括抖動確定裝置，根據每一測量的傳輸時間的長度，確定在所述過去幀的傳輸期間在所述網絡中是否有抖動發生，并且，其中，所述傳輸時間預測裝置根據除了經所述抖動確定裝置確定出的抖動發生的傳輸時間以外的傳輸時間，預測所述預測傳輸時間。
這樣，傳輸時間預測裝置可以不考慮發生抖動的傳輸時間就能夠計算預測的傳輸時間，從而能夠正確地預測圖像傳輸所需的時間。這樣就可設定圖像轉換的最佳開始時間，從而使從圖像轉換開始到圖象傳輸結束的所需時間最小。
根據本發明的圖像傳輸設備的特征在于，所述傳輸時間測量裝置包括帶寬變化確定裝置，根據每一測量的傳輸時間的長度，確定在所述過去幀的傳輸期間在所述網絡中是否有變化，并且，其中，所述傳輸時間預測裝置根據在所述帶寬變化確定裝置確定網絡帶寬發生變化以后推算的傳輸時間，預測所述預測傳輸時間。
這樣就可設定圖像轉換的最佳開始時間，甚至在網絡帶寬發生變化的情況下也是如此，從而使從圖像轉換開始到圖象傳輸結束的所需時間最小。
根據本發明的圖像傳輸設備還包括轉換時間測量裝置，測量經所述圖像轉換裝置根據每一幀進行圖像轉換的轉換時間；以及轉換時間預測裝置，根據所述轉換時間測量裝置測量的過去幀的傳輸時間，預測所述圖像轉換裝置轉換轉換候選幀中的圖像所需的轉換時間，從而產生預測轉換時間，其中，所述操作定時控制裝置控制所述圖像轉換裝置開始轉換所述轉換候選幀的定時，這是根據所述傳輸時間預測裝置產生的所述傳輸候選幀的預測傳輸時間以及所述轉換時間預測裝置產生的所述轉換候選幀的預測轉換時間進行的。
根據本發明的圖像傳輸設備包括CPU負載測量裝置，用于根據所述轉換時間測量裝置測量的過去幀的轉換時間測量當每一幀的圖像被轉換時推算的中央處理器(CPU)的負載，其中，所述轉換時間預測裝置根據所述轉換時間測量裝置測量的過去幀的轉換時間以及所述CPU負載測量裝置測量的負載，預測所述轉換候選幀的預測轉換時間。
這樣，根據圖像轉換的所需時間以及圖像傳輸的所需時間，圖像轉換的開始時間被控制。因而，即使在圖像轉換所需的時間由于CPU負載的波動而發生變化的情況下，通過在圖像轉換結束的同時開始圖像傳輸，也可以減少從圖像轉換開始到圖像傳輸結束的所需時間。
根據本發明的圖像傳輸設備包括轉換計算量變化裝置，用于根據所述傳輸時間預測裝置產生的所述傳輸候選幀的預測傳輸時間與所述轉換時間預測裝置產生的所述轉換候選幀的預測轉換時間之間的比較，指示所述圖像轉換裝置改變轉換所述轉換候選幀的所需的計算量，其中，所述轉換計算量變化裝置指示所述圖像轉換裝置減少所述傳輸候選幀的預測傳輸時間以及所述轉換候選幀的預測轉換時間之間的差。
通過這個指令，圖像轉換裝置在圖像傳輸的同時開始圖像轉換，并且控制圖像轉換的所需的工作量，從而使圖像轉換可以同圖像傳輸同時結束。尤其是，在圖像轉換的工作量增加的情況下，圖像轉換需要較長的時間，這將產生高質量的圖像。結果是可向圖像接收設備傳輸適于圖像傳輸時間的高質量的壓縮圖像。
根據本發明的圖像傳輸設備包括轉換系統變化裝置，用于根據所述傳輸時間預測裝置產生的所述傳輸候選幀的預測傳輸時間與所述轉換時間預測裝置產生的所述轉換候選幀的預測轉換時間之間的比較，指示所述圖像轉換裝置改變所述轉換候選幀的轉換系統；以及轉換系統通知裝置，用于通知所述轉換系統變化裝置指示的轉換系統給所述預定圖像接收設備，其中，所述轉換系統變化裝置指示所述圖像轉換裝置減少所述傳輸候選幀的預測傳輸時間與所述轉換候選幀的預測轉換時間之間的差。
這樣，除非轉換候選幀的預測轉換時間超出傳輸候選幀的預測傳輸時間，否則，通過產生高質量壓縮圖像的轉換系統來轉換轉換候選幀是可能的。由此可傳輸適于圖像傳輸時間的圖像質量的壓縮圖像并同時保持幀速率。
根據本發明的圖像傳輸設備的特征在于，所述圖像傳輸設備包括圖像讀出裝置，用于從存儲轉換成能夠顯示在經網絡相連的圖像接收設備上的格式的轉換圖像的轉換圖像存儲器中以一幀為基礎讀出轉換的圖像；圖像傳輸裝置，把所述圖像讀出裝置以一幀為基礎讀出的轉換圖像傳輸到經所述網絡相連的預定圖像接收設備；傳輸時間測量裝置，用于測量以一幀為基礎從所述圖像傳輸裝置傳輸的轉換圖像的傳輸時間；傳輸時間預測裝置，用于根據由所述傳輸時間測量裝置測量的過去幀的傳輸時間，預測所述圖像傳輸裝置傳輸傳輸候選幀所需的傳輸時間，并產生預測傳輸時間；圖像讀出位置調查(investigating)裝置，調查被所述圖像讀出裝置讀出的轉換圖像的存儲位置；讀出時間測量裝置，以讀出時間幀為基礎測量由所述轉換圖像存儲裝置讀出的轉換圖像的讀出時間；讀出時間預測裝置，用于根據所述讀出時間測量裝置測量的過去幀的讀出時間以及所述圖像讀出位置調查裝置的調查結果，預測所述圖像讀出裝置讀出讀出候選幀中的轉換圖像的所需讀出時間，并產生預測讀出時間；以及操作定時控制裝置，根據所述傳輸時間預測裝置產生的所述傳輸候選幀的預測傳輸時間以及所述讀出時間預測裝置產生的所述讀出候選幀的預測讀出時間，控制所述讀出時間預測裝置開始讀出所述轉換候選幀的定時。
這樣，即使由于轉換圖像提供給圖像讀出裝置的讀出位置(轉換圖像存儲器)發生變化而使圖像讀出所需的時間也有所變化，但是，通過控制圖像讀出的開始定時也可降低網絡的使用時間，以至于圖像在圖像讀出結束的同時開始傳輸，從而可以有效地利用網絡，并且提高幀速率。結果是，從接收到作為客戶機的圖像接收裝置的圖象傳輸請求到完成圖像傳輸的時間會最小。這樣，可以使圖像接收裝置中的圖像回放延時最小。這就是說，可以實時傳輸最新的轉換圖像，從而圖像接收裝置可以回放最新的轉換圖像。
依據本發明的圖像傳輸設備的特征在于，所述圖像傳輸設備包括圖像抽取裝置，用于通過網絡，從通過所述網絡與所述圖像傳輸設備相連的存儲所述圖像的圖像傳輸設備接收圖像；接收時間測量裝置，以一幀為基礎測量所述圖像抽取裝置接收的圖像的接收時間；接收時間預測裝置，用于根據所述接收時間測量裝置測量的過去幀的傳輸時間，來預測所述圖像抽取裝置接收候選幀所需的接收時間，并產生預測接收時間；以及處理操作控制裝置，用于控制所述圖像抽取裝置開始接收所述接收候選幀的定時、所述圖像轉換裝置開始轉換所述轉換候選幀的定時、以及所述圖像傳輸裝置開始傳輸所述轉換候選幀的定時，這種控制是根據所述傳輸時間預測裝置產生的所述傳輸候選幀的預測傳輸時間以及所述接收時間預測裝置產生的所述傳輸候選幀的預測接收時間來進行的。
這樣，即使在圖像傳輸裝置與圖像抽取裝置使用同一網絡時，圖像轉換以及圖像接收或者圖像傳輸與圖像轉換各自的開始定時通過預測圖像接收以及圖像傳輸所需的時間而受到控制。這樣不僅能提高幀速率，還能夠減少網絡的使用時間，提高網絡的使用效率。
依據本發明的圖像傳輸設備的特征在于，所述傳輸時間預測裝置調整取樣的數目，通過計算所述過去幀的標準傳輸偏差來產生所述預測傳輸時間。
依據本發明的圖像傳輸設備的特征在于，所述傳輸時間預測裝置按時間順序移去取樣，直到所述計算標準偏差低于預定值為止。
這樣，使用具有較小標準偏差即小差量的取樣組可預測傳輸時間。相應的，即使在傳輸速度漸漸增加或者漸漸降低的時候，也可以預測接近真實值的傳輸時間。
依據本發明的圖像傳輸設備的特征在于，所述傳輸時間預測裝置從與平均值的差最大的取樣值開始移去取樣值，直到所述計算標準偏差低于預定的值為止。
這樣，在發生抖動的時候移去取樣點是可能的。因此，使用具有較小標準偏差即小差量的取樣組可預測傳輸時間。相應的，即使抖動發生，也可以預測接近真實值的傳輸時間。
依據本發明的圖像傳輸方法的特征在于，所述圖像傳輸方法包括以下步驟圖像轉換步驟，將由多個幀組成的圖像轉換成可以傳輸給另一個設備的格式，以一幀為基礎，產生轉換圖像；圖像傳輸步驟，將在所述圖像轉換步驟中以一幀為基礎產生的轉換圖像傳輸給通過網絡連接的預定圖像接收設備；傳輸時間測量步驟，測量在所述圖像傳輸步驟中以一幀為基礎傳輸的轉換圖像的傳輸時間；傳輸時間預測步驟，根據所述傳輸時間測量步驟測量的過去幀的傳輸時間，來預測所述圖像傳輸步驟傳輸傳輸候選幀中的轉換圖像所需的傳輸時間，并產生預測傳輸時間；以及操作定時控制步驟，根據所述傳輸時間預測步驟產生的所述傳輸候選幀的預測傳輸時間，控制所述圖像轉換步驟開始轉換轉換候選幀的定時。
依據本發明的計算機可讀記錄介質在其上記錄著圖像傳輸程序，用于使計算機完成本發明中的圖像傳輸設備的工作。
依據本發明的圖像傳輸程序使計算機完成本發明的圖像傳輸設備的工作。
圖1是包括根據本發明第一實施例的圖像傳輸設備的網絡圖像傳輸系統的方框圖；圖2是表示第一實施例中圖象傳輸與圖像轉換的開始定時示意圖；圖3是表示在第一實施例中預測圖像傳輸所需的傳輸時間(傳輸時間)的方法流程圖；圖4是表示在第一實施例中確定的圖象轉換開始定時的示意圖；圖5是表示包括基于第一實施例的圖像傳輸設備的網絡圖像傳輸系統的另一種結構的方框圖；圖6是表示包括基于第二實施例的圖像傳輸設備的網絡圖像傳輸系統的方框圖；圖7是表示著重于抖動確定的第二實施例的圖像傳輸方法的流程圖；圖8是表示在第二實施例中確定的圖象轉換開始定時的示意圖；圖9是表示包括基于第二實施例的圖像傳輸設備的網絡圖像傳輸系統的另一種結構的方框圖；圖10是表示包括基于第三實施例的圖像傳輸設備的網絡圖像傳輸系統的方框圖；圖11是表示著重于帶寬變化的第二實施例的圖像傳輸方法的流程圖；圖12是表示在第三實施例中確定的圖象轉換開始定時的示意圖；圖13是表示包括基于第三實施例的圖像傳輸設備的網絡圖像傳輸系統的另一種結構的方框圖；圖14是表示包括基于第四實施例的圖像傳輸設備的網絡圖像傳輸系統的方框圖；圖15是表示在第四實施例中預測圖象轉換所需時間(轉換時間)的方法的流程圖；圖16是表示第四實施例中確定的圖象轉換的開始定時的示意圖；圖17是表示包括基于第四實施例的圖像傳輸設備的網絡圖像傳輸系統的另一種結構的方框圖；圖18是表示包括基于第二實施例的圖像傳輸設備的網絡圖像傳輸系統的方框圖；圖19是表示第五實施例中確定的圖像轉換開始定時的示意圖；圖20是表示改變圖像轉換計算量的方法的流程圖；圖21是表示在圖像壓縮的計算量變化前后的預測時間的示意圖；圖22是表示包括基于第五實施例的圖像傳輸設備的網絡圖像傳輸系統的另一種結構的方框圖；圖23是表示包括基于第六實施例的圖像傳輸設備的網絡圖像傳輸系統的方框圖；圖24是表示在第六實施例中預測圖像讀出所需的傳輸時間(讀出時間)的方法的流程圖；圖25是表示在第一實施例中確定的圖象讀出的開始定時的示意圖；圖26是表示包括基于第七實施例的圖像傳輸設備的網絡圖像傳輸系統的方框圖；圖27是表示著重于處理操作控制的第七實施例的圖像傳輸方法的流程圖；圖28是表示當預測的傳輸時間比預測的接收時間長時，圖像傳輸、圖像轉換以及圖像接收的操作時間的示意圖；圖29是表示當預測的傳輸時間比預測的接收時間短，并且Vest比Test與Ttrans的總和大時，圖像傳輸、圖像轉換以及圖像接收的操作時間的示意圖；圖30是表示當預測的傳輸時間比預測的接收時間短，并且Vest等于或小于Test與Ttrans的總和時，圖像傳輸、圖像轉換以及圖像接收的操作時間的示意圖；圖31是表示相關技術的圖像傳輸設備的方框圖；圖32是表示包含幀間編碼數據串與刷新數據的比特串的示意圖；圖33是表示分成圖32所示的大量數據包的比特串的示意圖；圖34是表示在每一包上加首標的編碼數據的數據結構示意圖；圖35是表示在單個數據包的傳輸時間或者解碼結束時間比時間索引表示的傳輸時間或者解碼結束時間短時使用的傳輸示意圖；圖36是表示在單個數據包的傳輸時間或者解碼結束時間比時間索引表示的傳輸時間或者解碼結束時間長時使用的傳輸示意圖；圖37是表示相關技術中圖象傳輸設備的降低延時的處理方法示意圖；圖38是表示包括基于第二實施例的圖像傳輸設備的網絡圖像傳輸系統的方框圖。
具體實施例方式
根據本發明的圖像傳輸設備從例如攝像機、硬盤、錄像帶這樣的記錄介質中或者諸如通過網絡連接的服務器這樣的圖像記錄部分中抽取所存儲的想要的圖像，將抽取的圖像轉換成適于傳輸給圖像接收設備的格式，然后將轉換的圖像通過網絡傳輸給圖像接收設備。在下面的描述中，由圖像記錄部分、圖像傳輸設備、網絡以及圖像接收設備組成的系統被稱為網絡圖像傳輸系統。
根據本發明的圖像傳輸設備的實施例將在下文參照附圖1-30以及附圖38詳細描述，下文的描述以以下的順序進行第一實施例、第二實施例、第三實施例、第四實施例、第五實施例、第六實施例、第七實施例、第八實施例、第九實施例、第十實施例、和第十一實施例。盡管每個實施例的描述詳細敘述了根據本發明的圖像傳輸設備以及圖像傳輸方法，但根據本發明的記錄介質的描述被包含在下文有關圖像傳輸方法的描述當中，這是因為所述記錄介質記錄著執行圖像傳輸方法的程序。
本發明的圖像傳輸設備的第一實施例將在下文中描述，它通過過去圖像傳輸所需的時間預測目前圖像傳輸所需的時間，以控制在圖像傳輸之前執行的開始圖像轉換的定時。圖1示出的是包括基于本實施的圖像傳輸設備的網絡圖像傳輸系統的方框圖。
在圖1中，網絡圖像傳輸系統包括攝像機101、根據本實施例的圖像傳輸設備110、網絡102、以及圖像接收設備120。
攝像機101用于記錄并存儲圖像。圖像傳輸設備110轉換從攝像機101接收的圖像，它包括對應于本發明中的圖像抽取裝置的圖像抽取部分111、對應于圖像轉換裝置的圖像轉換器112、對應于圖像傳輸裝置的圖像傳輸器113、對應于傳輸時間測量裝置的傳輸時間測量部分114、對應于傳輸時間預測裝置的傳輸時間預測部分115、以及對應于操作定時控制裝置的操作定時控制器116。
圖像抽取裝置111抽取存儲在攝像機101中的圖像。圖像轉換器112把圖像抽取部分111抽取的圖像轉換成可以通過網絡102傳輸給圖像接收設備120的格式。特別是，圖像轉換器112使用圖像壓縮系統，例如H.261或者MPEG執行圖像轉換，如壓縮，并執行分辯率轉換。圖像傳輸器113將圖像轉換器112轉換的圖像通過網絡120傳輸給圖像接收設備120。這一過程在下文中被稱為圖像傳輸。
傳輸時間測量部分114測量圖像傳輸所需的時間，并保存測量結果。傳輸時間預測部分115利用保存在傳輸時間測量部分114中的預定數目的測量結果來預測圖像傳輸所需的時間。操作定時控制器116用于根據圖像傳輸所需的時間以及圖像轉換所需的時間確定圖像轉換器112開始進行圖像轉換的定時。操作定時控制器116使用的確定圖像轉換的開始定時的方法將在下文中詳細描述。
網絡102將圖像傳輸設備110中轉換的圖像傳輸給圖像接收設備。圖像接收設備120接收從圖像傳輸設備110通過網絡102傳輸的圖像，并顯示接收圖像或將其存儲在內部硬盤上(圖中未示出)。
根據本發明的圖像傳輸設備110使用的圖像傳輸方法將在下文參照附圖2-4進行描述。首先，圖像抽取部分111從攝像機101以一幀為單位抽取圖像。接著，圖像轉換器112根據操作定時控制器116確定的定時執行圖像轉換，下文將詳細描述，并將產生的圖像傳輸給圖像傳輸器113。圖像傳輸器113傳輸轉換的圖像給網絡102，然后傳輸給預定圖像接收設備120。傳輸時間測量部分114測量圖像傳輸器113執行圖像傳輸所需的時間，并保存測量結果。
為了使操作定時控制器116控制在圖像轉換器112中轉換圖像的開始定時，傳輸時間預測部分115必須首先預測傳輸時間。這樣，傳輸時間預測部分115采用下文描述的方法計算進行圖像傳輸所需的預測時間(預測傳輸時間)。接下來，操作定時控制器116根據下文描述的方法決定再次進行圖像轉換的開始定時。
在圖2中，標號301代表圖象傳輸的操作時間(傳輸時間)。標號302代表圖象轉換的操作時間(轉換時間)。標號303代表圖象轉換的開始時間。標號304代表圖象轉換的結束時間。標號305代表圖象傳輸的開始時間。標號306代表圖象傳輸的結束時間。標號307代表從圖像轉換開始到圖象傳輸結束的所需時間。
如圖2所示，為了將最新圖像傳輸給圖像接收設備120，必須在圖像轉換結束時立即開始圖像傳輸。操作定時控制器116控制在圖像轉換器112中進行圖像轉換的開始定時，從而無延時地傳輸最新圖像。為了使這種控制更有效，必須預先得到圖像傳輸所需的時間301以及圖像轉換所需的時間302。
只要相同數據量的圖像從圖像抽取部分111傳輸，圖像轉換所需的時間302就保持不變。這樣就足以使用先前獲得的數據。但是，圖像傳輸所需的時間301并不是常數，因為在圖像傳輸中可用的網絡帶寬在網絡102用于圖象傳輸以及其他數據通信時會有所波動。假設網絡102是一條用于圖象傳輸的專線，而且圖像傳輸裝置110傳輸同樣數據量的圖像，則從圖像傳輸開始到圖象傳輸結束所需的時間根據在這條專線上負載的其它圖像的傳輸情況而可能不是常數。這樣，圖像傳輸所需的時間301的預測在傳輸時間預測部分115中進行。
傳輸時間預測部分115使用的預測傳輸時間的方法將參照附圖3的流程圖進行描述。
在步驟S401中，傳輸時間預測部分115接收傳輸時間測量部分114測量的傳輸時間，并將其作為取樣值。在步驟S402中，傳輸時間預測部分115檢查是否已接收到了預測傳輸時間所需的所有傳輸時間，如果沒有，操作回到步驟S401。如果用于預測傳輸時間所需的所有傳輸時間都已經接收到，則操作前進到步驟S403。
在步驟S403，傳輸時間預測部分115根據該傳輸時間計算圖像傳輸所需的預測時間(預測傳輸時間)。例如，如下面示出的公式(1)，傳輸時間預測部分115獲得先前傳輸的N幀圖像的傳輸時間T1到Tn的平均值，假設這為傳輸一幀圖像所需的預測傳輸時間Test。在步驟S404中，傳輸時間預測部分115將這樣計算的預測傳輸時間Test傳輸給操作定時控制器116，從而完成有關傳輸時間預測的處理。如下式(1)所示的預測傳輸時間計算方法只是示例，還可以通過其他的計算方法來得到預測傳輸時間。Test=Σn=1NTn/N---(1)]]>接下來，操作定時控制器116根據預測傳輸時間Test以及圖像轉換的所需時間Ttrans確定圖像轉換器112開始進行圖像轉換的定時。這里假定從傳輸開始到圖象轉換開始的等待時間為Twait，該等待時間Twait可以通過下述的公式(2)得到Twait＝Test-Ttrans(2)操作定時控制器116根據上面獲得的等待時間Twait控制圖像轉換器112進行圖像轉換的開始定時，使得圖像轉換可以在圖像傳輸開始以后經過了等待時間Twait時開始。因此，圖像轉換器112在圖像開始傳輸以后經過了等待時間Twait時開始圖像轉換。
下面是示例。假設傳輸時間預測部分115根據以前10幀的傳輸時間計算預測傳輸時間，以及傳輸時間T1到T10分別是T1＝90[ms]、T2＝100[ms]、T3＝90[ms]、T4＝100[ms]、T5＝110[ms]、T6＝100[ms]、T7＝120[ms]、T8＝110[ms]、T9＝100[ms]、T10＝110[ms]。然后，預測傳輸時間Test可以通過下面的公式(3)得到Test＝(90+100+90+100+110+100+120+110+100+110)/10＝103[ms] (3)這里假設圖像轉換所需的時間Ttrans為Ttrans＝50[ms]，則直到圖像開始轉換的等待時間Twait可以用公式(4)進行計算Twait＝103-50＝53[ms](4)這樣，圖像轉換器112在前一幀圖象傳輸結束以后經過了53[ms]時開始候選幀的圖像傳輸。
如前所述，在本實施例的圖像傳輸設備110和圖像傳輸方法中，圖像傳輸所需時間根據從開始向網絡102傳輸圖像至圖象傳輸結束所需時間的測量結果進行預測，圖像轉換與圖像傳輸分別進行，并且圖像轉換是受控的，從而使圖像傳輸可在圖像轉換結束的同時開始。
這樣，可以消除從圖像轉換結束到圖像傳輸開始之間的等待時間，從而使從圖像轉換結束到圖像傳輸開始所需的時間最小。因而可使從接收到作為客戶機的圖像接收設備120發出的圖象傳輸請求到圖象傳輸結束的時間最小。這樣就可以使圖像接收設備120中的回放延時最小。也就是說，最新的圖像可以從圖像傳輸設備110中實時地傳輸，從而使圖像接收設備120可以回放最新的圖像。
還可減少網絡的使用時間，從而提高網絡的使用效率，并提高圖像接收設備120接收的圖像的幀速率(每秒傳輸的幀數)。
如圖5所示，根據本實施例的圖像傳輸設備110也可以被圖像傳輸設備110’所取代，圖像傳輸設備110’包括用于存儲轉換的圖像數據的記錄介質201，例如硬盤以及錄像帶；存儲圖像讀出部分211，用于從記錄介質201讀出圖像；圖像傳輸器113；傳輸時間測量部分114；傳輸時間預測部分115；操作定時控制器116，這里操作定時控制器116控制從存儲的圖像讀出部分211讀出圖像數據的定時。
盡管根據本發明第一實施例的圖像傳輸設備110通過傳輸時間測量部分114測量的結果預測圖像傳輸所需的時間，以控制圖像轉換的開始定時，但在根據該第二實施例的圖像傳輸設備中，傳輸時間預測部分115消除了抖動的影響，從而預測了更精確的圖像傳輸所需時間，即使是在網絡中突然發生抖動(變化)的情況下也是如此。在圖6中示出的是包括基于這一實施例的圖像傳輸設備的網絡圖像傳輸系統的方框圖。在圖6中，與圖1中相同的部分采用同樣的標號，相應部分的描述也將省略。
在圖6中，根據本實施例的網絡圖像傳輸系統包括攝像機101、根據本實施例的圖像傳輸裝置610、網絡102以及圖像接收設備120。本實施例中的圖像傳輸裝置610包括抖動確定部分611，其對應于本發明中的抖動確定裝置，用于確定網絡中突然發生的抖動，其位置在第一實施例的圖像傳輸設備110的元件的上部。本實施例中的傳輸時間測量部分114將圖像傳輸所需時間的測量結果傳輸到抖動確定部分611。
抖動確定部分611將來自傳輸時間測量部分114的圖像傳輸所需時間(傳輸時間)與一門限值進行比較，并確定傳輸時間是否與在假設抖動發生的情況下圖像傳輸所需的時間相應。當抖動確定部分611確定出從傳輸時間測量部分114得到的傳輸時間比門限值短，并且傳輸時間是在沒有抖動發生時的正常值，則抖動確定部分611轉發該傳輸時間給傳輸時間預測部分115。當抖動確定部分611確定出從傳輸時間測量部分114得到的傳輸時間比門限值長，并且在抖動發生的時候在圖像傳輸涉及傳輸時間時，抖動確定部分611不向傳輸時間預測部分115傳送傳輸時間。
在第一實施例中，在傳輸時間預測部分115需要N幀的傳輸時間來預測傳輸時間的情況下，傳輸時間預測部分115從傳輸時間測量部分114讀出過去的N幀的傳輸時間。但是，根據本實施例的傳輸時間預測部分115從抖動沒有發生的剩余幀的傳輸時間預測圖像傳輸所需的時間，這是因為抖動發生的幀的傳輸時間沒有從抖動確定部分611傳輸。
著重于抖動確定部分的操作的根據本實施例的圖像傳輸方法將在下文參照附圖7的流程圖進行描述。
在步驟S701中，抖動確定部分611接收傳輸時間測量部分114測量的傳輸時間作為取樣值。在步驟S702中，抖動確定部分611將每一傳輸時間與一門限值進行比較。在傳輸時間短于門限值的情況下，處理前進到步驟S703。在傳輸時間長于門限值的情況下，處理前進到步驟S704。在步驟S702中使用的門限值可被客戶機提前定義，或者由圖像傳輸設備110根據例如“當抖動沒有發生的時候為傳輸時間測量部分114測量的傳輸時間的兩倍”這樣的標準來確定。
在步驟S703中，抖動確定部分611假設該傳輸時間用于在傳輸時間預測部分115中計算預測傳輸時間，并將該傳輸時間傳輸給傳輸時間預測部分115，以終止處理。在步驟S704中，假設該傳輸時間是被突然抖動影響的數據，則抖動確定部分611不向傳輸時間預測部分115傳送傳輸時間，以終止處理。
根據本實施例的傳輸時間預測部分115僅根據從抖動確定部分611接收的傳輸時間來預測圖像傳輸所需的時間。例如，如下式(5)所示，傳輸時間預測部分115將從抖動確定部分611接收的總傳輸時間Tn除以傳輸次數N，并假定其結果作為傳輸單個幀所需的預測傳輸時間Test。計算公式(5)所示預測傳輸時間的方法僅是示例，預測傳輸時間可以通過其他計算方法得到。Test=Σn=1NTn/N---(5)]]>接下來，與第一實施例相同，操作定時控制器116利用公式(2)根據預測傳輸時間Test和預測部分115計算的圖像轉換傳輸時間所需的時間Ttrans獲得直到圖像轉換開始的等待時間Twait。獲得了等待時間Twait的操作定時控制器116控制圖像轉換器112開始圖像轉換的定時，從而可在圖像傳輸開始之后經過了等待時間Twait時開始圖像轉換。這樣，圖像轉換器112在圖像傳輸開始以后經過了等待時間Twait時開始圖像轉換。
下面是示例。假設傳輸時間預測部分115根據過去10幀沒有抖動發生的正常圖像傳輸時間計算預測傳輸時間，并且假設傳輸時間T1到T10為T1＝90[ms]、T2＝100[ms]、T3＝90[ms]、T4＝100[ms]、T5＝110[ms]、T6＝100[ms]、T7＝750[ms]、T8＝110[ms]、T9＝100[ms]、T10＝110[ms]。
假設抖動確定部分611用來確定是否有突然抖動發生的門限值為400[ms]，則抖動確定部分611就確定T7為抖動發生時測量的數據。抖動確定部分611將除了T7(＝750[ms])以外的九個傳輸時間傳輸給傳輸時間預測部分115。在這種情況下，傳輸時間預測部分115計算的預測傳輸時間Test就可以通過下式(6)得到Test＝(90+100+90+100+110+100+110+100+110)/9＝101[ms] (6)這里公式(6)的計算結果縮減到第一位小數的位置。
假設轉換所需時間Ttrans＝50[ms]，直到轉換開始的等待時間可以通過下式(7)得到Twait＝101-50＝51[ms](7)這樣，在先前幀的圖像傳輸結束后經歷51[ms]時，圖像轉換器112開始候選幀的圖像轉換。
如前面所述，根據本實施例的圖像傳輸設備610以及圖像傳輸方法，在網絡中已經發生抖動的情況下，抖動確定部分611根據圖像已傳輸的傳輸時間長度確定抖動是否發生。傳輸時間預測部分115不考慮有抖動發生的傳輸時間而計算預測傳輸時間，從而可以預測更精確的圖象傳輸的所需時間。
這樣，即使在抖動發生的情況下，也可設定圖像轉換的最佳開始定時，從而使從圖像開始轉換到圖像傳輸結束之間的所需時間最小。結果是可使從接收到作為客戶機的圖像接收設備120發出的圖象傳輸請求到圖像傳輸結束之間的時間最小。這樣，使在圖像接收設備120中回放圖像的延時最小。就是說，最新的圖像可以從圖像傳輸設備610實時地傳輸，從而圖像接收設備120也可以回放最新的圖像。
還可減少網絡102的占用時間，從而提高網絡102的使用效率，并提高圖像接收設備120接收的圖像的幀速率。
如圖9所示，根據本實施例的圖像傳輸設備610也可以用圖像傳輸設備610’來代替，它包括用于記錄轉換圖像數據的記錄介質201，例如硬盤和錄像帶；存儲圖像讀出部分211，用于從記錄介質201讀出圖像；圖像傳輸器113；傳輸時間測量部分114；抖動確定部分611；傳輸時間預測部分115；以及操作定時控制器116，它控制從存儲圖像讀出部分211讀出圖像數據的時間。
盡管根據第一實施例的圖像傳輸設備110根據傳輸時間測量部分114的測量結果預測圖像傳輸所需的時間，但在網絡可用帶寬發生變化以前根據測量結果計算預測傳輸時間會產生預測傳輸時間與實際傳輸時間之間的差。根據第三實施例的圖像傳輸設備根據網絡帶寬的這一變化預測更精確的圖像傳輸所需時間。圖10示出的是包括根據這一實施例的圖像傳輸設備的網絡圖像傳輸系統的框圖。在圖10中與圖1(第一實施例)相似的部分采用相同的標號，并且相應部分的描述將被省略。
在圖10中，根據本實施例的網絡圖像傳輸系統包括攝像機101、根據本發明的這一實施例的圖像傳輸設備1010、網絡102、以及圖像接收設備120。本實施例中的圖像傳輸設備1010包含對應于本發明的帶寬變化確定裝置的帶寬變化確定部分1011，用于根據傳輸時間的測量結果確定網絡帶寬的變化，它位于第一實施例的圖像傳輸設備110的元件的頂部。根據本實施例的傳輸時間測量部分114將圖像所需時間的測量結果傳輸到帶寬變化確定部分1011。
帶寬變化確定部分1011參考傳輸時間測量部分114測量的傳輸時間中在網絡帶寬變化以前的傳輸時間，并且確定網絡帶寬是否發生變化。當網絡帶寬確定部分1011確定在網絡帶寬中發生了變化時，這一結果通知給傳輸時間預測部分115，它在網絡帶寬發生變化以后根據該傳輸時間計算預測傳輸時間。
帶寬變化確定部分1011有用于確定網絡中是否發生帶寬變化的標準。帶寬變化確定部分1011在標準滿足預定運行次數時確定網絡帶寬發生變化。滿足標準的次數可以用確定值M來表示。當確定值M低于或者等于門限值預定的運行次數時，帶寬變化確定部分1011確定網絡帶寬已經發生了變化。該標準以及確定值M的門限值可以由用戶定義，也可以根據例如“當前幀的傳輸時間花費兩倍于先前幀的傳輸時間(標準)，以及五次運行(門限)”這樣的標準由圖像傳輸設備110來決定。帶寬變化確定部分1011將網絡帶寬發生變化的確定結果通知給傳輸時間預測部分115。
著重于帶寬變化確定部分1011的操作的基于本實施例的圖像傳輸方法將在下文參照附圖11的流程圖進行描述。
在步驟S1101中，帶寬變化確定部分1011接收保存在傳輸時間測量部分114中的傳輸時間，作為抽樣值。在步驟S1102中，帶寬變化確定部分1011比較接收的傳輸時間以及過去的傳輸時間，并且在比較結果不滿足標準的情況下，操作前進到步驟S1106。在標準滿足的情況下，操作前進到步驟S1103。在步驟S1106，帶寬變化確定部分1011確定在網絡帶寬中沒有發生變化，并且假設確定值M為0，結束處理過程。
在步驟S1103中，帶寬變化確定部分1011將確定值M加1。在步驟S1104，帶寬變化確定部分1011比較確定值M與門限值。當確定值M小于或者等于門限值時，帶寬變化確定部分1011終止處理過程。當確定值M大于門限值時，操作前進到步驟S1105。在步驟S1105中，根據網絡中帶寬已經發生變化的確定，傳輸時間預測部分115減少用于預測傳輸時間的傳輸時間測量部分114測量的傳輸次數作為取樣值。傳輸給傳輸時間預測部分115的傳輸時間是在網絡帶寬變化以后的數值。這樣，傳輸時間預測部分115根據帶寬變化確定部分1011的確定結果確定傳輸次數作為取樣數目，并且預測傳輸圖像的所需時間。
根據本實施例的傳輸時間預測部分115僅根據帶寬變化確定部分1011規定的傳輸時間預測圖像傳輸所需的時間。例如，如下面的等式(8)所示，傳輸時間預測部分115將帶寬變化確定部分1011指定的傳輸時間的總數Tn除以傳輸次數N，并假設結果是傳輸一幀圖象所需的預測傳輸時間Test。如式(8)所示的計算預測傳輸時間的方法僅是舉例，預測傳輸時間還可以通過其他方法計算得到Test=Σn=1NTn/N---(8)]]>接下來，與第一實施例相同，操作定時控制器116使用公式(2)根據預測傳輸時間Test以及在傳輸時間預測部分115計算的圖像轉換所需的時間Ttran，獲得直到圖像轉換開始的等待時間Twait。獲得了等待時間Twait的操作定時控制器116控制圖像轉換器112中圖像轉換的開始定時，使得圖像轉換可以在圖像開始傳輸以后經過了等待時間Twait時開始。這樣，圖像轉換器112可以在圖像傳輸以后經過了等待時間Twait時進行。
下面是舉例。假設從T1到T10的傳輸時間為T1＝90[ms]、T2＝100[ms]、T3＝90[ms]、T4＝100[ms]、T5＝110[ms]、T6＝100[ms]、T7＝320[ms]、T8＝350[ms]、T9＝360[ms]、T10＝340[ms]。并且假設在該實施例中帶寬變化確定部分1011標準，即“當傳輸時間等于或大于先前幀的傳輸時間的兩倍，或者，等于或小于先前幀的傳輸時間的一半時，網絡帶寬發生變化”。
當傳輸時間T6與T7相比較時，傳輸時間T7大于傳輸時間T7的兩倍。傳輸時間T6用作網絡帶寬變化的確定標準數據，并且確定值M加1。然后，帶寬變化確定部分1011選擇傳輸時間T6作為用于在圖11所示的處理步驟1003中的傳輸時間比較的控制值。當在確定結果等于或者大于3的情況下確定發生變化的時候，對于候選幀的傳輸時間Test，確定值大于3，從而帶寬變化確定部分1011確定網絡帶寬發生了變化。
在計算候選幀的傳輸時間Test時，傳輸時間預測部分115在傳輸時間T7以前并不使用傳輸時間T1到T6。這樣傳輸時間預測部分115計算的預測傳輸時間Test可以通過下式(9)得到Test＝(320+350+360+340)/4＝343[ms] (9)假設轉換所需的時間Ttrans＝50[ms]，直到轉換開始的等待時間可以通過下式(10)得到Twait＝343-50＝293[ms] (10)這樣，圖像轉換器112在先前幀的圖像傳輸結束以后經過了93[ms]時開始候選幀的圖像傳輸。
如上所述，當網絡帶寬發生變化的時候，根據本實施例的圖像傳輸設備1010以及圖像傳輸方法，帶寬變化確定部分1011根據傳輸時間測量部分114測量的傳輸時間確定網絡帶寬已經發生變化。通過圖像傳輸開始傳輸到網絡102到傳輸結束的所需時間的測量結果，傳輸時間預測部分115僅參考網絡帶寬變化后的傳輸時間。這樣，傳輸時間預測部分115可以設定圖像轉換的合適的開始定時，甚至在網絡帶寬發生變化的情況下也是如此，從而使從圖像開始轉換到圖像傳輸結束的所需時間最小。結果是，可使從接收到作為客戶機的圖像接收設備120的圖象傳輸請求到圖像傳輸結束的時間最小。以這種方式，在圖像接收設備120中的圖像回放延時將會最小。就是說，最新轉換的圖像可以被圖像傳輸設備1010實時地傳輸，從而圖像接收設備120能夠回放最新的圖像。
這樣，降低網絡102的利用時間，從而提高網絡的使用效率，以及提高圖像接收設備120接收的圖像的幀速率都是可能的。
如圖13所示，根據本實施例的圖像傳輸設備1010可以被圖像傳輸設備1010’所取代，它包括用于記錄轉換的圖像數據的記錄介質201，例如硬盤以及錄像帶；存儲圖像讀出部分211，用于從圖像記錄介質201讀出圖像；圖像傳輸器113；傳輸時間測量部分114；帶寬變化確定部分1011；傳輸時間預測部分115；操作定時控制器116，這里操作定時控制器116控制從存儲圖像讀出部分211讀出圖像數據的定時。
盡管根據本發明第一實施例的圖像傳輸設備110通過傳輸時間測量部分114的測量結果預測圖像傳輸所需的時間，以控制圖像轉換的開始定時，但根據本發明第四實施例的圖像傳輸設備不僅考慮圖像傳輸所需的定時，還要考慮圖像轉換所需的時間，來控制圖像轉換的開始時間。在圖14中示出的是包含基于這一實施例的圖像傳輸設備的網絡圖像傳輸系統的方框圖。在圖14中與圖1(第一實施例)中相同的部分采用同樣的標號，相應部分的描述也將省略。
在圖14中，根據本實施例的網絡圖像傳輸系統包括攝像機101、根據本實施例的圖像傳輸設備1410、網絡102以及圖像接收設備120。本實施例中的圖像傳輸設備1410包括轉換時間測量部分1411，對應于本發明中的轉換時間測量裝置；CPU負載測量部分1412，對應于CPU負載測量裝置；以及轉換時間預測部分1413，對應于轉換時間預測裝置，其在第一實施例中的圖像傳輸設備110的元件的上面。
轉換時間測量部分1411測量圖像轉換器112執行圖像轉換的所需時間，并保存測量結果。CPU負載測量部分1412測量圖像傳輸設備1410中未示出的中央處理器(CPU)的負載。這一負載以后被稱為CPU使用率。CPU執行有關圖像傳輸以及圖像轉換的處理，或者控制圖像傳輸設備1410的各部件。轉換時間預測部分1413根據轉換時間測量部分1411測量的圖像轉換所需的時間以及CPU負載測量部分1412測量的CPU使用率，預測圖像轉換器112轉換圖像所需的時間。
在第一實施例中，傳輸時間預測部分115根據傳輸時間測量部分114測量的過去幀的傳輸時間預測圖像傳輸所需的時間，但本實施例中，當圖像轉換器112中的圖像轉換所需時間由于CPU負載的變化而有所波動時，圖像轉換的開始定時將被控制，這樣可使從圖像開始轉換到圖像傳輸結束的所需時間最小。為了使這種控制有效，需要提前知道圖像傳輸所需的時間以及圖像轉換所需的時間。
根據本實施例的圖像傳輸裝置1410執行的圖像傳輸方法將在下文描述。首先，圖像抽取部分111以一幀為單位從攝像機101抽取圖像。接下來，圖像轉換器112采用操作定時控制器116確定的定時進行圖像轉換。圖像傳輸器113將轉換的圖像傳輸給網絡102，以傳輸給預定的圖像接收設備120。傳輸時間測量部分114測量圖像傳輸器113進行圖像傳輸所需的時間，并保存結果。轉換時間測量部分1411測量圖像轉換器112進行圖像轉換所需的時間，并保存其測量結果。
為了使操作定時控制器116控制圖像轉換器112中進行圖像轉換的開始定時，傳輸時間預測部分115必須首先預測傳輸時間。然后，轉換時間預測部分1413必須預測轉換時間。這樣，傳輸時間預測部分115根據第一實施例中的方法計算圖像傳輸所需的預測時間(預測傳輸時間)。然后轉換時間預測部分1413根據下面描述的方法計算圖像轉換所需的預測時間(預測轉換時間)。在這樣的計算以后，操作定時控制器116根據下述的方法利用預測傳輸時間以及預測轉換時間確定將被再次轉換的圖像的圖像轉換開始時間。
下文將參照附圖15的流程圖詳細描述由轉換時間預測部分1413用來預測轉換時間的方法。
在步驟S1501中，轉換時間預測部分1413從轉換時間測量部分1411接收測量的轉換時間，作為取樣值。在步驟S1502，轉換時間預測部分1413檢查是否用于預測轉換時間的所有轉換時間都已被接收，在沒有都接收的情況下，操作回到步驟S1501。在預測轉換時間所需的所有轉換時間都已被接收的情況下，操作前進到步驟S1503。
在步驟S1503，轉換時間預測部分1413從CPU負載測量部分1412接收對應于每一轉換時間的CPU使用率數據。接下來，在步驟S1504中，轉換時間預測部分根據轉換時間以及對應于每一轉換時間的CPU使用率來計算預測轉換時間。例如，如下式(11)所示，通過先前轉換的N幀S1到Sn的轉換時間除以各個相應的CPU使用率Cn得到的值被求和，并且所產生的值除以轉換次數N。該值乘以在預測時的CPU使用率Cest，然后，其結果作為轉換一幀所需的預測轉換時間Sest。在公式(11)中，假設CPU的使用率Cn與轉換所需時間Sn成正比。Sest=((Σn=1NSn/Cn))/N×Cest---(11)]]>在步驟S1505中，轉換時間預測部分1413傳輸計算的預測轉換時間Sest給操作定時控制器116，以結束關于預測轉換時間的處理過程。在公式(11)中所示的計算預測轉換時間的方法只是示例，預測轉換時間還可以通過其他方法獲得。
接下來，操作定時控制器116根據預測轉換時間Sest以及傳輸時間預測部分115計算的預測傳輸時間Test確定圖像轉換器112開始進行圖像轉換的定時。這里假設從圖像開始傳輸到圖像開始轉換的等待時間為Twait，等待時間Twait通過下式(12)獲得Twait＝Test-Sest(12)操作定時控制器116根據這樣獲得的等待時間控制圖像轉換器112開始進行圖像轉換的定時，從而可以使圖像轉換在圖像傳輸開始以后經過了等待時間Twait時開始。相應的，圖像轉換器112在圖像開始傳輸以后經過了等待時間Twait時開始進行圖像轉換。
下面是示例。假設轉換時間預測部分1413根據過去10幀的轉換時間計算的預測轉換時間，過去10幀的轉換時間S1到S10是S1＝40[％]、S2＝30[％]、S3＝30[％]、S4＝30[％]、S5＝60[％]、S6＝70[％]、S7＝80[％]、S8＝70[％]、S9＝40[％]、S10＝40[％]，假設CPU的使用率C1到C10分別是C1＝10[％]、C2＝10[％]、C3＝10[％]、C4＝10[％]、C5＝20[％]、C6＝20[％]、C7＝20[％]、C8＝20[％]、C9＝10[％]、C10＝10[％]。在這種情況下，預測轉換時間Sest可利用下式(13)獲得Sest＝(40/10+30/10+30/10+30/10+60/20+70/20+80/20+70/20+40/10+40/10)/10×10＝35[ms](13)這里假設圖像傳輸所需的時間為Test＝103[ms]，與第一實施例相同，直到圖像轉換開始所需的等待時間Twait可通過下式(14)獲得Twait＝103-35＝68[ms] (14)這樣，圖像轉換器112在先前幀的圖像傳輸結束以后經歷68[ms]時開始候選幀的圖像傳輸。
如前面所述，在根據本實施例的圖像傳輸設備1410以及圖像傳輸方法中，根據圖像傳輸所需的時間以及圖像轉換所需的時間，圖像轉換的開始定時被控制，從而使圖像傳輸可以在圖像轉換結束的同時開始。這樣，即使在圖像轉換器112中進行圖像轉換所需的時間因為CPU負載的變化而產生波動的時候，也可使從圖像開始轉換到圖像傳輸結束所需的時間最小。其結果是，可使從接收到作為客戶機的圖像接收裝置發出的圖象傳輸請求到圖像傳輸結束的時間最小。以這種方式，圖像接收設備120的回放圖像延時就會減少。就是說，圖像傳輸設備1410可以實時地傳輸最新的圖像，從而使圖像接收設備120能夠回放最新的圖像。
這樣，減少網絡的使用時間，從而提高網絡的使用效率，以及提高圖像接收設備120接收的圖像的幀速率都是可能的。
如圖17所示，根據本實施例的圖像傳輸設備1410可以被圖像傳輸設備1410’所取代，它包括用于記錄轉換的圖像數據的記錄介質201，例如硬盤以及錄像帶；存儲圖像讀出部分211，用于從記錄介質201讀出圖像；圖像傳輸器113；傳輸時間測量部分114；傳輸時間預測部分115；操作定時控制器116；轉換時間測量部分1412；以及轉換時間預測部分1413，這里，操作定時控制器116控制從存儲圖像讀出部分211讀出圖像數據的時間。
盡管根據第四實施例的圖像傳輸設備1410通過傳輸時間測量部分114測量的結果預測圖像傳輸所需的時間，并通過轉換時間測量部分1411的測量結果預測圖像轉換所需的時間，以控制圖像轉換的開始定時，但在根據該第五實施例的圖像傳輸設備中，圖像轉換的工作量被控制，從而使圖像轉換可以與圖像傳輸同步地開始，圖像轉換與圖像傳輸同步地結束。在圖18中示出的是包含基于這一實施例的圖像傳輸設備的網絡圖像傳輸系統的方框圖。在圖18中與圖14(第四實施例)中相同的部分采用同樣的標號，相應部分的描述也將省略。
在圖18中，根據本實施例的網絡圖像傳輸系統包括攝像機101、根據本實施例的圖像傳輸設備1810、網絡102以及圖像接收設備120。本實施例中的圖像傳輸設備1810包括轉換計算量變化部分1811，對應于本發明中的轉換計算量變化裝置，代替了第四實施例中的圖像傳輸設備中的CPU負載測量部分。圖像傳輸設備1810還包含CPU負載測量部分1412。
根據傳輸時間預測部分115計算的預測傳輸時間以及轉換時間測量部分1411計算的預測轉換時間，轉換計算量變化部分1811指示圖像轉換器112以一定的量改變圖像轉換所需的計算量。通過至少一個來自轉換計算量變化部分1811的單個指令，圖像轉換所需的時間1901變得與圖像傳輸所需的時間1902相等。
當如圖19所示的圖像轉換(1902)與圖2所示的圖像轉換(302)相比較的時候，就可以看出本實施例中圖19所示的圖像轉換(1902)要使用更長的時間，并且因為圖像轉換所需的時間較長，所以圖像轉換(1902)就可以傳輸高質量的圖像給圖像傳輸設備113。例如，在圖像抽取部分111抽取的圖像在圖像轉換器112中進行MPEG編碼的情況下，計算量可以通過增加運動矢量的量而增加，從而產生高質量的P幀。
改變轉換計算量變化部分1811進行圖像轉換的計算量的方法將在下文參照附圖20的流程圖詳細描述。
首先，在步驟S2001，轉換計算量變化裝置1811接收來自傳輸時間預測部分115的預測傳輸時間。接下來，在步驟S2002，轉換計算量變化裝置1811接收來自轉換時間預測部分1413的預測轉換時間。
在步驟S2003，轉換計算量變化裝置1811比較預測傳輸時間與預測轉換時間。在預測傳輸時間比預測轉換時間長的情況下，操作前進到步驟S2004。在預測傳輸時間比預測轉換時間短的情況下，操作前進到步驟S2005。在步驟S2004中，轉換計算量變化裝置1811指示圖像轉換器112增加圖像轉換所需的計算量，以終止處理。在步驟S2005，轉換計算量變化裝置1811指示圖像轉換器112減少圖像轉換所需的計算量，以終止處理。
例如，圖21是示意圖，表示在圖像壓縮的計算量變化前后的預測時間。假設預測傳輸時間2101是150[ms]，在圖像壓縮的計算量變化前的預測轉換時間是100[ms]。在這種情況下，轉換計算量變化裝置1811指示圖像轉換器112以特定量改變圖像轉換所需的計算量，從而產生高質量的壓縮圖像。作為該指令的結果，在預測轉換時間不等于預測傳輸時間2101(150[ms])的情況下，轉換計算量變化裝置1811指示圖像轉換器112在下一次圖像轉換和圖像傳輸時再次改變圖像轉換所需的計算量。通過重復該指令，在圖像壓縮的計算量發生改變以后假定的預測轉換時間變為150[ms]。
如前所述，在根據本實施例的圖像傳輸設備1810以及圖像傳輸方法中，圖像轉換的工作量被控制，從而圖像轉換可以與圖像傳輸同步地開始，圖像轉換可以與圖像傳輸同步地結束。尤其是，在圖像轉換的工作量增加的情況下，圖像轉換要花費更長的時間，這樣能產生高質量的壓縮圖像。結果是，可以在保持幀速率的情況下，傳輸圖像質量與圖像傳輸時間相應的壓縮圖像。
這樣，可以減少網絡102的使用時間，從而提高網絡102的使用效率，以及提高圖像接收設備120接收的圖像的幀速率。
盡管在這一實施例中通過轉換計算量變化部分1810改變圖像壓縮計算量的指令是“改變一特定量”，并且改變計算量的指令被重復，直到圖像傳輸時間2101與改變計算量之后的圖像轉換時間2103相等為止，但另一種配置也是可以的，它在轉換計算量變化部分1811中提供圖像轉換時間與圖像轉換所需的計算量之間的對應表，轉換計算量變化部分1811參考該表，并指示圖像轉換器112改變從圖像傳輸所需的時間與圖像轉換所需的時間之間的差獲得的計算量。
可以改變圖像轉換系統，例如從MPEG1到MPEG4，這取決于根據傳輸時間預測部分115計算的預測傳輸時間與轉換時間預測部分計算的預測轉換時間。在這種情況下，如圖22所示，提供對應于本發明的轉換系統變化裝置的轉換系統變化部分2211來代替轉換計算量變化部分1811，用于指示圖像轉換器112改變圖像轉換系統，以及提供對應于轉換系統通知裝置的轉換系統通知部分2212，用于將圖像轉換系統中的變化通知給圖像接收設備。根據這種結構的圖像傳輸裝置1810’，可改變圖像轉換所需的時間，這與本實施例中圖象傳輸裝置1810是相同的。
盡管根據第一實施例的圖像傳輸裝置110根據傳輸時間測量部分114的測量結果預測圖像傳輸所需的時間，以控制圖像轉換的開始定時，但在第六實施例的圖像傳輸裝置中，圖像轉換的開始定時通過調查圖像被讀出的位置以及圖像傳輸所需的時間，進而預測圖像傳輸所需的時間而受到控制。包含根據本實施例的圖像傳輸裝置的網絡圖像傳輸系統如圖23所示。在圖23中與圖1(第一實施例)相同的部分采用同樣的標號，相應部分的描述將被省略。
在圖23中，根據本實施例的網絡圖像傳輸系統包含有錄像帶2301，其上記錄著經過圖像轉換的圖像數據；根據本實施例的圖像傳輸設備2310；網絡102；以及圖像接收設備120。本實施例的圖像傳輸設備2310包含有記錄介質201，例如硬盤以及錄像帶；對應于本發明的圖像讀出裝置的圖像讀出部分2314；圖像傳輸器113；傳輸時間測量部分114；傳輸時間預測部分115；操作控制時間器116；對應于圖像讀出位置調查裝置的圖像讀出位置調查部分2311；對應于讀出時間測量裝置的讀出時間測量部分2312；以及對應于讀出時間預測裝置的讀出時間預測部分2313。
圖像讀出部分2314從錄像帶2301或者記錄介質201讀出圖像數據。圖像讀出位置調查裝置2311調查存儲圖像讀出部分2314讀出的圖像數據的存儲位置(例如攝像機，硬盤，或錄像帶)。讀出時間測量部分2312測量讀出圖像所需的時間，并記錄測量結果。讀出時間預測部分2313使用存儲在讀出時間測量部分2312中的預定數目的測量結果預測讀出圖像的所需時間。圖像傳輸設備2310的其他部分與第一實施例中的圖像傳輸裝置110的相應部分相同。
盡管在第一實施例中，傳輸時間預測部分115根據傳輸時間測量部分114測量的過去10幀的傳輸時間預測圖像傳輸所需的時間，但在這一實施例中，在圖像讀出部分2314例如從錄像帶2301到記錄介質201讀出圖像數據的位置發生變化時，圖象開始讀出的時間被控制，從而使從圖像開始讀出到圖像傳輸結束的所需時間最小，為了使這一控制有效，必須提前知道圖像傳輸所需的時間與圖像轉換所需的時間時必須的。
本實施例的圖像傳輸設備使用的圖像傳輸方法將在下文中詳細描述。首先，圖像讀出部分2314從錄像帶2301讀出經圖像轉換的圖像數據。在這一操作中，讀出時間測量部分2312測量圖像讀出部分2314中讀出圖像所需的時間，并保存測量結果。在這種事件發生的情況下，圖像讀出位置調查部分2311將圖像讀出部分2314讀出圖像數據的位置已經變化的消息通知讀出時間預測部分2313。讀出時間預測部分2313根據下述的方法計算讀出圖像所需的預測傳輸時間(預測傳輸時間)。
圖像傳輸器113把圖像讀出部分2314讀出的圖像數據傳輸給網絡102，并傳輸到預定的圖像接收設備120。在這一操作中，傳輸時間測量部分114測量圖像傳輸所需的時間，并保存測量結果。傳輸時間預測部分115根據本發明的第一實施例中的方法計算圖像傳輸所需的預測時間(預測傳輸時間)。在這樣的計算以后，操作定時控制器116根據下文描述的方法利用預測讀出時間以及預測傳輸時間確定要讀出的圖像的圖像讀出開始定時。
讀出時間預測部分2313使用的預測讀出時間的方法將在下文參照附圖24詳細描述。
在步驟S2401中，讀出時間預測部分2313接收讀出時間測量部分2312測量的讀出時間以作為取樣值。在步驟S2402中，讀出時間預測部分2313檢查是否所有預測讀出時間所需的預定數目的預測時間都被接收，在沒有都被接收的情況下，操作回到步驟S2401。在所有預測讀出時間所需的讀出時間都被接收的情況下，操作前進到步驟S2403。
在步驟S2403，圖像讀出位置調查部分2311調查圖像數據的存儲位置。在步驟S2404，圖像讀出位置調查部分2311調查是否圖像讀出部分2314讀出的圖像數據的讀出位置已發生變化。在位置沒有發生變化的情況下，操作前進到步驟S2409。在步驟S2409中，圖像讀出位置調查部分2311根據讀出時間計算圖像讀出所需的時間(預測時間)，然后步驟前進到S2410。計算預測讀出時間的方法如下式(15)所示，這樣就獲得被讀出的過去幀的讀出時間U1到UN的平均值，該值作為讀出一幀圖象所需的預測讀出時間Uest。式(15)示出的計算預測讀出時間的方法僅是示例，預測讀出時間也可以通過其他方法獲得。Uest=Σn=1NUn/N]]>在步驟S2405，圖像讀出位置調查部分2311通知讀出時間預測部分2313數據讀出的位置已經發生變化。在步驟S2406，讀出時間測量部分2312測量的圖像讀出所需時間的測量結果被接收，并作為取樣值。
在步驟S2407，檢查是否所有預測讀出時間所需的預定數目的讀出時間都已被接收，在沒有接收的情況下，操作回到步驟S2406。在所有預測讀出時間所需的讀出時間都接收的情況下，操作前進到步驟S2408。
在步驟S2408，與步驟S2409相同，取樣值用于計算讀出圖像所需的預測時間(預測讀出時間)。在步驟S2410，這樣計算的預測讀出時間Uest傳輸給操作定時控制器116，并且有關預測讀出時間的過程結束。
接下來，操作定時控制器116根據讀出時間預測部分2313計算出來的預測讀出時間Uest以及傳輸時間預測部分115計算的預測傳輸時間Test，確定圖像讀出部分2314讀出圖像的開始定時。這里，假設從圖像開始傳輸到圖像開始讀出的等待時間為Twait，等待時間Twait可通過下式(16)得到Twait＝Test-Uest(16)操作定時控制器116根據這樣得到的等待時間Twait控制圖像讀出部分2314讀出圖像的開始定時，從而使得在圖像開始傳輸以后經過了等待時間Twait時開始圖像讀出。相應的，圖像讀出部分2314在圖像傳輸開始以后經過了等待時間Twait時開始讀出圖像。
下面是例子。假設讀出時間預測部分2313根據過去10幀的圖像讀出時間計算預測讀出時間，并假設讀出時間從U1到U10分別是U1＝30[ms]、U2＝20[ms]、U3＝30[ms]、U4＝30[ms]、U5＝80[ms]、U6＝70[ms]、U7＝80[ms]、U8＝70[ms]、U9＝90[ms]、U10＝80[ms]。假設圖像數據傳輸給圖像讀出部分2314的讀出位置已經從攝像機2301變化到記錄介質201。在這種情況下，讀出時間預測部分2313計算的預測讀出時間Uest可以利用公式(17)計算Uest＝(80+70+80+70+90+80)/6＝78[ms](17)這里公式(17)的計算結果取到第一位小數點。
這里，假設預測傳輸時間Test＝103[ms]，到圖像讀出開始的等待時間Twait可用下式(18)計算Twait＝103-78＝25[ms](18)這樣，在圖像開始傳輸以后經歷25[ms]時，圖像讀出部分2314開始圖像轉換。
如上文所述，在依據本實施例的圖像傳輸設備2310以及圖像傳輸方法中，圖像傳輸的開始時間被控制，從而使圖像傳輸與圖像讀出結束同步地開始，甚至在圖像讀出的所需時間已經變化的時候也是如此，這是因為提供圖像數據給圖像讀出部分2314的讀出位置。
這樣，可以減少網絡102的使用時間，提高網絡102的使用效率，以及提高幀速率(每秒傳輸的幀數目)。結果是，可使從接收到作為客戶機的圖像接收設備120的圖像傳輸請求到圖像傳輸完成的時間最小。這樣，可使圖像接收設備中的回放延時最小。也就是說，圖像傳輸設備2310能夠實時地傳輸最新的圖像，圖像接收設備120可以回放最新的圖像。
盡管根據第一實施例的圖像傳輸設備110根據傳輸時間測量部分114的測量結果預測圖像傳輸所需的時間，以控制圖像轉換的開始定時，但在第七實施例的圖像傳輸設備中，圖象轉換與圖像接收的開始定時或者圖像傳輸與圖像轉換的開始定時通過預測圖像接收與圖像傳輸的所需時間而被控制，當圖像抽取部分111通過網絡接收圖像時，圖像傳輸器113使用與由圖像抽取部分111使用的網絡相同的網絡，并且圖像接收、圖像轉換、以及圖像傳輸操作并行地進行。
在圖26中示出的包含有根據本實施例的圖像傳輸設備的網絡圖像傳輸系統。在圖26中，與圖1(第一實施例)相同的部分使用相同的標號，相應的描述將被省去。在圖26中，根據本實施例的網絡圖像傳輸系統包括網絡102、至少一個圖像提供設備2601、根據本實施例的圖像傳輸設備2610、以及圖像接收設備。圖像提供設備2601通過網絡102將圖像提供給圖像傳輸設備。
根據本實施例的圖像提供設備2610包含有操作處理控制器2613，其對應于本發明中的處理操作控制裝置，取代了操作定時控制器116。圖像提供設備2610還包括接收時間測量部分2611，對應于接收時間測量裝置；以及接收時間預測部分2612，對應于接收時間預測裝置。接收時間測量部分2611測量圖像抽取部分111接收圖像所需的時間，并保存測量結果。接收時間預測部分2612使用保存在接收時間測量部分2611中的測量結果中的預定數目的測量結果來預測接收圖像所需的時間。
操作處理控制器2613一直進行圖像傳輸或者圖像接收，并根據操作處理控制進行非操作處理和圖像轉換處理的開始定時。圖像傳輸設備2610的其他部分與第一實施例中的圖像傳輸設備110的相應部分相同。
根據本實施例的圖像傳輸設備2610所使用的圖像傳輸方法將在下文中描述。首先，圖像抽取部分111通過網絡102從圖像提供設備2601接收圖像。在這一過程中，接收時間測量部分2611測量圖像抽取部分111從圖像提供設備2601接收圖像所需的時間。接收時間預測部分2612根據第一實施例中的方法計算圖像接收所需的預測時間(預測接收時間)。
圖像轉換器112根據操作處理控制器2613確定的定時執行圖像轉換。圖像傳輸器113傳輸轉換的圖像給網絡102，以傳輸給預定的圖像接收設備120。在這一過程中，傳輸時間測量部分114測量圖像傳輸所需的時間，并保存測量結果。傳輸時間預測部分115根據第一實施例中的方法計算圖像傳輸所需的預測時間(預測傳輸時間)。
在這樣的計算以后，操作定時控制器116根據下文將描述的方法，利用預測接收時間以及預測傳輸時間，確定圖像轉換以及圖像接收或者圖像傳輸以及圖像轉換的開始定時。
著重于操作處理控制器2613的操作的本實施例的圖像傳輸設備2610所使用的圖像傳輸方法將參照附圖27的流程圖進行描述。
在步驟S2701，操作處理控制器2613從接收時間預測部分2612接收預測接收時間。在步驟S2702，操作處理控制器2613從傳輸時間預測部分115接收預測傳輸時間。在步驟S2703，預測接收時間與預測傳輸時間相比較。在預測傳輸時間比預測接收時間長的情況下，操作前進到步驟S2704。在預測傳輸時間比預測接收時間短的情況下，操作前進到步驟S2706。
在圖像傳輸設備110從圖像提供設備2601接收圖像并傳輸在圖像轉換器112中經過圖像轉換的圖像的情況下，圖像抽取部分111接收的數據量比圖像傳輸器113傳輸的數據量大。這樣，接收時間一般要比傳輸時間長。在圖像傳輸設備110從多個圖像提供設備2601接收圖像并且以一幀為基礎傳輸在圖像轉換器111中合成的圖像的情況下，圖像傳輸器113傳輸的數據量要比圖像抽取部分111接收的數據量大，因此，接收時間一般要比傳輸時間長。
在步驟S2704(在預測傳輸時間比預測接收時間長的情況下)，圖像轉換的開始定時被確定。圖像轉換的開始定時是根據第一實施例中示出的公式(2)確定的(式中，Ttrans是圖像轉換所需的時間，Test是預測傳輸時間，Twait是從圖像開始傳輸到圖像開始轉換的等待時間)。這樣，圖像在圖像傳輸開始以后經過了等待時間Twait時開始轉換。在當經過等待時間Twait以后圖像接收沒有完成的情況下，操作進行等待，直到圖像接收完成為止。
在步驟S2705，確定圖像接收的開始定時。圖像接收的開始定時是根據下式(19)進行的，假設預測接收時間為Vest。操作處理控制器2613通知圖像提供設備2601等待時間Twait的值，以結束處理過程，從而使圖像接收在圖像開始傳輸以后經過了等待時間Twait時開始。在等待時間Twait為負值的情況下，設定Vwait＝0，從而使圖像接收與圖像傳輸的開始同步地開始。
Vwait＝Test-Ttrans-Vest(19)在圖28中示出的是在預測傳輸時間比預測接收時間長時推算的圖像傳輸、圖像轉換、以及圖像接收的操作時間的示意圖。在圖28中，標號2801表示圖象傳輸的操作時間(傳輸時間)，標號2802表示圖像轉換的操作時間(轉換時間)，標號2803表示圖像接收的操作時間(接收時間)。
在步驟S2706(預測傳輸時間比預測接收時間短)，操作處理控制器2613將預測傳輸時間Test與圖像轉換所需的時間Ttrans之和與預測接收時間Vest比較。在Vest比Test和Ttrans之和長的情況下，操作前進到步驟S2707。在Vest等于或者比Test和Ttrans之和小的情況下，操作前進到步驟S2710。
在步驟S2707(Vest比Test和Ttrans的和長的情況下)，操作處理控制器2613指示圖像提供設備2601連續地傳輸圖像從而保持有效的圖像接收。在步驟S2708，操作處理控制器2613指示圖像轉換器112在圖像接收完成以后立刻開始圖像轉換。接下來，在步驟S2709中，操作處理控制器2613指示圖像傳輸器113在圖像轉換器112完成圖像轉換以后立即開始圖像傳輸。
在圖29中示出的是在如上所述預測傳輸時間比預測接收時間短并且Vest大于Test和Ttrans的和時推算的圖像傳輸、圖像轉換、以及圖像接收的操作時間的示意圖。在圖29中，參考符號2901表示圖象傳輸的操作時間(傳輸時間)，參考符號2902表示圖像轉換的操作時間(轉換時間)，參考符號2903表示圖像接收的操作時間(接收時間)。
在步驟S2710(在Vest等于或者比Test和Ttrans的和小的情況下)，圖像接收的開始定時被確定。圖像接收的開始定時是通過下式(20)確定的。操作處理控制器2613通知圖像提供設備2601等待時間Twait的值，從而使圖像接收在圖像開始轉換以后經過了等待時間Twait時開始。
Vwait＝Test+Ttrans-Vest(20)在步驟S2711，操作處理控制器2613指示圖像轉換器112在完成圖像接收以后立刻開始圖像轉換。接下來，在步驟S2712，操作處理控制器2613指示圖像傳輸器113在圖像轉換器112完成圖像轉換以后立即開始圖像傳輸，以終止處理。
在圖30中示出的是在如上所述預測傳輸時間比預測接收時間短并且Vest等于或者比Test和Ttrans的和小的情況下推算的圖像傳輸、圖像轉換、以及圖像接收的操作時間示意圖。在附圖30中，標號3001表示圖象傳輸的操作時間(傳輸時間)，標號3002表示圖像轉換的操作時間(轉換時間)，標號3003表示圖像接收的操作時間(接收時間)。
下面將舉一實例。假設預測傳輸時間為Test＝120[ms]，圖像轉換的所需時間為Ttrans＝40[ms]，預測接收時間為Vest＝60[ms]。
在步驟S2703中，當預測傳輸時間Test與預測接收時間Vest相比較時，預測接收時間Vest長。這樣，如圖28所示，圖象轉換在圖像開始傳輸以后經過了等待時間Twait時開始，從而使圖像傳輸在圖像轉換完成以后立刻開始。在這種情況下，等待時間Twait利用第一實施例中的等式進行計算，也就是說，Twait＝120-40＝80[ms]。當經過了等待時間Twait時，如果圖像接收沒有完成，則操作進行等待，直到等到圖像接收完成為止。
接下來，在步驟S2705，操作處理控制器2613通知圖像提供設備2601等待時間Twait的值，以作為圖像傳輸定時，從而使圖像接收在圖像傳輸開始以后經過了Vwait-120-40-60＝20[ms](參看公式(19))的等待時間時開始。
如前所述，根據本實施例的圖像傳輸設備2610以及圖像傳輸方法，圖像轉換及圖像接收或者圖像傳輸以及圖像轉換的開始定時被控制，這種控制是通過預測經過圖像接收以及圖像轉換的并行操作進行圖像接收以及圖像轉換所需的時間實現的，甚至在圖像抽取部分111通過網絡接收圖像以及圖像傳輸器113使用與圖像抽取部分111使用的網絡同樣的網絡的時候也是如此。
這樣也可以減少網絡的使用時間，從而提高網絡的使用效率，提高幀速率。結果是，可使從接收到作為客戶機的圖像接收設備120的圖像傳輸請求到圖像傳輸完成的時間最小。以這種方式，可使圖像接收設備120中的回放圖像延時最小。也就是說，圖像傳輸設備2610實時地傳輸最新的圖像，圖像接收設備120能夠回放最新的圖像。
盡管在根據本發明第一實施例的圖像傳輸設備110中，傳輸時間預測部分115獲得先前傳輸的N幀圖象的平均傳輸時間，以計算預測傳輸時間，但在本發明的第八實施例的圖像傳輸設備中，最新數據要分配加權值，因為它比過去的數據更可靠。根據這一實施例的圖像傳輸設備的結構與實施例一中的圖像傳輸設備110是相同的。圖像傳輸方法也與第一實施例相同。其差別僅在于傳輸時間預測部分115在步驟S403中使用不同的計算方法來獲得預測傳輸時間。
根據本實施例的傳輸時間預測部分115計算傳輸時間的方法將在下文描述。如下式(21)所示，根據本實施例的傳輸時間預測部分115把加權值W2指定給傳輸時間測量部分114接收的預定數目的N幀圖象中的最近的m幀的傳輸時間(N＞m)，給其它幀的傳輸時間的加權值為W1，然后計算傳輸一幀圖像所需的預測傳輸時間TestTest=W1Σn=1N-mTn+W2Σn=N-m+1NTnW1(N-m)+mW2---(21)]]>下面是示例。假設傳輸時間預測部分115根據過去10幀的傳輸時間計算預測傳輸時間，并假設圖12所示過去10幀的傳輸時間T1-T10為T1-T6＝40[ms]，T7-T10＝100[ms]。并假定加權系數W1＝1，W2＝2，取樣值為10(N＝1)，最新5幀的測量結果加權值為W2。在這種情況下，傳輸時間預測部分115計算的預測傳輸時間Test通過下式(22)計算Test＝{1×(40+40+40+40+40+40)+2×(40+100+100+100+100)}/(1×5+2×5)＝72[ms] (22)與第一實施例中的相同，這樣計算的預測傳輸時間Test由操作定時控制器116使用。操作定時控制器116使用公式(2)并利用傳輸時間預測部分115計算的傳輸時間Test以及圖像轉換的所需時間Ttrans獲得直到圖像開始轉換的等待時間Twait。已得到等待時間Twait的操作定時控制器116控制圖像轉換器112中圖像轉換的開始定時，從而使圖像轉換在圖像開始傳輸以后經過了等待時間Twait時開始。這樣，圖像轉換器112在開始圖像傳輸以后經過了等待時間Twait時開始圖像轉換。
在前面的例子中，在傳輸時間預測部分115不是使用公式(22)，而是使用第一實施例中的公式(1)計算的情況下，預測傳輸時間Test是(40×6+100×4)/10＝64[ms]。考慮到通過本實施例的公式(22)獲得的預測傳輸時間Test是72[ms]，在傳輸速度突然改變且沒有回到初始值的情況下，這一實施例將給出比第一實施例更接近真實值的數值。
盡管在根據本發明第一實施例的圖像傳輸設備110中，傳輸時間預測部分115獲得先前傳輸的N幀的傳輸時間的平均值來計算預測傳輸時間，但在該第九實施例的圖像傳輸設備中，使用標準偏差值檢查測量值的偏差，并根據取樣值的數目通過平均測量值來預測傳輸時間。本實施例的圖像傳輸設備的結構與第一實施例中的圖像傳輸設備110的結構相同，圖像傳輸方法也與第一實施例中的相同。其差別僅在于在步驟S403中傳輸時間預測部分115使用了不同的計算方法獲得預測傳輸時間。
傳輸時間預測部分115使用的計算傳輸時間的方法將在下文中描述。根據本實施例的傳輸時間預測部分115通過平均多個幀的傳輸時間來計算預測傳輸時間，同時調整用于計算預測傳輸時間的取樣值的數目，這使用標準偏差(s)的公式，如公式(23)所示s=(T1-Tavg)2+(T2-Tavg)2+...+(Tn-Tavg)2n-1---(23)]]>其中，Tavg=Σn=1NTnN]]>本實施例的傳輸時間預測部分115隨著取樣數目n的減少重復標準偏差值的計算，直到標準偏差s低于特定值為止。在標準偏差值因為取樣數目的減少而有所提高的情況下，取樣值將重置為先前的值。取樣以時間順序去除。該特定值是通過將預定數目的取樣值的平均值除以10或5而預先得到的。
下面是示例。假設過去10幀的傳輸時間T1到T10分別是T1＝10[ms]、T2＝30[ms]、T3＝50[ms]、T4＝70[ms]、T5＝75[ms]、T6＝80[ms]、T7＝85[ms]、T8＝90[ms]、T9＝95[ms]、T10＝110[ms]。并且假設標準偏差的門限值為(前面提到的特定值)在下面的例子中設定為15。
傳輸時間預測部分115根據過去10幀的(取樣值n為10)傳輸時間獲得標準偏差。n＝10時推算的傳輸時間的平均值Tavg10可以通過下式(24)計算Tavg10＝(10+30+50+70+75+80+85+90+95+100)/10＝68.5[ms](24)n＝10時推算的標準偏差值S10可以通過下式(25)計算S10=√{(58.5^2+38.5^2+18.5^2+1.5^2+6.5^2+11.5^2+16.5^2+21.5^2+26.5]]>^2+31.5^2)/9}＝29.54(25)當n＝10時推算的標準偏差值S10比標準偏差“15”的門限值大，所以這個值是不能夠使用的。
當兩個舊取樣值被移去從而設定取樣值n＝8時推算的標準偏差被獲得。n＝10時推算的平均值Tavg8可以利用下式(26)得到Tavg8＝(50+70+75+80+85+90+95+100)/8＝80.625[ms] (26)n＝8的時候的標準偏差值s8可以通過下式(27)得到S8=√{(30.625^2+10.625^2+5.625^2+0.625^2+4.375^2+9.375^2+14.375^2]]>+19.375)/7}＝15.91(27)當n＝8的時候推算的標準偏差值S8比標準的偏差“15”的門限值大，所以這個值也是不能夠使用的。
當另外移去取樣值以設定取樣值n＝7的時候推算的標準偏差值被獲得。通過下式(28)計算n＝7時的平均值Tavg7Tavg7＝(70+75+80+85+90+95+100)/7＝85[ms] (28)n＝7的時候的標準偏差值s7可以通過下式(29)得到S7=√{(15^2+10^2+5^2+0^2+5^2+10^2+15^2)/6}=10.80---(29)]]>當n＝7的時候推算的標準偏差值S7比標準的偏差“15”的門限值小，所以平均值Tavg7(＝85[ms])可被用作預測傳輸時間Test。
與第一實施例一樣，這樣獲得的預測傳輸時間由操作定時控制器116使用。操作定時控制器116利用公式(2)根據傳輸時間預測部分115計算的Test與圖像轉換所需的時間Ttrans獲得直到圖像開始轉換的等待時間Twait。得到了等待時間Twait的操作定時控制器116控制圖像轉換器112中圖像轉換的開始定時，從而使得在圖像開始傳輸以后經過了等待時間Twait的時候開始圖像轉換。這樣，圖像轉換器112就在圖像開始傳輸以后經過了等待時間Twait時開始轉換。
根據本實施例，傳輸時間是利用有較小偏差，即具有小差量的取樣組進行預測的。相應的，在傳輸速度逐漸增加或者逐漸下降的情況下，可以獲得比第一實施例的值更為接近真實值的值。
在本發明的第二實施例的圖像傳輸設備610中，抖動確定部分611確定是否有抖動發生，傳輸時間預測部分115避免抖動的影響，以預測圖像傳輸所需的時間，即使是在網絡中突然發生抖動的情況下也是如此。與第九實施例相同，根據本發明的第十實施例的圖像傳輸設備使用標準偏差檢查檢測值的偏離，并且根據取樣值的調整計算測量結果的平均值來預測傳輸時間。它與第九實施例的區別在于取樣值的去除是以其平均值與取樣值之間的差最大的取樣值開始的，而并不僅是以過去的取樣值(測量值)開始。
本實施例中的圖像傳輸設備的結構與第一實施例中的圖像傳輸設備110相同。其圖像傳輸方法也與第一實施例中的相同。其區別僅在于在步驟S403中，傳輸時間預測部分115使用了不同的計算方法獲得預測傳輸時間。
下文將描述傳輸時間預測部分115計算傳輸時間的方法。根據本實施例的傳輸時間預測部分115通過平均多個幀的傳輸時間來計算預測傳輸時間，同時使用公式(23)所示的標準偏差公式調整用于計算預測傳輸時間的取樣(n)的數目，這與第九實施例相同。
與第九實施例相同，根據本實施例的傳輸時間預測部分115在減少取樣數目n的同時重復標準偏差的計算，直到標準偏差s低于一特定值為止。在標準偏差因取樣值的減少而有所增加的情況下，取樣值被重置為先前的值。與第九實施例不同，取樣值的移去是以其平均值與取樣值的偏差最大的取樣開始的。該特定值通過預定數目的取樣值的平均值除以5或者10預先得到。
下面是示例。假設過去10幀的傳輸時間T1到T10分別是T1＝60[ms]、T2＝30[ms]、T3＝50[ms]、T4＝60[ms]、T5＝65[ms]、T6＝150[ms]、T7＝70[ms]、T8＝60[ms]、T9＝40[ms]、T10＝50[ms]。并假設標準偏差的門限值(先前提到的特定值)在下面的例子中為10。
傳輸時間預測部分115根據過去10幀的傳輸時間得到標準偏差(取樣數為10)。n＝10時推算的傳輸時間的平均值Tavg10可以利用下式(30)獲得Tavg10＝(60+30+50+60+65+150+70+60+40+50)/10＝63.5[ms] (30)n＝10時推算的標準偏差S10可以利用等式(31)得到S10=√{(3.5^2+33.5^2+13.5^2+3.5^2+1.5^2+86.5^2+6.5^2+3.5^2+23.5^2+]]>13.5^2)/9}＝32.7(31)n＝10時推算的標準偏差S10大于標準偏差的門限值“10”，所以不采用這個值。
獲得當與平均值Tavg10之間的差最大的取樣T6＝150[ms]被去除從而設置取樣值n＝9時推算的標準偏差S10。n＝9時推算的平均值Tavg9可以利用等式(32)計算Tavg9＝(60+30+50+60+65+70+60+40+50)/9＝53.89[ms](32)n＝9時推算的標準偏差s9可以利用等式(33)得到S9=√{(6.11^2+23.89^2+3.89^2+6.11^2+11.11^2+16.11^2+6.11^2+13.89^2]]>+3.89^22)/8}＝12.7(33)n＝9時推算的標準偏差S9大于標準偏差的門限值“10”，所以不采用這個值。
當移去如公式(32)計算出的其與平均值Tavg7間的差最大的取樣T2＝30[ms]以設定取樣值n＝8時推算的標準偏差被獲得。n＝8時的平均值Tavg8可以利用等式(34)計算Tavg8＝(60+50+60+65+70+60+40+50)/8＝56.88[ms](34)n＝8時推算的標準偏差s8可以利用等式(35)得到S7=√{(3.12^2+6.88^2+3.12^2+8.12^2+13.12^2+3.12^2+16.88^2+6.88^2)/]]>7}＝9.6(35)n＝8時推算的標準偏差值s8小于標準偏差的門限值“10”并且低于n＝8時的門限。在此例中，平均值Tavg8(＝56.88[ms])被用作預測傳輸時間Test。
與第一實施例中相同，這樣獲得的預測傳輸時間Test由操作定時控制器116使用。操作定時控制器116根據傳輸時間預測部分115計算的Test以及圖像傳輸所需的時間Ttrans利用公式(2)計算得到直到圖像開始轉換時的等待時間Twait。得到等待時間Twait的操作定時控制器116控制圖像轉換器112進行圖像轉換的開始定時，從而使得圖像轉換在圖像開始傳輸以后經過了等待時間Twait時開始。這樣，圖像轉換器112在圖像傳輸開始以后經過了等待時間Twait時開始圖像轉換。
在本實施例中，傳輸時間是通過移去在抖動發生時獲得的取樣值(檢測值)進而使用一組具有較小標準偏差、即具有小差量的取樣值組(檢測值)獲得的。這樣，即使在發生抖動時，該實施例也保證比第一實施例更精確的傳輸時間。盡管傳輸時間預測部分115使用前述的方法計算預測傳輸時間，但根據第二實施例的圖像傳輸裝置611中的抖動測量部分611可代之以執行同樣的操作。
如圖38所示，根據該第十一實施例的圖像傳輸設備3810包括位于第一實施例的圖像傳輸設備110的頂部的計算方法選擇控制器3801。計算方法選擇控制器3801指示傳輸時間預測部分115根據由保存在傳輸時間測量部分中的傳輸時間測量結果確定的網絡102中傳輸速度的變化以改變計算預測傳輸時間的方法。
例如，計算方法選擇控制器3801指示傳輸時間預測部分115在傳輸速度突然改變而沒有回到初始值的情況下，利用第八實施例中的計算方法預測傳輸時間；在傳輸速度緩慢增加或者緩慢降低的情況下，利用第九實施例中的計算方法預測傳輸時間；在抖動發生的情況下，利用第十實施例中的計算方法預測傳輸時間。
這樣，根據本實施例的圖像傳輸設備3810可以根據網絡102的狀況使用最佳的計算方法預測傳輸時間。
計算方法選擇控制器3801不必在第一實施例的圖像傳輸設備110中提供，而是可以設置在圖14所示的第四實施例的圖像傳輸設備1410或者圖17所示的圖像傳輸設備1410’、圖18所示的第五實施例的圖像傳輸設備1810或者圖12所示的圖像傳輸設備1810’、圖23所示的第六實施例的圖像傳輸設備2310或者圖27所示的第七實施例中的圖像傳輸設備2610。
如上所述，根據本發明的圖像傳輸設備、圖像傳輸方法、記錄介質和圖像傳輸程序，從圖像轉換結束到圖像開始傳輸的等待時間可以被消除，從而可以使從圖像開始轉換到圖像傳輸結束的所需時間最小。結果是可使從接收到作為客戶機的圖像接收設備發出的圖象傳輸請求到圖象傳輸結束之間的時間最小。以這種方式，可使圖像接收設備中的回放延時最小。亦即，最新的圖像被實時地傳輸，從而使得圖像接收設備能夠回放最新的圖像。可以減少網絡102的使用時間，從而提高網絡102的使用效率，并提高圖像接收設備接收的圖像的幀速率(每秒可傳輸的幀數)。
權利要求
1.一種圖像傳輸設備，其特征在于所述圖像傳輸設備包括圖像轉換裝置，將包含多個幀的圖像轉換成適于傳輸給另一設備的格式，以基于每幀產生轉換圖像；圖像傳輸裝置，將所述圖像轉換裝置產生的轉換圖像根據每一圖像幀傳輸給經網絡連接的預定圖像接收裝置；傳輸時間測量裝置，用于根據每一圖像幀測量從所述圖像傳輸裝置傳輸的轉換圖像的傳輸時間；傳輸時間預測裝置，根據被所述傳輸時間測量裝置測量的過去幀的傳輸時間，預測所述圖像傳輸裝置傳輸傳輸候選幀中的轉換圖像所需的傳輸時間，并產生預測傳輸時間；以及操作定時控制裝置，根據所述傳輸時間預測裝置產生的所述傳輸候選幀的預測傳輸時間，控制所述圖像轉換裝置轉換候選幀的轉換的開始定時。
2.如權利要求1所述的圖像傳輸設備，其特征在于，所述傳輸時間測量裝置包括抖動確定裝置，用于根據每一測量的傳輸時間的長度，確定在所述過去幀的傳輸期間在所述網絡中是否有抖動發生，并且，所述傳輸時間預測裝置根據除了經所述抖動確定裝置確定出抖動發生的傳輸時間以外的傳輸時間，預測所述預測傳輸時間。
3.如權利要求1所述的圖像傳輸設備，其特征在于，所述傳輸時間測量裝置包括帶寬變化確定裝置，用于根據每一測量的傳輸時間的長度，確定在所述過去幀的傳輸期間在所述網絡中是否有變化，并且，所述傳輸時間預測裝置根據在所述帶寬變化確定裝置確定網絡帶寬發生變化以后推算的傳輸時間，預測所述預測傳輸時間。
4.如權利要求1所述的圖像傳輸設備，還包括轉換時間測量裝置，以每一幀為基礎測量經所述圖像轉換裝置轉換的圖像的轉換時間；以及轉換時間預測裝置，用于根據所述轉換時間測量裝置測量的過去幀的傳輸時間，預測所述圖像轉換裝置轉換轉換候選幀中的圖像所需的轉換時間，從而產生預測轉換時間，其特征在于，所述操作定時控制裝置根據所述傳輸時間預測裝置產生的所述傳輸候選幀的預測傳輸時間以及所述轉換時間預測裝置產生的所述轉換候選幀的預測轉換時間，控制所述圖像轉換裝置轉換所述轉換候選幀的開始定時。
5.如權利要求4所述的圖像傳輸設備，包括中央處理單元(CPU)負載測量裝置，用于根據所述轉換時間測量裝置測量的過去幀的轉換時間，測量當每一幀的圖像被轉換時推算的CPU的負載，其特征在于，所述轉換時間預測裝置根據所述轉換時間測量裝置測量的過去幀的轉換時間以及所述CPU負載測量裝置測量的負載，預測所述轉換候選幀的預測轉換時間。
6.如權利要求4所述的圖像傳輸設備，包括轉換計算量變化裝置，用于根據所述傳輸時間預測裝置產生的所述傳輸候選幀的預測傳輸時間及所述轉換時間預測裝置產生的所述轉換候選幀的預測轉換時間之間的比較，指示所述圖像轉換裝置改變所述轉換候選幀的轉換所需的計算量，其特征在于，所述轉換計算量變化裝置指示所述圖像轉換裝置減小所述傳輸候選幀的預測傳輸時間與所述轉換候選幀的預測轉換時間之間的差。
7.如權利要求4所述的圖像傳輸設備，包括轉換系統變化裝置，用于根據所述傳輸時間預測裝置產生的所述傳輸候選幀的預測傳輸時間與所述轉換時間預測裝置產生的所述轉換候選幀的預測轉換時間之間的比較，指示所述圖像轉換裝置改變所述轉換候選幀的轉換系統；以及轉換系統通知裝置，用于向所述預定圖像接收設備通知由所述轉換系統變化裝置指示的轉換系統，其特征在于，所述轉換系統變化裝置指示所述圖像轉換裝置轉換到使所述傳輸候選幀的預測傳輸時間與所述轉換候選幀的預測轉換時間之間的差最小的轉換系統。
8.一種圖像傳輸裝置，其特征在于所述圖像傳輸設備包括圖像讀出裝置，用于從存儲轉換成能夠顯示在經網絡相連的圖像接收設備上的格式的轉換圖像的轉換圖像存儲器中，以一幀為基礎讀出轉換的圖像；圖像傳輸裝置，把所述圖像讀出裝置讀出的轉換圖像以一幀為基礎傳輸到與所述網絡相連的預定圖像接收設備中；傳輸時間測量裝置，以一幀為基礎測量從所述圖像傳輸裝置傳輸的轉換圖像的傳輸時間；傳輸時間預測裝置，用于根據由所述傳輸時間測量裝置測量的過去幀的傳輸時間，預測所述圖像傳輸裝置傳輸傳輸候選幀所需的傳輸時間，并產生預測傳輸時間；圖像讀出位置調查裝置，調查被所述圖像讀出裝置讀出的轉換圖像的存儲位置；讀出時間測量裝置，以每個讀出時間幀為基礎測量由所述轉換圖像存儲裝置讀出的轉換圖像的讀出時間；讀出時間預測裝置，用于根據所述讀出時間測量裝置測量的過去幀的讀出時間以及所述圖像讀出位置調查裝置的調查結果，預測所述圖像讀出裝置讀出讀出候選幀中的轉換圖像所需的讀出時間，并產生預測讀出時間；以及操作定時控制裝置，用于根據所述傳輸時間預測裝置產生的所述傳輸候選幀的預測傳輸時間以及所述讀出時間預測裝置產生的所述讀出候選幀的預測讀出時間，控制所述讀出時間預測裝置開始讀出所述轉換候選幀的定時。
9.如權利要求1所述的圖像傳輸設備，其特征在于，所述圖像傳輸設備包括圖像抽取裝置，用于通過網絡從通過所述網絡與所述圖像傳輸設備相連的用于存儲圖像的第二圖像傳輸設備接收圖像；接收時間測量裝置，以一幀為基礎測量所述圖像抽取裝置接收的圖像的接收時間；接收時間預測裝置，用于根據所述接收時間測量裝置測量的過去幀的接收時間，預測所述圖像抽取裝置接收接收候選幀所需的接收時間，并產生預測接收時間；和處理操作控制裝置，用于根據所述傳輸時間預測裝置產生的所述傳輸候選幀的預測傳輸時間以及所述接收時間預測裝置產生的所述傳輸候選幀的預測接收時間，控制所述圖像抽取裝置開始接收所述接收候選幀的定時、控制所述圖像轉換裝置開始轉換所述轉換候選幀的定時、以及所述圖像傳輸裝置開始傳輸所述轉換候選幀的定時。
10.如權利要求1所述的圖像傳輸設備，其特征在于，所述傳輸時間預測裝置通過計算所述過去幀的傳輸時間的標準偏差，來調整取樣數，并產生所述預測傳輸時間。
11.如權利要求10所述的圖像傳輸設備，其特征在于，所述傳輸時間預測裝置按時間順序移去取樣，直到所述計算的標準偏差低于一預定值為止。
12.如權利要求10所述的圖像傳輸設備，其特征在于，所述傳輸時間預測裝置移去從與平均值的差最大的取樣開始的取樣值，直到所述計算標準偏差低于一預定值為止。
13.一種圖像傳輸方法，其特征在于所述圖像傳輸方法包括以下步驟圖像轉換步驟，將由多個幀組成的圖像轉換成適于傳輸給另設備的格式，從而以一幀為基礎產生轉換圖像；圖像傳輸步驟，把在所述圖像轉換步驟中產生的轉換圖像通過網絡以一幀為基礎傳輸給預定圖像接收設備；傳輸時間測量步驟，以一幀為基礎測量在所述圖像傳輸步驟中傳輸的轉換圖像的傳輸時間；傳輸時間預測步驟，根據所述傳輸時間測量步驟測量的過去幀的傳輸時間，預測所述圖像傳輸步驟傳輸傳輸候選幀中的轉換圖像所需的傳輸時間，并產生預測傳輸時間；以及操作定時控制步驟，根據在所述傳輸時間預測步驟中產生的所述傳輸候選幀的預測傳輸時間，控制所述圖像轉換步驟開始轉換轉換候選幀的定時。
14.如權利要求8所述的圖像傳輸設備，其特征在于，所述傳輸時間預測裝置通過計算所述過去幀的傳輸時間的標準偏差，調整取樣數，并產生所述預測傳輸時間。
15.如權利要求14所述的圖像傳輸設備，其特征在于，所述傳輸時間預測裝置按時間順序移去取樣值，直到所述計算的標準偏差低于預定值為止。
16.如權利要求14所述的圖像傳輸設備，其特征在于，所述傳輸時間預測裝置移去從與平均值的差最大的取樣開始的取樣值，直到所述計算標準偏差低于一預定值為止。
17.一種計算機可讀記錄介質，在其上記錄著圖像傳輸程序，用于使計算機完成基于權利要求1-12以及14-16之任一的圖像傳輸設備的工作。
18.一種用于使計算機完成基于權利要求1-12以及14-16之任一的圖像傳輸設備的工作的圖像傳輸程序。
全文摘要
一種圖像傳輸設備、圖像傳輸方法和記錄介質及圖像傳輸程序,能根據網絡帶寬的情況實時地傳輸最新的圖像數據。該圖像傳輸設備包括:圖像抽取部分111,用于抽取存儲在攝像機101中的圖像,圖像轉換器112,用于將所述圖像轉換成適于通過網絡102被圖像接收設備120接收的格式;圖像傳輸器113,通過網絡102傳輸轉換圖像到圖像接收設備120;傳輸時間測量部分114,測量圖像傳輸所需的時間;并保存測量結果;傳輸時間預測部分115,使用所存儲的預定數目的測量結果預測圖像傳輸所需的時間;以及操作定時控制器116,根據所述預測傳輸時間以及圖像轉換所需的時間,確定圖像轉換器112開始圖像轉換的定時。
文檔編號H04N7/24GK1349349SQ0113761
公開日2002年5月15日 申請日期2001年9月12日 優先權日2000年9月12日
發明者岡田晉, 野島晉二 申請人:松下電器產業株式會社