專利名稱：使靜止圖像與運動圖像流同步的方法
技術領域：
本發明涉及一種用于使靜止圖像與運動圖像流同步的方法。雖然本發明適用于應用的較寬范圍，但其尤其適用于支持一種進一步利用靜止圖像來提供獨立的視頻數據以及運動圖像和聲音的多媒體服務。
背景技術：
通常，已經介紹了根據相關技術的其通過運動圖像和聲音的實時傳送來提供多媒體服務的各種系統。例如，存在遠程視頻會議系統、遠程視頻教學系統等。
多媒體服務提供系統利用諸如H.261、H.263及MPEG這樣的運動圖像編碼標準規范。
因此，每個相關技術多媒體提供系統將運動圖像信號與聲音信號組合在一起以實時傳送到遠程客戶機(用戶終端)。
但是，在遠程視頻會議或遠程視頻教學的處理中，需要分別地提供會議材料、教學材料等等。通常，最好是將會議材料、教學材料等作為靜止圖像(如JPEG)而傳送。
然而，相關技術系統提供了其僅利用運動圖像和聲音的多媒體服務，因此不適用于提供諸如會議材料、教學材料等這樣的獨立視頻數據。
發明內容
因此，本發明致力于一種使靜止圖像與運動圖像流同步的方法，該方法大致消除了由于相關技術的局限性和缺點而引起的一個或多個問題。
本發明的一個目的是提供一種使靜止圖像與運動圖像流同步的方法，該方法適于支持一種其進一步利用靜止圖像來提供獨立的視頻數據以及運動圖像和聲音的多媒體服務。
本發明的另一個目的是提供一種使靜止圖像與運動圖像流同步的方法，該方法適于另外支持該靜止圖像以將獨立的視頻數據提供給由諸如遠程視頻會議系統及遠程視頻教學系統這樣的系統所提供的多媒體服務的基本運動圖像，并且通過此方法可輸出靜止圖像，同時使運動圖像進行流動。。
在隨后的說明書中部分的闡明了本發明的其它優點、目的和特征，并且在某種程度上在隨后的審查過程中其對于本領域普通技術人員將變得顯而易見，或者其可從本發明的實施中得知。通過所記載的說明書和其權利要求書以及隨后附圖中所特別指出的結構可實現并獲得本發明的目的及其他優點。
如這里所具體實施的并且充分描述的，為了獲得這些目的和其他優點并且根據本發明的目的，在一個支持多媒體服務的系統中，根據本發明的使靜止圖像與多媒體服務同步的方法包括步驟產生控制數據以使來自服務器的靜止圖像相同步、服務器通過運動圖像流的指定運動圖像幀而將控制數據提供給客戶機、并且由客戶機使靜止圖像與該運動圖像流同步以顯示。
最好是，本發明進一步包括步驟由服務器預先向客戶機提供一個代碼，其中該代碼用于表明將要提供控制數據。
最好是，本發明進一步包括步驟允許客戶機預先接收其表示將要提供控制數據的代碼并且允許客戶機接收包含該控制數據的運動圖像幀。
在本發明的另一個方面，在向客戶機提供多媒體服務的服務器中，使靜止圖像與運動圖像流同步的方法包括步驟在運動圖像流的指定運動圖像幀中插入要與運動圖像流進行同步的靜止圖像幀的標識符，并且將包括該標識符的指定運動圖像幀傳送給客戶機。
最好是，該方法進一步包括步驟在標識符之前插入一個代碼，其中該代碼用于表明在該運動圖像幀中包括該標識符。
在本發明的另一個方面，在其具有由服務器所提供的多媒體服務的客戶機中，一種使靜止圖像與運動圖像流同步的方法包括步驟從運動圖像流中提取其包括靜止圖像標識符的運動圖像幀，從運動圖像幀中讀出該標識符，以及利用該標識符使靜止圖像與運動圖像流同步以進行顯示。
最好是，請求的方法進一步包括步驟接收這樣的代碼，該代碼用于表明將要接收其包括有該標識符的運動圖像幀。
在本發明的進一步的方面，在其包括有用于支持多媒體服務的服務器和客戶機的系統中，一種使圖像幀與圖像流同步的方法包括步驟使服務器與客戶機的每一個存儲該圖像幀，產生控制數據以使來自服務器的圖像幀同步，服務器經由圖像流的指定幀來將該控制數據提供給客戶機，以及客戶機通過控制數據而在同步時間點顯示所存儲的圖像幀。
最好是，該方法進一步包括步驟服務器預先向客戶機提供這樣的代碼，該代碼表明用于提供控制數據的指定幀。
應當明白的是，本發明的上述大致描述及以下的詳細描述僅是示例性的及說明性的并且其目的是用于提供對所請求的發明的進一步解釋。
用于提供對本發明的進一步理解并包含在本發明中且構成其一部分的附解說明了用于對本發明原理進行說明的本發明的實施例和說明書。在圖中圖1是根據本發明一個實施例的視頻代碼標準規范的運動圖像幀的語法結構的示意圖；圖2是根據本發明一個優選實施例的傳送終端的結構示意圖；以及圖3是根據本發明一個優選實施例的使靜止圖像與運動圖像同步的傳送終端程序流程圖；圖4是根據本發明一個優選實施例的接收終端的結構示意圖；圖5是根據本發明一個優選實施例的使靜止圖像與運動圖像同步的接收終端程序流程圖。
具體實施例方式
現在參考附圖中所示出的示例來對本發明的優選實施例進行詳細的描述。只要可能，在全部附圖中相同的參考符號指相同或相似的部分。
首先，根據本發明的系統包括圖2所示的傳送終端及圖4所示的接收終端。并且，根據本發明的系統支持經由網絡的多媒體服務。
根據本發明的系統使用服務器-客戶機結構。服務器是提供多媒體服務的傳送終端，而客戶機(用戶終端)是被提供多媒體服務的接收終端。
在本發明中，傳送終端向接收終端提供指定的多媒體。尤其是，在實時傳送多媒體方面，使該多媒體從傳送終端流動到接收終端。
多媒體是結合了聲音的運動圖像。同時，如以下所述的那樣，利用視頻或視頻數據的相同原理來內部地處理運動圖像。
根據本發明的系統同時進一步在流動運動圖像的處理中，即在傳送運動圖像流的處理中提供靜止圖像。為此，根據本發明的系統使其與相應靜止圖像相對應的幀與運動圖像流同步。
例如，根據本發明的系統提供如遠程視頻會議服務和遠程視頻教學服務這樣的多媒體服務。
通過上述服務，將會議或教學場景作為運動圖像流而提供。并且，在當提供運動圖像流時獨立的會議數據、教學數據等需要作為靜止圖像而提供的情況中，使相應靜止圖像幀與當前運動圖像流同步。
因此，接收終端在連續顯示運動圖像流的過程中使其與會議數據、教學數據等相對應的靜止圖像幀與運動圖像流同步，然后根據該同步而在一時間點處顯示其與會議或教學數據相對應的靜止圖像。在這個情況中，靜止圖像是不運動的圖像數據。
同時，運動圖像流包括多個運動圖像幀。并且，運動圖像流中的運動圖像幀具有User_Data字段以作為用戶數據區。圖1中顯示了User_Data字段的語法。
圖1是根據本發明一個實施例的視頻編碼標準規范的運動圖像幀的語法結構示意圖，其中顯示了MPEG-4 User_Data字段的語法。
最好是，本發明的運動圖像屬于其作為視頻編碼標準規范的MPEG(運動圖像專家組)系列。例如，MPEG系列包括MPEG-1、MPEG-2、MPEG-3、MPEG-4等。
并且，最好是在本發明中其與會議或教學數據相對應的靜止圖像屬于JPEG(聯合圖像專家組)系列。然而，本發明不局限于用于運動圖像或靜止圖像的上述標準規范。
以下詳細描述根據本發明一個優選實施例的系統的結構及操作。
圖2是根據本發明一個優選實施例的傳送終端的結構示意圖。
參考圖2，傳送終端包括編碼器11、多路復用器13、控制數據產生器、以及UDP(用戶數據包協議)插槽17。并且，傳送終端進一步包括用于存儲編碼到靜止圖像中的會議數據、教學數據等的存儲器(圖中未顯示)。
在本發明中，傳送終端存儲會議數據、教學數據等的靜止圖像。
此外，圖4中所示的接收終端也存儲同樣的靜止圖像。因此，接收終端實際上不從傳送終端接收靜止圖像而是僅接收用于同步靜止圖像的控制數據。
尤其是，接收終端利用所接收的控制數據來使相應靜止圖像與運動圖像同步，其在下面將詳細描述。
存儲在傳送終端存儲器中的靜止圖像具有幀結構。并且，將唯一的標識符施于每個靜止圖像。在這種情況下，最好該標識符是施于靜止圖像幀的唯一幀號。
編碼器11對所輸入的運動圖像進行編碼并接著輸出由多個運動圖像幀12所構造的運動圖像流。
在希望不提供來自傳送終端的存儲于存儲器中的任何種類的靜止圖像的情況中，多路復用器13使編碼器11所輸出的運動圖像流12進行分路。
相反，在希望進一步將來自傳送終端的其與會議或教學數據相對應的特定靜止圖像提供給客戶機的情況中，多路復用器13對控制數據進行多路復用以便使特定靜止圖像與編碼器11所輸出的運動圖像流12同步。
控制數據產生器15產生控制數據。即，每次請求提供指定會議或教學數據時，控制數據產生器15產生控制數據以使相應靜止圖像同步。接著，控制數據產生器15將所產生的控制數據輸出到多路復用器13。
并且，以下面的方式來執行相應的多路復用。
首先，在運動圖像流的指定運動圖像幀中插入該控制數據。
其次，在運動圖像流12的指定運動圖像幀的User_Data字段(參照圖1)中插入該控制數據。
第三，將其包括有控制數據的一個運動圖像幀插入到運動圖像流12中。這時，由控制數據產生器15來配置其包括有控制數據的該運動圖像幀。
同時，控制數據是所唯一施于的標識符以從其它靜止圖像中識別出其與指定會議或教學數據相對應的靜止圖像。最好是，控制數據是唯一的幀標識符以從其它靜止圖像的幀中識別出相應靜止圖像的幀并且控制數據包括一個幀號。
此外，根據本發明的傳送終端向接收終端提供這樣的代碼，該代碼表明將要提供該控制數據以向接收終端通知要提供控制數據這樣的事實。特別地，傳送終端產生該代碼以在每次產生控制數據時將其提供給接收終端。并且，在其中插入有控制數據的運動圖像幀之前將該代碼提供給接收終端。
例如，傳送終端經由其內插入有控制數據的幀之前的指定運動圖像幀而預先提供其表明提供了控制數據的代碼。并且，該代碼是USER_DATA_START代碼(UDSC)。
通過在編碼器11所輸出的運動圖像流12中插入下述幀和USER_DATA_START代碼(UDSC)來配置多路復用器13所輸出的流14，所述幀中插入有用于使靜止圖像同步的控制數據。
并且，UDP插槽17將多路復用器13所輸出的流14傳送到接收終端。
圖3是根據本發明一個優選實施例的由傳送終端所執行的用于使靜止圖像與運動圖像同步的程序流程圖。
參考圖3，其是多媒體服務的服務器的傳送終端產生了用于使其與多媒體服務的獨立數據(會議數據、教學數據、等)相對應的靜止圖像相同步的控制數據(S10)。
將該靜止圖像以幀格式存儲在存儲器中并且相應的靜止圖像幀具有唯一的幀標識符。并且，該幀標識符用于從存儲在存儲器中的其它靜止圖像幀中識別出相應靜止圖像幀。
控制數據是相應靜止圖像的幀標識符。并且，控制數據是利用相應靜止圖像的幀標識符而產生的數據。
傳送終端將所產生的控制數據插入到一個運動圖像幀中(S11)。
其中插入有控制數據的運動圖像幀既可以是屬于多媒體服務的運動圖像流的運動圖像幀也可以是獨立于運動圖像流而配置的指定幀。
尤其是，其中插入有控制數據的運動圖像幀具有如圖1所示的User_Data字段。并且，用于同步的控制數據包含于圖1所示的user_data()函數中。
因此，傳送終端將其具有插入到其中的控制數據的運動圖像幀與根據多媒體服務的運動圖像流一起傳送到其即就是一個客戶機的接收終端(S12)。
同時，在將控制數據提供給接收終端之前，傳送終端預先提供一個用于表示要將控制數據提供給接收終端的代碼。在這種情況下，將該代碼稱為USER_DATA_START代碼(UDSC)。
將代碼提供給接收終端的時間點是在其中插入有控制數據的運動圖像幀之前。尤其是，經由下述幀而提供了該代碼，所述幀之后緊接著其內插入有控制數據的運動圖像幀。尤其是，在相應幀的頭部插入該代碼。
用來提供代碼的幀是一個運動圖像幀或者其配置成其與運動圖像流相獨立的指定幀，所述運動圖像幀屬于當前所提供的多媒體服務的運動圖像流。
簡言之，在本發明中，每個傳送和接收終端預先存儲其與多媒體服務的獨立數據(會議數據、教學數據、等)相對應的圖像幀。
并且，在需要將指定圖像幀與當前所播放的運動圖像幀一起顯示的情況下，傳送終端最好是產生同步所需的控制數據以便可使存儲在接收終端中的相應圖像幀與所要顯示的運動圖像幀同步。在這種情況下，控制數據是用于對相應圖像幀進行識別的幀標識符或者利用該陣標識符所產生的數據。
為了預先通知提供控制數據，傳送終端向接收終端提供用于表示其內插入有控制數據的幀的代碼，并接著向接收終端提供其內插入有所產生的控制數據的幀。
圖4是根據本發明一個優選實施例的接收終端的結構示意圖。
參考圖4，接收終端包括UDP插槽21，去多路復用器23，瀏覽器25，以及解碼器27。并且，接收終端進一步包括用于將會議數據、教學數據等編碼為靜止圖像以存儲于其中的存儲器(圖中未顯示)。因此，接收終端用于僅從傳送終端中接收用于使相應靜止圖像同步的控制數據，并通過控制數據而在同步時間點輸出相應靜止圖像以及運動圖像，這將在下面進行詳細闡述。
存儲于接收終端存儲器中的靜止圖像具有幀結構。并且為每個靜止圖像施予唯一的標識符。在這種情況下，最好該標識符是唯一施予相應靜止圖像的幀號。
UDP插槽21接收從傳送終端傳送而來的流22。該UDP插槽21接著將所接收的流22輸出到去多路復用器23。
去多路復用器23將所接收流的運動圖像幀24輸出到解碼器27。
解碼器27接著對所輸入的運動圖像幀進行解碼，由此輸出其與運動圖像幀相對應的視頻。
此外，去多路復用器23與瀏覽器25互操作以找到插入在所接收流中的代碼。在這種情況下，該代碼用于表示其中插入有控制數據的幀。并且，該代碼是用于向接收終端通知要提供控制數據這個事實的USER_DATA_START代碼(UDSC)。
具體的說，由于傳送終端通過將代碼插入到下述幀中來傳送該代碼，所述幀的后面是其內插入有控制數據的運動圖像幀，因此，接收終端的去多路復用器23接收該代碼、讀出由所接收代碼所表示的幀的User_Data字段并接著將相應的控制數據傳送到瀏覽器25。
倘若如此，瀏覽器25搜索存儲器以找到由該控制數據所表示的標識符的相應靜止圖像幀。接著，瀏覽器25使搜索到的靜止圖像與當前流動的運動圖像同步以便一起顯示。在這種情況下，瀏覽器25是JPEG瀏覽器。
同時，使靜止圖像與運動圖像相同步的時間點是與其內插入有控制數據的幀相對應的時間點。
圖5是根據本發明一個優選實施例的由接收終端所執行的使靜止圖像與運動圖像進行同步的程序流程圖。
參考圖5，其是多媒體服務的客戶機的接收終端根據多媒體服務來接收運動圖像流(S20)。
接收終端檢驗控制數據是否包括于所接收的運動圖像流中(S21)。
下面將詳細描述檢驗控制數據是否包括于所接收的運動圖像流中的處理。
接收終端搜索這樣的代碼，該代碼表示是存在還是不存在插入了用于使靜止圖像同步的控制數據。即接收終端搜索USER_DATA_START代碼(UDSC)。并且接收終端通過提取由USER_DATA_START代碼(UDSC)所表示的運動圖像幀而搜索該控制數據。
接收終端從由USER_DATA_START代碼(UDSC)所表示的運動圖像幀中讀出該控制數據。
接收終端利用由所讀出控制數據表示的標識符來搜索存儲于存儲器中的相應靜止圖像，并接著使搜索到的靜止圖像與所接收的運動圖像流同步(S23)。
接著，接收終端在同步的時間點與運動圖像一起顯示該靜止圖像(S24)。
簡言之，傳送終端利用MPEG系列運動圖像流來傳送遠程視頻會議或遠程視頻教學的運動圖像。當每個傳送及接收終端保留其與同一個會議或教學數據相對應的已編碼JPEG系列靜止圖像時，接收終端從傳送終端接收控制數據并接著經由瀏覽器來搜索由所接收到的控制數據所表示的幀號的靜止圖像。接著，接收終端使搜索到的靜止圖像與當前流動的運動圖像同步以顯示。
并且，根據本發明的系統基本解決了運動圖像與聲音之間的同步。
因此，本發明提供了以下效果和優點。
首先，在當遠程視頻會議系統提供遠程視頻會議服務時需要進一步提供獨立的會議數據的情況下，本發明便于將所提供的相應會議數據作為靜止圖像而提供給客戶機(用戶終端)。以及在當遠程視頻教學系統提供遠程視頻教學服務時需要進一步提供獨立的教學數據的情況下，本發明便于將所提供給的相應教學數據作為靜止圖像而提供給客戶機。
其次，本發明在配置其可提供實時多媒體服務的系統的過程中克服了運動圖像圖像質量的復雜性和退化性。
最后，所屬領域技術人員應當清楚本發明適用于由有線/無線網絡以及互聯網來實現的多種多媒體服務。
所屬領域技術人員應當清楚在不脫離本發明精神及范圍的情況下可作出修改或改進。因此，本發明覆蓋了隨后權利要求及其等價物的范圍內所提供的本發明修改和改進。
權利要求
1.在支持多媒體服務的系統中，一種使靜止圖像與運動圖像流同步的方法，包括步驟產生控制數據以使來自服務器的靜止圖像同步；由服務器通過運動圖像流的指定運動圖像幀而將控制數據提供給客戶機；以及由客戶機使靜止圖像與該運動圖像流同步以顯示。
2.根據權利要求1所述的方法，其中運動圖像幀具有控制數據插入于其中的User_Data區。
3.根據權利要求1所述的方法，其中控制數據是一個幀標識符以從其它靜止圖像的幀中識別出該靜止圖像的幀。
4.根據權利要求1所述的方法，其中運動圖像是MPEG(運動圖像專家組)系列。
5.根據權利要求1所述的方法，其中靜止圖像是JPEG(聯合圖像專家組)系列。
6.根據權利要求1所述的方法，進一步包括步驟由服務器預先向客戶機提供一代碼，其中該代碼用于表明應該要提供控制數據。
7.根據權利要求6所述的方法，其中服務器在運動圖像幀之前提供該代碼。
8.根據權利要求6所述的方法，其中服務器經由其后是運動圖像幀的指定幀來提供該代碼。
9.根據權利要求1所述的方法，進一步包括步驟允許客戶機預先接收一個表示應該要提供控制數據的代碼；以及允許客戶機接收包含有控制數據的運動圖像幀。
10.根據權利要求9所述的方法，其中如果客戶機從運動圖像流中找到該代碼，那么客戶機讀出包括在由該代碼所示的運動圖像幀中的控制數據。
11.根據權利要求10所述的方法，其中該控制數據是一標識符，用于從預先存儲于客戶機中的多個靜止圖像幀中識別出該靜止圖像的幀。
12.根據權利要求1所述的方法，其中客戶機預先存儲該靜止圖像。
13.根據權利要求1所述的方法，其中服務器預先存儲該靜止圖像。
14.根據權利要求13所述的方法，其中服務器利用所存儲靜止圖像的幀標識符來產生控制數據。
15.在向客戶機提供多媒體服務的服務器中，一種將靜止圖像與運動圖像流同步的方法，包括步驟在運動圖像流的指定運動圖像幀中插入要與運動圖像流進行同步的靜止圖像幀的標識符；以及將包括該標識符的指定運動圖像幀傳送給客戶機。
16.根據權利要求15所述的方法，其中運動圖像幀具有控制數據插入于其中的USER_DATA字段。
17.根據權利要求15所述的方法，其中運動圖像是MPEG(運動圖像專家組)系列。
18.根據權利要求15所述的方法，其中靜止圖像是JPEG(聯合圖像專家組)系列。
19.根據權利要求15所述的方法，進一步包括步驟在標識符之前插入代碼，其中該代碼用于表明標識符包括在運動圖像幀中。
20.根據權利要求19所述的方法，其中該代碼是USER_DATA_START代碼(UDSC)。
21.根據權利要求19所述的方法，其中將該代碼插入到運動圖像幀的頭部中。
22.根據權利要求19所述的方法，其中將該代碼插入到其后是運動圖像幀的指定幀中。
23.在由服務器來提供多媒體服務的客戶機中，一種使靜止圖像與運動圖像流同步的方法，包括步驟從運動圖像流中提取包括靜止圖像標識符的運動圖像幀；從運動圖像幀中讀出該標識符；以及利用該標識符使靜止圖像與運動圖像流同步以進行顯示。
24.根據權利要求23所述的方法，其中運動圖像是MPEG(運動圖像專家組)系列。
25.根據權利要求23所述的方法，其中靜止圖像是JPEG(聯合圖像專家組)系列。
26.根據權利要求23所述的方法，進一步包括步驟接收這樣的代碼，該代碼用于表明應該要接收包括有該標識符的運動圖像幀。
27.根據權利要求23所述的方法，其中從運動圖像幀的USER_DATA字段中讀出該標識符。
28.在包括支持多媒體服務的服務器和一客戶機的系統中，一種使圖像幀與圖像流同步的方法，包括步驟使服務器與客戶機的每一個存儲該圖像幀；產生控制數據以使來自服務器的圖像幀同步；允許服務器經由圖像流的指定幀來將該控制數據提供給客戶機；以及允許客戶機通過控制數據而在同步時間點顯示所存儲的圖像幀。
29.根據權利要求28所述的方法，其中用于提供控制數據的指定幀具有其中插入有控制數據的用戶數據區。
30.根據權利要求28所述的方法，其中控制數據包括用于識別圖像幀的幀標識符。
31.根據權利要求28所述的方法，進一步包括步驟同步時間點是與用于提供控制數據的指定幀相對應的時間點。
32.根據權利要求28所述的方法，進一步包括步驟允許服務器預先向客戶機提供這樣的代碼，該代碼表示用于提供控制數據的預定幀。
全文摘要
披露了一種使靜止圖像與運動圖像流同步的方法，其適于支持進一步利用靜止圖像以提供獨立的視頻數據以及運動圖像和聲音的多媒體服務。本發明包括步驟產生控制數據以使來自服務器的靜止圖像相步；服務器通過運動圖像流的指定運動圖像幀而將控制數據提供給客戶機；并且由客戶機使靜止圖像與該運動圖像流同步以顯示。
文檔編號H04N7/58GK1738438SQ200510103829
公開日2006年2月22日 申請日期2005年7月7日 優先權日2004年7月7日
發明者徐光德 申請人:Lg電子株式會社