專利名稱：一種流媒體點播的音視頻切換方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計算機多媒體技術(shù)領(lǐng)域，特別涉及流媒體傳輸技術(shù)。
“流媒體”不同于傳統(tǒng)的多媒體，它是一種結(jié)構(gòu)化的網(wǎng)絡(luò)媒體流，它的主要特點就是以“音視頻流”(Audio-Video Stream)的形式在網(wǎng)絡(luò)上傳送，播放器可以像播放本地文件一樣播放網(wǎng)絡(luò)流媒體，從而實現(xiàn)暫停、恢復、快進、快退等功能。
流媒體傳輸過程中，所使用的主要傳輸協(xié)議為實時流傳輸協(xié)議(Real-timeTransport Protocol)，簡稱RTP協(xié)議。RTP是用于Internet上針對多媒體數(shù)據(jù)流的一種傳輸協(xié)議，被定義在一對一或一對多的傳輸情況下工作，其目的是提供時間信息和實現(xiàn)流同步。RTP提供端對端網(wǎng)絡(luò)傳輸功能，適合通過組播和點播傳送實時數(shù)據(jù)，如音頻、視頻和仿真數(shù)據(jù)。RTP沒有涉及資源預定和質(zhì)量保證等實時服務(wù)。RTP報文格式中包括固定的RTP報文頭、可選用的作用標識(CSRC)和負載數(shù)據(jù)。如果RTP所依賴的底層協(xié)議對RTP報文的格式有所要求，RTP報文的格式必須進行修改或重新定義。通常，單一的底層數(shù)據(jù)報文僅包含單一的RTP報文。
流媒體播放器對收到的RTP數(shù)據(jù)包的顯示順序及時間是根據(jù)RTP包頭(Header)所包含的時間戳(timestamp)和序列號(sequence number)來確定的，時間戳是視頻節(jié)目采集制作時存儲到視頻幀內(nèi)的一種時間值，流媒體播放器利用它來決定某一視頻幀在什么時間播放。序列號則代表了每個視頻包的順序，流媒體播放器利用它來對到達的所有數(shù)據(jù)包進行排序。流媒體播放器按照收到的視頻幀序列號和時間戳的大小和順序進行播放，就實現(xiàn)了正常播放。
已有的一種正常播放的方法如
圖1所示，包括以下步驟1)音視頻文件在進行網(wǎng)絡(luò)傳輸前，首先讀取每一視頻幀，或每一音頻數(shù)據(jù)包，并將其封裝到一個RTP包中；
2)將RTP包中此時的時間戳TS進行變換TS→TS′；(這里的變換并沒有具體要求，可以按照RFC 3016協(xié)議進行變換，也可以選擇自己的變換方式，只要保證客戶端能夠識別，并且能夠反變換回TS即可)3)RTP包中的序列號，首先進行累加(SN＝SN+1)；4)將經(jīng)過時間戳和序列號變換后的RTP數(shù)據(jù)包通過網(wǎng)絡(luò)傳送出去；5)客戶端的流媒體播放器收到RTP數(shù)據(jù)包后，先根據(jù)它的序列號SN進行排隊；6)根據(jù)排列好的RTP數(shù)據(jù)包，依次對其中的時間戳進行反變換，TS′→TS；7)播放器將轉(zhuǎn)換后的RTP包送到解碼單元進行解碼，還原為一幀數(shù)據(jù)；8)播放器將解碼后的視頻幀或音頻幀送到顯示單元，顯示單元根據(jù)視頻幀或音頻幀內(nèi)的時間戳TS，顯示該視頻幀；9)播放器按照正常情況播放電影文件。
上述的播放方法有以下不足之處用戶在通過網(wǎng)絡(luò)欣賞音視頻節(jié)目時，不能選擇節(jié)目源；同時，服務(wù)器在提供音視頻服務(wù)時，也不具備智能性及商業(yè)應用前景。
本發(fā)明提出一種基于流媒體技術(shù)的服務(wù)器音視頻流切換方法，其特征在于，當服務(wù)器以正常情況下發(fā)音視頻文件時，可以根據(jù)需要，切換到不同的節(jié)目源，切換方法包括兩種完全由服務(wù)器實現(xiàn)的與客戶端無關(guān)的切換方法和需要客戶端進行少量修改的與客戶端相關(guān)的切換方法。
其中，本發(fā)明與客戶端無關(guān)的切換方法，包括以下步驟1)服務(wù)器依照正常流程，向客戶端下發(fā)音視頻文件；2)當播放到一設(shè)定時刻，由服務(wù)器決定是否插入新的音視頻流若否，則正常播放原有的音視頻文件；3)若是，服務(wù)器對于將要播放的新的音視頻文件進行初始化工作；4)同時對于目前正在播放的音視頻流暫?；蛘咄顺觯?)根據(jù)音、視頻流的不同，分別記錄下暫?；蛘咄顺龅腞TP數(shù)據(jù)包中的序列號SN_old和時間戳TS_old；其中序列號和時間戳均為正整數(shù)；6)讀取將要播放的新的音視頻文件，并將其中一幀封裝到RTP數(shù)據(jù)包中；7)將RTP包中此時的音、視頻時間戳、序列號分別加上已暫停或退出音視頻文件的序列號SN_old和時間戳TS_old；
8)對RTP包中的音、視頻時間戳TS進行變換，同時序列號SN遞增1；TS→TS′；SN＝SN+1；9)將經(jīng)過變換后的時間戳和序列號的RTP數(shù)據(jù)包通過網(wǎng)絡(luò)傳送出去；10)客戶端無需任何改動，與正常播放的流程相同，開始觀看一部新的音視頻文件。
本發(fā)明與客戶端相關(guān)的切換方法，包括以下步驟1)服務(wù)器依照正常流程，向客戶端下發(fā)音視頻文件；2)當播放到一設(shè)定時刻，由服務(wù)器決定是否插入新的音視頻流若否，則正常播放原有的音視頻文件；3)若是，服務(wù)器對于將要播放的新的音視頻文件進行初始化工作；4)同時對于目前正在播放的音視頻流暫?；蛘咄顺?；5)根據(jù)音、視頻流的不同，記錄下暫?；蛘咄顺龅腞TP數(shù)據(jù)包中的序列號SN_old；(不需要服務(wù)器主動記錄時間戳)6)讀取將要播放的新的音視頻文件，并將其中一幀封裝到RTP數(shù)據(jù)包中；7)將此時RTP包中的序列號加上已退出音視頻文件的序列號SN；8)對RTP包中的時間戳TS進行變換，同時序列號SN遞增1；1.TS→TS′；2.SN＝SN+1；9)將經(jīng)過時間戳和序列號變換后的RTP數(shù)據(jù)包通過網(wǎng)絡(luò)傳送出去；10)客戶端收到此時的RTP數(shù)據(jù)包，將其還原為一幀，根據(jù)其中的序列號SN進行排序，并對時間戳進行反變換TS′→TS；11)播放器此時將檢測到時間戳TS發(fā)生顯著變化，如回零；12)客戶端認為這是一部新的音視頻文件，調(diào)整當前基準時間匹配新的時間戳，并重新開始計時；13)客戶端開始觀看一部新的音視頻文件。
本發(fā)明的原理流媒體服務(wù)器與播放器之間，用以確定音視頻流的最主要標志為序列號和時間戳，若可以保證，到達客戶端的RTP數(shù)據(jù)包中的序列號毫無變化，時間戳也毫無變化(與客戶端無關(guān))的播放方式；或者序列號毫無變化，時間戳由客戶端調(diào)整(與客戶端相關(guān))的播放方式，那么就可以在服務(wù)器端進行各種音視頻流文件的切換，而客戶端可以正常觀看。
本發(fā)明的優(yōu)點1.不拘泥于一種音視頻文件的播放，可以根據(jù)服務(wù)器需要，隨時切換到任意一個音視頻文件；
2.這種切換在用戶看來是無縫的，即用戶毫無感知；3.客戶端不需要任何輔助動作或者需要稍加改動，主要由服務(wù)器獨立完成；4.操作簡單，易于實現(xiàn)；5.與編解碼器和網(wǎng)絡(luò)協(xié)議無關(guān)；6.效果明顯，極具商業(yè)潛力。
圖2為本發(fā)明的流媒體點播的音視頻切換方法實施例一流程圖。
圖3為本發(fā)明的流媒體點播的音視頻切換方法實施例二流程圖。
6.讀取likeyou.mp4文件的一幀，并將其封裝到RTP包中；7.將該RTP包中的音頻時間戳TSa_new、音頻序列號SNa_new、視頻時間戳TSv_new、視頻序列號SNv_new分別加上lucky.mp4的相應序列號和時間戳TSv_new＝TSv_new+567；TSa_new＝TSa_new+78；SNv_new＝SNv_new+1890；SNa_new＝SNa_new+235；8.對RTP包中的時間戳進行變換，同時序列號遞增1；TS→TS′；SN＝SN+1；9.將變換后的RTP包通過網(wǎng)絡(luò)發(fā)送到客戶端；10.客戶端在無需任何變動的情況下，開始觀看一部新的音視頻文件。
本發(fā)明提出的服務(wù)器音視頻流切換實現(xiàn)方法的實施例二如圖3所示，本實施例采用與客戶端相關(guān)的切換方法；其具體包括以下步驟1.服務(wù)器依照正常流程向客戶端發(fā)送音視頻文件lucky.mp4；2.當?shù)竭_60秒鐘后，服務(wù)器決定插入新的音視頻文件likeyou.mp4，3.服務(wù)器對于新的音視頻文件likeyou.mp4進行初始化；4.同時，結(jié)束當前音視頻文件lucky.mp4的播放；5.記錄下lucky.mp4播放中的相關(guān)信息音頻的序列號SNa_old為235和視頻的序列號SNv_old為1890；(不需要服務(wù)器主動記錄時間戳)6.讀取likeyou.mp4文件的一幀，并將其封裝到RTP包中；7.將該RTP包中的音頻序列號SNa_new、視頻序列號SNv_new分別加上lucky.mp4的音、視頻序列號SNv_new＝SNv_new+1890；SNa_new＝SNa_new+235；8.對RTP包中的時間戳進行變換，同時序列號遞增1；TS→TS′；SN＝SN+1；9.將變換后的RTP包通過網(wǎng)絡(luò)發(fā)送到客戶端；10.客戶端播放器在收到數(shù)據(jù)包后，將其還原為一幀，根據(jù)序列號SN排序，對時間戳進行反變換TS′→TS，得到TS；11.播放器檢測到當前數(shù)據(jù)包的時間戳為0，(即時間戳TS發(fā)生顯著變化)；12.客戶端認為這是一部新的音視頻文件，調(diào)整當前基準時間匹配新的時間戳，并重新計時；13.客戶端開始觀看一部新的音視頻文件。
權(quán)利要求
1.一種基于流媒體技術(shù)的服務(wù)器音視頻流切換方法，其特征在于，當服務(wù)器以正常情況下發(fā)音視頻文件時，可以根據(jù)需要，切換到不同的節(jié)目源，具體包括完全由服務(wù)器實現(xiàn)的與客戶端無關(guān)的切換方法和需要客戶端進行少量修改的與客戶端相關(guān)的切換方法。
2.如權(quán)利要求1所述的基于流媒體技術(shù)的服務(wù)器音視頻流切換方法，其特征在于，所說的與客戶端無關(guān)的切換方法，包括以下步驟1)服務(wù)器依照正常流程，向客戶端下發(fā)音視頻文件；2)當播放到一設(shè)定時刻，由服務(wù)器決定是否插入新的音視頻流若否，則正常播放原有的音視頻文件；3)若是，服務(wù)器對于將要播放的新的音視頻文件進行初始化工作；4)同時對于目前正在播放的音視頻流暫停或者退出；5)根據(jù)音、視頻流的不同，分別記錄下暫停或者退出的RTP數(shù)據(jù)包中的序列號和時間戳，其中序列號和時間戳均為正整數(shù)；6)讀取將要播放的新的音視頻文件，并將其中一幀封裝到RTP數(shù)據(jù)包中；7)將RTP包中此時的音、視頻時間戳、序列號分別加上已暫?；蛲顺鲆粢曨l文件的序列號和時間戳；8)對RTP包中的音、視頻時間戳進行變換，同時序列號遞增19)經(jīng)過變換后的時間戳和序列號的RTP數(shù)據(jù)包通過網(wǎng)絡(luò)傳送出去；10)客戶端無需任何改動，與正常播放的流程相同，開始觀看一部新的音視頻文件。
3.如權(quán)利要求1所述的基于流媒體技術(shù)的服務(wù)器音視頻流切換方法，其特征在于，所說的與客戶端相關(guān)的切換方法，包括以下步驟1)服務(wù)器依照正常流程，向客戶端下發(fā)音視頻文件；2)當播放到一設(shè)定時刻，由服務(wù)器決定是否插入新的音視頻流若否，則正常播放原有的音視頻文件；3)若是，服務(wù)器對于將要播放的新的音視頻文件進行初始化工作；4)同時對于目前正在播放的音視頻流暫停或者退出；5)根據(jù)音、視頻流的不同，記錄下暫停或者退出的RTP數(shù)據(jù)包中的序列號；6)讀取將要播放的新的音視頻文件，并將其中一幀封裝到RTP數(shù)據(jù)包中；7)將此時RTP包中的序列號加上已退出音視頻文件的序列號；8)對RTP包中的時間戳進行變換，同時序列號遞增1；9)將經(jīng)過時間戳和序列號變換后的RTP數(shù)據(jù)包通過網(wǎng)絡(luò)傳送出去；10)客戶端收到此時的RTP數(shù)據(jù)包，將其還原為一幀，根據(jù)其中的序列號SN進行排序，并對時間戳進行反變換；11)播放器此時將檢測到時間戳TS發(fā)生顯著變化；12)客戶端認為這是一部新的音視頻文件，調(diào)整當前基準時間匹配新的時間戳，并重新開始計時；13)客戶端開始觀看一部新的音視頻文件。
全文摘要
本發(fā)明屬于計算機多媒體技術(shù)領(lǐng)域，涉及一種流媒體點播的音視頻切換方法。其特征在于，當服務(wù)器以正常情況下發(fā)音視頻文件時，可以根據(jù)需要，切換到不同的節(jié)目源，具體包括完全由服務(wù)器實現(xiàn)的與客戶端無關(guān)的切換方法和需要客戶端進行少量修改的與客戶端相關(guān)的切換方法。采用本發(fā)明，流媒體服務(wù)器在播放過程中，可以使得用戶在通過網(wǎng)絡(luò)欣賞音視頻節(jié)目的同時，選擇多個節(jié)目源，使得客戶端在沒有任何感知的，同時不需要任何改動或僅需要改動時間戳的情況下，看到多個音視頻節(jié)目。從而為用戶提供更多、更豐富的服務(wù)。
文檔編號G11B27/034GK1431660SQ0310473
公開日2003年7月23日 申請日期2003年2月28日 優(yōu)先權(quán)日2003年2月28日
發(fā)明者戴瓊海, 李煒, 曾珂 申請人:清華大學