流傳輸服務中的改進的質量反饋的制作方法

專利名稱：流傳輸服務中的改進的質量反饋的制作方法
技術領域：
本發明涉及用于流傳輸服務中的質量反饋的方法、計算機程序、計算機程序產品、系統、客戶機、服務器和協議，其中在流傳輸服務中將至少一個媒體流流傳輸到客戶機以便重放。
背景技術：
一方面，流傳輸指的是在通過數據網絡向客戶機傳輸如同語音、音頻和視頻流的同步媒體流時該客戶機上安裝的應用程序連續不斷地重放那些媒體流的能力。另一方面，流傳輸還指諸如對話應用的實時低延遲應用。
可以建立在流傳輸服務之上的應用可以被分類成點播和實況信息傳送應用。第一類的示例是音樂和新聞點播應用。無線電和電視節目的實況轉播是第二類的示例。實時低延遲應用是例如多媒體(視頻)電話或通過IP的語音(VoIP)和任意類型的對話多媒體應用。
今天，通過固定因特網協議(IP)網絡的流傳輸已經是一項主要應用。雖然因特網工程任務組(IETF)和萬維網聯盟(W3C)已經開發了在固定IP流傳輸服務中使用的一組協議，但是尚未定義完整的標準化的流傳輸架構。對于符合第三代伙伴項目(3GPP)開發的標準的第三代(3G)移動通信系統，3G分組交換流傳輸服務(PSS，3GPP TS 26.233，TS 26.234)填補例如下載應用程序和多媒體內容的3G多媒體短信業務(MMS)與對話和流傳輸服務之間的空白。
PSS支持移動流傳輸應用，其中終端的復雜性比對話服務需要的復雜性更低，這是因為不需要媒體輸入設備和編碼器，并且因為可以使用不太復雜的協議。PSS包括一組基礎流傳輸控制協議、傳輸協議、媒體編解碼器和場景描述協議。
圖1示意地描繪了控制內容或媒體服務器與客戶機之間的能夠流傳輸的和不能流傳輸的內容的傳送的PSS協議棧1。
在適配層103上，首先把諸如視頻、音頻和語音的能夠流傳輸的內容101轉換成實時傳輸協議(RTP)102的有效載荷格式。如IETF定義的所述RTP提供通過使用基礎用戶數據報協議(UDP)104的服務發送實時或流傳輸數據的方法，而UDP 104使用基礎IP協議105的服務。
不能流傳輸的內容106，例如不是為流傳輸目的創建的多媒體內容(舉例來說，記錄在終端設備上的MMS片段)，靜止圖像、位圖和矢量圖、文本、定時文本和合成音頻是用超文本傳輸協議(HTTP)107傳送的，HTTP 107使用基礎傳輸控制協議(TCP)108和另一個基礎IP 105的服務。
對于不能流傳輸的內容106，HTTP 107的內置的會話建立和控制能力足以傳送該內容，在能夠流傳輸的內容101的情況下，必須調用高級會話建立和控制協議，用于例如啟動、停止或暫停通過RTP/UDP/IP從內容服務器傳送到客戶機的流傳輸視頻。此任務是由實時流傳輸協議(RTSP)109完成的，該RTSP 109或者使用基礎TCP 108或者使用基礎UDP 104。RTSP至少需要表示描述110，以建立流傳輸會話。此種表示描述110可以例如是以會話描述協議(SDP)文件的形式。所述SDP文件包含該會話的描述，例如會話名稱和作者，要表示的媒體的類型，用于接收所述媒體的信息，例如地址，端口，格式等，以及該媒體的位速率。
如果要在客戶端，例如在移動終端上，觀看流傳輸內容，則首先為所述終端的用戶提供適合于其終端的特定內容的統一資源標識符(URI)。該URI可以來自WWW服務器、無線應用協議(WAP)服務器，或者借助于該終端的鍵盤手動輸入。該URI指定流傳輸或RTSP服務器以及那個內容服務器或另一個內容服務器上的內容的地址。現在可以采用多種方式獲得對應的SDP文件。可以在用戶下載的HTML頁面內的鏈接上提供相應的SDP文件，例如借助于內嵌標簽，或者通過將其作為URI鍵入而直接獲得相應的SDP文件。正如圖1的協議棧的中列指示的那樣，借助于HTTP 107傳送該SDP文件，亦即，表示描述110。可選地，正如圖1的協議棧的右列指示的那樣，通過RTSP 109信令，例如通過使用RTSP 109的DESCRIBE方法，也可以獲得。請注意，利用所述RTP 102同樣可以傳輸該表示描述。然而，為了表示的簡單性，圖1沒有包括此種可能性。
隨后的會話建立是如下過程，其中該移動終端的瀏覽器或用戶調用流傳輸客戶以對照該內容服務器建立會話。在會話建立信令開始時，期望該終端具有支持基于IP的分組傳輸的有效的無線承載。
對于客戶選擇的每個媒體流，通過發送RTSP SETUP消息，完成隨后的流傳輸服務的建立。這會返回各媒體流將要使用的UDP 104和/或TCP 108端口。該客戶機向內容服務器發送RTSP PLAY消息，內容服務器開始通過該IP網絡發送一個或多個流。
為了給PSS系統中的服務提供商提供用來評價最終用戶的流傳輸體驗的方法，在PSS系統中引入了流傳輸服務質量度量，如在3GPP技術文檔(Tdoc)S4-040073“Draft Rel-6PSS Quality MetricsPermanent Document v.0.11”中所提出的那樣，該技術文檔指的是2004年2月23日-27日的在西班牙馬拉加的3GPP TSG-SA4會議#30。流傳輸客戶機測量并向流傳輸服務器反饋與實際的流傳輸應用的質量有關的信息(體驗質量，QoE)，其中所述質量是用所述質量度量定義的。所述流傳輸服務器可以例如是RTSP服務器，而所述質量度量可以例如是通過使用所述RTSP和SDP傳送的。
由于該服務對RAN和CN的類型是透明的，所以只有流傳輸客戶機和流傳輸服務器受PSS質量度量的影響。其一個結果是，該測量可以不依賴來自RTP層以下的協議層(例如，UDP，IP，PDCP，SNDCP，LLC，RLC，MAC，物理層)的信息。
帶有質量反饋的PSS系統中的終端負責按照測量定義執行質量測量，把它們合計成流傳輸客戶機質量度量，并且向流傳輸服務器報告該度量。上述要求并不排除流傳輸客戶機報告原始質量測量的可能性，流傳輸服務器將原始質量測量處理進質量度量。
流傳輸服務器負責用信號通知啟動流傳輸客戶機的質量度量報告以及收集流傳輸客戶機的質量度量。流傳輸服務器可以處理所接收的流傳輸客戶機的質量度量，以確立合計的質量度量。舉例來說，可以接收原始的丟失分組報告，以確立特定流傳輸客戶機的最小、最大、平均和標準分組丟失率。
以下四個質量度量是由Tdoc S4-040073定義的惡化持續時間惡化持續時間是從第一個惡化的幀到第一個后續好幀或該報告周期結束(更早的一個)的時間段。該度量的單位是用秒表示的，并且可以是小數值。
再緩沖持續時間該度量僅適用于音頻、視頻和語音，不適合其它媒體類型。該度量的單位是用秒表示的，并且可以是小數值。再緩沖的定義是起因于客戶端的任何偶然事件的重放時間中的任何延遲。
初始緩沖時間初始緩沖時間是從接收第一個RTP分組到重放開始的時間。該度量的單位是用秒表示的，并且可以是小數值。
連續丟失的內容分組的數目每一媒體信道上連續丟失的內容分組的數目。
上面的質量度量定義的目的是獲得跨越內容類型、終端和無線接入網絡(RAN)的類型的一致的測量。
其約束是，使將要發送到流傳輸服務器的質量度量報告的大小最小，并且使終端的復雜性最低。
通過與圖2描繪的反饋報頭2一起使用RTST的SET_PARAMETER方法，可以向PSS服務器運送實際的質量度量反饋(參考IETF請求注釋(RFC)文檔2327)，然而，在某些特殊情況中，使用其它方法運送該信息是更有效率的，例如使用TEARDOWN消息或PAUSE消息。
在圖2的反饋報頭2中，Stream-url是用于該反饋參數的RTSP會話或媒體控制URL標識符。Parameters定義中的Metrics字段包含該度量/測量(如惡化持續時間等)的名稱。Value字段指示結果。同一事件有可能在一個監控周期內出現多次。如果是那樣的話，該度量值可以出現多次，這可以向服務器指示事件的數目。可選的Range字段指示報告周期。
圖2的反饋報頭2中的可選的Timestamp字段指示該事件(或測量)的發生時間或自該會話開始以來計算該度量的時間。
Tdoc S4-040073定義的四個質量度量僅僅考慮了用戶體驗的多媒體流的重放的質量的粗略特性。例如，如果兩個流傳輸會話的TdocS4-040073定義的四個質量度量都有相同的值，并且如果在所述會話的第一個會話中，音頻和視頻數據之間存在精確同步，而在所述會話的第二個會話中，音頻和視頻數據之間的所述同步已丟失，則基于Tdoc S4-040073定義的四個質量度量的報告質量是相同的，而實際體驗的重放質量完全不同。此外，Tdoc S4-040073定義的四個質量度量沒有區分所述多媒體流中包含的不同的幀類型，因此，在報告質量時，不能區分對體驗到的重放質量至關重要的幀類型的丟失與不太重要的幀類型的丟失。

發明內容
考慮到上述問題，除別的以外，本發明的目的是，為流傳輸服務中的改進的質量反饋提供了一種方法、計算機程序、計算機程序產品、系統、客戶機、服務器和協議。
提出了用于流傳輸服務中的質量反饋的方法，其中將至少一個媒體流流傳輸到客戶機以便重放，所述方法包括根據預先定義的一組質量度量中的至少一個質量度量確定質量反饋值，其中所述預先定義的一組質量度量包含與所述至少一個媒體流的所述重放和所述至少一個媒體流中包含的至少兩種類型的幀的一種幀的惡化中的至少一個有關的質量度量，以及向服務器報告所述質量反饋值。
所述至少一個媒體流可以例如是包含視頻、音頻或語音信息的連續媒體流，該媒體流是從例如內容服務器的服務器連續傳輸到所述客戶機的，并且以同步方式在所述客戶機得以在其中建立的終端上重放。可選地，所述至少一個媒體流可以是實時低延遲應用的媒體流，例如多媒體(視頻)電話流或VoIP媒體流或對話多媒體應用中的任何類型的媒體流。流傳輸可以發生在流傳輸會話中，其中可以將幾個媒體流同時流傳輸到所述客戶機。所述流傳輸可以基于某一協議，如實時傳輸協議RTP，并且可以用另一個協議進行控制，例如如同實時流傳輸協議RTSP或會話發起協議SIP的流傳輸協議，并且可以例如允許啟動、停止和/或暫停該流傳輸。所述RTSP或SIP可以是由所述客戶機或所述服務器中的協議實體操作的，并且可以基于會話描述協議SDP。所述服務器可以與所述媒體實際來自的內容服務器位于同一地點甚至與該內容服務器相同，或者可以是不同實例。
根據所述預先定義的一組質量度量中的至少一個質量度量在該客戶端確定所述流傳輸的質量，并且以質量反饋值的方式進行報告，例如借助于該流傳輸所基于的所述協議或控制該流傳輸的所述協議。所述質量度量主要定義如何計算所述質量反饋值。所述預先定義的一組質量度量可以是由控制該流傳輸的所述協議定義的，并且在該會話建立之前，在該會話建立期間，甚至在該會話建立之后，在所述客戶機和所述服務器之間協商所述至少一個質量度量。
向所述服務器報告所述質量反饋值，例如借助于該流傳輸基于的所述協議或借助于控制該流傳輸的所述協議。如果控制所述流傳輸的所述協議是RTCP或SIP，最好利用實體，例如諸如呼叫狀態控制功能CSCF的網絡實體，捕獲或探測所述報告的質量反饋值，以便進行質量測量。
根據本發明，為了改進質量反饋，所述預先定義的一組質量度量包含與所述至少一個媒體流的所述重放有關的質量度量，和/或與所述至少一個媒體流中包含的至少兩種類型的幀的一種幀的惡化有關的質量度量。與所述至少一個媒體流的所述重放有關的所述質量度量可以例如與所述重放的實際重放幀率和預定值的偏差，或者與實際重放時間和預定重放時間之間的差值，或者與音頻或語音幀的重放和對應的視頻幀之間的同步的損失有關。與所述至少一個媒體流中包含的至少兩種類型的幀的一種幀的惡化有關的所述質量度量可以例如與對該重放的體驗質量必不可少的視頻流的場景剪切幀的惡化有關。
因此，根據本發明，通過引入與重放和/或特定類型的幀的惡化有關的質量度量提供對質量反饋的改進。
根據本發明的優選實施例，與所述至少一個媒體流的所述重放有關的所述質量度量是與所述至少一個媒體流的所述重放的重放幀率和預定義值之間的偏差有關的幀率偏差度量。在重放由一連串的幀組成的所述至少一個媒體流時，用來重放所述幀的幀率可能與希望的幀率或所述重放的最佳幀率不同。因此，報告例如偏差是有益的。所述預定義值可以是服務器和客戶機都知道的默認值，或僅由兩個中的一個知道的默認值。所述預定義值可以例如是最佳重放幀率。所述幀率偏差度量還可以與所述偏差事件的持續時間有關。
根據本發明的優選實施例，與所述至少一個媒體流的所述重放有關的所述質量度量是抖動持續時間度量，該抖動持續時間度量與當所述至少一個媒體流的所述重放的重放時間和預定重放時間之間的差值大于預定義值時所出現的抖動事件的持續時間有關。所述預定義值可以是服務器和客戶機都知道的默認值，或僅由兩個中的一個知道的默認值。所述重放時間表示實際重放時間，這可以例如是按正常播放時間(NPT)或客戶機的任何其它時間系統如掛鐘時間測量的。不同的時間系統可以有不同的起點(具有數值0)和單位。把每個媒體幀和預定重放時間聯系起來，可以例如用實時傳輸協議(RTP)時戳通知該預定重放時間。然而，由于諸如網絡延遲的原因，可能不能剛好在預定重放時間重放媒體幀，所以重放時間和預定重放時間不同。
根據本發明的優選實施例，與所述至少一個媒體流的所述重放有關的所述質量度量是同步損失持續時間度量，該同步損失持續時間度量與當值A和值B之間的絕對差值大于預定義值時出現的同步損失的持續時間有關，其中所述值A是所述至少一個媒體流的第一個媒體流的最后播放的幀的重放時間和所述至少一個媒體流的第二個媒體流的最后播放的幀的重放時間之間的差值，而其中所述值B是所述至少一個媒體流的所述第一個媒體流的所述最后播放的幀的預定重放時間和所述至少一個媒體流的所述第二個媒體流的所述最后播放的幀的預定重放時間之間的差值。所述第一個媒體流可以例如是音頻或語音流，而所述第二個媒體流可以例如是視頻流。如果重放指的是視頻和語音/音頻流的同步重放，則圖像和對應的語音/音頻同步的缺少會給用戶造成令人煩惱的體驗，因此向所述服務器報告是重要的。所述預定義值可以是服務器和客戶機都知道的默認值，或僅由兩個中的一個知道的默認值。
根據本發明的優選實施例，所述至少一個媒體流中包含的至少兩種類型的幀的一種幀是場景剪切幀，并且與所述至少一個媒體流中包含的至少兩種類型的幀的一種幀的惡化有關的所述質量度量是惡化的場景剪切幀數度量，該惡化的場景剪切幀數度量與所述至少一個媒體流中的惡化的場景剪切幀的數目有關。因此，所述其它類型的幀可以例如是在內容上與前一個幀相似的正常內容幀。于是，能夠獨立地報告對重放質量特別重要的場景剪切幀的惡化。所述場景剪切幀可以例如指示視頻流中的場景剪切，與所述場景剪切幀有關的信息可以在該服務器上獲得，或者可能在該服務器或該客戶機上導出，并且可以帶內或帶外地將所述信息用信號通知給該客戶機。
根據本發明的優選實施例，所述質量度量是連同時戳一起報告的。所述時戳可以例如指示根據所述質量度量描述的事件的發生的絕對或相對時刻。
根據本發明的優選實施例，所述幀率偏差度量是連同時戳一起報告的，并且相對于質量報告周期的起始時間，所述時戳等于所述偏差期間內的第一個播放的幀的播放時間。所述播放時間可以例如用NPT表示。
根據本發明的優選實施例，所述抖動持續時間度量是連同時戳一起報告的，并且相對于質量報告周期的起始時間，所述時戳等于所述抖動事件期間內的第一個播放的幀的播放時間。所述播放時間可以例如用NPT表示。
根據本發明的優選實施例，所述同步損失持續時間度量是連同時戳一起報告的，并且相對于質量報告周期的起始時間，所述時戳等于所述同步損失事件期間內的第一個播放的幀的播放時間。所述播放時間可以例如用NPT表示。
根據本發明的優選實施例，所述播放時間是正常播放時間NPT。所述NPT可以例如是由實時流傳輸協議RTSP提供的。借助NPT定義所述播放時間可以消除客戶機和服務器在解釋時戳的時候的模糊性，因此可以提供流傳輸質量體驗的正確分析。
根據本發明的優選實施例，所述預先定義的一組質量度量包含與惡化的持續時間有關的惡化持續時間度量，并且僅在所述持續時間大于預定義值時，才報告根據所述惡化持續時間度量確定的所述質量反饋值。在重放期間，如果僅僅是一個短時間段內的一個幀或幾個幀沒有得到重放，則最終用戶通常感覺不到差別。例如，由于以下原因中的一個原因接收終端可以決定不重放某一幀由于任何原因，該服務器沒有傳輸非參考幀；非參考幀部分或完全丟失；非參考幀被完整接收，但是不能正確解碼；非參考幀被完整接收，但是由于延遲或缺少計算能力，沒有進行解碼；參考或非參考幀被完整接收并且被正確解碼，但是其預定播放時間已過期。不重放一個短時間段內的這些幀并不影響用戶體驗，因此，報告一個短時間段內的這些幀是對傳輸帶寬的浪費。因此，根據本發明的上述優選實施例，提出了僅在惡化持續時間超過所述預定義值時才進行報告，所述預定義值可以例如是由該服務器或/該客戶機設置的默認值，或者是由協議規定的值。
根據本發明的優選實施例，所述至少一個媒體流是基于實時傳輸協議RTP的。所述RTP可以在所述客戶機和內容服務器之間運行，并且可以使用用戶數據報協議UDP的服務，而UDP可以使用因特網協議IP的服務。
根據本發明的優選實施例，所述流傳輸至少部分地由實時流傳輸協議RTSP控制的。所述RTSP可以是基于會話描述協議SDP提供的表示描述的。所述RTSP可以由所述客戶機和所述服務器控制，并且可以例如允許啟動、暫停或停止該流傳輸。
根據本發明的優選實施例，借助于所述RTSP向所述服務器報告所述質量反饋值。所述質量反饋值可以例如包含在RTSP協議數據單元的報頭中。
根據本發明的優選實施例，所述流傳輸服務是3G移動通信系統中的分組交換流傳輸服務PSS。
此外，提出了其指令可操作以使處理器執行上述方法步驟的計算機程序。所述計算機程序可以例如在所述客戶機中的處理器上運行。
此外，提出了一種計算機程序產品，該計算機程序產品包括其指令可操作以使處理器執行上述方法步驟的計算機程序。所述計算機程序產品可以例如存儲在諸如ROM或RAM的存儲器中，或者存儲在諸如存儲卡、記憶棒、磁盤、CD或類似介質的可移動的介質上，并且可以加載到位于所述客戶機內的處理器的內存中。
此外，提出了用于流傳輸服務中的質量反饋的系統，包括至少一臺服務器，以及至少一臺客戶機，其中將至少一個媒體流流傳輸到所述至少一臺客戶機以便重放，其中根據預定義的一組質量度量中的至少一個質量度量確定質量反饋值，其中所述預定義的一組質量度量包含與所述至少一個媒體流的所述重放和所述至少一個媒體流中包含的至少兩種類型的幀的一種幀的惡化中的至少一個有關的質量度量，并且其中向所述至少一臺服務器報告所述質量反饋值。
此外，提出了流傳輸服務中的客戶機，包括用于接收流傳輸到所述客戶機的至少一個媒體流以便進行重放的裝置；根據預定義的一組質量度量中的至少一個質量度量確定質量反饋值的裝置，其中所述預定義的一組質量度量包含與所述至少一個媒體流的所述重放和所述至少一個媒體流中包含的至少兩種類型的幀的一種幀的惡化中的至少一個有關的質量度量；以及用于向服務器報告所述質量反饋值的裝置。
此外，提出了流傳輸服務中的服務器，其中將至少一個媒體流流傳輸到客戶機以便重放，其中根據預定義的一組質量度量中的至少一個質量度量確定質量反饋值，其中所述預定義的一組質量度量包含與所述至少一個媒體流的所述重放和所述至少一個媒體流中包含的至少兩種類型的幀的一種幀的惡化中的至少一個有關的質量度量，所述服務器包括用于接收所述客戶機向所述服務器報告的所述質量反饋值的裝置。
此外，提出了流傳輸服務中使用的協議，其中將至少一個媒體流流傳輸到客戶機以便重放，該協議定義與所述至少一個媒體流的所述重放和所述至少一個媒體流中包含的至少兩種類型的幀的一種幀的惡化中的至少一個有關的質量度量。所述協議可以是與會話描述協議SDP結合的RTSP。
通過參照下文描述的實施例說明本發明的這些和其它方面，本發明的這些和其它方面將是顯然的。


在附圖中，圖1表示根據現有技術的分組交換流傳輸服務(PSS)協議棧的圖示；圖2表示根據現有技術的實時流傳輸協議(RTSP)協商報頭的定義；圖3表示本發明的方法的流程圖；以及圖4表示根據本發明的系統的圖示。
具體實施例方式
本發明提出了流傳輸服務的質量反饋中使用的特殊的質量度量，以便改進質量反饋。下面將更詳細地描述所提出的質量度量及其相關聯時戳。
幀率偏差該質量度量僅適用于音頻、視頻和語音，它可能不適合其它媒體類型。它給出有關重放幀率的信息。當重放幀率與預定義值不一致時，幀率偏差出現。該質量度量可以包含該事件的持續時間和幀率偏差值，亦即，預定義幀率和實際重放幀率之間的差值。持續時間的單位可以用秒表示，并且可以是小數值。偏差值的單位可以用幀/秒表示，并且也可以是小數值。
所述預定義值可以是該服務器和該客戶機都知道的默認值，或者它可以是在QoE協商期間由該服務器提供的。如果它將由該服務器提供，則該服務器可以通過檢查媒體比特流或通過任何其它的方法來確定該值。
有利地，該值指示在本地重放該媒體流時所計算的平均幀率。
從實現的觀點看，可以指定用下面的方法來計算幀率。假設幀率僅在整數秒時改變。從第n-1秒到第n秒的時間段的幀率值等于在該周期期間重放的幀數。時間軸可以表示NPT時間，并且可以以QoE報告周期的起始時間作為開始原點。
與幀率偏差度量相關聯的時戳指示該幀率偏差發生的時間。該時戳的值等于在幀率偏差事件期間第一個播放的幀的NPT，相對于QoE報告周期的起始時間。如果在該事件期間沒有播放的幀，則該值等于在該事件之前的最后播放的幀的NPT或QoE報告周期的起始時間(更后的一個)，相對于QoE報告周期的起始時間。
抖動持續時間該質量度量僅適用于音頻、視頻和語音，不適合任何其它媒體類型。當實際重放時間和預定重放時間之間的絕對差值大于預定義值時，重放抖動發生。該度量的單位可以用秒表示，并且可以是小數值。所述預定義值可以是該服務器和該客戶機都知道的默認值，例如100毫秒。
與該抖動持續時間度量相關聯的時戳指示重放抖動發生的時間。該時戳的值等于該重放抖動中第一個播放的幀的NPT，相對于QoE報告周期的起始時間。
同步損失持續時間該質量度量適合于任何一對媒體類型。將值A定義為所述至少一個媒體流的第一個媒體流的最后播放的幀的重放時間和所述至少一個媒體流的第二個媒體流的最后播放的幀的重放時間之間的差值，而將值B定義為所述至少一個媒體流的所述第一個媒體流的所述最后播放的幀的預定重放時間和所述至少一個媒體流的所述第二個媒體流的所述最后播放的幀的預定重放時間之間的差值。
當所述值A和所述值B之間的絕對差值大于預定義值時，同步損失發生。該質量度量的單位可以用秒表示，并且可以是小數值。所述預定義值可以是該服務器和該客戶機都知道的默認值，如100毫秒。
與該同步損失持續時間度量相關聯的時戳指示該重放同步損失發生的時間。該時戳的值等于該同步損失中第一個播放的幀的NPT，相對于QoE報告周期的起始時間。
惡化場景剪切幀的數目該質量度量僅適用于視頻，不適合其它媒體類型。該度量指在0oE報告周期期間惡化的場景剪切幀的數目。該度量的單位可以用大于等于零的整數表示。如果支持該度量，并且如果對于QoE報告周期沒有報告此度量，這指示在該QoE報告周期期間沒有惡化的場景剪切幀。
如果該服務器具有指示哪些幀是場景剪切幀的信息，或者如果該服務器實現了導出該信息的方法，例如通過使用場景剪切檢測算法，則可以使用該質量度量。假如這樣的話，則該服務器或者借助于帶內信令或者借助于帶外信令使該客戶機得到該信息是有利的。如果該客戶機實現了導出該信息的方法，例如通過使用場景剪切檢測算法，則也可以使用該質量度量。例如，在ITU-T H.264(也叫作ISO/IECMPEG-4部分10)中，通過使用場景信息補充增強信息(SEI)消息，將場景剪切信息帶內地運送到客戶機。
可以不定義與惡化的場景剪切幀的數目度量相關聯的時戳，這是因為測量惡化的場景剪切幀的數目的時間等于該QoE報告周期的結束時間是顯然的。
如本發明提出的每個新的質量度量的示例協議語法例如是Framerate_Deviation＝″Framerate_Deviation″″＝″″{″SP/(ValuelSP Value2[SP Timestamp])#(″，″Valuel SP Value2 [SPTimestamp])″}″；Jitter_Duration＝″Jitter_Duration″″＝″{″SP/(Value[SPTimestamp))#(″，″Value[SP Timestamp])″}″；Syncloss_Duration＝″Syncloss_Duration″″＝″″{″SP/(Value[SPTimestamp])#(″，″Value[SP Timestamp])″}″；Corrupted_Scene_Cuts＝″Corrupted_Scene_Cuts″″＝″″{″SP/Value″}″；其中，Valuel字段指示幀率偏差事件的持續時間，而Value2字段指示幀率偏差值。Value字段指示重放抖動的持續時間，同步損失的持續時間，或惡化的場景剪切幀的數目。Timestamp字段的語義如上所述。
在質量反饋中，存在同一事件在一個監控周期期間出現多次的可能性。如果是那樣的話，質量反饋值可以出現多次，用于向該服務器指示事件的次數。
為了使客戶機能夠計算幀率偏差度量，需要向該客戶機發送預定義幀率值。假如這樣的話，可以以附加參數的方式把該值添加到RSTP報頭QoE-報頭或SDP屬性“QoE-Metrics”中，正如TdocS4-040073規定的那樣。例如，預定義幀率值的語法設計的定義可以是Pre-defined Frame Rate＝″FR″″＝″1*DIGIT″.″1*DIGIT因此，RTSP QoE-報頭和SDP QoE-Metrics的語法變成QoE-Header＝″QoE-Metrics″″″″off″/1#(stream-url″；″Metrics″；″Sending-rate[″；″Range][″；″FR])CRLF和a＝QoE-MetricsMetrics″；″Sending-rate[″；″Range][″；″FR]CRLF當在流傳輸服務中執行質量反饋時，為了更有效地使用傳輸帶寬，本發明提出只有在所述持續時間大于預定值時才報告根據惡化持續時間度量確定的質量反饋值。在重放期間，如果僅僅是一個短時間段內的一個幀或幾個幀沒有得到重放，則最終用戶通常感覺不到差別。例如，由于以下原因中的一個原因接收終端可以決定不重放某一幀由于任何原因，該服務器沒有傳輸非參考幀；非參考幀部分或完全丟失；非參考幀被完整接收，但是不能正確解碼；非參考幀被完整接收，但是由于延遲或缺少計算能力，沒有進行解碼；參考或非參考幀被完整接收并且被正確解碼，但是其預定播放時間已過期。不重放一個短時間段內的這些幀并不影響用戶體驗，因此，報告一個短時間段內的這些幀是對傳輸帶寬的浪費。因此，根據本發明，提出了僅在惡化持續時間超過所述預定義值時才進行報告，所述預定義值可以例如是由該服務器或/該客戶機設置的默認值，或者是由協議預先規定的值。
圖3描繪根據本發明的方法的流程圖。在第一步驟300中，在流傳輸客戶機和流傳輸服務器之間建立流傳輸會話。在步驟301中，在流傳輸客戶機和流傳輸服務器之間協商包含本發明提出的質量度量的預定義的一組質量度量中的一個或多個質量度量，以便在流傳輸客戶機執行的質量反饋過程中使用。所述會話建立和協商兩者都可以基于與SDP結合的RTSP，或基于RTCP或SIP。步驟301也可以和步驟300一起執行。可以把對應的時戳度量和用于流傳輸會話的至少某些協商的質量度量聯系起來。在步驟302中，開始實際的流傳輸，例如，當向流傳輸客戶機傳輸媒體流并且在組成所述流傳輸客戶機的終端上對其進行重放時。在所述流傳輸期間，在步驟303中，檢查是否需要質量反饋。其實現方式可以例如是，根據協商的質量度量連續檢查需要向流傳輸服務器報告的事件是否發生。這可以例如是同步損失事件。可選地，可以協商周期的質量報告，例如，某一時間間隔內的惡化場景剪切幀數的周期性的反饋。在所述步驟303中，觸發事件驅動的和周期的質量反饋。如果確定需要質量反饋，則在步驟304中，根據每個協商的質量度量確定質量反饋值。如果所述協商的質量度量中的一個或多個質量度量是與時戳度量相關聯的，則在步驟305中確定對應的時戳。同樣可以在執行步驟304之前執行所述步驟305。接著，在步驟306中，向流傳輸服務器報告質量反饋值和相應的時戳，例如借助于RTSP、RTCP或SIP。在質量反饋之后，或者如果確定不需要質量反饋，在步驟307中檢查是否需要停滯流傳輸。如果情況不是這樣，則再次在步驟303中檢查是否需要新的質量反饋。
圖4示意性地描繪了根據本發明的系統的功能部件。本實施例示意地表示使用RTSP控制流傳輸的PSS系統。可以理解，這里同樣可以使用SIP，包括略微修改的基礎協議棧和用來探測或捕獲從客戶機601(甲方)發送到服務器600(乙方)的質量反饋和時戳的附加網絡實例。圖4中的PSS系統包括流傳輸客戶機601和流傳輸服務器600，其中客戶機601和服務器600同時具有能夠操作RTSP的至少一個RTSP實體401、RTSP實體400。RTSP實體400、RTSP實體401使用其它協議實體操作的基礎協議層的服務，其中僅示出TCP/UDP實體402、403和IP實體404、405。流傳輸客戶機601還與流傳輸質量監控實例407相連，該流傳輸質量監控實例407就協商的質量度量和可能的對應時戳度量來監控實際流傳輸應用的質量，并且把監控的質量反饋值輸入到所述RTSP實體401中。所述流傳輸質量監控可以例如是由其中得以建立所述流傳輸客戶機的終端提供的。如果為所用的質量度量定義了時戳度量，則流傳輸質量監控407根據所述時戳度量確定時戳，并且經由客戶機的RTSP 401，向流傳輸服務器600中的RTSP對等實體傳輸所述監控的質量反饋值和所述對應時戳，在流傳輸服務器600中，將它們輸入到質量數據處理實例406中以便進行評估和分析，其目的是，在發現惡化持續時間事件過于頻繁時通過增強媒體流的錯誤恢復力提高流傳輸應用的質量，或者其目的僅僅是統計質量數據收集或計費或其它目的。
上面借助于優選實施例描述了本發明。請注意，存在對于本領域的熟練技術人員而言顯然的可選方式和變更，并且它們的實現并不背離所附權利要求書的范圍和實質。特別地，本發明絕不限于3G無線通信系統中的應用。它同樣可以部署在帶有參數反饋的各種有線和無線數據傳輸系統中。
權利要求
1.用于流傳輸服務中的質量反饋的方法，其中將至少一個媒體流流傳輸到客戶機以便重放，所述方法包括根據預定義的一組質量度量中的至少一個質量度量確定質量反饋值，其中所述預定義的一組質量度量包含與以下兩項中的至少一項有關的質量度量所述至少一個媒體流的所述重放，以及所述至少一個媒體流中包含的至少兩種類型的幀的一種幀的惡化，以及向服務器報告所述質量反饋值。
2.根據權利要求1的方法，其中與所述至少一個媒體流的所述重放有關的所述質量度量是與所述至少一個媒體流的所述重放的重放幀率和預定義值的偏差有關的幀率偏差度量。
3.根據權利要求2的方法，其中所述幀率偏差度量還與所述偏差的持續時間有關。
4.根據權利要求1的方法，其中與所述至少一個媒體流的所述重放有關的所述質量度量是抖動持續時間度量，該抖動持續時間度量與所述至少一個媒體流的所述重放的重放時間和預定重放時間之間的差值大于預定義值時出現的抖動事件的持續時間有關。
5.根據權利要求1的方法，其中與所述至少一個媒體流的所述重放有關的所述質量度量是同步損失持續時間度量，該同步損失持續時間度量與值A和值B之間的絕對差值大于預定值時出現的同步損失事件的持續時間有關，其中所述值A是所述至少一個媒體流的第一個媒體流的最后播放的幀的重放時間和所述至少一個媒體流的第二個媒體流的最后播放的幀的重放時間之間的差值，而其中所述值B是所述至少一個媒體流的所述第一個媒體流的所述最后播放的幀的預定重放時間和所述至少一個媒體流的所述第二個媒體流的所述最后播放的幀的預定重放時間之間的差值。
6.根據權利要求1的方法，其中所述至少一個媒體流中包含的所述至少兩種類型的幀的一種幀是場景剪切幀，并且其中與所述至少一個媒體流中包含的至少兩種類型的幀的一種幀的惡化有關的所述質量度量是惡化的場景剪切幀數度量，該場景剪切幀數度量與所述至少一個媒體流中的惡化的場景剪切幀的數目有關。
7.根據權利要求1的方法，其中所述質量度量是連同時戳一起報告的。
8.根據權利要求2的方法，其中所述幀率偏差度量是連同時戳一起報告的，并且相對于質量報告周期的起始時間，其中所述時戳等于所述偏差期間內第一個播放的幀的播放時間。
9.根據權利要求4的方法，其中所述抖動持續時間度量是連同時戳一起報告的，并且相對于質量報告周期的起始時間，其中所述時戳等于所述抖動事件期間內第一個播放的幀的播放時間。
10.根據權利要求5的方法，其中所述同步損失持續時間度量是連同時戳一起報告的，并且相對于質量報告周期的起始時間，其中所述時戳等于所述同步損失事件期間內第一個播放的幀的播放時間。
11.根據權利要求8的方法，其中所述播放時間是正常播放時間NPT。
12.根據權利要求1的方法，其中所述預定義的一組質量度量包含與惡化的持續時間有關的惡化持續時間度量，并且其中僅在所述持續時間大于預定值時，才報告根據所述惡化持續時間度量確定的所述質量反饋值。
13.根據權利要求1的方法，其中所述至少一個媒體流的所述流傳輸是基于實時傳輸協議RTP的。
14.根據權利要求1的方法，其中所述流傳輸是至少部分由實時流傳輸協議RTSP控制的。
15.根據權利要求14的方法，其中借助于所述RTSP向所述服務器報告所述質量反饋值。
16.根據權利要求1的方法，其中所述流傳輸服務是3G移動通信系統中的分組交換流傳輸服務PSS。
17.一種計算機程序，其指令可操作以使處理器執行權利要求1的方法步驟。
18.一種計算機程序產品，該計算機程序產品包括其指令可操作以使處理器執行權利要求1的方法步驟的計算機程序。
19.一種用于流傳輸服務中的質量反饋的系統，包括至少一臺服務器；以及至少一臺客戶機，其中將至少一個媒體流流傳輸到所述至少一臺客戶機以便重放，其中根據預定義的一組質量度量中的至少一個質量度量確定質量反饋值，其中所述預定義的一組質量度量包含與以下兩項中的至少一項有關的質量度量所述至少一個媒體流的所述重放，以及所述至少一個媒體流中包含的至少兩種類型的幀的一種幀的惡化，以及其中向所述至少一臺服務器報告所述質量反饋值。
20.一種流傳輸服務中的客戶機，包括用于接收流傳輸到所述客戶機的至少一個媒體流以便進行重放的裝置；根據預定義的一組質量度量中的至少一個質量度量確定質量反饋值的裝置，其中所述預定義的一組質量度量包含與以下兩項中的至少一項有關的質量度量所述至少一個媒體流的所述重放，以及所述至少一個媒體流中包含的至少兩種類型的幀的一種幀的惡化；以及用于向服務器報告所述質量反饋值的裝置。
21.一種流傳輸服務中的服務器，其中將至少一個媒體流流傳輸到客戶機以便重放，其中根據預先定義的一組質量度量中的至少一個質量度量確定質量反饋值，其中所述預定義的一組質量度量包含與以下兩項中的至少一項有關的質量度量所述至少一個媒體流的所述重放，以及所述至少一個媒體流中包含的至少兩種類型的幀的一種幀的惡化，所述服務器，包括；用于接收所述客戶機向所述服務器報告的所述質量反饋值的裝置。
22.一種使用在流傳輸服務中的協議，其中將至少一個媒體流流傳輸到客戶機以便重放，該協議定義與以下兩項中的至少一項有關的質量度量所述至少一個媒體流的所述重放，以及所述至少一個媒體流中包含的至少兩種類型的幀的一種幀的惡化。
23.權利要求21的協議，其中所述協議是與會話描述協議SDP結合的RTSP。
24.根據權利要求9的方法，其中所述播放時間是正常播放時間NPT。
25.根據權利要求10的方法，其中所述播放時間是正常播放時間NPT。
全文摘要
公開了用于流傳輸服務中的質量反饋的方法，其中將至少一個媒體流流傳輸到客戶機以便重放，該方法包括根據預定義的一組質量度量中的至少一個質量度量確定質量反饋值，其中該預定義的一組質量度量包含與該至少一個媒體流的重放和該至少一個媒體流中包含的至少兩種類型的幀的一種幀的惡化中的至少一個有關的質量度量；以及向服務器報告該質量反饋值。同時說明了用于質量反饋的系統、客戶機、服務器、計算機程序、計算機程序產品和協議。
文檔編號H04N7/24GK1951083SQ200580014429
公開日2007年4月18日 申請日期2005年5月3日 優先權日2004年5月7日
發明者王業奎, 伊戈爾·屈爾西奧, 埃姆勒·阿克敘, 米斯卡·安尼克塞拉 申請人:諾基亞公司