專利名稱：模擬用戶行為的移動流媒體業務感知體驗QoE的測評方法
技術領域：
本發明涉及一種測量和評估移動流媒體業務用戶體驗感知QoE (Quality ofExperience)的方法，確切地說，涉及一種模擬用戶的操作行為，并測試用戶對移動流媒體業務的感知體驗，再基于指標體系采用客觀標準來測量和評估移動流媒體業務QoE的方法，屬于移動網絡服務質量評價的技術領域。
背景技術：
隨著移動通信技術的發展和移動終端性能的提高，移動通信網絡已經能夠提供多種服務，例如語音、彩信、移動流媒體和WAP等業務都已經成為人們日常生活與工作中不可或缺的內容。其中移動流媒體業務的應用越來越廣泛，已經成為主流應用之一。但是，在頻譜資源日趨緊張的無線網絡上提供流媒體業務時，用戶所體驗到的移動流媒體的業務 質量不再只與網絡傳輸相關，而是由承載網絡、業務網絡、用戶終端等多個環節所共同決定的。然而，目前的移動流媒體業務質量的測評還是停留于網絡側端到端的服務質量QoS(Quality of Service)的測量與管理基礎上，很少有從終端用戶體驗的角度對移動流媒體的業務品質進行測評。因此，盡管移動流媒體業務有著很好的應用前景，但是，直至今日，國內外都未見有移動流媒體業務實現用戶體驗的實時評測的報道或論文，其主要原因就是目前還沒有一套有效、準確的移動流媒體業務質量的客觀評價方案及其業務體驗感知QoE的指標體系。對于網絡運營商和服務提供商來說，要想降低成本，提高效益，從而在激烈的市場競爭中獲取成功，必須不斷完善移動流媒體業務的質量和提高終端用戶的滿意度。因此，如何設計和提供一套有效、精準的移動流媒體業務質量的客觀評價方案，對其業務性能及用戶體驗進行測量和評估，進而優化網絡性能，提高服務質量，提升用戶體驗，對于移動通信網的發展具有非常重要的意義。目前，針對移動流媒體業務需要不斷完善的自身需求，已有一些公司和文獻公布了不同的解決方案。下面簡要介紹目前現有的技術和產品(I)華為 iSEA (intelligent Service Experience Assurance)技術方案首先建立基于用戶感知的端到端(E2E)業務品質管理體系，并基于該體系提出了“指標一監測一定界一優化”的E2E移動業務品質保障服務模型。該技術方案的不足之處是僅從語音業務和數據業務兩方面建立移動業務品質保障服務模型，并未對數據業務進行進一步區分和測評。(2)中國發明專利申請《流媒體業務質量監測裝置及方法》(公開號CN201010586566. 9)。該專利申請公開的流媒體業務質量監測裝置包括數個流媒體業務性能參數采集模塊，例如，基本信息采集模塊，信號強度監測模塊，管理模塊，統計分析模塊(包括抓包單元和視頻分析單元)，其中的抓包單元用于采集空口傳輸數據，并根據空口傳輸數據獲取無線側傳輸性能指標；視頻分析單元用于獲取播放質量參數，該播放質量參數包括流媒體的清晰度等。
該專利申請雖然具有比較齊全的流媒體業務性能采集模塊，但其不是從用戶感知體驗出發的，沒有嚴格地剖析流媒體業務的全部過程，也并未建立一套系統的質量評估方案。(3)中國發明專利申請《視頻電話和流媒體的用戶感知效果的測試系統和測試方法》(申請號200910199119)。該專利申請的測試系統和測試方法應用于TD-SCDMA/HSDPA/HSUPA/HSPA+/LTE制式下的視頻業務，系統組成包括TD_SCDMA制式測試終端，VT視頻測試服務器，結果分析服務器，流媒體測試服務器，中央數據庫，短信應用服務器，在線升級服務器，Web服務器和應用邏輯服務器，其中測試終端、中央數據庫和各服務器通過應用邏輯服務器交互數據。該專利申請的系統構成部件過多，操作復雜，實用性不好。
(4)中國發明專利申請《3G網絡承載流媒體業務性能評估系統和方法》(申請號200910249744)。該專利申請的系統包括流媒體發生裝置和流媒體接收裝置。流媒體業務發生裝置接入在核心網分組域中，用于發送一路或多路流媒體。流媒體接收裝置是在空口接收流媒體發生裝置發送的流媒體，根據接收的流媒體來獲得MDI指標以評估網絡承載流媒體業務的性能。該專利申請僅根據3G網絡的無線傳輸特性，評估3G網絡中點播流媒體業務的主觀性能和客觀指標，未從用戶感知體驗角度為3G網絡質量對承載流媒體質量的影響情況進行定量分析。總之，現有技術的多種移動流媒體業務質量的評估或監測方案，都未做到全面而有效的測量和評估移動流媒體業務，也沒有真正模擬用戶使用移動流媒體業務的全部過程，不能客觀地反映用戶對移動流媒體業務全過程的體驗。。
發明內容
有鑒于此，本發明的目的是提供一種模擬用戶行為的移動流媒體業務用戶感知體驗Q0E的測評方法，本發明是客觀地模擬用戶使用流媒體業務的感知體驗其服務質量的技術方案，它是針對目前出現的降低客戶投訴率、提升用戶體驗的需求，在充分考慮現有網絡可實施的技術基礎的前提下，設計和提供的一種客觀地綜合測量和評估移動流媒體業務的用戶體驗感知的方案。為了達到上述發明目的，本發明提供了一種模擬用戶行為的移動流媒體業務用戶感知體驗QoE的測評方法，其特征在于先設置一套移動流媒體業務QoE測評指標體系，該測評指標體系把移動流媒體業務的用戶感知體驗分成業務接入，業務保持和業務完整的三方面體驗參數；然后，利用測試終端模擬用戶使用移動流媒體業務的整個過程，分別采集與計算移動流媒體業務的關鍵性能指標KPI(Key Performance Indicator),進而計算其相應的移動流媒體業務的關鍵質量指標KQI (Key Quality Indicator),以及利用心理模型對KQI進行綜合運算，從而獲得相應的移動流媒體業務的關鍵體驗指標KEI (Key ExperienceIndicator),最后對這些KEI指標進行綜合分析，獲得等效于國際標準平均意見分值MOS(Mean Opinion Score)的五分制流媒體業務QoE值。所述移動流媒體業務QoE測評指標體系包括業務接入、業務保持和業務完整三方面性能指標參數，其中業務接入性能參數設有2項取決于接入網絡時長的接入時延、取決于PDP激活結束或認證完成或集客專線IP地址獲取三種狀態之一的接通狀態；業務保持性能參數設有8項取決于RTSP保持狀態的視頻流狀態，取決于承載網絡狀態的在線狀態，取決于平均傳輸速率的平均速率，取決于速率標準差的速率穩定度，取決于信號電平標準差的信號穩定度，取決于接入RTSP時延的初始緩沖時延，取決于超流控緩沖累計時長的視頻等待累計時長，以及取決于超流控緩沖次數的視頻等待次數；業務完整性能參數設有I項；取決于視頻評價MOS值的視頻質量。所述方法包括下述步驟( I)測試終端采集移動流媒體業務的關鍵性能指標KPI :測試終端從媒體服務器上的媒體資源集中隨機選擇讀取一個可播放的統一資源定位符URL (Uniform ResourceLocator)，模擬用戶的視頻點播行為并收集和保存KPI ；(2)根據移動流媒體業務QoE測評指標體系中的性能指標參數，利用采集到的關鍵性能指標KPI逐步計算其關鍵質量指標KQI和關鍵體驗指標KEI,并最終得到測試終端豐旲擬用戶本次使用移動流媒體業務的QoE值； (3)返回多次重復執行步驟(I)和(2);并基于該多次測試結果數據，統計設定時間和/或設定地點的移動流媒體業務的用戶體驗質量情況。所述步驟(I)中，測試終端采集到的移動流媒體業務的關鍵性能指標KPI包括下述各個參數接入網絡時長為網絡接入完成時刻與其接入開始時刻的差值，所述網絡包括通用分組無線業務GPRS (General Packet Radio Service)網絡、無線局域網絡WLAN(Wireless Local Area Networks)和集客專線網絡,單位是秒(s);分組數據協議F1DP (Packet Data Protocol)激活結束狀態所述激活是終端傳送數據前向系統服務器申請IP地址資源的過程；對于GPRS網絡，若激活成功，該狀態數值為1，否則為0 ;認證完成狀態所述認證是終端傳送數據前通過web頁面連接計費服務器的過程，對于WLAN網絡，若認證成功，該狀態數值為1，否則為0 ;集客專線IP地址獲取狀態為終端傳送數據前向系統服務器申請IP地址資源的過程，對于集客專線網絡，若IP地址獲取成功，該狀態數值為1，否則為0 ;信號標準差為測試時間段內信號電平的均方差；單位是分貝毫瓦(dBm)；接入實時流傳輸協議RTSP (Real Time Streaming Protocol)時延為接入RTSP完成時刻與接入RTSP開始時刻的差值，單位是秒(s)；RTSP保持狀態接入RTSP狀態的數值為1，否則為0 ;承載網絡狀態網絡處于在線保持狀態時，該狀態數值為1，處于網絡掉線時，則該狀態數值為0 ;平均傳輸速率為測試時間段內傳輸速率的平均值，即文件字長與傳輸時長的比值，單位是kb/秒；速率標準差為測試時間段內速率的均方差；單位是kb/秒超流控緩沖累計時長為超過設定閾值的多個單次重緩沖所需耗用的時長的累加和，單位是秒(s);超流控緩沖次數為每次重緩沖所需耗用的時長超過設定閾值的重緩沖的總次數；視頻評價MOS值為經過網絡參數修正后的視頻客觀評價值，即采用下述基于小波變換的無參考視頻質量評價方法得到的數值先依據基于人眼興趣加權的運動劇烈程度初步選取關鍵幀，再通過相關性分析將初選的關鍵幀分為場景切換型和非場景切換型，然后對非場景切換型關鍵幀評價圖像質量，并根據該評價結果將非場景切換型關鍵幀細分為內容變化型和質量變化型；最后利用質量變化型關鍵幀的持續時間因子和惡化頻率因子對其中每個單幀的圖像質量進行加權求和，計算得到整個視頻序列的質量評價結果。所述步驟(2)包括下列操作內容(21)利用測試終端采集到的移動流媒體業務KPI分別計算下述各個KQI 接入時延，為接入網絡時長；接通狀態，為PDP激活結束、認證完成或集客專線IP地址獲取的三種狀態中的一種狀態；視頻流狀態，為RTSP保持狀態；在線狀態，為承載網絡狀態；平均速率,為平均傳輸速率；信號穩定度，為信號電平的標準差系數，用于表示單位信號電平均值的偏離度；其
、1姓八n信號電平標準差.
計算公式為穩疋度=信號電平均值，速率穩定度，為傳輸速率的標準差系數，用于表示單位平均傳輸速率的偏離度；其臟式為獅定度初始緩沖時延，為視頻播放開始時刻與視頻播放請求時刻之差值，其數值與接入RTSP時延等同；視頻等待累計時長，為超流控緩沖累計時長，即超過設定閾值的多個單次超流控緩沖時長的累加和；視頻等待次數，為超流控緩沖次數，即單次超流控緩沖時長超過設定閾值的重緩沖的總次數；視頻質量，為視頻評價MOS值，即經過網絡參數修正的視頻客觀評分值；(22)先將KQI指標分為兩類實際數值越大、網絡性能越好的正向指標和實際數值越小、網絡性能越好的反向指標，其中正向指標包括接通狀態、視頻流狀態、在線狀態、平均速率和視頻質量，反向指標包括接入時延、速率穩定度、信號穩定度、初始緩沖時延、視頻等待累計時長和視頻等待次數；再將每項KQI指標與其期望值相比較，并按照滿意度映射函數計算每個KQI的滿意度值KQImqs,即等效于MOS
區間的分值；(23)利用每個KQI的滿意度值KQImqs和層次分析法AHP (Analytic HierarchyProcess),按照公式KEIi= E w 0KQIltlosij 0計算其關鍵體驗指標KEI ;式中，KEIi是由下標i區分的接入性、保持性和完整性的關鍵體驗指標；系數是由下標3區分的各項關鍵體驗指標KEI中的各項關鍵質量指標KQI的權重，《 e是由AHP得到的，且滿足
權利要求
1.一種模擬用戶行為的移動流媒體業務用戶感知體驗QoE的測評方法，其特征在于先設置一套移動流媒體業務QoE測評指標體系，該測評指標體系把移動流媒體業務的用戶感知體驗分成業務接入，業務保持和業務完整的三方面體驗參數；然后，利用測試終端模擬用戶使用移動流媒體業務的整個過程，分別采集與計算移動流媒體業務的關鍵性能指標KPI (Key Performance Indicator),進而計算其相應的移動流媒體業務的關鍵質量指標KQI (Key Quality Indicator),以及利用心理模型對KQI進行綜合運算,從而獲得相應的移動流媒體業務的關鍵體驗指標KEI (Key Experience Indicator),最后對這些KEI指標進行綜合分析，獲得等效于國際標準平均意見分值MOS (Mean Opinion Score)的五分制流媒體業務QqE值。
2.根據權利要求I所述的評測方法，其特征在于所述移動流媒體業務QoE測評指標體系包括業務接入、業務保持和業務完整三方面性能指標參數，其中業務接入性能參數設有2項取決于接入網絡時長的接入時延、取決于PDP激活結束或認證完成或集客專線IP地址獲取三種狀態之一的接通狀態；業務保持性能參數設有8項取決于RTSP保持狀態的視頻流狀態，取決于承載網絡狀態的在線狀態，取決于平均傳輸速率的平均速率，取決于速率標準差的速率穩定度，取決于彳目號電平標準差的 目號穩定度，取決于接入RTSP時延的初始緩沖時延，取決于超流控緩沖累計時長的視頻等待累計時長，以及取決于超流控緩沖次數的視頻等待次數；業務完整性能參數設有I項；取決于視頻評價MOS值的視頻質量。
3.根據權利要求I所述的方法，其特征在于所述方法包括下述步驟 (1)測試終端采集移動流媒體業務的關鍵性能指標KPI:測試終端從媒體服務器上的媒體資源集中隨機選擇讀取一個可播放的統一資源定位符URL，模擬用戶的視頻點播行為并收集和保存KPI ； (2)根據移動流媒體業務QoE測評指標體系中的性能指標參數，利用采集到的關鍵性能指標KPI逐步計算其關鍵質量指標KQI和關鍵體驗指標KEI，并最終得到測試終端模擬用戶本次使用移動流媒體業務的QoE值； (3)返回多次重復執行步驟(I)和(2);并基于該多次測試結果數據，統計設定時間和/或設定地點的移動流媒體業務的用戶體驗質量情況。
4.根據權利要求3所述的方法，其特征在于所述步驟(I)中，測試終端采集到的移動流媒體業務的關鍵性能指標KPI包括下述各個參數 接入網絡時長為網絡接入完成時刻與其接入開始時刻的差值，所述網絡包括通用分組無線業務GPRS網絡、無線局域網絡WLAN和集客專線網絡，單位是秒(S)； 分組數據協議PDP激活結束狀態所述激活是終端傳送數據前向系統服務器申請IP地址資源的過程；對于GPRS網絡，若激活成功，該狀態數值為1，否則為O ; 認證完成狀態所述認證是終端傳送數據前通過web頁面連接計費服務器的過程，對于WLAN網絡，若認證成功，該狀態數值為1，否則為O ; 集客專線IP地址獲取狀態為終端傳送數據前向系統服務器申請IP地址資源的過程，對于集客專線網絡，若IP地址獲取成功，該狀態數值為1，否則為O ; 信號標準差為測試時間段內信號電平的均方差；單位是分貝毫瓦(dBm)； 接入實時流傳輸協議RTSP時延為接入RTSP完成時刻與接入RTSP開始時刻的差值，單位是秒(s)；RTSP保持狀態接入RTSP狀態的數值為1，否則為O ; 承載網絡狀態網絡處于在線保持狀態時，該狀態數值為1，處于網絡掉線時，則該狀態數值為O ; 平均傳輸速率為測試時間段內傳輸速率的平均值，即文件字長與傳輸時長的比值，單位是kb/秒； 速率標準差為測試時間段內速率的均方差；單位是kb/秒 超流控緩沖累計時長為超過設定閾值的多個單次重緩沖所需耗用的時長的累加和，單位是秒(S)； 超流控緩沖次數為每次重緩沖所需耗用的時長超過設定閾值的重緩沖的總次數； 視頻評價MOS值為經過網絡參數修正后的視頻客觀評價值，即采用下述基于小波變換的無參考視頻質量評價方法得到的數值先依據基于人眼興趣加權的運動劇烈程度初步選取關鍵幀，再通過相關性分析將初選的關鍵幀分為場景切換型和非場景切換型，然后對非場景切換型關鍵幀評價圖像質量，并根據該評價結果將非場景切換型關鍵幀細分為內容變化型和質量變化型；最后利用質量變化型關鍵幀的持續時間因子和惡化頻率因子對其中每個單幀的圖像質量進行加權求和，計算得到整個視頻序列的質量評價結果。
5.根據權利要求3所述的方法，其特征在于所述步驟(2)包括下列操作內容 (21)利用測試終端采集到的移動流媒體業務KPI分別計算下述各個KQI 接入時延，為接入網絡時長； 接通狀態，為PDP激活結束、認證完成或集客專線IP地址獲取的三種狀態中的一種狀態； 視頻流狀態，為RTSP保持狀態； 在線狀態，為承載網絡狀態； 平均速率，為平均傳輸速率； 信號穩定度，為信號電平的標準差系數，用于表示單位信號電平均值的偏離度；其計算八卡 ^!蘆中信號電平標準差.公式為穩疋度_信號電平均值， 速率穩定度，為傳輸速率的標準差系數，用于表示單位平均傳輸速率的偏離度；其計算公式為 速率穩定度=速率標準差；Λ、刀.平均傳輸速率 初始緩沖時延，為視頻播放開始時刻與視頻播放請求時刻之差值，其數值與接入RTSP時延等同； 視頻等待累計時長，為超流控緩沖累計時長，即超過設定閾值的多個單次超流控緩沖時長的累加和； 視頻等待次數，為超流控緩沖次數，即單次超流控緩沖時長超過設定閾值的重緩沖的總次數； 視頻質量，為視頻評價MOS值，即經過網絡參數修正的視頻客觀評分值； (22)先將KQI指標分為兩類實際數值越大、網絡性能越好的正向指標和實際值越小、網絡性能越好的反向指標，其中正向指標包括接通狀態、視頻流狀態、在線狀態、平均速率和視頻質量，反向指標包括接入時延、速率穩定度、信號穩定度、初始緩沖時延、視頻等待累計時長和視頻等待次數； 再將每項KQI指標與其期望值相比較，并按照滿意度映射函數計算每個KQI的滿意度值KQImos,即等效于MOS [O, 5]區間的分值； (23)利用每個KQI的滿意度值KQIsros和層次分析法AHP，按照公式KEIi=Σ ω eKQIsrosi,0計算其關鍵體驗指標KEI ;式中，KEIi是由下標i區分的接入性、保持性和完整性的關鍵體驗指標；系數ω g是由下標β區分的各項關鍵體驗指標KEI中的各項關鍵質量指標KQI的權重，ω0是由AHP得到的，且滿足Σ ω0=1 ；ΚΕΙ的取值區間為
； (24)按照下述公式計算測試終端模擬用戶每次移動流媒體業務的QoE值QoE= Σ (OiKEIi=CO接入性KEI接入性+ ω保持性KEI保持性+ ω完整性KEI完整性;該步驟操作內各與步驟(23)相同，即利用AHP方法先構造各KEI關系判斷矩陣，再計算該判斷矩陣的最大特征值與其對應的特征向量，并對該特征向量進行歸一化處理，歸一化處理后的向量的每個元素就是各KEI對應的權重Oi，最后進行一致性檢驗；但要說明的是當上述三個KEI中任意一個數值為O時，則其對應的QoE即為O。
6.根據權利要求5所述的方法，其特征在于所述步驟(22)中，所述期望值是由評估者根據人的主觀體驗和需求，針對不同類型的應用進行差異化設置的數值；所述滿意度映射函數是根據人的主觀體驗模型，即取決于各項KQI實測值與其期望值之比值而確定的下述兩種S型分段曲線的函數式 正向指標滿意度映射函數式··KQ1 Atos =' -~kQi-A, e (0,100%);或者 反向指標滿意度映射函數式·Μ』Ι'抓=-e(100%，200%);式中，系
全文摘要
一種模擬用戶行為的移動流媒體業務用戶感知體驗QoE的測評方法先設置一套把移動流媒體業務的用戶感知體驗分成業務接入，業務保持和業務完整三方面參數的移動流媒體業務QoE測評指標體系，再利用測試終端模擬用戶使用移動流媒體業務的整個過程，分別采集與計算移動流媒體業務的關鍵性能指標KPI，進而計算其相應業務的關鍵質量指標KQI，以及利用心理模型對KQI進行綜合運算，獲得相應業務的關鍵體驗指標KEI，最后對這些KEI指標進行綜合分析，獲得等效于國際標準平均意見分值MOS的五分制流媒體業務QoE值。本發明方法的測評參數標準客觀、實用、操作步驟簡單，計算復雜度低和易于集成，能夠模擬移動流媒體業務用戶得到相對客觀、公正的用戶體驗感知質量。
文檔編號H04W24/06GK102685790SQ20121015992
公開日2012年9月19日 申請日期2012年5月22日 優先權日2012年5月22日
發明者亓玉嬌, 劉勇, 葉艷柯, 周小毛, 孟欣欣, 徐靜濤, 李湘平, 杜海清, 王永峰, 胡文, 許克輝 申請人:北京東方文駿軟件科技有限責任公司, 北京郵電大學