專利名稱：一種全面評估3g視頻電話質量的方法和裝置的制作方法
技術領域：
本發明涉及的是應用于3G移動無線網絡路測產品中的基于H. 324M協議全面評估視頻電話質量的一種方法和裝置。
背景技術：
移動無線網絡路測系統是利用測試軟件、測試手機、掃頻儀、電子地圖、GPS及測試車輛等工具對移動無線網絡進行規劃和優化的系統。主要滿足網絡的小區站址選擇、網絡日常優化、射頻質量評估等需要。視頻電話是3G無線網絡的一個主要業務，對視頻電話質量評估是路測優化的一項重要測試指標。視頻電話質量評估主要包括三大類1、音頻質量評估；2、視頻質量評估； 3、音頻視頻同步評估。從評估方式來說分為主觀評估和客觀評，主觀評估就是通過對視頻通話過程中的接收和發送的音視頻作對比回放，由測試人員主觀評價其感官感受，客觀評估目前工程上使用得比較普遍的音頻質量評估是ITU-T P. 862標準介紹的PESQ(音頻質量感知評估)算法，視頻質量評估使用ITU-T J. 247標準介紹的PEVQ (視頻質量感知評估)算法，音頻和視頻同步程度的評估尚無國際標準，中國移動設計院在PEVQ和PESQ的基礎上自行研發了一種AVET (高級視頻評估)算法用于評估音視頻的同步評分和整體評分，當前該算法已經成為TD網絡路測儀表的必備功能。用于客觀評估的PESQ、PEVQ和AVET這三種算法都是獨立于具體應用環境的，應用環境不同，這些算法的有效性和處理的耗時程度是存在差異的，在3G視頻電話質量評估這個領域，影響這些算法有效性的一個主要因素是它們無法準確的獲知音視頻信號在傳輸過程中產生的錯幀、掉幀和延時的情況。這三種算法都是將發送的樣本音視頻幀序列與接收的降級后的幀序列逐幀比較來做評估的，因此都會采用的一定的對齊方法將發送和接收的幀一一匹配，并且匹配的方法都是利用信號本身的特征進行一種模糊的估計，并不能精確的將發送的每一幀和接收的每一幀對應起來，而且接收的幀序列的錯幀和掉幀越多、延時越大對齊越困難，這就造成了評估的準確性降低和處理時間的增加。同時3G網絡的視頻電話本身就是一種低比特率高誤碼率的傳輸信道，掉幀和錯幀率是比較高的，視頻電話的延時也比普通的語音電話高很多，如果直接使用這些評估算法，得出的MOS (平均意向評分)分值往往偏低，評估耗時很長，無法真實、迅速地反映網絡的通信質量。主觀評估所采用的事后對比回放音視頻方式，更是需要做精確地補幀處理，這樣才能夠保證回放的過程能完全再現視頻通話過程中用戶所看到和聽到的音視頻實際情況。所以在3G網絡的建網優化過程中需要提出一種切實有效的方法對發送和接收的音視頻幀精確而快速地進行匹配，然后合理的組合使用以上三種客觀評估算法和對比回放才能客觀有效地對3G視頻電話的質量作出全面測量。
發明內容
針對工程實踐的需求，本發明基于TD-SCDMA和WCDMA這兩種3G網絡所使用的視頻電話協議H. 324M，開發出一種適用于TD-SCDMA和WCDMA移動網絡的視頻電話質量全面評估的方法和裝置，該方法包括步驟301 設置H. 324M協議棧的初始參數；步驟302 讀取視頻樣本文件，取出一幀RGBM格式的視頻幀；步驟303 將取得的RGBM格式的視頻幀添加到發送視頻幀隊列的末尾；步驟304 將RGBM格式的視頻幀編碼成H. 263格式的視頻幀；步驟305 記錄下編碼得到的H. 263格式的視頻幀的大小，并且計算從第一幀到當前幀的總大小，將這個總大小保存到一個數組中，數組的索引是該幀的編號，數組元素值就是第一幀到該幀的總大小；步驟306 將編碼的視頻幀送入視頻發送緩沖區；步驟307 根據設置的視頻發送速率定時從視頻發送緩沖區中獲取固定大小的數據塊，將數據塊送入H. 324M 協議棧的視頻發送邏輯信道，由協議棧進行復用、組幀、編號發送；步驟308 使用從視頻發送緩沖區中取出的數據塊的總大小查找步驟305中的數組，取得正在發送的數據塊所屬的視頻幀的幀編號；步驟309 判斷當前是否在發送第一幀的第一個數據塊，如果是則記錄下發送的時間點；步驟310 判斷當前是否在發送最后一幀的最后一個數據塊，如果是則記錄下發送時間點，用該時間減去第一幀開始發送的時間得到總發送時間，并記錄下最后一幀的編號作為總幀數；步驟311 讀取音頻樣本文件，每次取出20毫秒的PCM格式的音頻幀； 步驟312:將PCM格式的音頻幀添加到發送音頻幀隊列的末尾；步驟313 將PCM格式的音頻幀編碼為AMR-NB格式；步驟314 將編碼后的音頻幀送入音頻發送緩沖區步驟315 每隔20毫秒從緩沖區中取一幀音頻幀送入H. 324M協議棧的音頻發送邏輯信道，由協議棧進行復用、組幀、編號發送；步驟316 記錄發送的音頻幀幀數；步驟317 將音視頻數據包通過電路交換信道發送；步驟318 從電路交換信道獲取音視頻數據包；步驟319 用H. 324M 協議棧按照AL2適配層協議對從視頻邏輯信道接收到的視頻數據包進行解復用組成一個完整的視頻幀；步驟320 從AL2層的幀中取出接收到的視頻幀編號；步驟321 檢測是否是接收到的第一個視頻幀，如果是就記錄下時間點。步驟322 檢測是否是接收到的最后一個視頻幀，如果是就記錄下時間點，并用該時間點減去接收第一個視頻幀的時間點獲得總接收時間；步驟323 檢測當前收到的幀編號與上一次接收的幀編號相差是否大于1，如果大于1說明發生了掉幀，進行補幀處理；步驟324 使用H. 263解碼器對視頻幀進行解碼；步驟 325 判斷解碼器是否能解碼成功，如果解碼失敗則表示這是一個錯幀，進行補幀處理，將上次收到的正確的視頻幀作為缺失的幀添加到視頻幀接收隊列的末尾；步驟326 將解碼正確的視頻幀分別添加到視頻幀接收隊列末尾和非對齊視頻幀接收隊列末尾；步驟327 將正確接收的視頻幀數加一；步驟328 調用視頻質量感知評估PEVQ算法模塊對發送的視頻幀隊列和接收的精確對齊視頻幀隊列進行視頻質量平均意向分數MOS分值計算；步驟329 用H. 324M協議棧按照AL2適配層協議對從音頻邏輯信道接收到的音頻數據包進行解復用得到音頻幀；步驟330 從AL2層的幀中取出接收到的音頻幀編號；步驟331 檢測當前收到的幀編號與上一次接收的幀編號相差是否大于1，如果大于1說明發生了掉幀，進行補幀處理；步驟332解碼一個音頻幀；步驟333 檢測音頻解碼是否正確，如果有錯幀則進行補幀， 添加一個靜音幀到音頻接收隊列的末尾；步驟334 將解碼正確的音頻幀分別添加到音頻幀接收隊列末尾和非對齊視音頻幀接收隊列末尾；步驟335 調用音頻質量感知評估PESQ 算法模塊對發送的音頻幀隊列和接收的對齊音頻幀隊列進行音頻質量平均意向分數MOS 分值計算；步驟336 合成收發音視頻混合avi文件；步驟337分別為發送和接收的未做過補幀處理的非對齊音頻序列加上wav文件頭以生成wav文件；步驟338 使用收發音視頻混
7合avi文件和漏文件調用AVET (高級視頻評估工具)算法的音視頻同步評估模塊計算同步得分；步驟339 用對齊的視頻幀隊列的幀數減去非對齊的視頻幀隊列的幀數得到跳幀數，用跳幀數和總幀數計算出跳幀百分比，以此代替PEVQ算法中的跳幀百分比的模糊計算方法；步驟340 使用視頻MOS值、音頻MOS值、同步分值、跳幀百分比調用AVET算法的整體評估模塊計算視頻電話的整體客觀評估分值。其裝置包括測試控制模塊201，用于負責整個評估流程的總控和其他各模塊的協調功能；媒體編解碼模塊202，用于在發送端將RGBM 格式的視頻樣本文件編碼為H. 263格式的視頻幀，將PCM格式的音頻文件編碼為AMR-NB格式的音頻幀，在接收端對音視頻流進行解碼；視頻電話通信模塊203，用于利用H. 324M協議棧實際完成視頻電話的通信；幀序列對齊模塊204，用于在視頻通話的過程中完成對接收的音視頻的補幀處理，生成對齊后的收發視頻幀隊列、對齊后的收發音頻幀隊列、收發的非對齊音視頻混合avi文件和視頻的跳幀百分比；視頻電話質量評估模塊205，用于進行全面的視頻電話質量評估；視頻質量感知評估PEVQ算法模塊208，模塊205使用模塊204生成的對齊后的收發視頻幀隊列調用PEVQ算法模塊208得到視頻平均意向分數MOS評分；音頻質量感知評估PESQ算法模塊207，模塊205使用模塊204生成的對齊后的收發音頻幀隊列調用PESQ算法模塊207得到音頻的平均意向分數MOS評分；高級視頻質量評估AVET算法模塊209，模塊205使用模塊204生成的收發非對齊音視頻混合avi文件，調用AVET算法模塊209得到音視頻同步評分，模塊205最后使用視頻MOS值、音頻MOS值、音視頻同步評分和跳幀百分比調用AVET算法模塊209得到視頻電話整體評分；測試結果顯示模塊206，用于顯示模塊205所得到的各種客觀質量評分，同時使用經過模塊204進行了補幀處理的接收的音視頻隊列進行回放，供測試人員主觀評估視頻電話質量。
圖1是本發明的系統硬件架構圖； 圖2是本發明的系統模塊結構圖3是本發明的全面評估視頻電話質量流程圖。
具體實施例方式以下結合附圖對本發明如何測試語音視頻同步進行詳細說明。圖1是本發明的系統硬件架構圖。筆記本101通過USB連線連接測試手機102和測試手機103，兩個測試手機之間通過TD-SCDMA或WCDMA無線網絡的CS電路交換域相互連接。評估系統的架構采用回環測試方式，由一臺PC機通過usb接口連接兩部測試手機，測試手機能使用3G的sim卡接入WCDMA或TD-SCDMA網絡，H. 324M協議棧配置在PC機上，同時啟動兩個協議棧實例，每個實例對應一部測試手機，一個實例負責發送數據，另一個實例負責接收數據，測試手機將被作為modem使用，負責3G網絡通信信道的建立。音視頻樣本文件由發送端的協議棧實例經由測試手機發送到3G網絡，接收端的協議棧實例通過測試手機從3G網絡接收到降級后的樣本數據。圖2是本發明的系統模塊結構圖。測試控制模塊201負責整個評估流程的總控和其他各模塊的協調功能，它提供給用戶一個操作接口，讓用戶指定媒體樣本文件、測試次數、H. 324M協議棧初始參數等各種測試配置，能按用戶的需要發起和終止測試。模塊201將調用媒體編解碼模塊202在發送端將RGBM格式的視頻樣本文件編碼為H. 263格式的視頻幀，將PCM格式的音頻文件編碼為AMR-NB格式的音頻幀，在接收端對音視頻流進行解碼。 模塊201將調用視頻電話通信模塊203來利用H. 324M協議棧實際完成視頻電話的通信，模塊203對H. 324M協議棧進行了封裝。模塊201將調用視幀序列對齊模塊204在視頻通話的過程中完成對接收的音視頻的補幀處理，生成對齊后的收發視頻幀隊列、對齊后的收發音頻幀隊列、收發的非對齊音視頻混合avi文件和視頻的跳幀百分比。模塊201調用視頻電話質量評估模塊205進行全面的視頻電話質量評估，模塊205使用模塊204生成的對齊后的收發視頻幀隊列調用PEVQ算法模塊208得到視頻MOS評分，模塊205使用模塊204生成的對齊后的收發音頻幀隊列調用PESQ算法模塊207得到音頻的MOS評分，模塊205使用模塊204生成收發非對齊音視頻混合avi文件調用AVET算法模塊得到音視頻同步評分，模塊205最后使用視頻MOS值、音頻MOS值、音視頻同步評分和跳幀百分比調用AVET算法得到視頻電話整體評分。201調用測試結果顯示模塊206來顯示模塊205所得到的各種客觀質量評分，同時使用經過模塊204進行了補幀處理的接收的音視頻隊列進行回放，供測試人員主觀評估視頻電話質量。 圖3是視頻電話質量全面評估流程圖。步驟301設置H. 324M協議棧的初始參數， 例如視頻信道速率，音頻信道速率，音視頻發送初始延時skew，音視頻壓縮格式，樣本媒體文件路徑、適配層選擇(這里音視頻都需要選擇AL2)等初始配置參數。步驟302讀取視頻樣本文件，取出一幀RGBM格式的視頻幀。步驟303將取得的RGBM格式的視頻幀添加到發送視頻幀隊列的末尾。步驟304將RGBM格式的視頻幀編碼成H. 263格式的視頻幀。步驟305記錄下編碼得到的H. 263格式的視頻幀的大小，并且計算從第一幀到當前幀的總大小，將這個總大小保存到一個數組中，數組的索引是該幀的編號，數組元素值就是第一幀到該幀的總大小。步驟306將編碼的視頻幀送入視頻發送緩沖區。步驟307根據設置的視頻發送速率定時從視頻發送緩沖區中獲取固定大小的數據塊，將數據塊送入H. 324M協議棧的視頻發送邏輯信道，由協議棧進行復用、組幀、編號發送。步驟308使用從視頻發送緩沖區中取出的數據塊的總大小查找步驟305中的數組取得正在發送的幀編號。步驟309判斷當前是否在發送第一幀的第一個數據塊，如果是則記錄下發送的時間點。步驟310判斷當前是否在發送最后一幀的最后一個數據塊，如果是則記錄下發送時間點，用該時間減去第一幀開始發送的時間得到總發送時間，并記錄下最后一幀的編號作為總幀數。步驟311讀取音頻樣本文件，取出20毫秒的PCM格式的音頻幀。步驟312將PCM格式的音頻幀添加到發送音頻幀隊列的末尾。步驟313將PCM格式的音頻幀編碼為AMR-NB格式。步驟314將編碼后的音頻幀送入音頻發送緩沖區。步驟315每隔20毫秒從緩沖區中取一幀音頻幀送入H. 324M協議棧的音頻發送邏輯信道，由協議棧進行復用、組幀、編號發送。步驟316記錄發送的音頻幀幀數。步驟317將音視頻數據包通過TD-SCDMA或WCDMA網絡的CS域64k電路交換信道發送。步驟318將從TD-SCDMA或WCDMA網絡的CS域64k電路交換信道獲取音視頻數據包。步驟319用H. 324M協議棧按照AL2適配層協議對從視頻邏輯信道接收到的視頻數據包進行解復用組成一個完整的視頻幀。步驟320從AL2層的幀中取出接收到的視頻幀編號。步驟321檢測是否是接收到的第一個視頻幀，如果是就記錄下時間點。步驟322 檢測是否是接收到的最后一個視頻幀，如果是就記錄下時間點，并用該時間點減去接收第一個視頻幀的時間點獲得總接收時間。步驟323檢測當前收到的幀編號與上一次接收的幀編號相差是否大于1，如果大于1說明發生了掉幀，進行補幀處理，所補的幀數為當前視頻幀編號-上一次接收的視頻幀編號-1，所補的幀的內容就是將上一次收到的正確的視頻幀作為缺失的幀，所補的幀添加到視頻幀接收隊列的末尾。步驟3M使用H. 263解碼器對視頻幀進行解碼。步驟325判斷解碼器是否能解碼成功，如果解碼失敗則表示這是一個錯幀，進行補幀處理，將上次收到的正確的視頻幀作為缺失的幀添加到視頻幀接收隊列的末尾。步驟3 將解碼正確的視頻幀分別添加到視頻幀接收隊列末尾和非對齊視頻幀接收隊列末尾。步驟327將正確接收的視頻幀數加一。步驟3 調用修改后的PEVQ算法模塊，去掉參考幀序列與降級后的測試幀序列的模糊對齊步驟，直接對發送的視頻幀隊列和接收的對齊視頻幀隊列進行視頻質量MOS分值計算。步驟3 用H. 324M協議棧按照AL2適配層協議對從音頻邏輯信道接收到的音頻數據包進行解復用得到音頻幀。步驟330從AL2層的幀中取出接收到的音頻幀編號。步驟331檢測當前收到的幀編號與上一次接收的幀編號相差是否大于1，如果大于1說明發生了掉幀，進行補幀處理，所補的幀數為當前視頻幀編號-上一次接收的視頻幀編號-1，所補的幀的內容為靜音幀，所補的幀添加到音頻幀接收隊列的末尾。步驟332解碼一個音頻幀。步驟333檢測音頻解碼是否正確，如果有錯幀則進行補幀，添加一個靜音幀到音頻接收隊列的末尾。步驟334將解碼正確的音頻幀分別添加到音頻幀接收隊列末尾和非對齊視音頻幀接收隊列末尾。步驟335調用修改后的PESQ算法模塊，去掉參考幀序列與降級后的測試幀序列的模糊對齊步驟，直接對發送的音頻幀隊列和接收的對齊音頻幀隊列進行音頻質量MOS分值計算。步驟336使用記錄下的視頻發送總時間，填充avi文件頭的視頻流信息的dWcale字段，用總幀數填充dwRate字段，將發送的視頻幀隊列和音頻幀隊列合成發送的原始avi文件，以接收視頻幀的總時間填充avi文件頭的視頻流信息的ch^cale字段，用實際接收的正確幀數填充dwRate字段，將接收的未做補幀處理的非對齊視頻幀隊列和非對齊音頻幀隊列合成降級后的avi文件。步驟337分別為發送和接收的未做過補幀處理的非對齊音頻序列加上漏文件頭以生成漏文件。步驟 338使用收發的avi文件和漏文件調用AVET算法的音視頻同步評估模塊計算同步得分。 步驟339用對齊的視頻幀隊列的幀數減去非對齊的視頻幀隊列的幀數得到跳幀數，用跳幀數和總幀數計算出跳幀百分比，以此代替PEVQ算法中的跳幀百分比的模糊計算方法。步驟 340使用視頻MOS值、音頻MOS值、同步分值、跳幀百分比調用AVET算法的整體評估模塊計算視頻電話的整體客觀評估分值。步驟341使用接收的補幀后的視頻幀序列和發送的視頻幀序列進行視頻對比回放，使用接收的補幀后的音頻幀序列進行音視頻同步回放，讓測試人員進行主觀質量評估。 H. 324M協議沒有規定每次提交給協議棧處理的視頻幀是否完整，但要求每次都發送一個完整的音頻幀，本發明在發送端根據設定的速率以及協議信道的擁塞情況動態判斷視頻發送時間點，每次發送一個固定大小的視頻數據塊，而每隔20毫秒發送一個完整的音頻數據幀，每次接收端由協議棧的適配層協議單元保證上層處理模塊能夠從協議棧接收到完整的視頻幀和音頻幀。配置H. 324M協議棧參數時，保證視頻信道使用AL2協議單元，該協議單元中將為每個視頻幀帶上幀編號。由于H. 324M協議棧的音頻邏輯信道打開會早于視頻邏輯信道的打開，所以預先需要根據媒體信道打開的時間間隔為協議棧的音視頻同步參數skew設置一個經驗值，確保發送端的音頻幀和視頻幀在發送時是同步的。當接收端從H. 324M協議棧獲取到一個視頻幀時，要從協議棧中的AL2適配單元中提取出當前幀的編號，該編號從0開始，如果有掉幀情況發生，AL2協議將出現編號不連續情況，需要進行補幀處理。發送端每次取一幀RGBM格式的樣本圖像，使用H. 263編碼器對其編碼，記錄下編碼后的H. 263幀大小，并計算第一幀到當前幀的總大小，將這個總大小保存到一個數組中 (視頻幀尺寸累加數組)，數組的索引是該幀的編號，數組元素值就是第一幀到該幀的總大小。同時設立一個發送視頻幀隊列，將RGBM格式的樣本圖像加到發送隊列的末尾。將編碼后的幀送到一個發送緩沖區，每次根據指定的視頻發送速率結合協議信道的擁塞情況確定視頻發送時間點，從緩沖區取得固定大小的數據塊，將之送到H. 324M協議棧的視頻邏輯信道進行發送。每次發送數據塊時要計算已經發送的數據塊的總大小，用該大小查找視頻幀尺寸累加數組，取得正在發送的數據塊所屬的視頻幀的幀編號，如果是第一幀就記下發送第一幀的開始時間，如果是最后一幀則記下發送最后一幀完成的時間。接收端用當前接收的視頻幀編號減去上一個接收到的視頻幀編號，如果差值大于 1就進行補幀，所補的幀數為當前視頻幀編號-上一次接收的視頻幀編號-1，所補的幀的內容就是將上一次收到的正確的視頻幀作為缺失的幀，之所以選擇這種策略而不是填充全黑或全白的空白幀是因為PEVQ算法是一種客觀評估算法，其MOS評分是模擬人眼睛所看到的主觀感受給出的結果，所以客觀評估應該盡量接近人的主觀感受，當發生掉幀的時候， 連續播放的畫面將出現停止現象，畫面會停在上一次正確接收的那一幀上，直到再次收到一個正確的視頻幀時，畫面才會恢復，所以為了模擬這種主觀觀測的情況，本發明的補幀策略就是使用上次正確收到的幀來填充丟失的幀。接收端設立一個接收視頻幀的隊列，當收到一個完整的視頻幀的時候，將該幀進行解碼，如果解碼正確就將其加入到視頻幀隊列的末尾；如果解碼失敗就表示接收到一個錯幀，將視頻幀隊列末尾的最后一幀復制一次增加到隊列末尾；如果當前收到的幀解碼正確，并且編號與上次收到的幀編號相差N，N>1，按7中的策略進行補幀處理，將隊列末尾的幀復制N-I次增加到隊列末尾，然后再在隊列末尾增加當前接收的視頻幀；如果當前收到的幀解碼失敗，并且編號與上次收到的幀編號相差N，N>1，按7中的策略進行補幀處理，將隊列末尾的幀復制N次增加到隊列末尾。發送端每次取一幀20毫秒的PCM單聲道格式的樣本語音，使用AMR-NB編碼器對其編碼，將編碼后的幀送到H. 324M協議棧進行發送，同時設立一個發送音頻幀隊列，將 AMR-NB格式的樣本語音加到發送隊列的末尾。接收端用當前接收的音頻幀編號減去上一個接收到的音頻幀編號，如果差值大于 1就進行補幀，所補的幀數為當前音頻幀編號-上一次接收的音頻幀編號-1，所補的幀的內容是一個20毫秒的靜音幀，之所以選擇這種策略是因為PESQ算法是一種客觀評估算法，其MOS評分是模擬人耳朵所聽到到的主觀感受給出的結果，所以客觀評估應該盡量接近人的主觀感受，當發生掉幀的時候，連續播放的語音將出現靜音現象，直到再次收到一個正確的音頻幀時，聲音才會恢復，所以為了模擬這種主觀觀測的情況，本發明的補幀策略就是使用靜音幀。接收端設立一個接收音頻幀的隊列，當收到一個完整的音頻幀的時候，將該幀進行解碼，如果解碼正確就將其加入到音頻幀隊列的末尾；如果解碼失敗就表示接收到一個錯幀，向音頻幀隊列末尾增加一個20毫秒的靜音幀；如果當前收到的幀解碼正確，并且編號與上次收到的幀編號相差N，N>1，按前述策略進行補幀處理，向隊列末尾增加N-I個20毫秒靜音幀，然后再在隊列末尾增加當前接收的音頻幀；如果當前收到的幀解碼失敗，并且編號與上次收到的幀編號相差N，N>1，按前述策略進行補幀處理，向隊列末尾增加N個20毫秒靜音幀。視頻樣本接收完畢后，由于做了補幀處理，發送視頻幀隊列和接收視頻幀隊列此時已經是對齊狀態了，那么以發送隊列作為參考信號，接收隊列作為降級后的信號，使用 ITU-T Rec. J. 247中推薦的PEVQ算法計算視頻的MOS分值，具體計算方法參見ITU-T Rec. J. 247文檔的附錄B，由于在質量評估之前發送幀序列和接收幀序列已經進行了精確地對齊，所以在使用PEVQ算法的時候直接跳過初級時間對齊、初級亮度對齊、高級時間對齊、高級空間對齊和高級顏色對齊這幾步對齊操作，僅僅進行空間失真分析和時間失真分析，計算出一系列失真指示參數，將這些參數使用B. 1. 11. 2節的MOS計算公式得到MOS評分，同時也不必使用跳幀估計算法，直接由所補的視頻幀的數量作為精確地跳幀數，這樣既提高了 PEVQ評估算法的準確度又大大加快了算法的處理時間。音頻樣本接收完畢后，由于做了補幀處理，發送音頻幀隊列和接收音頻幀隊列此時已經是對齊狀態了，那么以發送隊列作為參考信號，接收隊列作為降級后的信號，使用 ITU-T Rec. P. 862中推薦的PESQ算法計算音頻的MOS分值，具體計算方法參見ITU-T Rec. P. 862文檔的10小節，由于在質量評估之前發送幀序列和接收幀序列已經進行了精確地對齊，所以在使用PESQ算法的時候直接跳過10. 1節中描述的等級和時間對齊預處理步驟，僅僅計算10. 2節中描述的PESQ評分的各個參數，然后對各個參數進行一個線性平均，從而得到PESQ評分，最后將PESQ評分映射到0至5的MOS分值。這樣既提高了 PESQ評估算法的準確度又大大加快了算法的處理時間。在發送視頻樣本的完成后，使用記錄下的發送最后一幀的完成后時間減去發送第一幀的開始時間得到總時間，根據發送最后一幀的編號作為總幀數，以總時間填充avi文件頭的視頻流信息的ch^cale字段，用總幀數填充dwRate字段，將發送的視頻幀隊列和音頻幀隊列合成發送的原始avi文件，在接收視頻幀的時候記錄下接收整個幀序列所用的時間和實際正確接收到的幀數，同時也保存一個沒有做過補幀處理的視頻幀序列和音頻幀序列，以接收視頻幀的總時間填充avi文件頭的視頻流信息的ch^cale字段，用實際接收的正確幀數填充dwRate字段，將接收的未做補幀處理的視頻幀隊列和音頻幀隊列合成降級后的avi文件，分別為發送和未做過補幀處理的接收的音頻序列加上WAV文件頭，將這四個文件輸入到移動集團設計院提供的AVET算法模塊的CalculateSyncScore接口中，從而得到音視頻的同步得分值，再以PESQ、PEVQ的MOS分值，同步分值，視頻跳幀百分比輸入到AVET 算法模塊的CalculateTotalScore接口中就可以得到一個視頻電話的整體質量評分。在音視頻樣本文件接收完成后，使用接收的補幀后的視頻幀序列和發送的視頻幀序列進行視頻對比回放，使用接收的補幀后的音頻幀序列進行音視頻同步回放，讓測試人員進行主觀質量評估。以上結合實例對本發明作了說明，應指出，本領域技術人員可以做出各種形式的和細節上的改變，而不偏離由所附權利要求所確定的本發明的精神和范圍。
權利要求
1. 一種全面評估3G視頻電話質量的方法，其特征在于 步驟(301)設置H. 324M協議棧的初始參數； 步驟(302)讀取視頻樣本文件，取出一幀RGBM格式的視頻幀； 步驟(303)將取得的RGBM格式的視頻幀添加到發送視頻幀隊列的末尾； 步驟(304)將RGBM格式的視頻幀編碼成H. 263格式的視頻幀； 步驟(305):記錄下編碼得到的H. 263格式的視頻幀的大小，并且計算從第一幀到當前幀的總大小，將這個總大小保存到一個數組中，數組的索引是該幀的編號，數組元素值就是第一幀到該幀的總大小；步驟(306)將編碼的視頻幀送入視頻發送緩沖區；步驟(307):根據設置的視頻發送速率定時從視頻發送緩沖區中獲取固定大小的數據塊，將數據塊送入H. 324M協議棧的視頻發送邏輯信道，由協議棧進行復用、組幀、編號發送；步驟(308)使用從視頻發送緩沖區中取出的數據塊的總大小查找步驟(305)中的數組，取得正在發送的數據塊所屬的視頻幀的幀編號；步驟(309):判斷當前是否在發送第一幀的第一個數據塊，如果是則記錄下發送的時間點。步驟(310):判斷當前是否在發送最后一幀的最后一個數據塊，如果是則記錄下發送時間點，用該時間減去第一幀開始發送的時間得到總發送時間，并記錄下最后一幀的編號作為總幀數；步驟(311)讀取音頻樣本文件，每次取出20毫秒的PCM格式的音頻幀； 步驟(312)將PCM格式的音頻幀添加到發送音頻幀隊列的末尾； 步驟(313)將PCM格式的音頻幀編碼為AMR-NB格式； 步驟(314)將編碼后的音頻幀送入音頻發送緩沖區步驟(315):每隔20毫秒從緩沖區中取一幀音頻幀送入H. 324M協議棧的音頻發送邏輯信道，由協議棧進行復用、組幀、編號發送； 步驟(316)記錄發送的音頻幀幀數； 步驟(317)將音視頻數據包通過電路交換信道發送； 步驟(318)從電路交換信道獲取音視頻數據包；步驟(319)用H. 324M協議棧按照AL2適配層協議對從視頻邏輯信道接收到的視頻數據包進行解復用組成一個完整的視頻幀；步驟(320)從AL2層的幀中取出接收到的視頻幀編號； 步驟(321)檢測是否是接收到的第一個視頻幀，如果是就記錄下時間點； 步驟(322)檢測是否是接收到的最后一個視頻幀，如果是就記錄下時間點，并用該時間點減去接收第一個視頻幀的時間點獲得總接收時間；步驟(323)檢測當前收到的幀編號與上一次接收的幀編號相差是否大于1，如果大于 1說明發生了掉幀，進行補幀處理；步驟(3M)使用H. 263解碼器對視頻幀進行解碼；步驟(325)判斷解碼器是否能解碼成功，如果解碼失敗則表示這是一個錯幀，進行補幀處理，將上次收到的正確的視頻幀作為缺失的幀添加到視頻幀接收隊列的末尾；步驟(3 )將解碼正確的視頻幀分別添加到視頻幀接收隊列末尾和非對齊視頻幀接收隊列末尾；步驟(327)將正確接收的視頻幀數加一；步驟(3 )調用視頻質量感知評估PEVQ算法模塊對發送的視頻幀隊列和接收的精確對齊視頻幀隊列進行視頻質量平均意向分數MOS分值計算；步驟(3 )用H. 324M協議棧按照AL2適配層協議對從音頻邏輯信道接收到的音頻數據包進行解復用得到音頻幀；步驟(330)從AL2層的幀中取出接收到的音頻幀編號；步驟(331)檢測當前收到的幀編號與上一次接收的幀編號相差是否大于1，如果大于 1說明發生了掉幀，進行補幀處理；步驟(332):解碼一個音頻幀；步驟(333):檢測音頻解碼是否正確，如果有錯幀則進行補幀，添加一個靜音幀到音頻接收隊列的末尾；步驟(334)將解碼正確的音頻幀分別添加到音頻幀接收隊列末尾和非對齊視音頻幀接收隊列末尾；步驟(335)調用音頻質量感知評估PESQ算法模塊對發送的音頻幀隊列和接收的對齊音頻幀隊列進行音頻質量平均意向分數MOS分值計算；步驟(336)合成收發音視頻混合avi文件；步驟(337)分別為發送和接收的未做過補幀處理的非對齊音頻序列加上wav文件頭以生成wav文件；步驟(338)使用收發音視頻混合avi文件和漏文件調用AVET (高級視頻評估工具) 算法的音視頻同步評估模塊計算同步得分；步驟(339):用對齊的視頻幀隊列的幀數減去非對齊的視頻幀隊列的幀數得到跳幀數， 用跳幀數和總幀數計算出跳幀百分比，以此代替PEVQ算法中的跳幀百分比的模糊計算方法；步驟(340):使用視頻MOS值、音頻MOS值、同步分值、跳幀百分比調用AVET算法的整體評估模塊計算視頻電話的整體客觀評估分值。
2.根據權利要求1所述的方法，其特征在于步驟(301)中所述初始參數為視頻信道速率，音頻信道速率，音視頻發送初始延時 skew,音視頻壓縮格式，樣本媒體文件路徑，適配層選擇。
3.根據權利要求1所述的方法，其特征在于在步驟(323)中所述的補幀處理進一步包括所補的幀數為當前視頻幀編號-上一次接收的視頻幀編號-1，所補的幀的內容就是將上一次收到的正確的視頻幀作為缺失的幀，所補的幀添加到視頻幀接收隊列的末尾。
4.根據權利要求1所述的方法，其特征在于步驟(331)中所述的補幀處理進一步包括所補的幀數為當前視頻幀編號-上一次接收的視頻幀編號-1，所補的幀的內容為靜音幀，所補的幀添加到音頻幀接收隊列的末尾。
5.根據權利要求1所述的方法，其特征在于步驟(3 )中所描述的對視頻質量感知評估PEVQ算法調用進一步包括去掉PEVQ算法中的參考視頻幀序列與降級后的測試視頻幀序列的模糊對齊處理步驟，直接使用視頻發送幀隊列作為參考視頻幀序列，使用補幀處理后的視頻接收幀隊列作為降級后的測試視頻幀序列，不使用PEVQ的跳幀百分比的模糊估計計算方法，直接使用步驟(339)計算精確的跳幀百分比。
6.根據權利要求1所述的方法，其特征在于步驟(335)中所描述的對音頻質量感知評估PESQ算法調用進一步包括去掉PESQ算法中的參考音頻幀序列與降級后的測試音頻幀序列的模糊對齊處理步驟，直接使用音頻發送幀隊列作為參考音頻幀序列，使用補幀處理后的音頻接收幀隊列作為降級后的測試音頻幀序列，代替模糊對齊步驟。
7.根據權利要求1所述的方法，其特征在于步驟(336)進一步包括使用記錄下的視頻發送總時間，填充avi文件頭的視頻流信息的dWcale字段，用總幀數填充dwRate字段，將發送的視頻幀隊列和音頻幀隊列合成發送的原始avi文件，以接收視頻幀的總時間填充avi文件頭的視頻流信息的ch^cale字段，用實際接收的正確幀數填充dwRate字段，將接收的未做補幀處理的非對齊視頻幀隊列和非對齊音頻幀隊列合成降級后的avi文件。
8.根據權利要求1所述的方法，其特征在于進一步包括步驟(341)使用接收的補幀后的視頻幀序列和發送的視頻幀序列進行視頻對比回放，使用接收的補幀后的音頻幀序列進行音視頻同步回放，讓測試人員進行主觀質量評估。
9.一種全面評估3G視頻電話質量的裝置，其特征在于，該裝置包括以下模塊測試控制模塊(201)，用于負責整個評估流程的總控和其他各模塊的協調功能；媒體編解碼模塊(202 )，用于在發送端將RGBM格式的視頻樣本文件編碼為H. 263格式的視頻幀，將PCM格式的音頻文件編碼為AMR-NB格式的音頻幀，在接收端對音視頻流進行解碼；視頻電話通信模塊(203)，用于利用H. 324M協議棧實際完成視頻電話的通信；幀序列對齊模塊(204)，用于在視頻通話的過程中完成對接收的音視頻的補幀處理，生成對齊后的收發視頻幀隊列、對齊后的收發音頻幀隊列、收發的非對齊音視頻混合avi文件和視頻的跳幀百分比；視頻電話質量評估模塊(205)，用于進行全面的視頻電話質量評估；視頻質量感知評估PEVQ算法模塊(208)，模塊(205)使用模塊(204)生成的對齊后的收發視頻幀隊列調用PEVQ算法模塊(208)得到視頻平均意向分數MOS評分；音頻質量感知評估PESQ算法模塊(207)，模塊(205)使用模塊(204)生成的對齊后的收發音頻幀隊列調用PESQ算法模塊(207)得到音頻的平均意向分數MOS評分；高級視頻質量評估AVET算法模塊(209)，模塊(205)使用模塊(204)生成的收發非對齊音視頻混合avi文件，調用AVET算法模塊(209)得到音視頻同步評分，模塊(205)最后使用視頻MOS值、音頻MOS值、音視頻同步評分和跳幀百分比調用AVET算法模塊(209)得到視頻電話整體評分；測試結果顯示模塊(206)，用于顯示模塊(205)所得到的各種客觀質量評分，同時使用經過模塊(204)進行了補幀處理的接收的音視頻隊列進行回放，供測試人員主觀評估視頻電話質量。
全文摘要
本發明利用了H.324M協議棧的適配層AL2層能夠攜帶幀編號的特性，提出一種根據編號連續性檢測是否掉幀以及統計掉幀個數的方法，給出了視頻補幀和音頻補幀以及對錯幀的處理方法，對發送幀序列和接收幀序列的對齊，替換PEVQ(視頻質量感知評估)和PESQ算法(音頻質量感知評估)的非精確地對齊，使用對齊后的收發音視頻幀序列進行評估，這樣能大大提高原有算法的處理速度和準確性。利用H.324M協議棧發送速率可以提前設定和發送時間可以動態調整的特性，發送固定大小的音視頻數據來精確計算相關參數并合成精確非對齊音視頻AVI文件，利用AVET(高級視頻質量評估)算法精確地進行音視頻同步評估和視頻電話整體質量評估。
文檔編號H04N7/14GK102158881SQ20111010733
公開日2011年8月17日 申請日期2011年4月28日 優先權日2011年4月28日
發明者余勛林, 明慧芳, 魏凌云 申請人:武漢虹信通信技術有限責任公司