專利名稱：一種能動態分析與顯示多維細粒度業務參量的多媒體終端的制作方法
技術領域：
本實用新型屬于嵌入式多媒體網絡通信的技術領域，具體涉及一種能動態分 析與顯示多維細粒度業務參量的多媒體終端。
背景技術：
隨著寬帶通信技術的迅速發展，用戶對通信的需求也不僅限于對語音和文字 的需求，而對視頻業務更感興趣。于是，集文字、音頻、視頻于一身的多媒體終 端越來越多，如可視電話、視頻會議終端等。但是目前市場上的產品都是面向普 通用戶設計的，其功能都定義在用戶使用層面，能提供個性化服務的產品少之又 少。科研和實驗教學經常需要具備特殊功能的通信平臺，最重要的需求就是在平 臺上完成深層次通信功能解析、多維度數據測試、可視化實時顯示。
市場上現有的多媒體終端如圖l所示，包括中央處理器部分、音頻部分、視 頻部分、通信部分、人機交互部分。其中人機交互部分有以下不足該部分電路 設計較為簡單， 一般包括一個鍵盤、 一個顯示器，但其鍵盤連接中央處理器CPU 的若干I/0引腳，占用資源多，鍵值設計簡單，并且不能進行漢字輸入、業務參 量統計等，所以此多媒體終端只能完成一般的音視頻通信功能，并不能提供良好 的人機接口，保證較好的服務質量。
IP網絡多媒體通信不同于傳統公共網絡通信，功能和運行環境復雜，業務 質量受多種條件影響，同時，不同類型的業務對網絡服務有截然不同的要求。因 此，需要對多媒體終端進行重新設計，實現一種能對業務進行細粒度劃分，能對 每種運行業務的動態特性做多維度檢測，并能夠實時友好的顯示多維信息的通信 平臺。科研和教學人員可以在此平臺上分析、評價多媒體業務的性能、估計網絡 的擁塞程度、分析信道的動態特性。
實用新型內容
本實用新型所要解決的技術問題是提供一種能動態分析與顯示多維細粒度 業務參量的多媒體終端，向用戶提供全面、透明、實時的多媒體通信特性。其中 多維是指通過多個參量來全面描述業務的特性，細粒度是指對每種業務進行細致 劃分，并分別進行參量統計與分析。
為解決上述問題，本實用新型所采用的技術方案為提供一種多媒體終端，
如圖2，它是此多媒體終端的系統硬件結構框圖，包括DSP中央處理器部分、音
頻部分、視頻部分、通信部分、人機交互部分。
DSP中央處理器部分包括數字信號處理器DM642、兩片存儲器SDRAM、 閃存FLASH及FPGA邏輯電路。其中，數字信號處理器DM642通過GPIO(General Purpose IZO)口與FPGA邏輯電路連接，兩片存儲器SDRAM連接數字信號處理 器DM642，閃存FLASH連接數字信號處理器DM642, FPGA邏輯電路分別連 接數字信號處理器DM642和視頻部分的視頻D/A芯片SAA7105。
音頻部分包括音頻AD/DA芯片AIC23、麥克和揚聲器。麥克和揚聲器分別 與音頻AD/DA芯片AIC23的麥克輸入端和線性輸出端連接，音頻AD/DA芯片 AIC23與數字信號處理器DM642連接。
視頻部分包括視頻A/D芯片SAA7115、 D/A芯片SAA7105、攝像頭、顯示 器。視頻A/D芯片SAA7115與數字信號處理器DM642連接，攝像頭與A/D芯 片SAA7115的復合輸入端連接；視頻D/A芯片SAA7105與DSP中央處理器部 分的FPGA連接，顯示器經VGA(Video Graphics Array)輸出與D/A芯片SAA7105 連接。
通信部分包括以太網接口模塊、RS232電平轉換模塊、串口模塊。以太網接 口模塊連接DSP中央處理部分的數字信號處理器DM642; RS232電平轉換模塊 分別連接串口模塊和DSP中央處理器部分的FPGA;串口模塊連接RS232電平 轉換模塊。人機交互部分包括鍵盤、顯示器。所述的顯示器，為計算機顯示器，通過 VGA接口與多媒體終端連接，用于顯示視頻、菜單和多媒體業務參量信息。所 述的鍵盤，是基于DM642的GPIO設計的擴展鍵盤，包括4x6鍵盤陣列和芯片 ZLG7290。 4x6鍵盤陣列連接芯片ZLG7290;芯片ZLG7290連接DSP中央處理 部分的數字信號處理器DM642。鍵盤的具體連接方式詳見實施例1。
本實用新型的有益效果是，用戶使用此多媒體終端時不僅可以進行文字、音 頻、視頻通信，而且能通過鍵盤選擇性地監測多媒體業務的多維參量，對業務進 行細粒度深層次分析；參量數據在顯示器的人機界面上實時顯示、直觀明了，動 態反映了業務的服務質量，從而估計網絡性能與信道特性，做出合理的改進措施。
圖1是現有多媒體終端的結構框圖。
圖2是本實用新型多媒體終端的系統硬件結構框圖。
圖3是本實用新型多媒體終端的鍵盤模塊設計框圖。
圖4是本實用新型多媒體終端的鍵盤鍵值定義示意圖
圖5是本實用新型多媒體終端各業務通信模塊框圖。
圖6是本實用新型多媒體終端視頻信號的傳輸及參量統計框圖。
圖7是本實用新型多媒體終端的使用示意圖。
具體實施方式
以下結合附圖和實施例對本實用新型進一步說明。
實施例1結合圖2、圖3說明本實用新型多媒體終端的系統硬件結構、鍵 盤模塊和數字信號處理器DM642間的連接關系。
圖2中，數字信號處理器DM642、兩片存儲器SDRAM、 FLASH及FPGA 邏輯電路構成DSP中央處理器部分。這部分為整個終端電路的核心，負責整體控制、計算、邏輯、通信協議的實現、視頻數據的壓縮/解壓縮的實現、音頻、 視頻、文字處理算法的實現等。其中，處理器采用Ti公司推出的數字信號處理 器DM642，其主頻高達600MHZ，處理速度高達4.8億條指令每秒，保證了視頻 通信時的高處理速度；每片存儲器SDRAM的容量為16MB，兩片共32MB; FLASH用于存儲靜態程序和數據；FPGA邏輯電路實現了以DM642為核心的整 個終端電路的邏輯變換和控制，使多媒體終端的功能更完善。
圖2中，由音頻AD/DA芯片AIC23、麥克和揚聲器構成本實用新型的音頻
部分實現了音頻的實時采集與播放。
圖2中，由視頻A/D芯片SAA7115、 D/A芯片SAA7105、攝像頭、顯示器
構成本實用新型的視頻部分，實現了視頻的實時采集與播放。
圖2中，由以太網接口模塊、RS232電平轉換模塊、串口模塊構成本實用新 型的通信部分。其中以太網接口模塊能夠完成文字、音頻、視頻數據的以太網傳 輸，串口模塊用于進行串行通信，RS232電平轉換模塊用于232電平轉換。
圖2中，人機交互部分包括鍵盤、顯示器。通過鍵盤可以進行命令、號碼、 漢字等輸入操作，顯示器提供實時、美觀的人機交互界面。所述的鍵盤是基于 DM642的GPIO設計的擴展鍵盤，包括4x6鍵盤陣列和芯片ZLG7290，如圖3 所示。其中4x6鍵盤陣列由兩組線交叉而成，一組為芯片ZLG7290的管腳DIG1、 DIG2、 DIG3、 DIG4，另一組為芯片ZLG7290的管腳SEGB、 SEGC、 SEGD、 SEGE、 SEGF、 SEGG;芯片ZLG7290的管腳SDA、 SCL、 INT、 GND、 VCC 分別與DSP中央處理器部分的數字信號處理器DM642的管腳SDA、 SCL、 GPI04、 GND、 VCC相連。此設計方法只占用了數字信號處理器DM642的一個 GPIO管腳，節省了大量GPIO資源，并采用中斷方式，掃描速度快。鍵盤模塊 通過中斷和I2C與數字信號處理器DM642進行通信和傳遞鍵值。鍵盤有按鍵時, INT引腳產生低電平信號，觸發DSP的硬件中斷，通過I2C總線讀取ZLG7290 鍵值寄存器里的鍵值。實施例2結合圖4說明鍵盤鍵值定義。
鍵盤一共有24個按鍵，分為三個功能區字符區、功能區和參量統計區。
(1) 字符區
圖4中左側三列為字符區，共12個按鍵。通過這些按鍵可以輸入"0" - "9" 的數字、"a" - "z"的字母、"刪除"及"發送"，這些鍵可以通過拼音進行漢字 輸入，定義各按鍵如下'
1鍵為ABC; 2鍵為DEF; 3鍵為GHI; 4鍵為JKL; 5鍵為MNO; 6鍵為
PQRS; 7鍵為TUV; 8鍵為WXYZ; 9鍵為"一"(空格)；0鍵為拼音輸入結束 鍵；*鍵為刪除鍵；#鍵為短信發送鍵，即將編輯好文字后按此鍵發送到對端。
(2) 功能區
圖4中右側兩列為功能區，共8個按鍵。通過這些按鍵可以進行漢字輸入控
制、菜單選擇等。定義各按鍵如下
Fl鍵為上翻頁鍵；F2鍵為下翻頁鍵；F3鍵為拼音輸入、字母輸入(大寫)、 字母輸入(小寫)、數字輸入、字符輸入切換鍵，即每按一次F3鍵將會切換到下 一狀態；F4鍵為換行鍵；Ml鍵為向上鍵；M2鍵為向下鍵；M3鍵為確定鍵； M4鍵為視頻全屏鍵。
(3) 參量統計區
圖4中最后一行為參量統計區，共4個按鍵。通過這些按鍵可以進行文字、
音頻、視頻業務的多維參量統計與分析，包括流量統計、視頻流量預測、丟包率、
時延抖動。定義各按鍵如下
Ql鍵為流量統計鍵，統計文字、音頻、視頻的業務吞吐量；Q2鍵為視頻流 量預測鍵，預測下一秒視頻的吞吐量；Q3鍵為丟包率鍵，統計音視頻的丟包率; Q4鍵為時延抖動鍵，統計音視頻的時延抖動。
實施例3結合圖5、圖6說明本實用新型多媒體終端根據業務進行劃分的 各業務通信模塊、視頻業務參量統計過程。
8圖5中，多媒體終端有文字、音頻、視頻三種業務(l)文字業務用戶通 過鍵盤進行文字輸入，產生硬件中斷后按鍵處理模塊對鍵值進行處理并產生漢 字，輸入完畢后送入文字發送模塊通過以太網發送，文字接收模塊從以太網收到 文字數據后通過顯示器顯示；(2)音頻業務音頻信號通過麥克輸入到音頻采集 模塊，送入音頻發送模塊通過以太網發送，音頻接收模塊從以太網接收到音頻數 據后送入給音頻播放模塊，最后通過耳機播放；(3)視頻業務視頻信號通過攝 像頭輸入到視頻采集模塊，送入視頻編碼模塊，編碼后送入視頻發送模塊通過以 太網發送，視頻接收模塊從以太網接收到視頻數據后送入給視頻解碼模塊，解碼 后送入視頻播放模塊，最后通過顯示器播放。
以視頻業務為例，圖6描述了兩個多媒體終端通信時視頻信號的傳輸以及多 維參量的分析與統計。圖6中終端A為發送端，終端B為接收端，箭頭方向為 視頻信號的流向。終端A通過攝像頭采集視頻，通過SAA7115芯片模數轉換后 送入SDRAM, DM642對視頻數據進行編碼、打包等處理后通過以太網發送給 終端B;終端B接收到數據包后送入SDRAM, DM642對視頻數據進行組包、 解碼，并根據數據包中的時間戳和序列號統計丟包率和時延抖動等參量，打成反 饋包定時發給終端A，同時統計視頻格式、幀率、流量、預測流量、I幀重傳數 等參量，與解碼后的視頻數據一起通過EDMA傳給SDRAM,再送入SAA7105 芯片進行數模轉換后，最后在顯示器實時顯示視頻和各業務參量。
多維業務參量信息包括信令部分和媒體部分。信令部分統計接通率與平均接 通時間；媒體部分分為文字、音頻和視頻三種業務。其中音頻業務統計的多維參 量有幀率、流量、預測流量、丟包率、時延抖動；視頻業務是主要關注的業務， 所以對其進行細粒度劃分，分為I幀信息、P幀信息，分別統計其幀率、流量、 預測流量、丟包數、時延抖動、重傳幀數，同時統計整體視頻流的幀率、流量、 預測流量、丟包率和時延抖動；對數據業務進行細粒度劃分，分為即時消息和文 件數據，即時消息對實時性要求較高，統計其流量、時延、誤碼率，文件數據對準確性要求較高，統計其流量與誤碼率。通過上述的對業務的多維細粒度描述和 測試，可以實現對多媒體業務的深層實時監測，并動態評估網絡性能與信道特性。
實施例4結合圖7說明本實用新型多媒體終端的使用。
本實用新型可以有若干個多媒體終端，通過網線連入因特網，每個多媒體終 端包括一個以DM642為核心的嵌入式板卡、 一個攝像頭、 一個耳機、 一個麥克 和一個顯示器。
下面是本實施例所述多媒體終端作為主叫方與另一多媒體終端進行通信時 的操作步驟
(1) 上電后，顯示開機畫面，等待用戶操作；
(2) 用戶通過鍵盤進行撥號，按呼叫按鈕后發起呼叫，如果呼叫失敗則耳機 播放忙音，如果呼叫成功，耳機中播放回鈴音，對方摘機后連接成功，用戶可以 通過耳機進行語音通信，同時顯示器顯示對端視頻畫面；
(3) 用戶掛機，呼叫結束，顯示器返回菜單畫面。 本實施例作為被叫方時的操作步驟如下
(1) 顯示器顯示有呼叫，同時耳機中播放振鈴音，提示用戶接聽；
(2) 用戶按呼叫按鈕后連接成功，用戶可以通過耳機進行語音通信，同時顯示 器顯示對端視頻畫面；
(3) 用戶掛機，呼叫結束，顯示器返回菜單畫面。
本實施例所述的多媒體終端不但可以向用戶提供文字、語音和視頻通信，還 可以在顯示器上實時動態監測文字、音頻、視頻業務的多維細粒度參量數據，進 而評估網絡性能與信道特性。
權利要求1、一種能動態分析與顯示多維細粒度業務參量的多媒體終端，結構有中央處理器部分、音頻部分、視頻部分、通信部分和人機交互部分，其特征在于，DSP中央處理器部分包括數字信號處理器DM642、兩片存儲器SDRAM、閃存FLASH和FPGA邏輯電路其中，數字信號處理器DM642通過GPIO口與FPGA邏輯電路連接，存儲器SDRAM和閃存FLASH都連接數字信號處理器DM642，FPGA邏輯電路分別連接數字信號處理器DM642和視頻部分的視頻D/A芯片SAA7105；音頻部分包括音頻AD/DA芯片AIC23、麥克和揚聲器麥克和揚聲器分別與音頻AD/DA芯片AIC23的麥克輸入端和線性輸出端連接，音頻AD/DA芯片AIC23與數字信號處理器DM642連接；視頻部分包括視頻A/D芯片SAA7115、D/A芯片SAA7105、攝像頭和顯示器視頻A/D芯片SAA7115與數字信號處理器DM642連接，攝像頭與A/D芯片SAA7115的復合輸入端連接；視頻D/A芯片SAA7105與DSP中央處理器部分的FPGA連接，顯示器經VGA輸出與D/A芯片SAA7105連接；通信部分包括以太網接口模塊、RS232電平轉換模塊和串口模塊以太網接口模塊連接DSP中央處理部分的數字信號處理器DM642；RS232電平轉換模塊分別連接串口模塊和DSP中央處理器部分的FPGA；串口模塊連接RS232電平轉換模塊；人機交互部分包括鍵盤和顯示器所述的顯示器，為計算機顯示器，通過VGA接口與多媒體終端連接；所述的鍵盤，包括4×6鍵盤陣列和芯片ZLG7290；4×6鍵盤陣列連接芯片ZLG7290；芯片ZLG7290連接DSP中央處理部分的數字信號處理器DM642。
2、 按照權利要求1所述的能動態分析與顯示多維細粒度業務參量的多媒體 終端，其特征在于，所述的4x6鍵盤陣列，由兩組線交叉而成； 一組為芯片 ZLG7290的管腳DIG1、 DIG2、 DIG3、 DIG4，另一組為芯片ZLG7290的管腳SEGB、 SEGC、 SEGD、 SEGE、 SEGF、 SEGG;芯片ZLG7290的管腳SDA、 SCL、INT、 GND、 VCC分別與DSP中央處理器部分的數字信號處理器DM642的管腳SDA、 SCL、 GPI04、 GND、 VCC相連。
3、按照權利要求1或2所述的能動態分析與顯示多維細粒度業務參量的多媒體終端，其特征在于，所述的4x6鍵盤陣列，鍵盤一共有24個按鍵，分為三個功能區字符區、功能區和參量統計區。
專利摘要本實用新型屬于嵌入式多媒體網絡通信的技術領域，具體涉及一種能動態分析與顯示多維細粒度業務參量的多媒體終端。本實用新型包括一個以DM642為核心的嵌入式板卡、一個攝像頭、一個顯示器、一個耳機和一個麥克。其中嵌入式板卡包括DSP中央處理器部分、音頻部分、視頻部分、通信部分和人機交互部分。人機交互部分的鍵盤基于數字信號處理器DM642的一個GPIO和芯片ZLG7290設計，靈活簡單、占用資源少，能輸入命令、字符、漢字。此終端向用戶提供了全面的、實時的、可視化的、個性化的業務參量數據，并對嵌入式多媒體終端的科研與開發提供了良好的參考信息，具有一定的實用價值。
文檔編號H04N17/00GK201409209SQ20092009324
公開日2010年2月17日 申請日期2009年3月23日 優先權日2009年3月23日
發明者吳偉剛, 李坤和, 王雅輝, 祝宇鴻, 籍風磊, 遲學芬, 顧海軍 申請人:吉林大學