用于便攜式終端中的視頻電話的方法和裝置的制作方法

專利名稱：用于便攜式終端中的視頻電話的方法和裝置的制作方法
技術領域：
本發明通常涉及一種用于便攜式終端中的視頻電話的方法和裝置，更具 體地來說，涉及一種用于當在便攜式終端的視頻電話操作期間積存圖像幀時、 選擇性地顯示所積存的圖像幀以防止圖像幀的處理延遲的方法和裝置。
背景技術：
用作第三代(3G)移動通信系統的國際移動電信(IMT)-2000系統提供了全 球無線電話網絡，從而使許多用戶能夠通過便攜式電話進行全球無線通話。 諸如IMT-2000系統和通用移動電信系統(UMTS)等的寬帶碼分多址 (CDMA)(WCDMA)移動通信系統適用于高速數據傳輸，從而不僅提供語音電 話服務，而且還提供諸如因特網服務和視頻電話服務等的圖像服務。圖1A圖解說明了一種用于處理傳統便攜式終端中接收到的圖像幀的裝 置，而圖1B圖解說明了示出基于時間的接收到的幀數的圖。圖2A圖解說明 了一種用于處理傳統便攜式終端中累積接收到的圖像幀的裝置，而圖2B圖解 說明了示出基于時間的累積接收到的幀數的圖。通常，如圖1A所示，當在RX幀緩沖器101中接收到一個圖像幀107 之后，便攜式終端通過解碼器103解碼接收到的圖像幀107，并且在接收下 一個圖像幀之前將最后得到的圖像顯示在顯示單元105上。這樣，如圖1B 所示，便攜式終端在最長幀解碼/顯示時間內逐個處理接收到的圖像幀，從而 提供實時視頻電話服務。但是，由于便攜式終端中的調制解調器的CRC(循環冗余校驗)誤差和RX 數據率會導致放棄接收到的圖像數據，并且由于雙口 RAM(DPRAM)的實時上行鏈路/下行鏈路操作會導致不能以與對方終端相同的幀頻在便攜式終端 中存儲并處理接收到的圖像幀。因此，如圖2A所示，會將接收到的圖像幀積存在RX幀緩沖器201中。此外，盡管必須將高速處理器用于實時處理接收到的圖像數據，但是為 了降低成本，多大數傳統便攜式終端并未使用高速處理器。因此，傳統便攜 式終端不能適當地解碼并顯示接收到的圖像幀，從而導致諸如幀處理延遲和 累積延遲等的問題。例如，當如圖2B所示在RX幀緩沖器201中積存了兩個 或兩個以上接收到的圖像幀時，解碼器203和顯示單元205必須在用于解碼/ 顯示一個圖像幀的時間內解碼并顯示兩個或兩個以上積存的圖像幀207,這 將導致用于每個圖像幀的顯示時間變得非常短暫。而且，解碼器203可能會 在用于解碼/顯示一個圖像幀的時間內甚至不能處理一個圖像幀，這樣接收到 的圖像幀會繼續積存在RX幀緩沖器201中，從而導致連續的幀處理延遲。如上所述，接收到的圖像幀的數目根據解碼器中的情況以及幀處理時間 而改變，而顯示單元根據CPU占用情況而改變。因此，由于連續的幀處理延 遲會導致出現顯示延遲。此外，處理延遲會引起語音數據與圖像數據之間的 錯誤同步。發明內容本發明的目的就是實質上至少解決上述問題和/或缺陷，并且至少提供以 下優勢。因此，本發明的目的就是提供一種用于便攜式終端中的視頻電話的 方法和裝置。本發明的另 一 目的就是提供一種用于選擇性地顯示在便攜式終端的視頻 電話操作期間接收到的圖像幀的方法和裝置，從而減少幀處理時間。本發明的再一 目的就是提供一種用于選擇性地顯示在便攜式終端的視頻 電話操作期間接收到的圖像幀的方法和裝置，從而穩定便攜式終端的圖像解 碼器和顯示單元。根據本發明的一方面，用于便攜式終端中的視頻電話的方法包括以下步 驟當檢測到視頻電話事件時，解碼從視頻電話對方終端接收到的所有圖像 幀；確定是否在便攜式終端的緩沖器中積存接收到的圖像幀；以及當在緩沖 器中積存接收到的圖像幀時，僅選擇并顯示一部分解碼后的圖像幀。根據本發明的另一方面，用于便攜式終端中的視頻電話的裝置包括圖 像處理器，用于在檢測到視頻電話事件時，確定是否在便攜式終端的緩沖器 中積存從對方終端接收到的圖像幀，解碼所積存的圖像幀，并且根據幀處理 器所確定的數目選擇性地輸出解碼后的圖像幀；幀處理器，用于在檢測到視頻電話事件時，測量視頻電話系統資源以確定將不被顯示的圖像幀的數目； 和顯示單元，用于顯示從圖像處理器接收到的圖像幀。


根據以下結合附圖的詳細描述，本發明的以上和其他目的、特征和優點 將變得更加明白，其中圖1A圖解說明了一種用于處理在傳統便攜式終端中接收到的圖像幀的裝置；圖1B圖解說明了用于示出在傳統便攜式終端中、基于時間的接收到的幀 數的圖；圖2A圖解說明了一種用于處理在傳統便攜式終端中累積接收到的圖像 幀的裝置；圖2B圖解說明了用于示出在傳統便攜式終端中、基于時間的累積接收到 的幀數的圖；圖3是根據本發明的便攜式終端的方框圖；以及 圖4是示出了根據本發明的，用于處理在便攜式終端的視頻電話操作期 間所積存的圖像幀的過程的流程圖。
具體實施方式
以下將參照附圖描述本發明的優選實施例。在以下描述中未詳細描述已 知功能或構造，因為不必要的細節將混淆本發明。本發明提供一種方法和裝置，用于當在便攜式終端的視頻電話操作期間 積存圖像幀時，選擇性地顯示所積存的圖像幀以防止圖像幀的處理延遲。參見圖3,便攜式終端包括控制器300、攝像機302、圖像處理器304、 幀確定器306、顯示單元308、通信模塊310、語音處理器312、揚聲器314、 和麥克風316。控制器300處理并控制語音通信和數據通信。根據本發明，當發生視頻電話事件時，控制器300從通信模塊310接收圖像信號和每秒幀頻FRrem。te，
并且將接收到的圖像信號和接收到的幀頻FRrem。te分別輸出給圖像處理器304 和幀確定器306。攝像機302包括用于將在圖像拍攝期間感測到的光信號轉換成電信號的攝像機傳感器和用于將攝像機傳感器所感測的模擬圖像信號轉換成數字數據的信號處理器。攝像機302將數字圖像信號輸出給圖像處理器304。圖像處理器304也稱為圖像CODEC(編解碼器)。圖像處理器304以預定 方式編碼從攝像機302接收到的圖像信號，并且將編碼后的幀圖像數據解碼 成原始幀圖像數據。此外，圖像處理器304逐幀處理攝像機302的輸出圖像 信號以根據顯示單元308的特征和尺寸輸出最后得到的信號，并且將從控制 器300接收到的圖像信號解碼成原始圖像幀以在視頻電話操作期間將原始圖 像幀輸出給顯示單元308。尤其是圖像處理器304包括用于暫時存戶圖像幀 的緩沖器。圖像處理器304確定是否在緩沖器中積存從控制器300接收到的 圖像信號(即，從視頻電話對方終端接收到的圖像幀)。當在緩沖器中積存圖像 幀時，圖像處理器304將用于指示圖像幀的積存的信號(以下稱為幀積存指示 信號)輸出給幀確定器306。此后，圖像處理器304從幀確定器306接收將要 被跳過的圖像幀，即，將不被顯示的圖像幀的數目NFskip(以下稱為幀跳越數 NF必p)以在解碼后的原始圖像幀之中選擇NFskip個圖像幀，并且僅將除了所選 擇的圖像幀之外的其余圖像幀輸出給顯示單元308。每當從控制器300接收到對方終端的每秒幀頻FRrem。te時，幀確定器306 將一秒除以幀頻FRrem。te(lsec/FRrem。te),從而計算必須處理一個圖像幀的最長 處理時間Tproessmax。此外，當發生視頻電話事件時，幀確定器306測量解碼 一個圖像幀要花費的平均解碼時間Tdec以及顯示解碼后的圖像幀要花費的平 均顯示時間Tdisp。此后，當從圖像處理器304接收到幀積存指示信號時，幀 確定器306測量積存在圖像處理器304的緩沖器中的圖像幀的數目NFdec，計 算處理所積存的全部圖像幀要花費的總處理時間(NFdec x (Tdee+Tdisp))，并且計 算超過最長處理時間Tpr。ess—m肌要額外花費的過量處理時間(T。ve尸NFdecx (Tdec+Tdisp)-Tpraess—max)。之后，幀確定器306將過量處理時間除以平均顯示時間(T。ver/Tdisp)以計算幀跳越數NFskip,并且將計算出的圖像跳越數發送給圖像 處理器304。選擇性地，也可以通過將總處理時間(NFdeeX(Tdec+Tdisp))減去必 須處理所積存的圖像幀的最長總處理時間(NFdec x Tproess— ^)來確定過量處理時間T。ver。
顯示單元308顯示在便攜式終端的操作期間生成的預定數目的特征 (characters)和狀態信息。具體來說，顯示單元308顯示從根據本發明的圖像 處理器304接收到的圖像幀。通信模塊310 TX/RX處理通過天線(未示出)發送/接收的射頻(RF)信號。 例如，通信模塊310將基帶信號轉換成RF信號，并且通過天線發送該RF信 號，其中通過執行信道編碼并擴展(spreading on)將要發送的信號來獲得所述 基帶信號。此外，通信模塊310將接收到的RF信號轉換成基帶信號，并且 對接收到的數據進行去擴展(despreading)和信道解碼，從而恢復原始數據。具 體來說，根據本發明，通信模塊310從視頻電話對方終端接收圖像信號和每秒幀頻FRr加。te，并且將其提供給控制器300。每秒幀頻FR,。te在視頻電話操 作期間會改變。因此，每當每秒幀頻FFRrem。te改變時，通信模塊310接收每秒幀頻FR,。te,并將其提供給控制器300。語音處理器312也稱為語音CODEC。語音處理器312通過揚聲器314 和麥克風316I/0處理語音信號。例如，語音處理器312將從控制器300接收 到的脈碼調制(PCM)數據轉換成模擬音頻信號，并且將模擬音頻信號輸出給 揚聲器314。此外，語音處理器312將從麥克風316接收到的音頻信號轉換 成PCM數據，并將PCM數據提供給控制器300。圖4是圖解說明了根據本發明的，用于處理在便攜式終端的視頻電話操 作期間所積存的圖像幀的過程的流程圖。參見圖4，便攜式終端在步驟401中確定是否啟動視頻電話模式。當啟 動視頻電話模式時，便攜式終端在步驟403中解碼并顯示接收到的圖像幀， 并且測量視頻電話系統的資源。視頻電話系統的資源是對方終端的每秒幀頻 FRrem。te、必須處理一個圖像幀的最長處理時間Tproess—max、解碼一個圖像幀要 花費的平均解碼時間Tdec、和顯示一個圖像幀要花費的平均顯示時間Tdisp。可以通過將一秒除以每秒幀頻FRre雄e來得到最長處理時間Tproess—腿。在步驟405中，便攜式終端確定在緩沖器中是否積存有從對方終端接收 到的圖像幀。如果沒有，處理返回至步驟403;如果有，處理進入步驟407。在步驟407中，便攜式終端解碼所積存的全部圖像幀，測量所積存的圖 像幀的數目，并且使用測量出的視頻電話系統資源來確定幀跳越數NFskip。可 以通過計算超過最長處理時間Tpr。ess_max要額外花費的過量處理時間(T。ve「NFdec X (Tdec+Tdisp)-Tpr。ess—應)，并將過量處理時間T。ver除以平均顯示時間T—(T。ver/Tdisp)來獲得幀跳越數NFskip。此外，因為每個圖像幀都與前一個圖像 幀以及下一個圖像幀密切相關，所以為了正確解碼圖像幀，還需要前一個圖 像幀。因此，必須解碼所有接收到的圖像幀。在步驟409中，便攜式終端在解碼后的圖像幀之中選擇NF鄉個圖像幀。 在步驟411中，便攜式終端在顯示單元308上顯示除了所選擇的圖像幀之外 的其余圖像幀。此后，處理結束。本發明的替換實施例也可以包括計算機可讀介質上的計算機可讀碼。計 算機可讀介質包括任何可以存儲能被計算機系統讀取的數據的數據存儲設 備。計算機可讀介質的例子包括磁存儲介質(諸如ROM、軟盤、和硬盤)、光 記錄介質(諸如CD-ROM或DVD)、和諸如載波(諸如通過因特網的傳輸)等的 存儲機構。也可以在網絡連接的計算機系統上分布計算機可讀介質，從而以 分布的方式存儲并執行計算機可讀碼。而且，可以通過本發明所屬領域的普 通編程員來分析用于實現本發明的函數式程序、代碼、和代碼段。如上所述，當在便攜式終端的視頻電話操作期間積存了從對方終端接收 到的圖像幀時，本發明選擇性地顯示所積存的圖像幀，從而防止圖像幀的處 理延遲。因此，可以穩定便攜式終端的圖像解碼器的CPU占用率。盡管已參照本發明的某些優選實施例示出和描述了本發明，本領域的技 術人員應當理解，在不背離所附權利要求所限定的本發明的精神和范圍的情 況下，可以進行各種形式和細節上的改變。
權利要求
1.一種用于便攜式終端中的視頻電話的方法，所述方法包括以下步驟解碼從視頻電話對方終端接收到的所有圖像幀；確定是否在便攜式終端的緩沖器中積存接收到的圖像幀；以及當在緩沖器中積存了接收到的圖像幀時，僅選擇并顯示一部分解碼后的圖像幀。
2. 如權利要求l所述的方法，進一步包括當檢測到視頻電話事件時， 測量視頻電話系統資源以選擇所述一部分解碼后的圖像幀。
3. 如權利要求2所述的方法，其中所述^L頻電話系統資源包括以下各項 中的至少一項對方終端的每秒幀頻、必須處理一個圖像幀的最長處理時間、 解碼一個圖像幀要花費的平均解碼時間、和顯示一個圖像幀要花費的平均顯 示時間。
4. 如權利要求l所述的方法，其中僅選擇并顯示一部分解碼后的圖像幀 包括確定將不被顯示的圖像幀的數目；在解碼后的圖像幀之中選擇所確定數目的圖像幀；以及顯示除了在解碼后的圖像幀之中所選擇的圖像幀之外的其余圖像幀。
5. 如權利要求4所述的方法，其中確定將不被顯示的圖像幀的數目包括 計算要處理所有積存在緩沖器中的圖像幀要花費的總處理時間；通過將計算出的總處理時間減去必須處理一個圖像幀的最長處理時間， 計算過量處理時間；以及將計算出的過量處理時間除以顯示一個圖像幀要花費的平均顯示時間， 從而確定將不被顯示的圖像幀的數目。
6. 如權利要求4所述的方法，其中確定將不被顯示的圖像幀的數目包括: 計算要處理所有積存在緩沖器中的圖像幀要花費的總處理時間；通過將計算出的總處理時間減去必須處理所積存的圖像幀的最長總處理 時間，計算過量處理時間；以及將計算出的過量處理時間除以顯示一個圖像幀要花費的平均顯示時間， 從而確定將不被顯示的圖像幀的數目。
7. 如權利要求5所述的方法，其中通過將解碼一個圖像幀要花費的平均 解碼時間與顯示一個圖像巾貞要花費的平均處理時間之和乘以所積存的圖像幀 的數目，計算要處理所有積存在緩沖器中的圖像幀要花費的總處理時間。
8. 如權利要求6所述的方法，其中通過將解碼一個圖像幀要花費的平均 解碼時間與顯示一個圖像幀要花費的平均處理時間之和乘以所積存的圖像幀的數目，計算要處理所有積存在緩沖器中的圖像幀要花費的總處理時間。
9. 一種用于便攜式終端中的視頻電話的裝置，所述裝置包括圖像處理器，用于確定是否在便攜式終端的緩沖器中積存從對方終端接 收到的圖像幀，解碼所積存的圖像幀，并且根據幀確定器所確定的數目選擇 性地輸出解碼后的圖像幀；幀確定器，用于當在緩沖器中積存了圖像幀時，測量視頻電話系統資源 以確定將不被顯示的圖像幀的數目；和顯示單元，用于顯示從圖像處理器接收到的圖像幀。
10. 如權利要求8所述的裝置，其中為了選擇性地輸出解碼后的圖像幀， 圖像處理器在解碼后的圖像幀之中選擇預定數目的圖像幀，并且輸出除了在 解碼后的圖像幀之中所選擇的圖像幀之外的其余圖像幀。
11. 如權利要求8所述的裝置，其中所述^(L頻電話系統資源包括以下各 項中的至少一項對方終端的每秒幀頻、必須處理一個圖像幀的最長處理時 間、解碼一個圖像幀要花費的平均解碼時間、和顯示一個圖像幀要花費的平 均顯示時間。
12. —種用于視頻電話的便攜式終端，所述便攜式終端包括圖像處理器，用于確定是否在便攜式終端的緩沖器中積存接收到的圖像 幀，并且用于解碼所積存的圖像幀；和幀確定器，用于在解碼后的圖像幀中確定將不被輸出的圖像幀。
13. 如權利要求12所述的便攜式終端，其中所述幀確定器測量視頻電話 系統資源，從而在解碼后的圖像幀之中確定將不被輸出的圖像幀。
14. 如權利要求12所述的便攜式終端，其中所述視頻電話系統資源包括 以下各項中的至少一項對方終端的每秒幀頻、必須處理一個圖像幀的最長 處理時間、解碼一個像幀要花費的平均解碼時間、和顯示一個圖像幀要花 費的平均顯示時間。
15. —種用于便攜式終端中的視頻電話的方法，所述方法包括以下步驟 確定是否在便攜式終端的緩沖器中積存接收到的圖像幀； 解碼所積存的圖像幀；以及在解碼后的圖像幀之中確定將不被輸出的圖像幀。
16. —種用于視頻電話的便攜式終端，所述便攜式終端包括確定裝置，用于確定是否在便攜式終端的緩沖器中積存接收到的圖像幀；解碼裝置，用于解碼所積存的圖像幀；和確定裝置，用于在解碼后的圖像幀之中確定將不被輸出的圖像幀。
17. —種其上記錄有用于便攜式終端中的視頻電話的程序的計算機可讀 記錄介質，包括第一代碼段，用于確定是否在便攜式終端的緩沖器中積存接收到的圖像幀；第二代碼段，用于解碼所積存的圖像幀；和第三代碼段，用于在解碼后的圖像幀中確定將不被輸出的圖像幀。
全文摘要
提供一種用于便攜式終端中的視頻電話的方法和裝置。在所述方法中，當檢測到視頻電話事件時，解碼從視頻電話對方終端接收到的所有圖像幀。此后，確定是否在便攜式終端的緩沖器中積存接收到的圖像幀。然后，當在緩沖器中積存了接收到的圖像幀時，僅選擇并顯示一部分解碼后的圖像幀。
文檔編號H04N7/14GK101119491SQ200710138218
公開日2008年2月6日 申請日期2007年7月31日 優先權日2006年7月31日
發明者樸鐘喆, 李熙永, 鄭旭炫, 鄭鎮宇 申請人:三星電子株式會社