專利名稱：視頻通話過程中實現屏幕交互的方法、系統及視頻通話終端的制作方法
技術領域：
本發明涉及到視頻通話領域，特別涉及到一種視頻通話過程中實現屏幕交互的方法、系統及視頻通話終端。
背景技術：
隨著通信技術的不斷發展，視頻通話已被越來越多移動用戶所使用。支持視頻通話的移動終端也在不斷地發展，由以往的物理鍵盤加上顯示屏的設計，漸漸被可觸摸大屏幕的操作界面所取代。同時，移動用戶對視頻通話的要求越來越高，現有視頻通話的圖像顯示尺寸已不再滿足需求，用戶要求更大尺寸的視頻通話。并且在現有視頻通話過程中，與通話對端交互仍然采用傳統數字按鍵進行，使得在交互中存在以下不足I、移動終端屏幕的大小本身有限制，且沒有物理鍵盤的手機越來越多，當在視頻通話中需要交互時，需要打開屏幕上的虛擬鍵盤進行輸入，且該虛擬鍵盤需要方便用戶使用，不能夠設計得太小，往往會占據整個屏幕一半或者更大的面積，因此在視頻通話中需要進行交互時，將出現通話的視頻顯示大幅縮小的情況；2、對于一些客服業務中的視頻通話來說，顯示的選項存在與鍵盤的對應關系，當根據對端視頻來選擇時，用戶存在按鍵選擇錯誤的可能性。因此，為用戶提供一種在視頻通話過程中提升交互便利性的方式成為亟待解決的問題。
發明內容
本發明的主要目的為提供一種視頻通話過程中實現屏幕交互的方法、系統及視頻通話終端，提升了視頻通話中與對端交互的便利性。本發明提出一種視頻通話過程中實現屏幕交互的方法，包括步驟視頻通話終端檢測用戶在視頻顯示區域的操作；將所述操作經過編碼后，發送至視頻對端；通過視頻對端進行解析并執行所述操作。優選地，所述視頻通話終端檢測用戶在視頻顯示區域的操作的步驟具體包括視頻通話終端在視頻顯示區域進行用戶操作的檢測，獲取操作的相關信息；所述相關信息包括操作以及操作坐標。優選地，所述視頻通話終端檢測用戶在視頻顯示區域的操作的步驟之前還包括視頻通話終端在建立視頻通話連接過程中，判斷視頻對端是否支持視頻顯示區域操作；當支持時，開啟視頻顯示區域操作功能。優選地，所述將所述操作經過編碼后，發送至視頻對端；通過視頻對端進行解析并執行所述操作的步驟具體包括將所述操作編碼生成RTP包，并將所述RTP包加入至RTP流中發送至視頻對端；通過視頻對端從所述RTP流中解析出所述操作并執行。本發明還提出一種視頻通話終端，包括檢測模塊，用于檢測用戶在視頻顯示區域的操作；編碼模塊，用于將所述操作經過編碼后，發送至視頻對端；通過視頻對端進行解析并執行所述操作。優選地，所述檢測模塊具體用于在視頻顯示區域進行用戶操作的檢測，獲取操作的相關信息；所述相關信息包括 操作以及操作坐標。優選地，所述視頻通話終端還包括判斷模塊，用于在建立視頻通話連接過程中，判斷視頻對端是否支持視頻顯示區域操作；當支持時，開啟視頻顯示區域操作功能。優選地，所述編碼模塊具體用于將所述操作編碼生成RTP包，并將所述RTP包加入至RTP流中發送至視頻對端；通過視頻對端從所述RTP流中解析出所述操作并執行。本發明另提出一種視頻通話過程中實現屏幕交互的系統，包括視頻通話終端以及視頻對端；所述視頻通話終端包括檢測模塊，用于檢測用戶在視頻顯示區域的操作；編碼模塊，用于將所述操作經過編碼后，發送至視頻對端；通過視頻對端進行解析并執行所述操作；所述視頻對端包括 執行模塊，用于解析并執行所述操作。優選地，所述執行模塊具體用于從RTP流中解析出所述操作并執行。本發明的視頻通話過程中實現屏幕交互的方法、系統及視頻通話終端，通過檢測視頻顯示區域的操作，從而實現視頻通話終端與視頻對端的交互，給用戶提供高便利性，且該交互過程不會影響視頻通話，比如視頻顯示區域的縮放等。
圖I是本發明視頻通話過程中實現屏幕交互的方法一實施例中的步驟流程示意圖；圖2是本發明視頻通話過程中實現屏幕交互的方法一實施例中的另一步驟流程示意圖；圖3是視頻顯示區域操作的RTP包格式示意圖；圖4是本發明視頻通話終端一實施例中的結構示意圖；圖5是本發明視頻通話終端一實施例中的另一結構示意圖；圖6是本發明視頻對端一實施例中的結構示意圖；圖7是本發明視頻通話過程中實現屏幕交互的系統一實施例中的結構示意圖。
本發明目的的實現、功能特點及優點將結合實施例，參照附圖做進一步說明。
具體實施例方式應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。參照圖1，提出本發明一種視頻通話過程中實現屏幕交互的方法的一實施例。該方法包括步驟10、視頻通話終端檢測用戶在視頻顯示區域的操作；步驟11、將所述操作經過編碼后，發送至視頻對端；通過視頻對端進行解析并執行所述操作。
當用戶通過視頻通話終端進行視頻通話時，用戶可在視頻通話終端屏幕上的視頻顯示區域進行操作，并將該操作進行編碼后發送至視頻對端(比如客服服務器)進行解析；該視頻對端即可執行解析后的操作，從而實現視頻通話終端與視頻對端的交互。所述操作包括點擊、拖動、多點點擊以及多點拖動等。上述視頻通話終端包括固定電話以及移動終端等。該視頻對端可包括客服服務器、固定電話以及移動終端等；當該視頻對端為固定電話或移動終端時，還可通過設置專用的操作解析服務器，對視頻通話終端發送的操作進行解析并指示視頻對端執行。該視頻對端設置有媒體處理功能、操作解析功能以及應用處理功能，可利用操作解析功能解析視頻通話終端發送編碼后的操作，然后通過應用處理功能進行邏輯處理，再利用媒體處理功能向視頻通話終端發送不同的媒體資料(比如視頻)。上述視頻通話過程中實現屏幕交互的方法，通過檢測視頻顯示區域的操作，從而實現視頻通話終端與視頻對端的交互，給用戶提供高便利性，且該交互過程不會影響視頻通話，比如視頻顯示區域的縮放等。參照圖2,上述步驟SlO之前還包括步驟S100、視頻通話終端在建立視頻通話連接過程中，判斷視頻對端是否支持視頻顯示區域操作；當支持時，進行步驟SlOl ;否則，結束流程；步驟S101、開啟視頻顯示區域操作功能。在該視頻通話終端與視頻對端建立視頻通話連接過程中，將設備是否支持視頻顯示區域操作附帶在本地媒體描述(SDP)中。該視頻通話終端在收到視頻對端應答的本地媒體描述后，判斷視頻對端是否支持視頻顯示區域操作，若支持則保存視頻顯示區域操作的承載類型編碼，并在視頻通話時開啟視頻顯示區域操作功能。由此視頻通話終端可在視頻通話前確定是否開啟視頻顯示區域操作功能，與視頻對端進行交互。上述步驟SlO具體包括視頻通話終端在視頻顯示區域進行用戶操作的檢測，獲取操作的相關信息；所述相關信息包括操作以及操作坐標。上述步驟Sll具體包括將所述操作編碼生成RTP包，并將所述RTP包加入至RTP流中發送至視頻對端；通過視頻對端從所述RTP流中解析出所述操作并執行。本實施例中上述視頻通話終端以移動終端(比如手機)為例；上述視頻對端以客服服務器為例，該客服服務器包括媒體服務器以及應用服務器。該媒體服務器具有媒體處理功能以及操作解析功能；該應用服務器具有應用處理功能。在視頻通話過程中，移動終端檢測用戶在視頻顯示區域的操作，比如點擊、拖動、多點點擊以及多點拖動等。并且在檢測到具體操作時，還需獲取該操作的操作坐標。如果當前視頻顯示坐標與原始視頻坐標不同的，還需將當前視頻顯示坐標轉換為原始視頻坐標。比如原始視頻大小為QCIF (Quarter common intermediate format,常用的標準化圖像格式)，顯示大小為176*144，而當前顯示的實際顯示大小為352*288，如果用戶點擊當前視頻顯示區域坐標為(2,2)點時,則轉換出來的原始坐標為(1,1)。然后，該移動終端將檢測的操作以及操作坐標等信息編碼為擴展RTP(Real-timeTransport Protocol,實時傳送協議)包,承載類型為上述視頻通話建立過程中協商成功的視頻顯示區域操作的承載類型編碼。參照圖3，該視頻顯示區域操作的RTP包格式中包括Rectl、Rect2以及Rect3。其中，該Rectl表示屏幕事件的承載類型編碼。該Rect2表示的是屏幕事件的具體信息，該Rect2包括DN、EVN、TR、RES、POINT. X以及POINT. Y，該DN表明當前點的序號，可用于多點觸控；該EVN表示事件類型，指明當前點擊事件的類型，如點 擊、拖動、多點點擊以及多點拖動等；該TR表示軌跡序號,如第一點為0,第二點為I,可用于記錄拖動軌跡；該RES為預留，暫不用；該POINT. X表示橫坐標，最大支持2047 ;該POINT. Y表示縱坐標，最大支持2047。該Rect3為原RFC2833事件號，此處不用，保留。上述移動終端將檢測到的用戶在視頻顯示區域的操作(如點擊、拖動等)編碼為媒體信號(RTP包)，然后隨著媒體流(RTP流)一同發給媒體服務器。該媒體服務端在接收到視頻顯示區域操作的RTP包后，根據承載類型以及時間戳解析出該視頻顯示區域操作，并將該視頻顯示區域操作發送給應用服務器。該應用服務器在收到該視頻顯示區域操作后，可具體執行，如視頻顯示區域操作為當點擊一個菜單項時，切換視頻播放下一個菜單；當視頻顯示區域操作為向下拖動時，切換下一張照片播放；具體的操作可以多種多樣，此處不再--列舉。上述視頻通話過程中實現屏幕交互的方法，通過視頻通話終端(移動終端)檢測視頻顯示區域操作并編碼為RTP包發送至視頻對端(客服服務器)，利用視頻對端進行解析并執行，完成視頻通話的交互，給用戶提供高便利性，且該交互過程不會影響視頻通話。參照圖4，提出本發明一種視頻通話終端的一實施例。該視頻通話終端20包括檢測模塊21，用于檢測用戶在視頻顯示區域的操作；編碼模塊22，用于將所述操作經過編碼后，發送至視頻對端；通過視頻對端進行解析并執行所述操作。當用戶通過視頻通話終端20進行視頻通話時，用戶可在視頻通話終端20屏幕上的視頻顯示區域進行操作，該檢測模塊21可檢測該操作并通過編碼模塊22進行編碼后發送至視頻對端(比如客服服務器)進行解析；該視頻對端即可執行解析后的操作，從而實現視頻通話終端20與視頻對端的交互。所述操作包括點擊、拖動、多點點擊以及多點拖動等。上述視頻通話終端20包括固定電話以及移動終端等。該視頻對端可包括客服服務器、固定電話以及移動終端等；當該視頻對端為固定電話或移動終端時，還可通過設置專用的操作解析服務器，對視頻通話終端20發送的操作進行解析并指示視頻對端執行。該視頻對端設置有媒體處理功能、操作解析功能以及應用處理功能，可利用操作解析功能解析視頻通話終端發送編碼后的操作，然后通過應用處理功能進行邏輯處理，再利用媒體處理功能向視頻通話終端發送不同的媒體資料(比如視頻)。上述視頻通話終端20，通過檢測視頻顯示區域的操作，從而實現視頻通話終端20與視頻對端的交互，給用戶提供高便利性，且該交互過程不會影響視頻通話，比如視頻顯示區域的縮放等。參照圖5，上述視頻通話終端20還包括判斷模塊23，用于在建立視頻通話連接過程中，判斷視頻對端是否支持視頻顯示區域操作；當支持時，開啟視頻顯示區域操作功能。在該視頻通話終端20與視頻對端建立視頻通話連接過程中，將設備是否支持視頻顯示區域操作附帶在本地媒體描述(SDP)中。該視頻通話終端20在收到視頻對端應答的本地媒體描述后，通過判斷模塊23判斷視頻對端是否支持視頻顯示區域操作，若支持則保存視頻顯示區域操作的承載類型編碼，并在視頻通話時開啟視頻顯示區域操作功能。由此視頻通話終端20可在視頻通話前確定是否開啟視頻顯示區域操作功能，與視頻對端進行交互。 上述檢測模塊21具體用于在視頻顯示區域進行用戶操作的檢測，獲取操作的相關信息；所述相關信息包括操作以及操作坐標。上述編碼模塊22具體用于將所述操作編碼生成RTP包，并將所述RTP包加入至RTP流中發送至視頻對端；通過視頻對端從所述RTP流中解析出所述操作并執行。參照圖6，上述視頻對端30包括執行模塊31，用于解析并執行所述操作。該執行模塊31具體用于從RTP流中解析出所述操作并執行。本實施例中上述視頻通話終端20以移動終端(比如手機)為例；上述視頻對端30以客服服務器為例，該客服服務器包括媒體服務器以及應用服務器。該執行模塊31具有操作解析功能以及應用處理功能；該操作解析功能以及應用處理功能分別設置與媒體服務器以及應用服務器上。該媒體服務器本身還具有媒體處理功能。在視頻通話過程中，移動終端通過檢測模塊21檢測用戶在視頻顯示區域的操作，比如點擊、拖動、多點點擊以及多點拖動等。并且在檢測到具體操作時，還需獲取該操作的操作坐標。如果當前視頻顯示坐標與原始視頻坐標不同的,還需將當前視頻顯示坐標轉換為原始視頻坐標。比如原始視頻大小為QCIF (Quarter common intermediate format,常用的標準化圖像格式)，顯示大小為176*144，而當前顯示的實際顯示大小為352*288，如果用戶點擊當前視頻顯示區域坐標為(2,2)點時,則轉換出來的原始坐標為(1,1)。
然后，該移動終端通過編碼模塊22將檢測的操作以及操作坐標等信息編碼為擴展RTP (Real-time Transport Protocol,實時傳送協議)包,承載類型為上述視頻通話建立過程中協商成功的視頻顯示區域操作的承載類型編碼。參照圖3，該視頻顯示區域操作的RTP包格式中包括ReCtl、ReCt2以及Rect3。其中，該Rectl表示屏幕事件的承載類型編碼。該Rect2表示的是屏幕事件的具體信息，該Rect2包括DN、EVN、TR、RES、P0INT. X以及POINT. Y，該DN表明當前點的序號，可用于多點觸控；該EVN表示事件類型，指明當前點擊事件的類型，如點擊、拖動、多點點擊以及多點拖動等；該TR表示軌跡序號,如第一點為0,第二點為1，可用于記錄拖動軌跡；該RES為預留，暫不用；該POINT. X表示橫坐標,最大支持2047 ;該POINT. Y表示縱坐標，最大支持2047。該Rect3為原RFC2833事件號，此處不用，保留。上述移動終端將檢測到的用戶在視頻顯示區域的操作(如點擊、拖動等)編碼為媒體信號(RTP包)，然后隨著媒體流(RTP流)一同發給媒體服務器。該媒體服務端在接收到視頻顯示區域操作的RTP包后，根據承載類型以及時間戳解析出該視頻顯示區域操作，并將該視頻顯示區域操作發送給應用服務器。該應用服務器在收到該視頻顯示區域操作后，可具體執行，如視頻顯示區域操作為當點擊一個菜單項時，切換視頻播放下一個菜單；當視頻顯示區域操作為向下拖動時，切換下一張照片播放；具體的操作可以多種多樣，此處不再—列舉。上述視頻通話終端20(移動終端)，通過檢測模塊21檢測視頻顯示區域操作，以及通過編碼模塊22將該視頻顯示區域操作編碼為RTP包發送至視頻對端30 (客服服務器)，利用視頻對端30進行解析并執行，完成視頻通話的交互，給用戶提供高便利性，且該交互過程不會影響視頻通話。參照圖7，提出本發明一種視頻通話過程中實現屏幕交互的系統的一實施例。該系統包括視頻通話終端20以及視頻對端30 ;所述視頻通話終端20包括檢測模塊21，用于檢測用戶在視頻顯示區域的操作；編碼模塊22，用于將所述操作經過編碼后，發送至視頻對端30 ;通過視頻對端進 行解析并執行所述操作；所述視頻對端30包括執行模塊31，用于解析并執行所述操作。本實施例中的視頻通話終端20以及視頻對端30如上述實施例中所述，在此不再贅述。上述視頻通話過程中實現屏幕交互的系統，通過視頻通話終端20 (移動終端)檢測視頻顯示區域操作并編碼為RTP包發送至視頻對端30 (客服服務器)，利用視頻對端30進行解析并執行，完成視頻通話的交互，給用戶提供高便利性，且該交互過程不會影響視頻通話。以上所述僅為本發明的優選實施例，并非因此限制本發明的專利范圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發明的專利保護范圍內。
權利要求
1.一種視頻通話過程中實現屏幕交互的方法，其特征在于，包括步驟 視頻通話終端檢測用戶在視頻顯示區域的操作； 將所述操作經過編碼后，發送至視頻對端；通過視頻對端進行解析并執行所述操作。
2.根據權利要求I所述的視頻通話過程中實現屏幕交互的方法，其特征在于，所述視頻通話終端檢測用戶在視頻顯示區域的操作的步驟具體包括 視頻通話終端在視頻顯示區域進行用戶操作的檢測，獲取操作的相關信息；所述相關信息包括操作以及操作坐標。
3.根據權利要求I或2所述的視頻通話過程中實現屏幕交互的方法，其特征在于，所述視頻通話終端檢測用戶在視頻顯示區域的操作的步驟之前還包括 視頻通話終端在建立視頻通話連接過程中，判斷視頻對端是否支持視頻顯示區域操作； 當支持時，開啟視頻顯示區域操作功能。
4.根據權利要求I或2所述的視頻通話過程中實現屏幕交互的方法，其特征在于，所述將所述操作經過編碼后，發送至視頻對端；通過視頻對端進行解析并執行所述操作的步驟具體包括 將所述操作編碼生成RTP包，并將所述RTP包加入至RTP流中發送至視頻對端；通過視頻對端從所述RTP流中解析出所述操作并執行。
5.一種視頻通話終端，其特征在于，包括 檢測模塊，用于檢測用戶在視頻顯示區域的操作； 編碼模塊，用于將所述操作經過編碼后，發送至視頻對端；通過視頻對端進行解析并執行所述操作。
6.根據權利要求5所述的視頻通話終端，其特征在于，所述檢測模塊具體用于 在視頻顯示區域進行用戶操作的檢測，獲取操作的相關信息；所述相關信息包括操作以及操作坐標。
7.根據權利要求5或6所述的視頻通話終端，其特征在于，所述視頻通話終端還包括 判斷模塊，用于在建立視頻通話連接過程中，判斷視頻對端是否支持視頻顯示區域操作；當支持時，開啟視頻顯示區域操作功能。
8.根據權利要求5或6所述的視頻通話終端，其特征在于，所述編碼模塊具體用于 將所述操作編碼生成RTP包，并將所述RTP包加入至RTP流中發送至視頻對端；通過視頻對端從所述RTP流中解析出所述操作并執行。
9.一種視頻通話過程中實現屏幕交互的系統，包括視頻通話終端以及視頻對端；其特征在于，所述視頻通話終端為權利要求5至8所述的視頻通話終端； 所述視頻對端包括 執行模塊，用于解析并執行所述操作。
10.根據權利要求9所述的視頻通話終端，其特征在于，所述執行模塊具體用于 從RTP流中解析出所述操作并執行。
全文摘要
本發明揭示了一種視頻通話過程中實現屏幕交互的方法、系統及視頻通話終端。該方法包括步驟視頻通話終端檢測用戶在視頻顯示區域的操作；將所述操作經過編碼后，發送至視頻對端；通過視頻對端進行解析并執行所述操作。本發明通過檢測視頻顯示區域的操作，從而實現視頻通話終端與視頻對端的交互，給用戶提供高便利性，且該交互過程不會影響視頻通話，比如視頻顯示區域的縮放等。
文檔編號H04N7/14GK102801951SQ20111013527
公開日2012年11月28日 申請日期2011年5月23日 優先權日2011年5月23日
發明者張治華, 肖颯, 萬艷華 申請人:中興通訊股份有限公司