實現多屏互動的方法及裝置的制造方法

實現多屏互動的方法及裝置的制造方法
【專利摘要】本發明涉及實現多屏互動的方法及裝置。所述方法包括：接收多屏發起終端發送的窗口截圖信息，所述窗口截圖信息包括窗口圖像、以及所述窗口圖像對應的窗口位置信息和時間戳；根據窗口位置信息和時間戳將接收到的多路窗口圖像繪制到緩存，得到對應的合成顯示畫面，所述合成顯示畫面中多路窗口圖像以分層形式呈現；向對應的顯示設備發送所述合成顯示畫面，以在所述顯示設備端顯示所述合成顯示畫面。本發明能夠在一臺顯示設備上同時顯示多臺多屏發起終端的窗口畫面，不存在由多屏發起終端的不同系統平臺導致的割裂問題。
【專利說明】
實現多屏互動的方法及裝置
技術領域
[0001]本發明涉及多屏互動技術領域，特別是涉及實現多屏互動的方法及裝置。
【背景技術】
[0002]多屏互動指的是在不同系統平臺設備上同時共享展示內容的技術。即幾種設備通過專門的連接設備連接之后，可在設備之間同時進行內容(音頻、視頻、圖片等文件)的展示、控制等操作。比如手機上的電影可以在電視上播放，平板、電腦上的圖片可以在電視上展示。
[0003]現有的多屏互動系統結構如圖1所示，手機、PC等多屏發起設備通過VGA(Videc)Graphics Array)方式與一個帶TV功能的Android系統設備(作為連接設備)連接，所述帶TV功能的Android系統設備還通過VGA方式與顯示器連接。通過該帶TV功能的Android系統設備，可實現將手機、PC等多屏發起設備端顯示的內容在同一臺顯示器上顯示。
[0004]基于現有多屏互動系統，其實質是在顯示器上顯示其他系統設備的整個屏幕畫面，并且還存在以下問題:
[0005]硬件成本高，需要擁有完整功能的Android主板的連接設備；以及，顯示器上顯示的是其他多屏發起設備的整個屏幕畫面，顯示器端存在由不同系統導致的割裂問題。

【發明內容】

[0006]基于此，本發明實施例提供一種實現多屏互動的方法及裝置，能夠在一臺顯示設備上同時顯示多臺多屏發起終端的窗口畫面，不存在由多屏發起終端的不同系統平臺導致的割裂問題。
[0007]本發明一方面提供一種實現多屏互動的方法，包括:
[0008]接收多屏發起終端發送的窗口截圖信息，所述窗口截圖信息包括窗口圖像、以及所述窗口圖像對應的窗口位置信息和時間戳；
[0009]根據窗口位置信息和時間戳將接收到的多路窗口圖像繪制到緩存，得到對應的合成顯示畫面，所述合成顯示畫面中多路窗口圖像以分層形式呈現；
[0010]向對應的顯示設備發送所述合成顯示畫面，以在所述顯示設備端顯示所述合成顯示畫面。
[0011 ]優選的，所述根據窗口位置信息和時間戳將接收到的多路窗口圖像繪制到緩存，得到對應的合成顯示畫面，包括:
[0012]提取接收到的每路窗口截圖信息包含的窗口圖像、窗口位置信息和時間戳，根據時間戳由近到遠的順序對多路窗口圖像進行排序，使其中時間戳越近的窗口圖像排序越
、廣.刖;
[0013]根據窗口位置信息以及排序前后依次繪制各路窗口圖像到緩存，得到對應的合成顯示畫面，其中，排序最前的窗口圖像呈現在所述合成顯示畫面的最頂層。
[0014]優選的，所述根據窗口位置信息以及排序前后依次繪制各路窗口圖像到緩存，得到對應的合成顯示畫面，包括:
[0015]解碼每路窗口圖像，得到對應的圖像數據;根據排序前后、窗口位置信息以及所述圖像數據依次繪制各路窗口圖像到緩存，得到對應的合成顯示畫面。
[0016]優選的，所述向對應的顯示設備發送所述合成顯示畫面，包括:
[0017]將所述合成顯示畫面存儲到預設的顯示隊列中，依次發送所述顯示隊列中的合成顯示畫面到對應的顯示設備。
[0018]優選的，所述窗口位置信息包括:對應的多屏發起終端的屏幕分辨率，以及被截圖的窗口在多屏發起終端屏幕中的位置坐標。
[0019]本發明還提供一種實現多屏互動的方法，包括:
[0020]監控多屏發起終端的活動窗口，根據窗口畫面、窗口尺寸及窗口位置判斷是否發生窗口切換；
[0021 ]確定發生窗口切換，對當前活動窗口進行截圖，得到對應的窗口圖像;并記錄截圖的時間信息，作為所述窗口圖像對應的時間戳，獲取當前活動窗口在多屏發起終端屏幕中的位置信息，作為所述窗口圖像對應的窗口位置信息；
[0022]向對應的混合設備發送所述多屏發起終端的窗口截圖信息，所述窗口截圖信息包括窗口圖像、對應的窗口位置信息以及時間戳。
[0023]優選的，所述向對應的混合設備發送所述多屏發起終端的窗口截圖信息，之前包括:
[0024]對得到的窗口圖像進行圖像編碼，所述窗口截圖信息中包含編碼后的窗口圖像信息。
[0025]優選的，還包括:建立多屏發起終端與混合設備之間的連接，以及在連接建立之后，在所述多屏發起終端的系統中安裝與所述混合設備對應的驅動程序；
[0026]所述監控多屏發起終端的活動窗口，根據活動窗口畫面、窗口尺寸及窗口位置判斷是否發生窗口切換，包括:
[0027]通過所述驅動程序監控多屏發起終端的活動窗口，若檢測到窗口畫面、窗口尺寸、窗口位置中至少一項發生變化，則判斷為發生窗口切換。
[0028]優選的，所述獲取當前活動窗口在多屏發起終端屏幕中的位置信息，包括:
[0029]獲取多屏發起終端的屏幕分辨率，以及當前活動窗口在多屏發起終端屏幕中的位置坐標。
[0030]本發明還提供一種實現多屏互動的裝置，包括:
[0031]圖像接收模塊，用于接收多屏發起終端發送的窗口截圖信息，所述窗口截圖信息包括窗口圖像、以及所述窗口圖像對應的窗口位置信息和時間戳；
[0032]圖像混合模塊，用于根據窗口位置信息和時間戳將接收到的多路窗口圖像繪制到緩存，得到對應的合成顯示畫面，所述合成顯示畫面中多路窗口圖像以分層形式呈現；
[0033]發送模塊，用于向對應的顯示設備發送所述合成顯示畫面，以在所述顯示設備端顯示所述合成顯示畫面。
[0034]優選的，所述圖像混合模塊包括:
[0035]信息提取子模塊，用于提取接收到的每路窗口截圖信息包含的窗口圖像、窗口位置信息和時間戳；
[0036]排序子模塊，用于根據時間戳由近到遠的順序對多路窗口圖像進行排序，使其中時間戮越近的窗口圖像排序越如;
[0037]混合子模塊，用于根據窗口位置信息以及排序前后依次繪制各路窗口圖像到緩存，得到對應的合成顯示畫面，其中，排序最前的窗口圖像呈現在所述合成顯示畫面的最頂層。
[0038]優選的，所述混合子模塊包括:
[0039]解碼單元，用于解碼每路窗口圖像，得到對應的圖像數據；
[0040]混合單元，用于根據排序前后、窗口位置信息以及所述圖像數據依次繪制各路窗口圖像到緩存，得到對應的合成顯示畫面。
[0041 ]優選的，所述發送模塊包括:
[0042]存儲子模塊，用于將所述合成顯示畫面存儲到預設的顯示隊列中；
[0043]發送子模塊，用于依次發送所述顯示隊列中的合成顯示畫面到對應的顯示設備。
[0044]優選的，所述窗口位置信息包括:對應的多屏發起終端的屏幕分辨率，以及被截圖的窗口在多屏發起終端屏幕中的位置坐標。
[0045]本發明還提供一種實現多屏互動的裝置，包括:
[0046]窗口監控模塊，用于監控多屏發起終端的活動窗口，根據窗口畫面、窗口尺寸及窗口位置判斷是否發生窗口切換；
[0047]窗口截圖模塊，用于確定發生窗口切換，對當前活動窗口進行截圖，得到對應的窗口圖像；以及用于記錄截圖的時間信息，作為所述窗口圖像對應的時間戳；以及用于獲取當前活動窗口在多屏發起終端屏幕中的位置信息，作為所述窗口圖像對應的窗口位置信息；
[0048]截圖發送模塊，用于向對應的混合設備發送所述多屏發起終端的窗口截圖信息，所述窗口截圖信息包括窗口圖像、對應的窗口位置信息以及時間戳。
[0049]優選的，所述截圖發送模塊，還用于在向對應的混合設備發送所述多屏發起終端的窗口截圖信息之前，對得到的窗口圖像進行圖像編碼。
[0050]優選的，所述的實現多屏互動的裝置還包括:連接模塊，用于建立多屏發起終端與混合設備之間的連接，以及在連接建立之后，在所述多屏發起終端的系統中安裝與所述混合設備對應的驅動程序；
[0051 ]所述窗口監控模塊，用于通過所述驅動程序監控多屏發起終端的活動窗口，若檢測到窗口畫面、窗口尺寸、窗口位置中至少一項發生變化，則判斷為發生窗口切換。
[0052]優選的，所述獲取當前活動窗口在多屏發起終端屏幕中的位置信息，包括:
[0053]獲取多屏發起終端的屏幕分辨率，以及當前活動窗口在多屏發起終端屏幕中的位置坐標。
[0054]上述技術方案，通過接收多屏發起終端發送的窗口截圖信息，所述窗口截圖信息包括窗口圖像、以及所述窗口圖像對應的窗口位置信息和時間戳;根據窗口位置信息和時間戳將接收到的多路窗口圖像繪制到緩存，得到對應的合成顯示畫面，所述合成顯示畫面中多路窗口圖像以分層形式呈現；向對應的顯示設備發送所述合成顯示畫面，以在所述顯示設備端顯示所述合成顯示畫面。本發明上述實施例的方案，能夠在一臺顯示設備上同時顯示多臺多屏發起終端的窗口畫面，不存在由多屏發起終端的不同系統平臺導致的割裂問題，提高了顯示器的利用率;并且實現的硬件成本低，以及解決了將多屏發起終端的整個屏幕畫面全部顯示到顯示設備上、導致顯示設備端存在畫面割裂的問題。
【附圖說明】
[0055]圖1為傳統多屏互動系統的示意圖。
[0056]圖2為一實施例的本發明方案的工作環境示意圖；
[0057]圖3為一實施例的實現多屏互動的方法的示意性流程圖；
[0058]圖4為一實施例的合成顯不畫面的不意圖；
[0059]圖5為另一實施例的實現多屏互動的方法的示意性流程圖；
[0060]圖6為一實施例的實現多屏互動的裝置的示意性結構圖；
[0061 ]圖7為另一實施例的實現多屏互動的裝置的示意性結構圖。
【具體實施方式】
[0062]為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。
[0063]圖2示出了本發明一實施例的工作環境示意圖，包括:至少兩個多屏發起終端100，多屏發起終端指的是，在多屏互動中可控制將本端屏幕顯示信息顯示到其他終端屏幕上的設備，以PC為例。每個多屏發起終端100可通過USB方式與預設的混合設備200連接，混合設備指的是，可由多路窗口圖像得到合成顯示畫面的中間設備，所述混合設備200可以有2個或更多個USB輸入口供多屏發起終端連接；所述混合設備200還通過VGA或者HDMI (HighDefinit1n Multimedia Interface，高清晰度多媒體接口)等方式連接一顯示設備300。各個多屏發起終端100均可通過所述混合設備200將其活動窗口畫面擴屏顯示到所述顯示設備 300。
[0064]結合圖2所示的示意圖，以下對實現多屏互動的方法及裝置的各實施例進行說明。
[0065]圖3為一實施例的實現多屏互動的方法的示意性流程圖；在該實施例中，是以該方法應用于所述混合設備為例進行說明。
[0066]如圖3所示，本實施例中的實現多屏互動的方法包括步驟:
[0067]Sll，接收多屏發起終端發送的窗口截圖信息，所述窗口截圖信息包括窗口圖像、以及所述窗口圖像對應的窗口位置信息和時間戳；
[0068]本實施例中的窗口位置信息包括:對應的多屏發起終端的屏幕分辨率，以及被截圖的窗口在多屏發起終端屏幕中的位置坐標。通過屏幕分辨率和屏幕中的位置坐標，可確定被截圖的窗口在多屏發起終端屏幕中的位置。
[0069]S12，根據窗口位置信息和時間戳將接收到的多路窗口圖像繪制到緩存，得到對應的合成顯示畫面，所述合成顯示畫面中多路窗口圖像以分層形式呈現；
[0070]該步驟的實現方式可包括:提取接收到的每路窗口截圖信息包含的窗口圖像、窗口位置信息和時間戳，根據時間戳由近到遠的順序對多路窗口圖像進行排序，使其中時間戳越近的窗口圖像排序越前。本實施例中，時間戳的近遠是以當前時間為參照，目的是使接收到的多路圖像中時間戳與當前時間距離越近的窗口圖像排序越前。然后，根據窗口位置信息以及排序前后依次繪制各路窗口圖像到緩存，得到對應的合成顯示畫面，其中，排序最前的窗口圖像呈現在所述合成顯示畫面的最頂層。
[0071]優選的，對接收到的兩路窗口圖像進行合成，得到的合成顯示畫面效果可參考圖4所示;其中，畫面I為多屏發起終端I的活動窗口畫面，畫面2為多屏發起終端2的活動窗口畫面，且多屏發起終端2的活動窗口畫面對應的窗口圖像的時間戳更近。
[0072]作為一優選實施方式，為了提高傳輸效率，步驟Sll中接收到的窗口圖像為經過編碼的圖像。對應的，在步驟S12中，首先需解碼每路窗口圖像，得到對應的圖像數據。例如，可采用h264(標準寫法應該是H.264，一種高度壓縮數字視頻編解碼器標準)解碼技術對每路窗口圖像進行解碼，得到每路窗口圖像對應的YUV流數據(把彩色圖像信號經分色，分別放大校正后得到RGB，再經過矩陣變換電路得到的、包含亮度信號Y和兩個色差信號B — Y(即U)、R—Y(即V)的數據)。然后根據排序前后、窗口位置信息以及所述圖像數據依次繪制各路窗口圖像到緩存，得到對應的合成顯示畫面。
[0073]S13，向對應的顯示設備發送所述合成顯示畫面，以在所述顯示設備端顯示所述合成顯示畫面。
[0074]優選的，可將得到的合成顯示畫面存儲到混合設備預設的顯示隊列中，按照隊列的先進先出原則依次發送所述顯示隊列中的合成顯示畫面到對應的顯示設備;并且，各路窗口圖像在顯示設備屏幕上的位置與對應多屏發起終端屏幕中的窗口位置相對應。
[0075]基于上述實施例的實現多屏互動的方法，下面給出了兩個實現多屏互動的應用場景:
[0076]場景I，用戶各自都帶著筆記本電腦去開會，會上需要把個人筆記本電腦上的內容顯示到一個大屏顯示器上。這時，可以將多臺的筆記本電腦連接到混合設備上，然后將混合設備連接到上述大屏顯示器上，基于此系統結構，在大屏顯示器便可同時對多臺的筆記本電腦的活動窗口進行顯示。進一步的，當某一筆記本電腦的活動窗口發現切換時，在大屏顯示器上則會將該次切換后的畫面顯示在最頂層，就像是在切換兩個程序窗口而已，實現了在多個窗口畫面之間任意切換的效果。
[0077]場景2，用戶各自帶著筆記本電腦去開會，會上有兩份文件需要向大家對比展示，但這兩份文件分別在不同用戶的電腦。這時，只要將兩臺電腦連接到混合設備，便可在大屏顯示器便同時對兩臺的筆記本電腦的文件進行展示;并且大屏顯示器上展示的各個文件窗口的位置與其在筆記本電腦屏幕上的位置對應。
[0078]通過上述實施例的實現多屏互動的方法，使用一個外置的混合設備將多個多屏發起終端的窗口畫面顯示在同一顯示設備上，實現成本低；同時，還可根據用戶操作實現顯示設備端的窗口切換。由此提高了顯示器的利用率，以及解決了將多屏發起終端的整個屏幕畫面全部顯示到顯示設備上、導致顯示設備端存在畫面割裂的問題。
[0079]圖5為另一實施例的實現多屏互動的方法的示意性流程圖；在該實施例中，是以應用于多屏發起終端為例進行說明。
[0080]如圖5所示，本實施例中的實現多屏互動的方法包括步驟:
[0081]S21，監控多屏發起終端的活動窗口，根據窗口畫面、窗口尺寸及窗口位置判斷是否發生窗口切換；
[0082]作為一優選實施方式，本步驟之前還包括建立多屏發起終端與混合設備之間的連接的步驟;參考圖2，所述連接可為USB連接。
[0083]此外，本實施例中在所述連接建立之后，在所述多屏發起終端的系統中自動安裝與所述混合設備對應的驅動程序;然后通過所述驅動程序監控多屏發起終端的活動窗口，根據活動窗口畫面、窗口尺寸及窗口位置判斷是否發生窗口切換。優選的，本實施例中若檢測到窗口畫面、窗口尺寸、窗口位置中至少一項發生變化，則判斷為發生窗口切換。
[0084]S22，確定發生窗口切換，對當前活動窗口進行截圖，得到對應的窗口圖像;并記錄截圖的時間信息，作為所述窗口圖像對應的時間戳，獲取當前活動窗口在多屏發起終端屏幕中的位置信息，作為所述窗口圖像對應的窗口位置信息；
[0085]確定發生窗口切換，所述驅動程序可控制對當前活動窗口進行截圖并緩存起來，記錄截圖的時間信息。如果活動窗口切換為其它窗口或者其尺寸、位置發送改變，所述驅動程序將再次控制進行窗口截圖。
[0086]優選的，本步驟中獲取當前活動窗口在多屏發起終端屏幕中的位置信息具體包括:獲取多屏發起終端的屏幕分辨率，以及當前活動窗口在多屏發起終端屏幕中的位置坐標。對應的，窗口圖像對應的窗口位置信息包括對應的多屏發起終端的屏幕分辨率，以及被截圖的窗口在多屏發起終端屏幕中的位置坐標。
[0087]S23，向對應的混合設備發送所述多屏發起終端的窗口截圖信息，所述窗口截圖信息包括窗口圖像、對應的窗口位置信息以及時間戳。
[0088]優選的，向對應的混合設備發送所述多屏發起終端的窗口截圖信息之前，還包括對得到的窗口圖像進行圖像編碼的步驟。對應的，所述窗口截圖信息中包含編碼后的窗口圖像信息。例如:采用h264編碼技術對活動窗口圖像進行圖像編碼，然后再和窗口位置信息以及時間戳一起傳輸，以減少通訊的數據量，提高通訊速度。
[0089]需要說明的是，對于前述的各方法實施例，為了簡便描述，將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本發明并不受所描述的動作順序的限制，因為依據本發明，某些步驟可以采用其它順序或者同時進行。
[0090]基于與上述實施例中的實現多屏互動的方法相同的思想，本發明還提供實現多屏互動的裝置，該裝置可用于執行上述實現多屏互動的方法。為了便于說明，實現多屏互動的裝置實施例的結構示意圖中，僅僅示出了與本發明實施例相關的部分，本領域技術人員可以理解，圖示結構并不構成對裝置的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件布置。
[0091]圖6為本發明一實施例的實現多屏互動的裝置的示意性結構圖；如圖6所示，本實施例的實現多屏互動的裝置包括:圖像接收模塊310、圖像混合模塊320以及發送模塊330，各模塊詳述如下:
[0092]上述圖像接收模塊310，用于接收多屏發起終端發送的窗口截圖信息，所述窗口截圖信息包括窗口圖像、以及所述窗口圖像對應的窗口位置信息和時間戳；
[0093]優選的，所述窗口位置信息包括:對應的多屏發起終端的屏幕分辨率，以及被截圖的窗口在多屏發起終端屏幕中的位置坐標。
[0094]圖像混合模塊320，用于根據窗口位置信息和時間戳將接收到的多路窗口圖像繪制到緩存，得到對應的合成顯示畫面，所述合成顯示畫面中多路窗口圖像以分層形式呈現；
[0095]發送模塊330，用于向對應的顯示設備發送所述合成顯示畫面，以在所述顯示設備端顯示所述合成顯示畫面。
[0096]作為一優選實施方式，所述圖像混合模塊320包括:
[0097]信息提取子模塊，用于提取接收到的每路窗口截圖信息包含的窗口圖像、窗口位置信息和時間戳；
[0098]排序子模塊，用于根據時間戳由近到遠的順序對多路窗口圖像進行排序，使其中時間戮越近的窗口圖像排序越如;
[0099]以及，混合子模塊，用于根據窗口位置信息以及排序前后依次繪制各路窗口圖像到緩存，得到對應的合成顯示畫面，其中，排序最前的窗口圖像呈現在所述合成顯示畫面的最頂層。例如:對兩路窗口圖像進行合成，得到的合成顯示畫面效果可參考圖4所示;其中，畫面I為多屏發起終端I的活動窗口畫面，畫面2為多屏發起終端2的活動窗口畫面，且多屏發起終端2的活動窗口畫面對應的窗口圖像的時間戳更近。
[0100]進一步的，所述混合子模塊可包括:
[0101]解碼單元，用于解碼每路窗口圖像，得到對應的圖像數據;例如，可采用h264(標準寫法應該是H.264，一種高度壓縮數字視頻編解碼器標準)解碼技術對每路窗口圖像進行解碼，得到每路窗口圖像對應的YUV流數據(把彩色圖像信號經分色，分別放大校正后得到RGB，再經過矩陣變換電路得到的、包含亮度信號Y和兩個色差信號B—Y(即U)、R—Y(即V)的數據)。
[0102]以及，混合單元，用于根據排序前后、窗口位置信息以及所述圖像數據依次繪制各路窗口圖像到緩存，得到對應的合成顯示畫面。
[0103]作為一優選實施方式，所述發送模塊310包括:
[0104]存儲子模塊，用于將所述合成顯示畫面存儲到預設的顯示隊列中；
[0105]以及，發送子模塊，用于依次發送所述顯示隊列中的合成顯示畫面到對應的顯示設備，以在所述顯示設備端顯示所述合成顯示畫面。
[0106]圖7為另一實施例的實現多屏互動的裝置的示意性結構圖；如圖7所示，本實施例的實現多屏互動的裝置可為電腦，該裝置包括:窗口監控模塊410、窗口截圖模塊420以及截圖發送模塊430，各模塊詳述如下:
[0107]上述窗口監控模塊410，用于監控多屏發起終端的活動窗口，根據窗口畫面、窗口尺寸及窗口位置判斷是否發生窗口切換；
[0108]上述窗口截圖模塊420，用于確定發生窗口切換，對當前活動窗口進行截圖，得到對應的窗口圖像；以及用于記錄截圖的時間信息，作為所述窗口圖像對應的時間戳；以及用于獲取當前活動窗口在多屏發起終端屏幕中的位置信息，作為所述窗口圖像對應的窗口位置信息；
[0109]本實施例中，所述獲取當前活動窗口在多屏發起終端屏幕中的位置信息，包括:獲取多屏發起終端的屏幕分辨率，以及當前活動窗口在多屏發起終端屏幕中的位置坐標。
[0110]上述截圖發送模塊430，用于向對應的混合設備發送所述多屏發起終端的窗口截圖信息，所述窗口截圖信息包括窗口圖像、對應的窗口位置信息以及時間戳。
[0111]作為一優選實施方式，所述截圖發送模塊430，還用于在向對應的混合設備發送所述多屏發起終端的窗口截圖信息之前，對得到的窗口圖像進行圖像編碼。例如:采用h264編碼技術對活動窗口圖像進行圖像編碼，然后再和窗口位置信息以及時間戳一起傳輸，以減少通訊的數據量，提高通訊速度。
[0112]作為一優選實施方式，所述實現多屏互動的裝置還可包括連接模塊，用于建立多屏發起終端與混合設備之間的連接，以及在連接建立之后，在所述多屏發起終端的系統中安裝與所述混合設備對應的驅動程序。對應的，所述窗口監控模塊310可通過所述驅動程序監控多屏發起終端的活動窗口，若檢測到窗口畫面、窗口尺寸、窗口位置中至少一項發生變化，則判斷為發生窗口切換。
[0113]需要說明的是，上述示例的各實現多屏互動的裝置的實施方式中，各模塊/單元之間的信息交互、執行過程等內容，由于與本發明前述方法實施例基于同一構思，其帶來的技術效果與本發明前述方法實施例相同，具體內容可參見本發明方法實施例中的敘述，此處不再贅述。
[0114]此外，上述示例的各實現多屏互動的裝置的實施方式中，各功能模塊的邏輯劃分僅是舉例說明，實際應用中可以根據需要，例如出于相應硬件的配置要求或者軟件的實現的便利考慮，將上述功能分配由不同的功能模塊完成，即將所述實現多屏互動的裝置的內部結構劃分成不同的功能模塊，以完成以上描述的全部或者部分功能。其中各功能模既可以采用硬件的形式實現，也可以采用軟件功能模塊的形式實現。
[0115]本領域普通技術人員可以理解，實現上述實施例方法中的全部或部分流程，是可以通過計算機程序來指令相關的硬件來完成，所述的程序可存儲于一計算機可讀取存儲介質中，作為獨立的產品銷售或使用。所述程序在執行時，可執行如上述各方法的實施例的全部或部分步驟。其中，所述的存儲介質可為磁碟、光盤、只讀存儲記憶體(Read-OnlyMemory，ROM)或隨機存儲記憶體(Random Access Memory，RAM)等。
[0116]在上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述的部分，可以參見其它實施例的相關描述。
[0117]以上所述實施例僅表達了本發明的幾種實施方式，不能理解為對本發明專利范圍的限制。應當指出的是，對于本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進，這些都屬于本發明的保護范圍。因此，本發明專利的保護范圍應以所附權利要求為準。
【主權項】
1.一種實現多屏互動的方法，其特征在于，包括: 接收多屏發起終端發送的窗口截圖信息，所述窗口截圖信息包括窗口圖像、以及所述窗口圖像對應的窗口位置信息和時間戳； 根據窗口位置信息和時間戳將接收到的多路窗口圖像繪制到緩存，得到對應的合成顯示畫面，所述合成顯示畫面中多路窗口圖像以分層形式呈現； 向對應的顯示設備發送所述合成顯示畫面，以在所述顯示設備端顯示所述合成顯示畫面。2.如權利要求1所述的實現多屏互動的方法，其特征在于，所述根據窗口位置信息和時間戳將接收到的多路窗口圖像繪制到緩存，得到對應的合成顯示畫面，包括: 提取接收到的每路窗口截圖信息包含的窗口圖像、窗口位置信息和時間戳，根據時間戳由近到遠的順序對多路窗口圖像進行排序，使其中時間戳越近的窗口圖像排序越前； 根據窗口位置信息以及排序前后依次繪制各路窗口圖像到緩存，得到對應的合成顯示畫面，其中，排序最前的窗口圖像呈現在所述合成顯示畫面的最頂層。3.如權利要求2所述的實現多屏互動的方法，其特征在于，所述根據窗口位置信息以及排序前后依次繪制各路窗口圖像到緩存，得到對應的合成顯示畫面，包括: 解碼每路窗口圖像，得到對應的圖像數據;根據排序前后、窗口位置信息以及所述圖像數據依次繪制各路窗口圖像到緩存，得到對應的合成顯示畫面。4.如權利要求1所述的實現多屏互動的方法，其特征在于，所述向對應的顯示設備發送所述合成顯示畫面，包括: 將所述合成顯示畫面存儲到預設的顯示隊列中，依次發送所述顯示隊列中的合成顯示畫面到對應的顯示設備。5.如權利要求1所述的實現多屏互動的方法，其特征在于，所述窗口位置信息包括:對應的多屏發起終端的屏幕分辨率，以及被截圖的窗口在多屏發起終端屏幕中的位置坐標。6.一種實現多屏互動的方法，其特征在于，包括: 監控多屏發起終端的活動窗口，根據窗口畫面、窗口尺寸及窗口位置判斷是否發生窗口切換； 確定發生窗口切換，對當前活動窗口進行截圖，得到對應的窗口圖像;并記錄截圖的時間信息，作為所述窗口圖像對應的時間戳，獲取當前活動窗口在多屏發起終端屏幕中的位置信息，作為所述窗口圖像對應的窗口位置信息； 向對應的混合設備發送所述多屏發起終端的窗口截圖信息，所述窗口截圖信息包括窗口圖像、對應的窗口位置信息以及時間戳。7.如權利要求6所述的實現多屏互動的方法，其特征在于，所述向對應的混合設備發送所述多屏發起終端的窗口截圖信息，之前包括: 對得到的窗口圖像進行圖像編碼，所述窗口截圖信息中包含編碼后的窗口圖像信息。8.如權利要求6所述的實現多屏互動的方法，其特征在于，還包括:建立多屏發起終端與混合設備之間的連接，以及在連接建立之后，在所述多屏發起終端的系統中安裝與所述混合設備對應的驅動程序； 所述監控多屏發起終端的活動窗口，根據活動窗口畫面、窗口尺寸及窗口位置判斷是否發生窗口切換，包括: 通過所述驅動程序監控多屏發起終端的活動窗口，若檢測到窗口畫面、窗口尺寸、窗口位置中至少一項發生變化，則判斷為發生窗口切換。9.如權利要求6所述的實現多屏互動的方法，其特征在于，所述獲取當前活動窗口在多屏發起終端屏幕中的位置信息，包括: 獲取多屏發起終端的屏幕分辨率，以及當前活動窗口在多屏發起終端屏幕中的位置坐標。10.一種實現多屏互動的裝置，其特征在于，包括: 圖像接收模塊，用于接收多屏發起終端發送的窗口截圖信息，所述窗口截圖信息包括窗口圖像、以及所述窗口圖像對應的窗口位置信息和時間戳； 圖像混合模塊，用于根據窗口位置信息和時間戳將接收到的多路窗口圖像繪制到緩存，得到對應的合成顯示畫面，所述合成顯示畫面中多路窗口圖像以分層形式呈現； 發送模塊，用于向對應的顯示設備發送所述合成顯示畫面，以在所述顯示設備端顯示所述合成顯示畫面。11.如權利要求10所述的實現多屏互動的裝置，其特征在于，所述圖像混合模塊包括: 信息提取子模塊，用于提取接收到的每路窗口截圖信息包含的窗口圖像、窗口位置信息和時間戳； 排序子模塊，用于根據時間戳由近到遠的順序對多路窗口圖像進行排序，使其中時間戳越近的窗口圖像排序越前； 混合子模塊，用于根據窗口位置信息以及排序前后依次繪制各路窗口圖像到緩存，得到對應的合成顯示畫面，其中，排序最前的窗口圖像呈現在所述合成顯示畫面的最頂層。12.一種實現多屏互動的裝置，其特征在于，包括: 窗口監控模塊，用于監控多屏發起終端的活動窗口，根據窗口畫面、窗口尺寸及窗口位置判斷是否發生窗口切換； 窗口截圖模塊，用于確定發生窗口切換，對當前活動窗口進行截圖，得到對應的窗口圖像；以及用于記錄截圖的時間信息，作為所述窗口圖像對應的時間戳；以及用于獲取當前活動窗口在多屏發起終端屏幕中的位置信息，作為所述窗口圖像對應的窗口位置信息； 截圖發送模塊，用于向對應的混合設備發送所述多屏發起終端的窗口截圖信息，所述窗口截圖信息包括窗口圖像、對應的窗口位置信息以及時間戳。13.如權利要求12所述的實現多屏互動的裝置，其特征在于，還包括:連接模塊，用于建立多屏發起終端與混合設備之間的連接，以及在連接建立之后，在所述多屏發起終端的系統中安裝與所述混合設備對應的驅動程序； 所述窗口監控模塊，用于通過所述驅動程序監控多屏發起終端的活動窗口，若檢測到窗口畫面、窗口尺寸、窗口位置中至少一項發生變化，則判斷為發生窗口切換。
【文檔編號】G06F3/14GK105892976SQ201610287193
【公開日】2016年8月24日
【申請日】2016年4月29日
【發明人】張奎
【申請人】廣州視睿電子科技有限公司