基于移動終端的設備控制方法、裝置和移動終端與流程

本申請涉及通信技術領域，特別涉及一種基于移動終端的設備控制方法、裝置和移動終端。

背景技術：

智能設備已經越來越廣泛的進入人們的日常生活，用戶可通過智能機頂盒、智能電視、個人計算機、投影機等設備進行影音、娛樂、購物等各種各樣的活動。這些智能設備大多是采用遙控器或鼠標進行控制，操作方式單一，且操作不方便，特別是在輸入漢字、按鍵操作或者玩游戲等場景下，操作不便更為明顯。

技術實現要素：

本申請旨在至少在一定程度上解決上述技術問題。

為此，本申請的第一個目的在于提出一種基于移動終端的設備控制方法，實現了設備間的優勢互補，極大地提高了用戶交互自由度和靈活性。

本申請的第二個目的在于提出一種基于移動終端的設備控制裝置。

本申請的第三個目的在于提出一種移動終端。

為達上述目的，根據本申請第一方面實施例提出了一種基于移動終端的設備控制方法，包括以下步驟：獲取與被控設備當前顯示的畫面信息聯動的拓展畫面信息，并進行顯示；接收用戶針對所述拓展畫面信息的控制操作；將所述控制操作轉換為所述被控設備可識別的指令，并發送至所述被控設備，以對所述被控制設備進行控制。

本申請實施例的基于移動終端的設備控制方法，通過獲取被控設備中當前顯示的畫面信息聯動的拓展畫面信息，并在移動終端中顯示，并將用戶針對拓展畫面信息的控制操作轉換為被控設備可識別的指令發送至被控設備，以對被控設備進行控制，實現了移動終端與被控設備的協同操作控制，充分利用被控設備顯示體驗好、移動終端操控自然、方便的優勢，將移動終端多樣、自然、方便的操作轉換為被控設備可識別的指令，以進行控制，從而操作單一的被控設備可通過移動終端進行各種多樣化的協同控制，實現了設備間的優勢互補，在帶給用戶所見即所得的可視化操作體驗的同時，極大地提高了用戶交互自由度和靈活性。

本申請第二方面實施例提供了一種基于移動終端的設備控制裝置，包括：獲取模塊，用 于獲取與被控設備當前顯示的畫面信息聯動的拓展畫面信息；顯示模塊，用于所述拓展畫面信息；第一接收模塊，用于接收用戶針對所述拓展畫面信息的控制操作；轉換模塊，用于將所述控制操作轉換為所述被控設備可識別的指令；發送模塊，用于將所述被控設備可識別的指令發送至所述被控設備，以對所述被控制設備進行控制。

本申請實施例的基于移動終端的設備控制裝置，通過獲取被控設備中當前顯示的畫面信息聯動的拓展畫面信息，并在移動終端中顯示，并將用戶針對拓展畫面信息的控制操作轉換為被控設備可識別的指令發送至被控設備，以對被控設備進行控制，實現了移動終端與被控設備的協同操作控制，充分利用被控設備顯示體驗好、移動終端操控自然、方便的優勢，將移動終端多樣、自然、方便的操作轉換為被控設備可識別的指令，以進行控制，從而操作單一的被控設備可通過移動終端進行各種多樣化的協同控制，實現了設備間的優勢互補，在帶給用戶所見即所得的可視化操作體驗的同時，極大地提高了用戶交互自由度和靈活性。

本申請第三方面實施例提供了一種移動終端，包括本申請第二方面實施例的基于移動終端的設備控制裝置。

本申請實施例的移動終端，通過獲取被控設備中當前顯示的畫面信息聯動的拓展畫面信息，并在移動終端中顯示，并將用戶針對拓展畫面信息的控制操作轉換為被控設備可識別的指令發送至被控設備，以對被控設備進行控制，實現了移動終端與被控設備的協同操作控制，充分利用被控設備顯示體驗好、移動終端操控自然、方便的優勢，將移動終端多樣、自然、方便的操作轉換為被控設備可識別的指令，以進行控制，從而操作單一的被控設備可通過移動終端進行各種多樣化的協同控制，實現了設備間的優勢互補，在帶給用戶所見即所得的可視化操作體驗的同時，極大地提高了用戶交互自由度和靈活性。

本申請的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本申請的實踐了解到。

附圖說明

本申請的上述和/或附加的方面和優點從結合下面附圖對實施例的描述中將變得明顯和容易理解，其中：

圖1為根據本申請一個實施例的基于移動終端的設備控制方法的流程圖；

圖2為根據本申請一個實施例的拓展畫面信息的示意圖；

圖3a-圖3c為根據本申請一個實施例的拓展畫面信息的示意圖；

圖4為根據本申請一個實施例的獲取與被控設備當前顯示的畫面信息聯動的拓展畫面信息方法的流程圖；

圖5為根據本申請另一個實施例的基于移動終端的設備控制方法的流程圖；

圖6為根據本申請一個實施例的指令轉換的示意圖；

圖7為根據本申請另一個實施例的基于移動終端的設備控制方法的流程圖；

圖8為根據本申請另一個實施例的基于移動終端的設備控制方法的流程圖；

圖9為根據本申請一個實施例的基于移動終端的設備控制裝置的結構示意圖；

圖10為根據本申請另一個實施例的基于移動終端的設備控制裝置的結構示意圖；

圖11為根據本申請另一個實施例的基于移動終端的設備控制裝置的結構示意圖；

圖12為根據本申請另一個實施例的基于移動終端的設備控制裝置的結構示意圖。

具體實施方式

下面詳細描述本申請的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本申請，而不能理解為對本申請的限制。

由于移動終端具有自然、多樣的用戶交互方式，如觸摸、語音、體感等控制方式，便于操控的優點，因此，為了解決當前的智能機頂盒、智能電視、個人計算機、投影機等設備雖然具有大屏顯示或播放、便于觀看的有點，但操作方式單一、操作不方便的問題，本申請的實施例提出了一種基于移動終端的設備控制方法和裝置，可以將上述兩類設備的優點相結合，實現大屏顯示+自然操控優勢結合，以提升用戶使用時的交互體驗。

下面參考附圖描述根據本申請實施例的基于移動終端的設備控制方法和裝置。

需要說明的是，本申請實施例中的移動終端可以是手機、平板電腦、智能穿戴式設備、個人數字助理等終端設備。

圖1為根據本申請一個實施例的基于移動終端的設備控制方法的流程圖。如圖1所示，根據本申請實施例的基于移動終端的設備控制方法，包括：

s101，與被控設備建立通信連接。

在本申請的一個實施例中，被控設備可為智能電視、電視機頂盒、個人計算機或投影機等。

其中，移動終端與被控設備可通過但不限于藍牙、wi-fi(wirelessfidelity，無線保真)、2.4g(一種頻段處于2.400ghz～2.4835ghz之間的無線通信技術)、ibeacon(一種由蘋果公司發布的基于低功耗藍牙的無線通信技術)等無線通信方式建立通信連接，或者通過有線方式建立通信連接。

s102，獲取與被控設備當前顯示的畫面信息聯動的拓展畫面信息，并進行顯示。

在本申請的一個實施例中，拓展畫面信息可為被控設備當前顯示的畫面信息對應的縮略畫面。也就是說，移動終端同步顯示被控設備當前顯示的畫面信息的縮略畫面，即去掉被控 設備當前顯示的畫面信息中的北京、圖片等附加信息的內容。縮略畫面中僅保留了當前顯示畫面中的操作控件以及操作控件之間的位置信息。舉例來說，如圖2所示，對于電視中顯示的畫面可在手機中顯示以框圖形式在相應位置展示對應的控件的縮略畫面。

或者，在本申請的一個實施例中，拓展畫面信息的內容可為所述被控設備當前顯示的畫面信息的內容對應其他視角畫面。具體地，可預先根據應用程序的特征場景和類型確定各個應用程序所需的拓展畫面信息。舉例來說，以游戲程序為例，圖3為根據本申請實施例的不同應用程序對應的拓展畫面信息。如圖3a所示，對于賽車類游戲場景，tv電視端可顯示游戲主畫面，移動終端可同步顯示對應的駕駛室視角的拓展畫面信息。如圖3b所示，對于cs等戰斗類游戲場景，tv端可顯示游戲主畫面，移動終端可同步顯示匕首、槍等對應的拓展畫面信息。如圖3c所示，對于星際等戰略游戲場景，tv端可顯示游戲全部地圖，移動終端可同步顯示本地布陣詳情對應的拓展畫面信息。

由此，通過在移動終端中提供與被控設備中相同或者不同視角的畫面，便于用戶從多方位實時了解被控設備中當前顯示的應用程序的相關信息，能夠給用戶提供不同的視覺體驗。

本申請的實施例中，移動終端可通過多種不同方式獲取與被控設備當前顯示的畫面信息聯動的拓展畫面信息，例如通過服務器端實時推送的拓展畫面信息，或者從本地數據中查詢對應的拓展畫面信息等。本申請中以以下兩種方式進行舉例說明。

方式一

接收服務器推送的所述拓展畫面信息，其中，所述拓展畫面信息根據所述被控設備中顯示所述畫面信息的應用程序的標識信息查詢得到。其中，應用程序的標識信息可包括應用程序的名稱、包名等。在本申請的一個實施例中，可通過預設的接口函數從被控設備的系統中獲取當前顯示的應用程序的標識信息；或者，可通過對被控設備當前顯示的畫面信息進行圖像識別，以獲取當前顯示的畫面信息中的文字信息或者圖標，并從獲取的文字信息或圖標確定對應的應用程序。

也就是說，服務器中預先存儲有大量的與不同應用程序對應的拓展畫面信息。服務器可根據被控設備中顯示所述畫面信息的應用程序的標識信息查詢對應的拓展畫面資源，并實時地將與被控設備當前顯示畫面聯動的拓展畫面信息推送至移動終端。

其中，應用程序的標識信息可由被控設備發送至服務器；

或者，移動終端與被控設備建立通信連接后，可從被控設備獲取應用程序的標識信息，并上傳到服務器。

方式二

可通過圖4所示的步驟獲取與被控設備當前顯示的畫面信息聯動的拓展畫面信息。如圖4所示，包括以下步驟：

s401，獲取所述被控設備中顯示所述畫面信息的應用程序的標識信息。

s402，根據所述標識信息獲取對應的拓展數據包。

s403，確定所述拓展數據包中與所述被控設備中當前顯示的畫面信息聯動的拓展畫面信息。

應當理解，上述兩種方式僅是示例性的，本申請中，并不限于通過上述兩種方式獲取與被控設備當前顯示的畫面信息聯動的拓展畫面信息，其他可行的聯動方式也應包含在本申請的范圍內。

在本申請的一個實施例中，由于移動終端與被控設備的顯示屏幕的尺寸存在差異。因此，移動終端在獲取拓展畫面信息之后，可對該拓展畫面信息進行尺寸調整，以適應移動終端中顯示尺寸。

s103，接收用戶針對所述拓展畫面信息的控制操作。

當用戶需要針對被控設備顯示的畫面信息進行操作時，可直接根據移動終端中顯示的拓展畫面對移動終端進行操作。由于移動終端具有多樣、豐富的傳感器及裝置，如觸摸屏、攝像頭、語音輸入裝置、重力感應器、陀螺儀、加速度計等。因此，移動終端可接收不同形式的控制操作。在本申請的一個實施例中，上述控制操作可包括以下至少之一：

觸摸操作、體感操作、手勢操作、語音操作。

舉例來說，用戶可通過點擊拓展畫面上的操作控件，或者輸入語音指令，或者通過控制移動終端在空間左右晃動等方式輸入控制操作。

s104，將所述控制操作轉換為所述被控設備可識別的指令，并發送至所述被控設備，以對所述被控制設備進行控制。

具體地，可根據被控設備的標識信息(如設備序列號等)或者被控設備中顯示所述畫面信息的應用程序的標識(如應用程序包名、名稱等)查詢被控設備可識別的指令。

在本申請的一個實施例中，所述將所述控制操作轉換為所述被控設備可識別的指令，可包括如圖5所示的步驟s501-s503。

s501，對所述控制操作進行識別，以確定所述控制操作對應的操作指令。

如果控制操作為觸摸操作，則可將該觸摸操作識別為對相應操作控件的操作指令。舉例來說，如果控制操作為觸摸拓展畫面中的第3個控件按鈕a，則可識別為“對控件按鈕a的點擊操作”。

如果控制操作為語音操作，則可對用戶輸入的語音進行語音識別，以得到對相應控件的操作指令。

如果控制操作為體感操作或者手勢操作，則可識別體感操作或手勢操作為對相應按鍵的按鍵操作。

s502，確定所述被控設備當前顯示的畫面信息對應的指令映射關系。

在本申請的實施例中，可根據被控設備的標識信息(如設備序列號等)查詢與之對應的指令映射關系。或者可根據被控設備中顯示所述畫面信息的應用程序的標識(如應用程序包名、名稱等)查詢與之對應的指令映射關系。

其中，指令映射關系為移動終端中的指令與被控設備可識別的指令之間的映射關系。因此，基于該指令映射關系可查詢到識別出的指令對應的被控設備可識別的指令。

在本申請的一個實施例中，確定被控設備當前顯示的畫面信息對應的指令映射關系可包括：獲取被控設備中顯示所述畫面信息的應用程序的標識信息；根據所述標識信息查詢預設數據庫，以獲取對應的指令映射關系。

其中，預設數據庫中存儲有不同應用程序對應的指令映射關系，可存儲在移動終端本地或者服務器中。

s503，根據所述指令映射關系將所述操作指令轉換為所述被控設備可識別的指令。

具體地，可根據指令映射關系對上述操作指令進行解析、映射和轉換。舉例來說，以下為根據所述指令映射關系將所述操作指令轉換為所述被控設備可識別的指令的三個示例。

示例一(如圖6所示)

tv(電視)操控方式：無觸摸響應，即不可響應觸摸操作；

phone(移動終端)接收到的操作指令：觸摸第3個控件按鈕；

指令解析為：移動，點擊；

指令映射為：首先定位控制焦點當前位置(為第1個控件按鈕)，接著將控制焦點從當前位置移動到第3個控件按鈕，然后點擊第3個控件按鈕；

指令轉換為：右鍵(方向鍵)2下，ok鍵1下。

示例二

當前界面為賽車游戲界面，操控方式為按鍵響應；

移動終端接收到的操作指令為：gsensor(重力傳感器)體感操控；

指令解析為：方向鍵，單擊或長按等；

指令映射為：首先確定體感操作對應的方向，然后點擊；

指令轉換：右鍵(方向鍵)，單擊或長按。

示例三

當前界面為可以響應觸摸操作的游戲界面；

移動終端接收到的操作指令為：觸摸第3個控件按鈕；

指令解析為：點擊；

指令映射為：點擊；

指令轉換為：點擊第3個控件按鈕一下。

在本申請的一個實施例中，當被控設備響應移動終端發送的可識別的指令后，移動終端可在拓展畫面的相應響應位置產生點擊提示，或者，還可以進行振動提示等，以增強設備間的互動性，提升用戶體驗。

此外，由于移動終端獲取的被控設備當前顯示的畫面信息，因此，當被控設備顯示的畫面發生變化時，移動終端中的拓展畫面也隨之改變。

本申請實施例的基于移動終端的設備控制方法，通過獲取被控設備中當前顯示的畫面信息聯動的拓展畫面信息，并在移動終端中顯示，并將用戶針對拓展畫面信息的控制操作轉換為被控設備可識別的指令發送至被控設備，以對被控設備進行控制，實現了移動終端與被控設備的協同操作控制，充分利用被控設備顯示體驗好、移動終端操控自然、方便的優勢，將移動終端多樣、自然、方便的操作轉換為被控設備可識別的指令，以進行控制，從而操作單一的被控設備可通過移動終端進行各種多樣化的協同控制，實現了設備間的優勢互補，在帶給用戶所見即所得的可視化操作體驗的同時，極大地提高了用戶交互自由度和靈活性。

進一步地，為了給用戶更多樣話的體驗，可獲取被控設備中當前的畫面信息提供對應的拓展畫面信息，并提供與多個拓展畫面信息對應的畫面切換按鈕，以供用戶根據需要選擇切換至相應的拓展畫面信息。具體地，在本申請的另一個實施例中，本申請實施例的方法還可包括如圖7所示的步驟s701-s703。其中，

s701，在所述拓展畫面信息的顯示界面提供畫面控制窗口，其中，所述畫面控制窗口中顯示有至少一個畫面切換按鈕。

其中，畫面控制窗口的形式可以為但不限于浮層窗口、側邊欄等。至少一個畫面切換按鈕分別與至少一個拓展畫面信息相對應。

s702，接收用戶對所述畫面切換按鈕的選擇操作。

s703，獲取所述選擇操作選擇的畫面切換按鈕對應的拓展畫面信息，并替換所述顯示界面中當前顯示的拓展畫面信息。

由此，通過在拓展畫面信息的顯示界面提供畫面切換按鈕，使得用戶可根據需要選擇拓展畫面信息，為用戶提供多樣化的控制體驗，進一步便于用戶對不同視角畫面的觀看和控制。

在本申請的一個實施例中，如圖8所示，還可包括步驟s801-s802。其中：

s801，確定所述被控設備當前顯示畫面對應的應用場景。

舉例來說，應用場景可包括游戲進行中的場景、主界面場景、視頻播放場景等。

在本申請的一個實施例中，可根據生成所述畫面信息的應用程序所屬的類型確定所述畫面信息對應的應用場景。舉例來說，如果生成所述畫面信息的應用程序為游戲類應用，則所述畫面信息對應的應用場景為游戲進行中的場景；生成所述畫面信息的應用程序為視頻播放 類應用，則所述畫面信息對應的應用場景為視頻播放場景。

進一步地，可更精細化地對不同畫面信息對應的應用場景進行劃分。具體地，在確定生成所述畫面信息的應用程序的基礎上，可進一步對畫面信息進行圖像識別，以確定該畫面信息的內容，并根據所述畫面信息的內容確定對應的應用場景。舉例來說，如果所述畫面信息的內容為應用程序或設備主界面或菜單界面，則所述畫面信息對應的應用場景為主界面場景；如果所述畫面信息的內容為游戲程序運行中的界面，則所述畫面信息對應的應用場景為游戲進行中的場景。

s802，根據所述應用場景控制所述拓展畫面信息的顯示參數。

在本申請的一個實施例中，顯示參數可包括流暢度和/或分辨率。

舉例來說，如果應用場景為應用程序或設備的主界面，其在顯示過程中更新頻率較低，或者只有在用戶進行操作時才會發生界面變化，因此可適當降低流暢度，例如可將幀率設置為20fps((framespersecond，每秒顯示幀數)；而對于游戲中的場景、或者視頻播放場景，其畫面是動態變換的，因此，可適當調高流暢度，例如，可設置為30fps((framespersecond，每秒顯示幀數)。

對于分辨率來說，也可根據實際場景的顯示需要進行調整。

由此，可根據被控設備中畫面信息對應的應用場景動態調整拓展畫面的顯示參數，在給用戶良好的視覺體驗的同時，能夠有效降低設備功耗。

與上述實施例提供的基于移動終端的設備控制方法相對應，本申請還提出一種基于移動終端的設備控制裝置。

圖9為根據本申請一個實施例的基于移動終端的設備控制裝置的結構示意圖。

如圖9所示，根據本申請實施例的基于移動終端的設備控制裝置，包括：通信模塊1、獲取模塊2、顯示模塊3、第一接收模塊4、轉換模塊5和發送模塊6。

具體地，通信模塊1用于與被控設備建立通信連接。

在本申請的一個實施例中，被控設備可為智能電視、電視機頂盒、個人計算機或投影機等。

其中，通信模塊1與被控設備可通過但不限于藍牙、wi-fi(wirelessfidelity，無線保真)、2.4g(一種頻段處于2.400ghz～2.4835ghz之間的無線通信技術)、ibeacon(一種由蘋果公司發布的基于低功耗藍牙的無線通信技術)等無線通信方式建立通信連接，或者通過有線方式建立通信連接。

獲取模塊2用于獲取與被控設備當前顯示的畫面信息聯動的拓展畫面信息。

在本申請的一個實施例中，拓展畫面信息可為被控設備當前顯示的畫面信息對應的縮略 畫面。也就是說，移動終端同步顯示被控設備當前顯示的畫面信息的縮略畫面，即去掉被控設備當前顯示的畫面信息中的北京、圖片等附加信息的內容。縮略畫面中僅保留了當前顯示畫面中的操作控件以及操作控件之間的位置信息。舉例來說，如圖2所示，對于電視中顯示的畫面可在手機中顯示以框圖形式在相應位置展示對應的控件的縮略畫面。

或者，在本申請的一個實施例中，拓展畫面信息的內容可為所述被控設備當前顯示的畫面信息的內容對應其他視角畫面。具體地，可預先根據應用程序的特征場景和類型確定各個應用程序所需的拓展畫面信息。舉例來說，以游戲程序為例，圖3為根據本申請實施例的不同應用程序對應的拓展畫面信息。如圖3a所示，對于賽車類游戲場景，tv電視端可顯示游戲主畫面，移動終端可同步顯示對應的駕駛室視角的拓展畫面信息。如圖3b所示，對于cs等戰斗類游戲場景，tv端可顯示游戲主畫面，移動終端可同步顯示匕首、槍等對應的拓展畫面信息。如圖3c所示，對于星際等戰略游戲場景，tv端可顯示游戲全部地圖，移動終端可同步顯示本地布陣詳情對應的拓展畫面信息。

由此，通過在移動終端中提供與被控設備中相同或者不同視角的畫面，便于用戶從多方位實時了解被控設備中當前顯示的應用程序的相關信息，能夠給用戶提供不同的視覺體驗。

本申請的實施例中，獲取模塊2可通過多種不同方式獲取與被控設備當前顯示的畫面信息聯動的拓展畫面信息，例如通過服務器端實時推送的拓展畫面信息，或者從本地數據中查詢對應的拓展畫面信息等。本申請中以以下兩種方式進行舉例說明。

方式一

獲取模塊2可接收服務器推送的所述拓展畫面信息，其中，所述拓展畫面信息根據所述被控設備中顯示所述畫面信息的應用程序的標識信息查詢得到。其中，應用程序的標識信息可包括應用程序的名稱、包名等。在本申請的一個實施例中，可通過預設的接口函數從被控設備的系統中獲取當前顯示的應用程序的標識信息；或者，可通過對被控設備當前顯示的畫面信息進行圖像識別，以獲取當前顯示的畫面信息中的文字信息或者圖標，并從獲取的文字信息或圖標確定對應的應用程序。。

也就是說，服務器中預先存儲有大量的與不同應用程序對應的拓展畫面信息。服務器可根據被控設備中顯示所述畫面信息的應用程序的標識信息查詢對應的拓展畫面資源，并實時地將與被控設備當前顯示畫面聯動的拓展畫面信息推送至獲取模塊2。

其中，應用程序的標識信息可由被控設備發送至服務器；

或者，通信模塊1與被控設備建立通信連接后，獲取模塊2可從被控設備獲取應用程序的標識信息，并上傳到服務器。

方式二

獲取模塊2可獲取所述被控設備中顯示所述畫面信息的應用程序的標識信息；根據所述 標識信息獲取對應的拓展數據包；確定所述拓展數據包中與所述被控設備中當前顯示的畫面信息聯動的拓展畫面信息。

應當理解，上述兩種方式僅是示例性的，本申請中，獲取模塊2并不限于通過上述兩種方式獲取與被控設備當前顯示的畫面信息聯動的拓展畫面信息，其他可行的聯動方式也應包含在本申請的范圍內。

在本申請的一個實施例中，由于移動終端與被控設備的顯示屏幕的尺寸存在差異。因此，移動終端在獲取拓展畫面信息之后，可對該拓展畫面信息進行尺寸調整，以適應移動終端中顯示尺寸。

顯示模塊3用于所述拓展畫面信息。

第一接收模塊4用于接收用戶針對所述拓展畫面信息的控制操作。

當用戶需要針對被控設備顯示的畫面信息進行操作時，可直接根據移動終端中顯示的拓展畫面對移動終端進行操作。由于移動終端具有多樣、豐富的傳感器及裝置，如觸摸屏、攝像頭、語音輸入裝置、重力感應器、陀螺儀、加速度計等。因此，第一接收模塊4可接收不同形式的控制操作。在本申請的一個實施例中，上述控制操作可包括以下至少之一：

觸摸操作、體感操作、手勢操作、語音操作。

舉例來說，用戶可通過點擊拓展畫面上的操作控件，或者輸入語音指令，或者通過控制移動終端在空間左右晃動等方式輸入控制操作。

轉換模塊5用于將所述控制操作轉換為所述被控設備可識別的指令。

具體地，轉換模塊5可根據被控設備的標識信息(如設備序列號等)或者被控設備中顯示所述畫面信息的應用程序的標識(如應用程序包名、名稱等)查詢被控設備可識別的指令。

在本申請的一個實施例中，如圖10所示，轉換模塊5可進一步包括：識別單元51、確定單元52和轉換單元53。

其中，識別單元51對所述控制操作進行識別，以確定所述控制操作對應的操作指令。

如果控制操作為觸摸操作，則別單元51可將該觸摸操作識別為對相應操作控件的操作指令。舉例來說，如果控制操作為觸摸拓展畫面中的第3個控件按鈕a，則可識別為“對控件按鈕a的點擊操作”。

如果控制操作為語音操作，則識別單元51可對用戶輸入的語音進行語音識別，以得到對相應控件的操作指令。

如果控制操作為體感操作或者手勢操作，則識別單元51可識別體感操作或手勢操作為對相應按鍵的按鍵操作。

確定單元52確定所述被控設備當前顯示的畫面信息對應的指令映射關系。

在本申請的實施例中，確定單元52可根據被控設備的標識信息(如設備序列號等)查 詢與之對應的指令映射關系。或者確定單元52可根據被控設備中顯示所述畫面信息的應用程序的標識(如應用程序包名、名稱等)查詢與之對應的指令映射關系。

其中，指令映射關系為移動終端中的指令與被控設備可識別的指令之間的映射關系。因此，基于該指令映射關系可查詢到識別出的指令對應的被控設備可識別的指令。

在本申請的一個實施例中，確定單元52可用于：獲取被控設備中顯示所述畫面信息的應用程序的標識信息；根據所述標識信息查詢預設數據庫，以獲取對應的指令映射關系。

其中，預設數據庫中存儲有不同應用程序對應的指令映射關系，可存儲在移動終端本地或者服務器中。

轉換單元53根據所述指令映射關系將所述操作指令轉換為所述被控設備可識別的指令。

具體地，轉換單元53可根據指令映射關系對上述操作指令進行解析、映射和轉換。舉例來說，以下為根據所述指令映射關系將所述操作指令轉換為所述被控設備可識別的指令的三個示例。

示例一(如圖6所示)

tv(電視)操控方式：無觸摸響應，即不可響應觸摸操作；

phone(移動終端)接收到的操作指令：觸摸第3個控件按鈕；

指令解析為：移動，點擊；

指令映射為：首先定位控制焦點當前位置(為第1個控件按鈕)，接著將控制焦點從當前位置移動到第3個控件按鈕，然后點擊第3個控件按鈕；

指令轉換為：右鍵(方向鍵)2下，ok鍵1下。

示例二

當前界面為賽車游戲界面，操控方式為按鍵響應；

移動終端接收到的操作指令為：gsensor(重力傳感器)體感操控；

指令解析為：方向鍵，單擊或長按等；

指令映射為：首先確定體感操作對應的方向，然后點擊；

指令轉換：右鍵(方向鍵)，單擊或長按。

示例三

當前界面為可以響應觸摸操作的游戲界面；

移動終端接收到的操作指令為：觸摸第3個控件按鈕；

指令解析為：點擊；

指令映射為：點擊；

指令轉換為：點擊第3個控件按鈕一下。

發送模塊6用于將所述被控設備可識別的指令發送至所述被控設備，以對所述被控制設備進行控制。

在本申請的一個實施例中，當被控設備響應發送模塊6發送的可識別的指令后，移動終端可在拓展畫面的相應響應位置產生點擊提示，或者，還可以進行振動提示等，以增強設備間的互動性，提升用戶體驗。

此外，由于移動終端獲取的被控設備當前顯示的畫面信息，因此，當被控設備顯示的畫面發生變化時，移動終端中的拓展畫面也隨之改變。

圖11為根據本申請另一個實施例的基于移動終端的設備控制裝置的結構示意圖。

如圖11所示，根據本申請實施例的基于移動終端的設備控制裝置，包括：通信模塊1、獲取模塊2、顯示模塊3、第一接收模塊4、轉換模塊5和發送模塊6、提供模塊7、第二接收模塊8和替換模塊9。

其中，通信模塊1、獲取模塊2、顯示模塊3、第一接收模塊4、轉換模塊5和發送模塊6與圖9所示實施例相同。

提供模塊7用于在所述拓展畫面信息的顯示界面提供畫面控制窗口，其中，所述畫面控制窗口中顯示有至少一個畫面切換按鈕。

其中，畫面控制窗口的形式可以為但不限于浮層窗口、側邊欄等。至少一個畫面切換按鈕分別與至少一個拓展畫面信息相對應。

第二接收模塊8用于接收用戶對所述畫面切換按鈕的選擇操作。

替換模塊9用于獲取所述選擇操作選擇的畫面切換按鈕對應的拓展畫面信息，并替換所述顯示界面中當前顯示的拓展畫面信息。

由此，通過在拓展畫面信息的顯示界面提供畫面切換按鈕，使得用戶可根據需要選擇拓展畫面信息，為用戶提供多樣化的控制體驗，進一步便于用戶對不同視角畫面的觀看和控制。

圖12為根據本申請另一個實施例的基于移動終端的設備控制裝置的結構示意圖。

如圖12所示，根據本申請實施例的基于移動終端的設備控制裝置，包括：通信模塊1、獲取模塊2、顯示模塊3、第一接收模塊4、轉換模塊5和發送模塊6、確定模塊10和控制模塊11。

其中，通信模塊1、獲取模塊2、顯示模塊3、第一接收模塊4、轉換模塊5和發送模塊6與圖9所示實施例相同。

確定模塊10確定所述被控設備當前顯示畫面對應的應用場景。

舉例來說，應用場景可包括游戲進行中的場景、主界面場景、視頻播放場景等。

在本申請的一個實施例中，確定模塊10可根據生成所述畫面信息的應用程序所屬的類型確定所述畫面信息對應的應用場景。舉例來說，如果生成所述畫面信息的應用程序為游戲 類應用，則所述畫面信息對應的應用場景為游戲進行中的場景；生成所述畫面信息的應用程序為視頻播放類應用，則所述畫面信息對應的應用場景為視頻播放場景。

進一步地，確定模塊10可更精細化地對不同畫面信息對應的應用場景進行劃分。具體地，在確定生成所述畫面信息的應用程序的基礎上，確定模塊10可進一步對畫面信息進行圖像識別，以確定該畫面信息的內容，并根據所述畫面信息的內容確定對應的應用場景。舉例來說，如果所述畫面信息的內容為應用程序或設備主界面或菜單界面，則所述畫面信息對應的應用場景為主界面場景；如果所述畫面信息的內容為游戲程序運行中的界面，則所述畫面信息對應的應用場景為游戲進行中的場景。

控制模塊11根據所述應用場景控制所述拓展畫面信息的顯示參數。

在本申請的一個實施例中，顯示參數可包括流暢度和/或分辨率。

舉例來說，如果應用場景為應用程序或設備的主界面，其在顯示過程中更新頻率較低，或者只有在用戶進行操作時才會發生界面變化，因此控制模塊11可適當降低流暢度，例如可將幀率設置為20fps((framespersecond，每秒顯示幀數)；而對于游戲中的場景、或者視頻播放場景，其畫面是動態變換的，因此，可適當調高流暢度，例如，可設置為30fps((framespersecond，每秒顯示幀數)。

對于分辨率來說，控制模塊11也可根據實際場景的顯示需要進行調整。

由此，可根據被控設備中畫面信息對應的應用場景動態調整拓展畫面的顯示參數，在給用戶良好的視覺體驗的同時，能夠有效降低設備功耗。

本申請實施例的基于移動終端的設備控制裝置，通過獲取被控設備中當前顯示的畫面信息聯動的拓展畫面信息，并在移動終端中顯示，并將用戶針對拓展畫面信息的控制操作轉換為被控設備可識別的指令發送至被控設備，以對被控設備進行控制，實現了移動終端與被控設備的協同操作控制，充分利用被控設備顯示體驗好、移動終端操控自然、方便的優勢，將移動終端多樣、自然、方便的操作轉換為被控設備可識別的指令，以進行控制，從而操作單一的被控設備可通過移動終端進行各種多樣化的協同控制，實現了設備間的優勢互補，在帶給用戶所見即所得的可視化操作體驗的同時，極大地提高了用戶交互自由度和靈活性。

本申請還提出一種移動終端。

本申請實施例的種移動終端，包括：本申請任一實施例的基于移動終端的設備控制裝置。

本申請實施例的移動終端，通過獲取被控設備中當前顯示的畫面信息聯動的拓展畫面信息，并在移動終端中顯示，并將用戶針對拓展畫面信息的控制操作轉換為被控設備可識別的指令發送至被控設備，以對被控設備進行控制，實現了移動終端與被控設備的協同操作控制， 充分利用被控設備顯示體驗好、移動終端操控自然、方便的優勢，將移動終端多樣、自然、方便的操作轉換為被控設備可識別的指令，以進行控制，從而操作單一的被控設備可通過移動終端進行各種多樣化的協同控制，實現了設備間的優勢互補，在帶給用戶所見即所得的可視化操作體驗的同時，極大地提高了用戶交互自由度和靈活性。

流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個或更多個用于實現特定邏輯功能或過程的步驟的可執行指令的代碼的模塊、片段或部分，并且本申請的優選實施方式的范圍包括另外的實現，其中可以不按所示出或討論的順序，包括根據所涉及的功能按基本同時的方式或按相反的順序，來執行功能，這應被本申請的實施例所屬技術領域的技術人員所理解。

在流程圖中表示或在此以其他方式描述的邏輯和/或步驟，例如，可以被認為是用于實現邏輯功能的可執行指令的定序列表，可以具體實現在任何計算機可讀介質中，以供指令執行系統、裝置或設備(如基于計算機的系統、包括處理器的系統或其他可以從指令執行系統、裝置或設備取指令并執行指令的系統)使用，或結合這些指令執行系統、裝置或設備而使用。就本說明書而言，"計算機可讀介質"可以是任何可以包含、存儲、通信、傳播或傳輸程序以供指令執行系統、裝置或設備或結合這些指令執行系統、裝置或設備而使用的裝置。計算機可讀介質的更具體的示例(非窮盡性列表)包括以下：具有一個或多個布線的電連接部(電子裝置)，便攜式計算機盤盒(磁裝置)，隨機存取存儲器(ram)，只讀存儲器(rom)，可擦除可編輯只讀存儲器(eprom或閃速存儲器)，光纖裝置，以及便攜式光盤只讀存儲器(cdrom)。另外，計算機可讀介質甚至可以是可在其上打印所述程序的紙或其他合適的介質，因為可以例如通過對紙或其他介質進行光學掃描，接著進行編輯、解譯或必要時以其他合適方式進行處理來以電子方式獲得所述程序，然后將其存儲在計算機存儲器中。

應當理解，本申請的各部分可以用硬件、軟件、固件或它們的組合來實現。在上述實施方式中，多個步驟或方法可以用存儲在存儲器中且由合適的指令執行系統執行的軟件或固件來實現。例如，如果用硬件來實現，和在另一實施方式中一樣，可用本領域公知的下列技術中的任一項或他們的組合來實現：具有用于對數據信號實現邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(pga)，現場可編程門陣列(fpga)等。

本技術領域的普通技術人員可以理解實現上述實施例方法攜帶的全部或部分步驟是可以通過程序來指令相關的硬件完成，所述的程序可以存儲于一種計算機可讀存儲介質中，該程序在執行時，包括方法實施例的步驟之一或其組合。

此外，在本申請各個實施例中的各功能單元可以集成在一個處理模塊中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個模塊中。上述集成的模塊既可以 采用硬件的形式實現，也可以采用軟件功能模塊的形式實現。所述集成的模塊如果以軟件功能模塊的形式實現并作為獨立的產品銷售或使用時，也可以存儲在一個計算機可讀取存儲介質中。

上述提到的存儲介質可以是只讀存儲器，磁盤或光盤等。

在本說明書的描述中，參考術語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結合該實施例或示例描述的具體特征、結構、材料或者特點包含于本申請的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結構、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結合。

盡管已經示出和描述了本申請的實施例，本領域的普通技術人員可以理解：在不脫離本申請的原理和宗旨的情況下可以對這些實施例進行多種變化、修改、替換和變型，本申請的范圍由權利要求及其等同限定。