用于使用設備來處理畫面的方法和裝置的制造方法
【專利說明】用于使用設備來處理畫面的方法和裝置
[0001]對相關申請的交叉引用
[0002]本申請要求于2014年10月15日向韓國知識產權局提交的被分配序列號10-2014-0139071的韓國專利申請的優先權，其全部公開通過引用合并于此。
技術領域
[0003]本公開涉及用于處理聯接在設備之間的畫面的方法和裝置。
【背景技術】
[0004]通常，移動設備是尺寸足夠小到適合在口袋中并包括具有觸摸輸入功能的顯示屏幕或小尺寸鍵盤的計算設備。然而，這樣的移動設備的屏幕通常小于向其提供的內容的尺寸，因此應附加顯示窗口或應執行屏幕滾動。頭戴式顯示(HMD)設備應被理解為被設計用于用戶在將HMD設備像眼鏡那樣佩戴在其頭部上時觀看虛擬圖像的各種圖像顯示設備。HMD設備不僅能夠向用戶提供簡單的顯示功能，而且能夠向用戶提供具有作為顯示功能與增強現實技術、N畫面技術等的組合的各種便利功能。然而，HMD設備的用戶可能間接地嘗試控制在HMD設備的眼鏡上顯示的虛擬圖像，例如通過朝向虛擬圖像做手勢、做出語音輸入、或觸摸眼鏡的臂，而不物理地觸摸虛擬圖像。因此，難以準確地控制虛擬圖像。
[0005]將上述信息僅呈現為背景信息，以幫助理解本公開。尚未確定并且尚未斷定是否可以將上述內容應用為關于本公開的現有技術。
【發明內容】
[0006]本公開的方面用于解決至少上述問題和/或確定以及提供至少下述優點。因此，本公開的一個方面是提供一種用于通過使用設備來處理聯接到實際畫面的附加畫面的方法和裝置。
[0007]依據本公開的一個方面，提供了一種由第二設備執行的處理第一設備上的畫面的方法。該方法包括:根據關于第一設備的畫面顯示請求在第二設備處獲得在第一設備上顯示的顯示畫面和與顯示畫面相關的信息；在第二設備處基于第一設備上的顯示畫面和與顯示畫面相關的信息來確定附加畫面；以及在所述第一設備上的顯示畫面附近顯示附加畫面。
[0008]與顯示畫面相關的信息可以包括以下中的至少一個:第一設備的形狀信息、要在第一設備上的顯示畫面附近顯示的附加畫面的位置、附加畫面的大小、與附加畫面相關的內容信息和使用相機捕捉的第一設備的狀態信息。
[0009]第一設備的狀態信息可以包括第一設備的畫面的位置和角度。
[0010]第一設備的狀態信息可以使用相機來定期更新。
[0011]顯示附加畫面可以包括:捕捉第一設備的圖像；基于所捕捉的第一設備的圖像來確定第一設備的畫面的位置和方向；以及基于第一設備的畫面的位置和方向在第一設備的畫面的預定位置顯示附加畫面。
[0012]確定第一設備的畫面的位置和方向可以包括:從第一設備接收第一設備的形狀信息；從第一設備的形狀信息中提取特征點；以及將第一設備的圖像的特征點與第一設備的形狀信息的特征點進行比較，以確定第一設備的畫面的位置和方向。
[0013]該方法可以進一步包括:根據在第一和第二設備上執行的用戶輸入來控制第一設備上的顯示畫面和附加畫面被相互聯接。
[0014]控制第一設備上的顯示畫面和附加畫面被相互聯接可以包括:根據在相應第一和第二設備上執行的用戶輸入來控制第一設備上的顯示畫面和第二設備上的附加畫面被相互聯接。
[0015]控制第一設備上的顯示畫面和附加畫面被相互聯接可以包括:根據從第一設備接收的用戶輸入來識別用于結束附加畫面的命令；以及通過將用于結束附加畫面的命令傳送到第二設備來結束附加畫面。
[0016]控制第一設備上的顯示畫面和附加畫面被相互聯接可以包括:通過使用相機來識別在第二設備上的附加畫面上的用戶輸入；以及當識別出用戶輸入時，結束附加畫面并且將指示附加畫面的結束的信息傳送到第一設備。
[0017]依據本公開的另一方面，提供了一種由第二設備執行的通過使用包括對象的第一設備來處理畫面的方法。該方法包括:在第二設備處通過從第一設備接收與對象相關的信息來識別對象，并將指示識別對象的結果的信息傳送到第一設備；在第二設備處根據關于第一設備的附加畫面顯示請求來獲得關于與所識別的對象相關的顯示畫面的信息；在第二設備處基于關于與對象相關的顯示畫面的信息來確定要在對象上的預定位置顯示的附加畫面；以及在對象上的預定位置上顯示附加畫面。
[0018]該方法可以進一步包括:從第一設備獲得關于在對象的預定位置上設置的顯示區域的信息。
[0019]關于與對象相關的顯示畫面的信息可以包括:對象的形狀信息、要在對象上顯示的附加畫面的位置和方向、附加畫面的大小、與附加畫面相關的內容信息以及使用相機捕捉的對象的狀態信息。
[0020]對象的狀態信息可以包括對象的位置和角度。
[0021 ] 對象的狀態信息可以使用相機來定期更新。
[0022]顯示附加畫面可以包括:提供使用相機來捕捉對象的圖像；從所捕捉的對象的圖像來提取對象的位置和角度；以及基于對象的位置和角度來確定要顯示附加畫面的位置和方向。
[0023]提取關于對象的位置和角度可以包括:從第一設備接收對象的形狀信息；從對象的形狀信息提取特征點；以及將對象的形狀信息的特征點與所捕捉的對象的圖像的特征點進行比較，以提取關于對象的位置和角度的信息。
[0024]根據本公開的又一方面，提供了一種由第二設備執行的通過使用第一設備來處理附加畫面的方法。該方法包括:在第二設備處根據關于第一設備的畫面顯示請求來獲得關于附加畫面的信息和第一設備的狀態信息；在第二設備處基于關于附加畫面的信息和第一設備的狀態信息來確定要顯示附加畫面的位置；在所確定的位置顯示附加畫面；以及根據與附加畫面相關的用戶輸入來控制第一和第二設備被相互聯接。
[0025]根據本公開的又一方面，提供了一種由第一設備執行的處理第二設備上的畫面的方法。該方法包括:在第一設備處根據畫面顯示請求來將顯示畫面和與顯示畫面相關的信息傳送到第二設備；在第一設備處從第二設備接收關于在第二設備上顯示的附加信息的控制信息；以及在第一設備處根據控制信息來更新與顯示畫面相關的信息。
[0026]與顯示畫面相關的信息可以包括要在設備的顯示畫面附近顯示的附加畫面的位置、附加畫面的大小和與附加畫面相關的內容信息。
[0027]依據本公開的又一方面，提供了一種用于通過使用設備來處理畫面的裝置。該裝置包括:顯示單元，被配置為顯示圖像；通信單元，被配置為根據關于設備的畫面顯示請求來接收設備上的顯示畫面和與顯示畫面相關的信息；以及控制單元，被配置為基于與由通信單元獲得的顯示畫面相關的信息來獲得附加畫面，在顯示單元上顯示附加畫面，使得在設備的顯示畫面附近顯示附加畫面，并且根據用戶輸入來控制設備的顯示畫面和附加畫面被相互聯接。
[0028]控制單元可以通過使用相機來對設備的形狀進行拍照，基于設備的形狀來從狀態信息中提取設備的畫面的位置和角度，以及基于設備的畫面的位置和角度來確定要顯示附加畫面的區域。
[0029]控制單元可以根據在設備上執行的用戶輸入和與附加畫面相關的用戶輸入來控制設備上的顯示畫面和附加畫面被相互聯接。
[0030]控制單元可以通過相機來識別附加畫面上的用戶輸入，在用戶輸入指令結束附加畫面時結束附加畫面，以及將通知附加畫面的結束的信息傳送給設備。
[0031]依據本公開的又一方面，提供了一種非瞬時計算機可讀記錄介質。該記錄介質上記錄有包括用于執行由第二設備執行的處理第一設備上的畫面的方法的指令的至少一個程序。該方法包括:根據關于第一設備的畫面顯示請求在第二設備處獲得在第一設備上顯示的顯示畫面和與顯示畫面相關的信息；在第二設備處基于與顯示畫面相關的信息來確定附加畫面；以及在所述第一設備上的顯示畫面附近顯示附加畫面。
[0032]從以下結合附圖的公開本公開的各個實施例的詳細描述，本公開的其他方面、優點和突出特征對于本領域技術人員將變得顯而易見。
【附圖說明】
[0033]從下面結合附圖進行的詳細描述，本公開的某些實施例的上述和其他方面、特征和優點將變得更明顯，其中:
[0034]圖1是根據本公開的實施例的被配置為在第一設備和第二設備之間處理畫面的系統的框圖；
[0035]圖2是根據本公開的實施例的被配置為在第一設備和第二設備之間處理畫面的系統的框圖；
[0036]圖3是根據本公開的實施例的被配置為在第一設備和第二設備之間處理畫面的系統的框圖；
[0037]圖4是根據本公開的實施例的被配置為在第一設備和第二設備之間處理畫面的系統的框圖；
[0038]圖5是圖示根據本公開的實施例的其中第二設備處理要聯接到第一設備的畫面的附加畫面的情況的圖；
[0039]圖6是圖示根據本公開的實施例的其中第二設備在對象周圍顯示虛擬圖像類型的附加畫面的情況的圖；
[0040]圖7是圖示根據本公開的實施例的其中第二設備顯示要聯接到對象的附加畫面的情況的圖；
[0041]圖8是根據本公開的實施例的由第二設備執行的處理聯接到在第一設備上顯示的畫面的畫面的方法的流程圖；
[0042]圖9是根據本公開的實施例的由第二設備執行的處理聯接到在第一設備上顯示的畫面的畫面的方法的流程圖；
[0043]圖10是根據本公開的實施例的由第一設備執行的處理在第二設備上顯示的畫面的方法的流程圖；
[0044]圖11是根據本公開的實施例的由第二設備執行的通過使用在其上沒有顯示畫面的第一設備來處理畫面的方法的流程圖；
[0045]圖12是根據本公開的實施例的由第二設備執行的通過使用附加地包括對象的第一設備來處理畫面的方法的流程圖；
[0046]圖13是根據本公開的實施例的由第二設備執行的顯示要聯接到在第一設備上顯示的畫面的附加畫面的方法的流程圖；
[0047]圖14是根據本公開的實施例的由第二設備執行的顯示要聯接到在包括對象的第一設備上顯示的畫面的畫面的方法的流程圖；
[0048]圖15是根據本公開的實施例的由第二設備執行的控制附加畫面的方法的流程圖；
[0049]圖16是根據本公開的實施例的由第一設備執行的控制結束附加畫面的方法的流程圖；
[0050]圖17是根據本公開的實施例的由第二設備執行的控制要在第一設備上顯示的附加畫面的方法的流程圖；
[0051]圖18A和圖18B是圖示根據本公開的實施例的由第二設備執行的在第一設備上的顯示畫面附近顯示虛擬圖像類型的附加畫面以及控制附加畫面的方法的圖；
[0052]圖19A和圖19B是圖示根據本公開的實施例的由第二設備執行的在第一設備上的顯示畫面附近顯示虛擬圖像類型的附加畫面以及控制附加畫面的方法的圖；
[0053]圖20是圖示根據本公開的實施例的由第二設備執行的在第一設備上的顯示畫面周圍顯示三維(3D)圖像類型的附加畫面以及控制附加畫面的方法的圖；
[0054]圖21是根據本公開的實施例的第一設備的框圖；
[0055]圖22是根據本公開的實施例的第二設備的外部；以及
[0056]圖23和圖24是根據本公開的各種實施例的第二設備的框圖。
[0057]在整個附圖中，相同的參考數字將被理解為指代相同的部分、組件和結構。
【具體實施方式】
[0058]提供下面參考附圖的描述，以幫助完全理解由權利要求及其等同物限定的本公開的各個實施例。其包括各種特定細節，以幫助理解，但這些應被認為僅是示范性的。因此，本領域技術人員將認識到在不背離本公開的范圍和精神的情況下可以對在此描述的各個實施例進行變化和修改。此外，為了清楚和簡潔，可能省略已知功能和結構的描述。
[0059]下面的描述和權利要求中使用的詞語和詞不限于書面含義，而是僅由發明人用來使得能夠清楚并一致地理解本公開。因此，對于本領域技術人員顯而易見的是，提供本公開的各個實施例的下面描述僅用于說明的目的，并且不用于限制由所附的權利要求及其結構等同物限定的本公開的目的。
[0060]應理解，單數形式“一”、“一個”和“該”包括單數指代，除非上下文明確另外指示并非如此。因此，例如，對“一個組件表面”的指代包括對這樣的表面中的一個或多個的指代。
[0061]應理解，盡管在此可能使用術語“第一”、“第二”、“第三”等來描述各種元件、組件、區域、層和/或部分，但是這些元件、組件、區域、層和/或部分不應被這些術語限制。這些術語僅用于將一個元件、組件、區域、層或部分與另一個區域、層或部分進行區分。
[0062]在本公開中使用的特定術語不旨在限制本公開的范圍，并且僅用于更好地理解(便于理解)本公開的各個實施例。在本公開中，如果可能