圖像處理裝置、圖像處理方法以及程序的制作方法
【技術領域】
[0001]本公開涉及圖像處理裝置、圖像處理方法以及程序。
【背景技術】
[0002]到目前為止，已經實現了用于將用戶引導至某一目的地的各種導航服務。通常基于與目的地的位置和用戶的當前位置有關的知識來執行導航。為了獲取用戶的當前位置，許多導航服務使用了包括在用戶所持終端中的定位模塊，例如全球定位系統(GPS)模塊或PlaceEngine (注冊商標)。
[0003]專利文獻1提出:在圖像中突出與作為目的地(例如建筑物或設施)的地方相對應的特定對象，使得用戶能夠在終端的屏幕上容易地找到作為目的地的地方。而且，在專利文獻1中，通過GPS模塊來獲取用戶的當前位置。
[0004]引用列表
[0005]專利文獻
[0006]專利文獻1:JP 2012-079129A
【發明內容】
[0007]技術問題
[0008]然而，并非所有終端均包括定位模塊。再者，即使在終端包括定位模塊的情況下，也難以在終端不能接收到用于定位的無線電信號的環境下經由定位模塊來獲取當前位置。
[0009]因此，期望的是實現一種機制，該機制即使在難以經由定位模塊來獲取當前位置的狀態下也能夠向用戶提供至目的地的導航。
[0010]問題的解決方案
[0011]根據本公開，提供了一種圖像處理裝置，該裝置包括:圖像獲取單元，所述圖像獲取單元被配置成獲取圖像，在所述圖像上投影有包括視覺識別目標的真實對象；識別單元，所述識別單元被配置成通過對所述識別目標執行圖像識別來識別已經捕獲所述圖像的終端關于所述真實對象的相對布置；以及控制單元，所述控制單元被配置成基于所述終端的由所述識別單元識別的所述相對布置來將指示朝向用戶的目的地的方向的顯示對象顯示在所述終端的屏幕上。
[0012]根據本公開，提供了一種由圖像處理裝置執行的圖像處理方法，該圖像處理方法包括:獲取圖像，在所述圖像上投影有包括視覺識別目標的真實對象；通過對所述識別目標執行圖像識別來識別已經捕獲所述圖像的終端關于所述真實對象的相對布置；以及基于所識別的所述終端的相對布置將指示朝向用戶的目的地的方向的顯示對象顯示在所述終端的屏幕上。
[0013]根據本公開，提供了一種程序，該程序使得控制圖像處理裝置的計算機能夠充當以下單元:圖像獲取單元，所述圖像獲取單元被配置成獲取圖像，在所述圖像上投影有包括視覺識別目標的真實對象；識別單元，所述識別單元被配置成通過對所述識別目標執行圖像識別來識別已經捕獲所述圖像的終端關于所述真實對象的相對布置；以及控制單元，所述控制單元被配置成基于所述終端的由所述識別單元識別的所述相對布置來將指示朝向用戶的目的地的方向的顯示對象顯示在所述終端的屏幕上。
[0014]本發明的有益效果
[0015]根據本公開的技術，即使在難以經由定位模塊來獲取當前位置的情況下也可以向用戶提供至目的地的導航。
【附圖說明】
[0016][圖1]圖1為示出根據實施例的裝置的概要的說明圖。
[0017][圖2]圖2為示出包括識別目標的真實對象的示例的說明圖。
[0018][圖3]圖3為示出實施例中的導航原理的說明圖。
[0019][圖4]圖4為示出根據實施例的圖像處理裝置的硬件配置的示例的框圖。
[0020][圖5]圖5為示出根據實施例的圖像處理裝置的邏輯功能的配置的示例的框圖。
[0021][圖6A]圖6A為示出識別詞典數據的配置的第一示例的說明圖。
[0022][圖6B]圖6B為示出識別詞典數據的配置的第二示例的說明圖。
[0023][圖7]圖7為示出圖6B中例示的附加編碼布置數據的說明圖。
[0024][圖8A]圖8A為示出對象布置數據的配置的第一示例的說明圖。
[0025][圖8B]圖8B為示出對象布置數據的配置的第二示例的說明圖。
[0026][圖9]圖9為示出輸出圖像的取決于終端姿態的變化的變化的示例的說明圖。
[0027][圖10]圖10為示出如何向用戶呈現圖9中所例示的輸出圖像的說明圖。
[0028][圖11]圖11為示出對終端的布置的跟蹤的示例的說明圖，其中，根據終端的移動來執行跟蹤。
[0029][圖12A]圖12A為示出用于使用戶能夠選擇目的地的窗口的第一示例的說明圖。
[0030][圖12B]圖12B為示出用于使用戶能夠選擇目的地的窗口的第二示例的說明圖。
[0031][圖12C]圖12C為示出用于使用戶能夠選擇目的地的窗口的第三示例的說明圖。
[0032][圖13A]圖13A為示出可以在實施例中顯示的顯示對象的一些示例的第一說明圖。
[0033][圖13B]圖13B為示出可以在實施例中顯示的顯示對象的一些示例的第二說明圖。
[0034][圖13C]圖13C為示出可以在實施例中顯示的顯示對象的一些示例的第三說明圖。
[0035][圖13D]圖13D為示出可以在實施例中顯示的顯示對象的一些示例的第四說明圖。
[0036][圖14]圖14為示出根據實施例的圖像處理的流程的示例的流程圖。
[0037][圖15A]圖15A為示出圖14中所示的終端布置確定處理的詳細流程的第一示例的流程圖。
[0038][圖15B]圖15B為示出圖14中所示的終端布置確定處理的詳細流程的第二示例的流程圖。
[0039][圖15C]圖15C為示出圖14中所示的終端布置確定處理的詳細流程的第三示例的流程圖。
[0040][圖16A]圖16A為示出圖14中所示的目的地方向確定處理的詳細流程的第一示例的流程圖。
[0041][圖16B]圖16B為示出圖14中所示的目的地方向確定處理的詳細流程的第二示例的流程圖。
[0042][圖17]圖17為示出可以在蓋章競走的應用示例中進行顯示的顯示對象的一些示例的說明圖。
[0043][圖18]圖18為示出圖像處理裝置的修改示例的說明圖。
[0044][圖19]圖19為示出可以在圖18的修改示例中進行顯示的顯示對象的一些示例的說明圖。
[0045][圖20]圖20為示出多個裝置之間的鏈接的說明圖。
【具體實施方式】
[0046]在下文中，將參照附圖來詳細描述本公開的優選實施例。注意，在本說明書及附圖中，具有基本相同的功能和結構的結構元件用相同的附圖標記進行表示，并且將省去對這些結構元件的重復說明。
[0047]此外，將按以下順序提供描述。
[0048]1.概要
[0049]2.圖像處理裝置的配置示例
[0050]2-1.硬件配置
[0051]2-2.功能配置
[0052]2-3.處理流程
[0053]3.應用示例
[0054]3-1.蓋章競走
[0055]3-2.使用 HMD
[0056]3-3.多個裝置之間的鏈接
[0057]4.結論
[0058]<1.概要 >
[0059]將參照圖1至圖3來描述根據本公開的裝置的概要。
[0060]圖1為示出根據實施例的裝置的概要的說明圖。圖1示出用戶Ua所攜帶的圖像處理裝置100。圖像處理裝置100包括顯示器110和用于捕獲真實空間1的圖像的相機102。在圖1的示例中，真實對象10存在于真實空間1中。圖像處理裝置100的相機102通過捕獲真實對象10的圖像來生成形成視頻的一系列圖像，在圖像上投影有真實對象10。然后，圖像處理裝置100關于由相機102生成的作為輸入圖像的捕獲圖像執行圖像處理并且生成輸出圖像。在該實施例中，通常通過將導航顯示對象疊加在輸入圖像上來生成輸出圖像。圖像處理裝置100的顯示器110順序地顯示所生成的輸出圖像。注意，圖1中所示的真實空間1僅為示例。圖像處理裝置100可以對其上投影有任意真實對象的圖像進行處理。
[0061]在圖1中，將智能手機示為圖像處理裝置100的示例。然而，圖像處理裝置100不限于該示例。圖像處理裝置100可以是如下的移動裝置:平板個人計算機(PC)、筆記本PC、便攜式游戲終端、便攜式導航裝置(PND)或數字相機。或者，圖像處理裝置100可以是可穿戴裝置，例如頭戴式顯示器(HMD)終端。
[0062]在根據本公開的技術中，獲取其上投影有真實對象的視覺識別目標的圖像，作為輸入圖像。本文中的識別目標可以是存在于真實對象的外觀中的已知圖片、標記、字符串或設計或者其任意組合。識別目標可以包括其中編碼有某些信息的視碼(例如條形碼或CyberCode (注冊商標))。圖像處理裝置100提前存儲識別目標的特征數據并且使用特征數據對投影在輸入圖像上的識別目標的布置(相對于攝像面的布置)進行識別。在本說明書中，術語“布置”包括在兩維或三維坐標系中的位置(平移)、姿態(旋轉)和尺寸(縮放)中的至少一個。特征數據可以包括例如從識別目標的已知圖像提取的一組特征點的數據。此外，特征數據可以包括已知圖案的形狀和尺寸的數據。
[0063]圖2為示出包括識別目標的真實對象的示例的說明圖。在圖2的示例中，真實對象10為置于公共設施例如車站中的指示牌。指示牌10包括可以印在其表面上或者附接至其表面的識別目標11。識別目標11具有類似字母“i”的圖形和圍繞圖形的黑白邊框。圖像處理裝置100可以通過例如將從輸入圖像提取的多個特征點與提前存儲的識別目標11的一組特征點進行匹配來對識別目標11被如何布置在輸入圖像中進行識別。
[0064]指示牌10在其表面上包括目的地列表15。通過閱讀目的地列表15，用戶可以知道存在于指示牌10被放置的地方的附近的主要場所。然而，目的地列表15并不指示每個場所存在的方向。即使指示牌10具有地圖并且在地圖上示出了每個場所的位置，也難以在二維地圖(二維地圖多數情況下被垂直張貼)上直觀地表示朝向目的地的方向。因此，用戶被迫在他的/她的頭腦中執行地圖上的方向與真實空間中的方向之間的映射。為了解決這樣的不便，一些導航服務經由包括在終端中的定位模塊例如GPS模塊來獲取終端的當前位置并且經由傳感器來獲取終端的姿態，從而引導用戶至目的地。然而，并非所有終端均包括定位模塊。再者，即使在終端包括定位模塊的情況下，也難以在終端不能接收用于進行定位的無線電信號的環境下(例如建筑物的內部、地下空間或隧道內部)經由定位模塊來獲取當前位置。同時，在該實施例中，基于關于識別目標11執行的上述圖像識別來確定終端的布置，并且提供用于根據其確定結果將用戶引導至目的地的導航。因此，不需要依賴于定位模塊。
[0065]圖3是示出實施例中的導航原理的說明圖。圖3示出包括識別目標的真實對象
10、所選目的地50以及用于捕獲真實對象10的圖像的圖像處理裝置100。因為真實對象10和目的地50在地理上是固定的，所以已知目的地50關于真實對象10的相對位置RAsd。注意，目的地50的姿態和尺寸不影響導航，因此在此處使用術語“位置”而不是“布置”。基于對真實對象所包括的識別目標的圖像識別來確定圖像處理裝置100關于真實對象10的相對布置RASU。然后，使用圖像處理裝置100關于真實對象10的相對布置RAS#目的地50關于真實對象10的相對位置RAsd，獲得目的地50關于圖像處理裝置100的未知的相對位置RAud。圖像處理裝置100可以在其屏幕上顯示例如與相對位置RAud相對應的導航顯示對象。
[0066]注意，真實對象不限于圖2和圖3的示例并且存在于真實空間中的任意真實對象可以包括識別目標。例如，識別目標可以被印在商業建筑的樓層圖、廣告牌或活動海報等