用于選擇增強現實標記的評級和建議的制作方法

用于選擇增強現實標記的評級和建議的制作方法
【專利摘要】對于具有標記數據庫的增強現實(AR)內容創建系統，當用戶請求該系統使用圖像的第一子圖像更新標記數據庫時，該系統計算用于評級第一子圖像的特征豐富度和其相對于標記數據庫中的現有標記的獨特性的合適性分數。當合適性分數小于閾值時，搜索圖像的具有不小于閾值的合適性分數并完全包含第一子圖像的第二子圖像。隨后，將第二子圖像、其合適性分數及第一子圖像的合適性分數基本上立即地呈送給用戶，以提議用戶在更新標記數據庫時使用第二子圖像而不是第一子圖像作為新標記，以便增加新標記的特征豐富度或獨特性。
【專利說明】
用于選擇増強現實標記的評級和建議
技術領域
[0001]本發明涉及確定從圖像選擇的并且由增強現實(AR)內容創建系統的用戶提議的子圖像是否適于用作AR客戶端應用中的標記，并且在用戶提議的子圖像不合適的情況下給用戶建議更合適的子圖像。
【背景技術】
[0002]AR是利用計算機生成的虛擬對象(例如文本、圖像、聲音等)增強的物理場景的實時視圖。當前，大多數AR客戶端應用使用實時視頻圖像。AR客戶端應用數字地處理視頻圖像以給其添加一個或多個虛擬對象。在處理圖像時，AR客戶端應用將圖像內容與存儲在系統中的參考圖像匹配。這個過程一般稱為圖像識別。如果圖像的一部分被識別為特定的參考圖像，則與這個參考圖像關聯的一個或多個虛擬對象被增強到圖像上。參考圖像也稱為標記。AR客戶端應用中的標記數據庫專門用于存儲標記。標記數據庫中的標記由AR內容創建者或編輯者引入或提議。AR內容創建者通常選擇圖像的一部分(S卩，圖像的子圖像)并請求AR內容創建系統使用子圖像作為標記。由于標記是為了用在圖像識別中，因此，如果提議的子圖像具有一些背景屬性使得圖像識別能夠穩健且可靠地在被考慮的視頻圖像中檢測到該提議的子圖像并且毫無疑義地識別出該子圖像，將會是有利的。如果AR內容創建者能夠確定提議的子圖像對于AR應用的合適性，將會是合意的。
[0003]盡管1^2015/0161168、1]52015/0161174、1^8645370、1]52007/0237426和1]52011/0176724提供了不同的用于圖像的分級方法，然而這些方法不涉及AR標記創建或標記合適性分級。US2015/0109337提供了一種用于評級圖像對于AR的合適性或“可增強性”的方法。具體地，圖像的可增強性基于圖像的曝光量、圖像捕獲設備的運動、圖像中的特征以及圖像的模糊度。最終的評級輸出被回饋給用戶以指示圖像在AR應用中的可增強性。雖然給出了可增強性建議，但是沒有提供如何改進圖像以便提高可增強性。因此，需要用戶使用試錯法來找出合適用于AR的圖像。
[0004]本領域中存在對于評估用于AR標記創建的提議圖像的合適性以及提供關于改進提議圖像以提高合適性的技術的需要。有利地，優選的是:這種技術給用戶提供實時反饋以使得對用于AR標記創建的合適標記的識別變得高效。

【發明內容】

[0005]本發明涉及一種AR內容創建系統，其包括用于存儲標記的標記數據庫以及至少作為用于在AR內容創建系統和用戶之間通信的接口的用戶設備。本發明的一個方面是為了提供一種用于在用戶選擇圖像的第一子圖像并在用戶設備處請求AR內容創建系統使用第一子圖像作為新標記時由AR內容創建系統使用新標記更新標記數據庫的方法。
[0006]在所述方法中，計算第一子圖像的合適性分數。任何測試圖像的合適性分數用于對測試圖像的特征豐富度和測試圖像相對于已經存儲在標記數據庫中的現有標記的獨特性評級，以使得合適性分數的值比第二測試圖像高的第一測試圖像比第二測試圖像更適于作為新標記。
[0007]當第一子圖像的合適性分數小于預定閾值時，在下述約束下執行搜索過程以搜索圖像的第二子圖像:(I)第二子圖像具有不小于預定閾值的合適性分數的值以及(2)完全包含第一子圖像。
[0008]在搜索過程中找到第二子圖像之后，基本上立即地通過用戶設備將第二子圖像、其合適性分數及第一子圖像的合適性分數呈送給用戶。由此，通過提議用戶在更新標記數據庫時使用第二子圖像而不是第一子圖像作為新標記以便增加新標記的特征豐富度或獨特性，實現了實時地為用戶提供建議。
[0009]優選地，通過計算過程來計算任何測試圖像的合適性分數，所述計算過程包括識別測試圖像的特征點以及根據特征點生成測試圖像的簽名。所述計算過程還包括確定用于對測試圖像的特征豐富度評級的特征豐富度分數以及確定用于對測試圖像相對于已經存儲在標記數據庫中的現有標記的獨特性評級的獨特性分數。特征豐富度分數根據特征點的數量確定。獨特性分數通過將測試圖像的簽名與現有標記的簽名相比較而確定。通過Ssu1 =f ( Sfr , a) X f (Suni，β)計算合適性分數，其中:Ssui為合適性分數;Sfr是特征豐富度分數；Suni是獨特性分數;均為正的α和β分別為Sfr和Suni的權重因數；以及f(S，c)是S的單調遞增函數。
[0010]搜索過程優選按照下述開始。基于封閉圖像的第一部分的第一邊界，通過向外擴張第一邊界以給出第二邊界以及形成候選子圖像作為圖像的由第二邊界封閉的第二部分來生成待考慮成為第二子圖像的候選子圖像，其中所述第一部分被用作第一子圖像。重復候選子圖像的生成直到滿足下列兩個條件中的一個。第一，最后生成的候選子圖像具有不小于預定閾值的合適性分數的值。所述最后生成的候選子圖像成為第二子圖像。第二，已經生成了預定數量的候選子圖像但是候選子圖像中沒有一個具有不小于預定閾值的合適性分數的值。那么未找到第二子圖像。
[0011]如由下文的實施方式所示意的，公開了本發明的其他方面。
【附圖說明】
[0012]圖1描繪了根據本發明示例性實施方式的更新標記數據庫的流程圖。
[0013]圖2描繪了根據本發明的一種實施方式的用于示意任何測試圖像的合適性分數的生成的流程圖。
[0014]圖3A描繪了用于生成第二邊框矩形的第一邊框矩形，所述第二邊框矩形限定被考慮選擇為第二子圖像的候選子圖像。
[0015]圖3B通過例子示意了通過以第一邊框矩形的中心作為錨水平地擴張第一邊框矩形而形成第二邊框矩形。
[0016]圖3C通過例子示意了通過以第一邊框矩形的中心作為錨垂直地擴張第一邊框矩形而形成第二邊框矩形。
[0017]圖3D通過例子示意了通過以第一邊框矩形的中心作為錨水平地并且垂直地擴張第一邊框矩形而形成第二邊框矩形。
[0018]圖3E通過例子示意了通過以第一邊框矩形的頂點作為錨擴張第一邊框矩形而形成第二邊框矩形。
[0019]圖3F通過例子示意了通過以第一邊框矩形的邊作為錨擴張第一邊框矩形而形成第二邊框矩形。
[0020]圖4描繪了根據本發明的一種實施方式的用于實施AR客戶端應用和AR內容創建系統的移動計算設備。
[0021]圖5描繪了根據本發明的一種實施方式的AR內容創建系統，所述AR內容創建系統包括用戶設備、位于計算云中的標記數據庫以及位于計算云中并且可以與用戶設備和標記數據庫通信的計算服務器。
【具體實施方式】
[0022]以下的定義在本文中用于說明書和隨附的權利要求。“AR內容創建者”是從視頻圖像中選擇標記的人員，其中標記被打算由AR客戶端應用在圖像識別中使用。當AR內容創建者與AR內容創建系統交互(例如將標記輸入到系統中)時，AR內容創建者是AR內容創建系統的用戶。“標記數據庫”是用于存儲標記的數據庫。由于標記數據庫主要用于圖像識別，因此標記數據庫的內容是能夠在圖像識別中幫助識別標記的任何數據。此外，當在視頻圖像中識別單個標記時，每個標記與一個或多個虛擬對象關聯以借助該視頻圖像進行增強。因此，“用于存儲標記的標記數據庫”在此處表示包含下列項的數據庫:(I)能夠在圖像識別中幫助識別標記的任何數據，例如標記的特征、簽名、指紋、整個圖像或其組合，以及(2)可選地，用于各個標記的一個或多個虛擬對象，或指向包含一個或多個虛擬對象的另一數據庫的指針。選擇哪些種類的數據以將其存儲在用于標記的標記數據庫中由本領域技術人員根據實際情況來確定。AR內容創建系統中的“用戶設備”是至少作為AR內容創建系統及其用戶之間的接口的設備。在最實用的情形中，用戶設備通過包括用于執行計算和控制功能的一個或多個處理器、用于將可視信息顯示給用戶的顯示器以及用于從用戶接收輸入的輸入設備來實現。用戶設備的例子包括啟用了互聯網的臺式計算機和智能電話。“移動計算設備”是具有計算能力并且被配置成提供無線通信的便攜式電子設備。例如，移動計算設備可以是智能電話或手持式平板電腦。除非另有說明，“云”在云計算或同義地在經由網絡的分布式計算的意義上被解讀和解釋。“服務器”在計算的意義上被解釋。服務器一般配備有用于執行程序指令的一個或多個處理器以及用于存儲數據的一個或多個存儲裝置。服務器可以是單機計算服務器或云中的分布式服務器。圖像的“子圖像”是圖像的被選擇部分。子圖像由圖像上的(假想)邊界來界定，其中邊界封閉圖像的被選擇部分。
[0023]考慮中的AR內容創建系統至少包括用于存儲標記的標記數據庫以及至少作為用于AR內容創建系統及用戶之間通信的接口的用戶設備。
[0024]本發明的一個方面在于提供一種用于在用戶選擇圖像的第一子圖像并向AR內容創建系統做出使用第一子圖像作為新標記的請求時由AR內容創建系統利用新標記更新標記數據庫的方法。用戶在用戶設備處做出所述請求。第一子圖像可以呈任何形狀，例如矩形、多邊形、圓形或橢圓形。
[0025]示例地，借助圖1來示意所述方法，圖1描繪了根據本發明的示例性實施方式的更新標記數據庫的流程圖。
[0026]在所述方法中，當用戶做出前述請求時，計算第一子圖像的合適性分數(步驟110)。任何測試圖像的合適性分數用于評級:(I)測試圖像的特征豐富度以及(2)測試圖像相對于已經存儲在標記數據庫中的現有標記的獨特性。測試圖像中特征的充裕使得測試圖像的圖像識別較不容易出錯，降低了在AR客戶端應用中的最終圖像識別過程中出現遺漏的可能性以及錯誤檢測的可能性。如果測試圖像與所有的現有標記相比足夠特殊(即，充分不同)，則AR客戶端應用在測試圖像的圖像識別中不太會混淆。在本公開文本中，合適性分數被限定為與用于AR客戶端應用的測試圖像的合適性正相關。可見，合適性分數值比第二測試圖像的合適性分數值高的第一測試圖像比第二測試圖像更適于作為新標記。顯然，對本領域技術人員來說，等價地，合適性分數也可以限定為與合適性負相關。盡管本公開文本使用限定合適性分數的第一種情形來示意本發明，然而本發明涵蓋這兩種情形。
[0027]在應用本發明之前，為AR內容創建系統確定閾值以使得合適性分數低于閾值的測試圖像被視為具有低質量并且不適于用作AR客戶端應用中的標記。類似地，如果測試圖像的合適性分數大于或等于該預定的閾值，則該測試圖像被視為適于成為AR客戶端應用中的標記。閾值由本領域技術人員根據實際情況確定。
[0028]在步驟114中，將第一子圖像的合適性分數與閾值比較。如果該合適性分數大于或等于閾值，則用第一子圖像作為新標記來更新標記數據庫(步驟116)。否則，初始化搜索過程 180。
[0029]搜索過程180用于搜索具有不小于閾值的合適性分數的第二子圖像。如上所述，不合適性是由于特征豐富度和獨特性中導致圖像識別中的困難的問題。可見，給第一子圖像結合足夠特殊的附加特征是這些問題的一個解決方案。如果將圖像的與第一子圖像相鄰的一部分添加到第一子圖像，則有可能增加圖像的最終子圖像中的特征的數量，導致最終的合適性分數比第一子圖像的合適性分數大。因此，搜索過程180在第二子圖像完全包含第一子圖像的約束下進行。
[0030]搜索過程180的一個示例性實現是執行步驟120、124、126和130。在步驟120中，生成待考慮作為第二子圖像的候選子圖像。候選子圖像的生成基于封閉圖像的第一部分的第一邊界，其中第一部分被用作第一子圖像。候選子圖像通過向外擴張第一邊界以給出第二邊界并且通過形成候選子圖像作為由第二邊界封閉的圖像的第二部分而生成。在生成候選子圖像之后，計算該候選子圖像的合適性分數。重復步驟120直到最后生成的候選子圖像具有不小于閾值的合適性分數的值，或者直到已經生成了預定數量的候選子圖像但是生成的候選子圖像中沒有一個具有不小于閾值的合適性分數的值。步驟120的重復的終止由步驟124和126控制。在步驟124中，將步驟120中生成的候選子圖像的合適性分數與閾值相比較。如果該合適性分數不小于閾值，則最后生成的候選子圖像成為第二子圖像(在步驟130中)。否則，在步驟126中用前述的預定數量檢查已經生成的候選子圖像的數量。在已經生成的候選子圖像的數量仍然小于該預定數量的情況下，步驟120被重復。
[0031]如果在步驟120中發現達到候選子圖像的預定數量，則確定未找到第二子圖像。采取由本領域技術人員根據實際情況確定的一個或多個其他合適動作(步驟128)。用戶可以使用先前被測試圖像中具有最高分數的一個，盡管其低于閾值，或使用一些其他標準來選擇適當的圖像。通過經由用戶設備向用戶呈送在已經生成的候選子圖像中具有最高合適性分數的一個候選子圖像，AR內容創建系統可以輔助用戶。
[0032]當在步驟130中找到第二子圖像之后，經由用戶設備將第二子圖像、其合適性分數和第一子圖像的合適性分數呈送給用戶(步驟140)。通過提議用戶使用第二子圖像而不是第一子圖像作為在更新標記數據庫時的新標記以增加新標記的特征豐富度或獨特性，給用戶提供建議。有利地，在搜索過程180中找到第二子圖像之后，基本上立即地進行第二子圖像、其合適性分數及第一子圖像的合適性分數的呈送。這樣，實現了為用戶實時提供建議。
[0033]當在步驟140中將建議提供給用戶之后，進行由本領域技術人員根據實際情況確定的其他后續動作(步驟150)。例如，AR內容創建系統請求用戶同意使用第二子圖像作為在更新標記數據庫時的新標記。
[0034]圖2是用于示意根據本發明的一種實施方式的任何測試圖像的合適性分數的生成的流程圖。
[0035]在步驟210中，識別測試圖像的特征點。每一個特征點均是這樣的一個點:其中該點和其鄰域構成相對于圖像中的其他點/像素的特殊性。通常，特征點是出現在測試圖像中的角。因此，通過特征點的檢測來輔助圖像識別。US2015/0213325提供了用于識別特征點的技術的例子。
[0036]在步驟220中，根據在步驟210中識別的特征點生成測試圖像的簽名。在US2015/0227796中提供了生成簽名的例子，其中基于圖像的凸點(對應于特征點)而生成指紋(對應于簽名)。
[0037]在步驟230中，確定用于評級測試圖像的特征豐富度的特征豐富度分數。根據在步驟210中識別的特征點的數量來確定特征豐富度分數。特征豐富度分數是特征點的數量的單調遞增函數。較多數量的特征點產生較高的特征豐富度分數。
[0038]在步驟240中，確定用于對測試圖像相對于已經存儲在標記數據庫中的現有標記的獨特性評級的獨特性分數。通過將測試圖像的簽名與現有標記的簽名相比較來確定獨特性分數。如果測試圖像的簽名接近或類似于現有標記的簽名中的任何一個，則獨特性分數為低。低獨特性分數指示在圖像識別中AR內容創建系統容易混淆測試圖像和已經存儲在標記數據庫中的標記中的至少一個，導致在執行AR時的圖像識別錯誤。
[0039]最后，在步驟250中，通過351!1 =汽3^€0\汽3_1，|3)計算測試圖像的合適性分數，其中:Ssu1為合適性分數;Sfr是特征豐富度分數;Suni是獨特性分數;α和β是非零正數，分別用作對于Sfr和Suni的權重因數；以及f(S，c)是分數S的單調遞增函數。例如，函數f可以是f (S，c) = S+c或f (S，c) = Se。可見，特征豐富度分數和獨特性分數中的任一個為低導致合適性分數的低值，表明不適合成為新標記。對α和β的選擇通常基于在評估測試圖像作為新標記的合適性時特征豐富度和獨特性的相對重要性。在特征豐富度和獨特性被視為同等重要的特殊情形中，α = β。
[0040]在一種實施方式中，步驟120中的候選子圖像的生成實現如下。無論第一子圖像的第一邊界的形狀如何，存在在圖像上界定第一邊界的邊框形狀。例如，如果邊框形狀為矩形，則將該邊框矩形擴張成包含之前的邊框矩形的較大邊框矩形使得第一邊界成比例地擴張。這種成比例擴張之后的第一邊界給出了限定生成的候選子圖像的第二邊界。在此后的說明中，為清楚起見，將前述的邊框矩形命名為第一邊框矩形，而將擴張后的最終邊框矩形稱為第二邊框矩形。圖3Α描繪了用于生成第二邊框矩形315的第一邊框矩形310。第一邊框矩形310具有四個頂點371-374，四條邊376-379以及中心370。候選子圖像由從第一邊框矩形310擴張的第二邊框矩形315限定。經由下述幾何操作中的一種來向外擴張第一邊框矩形310以產生第二邊框矩形315。在下面描述的幾何操作中，錨是點或線，其在將第一邊框矩形310幾何擴張到第二邊框矩形315的過程中保持固定。[0041 ].如在圖3B中示出的，以中心370作為幾何操作的錨331，將第一邊框矩形310水平地擴張，形成第二邊框矩形321。
[0042].如在圖3C中示出的，以中心370作為幾何操作的錨332，將第一邊框矩形310垂直地擴張，形成第二邊框矩形322。
[0043].如在圖3D中示出的，以中心370作為幾何操作的錨333，將第一邊框矩形310水平地且垂直地擴張，形成第二邊框矩形323。
[0044].如在圖3E中示出的，以頂點374作為幾何操作的錨334，將第一邊框矩形310擴張，形成第二邊框矩形324。其他三個頂點371-373中的任一個也可以是錨334。
[0045].如在圖3F中示出的，以邊378作為幾何操作的錨335，將第一邊框矩形310擴張，形成第二邊框矩形325 ο其他三條邊376、377和379中的任一條也可以是錨335。
[0046]注意，上述的矩形邊框形狀用作一個例子，其僅用于示意的目的。可以使用其他形狀來代替矩形邊框形狀。例如，可以使用圓形的邊框形狀。圓形的邊框形狀(即，圓)可以通過使用例如圓心或圓周上的點作為錨而被擴張。
[0047]在一個實用場景中，使用上文公開的方法的一種實施方式的AR內容創建系統實施在單機移動計算設備中。所述移動計算設備也作為用于與用戶通信的用戶接口。所述移動計算設備還用于AR客戶端應用。圖4描繪了用于實施AR內容創建系統的移動計算設備的例子。移動計算設備410包括用于顯示從AR客戶端應用發送的信息的顯示器470、用于從用戶接收輸入的輸入裝置480(可以經由觸摸傳感器、鍵盤或諸如語音的一些其他手段接收輸入)、用于安裝標記數據庫455的一個或多個存儲裝置450以及用于執行步驟110、114、116和搜索過程180并且用于在步驟140中指示顯示器470顯示建議的一個或多個處理器460。
[0048]在另一個實用場景中，采用上文公開的方法的實施方式的AR內容創建系統通過包括用戶設備、標記數據庫以及可以與用戶設備和標記數據庫通信的計算服務器而實施，其中標記數據庫和計算服務器遠離用戶設備。用戶設備可以是通過有線連接與計算服務器連接的臺式計算機，或者可以是與計算服務器無線通信的移動計算設備。
[0049]圖5描繪了配置成執行根據上文公開的方法的實施方式的過程的AR內容創建系統的又一種實用實施。AR內容創建系統500包括用戶設備510、標記數據庫540和可以與用戶設備510和標記數據庫540通信的計算服務器530。
[0050]用戶設備510經由通信鏈路515連接到計算服務器530。在一種選擇中，用戶設備510是臺式計算機。在另一種選擇中，用戶設備510是移動計算設備，從而通信鏈路515是無線鏈路。在兩種選擇中，使通信鏈路515過載都是不理想的。如將會很快證實的，圖5中描述的AR內容創建系統被配置為避免這種過載問題。
[0051]計算服務器530和標記數據庫540位于計算云520中。圖像的本地副本存儲在計算服務器530中。當用戶選擇圖像的第一子圖像并且通過用戶設備510請求AR內容創建系統500使用第一子圖像作為新標記時，第一子圖像在圖像上的坐標從用戶設備510經由通信鏈路515被發送到計算服務器530，而沒有必要將第一子圖像發送到計算服務器530。計算服務器530隨后基于接收的坐標和圖像的本地副本而創建第一子圖像的本地副本。可見，避免了由于將第一子圖像傳輸到計算服務器530引起的通信鏈路515上的通信負載。當需要頻繁地向AR內容創建系統500輸入大量第一子圖像以評估這些第一子圖像的合適性時，這是特別有利的。由計算服務器530進行對任何測試圖像的合適性分數的計算和用于搜索第二子圖像的搜索過程180的執行。在計算服務器530處確定第二子圖像之后，將第二子圖像的坐標傳輸到用戶設備510。隨后，用戶設備510能夠重建第二子圖像的本地副本，從而避免了由于將第二子圖像傳輸到用戶設備510而引起的通信鏈路515上的另一通信負載。
[0052]在不背離本發明的精神和基本特征的情況下，可以以其他特定形式實施本發明。因此，本實施方式應當在各個方面被視為是示意性的而非限制性的。本發明的范圍由隨附的權利要求而不是由前面的說明書限定，因此落入權利要求的意義和等價范圍內的所有改變都應當被涵蓋在本發明中。
【主權項】
1.一種用于在增強現實(AR)內容創建系統中用新標記更新標記數據庫的方法，當用戶選擇圖像的第一子圖像并且在用戶設備處請求AR內容創建系統使用第一子圖像作為新標記時進行所述更新，所述AR內容創建系統包括用于存儲標記的標記數據庫和至少作為用于AR內容創建系統和用戶之間通信的接口的用戶設備，所述方法包括: 計算第一子圖像的合適性分數，其中任何測試圖像的合適性分數用于對測試圖像的特征豐富度和測試圖像相對于已經存儲在標記數據庫中的現有標記的獨特性評級，以使得合適性分數的值比第二測試圖像高的第一測試圖像比第二測試圖像更適于作為新標記； 當第一子圖像的合適性分數小于預定閾值時，在下述約束下執行搜索過程以搜索圖像的第二子圖像:第二子圖像具有不小于預定閾值的合適性分數的值以及完全包含第一子圖像；以及 在搜索過程中找到第二子圖像之后基本上立即地通過用戶設備將第二子圖像、其合適性分數及第一子圖像的合適性分數呈送給用戶，以用于通過提議用戶使用第二子圖像而不是第一子圖像作為更新標記數據庫時的新標記以便增加新標記的特征豐富度或獨特性，而實時地為用戶提供建議。2.根據權利要求1所述的方法，其中，通過計算過程來計算任何測試圖像的合適性分數，所述計算過程包括: 識別測試圖像的特征點； 根據特征點生成測試圖像的簽名； 確定用于對測試圖像的特征豐富度評級的特征豐富度分數Sfr，其中根據特征點的數量確定特征豐富度分數； 確定用于對測試圖像相對于已經存儲在標記數據庫中的現有標記的獨特性評級的獨特性分數Sm，其中通過將測試圖像的簽名與現有標記的簽名相比較而確定獨特性分數；以及 通過Ssui = f (Sfr,a) X f (Suni，β)計算合適性分數Ssui，其中:均為正數的α和β分別是Sfr和Slm的權重因數，并且f(S，c)是S的單調遞增函數。3.根據權利要求1所述的方法，其中，所述搜索過程包括: 基于封閉圖像的第一部分的第一邊界，通過向外擴張第一邊界以給出第二邊界以及形成候選子圖像作為圖像的由第二邊界封閉的第二部分來生成待考慮成為第二子圖像的候選子圖像，其中所述第一部分被用作第一子圖像，其中第一邊界為任意形狀;以及 重復候選子圖像的生成直到: (a)最后生成的候選子圖像具有不小于預定閾值的合適性分數的值，借此所述最后生成的候選子圖像成為第二子圖像;或 (b)已經生成了預定數量的候選子圖像，但是候選子圖像中沒有一個具有不小于預定閾值的合適性分數的值，從而未找到第二子圖像。4.根據權利要求3所述的方法，其中: 第一邊界具有第一邊框矩形，第一邊框矩形界定了圖像上的第一邊界，第一邊框矩形具有四個頂點、四條邊以及中心； 將第一邊框矩形擴張成包含第一邊框矩形的第二邊框矩形使得第一邊界成比例地擴張，成比例擴張之后的第一邊界給出第二邊界； 通過以下幾何操作中的一種來向外擴張第一邊界以給出第二邊界: (a)以中心作為幾何操作的錨，水平地或垂直地擴張或者水平且垂直地擴張第一邊框矩形； (b)以四個頂點中的一個作為幾何操作的錨，擴張第一邊框矩形；以及 (c)以四條邊中的一條作為幾何操作的錨，擴張第一邊框矩形。5.根據權利要求1所述的方法，還包括: 當確定未找到第二子圖像時，通過用戶設備向用戶呈送在已經生成的候選子圖像中具有最高合適性分數的一個候選子圖像。6.根據權利要求1所述的方法，還包括: 當第一子圖像的合適性分數被確定為不小于預定閾值時，用第一子圖像作為新標記更新標記數據庫。7.一種增強現實(AR)內容創建系統，包括: 用于存儲標記的標記數據庫；以及 用戶設備，該用戶設備至少作為用于AR內容創建系統和用戶之間通信的接口； 其中AR內容創建系統配置成在用戶選擇圖像的第一子圖像并且在用戶設備處請求AR內容創建系統使用第一子圖像作為新標記時，執行用新標記更新標記數據庫的過程，并且其中，根據權利要求1-6中的任一項所述的方法來布置標記數據庫更新過程。8.根據權利要求7所述的AR內容創建系統，其中: 用戶設備是移動計算設備； 標記數據庫安裝在移動計算設備中；以及 任何測試圖像的合適性分數的計算和用以搜索第二子圖像的搜索過程的執行在移動計算設備處本地進行。9.一種增強現實(AR)內容創建系統，包括: 用戶設備，該用戶設備至少作為用于AR內容創建系統和用戶之間通信的接口； 用于存儲標記的標記數據庫，該標記數據庫位于計算云中；以及 能夠與用戶設備和標記數據庫通信的計算服務器，該計算服務器位于計算云中； 其中: AR內容創建系統配置成用于在用戶選擇圖像的第一子圖像并且在用戶設備處請求AR內容創建系統使用第一子圖像作為新標記時，執行用新標記更新標記數據庫的過程；根據權利要求1-6中的任一項所述的方法來布置標記數據庫更新過程； 圖像的本地副本存儲在計算服務器中； 用戶設備配置成使得:當用戶選擇圖像的第一子圖像并且請求AR內容創建系統使用第一子圖像作為新標記時，第一子圖像在圖像上的坐標被發送到計算服務器，而不會將第一子圖像發送到計算服務器，從而允許計算服務器基于圖像的本地副本獲知第一子圖像，同時避免了由于將第一子圖像傳輸到計算服務器引起的通信負載； 任何測試圖像的合適性分數的計算和用以搜索第二子圖像的搜索過程的執行由計算服務器進行；以及 計算服務器還配置成將第二子圖像的坐標傳輸到用戶設備，而不將第二子圖像發送到用戶設備，從而允許用戶設備獲取第二子圖像，同時避免了由于將第二子圖像傳輸到用戶設備引起的通信負載。10.根據權利要求9所述的AR內容創建系統，其中，用戶設備是配置成與計算服務器無線通信的移動計算設備。
【文檔編號】G06F17/30GK105830095SQ201680000108
【公開日】2016年8月3日
【申請日】2016年3月21日
【發明人】羅家泳, 周經偉, 方來發
【申請人】香港應用科技研究院有限公司