使用結構化光圖像的交互檢測的制作方法

使用結構化光圖像的交互檢測的制作方法
【專利摘要】本發明涉及使用結構化光圖像的交互檢測。提供一種裝置(100)和方法，以確定與界面，尤其是與可以被投影在表面(128)上或以其他方式在表面(128)上生成的用戶界面圖像(120)的交互的發生和位置。該裝置(100)使用一個或更多個單元件傳感器(104)(例如光電二極管)感測和捕捉場景(114)的光讀數，所述讀數和注入所述界面展示部分內的多個結構化光圖像(300)相對應。比較所述讀數與讀數基線集合，以確定通過障礙物(204)(即，手指或觸筆)導致的交互事件，例如觸摸事件或障礙物(204)的移動的發生和位置。
【專利說明】使用結構化光圖像的交互檢測

【技術領域】
[0001 ] 本發明大體涉及與界面交互的檢測。

【背景技術】
[0002]與界面的交互，例如，人與投影在表面上或以其他方式顯示在表面上的圖像的觸摸交互，這能夠通過許多手段檢測。這種包括在數碼相機(例如，電荷耦合器件(CCD)攝像機或CMOS攝像機)中的先前交互檢測方法連續捕捉場景的圖像并連續處理所述場景，以確定與界面交互的發生或位置。然而，這些解決方案要求使用一個或更多個額外的攝像機和相關的光學器件以監測場景，這除了昂貴之外，還難以合并到便攜式電子設備如移動通信設備的實施所需的小巧外形中。進一步地，這些解決方案需要大量的處理功率來處理場景圖像，而且消耗額外的電力來操作攝像機和處理數據。更進一步地，基于攝像機的解決方案在惡劣的環境光條件下表現不佳。
[0003]其他方法包括激光器或其他距離測量設備連續測量測量域內的物體的距離，以確定是否發生交互。不過，這些解決方案也需要完成距離測量所必需的額外組件，這是很昂貴的，耗電的，并且相對于較小的便攜式設備來說太大。還有其他解決方案使用超聲技術或電磁檢測。不過，這些解決方案不提供關于交互位置的準確讀數。
[0004]鑒于移動無線設備的普及，提供準確交互檢測并最小化處理功率、功耗以及物理外形因素的解決方案是可取的。


【發明內容】

[0005]一般來說，根據這些各種實施例，提供一種裝置和方法確定與界面，尤其是可以投影在表面上或以其他方式在表面上產生的用戶界面圖像的交互的發生和位置。所述裝置使用一個或更多個單元件傳感器(例如光電二極管)感測和捕捉場景的光讀數，所述讀數和注入所述界面展示部分的多個結構化光圖像相對應。比較讀數與讀數的基線集合，以確定通過障礙物(即，手指或觸筆)導致的交互事件(例如觸摸事件或障礙物的移動)的發生和位置。在對下列【具體實施方式】進行全面回顧和研究后，這些益處和其他益處將變得更加清晰。

【專利附圖】

【附圖說明】
[0006]圖1示出根據各種方法用于感測與界面的交互的裝置的框圖；
[0007]圖2示出圖1的裝置使用的環境示例；
[0008]圖3示出根據至少一種方法可由圖1的裝置使用的示例性水平邊界模式結構化光圖像；
[0009]圖4示出圖3的示例性水平邊界模式結構化光圖像的空間反轉；
[0010]圖5示出根據至少一種方法可由圖1的裝置使用的示例性垂直邊界模式結構化光圖像；
[0011]圖6示出圖5的示例性垂直邊界模式結構化光圖像的空間反轉；
[0012]圖7示出根據至少一種方法可由圖1的裝置使用的示例性列模式結構化光圖像；
[0013]圖8示出圖7的示例性列模式結構化光圖像的空間反轉；
[0014]圖9示出圖1的裝置刻畫的場景的示例性代表圖；
[0015]圖10示出根據各種方法的使用多個單元件傳感器的示例性代表圖；
[0016]圖11示出根據各種方法通過圖1的裝置進行的光檢測的進一步方面。
[0017]本領域技術人員應當明白，為了簡要和清楚起見，所示附圖中的元素并不一定按比例繪制。例如，圖中一些元件的尺寸和/或相對位置可以相對于其他元件放大，以幫助理解本發明的各種實施例。而且，商業上可行的實施例中有用或必要的常用但易于理解的元件通常未被示出，以便不阻礙這些各種實施例的視圖。應當進一步明白，某些動作和/或步驟可以以特定的出現順序描述或示出，而本領域的技術人員應當理解，關于順序的這種獨特性并不是實際要求的。還應當理解，本文所使用的術語和表達式具有普通技術含義，如本領域技術人員所述的這些術語和表達式，除非本文已經敘述其具有不同的具體含義。

【具體實施方式】
[0018]首先參照圖1，其以框圖形式示出根據各種方法的用于感測與界面交互的裝置100。裝置100包括至少一個處理設備102和耦合到處理設備102的至少一個單元件光傳感器104。處理設備102可以耦合到至少一個存儲器設備106或在其中包含至少一個存儲器設備106。單兀件傳感器104可以是光電二極管、光傳感器、光電傳感器、光電開關、光電管、光電晶體管、光子計數器、波陣面傳感器、單像素的有源像素傳感器、光生伏打傳感器或其他已知或目前未知的單元件光傳感器。通過一些方法，可以使用多個單元件傳感器，例如傳感器104、108、110、112。不過，這些多個傳感器104、108、110、112通常彼此不在相同位置，其被提供以從不同角度和視點獲取場景114的讀數。場景114被定義為單元件傳感器104、108、110、112中的一個或更多個能夠讀取的區。通過另一個實施例，單元件傳感器104、108、110、112可被替換為〃幾個元件〃傳感器，其可包括位于相同位置的少量(即，2，或更多)單元件傳感器，也不是太多，以免與單捕捉讀數中所接收的改進信號相比產生不必要的額外成本和功耗。例如，雙元件傳感器(具有位于相同位置的兩個傳感器元件)可用于代替單元件傳感器104，從而簡單地憑借增加感測能力，允許額外的光靈敏度。然而，由于是通過增加元件傳感器提供增加的靈敏度，所以本文所述的功能不會改變。
[0019]裝置100還可以耦合到圖像生成器116。例如，如圖1所示，圖像生成器116可以是投影儀，例如，如DLP微型超短焦投影儀，不過，其他類型的投影儀118可適用于裝置100。投影儀118在圖像區122中生成圖像120，其由一個或更多個光學元件124 (即，透鏡)，通過投影光輸出126經由投影路徑130投影到場景114內的表面128上。傳感器104、108、110、112配置為通過感測從表面128反射的來自投影光輸出126的光，以感測場景114的亮度水平。投影的圖像120可以占據比整個場景114少或多圖像區122，這可以根據表面128到投影儀118和/或傳感器104、108、110、112的距離而改變。通常情況下，但不是總是，表面128是平坦表面，例如桌面或墻，雖然這些教導適用于能夠具有圖像120在其上顯示的任何表面。通過另一種方法，圖像生成器116在表面128自身(例如通過圖形顯示器)上生成圖像120，而不是通過投影在其上生成圖像。
[0020]圖2提供環境實例。如圖2所示，裝置100是移動設備，例如蜂窩電話202。蜂窩電話202包括投影儀118，并且其經配置以將適于人們消費和/或交互的圖像120投影在表面128(在這個示例中，是桌面)上。蜂窩電話202可以經配置直立或具有相比于所述蜂窩電話坐在其上的表面128保持抬起的一部分，以便蜂窩電話202的用戶可以將其放置在表面128上并使用他/她的手與圖像120交互。如這里所示出的，用戶能夠以與觸摸屏設備(例如平板電腦或其等效物)的用戶非常相同的方式使用障礙物204(在這種情況下，手指)與圖像120交互。這類交互通過將障礙物204或物體(即，手指)插入投影路徑130實現，這種交互隨后由通常與投影儀光輸出126位于不同位置的一個或更多個傳感器104、108、110、112感測。因此，與蜂窩電話202的同等小巧和便攜外形上的顯示器上可能與用戶交互的區域相比，蜂窩電話202能夠提供用戶能夠與蜂窩電話202交互的更大面積。
[0021]為了只使用少量的單元件傳感器104、108、110、112實現交互事件(B卩，觸摸)的空間檢測，多個時變結構化光圖像300 (參照圖3-8)在各個時隙分別投影到表面128上或以其他方式在表面128上生成。通過一種方法，通過使用用于投影非結構化光圖像120的相同投影儀118，這些結構化光圖像300按時間被插入到非結構化光圖像120 (例如人類可消費的圖像120和/或界面)的投影中。
[0022]通過一個示例，投影儀118能夠使用快速切換顯示技術。當以最大約為60-100幀每秒(fps)的速率產生圖像時，人眼能夠檢測到各個圖像。不過，快速切換顯示投影儀或其他圖像生成器116能夠以高于人類可檢測的幀速率并且高達lOOOfps，或甚至lOOOOfps的幀速率生成圖像120。因此，當采用這種技術時，多個結構化光圖像300能夠在非結構化光圖像120的投影期間按時間插入，而又保持不可被人類檢測。
[0023]現轉向圖3-8，其根據各種方法示出示例性結構化光圖像300。圖3示出水平邊界模式結構化光圖像302的示例，其可由投影儀118在其他圖像120的投影期間在各別時隙中投影。水平邊界模式302使用垂直線確定障礙物204的水平位置信息。如這里所示出，結構化光圖像300具有至少一個在其圖像區122內部的高對比度邊界304。這個高對比度邊界304可以是，例如，直線且可以表示暗淡區域306(即，均勻涂黑的)和明亮區域308(即，均勻照亮的)之間的邊界304。高對比度邊界304還和圖像300內的目標地理位置(S卩，接近邊界304的整列)相對應。其他高對比顏色或色度組合也是可能的。在其他示例中，結構化光圖像300可以具有兩個對比區306、308之間的正弦曲線的或其他梯度邊界。通過其他示例，可以存在多個不同的高對比光區306、308或多個不同形狀的邊界304(—個或更多個)。邊界304可以是直線(如圖3-8所示)或可以是彎曲的，可以是水平的或垂直的，或徑向模式跨越。幾乎任何模式或模式的組合都是可能的，其使得多個結構化光圖像300允許根據下面詳細描述的方法的表面128的平場編碼(flat field encoding)。在這里討論和示出的結構化光圖像300僅僅是示例性的，并不意味著以任何方式限制本發明的范圍。
[0024]繼續圖4，其示出圖3的水平邊界模式結構化光圖像302的空間反轉。通過使用該空間反轉圖像402，額外的數據可以從單元件傳感器104、108、110、112收集。進一步地，即使結構化光圖像300在他們不可被單獨檢測的如此快的時間被投影，人眼至少檢測插入到投影流中的多個結構化光圖像300的質量效應，這可以是可能的。通過投影結構化光圖像，例如圖3中的水平邊界模式302，隨后不久跟隨有其空間反轉，如圖4中的空間反轉，由于結構化光圖像302及其反轉圖像402在視覺上彼此抵消，因此能夠無效該效應。
[0025]結構化光圖像300的其他示例如圖5-8所示。圖5示出垂直邊界模式結構化光圖像502，而圖6示出其反轉圖像602。圖7示出列模式結構化光圖像702的示例，而圖8示出其反轉圖像802。列模式702的線條704包含兩個高對比度邊界304和706。線條704可以是任何寬度的，例如單一像素寬到幾百像素寬。也能夠修改圖7和8的列模式702、802以使線條704呈現行模式而不是列模式。
[0026]多個結構化光圖像300將包含在高對比度邊界304的位置中彼此不同的獨特的結構化光圖像300集合。繼續圖7的列模式結構化光圖像702，這個圖像可以是幾十個、幾百個或幾千個列模式結構化光圖像702，其中，例如，每個圖像在線條704的布局方面從一側到另一側可以不同。如果在這個示例中多個結構化光圖像300被一個接著一個地投影(慢到足以感知的程度)，則會出現光線條704掃描整個表面128。
[0027]在另一個示例中，圖5的垂直邊界模式結構化光圖像502可以是在高對比度邊界(即，從頂部到底部)304的垂直布局中彼此不同的許多圖像的其中一個。如果這個示例中的多個結構化光圖像300被一個接著一個地投影(慢到足以感知)，則會出現越來越多部分的光從頂部開始并按照這種方式繼續，直到其占據整個(或大部分)圖像區122。
[0028]各個結構化光圖像300的投影順序是從一側到另一側或從頂部到底部掃描(但絕不是限制)。投影順序能夠使邊界304 (—個或更多個)能夠以任何合適的模式改變，如在給定的設置中可以被視為是恰當的。例如，為了避免掃描感知，因為可能被用戶檢測到，處理設備102可以以看似隨機的順序投影結構化光圖像300，以使高對比度邊界304以看似隨機的方式移動，從而降低被用戶檢測到的可能性。
[0029]此外，被投影的結構化光圖像300的順序或者甚至要投影哪些多個結構化光圖像300能夠由處理設備102根據任何數量的因素在運行時選擇。例如，如在繼續閱讀時將變得更加清楚的，處理設備102可以在第一時間期間使用第一多個結構化光圖像300確定交互(或目標區)的大致位置，接著在第二時間，使用包含接近所述位置或區的邊界的第二多個圖像300收集和在所述位置發生的事件有關的額外的和/或更詳細的信息。
[0030]處理設備102經配置以在每個結構化光圖像300投影期間，從單元件傳感器104、108、110、112捕捉一個或更多個傳感器讀數。每個傳感器讀數是在各個單元件傳感器104、108、110、112處檢測到的亮度水平。因為每個傳感器104、108、110、112具有單元件或至少提供單個可存儲數據點，所以每個讀數的數據量是極小的并且容易被存儲。
[0031]在工作時，處理設備102響應于不同的各個結構化光圖像300表征傳感器104、108、110、112的光學響應。例如，在單獨結構化光圖像300的投影期間，處理設備102將使傳感器104、108、110、112的每個能夠獲取單獨的讀數，以產生對應于該單獨結構化光圖像300的一個或更多個傳感器讀數。返回圖7的示例性列模式結構化光圖像702，通過實現覆蓋圖像區122的多個獨特的結構化光圖像300中的列模式702投影，處理設備102能夠有效“掃描”圖像區122。處理設備102可以投影多個結構化光圖像704，以使在至少一個結構化光圖像702的投影期間，列線條704存在于圖像120上的每個位置。各個結構化光圖像702可以改變列線條704的位置(少至一個像素，多到線條的寬度，或者甚至更多)。如上所述，所述掃描能夠在地理上按順序實現(即，從一側到另一側)或以看似隨機的模式(最終產生所期望的圖像區122的覆蓋)實現。
[0032]通過另一種方法，可以選擇多個結構化光圖像300，以使存在的線條704接近圖像區122的每個位置，意味著存在覆蓋空隙。根據具體應用，這些空隙可以是大小相等或不等的。例如，處理設備102可以只掃描用戶實際能夠交互的區(B卩，按鈕或鍵盤的圖像)，留下不感興趣或不能發生有意義的交互的空隙。類似地，處理設備102可以掃描接收比其他區(即，邊緣)具有更高密度(即，更小空隙、無空隙、或線條704的位置變化更小)的最多交互(即，中心)的區。如果存在覆蓋空隙，處理設備102能夠為那些位置內插場景114的光學響應，以產生表征場景114的傳感器讀數集合。
[0033]雖然這些示例性掃描是關于圖7的示例性列模式結構化光圖像702描述的，但是這些教導是高度靈活的，且能夠適應任何結構化光模式300，例如在圖3-6中示出的那些以及本文描述的其他結構化光圖像，這允許相對于具體區(即，高對比度邊界304 (—個或更多個)的位置)的光學響應感測。
[0034]圖9示出表征場景114的代表性圖900，其包括跨越多個結構化光圖像300的單元件傳感器104的光學響應曲線圖，其中每個光學響應都被捕捉。如果結構化光圖像300根據每個結構化光圖像300的目標地理位置(B卩，線條704的位置或高對比度邊界304)被設置在每個圖902、904、906中，則每個圖902、904有效地變成跨越地理區的傳感器104的光學響應的量度。進一步地，通過一種方法，如果這個目標地理區跨越多個結構化光圖像300僅以一種結構化方式改變(即，僅從一側到另一側改變圖7中的列線條的位置，或僅從頂部到底部改變圖5中的高對比度邊界的位置)，那么圖902、904有效地變成傳感器104跨越圖像區122的單個軸線(即，圖像區122的X軸線或y軸線，或圖像區122的徑向軸線等)的光學響應的量度。
[0035]如圖904所示，其表示場景114的基線讀數，場景114已經通過使用具體結構化光圖像300集合被表征為具有所示的光學特性曲線。為了生成傳感器讀數的這個基線集904，在不存在交互或障礙物204時，處理設備102將多個時變結構化光圖像300投影在表面128上。接著，處理設備102基于從單元件傳感器104獲取的讀數，生成圖904上示出的傳感器讀數(即，具有與傳感器讀數I對I的相關性的圖形數據點，或具有使用較少實際的傳感器讀數的內插)。接著，這些基線傳感器讀數904能夠被存儲到存儲器設備106中，供用戶以后使用。這在檢測裝置100的初始啟動階段會發生，以考慮每個進程期間存在的不同表面或環境光條件。如果投影儀118被配置有快速切換功能，基線傳感器讀數904能夠被非常快地感測和記錄，可能比用戶能夠檢測的速度快。此外，這個讀數基線集904能夠通過具體再次校準的讀數而被連續更新(或者盡管根據各種因素(例如，隨著時間的每個結構化光圖像300的每個讀數的平均值)，隨時間逐步改變)。通過其他方法，在裝置100的設計、制造、測試、校準時，或在制造、銷售和設置期間的其他具體時間上，可以對這些基線傳感器904讀數預編程、預配置或預校準。
[0036]在已經采集和存儲基線傳感器讀數904之后，在用戶能夠與投影的圖像120交互時(例如，在投影鍵盤上敲字或操縱瀏覽器等)，處理設備102開始獲取有效讀數902。處理設備102將實現在非結構化光圖像120的投影期間按時間插入的多個結構化光圖像300 (例如，用于生成基線傳感器讀數904的相同結構化光圖像300，或可能不同的結構化光圖像300)的投影。與上述類似，處理設備102也將使傳感器104在每個單獨的結構化光圖像300被投影時能夠獲取各個傳感器讀數，以生成對應于每個結構化光圖像300的多個有效傳感器讀數902。這些讀數902或其一部分可以被存儲在存儲器設備106中。采集有效數據902的這個過程能夠連續和/或重復發生，以連續監測場景114，從而搜索交互。
[0037]繼續圖9，圖902表示在較短時間段期間采集到的示例性有效傳感器讀數集合，而且表示在那時場景114的快照。圖902的讀數和圖904的讀數對應于相同結構化光圖像300。不過，圖902的讀數可以被再次生成(即，內插)，并且不一定表示和實際結構化光圖像300的實際測量值的I對I關系。如圖9所示，圖902和圖904看上去彼此不同。這是因為，在這個示例中，障礙物204 (即，手指)被插入到投影儀118的投影路徑130中，從而產生交互。
[0038]處理設備102經配置以比較有效傳感器讀數902的至少一部分和對應于相同結構化光圖像300的基線傳感器讀數904的至少一部分。圖906表示該比較，其是兩個圖902和904之間的計算差。基于這種比較，處理設備102經配置以檢測交互。
[0039]通過一種方法，為了確定交互的發生，處理設備102分析差值圖906。所述分析可以包括確定一個或更多個有效902傳感器讀數與基線904傳感器讀數的差值超出閥值908。例如，如圖906所示，有效902讀數與基線904讀數之間的計算差值的一部分超出閥值908 (其可以是正的或負的閥值)。通過這種方法，處理設備102能夠確定在所述位置處已經發生交互。
[0040]通過另一種方法，處理設備102經配置以在使用結構化光圖像300的具體集合確定交互的位置時使用卷積濾波器(或匹配濾波器)，其中所述卷積濾波器具有的波形形狀結構化表示交互事件。例如，所述卷積濾波器可以是接近手指寬度的方形缺口波形。可供選擇地，其可以類似于由手指攔截結構化光圖像300的具體集合的投影產生的脈沖波形。這樣的脈沖波形可以是，例如，類似于結構化光圖像906的具體集合的差值曲線906中生成的脈沖波形。接著，處理設備102能夠在差值曲線906之上運行這個卷積脈沖波形，以搜索兩個波形(卷積脈沖波形和差值曲線906)最相關的位置。接著，這個位置標記交互的位置。使用卷積濾波方法，不僅考慮差值信號906的原始幅值，而且考慮到處理設備102能夠搜索到的最終差值波形的形狀。這使得更可靠地指示交互位置。
[0041]通過這些教導，處理設備102能夠經配置以搜索差值曲線906內與已知具體交互類型(即，觸摸事件)或具體障礙物204 (即，手指或觸筆)的交互相對應的已知形狀。這些已知形狀將基于所使用的結構化光圖像300集合和交互類型改變，但是所述過程將保持基本不變。已知波形可以在設計或制造時被編程，或者可以在設備100的使用期間(即被所述設備學習)，隨時間建立和/或更改。
[0042]例如，如果假設圖9的示例性圖集合900對應經具體配置檢測沿圖像區122的x軸線結構化結構化的干擾(即，通過使用圖7的列模式結構化光圖像702或圖3的水平邊界模式結構化光圖像302)的結構化光圖像300集合，那么，所確定的交互位置和X軸線中的位置相對應。通過一種方法，為了確定二維圖像區122內的位置，能夠進行類似的過程以確定I軸線位置(同時進行或在X軸線確定后隨后進行)。例如，能夠選擇和投影包含水平目標區的結構化光圖像300集合，以確定交互的垂直位置，例如圖5的垂直邊界模式結構化光圖像502或垂直于圖7的列模式702的行模式。在y軸線位置被確定后，其信息能夠與X軸線位置信息組合，以確定圖像區122內的交互的二維位置。接著，處理設備102或另一個處理設備102能夠使用所述二維交互位置信息確定適當的響應行動(即，打開對應于所述位置的圖標的程序、致動所投影鍵盤的按鍵、選擇將要被移動的一段文字等)。實質上，使用本文所述的方法能夠執行任意能夠在觸摸界面上執行的功能。
[0043]現轉向圖10，其示出使用多個單元件傳感器104、108的示例。在這個示例中，圖的匯總900是圖9的再現并與第一單元件傳感器104獲取的傳感器讀數相關。圖的匯總1002表示由與第一單元件傳感器104位于不同位置的第二單元件傳感器108獲取的傳感器讀數，其與第一傳感器104的圖的第一匯總900對應于同一集合的結構化光圖像300。如這里所示出，第二傳感器108已經產生不同的讀數集合1002(有效1004和基線1006讀數)。這表示處理設備102能夠使用以更好確定交互位置的額外數據。
[0044]在工作時，通過一種方法，處理設備102將計算有效讀數902與1004之間的差值，如曲線1010中所示。處理設備102還將計算基線讀數904與1006之間的差值，如曲線1012中所示。接著，處理設備102能夠計算兩個差值曲線1010與1012之間的差值，以確定第三差值曲線1014。可供選擇地，處理設備102能夠簡單地確定曲線906與1008之間的差值，以生成第三差值曲線1014。基于這個第三差值曲線1014(其考慮了第二傳感器108提供的額外數據)，處理設備102能夠以更高準確度和可靠性識別交互事件及其位置(如圓圈1016所示)。
[0045]而且，通過使用多個傳感器104、108、110、112，尤其是如果它們主要在視覺上被固定在不同區，傳感器104、108、110、112能夠更容易地確定額外數據，而不是僅僅確定交互的X和y位置。例如，繼續參照圖10，如果第二傳感器108被定位在使得其視場(FOV)體積限制在剛好在觸摸事件平面上方的區域，那么其數據能夠被用于幫助確定障礙物204是否僅僅被舉起或懸在所述觸摸平面上方，或者是否障礙物204已經貫穿所述觸摸平面，從而指示觸摸事件。第二傳感器1004、1006和/或1008提供的額外數據對于做出這種確定是有用的。例如，第三差值曲線1016可以基于障礙物204是否已經破壞所述觸摸平面或懸停在其上方，針對相同X和y位置，產生不同的波形，從而指示不同功能。
[0046]更進一步，利用位于不同于投影光源的物理位置的傳感器104、108、110、112，存在每個傳感器104、108、110、112能夠讀取的交互的多個不同的方面，如圖11所示。圖11示出將圖像120通過投影光輸出投影在表面128上的投影儀(與圖1類似)。還存在兩個和投影光輸出126位于不同位置的傳感器104、108以及被插入到投影路徑130中的障礙物204。在結構化光圖像300的投影期間，障礙物204能夠產生可以由傳感器104、108可檢測的各種類型的干擾。首先，傳感器104、108能夠檢測障礙物204 (而不是表面128)的反射光的放大值或衰減值。這在很大程度上取決于障礙物204的反射率和/或反射角，但仍然是干擾。障礙物204還可以移動傳感器104、108可以檢測的結構化光圖像。例如，可以希望第一傳感器104感測結構化光圖像300的具體部分，如在1102指示的。然而，從第一傳感器的視點104來看，所述圖像的這個部分1102將由對應于障礙物204的反射范圍部分1104的一部分圖像替換，處理設備能將其登記為位移干擾。此外，傳感器104還能夠檢測障礙物204對所投影結構化光圖像300的遮擋。這種遮擋由區1106表示，第一傳感器104可以將其檢測為沒有反射光，不然在此處其預計反射光存在。基于檢測這些各種不同種類的干擾，處理設備102能夠確定更多有關交互的特性，以能夠達到進一步的功能或準確性。
[0047]如前面提到的，結構化光圖像300集合的選擇能夠實時動態地被確定。例如，如果場景114沒有交互，處理設備102可以簡單地繼續廣泛掃描整個圖像區122以搜索交互。當障礙物204最終進入投影路徑130或試圖與圖像120交互，那么，所述廣泛掃描將確定它的發生和大致位置。根據一種方法，處理設備102可以接著動態選擇主要聚焦在圍繞所述廣泛掃描中確定的位置的區域上的結構化光圖像300的第二集合。這個結構化光圖像300的第二集合可以被選擇使得圖像300的高對比度邊界304或線條704接近于交互的大致位置。接著，處理設備102能夠相對于新選擇的結構化光圖像300的第二集合重復上述步驟。
[0048]因此，結構化光圖像300的第二集合允許與交互相關的額外信息被確定，就像，例如，更準確的位置信息或關于障礙物204是否已經破壞觸摸平面還是懸停在其上的信息。進一步地，結構化光圖像300的第二集合能夠隨著，例如障礙物204在圖像區122內移動(例如，當與圖像120交互時，移動圖標或類似物)、第二障礙物204被檢測、障礙物204的方向改變、或保證額外或更詳細信息的任何其他變動而不斷改變。
[0049]這些教導是高度可擴展的，并且能夠用于確定1、2、3個或更多交互(即，通過一個、兩個、三個或更多障礙物204進行的交互)的位置。進一步地，其他更改可以包括調制光的使用，其中一個或更多個結構化光模式或圖像300可以以適當頻率進行調制，并且傳感器104、108、110、112可以經配置以捕捉調制光線的航行時間。接著，航行時間數據能夠用于進一步提高交互事件檢測和跟蹤的可靠性。而且，如上所述，這些教導是通用的，因為它們與能夠產生人類可消耗圖像120和結構化光圖像300的所有類型顯示設備(包括直接觀看的顯示設備(即，IXD顯示器))可連用。
[0050]這樣配置后，投影儀118或其他圖像生成器116不僅能夠用于投影用于人類消費和交互的圖像120，而且作為一種允許一個或更多個單元件傳感器104、108、110、112用于檢測通過一個或更多個障礙物204與圖像120交互的位置(一個或更多個)和特性(一個或更多個)的手段。能夠實現成本節約，因為已經配備投影儀118或圖像生成器116的系統能夠簡單地使用現有投影儀118或圖像生成器116投影或顯示結構化光圖像300。進一步地，單元件傳感器104、108、110、112能比像素陣列或上述其他先前的感測裝置明顯便宜。而且，通過再使用現有投影儀118或圖像生成器116顯示結構化光圖像300，所收集的位置信息被自動鏈接到人類可消耗圖像120內的結構化光圖像的位置。更進一步，由于單元件傳感器104、108、110、112比其他已知技術和/或設備消耗更少功率并占據更少空間，這些教導提供功率節約和空間節約。而且，單元件傳感器104、108、110、112產生更少的數據，這減少了所需的處理時間和功率。
[0051]本領域的技術人員應當意識到，在沒有偏離本發明的范圍的情況下，能夠對上述實施例進行各種各樣的更改、變化和組合，并且這種更改、變化和組合應被視為在本發明原理的范圍內。
【權利要求】
1.一種方法，其包括: 使用至少一個光電二極管，感測在各個時隙分別投影在表面上的多個時變結構化光圖像，以生成多個傳感器讀數，其中所述傳感器讀數中的各個讀數和所述多個時變結構化光圖像中的各個時變結構化光圖像對應； 使用至少一個處理設備，比較所述多個傳感器讀數的至少一部分和多個基線傳感器讀數的至少一部分，所述多個傳感器讀數的至少一部分和所述多個基線傳感器讀數的至少一部分對應于所述多個時變結構化光圖像的同一集合；以及 使用所述至少一個處理設備，基于所述比較確定交互的發生。
2.根據權利要求1所述的方法，其進一步包括: 使用所述至少一個光電二極管，感測沒有交互時在各個時隙投影到所述表面上的所述多個時變結構化光圖像，以生成所述多個基線傳感器讀數，所述多個基線傳感器讀數的各個讀數對應于所述多個時變結構化光圖像的各個時變結構化光圖像；以及 在至少一個存儲器設備中存儲所述多個基線傳感器讀數。
3.根據權利要求1所述的方法，其中所述多個時變結構化光圖像的各個時變結構化光圖像各自包括在所述時變結構化光圖像的圖像區內部的至少一個高對比度邊界，并且其中所述多個時變結構化光圖像包括在所述至少一個高對比度邊界的位置中彼此不同的多個獨特的結構化光圖像。
4.根據權利要求3所述的方法，其中所述至少一個高對比度邊界包括定義至少兩個區域的至少一條直線，所述至少兩個區域包括第一區域和第二區域，其中所述第一區域包括均勻亮度區，而所述第二區域包括均勻暗度區。
5.根據權利要求3所述的方法，其中所述至少一個高對比度邊界包括跨越至少大部分的所述圖像區的垂直直線或水平直線的至少一個。
6.根據權利要求3所述的方法，其中確定所述交互的發生進一步包括確定所述交互的大致位置；以及其中所述方法進一步包括: 響應于確定所述交互的大致位置，使用所述至少一個光電二極管，在第二時間感測第二多個時變結構化光圖像，以生成第二多個傳感器讀數，所述第二多個傳感器讀數中的各個讀數和所述第二多個時變結構化光圖像中的各個時變結構化光圖像對應，其中所述第二多個時變結構化光圖像包括至少多個單獨的結構化光圖像，所述多個單獨的結構化光圖像的每個包括接近所述交互的大致位置的至少一個高對比度邊界； 使用所述至少一個處理設備，比較所述第二多個傳感器讀數和第二多個基線傳感器讀數，所述第二多個基線傳感器讀數中的各個讀數和所述第二多個傳感器讀數中的各個讀數相對應；以及 使用所述至少一個處理設備，基于第二比較，確定與所述交互有關的額外信息。
7.根據權利要求1所述的方法，其中所述交互事件包括障礙物插入到所述多個時變結構化光圖像投影到所述表面上的投影路徑中。
8.根據權利要求1所述的方法，其中確定所述交互的發生進一步包括: 分析所述多個傳感器讀數的所述至少一部分的至少一個單獨的傳感器讀數與所述多個基線傳感器讀數的至少一部分的至少一個單獨的基線傳感器讀數之間的比較， 其中所述至少一個單獨的傳感器讀數和所述至少一個單獨的基線傳感器讀數各自對應于相同的至少一個單獨的時變結構化光圖像，所述分析包括確定所述至少一個單獨的傳感器讀數與所述至少一個單獨的基線傳感器讀數之間的差值超出閥值。
9.根據權利要求1所述的方法，其中確定所述交互的發生進一步包括確定所述交互的大致位置，其中確定所述交互的大致位置進一步包括: 確定至少一個單獨的傳感器讀數與至少一個單獨的基線傳感器讀數之間的差值超出閥值，所述至少一個單獨的傳感器讀數和所述至少一個單獨的基線傳感器讀數對應于相同的至少一個單獨的結構化光圖像；以及 確定所述至少一個單獨的結構化光圖像的至少一個高對比度的位置。
10.根據權利要求1所述的方法，其中所述多個時變結構化光圖像在非結構化光圖像投影期間，在各個時隙中被分別投影到所述表面上，所述多個時變結構化光圖像由用于投影所述非結構化光圖像的同一投影儀投影。
11.一種裝置，其包括: 至少一個處理設備，其經配置以: 在非結構化光投影期間插入的各個時隙中，經由用于投影非結構化光圖像的同一投影儀，使多個時變結構化光圖像的投影投影到表面上； 比較來自至少一個光電二極管的多個傳感器讀數和相應的多個基線傳感器讀數，各個所述多個傳感器讀數和所述多個基線傳感器讀數對應于各個所述多個時變結構化光圖像；以及 基于所述比較，確定交互事件的發生。
12.根據權利要求11所述的裝置，其中所述至少一個處理設備經進一步配置以: 在不存在交互時，使所述多個時變結構化光圖像投影在所述表面上； 基于經由不存在交互時，所述多個時變結構化光圖像的投影的所述至少一個光電二極管獲得的讀數，生成所述多個基線傳感器讀數，所述多個基線傳感器讀數中的各個和所述多個時變結構化光圖像中的各個相對應；以及 使所述多個基線傳感器讀數存儲到至少一個存儲器設備中。
13.根據權利要求11所述的裝置，其中各個所述多個時變結構化光圖像都包括在所述時變結構化光圖像的圖像區內部的至少一個高對比度邊界，并且其中所述多個時變結構化光圖像包括在所述至少一個高對比度邊界的位置中彼此不同的多個獨特的結構化光圖像。
14.根據權利要求11所述的裝置，其進一步包括操作地連接到所述至少一個處理設備的投影儀，和操作地連接到所述至少一個處理設備但不與所述投影儀的投影光輸出位于相同位置的至少一個光電二極管。
15.根據權利要求14所述的裝置，其中所述至少一個光電二極管至少包括第一光電二極管和第二光電二極管，所述第一光電二極管和第二光電二極管彼此位于不同位置或與所述投影儀的投影光輸出位于不同位置，并且被配置為感測從所述表面反射的投影光輸出的光。
16.—種方法,其包括: 在不存在交互時，經由投影儀在第一時間將多個時變結構化光圖像投影到表面上，各個所述多個時變結構化光圖像在各個時隙被投影，并包括在所述投影儀的投影區內部的至少一個高對比度邊界；使用至少兩個單獨的光電二極管，感測在所述第一時間投影的所述多個時變結構化光圖像，以生成多個基線傳感器讀數，各個所述多個基線傳感器讀數和各個所述多個時變結構化光圖像相對應； 將所述多個基線傳感器讀數存儲到至少一個存儲器設備中； 經由所述投影儀，在第二時間投影所述多個時變結構化光圖像，各個所述多個時變結構化光圖像在非結構化光圖像投影期間插入的各個時隙中被投影； 使用所述至少兩個光電二極管，感測在所述第二時間投影的所述多個時變結構化光圖像，以生成多個傳感器讀數，各個所述多個傳感器讀數和所述多個時變結構化光圖像的各個相對應； 將所述多個傳感器讀數存儲到所述至少一個存儲器設備中； 使用至少一個處理設備，比較所存儲的多個傳感器讀數的至少一部分和存儲的多個基線傳感器讀數的至少一部分，所述多個傳感器讀數的至少一部分和所述存儲的多個基線傳感器讀數的至少一部分對應于同一時變結構化光圖像集合；以及使用所述至少一個處理設備，基于所述比較，確定交互的發生。
17.根據權利要求16所述的方法，其中: 所述多個時變結構化光圖像經配置以使至少一個高對比度邊界接近于所述投影區的至少大部分的位置存在。
18.根據權利要求17 所述的方法，其中確定所述交互的發生進一步包括確定所述交互的大致位置； 并且其中所述方法進一步包括: 經由所述投影儀，在第三時間投影第二多個時變結構化光圖像，各個所述第二多個時變結構化光圖像在非結構化光圖像投影期間插入的各個時隙中被投影，并被配置為使至少一個高對比度邊界接近于所述交互的大致位置存在； 使用所述至少兩個光電二極管，感測在所述第三時間投影的所述第二多個時變結構化光圖像，以生成第二多個傳感器讀數，各個所述第二多個傳感器讀數和各個所述第二多個時變結構化光圖像相對應； 將所述第二多個傳感器讀數存儲到所述至少一個存儲器設備中； 使用所述至少一個處理設備，比較所存儲的第二多個傳感器讀數和第二多個基線傳感器讀數，各個所述第二多個基線傳感器讀數和各個所述第二多個傳感器讀數相對應；以及使用所述至少一個處理設備，基于第二比較，確定與所述交互相關的額外信息。
【文檔編號】G06F3/042GK104049811SQ201410098968
【公開日】2014年9月17日 申請日期:2014年3月17日 優先權日:2013年3月15日
【發明者】M·C·查珀斯, G·德代奧盧 申請人:德克薩斯儀器股份有限公司