基于視覺的交互式投影系統的制作方法

基于視覺的交互式投影系統的制作方法
【專利摘要】本發明提供改進用戶與投影系統之間的交互的技術。使用投影系統和/或方法推斷用戶是否正觸摸顯示屏。在一個實施例中，所述投影系統包含：投影光學元件、前光、后光和相機。這些元件可全部內嵌在共用外殼中。所述前光經配置以照明所述顯示屏前方的區，使得在所述屏幕上方停懸的對象(例如，指尖)實質上不會被所述相機在照明期間俘獲的圖像中的陰影所圍繞。所述后光經配置以照明所述顯示屏，使得在所述屏幕上方停懸的所述對象被所述相機在照明期間俘獲的圖像中的陰影所圍繞。所述相機經配置以在所述前光照明期間使所述屏幕成像(以產生第一圖像)，且進一步在所述后光照明期間使所述屏幕成像(以產生第二圖像)。可至少部分基于所述第一圖像估計所述對象的位置。關于對象的狀態的推斷至少部分基于所述第二圖像(例如，通過表征區中的像素上的亮度變化和/或識別所述區中的極值為亮還是暗)。舉例來說，可推斷所述對象：(1)在所述對象頂部周圍的區由相對小的亮度變化表征時正接近所述屏幕；(2)在所述亮度變化較大且所述區包含(由陰影引起的)暗極值時正懸停在所述屏幕上方；以及(3)在所述亮度變化較大且所述區包含亮極值時正觸摸所述屏幕。
【專利說明】基于視覺的交互式投影系統
[0001]相關申請案的交叉參考
[0002]本申請案主張2012年10月4日申請的第13/645，390號美國非臨時申請案以及2011年10月7日申請的第61/544,983號美國臨時申請案的權益和優先權。這些參考的每一者在此出于所有目的以全文引用的方式并入本文中。
【背景技術】
[0003]投影儀廣泛用于學校、商貿會、企業、博物館以及需要在較大表面上展示屏幕的任何地方。投影儀可耦合到計算機，且可接著將計算機顯示投影到屏幕上。用戶常常站在屏幕附近，而不是接近計算機。因此，難以協調計算機的操作。可使用外部裝置例如在演示時翻動幻燈片。然而，外部裝置常常令人困惑且其效用有限。系統允許用戶具有與投影系統增加的交互將是有利的。

【發明內容】

[0004]提供改進用戶與投影系統之間的交互的技術。在一些實施例中，俘獲顯示屏前方用戶的圖像。接著可基于所述圖像中的像素上的陰影和/或亮度變化(即，強度)的分析而作出關于用戶是否正觸摸顯示屏的推斷。舉例來說，可推斷所述對象:(I)在所述對象頂部周圍的區由相對小亮度變化表征時正接近所述屏幕；(2)在所述亮度變化較大且所述區包含(由陰影引起的)暗極值時正懸停在所述屏幕上方；以及(3)在所述亮度變化較大且所述區包含亮極值時正觸摸所述屏幕。
[0005]光可適當布置和配置(例如，在投影系統中)以確保亮度變化適當地與表征用戶與屏幕的交互的所要狀態相關聯。舉例來說，一種投影系統可包含:投影光學元件、前光、后光和相機-全部內嵌在共用外殼中。所述前光可經配置以照明所述顯示屏前方的區，使得在所述相機照明期間俘獲的圖像中在所述屏幕上方停懸的對象(例如，指尖)實質上不會被陰影圍繞。所述后光可經配置以照明所述顯示屏，使得在所述相機照明期間俘獲的圖像中在所述屏幕上方停懸的所述對象被陰影圍繞。所述相機可經配置以在所述前光照明期間使所述屏幕成像(以產生第一圖像)，且進一步在所述后光照明期間使所述屏幕成像(以產生第二圖像)。可使用所述第一圖像來估計所述對象的位置，且可使用所述第二圖像來推斷對象的狀態(例如，通過表征區中的像素上的亮度變化和/或識別所述區中的極值為亮還是暗)。
[0006]在一些實施例中，提供一種方法。可將顯示投影到表面上。所述表面附近的區可被照明。可在照明期間俘獲表面的圖像。可分析圖像的至少一部分中的像素上的強度變化。可確定與圖像的所述部分相關聯的極性。可至少部分基于對所述變化的分析且基于所確定的極性作出關于對象是否正觸摸表面的確定。
[0007]在一些實施例中，提供一種投影儀系統。投影光學元件可經配置以在表面上投影顯示。光源可經配置以在朝向表面的方向上發射光。相機可經配置以在光發射期間俘獲表面的圖像。圖像分析器可經配置以檢測圖像的至少一部分中的像素上的強度變化且確定與圖像的所述部分相關聯的極性。狀態檢測器可經配置以至少部分基于變化檢測和所確定的極性確定對象是否正觸摸表面。
[0008]在一些實施例中，提供一種投影儀系統。所述投影儀系統可包含用于將顯示投影到表面上的裝置，以及用于照明表面附近的區的裝置。投影儀系統還可包含用于在照明期間俘獲表面的圖像的裝置，以及用于分析圖像的至少一部分中的像素上的強度變化的裝置。投影儀系統可進一步包含用于確定與圖像的所述部分相關聯的極性的裝置，以及用于至少部分基于所述分析且基于所確定的極性確定對象是否正觸摸表面的裝置。
[0009]在一些實施例中，提供一種非暫時性計算機可讀媒體。所述媒體可含有指令，所述指令當由處理器執行時可致使所述處理器存取上面投影顯示的表面的圖像且分析圖像的至少一部分中的像素上的強度變化。所述指令當由處理器執行時可進一步致使所述處理器確定與圖像的所述部分相關聯的極性，且至少部分基于所述變化的分析且基于所確定的極性確定對象是否正觸摸表面。
【專利附圖】

【附圖說明】
[0010]圖1展示投影系統100的實施例。
[0011]圖2展示定時電路的輸入和輸出的實例表示。
[0012]圖3展示定時電路的一個實施例的示意圖。
[0013]圖4展示用于推斷對象是否正觸摸顯示屏的方法的實施例。
[0014]圖5展示用于估計對象的位置的方法的實施例。
[0015]圖6a_6b展示用于確定對象正觸摸屏幕的方法的實施例。
[0016]圖7展示可在對象接近屏幕時的情形下跟蹤變化的狀態機的實例。
[0017]圖8展示投影系統的實例。
[0018]圖9提供計算機系統的一個實施例的示意說明。
[0019]圖1Oa-1Oc展示與當后光源正照明場景時手正在屏幕上方停懸的實例情形相關聯的圖像。
[0020]圖1la-1lc展示與當后光源正照明場景時手指正觸摸屏幕的實例情形相關聯的圖像。
【具體實施方式】
[0021]提供改進用戶與投影系統之間的交互的技術。在一些實施例中，俘獲顯示屏前方的用戶的圖像。接著可基于所述圖像中的像素上的陰影和/或亮度變化(即，強度)的分析而作出關于用戶是否正觸摸顯示屏的推斷。舉例來說，可推斷:(I)在所述對象頂部周圍的區由相對小亮度變化表征時所述對象正接近屏幕；(2)在所述亮度變化較大且所述區包含(由陰影引起的)暗極值時所述對象正懸停在屏幕上方；以及(3)在亮度變化較大且所述區包含亮極值時所述對象正觸摸屏幕。
[0022]光可適當布置和配置(例如，在投影系統中)以確保亮度變化適當地與表征用戶與屏幕的交互的所要狀態相關聯。舉例來說，一種投影系統可包含:投影光學元件、前光、后光和相機-全部內嵌在共用外殼中。所述前光可經配置以照明顯示屏前方的區，使得在相機照明期間俘獲的圖像中在屏幕上方停懸的對象(例如，指尖)實質上不會被陰影圍繞。所述后光可經配置以照明顯示屏，使得在相機照明期間俘獲的圖像中在屏幕上方停懸的對象被陰影圍繞。所述相機可經配置以在前光照明期間使屏幕成像(以產生第一圖像)，且進一步在后光照明期間使屏幕成像(以產生第二圖像)。可使用第一圖像來估計對象的位置，且可使用第二圖像來推斷對象的狀態(例如，通過表征區中的像素上的亮度變化和/或識別所述區中的極值為亮還是暗)。
[0023]圖1展示投影系統100的實施例。投影系統可包含投影儀105。投影儀105可經配置以將參考圖像投影到屏幕上，借此產生例如投影在顯示屏160上的所投影圖像。投影儀105還可經配置以投影與應用或程序或計算機的操作的其它方面相關聯產生的圖像。顯示屏160可包含例如白板、下拉式屏幕、墻等。顯示屏160可與投影系統100作為一組提供-獨立于系統100且可與系統100分離或連接到系統100。顯示屏160可具有大體矩形形狀且可具有至少約、約或小于約1mm、lcm、10cm、100cm、lm、3m、5m或IOm的對角尺寸。顯示屏160可包括至少部分反射的材料。在一些例子中，顯示屏160具有至少約1%或10%且/或小于約20%或40%的反射率。盡管本文使用術語“顯示屏”，但顯示屏不限于為了在上面顯示圖象而制造的元件或組件。本文使用的顯示屏可包括上面可投影光和/或圖像的任何表面，例如墻、地板、紙張、窗戶，或任何其它方面。在一些實施例中，可通過蒸汽或冷凝產生表面。在一些實施例中，表面包括用戶的手、衣服，或與用戶相關聯的其它元素。
[0024]投影儀105可包含例如短投射(short-throw)投影儀。投影儀105可具有小于約I或小于約0.5的投射比(從投影儀到屏幕的距離除以所投影圖像的對角距離)。投影儀105可包含投影儀光學元件，例如投影儀光源105a和鏡面105b。在一些實施例中，投影儀105是投影系統100內的獨立裝置且/或容納在單一壓實外殼內。在其它實施例中，投影儀105表示投影儀光學元件和/或不與投影系統100的其余部分分開容納的其它投影儀組件的集合。
[0025]投影系統100可包含至少一個前光源110和/或至少一個后光源115，每一者經配置以發射光。所述光源的一者或兩者發射的光可能不可見。在一些實施例中，所述光源的一者或兩者發射的光包括紅外光或由紅外光組成。所述光源的一者或兩者可包括一個、一個以上組成光源或組成光源的陣列，例如發光二級管(LED)。在一個實施例中，后光源115包括單一光源，且前光源110包括組成光源(例如，LED)的陣列。在一些實施例中，光源包括多個組成光源，其以一密度定位使得從組成光源的集合發射的光呈現為單一光源。
[0026]前光源110可定位在投影儀105和/或投影光學元件105a和105b前方。前光源110可附接到投影儀105的前側且/或附接到投影儀105的底側的前部。前光源110可定位在投影儀105與顯示屏160之間和/或后光源115與顯示屏160之間。在一些實施例中，前光源110定位在投影儀105的前端附近。在一些例子中，顯示屏160與前光源110之間的水平分隔小于約1.5米。
[0027]前光源110可經配置以在第一方向上從投影系統100發射光。在一些實施例中，光初始在第一方向上從前光源110發射。在一些實施例中，使用光學元件引導初始光在第一方向上傳播。第一方向可包括第一 X分量(例如，在平行于顯示屏160且平行于天花板155的方向上)和第一 y分量(例如，在垂直于天花板155、地板或支撐系統100的其它表面的方向上)。
[0028]前光源110和/或與光源相關聯的光學元件可經配置使得從所述源發出且退出投影系統的光照明觸摸顯示屏160的對象(例如，手指、手或其它對象，例如掃描筆、指向裝置等)。因此，其可經配置以照明顯示屏160正前方的區。用以適當和/或完全照明所關注對象的適當配置可涉及適當設定光源110的例如位置、定向和/或亮度，和/或選擇和放置引導從光源110發射的光的光學元件。在一些例子中，觸摸顯示屏160的對象可反射源自前光源110的在屏幕上鏡射且由相機120看到的一些光。如下文闡釋，在這些情形中這經常不合需要。因此，前光源110和任何相關聯光學元件的亮度、位置和定向可經配置以減小或最小化此鏡面效應。
[0029]后光源115可定位在投影儀105后方附近。后光源115可定位在前光源110和/或投影光學元件105a和105b后方。后光源115可附接到投影儀105的后側和/或附接到投影儀105的底側的后部。
[0030]后光源115可經配置以在第二方向上從投影系統100發射光。在一些實施例中，光初始在第二方向上從后光源115發射。在一些實施例中，使用光學元件引導初始光在第二方向上傳播。第二方向可包括第二X分量和第二y分量。第二X分量與第二y分量的比率可大于第一 X分量與第一 y分量的比率。第二X分量與第二y分量的比率可至少是約
0.25、0.5、1、2或5。前光源110與后光源115之間的水平分隔可至少是約0.1、0.25、0.5、I或2英尺。在一個實施例中，從后光源115發射的光可穿過投影儀105的透鏡投影。舉例來說，棱鏡可沿著后光源115與投影儀105的透鏡之間的光學路徑定位。
[0031]在一些例子中，觸摸顯示屏160的對象可反射源自后光源115的鏡射在屏幕160上且由相機120看到的一些光。如下文闡釋，這在這些情形下經常是合乎需要的。因此，后光源110和任何相關聯光學元件的亮度、位置和定向可經配置以產生此鏡面效應。
[0032]投影系統100可包含相機120。相機120可附接到投影儀105的底部。相機120可定位在投影儀105前方附近(例如，在投影光學元件105a和105b的前方)。相機120可定位在前光源110與后光源115之間。相機120可經定向以俘獲顯示屏160的前表面的圖像。相機120可包括濾光器，例如紅外濾光器，使得其可使顯示屏160成像。在一些實施例中，除相機120之外或代替于相機120，系統100包含例如IR傳感器等另一類型的光傳感器。
[0033]在一些例子中，觸摸顯示屏160的對象可反射源自光源(110或115)的鏡射在屏幕上且由相機120看到的一些光。此鏡面效應在一些情形下可能不合需要(例如，當從前光源110發射光時)且在其它情形下可能合乎需要(例如，當從后光源115發射光時)。相機120可經配置(例如，通過設定圖像俘獲參數，例如快門和增益)以最小化、減小、維持、增強或最大化此鏡面效應。在一些例子中，相機配置(例如，參數)依據哪一光源正發射光而改變(例如，以便當前光源110正發射光時減小所述效應，且當后光源115正發射光時增強所述效應)。在一些例子中，相機配置在各種條件下保持恒定，且例如比如配置光源的位置、功率和/或定向等其它策略可實現所要的狀態特定鏡面效應。
[0034]投影系統100可包含定時電路125。定時電路125可耦合到前光源110和后光源115的一者或兩者。定時電路125可例如通過發送開/關信號而控制何時一個或兩個光源發射光，所述開/關信號可控制供應到每一光源的功率。定時電路125可接收來自相機120的輸入。因此，舉例來說，定時電路125可在相機正要開始或即將開始使顯示屏160成像時得到通知。定時電路125可經配置以確保同一時間光源110和115的僅一者正發射光，且/或使得在相機120正使顯示屏160成像的時間間隔(即，幀)期間至少一個光源110和/或115正發射光。
[0035]在一些例子中，定時電路125將交替開/關信號發送到光源110和115。舉例來說，在接收到相機正使第一幀成像的信號后，定時電路125可即刻將開信號發送到前光源110。在接收到第一成像幀完成的信號后，定時電路可即刻將關信號發送到前光源。可與第二成像幀相關聯在類似時間將類似信號發送到后光源115。圖2展示表示此實施例的信號。頂部跡線表示由定時電路125從相機120接收的相機信號。中間跡線表示經發送以控制前光源的光發射的定時電路的第一輸出。底部跡線表不經發送以控制后光源的光發射的定時電路的第二輸出。因此，在此實施例中，在每一相機巾貞期間，從光源110和115的一者(但僅一者)發射光。
[0036]定時電路125可包含多種定時電路的任一者。定時電路125可包含例如一個或一個以上集成電路、電阻器、晶體管和/或二極管。定時電路125可從例如相機120、時鐘和/或處理器接收一個或一個以上輸入。定時電路125可包含一個、兩個或兩個以上輸出。圖3展示定時電路125的一個實施例的示意圖。
[0037]投影系統100可包含外殼130。外殼130的至少一部分或大部分可包含金屬或塑料材料。外殼130可至少部分或完全圍繞以下各者中的一者、一者以上或全部:投影儀105、前光源110、后光源115、相機120和定時電路125。在一些例子中，外殼130至少部分或完全圍繞投影系統100的所有非外殼零件。在一些實施例中，外殼130包含例如底部和/或前部表面中的一個或一個以上透鏡(或開口)。這些透鏡可允許投影系統100從前光源110、后光源115和/或投影儀光源105a發射光。透鏡可進一步允許相機120收集外部圖像(例如，在顯示屏160處或前方)。在一些實施例中，外殼130包括至少部分透明的一個或一個以上表面。在一些實施例中，以下各者中的一者、一者以上或全部可在不包含外殼的配置中直接或間接機械耦合在一起:投影儀105、前光源110、后光源115、相機120和定時電路125。舉例來說，所有這些元件可緊固到開放框架。術語外殼用于描述不僅封圍或部分封圍的實施例，而且描述其中元件開放或松散地機械耦合的實施例。
[0038]如下文更詳細描述，投影系統100還可包含例如存儲裝置、處理器和/或計算機。在一些實施例中，投影系統100包含用以將數據(例如，來自相機120)發射到外部存儲裝置、處理器和/或計算機的發射器。投影系統100還可包含用以接收數據(例如，來自時鐘、外部計算機或用戶控制的裝置)的接收器。存儲裝置、處理器、計算機、發射器和接收器的一者、一者以上或全部可部分或完全封圍在上文論述的外殼中或以其它方式機械耦合到上文論述的元件的一者或全部。
[0039]系統100或其部分可包括自含式單元，其可為便攜式的或可以其它方式配置為集成電路(例如，當由上文論述的外殼封圍時)。在一些實施例中，可使用系統100在幾乎任何表面上建立觸摸屏。因此，系統100可被攜帶到多種或任何位置且用于例如相對于會議室中的墻或在桌子上建立基于觸摸的計算機系統。在一些方面中，系統100被集成到例如智能電話等移動裝置中，且可配置為微投影儀。在一些方面中，前光源110和后光源115可除朝向系統100的前部和后部對準之外或代替于此而彼此并排或堆疊安置。
[0040]圖4展示用于推斷對象是否正觸摸顯示屏160的方法400的實施例。在405處，將參考圖像(或換句話說，顯示)投影(例如，通過投影儀105)到顯示屏160上。參考圖像可例如為存儲在耦合到投影系統100的計算機上且/或由計算機發射的數字圖像。參考圖像可包含例如演示幻燈片、文檔、桌面、用戶界面、圖片、動畫等。過程400進行到框410還是框430取決于當前時間步長。在一些例子中，過程400初始始終進行到框410和425的一者(例如，始終在框430之前執行框410)。在一些例子中，過程400取決于絕對時間。
[0041]在410處，照明顯示屏160附近的第一區(例如，通過前光源110)。第一區可包括在顯示屏160正前方的區或由此區組成。舉例來說，所述照明可經配置使得:如果用戶、用戶的手和/或用戶的手指定位在投影系統100與顯示屏160之間且觸摸顯示屏160，則用戶的手指將可能被照明。在一些實施例中，照明的方向和亮度可經配置使得在415處俘獲的圖像中，存在極少或無陰影圍繞第一區中的對象。所述照明可包括通過不可見光的照明。此第一區照明可補充經發射以投影參考圖像(在400中)(其將包含可見光的發射)的光。
[0042]在415處，俘獲第一區的第一圖像。第一圖像可由單一相機(例如，相機120)或一組相機俘獲。在一些例子中，所述俘獲相機至少部分被封圍在投影系統100的共用外部外殼內。第一圖像可在第一區正被照明的同時俘獲。在一些例子中，舉例來說，相機120的快門在與第一區正被照明的時間周期大體相同的時間周期期間打開。打開快門持續更長時間周期可能損害圖像質量，且打開快門持續更短時間周期可能浪費對照明第一區的光源供電所需的電力。所俘獲的圖像可包含二維數字圖像。所俘獲的圖像可包含顯示屏160的一部分或全部。
[0043]在420處，估計所關注對象的位置。所述位置可包括對象的位置或頂部、對象的陰影的頂部，或對象上方的明亮區域(基于對象與屏幕之間的接觸產生)。所述位置可包括二維位置，包括X和I坐標。X和I軸可為與同顯示屏160相關聯的第二圖像或軸相關聯的軸。在一個例子中，所述位置包括將僅在對象正觸摸顯示屏160的情況下準確反映對象的位置的坐標。在一些例子中，所述位置包括三維位置。舉例來說，所述位置可基于同時俘獲的一組第一圖像來估計，或可使用計算機視覺技術估計圖像的z坐標。
[0044]所述估計可至少部分基于第一圖像作出，使得第一圖像中的對象可由極少陰影圍繞或無陰影圍繞。因此，在一些實施例中，可相對容易地識別例如指尖，甚至不管對象與顯示屏160的接近度或接觸情況如何。位置識別技術可包含例如計算機視覺技術(例如，特征檢測、邊緣檢測等)。舉例來說，對象的邊緣可用于識別對象的位置。
[0045]如果已執行其它分析以允許評估對象是否正觸摸屏幕，那么過程400可繼續到425，在此處，允許所投影圖像與對象之間的交互。所述交互可取決于所估計的位置(例如，允許用戶選擇或移動在所估計位置處投影的圖標)以及對象是否正觸摸屏幕的確定，或取決于所估計位置或觸摸確定的僅一者。在所允許交互之后或如果關于對象是否正觸摸屏幕的評估尚不可能作出，那么過程400返回到框405，在此處，參考圖像繼續投影或刷新。在一些實施例中，參考圖像的刷新率與方法400無關。
[0046]過程400可接著繼續到框430，在此處照明(例如，通過后光源115)顯示屏160附近的第二區。第二區可包括顯示屏160的前表面和/或顯示屏正前方的區，或由其組成。舉例來說，所述照明可經配置使得如果用戶站在投影系統100與顯示屏160之間且觸摸顯示屏160或將他的手指停懸在屏幕160附近則用戶的手將可能被照明。在一些實施例中，照明的方向和亮度可經配置使得在435處俘獲的圖像中，如果對象不在觸摸顯示屏160則第二區中的對象周圍存在陰影或主導陰影。所述照明可包括通過不可見光進行的照明。此第二區照明可除經發射以投影參考圖像(在400中)(其將包含可見光的發射)的光之外另外添加。
[0047]如圖所示，第一區和第二區可在不同且可能非重疊時間周期期間照明。定時電路125可控制在期間照明一個或兩個區的時間周期。第一和第二區還可包括例如基于照明所述區的光源的不同位置的不同空間區。盡管如此，第一和第二區可重疊(例如，兩者可在無用戶在屏幕前方時照明顯示屏160的全部或一部分)。
[0048]在435處，俘獲第二區的第二圖像。第二圖像可由單一相機(例如，相機120)或一組相機俘獲。在一些例子中，所述俘獲相機至少部分封圍在投影系統100的共用外部外殼內。第一和第二圖像可由相同相機(例如，投影系統100內部的單一相機)或相同組的相機俘獲。第一和第二圖像可來自同一視角。第二圖像可在第二區正被照明時俘獲。在一些例子中，舉例來說，相機120 的快門在與第二區正被照明的時間周期大體相同的時間周期期間打開。所俘獲的圖像可包含二維數字圖像。所俘獲的圖像可包含顯示屏160的一部分或全部。
[0049]第一和第二圖像可具有大體類似或相同視角。在一個實施例中，單一成像裝置以大體類似或相同方式俘獲兩個圖像，唯一的差別是俘獲圖像的時間。在一些實施例中，第二圖像在第一圖像被俘獲之后小于約1、0.5,0.1或0.05秒被俘獲。
[0050]在440處，作出對象是否正觸摸顯示屏160的推斷。舉例來說，在定位所關注對象之后，可在第二圖像中分析位置周圍的區以評估對象周圍的任何陰影。所述推斷可至少部分、主要或完全基于第二圖像而作出。舉例來說，如果對象(例如，指尖)未由陰影圍繞，那么可推斷對象正觸摸顯示屏160。在一些例子中，所述推斷涉及評估二元詢問，例如:對象是否正觸摸屏幕160 ?在其它例子中，詢問涉及兩個以上可能結果，例如:對象遠離屏幕160、接近屏幕160還是正觸摸屏幕160，或者對象的什么部分正觸摸屏幕160 (例如，基于對象的一部分被極少陰影圍繞或無陰影圍繞而確定)？在一些實施例中，可確定對象是否正停懸在屏幕附近，例如在屏幕的閾值距離內和/或持續閾值時間量。
[0051]在425處，如果推斷對象正觸摸屏幕，那么可允許所投影圖像與對象之間的交互。舉例來說，用戶可能夠選擇程序，行進穿過顯示，突出顯示所顯示屏幕的部分，使用所顯示的用戶界面將輸入提供到程序中等。在一些例子中，當推斷對象正觸摸屏幕時，對象(例如，用戶的指尖)可實質上充當計算機鼠標。在一些例子中，當推斷對象正觸摸屏幕時，顯示屏160實質上充當跟蹤板。舉例來說，對象的位置的估計和屏幕接觸的推斷可允許推斷對象是否正觸摸屏幕、輕敲屏幕、沿著屏幕拖拽，和/或從屏幕移除。程序可使對象動作與特定命令(例如，選擇程序、改變視圖等)相關聯。
[0052]可重復圖4中描繪的方法的任何部分。舉例來說，當投影單一參考圖像或一組參考圖像時，可重復照明(例如，在不同時間周期期間)第一和第二圖像。可重復俘獲圖像。還可重復作出關于對象位置的估計和關于其是否正觸摸屏幕160的推斷。圖4中指示重復的動作的箭頭僅為實例。應理解，所述方法可包含不同重復。此外，將理解，例如過程400可包含在執行框430-440之前執行框410-420，或相反。
[0053]圖5展示用于估計對象的位置(例如，如在圖4的430中)的方法500的實施例。在505處，獲得一個或一個以上背景圖像。背景圖像可大體類似于第一圖像和/或類似于第二圖像(例如，圖4的415中俘獲的第一圖像)，只是在背景圖像中無對象。舉例來說，可使用具有相同設定的相同相機從同一視角且/或以如第一/第二圖像的俘獲期間呈現的大體類似的照明俘獲背景圖像。在一個例子中，以與用于或將可能用于俘獲第一圖像的條件類似的條件(例如，設定、視角、照明等)俘獲第一背景圖像。可以與用于或將用于俘獲第二圖像的條件類似的條件(例如，設定、視角、照明等)俘獲第二背景圖像。
[0054]背景圖像可能已在不存在對象時在控制條件期間俘獲。背景圖像可能已經特定俘獲以充當控制(例如，在已指示用戶準備用于圖像的俘獲的場景之后)，或其可能已在用戶不了解的情況下取得。舉例來說，投影系統100可從單一視角重復使場景成像。例如確定亮度可變性或評估連續圖像上是否存在任何超出閾值差(例如，像素成對強度的絕對差的累積和，所述和是跨越像素的)等技術可用于識別有可能在屏幕160前方無對象的圖像。將了解，當相對于圖像的分析使用時，術語亮度、強度和照度可在本文互換使用。
[0055]在510處，基于(例如，相應)背景圖像過濾第一和/或第二圖像。在一個例子中，基于對應的第一背景圖像過濾第一圖像，且基于對應的第二景圖像過濾第二圖像。舉例來說，可從第一和/或第二圖像的類似圖(Ix,y)減除來自背景圖像的二維亮度圖(Bx,y)。可設定噪聲閾值ε，使得在第一和/或第二圖像與背景圖像之間的差超過閾值的像素處，經過濾的圖像僅包含非零值。此過程可表示如下:
[0056]
【權利要求】
1.一種方法，其包括: 將顯示投影到表面上； 照明所述表面附近的區； 在所述照明期間俘獲所述表面的圖像； 分析所述圖像的至少一部分中的像素上的強度變化； 確定與所述圖像的所述部分相關聯的極性；以及 至少部分基于對所述變化的所述分析且基于所述所確定的極性確定對象是否正觸摸所述表面。
2.根據權利要求1所述的方法，其中所述至少一部分包括所述對象的至少一部分的所估計位置周圍的區。
3.根據權利要求1所述的方法，其中所述分析所述強度變化包括計算所述強度的一個或一個以上標準偏差。
4.根據權利要求1所述的方法，其中所述分析所述強度變化包括計算與所述部分中的非重疊區相關聯的多個標準偏差。
5.根據權利要 求4所述的方法，其中所述分析所述強度變化進一步包括對所述多個標準偏差求平均。
6.根據權利要求1所述的方法，其中確定所述極性包括識別所述圖像的所述部分中的極值的正負號。
7.根據權利要求1所述的方法，其中確定所述對象正觸摸所述表面要求所述所確定的極性為正。
8.根據權利要求1所述的方法，其進一步包括: 照明所述表面附近的前部區； 在所述前部區的所述照明期間俘獲所述表面的減少陰影圖像；以及 基于所述減少陰影圖像識別與所述對象相關聯的位置， 其中所述前部區照明經配置以使所述減少陰影圖像中與停懸在所述表面附近的對象相關聯的陰影最小化。
9.根據權利要求8所述的方法，其進一步包括在照明所述前部區之前停止照明所述區。
10.根據權利要求1所述的方法，其中實質上封圍的投影裝置投影所述顯示、照明所述區，且俘獲所述圖像。
11.一種投影儀系統，其包括: 投影光學元件，其經配置以在表面上投影顯示； 光源，其經配置以在朝向所述表面的方向上發射光； 相機，其經配置以在所述光發射期間俘獲所述表面的圖像； 圖像分析器，其經配置以檢測所述圖像的至少一部分中的像素上的強度變化且確定與所述圖像的所述部分相關聯的極性；以及 狀態檢測器，其經配置以至少部分基于所述變化檢測和所述所確定的極性確定對象是否正觸摸所述表面。
12.根據權利要求11所述的投影儀系統，其中所述圖像分析器進一步經配置以估計與所述對象相關聯的位置。
13.根據權利要求12所述的投影儀系統，其中所述圖像的所述部分包括所述所估計位置周圍的區。
14.根據權利要求11所述的投影儀系統，其中所述圖像分析器進一步經配置以識別與所述圖像的至少所述部分相關聯的強度的多個標準偏差。
15.根據權利要求11所述的投影儀系統，其進一步包括: 第二光源，其經配置以在朝向所述表面的第二方向上發射光，所述第二方向不同于所述方向；以及 位置檢測器，其經配置以基于所述相機在所述第二光的光發射期間俘獲的圖像而檢測所述對象的位置。
16.根據權利要求11所述的投影儀系統，其中所述極性的所述確定包括識別所述圖像的所述部分中的極值的正負號。
17.根據權利要求11所述的投影儀系統，其進一步包括程序交互器，所述程序交互器經配置以在 確定所述對象正觸摸所述表面后即刻允許所述對象與所述表面上正顯示的程序交互。
18.根據權利要求11所述的投影儀系統，其進一步包括圖像預處理器，所述圖像預處理器經配置以至少部分基于一個或一個以上控制圖像過濾所述圖像。
19.根據權利要求11所述的投影儀系統，其進一步包括定時電路，所述定時電路耦合到所述相機和所述光源，所述定時電路經配置以協調所述光源發射光的時間和所述相機俘獲圖像的時間。
20.一種投影系統，其包括: 用于將顯示投影到表面上的裝置； 用于照明所述表面附近的區的裝置； 用于在所述照明期間俘獲所述表面的圖像的裝置； 用于分析所述圖像的至少一部分中的像素上的強度變化的裝置； 用于確定與所述圖像的所述部分相關聯的極性的裝置；以及 用于至少部分基于所述分析且基于所述所確定的極性確定對象是否正觸摸所述表面的裝置。
21.根據權利要求20所述的投影系統，其中所述至少一部分包括所述對象的至少一部分的所估計位置周圍的區。
22.根據權利要求20所述的投影系統，其中所述用于分析所述強度變化的裝置包括用于計算所述強度的一個或一個以上標準偏差的裝置。
23.根據權利要求20所述的投影系統，其中所述用于分析所述強度變化的裝置包括用于計算與所述部分中的非重疊區相關聯的多個標準偏差的裝置。
24.根據權利要求23所述的投影系統，其中所述用于分析所述強度變化的裝置進一步包括用于對所述多個標準偏差求平均的裝置。
25.根據權利要求20所述的投影系統，其中所述用于確定所述極性的裝置包括用于識別所述圖像的所述部分中的極值的正負號的裝置。
26.根據權利要求20所述的投影系統，其中所述用于確定所述對象正觸摸所述表面的裝置包括用于實行所述所確定的極性在閾值以上的要求的裝置。
27.根據權利要求20所述的投影系統，其進一步包括: 用于照明所述表面附近的前部區的裝置； 用于在所述前部區的所述照明期間俘獲所述表面的減少陰影圖像的裝置；以及 用于基于所述減少陰影圖像識別與所述對象相關聯的位置的裝置， 其中所述前部區照明經配置以使所述減少陰影圖像中與停懸在所述表面附近的對象相關聯的陰影最小化。
28.根據權利要求27所述的投影系統，其進一步包括用于在照明所述前部區之前停止照明所述區的裝置。
29.根據權利要求20所述的投影系統，其中實質上封圍的投影裝置包含所述用于投影所述顯示的裝置、所述用于照明所述區的裝置，以及所述用于俘獲所述圖像的裝置。
30.一種非暫時性計算機可讀媒體，其含有當由處理器執行時致使所述處理器執行以下步驟的指令: 存取上面投影顯 示的表面的圖像； 分析所述圖像的至少一部分中的像素上的強度變化； 確定與所述圖像的所述部分相關聯的極性；以及 至少部分基于所述變化的所述分析且基于所述所確定的極性確定對象是否正觸摸所述表面。
31.根據權利要求30所述的計算機可讀媒體，其中確定所述極性包括識別所述圖像的所述部分中的極值的正負號。
32.根據權利要求30所述的計算機可讀媒體，其中確定所述對象正觸摸所述表面要求所述所確定的極性為正。
33.根據權利要求30所述的計算機可讀媒體，其中所述分析所述強度變化包括計算所述強度的一個或一個以上標準偏差。
【文檔編號】G06F3/042GK103999025SQ201280055307
【公開日】2014年8月20日 申請日期:2012年10月5日 優先權日:2011年10月7日
【發明者】阿提德·沙梅 申請人:高通股份有限公司