專利名稱：視覺系統的制作方法
技術領域：
本發明涉及從放置在導向物體、筆或指示器上的投影裝置將紅外或近紅外圖像投影到參考面上，以便能夠找出并連續跟隨圖像位置和導向物體、筆或指示器相對于參考面的取向。本發明也涉及發現并跟隨圖像位置和導向物體、筆或指示器的取向的設備、系統和方法。
背景技術：
公開的國際專利申請WO0227461涉及用于數據顯示、計算機支持辦公司工作和/或計算機的其它交互使用的繪畫、書寫和指示裝置。本發明也涉及用來與用于數據顯示、計算機支持辦公司工作和/或計算機的其它交互使用的繪畫、書寫和指示裝置相互作用的相機和識別系統。現有發明進一步涉及用來繪畫、書寫和指示的系統，該系統適合用于數據顯示、計算機支持辦公室工作和/或計算機的其它交互使用，包括繪畫、書寫和指示裝置，除了具有投影屏幕的計算機系統之外的相機和識別系統，計算機屏幕，平坦屏幕或虛擬屏幕。本發明也涉及在數據顯示時的繪畫、書寫或指示，計算機支持辦公室工作或計算機的其它交互使用的方法，并且也涉及連續檢測一個或多個被標記的物體的位置和取向的方法。每個被標記的物體包括一個或多個編碼圖。每個編碼圖適合于由相機和識別系統檢測。選擇編碼圖使得編碼圖具有良好的自動相關和交叉相關特性。
美國專利No.5938308描述了手持式指示器，該指示器能夠將圖像投影到另一圖像上以便輔助人描述該第二圖像。這涉及使用激光源或另一連貫光源和衍射光學元件以產生例如復雜圖樣圖像(即箭頭或公司標志)的希望的圖像。與在圖像產生過程中將一部分光阻擋在外的蒙片或幻燈片的使用相比，通過使用這種衍射光學元件將大體上所有產生的光重新定向，從而節約能量。WO0227461以及美國專利No.5938308的訓導以參考的方式并入這里，因此這里不需要解釋已經在這兩個專利說明書中描述的原理和方法。美國專利No.5938308的目的是給出箭頭等的具有高度可視性的復雜圖樣圖像，該復雜圖樣圖像容易被觀眾看到。它的目的不是通過相機識別系統跟蹤圖樣圖像。
發明內容
本發明在一方面涉及從由導向物體、筆或指示器所包括的投影裝置將紅外或近紅外圖像或可能的低強度可見光圖像投影到參考面上，以便能夠找出并連續跟隨圖像位置和導向物體、筆或指示器相對于參考面的取向。在這一點上，重要的是，通過使用紅外或近紅外光或通過使用低強度可見光，使圖樣圖像對于人類不可見或幾乎不看見。在此文中的參考面可取為任何形式的顯示表面等等，包括任意三維表面、平面、后投影屏幕(在背面具有投影儀)、例如或多或少豎直取向的LCD或CRT屏幕的前投影或顯示屏幕以及桌面表面。
本發明的另一方面是通過如WO0227461中的相機識別系統跟蹤圖樣圖像，以及連續地發現并報告圖像位置和取向，作為計算機系統的輸入裝置。可預想到，被投影的圖像包括一個或多個編碼圖樣，該編碼圖樣具有良好的自動相關和交叉相關特性，如WO0227461中所描述的。根據本發明，通過使用很低的強度水平改變或通過使用處于相對窄的波長段的紅外或近紅外光，使圖樣圖像對于人類幾乎不可見或基本上不可見。尤其是，通過提供包括本領域中本身已知的衍射光學元件的投影裝置，實現了這個目的。
通過如WO0227461中的相機和識別系統，可檢測被投影的圖像位置，從而連續地發現并報告圖像位置和取向，作為計算機系統的輸入裝置。
在權利要求中，陳述了根據本發明的系統以及用在該系統中的設備和導向物體的新穎的和具體的特征。
本發明的又一方面是用于不同的顯示裝置，該顯示裝置包括用來遠距離操作和用來接近屏幕操作的前投影系統和后投影系統。遠距離操作將通常是但不限于指示、選擇、拖放操作。接近屏幕操作將通常是但不限于指示、選擇、拖放、書寫、繪畫和擦除。
本發明獲得的重要優點在于從導向物體、筆或指示器投射的圖樣圖像對于人類不是直接可見的，或者僅是幾乎不可見的。幾乎不可見或基本上不可見在此文中意味著對于所有實用目的，顯示給觀眾或用戶的總圖像內將忽略圖樣圖像。因此，圖像將不會分散呈獻者和觀眾的注意力，而接收該圖樣的位置和取向的計算機系統可向呈現者和觀眾提供希望的視覺反饋，如箭頭、繪圖或書寫動作次序、或者例如在計算機產生的屏幕上選擇物體。
此外，根據本發明，使用的波長可以是紅外或近紅外輻射，大大處于數據投影系統中使用的人類視覺波長范圍之外。因此，使圖像可由相機識別系統檢測所需的能量大大低于在存在來自數據投影儀的很高的光強度的情況下，為了使可見光的箭頭或標志對于呈獻者或觀眾清楚可見所需的能量。
本發明另外的特征是，相機識別系統可配備有光學過濾器，該光學過濾器阻礙投影儀的光，但通過紅外或近紅外光，使得檢測過程對數據投影儀的可見光圖像中的其它圖樣不敏感。
本發明的又一方面是，紅外或近紅外光也可在導向物體、筆或指示器中被編碼，并由與相機一起放置的紅外遙控解碼器解碼，以給出導向物體、筆或指示器的實際狀態信息和實際活動。這也可包括關于用戶識別的信息。
在替代實施例中，紅外發射器也可與相機和識別系統一起放置，而紅外接收器和解碼器放置在導向物體、筆或指示器的內部。借助這種雙路紅外通信線路，可保持能量消耗最小，因此可將傳輸能量調節到最低可能水平而保持穩健的通信。
本發明的另外優點是，為了使相機和識別系統可檢測，僅需要紅外激光或LED源的低強度操作，因此在近紅外帶寬范圍內通常沒有其它有影響的光源。此外，由于光遍布在被投影的圖像上而不是集中在小的點處，因而更容易滿足激光安全要求。
圖1是根據本發明優選實施例使用透射衍射光學元件用來定位的投影裝置的示意性軸向截面圖；圖2是另一優選實施例的示意性軸向截面圖，該實施例具有如圖1的光學元件的相同光學對齊但具有較纖細的尖端；圖3是根據本發明優選實施例使用反射衍射光學元件用來定位的投影裝置的示意性軸向截面圖；圖4是根據本發明優選實施例使用透射衍射光學元件用來定位的投影裝置的示意性軸向截面圖；圖5示出靠近顯示屏幕操作的裝置；圖6示出遠離顯示屏幕操作的裝置；圖7示出傾斜取向而靠近顯示屏目操作的裝置；圖8示出傾斜取向而遠離顯示屏目操作的裝置；圖9示出根據本發明的系統，其中相機和識別設備放置在前投影屏幕或可能的其它顯示屏幕的前面，并且靠近屏幕操作投影裝置；圖10示出圖9的系統，其中遠離屏幕操作投影裝置；圖11示出一種系統，在該系統中相機和識別設備放置在背投影屏幕或可能的其它顯示屏幕的后面，并且靠近屏幕操作投影裝置；圖12示出圖11的系統，其中遠離屏幕操作投影裝置；圖13是對于給定RGB設置，顯示在離開數據投影儀1米的前投影屏幕上且使用已校準的光譜分析儀記錄的來自典型數據投影儀的光譜的例子；圖14示出由根據本發明的投影裝置投射的圖樣圖像的優選類型；圖15示出由所謂的“Gerschberg-Saxton算法”產生的相位圖樣，“Gerschberg-Saxton算法”迭代地獲得相位圖樣以用作衍射光學元件，從而給出如圖14顯示的希望的強度圖樣；圖16示出在遠場中獲得的、或者可選地通過使用具有透鏡和/或曲面鏡的系統在衍射光學元件附近獲得的作為結果的強度圖樣的模擬；圖17示出產生用來形成圖14的希望強度圖樣的不對稱部分的相位圖樣；圖18示出在遠場中獲得的作為結果的強度圖樣；圖19示出如圖14所示的希望的對稱強度圖樣的兩個離散相位等級相位光柵；圖20示出在遠場中獲得的作為結果的強度圖樣；圖21示出圖14的希望強度圖樣的不對稱部分的兩個離散相位等級相位光柵；圖22示出由于純相位兩個離散相位等級衍射光柵不能產生不對稱圖樣，因而導致的具有嚴重錯誤的圖樣；圖23示出可由純相位兩個離散相位等級衍射光柵形成的簡單對稱強度圖樣的例子；圖24示出可由純相位兩個離散相位等級衍射光柵形成的簡單對稱強度圖樣的另一個例子。
定義1)近紅外光或近紅外輻射意指波長750-1300nm的電磁輻射。
2)紅外光或紅外輻射意指波長＞1300nm的電磁輻射。
3)可見光或可見輻射意指波長400-750nm的電磁輻射，即通常由人類覺察到的光。
4)對稱圖樣或圖像意指可“轉換”的圖像。嚴格地說，在圖像的中心附近具有原點(x，y＝0，0)，使得如果象素點x，y由對稱運算-x，-y代替，將導致相同的或基本上相同的圖樣或圖像。
5)不對稱圖樣或圖像意指不可能根據上述定義(4)中的對稱運算轉換并獲得相同或非常相似的圖樣或圖像的圖樣或圖像。它是相對于上述定義(4)中定義的對稱操作的“不對稱”(非對稱)。
具體實施例方式
下面將結合附圖描述本發明的實施例，而根據本發明的另外的新穎的和具體的特征也將變得顯然。
首先，描述使用衍射光學元件產生紅外圖像的原理。其后，與詳細的系統操作原理一起描述一些優選實施例的詳細描述。
本發明在上述的一個方面涉及將近紅外或紅外圖像或低強度可見光圖像投射到參考面上。在此上下文中，參考面被認為包括任何類型的顯示裝置，例如任意的三維表面、平面或后投影屏或者可能正投影屏。取代或多或少的豎直表面，也可能有桌面表面。
圖像的強度分布被選擇以具有良好的自動相關和交叉相關特性。由近紅外或紅外光形成的圖像處于用來定位和追蹤圖樣的相機系統的敏感范圍。代表性數據投影儀的光譜輸出示出于圖13。如可以看到的，光被限制到近似400-700nm的波長范圍。因此，由于使用的波長不同于數據投影儀使用的波長，因而使用數據投影儀用來同時投影另一圖像的光不干涉近紅外或紅外圖像及其相關聯的相機檢測系統。
具有良好的自動相關和交叉相關特性以及圓對稱的這種圖樣圖像的一個例子示出于圖14。這里和在所有另外強度區中，由于文件打印質量的原因，灰度顏色是反向的，使得白色和黑色分別用來表示低和高的光強度。僅需要如圖14所示的圖像的一部分來基于在WO0227461中描述的方法和系統定位和追蹤整個圖樣的中心。本發明優選實施例的投影圖樣可在幾何上被描述為圓錐截面的一部分，并且因此可以進一步分析以找到實際方位角和仰角和筆相對于參考面的距離。為了使用相機和識別系統獲得精確的圖樣定位，圖像必須具有明顯的且良好限定的邊緣，或者可選地以低的對比度和清晰度要求在較大的區域內分布。
用來投影圖像的優選實施例通過使用計算機產生的衍射光學元件和紅外二極管激光器。產生如圖14的圖樣所需的衍射光學元件的相位圖樣容易通過計算機計算來實現。存在很多計算方法來計算衍射光學元件圖樣，如科學和技術文獻[參考Jakob Blad；xλNew Design Methodfor Diffractive Optics″，Chalmers University of Technology，Gδteborg(2003)，pp.15-23]中發表的。
圖15示出通過使用所謂的“Gerschberg-Saxton算法”[參考JδrgenBengtsson，″Diffractive Optics Design″，Chalmers University ofTechnology，Gδteborg(1997)，pp.25-27]產生的相位圖樣，“Gerschberg-Saxton算法”迭代地獲得相位圖樣，該相位圖樣可用作衍射光學元件以給出如圖14顯示的近似的強度圖樣。
這里由于文件打印質量的原因而反向的圖15中的灰度區表示如在衍射光學元件上分布的在
范圍內的相位等級。相應的“衍射圖像”以其傅立葉變換顯示于圖16中。這里256象素用在處于16相位等級的衍射光學元件中，并且可看到它重新產生與圖14近似相同的強度分布，除了由于衍射損失而光水平強度的減小外。如果光強度水平在圖16中的灰色區足夠高，則檢測相機系統中的臨界值可用來將這些編碼為“亮/白”(回想圖14-24是反的)。圖17示出不對稱圖樣(類似圖14中的圖樣的一部分)的相應強度分布的相位圖樣可通過相同的算法產生，該算法使用相同數量的衍射光學元件中的象素分辨率和相同數量的相位等級(關于“不對稱”的含義，見定義(5))。
由于兩個離散相位等級-光柵的制造和設計簡單，因而使用兩個離散相位等級-光柵是令人感興趣的。兩個離散相僅光柵可用于產生任何不對稱衍射圖樣而不干涉和混合正負次序(關于“不對稱”的含義見定義(4))。用于圖14中的圖像的衍射光學元件和相應的衍射圖樣分別顯示于圖19和圖20。如所見的，對于相同數量的象素，大體上重現希望圖樣的主要特征，然而，由于衍射光學元件的兩個離散相位等級的受限制的靈活性，因而分辨率較低。在圖22中示出使用圖21的兩個離散相位等級光柵企圖產生不對稱圖樣的結果。如所見的，作為結果的圖22中的衍射圖樣是原始圖樣和其反向圖像的重疊。這是由于純相位兩個離散相位等級衍射光柵難以產生不對稱圖樣。
因此，多于兩個相位等級的相位光柵將是產生用在檢測器相機系統中的不對稱圖樣的先決條件。此外，當與相同的象素分辨率一起使用時，與兩個離散相位等級光柵相比，它將通常給出較好的圖像質量。也可由兩個離散相位等級衍射光柵形成的簡單的對稱圖樣的其它例子顯示于圖23和圖24。如圖24中的圖像圖樣可用于估計衍射圖樣由于光柵分辨率的角展度。考慮經過原點貫穿圓的任意直線。這構成二維圓的“線性模型”，在原點的每側具有兩個衍射點。一維衍射光柵使激光束相對于原始光束方向的角偏離可從以下公式估計sinα=λΔ·Λ]]>α是散開角，適用于通過一維炫耀光柵的激光束一階衍射控制[參考E.Hallstig，L.Sjóqvist，M.Lindgren；Opt.Eng.Volume 42(3)(2003)pp.613-619]。這里，λ是光的波長(單位是長度)，Δ是象素中心距(單位是長度)且Λ是象素中的光柵周期。象素中心距可從產生光柵的分辨率來估計，而對于由聚合物材料或微加工的硅生產的典型衍射光學元件，分辨率通常為0.5μm或更好。因此，可以具有1μm的象素中心距。波長取為近紅外范圍內的850nm，使用在0和3π/4弧度之間均勻地間隔開的4相位等級使最大衍射的一階衍射光束處于由以下給定的角度sinα≈0.2125且近似12°的角度。因此，在以相似的分辨率和相位等級精度反射到二維光柵上(或傳播通過)之后的5cm的自由空間傳播可用來產生近似2cm直徑的圓或類似圖樣。注意到，較高的分辨率或較小的象素中心距可產生更大的角展度。可提供衍射圖樣作為衍射光學元件緊鄰處(小于大約10cm)的圖像的實施例的暗示將在下面討論。
衍射現象在“遠場”的衍射光學元件上產生任何幅值和相位分布的傅立葉變換。或者，通過使用放置在衍射光學元件附近的透鏡或充當透鏡的球面鏡，傅立葉變換可從遠場移到更靠近衍射光學元件的輸出處。透鏡或曲面鏡的相位分布具有將傅立葉變換從平坦的波前移動到焦平面的特性。使用兩個或更多透鏡、曲面鏡或其組合，相對于衍射光學元件和激光二極管的傅立葉變換圖樣的位置和尺寸可被控制。
具有如圖15的相位分布圖樣的衍射光學元件可由衍射光學元件制造商提供。這些可以以透射部件或反射部件的形式。這些部件可用在本發明的替代實施例中，與如透鏡、鏡和光源的光學元件光學對齊，如圖1到圖4所示。
參考圖1和圖2，具有外殼12的導向裝置16(筆，指示器)具有電池1、印刷電路板2、激光二極管3、折射準直透鏡4、投射衍射光學元件5、透鏡6、尖端7、兩個按鈕8和9。當近距離操作時，作為結果的圖樣10從導向裝置投射到屏幕，當遠距離操作時，圖樣11從導向裝置投射到屏幕。
參考圖3，具有外殼12的導向裝置16(筆，指示器)具有電池1、印刷電路板2、激光二極管3、有或沒有安裝在尖端7附近的透鏡4的透射衍射光學元件5、反射衍射曲面環形鏡14和曲面環形鏡13、兩個按鈕8和9。當近距離操作時，作為結果的圖樣10從導向裝置投射到屏幕，當遠距離操作時，圖樣11從導向裝置投射到屏幕。
參考圖4，具有外殼12的導向裝置16(筆，指示器)具有電池1、印刷電路板2、激光二極管3、折射準直透鏡4、安裝在后端7附近的透射衍射光學元件5、曲面環形鏡13和中性窗口和/或另一透射衍射光學元件15以便形成圖樣的光用于遠距離操作。當近距離操作時，作為結果的圖樣10從導向裝置投射到屏幕，當遠距離操作時，圖樣11從導向裝置投射到屏幕。
這些實施例的外殼12的目的是類似白色書寫板標記或筆，并提供用戶自然的、直覺的和符合人機工程學的書寫、繪畫和指示工具。一個或多個電池單元供應從光源或一些光源發光所需的能量。印刷電路板可提供電源管理，一個、兩個或多個按鈕開關的界面，激光二極管驅動電路和用來調節激光的電路，遠程紅外線路和/或無線電頻率線路。激光二極管可以是紅外或近紅外二極管。
準直透鏡4的目的是增加激光束的孔以覆蓋衍射光學元件5的表面。當接近屏幕操作導向裝置時，凹透鏡6和凸透鏡13以及可能的14用來將圖樣展開到大的區域。當導向裝置遠離地向著屏幕操作時，鏡13、14的環形形狀和可能的反射衍射光學元件13、14的環形形狀為形成光學強度圖像的激光束的中心部分提供自由場路徑。
如圖5、6、7和8所示，導向物體可保持在相對于屏幕的不同取向和距離。被投影的圖樣圖像位置、形狀和尺寸的改變可用于找出橫向位置、取向(仰角和方位角)并估計從導向物體到屏幕表面的距離。
圖9和圖10示出以下情形導向裝置和相機和識別系統定位在前投影屏幕、后投影屏幕或其它顯示系統的前方，并且導向裝置可近距離地用于屏幕和遠距離地用于屏幕。當靠近屏幕時(圖9)，導向裝置可以在相機18的投影區域內。因此，如果導向裝置配備有編碼圖，則可能具有包括WO0227461中描述的方法的組合功能。
圖11和圖12示出如下構造導向裝置在后投影屏幕前方被操作，并且可近距離地用于屏幕和/或遠距離地用于屏幕，而從導向裝置投影的圖樣圖像被投影到后投影屏幕表面上，并且可由相機和位于靠近投影儀的屏幕的后面的識別系統檢測。已經按照其優選實施例描述了本發明，視覺系統設計領域中的技術人員將認識到，在不偏離如以下權利要求限定的本發明的主旨和范圍的前提下，可在實施的構造和細節中進行各種改變。
權利要求
1.一種用于演示、計算機支持工作或計算機的其它交互使用的視覺系統，包括參考面，該參考面適合于由一個或多個用戶觀看，并且在該參考面上能夠顯示可視信息；導向物體，例如筆或指示器，用來與參考面一起使用，并包括光投影裝置；相機和識別裝置，適合于檢測、記錄和傳輸關于呈現在參考面上的物體和圖像的信息；和計算機或計算裝置，連接到相機和識別裝置用來與它們協作并接收如由相機和識別設備所檢測和記錄的輸出信號，其特征在于光投影裝置包括衍射光學元件并適合于發出在參考面上形成編碼的圖樣圖像的光，該編碼的圖樣圖像對于人眼基本上不可見，而相機和識別裝置適合于檢測和記錄所述編碼的圖樣圖像。
2.根據權利要求1的系統，其中所述光投影裝置適合于發出低強度的可見光。
3.根據權利要求1的系統，其中所述光投影裝置適合于發出紅外或近紅外光。
4.根據權利要求1、2或3的系統，其中所述光投影裝置的所述衍射光學元件包括純相位的至少兩個離散相位等級衍射光柵。
5.根據權利要求1-4中任一項的系統，其中在所述導向物體和所述相機和識別裝置之間設置有直接紅外通信鏈路。
6.根據權利要求5的系統，其中所述導向物體包括紅外遙控式控制單元用來發送和/或接收關于所述相機和識別裝置的信號。
7.一種用于與其上可顯示可視信息的參考面配合使用的導向物體，包括光投影裝置，其特征在于，該光投影裝置包括衍射光學元件并且適合于發出在參考面上形成編碼的圖樣圖像的光，該編碼的圖樣圖像對于人眼基本上不可見。
8.根據權利要求7的導向物體，其中所述光投影裝置適合于發出低強度的可見光。
9.根據權利要求7的導向物體，其中所述光投影裝置適合于發出紅外或近紅外光。
10.根據權利要求7或8或9的導向物體，其中所述光投影裝置的所述衍射光學元件包括純相位的至少兩個離散相位等級衍射光柵。
11.用來檢測、記錄和傳輸關于呈現在參考面上的物體和圖像的信息的設備，其特征在于包括對呈現在參考面上的對于人眼基本上不可見的編碼的圖樣圖像敏感的相機和識別裝置。
12.根據權利要求11的設備，其中連接到所述相機和識別裝置的計算機配備有顯示屏幕并適合于在顯示屏幕上顯示所述編碼的圖樣圖像的位置和運動的代表物。
全文摘要
用來從筆、指示器或其它導向物體以編碼圖樣圖像的形式投射紅外或近紅外或低強度可見光的方法和設備(16)，該圖樣圖像可由相機和識別系統檢測到，但對于用戶和觀眾不可見或幾乎不可見，因此在顯示、計算機支持工作和/或計算機的其它交互工作期間控制計算機并與計算機(19)交互，包括遠離(11)和接近(10)前或后投影屏幕或者可能其它類型的顯示屏幕的指示、選擇、繪圖和書寫，而沒有任何分散注意力的視覺圖樣或點，而對用戶和觀眾的可能的視覺反饋可由計算機和顯示系統以受控的且上下文敏感的方式產生在顯示屏幕上。當遠程(11)操作和當接近屏幕(10)操作時，從定位裝置投射的復雜圖像由一個或數個衍射光學元件、準直透鏡和/或鏡、以及一個或多個光源的光學對齊產生。光源優選地可以是激光二極管或發光二極管。在優選的實施例中，光源發出可見的紅外或近紅外光。
文檔編號G06F3/038GK101095098SQ200580038703
公開日2007年12月26日 申請日期2005年11月2日 優先權日2004年11月12日
發明者托爾莫德·恩喬爾斯泰德, 米卡埃爾·林格倫, 厄于斯泰因·達姆豪格, 塞德塞爾·弗雷特海姆 申請人:新標志股份有限公司