交互式投影機及交互式投影系統的制作方法
【專利摘要】本發明涉及交互式投影機及交互式投影系統。未必容易使指示體與投影畫面的對比度充分大，根據檢測光的照明的方法，得不到充分的對比度。交互式投影機具備：投影部、第1及第2檢測光照射部、拍攝部和基于由拍攝部拍攝的包括指示體的圖像來檢測指示體相對于投影畫面的位置的位置檢測部。第1及第2檢測光照射部配置為，(i)僅從第1檢測光照射部照射檢測光時的第1圖像中的指示體與投影畫面的第1對比度與(ii)僅從第2檢測光照射部照射檢測光時的第2圖像中的指示體與投影畫面的第2對比度中的至少一方比預先設定的閾值大。
【專利說明】
交互式投影機及交互式投影系統
技術領域
[0001]本發明涉及能夠接受用戶通過指示體對投影畫面的指示的交互式投影機及其系統。【背景技術】
[0002]在專利文獻1中公開了如下的投影型顯示裝置(投影機):可以將投影畫面投影于屏幕，并且利用照相機對包括手指等對象物(object)的圖像進行拍攝，利用該拍攝圖像來檢測對象物的位置。手指等對象物被用作:用于對投影畫面進行指示的指示體。即，投影機在對象物的頂端接觸屏幕時識別為對投影畫面輸入描繪等預定的指示的物體，并根據該指示重新描繪投影畫面。因此，用戶可以將投影畫面用作用戶界面，輸入各種指示。這樣，將能夠利用屏幕上的投影畫面作為可輸入用戶界面的類型的投影機稱為“交互式投影機”。另夕卜，將用于對投影畫面進行指示的對象物稱為“指示體(pointing element)”。
[0003]專利文獻1:日本特開2012-150636號公報
【發明內容】
[0004]在交互式投影機中，為了對指示體的位置進行檢測，將紅外光等檢測光照射至指示體，并利用照相機拍攝在反射體反射后的檢測光。在從拍攝到的圖像檢測指示體的位置時，利用指示體與投影畫面的對比度之差判定指示體位于圖像內的何處。因此，在利用照相機拍攝的圖像中，期望指示體與投影圖像的對比度之差充分地大。
[0005]但是，本申請的發明人發現:未必容易使指示體與投影畫面的對比度充分地大，根據檢測光的照明的方法不同，存在得不到充分的對比度的情況。
[0006]本發明用于解決上述問題的至少一部分而提出，可以作為以下的方式或應用例而實現。[〇〇〇7] (1)根據本發明的一個方式，提供可以接受用戶通過指示體對投影畫面的指示的交互式投影機。該交互式投影機具備:投影部，其將所述投影畫面投影在屏幕面上;第1檢測光照射部和第2檢測光照射部，其朝向所述投影畫面的區域照射用于所述指示體的檢測的檢測光；拍攝部，其接收包括所述檢測光的波長的波長范圍的光而拍攝所述投影畫面的區域；以及位置檢測部，其基于由所述拍攝部拍攝到的包括所述指示體的圖像來檢測所述指示體相對于所述投影畫面的位置。所述第1檢測光照射部和所述第2檢測光照射部被配置為，在所述指示體的頂端與所述投影畫面的區域內的任意的位置接觸的狀態下，(i)和(ii) 中的至少一方比為了從所述投影畫面識別所述指示體而預先設定的閾值大，其中，(i)為在僅從所述第1檢測光照射部照射所述檢測光的情況下由所述拍攝部拍攝的第1圖像中的所述指示體與所述投影畫面的區域之間的第1對比度，(ii)為在僅從所述第2檢測光照射部照射所述檢測光的情況下由所述拍攝部拍攝的第2圖像中的所述指示體與所述投影畫面的區域之間的第2對比度。
[0008]根據所述交互式投影機，由于在投影畫面的任意的位置處，第1對比度與第2對比度中的至少一方比預先設定的閾值大，所以在投影畫面內的任意的位置處，都能夠確定指示體相對于投影畫面的位置。
[0009] (2)在上述交互式投影機中，也可以設定為:所述第1檢測光照射部和所述第2檢測光照射部在所述指示體的頂端與所述投影畫面內的至少一部分區域接觸的狀態下，所述第 1對比度的正負與所述第2對比度的正負反轉，所述第1檢測光照射部和所述第2檢測光照射部以分時的方式朝向所述投影畫面照射所述檢測光。
[0010]根據該構成，即使存在由第1檢測光照射部和第2檢測光照射部得到的對比度的正負反轉的區域，由于兩者以分時的方式進行照射，所以能夠確定指示體相對于投影畫面的位置。
[0011] (3)在上述交互式投影機中，所述第1檢測光照射部和所述第2檢測光照射部也可以隔著包含所述投影畫面的中心處的所述投影畫面的法線的假想的平面彼此配置于相反側。
[0012]根據該構成，在投影畫面的中心附近，由檢測光形成的指示體的陰影在第1檢測光照射部和第2檢測光照射部成為相反朝向，但是，由于第1對比度和第2對比度雙方比預先設定的閾值大，因此，能夠確定指示體相對于投影畫面的位置。
[0013] (4)上述交互式投影機還可以具備第3檢測光照射部，其配置于與所述第1檢測光照射部和所述第2檢測光照射部相比更靠近所述假想的平面的位置，向所述投影畫面的區域照射檢測光。
[0014]根據該構成，可以使指示體與投影畫面的對比度更大。
[0015]本發明可以以各種方式實現，例如，能夠以包括屏幕及自發光指示體中的一方或雙方和交互式投影機的系統、交互式投影機的控制方法或控制裝置、用于實現這些方法或裝置的功能的計算機程序、記錄有該計算機程序的非暫時性的存儲介質(non-transitory storage medium)等各種方式來實現。【附圖說明】[〇〇16]圖1是交互式投影系統的立體圖。
[0017]圖2是交互式投影系統的側視圖及主視圖。
[0018]圖3是表示投影機與自發光指示體的內部構成的框圖。[〇〇19]圖4是表示利用自發光指示體與非發光指示體的操作的情形的說明圖。[〇〇2〇]圖5是表示檢測光相對于投影圖像及非發光指示體的入射角的說明圖。
[0021]圖6是比較地示出在2個檢測光照射部得到的對比度的圖。
[0022]圖7是第2實施方式中的交互式投影系統的側視圖及主視圖。
[0023]圖8是第3實施方式中的交互式投影系統的側視圖及主視圖。[〇〇24]符號的說明[〇〇25] 70…自發光指示體;71…頂端部；72…軸部；73…按鈕開關;74…信號光接收部； 75…控制部;76…頂端開關;77…頂端發光部;80…非發光指不體;81…頂端部；100…交互式投影機;200…投影部；210…投影透鏡；220…光調制部;230…光源;300…拍攝部；310 — 第1照相機;320…第2照相機;410、411?413…檢測光照射部;430…信號光發送部;500…投影圖像生成部；510…投影圖像存儲器;600…位置檢測部;700…控制部;900…交互式投影系統;910…支撐構件;920…屏幕板【具體實施方式】 [〇〇26] A.系統的概要[〇〇27]圖1是本發明的一個實施方式中的交互式投影系統900的立體圖。該系統900具有交互式投影機100、屏幕板920以及自發光指示體70。屏幕板920的正面用作投影屏幕面SS (Project1n Screen Surface)。投影機100通過支撐構件910固定于屏幕板920的前上方。 此外，雖然在圖1中鉛垂地配置投影屏幕面SS，但是也可以水平地配置投影屏幕面SS而使用該系統900。[〇〇28] 投影機100將投影畫面PS(Pr〇jeCted Screen)投影在投影屏幕面SS上。投影畫面 PS通常包括在投影機100內描繪的圖像。在投影機100內描繪的圖像不存在的情況下，光從投影機100照射至投影畫面PS，而顯示白色圖像。在本說明書中，“投影屏幕面SS”(或“屏幕面SS”)是指圖像被投影的構件的表面。另外，“投影畫面PS”是指通過投影機100投影在投影屏幕面SS上的圖像的區域。通常，投影畫面PS投影于投影屏幕面SS的一部分。
[0029]自發光指示體70為具有可發光的頂端部71、使用者所保持的軸部72和設置于軸部 72的按鈕開關73的筆型的指示體。關于自發光指示體70的構成和/或功能，在下文中說明。 在該系統900中，可以與1個或多個自發光指示體70—并利用1個或多個非發光指示體80(不發光的筆和/或手指等)。
[0030]圖2的(A)為交互式投影系統900的側視圖，圖2的(B)為其主視圖。在本說明書中， 將沿著屏幕面SS的左右的方向定義為X方向，將沿著屏幕面SS的上下的方向定義為Y方向， 將沿著屏幕面SS的法線的方向定義為Z方向。此外，為了方便，也將X方向稱為“左右方向”， 將Y方向稱為“上下方向”，將Z方向稱為“前后方向”。另外，將Y方向(上下方向)中的、從投影機100觀察的投影畫面PS所在的方向稱為“下方向”。此外，在圖2的(A)中，為了圖示的方便， 在屏幕板920中的投影畫面PS的范圍標注陰影線。
[0031]投影機100具有:將投影畫面PS投影在屏幕面SS上的投影透鏡210、對投影畫面PS 的區域進行拍攝的第1照相機310及第2照相機320和用于向指示體(自發光指示體70及非發光指示體80)照明檢測光的2個檢測光照射部411、412。作為檢測光，例如使用近紅外光。2個照相機310、320至少具有接收包括檢測光的波長的波長范圍的光而進行拍攝的第1拍攝功能。優選構成為:2個照相機310、320中的至少一方還具有接收包括可見光的光而進行拍攝的第2拍攝功能，并可以切換這2個拍攝功能。例如，優選地，2個照相機310、320各自具備:可以將遮擋可見光而僅使近紅外光通過的近紅外濾波器配置于透鏡前或從透鏡前退后的近紅外濾波器切換機構(未圖示)。
[0032]圖2的(B)的例子表示交互式投影系統900在白板模式下工作的情形。白板模式為用戶能夠使用自發光指示體70和/或非發光指示體80在投影畫面PS上任意地描繪的模式。 在屏幕面SS上，投影包括工具箱TB的投影畫面PS。該工具箱TB包括:使處理復原的取消按鈕 UDB、選擇鼠標指針的指針按鈕PTB、選擇描繪用的筆工具的筆按鈕PEB、選擇消除所描繪的圖像的擦除工具的擦除按鈕ERB和使畫面或向前進或向后退的前進/后退按鈕FRB。用戶通過使用指示體點擊這些按鈕，可以進行相應于該按鈕的處理、或選擇工具。此外，也可以在系統900剛啟動后，選擇鼠標指針作為默認工具。在圖2的(B)的例子中，描繪如下情形:用戶選擇了筆工具后，在使自發光指示體70的頂端部71接觸屏幕面SS的狀態下在投影畫面PS內移動，據此在投影畫面PS內描繪線。該線的描繪通過投影機100的內部的投影圖像生成部 (下述)而進行。[〇〇33]此外，交互式投影系統900也可以在白板模式以外的其他模式下工作。例如，該系統900也可以在將從個人計算機(未圖示)經由通信線路傳送來的數據的圖像顯示于投影畫面PS的PC交互模式下工作。在PC交互模式中，顯示例如表計算軟件等的數據的圖像，可以利用顯示于該圖像內的各種工具和/或圖標進行數據的輸入、生成、修正等。[〇〇34]圖3是表示交互式投影機100與自發光指示體70的內部構成的框圖。投影機100具有:控制部700、投影部200、投影圖像生成部500、位置檢測部600、拍攝部300、檢測光照射部 410和信號光發送部430。檢測光照射部410包括:第1檢測光照射部411和第2檢測光照射部 412〇[〇〇35]控制部700進行投影機100內部的各部分的控制。另外，控制部700對由位置檢測部 600所檢測到的指示體(自發光指示體70和/或非發光指示體80)在投影畫面PS上進行的指示的內容進行判定，并且命令投影圖像生成部500根據該指示的內容生成或變更投影圖像。 [〇〇36]投影圖像生成部500具有存儲投影圖像的投影圖像存儲器510,具有生成由投影部 200投影在屏幕面SS上的投影圖像的功能。優選地，投影圖像生成部500還具有作為對投影畫面PS(圖2的(B))的梯形失真進行校正的梯形失真校正部的功能。[〇〇37]投影部200具有將由投影圖像生成部500生成的投影圖像投影在屏幕面SS上的功能。投影部200除了圖2所說明的投影透鏡210之外，還具有光調制部220和光源230。光調制部220對應于由投影圖像存儲器510給與的投影圖像數據對來自光源230的光進行調制，據此形成投影圖像光ML。該投影圖像光頂L典型性地為包括RGB 3色的可見光的彩色圖像光， 通過投影透鏡210投影在屏幕面SS上。此外，作為光源230,除了超高壓水銀燈等光源燈之夕卜，還可以采用發光二極管和/或激光二極管等各種光源。另外，作為光調制部220,可以采用透射型或反射型的液晶面板和/或數字鏡器件等，也可以為按色光區分而具備多個光調制部220的構成。[〇〇38]2個檢測光照射部411、412將用于對指示體(自發光指示體70以及非發光指示體80)的頂端部進行檢測的照射檢測光IDL分別照射至屏幕面SS及其前方的空間。作為照射檢測光IDL，例如使用近紅外光。檢測光照射部411、412僅在包括照相機310、320的拍攝定時的預定的期間點亮，在其他的期間熄滅。或者，檢測光照射部411、412也可以在系統900的工作中始終維持為點亮狀態。[〇〇39]信號光發送部430具有發送通過自發光指示體70接收的裝置信號光ASL的功能。裝置信號光ASL為同步用的近紅外光信號，從投影機100的信號光發送部430相對于自發光指示體70定期地發出。自發光指示體70的頂端發光部77與裝置信號光ASL同步地發出作為具有預先規定的發光模式(發光次序)的近紅外光的指示體信號光PSL(下述)。另外，拍攝部 300的照相機310、320在進行指示體(自發光指示體70及非發光指示體80)的位置檢測時，以與裝置信號光ASL同步的預定的定時執行拍攝。
[0040]拍攝部300具有圖2所說明的第1照相機310與第2照相機320。如上所述，2個照相機 310、320具有接收包括檢測光的波長的波長范圍的光而進行拍攝的功能。在圖3的例子中， 描述如下情形:由檢測光照射部411照射的照射檢測光IDL在指示體(自發光指示體70及非發光指示體80)反射，該反射檢測光RDL由2個照相機310、320受光而拍攝。2個照相機310、 320還接收作為從自發光指示體70的頂端發光部77發出的近紅外光的指示體信號光PSL而進行拍攝。2個照相機310、320的拍攝在作為從檢測光照射部410發出的照射檢測光IDL為導通狀態(發光狀態)的第1期間與作為照射檢測光IDL為截止狀態(不發光狀態)的第2期間雙方被執行。位置檢測部600通過對這2種類型的期間中的圖像進行比較，而可以判定圖像內所包含的各個指示體是自發光指示體70與非發光指示體80的哪一個。
[0041]此外，優選地，2個照相機310、320的至少一方除了具有利用包括近紅外光的光進行拍攝的功能之外，還具有利用包括可見光的光進行拍攝的功能。這樣，可以利用該照相機對投影在屏幕面SS上的投影畫面PS進行拍攝，并利用該圖像由投影圖像生成部500執行梯形失真校正。因為利用1個以上的照相機的梯形失真校正的方法是眾所周知的，所以在此省略其說明。[〇〇42]位置檢測部600具有使用由2個照相機310、320拍攝到的圖像、并利用三角測量確定指示體(自發光指示體70和/或非發光指示體80)的頂端部的三維位置的功能。此時，位置檢測部600利用自發光指示體70的發光模式，也對于圖像內的各個指示體是自發光指示體 70與非發光指示體80的哪一個進行判定。[〇〇43]在自發光指示體70,除了按鈕開關73之外，還設置有信號光接收部74、控制部75、 頂端開關76和頂端發光部77。信號光接收部74具有接收從投影機100的信號光發送部430發出的裝置信號光ASL的功能。頂端開關76為若按壓自發光指示體70的頂端部71則成為導通狀態、若釋放頂端部71則成為截止狀態的開關。頂端開關76通常處于截止狀態，若自發光指示體70的頂端部71與屏幕面SS接觸則由于該接觸壓力而成為導通狀態。在頂端開關76為截止狀態時，控制部75以表示頂端開關76為截止狀態的特定的第1發光模式使頂端發光部77 發光，據此發出具有第1發光模式的指示體信號光PSL。另一方面，若頂端開關76成為導通狀態，則控制部75以表示頂端開關76為導通狀態的特定的第2發光模式使頂端發光部77發光， 據此發出具有第2發光模式的指示體信號光PSL。因為這些第1發光模式與第2發光模式互不相同，所以位置檢測部600,通過對由2個照相機310、320拍攝的圖像進行分析，可以對頂端開關76為導通狀態還是為截止狀態進行識別。
[0044]如上所述，在實施方式中，根據頂端開關76的導通/截止來進行自發光指示體70的頂端部71是否接觸屏幕面SS的接觸判定。可是，由于自發光指示體70的頂端部71的三維位置能夠通過使用了由2個照相機310、320拍攝的圖像的三角測量而求出，因此，也可以利用該三維位置來執行自發光指示體70的頂端部71的接觸判定。但是，存在基于三角測量的Z坐標(屏幕面SS的法線方向的坐標)的檢測精度未必高的情況。因此，在如果對應于頂端開關 76的導通/截止來進行接觸判定，則能夠更高精度地執行接觸判定的點上是優選的。[〇〇45]自發光指示體70的按鈕開關73具有與頂端開關76相同的功能。因此，控制部75在由用戶按壓按鈕開關73的狀態下使頂端發光部77以上述第2發光模式發光，在未按壓按鈕開關73的狀態下使頂端發光部77以上述第1發光模式發光。換言之，控制部75在頂端開關76 與按鈕開關73的至少一方為導通的狀態下使頂端發光部77以上述第2發光模式發光，在頂端開關76與按鈕開關73的雙方都為截止的狀態下使頂端發光部77以上述第1發光模式發光。
[0046]但是，也可以對于按鈕開關73分配與頂端開關76不同的功能。例如，在對于按鈕開關73分配與鼠標的右擊按鈕相同的功能的情況下，若用戶按壓按鈕開關73,則右擊的指示轉達給投影機100的控制部700,執行對應于該指示的處理。這樣，在對于按鈕開關73分配了與頂端開關76不同的功能的情況下，頂端發光部77根據頂端開關76的導通/截止狀態及按鈕開關73的導通/截止狀態，以互不相同的4種發光模式發光。在該情況下，自發光指示體70 可以一邊區分頂端開關76與按鈕開關73的導通/截止狀態的4種組合，一邊傳達給投影機 100〇[〇〇47]圖4是表示利用自發光指示體70與非發光指示體80的操作的情形的說明圖。在該例中，自發光指示體70的頂端部71與非發光指示體80的頂端部81均離開屏幕面SS。自發光指示體70的頂端部71的XY坐標(XYhYvi)位于工具箱TB的擦除按鈕ERB之上。另外，在此，作為表示自發光指示體70的頂端部71的功能的工具，選擇鼠標指針PT，鼠標指針PT在投影畫面PS上描繪，以使得鼠標指針PT的頂端OPn存在于擦除按鈕ERB之上。如上所述，自發光指示體70的頂端部71的三維位置由利用了以2個照相機310、320拍攝的圖像的三角測量確定。因此，在投影畫面PS上，描繪鼠標指針PT，以使得位于鼠標指針PT的頂端的操作點OPn配置于由三角測量確定的頂端部71的三維坐標(X71，Y71，Z71)中的XY坐標(X71，Y71)的位置。即，鼠標指針PT的頂端0P71配置于自發光指示體70的頂端部71的三維坐標(X71，Y71，Z7i)中的XY坐標 (X71，Y71)，在該位置處執行用戶的指示。例如，用戶通過在該狀態下按壓自發光指示體70的按鈕開關73,可以選擇擦除工具。這樣，在本實施方式中，在自發光指示體70處于離開了屏幕面SS的狀態下，通過按壓按鈕開關73,也可以將與配置于頂端部71的XY坐標(Xn，Yn)的操作點〇Pn處的投影畫面PS的內容對應的指示賦予給投影機100。[〇〇48]在圖4的(B)中，另外，作為表示非發光指示體80的頂端部81的功能的工具，選擇筆工具PE，筆工具PE在投影畫面PS描繪。如上所述，非發光指示體80的頂端部81的三維位置也由利用了以2個照相機310、320拍攝的圖像的三角測量確定。因此，在投影畫面PS上，描繪筆工具PE，以使得位于筆工具PE的頂端的操作點0P81配置于由三角測量確定的頂端部81的三維坐標(X81，Y81，Z81)中的XY坐標(X81，Y81)的位置。但是，在用戶利用非發光指示體80將指示賦予給投影機100時，在使非發光指示體80的頂端部81與投影畫面PS上接觸的狀態下執行該指示(描繪和/或工具的選擇等)。[〇〇49]在圖4的例子中，在指示體(自發光指示體70和/或非發光指示體80)的頂端部離開投影畫面PS的情況下，由各個指示體選擇的工具(鼠標指針PT和/或筆工具PE)也在投影畫面PS上描繪而顯示。因此，存在如下優點:即使在用戶不使指示體的頂端部接觸于投影畫面 PS的情況下，也容易理解通過該指示體選擇了哪種工具，容易操作。另外，因為該工具描繪成工具的操作點0P配置于指示體的頂端部的三維坐標中的XY坐標的位置，所以具有用戶能夠適當地識別正在使用的工具的位置的優點。
[0050]此外，該交互式投影系統900也可以構成為，可以同時利用多個自發光指示體70。 在該情況下，優選地，上述的指示體信號光PSL的發光模式為能夠對多個自發光指示體70進行識別的固有的發光模式。更具體而言，優選地，在可以同時利用N個(N為2以上的整數)自發光指示體70的情況下，指示體信號光PSL的發光模式能夠對N個自發光指示體70進行區分。此外，在1組發光模式包括多次單位發光期間的情況下，在1次單位發光期間中，能夠表達發光與不發光2個值。在此，1次單位發光期間相當于自發光指示體70的頂端發光部77表達導通/截止的1比特信息的期間。在1組發光模式以M個(M為2以上的整數)單位發光期間構成的情況下，能夠通過1組發光模式對2?個狀態進行區分。因此，優選地，構成1組發光模式的單位發光期間的個數M被設定成滿足下式。
[0051] NXQ<2m---(1)[〇〇52]在此，Q為利用自發光指示體70的開關73、76區分的狀態的個數，在本實施方式的例中，Q = 2或Q = 4。例如，優選地，在Q = 4的情況下，在N= 2時將M設定為3以上的整數，在N = 3?4時將M設定為4以上的整數。此時，在位置檢測部600(或控制部700)對N個自發光指示體 70及各自發光指示體70的開關73、76的狀態進行識別時，在1組發光模式的M個單位發光期間中使用由各照相機310、320分別拍攝的M幅圖像來執行該識別。此外，該M比特的發光模式為在將照射檢測光IDL維持為截至的狀態下將指示體信號光PSL設定為導通或截止的模式， 非發光指示體80不在由照相機310、320拍攝的圖像上描繪。于是，優選地，為了拍攝用于檢測非發光指示體80的位置的圖像，進一步追加使照射檢測光IDL為導通狀態的1比特的單位發光期間。但是，在位置檢測用的單位發光期間中，指示體信號光PSL為導通/截止的任意均可。在該位置檢測用的單位發光期間得到的圖像也可以用于自發光指示體70的位置檢測。 [〇〇53]將圖3描述的5種類型的信號光的具體例總結以下。[〇〇54](1)投影圖像光ML:用于將投影畫面PS投影于屏幕面SS，為通過投影透鏡210投影在屏幕面SS上的圖像光(可見光)。
[0055](2)照射檢測光IDL:用于對指示體(自發光指示體70及非發光指示體80)的頂端部進行檢測，為通過檢測光照射部410(411、412)照射于屏幕面SS及其前方的空間的近紅外光。[〇〇56](3)反射檢測光RDL:作為照射檢測光IDL照射的近紅外光中的、被指示體(自發光指示體70及非發光指示體80)反射且由2個照相機310、320受光的近紅外光。[〇〇57](4)裝置信號光ASL:用于取得投影機100與自發光指示體70的同步，為從投影機100的信號光發送部430定期地發出的近紅外光。[〇〇58](5)指示體信號光PSL:為在與裝置信號光ASL同步的定時，從自發光指示體70的頂端部77發出的近紅外光。指示體信號光PSL的發光模式可根據自發光指示體70的開關73、76 的導通/截止狀態而變更。另外，具有對多個自發光指示體70進行識別的固有的發光模式。 [〇〇59]在本實施方式中，自發光指示體70與非發光指示體80的頂端部的位置檢測及通過自發光指示體70與非發光指示體80指示的內容的判別分別按如下方式執行。
[0060]〈自發光指示體70的位置檢測方法及指示內容的判別方法的概要〉[〇〇611自發光指示體70的頂端部71的三維位置(X7i，Y7i，Z7i)由位置檢測部600利用由2個照相機310、320拍攝到的圖像按照三角測量而確定。此時，是否為自發光指示體70可以通過判斷頂端發光部77的發光模式是否在預定的多個定時所拍攝到的圖像上顯現來識別。另夕卜，關于自發光指示體70的頂端部71是否接觸于屏幕面SS(即頂端開關76是否為導通)，也可以利用在上述多個定時拍攝的圖像中的頂端發光部77的發光模式來進行判別。位置檢測部600可以進一步根據自發光指示體70的開關73、76的導通/截止狀態及頂端部71的XY坐標 (Xn，Yn)處的投影屏幕面SS的內容，對該指示內容進行判別。例如，如圖4的⑶所例示那樣，在頂端部71的XY坐標(Xn，Yn)的位置位于工具箱TB內的任意按鈕上的狀態下頂端開關 76成為導通的情況下，選擇該按鈕工具。另外，如圖2的(B)所例示那樣，如果頂端部71的XY 坐標(Xn，Yn)位于投影畫面PS內的工具箱TB以外的位置，則基于所選擇的工具的處理(例如描繪)被選擇。控制部700利用自發光指示體70的頂端部71的XY坐標(X71，Y71)，使投影圖像生成部500描繪預先選擇的指針和/或標記，以使得該指針和/或標記配置于投影畫面PS 內的位置(Xn，Yn)。另外，控制部700執行根據由自發光指示體70指示的內容的處理，使投影圖像生成部500描繪包括該處理結果的圖像。[〇〇62]〈非發光指示體80的位置檢測方法及指示內容的判別方法的概要〉[〇〇63]非發光指示體80的頂端部81的三維位置(X81，Y81，Z81)也利用由2個照相機310、320 拍攝的圖像，根據三角測量而確定。此時，是否為非發光指示體80可以通過判斷自發光指示體70的發光模式是否在預定的多個定時所拍攝的圖像上顯現來識別。此外，由2個照相機 310、320拍攝的2幅圖像中的非發光指示體80的頂端部81的位置能夠利用模板匹配和/或特征提取等公知的技術來確定。例如，在通過模板匹配來識別作為手指的非發光指示體80的頂端部81的情況下，可以預先準備與手指相關的多個模板，在由2個照相機310、320拍攝到的圖像中，通過對符合這些模板的部分進行檢索，可以對手指的頂端部81進行識別。另外， 非發光指示體80的頂端部81是否接觸于屏幕面SS可以根據由三角測量確定的頂端部81的Z 坐標值與屏幕面SS的表面的Z坐標值之差是否為微小的容許差以下、即頂端部81是否充分地接近于屏幕SS的表面來確定。優選地，作為該容許差，例如使用2mm?6_程度的小的值。 另外，位置檢測部600,在判定為非發光指示體80的頂端部81與屏幕面SS接觸的情況下，根據該接觸位置處的投影屏幕SS的內容對其指示內容進行判別。控制部700利用由位置檢測部600檢測到的非發光指示體80的頂端的XY坐標(X81，Y81)，使投影圖像生成部500描繪預先選擇的指針和/或標記，以使得該指針和/或標記配置于投影畫面PS內的位置(X81，Y81)。另夕卜，控制部700執行根據由非發光指示體80指示的內容的處理，使投影圖像生成部500描繪包括該處理結果的圖像。[〇〇64]B.檢測光照射部的第1實施方式[〇〇65]圖5是表示從檢測光照射部411射出的檢測光IDL相對于投影畫面PS及非發光指示體80的入射角0ss、0f^說明圖。圖5的(A)表示非發光指示體80位于投影畫面PS的比較下方的區域的情況，圖5的(B)表示非發光指示體80位于投影畫面PS的比較上方的區域的情況。 在這些圖中，示出檢測光IDL在非發光指示體80的頂端的位置處的入射角0ss、0fg。入射角 9ss、9fg是作為對象的入射面相對于法線的角度。關于檢測光IDL相對于投影畫面PS的入射角0SS，與非發光指示體80位于下方的情況下的入射角0ssl相比，非發光指示體80位于上方的情況下的入射角9ss2小。另一方面，關于檢測光IDL相對于非發光指示體80的入射角0fg，與非發光指示體80位于下方的情況下的入射角0fgl相比，非發光指示體80位于上方的情況下的入射角Qfg2大。這些關系由下式給出。
[0066]0Ss2<0ssi■■■(2a)
[0067]9fgi<9fg2???(2b)[〇〇68]另一方面，來自投影畫面PS及非發光指示體80的反射光的強度由下式給出。
[0069]Rss = kss Xcos9ss...(38)
[0070]Rfg = kfg X cos9fg???(3b)
[0071]在此，Rss為來自投影畫面PS(即屏幕面SS)的反射光強度，kss為檢測光IDL在屏幕面SS的反射率，0%為檢測光IDL相對于投影畫面PS的入射角。另外，Rfg為來自非發光指示體 80的反射光強度，kfgS檢測光IDL在非發光指示體80的反射率，0&為檢測光IDL相對于非發光指示體80的入射角。此外，反射強度實際上與距離的平方成反比例，但是由于雙方的距離被視為基本相等即可，因此，在(3&)、(313)的式中省略距離的影響。因為入射角033、0&為〇? 90度的范圍的值，所以入射角0SS、0fg越大，反射光強度Rss、Rfg越小。[〇〇72]根據上述(2a)、(2b)式及(3a)、(3b)式可以明確，隨著非發光指示體80從下方向上方前進，相對于投影畫面PS的入射角0SS減小而來自投影畫面PS的反射光強度Rss增大，相反地，相對于非發光指示體80的入射角0fg增大而來自非發光指示體80的反射光強度Rfg減小。 因此，在利用照相機310、320拍攝檢測光IDL的反射光而得的圖像中，在投影畫面PS的下方的區域和上方的區域中，非發光指示體80與作為其背景的投影畫面PS的亮度有可能相反。 這樣的趨勢為2個檢測光照射部411、412雙方共同的趨勢。
[0073]圖6的(A)及圖6的(B)是以比較的方式示出由從第1檢測光照射部411與第2檢測光照射部412分別照射的檢測光得到的投影畫面PS與非發光指示體80的對比度的說明圖。圖6 的(A)表示僅從第1檢測光照射部411照射了檢測光的情況下，由照相機310對該反射光進行拍攝而得的圖像的對比度的分布。在該例中，在投影畫面PS的下方部分存在正對比度區域 PA1，在投影畫面PS的上方部分存在負對比度區域NA1，并在其中間存在低對比度區域LC1。 在此，“正對比度區域PA1”是指非發光指示體80比投影畫面PS明亮且該對比度比預定的閾值大的區域。另外，“負對比度區域NA1”是指非發光指示體80比投影畫面PS暗且該對比度比預先設定的閾值大的區域。“低對比度區域LC1”是非發光指示體80與投影畫面PS的對比度為閾值以下的區域。此外，閾值為用于在圖像內從投影畫面PS識別非發光指示體80而預先設定的值，可根據識別方法通過預先實驗的方式或憑經驗設定。此外，由于在正對比度區域 PA1與負對比度區域NA1的任一個中，非發光指示體80與投影畫面PS的對比度都充分大，所以可以從投影畫面PS識別非發光指示體80。另一方面，因為在低對比度區域LC1中，非發光指示體80與投影畫面PS的對比度小，所以難以從投影畫面PS識別非發光指示體80。[〇〇74]圖6的(B)表示僅從第2檢測光照射部412照射了檢測光的情況下，由照相機310對該反射光進行拍攝而得的圖像的對比度的分布。在該例中，也在投影畫面PS的下方部分存在正對比度區域PA2,在投影畫面PS的上方部分存在負對比度區域NA2,并在其中間存在低對比度區域LC2。但是，圖6的(B)的3個區域NA2、LC2、PA2位于比圖6的(A)的3個區域NA1、 LC1、PA1偏向下方側的位置。換言之，在圖6的(B)中，投影畫面PS的區域內的上方部分中的負對比度區域NA2與圖6的(A)相比擴大。其理由是:由于第2檢測光照射部412與第1檢測光照射部411相比，距離投影畫面PS的垂直距離大，所以來自第2檢測光照射部412的檢測光 IDL與來自第1檢測光照射部411的檢測光IDL相比，相對于投影畫面PS的入射角0SS小，相對于非發光指示體80的入射角0fg大。
[0075]在圖6的(A)、圖6的(B)中，以在投影畫面PS的區域內低對比度區域LC1、LC2互不重疊的方式配置有2個檢測光照射部411、412。即，由2個檢測光照射部411、412中的一個檢測光形成為低對比度的區域，成為由另一個檢測光形成的閾值以上的區域(正對比度區域或負對比度區域)。具體地，圖6的(A)的低對比度區域LC1在圖6的(B)中位于負對比度區域 NA2,圖6的(B)的低對比度區域LC2在圖6的(A)中位于正對比度區域PA1。結果，在非發光指示體80的頂端與投影畫面PS的區域內的任意的位置接觸的狀態下，可以從投影畫面PS識別非發光指示體80。另外，自發光指示體70也同樣地可以從投影畫面PS進行識別。此外，也可以采用負對比度區域NA1、NA2,來代替采用正對比度區域PA1、PA2。圖6的(A)及圖6的(B)所示的各區域的邊界能夠通過預先進行的校準而知曉。另外，這些各區域的位置可以登記于位置檢測部600(圖3)或控制部700內的非易失性存儲器(未圖示)。或者，也可以將投影畫面 PS劃分為上部區域與下部區域2個，在利用第1檢測光照射部411照射檢測光IDL的情況下利用投影畫面PS的下部區域對非發光指示體80進行識別，并在利用第2檢測光照射部412照射檢測光IDL的情況下利用投影畫面PS的上部區域對非發光指示體80進行識別。[〇〇76]此外，圖6的(A)的正對比度區域PA1與圖6的(B)的負對比度區域NA2部分重合，于是，圖6的(A)中的對比度的正負與圖6的(B)所示的對比度的正負反轉。優選地，在如此的情況下，第1檢測光照射部411與第2檢測光照射部412在如圖6的(A)及圖6的(B)所示那樣進行了分時的互不相同的定時朝向投影畫面照射檢測光。如此一來，通過利用在互不相同的定時拍攝到的圖像，可以在投影畫面PS的全部的區域中，從投影畫面PS識別非發光指示體80 和/或自發光指示體70。
[0077]關于照相機320所拍攝到的圖像，也表現與圖6的(A)及圖6的(B)同樣的對比度區域的分布。但是，在本實施方式中，因為2個照相機310、320距離投影畫面PS的垂直距離不同，所以對比度區域的分布在2個照相機310、320所拍攝到的圖像中互不相同。但是，優選地，與圖6的(A)及圖6的(B)同樣地，以在由照相機320拍攝的圖像中，低對比度區域LC1、LC2 互不重合的方式配置2個檢測光照射部411、412。此外，也可以將2個照相機310、320設置成2 個照相機310、320距離投影畫面PS的垂直距離彼此相等。[〇〇78]另外，在本實施方式中，如圖5所示，第2檢測光照射部412配置于距離投影畫面PS 的垂直距離比第1檢測光照射部411大的位置。優選地，在如此的情況下，使第2檢測光照射部412的檢測光IDL的出射強度比第1檢測光照射部411的檢測光IDL的出射強度大。如此一來，能夠使由來自第2檢測光照射部412的檢測光IDL拍攝到的圖像中的對比度充分地大。
[0079]如上所述，在第1實施方式中，在指示體的頂端與投影畫面PS的區域內的任意的位置接觸的狀態下，在僅從第1檢測光照射部411照射檢測光IDL的情況下拍攝的圖像中的第1 對比度和在僅從第2檢測光照射部412照射檢測光IDL的情況下拍攝的圖像中的第2對比度中的、至少一方比預先設定的閾值大。結果，在投影畫面PS的區域內的任意的位置處，都可以從投影畫面PS識別指示體(非發光指示體80和/或自發光指示體70)。
[0080]C.檢測光照射部的第2實施方式[〇〇81]圖7的(A)是第2實施方式中的交互式投影系統900a的側視圖，圖7的(B)是其主視圖。與圖2所示的第1實施方式的區別僅為2個檢測光照射部411、412的配置，其他與第1實施方式相同。2個檢測光照射部411、412在投影畫面PS的中心PSc的左右側分開配置，朝向投影畫面PS的區域照射各自的檢測光IDLUIDL2。換言之，2個檢測光照射部411、412隔著包含投影畫面PS的中心PSc處的法線VNc的假想的平面，彼此配置于相反側。在圖7的(B)中，為了圖示的方便，將來自2個檢測光照射部411、412的檢測光1011、1012描繪成相交叉，但是，實際上，來自2個檢測光照射部411、412的檢測光IDL1、IDL2朝向投影畫面PS的區域的整體分別照射。[〇〇82]在第2實施方式中，在僅從第1檢測光照射部411照射檢測光IDL1的情況下，以與圖 6的(A)同樣的模式，在第1檢測光照射部411的下方側出現3個區域NA1、LC1、PA1 (在圖7中省略圖示)。但是，即使在非發光指示體80存在于該負對比度區域NA1和/或低對比度區域LC1 的情況下，由于通過來自第2檢測光照射部412的檢測光IDL2照射非發光指示體80的側面，所以在由照相機310、320拍攝到的圖像中，非發光指示體80比投影畫面PS明亮，得到正對比度。在僅從第2檢測光照射部412照射檢測光IDL2的情況下，相反地，通過來自第1檢測光照射部411的檢測光IDL1得到正對比度。即，在第2實施方式中，也與第1實施方式同樣地，在指示體的頂端與投影畫面PS的區域內的任意的位置接觸的狀態下，在僅從第1檢測光照射部 411照射檢測光IDL1的情況下拍攝的圖像中的第1對比度和在僅從第2檢測光照射部412照射檢測光IDL2的情況下拍攝的圖像中的第2對比度中的、至少一方比預先設定的閾值大。結果，在投影畫面PS的區域內的任意的位置處，都可以從投影畫面PS識別指示體(非發光指示體80和/或自發光指示體70)。此外，在第2實施方式中，2個檢測光照射部411、412可以同時地照射檢測光IDL1、IDL2,也可以按分時的方式照射檢測光IDLUIDL2。但是，如果設定為2 個檢測光照射部411、412同時照射檢測光IDLUIDL2,則可以縮短整體的處理時間。[〇〇83] D.檢測光照射部的第3實施方式[〇〇84]圖8的(A)是第3實施方式中的交互式投影系統900b的側視圖，圖8的(B)是其主視圖。與圖7所示的第2實施方式的區別僅在于除了2個檢測光照射部411、412之外，還追加了第3檢測光照射部413這點，其他與第2實施方式相同。第3檢測光照射部413配置于與第1檢測光照射部411以及第2檢測光照射部412相比，更加靠近包含投影畫面PS的中心PSc處的法線VNc的假想的平面的位置，遍及投影畫面PS的區域照射檢測光IDL3。[〇〇85]在第3實施方式中，在僅從第3檢測光照射部413照射檢測光IDL3的情況下，與圖6 的(A)同樣地，出現3個區域NA1、LC1、PA1(在圖8中省略圖示)。但是，即使在非發光指示體80 存在于該負對比度區域NA1和/或低對比度區域LC1的情況下，由于通過來自第1檢測光照射部411與第2檢測光照射部412中的至少一方的檢測光照射非發光指示體80的側面，所以在由照相機310、320拍攝到的圖像中，非發光指示體80比投影畫面PS明亮，得到正對比度。
[0086]在第3實施方式中，由于得到比圖7所示的第2實施方式更大的對比度，所以可以從投影畫面PS識別非發光指示體80和/或自發光指示體70。此外，在第3實施方式中，第3檢測光照射部413可以與第1檢測光照射部411及第2檢測光照射部412同時地照射投影畫面PS的區域，或者也可以采用分時方式，在與第1檢測光照射部411及第2檢測光照射部412不同的定時照射投影畫面PS的區域。[〇〇87] ?變形例:
[0088]此外，本發明并不限于上述的實施例和/或實施方式，可以在不脫離其要旨的范圍內在各種方式下實施，例如可以為如下的變形。
[0089]?變形例1:[〇〇9〇]在上述實施方式中，拍攝部300具有2個照相機310、320,但是拍攝部300也可以具有3個以上的照相機。在后者的情況下，基于由m個(m為3以上的整數)照相機拍攝到的m個圖像，確定三維坐標(X，Y，Z)。例如，也可以利用從m個圖像中任意地選擇2個圖像而得到的mC2 個組合分別求取三維坐標，采用它們的平均值來確定最終的三維坐標。這樣，可以進一步提高三維坐標的檢測精度。
[0091] ?變形例2:[〇〇92]在上述實施方式中，交互式投影系統900可以在白板模式與PC交互模式下工作，但也可以按照僅在它們中的一個模式下工作的方式構成系統。另外，交互式投影系統900既可以構成為僅以這2中模式以外的其他模式下工作，進而，也可以構成為可以在包括這2個模式的多個模式下工作。
[0093]?變形例3:[〇〇94]在上述實施方式中，圖3所示的照射檢測光IDL、反射檢測光RDL、裝置信號光ASL和指示體信號光PSL全都是近紅外光，但是，也可以使它們中的一部分或全部為近紅外光以外的光。
[0095]?變形例4:
[0096]在上述實施方式中，投影畫面投影于平面狀的屏幕板920,但是投影畫面也可以投影于曲面狀的屏幕。在該情況下，由于使用由2個照相機拍攝到的圖像，利用三角測量確定指示體的頂端部的三維位置，因此可以確定指示體的頂端部與投影畫面的位置關系。
[0097]以上，基于幾個實施例對本發明的實施方式進行了說明，但是上述的發明的實施方式用于使本發明易于理解，并非要對本發明進行限定。本發明在不脫離其主旨以及技術方案的范圍內，可以變更、改良，并且本發明中當然包括其等價物。
【主權項】
1.一種交互式投影機，能夠接受用戶通過指示體對投影畫面的指示，其特征在于，具 備:投影部，其將所述投影畫面投影在屏幕面上；第1檢測光照射部和第2檢測光照射部，其朝向所述投影畫面的區域照射用于所述指示 體的檢測的檢測光；拍攝部，其接收包括所述檢測光的波長的波長范圍的光而拍攝所述投影畫面的區域； 以及位置檢測部，其基于由所述拍攝部拍攝到的包括所述指示體的圖像來檢測所述指示體 相對于所述投影畫面的位置，所述第1檢測光照射部和所述第2檢測光照射部被配置為，在所述指示體的頂端與所述 投影畫面的區域內的任意的位置接觸的狀態下，(i)和(ii)中的至少一方比為了從所述投 影畫面識別所述指示體而預先設定的閾值大，其中，(i)為在僅從所述第1檢測光照射部照射所述檢測光的情況下由所述拍攝部拍攝的第1 圖像中的所述指示體與所述投影畫面的區域之間的第1對比度，(ii)為在僅從所述第2檢測光照射部照射所述檢測光的情況下由所述拍攝部拍攝的第 2圖像中的所述指示體與所述投影畫面的區域之間的第2對比度。2.根據權利要求1所述的交互式投影機，其特征在于，所述第1檢測光照射部和所述第2檢測光照射部被配置為:在所述指示體的頂端與所述 投影畫面內的至少一部分區域接觸的狀態下所述第1對比度的正負與所述第2對比度的正 負反轉，所述第1檢測光照射部和所述第2檢測光照射部以分時的方式朝向所述投影畫面照射 所述檢測光。3.根據權利要求1所述的交互式投影機，其特征在于，所述第1檢測光照射部和所述第2檢測光照射部隔著包含所述投影畫面的中心處的所 述投影畫面的法線的假想的平面彼此配置于相反側。4.根據權利要求3所述的交互式投影機，其特征在于，還具備第3檢測光照射部，其配置于與所述第1檢測光照射部和所述第2檢測光照射部 相比更靠近所述假想的平面的位置，向所述投影畫面的區域照射檢測光。5.—種交互式投影系統，其特征在于，具備:權利要求1?4中任一項所述的交互式投影機;和屏幕，其具有供所述投影畫面投影的屏幕面。
【文檔編號】G06F3/038GK106020511SQ201610166342
【公開日】2016年10月12日
【申請日】2016年3月22日
【發明人】S·海尼南, T·紐斯塔德, 田中健兒
【申請人】精工愛普生株式會社