專利名稱：具有光學傳感器的顯示器的制作方法
具有光學傳感器的顯示器
背景技術：
電阻式觸摸屏面板由以狹窄間隙分隔開來的兩個薄金屬導電層所構成。當諸如手指的物體在面板的外表面上的一點下壓時，所述兩個金屬層在該點處連接并且所述面板于是表現為具有連接輸出的一對分壓器。這導致了電流的變化，所述電流變化被記錄為觸摸事件并且被發送至控制器以便進行處理。電容式觸摸屏面板是一種傳感器，所述傳感器是其中板面在水平和垂直軸線之間包括網格圖案的重疊區域的電容器。人體也導電并且在傳感器表面上進行的觸摸將會影響電場并且產生設備電容的可測量變化。
參見以下附圖對本發明的一些實施例進行描述 圖Ia是根據本發明示例性實施例的顯示器；
圖Ib是根據本發明示例性實施例的顯示器； 圖2是根據本發明示例性實施例的顯示器的一部分； 圖3是根據本發明示例性實施例的三維光學傳感器； 圖4是根據本發明示例性實施例的顯示器； 圖5是根據本發明示例性實施例的顯示器； 圖6是根據本發明示例性實施例的框圖；和圖7是根據本發明的方法的示例性實施例的流程圖。
具體實施例方式圖形用戶界面(⑶I)可以使用諸如鼠標之類的指示設備將光標向顯示器上的對象進行移動。如果光標指向顯示器上的對象，這可以被稱作鼠標懸停(mouse over)事件或盤旋(hover)事件，則可以顯示與所述對象相關的信息。所述信息在一些實施例中可以包括彈出式文本框。在其它實施例中，指向對象的光標能夠執行其它功能，諸如使得所述對象突出顯示(highlight)。計算機所執行的功能取決于界面和應用程序的編程。觸摸屏可以被用來移動顯示器上的光標，但是可能無法在將顯示器上的光標向項目進行移動、盤旋事件和激活所述項目之間進行區分。能夠檢測沒有與顯示器接觸的物體以及與顯示器接觸的物體的顯示器能夠在光標指向顯示器上的項目的盤旋事件和激活顯示器上的項目之間進行區分。在一個實施例中，顯示器包括三維光學傳感器以確定光學傳感器所捕捉的物體距該光學傳感器的深度。物體與顯示器的距離能夠根據該物體與光學傳感器的距離來計算。電阻式觸摸屏面板包括覆蓋以導電和電阻金屬層的玻璃面板。這兩層通過間隔體 (spacer)保持分離，并且上面置以防劃層。電流在顯示器工作時流過所述兩個層。當用戶觸摸屏幕時，所述兩個層在該確切的點進行接觸。計算機記錄電場的變化并且計算接觸點的坐標。在電容式系統中，存儲電荷的層被置于顯示器的玻璃面板上。當用戶利用其手指觸摸顯示器時，一些電荷傳輸到用戶，從而電容層上的電荷減少。這種減少在位于顯示器每個角落的電路中進行測量。覆蓋玻璃面板的層減少從顯示器面板到用戶行進通過玻璃層的光量并且降低圖像的光學清晰度(optical clarity)。二維光學觸摸系統可以被用來確定屏幕上哪里發生了觸摸。二維光學觸摸系統可以包括跨顯示器表面傳播并且容納在顯示器相反一側的光源。如果物體阻斷了光，則接收器無法接收到光并且在被阻斷的來自兩個光源的光相交的位置記錄觸摸。光學觸摸系統中的光源和接收器安裝在透明層的前面以允許光束沿透明層的表面行進。一些光學傳感器表現為圍繞顯示器周邊的小型墻壁。將光源和接收器安裝在玻璃的前面使得污染物對光源和接收器之間傳送的光造成干擾。所述污染物例如可以是灰塵或污垢。電阻式、電容式和二維光學觸摸系統能夠在物體接觸或接近顯示器時確定XY坐標。所述電阻式、電容式和二維光學觸摸系統并不確定Z維度(第三維度)，即與顯示器的距
1 O在一個實施例中，在顯示器的透明層的后面安裝三維光學傳感器。所述三維光學傳感器可以被安裝在顯示系統的面板周邊之外。在顯示面板的周邊之外安裝三維光學傳感器增加了從面板到用戶的光傳輸，這是因為不存在作為顯示系統一部分的附著到透明層的層，所述層減少了面板所產生圖像的光傳輸或者降低其清晰度。在顯示器的透明層的后面安裝光學傳感器能夠保護所述光學傳感器免于被具有諸如灰塵之類的外部物質所污染。如果光學傳感器的視場被透明層上方的外部物質所污染，從而遮蔽了光學傳感器視場，則可以清潔所述透明層而無需為清潔所述光學傳感器另做準備。參見附圖，圖Ia是根據本發明示例性實施例的顯示系統100。顯示系統100包括面板110以及處于面板110的表面116的前面的透明層105以用于顯示圖像。面板110的前面是顯示圖像的表面116而面板110的背面與前面相對。三維光學傳感器115可以與面板110—樣在透明層的同一側。透明層105可以是玻璃、塑料或者其它透明材料。面板110 例如可以是液晶顯示器(IXD)面板、等離子顯示器、陰極射線管(CRT)、OLED或諸如數字光處理(DLP)的投影顯示器。在顯示系統100位于面板110的表面116周邊117之外的區域中安裝三維光學傳感器使得透明層的清晰度并不由于所述三維光學傳感器而降低。三維光學傳感器115可以確定位于三維光學傳感器115的視場135中的物體距該三維光學傳感器的深度。所述物體的深度在一個實施例中可以被用來確定該物體是否與顯示器相接觸。所述物體的深度在一個實施例中可以被用來確定該物體是否處于顯示器的編程距離130內但并沒有與顯示器相接觸。例如，物體120可以是用戶接近透明層105的手和手指。如果物體120處于三維光學傳感器115的視場135之內，則來自光源125的光可以從所述物體反射并且被三維光學傳感器115所捕捉。物體120與三維光學傳感器115的距離可以被用來確定該物體與顯示系統100的距離。如果物體處于編程距離130和顯示系統100之間，則計算設備可以執行例如盤旋的功能。在一些實施例中，棱鏡112被用來使得反射光從物體屈向光學傳感器。棱鏡112可以允許所述光學傳感器沿透明層105的表面進行觀看。棱鏡112可以附著至透明層105。棱鏡112是部分受到兩個非平行平面約束的透明體，并且被用來使得光束發生折射或散射。 在一個實施例中，棱鏡112使得從光源125發射的光束通過透明層105發生折射以從物體進行反射并且通過透明層205返回三維光學傳感器115。
圖Ib包括透明層105和面板110之間的間隙114。該間隙允許三維光學傳感器 115具有來自透明層105和面板110之間的透明層105的視場。該間隙例如可以是0. 1厘米至0. 5厘米，但是該間隙可以是其它量。三維光學傳感器115的視場包括透明層105上的周邊117。在一個實施例中，可以在光學傳感器附著到面板之后對所述光學傳感器進行配置。例如，在將光學傳感器附著到顯示器之后，在面板上顯示信息的計算機可以通過在所述面板上顯示對象而進行訓練。用戶接著能夠在面板上顯示對象的地方與顯示器進行接觸， 并且所述計算機能夠對光學傳感器進行校準以使得未來與顯示器的接觸被該計算機解釋為顯示器的接觸。圖2是根據本發明示例性實施例的顯示器200的一部分。顯示器200的該部分包括與透明層205成角度安裝的三維光學傳感器215。確定三維光學傳感器的角度以使得三維光學傳感器215的視場包括透明層205對應于顯示面板210的周邊217的部分。在一個實施例中，間隙214處于顯示面板210和透明層205之間。所述視場可以由三維光學傳感器215上的透鏡來確定。所述視場可以按度來測量，例如，具有100度視場的三維光學傳感器能夠捕捉具有50度視場的三維光學傳感器所不能捕捉的圖像。圖3是根據本發明示例性實施例的三維光學傳感器315。三維光學傳感器315能夠接收從物體320所反射的來自光源325的光。光源325例如可以是發射用戶不可見的光的紅外光源或激光源。光源325可以位于相對于三維光學傳感器315的允許光從物體320 反射并且被三維光學傳感器315所捕捉的任意位置。在一個實施例中，紅外光可以從物體 320反射并且被三維光學傳感器315所捕捉，所述物體320可以是用戶的手。三維圖像中的物體被映射到針對每個物體給出Z次序(Z-order)的不同平面，所述Z次序即距離次序。 所述Z次序可以使得計算機程序能夠將前景物體與背景區分開來并且使得計算機程序能夠確定物體與顯示器的距離。使用諸如立體之類的基于三角測量的方法的二維傳感器可以包含密集圖像處理以近似物體的深度。該二維圖像處理使用來自傳感器的數據并且對所述數據進行處理以生成在正常情況下不能從二維傳感器獲得的數據。密集圖像處理可能無法被用于三維傳感器，原因在于來自三維傳感器的數據包括深度數據。例如，針對飛行時間(time of flight) 的三維光學傳感器的圖像處理可以包含簡單的表查找以將傳感器讀數映射到物體與顯示器的距離。所述飛行時間傳感器根據時間來確定物體距傳感器的深度，所述時間是光自已知源行進、從物體反射以及返回三維光學傳感器所用的時間。物體在圖像中的深度可以從并不使用第二三維光學傳感器來確定物體在圖像中的距離的三維光學傳感器來確定。在可替換實施例中，光源可以以已知角度將結構光發射到物體上，所述結構光是諸如平面、網格或更復雜形狀的光圖案的投影。光圖案在撞擊表面時發生變形的方式允許視覺系統計算物體在畫面中的深度和表面信息。全景成像(integral imaging)是提供全視差立體視圖的技術。為了記錄物體的信息，使用與高分辨率光學傳感器相結合的微透鏡陣列。由于每個微透鏡關于成像物體的不同位置，可以將物體的多個透視圖成像到光學傳感器上。所記錄的包含來自每個微透鏡的要素圖像的圖像可以進行電傳輸并且隨后在圖像處理中進行重構。在一些實施例中，全景成像透鏡可以具有不同的焦距并且基于物體是對準焦點(聚焦傳感器)還是未對準焦點(失焦傳感器)來確定物體深度。本發明的實施例并不局限于已經描述的三維光學傳感器的類型，而是可以為任意類型的三維傳感器。圖4是根據本發明示例性實施例的顯示器。在一些⑶I中，能夠感測多于一個的物體420的顯示系統400能夠執行程序內不會通過單次接觸所識別的任務。例如，將兩個手指移動分開可以在項目上進行放大并且將兩個手指移動合攏可以在項目上進行縮小。在一個實施例中，存在第一三維光學傳感器415和第二三維光學傳感器417。第一三維光學傳感器415可以具有視場460。在透明層405和面板之間包括間隙的實施例中， 部分視場可以處于透明層405的后面。在視場460內捕捉物體420的圖像。第二物體422 由于第一物體420處于第一三維光學傳感器415和第二物體422之間而無法被第一三維光學傳感器415所看到。視場460在第一物體420之外的體積465中被第一物體420沿視場460的部分455所遮蔽。第二三維光學傳感器417能夠在其視場內捕捉到包括第一物體 420和第二物體422 二者的深度的圖像。第一三維光學傳感器415能夠確定例如用戶手指的第一物體420的距離。如果第一三維光學傳感器422所觀看的第二物體422被第一物體 420所遮蔽，則第一三維光學傳感器415可能無法捕捉例如用戶另一只手的手指的第二物體422。第一三維光學傳感器415和第二三維光學傳感器417可以處于顯示系統400的角落，或者所述光學傳感器可以位于顯示器之中或之上的任意位置，諸如底部、底部或側面。由于距光學傳感器的深度已知，所以三維光學傳感器可以被用來確定物體的大小。如果距光學傳感器的深度未知，則物體420的圖像可能表現得與距離光學傳感器415更遠的較大物體422相同。物體的大小可以被計算系統用來確定物體的類型，諸如手、手指、 筆或其它物體。圖5是根據本發明示例性實施例的顯示器。光學傳感器具有在顯示面板510的周邊517之外延伸的可視區域。物體在周邊517之外的移動能夠激活計算機系統的功能。在一個實施例中，虛擬按鈕540可以位于顯示面板510之外。所述虛擬按鈕540可以是印制在圍繞顯示面板510的邊框(bezel) 570上的符號或文本。所述虛擬按鈕沒有移動部分并且并不電連接至計算機系統580。光學傳感器515能夠檢測諸如用戶手指之類的物體何時接觸到虛擬按鈕M0。在一個實施例中，顯示系統可以封閉在殼體中，所述殼體還將計算系統580封閉于其中，或者所述計算系統可以處于不同于顯示系統殼體的單獨殼體中。在一個實施例中，用戶可以通過沿顯示系統500的側面575以向上或向下的運動移動其手部來控制諸如音量之類的功能。顯示器的側面可以是面板510周邊之外的區域， 并且可以包括超出透明層的區域。可以通過用戶的手沿顯示面板側面進行控制的其它功能的示例是諸如快進和回退之類的媒體控制以及諸如移動到下一張幻燈片或之前幻燈片的呈現控制。用戶可以對計算機在檢測到特定移動時所實施的功能進行編程。例如，用戶可以通過將其手在顯示器上方從右向左移動以轉向下一個頁面或者從左向右移動以轉向之前頁面來翻動文檔的頁面。在另一個示例中，用戶可以以表示抓住屏幕上的對象并且旋轉所述對象的運動來移動其手部以將該對象以順時針或逆時針方向旋轉。用戶界面可以允許用戶改變三維光學傳感器所檢測到的手部運動的結果。例如，如果用戶將其手在顯示器的前面以從右向左的方向移動，則計算機可以被編程為將該運動解釋為翻動頁面或關閉文檔。圖6是根據本發明示例性實施例的框圖。光學傳感器模塊600包括光源625和光學傳感器615。光學傳感器模塊600能夠捕捉可包括圖像中物體的高度、寬度和深度在內的數據。光學傳感器模塊600可以連接到通信端口 670以將所捕捉的數據傳送給計算設備。 通信端口 670可以是計算設備上的通信端口 670。例如，通信端口 670可以是通用串行總線 (USB)端口或IEEE 1394端口。在一個實施例中，通信端口 670可以是計算設備的輸入輸出控制器675的一部分。輸入輸出控制器675可以連接到計算機可讀介質685。計算設備的輸入輸出控制器675可以連接到控制器680。控制器680能夠通過輸入輸出控制器675的通信端口 670接收三維光學傳感器模塊625所捕捉的數據。控制器680能夠從三維光學傳感器模塊600所捕捉的數據確定物體與光學傳感器模塊600的距離。控制器680能夠基于所述物體與三維光學傳感器模塊600 的距離確定所述物體與顯示器的距離。在一個實施例中，控制器680是處理器或應用特定集成電路(ASIC)。包括控制器680的計算系統能夠使用所述數據來確定面板是否能夠指示盤旋。盤旋是指在用戶在⑶I的特定區域上方移動或盤旋光標的情況下發生的⑶I事件。盤旋事件可以在網站設計以及現代GUI編程中使用。它們的存在甚至可能不為用戶所知，這是因為所述事件能夠被用來調用任意功能并且可能僅影響計算系統上的操作系統或應用的內部工作。圖7是根據本發明的方法的示例性實施例的流程圖。所述方法以從三維光學傳感器接收深度信息作為開始(在710)。所述深度信息包括所述三維光學傳感器的視場中的物體距所述三維光學傳感器的深度。例如，所述三維光學傳感器可以使用飛行時間、結構光、 全景成像或聚焦失焦來生成所述深度信息。所述深度信息可以被計算設備所接收。所述計算設備例如可以是計算機系統、個人數字助理或蜂窩電話。所述計算設備能夠從所述深度信息確定物體是否與顯示系統相接觸(在720)。如果所述物體與顯示系統的距離基本上為零厘米，則所述計算設備可以從所述深度信息確定物體與顯示器相接觸。在一個實施例中，基本上為零意味著三維光學傳感器的分辨率無法確定與顯示器的接觸并且距顯示系統小于接觸距離的物體可以具有來自三維光學傳感器的深度信息，所述深度信息被所述計算設備確定為零距離并且與顯示系統相接觸。接觸距離例如可以為距顯示系統0. 2厘米，但是也可以為其它距離。如果物體與透明層相接觸，則所計算的該物體與顯示器的距離為零。 如果計算機接收到距離為零的信號，則所述計算機能夠在其確定了物體位置和面板上所顯示的圖標圖像的位置相互對應的情況下生成所述圖標的激活。例如，所述圖標可以表示在該圖標被激活的情況下將被啟動的程序。所述計算設備能夠從所述深度信息確定所述物體是否小于編程距離(在730)。所述編程距離是處于光學傳感器視場內的計算機物體開始被識別為可以執行功能的物體的距離。在物體沒有與顯示器相接觸并且物體小于編程距離的情況下顯示器能夠在其上進行指示(在740)。顯示面板上的位置可以對應于在顯示器上顯示的諸如圖標之類的項目。如果物體被計算為處于與顯示器的編程距離之內，則計算機可以解釋為盤旋動作。圖標可以具有在該圖標在顯示器上的位置檢測到盤旋事件的情況下發生的編程動作。例如，諸如圖標之類的顯示器的部分可以在物體沒有與透明層相接觸但是卻距所述透明層小于編程距離的情況下被突出顯示。以上所描述的技術可以在計算機可讀介質中體現以便對計算系統進行配置以執行所述方法。計算機可讀介質例如可以包括以下任意數量的包括磁盤和磁帶存儲介質的磁存儲介質；諸如緊致盤介質(例如，CD-ROM、CD-R等)和數字視頻盤存儲介質的光存儲介質；全息存儲器；包括基于半導體的存儲器單元的非易失性存儲器存儲介質，諸如閃存、 EEPR0M、EPR0M、R0M ；鐵磁數字存儲器；包括寄存器、緩沖器或高速緩存、主存、RAM等的易失性存儲介質；以及因特網，這僅作為列舉而并不局限于此。可以使用其它新的、各種類型的計算機可讀介質來存儲和/或傳送這里所討論的軟件模塊。計算系統可以以許多形式來構建，該許多形式包括大型機、小型計算機、服務器、工作站、個人計算機、筆記本電腦、個人數字助理、各種無線設備以及嵌入式系統，僅作為列舉而并不局限于此。
在以上描述中，給出了多種細節以提供對本發明的理解。然而，本領域技術人員將要理解的是，本發明可以在沒有這些細節的情況下來實踐。雖然已經關于有限數量的實施例公開了本發明，但是本領域技術人員將會意識到其多種修改和變化。所附權利要求意在覆蓋落入本發明真實精神和范圍之內的這些修改和變化。
權利要求
1.一種顯示系統，包括面板110，用于在前側顯示圖像；三維光學傳感器115，用于確定位于所述三維光學傳感器的視場內的物體距所述三維光學傳感器的深度；和透明層105，位于三維光學傳感器和面板的前側的前面。
2.如權利要求1所述的系統，進一步包括第二三維光學傳感器，用于確定位于所述第二三維光學傳感器的視場內的物體距所述第二三維光學傳感器的深度。
3.如權利要求1所述的系統，進一步包括連接到面板110和三維光學傳感器115的計算設備；其中所述計算設備在物體沒有與所述顯示系統相接觸并且距所述顯示系統小于編程距離的情況下指示盤旋。
4.如之前任一項權利要求所述的系統，其中三維光學傳感器115附著于所述面板的周邊之外。
5.如之前任一項權利要求所述的系統，進一步包括面板110和透明層105之間的間隙， 其中所述間隙允許三維光學傳感器115具有包括在透明層105和面板110之間的視場。
6.如之前任一項權利要求所述的系統，其中三維光學傳感器115從由飛行時間傳感器、結構光傳感器、聚焦傳感器和失焦傳感器所構成的組中進行選擇。
7.一種方法，包括從三維光學傳感器115接收深度信息；從所述深度信息確定物體120是否與顯示系統相接觸，其中所述物體在其距顯示系統小于接觸距離的情況下被確定為與所述顯示系統相接觸；從所述深度信息確定物體120是否小于編程距離；以及在所述物體沒有與顯示系統相接觸并且所述物體距所述顯示系統小于編程距離的情況下在所述顯示系統上進行指示。
8.如權利要求7所述的方法，其中所述顯示系統包括位于面板110和三維光學傳感器 115前面的透明層105。
9.如權利要求7所述的方法，進一步包括確定所述物體的位置以及確定在顯示系統 100上所顯示的圖像上的位置。
10.如權利要求7所述的方法，進一步包括從由飛行時間信息、結構光信息、聚焦深度信息和失焦深度信息所構成的組中生成深度信息。
11.如權利要求7-10中任一項所述的方法，其中在顯示系統上進行指示包括使得顯示系統上的圖像的一部分突出顯示。
12.如權利要求7-11中任一項所述的方法，進一步包括在物體120被確定為與顯示系統相接觸的情況下生成激活。
13.—種包括指令的計算機可讀介質，所述指令在被執行的情況下使得處理器從三維光學傳感器115接收深度信息；從所述深度信息確定物體120是否與顯示系統相接觸，其中所述物體在其距顯示系統小于接觸距離的情況下被確定為與所述顯示系統相接觸；從所述深度信息確定所述物體是否小于編程距離；并且在顯示系統上指示盤旋。
14.如權利要求13所述的計算機可讀介質，進一步包括用于在物體120沒有與顯示系統100相接觸并且距顯示系統100小于編程距離的情況下生成盤旋的指令。
15.如權利要求13所述的計算機可讀介質，進一步包括用于在物體120與顯示系統 100相接觸的情況下生成顯示系統100上項目的激活的指令。
全文摘要
一種顯示系統可以包括面板(110)和三維光學傳感器。所述三維光學傳感器(115)可以用于確定位于所述三維光學傳感器的視場中的物體的深度。透明層(105)可以處于所述面板和三維光學傳感器的前面。
文檔編號G06F3/03GK102498453SQ200980161622
公開日2012年6月13日 申請日期2009年7月23日 優先權日2009年7月23日
發明者B.蘇格斯, J.布里登 申請人:惠普發展公司，有限責任合伙企業