投影捕獲系統，程序和方法

投影捕獲系統，程序和方法
【專利摘要】在一個示例中，一種投影捕獲系統包括：控制器；操作地連接到控制器的工作空間相機，用于在工作空間中捕獲對象的靜態圖像和視頻圖像；以及操作地連接到控制器的投影儀。控制器配置成控制工作空間相機和投影儀，用于在工作空間中捕獲真實對象的圖像并且將對象圖像投影到工作空間中。在另一個示例中，一種工作空間協作方法包括：在第一工作空間中捕獲真實對象的數字圖像；將對象圖像同時投影到包括第一工作空間的多個工作空間中；當對象圖像正在工作空間之一中被改變時，捕獲改變的對象圖像的數字圖像；以及將改變的對象圖像同時投影到包括第一工作空間的多個工作空間中。
【專利說明】投影捕獲系統，程序和方法
【背景技術】
[0001]已經開發出了多種類型的混合現實系統以產生新的環境，其中，真實和虛擬對象在相同的地方同時存在并實時交互。另外也已經開發出了虛擬白板和其他類型的遠程協作系統以使遠程用戶能夠在多地同時共享和操縱作信息。
【專利附圖】

【附圖說明】
[0002]圖1A和IB是示出了新投影捕獲系統的一個示例的透視外部圖。在圖1A中，已經捕獲和顯示了二維對象(硬拷貝照片(hardcopy photograph))的圖像。在圖1B中，已經捕獲和顯示了三維對象(立方體)的圖像。
[0003]圖2是示出了新投影捕獲系統的一個示例的透視內部圖。
[0004]圖3是圖2所示投影捕獲系統的框圖。
[0005]圖4是示出了圖2和3所示系統中的用戶輸入裝置的一個示例的框圖。
[0006]圖5和圖6分別是示出了圖2和3所示投影捕獲系統中的相機和投影儀的位置的側視圖和正視圖。
[0007]圖7-11是示出投影捕獲系統中投影儀和相機的不同位置的側視圖的進展，說明了與將眩光點(glare spot)移出相機捕獲區域相關聯的一些問題。
[0008]圖12和13示出了圖2和3所示投影捕獲系統中的相機的一個示例。
[0009]圖14示出了圖2和圖3所示投影捕獲系統中的投影儀的一個示例。
[0010]圖15和16示出了圖2和圖3所示投影捕獲系統中的用戶輸入裝置的一個示例。
[0011]圖17-19是示出了新便攜式投影捕獲裝置的一個示例的透視圖。
[0012]圖20-22示出了使用帶有其他裝置的投影捕獲系統的三個示例方案。
[0013]圖23是示出了包括對象識別和音頻/視頻遠程會議功能的新投影捕獲裝置的一個示例的框圖。
[0014]圖24是示出了在協作環境中實現投影捕獲裝置(諸如圖23中所示的投影捕獲裝置)的一個示例架構的框圖。
[0015]圖25是示出了用于實現在其中把真實和虛擬對象當作視覺上可互換的邏輯層的分層技術的控制器的一個示例的框圖。
[0016]圖26表示在其中真實棋子位于投影到工作表面上的虛擬棋盤上的投影捕獲系統。
[0017]圖27示出了圖26的系統中真實和虛擬對象的Z軸分層的一個示例。
[0018]圖28是示出了用于實現在其中把真實和虛擬對象當作視覺上可互換的邏輯層的分層技術的一個示例方法的流程圖。
[0019]貫穿所有附圖，相同的附圖標記代表相同或相似的部分。
【具體實施方式】
[0020]附圖中所示和下面所述的示例并不限制在本說明書之后的權利要求中限定的發明。
[0021]已開發出了一種新投影捕獲系統，以改善在物理工作表面上處理投影對象和真實對象的交互式用戶體驗，并改善多個遠程用戶之間的虛擬協作。例如，該新系統可以在普通工作表面上配置一個或多個獨立的便攜式裝置中實現。將數字相機，投影儀和控制程序一起收納在桌面單元中，該桌面單元實現投影增大的虛擬現實，在其中，能在多個遠程用戶之間同時操縱和共享真實以及投影/虛擬的對象。幾乎在任何地點任何時間都能配置這樣的便攜式裝置，以便跨越比較便宜的平臺進行交互協作，該平臺不僅適于較大型企業化商務環境而且適于小型商業甚至個人消費者。
[0022]正如本文中所使用的那樣，“真實”對象意味著不是作為圖像顯示，投影或者以其他方式表現出的對象；“虛擬”對象意味著是作為圖像顯示，投影或者以其他方式表現出的對象。
[0023]將首先參考圖1-19來描述新投影捕獲系統和便攜式投影捕獲裝置的示例。然后，將參考圖20-28來描述該新投影捕獲系統和裝置在協作環境下的實現方式的示例。
[0024]投影捕獲系統和裝置
[0025]圖1A和IB是透視外部圖，示出了新投影捕獲系統10和與系統10關聯的交互工作空間12的一個示例。圖2是透視圖，示出了外部殼體13被移除的投影捕獲系統10的一個示例。圖3是圖2所示系統10的框圖。參考圖1A，1B，2和3，投影捕獲系統10包括數字相機14，投影儀16和控制器18。相機14和投影儀16可操作地連接到控制器18，以便相機14捕獲在工作空間12中的對象20的圖像，投影儀16把對象圖像22投影到工作空間12，以及在一些示例中，相機14捕獲被投影的對象圖像22的圖像。殼體13的下部包括位于投影儀16 (和紅外相機30)上方的透明窗21。
[0026]圖1A所示的示例中，由相機14拍攝(圖2)放置到工作空間12中的工作表面24上的二維對象20 (硬拷貝照片)，對象20被移出到工作空間12的側邊，對象被圖像22投影到工作表面24上，在那里對象圖像22能被相機14拍攝到(圖2)和/或由用戶以其他方式操縱，然后再投影到工作空間12中。圖1B所示的示例中，將被放置到工作表面24上的三維對象20 (立方體)已經被相機14拍攝(圖2)，對象20被移出到工作空間12的側邊，對象圖像22被投影到工作空間12中，在那里對象圖像22能被相機14拍攝到和/或由用戶以其他方式操縱，然后再投影到工作空間12中。
[0027]在系統10的一個示例實現方式中，對控制器18進行編程，將投影儀16配置成當對象20的圖像被相機14捕獲時，把對象圖像22投影到在工作空間24中的與對象20d位置相同的位置。因此，能將對象20的一比一比例的數字復制件22投影到原件的上方，允許本地用戶或在相同投影工作空間12中協作的多個遠程用戶，如其所愿地對數字復制件在其位置處進行操縱，移動和采用其他方式進行修改。也能將投影圖像從原件處移開，允許用戶在相同的工作空間12中一起處理原件和復制件。
[0028]系統10還包括用戶輸入裝置26，其允許用戶與系統10進行交互。用戶可以通過輸入裝置26與工作空間12中的對象20和/或對象圖像22進行交互，在遠程系統10 (未示出)上把對象圖像22傳送到其他工作空間12以便協作用戶的交互，并且，如果需要的話，相機14可拍攝對象圖像22，并且再投影所述對象圖像22到本地和/或遠程工作空間12中以便進一步的用戶交互。圖1A中，工作表面24是桌面或其他下面的支撐結構23的一部分。在圖1B中，工作表面24在可以包括觸摸敏感區域的便攜式墊板(mat)25上。例如，在圖1A中，用戶控制面板27被投影到工作表面24上，而在圖1B中，控制面板27被嵌入到墊板25的觸摸敏感區域。相似地，A4，信紙或其他標準尺寸的文件放置區域29，在圖1A中可以被投影到工作表面24上，或在圖1B中被印在墊板25上。當然，工作表面24的其他配置也是可以的。例如，可能令人期望的是:在一些應用中，系統10使用另外形式的空白墊板25來控制工作表面24的顏色，紋理或其他特性；并且因此，可以將控制面板27和文件放置區域29投影到圖1B中的空白墊板25上，就和將它們投影到圖1A中的桌面23上一樣。
[0029]圖4所示的示例中，用戶輸入裝置26包括紅外數字筆28 (infrared digitalstylus)和用于在工作空間12中檢測所述筆28的紅外相機30。盡管可以使用任何適合的用戶輸入裝置，但是數字筆具有無須感應平板或其他特殊的表面，而允許在三維空間中(包括沿著工作表面24)輸入的優點。因此，系統10能夠在更多種類的工作表面24上使用。另外，工作表面24的通常水平方向使它對于許多普通任務而言是有用的。在工作表面24上使用傳統的書寫設備的能力優于垂直或移動的計算界面。在工作桌面上投影交互的顯示把在真實桌面上可以存在的標準對象與計算任務相混合，因此實體對象能夠與投影的對象同時存在。如此，使用真實書寫設備及其數字對應物(如，筆28)的舒適度是一種有效的使用模型。三維無平板的數字筆實現在實體對象的頂部或旁邊的注釋，而不用讓感測平板以在工作表面24上使用傳統設備的方式處理。
[0030]在系統10的一個示例實現方式中，投影儀16用作相機14的光源。相機捕獲區域32(圖12)和投影儀顯示區域34(圖14)在工作表面24上重疊。因此，使用既用于投影圖像和又用于相機照明的投影儀16可以獲得相當高的操作效率。應當相對于相機14來定位從投影儀16穿過工作空間12到達工作表面24的光路，以使用戶顯示能夠與最小陰影遮擋互動，同時避免了工作表面24和工作空間12中的對象所發出的否則會使相機14致盲的鏡面眩光。下面描述的系統配置避免會源于傳統相機照明幾何結構產生的眩光引起的偽像，同時還為工作空間12中二維和三維對象的正確照明和投影所需的投影儀光路保持有足夠陡的入射角。
[0031]理想地，會以工作表面24之上無限的高度在工作空間12的上方直接安裝投影儀16來確保平行光線。當然這種配置是不現實的。即使將投影儀16向下移動到工作表面24之上的現實高度(但是仍直線向下對準)，高光或半高光表面會將投影儀的光反射出，對象直線返回到相機14，產生致盲的鏡面眩光。因此，必須將眩光點移出相機捕獲區域32。(鏡面眩光是指從鏡面反射的眩光，其中入射光線的入射角和反射光線的反射角相等，并且入射，反射和法線方向在同一平面。)
[0032]為了實現鏡面眩光這一問題的商業上合理的解決方案，如圖5和6所示，將相機14和投影儀16從捕獲和顯示區域32，34的中心轉移開，投影儀16位于下部接近底座36 ;將折疊鏡(fold miir0r)38引入投影儀光路中，以模擬高于工作表面24之上的投影儀位置。圖5和6中假想線示的投影儀16的模擬位置和鏡子38之上對應的光路。然而，在更詳細地描述圖5和6所示的配置之前，意識到與將眩光點移出相機捕獲區域32的其他可能的配置相關聯的問題是有有幫助的。
[0033]圖7中，相機14位于捕獲區域32的中心，頂置投影儀16稍微離開中心，以便相機14不會阻擋投影儀光路。在圖7的配置中，鏡面眩光點39 (在入射光線41和反射光線43的交叉處)落入捕獲區域32內，因此，將使得相機14對于在捕獲區域32中的一些對象和圖像致盲。此外，對于圖7所示的配置(相機14和投影儀16都處在高于基座的上方)，系統10會頭重腳輕，因此，不適合商業產品的實現方式。如圖8所示，如果投影儀16處于相對于側邊以將眩光點39移出相機捕獲區域32所需的距離，則所需的對應投影儀鏡頭偏移量會無法實現。此外，圖8所示系統10的配置的任何產品實現方式的寬度會不合需要并且頭重腳輕。
[0034]如圖9所示，在捕獲區域32上方移動相機14離開中心，使得投影儀16靠近，以使系統不那么寬，但是投影儀鏡頭偏移量仍太大，并且所述產品仍頭重腳輕。如圖10所示的配置中，
[0035]投影儀16被抬升到一高度，使得對于可接受的鏡頭偏移量，它可以足夠接近的靠近，但是當然，此時產品太高而且頭重腳輕。最令人期望的解決方案是圖5和11所示的投影儀16的“折疊”光路，其中，使用折疊鏡38來模擬圖10的“高且緊湊”的配置。在圖5和11中，投影儀16和上部光路在鏡38的反射表面上折疊，以在工作表面24上投影與圖10的配置相同的光路。圖5中所見的折疊角ΘI = Θ 2和ΦI = Φ2的這種折疊效果是最好的。
[0036]如圖5和6所示，相機14位于鏡38之前，工作空間12上方，使得它不遮擋投影儀的光路。在對于相機14和投影儀16都可接受的偏移量的情況下，作為整體幾何結構的一部分，相機14在Y方向上偏離中心定位(圖5)，以保持眩光點39在捕獲區域32之外。投影儀16聚焦在鏡38上，使得將投影儀16發出的光線反射離開鏡38進入到工作空間12。通過向低處移動投影儀16并且在投影儀光路中引入折疊鏡38，在可接受的投影儀偏移量的情況下，將眩光點39移出捕獲區域32之外，并且系統10變得足夠窄，短和穩定(不頭重腳輕)以支持商業上 有吸引力的產品實現方式。
[0037]因此，再次參考圖1A，IB和2，將系統10的組件收納在一起作為單獨的裝置40。也參考圖3，有助于把系統10實現為集成且獨立的裝置40，控制器18包括一起收納在裝置40中的處理器42,存儲器44和輸入/輸出46。如下面參考圖20-22所描述的,輸入/輸出46允許裝置40從外部裝置接收信息和向外部裝置發送信息。盡管輸入/輸出46在圖3中作為控制器18的一部分被示出，但是一些或全部輸入/輸出46能與控制器18分離。
[0038]對于圖3所示控制器18的配置，控制和協調相機14和投影儀16功能的系統程序可以大體上常駐在控制器存儲器44以便由處理器42來執行，因此，實現獨立裝置40并且減少相機14和投影儀16的特殊程序的需要。可以以處理器可執行的介質的任意合適形式實現控制器18的編程，上述介質包括一個或更多軟件模塊，硬件模塊，特殊目的硬件(例如，特定應用的硬件，特定應用的集成電路(ASIC),嵌入式控制器,硬連接(hardwired)電路等)，或這些的某種組合。此外，盡管其他的結構也可能(例如，使用遠離相機14和投影儀16的計算機或服務器整體地或部分地形成控制器18)，但是諸如圖1A，IB和2所示裝置40的緊湊獨立應用，在集成的緊湊移動裝置40中向用戶提供了全部功能。
[0039]現在參考圖12，相機14位于鏡38的前面，工作空間12的上方偏離捕獲區域32的中心的位置。如上所述，當在工作空間12中拍攝對象時，相機14的偏移位置有助于避免鏡面眩光，而不阻擋投影儀16的光路。盡管相機14大致代表任何合適的用于選擇地捕獲工作空間12中的靜態和視頻圖像的數字相機，但是在系統10的多數應用中，期望使用高分辨率數字相機。在本文中所使用的“高分辨率”數字相機意味著具有至少1200萬像素的傳感器陣列。較低分辨率的相機對于一些基本掃描和復印功能是可以接受的，但是低于1200萬像素的分辨率目前不足以產生對于全方位操縱和協作功能的足夠詳細的數字圖像。現在，具有高分辨率傳感器的小型化高品質數字相機相當普遍并可從眾多的相機生產者中商業化地得到。搭配在許多數字相機中所使用的高性能數字信號處理器(DSP)芯片的高分辨率傳感器提供了足夠快速的圖像處理時間(例如，不到一秒的點擊預覽時間)，從而為大多數系統10的應用提供了可接受的性能。
[0040]在所示示例中，現在參考圖13，相機傳感器50定位在與工作表面24的平面平行的平面上，通過移軸鏡頭52使光線聚焦在傳感器50上。傳感器50和鏡頭52的這種配置可用于從光學上校正梯形失真，無須在對象圖像中進行數字梯形校正。相機14的視場在工作空間12中定義了三維捕獲空間51，在其中相機14能有效地捕獲圖像。在工作表面24上由攝像捕獲區域32以X和Y尺寸來限定捕獲空間51的邊界。以對應于捕獲空間51的固定距離，固定焦距和固定變焦來優化鏡頭52。
[0041]參考圖14，投影儀16位于底座36附近投影儀顯示區域34外側，聚焦在鏡38上，使得來自投影儀16的光線從鏡子38上反射出進入到工作空間12。投影儀16和鏡38在工作空間12定義了三維顯示空間53，在其中投影儀16能有效地顯示圖像。投影儀顯示空間53與相機捕獲空間51 (圖12)重疊，在工作表面24上由顯示區域34以X和Y尺寸來限定邊界。盡管投影儀16代表大致任何合適的光學投影儀，但是對于大多數系統10的應用而言，緊湊尺寸和節能的LED或基于激光的DLP (數字光處理)投影儀是所期望的。投影儀16還可以采用移軸鏡頭以考慮到投影圖像中完全光學梯形校正。如上所述，鏡38的使用增加了投影儀有效光路的長度，模擬出投影儀16頂部的放置，同時仍允許用于集成的獨立裝置40的商業上合理的高度。
[0042]對于作為獨立裝置40的系統10，合適特性的一個示例表I中列出。(表I中的尺寸參考圖5和6。)
[0043]表I
[0044]
【權利要求】
1.一種投影捕獲系統，包括: 控制器； 工作空間相機，操作地連接到控制器，用于在工作空間中捕獲對象的靜態圖像和視頻圖像； 投影儀，操作地連接到控制器；以及 控制器，配置成控制工作空間相機和投影儀，用于在工作空間中捕獲真實對象的圖像并將對象圖像投影到工作空間中。
2.如權利要求1所述的系統，其中控制器配置成控制投影儀將對象圖像投影到工作空間中，作為真實對象的一比一比例的數字復制件。
3.如權利要求2所述的系統，其中控制器配置成控制投影儀將所述對象圖像投影到工作空間中在捕獲所述對象圖像時由所述真實對象占據的相同位置處。
4.如權利要求1所述的系統，其中控制器，相機和投影儀被收納到一起，作為單個便攜式單元。
5.如權利要求所述I的系統，進一步包括對象識別設備，該對象識別設備操作地連接到控制器，用于區別工作空間中的所述真實對象和投影到工作空間中的對象圖像。
6.如權利要求所述I的系統，其中控制器配置成控制相機和投影儀，以當所述對象圖像正在工作空間中被改變 時，捕獲對象圖像的圖像，并將改變的對象圖像投影到工作空間中。
7.如權利要求所述I的系統，進一步包括: 輸入/輸出，操作地連接到控制器，通過所述輸入/輸出可以從投影捕獲設備外部的設備接收數字信息并且可以發送數字信息到所述投影捕獲設備外部的設備； 視頻會議相機，麥克風和揚聲器均操作地連接到所述輸入/輸出，用于發送視頻和音頻信息到外部設備并且從外部設備接收視頻和音頻信息。
8.如權利要求所述7的系統,其中控制器,相機,投影儀,輸入/輸出，麥克風和揚聲器被收納到一起，作為單個便攜式單元。
9.一種處理器可執行的介質，其上包括如下程序，當所述程序被執行時: 使相機在第一工作空間中捕獲真實對象的圖像；以及 使投影儀將對象圖像投影到第一工作空間中，作為真實對象的一比一比例的數字復制件。
10.如權利要求9所述的介質，包括當被執行時使投影儀將所述對象圖像投影到第一工作空間中在捕獲所述對象圖像時由所述真實對象占據的相同位置處的程序。
11.如權利要求9所述的介質，其上包括當被執行時使多個投影儀中的每一個將所述對象圖像同時投影到包括第一工作空間的多個工作空間中相應的每一個的程序。
12.如權利要求11所述的介質，其上包括如下程序，當所述程序被執行時: 允許在多個工作空間的一個或多個中改變所述對象圖像；以及 使多個投影儀中的每一個將改變的對象圖像同時投影到包括第一工作空間的多個工作空間中相應的每一個。
13.—種工作空間協作的方法，包括: 在第一工作空間中捕獲真實對象的數字圖像；將對象圖像同時投影到包括第一工作空間的多個工作空間中； 當所述對象圖像正在工作空間之一中被改變時，捕獲改變的對象圖像的數字圖像；以及 將改變的對象圖像同時投影到包括第一工作空間的多個工作空間中。
14.如權利要求13所述的方法，其中，將對象圖像同時投影到多個工作空間中包括:將對象圖像投影到第一工作空間中的真實對象上。
15.如權利要求13所述的方法，其中，將對象圖像投影到多個工作空間中包括:將所述真實對象的一比一比 例的數字復制件的圖像投影到多個工作空間中。
【文檔編號】H04N5/225GK104024936SQ201180072717
【公開日】2014年9月3日 申請日期:2011年11月2日 優先權日:2011年7月29日
【發明者】D·B·肖特 申請人:惠普發展公司，有限責任合伙企業