專利名稱：交互式遠程會議顯示系統的制作方法
相關申請這是提交于2001年2月16日的U.S.申請序列號09/788,026的延續部分。
背景技術：
遠程會議，連接兩個或多個位置的視頻和聲音的使用，允許遠處的成組的人們看到并聽到在另一個位置處的展示者。來自遠距離位置的展示者將典型地通過使用分屏技術或雙監視器而與圖形組合。
背投和大液晶顯示屏幕已被用于組合展示者與圖形。在背投或液晶顯示器前面的與展示者相同房間內的觀眾將看到第一代圖形，但當被攝影被發送給另一個位置時，它必須被再次投影，這使其成為第二代。由于兩代的損失，遠處的圖形數據被降級到許多圖、圖表和文本不能被清楚閱讀的程度。
使用正投來組合展示者與圖形經歷了附加問題，使展示者眼花并使其身體截取的圖形失真，這對于觀看者是令人不安的。
在遠程會議中，存在用于組合展示者和所選圖形的技術的諸多變化。這些技術都不能認為是理想的。與具有屏幕外展示者的令人昏昏欲睡的圖形圖像相比，將展示者置于投影圖形前面的努力是改進展示者和其觀眾之間的個人接觸。
發明簡述交互式遠程會議顯示系統使用在每個位置執行相同功能由此允許任何位置發起或參與會議的設備。該設備包括正投或背投屏幕、電子投影儀和信號處理器。當展示者在正投屏幕前面時，遮罩信號(mattesignal)被產生，其選擇性地抑制投影儀以防止投影圖形照到展示者。圖形被下載并存儲于所有位置。已由遮罩信號提取的展示者被發送給所有位置，在這里它在投影之前被遮(matted over)于圖形上。通過單獨發送圖形圖像和展示者的圖像，并且在遠距離位置組合它們，每個都是原始的并且當被顯示時沒有細節的損失另一個位置的個體可在任何時間通過走到其屏幕前面而參與。所有位置將看到并通道展示者和附加的參與者。兩個參與者可相互看并且指向和討論正被顯示的材料。他們亦可看向其本地的觀眾，而無需被投影儀使得眼花。來自其它位置的參與者可加入并在所有屏幕上出現。
附圖簡述
圖1說明當使用正投時相對于投影儀的信號處理器的位置。
圖2說明信號處理器的功能。
圖3與圖2一起說明兩個位置之間的互連。
圖4示出包括本發明的部件的方塊圖。
圖5是一個曲線，示出了與屏幕的紅外線偏差和視頻信號的減小之間的關系。
圖6是操作系統的單元的邏輯圖。
圖7說明當使用背投或液晶顯示屏幕時信號處理器的功能。
圖8說明四位置遠程會議所需的互連。
圖9說明當添加第三和第四位置時所需的附加合成級。
發明詳述圖1表示典型的會議室1。每個室包含屏幕2、參與展示者3、常常位于觀眾7之上的電子投影儀4、計算機6或用于存儲并檢索圖形的其它存儲裝置(例如DVD、VCR等)、以及信號處理器5。
被包含在單個封裝中的信號處理器是本發明的關鍵單元，原因是它包括除了投影儀、投影屏幕和圖像存儲裝置以外的系統的所有單元。該裝置最有可能是計算機并被置于操作者容易接近的區域。
信號處理器部件之一是相機，假定人們正在使用正投屏幕，該相機必須被直接置于投影儀以下或以上的極接近位置，或者它可被集成到投影儀中。在投影屏幕之后具有充分空間的用戶可使用背投。在此情況下，理想的相機位置是垂直于屏幕的觀眾以上并且在通過屏幕中心和投影儀透鏡的公用軸上的點。盡管液晶顯示屏幕仍是相對小的，但它們正在變大并且對于可變得對大批觀眾來說足夠大。另一個可能性是多陰極射線管顯示器。其缺點是成本和管之間的連接線的存在。這些屏幕具有優于背投和正投屏幕的一些優點，而具有除了成本和小尺寸以外的少許缺點。盡管預期大多數用戶將使用正投屏幕，以下系統說明適合于所有顯示方法，除了在注明的情況下。
所述相機提供展示者的圖像和其添加給場景的任何事物，如在白板上所寫的材料。參與者可能不總是需要所存的背景圖形，并且在這些情況下，存儲器26將包含黑幻燈片或將不被使用。
圖2和圖3表示相互距離遠的位置A和B處的顯示部件，但圖2和3的圖說明了在每個位置處的部件之間發生的交互。數字20到29表示信號處理器的功能。數字系列30到39是在第二位置的相同信號處理器功能。
參考圖2(位置A)，來自存儲器26的所選圖形圖像被傳送通過合成功能25，通過抑制器功能24，然后到將所選圖形投影到屏幕29上的投影儀27。位置A處的觀眾將看到被投影到投影屏幕上的來自本地存儲器的所存圖形圖像，作為沒有細節損失的原始圖像。
參考圖3(位置B)，相同的圖形圖像將從計算機36被檢索并被傳送通過合成功能35，通過抑制器功能34，然后到將所選圖形投影到屏幕39上的投影儀37。如果存在第三和第四參與位置，其觀眾將亦看到相同的圖形，該圖形從其自己的計算機獲得，被投影到其屏幕上而沒有細節損失。
只要在任何投影屏幕前沒有展示者，展示者遮罩提取功能(22、32)就沒有要提取的并且合成器(25、35)沒有要合成的前景圖像，并且抑制器(24、34)沒有要保護的展示者。當人或物體進入屏幕的前面時，其變成前景對象并激活以上對象相關的功能。
相機20被直接置于投影儀27以下以看到展示者28并維持抑制遮罩的合適對準。束分裂器被提供于相機20中以分裂紅外線或其它圖像以便于在遮罩發生器21中產生遮罩信號。
在使用中有幾種遮罩產生方法。一種被描述于提交于2001年2月16日的U.S.申請序列號09/788,026。一種這樣的方法如下參照圖4被描述。
圖4的投影圖像源41表示待投影到投影屏幕43上的視頻圖像的源。圖像源41可以是計算機、錄像機、數字視頻盤、另一個相機或其它視頻圖像的源。
來自圖像源41的視頻程序信號被連接于抑制器42，在這里所選像素處的視頻信號可被抑制。程序信號然后從抑制器42被連接于視頻投影儀46，其在投影屏幕43上投影程序圖像。
在一個實施例中，至少一個紅外線源47被用于均勻地照射投影屏幕43。作為紅外線的照明，該照明不被觀察者看見。相機45是紅外線敏感的視頻相機，其觀察均勻照明的投影屏幕。相機45的輸出被連接于視頻抑制器42。來自視頻投影儀在抑制器42處的紅外線信號被清為零。在對象44進入投影束的情況下，對象的紅外線反射有可能比投影屏幕的均勻紅外線亮度水平高或低。與為投影屏幕建立的紅外線信號電平的任何紅外線偏差表示該對象。標識對象位置的那些所檢測的像素的地址被用于抑制這些相同地址處的視頻程序信號。
總有對象衣服上的某個小區域將反射與屏幕完全相同量的紅外線的可能性。在該區域中，抑制器被欺騙，而視頻信號不被抑制。這樣的區域問題不大，這是因為來自對象臉部的紅外線反射匹配來自屏幕的紅外線反射的可能性是幾乎沒有的。
通過選擇最不可能匹配對象反射水平的紅外線相機的通帶，可減小欺騙抑制邏輯的可能性。
近紅外帶寬是很寬的，并且白熾源提供的紅外線提供了平坦的寬照明帶寬。紅外線敏感的相機可因此被配備鄰接諸如700-800、800-900和900-1000納米的通帶的濾波器。僅需要通帶的小移動來導致紅外線反射的大變化。可在設置期間進行濾波器選擇以防止對象的紅外線反射匹配屏幕的紅外線反射。
選擇外部通帶相機濾波器的替換是在相機中結合兩個或多個紅外線圖像通道，每個都被濾波至不同的通帶，同時分離的紅外線基準幀被存儲用于每個通帶。
非常不可能的是對象的紅外線反射將同時匹配兩個或多個紅外線通帶的紅外線反射。
選項當對象進入投影圖像時為抑制投影圖像落到對象上，有必要分離對象與正被投影到其上的場景。
存在檢測對象位置的幾種現有方式。標準差別鍵控(standarddifference key)或遮罩(matte)依賴于空白屏幕的基準幀來與隨后的幀比較以檢測對象的位置。由于可見光譜內的圖像亦被投影到屏幕上，標準差別鍵控看起來在該應用中不起作用。
另一個選項是用可見波長以外的紫外線光的一個或多個帶淹沒投影屏幕。
人們可能亦通過使用對人體溫度敏感的長波紅外線相機來分離對象與投影屏幕。由于這種類型的相機看到體溫，不需要用長波紅外線來淹沒屏幕。
其它方法通過雷達或聲納技術來標識對象的存在，該技術檢測正處于比屏幕短的距離的對象。
立體裝置和最大化圖像細節已在自動相機中被用于確定距離。提供分離對象與投影圖像的信號的任何方案可在本發明中被用于抑制對象占用的區域中的投影圖像。
優選選項在本發明中使用的優選選項是使用近紅外線來照射投影屏幕。投影屏幕的紅外線亮度水平可被監視，并且基準幀可被更新以補償對紅外線源的線電壓變化。當紅外線差很小時，經更新的基準幀允許經改進的對象檢測。通過使用輻射光譜的紅外線部分，被投影和被檢測的紅外線圖像不受投影圖像內容變化的影響。
使用紅外線照明以產生差或比遮罩(difference or ratiomatte)提供了標識對象占用的那些像素的實用方法。為了這個目的用于產生適當的比遮罩和差遮罩的方程如下比遮罩若IRo≤IRm則M＝IRo/IRm若IRo＞IRm則M＝IRm/IRo若IRm＝IRo＝0則M＝0差遮罩M＝1-{max[(IRo-IRm)，(IRm-IRo)]}其中IRo＝所觀察的IR像素值IRm＝所存的IR像素值(在相同位置處)M＝所計算的遮罩值與開關動作相反，投影圖像的抑制可以是連續的，或者是線性的或者是非線性的。如果是非線性的，則使紅外線信號的最早和最小的可檢測變化導致視頻信號電平的小減小量。隨著偏差增加，抑制的速率增加。當偏差接近所選水平時，抑制速率被迅速增加至截止點或接近截止點的所選低水平。發生信號抑制的可變速率防止了開關動作的開-關閃變效應。圖5說明了這個關系。
術語“抑制”被定義為對象占用的區域中的投影圖像水平的減小。事實上，如果所述水平被減小到全水平的大約5％，則對象的可見度被減小到可視的黑。當很少或沒有到對象上的投影儀照明時，它將不接收照明，除了周圍的室內光，當使用投影儀時所述光典型地被衰減至很低的水平。
由于來自視頻投影儀的對象照明已被抑制到接近零，表示白(或彩色)光的RGB水平可被添加給限定對象區域的那些像素。對象的照度可因此被增加到由周圍光單獨產生的照度以上。盡管處于較低水平，增加周圍室內光的補充對象照明有可能對面向投影儀的對象有一些干擾。
U.S.專利No.5,270,820中描述的技術可被用于定位發言者的頭部(或其它末端)。有了這個附加信息，被投影到對象上的白(或彩色)光可在其頭部和眼睛的區域中被抑制。
術語“投影屏幕”或“屏幕”已在以上被使用。該屏幕可以是白的、粒狀的、金屬的或涂以金屬的透鏡狀的，或者是適合于觀察投影圖像的任何表面。
實施在圖4中，圖像源1視頻程序源可以是由用戶選擇的計算機、錄像機或視頻盤。
視頻投影儀46和投影表面43是由用戶選擇的商業裝置。如果需要，紅外線濾波器去除視頻投影束中的任何殘余紅外線。
紅外線敏感的相機45是視頻相機，其感光器擴展到700納米以上的近紅外線中。濾波器被置于相機透鏡上以去除可見波長。
至少一個紅外線源47是使用白熾燈的投影儀。濾波器被置于紅外線源上以去除可見光。抑制器42是檢測器/抑制器。其功能已在較早時被描述。
圖6是邏輯流程圖，其示出對象檢測和程序信號抑制的功能。參考圖6，IR相機61可以是480線VGA逐行掃描低分辨率相機，或者對近紅外線敏感的任何其它低分辨率相機。清晰幀存儲器62是紅外線照明的屏幕的所存紅外線圖像，對象從場景中被去除。屏蔽發生器63比較紅外線敏感的相機的圖像和存儲器62中的清晰幀圖像并且任何差標識對象占用的那個區域，如果其存在。整形功能64將對象檢測信號從開-關信號整形為線性或非線性信號，如圖5中所示。
投影儀圖像源65是要投影到投影屏上的程序源。通常，程序視頻是具有比NTSC信號高的多的分辨率的圖像。圖像尺寸檢測66確定程序圖像的分辨率并且將該尺寸數據連接到用作標準轉換器的按比例縮放和濾波器67以按比例縮放紅外線相機的尺寸，從而匹配投影圖像的尺寸。在匹配了圖像尺寸之后，如果對象存在，程序圖像在抑制投影儀圖像68中被抑制于對象占用的區域中。投影儀99將程序圖像投影到屏幕上，但不將程序投影到對象上。
遮罩信號21通過這種現有方法之一從相機20提供的信息產生。
遮罩信號發生器21產生抑制遮罩信號并將其提供給抑制器24。對于構成前景對象的那些像素，遮罩信號被指定0.0值。對象周圍顯示圖形的屏幕的區域中的像素被指定1.0。圖形圖像26經過合成器25到抑制乘法器24。圖形圖像在24中被乘以來自21的遮罩信號，該信號在對象區域中的零關閉(抑制)對象區域中的投影儀信號。此時位置A(圖2)處的觀眾看到被室內光照射的展示者，而圖形在他后面出現在屏幕上。展示者可看到觀眾而無需被投影儀的強光使得眼花。在產生抑制信號中遮罩信號的使用在以上被描述。(盡管將需要遮罩信號來隔離對象，但背投圖像或液晶顯示并不需要抑制信號。)來自發生器21的抑制遮罩信號被反相以形成第二遮罩信號，其為對象區域提供1.0值并為對象周圍的背景提供0.0值。該第二遮罩和來自相機20的視頻信號被連接于乘法器23。其乘積是由相對于0.0黑場的對象組成的經處理的前景信號(PrFg)。具有0.0黑場上的對象的經處理的前景是有意的(intentional)，這是因為視頻信號中的最黑的黑位于大約7％的白的基礎(pedestal)的頂部。經處理的前景視頻的0.0因此是有被隔離的對象的所發送的遮罩信號。來自位置A的經處理的前景23被連接于位置B處的遮罩提取功能32和合成功能35。
通過設置在大約3％的檢測閾，遮罩提取功能32將最低水平是基礎的7％的經處理前景從黑場的0.0分離。在閾以上的所有像素是在前景中并且被指定1.0值。在所選閾以下的所有像素是在背景中并且被指定0.0值。將像素值指定為1.0或0.0是任意的并且可根據想要控制的功能所需來顛倒。相機和系統噪聲以上的閾水平對防止背景區域噪聲峰值不正確地被接受為對象像素是有必要的。
所提取的遮罩被反相以提供經處理的前景區域中的0.0和對象周圍的圖形區域中的1.0。使來自源36的圖形圖像乘以1.0(遮罩信號)保持了對象周圍的圖形的全信號電平，但對象區域中的0.0生成了投影圖形中的0.0黑洞。合成功能35將僅由對象組成的經處理的前景添加到為其而生成的黑洞中。來自35的合成圖像被傳送經過抑制功能34到達投影儀39。位置B處的觀眾看到來自其自己的圖像源36的圖形正被投影到其自己的屏幕上，而來自位置A的展示者的視頻圖像被合成于其圖形上。
圖像的質量僅由原始圖像的分辨率和投影儀的分辨率來限制。通過在每個位置處預先加載圖形，待發送給其它位置的剩余數據僅僅是有聲音的經處理的視頻信號。
使用遮罩信號相乘并相加以在背景上合成圖像的過程保留了對象邊緣的透明度。然而，當所指定的遮罩信號是二進制開關(即1.0或0.0)時，合成圖像可通過從遮罩信號得到的鍵函數(key function)來形成以在所存圖像和展示者之間切換。在任何一種情況下，展示者像素值取代背景圖像的像素值以形成合成圖像。
二進制I/O遮罩信號產生陡邊緣的開關，然而遮罩邊緣可被調整尺寸以較好地配合對象輪廓，并且它可被軟化以改進從展示者到其背景的過渡。
抑制功能34等待展示者38的出現。當位置B處的人38希望參與時，他走到其屏幕的前面。功能30、31和34抑制投影儀37中的像素以防投影到人38身上。功能30、31和33產生經處理的前景PrFg，其被傳送回位置A到達遮罩提取器22和合成器25。在其屏幕前面的位置B的人38的視頻將被合成于位置A處正被投影的圖形上。位置B處的觀眾將看到投影圖形前的參與者38的真人，而將看到展示者28被合成于所述圖形上。
通過觀看屏幕，兩個參與者將看到與圖形一起被合成的另一個人的視頻圖像。參與者可互相看到和面對，指向圖形中的單元并討論它們。位置C和D處的觀眾將在其投影屏幕上看到展示者A和參與者B。C和D處的人亦可通過走到其屏幕前成為參與者。參與者位置處的觀眾將看到其展示者的真人，而所有其它展示者將在他后面但在投影圖形前面出現在屏幕上。
對可處于場景中并仍看到的參與者后面圖形的同時參與者的數量有明顯的限制。如果展示是多個演講的形式，則可產生圖形以占用屏幕的較上部分，因此在座的參與者將不模糊需要被觀眾看到的材料。每個展示者依次進行其展示，同時所有位置處的觀眾觀看發言者和在座者的反應。
如果大白板被用作投影屏幕，則展示者和他寫或畫的任何內容成為主題的一部分并且將被投影到其它位置處的白板上。來自另一個位置處的參與者可在其自己的白板上畫，并且他所寫的內容將在所有其它白板上被投影。以這種方式，每個位置都可以貢獻于草圖，添加清單，在地圖上標記位置，等等。
背投和液晶顯示系統不需要抑制功能24，并因此被繞過。圖7示出在抑制功能被去除或停用之后經過信號處理器的信號流。
互連多個位置圖8說明四個參與位置如A、B、C和D所需的互連。每個這些位置處的輸出信號是經處理的前景(PrFg)并且被連接于所有其它位置處的合成功能。每個位置所需的輸入是來自所有其它位置的PrFg信號。在圖8中，示出了來自位置A的PrFg 23被連接于合成功能B、C和D，從而說明PrFg如何被連接于其它位置處的輸入級。剩余連接如圖8中所示進行。
圖9說明當有四個參與位置時所需的合成功能。如果僅位置B正在發送PrFg信號給位置A，則功能22和25是全部所需要的。第三位置C的添加需要分離的合成級22’和25’。第四位置D的添加需要分離的合成級22”和25”。所需的合成級的數量比參與位置的數量小一。
權利要求
1.一種方法，用于在多個遠距離位置處在所選背景圖像前顯示展示者的合成視頻圖像，而沒有背景圖像或展示者圖像中的細節損失，該方法包括步驟a)在每個遠距離位置處的存儲器中存儲所述所選背景圖像，b)產生遮罩信號，其標識表示所述展示者的視頻圖像中的那些像素，c)將包括所述展示者的像素的信號電平發送給每個遠距離位置，d)通過用所述展示者圖像的像素水平在對應地址處代替背景圖像中的像素水平，產生所述展示者和所述所存所選背景圖像的合成視頻圖像。
2.權利要求1的方法，其中用于存儲并檢索圖像的所述圖像存儲器包括計算機、DVD、VCR或其它圖像存儲和檢索裝置。
3.權利要求1的方法，其中所述所存所選背景圖像包括圖形、圖表、表格和照片的至少一個。
4.權利要求1的方法，其中所選背景圖像在其選擇時被下載到遠距離位置。
5.權利要求1的方法，其中被發送給遠距離位置的展示者的視頻圖像包括有0.0信號電平的黑場上的所述展示者。
6.權利要求5的方法，其中信號電平超過零以上的設置閾的那些像素標識展示者的視頻信號。
7.權利要求1的方法，其中所選背景圖像在遠程會議之前被存儲于遠距離位置。
8.權利要求1的方法，其中所述合成視頻圖像可被觀看于正投屏幕、背投屏幕、自發光液晶顯示器和陰極射線管顯示器的至少一個上。
9.權利要求8的方法，其中被觀看于所述正投屏幕上的所述合成視頻圖像采用電子投影儀。
10.權利要求9的方法，其中所述投影儀在所述展示者區域中被抑制以防止所述展示者被所述投影圖像照射。
11.權利要求1的方法，其中至少一個遠距離位置中的人通過走到其自己的投影屏幕前可成為參與者并在所有其它位置處的投影屏幕上被看到。
12.權利要求11的方法，其中至少兩個位置中的人可通過每人走到其自己的位置處的投影屏幕前而同時成為參與者并可在所有其它位置處的投影屏幕上被看到。
13.一種信號處理設備，用于在多個位置處在所選背景前顯示展示者的合成視頻圖像，而沒有背景圖像或展示者圖像中的細節損失，該設備包括a)用于在每個遠距離位置處的存儲器(26)中存儲所述所選背景圖像的裝置，b)用于產生遮罩信號(21)的裝置，該信號標識表示所述展示者的視頻圖像中的那些像素，c)用于將包括所述展示者的像素的信號電平(23)發送給每個遠距離位置的裝置，d)用于在每個遠距離位置處在所述背景上合成(22、25)所述展示者的裝置，以及e)用于顯示(27、29)所述合成圖像的裝置。
14.權利要求13的設備，其中用于存儲所選背景圖像的所述裝置包括計算機、DVD、VCR或其它圖像存儲裝置之一。
15.權利要求13的設備，其中用于在所述背景上合成所述展示者的所述裝置包括在所述遮罩信號控制下的硬件或軟件。
16.權利要求13的設備，其中所述顯示裝置包括商業電子投影儀和投影屏幕、CRT顯示器以及液晶顯示器的至少一個。
17.權利要求16的設備，其中所述投影屏幕能反射紅外線照明。
18.權利要求13的設備，其中所述設備能在所有位置處執行相同功能。
全文摘要
一種遠程會議系統，其中所選背景場景前面的對象的視頻圖像從那個場景被提取并被發送給其它位置，在這里所選背景被存儲。通過在每個遠距離位置處和成所述對象和背景圖像(25)，當被投影時，原始的兩個圖像單元將沒有細節損失而示出。對于正投屏幕(29)，投影儀(27)被抑制以防照到展示者(28)。
文檔編號G03B21/00GK1503925SQ02808323
公開日2004年6月9日 申請日期2002年2月14日 優先權日2001年2月16日
發明者P·弗拉霍斯, P 弗拉霍斯 申請人:伊馬特公司