全息波導平視顯示器側景顯示的制作方法

實施例涉及增強現實側景顯示。

汽車和其他交通車輛包括內部乘客艙，車輛駕駛員坐在該內部乘客艙中，并在其中操作車輛控制裝置。車輛通常包括后視鏡和側視鏡，用于允許駕駛員監測車輛的后方和側方發生的事件。鏡子是一種以如下方式反射光的物體：對于相應波長范圍內的入射光而言，反射光保留了原始光的大部分詳細的物理特性，并且產生復制原始場景的反射。

后視鏡和側視鏡在正確設置時提供了車輛后方和側方的事件的協作觀察。然而，根據鏡子的設置方式，仍然可能存在駕駛員看不見的盲點。而且，除非道路有適當的照明，否則側視鏡在夜間不能有效地用于查看事件。

此外，側視鏡由于風阻而在車輛上產生阻力，并因此降低車輛的汽油里程數。側視鏡上的沉淀積層(諸如，雪)如果不被適當地清除的話，則鏡子的可見度會受到影響。

技術實現要素：

實施例的優勢在于顯示增強現實圖像，其通過生成真實世界場景的虛擬圖像，將真實世界場景顯示在駕駛員側視鏡上。使用虛擬圖像在假想圖像平面上生成增強現實圖像，使得不再需要實體的側視鏡。增強現實圖像的使用消除了側視鏡部件，如果該側視鏡部件安裝在車輛的外部，則會引起風阻和阻力，由此降低燃料經濟性。此外，由于實體的側視鏡組件并非安裝在車輛的外部，因此沉淀物(諸如，雪)積聚在鏡子上，降低真實世界場景的可見度。另外，通過使用相機系統來捕捉真實世界場景并經由增強現實圖像來將其顯示，視野得以擴大，從而消除了盲點。

實施例設想了一種顯示由主圖像捕捉設備捕捉到的增強現實圖像的方法。通過主圖像捕捉設備捕捉車輛外部的圖像，該主圖像捕捉設備捕捉駕駛員側鄰近車道的圖像。通過處理器確定要顯示給駕駛員的主增強現實圖像的尺寸。在車輛外部的一深度處生成顯示在駕駛員側圖像平面上的主增強現實圖像，該駕駛員側圖像平面上的主增強現實圖像生成在距離駕駛員側車窗的相應距離處。

附圖說明

圖1示出了增強現實顯示系統的框圖。

圖2是使用常規側視鏡的車輛的平面圖。

圖3是使用相機系統和普通圖像顯示器或LCD顯示器的車輛的平面圖。

圖4示出了安裝在駕駛員側車窗上的波導HUD。

圖5是使用增強現實顯示系統的車輛的平面圖。

圖6是將圖像處理應用于在波導HUD上生成增強現實圖像的流程圖。

具體實施方式

圖1示出了增強現實顯示系統10的框圖，該增強現實顯示系統10包括圖像捕捉設備12、處理器14、平視顯示器(HUD)16和頭部跟蹤器18。HUD 16可以是附接至側車窗的全息波導HUD或頭戴式增強現實顯示器，其可使用全息波導技術或其他HUD顯示技術。系統10基于圖像捕捉設備12捕捉到的圖像產生增強現實顯示。在此描述的車輛消除了安裝至車輛外部的實體側視鏡組件。應理解的是，在此使用的術語“車輛”不限于汽車，其可包括，但不限于：火車、船或飛機。此外，附接至車窗的HUD或頭戴式增強現實顯示器可由車輛內的任何乘員使用。在使用無需駕駛員的自動或半自動駕駛車輛的情況下，可進一步應用該系統。

圖像捕捉設備12可包括相機或相機系統，其捕捉車輛外部的圖像，更具體地，捕捉駕駛員可通過側視鏡組件觀看的圖像。圖像捕捉設備可包括，但不限于：三維(3D)相機或立體相機。優選地，圖像捕捉設備捕捉3D圖像，或其能夠以3D的方式捕捉圖像或提供可被處理成3D圖像的圖像。

圖像捕捉設備12能夠安裝在車輛的某個位置上，使得相機方位與反射光線的方向對準，其中該反射光線將從側視鏡反射出從而被駕駛員所看到。可選地，圖像捕捉設備12可位于車輛的其他位置處，并且對捕捉到的圖像進行圖像處理，以生成圖像捕捉設備12的虛擬方位，這將會產生圖像，該圖像顯示成就好像圖像捕捉設備12以會捕捉到類似于顯示在實體側視鏡組件上的真實世界場景的真實世界場景的方向進行安裝和對準。

處理器14可為獨立處理器、共享處理器或作為成像系統的一部分的處理器。處理器14從圖像捕捉設備12接收捕捉到的圖像，并對捕捉到的圖像進行圖像處理。處理器14執行編輯功能，其包括但不限于圖像剪切，以修改駕駛員將看到的景象。如果駕駛員佩戴有增強現實眼鏡，則處理器還會基于駕駛員的頭部定向對圖像進行定向。處理器還會調整圖像的亮度，并對圖象失真進行補償。

波導平視顯示器(HUD)16安裝至車輛部件，諸如，駕駛員側燈(例如，駕駛員側車窗或駕駛員側的其他車窗和/或乘客側車窗)。駕駛員側燈在此將用于示例性的目的，但是，如果需要的話，可為車輛中的任何人將HUD安裝在任何車窗上。波導HUD 16使用全息衍射光柵，該全息衍射光柵試圖以相應的衍射級次聚集輸入能量。衍射光柵的實例可包括布喇格(Bragg)衍射光柵。當具有與原子間距相當的波長的光輻射以鏡面模式被晶體系統中的原子散射從而經受相長干涉時，布喇格衍射就會發生。光柵被調諧，從而以臨界角將光射入波導。隨著光散開，該光穿過波導。當散射波進行相長干涉時，散射波保持同相，原因在于各波的波程長度都等于波長的整數倍。光由將光(例如，圖像)轉入用戶眼中的第二全息衍射光柵進行提取。可以使用可切換的布喇格衍射光柵，其包括槽式反射光柵，該槽式反射光柵從每個凹槽邊緣發出的小波形成相長和相消干涉以及色散。可選地，多層結構具有交替的折射率，從而引起從折射率不連續特征發出的小波的相長和相消干涉以及色散。如果兩個交替層中的一個由具有介電的和折射率各向異性的液晶材料組成，則液晶取向可以通過施加電場(被稱為可切換布喇格光柵)進行改變或切換。

當駕駛員查看集成在車窗上的波導HUD 16時，波導HUD 16基于捕捉的圖像在假想平面上生成增強現實圖像，該圖像看起來在車窗外部的相應深度處(即，在側視鏡將位于的深度處或者在更深處)。

在一個可替代的方案中，波導HUD 16可包括頭戴式HUD，諸如增強現實眼鏡(例如，眼鏡)。3D圖像從處理器14傳輸到3D增強現實眼鏡，使得增強現實圖像被投影在空間中，從而提供如下視角：圖像被投影在其上的圖像平面被顯示在駕駛員側車窗外部的位置，類似于實際的側視鏡。

頭部跟蹤器18是用于跟蹤頭部定向或者跟蹤眼睛的設備。也就是說，如果需要更少的細節，則增強現實系統10可以使用頭部跟蹤系統，其跟蹤頭部的定向以確定駕駛員正在觀看的方向。可選地，增強現實系統10可以使用眼睛跟蹤系統，其中方向(例如，眼睛的注視)被跟蹤以確定乘員是否正在看向波導HUD 16的方向或其他地方。頭部跟蹤器18可以是安裝在車輛中的獨立設備，監視頭部的位置或眼睛的注視，或者如果使用增強現實眼鏡，則頭部跟蹤器18也可以與波導HUD 16集成在一起。如果使用增強現實眼鏡，則眼睛跟蹤器可被集成為眼鏡的一部分，用于跟蹤眼睛的運動。

除了波導HUD 16之外，提供染料摻雜的聚合物分散液晶(PDLC)作為輸出的全息圖的背板以阻擋真實世界的干擾。PDLC阻擋來自其他真實世界干擾的光，從而沒有發射。PDLC是可調諧的，并且還可以結合為自動可調諧傳輸。因此，PDLC用作背板，使得當駕駛員觀看全息圖像時，來自外部的發射不會穿透全息圖像的相對側。

圖2示出了使用常規側視鏡的車輛的平面圖。如圖2所示，總體上由RV表示的區域表示后視鏡的視野。總體上由SV表示的區域表示側視鏡的視野。總體上由BS表示的區域(陰影區域)表示盲點。盲點通常位于總體上由FV表示的駕駛員的前向視覺的后方區域至其中反射由側視鏡19捕捉的位置之間。雖然可以借助于凸面鏡來減少盲點，但凸面鏡導致實際的真實世界場景的失真，從而導致物體在反射表面中比駕駛員通常看到的更靠近或更遠。

圖3示出了使用相機系統和普通圖像顯示器或LCD顯示器的車輛的平面圖。單獨的相機20安裝在車輛的外部，并且由相機20捕捉的圖像被處理并提供給顯示設備22，諸如LCD監視器或類似物。使用照相機20的優點是省略了側視鏡，這提供了消除由風阻引起的車輛上的阻力的優點，然而，單獨的照相機20和LCD 22的問題在于系統是二維的(2D)，并且從駕駛員的眼睛到LCD 22的距離相對較短(例如，18英寸)，這由于反復適應18英寸處的顯示器和無限遠的真實世界而導致疲勞。當將相機圖像呈現在2D顯示器上時，存在深度感知上的下降。此外，所顯示的圖像不在通常的鏡子的位置處。在駕駛員的視野中將會導致駕駛員注意力分散。

圖4示出了安裝在諸如駕駛員側車窗30的車輛部件上的波導HUD16。通過駕駛員側車窗30觀看的駕駛員看到由圖像捕捉設備捕捉的真實世界場景的3D圖像，該3D圖像被投影在車輛外部的假想平面上。這里和權利要求中使用的術語真實世界場景被定義為由車輛的駕駛員直接或者通過鏡面反射看到的車輛外部的區域。圖像捕捉設備12可以在與反射射線被側視鏡反射的方向相同的方向上被安裝并對準，或者圖像捕捉設備12可以安裝在其他位置，并且圖像處理可以用于改變相機的方位。也就是說，可以從任何角度捕捉場景，然而，圖像可以被處理成使得如果相機與在圖像中識別的虛擬方位對準，則該虛擬方位被改變以反映場景的內容。

另外，通過使用圖像捕捉設備，可以改變由圖像捕捉設備捕捉的視野(FOV)，以使FOV與常規的側視鏡顯示器相比更寬。FOV可以改變高達180°，并且圖像的各個部分可以被縮放(合成)，以增強駕駛員對圖像的相應部分的聚焦。

波導HUD 16使用假想平面來顯示增強現實圖像。波導HUD 16可以被調諧以將假想平面設置在車窗外的任何距離處，直至無窮遠。應當理解，一旦物體距離在3米和無窮遠之間，在觀察物體的人對焦距的感知中存在相對較小的實質區別。設置假想平面的深度是可調諧的。

圖5示出了使用增強現實顯示系統的車輛的平面圖。如圖5所示，增強現實系統使用兩個圖像捕捉設備12(例如，立體相機)來捕捉駕駛員的鄰近車道的3-D真實世界場景。優選地，圖像捕捉設備是立體視覺相機；然而，應當理解，可以使用其他類型的3-D圖像捕捉設備。如圖5所示，鄰近道路的第一區域34由圖像捕捉設備中的一個捕捉，第二區域36由第二圖像捕捉設備捕捉。處理兩個捕捉的圖像以生成3-D圖像。處理器處理圖像并將處理后的圖像發送到集成在駕駛員側車窗30上的波導HUD 16。波導HUD 16在出現在車輛外部的虛擬平面38上生成增強現實圖像。結果，增強現實圖像消除了使用安裝在門上的實體部件(即側視鏡)的需求，這樣的實體部件導致車輛上的阻力并且降低燃料經濟性。

圖6表示將圖像處理用于在安裝在側車窗上的波導HUD上產生物體的增強現實圖像的流程圖。在框40中，圖像捕捉設備捕捉圖像。圖像可以是來自可以捕捉圖像以生成3D圖像的3D相機或者一組立體相機的2D或3D圖像。

在框41中，如果使用增強現實眼鏡，則圖像被剪切以適應增強現實眼鏡的視野。

在步驟42中，應用圖像透視和穩定。設備(包括但不限于陀螺儀和加速度計)可以用于確定駕駛員頭部的定向。當頭部旋轉時，陀螺儀和加速度計保持穩定且對準的圖像。跟蹤系統的實例可以包括頭部跟蹤器，其監視頭部在頭部面對的方向上的運動。更復雜的設備和系統將包括注視跟蹤器，其跟蹤眼睛的運動以確定眼睛正在注視的方向。注視跟蹤器提供更多細節，使得駕駛員不必一定移動他的頭部，而是可以旋轉他的眼睛而沒有頭部的移動以將目光從行進道路轉移。

在步驟43中，應用視圖端口縮窄。要縮窄的視圖端口的尺寸由常規鏡子或更大鏡子的尺寸確定，并且還確定到側車窗外的假想平面的距離以用于相應地確定圖像尺寸。

在步驟44中，調整增強現實圖像的亮度。亮度傳感器可以用于控制3D圖像亮度。應當理解，在夜間條件期間可以將亮度設置為高于真實世界場景的亮度，使得在圖像中捕捉的物體是可識別的。這優于鏡子僅能捕捉從外部環境照射的光，并且因此受到外部條件的約束的常規的側視鏡。通過使用由圖像捕捉設備捕捉的圖像，可以執行圖像處理以照亮場景，并且因此向駕駛員提供場景的更好的可見性。

在步驟45中，經由HUD顯示虛擬圖像。虛擬圖像將根據通常由駕駛員通過駕駛員或乘客側燈觀看(或乘客通過另一側窗觀看)而看到的側視鏡的形狀和尺寸來確定尺寸，或者顯示器可大于常規的鏡子。此外，虛擬圖像可以顯示在比駕駛員使用常規鏡子觀察的距離更大的距離處。

盡管已經詳細描述了本發明的某些實施例，但是本發明領域的技術人員應當知道由所附的權利要求限定的、用于實現本發明的各種可選的設計和實施例。