頭戴式顯示設備、控制頭戴式顯示設備的方法和計算機程序與流程

本發明涉及頭戴式顯示設備。

背景技術：

存在一種已知的稱為增強現實(AR)的技術，用于使用計算機來呈現附加于真實對象的信息，真實對象即存在于真實世界中的對象。在增強現實中，附加于真實對象而顯示的信息也稱為“虛擬對象”。增強現實的功能被安裝在頭戴式顯示器(以下稱為“HMD”或“頭戴式顯示設備”)上。

HMD利用攝相機來拍攝外部場景的圖像、識別通過圖像拍攝而獲得的圖像并且生成或獲取虛擬對象。在HMD的安裝狀態下不阻擋用戶視場的透射式HMD使用戶僅視覺地識別包括虛擬對象的虛擬圖像。用戶可以通過觀看真實世界中的真實對象以及由虛擬圖像所表示的虛擬對象二者來體驗增強現實。PTL 1描述了一種用于在透射式HMD中對虛擬圖像的顯示區和攝相機的圖像拍攝區進行對準的技術，以減少用戶在實現增強現實時所感覺到的不適感。

引用列表

專利文獻

PTL 1:JP-A-2013-186641

技術實現要素：

技術問題

例如當在汽車經銷商中使用增強現實來確定要訂購的汽車的顏色和配件時、或者當在房屋展示場所中使用增強現實來確定要訂購的房屋的墻紙和地板材料時，至少一部分虛擬對象有時被疊加顯示在真實對象上。在這種情況下，在真實對象的顏色與虛擬對象的顏色疊加的狀態下，用戶在視覺上識別的顏色是很重要的。PTL1中描述的技術沒有考慮到這種與顏色有關的問題。

因此，需要一種能夠在真實對象的顏色與虛擬對象的顏色疊加的狀態下控制用戶在視覺上識別的顏色的頭戴式顯示設備。

問題的解決方案

本發明的一些方面的優點是解決至少一部分上述問題，并且本發明可以實現為以下方面。

(1)本發明的一個方面提供了一種頭戴式顯示設備，用戶利用該頭戴式顯示設備可以在視覺上識別虛擬圖像和外部場景。頭戴式顯示設備包括：圖像顯示單元，該圖像顯示單元被配置成使用戶在視覺上識別虛擬圖像；增強現實處理單元，該增強現實處理單元被配置成使圖像顯示單元形成包括虛擬對象的虛擬圖像，虛擬圖像的至少一部分被疊加顯示在存在于真實世界中的真實對象上；顏色檢測單元，該顏色檢測單元被配置成檢測真實對象顏色，真實對象顏色是真實對象的顏色；以及顏色調整單元，該顏色調整單元被配置成利用檢測到的真實對象顏色來使視覺觀察顏色接近目標顏色，該視覺觀察顏色是通過將虛擬對象的顏色疊加在真實對象顏色上而獲得的顏色。

利用該方面的頭戴式顯示設備，顏色調整單元可以利用由顏色檢測單元所檢測到的真實對象顏色來控制視覺觀察顏色，視覺觀察顏色是通過將真實對象的顏色(真實對象顏色)與虛擬對象的顏色疊加而獲得的顏色，換言之，視覺觀察顏色是用戶在視覺上識別出的顏色。

(2)在一個方面的頭戴式顯示設備中，顏色調整單元可以通過調整虛擬對象的顏色使得通過對檢測到的真實對象顏色和虛擬對象的顏色進行加色混合而獲得的顏色接近目標顏色，來使視覺觀察顏色接近目標顏色。

利用該方面的頭戴式顯示設備，顏色調整單元可以通過調整虛擬對象的顏色來使視覺觀察顏色接近目標顏色。也就是說，可以在不向包括在頭戴式顯示設備中的現有部件添加專用部件的情況下控制目標顏色。

(3)在一個方面的頭戴式顯示設備中，圖像顯示單元還能夠針對每個像素來改變外部場景的透明度，以及顏色調整單元可以通過使圖像顯示單元改變外部場景的透明度來使視覺觀察顏色接近目標顏色。

利用該方面的頭戴式顯示設備，顏色調整單元可以通過在圖像顯示單元中改變外部場景的透明度來使視覺觀察顏色接近目標顏色。也就是說，可以在頭戴式顯示設備中控制視覺觀察顏色而無需進行專門的圖像處理。

(4)在一個方面的頭戴式顯示設備中，顏色調整單元可以使圖像顯示單元在所檢測到的真實對象顏色的色度等于或高于預定色度時改變外部場景的透明度，并且可以在所檢測到的真實對象顏色的色度低于預定色度時調整虛擬對象的顏色使得通過對所檢測到的真實對象顏色和虛擬對象的顏色進行加色混合而獲得的顏色接近目標顏色。

利用該方面的頭戴式顯示設備，顏色調整單元根據真實對象顏色的色度(亮度)來適當地區分是通過改變外部場景的透明度來控制視覺觀察顏色還是通過調整虛擬對象的顏色來控制視覺觀察顏色。當真實對象顏色的色度高(真實對象顏色亮)時，有效的措施例如是通過減少外部場景的透明度來突出虛擬對象的顏色使得明亮的真實對象顏色本身更不易被用戶看到。另一方面，當真實對象顏色的色度低(真實對象顏色暗)時，如果使用通過利用加色混合對虛擬對象的顏色進行調整而獲得的經調色顏色，則可以擴展可表現的色域。由于可以實現精細顏色再現，因此以這種方式可以有效地改進顏色的分辨率。因此，顏色調整單元可以根據真實對象顏色的色調適當地使用更合適的方法來控制視覺觀察顏色。

(5)在一個方面的頭戴式顯示設備中，顏色調整單元可以針對虛擬對象的每個像素來執行用于使視覺觀察顏色接近目標顏色的處理。

利用該方面的頭戴式顯示設備，顏色調整單元針對虛擬對象的每個像素來執行對視覺觀察顏色的控制(用于使視覺觀察顏色接近目標顏色的處理)。因此，可以容易地執行對視覺觀察顏色的控制。即使當多個顏色混合在虛擬對象中時，也可以控制視覺觀察顏色。

(6)在一個方面的頭戴式顯示設備中，顏色調整單元可以針對每個n*m(n和m是等于或大于2的整數)像素塊來執行用于使視覺觀察顏色接近目標顏色的處理，其中該像素塊是虛擬對象的像素之中的多個相鄰像素的集合。

利用該方面的頭戴式顯示設備，顏色調整單元針對虛擬對象的每個像素塊來執行對視覺觀察顏色的控制(用于使視覺觀察顏色接近目標顏色的處理)。因此，可以抑制對視覺觀察顏色的控制的結果對于每個像素的波動。即使當多個顏色混合在虛擬對象中時，也可以控制視覺觀察顏色。

(7)在一個方面的頭戴式顯示設備中，顏色調整單元可以基于真實對象處于其中的真實光環境來確定目標顏色。

利用該方面的頭戴式顯示設備，顏色調整單元基于真實對象處于其中的真實光環境來確定目標顏色。因此，可以將目標顏色設置成例如與真實環境匹配的顏色。顏色調整單元可以將目標顏色設置成例如在真實環境中顯眼的顏色。

(8)在一個方面的頭戴式顯示設備中，顏色調整單元還可以通過在考慮虛擬光環境的情況下對虛擬對象的顏色進行轉換來改變視覺觀察顏色。

利用該方面的頭戴式顯示設備，顏色調整單元在考慮虛擬光環境的情況下改變視覺觀察顏色。因此，增加了頭戴式顯示設備中的視覺觀察顏色的再現的范圍。可以改進用戶的便利性。

(9)在一個方面的頭戴式顯示設備中，顏色檢測單元可以是用于獲取表示外部場景的外部場景圖像的攝相機。

利用該方面的頭戴式顯示設備，可以利用普遍的攝相機作為標準功能來檢測真實對象顏色。

包括在本發明的上述各方面中的所有多個部件并不都是必要的。為了解決上述問題中的一部分或全部、或者為了實現本說明書中描述的部分或全部效果，可以對多個部件中的一部分適當地執行改變、刪除、用新部件替換以及對限制內容的部分刪除。為了解決上述問題的一部分或全部、或者為了實現本說明書中描述的部分或全部效果，還可以將包括在本發明的一個方面中的部分或全部技術特征與包括在本發明的其它方面中的技術特征進行組合以形成本發明的另一個方面。

例如，本發明的一個方面可以實現為包括四個部件即圖像顯示單元、增強現實處理單元、顏色檢測單元和顏色調整單元中的部分或全部的設備。也就是說，該設備可以包括或者不包括圖像顯示單元。該設備可以包括或者不包括增強現實處理單元。該設備可以包括或者不包括顏色檢測單元。該設備可以包括或者不包括顏色調整單元。該設備可以實現為例如頭戴式顯示設備。該設備還可以實現為頭戴式顯示設備之外的設備。可以將各方面中的頭戴式顯示設備的部分或全部技術特征應用于該設備。例如，本發明的一個方面中的設備具有以下目的：在真實對象的顏色與虛擬對象的顏色疊加的狀態下控制由用戶在視覺上識別的顏色。然而，除此之外，對于設備而言，設備尺寸的減小、便利性的改進、設備制造成本的降低、資源節約、制造便利性等也是期望的。

注意，本發明可以以各種形式實現。本發明可以以例如以下形式實現：頭戴式顯示設備、用于頭戴式顯示設備的控制方法、包括頭戴式顯示設備的系統、用于實現方法、設備和系統的功能的計算機程序、用于分發計算機程序的設備以及存儲有計算機程序的存儲介質。

附圖說明

[圖1]圖1是示出本發明的實施方式中的頭戴式顯示設備的示意性配置的說明圖；

[圖2]圖2是示出頭戴式顯示設備在功能方面的配置的框圖；

[圖3A]圖3A是示出由用戶在視覺上識別的虛擬圖像的示例的說明圖；

[圖3B]圖3B是示出由用戶在視覺上識別的虛擬圖像的示例的說明圖；

[圖4]圖4是用于說明顏色調整處理的過程的流程圖；

[圖5]圖5是用于說明顏色調整處理的示例的圖示；

[圖6]圖6是用于說明顏色調整處理的另一示例的圖示；

[圖7]圖7是示出第二實施方式中的頭戴式顯示設備在功能方面的配置的框圖；

[圖8]圖8是用于說明第二實施方式中的顏色調整處理的圖示；

[圖9]圖9是用于說明顏色轉換處理的過程的流程圖；

[圖10]圖10是示出環境對應關系表的示例的圖示；

[圖11A]圖11A是示出在修改例中的頭戴式顯示設備的外觀的配置的說明圖；

[圖11B]圖11B是示出在修改例中的頭戴式顯示設備的外觀的配置的說明圖。

具體實施方式

A.實施方式

A-1.頭戴式顯示設備的配置

圖1是示出本發明的一個實施方式中的頭戴式顯示設備的示意性配置的說明圖。本實施方式中的頭戴式顯示設備100是被安裝在頭部的顯示設備，也稱為頭戴式顯示器(HMD)。HMD 100是光學透射式頭戴式顯示器，用戶利用HMD 100可以在視覺上識別虛擬圖像，并且同時直接在視覺上識別外部場景。

本實施方式中的HMD 100可以使用HMD 100的CPU來執行用于向“真實對象”添加信息的增強現實(AR)處理，所述“真實對象”是存在于真實世界中的對象。對象可以是指任何人、任何動物或植物、任何物體(包括人造物體和自然物體)等。在增強現實處理中，附加于真實對象而顯示的信息稱為“虛擬對象”。在增強現實處理中，本實施方式中的HMD 100使用戶僅在視覺上識別包括虛擬對象的虛擬圖像。用戶可以通過觀看從HMD 100透射的真實對象和由虛擬圖像所表示的虛擬對象二者來體驗增強現實。在這樣的虛擬現實處理中，本實施方式中的HMD 100可以對通過將真實對象的顏色與虛擬對象的顏色疊加而獲得的顏色進行控制，即對用戶在視覺上識別的顏色(以下還簡稱為“視覺觀察顏色”)進行控制。

注意，本實施方式中的真實對象包括“真實感興趣的對象”和“真實背景對象”二者，“真實感興趣的對象”是用戶所感興趣的對象(即用戶正在看的對象)，“真實背景對象”是用戶不感興趣的對象(例如盡管處于用戶的視場內但用戶沒有在看的對象)。在該實施方式中，包括真實感興趣的對象和真實背景對象二者的真實對象可以是增強現實處理的處理目標。

HMD 100包括圖像顯示單元20以及控制單元(控制器)10，圖像顯示單元20使用戶在用戶頭部安裝有HMD 100的狀態下在視覺上識別虛擬圖像，控制單元10對圖像顯示單元20進行控制。注意，為了方便起見，在以下說明中，使用HMD 100的用戶在視覺上識別的虛擬圖像還被稱為“被顯示圖像”。HMD 100發出基于圖像數據而生成的圖像光還被稱為“對圖像進行顯示”。

A-1-1.圖像顯示單元的配置

圖2是示出HMD 100在功能方面的配置的框圖。圖像顯示單元20是戴在用戶頭部的穿戴體。在本實施方式中，圖像顯示單元20具有眼鏡的形狀(圖1)。圖像顯示單元20包括右保持單元21、右顯示驅動單元22、左保持單元23、左顯示驅動單元24、右光學圖像顯示單元26、左光學圖像顯示單元28、攝相機61和九軸傳感器66。下面將說明在用戶戴著圖像顯示單元20的狀態下圖像顯示單元20中的各單元的位置關系和功能。

如圖1所示，右光學圖像顯示單元26和左光學圖像顯示單元28被設置成分別位于用戶的右眼的前方和左眼的前方。右光學圖像顯示單元26的一端和左光學圖像顯示單元28的一端在與用戶前額的中間對應的位置處連接。如圖2所示，右光學圖像顯示單元26包括右導光板261、右電子遮擋件261s和調光板(未圖示)。右導光板261由透光樹脂材料等形成。右導光板261將從右顯示驅動單元22輸出的圖像光引導到用戶的右眼RE同時沿著預定的光路反射圖像光。

右電子遮擋件261s是在其上以矩陣形狀布置有多個像素的透射式液晶面板。右電子遮擋件261s根據像素單元中的供給電壓的增加或降低來增加或減少從外部引導到用戶的右眼RE的外部光的透射率。在本實施方式的右電子遮擋件261s中，在沒有供給電壓的情況下，外部光的透射率為100％。在供給電壓為最大的狀態下，外部光的透射率為0％(外部光被阻擋)。注意，圖2中的電子遮擋件的設置是示例。僅需要將右電子遮擋件261s設置在右LCD 241與用戶右眼RE之間的光路上。右電子遮擋件261s可以設置在右LCD 241與用戶右眼RE之間的光路以外，使得被并入到從右LCD 24導向右眼RE的光中的外部光通過右電子遮擋件261s增加或減少。調光板是薄的板狀光學設備，并且被設置成覆蓋在圖像顯示單元20的前側(與用戶的眼睛側相對的一側)。調光板保護右導光板261和右電子遮擋件261s，并且抑制例如污漬對右導光板261和右電子遮擋件261s的損壞和附著。通過調整調光板的光透射率，可以調整外部光進入用戶眼睛的量，并且調整在視覺上識別虛擬圖像的容易程度。注意，可以省略調光板。

左光學圖像顯示單元28包括左導光板262、左電子遮擋件262s和調光板(未圖示)。左導光板262、左電子遮擋件262s和調光板的細節與右光學圖像顯示單元26的右導光板261、右電子遮擋件261s和調光板相同。注意，右光學圖像顯示單元26和左光學圖像顯示單元28還被統一簡稱為“光學圖像顯示單元”。右電子遮擋件261s和左電子遮擋件262s還被統一簡稱為“電子遮擋件”。光學圖像顯示單元可以采用任何系統，只要光學圖像顯示單元能在用戶的眼睛前方形成虛擬圖像即可。例如，可以使用衍射光柵來實現光學圖像顯示單元，或者可以使用穿透反射式膜來實現光學圖像顯示單元。

如圖1所示，右保持單元21被設置成從右光學圖像顯示單元26的另一端ER延伸到與用戶的太陽穴區域對應的位置。左保持單元23被設置成從左光學圖像顯示單元28的另一端EL延伸到與用戶的太陽穴區域對應的位置。右保持單元21和左保持單元23像眼鏡的鏡腿一樣將圖像顯示單元20保持在用戶的頭部。注意，右保持單元21和左保持單元23還被統一簡稱為“保持單元”。

如圖1所示，右顯示驅動單元22被設置在右保持單元21的內側(與用戶的頭部相對的一側)。左顯示驅動單元24被設置在左保持單元23的內側。如圖2所示，右顯示驅動單元22包括接收單元(Rx)53、用作光源的右背光(BL)221和右背光(BL)控制單元201、用作顯示設備的右LCD液晶顯示器)241和右LCD(控制單元211、以及右投影光學系統251。注意，右背光控制單元201、右LCD控制單元211、右背光221和右LCD 241還被統稱為“圖像光生成單元”。

接收單元53用作用于控制單元10與圖像顯示單元20之間的串行傳輸的接收器。右背光控制單元201基于輸入控制信號來驅動右背光221。右背光221是發光體，諸如LED(發光二極管)或電致發光(EL)器件。右LCD控制單元221基于時鐘信號PCLK、垂直同步信號VSync、水平同步信號HSync、經由接收單元53輸入的用于右眼的圖像數據Data來驅動右LCD 241。右LCD 241是在其上以矩陣形狀布置有多個像素的透射式液晶面板。右投影光學系統251是用于將從右LCD 241射出的圖像光變成平行狀態的光束的準直透鏡。

左顯示驅動單元24包括接收單元(Rx)54、用作光源的左背光(BL)222和左背光(BL)控制單元202、用作顯示設備的左LCD 242和左LCD控制單元212、以及左投影光學系統252。這些部件的細節與右顯示驅動單元22的對應部件相同。注意，右顯示驅動單元22和左顯示驅動單元24還被統一簡稱為“顯示驅動單元”。

如圖1所示，攝相機61被設置在與用戶右眼的外眼角的上部對應的位置處。在安裝有HMD 100的狀態下，攝相機61拍攝圖像顯示單元20前方的圖像，也就是說在用戶視場方向上的外部場景(外部的場景)的圖像，并且獲取外部場景圖像。攝相機61是所謂的可見光攝相機。因此，外部場景圖像是利用從對象輻射的可見光來表示對象形狀的圖像。本實施方式中的攝相機61是單目攝相機。然而，也可采用所謂的立體攝相機。攝相機61用作“顏色檢測單元”。

如圖1所示，九軸傳感器66被設置在與用戶右側的鏡腿對應的位置處。九軸傳感器66是用于檢測加速度(三軸)、角速度(三軸)和地磁(三軸)的運動傳感器。由于九軸傳感器66設置在圖像顯示單元20中，因此當用戶頭上戴有圖像顯示單元20時，九軸傳感器66用作檢測頭戴式顯示器100的用戶的頭部運動的運動檢測單元。頭部運動包括頭部的速度、加速度、角速度、方向和方向的改變。

如圖1所示，圖像顯示單元20包括用于將圖像顯示單元20連接至控制單元10的連接單元40。連接單元40包括：連接至控制單元10的主體線48、從主體線48分支的右線42和左線44以及設置在分支點處的耦接構件46。耦接構件46中設置有用于連接耳機插頭30的插孔。右耳機32和左耳機34從耳機插頭30延伸。圖像顯示單元20和控制單元10經由連接單元40執行各種信號的傳輸。作為連接單元40的線，可以采用例如金屬線纜和光纖。

A-1-2.控制單元的配置

控制單元10是用于控制HMD 100的設備。如圖1所示，控制單元10包括：確定鍵11、照明單元12、顯示切換鍵13、觸控板14、亮度切換鍵15、方向鍵16、菜單鍵17和電源開關18。確定鍵11對按壓操作進行檢測并且輸出用于確定控制單元10中的工作內容的信號。照明單元12通過例如LED來實現，并且利用LED的發光狀態來通知HMD 100的工作狀態(例如光源的接通/斷開)。顯示切換鍵13對按壓操作進行檢測，并且輸入例如用于將內容移動圖像的顯示模式切換為3D和2D的信號。

觸控板14檢測用戶的手指在觸控板14的操作表面上進行的操作，并且輸出與檢測到的內容對應的信號。作為觸控板14，可以采用各種類型，諸如靜電型、壓力型和光學型。亮度切換鍵15對按壓操作進行檢測并且輸出用于增加或減少圖像顯示單元20的亮度的信號。方向鍵16檢測鍵上的與上、下、左和右方向對應的按壓操作，并且輸出與檢測到的內容對應的信號。電源開關18檢測開關的滑動操作，以切換HMD 100的電源狀態。

如圖2所示，控制單元10包括：輸入信息獲取單元110、存儲單元120、電源130、無線電通信單元132、GPS模塊134、CPU 140、接口180、發送單元(Tx)51和發送單元(Tx)52。各單元之間通過未示出的總線相互連接。

輸入信息獲取單元110獲取與確定鍵11、顯示切換鍵13、觸控板14、亮度切換鍵15、方向鍵16、菜單鍵17和電源開關18的操作輸入對應的信號。輸入信息獲取單元110可以獲取通過除上述操作輸入之外的各種方法實現的操作輸入。例如，輸入信息獲取單元110可以獲取通過腳踏開關(通過用戶的腳來操作的開關)而實現的操作輸入。例如，輸入信息獲取單元110可以獲取通過視線檢測單元(未圖示)檢測到的用戶的視線以及通過與眼睛的移動相關聯的命令而實現的操作輸入。命令可以被設置成能夠由用戶來添加。例如，可以使用攝相機61來檢測用戶姿態。可以獲取通過與該姿態相關聯的命令所實現的操作輸入。在姿態檢測中，可以使用用戶的指尖、用戶手上戴的戒指、用戶持有的醫療儀器等作為用于運動檢測的標記。如果可以獲取通過這些方法所實現的操作輸入，則即使在用戶難以解放雙手的工作中，輸入信息獲取單元110也可以獲取來自用戶的操作輸入。

存儲單元120通過ROM、RAM、DRAM、硬盤等來被配置。存儲單元120中存儲有各種計算機程序，諸如操作系統(OS)。在存儲單元120中存儲有色度參考122。

在色度參考122中，預先存儲作為在下面說明的顏色調整處理中使用的色度參考的值。在本實施方式中，使用RGB顏色空間或HSB顏色空間中的“S值”作為色度參考。色度參考122的值用來適當地使用控制視覺觀察顏色的方法。注意，色度參考122的值能夠由用戶適當地改變。

電源130向HMD 100的各單元提供電力。作為電源130，例如可以使用二次電池。

無線電通信單元132根據預定的無線電通信標準與外部裝置進行無線電通信。預定的無線電通信標準例如是以紅外線和藍牙(注冊商標)為示例的短距離無線電通信，或者以IEEE802.11為示例的無線LAN。

GPS模塊134接收來自GPS衛星的信號從而檢測HMD 100的用戶的當前位置，并且生成表示用戶當前位置信息的當前位置信息。當前位置信息可以通過例如表示經度和緯度的坐標來實現。

CPU 140讀取并執行被存儲在存儲單元120中的計算機程序，從而用作增強現實處理單元142、顏色調整單元144、OS 150、圖像處理單元160、聲音處理單元170和顯示控制單元190。

增強現實處理單元142執行增強現實處理。增強現實處理是用于向實際存在于真實世界中的真實對象添加虛擬對象并且顯示虛擬對象的處理。增強現實處理包括下面說明的過程a1至a6。

(a1)增強現實處理單元142獲取由攝相機61拍攝的外部場景圖像。

(a2)增強現實處理單元142從在過程a1中獲取的外部場景圖像所包括的真實對象之中指定一個真實對象集作為虛擬對象的添加目標(以下還稱為“目標對象”)。

(a3)增強現實處理單元142獲取目標對象關于HMD 100的位置以及目標對象與HMD 100之間的距離。在獲取位置和距離時，增強現實處理單元142可以使用通過立體攝相機獲取的兩個或更多個外部場景圖像來計算位置和距離。增強現實處理單元142可以使用未示出的各種傳感器(例如深度傳感器和測距傳感器)來計算位置和距離。

(a4)增強現實處理單元142獲取或生成表示虛擬對象的圖像、字符、圖形符號等。增強現實處理單元142可以將虛擬對象預先存儲在存儲單元120中，或者可以經由網絡從連接至HMD 100的另一設備獲取虛擬對象。

(a5)增強現實處理單元142生成附加圖像數據，在該附加圖像數據中，過程a4中的虛擬對象是按照在過程a3中獲取的目標對象的位置和距離來布置的，并且在其他單元中布置成黑色。在該對準中，增強現實處理單元142可以使用目標對象的特征或特性部分(邊緣等)，或者可以使用標記，諸如附加到目標對象的標記。在布置虛擬對象時，增強現實處理單元142可以對虛擬對象應用圖像處理，諸如放大、縮小、旋轉或顏色轉換。

(a6)增強現實處理單元142將附加圖像數據發送至圖像處理單元160。圖像處理單元160對接收到的附加圖像數據執行下面說明的顯示處理。

顏色調整單元144執行用于控制視覺觀察顏色的顏色調整處理。顏色調整處理是在過程a5和過程a6之間執行的處理，作為增強現實處理的子例程。下面將對顏色調整處理的細節進行說明。

圖像處理單元160執行用于圖像顯示的信號處理。具體地，當內容(視頻)經由接口180或無線電通信單元132被輸入時，圖像處理單元160基于該內容生成圖像數據Data。當從HMD 100的另一功能單元接收到圖像數據時，圖像處理單元160將接收到的圖像數據設置為圖像數據Data。注意，圖像處理單元160可以對圖像數據Data執行圖像處理，諸如分辨率轉換處理、各種類型的色調校正處理諸如亮度和色度調整、以及梯形失真校正處理。圖像處理單元160經由發送單元51和發送單元52向圖像顯示單元20發送圖像數據Data、時鐘信號PCLK、垂直同步信號VSync和水平同步信號HSync。

顯示控制單元190生成用于控制右顯示驅動單元22和左顯示驅動單元24的控制信號。具體地，顯示控制單元190使用控制信號通過右LCD控制單元211和左LCD控制單元212分別控制右LCD 241和左LCD242的驅動的接通/斷開、通過右背光控制單元201和左背光控制單元202分別控制右背光221和左背光222的驅動的接通/斷開，從而通過右顯示驅動單元22和左顯示驅動單元24控制圖像光的生成和發射。顯示控制單元190經由發送單元51和發送單元52將控制信號發送至圖像顯示單元20。

聲音處理單元170獲取包括在內容中的聲音信號、放大所獲取的聲音信號并且將經放大的聲音信號提供給右耳機32的未示出的揚聲器和左耳機34的未示出的揚聲器。

接口180根據預定的有線通信標準與外部裝置OA進行通信。預定的有線通信標準例如是Micro USB(通用串行總線)、USB、HDMI(高清晰度多媒體接口；HDMI是注冊商標)、DVI(數字視頻接口)、VGA(視頻圖像陣列)、復合視頻端子(composite)、RS-232C(推薦標準232)或以IEEE802.3為示例的有線LAN。作為外部裝置OA，可以使用例如個人計算機PC、蜂窩電話終端和游戲終端。

圖3A和圖3B是示出用戶在視覺上識別的虛擬圖像的示例的說明圖。圖3A示出在未執行增強現實處理時獲得的用戶視場VR。如上所述，被引導至HMD 100的用戶雙眼的圖像光聚焦在用戶的視網膜上，由此用戶在視覺上識別虛擬圖像VI。在圖3A所示的示例中，虛擬圖像VI是HMD 100的OS 150的待機畫面。用戶通過右光學圖像顯示單元26和左光學圖像顯示單元28在視覺上識別外部場景SC。以這種方式，在虛擬圖像VI被顯示在視場VR中的部分中，在該實施方式中的HMD 100的用戶可以觀看到虛擬圖像VI以及該虛擬圖像后方的外部場景SC。在虛擬圖像VI未被顯示在視場VR中的單元中，用戶可以通過光學圖像顯示單元直接觀看到外部場景SC。

圖3B示出在執行增強現實處理時所獲得的用戶視場VR。通過執行增強現實處理，用戶在視覺上識別包括虛擬對象VO的虛擬圖像VI。虛擬對象VO是被布置成與外部場景SC中的山腳交疊的蘋果的圖像。以這種方式，用戶可以通過觀看到包括在虛擬圖像VI中的虛擬對象VO以及穿過虛擬圖像VI看到后面的外部場景SC中的真實對象二者來體驗增強現實。

A-2.顏色調整處理

顏色調整處理是用于在增強現實處理期間控制視覺觀察顏色的處理。視覺觀察顏色是指將真實對象的顏色與虛擬對象的顏色疊加而得到的顏色，換言之，是用戶實際在視覺上識別的顏色。顏色調整處理在增強現實處理的過程a5和過程a6之間執行，作為增強現實處理的子例程。注意，在下面說明的顏色調整處理中，使用RGB顏色空間中的“RGB值”或HSB顏色空間中的“HSB值”來指定“顏色”。也就是說，在該實施方式中的“顏色”包括色相、色度和亮度。

圖4是用于說明顏色調整處理的過程的流程圖。圖5是用于說明顏色調整處理的示例的圖示。在圖5所示的示例中，在汽車經銷商中，用戶UR在確定要訂購的汽車的車身顏色時使用增強現實處理。圖6是用于說明顏色調整處理的另一示例的圖示。在圖6所示的示例中，在汽車經銷商中，用戶UR在確定給要訂購的汽車添加的配件時使用增強現實處理。

在顏色調整處理(圖4)的步驟S100中，顏色調整單元144獲取虛擬對象。具體地，顏色調整單元144從增強現實處理單元獲取包括虛擬圖像的附加圖像數據。附加圖像數據是在增強現實處理的過程a5中生成的數據。顏色調整單元144使用諸如特征部分提取(邊緣提取)這樣的方法從所獲取的附加圖像數據中提取虛擬對象。

在圖5所示的示例中，顏色調整單元144從增強現實處理單元142獲取附加圖像數據Data1，并且提取表示車身的虛擬對象VO1。在圖6所示的示例中，顏色調整單元144從增強現實處理單元142獲取附加圖像數據Data2，并且提取表示前擾流板的虛擬對象VO2。

在圖4所示的步驟S102中，顏色調整單元144從外部場景圖像中獲取目標對象。目標對象是要向其添加虛擬對象的真實對象。具體地，顏色調整單元144使攝相機61拍攝外部場景圖像并且從攝相機61獲取外部場景圖像。顏色調整單元144使用諸如特征部分提取(邊緣提取)這樣的方法從所獲取的外部場景圖像中提取目標對象。

在圖5所示的示例中，顏色調整單元144從攝相機61獲取外部場景圖像IM1并且提取表示汽車的目標對象(真實對象)FO。類似地，在圖6所示的示例中，顏色調整單元144從攝相機61獲取外部場景圖像IM2并且提取表示汽車的目標對象FO。

在圖4的步驟S104中，顏色調整單元144將在顏色調整處理中使用的變量x和變量y設置為1。變量x和變量y二者用來指定一個像素。

在步驟S106中，顏色調整單元144確定虛擬對象的(x,y)像素的目標顏色。根據使用增強現實處理的場景并且依據下面說明的參考b1和參考b2中的一個來確定目標顏色。

(b1)目錄顏色

在不考慮目標對象所處的真實環境(特別是光環境)的情況下決定目標顏色。顏色調整單元144可以直接將在步驟S100中提取的虛擬對象的(x,y)像素的顏色設置為目標顏色，或者可以直接將用戶指定的顏色設置為目標顏色。注意，虛擬對象的(x,y)像素的顏色是虛擬對象的原始顏色、用于表示虛擬對象的紋理的顏色、用于表示照射到虛擬對象上的光的顏色和用于表示在虛擬對象中產生的陰影的顏色中的任一種顏色。因此，例如，即使虛擬對象是“紅色汽車”，虛擬對象的(x,y)像素的顏色根據x和y的值(根據像素的位置)也可以是各種顏色，例如紅色、白色、棕色。當用戶希望用虛擬對象替換目標對象的至少一部分時，期望采用參考b1。用戶例如在模擬如圖5所示的經銷商中的車體顏色的情況下、或者在模擬房屋展示場所中的墻紙和地板材料的情況下期望替換目標的至少一部分。

(b2)匹配顏色

在考慮到目標對象所處的真實環境(特別是光環境)的情況下決定目標顏色(例如，目標顏色可以與真實環境匹配或者可以在真實環境中顯眼)。具體地，顏色調整單元144可以根據下面說明的方法b2-1或方法b2-2來決定目標顏色。在用戶希望向目標對象添加虛擬對象時，期望采用參考b2。用戶在例如模擬如圖6所示的經銷商中的配件的情況下、或者在模擬房屋展示場所中的家具的情況下期望添加虛擬對象。

(b2-1)顏色調整單元144計算在步驟S102中獲取的目標對象(真實對象)的顏色的統計顏色(例如中間顏色或平均顏色)。顏色調整單元144將計算出的統計顏色設置為目標顏色。

(b2-2)顏色調整單元144對在步驟S102中獲取的外部場景圖像進行圖像識別，從而收集目標對象(真實對象)的各區域的亮度信息(與陰影區域有關的信息、與鏡面反射有關的信息、與漫反射有關的信息等)。顏色調整單元144基于所收集的亮度信息來確定要被添加到虛擬對象上的光源類型(點光源、聚光燈、平行光源、環境光、天光、IBL等)、光源的色溫、光源的強度等中的至少一個。顏色調整單元144將具有確定的類型、色溫、強度等的光源與在步驟S100中獲取的虛擬對象進行組合。顏色調整單元144在組合光源之后將虛擬對象的(x,y)像素的顏色設置為目標顏色。

注意，在步驟S106中，可以經由網絡將用戶指定為虛擬對象的原始顏色的顏色存儲在另一設備的存儲設備中。存儲在另一設備中的顏色可以用于各種用途。例如，存儲在另一設備中的顏色可以用于具有用戶所指定顏色的產品(例如汽車或墻紙和地板材料)的訂購和制造，或者可以用于進行掌握用戶品味的分析。

在圖4的步驟S108中，顏色調整單元144獲取目標對象的(x,y)像素的真實對象顏色。真實對象顏色是目標對象(要向其添加虛擬對象的真實對象)的真實顏色。具體地，顏色調整單元144獲取在步驟S102中獲取的目標對象的(x,y)像素的顏色作為真實對象顏色。以這種方式，在本實施方式中，將通過攝相機61拍攝的外部場景圖像中的目標對象的顏色視為真實對象顏色。因此，可以使用普遍使用的攝相機61作為標準功能來檢測真實對象顏色。

在步驟S110中，顏色調整單元144確定在步驟S108中獲取的目標對象的(x,y)像素的真實對象顏色的色度(S值)是否等于或高于存儲在色度參考122中的參考(S值)。當真實對象顏色的色度等于或高于色度參考122時(步驟S110中為是)，在步驟S112及隨后步驟的處理中，顏色調整單元144使用電子遮擋件來改變外部場景的透明度以控制視覺觀察顏色。另一方面，當真實對象顏色的色度低于色度參考122時(步驟S110中為否)，在步驟S118中的處理中，顏色調整單元144調整虛擬對象的顏色以控制視覺觀察顏色。

以上對通過使用電子遮擋件來改變外部場景的透明度從而控制視覺觀察顏色進行了說明。在圖4的步驟S112中，顏色調整單元144在與目標對象的(x,y)像素對應的單元中打開電子遮擋件。具體地，顏色調整單元114將電壓提供給圖2所示的光電子遮擋件261s的與目標對象的(x,y)像素對應的像素和圖2所示的左電子遮擋件262s與目標對象的(x,y)像素對應的像素，以減少外部光在該像素單元中的透射率。在這種情況下，顏色調整單元144可以將提供給電子遮擋件的供給電壓設置成最大(100％)并且阻擋外部光。從而，簡化了顏色調整單元144中的控制。顏色調整單元144可以與目標對象的(x,y)像素的色度成比例地、在1％到100％的范圍內調整提供給電子遮擋件的供給電壓以阻擋至少一部分外部光。從而，顏色調整單元144可以精細地控制視覺觀察顏色。

在步驟S114中，顏色調整單元144不做改變并且保持虛擬對象的(x,y)像素的CG顏色。CG顏色是包括在圖像數據中的虛擬對象的顏色。

以上對通過調整虛擬對象的顏色來控制視覺觀察顏色進行了說明。在圖4的步驟S118中，當對真實對象顏色i和CG顏色ii進行加色混合時，顏色調整單元114計算作為(或接近)目標顏色iii的顏色。顏色調整單元144將虛擬對象的(x,y)像素的CG顏色改變成計算出的顏色。

(i)在步驟S108中獲取的目標對象的(x,y)像素的真實對象顏色

(ii)CG顏色

(iii)在步驟S106中確定的虛擬對象的(x,y)像素的目標顏色

在圖4的步驟S116中，顏色調整單元144控制用于將處理推進到下一個像素的變量。具體地，當變量x不是虛擬對象的最終像素時，顏色調整單元144遞增變量x并且將處理移至步驟S106。從而，處理目標移至右側的像素。當變量x是最終像素而變量y不是最終像素時，顏色調整單元144遞增變量y，將變量x設置為1，并且將處理移至步驟S106。從而，處理目標移至緊接著的像素行。當變量x和變量y都是最終像素時，顏色調整單元144結束處理并且在調整CG顏色之后將包括虛擬對象的附加圖像數據發送到增強現實處理單元142。之后，顏色調整單元144結束處理。

作為圖4所示的顏色調整處理的結果，如圖5和圖6所示，用戶UR在視覺上識別處于視場VR中的、包括其CG顏色已調整的虛擬對象VO1和VO2的虛擬圖像V1。用戶UR在視覺上識別通過圖像顯示單元20透射的外部場景SC中的真實對象FO(目標對象)。圖5所示的虛擬對象VO1被顯示成疊加在真實對象FO的車身單元的整個區域上。因此，用戶UR可以觀看好像汽車的顏色已經改變了一樣的圖像。圖6所示的虛擬對象VO2的一部分被顯示成疊加在真實對象FO的車身的下部上。因此，用戶UR可以觀看好像給汽車添加了前擾流板的圖像。

如上所述，在顏色調整處理中，顏色調整單元144可以使用由顏色檢測單元(攝相機61)所檢測到的真實對象顏色來控制視覺觀察顏色，視覺觀察顏色是通過將真實對象FO的顏色(真實對象顏色)與虛擬對象VO的顏色(CG顏色)疊加而獲得的顏色，換言之，視覺觀察顏色是用戶在視覺上識別的顏色。因此，本實施方式中的頭戴式顯示設備(HMD 100)可以在圖5和圖6所示的各種場景中在考慮實際外觀的情況下為用戶UR執行更合適的顏色表示。

此外，在步驟S110及隨后步驟中的顏色調整處理中，顏色調整單元144根據真實對象顏色的色度(亮度)來適當地區分是通過改變外部場景SC的透明度來控制視覺觀察顏色還是通過調整虛擬對象VO的顏色來控制視覺觀察顏色。當真實對象顏色的色度高(真實對象顏色亮)時，有效的措施例如是通過減少外部場景SC的透明度來突出虛擬對象VO的顏色使得明亮的真實對象顏色本身更不易被用戶看到。另一方面，當真實對象顏色的色度低(真實對象顏色暗)時，如果通過利用加色混合對虛擬對象VO的顏色進行調整而獲得調色顏色，則可以擴展可表現的色域。由于可以進行精細顏色再現，因此以這種方式可以有效地改進顏色的分辨率。因此，顏色調整單元144可以根據真實對象顏色的色調適當地使用更合適方法來控制視覺觀察顏色。

此外，在顏色調整處理中，顏色調整單元144針對虛擬對象VO的每個像素來執行對視覺觀察顏色的控制。

因此，可以容易地執行對視覺觀察顏色的控制。即使當虛擬對象VO中混合有多個顏色時，也可以對視覺觀察顏色進行控制。注意，除了虛擬對象VO具有多個原始顏色(例如具有藍色主體和白帆的游艇)的情況以外，也在虛擬對象的原始顏色、用于表示虛擬對象的紋理的顏色、用于表示照射到虛擬對象上的光的顏色和用于表示在虛擬對象中產生的陰影的顏色被混合在一個虛擬對象VO中的情況下(例如紅色汽車的前擾流板)，在虛擬對象VO中混合有多個顏色。

A-3.顏色調整處理的變型

注意，在顏色調整處理(圖4)中，可以將下面說明的變型1至變型3應用于顏色調整處理(圖4)。可以獨立地或組合地采用變型1至變型3。

A-3-1.變型1

在變型1中，省略了根據真實對象顏色的色度對視覺觀察顏色的控制。

在一個示例中，顏色調整單元144在不需要考慮真實對象顏色的色度的情況下、通過使用電子遮擋件均勻地改變外部場景的透明度來控制視覺觀察顏色。具體地，只需省略圖4中的步驟S110和步驟S118。從而，可以通過改變圖像顯示單元20中的外部場景SC的透明度來使視覺觀察顏色接近目標顏色。因此，可以在頭戴式顯示設備(HMD 100)中對視覺觀察顏色進行控制而無需專門的圖像處理。

在另一示例中，顏色調整單元144在不需要考慮真實對象顏色的色度的情況下通過均勻地調整虛擬對象的顏色來控制視覺觀察顏色。具體地，只需省略圖4中的步驟S110、步驟S112和步驟S114。從而，可以通過調整虛擬對象VO的顏色(CG顏色)來使視覺觀察顏色接近目標顏色。因此，可以在不向包括在頭戴式顯示設備(HMD 100)中的現有部件添加專用部件(右電子遮擋件261s和左電子遮擋件262s)的情況下對視覺觀察顏色進行控制。

A-3-2.變型2

在變型2中，針對虛擬對象VO的每個像素塊來執行對視覺觀察顏色的控制。像素塊是虛擬對象VO的像素之中的相鄰的n*m(n和m是等于或大于2的整數)個像素的集合。“相鄰的像素”是指彼此鄰接的多個像素。

在圖4的步驟S104中，顏色調整單元144將在顏色調整處理中使用的變量x和變量y設置為2。變量x和變量y二者都用于指定由3×3個像素所構成的像素塊。

在對步驟S106、步驟S108和步驟S112進行的說明中，將表述“(x,y)像素”替換成“以(x,y)像素為中心的像素塊”。將表述“(x,y)像素的顏色”替換成“以(x,y)像素為中心的像素塊的顏色”。顏色調整單元144可以根據構成像素塊的像素的統計顏色(例如中間顏色或平均顏色)來計算像素塊的顏色。

在對步驟S116的說明中，將表述“增量”替換成“原始值加3”。將表述“將變量x設置為1”替換成“將變量x設置為2”。

注意，在上面說明的示例中，采用了由n＝3和m＝3的3*3個像素構成的像素塊。然而，可以可選地決定n和m的值。n的值可以設置為與m的值不同的值。

根據變型2，由于顏色調整單元144針對虛擬對象VO的每個像素塊執行視覺觀察顏色的控制，因此可以抑制對視覺觀察顏色的控制的結果對于每個像素的波動。即使在虛擬對象VO中混合有多個顏色的情況下，也可以對視覺觀察顏色進行控制。

A-3-3.變型3

在變型3中，執行顯示系統的對準(校準)。

在HMD 100中，對由光學圖像顯示單元(左顯示驅動單元24和右光學圖像顯示單元26)、攝相機61和普通用戶的眼睛所構造的顯示系統進行對準。在變型3中，可以根據HMD 100的用戶的個體差異以及HMD 100的個體差異來改變該指定對準的內容。具體地，CPU 140執行下面說明的過程c1和過程c2。從改進對準精度的角度出發，期望以組合的方式執行過程c1和過程c2，并且以先過程c1然后過程c2的順序執行。然而，可以獨立地執行過程c1和過程c2。

(c1)調整用戶的瞳孔間距

CPU 140使右LCD 241和左LCD 242顯示相同的用于校準的第一圖像。在本實施方式中，顯示器為無窮大。這時，CPU 140通過用戶接口(例如，觸控板14)的操作而使顯示在左LCD和右LCD之一上的用于校準的第一圖像的位置移動。用戶對用戶接口進行操作以對準用于校準的左第一圖像和右第一圖像的位置。之后，用戶對用戶接口(例如確定鍵11)進行操作以通知CPU 140已決定位置。

當被通知已決定位置時，CPU 140將右LCD 241上的用于校準的第一圖像的位置和左LCD 242上的用于校準的第一圖像的位置發送至圖像處理單元160。圖像處理單元160通過參照右LCD 241上的用于校準的第一圖像的位置來調整右LCD 241上的圖像的顯示范圍。類似地，圖像處理單元160通過參照左LCD 242上的用于校準的第一圖像的位置來調整左LCD 242上的圖像的顯示范圍。

(c2)由用戶來對準用于校準的圖像與真實對象

CPU 140在使右LCD 241和左LCD 242顯示用于校準的第二圖像的同時，經由攝相機61識別與用于校準的第二圖像對應的真實對象(例如，二維標記)。這時，CPU 140追蹤真實對象相對于攝相機61(或光學顯示單元)的姿勢和位置。CPU 140使顯示在左LCD和右LCD上的用于校準的第二圖像的位置通過用戶接口(例如觸控板14)的操作而相互關聯地移動。在這種情況下，當沒有用戶操作時，可以根據真實對象的軌跡來改變所顯示的用于校準的第二圖像的姿勢和位置。注意，當執行過程c1時，用于對準的第二圖像的顯示范圍是在通過過程c1進行調整之后的范圍。當不執行過程c1時，用于校準的第二圖像的顯示范圍為默認范圍。用戶在用戶覺察到在視覺上識別為虛擬圖像的用于校準的左圖像和右圖像與通過光學圖像顯示單元在視覺上識別的真實對象交疊(位置、大小和方向中的至少一個基本上相互一致)的情況下，對用戶接口(例如確定鍵11)進行操作。用戶通知CPU 140已決定位置。

當被通知已決定位置時，CPU 140獲取真實對象在通過攝相機61的圖像拍攝而獲得圖像(外部場景圖像)中的位置、在右LCD 241上的用于校準的第二圖像的位置和在左LCD 242上的用于校準的第二圖像的位置。CPU 140基于與所獲取的位置有關的信息對攝相機61的圖像拍攝范圍以及圖像在右LCD 241和左LCD 242上的顯示范圍進行調整。注意，在過程c2中，用于校準的第二圖像可以在LCD 241和LCD 242上移動。然而，用于校準的第二圖像可以以固定姿勢和固定位置顯示。在后一種情況下，用戶只需要相對于真實對象移動使得用戶覺察到用于校準的第二圖像與真實對象交疊即可。

根據變形3中的過程c1，CPU 140可以對主要對應于用戶的個體差異的顯示系統執行對準。根據變形3中的過程c2，CPU 140可以對主要對應于HMD 100的個體差異的顯示系統執行對準。作為對準的結果，CPU 140可以在增強現實處理中更準確地對準真實對象的位置與虛擬對象的位置。注意，用于校準的第一圖像和用于校準的第二圖像可以是相同的或者可以是不同的。

B.第二實施方式

在本發明的第二實施方式中，在顏色調整處理中，在考慮除了真實光環境之外的虛擬光環境的情況下改變視覺觀察顏色。在下面的說明中，僅說明具有與第一實施方式中的部件不同的部件的單元和與第一實施方式中的操作不同的執行操作。注意，在附圖中，與第一實施方式中的部件和操作相同的部件和操作是用與上面說明的第一實施方式中的附圖標記相同的附圖標記來表示的，并且省略對這些部件和操作的詳細說明。也就是說，下面未說明的部件和操作與第一實施方式中的部件和操作相同。

B-1.頭戴式顯示設備的配置

圖7是示出第二實施方式中的HMD 100a在功能方面的配置的框圖。HMD 100a包括控制單元10a以替代控制單元10。控制單元10a包括顏色調整單元144a以替代顏色調整單元144并且包括存儲單元120a以替代存儲單元120。在顏色調整單元144a中，顏色調整處理中的一部分處理內容與第一實施方式中的處理內容不同。

存儲單元120a除了色度參考122之外還包括環境對應關系表124和預設置組126。在環境對應關系表124中存儲有用于指定多個預設置(預設置組126)中的一個預設置的信息。預設置組126由多個預設置構成。在相應的預設置中存儲有用于使附加圖像數據進行顏色轉換的信息。用于執行顏色轉換的信息包括例如用于白平衡調整的信息(具體地，例如，每個RGB的色調曲線的調整內容、色溫的調整內容、顏色偏差的調整內容中的至少一部分)。

B-2.顏色調整處理

圖8是用于說明第二實施方式中的顏色調整處理的圖示。在第一實施方式的顏色調整處理中，在不考慮目標對象所處的真實光環境的情況下(圖4的步驟S106，b1：目錄顏色)或者在考慮真實光環境的情況下(圖4的步驟S106，b2：匹配顏色)，對視覺觀察顏色進行控制(圖8中的虛線框)。在第二實施方式中，可以在進一步考慮除了這種真實光環境之外的虛擬光環境的情況下改變視覺觀察顏色。注意，“真實光環境”是指顏色調整處理的目標對象所處的真實光環境。“虛擬光環境”是指HMD 100a的用戶在視覺上識別的虛擬光環境。

當考慮虛擬光環境時，在圖4所示的顏色調整處理的步驟S116中，顏色調整單元144a在將附加圖像數據發送到增強現實處理單元142之前進行下面說明的顏色轉換處理(圖8中的實線框)。另一方面，當不考慮虛擬光環境時，顏色調整單元144a直接執行圖4所示的顏色調整處理(圖8中的虛線框)。因此，顏色調整單元144a可以執行圖8所示的四種處理模式。注意，顏色調整單元144a可以例如通過參照被預先存儲在存儲單元120a中的設置的內容來確定是否考慮虛擬光環境。設置內容可由用戶改變。

B-2-1.顏色轉換處理

圖9是用于說明顏色轉換處理的過程的流程圖。顏色轉換處理是用于在考慮虛擬光環境的情況下通過使附加圖像數據進行顏色轉換來改變視覺觀察顏色的處理。在步驟S200中，顏色調整單元144a獲取目標對象所處的真實光環境。顏色調整單元144a可以例如使用與顏色調整處理(圖4)的步驟S106中的參考b2-2相同的方法來獲取真實光環境。

在步驟S202中，顏色調整單元144a獲取虛擬光環境。可以通過例如參照被預先存儲在存儲單元120a中的設置的內容來確定虛擬光環境。設置內容可由用戶改變。

在步驟S204中，顏色調整單元144a通過參照環境對應關系表124來獲取應該采用的預設置。

圖10是示出環境對應關系表124的示例的圖示。在環境對應關系表124中，為了實現虛擬光環境，與虛擬光環境和真實光環境相關聯地存儲根據真實光環境應該采用的當前的標識符。在圖10所示的示例中，環境對應關系表124指示例如為了實現虛擬光環境“熒光燈”，在真實光環境是“熒光燈”時不采用預設置，在真實光環境是“白熾燈”時采用預設置3，以及在真實光環境是“太陽光”時采用預設置5。這同樣適用于虛擬光環境“白熾燈”和“太陽光”。因此，省略與虛擬光環境“白熾燈”和“太陽光”有關的說明。在本實施方式中，日光的顏色被假定為熒光燈并且晴天的太陽光被假定為太陽光。注意，在圖10所示的示例中，示出光源的類型作為光環境的示例。然而，作為光環境，例如可以采用場景類元素，諸如晨光和晚霞。

在圖9的步驟S204中，顏色調整單元144a使用在步驟S200中獲取的真實光環境和在步驟S202中獲取的虛擬光環境作為關鍵值通過環境對應關系表124進行搜索，并且獲取預設置的標識符。顏色調整單元144a從預設置組126中獲取具有所獲取的標識符的當前。

在步驟S206中，顏色調整單元144a將在步驟S204中獲取的預設集置應用于附加圖像數據的所有像素(這意味著包括黑色單元的所有像素)。因此，將預先存儲在預設置中的每個RGB的色調曲曲線的調整、色溫的調整、顏色偏差的調整等應用于整個附加圖像數數據。例如，在采用預設置5(在真實光環境是太陽光并且虛擬光環境是熒光燈時采用的預設置)的情況下，向整個附加圖像數據應用例如用于將色溫設置為4000K并且提升B的色調曲線的調整。通過使包括虛擬對象的整個附加圖像數據以該這種方式進行顏色轉換，顏色調整單元144a可以在考慮虛擬光環境的情況下改變視覺觀察顏色。因此，在本實施方式的頭戴式顯示設備(HMD 100a)中，增加了視覺觀察顏色的再現范圍。可以為用戶改進便利性。

注意，在上面說明的顏色轉換處理中，通過附加圖像數據的顏色轉換實現了在考慮虛擬光環境的情況下對視覺觀察顏色進行控制。然而，通過使用電子遮擋件而不使用附加圖像數據的顏色轉換、或者在附加圖像數據的顏色轉換之外還使用電子遮擋件，顏色調整單元144a可以在考慮到虛擬光環境的情況下對視覺觀察顏色進行改變。在這種情況下，可以將控制內容(例如提供給電子遮擋件的供給電壓的調整內容)存儲在例如預設置中。

B-3.顏色調整處理的變型

在第二實施方式的顏色調整處理中，可以采用變型1至變型3。可以獨立地或組合地采用變型1至變型3。

C.修改例

在本實施方式中，由硬件實現的一部分部件可以替換成軟件。相反地，由軟件實現的一部分部件可以替換成硬件。此外，下面說明的修改例也是可行的。

修改例1

在本實施方式中，示出了HMD的配置。然而，在不背離本發明的精神的情況下，可以可選地設置HMD的配置。例如可以執行對各部件的添加、刪除、轉換等。

控制單元和圖像顯示單元的部件分配僅是示例。可以采用各種形式的分配。例如，可以采用下面說明的形式。

(i)在控制單元上安裝處理功能，諸如CPU和存儲器，并且在圖像顯示單元上僅安裝顯示功能

(ii)在控制單元和圖像顯示單元二者上都安裝處理功能，諸如CPU和存儲器

(iii)整合控制單元與圖像顯示單元(例如，控制單元包含于圖像顯示單元中并且用作眼鏡型可穿戴計算機)

(iv)使用智能電話或者便攜式游戲機以替代控制單元

(v)將控制單元和圖像顯示單元經由無線信號傳輸線連接，諸如無線LAN、紅外通信或藍牙，并且移除連接單元(線)。注意，在這種情況下，可以對控制單元或圖像顯示單元進行無線電力供應。

例如，可以可選地改變在本實施方式中示出的控制單元和圖像顯示單元的配置。具體地，例如，控制單元的發送單元(Tx)和圖像顯示單元的接收單元(Rx)二者可以包括能夠執行雙向通信的功能并且可以用作發送單元和接收單元。例如，可以省略包括在控制單元中的一部分操作接口(鍵、觸控板等)。可以在控制單元中包括用諸如桿這樣的其他操作接口。例如，可以將諸如鍵盤和鼠標這樣的設備連接到控制單元使得控制單元從鍵盤和鼠標接收輸入。例如，使用二次電池作為電源。然而，電源并不限于二次電池。可以使用各種電池。例如，可以使用原電池、燃料電池、太陽能電池或熱電池。

圖11A和圖11B是示出在修改例中的HMD的外觀的配置的說明圖。圖11A所示的圖像顯示單元20x包括右光學圖像顯示單元26x和左光學圖像顯示單元28x。右光學圖像顯示單元26x和左光學圖像顯示單元28x形成得比本實施方式中的光學構件更小并且在用戶戴著HMD的情況下被分別傾斜地布置在用戶的右眼和左眼之上。圖11B所示的圖像顯示單元20y包括右光學圖像顯示單元26y和左光學圖像顯示單元28y。右光學圖像顯示單元26y和左光學圖像顯示單元28y形成得比本實施方式中的光學構件更小并且在用戶戴著HMD的情況下被分別傾斜地布置在用戶的右眼和左眼之下。以這種方式，只需要將光學圖像顯示單元布置在用戶雙眼的附近。形成光學圖像顯示單元的光學構件的大小可以是任意的。光學圖像顯示單元可以為光學圖像顯示單元只覆蓋用戶雙眼中的一個單元的形式，即光學圖像顯示單元不完全覆蓋用戶雙眼的形式。

例如，可以使用被設計用來實現多種功能的ASIC(專用集成電路)來配置包括在控制單元中的處理單元(例如，圖像處理單元、顯示控制單元、增強現實處理單元)。

例如，HMD是雙目型的透射式HMD。然而，HMD可以是單目型的HMD。例如，HMD可以被配置成在用戶戴著HMD的狀態下阻擋外部場景的透射的非透射式HMD，或者可以被配置成將攝相機安裝在非透射式HMD上的視頻透視裝置。例如，作為耳機，可以采用耳鉤型或頭帶型。可以省略耳機。

例如，可以采用普通的平面顯示設備(液晶顯示設備、等離子體顯示設備、有機EL顯示設備等)來代替像眼鏡那樣佩戴的圖像顯示單元。在這種情況下，控制單元和圖像顯示單元可以通過有線或者無線電進行連接。從而，控制單元還可以用作普通平面顯示設備的遙控器。

例如，替代像眼鏡那樣佩戴的圖像顯示單元，可以采用其他形式的圖像顯示單元，諸如像帽子那樣佩戴的圖像顯示單元以及并入諸如頭盔這樣的身體保護器中的圖像顯示單元。例如，圖像顯示單元可以被配置成安裝在諸如機動車輛和飛機的交通工具或其他運輸工具上的平視顯示器(HUD)。

例如，圖像光生成單元除了各部件(背光、背光控制單元、LCD和LCD控制單元)之外或者替代各部件還可以包括用于實現另一系統的部件。例如，圖像光生成單元可以包括有機EL(有機電致發光)顯示器和有機EL控制單元。例如，圖像生成單元可以包括數字微反射鏡器件等以替代LCD。例如，本發明還可以應用于激光視網膜投影型的頭戴式顯示設備。

修改例2

在本實施方式中，對增強現實處理和顏色調整處理的示例進行說明。然而，在本實施方式中說明的這幾種處理的過程僅是示例。對過程的各種修改都是可行的。例如，可以省略一部分步驟或者也可以增加其他步驟。可以改變要執行的步驟的順序。

例如，顏色調整處理(圖4)可以在增強現實處理的過程a4和過程a5之間執行。例如，顏色調整單元可以僅對“顏色”的構成元素之中的色相、色度和亮度中的至少一個進行顏色調整處理。

例如，在顏色調整處理的步驟S106中，顏色調整單元針對每個像素(或者每個像素塊)來確定目標顏色。然而，顏色調整單元可以在虛擬對象單元中確定目標顏色。在虛擬對象單元中確定目標顏色的情況下，虛擬對象具有單一顏色。在這種情況下，在步驟S116結束之后，顏色調整單元只需要將處理移至步驟S108。

例如，在顏色調整處理的步驟S108中，在HMD包括諸如顏色傳感器這樣的其他顏色檢測裝置的情況下，顏色調整單元可以使用其他顏色檢測裝置來獲取真實對象顏色。

例如，可以對于第一像素(或第一像素塊)僅執行一次顏色調整處理的步驟S110中的確定。之后，由于是重復相同的處理，因此可以省略該確定。從而，可以減少顏色調整單元中的處理量。

例如，在顏色調整處理的步驟S110中的確定中，可以同時地使用不同的多個色度參考(第一色度參考和第二色度參考；滿足關系：第一色度參考>第二色度參考)。例如，顏色調整單元可以在真實對象顏色的色度等于或高于第一色度參考的情況下執行步驟S112及隨后步驟中的處理，在真實對象顏色的色度等于或低于第二色度參考的情況下執行步驟S118及隨后步驟中的處理，以及在真實對象顏色的色度低于第一色度參考但高于第二色度參考的情況下同時使用步驟S112及隨后步驟中的處理以及步驟S118及隨后步驟中的處理。從而，顏色調整單元可以更精細地控制視覺觀察顏色。

例如，在顏色調整處理的步驟S112中，顏色調整單元可以獲取真實對象附近的紫外線、紅外線等，并且根據所獲取的紫外線和紅外線的狀態來確定電子遮擋件的透射率。

例如，在顏色調整處理的步驟S118中，除了基于真實對象顏色的色度和真實對象附近的紫外線和紅外線中的任一種對虛擬對象的CG顏色進行調整之外，顏色調整單元還可以同時使用電子遮擋件。

例如，可以可選地改變本實施方式中所說明的真實對象和虛擬對象。例如，可以將“真實背景對象”用作真實對象。真實對象可以是平面的(例如，墻壁或屏幕)。虛擬對象也可以是平面的(例如，看起來好像是附著在作為真實對象而提供的墻壁上的廣告的圖像)。

例如，在增強現實處理中形成在用戶雙眼前方的虛擬圖像可以僅包括虛擬對象，或者可以包括虛擬對象之外的信息(例如，菜單欄和時鐘)。

修改例3

本發明不限于上述實施方式、示例和修改例，而是可以在不背離本發明的精神的情況下被實現為各種配置。例如，為了解決部分或全部問題或者實現部分或者全部效果，可以適當地替換或組合與在發明內容中描述的各方面中的技術特征對應的實施方式、示例和修改例中的技術特征。可以適當地刪除技術特征，除非該技術特征在本說明書中被描述為必要技術特征。

附圖標記列表

10、10a 控制單元

11 確定鍵

12 照明單元

13 顯示切換鍵

14 觸控板

15 亮度切換鍵

16 方向鍵

17 菜單鍵

18 電源開關

20 圖像顯示單元

21 右保持單元

22 右顯示驅動單元

23 左保持單元

24 左顯示驅動單元

26 右光學圖像顯示單元

28 左光學圖像顯示單元

30 耳機插頭

32 右耳機

34 左耳機

40 連接單元

42 右線

44 左線

46 耦接構件

48 主體線

51 發送單元

52 發送單元

53 接收單元

54 接收單元

61 攝相機(顏色檢測單元)

66 九軸傳感器

110 輸入信息獲取單元

100 HMD(頭戴式顯示設備)

120、120a 存儲單元

122 色度參考

124 環境對應關系表

126 預設置組

130 電源

132 無線電通信單元

140 CPU

142 增強現實處理單元

144、144a 顏色調整單元

160 圖像處理單元

170 聲音處理單元

180 接口

190 顯示控制單元

201 右背光控制單元

202 左背光控制單元

211 右LCD控制單元

212 左LCD控制單元

221 右背光

222 左背光

241 右LCD

242 左LCD

251 右投影光學系統

252 左投影光學系統

261 右導光板

262 左導光板

261s 右電子遮擋件

261s 左電子遮擋件

PCLK 時鐘信號

VSync 垂直同步信號

HSync 水平同步信號

Data 圖像數據

Data1 附加圖像數據

Data2 附加圖像數據

OA 外部裝置

PC 個人計算機

SC 外部場景

VI 虛擬圖像

VR 視場

RE 右眼

LE 左眼

ER 端

EL 端

VO 虛擬對象

VO1 虛擬對象

VO2 虛擬對象

FO 目標對象(真實對象)