圖像處理裝置、攝像裝置、圖像處理方法及圖像處理程序的制作方法

圖像處理裝置、攝像裝置、圖像處理方法及圖像處理程序的制作方法
【專利摘要】本發明提供一種能夠立即切換表示對焦狀態的彩色圖像顯示與表示非對焦狀態的無彩色圖像顯示的圖像處理裝置、攝像裝置、圖像處理方法及圖像處理程序。控制部(28C)在對第1圖像信號的輸出值與第2圖像信號的輸出值進行了比較的比較結果小于閾值時，進行用于對焦確認的彩色裂像顯示于顯示器的控制，所述彩色裂像通過對與普通圖像的位置對應的位置的無彩色裂像賦予普通圖像中包含的彩色而獲得。并且，控制部(28C)在比較結果為閾值以上時，進行將根據顯示用左眼圖像及顯示用右眼圖像獲得的無彩色裂像顯示于顯示器的控制。
【專利說明】
圖像處理裝置、攝像裝置、圖像處理方法及圖像處理程序
技術領域
[0001]本發明涉及一種圖像處理裝置、攝像裝置、圖像處理方法及圖像處理程序。
【背景技術】
[0002]眾所周知，作為數碼相機，除了利用相位差檢測方式和對比度檢測方式的自動對焦之外，還具備使用者能夠通過手動進行調焦的所謂手動對焦模式的相機。
[0003]作為具有手動對焦模式的數碼相機，已知有采用如下方法的相機，S卩，設置反光鏡，以便能夠在確認被攝體的同時進行調焦，并利用顯示肉眼觀察的相位差的裂像微棱鏡屏(split micro prism screen)。并且，還已知有采用進行肉眼觀察的對比度確認的方法的相機。
[0004]但是，近年來普及的省略了反光鏡的數碼相機中，由于沒有反光鏡，沒有顯示相位差的同時確認被攝體像的方法，不得不依賴對比度檢測方式。但是，此時，無法顯示LCD(liquid crystal display:液晶顯示器)等顯示裝置的分辨率以上的對比度，不得不采用進行局部放大來顯示的方法。
[0005]因此，近年來，為了使手動對焦模式時由用戶(例如，攝影者)對被攝體進行對焦的操作容易，將裂像顯示于實時取景圖像(還稱為即時預覽圖像)內。裂像例如為顯示區域分割為多個的分割圖像(例如，分割為上下方向的各圖像)，是指根據焦點的偏離向視差產生方向(例如，左右方向)偏離，并且對焦狀態時視差產生方向的偏離消失的分割圖像。用戶操作手動對焦環(以下，稱為“對焦環”)來對焦，以使裂像(例如，分割為上下方向的各圖像)的偏離消失。
[0006]在此，對裂像的原理進行說明。生成通過攝影鏡頭中的一對區域的被攝體像被光瞳分割而分別成像而獲得的所謂的右眼圖像及左眼圖像。并且，利用右眼圖像及左眼圖像生成裂像，且生成透射攝影鏡頭的被攝體像未被光瞳分割而成像而獲得的普通圖像。并且，在顯示部顯示普通圖像且在普通圖像內顯示裂像。
[0007]但是，已知有多種能夠用于使用戶識別是否為對焦狀態的技術。例如，專利文獻I中記載的攝像裝置顯示裂像，并在相位差滿足規定條件時對裂像賦予普通圖像的顏色信息。由此，容易辨識表示對焦狀態的顯示圖像與表示非對焦狀態的顯示圖像。
[0008]現有技術文獻
[0009]專利文獻
[0010]專利文獻1:日本特開2009-147665號公報

【發明內容】

[0011]發明所要解決的問題
[0012]然而，計算相位差的處理比較復雜，很難立即進行對裂像賦予顏色信息的處理及從裂像去除顏色信息的處理。
[0013]本發明是鑒于這種實際情況而提出的，其目的在于提供一種能夠立即切換表示對焦狀態的彩色圖像顯示與表示非對焦狀態的無彩色圖像顯示的圖像處理裝置、攝像裝置、圖像處理方法及圖像處理程序。
[0014]用于解決問題的手段
[0015]為了實現上述目的，本發明的第I方式所涉及的圖像處理裝置包含:生成部，生成基于從成像元件輸出的第I圖像信號的無彩色的第I圖像、基于從成像元件輸出的第2圖像信號的無彩色的第2圖像及基于從成像元件輸出的第3圖像信號的彩色的第3圖像，所述成像元件具有通過攝影鏡頭中的第I及第2區域的被攝體像被光瞳分割而分別成像從而輸出第I圖像信號的第I像素組及輸出第2圖像信號的第2像素組，且具有透射攝影鏡頭的被攝體像未被光瞳分割而成像從而輸出第3圖像信號的第3像素組；顯示部，顯示圖像;及控制部，在對第I圖像信號的輸出值與第2圖像信號的輸出值進行了比較的比較結果小于閾值時，進行將用于對焦確認的彩色圖像顯示于顯示部的控制，所述彩色圖像通過在第3圖像與第I及第2圖像對應的位置對第I及第2圖像賦予第3圖像中包含的彩色而獲得，并在比較結果為閾值以上時，進行將根據第I及第2圖像獲得且用于對焦確認的無彩色圖像顯示于顯示部的控制。由此，與計算用于判定是否為對焦狀態的相位差時相比，圖像處理裝置能夠立即切換表示對焦狀態的彩色圖像顯示與表示非對焦狀態的無彩色圖像顯示。
[0016]本發明的第2方式所涉及的圖像處理裝置中，在本發明的第I方式中，控制部進行在顯示部顯示第3圖像且在第3圖像的顯示區域內選擇性地顯示彩色圖像及無彩色圖像的控制。由此，與未在第3圖像的顯示區域內選擇性地顯示彩色圖像及無彩色圖像時相比，圖像處理裝置能夠視覺性地輕松辨認是否為對焦狀態。
[0017]本發明的第3方式所涉及的圖像處理裝置中，在本發明的第I方式或第2方式中，比較結果為基于第I圖像信號的輸出值與第2圖像信號的輸出值之間的差分及比中的至少一個的值。由此，與未將基于第I圖像信號的輸出值與第2圖像信號的輸出值之間的差分及比中的至少一個的值用作比較結果時相比，圖像處理裝置能夠減輕直至判定是否為對焦狀態為止所需要的負荷。
[0018]本發明的第4方式所涉及的圖像處理裝置中，在本發明的第3方式中，比較結果為差分的絕對值。由此，與未將差分的絕對值用作比較結果時相比，圖像處理裝置能夠高精度地判定是否為對焦狀態。
[0019]本發明的第5方式所涉及的圖像處理裝置中，在本發明的第3方式中，比較結果為對差分的絕對值進行標準化而獲得的值。由此，與未將對差分的絕對值進行標準化而獲得的值用作比較結果時相比，圖像處理裝置能夠高精度地判定是否為對焦狀態。
[0020]本發明的第6方式所涉及的圖像處理裝置中，在本發明的第3方式中，比較結果是表示第I圖像信號的輸出值及第2圖像信號的輸出值中的一個相對于另一個的比例背離基準值的程度的背離度。由此，與未將表示第I圖像信號的輸出值及第2圖像信號的輸出值中的一個相對于另一個的比例背離基準值的程度的背離度用作比較結果時相比，圖像處理裝置能夠高精度地判定是否為對焦狀態。
[0021]本發明的第7方式所涉及的圖像處理裝置中，在本發明的第I方式至第6方式的任一方式中，閾值根據攝影條件確定。由此，與不根據攝影條件確定閾值時相比，圖像處理裝置能夠實現顯示彩色圖像的頻度與顯示無彩色圖像的頻度之間的均衡。
[0022]本發明的第8方式所涉及的圖像處理裝置中，在本發明的第7方式中，攝影條件為光圈值，隨著光圈值變小而減小閾值。由此，與不隨著光圈值變小而減小閾值時相比，圖像處理裝置能夠根據景深使顯示彩色圖像的頻度與顯示無彩色圖像的頻度均衡化。
[0023]本發明的第9方式所涉及的圖像處理裝置中，在本發明的第7方式中，攝影條件為焦距，隨著焦距變長而減小閾值。由此，與不隨著焦距變長而減小閾值時相比，圖像處理裝置能夠根據景深使顯示彩色圖像的頻度與顯示無彩色圖像的頻度均衡化。
[0024]本發明的第10方式所涉及的圖像處理裝置中，在本發明的第7方式中，攝影條件為曝光時間，隨著曝光時間變長而減小閾值。由此，與不隨著曝光時間變長而減小閾值時相比，圖像處理裝置能夠根據基于曝光時間的噪聲量使顯示彩色圖像的頻度與顯示無彩色圖像的頻度均衡化。
[0025]本發明的第11方式所涉及的圖像處理裝置中，在本發明的第7方式中，攝影條件為成像元件的增益，隨著增益變大而減小閾值。由此，與不隨著增益變大而減小閾值時相比，圖像處理裝置能夠根據基于增益的噪聲量使顯示彩色圖像的頻度與顯示無彩色圖像的頻度均衡化。
[0026]本發明的第12方式所涉及的圖像處理裝置中，在本發明的第I方式至第11方式的任一方式中，比較結果為，對根據與基于經由第I區域入射的光及經由第2區域入射的光的減光特性相應的校正系數分別校正了減光特性的第I圖像信號的輸出值與第2圖像信號的輸出值進行比較的比較結果。由此，與不對第I圖像信號的輸出值及第2圖像信號的輸出值進行減光特性校正時相比，圖像處理裝置能夠高精度地判定是否為對焦狀態。
[0027]本發明的第13方式所涉及的圖像處理裝置中，在本發明的第I方式至第12方式的任一方式中，比較結果，對配置于與光瞳分割方向交叉的方向上的像素間的第I圖像信號的輸出值與第2圖像信號的輸出值進行比較的比較結果。由此，與不使用對配置于與光瞳分割方向交叉的方向上的像素間的第I圖像信號的輸出值與第2圖像信號的輸出值進行比較的比較結果時相比，圖像處理裝置能夠高精度地判定是否為對焦狀態。
[0028]本發明的第14方式所涉及的圖像處理裝置中，在本發明的第I方式至第13方式的任一方式中，比較結果為，在包含第I及第2像素組的像素組被分割而獲得的多個分割像素組的各個分割像素組中對第I圖像信號的輸出值與第2圖像信號的輸出值進行比較的比較結果。由此，與不使用在分割像素組的每一個中對第I圖像信號的輸出值與第2圖像信號的輸出值進行比較的比較結果時相比，圖像處理裝置能夠高精度地判定是否為對焦狀態。
[0029]本發明的第15方式所涉及的圖像處理裝置中，在本發明的第I方式至第13方式的任一方式中，比較結果為，在包含第I及第2像素組的像素組被分割而獲得的多個分割像素組的各個分割像素組中對第I圖像信號的平均輸出值與第2圖像信號的平均輸出值進行比較的比較結果。由此，與不使用在分割像素組的每一個中對第I圖像信號的平均輸出值與第2圖像信號的平均輸出值進行比較的比較結果時相比，圖像處理裝置能夠高精度地判定是否為對焦狀態。
[0030]本發明的第16方式所涉及的圖像處理裝置中，在本發明的第I方式至第15方式的任一方式中，控制部在比較結果小于閾值時進行通過從第3圖像向第I及第2圖像賦予彩度來對第I及第2圖像賦予彩色的控制。由此，與比較結果小于閾值時不從第3圖像對第I及第2圖像賦予彩度時相比，圖像處理裝置能夠以簡單的結構生成彩色圖像。
[0031]本發明的第17方式所涉及的圖像處理裝置中，在本發明的第I方式至第16方式的任一方式中，在比較結果小于閾值時對第I及第2圖像賦予的彩色的強度隨著比較結果背離閾值而變大。由此，與不使彩色的強度隨著比較結果背離閾值而變大時相比，圖像處理裝置能夠在彩色圖像與無彩色圖像之間的區域實現緩慢的顏色變化。
[0032]為了實現上述目的，本發明的第18方式所涉及的攝像裝置包含:第I方式至第17方式的任一方式所述的圖像處理裝置;具有第I像素組、第2像素組及第3像素組的成像元件；及存儲根據從成像元件輸出的信號生成的圖像的存儲部。由此，與計算用于判定是否為對焦狀態的相位差時相比，攝像裝置能夠立即切換表示對焦狀態的彩色圖像顯示與表示非對焦狀態的無彩色圖像顯示。
[0033]為了實現上述目的，本發明的第19方式所涉及的圖像處理方法包含如下步驟:生成基于從成像元件輸出的第I圖像信號的無彩色的第I圖像、基于從成像元件輸出的第2圖像信號的無彩色的第2圖像及基于從成像元件輸出的第3圖像信號的彩色的第3圖像，所述成像元件具有通過攝影鏡頭中的第I及第2區域的被攝體像被光瞳分割而分別成像從而輸出第I圖像信號的第I像素組及輸出第2圖像信號的第2像素組，且具有透射攝影鏡頭的被攝體像未被光瞳分割而成像從而輸出第3圖像信號的第3像素組，針對顯示圖像的顯示部，在對第I圖像信號的輸出值與第2圖像信號的輸出值進行了比較的比較結果小于閾值時，進行顯示用于對焦確認的彩色圖像的控制，所述彩色圖像通過在第3圖像與第I及第2圖像對應的位置對第I及第2圖像賦予第3圖像中包含的彩色而獲得，并在比較結果為閾值以上時，進行顯示根據第I及第2圖像獲得且用于對焦確認的無彩色圖像的控制。由此，與計算用于判定是否為對焦狀態的相位差時相比，圖像處理方法能夠立即切換表示對焦狀態的彩色圖像顯示與表示非對焦狀態的無彩色圖像顯示。
[0034]為了實現上述目的，本發明的第20方式所涉及的圖像處理程序用于使計算機執行包含如下步驟的處理:生成基于從成像元件輸出的第I圖像信號的無彩色的第I圖像、基于從成像元件輸出的第2圖像信號的無彩色的第2圖像及基于從成像元件輸出的第3圖像信號的彩色的第3圖像，所述成像元件具有通過攝影鏡頭中的第I及第2區域的被攝體像被光瞳分割而分別成像從而輸出第I圖像信號的第I像素組及輸出第2圖像信號的第2像素組，且具有透射攝影鏡頭的被攝體像未被光瞳分割而成像從而輸出第3圖像信號的第3像素組，針對顯示圖像的顯示部，在對第I圖像信號的輸出值與第2圖像信號的輸出值進行了比較的比較結果小于閾值時，進行顯示用于對焦確認的彩色圖像的控制，所述彩色圖像通過在第3圖像與第I及第2圖像對應的位置對第I及第2圖像賦予第3圖像中包含的彩色而獲得，并在比較結果為閾值以上時，進行顯示根據第I及第2圖像獲得且用于對焦確認的無彩色圖像的控制。由此，與計算用于判定是否為對焦狀態的相位差時相比，圖像處理程序能夠立即切換表示對焦狀態的彩色圖像顯示與表示非對焦狀態的無彩色圖像顯示。
[0035]發明效果
[0036]根據本發明，與計算用于判定是否為對焦狀態的相位差時相比，可獲得能夠立即切換表示對焦狀態的彩色圖像顯示與表示非對焦狀態的無彩色圖像顯示的效果。
【附圖說明】
[0037]圖1是表示作為第I及第2實施方式所涉及的鏡頭可換式相機的攝像裝置外觀的一例的立體圖。
[0038]圖2是表示第I及第2實施方式所涉及的攝像裝置背面側的后視圖。
[0039]圖3是表示第I及第2實施方式所涉及的攝像裝置的硬件結構的一例的框圖。
[0040]圖4是表示設置于第I實施方式所涉及的攝像裝置中包含的成像元件的濾色器結構的一例的概要結構圖。
[0041]圖5是表示第I實施方式所涉及的攝像裝置中包含的成像元件中的普通像素、第I像素及第2像素的配置例以及分別分配于普通像素、第I像素及第2像素的濾色器顏色的配置例的示意圖。
[0042]圖6是表示第I及第2實施方式所涉及的攝像裝置中包含的成像元件中的第I像素及第2像素各自的結構的一例的示意圖。
[0043]圖7是表示第I及第2實施方式所涉及的攝像裝置中包含的圖像處理部的主要部分功能的一例的框圖。
[0044]圖8是用于說明通過第I及第2實施方式所涉及的攝像裝置中包含的圖像處理部生成的裂像的生成方法的示意圖。
[0045]圖9是表示包含顯示于第I及第2實施方式所涉及的攝像裝置中包含的第I顯示器的裂像及普通圖像的實時取景圖像的一例的畫面圖。
[0046]圖10是表示第I及第2實施方式所涉及的攝像裝置中包含的混合式取景器的結構的一例的概要結構圖。
[0047]圖11是表示第I實施方式所涉及的圖像生成處理流程的一例的流程圖。
[0048]圖12是用于說明基于左區域通過光及右區域通過光的減光特性的原理(分別入射到第I及第2像素的光束路徑的一例)的說明圖。
[0049]圖13是表示光瞳分割方向的線性減光特性對左眼圖像及右眼圖像各自的與光瞳分割方向相當的方向的各像素的輸出造成的影響的一例的曲線圖。
[0050]圖14是表示校正前后的顯示用左眼圖像及顯示用右眼圖像所受到的減光特性的影響的一例的示意圖。
[0051]圖15是表示普通圖像的亮度信號及色差信號與賦予顏色信息之前的裂像的亮度信號及色差信號在存儲器上的對應關系的一例的示意圖。
[0052]圖16是表示普通圖像的亮度信號及色差信號與賦予顏色信息之后的裂像的亮度信號及色差信號在存儲器上的對應關系的一例的示意圖。
[0053]圖17是表示差分絕對值和與普通圖像的彩度相乘的增益之間的對應關系的一例的曲線圖。
[0054]圖18是表示被標準化的差分絕對值和與普通圖像的彩度相乘的增益之間的對應關系的一例的曲線圖。
[0055]圖19是表示F值小于3.5時及F值為3.5以上時被標準化的差分絕對值和與普通圖像的彩度相乘的增益之間的對應關系的一例的曲線圖。
[0056]圖20是表示F值小于3.5時及F值為3.5以上時被標準化的差分絕對值和與普通圖像的彩度相乘的增益之間的對應關系的另一例的曲線圖。
[0057]圖21是表示焦距小于50毫米時及焦距為50毫米以上時被標準化的差分絕對值和與普通圖像的彩度相乘的增益之間的對應關系的一例的曲線圖。
[0058]圖22是表示焦距小于50毫米時及焦距為50毫米以上時被標準化的差分絕對值和與普通圖像的彩度相乘的增益之間的對應關系的另一例的曲線圖。
[0059]圖23是表示Tv值小于6.0時及Tv值為6.0以上時被標準化的差分絕對值和與普通圖像的彩度相乘的增益之間的對應關系的一例的曲線圖。
[0060]圖24是表示Tv值小于6.0時及Tv值為6.0以上時被標準化的差分絕對值和與普通圖像的彩度相乘的增益之間的對應關系的另一例的曲線圖。
[0061]圖25是表示輸出值差分和與普通圖像的彩度相乘的增益之間的對應關系的一例的曲線圖。
[0062]圖26是表示第2實施方式所涉及的圖像生成處理流程的一例的流程圖。
[0063]圖27是表示第2實施方式所涉及的攝像裝置中包含的成像元件中的普通像素、第I像素及第2像素的配置例以及分別分配于普通像素、第I像素及第2像素的濾色器顏色的配置例的示意圖。
[0064]圖28是表示第3實施方式所涉及的智能手機外觀的一例的立體圖。
[0065]圖29是表示第3實施方式所涉及的智能手機的電力系統的主要部分結構的一例的框圖。
[0066]圖30是表示第I像素及第2像素的其他配置例的概要配置圖。
[0067]圖31是表示濾色器的其他結構例的概要結構圖。
[0068]圖32是第I?第3實施方式所涉及的裂像的變形例，是表示被相對于行方向傾斜的傾斜分割線分割的裂像的一例的示意圖
[0069]圖33A是第I?第3實施方式所涉及的裂像的變形例，是表示被格子狀分割線分割的裂像的一例的示意圖。
[0070]圖33B是第I?第3實施方式所涉及的裂像的變形例，是表示形成為方格花紋的裂像的一例的示意圖。
【具體實施方式】
[0071]以下，根據附圖對本發明所涉及的攝像裝置的實施方式的一例進行說明。
[0072][第I實施方式]
[0073]圖1是表示第I實施方式所涉及的攝像裝置100的外觀的一例的立體圖，圖2是圖1所示的攝像裝置100的后視圖。
[0074]攝像裝置100為鏡頭可換式相機。攝像裝置100包含攝像裝置主體200及可更換地安裝于攝像裝置主體200的可換鏡頭300，是省略反光鏡的數碼相機。可換鏡頭300包含具有可通過手動操作沿光軸方向移動的聚焦透鏡302的攝影鏡頭16(參考圖3)。并且，攝像裝置主體200上設置有混合式取景器(注冊商標)220。在此所說的混合式取景器220是指，例如選擇性地使用光學取景器(以下，稱為“0VF")及電子取景器(以下，稱為“EVF")的取景器。
[0075]可換鏡頭300可更換地安裝于攝像裝置主體200。并且，可換鏡頭300的鏡筒上設置有手動對焦模式時使用的調焦環301。隨著手動進行的調焦環301的旋轉操作，聚焦透鏡302沿光軸方向移動，被攝體光在與被攝體距離相應的對焦位置成像于后述的成像元件20(參考圖3)。
[0076]在攝像裝置主體200的前面設置有混合式取景器220中包含的OVF的取景窗241。并且，在攝像裝置主體200的前面設置有取景器切換桿(取景器切換部)214。若使取景器切換桿214向箭頭SW方向轉動，則可在能夠以OVF辨識的光學像與能夠以EVF辨識的電子像(實時取景圖像)之間進行切換(后述)。另外，OVF的光軸L2是不同于可換鏡頭300的光軸LI的光軸。并且，在攝像裝置主體200的上面主要設置有釋放按鈕211及用于設定攝影模式或播放模式等的撥盤212。
[0077]作為攝影準備命令部及攝影命令部的釋放按鈕211構成為能夠檢測攝影準備命令狀態及攝影命令狀態這2個階段的按壓操作。攝影準備命令狀態是指例如從待機位置按下至中間位置(半按位置)的狀態，攝影命令狀態是指按下至超過中間位置的最終按下位置(全按位置)的狀態。另外，以下內容中，將“從待機位置按下至半按位置的狀態”稱為“半按狀態”，將“從待機位置按下至全按位置的狀態”稱為“全按狀態”。
[0078]本第I實施方式所涉及的攝像裝置100中，作為動作模式，根據用戶的命令選擇性地設定攝影模式和播放模式。攝影模式中，根據用戶的命令選擇性地設定手動對焦模式和自動對焦模式。自動對焦模式中，通過將釋放按鈕211設為半按狀態，進行攝影條件的調整，之后，若接著設為全按狀態，則進行曝光(攝影)。即，通過將釋放按鈕211設為半按狀態，AE(Automatic Exposure)功能發揮作用而設定曝光狀態之后，AF(Auto-Focus)功能發揮作用而進行對焦控制，若將釋放按鈕211設為全按狀態，則進行攝影。
[0079]在圖2所示的攝像裝置主體200的背面，設置有觸摸屏顯示器213、十字鍵222、菜單/確認(MENU/ΟΚ)鍵224、返回/顯示(BACK/DISP)按鈕225及OVF的取景器接目部242。
[0080]觸摸屏顯示器213具備液晶顯示器(以下，稱為“第I顯示器”)215及觸摸屏216。
[0081]第I顯示器215顯示圖像及字符信息等。第I顯示器215用于顯示作為攝影模式時以連續幀拍攝而獲得的連續幀圖像的一例的實時取景圖像(即時預覽圖像)。并且，第I顯示器215還用于顯示作為被賦予靜態圖像攝影命令時以單一幀拍攝而獲得的單一幀圖像的一例的靜態圖像。而且，第I顯示器215還用于顯示播放模式時的播放圖像顯示或菜單畫面等的顯不O
[0082]觸摸屏216為透射型觸摸屏，疊加于第I顯示器215的顯示區域的表面。觸摸屏216檢測基于命令體(例如，手指或觸控筆)的接觸。觸摸屏216將表示檢測結果(在觸摸屏216上有無基于命令體的接觸)的檢測結果信息以規定周期(例如，100毫秒)輸出至規定的輸出對象(例如，后述的CPU12(參考圖3))。當觸摸屏216檢測到基于命令體的接觸時，檢測結果信息包含能夠確定觸摸屏216上的基于命令體的接觸位置的二維坐標(以下，稱為“坐標”)，當觸摸屏216未檢測到基于命令體的接觸時，檢測結果信息不包含坐標。
[0083]十字鍵222作為輸出I個或多個菜單的選擇、變焦或逐幀播放等各種指令信號的多功能鍵發揮作用。菜單/確認鍵224為兼具如下功能的操作鍵:作為用于進行在第I顯示器215的畫面上顯示I個或多個菜單的指令的菜單按鈕的功能及作為發出選擇內容的確定及執行等指令的確認(OK)按鈕的功能。返回/顯示按鈕225用于刪除選擇項目等所希望的對象或取消指定內容或者返回前一個操作狀態時等。
[0084]圖3是表示第I實施方式所涉及的攝像裝置100的硬件結構的一例的電力系統框圖。
[0085]攝像裝置100包含攝像裝置主體200所具備的卡口(mount)256及與卡口 256對應的可換鏡頭300側的卡口 346。可換鏡頭300通過使卡口 346與卡口 256結合來可更換地安裝于攝像裝置主體200。
[0086]可換鏡頭300包含滑動機構303及馬達304。滑動機構303通過進行調焦環301的操作，使聚焦透鏡302沿著光軸LI移動。滑動機構303上以能夠沿著光軸LI滑動的方式安裝有聚焦透鏡302。并且，滑動機構303上連接有馬達304，滑動機構303接收馬達304的動力，使聚焦透鏡302沿著光軸LI滑動。
[0087]馬達304經由卡口256、346連接于攝像裝置主體200，馬達的驅動根據來自攝像裝置主體200的命令來控制。另外，本第I實施方式中，作為馬達304的一例，適用步進馬達。因此，馬達304根據來自攝像裝置主體200的命令，與脈沖功率同步動作。并且，圖3所示的例子中，示出了馬達304設置于可換鏡頭300的例子，但并不限于此，馬達304也可設置于攝像裝置主體200。
[0088]攝像裝置100為記錄所拍攝的靜態圖像和動態圖像的數碼相機，整個相機的操作通過CPU(central processing unit:中央處理器)12控制。攝像裝置100包含操作部14、接口部24、主存儲部25、輔助存儲部26、圖像處理部28、揚聲器35、顯示控制部36、接目檢測部37及外部接口(I/F)39。
[0089]CPU12、操作部14、接口部24、主存儲部25、輔助存儲部26、圖像處理部28、揚聲器35、顯示控制部36、接目檢測部37、外部I/F39及觸摸屏216經由總線40相互連接。
[0090]主存儲部25表示易失性存儲器，例如指RAM(隨機存取存儲器(Random AccessMemory))。輔助存儲部26表示非易失性存儲器，例如指閃存或HDD(硬盤驅動器(Hard DiskDrive))。
[0091]另外，本第I實施方式所涉及的攝像裝置100中，自動對焦模式時，CPU12以通過拍攝獲得的圖像的對比度值成為最大的方式驅動控制馬達304，由此進行對焦控制。并且，自動對焦模式時，CPU12計算表示通過拍攝獲得的圖像的明度的物理量即AE信息。當釋放按鈕211設為半按狀態時，CPUl 2導出與根據AE信息表示的圖像的明度相應的快門速度及F值。并且，以成為所導出的快門速度及F值的方式控制相關各部，由此進行曝光狀態的設定。
[0092]操作部14為對攝像裝置100賦予各種命令時由用戶操作的用戶界面。操作部14包含釋放按鈕211、選擇攝影模式等的撥盤212、取景器切換桿214、十字鍵222、菜單/確認鍵224及返回/顯示按鈕225。通過操作部14接收的各種命令作為操作信號而輸出至CPU12，CPU12執行與從操作部14輸入的操作信號相應的處理。
[0093]攝像裝置主體200包含位置檢測部23。位置檢測部23連接于CPU12。位置檢測部23經由卡口 256、346與調焦環301連接，檢測調焦環301的旋轉角度，并將表示作為檢測結果的旋轉角度的旋轉角度信息輸出至CPU12XPU12執行與從位置檢測部23輸入的旋轉角度信息相應的處理。
[0094]若設定攝影模式，則表示被攝體的圖像光經由包含能夠通過手動操作移動的聚焦透鏡302的攝影鏡頭16及快門18而成像于彩色成像元件(作為一例，為CMOS傳感器)20的受光面。積蓄在成像元件20的信號電荷通過從設備控制部22施加的讀出信號，作為與信號電荷(電壓)相應的數字信號被依次讀出。成像元件20具有所謂的電子快門功能，通過使電子快門功能發揮作用，根據讀出信號的時刻控制各光傳感器的電荷積蓄時間(快門速度)。另夕卜，本第I實施方式所涉及的成像元件20為CMOS型的圖像傳感器，但并不限于此，也可以是CXD圖像傳感器。
[0095]關于成像元件20，作為一例，具備圖4所示的濾色器21。濾色器21包含最有助于獲得亮度信號的與G (綠)對應的G濾波器G、與R(紅)對應的R濾波器R及與B (藍)對應的B濾波器。圖5所示的例子中，作為成像元件20的像素數的一例，采用了 “4896X3265”像素，針對這些像素，分別在行方向(水平方向)及列方向(垂直方向)上以規定周期性配置G濾波器、R濾波器及B濾波器。因此，攝像裝置100在進行R、G、B信號的同步(插值)處理等時，能夠根據重復的圖案進行處理。另外，同步處理是指根據與單板式彩色成像元件的濾色器排列對應的馬賽克圖像按每個像素計算所有顏色信息的處理。例如，當為由RGB三色的濾色器構成的成像元件時，同步處理表示根據由RGB構成的馬賽克圖像按每個像素計算所有RGB的顏色信息的處理。
[0096]作為一例，如圖5所示，成像元件20包含后述的第I像素L、第2像素R及普通像素N。第I像素L、第2像素R及普通像素N上分別設置有微透鏡19，透射微透鏡19的光被第I像素L、第2像素R及普通像素N受光而進行光電轉換。成像元件20的各像素上分配有濾色器21中包含的“R”、“G”及“B”中的任一濾波器。另外，圖5所示的例子中，像素內的“R”指R濾波器，像素內的G”指G濾波器，像素內的“B”指B濾波器。
[0097]成像元件20包含第I像素行150、第2像素行152及第3像素行154。第I像素行150在同一行內包含第I像素L、第2像素R及普通像素N。第I像素L及第2像素R在行方向上隔著多個普通像素N(圖5所示的例子中為2個普通像素N)而交替配置，以便對G濾波器分配第I像素L及第2像素R。第2像素行152與第I像素行150相比，不同點在于第I像素L與第2像素R的位置相反。第3像素行154是指行內的所有像素為普通像素N的行。第I像素行150及第2像素行152在列方向上隔著多行的第3像素行154(本第I實施方式中，作為一例，在列方向上行數以規定周期不同的第3像素行154)而交替配置。
[0098]如此，通過第I像素行150、第2像素行152、及第3像素行154根據規定規則配置，成像元件20中，分別在行方向及列方向上交替配置第I像素L與第2像素R。本第I實施方式中，在行方向上，第I像素L及第2像素R各自在每6像素配置有各I像素，在列方向上，第I像素L及第2像素R也各自在每6像素配置有各I像素。
[0099]關于第I像素L，作為一例，如圖6所示，是受光面上行方向的左半部分(從受光面觀察被攝體時的左側(換言之，從被攝體觀察受光面時的右側))被遮光部件20A遮光的像素。關于第2像素R，作為一例，如圖6所示，是受光面上行方向的右半部分(從受光面觀察被攝體時的右側(換言之，從被攝體觀察受光面時的左側))被遮光部件20B遮光的像素。另外，以下內容中，無需區別說明第I像素L及第2像素R時，稱為“相位差像素”。
[0100]透射攝影鏡頭16的出射光瞳的光束大致分為左區域透射光及右區域透射光。左區域透射光是指透射攝影鏡頭16的出射光瞳的光束中左半部分的光束，右區域透射光是指透射攝影鏡頭16的出射光瞳的光束中右半部分的光束。透射攝影鏡頭16的出射光瞳的光束被作為光瞳分割部發揮作用的微透鏡19及遮光部件20A、20B分割為左右，第I像素L接收左區域透射光，第2像素R接收右區域透射光。其結果，與左區域通過光對應的被攝體像及與右區域通過光對應的被攝體像作為不同視差的視差圖像(相當于與左區域通過光對應的被攝體像的左側視差圖像及相當于與右區域通過光對應的被攝體像的右側視差圖像)而被獲取。另外，以下內容中，無需區別說明遮光部件20A、20B時，不標注符號而稱為“遮光部件”。
[0101]成像元件20分類為第I像素組、第2像素組及第3像素組。關于第I像素組，作為一例，如圖5所示，是指配置成行列狀的多個第I像素L。關于第2像素組，作為一例，如圖5所示，是指配置成行列狀的多個第2像素R。關于第3像素組，作為一例，是指圖5所示的多個普通像素N。其中，普通像素N是指相位差像素以外的像素(例如，未設置有遮光部件20A、20B的像素)。另外，以下內容中，無需區別說明第I?第3像素組時，稱為“像素組”。
[0102]另外，以下內容中，為了便于說明，將從各第I像素L以像素單位輸出的像素信號稱為“第I像素信號”。將從各第2像素R以像素單位輸出的像素信號稱為“第2像素信號”。并且，將從各普通像素N以像素單位輸出的像素信號稱為“第3像素信號”。并且，無需區別說明第I?第3像素信號時，稱為“像素信號”。
[0103]并且，以下內容中，為了便于說明，將從第I像素組以像素組單位(I畫面單位)輸出且表示左側視差圖像(以下，稱為“左眼圖像”)的圖像信號稱為“第I圖像信號”。并且，將從第2像素組以像素組單位輸出且表示右側視差圖像(以下，稱為“右眼圖像”)的圖像信號稱為“第2圖像信號”。并且，將從第3像素組輸出且表示非視差圖像(不具有視差的圖像)的圖像信號稱為“第3圖像信號”。并且，無需區別說明第I?第3圖像信號時，稱為“圖像信號”。
[0104]通過成像元件20在相同攝影時刻獲得的第I圖像信號、第2圖像信號及第3圖像信號(I畫面份的圖像信號)在相同時刻通過圖像處理部28獲取。
[0105]圖像處理部28對所獲取的圖像信號實施各種信號處理。圖像處理部28通過將各種信號處理所涉及的多個功能的電路集成為I個的集成電路即ASIC(專用集成電路(Applicat1n Specific Integrated Circuit))來實現。但是，硬件結構并不限定于此，例如可以是可編程邏輯器件，也可以是包含CPU、R0M及RAM的計算機等其他硬件結構。
[0106]圖像處理部28具有普通圖像生成部28A(本發明所涉及的生成部的一例)、裂像生成部28B(本發明所涉及的生成部的一例)及控制部28C(本發明所涉及的控制部的一例)。普通圖像生成部28A獲取第3圖像信號，生成基于所獲取的第3圖像信號的普通圖像(本發明所涉及的第3圖像的一例)。普通圖像為彩色圖像，例如為與普通像素N的排列相同的彩色排列的彩色圖像。
[0107]關于普通圖像，針對第3像素組中包含的所有普通像素N，所對應的顏色以外的顏色的第3像素信號被周圍像素的第3像素信號插值，從而根據所有普通像素N的R、G、B的第3像素信號生成。即，通過對所有普通像素N的R、G、B的第3像素信號實施所謂YC轉換處理，生成亮度信號Y及色差信號Cr、Cb，基于所生成的亮度信號Y及色差信號Cr、Cb生成與畫面尺寸相應尺寸的普通圖像。
[0108]裂像生成部28B獲取第I及第2圖像信號，根據所獲取的第I圖像信號及第2圖像信號生成無彩色的裂像(本發明所涉及的無彩色圖像的一例)作為用于對焦確認的圖像。在此，例如裂像生成部28B通過對第I圖像信號及第2圖像信號實施信號處理來生成亮度信號Y，并根據所生成的亮度信號Y生成無彩色的裂像。
[0109]關于裂像，作為一例，如圖8所示，是指使顯示用左眼圖像(本發明所涉及的第I圖像的一例)與顯示用右眼圖像(本發明所涉及的第2圖像的一例)在規定方向(例如與視差產生方向正交的方向)上相鄰而配置的圖像。顯示用左眼圖像是指在規定方向上對左眼圖像進行4分割而獲得的4個分割圖像中的一部分分割圖像(圖8所示的例子中，從正面觀察時的第I個及第3個分割圖像)。顯示用右眼圖像是指從在規定方向上對右眼圖像進行4分割而獲得的4個分割圖像中，針對和與顯示用左眼圖像對應的分割區域相鄰的分割區域提取的分割圖像(圖8所示的例子中，從正面觀察時餓第2個及第4個分割圖像)。
[0110]控制部28C連接于普通圖像生成部28A及裂像生成部28B，獲取通過普通圖像生成部28A生成的普通圖像及通過裂像生成部28B生成的無彩色的裂像。控制部28C將從普通圖像生成部28A獲取的普通圖像輸出至顯示控制部36(參考圖3)。
[0111]控制部28C獲取用于生成裂像的第I及第2圖像信號。并且，在對所獲取的第I圖像信號的輸出值與第2圖像信號的輸出值進行了比較的比較結果小于閾值時，生成彩色的裂像(本發明所涉及的彩色圖像的一例)并輸出至顯示控制部36(參考圖3)。彩色的裂像通過對與普通圖像的位置對應的位置上的顯示用右眼圖像及顯示用左眼圖像賦予普通圖像中包含的彩色來生成。
[0112]控制部28C在對所獲取的第I圖像信號的輸出值與第2圖像信號的輸出值進行了比較的比較結果為閾值以上時，將從裂像生成部28B獲取的無彩色的裂像輸出至顯示控制部36(參考圖3)。另外，以下內容中，無需區別說明無彩色的裂像與彩色的裂像時，稱為“裂像”。
[0113]回到圖3，混合式取景器220具有顯示電子像的液晶顯示器(以下，稱為“第2顯示器，，)247。
[0114]顯示控制部36連接于第I顯示器215及第2顯示器247。顯示控制部36根據來自CPU12的命令選擇性地控制第I顯示器215及第2顯示器247，由此在第I顯示器215及第2顯示器247(本發明所涉及的顯示部的一例)選擇性地顯示圖像。另外，以下內容中，無需區別說明第I顯示器215及第2顯示器247時，稱為“顯示裝置”。
[0115]作為一例，如圖9所示，裂像顯示于顯示裝置的畫面中央部的矩形框內，在裂像的外周區域顯示普通圖像。圖9所示的例子中，示出顯示用右眼圖像與顯示用左眼圖像在規定方向上交替配置各2個的裂像。裂像中包含的顯示用左眼圖像及顯示用右眼圖像根據對焦狀態向視差產生方向偏離。并且，圖9所示的例子中，示出焦點與人物的周邊區域(例如，樹)對齊且焦點未與人物對齊的狀態。
[0116]另外，本第I實施方式中，代替普通圖像的一部分圖像而嵌入裂像來對普通圖像合成裂像，但并不限于此，例如，也可以是在普通圖像上疊加裂像的合成方法。并且，也可以在疊加裂像時適當調整被裂像疊加的普通圖像的一部分圖像與裂像的透射率來進行疊加的合成方法。由此，表示連續拍攝的被攝體像的實時取景圖像被顯示于顯示裝置的畫面上，所顯示的實時取景圖像為在普通圖像的顯示區域內顯示有裂像的圖像。
[0117]另外，本第I實施方式所涉及的攝像裝置100構成為能夠通過撥盤212(對焦模式切換部)切換手動對焦模式與自動對焦模式。若選擇任一對焦模式，則顯示控制部36將合成有裂像的實時取景圖像顯示于顯示裝置。并且，若通過撥盤212選擇自動對焦模式，則CPU12作為相位差檢測部及自動調焦部發揮作用。相位差檢測部檢測左眼圖像與右眼圖像之間的相位差。自動調焦部根據檢測出的相位差以使聚焦透鏡302的散焦量成為零的方式從設備控制部22經由卡口 256、346控制馬達304，使聚焦透鏡302向對焦位置移動。另外，上述“散焦量”例如是指左眼圖像及右眼圖像的相位偏移量。
[0118]回到圖3，接目檢測部37檢測用戶(例如攝影者)觀察取景器接目部242的情況，并將檢測結果輸出至CPU12。因此，CPU12能夠根據接目檢測部37中的檢測結果掌握取景器接目部242是否被使用。
[0119]外部I/F39與LAN(局域網(Local Area Network))或互聯網等通信網連接，經由通信網進行外部裝置(例如，打印機)與CPU12之間的各種信息的收發。因此，作為外部裝置連接有打印機時，攝像裝置100能夠將所拍攝的靜態圖像輸出至打印機來進行印刷。并且，作為外部裝置連接有顯示器時，攝像裝置100能夠將所拍攝的靜態圖像或即時預覽圖像輸出至顯示器來進行顯示。
[0120]作為一例，如圖10所示，混合式取景器220包含0VF240及EVF248AVF240為具有接物透鏡244及接目透鏡246的反伽利略取景器，EVF248具有第2顯示器247、棱鏡245及接目透鏡 246。
[0121]并且，接物透鏡244的前方配設有液晶快門243，液晶快門243在使用EVF248時以防止光學像入射到接物透鏡244的方式進行遮光。
[0122]棱鏡245反射顯示于第2顯示器247的電子像或各種信息并引導至接目透鏡246，且合成光學像與顯示于第2顯示器247的信息(電子像、各種信息)。
[0123]在此，若沿圖1所示的箭頭SW方向轉動取景器切換桿214，則每次轉動時，交替切換能夠通過0VF240辨識光學像的OVF模式與能夠通過EVF248辨識電子像的EVF模式。
[0124]當為OVF模式時，顯示控制部36以液晶快門243成為非遮光狀態的方式進行控制，以便能夠從接目部辨識到光學像。并且，第2顯示器247中僅顯示裂像。由此，能夠顯示在光學像的一部分疊加有裂像的取景器圖像。
[0125]并且，當為EVF模式時，顯示控制部36以液晶快門243成為遮光狀態的方式進行控制，以便能夠從接目部僅辨識到顯示于第2顯示器247的電子像。另外，第2顯示器247上輸入有與合成了輸出至第I顯示器215的裂像的圖像數據等同的圖像數據。由此，第2顯示器247能夠與第I顯示器215同樣地顯示在普通圖像的一部分合成有裂像的電子像。
[0126]接著，作為本第I實施方式的作用，參考圖11對在CPU12的控制下通過圖像處理部28進行的圖像生成處理進行說明。另外，圖11所示的圖像生成處理在從設定手動對焦模式之后I畫面份的第I?第3圖像信號被存儲于主存儲部25時通過圖像處理部28來進行。
[0127]圖11所示的圖像生成處理中，首先，在步驟400中，普通圖像生成部28A從主存儲部25獲取第3圖像信號，根據所獲取的第3圖像信號生成普通圖像。
[0128]但是，攝像裝置100中，作為一例，如圖12所示，當拍攝到被攝體時，通過攝影鏡頭16的左區域通過光通過與第I像素L對應的微透鏡19并入射到第I像素L。但是，左區域通過光即使通過與第2像素R對應的微透鏡19，也會被遮光部件20B遮光，因此并不入射到第2像素R。另一方面，通過攝影鏡頭16的右區域通過光通過與第2像素R對應的微透鏡19并入射到第2像素R。但是，右區域通過光即使通過與第I像素L對應的微透鏡19，也會被遮光部件20A遮光，因此并不入射到第I像素L。如此，針對像素的一半配置有遮光部件，而且左區域通過光及右區域通過光各自的中心偏離攝影鏡頭16的光軸，因此在第I像素組及第2像素組各自中，減光特性根據光瞳分割方向的像素位置線性地發生變化。減光特性的變化體現為左眼圖像及右眼圖像中的輸出的變化。即，假設光量均勻的光從正面入射到攝影鏡頭16時獲得的左眼圖像及右眼圖像的左右方向(相當于光瞳分割方向的方向)的輸出根據像素位置大致線性地發生變化。例如，如圖13所示，左眼圖像中，越是右方向的像素位置，輸出越減小，右眼圖像中，越是左方向的像素位置，輸出越減小。左眼圖像及右眼圖像的各輸出向左右相反的方向的大致線性的變化對裂像的畫質也產生影響。
[0129]因此，在圖11所示的圖像生成處理中，在步驟402中，裂像生成部28B從主存儲部25獲取第I圖像信號及第2圖像信號，對所獲取的第I圖像信號及第2圖像信號實施陰影校正。在此，陰影校正是指根據與減光特性相應地設定的校正系數，對第I圖像信號及第2圖像信號的減光特性進行校正。校正系數例如根據校正用直線導出。校正用直線例如為針對特定一行中包含的多個像素輸出的、回歸線與目標靈敏度比(例如1.0)之間的距離的平方和變得最小的線性函數，校正用直線的因變量被用作校正系數。另外，校正系數并不限定于此，可以是通過基于實際設備的實驗或模擬等預先獲得的默認值(消除事先預想的減光特性的校正系數)。并且，在此例示了對第I圖像信號的輸出值及第2圖像信號的輸出值進行校正的情況，但并不限于此，也可對第I像素L及第2像素R的靈敏度進行校正。
[0130]通過如此進行上述步驟402的處理，能夠減輕減光特性對在后述的步驟404中生成的裂像的影響。即，作為一例，如圖14所示，光瞳分割方向的像素的線性靈敏度變化引起的顯示用左眼圖像及顯示用右眼圖像的線性輸出變化與未根據校正系數進行校正時相比，有所減輕。
[0131]在接下來的步驟404中，裂像生成部28B根據已在步驟402中實施陰影校正的第I及第2圖像信號生成無彩色的裂像，之后過渡到步驟405。
[0132]在步驟405中，裂像生成部28B將在上述步驟404中生成的裂像存儲于主存儲部25的預先設定的存儲區域(以下，為了便于說明，稱為“規定的存儲區域”)，之后，過渡到步驟406。
[0133]在步驟406中，控制部28C獲取已在步驟402中實施陰影校正的第I及第2圖像信號中的未處理的一對相位差像素的第I及第2像素信號，之后，過渡到步驟408。在此，“未處理”是指在本步驟406中還未獲取第I及第2像素信號的情況。并且，在此，“一對相位差像素”例如是指在與光瞳分割方向交叉的方向(例如，正交的方向)上相鄰的一對相位差像素(第I像素L及第2像素R)。圖5所示的例子中，是指在第I像素行150及第2像素行152上，位置在行方向上對齊的一對第I像素L及第2像素R(在列方向上相鄰的第I像素L及第2像素R)。
[0134]在步驟408中，控制部28C判定對在步驟406中獲取的第I像素信號的輸出值與在步驟406中獲取的第2像素信號的輸出值進行了比較的比較結果是否小于閾值。另外，在此，作為比較結果的一例，采用了在步驟406中獲取的第I像素信號的輸出值與在步驟406中獲取的第2像素信號的輸出值之間的差分的絕對值(以下，稱為“差分絕對值”)。
[0135]在步驟408中，當對在步驟406中獲取的第I像素信號的輸出值與在步驟406中獲取的第2像素信號的輸出值進行了比較的比較結果小于閾值時，判定為肯定，并過渡到步驟410。在步驟408中，當對在步驟406中獲取的第I像素信號的輸出值與在步驟406中獲取的第2像素信號的輸出值進行了比較的比較結果為閾值以上時，判定為否定，并過渡到步驟412。
[0136]另外，為了便于說明，在本第I實施方式中，“對焦狀態”并不限于焦點的偏離量變成零的情況，還表示上述比較結果小于閾值的情況。并且，為了便于說明，在本第I實施方式中，“非對焦狀態”表示上述比較結果為閾值以上的情況。
[0137]在步驟410中，控制部28C對存儲于規定的存儲區域的裂像的規定位置賦予與在步驟406中獲取的第I及第2像素信號的各個相位差像素位置對應的位置的普通圖像的顏色信息。在此，所定位置例如是指與在步驟406中獲取的第I及第2像素信號的各個相位差像素位置對應的位置。
[0138]關于針對裂像的顏色信息賦予，例如利用在步驟400中生成的普通圖像中的色差信號Cr、Cb來進行。在此，普通圖像及裂像的亮度信號Y及色差信號Cr、Cb在存儲器(例如，主存儲部25)上作為所謂的YC422格式的圖像數據來處理。作為一例，如圖15所示，在步驟400中生成的普通圖像被分解為亮度信號Yo及色差信號Cro、Cbo。相對于此，在步驟404中生成的無彩色的裂像(賦予顏色信息之前的裂像)按與普通圖像的像素位置對應的每個像素位置，分解為亮度信號Yi。
[0139]在上述步驟410中，作為一例，如圖16所示，將色差信號CroXbo乘以增益而獲得的值適用作裂像的色差信號Cr1Xb1，由此實現對無彩色的裂像賦予顏色信息。
[0140]在此，關于與色差信號CroXbo相乘的增益，作為一例，如圖17所示，預先設定為根據差分絕對值發生變動的值。圖17所示的例子中，閾值被設定為“40”，因此當差分絕對值為“40”以上時，對色差信號Cro、Cbo乘以“O”。此時，對無彩色的裂像不賦予顏色信息(步驟408:否)。相對于此，當差分絕對值小于“40”時，差分絕對值越小，對色差信號Cro、Cbo乘以越大的增益(步驟410)。其結果，差分絕對值越小，對無彩色的裂像賦予的彩色顯示地越鮮明。另夕卜，圖17所示的增益與差分絕對值之間的對應關系作為表或運算式預先存儲于輔助存儲部26，表或運算式由控制部28C從輔助存儲部26讀出來使用。
[0141]在接下來的步驟412中，控制部28C判定對所有的一對相位差像素的處理是否結束(是否已執行上述步驟406的處理)。步驟412中，當對所有的一對相位差像素的處理已結束時，判定為肯定，并過渡到步驟414。步驟412中，當對所有的一對相位差像素的處理未結束時，判定為否定，并過渡到步驟406。
[0142]在步驟414中，控制部28C將在上述步驟400中生成的普通圖像輸出至顯示控制部36，且將存儲于規定的存儲區域的裂像輸出至顯示控制部36，之后，結束本圖像生成處理。顯示控制部36進行如下控制，S卩，若輸入有普通圖像及裂像，則將普通圖像作為動態圖像而連續顯示于顯示裝置，且將裂像作為動態圖像而連續顯示于普通圖像的顯示區域內。與此相應地，作為一例，如圖9所示，顯示裝置顯示實時取景圖像。因此，攝影者能夠通過顯示于顯示裝置的裂像確認對焦狀態。并且，圖11所示的圖像生成處理在手動對焦模式中執行，因此攝影者能夠通過觀察裂像的同時操作對焦環301來使焦點的偏離量變成零。
[0143]如以上說明，攝像裝置100中對第I圖像信號的輸出值與第2圖像信號的輸出值進行比較。并且，當比較結果小于閾值時，對與普通圖像的位置對應的位置的無彩色的裂像賦予普通圖像中包含的彩色，由此顯示彩色的裂像。并且，當比較結果為閾值以上時，顯示無彩色的裂像。因此，與計算相位差時相比，攝像裝置100能夠立即切換彩色的裂像與無彩色的裂像。
[0144]并且，攝像裝置100中，在普通圖像的顯示區域內選擇性地顯示無彩色的裂像與彩色的裂像。因此，與在普通圖像的顯示區域內不選擇性地顯示無彩色的裂像與彩色的裂像時相比，攝像裝置100能夠輕松地視覺識別是否為對焦狀態
[0145]并且，攝像裝置100中，判定差分絕對值是否小于閾值。因此，與不使用差分絕對值時相比，攝像裝置100能夠高精度地判定是否為對焦狀態。
[0146]并且，攝像裝置100中，判定對已實施陰影校正的第I圖像信號的輸出值與已實施陰影校正的第2圖像信號的輸出值進行了比較的比較結果是否小于閾值。因此，與未使用已實施陰影校正的第I及第2圖像信號的輸出值時相比，攝像裝置100能夠高精度地判定是否為對焦狀態。
[0147]并且，攝像裝置100中，判定對在與光瞳分割方向交叉的方向上配置的一對相位差像素中的第I像素信號的輸出值與第2像素信號的輸出值進行了比較的比較結果是否小于閾值。因此，與不使用對在與光瞳分割方向交叉的方向上配置的一對相位差像素中的第I及第2像素信號的輸出值時相比，攝像裝置100能夠以高精度判定是否為對焦狀態。
[0148]并且，攝像裝置100中，通過從普通圖像向無彩色的裂像賦予基于色差信號Cr、Cb的彩度，對無彩色的裂像賦予彩色。由此，與未從普通圖像向無彩色的裂像賦予基于色差信號Cr、Cb的彩度時相比，攝像裝置100能夠以簡單的結構對無彩色的裂像賦予彩色。
[0149]并且，攝像裝置100中，當比較結果小于閾值時，隨著比較結果背離閾值，對無彩色的裂像賦予的彩色的強度變大。因此，與不會使彩色的強度隨著比較結果背離閾值而加大時相比，攝像裝置100能夠在彩色區域與無彩色區域之間的區域實現緩慢的顏色變化。
[0150]另外，上述第I實施方式中，例示了通過判定差分絕對值是否小于閾值來判定是否需要對裂像賦予顏色信息的情況，但本發明并不限定于此。例如，也可根據表示一對相位差像素中一個相位差像素的像素信號相對于另一個相位差像素的像素信號的輸出值的比例背離基準值的程度的背離度進行判定。在此，一個相位差像素的像素信號相對于另一個相位差像素的像素信號的輸出值的比例例如是指在步驟406中獲取的第2像素信號的輸出值相對于第I像素信號的輸出值的比例。并且，基準值例如指“I”。此時，例如，只要一對相位差像素的像素信號的輸出值比例在規定范圍內(例如，0.8以上1.2以下的范圍內)，則對裂像賦予顏色信息，若在規定范圍外，則不對裂像賦予顏色信息。
[0151]并且，上述第I實施方式中，例示了為了調整對裂像賦予的彩色的強度，通過根據差分絕對值設定的增益(參考圖17)來調整對裂像賦予的彩度的情況，但本發明并不限定于此。例如，也可以通過根據對差分絕對值進行標準化的值設定的增益來調整對裂像賦予的彩度。此時，例如，利用以下數式(I)將普通圖像的彩度Co轉換為彩度C1，并將轉換獲得的彩度(^適用作裂像的彩度(對裂像附加彩度CD。另外，在數式(I)中，“AS”指差分絕對值，“Avg”指相位差像素平均值(例如，在步驟406中獲取的第I像素信號的輸出值與在步驟406中獲取的第2像素信號的輸出值的平均值)。并且，“a”及“b”為用于微調的系數，可以是固定值，也可以是變量值(例如，根據由觸摸屏216接收的命令自定義的值)。
[0152]Ci = CoX (a~( Δ S/Avg) Xb)......(I)
[0153]在此，設為a = 0.l、b = l、閾值= 0.4時，就與彩度Co相乘的增益(=a~( Δ S/Avg) Xb)而言，作為一例，如圖18所示，預先設定為根據“AS/Avg”確定的值。圖18所示的例子中，閾值被設定為“0.4”，因此當“ Δ S/Avg”為“0.4”以上時，對彩度Co乘以“O”。此時，不對無彩色的裂像賦予顏色信息。與此相對，“Δ S/Avg”小于“0.4”時，“Δ S/Avg”越小，對彩度Co乘以越大的值。其結果，“ A S/Avg”越小，對無彩色的裂像賦予的彩色顯示得越鮮明。另外，圖18所示的增益與“ A S/Avg”之間的對應關系作為表或運算式而預先存儲于輔助存儲部26，表或運算式在對裂像賦予顏色信息時，通過控制部28C讀出來使用。
[0154]另外，圖18所示的例子中，閾值被固定，但并不限于此，閾值也可變動。此時，根據攝影條件設定閾值即可。例如，景深根據光圈值發生變化，因此隨著光圈值變小而減小閾值即可。圖19及圖20所示的例子中，F值小于3.5時的閾值為0.4，F值為3.5以上時的閾值為
0.6。因此，F值小于3.5時(景深較淺時)，比F值為3.5以上時(景深較深時)更難對裂像賦予彩色。因此，即使改變F值時，也能夠實現對裂像賦予彩色的頻度與不對裂像賦予彩色的頻度的均衡。
[0155]圖19所示的例子中，ΔS/Avg小于閾值時的增益值在F值小于3.5時和F值為3.5以上時并無差異，但本發明并不限定于此。即，△ S/Avg小于閾值時的增益值也可以在F值小于3.5時和F值為3.5以上時不同。例如，圖20所示的例子中，Δ S/Avg小于閾值時的增益值在F值為3.5以上時大于F值小于3.5時。由此，F值為3.5以上時(景深較深時)，與F值小于3.5時(景深較淺時)相比，能夠使對裂像賦予的彩色顯示得更鮮明。
[0156]閾值也可根據焦距設定。此時，例如，景深根據焦距發生變化，因此隨著焦距變長而減小閾值即可。圖21及圖22所示的例子中，焦距f為50毫米以上時的閾值為0.4，焦距fVj、于50毫米時的閾值為0.6。因此，焦距f為50毫米以上時(景深較淺時)，與焦距f小于50毫米時(景深較深時)相比，更難對裂像賦予彩色。因此，即使焦距f發生變化，也能夠實現對裂像賦予彩色的頻度與對裂像不賦予彩色的頻度的均衡。
[0157]圖21所示的例子中，ΔS/Avg小于閾值時的增益值在焦距f為50毫米以上時及焦距f小于50毫米時并無差異，但本發明并不限定于此。即，Δ S/Avg小于閾值時的增益值也可在焦距f為50毫米以上時和焦距f小于50毫米時不同。例如，圖22所示的例子中，Δ S/Avg小于閾值時的增益值在焦距f小于50毫米時大于焦距f為50毫米以上時。由此，焦距f小于50毫米時(景深較深時)，與焦距f為50毫米以上時(景深較淺時)相比，能夠使對裂像賦予的彩色顯示得更鮮明。
[0158]閾值可根據曝光時間(Tv(時間值(timevalue)值)設定。此時，例如，噪聲根據曝光時間發生變化，因此隨著曝光時間變長而減小閾值即可。圖23及圖24所示的例子中，Tv值為6.0以上時的閾值為0.4，Tv值小于6.0時的閾值為0.6。因此，Tv值為6.0以上時(噪聲較多時)，與Tv值小于6.0時(噪聲較少時)相比，更難對裂像賦予彩色。因此，S卩使改變Tv值時，也能夠實現對裂像賦予彩色的頻度與對裂像不賦予彩色的頻度的均衡。
[0159]圖23所示的例子中，ΔS/Avg小于閾值時的增益值在Tv值為6.0以上時和Tv值小于6.0時并無差異，但本發明并不限定于此。即，Δ S/Avg小于閾值時的增益值也可在Tv值為6.0以上時和Tv值小于6.0時不同。例如，圖24所示的例子中，Δ S/Avg小于閾值時的增益值在Tv值小于6.0時大于Tv值為6.0以上時。由此，Tv值小于6.0時(噪聲較少時)，與Tv值為6.0以上時(噪聲較多時)相比，能夠使對裂像賦予的彩色顯示得更鮮明。
[0160]另外，噪聲根據成像元件20的增益發生變化。因此，可隨著成像元件20的增益變大而減小閾值。由此，即使在成像元件20的增益發生變化時，也能夠實現對裂像賦予彩色的頻度與對裂像不賦予彩色的頻度的均衡。
[0161]并且，上述第I實施方式中，例示了從差分絕對值導出增益的情況，但也可從第I像素信號的輸出值與第2像素信號的輸出值之間的差分(輸出值差分)導出增益。此時，例如如圖25所示，可預先設定輸出值差分與增益之間的對應關系，利用表示輸出值差分與增益之間的對應關系的表或運算式來從輸出值差分導出增益。
[0162]并且，上述第I實施方式中，例示了在比較結果小于閾值時根據差分絕對值調整增益來調整對裂像賦予的彩色的強度的情況，但本發明并不限定于此。例如，比較結果小于閾值時，可與差分絕對值無關地直接對裂像賦予普通圖像的彩度。此時，無需利用表或運算式導出與差分絕對值對應的增益，因此能夠更迅速地進行彩色的裂像與無彩色的裂像之間的切換。
[0163]并且，上述第I實施方式中，例示了按每一對相位差像素對第I像素信號的輸出值與第2像素信號的輸出值進行比較的情況，但本發明并不限定于此。例如，也可對從第I像素組中包含的所有第I像素L輸出的第I像素信號的平均輸出值與從第2像素組中包含的所有第2像素R輸出的第2像素信號的平均輸出值進行比較。并且，可不對所有相位差像素進行輸出值的比較，而是將一部分相位差像素作為對象來進行輸出值的比較。此時，例如也可對從第I像素組的一部分區域即第I區域輸出的第I像素L的像素信號的平均輸出值與從第2像素組的第2區域(與第I區域的位置對應的位置的區域)輸出的第2像素R的像素信號的平均輸出值進行比較。并且，例如還可對從第I像素組的中央部的第I像素L輸出的第I像素信號的輸出值與從第2像素組的中央部的第2像素R輸出的第2像素信號的輸出值進行比較。
[0164]并且，上述第I實施方式中，例示了對裂像賦予顏色信息的情況，但并不限于此，也可對生成裂像之前的左眼圖像及右眼圖像賦予顏色信息。此時，優選對通過已實施陰影校正的第I圖像信號顯示的左眼圖像及通過已實施陰影校正的第2圖像信號顯示的右眼圖像賦予顏色信息。
[0165]并且，上述第I實施方式中說明的圖像生成處理流程(參考圖11)僅為一例。因此，在不脫離宗旨的范圍內當然可以刪除不必要的步驟、或追加新的步驟、或更換處理順序。并且，上述第I實施方式中說明的圖像生成處理中包含的各處理可通過執行程序，利用計算機通過軟件結構來實現。并且，上述第I實施方式中說明的圖像生成處理中包含的各處理可通過ASIC或可編程邏輯器件等硬件結構來實現，也可通過硬件結構與軟件結構的組合來實現。
[0166]通過由計算機執行程序來實現上述第I實施方式中說明的圖像生成處理時，預先將程序存儲于規定的存儲區域(例如輔助存儲部26)即可。另外，并不一定要從最開始就存儲于輔助存儲器26。例如，可先將程序存儲于與計算機連接來使用的SSD(固態硬盤(SolidState Drive))、CD-ROM、DVD盤、磁光盤、IC卡等任意的便攜式存儲介質。并且，也可設為由計算機從這些便攜式存儲介質獲取程序來執行。并且，也可設為將各程序存儲于經由互聯網或LAN(局域網(Local Area Network))等與計算機連接的其他計算機或服務器裝置等中，并由計算機從這些獲取程序來執行。
[0167]并且，為了通過軟件結構來實現上述第I實施方式中說明的圖像生成處理中包含的各處理，例如，設為通過由CPU12執行圖像生成處理程序，從而在攝像裝置100中進行圖像生成處理即可。其中，圖像生成處理程序預先存儲于輔助存儲器26即可，CPU12從輔助存儲部26讀出圖像生成處理程序并向主存儲部25展開后執行即可。此時，CPU12通過執行圖像生成處理程序，發揮與圖7所示的普通圖像生成部28A、裂像生成部28B及控制部28C相同的作用。
[0168]并且，上述第I實施方式中，例示了具有第I?第3像素組的成像元件20，但本發明并不限定于此，也可以是僅由第I像素組及第2像素組構成的成像元件。具有這種成像元件的數碼相機能夠根據從第I像素組輸出的第I圖像及從第2像素組輸出的第2圖像生成三維圖像(3D圖像)，還能夠生成二維圖像(2D圖像)。此時，二維圖像的生成例如通過在第I圖像及第2圖像的彼此中的相同顏色的像素間進行插值處理來實現。并且，可不進行插值處理，而是將第I圖像或第2圖像采用為二維圖像。
[0169]并且，上述第I實施方式中，例示了在第I?第3圖像被輸入至圖像處理部28時，普通圖像與裂像二者同時顯示于顯示裝置的相同畫面的方式，但本發明并不限定于此。例如，顯示控制部36也可進行如下控制，S卩，抑制將普通圖像作為動態圖像而連續顯示于顯示裝置，且將裂像作為動態圖像來連續顯示于顯示裝置。在此所說的“抑制普通圖像的顯示”例如指不將普通圖像顯示于顯示裝置。具體而言是指，通過雖然生成普通圖像但不對顯示裝置輸出普通圖像從而不對顯示裝置顯示普通圖像、或通過不生成普通圖像從而不對顯示裝置顯示普通圖像。可利用顯示裝置的整個畫面顯示裂像，作為一例，可利用圖9所示的整個裂像的顯示區域來顯示裂像。
[0170]并且，作為用于通過抑制顯示普通圖像來顯示裂像的條件，可考慮各種條件。例如，在命令顯示裂像的狀態下解除普通圖像的顯示命令時，顯示控制部36可進行不將普通圖像顯示于顯示裝置而是顯示裂像的控制。并且，例如，攝影者觀察混合式取景器時，顯示控制部36可進行不將普通圖像顯示于顯示裝置而是顯示裂像的控制。并且，例如，當釋放按鈕211設為半按狀態時，顯示控制部36可進行不將普通圖像顯示于顯示裝置而是顯示裂像的控制。并且，例如，未對釋放按鈕211進行按壓操作時，顯示控制部36可進行不將普通圖像顯示于顯示裝置而是顯示裂像的控制。并且，例如，使檢測被攝體的臉部的臉部檢測功能發揮作用時，顯示控制部36可進行不將普通圖像顯示于顯示裝置而是顯示裂像的控制。另外，在此，舉出了顯示控制部36抑制顯示普通圖像的變形例，但并不限于此，例如顯示控制部36也可進行在普通圖像上覆蓋顯示整個畫面的裂像的控制。
[0171]并且，上述第I實施方式中說明的攝像裝置100可具有確認景深的功能(景深確認功能)。此時，例如攝像裝置100具有景深確認鍵。景深確認鍵可以是硬鍵，也可以是軟鍵。若是通過硬鍵發出命令，則優選適用例如瞬時動作型開關(非保持型開關)。在此所說的瞬時動作型開關例如指僅在按下至規定位置的期間維持攝像裝置100中的特定動作狀態的開關。其中，若按下景深確認鍵，則光圈值被改變。并且，在持續按下景深確認鍵期間(按下至規定位置期間)，光圈值持續變化直至達到極限值。如此，按下景深確認鍵期間光圈值發生變化，因此有時無法獲得為了獲得裂像所需的相位差。因此，也可設為在顯示有裂像的狀態下景深確認鍵被按下時，在按下期間從裂像變更為普通的實時取景顯示。并且，也可由CPU12以在解除按下狀態時再次顯示裂像的方式進行畫面的切換。另外，在此，作為景深確認鍵的一例，例示了適用瞬時動作型的開關的情況，但并不限于此，也可適用交替動作型開關(保持型開關)。
[0172][第2實施方式]
[0173]在上述第I實施方式中，說明了對第I像素信號的輸出值與第2像素信號的輸出值進行比較的情況，而在本第2實施方式中，說明對第I像素信號的平均輸出值與第2像素信號的平均輸出值進行比較的情況。另外，本第2實施方式中，對與上述第I實施方式中說明的構成要件標注相同符號并省略說明。
[0174]本第2實施方式所涉及的攝像裝置100A與上述第I實施方式所涉及的攝像裝置100相比，不同點在于，作為一例具有圖27所示的成像元件20C來代替成像元件20。成像元件20C與成像元件20相比，共同點在于在行方向及列方向的各方向上交替配置有第I像素L及第2像素R，但行方向及列方向的各方向上的相位差像素的配置間隔不同。即，成像元件20中，在行方向上，相同種類的相位差像素在每6像素配置有各I像素，而成像元件20C中，在行方向上，相同種類的相位差像素在每5像素配置有各I像素。并且，成像元件20中，在列方向上，相同種類的相位差像素在每6像素配置有各I像素，而成像元件20C中，在列方向上，相同種類的相位差像素在每5像素配置有各I像素。
[0175]本第2實施方式所涉及的攝像裝置100A與上述第I實施方式所涉及的攝像裝置100相比，不同點在于，通過圖像處理部28進行圖26所示的圖像生成處理，以此代替通過圖像處理部28進行圖11所示的圖像生成處理。圖26所示的圖像生成處理與圖11所示的圖像生成處理相比，不同點在于，具有步驟700?步驟710來代替步驟406?412。
[0176]圖26所示的圖像生成處理中，在步驟700中，作為一例，如圖27所示，控制部28C設定分割成像元件20而獲得的多個分割區域600中應關注的分割區域600(以下，稱為“關注分割區域”)。在此，“關注分割區域”是指還未成為步驟702的處理對象的分割區域600。分割區域600例如是指成像元件20被分割為MXM的行列狀(例如，8 X 8的行列狀)而獲得的各區域(圖27所示的例子中，以粗實線包圍的區域)。在此，“M”是指2以上的自然數。
[0177]作為一例，如圖27所示，分割區域600為根據規定規則配置有第I像素L、第2像素R及普通像素N而成的行列狀像素組(本發明所涉及的分割像素組的一例(圖27所示的例子中，為5X5的行列狀))。分割區域600包含多組(圖27所示的例子中為2組)一對相位差像素。分割區域600中包含的一對相位差像素為在相對于光瞳分割方向正交的方向上相鄰的第I像素L及第2像素R。即，是在行方向上對齊位置的一對第I像素L及第2像素R(在列方向上相鄰的第I像素L及第2像素R)。
[0178]在接下來的步驟702中，控制部28C獲取從在步驟700中設定的關注分割區域中包含的所有第I像素L輸出的第I像素信號，并計算所獲取的所有第I像素信號的平均輸出值，之后過渡到步驟704。另外，在本步驟702中獲取的第I像素信號為已在步驟402中實施陰影校正的第2圖像信號。并且，圖27所示的例子中，從I個分割區域600(關注分割區域)計算分別從2個第I像素L輸出的第I像素信號的平均輸出值。
[0179]在步驟704中，控制部28C獲取從在步驟700中設定的關注分割區域中包含的所有第2像素R輸出的第2像素信號，并計算所獲取的所有第2像素信號的平均輸出值，之后過渡到步驟706。另外，在本步驟704中獲取的第2像素信號為已在步驟402中實施陰影校正的第2圖像信號。并且，圖27所示的例子中，從I個分割區域600(關注分割區域)計算分別從2個第2像素R輸出的第2像素信號的平均輸出值。
[0180]在步驟706中，控制部28C判定對在步驟702中計算出的第I像素信號的平均輸出值與在步驟704中計算出的第2像素信號的平均輸出值進行了比較的比較結果是否小于閾值。另外，在此，作為比較結果的一例，采用在步驟702中獲取的第I像素信號的平均輸出值與在步驟704中獲取的第2像素信號的平均輸出值之間的差分的絕對值。
[0181]在步驟706中，對在步驟702中計算出的第I像素信號的平均輸出值與在步驟704中計算出的第2像素信號的平均輸出值進行了比較的比較結果小于閾值時，判定為肯定，并過渡到步驟708。在步驟706中，對在步驟702中計算出的第I像素信號的平均輸出值與在步驟704中計算出的第2像素信號的平均輸出值進行了比較的比較結果為閾值以上時，判定為否定，并過渡到步驟710。
[0182]在步驟708中，控制部28C對存儲于規定的存儲區域的裂像賦予與在步驟702中獲取的第I像素信號及在步驟704中獲取的第2像素信號的各個相位差像素的位置對應的位置的普通圖像的顏色信息。
[0183]在接下來的步驟710中，控制部28C判定是否已對所有分割區域600執行步驟700的處理。在步驟710中，未對所有分割區域600執行步驟700的處理時，判定為否定，并過渡到步驟700。在步驟710中，已對所有分割區域600執行步驟700的處理時，判定為肯定，并過渡到步驟414。
[0184]如以上說明，攝像裝置100A中，在各個分割區域600中判定對第I像素信號的平均輸出值與第2像素信號的平均輸出值進行了比較的比較結果是否小于閾值。因此，與不在各個分割區域600中判定比較結果是否小于閾值時相比，攝像裝置100A能夠以高精度判定是否為對焦狀態。
[0185]另外，上述第2實施方式中，例示了在各個分割區域600中判定對第I像素信號的平均輸出值與第2像素信號的平均輸出值進行了比較的比較結果是否小于閾值的情況，但本發明并不限定于此。例如，也可在各個分割區域600中判定對第I像素信號的輸出值的中央值與第2像素信號的輸出值的中央值進行了比較的比較結果是否小于閾值。也可在各個分割區域600中判定對第I像素信號的輸出值的眾數(mode)與第2像素信號的輸出值的眾數進行了比較的比較結果是否小于閾值。并且，還可在各個分割區域600中判定對第I像素信號的輸出值的代表值與第2像素信號的輸出值的代表值進行了比較的比較結果是否小于閾值。在此，作為第I像素信號的輸出值的代表值的一例，可舉出從存在于分割區域600內的特定位置的第I像素L輸出的第I像素信號的輸出值。并且，作為第2像素信號的輸出值的代表值的一例，可舉出從存在于分割區域600內的特定位置的第2像素R輸出的第2像素信號的輸出值。
[0186]并且，上述第2實施方式中，作為比較結果的一例，采用在步驟702中獲取的第I像素信號的平均輸出值與在步驟704中獲取的第2像素信號的平均輸出值之間的差分的絕對值，但本發明并不限定于此。例如，也可以是在步驟702中獲取的第I像素信號的平均輸出值及在步驟704中獲取的第2像素信號的平均輸出值中一個平均輸出值相對于另一個平均輸出值的比例。此時，例如根據表示一個平均輸出值相對于另一個平均輸出值的比例背離基準值(例如，I)的程度的背離度來判定是否對裂像賦予顏色信息即可。
[0187][第3實施方式]
[0188]上述各實施方式中，例示了攝像裝置100、100A，但作為攝像裝置100U00A的變形例即便攜式終端裝置，例如可舉出具有攝像機功能的移動電話或智能手機等。此外，也可舉出Η)Α(個人數字助理(Personal Digital Assistants))和便攜式游戲機等。本第3實施方式中，以智能手機為例，參考附圖進行詳細說明。
[0189]圖28是表示智能手機500的外觀的一例的立體圖。圖28所示的智能手機500具有平板狀框體502，在框體502的一側面具備作為顯示部的顯示面板521與作為輸入部的操作面板522成為一體的顯示輸入部520。并且，該框體502具備揚聲器531、麥克風532、操作部540及相機部541。另外，框體502的結構并不限定于此，例如能夠采用顯示部與輸入部獨立的結構，或者采用具有折疊結構或滑動機構的結構。
[0190]圖29是表示圖28所示的智能手機500的結構的一例的框圖。如圖29所示，作為智能手機500的主要構成要件，具備無線通信部510、顯示輸入部520、通信部530、操作部540、相機部541、存儲部550及外部輸入輸出部560。另外，作為智能手機500的主要構成要件，具備GPS(Global Posit1ning System)接收部570、動作傳感器部580、電源部590及主控制部501。并且，作為智能手機500的主要功能，具備經由基站裝置BS及移動通信網NW進行移動無線通信的無線通信功能。
[0191]無線通信部510根據主控制部501的命令，對容納于移動通信網NW的基站裝置BS進行無線通信。使用該無線通信，進行語音數據、圖像數據等各種文件數據、電子郵件數據等的收發及Web數據或流數據等的接收。
[0192]顯示輸入部520為所謂的觸控面板，其具備顯示面板521及操作面板522。因此，顯示輸入部520通過主控制部501的控制，顯示圖像(靜態圖像及動態圖像)和字符信息等來視覺性地向用戶傳遞信息，并且檢測用戶對所顯示的信息的操作。另外，欣賞所生成的3D圖像時，優選顯示面板521為3D顯示面板。
[0193]顯不面板521是將LCD、0ELD(0rganic Electro-Luminescence Display)等用作顯示設備的裝置。操作面板522是以能夠視覺辨認顯示于顯示面板521的顯示面上的圖像的方式載置，并檢測通過用戶的手指或尖筆來操作的一個或多個坐標的設備。若通過用戶的手指或尖筆操作該設備，則將通過操作而產生的檢測信號輸出至主控制部501。接著，主控制部501根據所接收的檢測信號檢測顯示面板521上的操作位置(坐標)。
[0194]如圖29所示，智能手機500的顯示面板521與操作面板522成為一體而構成顯示輸入部520，并配置成操作面板522完全覆蓋顯示面板521。采用該配置時，操作面板522可以對顯示面板521外的區域也具備檢測用戶操作的功能。換言之，操作面板522可具備針對與顯示面板521疊加的疊加部分的檢測區域(以下，稱為顯示區域)、及針對除此以外的不與顯示面板521疊加的外緣部分的檢測區域(以下，稱為非顯示區域)。
[0195]另外，可使顯示區域的大小與顯示面板521的大小完全一致，但無需一定要使兩者一致。并且，操作面板522可具備外緣部分及除此以外的內側部分這兩個感應區域。而且，夕卜緣部分的寬度根據框體502的大小等適當設計。此外，作為在操作面板522中采用的位置檢測方式，可舉出矩陣開關方式、電阻膜方式、表面彈性波方式、紅外線方式、電磁感應方式、靜電電容方式等，能夠采用任一方式。
[0196]通信部530具備揚聲器531和麥克風532。通信部530將通過麥克風532輸入的用戶的聲音轉換為能夠在主控制部501中處理的語音數據來輸出至主控制部501。并且，通信部530對通過無線通信部510或外部輸入輸出部560接收的語音數據進行解碼而從揚聲器531輸出。并且，如圖28所示，例如能夠將揚聲器531搭載于與設置有顯示輸入部520的面相同的面，并將麥克風532搭載于框體502的正面下部。
[0197]操作部540為使用鍵開關等的硬件鍵，接受來自用戶的命令。例如，如圖28所示，操作部540搭載于智能手機500的框體502的正面下部，是用手指等按下時開啟，手指離開時通過彈簧等的復原力而成為關閉狀態的按鈕式開關。
[0198]存儲部550存儲主控制部501的控制程序和控制數據、應用軟件、將通信對象的名稱和電話號碼等建立對應關聯的地址數據、所收發的電子郵件的數據。并且，存儲部550存儲通過Web瀏覽下載的Web數據或已下載的內容數據。另外，存儲部550臨時存儲流數據等。并且，存儲部550具有內置于智能手機的內部存儲部551及裝卸自如且具有外部存儲器插槽的外部存儲部552。另外，構成存儲部550的各個內部存儲部551與外部存儲部552通過使用閃存類型(flash memory type)、硬盤類型(hard disk type)等存儲介質來實現。作為存儲介質，除此之外還可例示微型多媒體卡類型(multimedia card micro type)、卡類型的存儲器(例如，MicroSD(注冊商標)存儲器等)、RAM(Random Access Memory)、R0M(Read OnlyMemory)。
[0199]外部輸入輸出部560發揮與連結于智能手機500的所有外部設備的接口的作用，用于通過通信等直接或間接地與其他外部設備連接。作為與其他外部設備的通信，例如可舉出通用串行總線(USB)、IEEEl 394等。作為網絡，例如可舉出互聯網、無線LAN、藍牙(Bluetooth(注冊商標))、RFID(Rad1 Frequency Identificat1n)、紅外線通信(Infrared Data Associat1n:1rDA(注冊商標))。并且，作為網絡的另一例子，可舉出UWB(Ultra Wideband(注冊商標))或紫蜂(Zig Bee(注冊商標))等。
[0200]作為與智能手機500連結的外部設備，例如有:有/無線頭戴式耳機、有/無線外部充電器、有/無線數據端口、經由卡插槽連接的存儲卡(Memory card)。作為外部設備的另一例子，可舉出SIM(Subscriber Identity Module Card)/UIM(User Identity ModuleCard)卡、經由語音/視頻1/0 (Input/Output)端子連接的外部語音/視頻設備。除了外部語音/視頻設備之外，還可舉出無線連接的外部語音/視頻設備。并且，還能夠代替外部語音/視頻設備，例如適用有/無線連接的智能手機、有/無線連接的個人計算機、有/無線連接的PDA、有/無線連接的個人計算機、耳機等。
[0201]外部輸入輸出部560能夠將從這種外部設備接收到傳送的數據傳遞至智能手機500內部的各構成要件、或將智能手機500內部的數據傳送至外部設備。
[0202]GPS接收部570根據主控制部501的命令接收從GPS衛星STl?STn發送的GPS信號，執行基于所接收的多個GPS信號的測位運算處理，檢測包含智能手機500的瑋度、經度、高度的位置。GPS接收部570在能夠從無線通信部510或外部輸入輸出部560(例如，無線LAN)獲取位置信息時，還能夠利用該位置信息檢測位置。
[0203]動作傳感器部580例如具備三軸加速度傳感器等，根據主控制部501的命令，檢測智能手機500的物理動作。通過檢測智能手機500的物理動作，可檢測智能手機500的移動方向或加速度。該檢測結果被輸出至主控制部501。
[0204]電源部590根據主控制部501的命令，向智能手機500的各部供給蓄積在電池(未圖示)的電力。
[0205]主控制部501具備微處理器，根據存儲部550所存儲的控制程序或控制數據進行動作，統一控制智能手機500的各部。并且，主控制部501為了通過無線通信部510進行語音通信或數據通信，具備控制通信系統的各部的移動通信控制功能及應用處理功能。
[0206]應用處理功能通過主控制部501根據存儲部550所存儲的應用軟件進行動作來實現。作為應用處理功能，例如有控制外部輸入輸出部560來與對象設備進行數據通信的紅外線通信功能、進行電子郵件的收發的電子郵件功能、瀏覽Web頁的Web瀏覽功能等。
[0207]并且，主控制部501具備根據接收數據或所下載的流數據等圖像數據(靜態圖像或動態圖像的數據)在顯示輸入部520顯示影像等的圖像處理功能。圖像處理功能是指主控制部501對上述圖像數據進行解碼，對該解碼結果實施圖像處理并將圖像顯示于顯示輸入部520的功能。
[0208]而且，主控制部501執行對顯示面板521的顯示控制及檢測通過操作部540、操作面板522進行的用戶操作的操作檢測控制。
[0209]通過執行顯示控制，主控制部501顯示用于啟動應用軟件的圖標或滾動條等軟件鍵，或者顯示用于創建電子郵件的窗口。另外，滾動條是指用于使無法全部容納于顯示面板521的顯示區域的較大圖像等，接受使圖像的顯示部分移動的命令的軟件鍵。
[0210]并且，通過執行操作檢測控制，主控制部501檢測通過操作部540進行的用戶操作，或者通過操作面板522接受對上述圖標的操作或對上述窗口的輸入欄輸入字符串。并且，通過執行操作檢測控制，主控制部501接受通過滾動條進行的顯示圖像的滾動請求。
[0211]而且，通過執行操作檢測控制，主控制部501判定對操作面板522操作的位置是與顯示面板521疊加的疊加部分(顯示區域)還是除此以外的不與顯示面板521疊加的外緣部分(非顯示區域)。并且，具有接收該判定結果來控制操作面板522的感應區域或軟鍵的顯示位置的觸摸屏控制功能。
[0212]并且，主控制部501還能夠檢測對操作面板522的手勢操作，并根據檢測出的手勢操作執行預先設定的功能。手勢操作表示并非以往的簡單的觸摸操作，而是通過手指等描繪軌跡、或者同時指定多個位置、或者組合這些來從多個位置對至少一個描繪軌跡的操作。
[0213]相機部541為使用CMOS或CCD等成像元件進行拍攝的數碼相機，具備與圖1等中示出的攝像裝置100相同的功能。
[0214]并且，相機部541能夠對手動對焦模式與自動對焦模式進行切換。若選擇手動對焦模式，則能夠通過操作顯示于操作部540或顯示輸入部520的聚焦用圖標按鈕等，進行相機部541的攝影鏡頭的對焦。并且，手動對焦模式時，將合成有裂像的即時預覽圖像顯示于顯示面板521，由此使能夠確認手動對焦時的對焦狀態。另外，可將圖10所示的混合式取景器220設置于智能手機500。
[0215]并且，相機部541通過主控制部501的控制，將通過拍攝獲得的圖像數據轉換為例如JPEG(Joint Photographic coding Experts Group)等壓縮的圖像數據。并且，能夠將轉換獲得的圖像數據記錄于存儲部550或通過外部輸入輸出部560或無線通信部510輸出。圖29所示的智能手機500中，相機部541搭載于與顯示輸入部520相同的面，但相機部541的搭載位置并不限定于此，可搭載于顯示輸入部520的背面，或者也可搭載有多個相機部541 ο另夕卜，搭載有多個相機部541時，還能夠切換供拍攝的相機部541來單獨進行拍攝或者同時使用多個相機部541進行拍攝。
[0216]并且，相機部541能夠利用于智能手機500的各種功能中。例如，能夠在顯示面板521顯示通過相機部541獲取的圖像，或者作為操作面板522的操作輸入之一，利用相機部541的圖像。并且，當GPS接收部570檢測位置時，還能夠參考來自相機部541的圖像來檢測位置。而且，還能夠參考來自相機部541的圖像，不使用三軸加速度傳感器或者與三軸加速度傳感器同時使用來判斷智能手機500的相機部541的光軸方向，或判斷當前的使用環境。當然，還能夠在應用軟件內利用來自相機部541的圖像。
[0217]此外，還能夠在靜態圖像或動態圖像的圖像數據上附加各種信息來記錄于存儲部550，或通過外部輸入輸出部560或無線通信部510進行輸出。作為在此所說的“各種信息”，例如可舉出在靜態圖像或動態圖像的圖像數據上通過GPS接收部570獲取的位置信息、通過麥克風532獲取的語音信息(也可以通過主控制部等進行語音文本轉換而成為文本信息)。此外，還可以是通過動作傳感器部580獲取的姿勢信息等等。
[0218]另外，上述各實施方式中，例示了在行方向及列方向的各方向上每隔規定像素數而交替配置第I像素L與第2像素R的情況，但本發明并不限定于此。例如，如圖30所示，可在行方向上，每隔規定像素數而交替配置第I像素L與第2像素R，在列方向上，每隔規定像素數配置相鄰的第I像素L及第2像素R。此時，優選使第I像素L及第2像素R的位置在第I像素組與第2像素組之間在列方向及行方向的至少一個方向上在規定像素數內對齊。另外，圖30所示的例子中，示出了使第I像素L與第2像素R在第I像素組與第2像素組之間在列方向及行方向的各方向上的位置配置于在I像素內對齊的位置的例子。
[0219]上述各實施方式中，例示了將原色(R濾波器、G濾波器、B濾波器)的排列設為拜耳排列的濾色器21(參考圖4)，但本發明并不限定于此。例如，可使用圖31所示的濾色器21D來代替濾色器21。圖31中示意地示出了濾色器21D的原色(R濾波器，G濾波器，B濾波器)的排列及遮光部件的配置的一例。圖30所示的濾色器21D中，第I?第4的行排列在列方向上反復配置。第I行排列是指沿著行方向交替配置有B濾波器及G濾波器的排列。第2行排列是指使第I行排列在行方向上錯開半個間距(半像素量)的排列。第3行排列是指沿著行方向交替配置G濾波器及R濾波器的排列。第4的行排列是指使第3行排列在行方向上錯開半個間距的排列。
[0220]第I行排列及第2行排列在列方向上錯開半個間距而相鄰。第2行排列及第3行排列也在列方向上錯開半個間距而相鄰。第3行排列及第4行排列也在列方向上錯開半個間距而相鄰。第4行排列及第I行排列也在列方向上錯開半個間距而相鄰。因此，第I?4行排列的每一個在列方向上每隔2像素而重復。
[0221]關于第I像素L及第2像素R，作為一例，如圖31所示，被分配于第3及第4行排列。即，第I像素L被分配于第3行排列，第2像素R被分配于第4行排列。并且，第I像素L及第2像素R相互相鄰而以(最小間距)成對配置。并且，圖31所示的例子中，第I像素L在行方向及列方向的各方向上按每6像素被分配，第2像素R也在行方向及列方向的各方向上按每6像素被分配。
[0222]并且，圖31所示的例子中，對第I像素L及第2像素R分配有G濾波器。設置有G濾波器的像素與設置有其他顏色的濾波器的像素相比靈敏度良好，因此能夠提高插值精度。而且，G濾波器與其他顏色的濾波器相比具有連續性，因此分配有G濾波器的像素與分配有其他顏色的濾波器的像素相比，易進行插值。
[0223]并且，上述各實施方式中，例示了沿上下方向被4分割的裂像，但并不限于此，可將沿傾斜方向或左右方向被分割為多個的圖像適用為裂像。
[0224]并且，圖32所示的裂像66b被與行方向具有傾斜角的分割線63b(例如，裂像66b的對角線)2分割。該裂像66b中，根據從第I像素組輸出的輸出信號生成的相位差圖像66Lb顯示于一個區域。并且，根據從第2像素組輸出的輸出信號生成的相位差圖像66Rb顯示于另一區域。
[0225]并且，圖33A及圖33B所示的裂像66c被分別與行方向及列方向平行的格子狀的分割線63c分割。裂像66c中，根據從第I像素組輸出的輸出信號生成的相位差圖像66Lc被排列顯示為方格花紋(格子圖案)形狀。并且，根據從第2像素組輸出的輸出信號生成的相位差圖像66Rc排列顯示為方格花紋。
[0226]而且，不限于裂像，也可根據2個相位差圖像生成其他對焦確認圖像，并顯示對焦確認圖像。例如，可疊加2個相位差圖像來進行合成顯示，當焦點偏離時顯示為二重像，當焦點對準的狀態下清晰地顯示圖像。
[0227]符號說明
[0228]16-攝影鏡頭，20、20C-成像元件，28A-普通圖像生成部，28B-裂像生成部，28C-控制部，36-顯示控制部，100、100A-攝像裝置，215-第I顯示器，247-第2顯示器。
【主權項】
1.一種圖像處理裝置，其包含: 生成部，生成基于從成像元件輸出的第I圖像信號的無彩色的第I圖像、基于從所述成像元件輸出的第2圖像信號的無彩色的第2圖像及基于從所述成像元件輸出的第3圖像信號的彩色的第3圖像，所述成像元件具有通過攝影鏡頭中的第I及第2區域的被攝體像被光瞳分割而分別成像從而輸出所述第I圖像信號的第I像素組及輸出所述第2圖像信號的第2像素組，且具有透射所述攝影鏡頭的被攝體像未被光瞳分割而成像從而輸出所述第3圖像信號的第3像素組； 顯示部，顯示圖像;及 控制部，在對所述第I圖像信號的輸出值與所述第2圖像信號的輸出值進行了比較的比較結果小于閾值時，進行將用于對焦確認的彩色圖像顯示于所述顯示部的控制，所述彩色圖像通過在所述第3圖像與所述第I及第2圖像對應的位置對所述第I及第2圖像賦予所述第3圖像中包含的彩色而獲得，并在所述比較結果為所述閾值以上時，進行將根據所述第I及第2圖像獲得且用于對焦確認的無彩色圖像顯示于所述顯示部的控制。2.根據權利要求1所述的圖像處理裝置，其中， 所述控制部進行在所述顯示部顯示所述第3圖像且在所述第3圖像的顯示區域內選擇性地顯示所述彩色圖像及所述無彩色圖像的控制。3.根據權利要求1或2所述的圖像處理裝置，其中， 所述比較結果為基于所述第I圖像信號的輸出值與所述第2圖像信號的輸出值之間的差分及比中的至少一個的值。4.根據權利要求3所述的圖像處理裝置，其中， 所述比較結果為所述差分的絕對值。5.根據權利要求3所述的圖像處理裝置，其中， 所述比較結果為對所述差分的絕對值進行標準化而獲得的值。6.根據權利要求3所述的圖像處理裝置，其中， 所述比較結果是表示所述第I圖像信號的輸出值及所述第2圖像信號的輸出值中的一個相對于另一個的比例背離基準值的程度的背離度。7.根據權利要求1至6中任一項所述的圖像處理裝置，其中， 所述閾值根據攝影條件確定。8.根據權利要求7所述的圖像處理裝置，其中， 所述攝影條件為光圈值， 隨著所述光圈值變小而減小所述閾值。9.根據權利要求7所述的圖像處理裝置，其中， 所述攝影條件為焦距， 隨著所述焦距變長而減小所述閾值。10.根據權利要求7所述的圖像處理裝置，其中， 所述攝影條件為曝光時間， 隨著所述曝光時間變長而減小所述閾值。11.根據權利要求7所述的圖像處理裝置，其中， 所述攝影條件為所述成像元件的增益， 隨著所述增益變大而減小所述閾值。12.根據權利要求1至11中任一項所述的圖像處理裝置，其中， 所述比較結果為，對根據與基于經由所述第I區域入射的光及經由第2區域入射的光的減光特性相應的校正系數分別校正了所述減光特性的所述第I圖像信號的輸出值與所述第2圖像信號的輸出值進行比較的比較結果。13.根據權利要求1至12中任一項所述的圖像處理裝置，其中， 所述比較結果為，對配置于與光瞳分割方向交叉的方向上的像素間的所述第I圖像信號的輸出值與所述第2圖像信號的輸出值進行比較的比較結果。14.根據權利要求1至13中任一項所述的圖像處理裝置，其中， 所述比較結果為，在包含所述第I及第2像素組的像素組被分割而獲得的多個分割像素組的各個分割像素組中對所述第I圖像信號的輸出值與所述第2圖像信號的輸出值進行比較的比較結果。15.根據權利要求1至13中任一項所述的圖像處理裝置，其中， 所述比較結果為，在包含所述第I及第2像素組的像素組被分割而獲得的多個分割像素組的各個分割像素組中對所述第I圖像信號的平均輸出值與所述第2圖像信號的平均輸出值進行比較的比較結果。16.根據權利要求1至15中任一項所述的圖像處理裝置，其中， 所述控制部在所述比較結果小于所述閾值時，進行通過從所述第3圖像向所述第I及第2圖像賦予彩度來對所述第I及第2圖像賦予彩色的控制。17.根據權利要求1至16中任一項所述的圖像處理裝置，其中， 所述比較結果小于所述閾值時對所述第I及第2圖像賦予的彩色的強度隨著所述比較結果背離所述閾值而變大。18.—種攝像裝置，其包含: 權利要求1至17中任一項所述的圖像處理裝置； 具有所述第I像素組、所述第2像素組及所述第3像素組的成像元件;及 存儲根據從所述成像元件輸出的信號生成的圖像的存儲部。19.一種圖像處理方法，其包含如下步驟: 生成基于從成像元件輸出的第I圖像信號的無彩色的第I圖像、基于從所述成像元件輸出的第2圖像信號的無彩色的第2圖像及基于從所述成像元件輸出的第3圖像信號的彩色的第3圖像，所述成像元件具有通過攝影鏡頭中的第I及第2區域的被攝體像被光瞳分割而分別成像從而輸出所述第I圖像信號的第I像素組及輸出所述第2圖像信號的第2像素組，且具有透射所述攝影鏡頭的被攝體像未被光瞳分割而成像從而輸出第3圖像信號的第3像素組， 針對顯示圖像的顯示部，在對所述第I圖像信號的輸出值與所述第2圖像信號的輸出值進行了比較的比較結果小于閾值時，進行顯示用于對焦確認的彩色圖像的控制，所述彩色圖像通過在所述第3圖像與所述第I及第2圖像對應的位置對所述第I及第2圖像賦予所述第3圖像中包含的彩色而獲得，并在所述比較結果為所述閾值以上時，進行顯示根據所述第I及第2圖像獲得且用于對焦確認的無彩色圖像的控制。20.—種圖像處理程序，其用于使計算機執行包含如下步驟的處理: 生成基于從成像元件輸出的第I圖像信號的無彩色的第I圖像、基于從所述成像元件輸出的第2圖像信號的無彩色的第2圖像及基于從所述成像元件輸出的第3圖像信號的彩色的第3圖像，所述成像元件具有通過攝影鏡頭中的第I及第2區域的被攝體像被光瞳分割而分別成像從而輸出所述第I圖像信號的第I像素組及輸出所述第2圖像信號的第2像素組，且具有透射所述攝影鏡頭的被攝體像未被光瞳分割而成像從而輸出所述第3圖像信號的第3像素組， 針對顯示圖像的顯示部，在對所述第I圖像信號的輸出值與所述第2圖像信號的輸出值進行了比較的比較結果小于閾值時，進行顯示用于對焦確認的彩色圖像的控制，所述彩色圖像通過在所述第3圖像與所述第I及第2圖像對應的位置對所述第I及第2圖像賦予所述第3圖像中包含的彩色而獲得，并在所述比較結果為所述閾值以上時，進行顯示根據所述第I及第2圖像獲得且用于對焦確認的無彩色圖像的控制。
【文檔編號】G02B7/34GK105934710SQ201480073633
【公開日】2016年9月7日
【申請日】2014年10月27日
【發明人】河合智行, 林淳司
【申請人】富士膠片株式會社