攝像裝置的制作方法

專利名稱：攝像裝置的制作方法
技術領域：
本發明涉及攝像裝置，更具體而言涉及能夠取得用于得到高動態范圍圖像的圖像數據的攝像裝置。
背景技術：
已知通過合成曝光時間不同的多個圖像(例如短秒時和長秒時的2個圖像)，從而取得超過僅利用I個圖像能取得的動態范圍的動態范圍的圖像(高動態范圍圖像)的技術。
參照圖26 圖28說明這種技術的一例。圖26是表示現有的攝像部的構成的一例的圖，圖27是表示現有的攝像部的一個像素的構成的電路圖，圖28是表示使用以往的攝像部逐幀交替取得長時間曝光圖像和短時間曝光圖像時的情形的時序圖。
圖26所示的現有的攝像部91具有2維狀(例如按行方向和列方向)排列有多個像素的像素部92 ;以行為單位從該像素部92讀出像素值,使用CDS部進行相關2重采樣或使用增益部進行放大的讀出部93 ;以行為單位從該讀出部93讀出像素值并轉換為數字信號的數字處理部94。
如圖27所示，在像素部92中構成的像素具有作為光電轉換部的H)(光電二極管) 和在讀出電荷時暫時保持該光電轉換部ro的信號的作為信號蓄積部的FD (浮動擴散)。
在光電轉換部ro與信號蓄積部FD之間串聯連接有用于將光電轉換部ro的信號傳送給信號蓄積部FD的傳送晶體管TX。
TrA是作為放大部發揮作用的放大用晶體管，與電壓源Vdd和電流源構成源輸出放大器(source follow amplifier)。信號蓄積部FD的信號被放大晶體管TrA放大,經由被施加了選擇脈沖的選擇晶體管后被輸出給垂直傳送線。
FDRST是用于復位信號蓄積部FD和放大晶體管TrA的輸入部的FD復位晶體管。 另外，使FD復位晶體管FDRST和傳送晶體管TX同時導通，從而能夠同時進行光電轉換部H) 的復位。
圖28表示使用這種構成的攝像部，逐幀交替取得長時間曝光圖像和短時間曝光圖像時的情形。
例如，在某幀進行長曝光時間TexpL的曝光數據的讀出。曝光是滾動快門方式，在讀出定時之前復位ro以成為長曝光時間。此后在垂直同步信號VD的上升沿以行為單位依次進行來自像素部92的數據讀出。在與該以行為單位的讀出同時，以行為單位依次完成曝光。由此從攝像部91取得長時間曝光涉及的數據輸出L。
在接下來的幀中，進行短曝光時間TexpS的曝光數據的讀出。在垂直同步信號VD 的上升沿定時以行為單位依次進行來自像素部92的數據讀出，從攝像部91取得短時間曝光涉及的數據輸出S。
通過重復進行如上處理，從而能夠逐幀交替取得長時間曝光圖像和短時間曝光圖像。于是，通過對在第I幀取得的長時間曝光圖像與在第2幀取得的短時間曝光圖像進行高動態范圍合成，從而生成I幀的高動態范圍圖像。同樣地，通過對在第3幀取得的長時間曝光圖像與在第4幀取得的短時間曝光圖像進行高動態范圍合成，從而生成下I個幀的高動態范圍圖像。以往就是如上來取得為攝像幀率的一半的幀率的高動態范圍圖像。
然而在這種現有技術中，為了取得不同曝光時間的圖像，需要重復多次曝光時機不同的攝影。因此在被攝體為移動體的情況下，在以不同時機曝光的圖像中的運動被攝體產生位置偏差，若將產生了位置偏差的圖像彼此合成起來，則會在合成結果的圖像中發生畫質變差。
作為用于對應該問題的技術，例如在日本特開2011-4353號公報中描述了在曝光時間不同的圖像之間指定共同區域，求出共同區域一致的位置偏差校正量，來進行圖像處理的圖像處理裝置。
然而在上述日本特開2011-4353號公報所述的技術中，為了進行位置偏差校正， 需要仿射(affine)變換或塊匹配等高級圖像處理技術，因而需要在獨立于照相機的計算機中進行處理，或者使照相機具備足夠的處理功能，會導致攝像裝置的價格變高和大型化。
另外，在上述現有技術中，例如在合成2張圖像時，為了取得I張合成圖像需要讀出2張圖像。因此若欲在動態圖像中取得高動態范圍圖像，則存在幀率降低(例如在將2張合成的情況下，幀率會減半)的課題。發明內容
本發明就是鑒于上述情況而完成的，其目的在于提供一種能夠在不需要高級的圖像處理的情況下，取得用于得到位置偏差小的高動態范圍圖像的圖像數據的攝像裝置。
本發明的一個方面涉及的攝像裝置進行曝光以取得圖像信號，其具有像素部， 其2維狀地排列有產生與曝光量相應的信號電荷的多個像素；曝光量控制部，其確定上述像素部的曝光量；存儲器部，其能夠存儲輸出圖像的多個幀的來自上述像素部的像素信號； 像素讀出控制部，其讀出上述像素部的像素信號，并存儲于上述存儲器部中；以及存儲器讀出控制部，其讀出存儲于上述存儲器部中的像素信號，上述曝光量控制部控制為使上述像素部進行連續性質的多次曝光，上述像素讀出控制部依次讀出上述連續性質的多次曝光涉及的各像素信號并存儲于上述存儲器部中。
通過一并參見附圖進行的后述說明能夠進一步明確理解本發明上述及另外的目的、特征、優勢。


圖I是表示本發明的參考例的攝像裝置的構成的框圖。
圖2是表示上述參考例的攝像部的構成的圖。
圖3是表示上述參考例中I個像素涉及的像素部、存儲器部和列處理部的構成的電路圖。
圖4是表示上述參考例中用于取得高動態范圍圖像的攝像部的基本攝像動作的圖。
圖5是表示上述參考例中像素部的第I行和第2行的動作的時序圖。
圖6是表示上述參考例中像素部的第I行的像素的晶體管等的信號變化的情形的時序圖。
圖7是表示在本發明的第I實施方式中，I個像素涉及的像素部、存儲器部和列處理部的構成的電路圖。
圖8是表示在上述第I實施方式中，用于取得高動態范圍圖像的攝像部的攝像動作的圖。
圖9是表示在上述第I實施方式中，從像素部向存儲器部傳送第I曝光圖像數據和第2曝光圖像數據的情形的圖。
圖10是表示在上述第I實施方式中，像素部的第I行和第2行的動作的時序圖。
圖11是表示本發明的第2實施方式中，I個像素涉及的像素部、存儲器部和列處理部的構成的電路圖。
圖12是表示上述第2實施方式中，用于取得高動態范圍圖像的攝像部的攝像動作的圖。
圖13是表示上述第2實施方式中，從像素部向存儲器部傳送第I 第3曝光圖像數據的情形的圖。
圖14是表示上述第2實施方式中，從列處理部向存儲器部傳送經過了平均運算的曝光圖像數據的情形的圖。
圖15是表示在上述第2實施方式中，像素部的第I行和第2行的動作的時序圖。
圖16是表示在上述第2實施方式中，像素部的第I行的像素的晶體管等的信號變化的情形的時序圖。
圖17是表示在本發明的第3實施方式中，I個像素涉及的像素部、存儲器部和列處理部的構成的電路圖。
圖18是表示在上述第3實施方式中，用于取得高動態范圍圖像的攝像部的攝像動作的圖。
圖19是表不在上述第3實施方式中，長曝光時間時光電轉換部的電荷蓄積量相對于入射光強度的線圖。
圖20是表在上述第3實施方式中，短曝光時間時光電轉換部的電荷蓄積量相對于入射光強度的線圖。
圖21是表示在上述第3實施方式中，將光電轉換部的飽和電平設為預定的閾值電平，在列處理部中將長時間曝光圖像與短時間曝光圖像進行簡易HDR合成時的輸出電平的線圖。
圖22是表示在上述第3實施方式中，將光電轉換部的飽和電平設為預定的閾值電平，在列處理部中將長時間曝光圖像與短時間曝光圖像更簡單地進行簡易HDR合成時的輸出電平的線圖。
圖23是表示在上述第3實施方式中，在列處理部中將長時間曝光圖像與短時間曝光圖像單純進行相加來進行簡易HDR合成時的輸出電平的線圖。
圖24是表示在上述第3實施方式中，像素部的第I行和第2行的動作的時序圖。
圖25是表示在上述第3實施方式中，像素部的第I行的像素的晶體管等的信號變化的情形的時序圖。
圖26是表示現有的攝像部的構成的一例的圖。
圖27是表示現有的攝像部的一個像素的構成的電路圖。
圖28是表示現有的攝像部逐幀交替取得長時間曝光圖像和短時間曝光圖像時的情形的時序圖。
具體實施方式
首先參照圖I至圖6，以與本發明實施方式關聯的攝像元件的基本構成作為參考例進行說明。其中，圖I是表示攝像裝置的構成的框圖。
如圖I所示,該攝像裝置具有鏡頭I、攝像部2、HDR(High Dynamic Range :高動態范圍)數字合成部3、AF評價值運算部4、顯示部5、抖動檢測部7、抖動校正部8、曝光控制部 9、對焦控制部10、照相機操作部11、照相機控制部12。并且雖然圖I還描述了存儲卡6，然而由于該存儲卡6構成為可在攝像裝置上拆裝，因而可以不是攝像裝置固有的構成。
鏡頭I用于使被攝體的光學像成像于攝像部2所包含的攝像元件2a的攝像區域中。該鏡頭I具有調節焦點位置進行對焦的對焦鏡頭和控制通過的光束的范圍的光圈，在本例中還具備抖動校正功能。
攝像部2具有對由鏡頭I成像的被攝體的光學像進行光電轉換并作為圖像信號輸出的攝像元件(攝像傳感器)2a、對從該攝像元件2a輸出的圖像信號實施模擬信號處理，然后轉換為數字信號的信號處理電路等。并且在本例中，攝像元件2a構成為能夠在垂直于鏡頭I的攝影光軸的表面內移動，具備抖動校正功能。
HDR數字合成部3根據從攝像部2輸出的曝光量不同的多張圖像或在攝像部2內進行簡易HDR合成得到的圖像，生成高動態范圍圖像。
AF評價值運算部4根據從攝像部2輸出的圖像信號計算AF評價值并輸出給照相機控制部12。即，該攝像裝置構成為例如通過對比度AF進行自動對焦。
顯示部5用于顯示由HDR數字合成部3合成的高動態范圍圖像。S卩，該顯示部5 進行高動態范圍實時取景(LV)顯示和高動態范圍靜態圖像顯示。顯示部5還顯示該攝像裝置涉及的各種信息等。
存儲卡6是用于保存由HDR數字合成部3合成的高動態范圍圖像的記錄介質。
抖動檢測部7構成為具有加速度傳感器等，檢測該攝像裝置的抖動并輸出給照相機控制部12。
抖動校正部8用于根據照相機控制部12的控制，使鏡頭I和攝像元件2a之中的至少一方移動以抵消檢測出的抖動，減輕在成像于攝像元件2a的攝像區域上的光學被攝體像中產生的抖動的影響。
曝光控制部9是根據由照相機控制部12確定的快門速度(曝光時間)，基于該照相機控制部12的控制，控制攝像元件2a的元件快門(該元件快門中包含全局快門，即總括地復位攝像元件2a的所有像素以開始攝影用的曝光，在經過了預定的曝光時間后總括地傳送所有像素的圖像信號并結束曝光的快門)，取得曝光時間不同的多張圖像的攝像控制部。 進而，曝光控制部9還根據由照相機控制部12確定的光圈值，進行鏡頭I中所包含的光圈的控制等。其中，快門速度和光圈值是由照相機控制部12使用根據從攝像部2輸出的圖像信號計算出的測光數據和由照相機操作部11設定的靈敏度等，例如根據沿著APEX系統的程序線圖等確定的。因此，曝光控制部9和照相機控制部12作為確定攝像部2的后述的像素部21的曝光量，控制成使該像素部21連續多次曝光的曝光量控制部發揮作用。曝光控制部9還將攝像元件2a的驅動信息輸出給照相機控制部12。
對焦控制部10為了調節焦點而驅動鏡頭I。即，對焦控制部10根據從AF評價值運算部4接受了 AF評價值的照相機控制部12的控制，驅動鏡頭I中所包含的對焦鏡頭，使得成像于攝像元件2a上的被攝體像達到對焦狀態。對焦控制部10還將鏡頭位置等鏡頭驅動信息輸出給照相機控制部12。
照相機操作部11是用于進行對該攝像裝置的各種操作輸入的操作部。該照相機操作部11包含用于接通/斷開攝像裝置的電源的電源開關、用于指示輸入靜態圖像攝影、 動態圖像攝影等的釋放按鈕、用于設定靜態圖像攝影模式和動態圖像攝影模式、實時取景模式、高動態范圍攝影模式等的模式按鈕等操作部件。
照相機控制部12根據來自對焦控制部10的鏡頭驅動信息和來自AF評價值運算部4的AF評價值、來自抖動檢測部7的抖動信息、來自照相機操作部11的操作輸入等，控制包含HDR數字合成部3、存儲卡6、抖動校正部8、曝光控制部9、對焦控制部10等在內的該攝像裝置整體。
接著圖2是表示攝像部2的構成的圖。
攝像部2具有具備多個像素31的像素部21、存儲器部22、列處理部23、垂直掃描電路24、水平讀出電路25、控制電路26、水平信號線27、輸出放大器28。并且攝像部2的攝像元件2a至少具有像素部21，其他電路要素既可以位于攝像元件2a內，也可以在攝像元件 2a外。另外，圖2所示的各電路要素的配置位置不一定與實際的配置位置一致。
像素部21是2維狀(矩陣狀)(圖2的例子中為10行X 12列)地排列有產生與曝光量相應的信號電荷的多個像素31的攝像區域。
存儲器部22用于暫時蓄積排列于像素部21中的各像素部31的信號電荷，例如構成為具有與排列于像素部21中的各像素31數量相同且排列相同的存儲器。例如，通常動態圖像的輸出像素數少于靜態圖像(通常為靜態圖像的像素數的幾分之一左右)，因而該存儲器部22對于動態圖像能夠存儲多個幀的來自上述像素部的像素信號。存儲器部22還可以構成為能夠存儲多個幀的靜態圖像的像素信號。后述的實施方式以該構成作為前提。
垂直掃描電路24例如由移位寄存器構成，例如以行為單位對排列于像素部21中的各像素31進行驅動控制，或對所有像素同時(全局動作)進行驅動控制。因此，垂直掃描電路24 (或者還有控制電路26)成為讀出像素部21的像素信號并存儲于存儲器部22中的像素讀出控制部。該垂直掃描電路24進行依次讀出連續多次曝光涉及的各像素信號并存儲于存儲器部22中的控制。在垂直掃描電路24的驅動控制中，包括像素31的復位動作、 蓄積動作、從像素部21向存儲器部22的信號讀出動作等的控制。為了進行該驅動控制，垂直掃描電路24經由對每行設置的控制信號線32向各像素31輸出控制信號，按照每行獨立控制像素31。例如，垂直掃描電路24對像素部21的所有像素31進行驅動控制，將所有像素31的像素信號一起傳送給存儲器部22的存儲器。
進而，垂直掃描電路24例如以行為單位對排列于存儲器部22中的存儲器進行驅動控制。該驅動控制包含以行為單位從排列于存儲器部22中的存儲器中將像素信號讀出到列處理部23的控制等。
列處理部23對經由每列的垂直信號線33從存儲器部22的各存儲器輸出的像素信號或者在由垂直掃描電路24 (或者還有控制電路26)讀出像素部21的像素信號存儲于存儲器部22中時對像素信號進行例如噪聲除去和放大、后述的各種運算等信號處理。該列處理部23還是像素讀出控制部。
水平讀出電路25例如由移位寄存器構成，選擇讀出像素信號的像素列，依次選擇與所選擇的像素列有關的列處理部23，從列處理部23依次將像素信號輸出到水平信號線 27，從而讀出像素信號。
列處理部23、垂直掃描電路24和水平讀出電路25 (或者還有控制電路26)構成讀出存儲于存儲器部22中的像素信號的存儲器讀出控制部。
輸出放大器28對輸出給水平信號線27的像素信號進行放大等信號處理，將像素信號輸出到外部。
控制電路26根據曝光控制部9的控制，生成作為上述列處理部23、垂直掃描電路24、水平讀出電路25等的動作基準的時鐘信號和控制信號等并輸出，控制這些列處理部 23、垂直掃描電路24、水平讀出電路25等。
圖3是表示I個像素涉及的像素部21、存儲器部22和列處理部23的構成的電路圖。
像素部21的像素31具有作為光電轉換部的H)(光電二極管)和在讀出電荷時暫時保持該光電轉換部ro的信號的作為信號蓄積部的FD (浮動擴散)。其中，光電轉換部ro 生成(產生)與入射光對應的信號電荷，保持/蓄積所生成(產生)的信號電荷。另外，信號蓄積部FD是暫時保持/蓄積從光電轉換部ro傳送的信號電荷的電容。該光電轉換部ro的一端和信號蓄積部FD的一端分別接地。
在光電轉換部ro的另一端與信號蓄積部FD的另一端之間串聯連接有用于將蓄積于光電轉換部ro中的信號電荷傳送給信號蓄積部FD的傳送晶體管TX。S卩，傳送晶體管TX 的漏極端子與光電轉換部ro的另一端連接，源極端子與信號蓄積部FD的另一端連接。另外，作為傳送晶體管TX的輸入部的柵極端子與垂直掃描電路24連接,從垂直掃描電路24 提供傳送脈沖，控制傳送晶體管TX的導通/截止。
TrA是作為放大部發揮作用的放大用晶體管，對輸入到柵極端子且基于蓄積于信號蓄積部FD中的信號電荷的信號進行放大并從源極端子輸出。該放大晶體管TrA的漏極端子與電壓Vdd連接。另外，作為放大晶體管TrA的輸入部的柵極端子與傳送晶體管TX的源極端子連接。進而，放大晶體管TrA的源極端子與電流源連接。放大晶體管TrA與電壓源Vdd和電流源一起構成源輸出放大器。
FDRST是用于復位信號蓄積部FD和放大晶體管TrA的輸入部的FD復位晶體管。 該FD復位晶體管FDRST的漏極端子與電壓源Vdd連接，FD復位晶體管FDRST的源極端子與傳送晶體管TX的源極端子連接。另外，作為FD復位晶體管FDRST的輸入部的柵極端子與垂直掃描電路24連接，從垂直掃描電路24提供FD復位脈沖，控制FD復位晶體管的導通 /截止。在這種構成中，通過同時使FD復位晶體管FDRST與傳送晶體管TX導通，從而還能夠與信號蓄積部FD的復位同時進行光電轉換部ro的復位。
通過這種構成,光電轉換部F1D的信號在暫時蓄積于信號蓄積部FD中之后,被放大晶體管TrA放大，輸出到存儲器部22側。
存儲器部22具有電容器Cl、開關SW1-1、開關SW2-1、作為模擬存儲器的存儲器 ml、晶體管TrB-I、開關SW3-1。
電容器Cl的一端與放大晶體管TrA的源極端子連接。該電容器Cl是對從放大晶體管TrA輸出的放大信號的電壓電平進行鉗位(固定)的電容。電容器Cl的另一端與由晶體管構成的開關SWl-I的漏極端子連接。
開關SWl-I是對電容器Cl的另一端的電壓電平進行采樣保持，并保持、蓄積于存儲器ml中的晶體管。該開關SWl-I的柵極端子與垂直掃描電路24連接，從垂直掃描電路 24提供采樣脈沖，控制開關SWl-I的導通/截止。
開關SW2-1是用于復位存儲器ml的晶體管，其源極端子與開關SWl-I的源極端子連接，漏極端子與參照電壓Vref連接。該開關SW2-1的柵極端子與垂直掃描電路24連接， 從垂直掃描電路24提供鉗位&存儲器復位脈沖，控制開關SW2-1的導通/截止。
存儲器ml —端接地，另一端與開關SWl-I的源極端子連接，用于保持/蓄積由開關SWl-I所采樣并保持的模擬信號。該存儲器ml構成為容量大于信號蓄積部FD的容量。
晶體管TrB-I是作為放大部發揮作用的放大用晶體管，根據蓄積于存儲器ml中的信號電荷將輸入到柵極端子的信號放大，從源極端子輸出。該晶體管TrB-I的漏極端子與電壓源Vdd連接。而作為晶體管TrB-I的輸入部的柵極端子與開關SWl-I的源極端子連接。 進而，晶體管TrB-I的源極端子經由開關SW3-1與電流源連接。晶體管TrB-I與電壓源Vdd 和電流源一起構成源輸出放大器。
開關SW3-1是用于進行將模擬的存儲器ml的信號輸出給垂直信號線33的選擇的晶體管。而所選擇的信號經由垂直信號線33被傳送給列處理部23。該開關SW3-1的漏極端子與晶體管TrB-I的源極端子連接，源極端子與電流源連接。另外，開關SW3-1的柵極端子與垂直掃描電路24連接，從垂直掃描電路24提供選擇脈沖，控制開關SW3-1的導通/截止。
基于這種構成，來自像素部21的信號暫時蓄積于存儲器ml中，此后被晶體管 TrB-I放大，輸出到列處理部23側。
列處理部23具有開關SW5、電容器C2、開關SW6、電容器C3、開關SW8。
開關SW5由晶體管構成，其漏極端子與開關SW3-1的源極端子連接，而源極端子與電容器C2的一端連接。該開關SW5的柵極端子與控制電路26連接，由從控制電路26提供的脈沖控制導通/截止。
電容器C2的另一端與開關SW6的源極端子、電容器C3的另一端、開關SW8的漏極端子連接。該電容器C2是對從晶體管TrB-I輸出且經由開關SW3-1和開關SW5輸入的放大信號的電壓電平進行鉗位(固定)的電容。
開關SW6是用于復位電容器C3的晶體管，其漏極端子與參照電壓Vref連接。該開關SW6的柵極端子與控制電路26連接，由從控制電路26提供的脈沖控制導通/截止。
電容器C3的一端接地，另一端與開關SW6的源極端子連接，保持/蓄積基于電容器C2的電壓電平的模擬信號。
開關SW8是用于進行讀出電容器C3的信號并經由水平信號線27傳送給輸出放大器28的選擇的晶體管。該開關SW8的漏極端子與開關SW6的源極端子連接，源極端子與水平信號線27連接。另外，開關SW8的柵極端子與水平讀出電路25連接，由從水平讀出電路 25提供的脈沖控制導通/截止。
如上，在列處理部23中選擇的列的像素信號被后級的輸出放大器28放大并輸出。
攝像部2在輸出放大器28的后級還設有未圖示的A/D轉換部，來自攝像部2的信號在數字化后被輸出到HDR數字合成部3。
并且，關于上述各晶體管，還可以使極性相反，與上述內容相反地設置源極端子和漏極端子，以下舉例說明輸入側為漏極端子、輸出側為源極端子的情況的例子。而且在以下內容中，適當省略開關由晶體管構成的明確描述。
圖4是表示用于取得高動態范圍圖像的攝像部2的基本攝像動作的圖，圖5是表示像素部21的第I行和第2行的動作的時序圖，圖6是表示像素部21的第I行的像素的晶體管等的信號變化的情形的時序圖。并且圖4中作為一個例子示出了取得曝光時間不同的2種圖像的情況。
首先，照相機控制部12根據測光結果預先設定長時間和短時間這2種作為曝光時間 Texp。
然后曝光控制部9在距離垂直同步信號VD的上升定時起例如回溯了長時間曝光時間的時刻，同時進行攝像元件2a的所有像素的光電轉換部H)的復位(即全局快門方式)。 如上所述，該光電轉換部ro的復位是通過使FD復位晶體管FDRST和傳送晶體管TX同時導通來進行的(參見圖5和圖6)。而FD復位晶體管FDRST和傳送晶體管TX變為截止的時刻就是曝光開始時刻。在該復位動作后，信號蓄積部FD的電位也復位為電壓源Vdd，來自放大晶體管TrA的放大后的輸出降低了 TrA的Vfh的量(Vdd-Vth)(參見圖6)。
此后，在垂直同步信號VD的上升定時之前的時刻，使FD復位晶體管FDRST導通， 將信號蓄積部FD復位，同時使開關SW2-1導通，從而將存儲器ml復位為圖6所示的參照電壓Vref。此時再同時導通開關SW1-1，從而將電容器Cl的另一端的電位復位為參照電壓 Vref，并且開關SWl-I開始電容器Cl的另一端的電位的采樣保持。
此后，使FD復位晶體管FDRST截止，從而結束信號蓄積部FD的復位。關于該信號蓄積部FD的復位，為了進一步降低泄漏電流導致的噪聲，優選盡量在曝光期間將要結束前進行。
接著，通過使開關SW2-1截止，結束存儲器ml的復位。在該時刻，電容器Cl對從放大晶體管TrA輸出的放大信號(信號蓄積部FD的復位后的放大信號)進行鉗位。
此后，通過使傳送晶體管TX導通，使蓄積于所有像素的光電轉換部ro中的信號電荷經由傳送晶體管TX被傳送給信號蓄積部FD，蓄積于信號蓄積部FD。由此，信號蓄積部FD 的端子波形、放大晶體管TrA的輸出波形、存儲器ml的另一端的電位如圖6所示發生變化。
接著，在垂直同步信號VD的上升定時，通過使所有像素的傳送晶體管TX截止，從而使所有像素的曝光(信號電荷的蓄積)一并(同時)結束。
與該傳送晶體管TX的截止同時使開關SWl-I截止,從而結束電容器Cl的另一端的電位的采樣保持。這樣，蓄積于像素部21的所有像素中的信號被采樣保持于存儲器ml 中。
此后，曝光控制部9經由列處理部23以行偉單位依次讀出在存儲器ml中采樣保持的圖像信號。S卩，首先使第I行的開關SW3-1、開關SW5和開關SW6導通，從而電容器C3 被復位為參照電壓Vref，而且電容器C2的另一端的電位也被復位為參照電壓Vref，還開始采樣保持。
接著，使開關SW6截止并使開關SW2-1導通，從而使蓄積于存儲器ml中的信號被復位，其結果經由通過TrB-I所構成的源隨器(source follow)電路被輸出到垂直信號線 33。通過該開關操作，使得蓄積于存儲器ml中的信號作為正方向的變化量被輸出到垂直信號線33，傳遞給電容器C3。
此后，使開關SW2-1、開關SW3-1和開關SW5截止，從而存儲器ml的信號被采樣保持于電容器C3中。
然后在被施加水平傳送脈沖時，蓄積于電容器C3中的信號經由開關SW8被輸出到水平信號線27。
輸出到水平信號線27的信號被輸出放大器28放大之后轉換為數字信號，從攝像部2輸出到HDR數字合成部3。
與蓄積于存儲器ml中的圖像信號的第I行相當的信號如上述被依次輸出到水平信號線而轉換為數字信號。在經由水平信號線讀出了所有的信號電荷后，同樣地讀出第2 行的像素信號。通過對所有行重復進行該讀出，從而能夠將所有像素的信號電荷作為數字信號讀出。
將上述處理按照每個垂直同步期間交替重復進行長時間曝光和短時間曝光，從而向HDR數字合成部3交替輸入用于合成高動態范圍圖像所需的長時間曝光圖像和短時間曝光圖像。
接著參照

本發明的實施方式。
[第I實施方式]
圖7至圖10表示本發明的第I實施方式，圖7是表示I個像素涉及的像素部21、 存儲器部22和列處理部23的構成的電路圖。
首先，本實施方式的攝像裝置的基本構成與上述圖I所示的相同。而本實施方式的攝像部2的基本構成也與上述圖2所示的相同。
而且，本實施方式的攝像部2的像素部21和列處理部23的構成與圖3所示的構成相同，而不同之處在于存儲器部22中設置了第I存儲器部MEMl和第2存儲器部MEM2的構成。
S卩，存儲器部22在電容器Cl的后級并列排列了第I存儲器部MEMl和第2存儲器部MEM2，第I存儲器部MEMl和第2存儲器部MEM2的輸出端都與開關SW5的漏極端子連接。
其中，第I存儲器部MEMl構成為具有開關SWl-I、開關SW2-1、晶體管TrB-I、開關 SW3-1、存儲器ml。
同樣地，第2存儲器部MEM2構成為具有開關SW1-2、開關SW2-2、晶體管TrB_2、開關SW3-2、存儲器m2。
這些第I存儲器部MEMl和第2存儲器部MEM2的結構與圖3的存儲器部22中的相應構成的結構相同。
圖8是表示用于取得高動態范圍圖像的攝像部2的攝像動作的圖，圖9是表示從像素部21向存儲器部22傳送第I曝光圖像數據和第2曝光圖像數據的情形的圖，圖10是表示像素部21的第I行和第2行的動作的時序圖。
并且，像素部21的第I行的像素的晶體管等的信號變化的情形與圖6所示大致相同。
在本實施方式中，將I個垂直同步期間內的I個曝光時間分割為彼此不同的連續性質的2個曝光時間，即第I曝光時間Texpl (例如長曝光時間)和第2曝光時間Texp2 (例如短曝光時間)分別進行讀出，例如將前者模擬傳送(MTransl)給存儲器部22的第I存儲器部MEMl，此后將后者模擬傳送(MTrans2)給存儲器部22的第2存儲器部MEM2。
其中，在將第I曝光時間Texpl蓄積的電荷傳送給第I存儲器部MEMl時，開關 Sffl-I導通，并且開關SW1-2截止。另外，在將第2曝光時間Texp2蓄積的電荷傳送給第2 存儲器部MEM2時，開關SWl-I截止，并且開關SW1-2導通。對于向存儲器ml和m2的信號傳送方法與在參考例的說明中進行的信號傳送方法相同。
并且，取代“連續的2個曝光時間”而敘述為“連續性質的2個曝光時間”的理由在于，如圖10所示，在第I曝光時間Texpl與第2曝光時間Texp2之間FD復位晶體管FDRST 導通，因而曝光時間中斷了該脈沖期間(以下亦同)。因此“連續性質的”還可以稱作“除去脈沖期間程度的時間而連續”。
然后與垂直同步信號VD同步地以行為單位依次讀出存儲于第I存儲器部MEMl中的長時間曝光數據，與下一個垂直同步信號VD同步地以行為單位依次讀出存儲于第2存儲器部MEM2中的短時間曝光數據。
并且在圖8所示的例子中，先進行長時間曝光，之后進行短時間曝光，也可以采取相反的順序。同樣地，先讀出長時間曝光圖像，后讀出短時間曝光圖像，也可以采取相反的順序，還可以使得曝光順序與讀出順序不同。
在上述參考例的讀出方式中，是根據在2個垂直同步期間內進行曝光的2次曝光圖像進行HDR合成的，因此在被攝體在2個垂直同步期間內發生了移動或其間產生了手抖等引起的抖動的情況下，即使每次曝光通過適當的快門速度設定而取得不存在被攝體抖動 (其中包含因手抖導致的抖動)的正常的圖像，HDR合成后的圖像也將成為受到抖動影響的惡化圖像。然而根據第I實施方式的構成，若選擇使得在將第I曝光時間Texpl與第2曝光時間Texp2相加得到的時間(即比I個垂直同步期間短的時間)內被攝體抖動變得足夠小的快門速度，或者進一步通過該較短的時間、有效的手抖校正等效應抑制手抖等抖動要因， 則合成得到的高動態范圍圖像的畫質不會變差，因而能容易取得更高畫質的圖像。另外，即便產生了被攝體抖動導致的畫質變差，與上述參考例的情況相比也能大幅抑制畫質變差。
如上，通過在存儲器部22內設置想要合成的曝光時間不同的圖像的張數的數量的存儲器部，從而能夠取得接近同一曝光時刻的連續性質的曝光時間的多個圖像。
[第2實施方式]
圖11至圖16表示本發明的第2實施方式，圖11是表示I個像素涉及的像素部 21、存儲器部22和列處理部23A的構成的電路圖。
在該第2實施方式中，對于與上述第I實施方式相同的部分賦予相同標號并省略說明，主要僅說明不同之處。
首先，本實施方式的攝像裝置的基本構成與上述圖I所示的相同。另外，本實施方式的攝像部2的基本構成除去列處理部23A的標號部分之外都與上述圖2所示相同。
而且本實施方式的攝像部2的像素部21的構成與圖3所示構成相同，而不同之處在于在存儲器部22中設置了第I存儲器部MEMl、第2存儲器部MEM2、第3存儲器部MEM3， 而且列處理部23A還具備平均運算功能和加法運算功能(由于存在附加功能，因而標號由 23變更為23A，而列處理部依舊為像素讀出控制部)。
即，存儲器部22在電容器Cl的后級并列排列了第I存儲器部MEMl、第2存儲器部 MEM2、第3存儲器部MEM3，第I存儲器部MEMl、第2存儲器部MEM2、第3存儲器部MEM3的輸出端都與每列的垂直信號線33連接。每列的垂直信號線33中，列電路23A在后述的開關 SW5-1的漏極端子、開關SW5-2的漏極端子、開關SW5-3的漏極端子中連接。
其中，第I存儲器部MEMl構成為具有開關SWl-I、開關SW2-1、晶體管TrB-I、開關 SW3-1、存儲器ml。
同樣，第2存儲器部MEM2構成為具有開關SW1-2、開關SW2-2、晶體管TrB_2、開關 SW3-2、存儲器m2。
而第3存儲器部MEM3構成為具有開關SWl_3、開關SW2-3、晶體管TrB_3、開關 SW3-3、存儲器m3。
這些第I存儲器部MEMl、第2存儲器部MEM2、第3存儲器部MEM3的結構與圖3的存儲器部22中的相應的構成的結構相同。
另外，存儲器部22的電容器Cl的一端與列處理部23A的電容器C3的一端連接， 在該連接路徑上的存儲器部22內設有開關SW3-4。該開關SW3-4的柵極端子與垂直掃描電路24連接，從垂直掃描電路24提供脈沖而控制開關SW3-4的導通/截止。
另外，列處理部23A內以經由垂直信號線33與各行的第I存儲器部MEMl、第2存儲器部MEM2、第3存儲器部MEM3的各輸出端連接的方式，并聯連接有開關SW5-1、開關SW5-2、 開關SW5-3。進而，在這些開關SW5-1、開關SW5-2、開關SW5-3上分別串聯連接有電容器 C2-1、電容器C2-2、電容器C2-3的一端，電容器C2-1、電容器C2-2、電容器C2-3的另一端與運算放大器OP的反轉輸入端連接。其中，電容器C2-1、電容器C2-2、電容器C2-3的電容相同。
運算放大器OP的非反轉輸入端與參照電壓Vref連接。
運算放大器OP的輸出端與反轉輸入端還經由并列配設的開關SW6、開關SW7-1和電容器C4-1、開關SWI-2和電容器C4-2連接起來。
其中，開關SW7-1和電容器C4-1在對第I存儲器部MEMl、第2存儲器部MEM2、第 3存儲器部MEM3的各輸出進行平均運算時使用，電容器C4-1的電容為電容器C2-1的電容的3倍，還是電容器C2-2和電容器C2-3的各電容的3倍。該平均運算的結果被存儲于電容器C3，并且經由開關SW3-4存儲于第I存儲器部MEMl、第2存儲器部MEM2、或第3存儲器部MEM3中的任一個中。
另外，開關SW7-2和電容器C4-2用于讀出存儲于第I存儲器部MEM1、第2存儲器部MEM2或第3存儲器部MEM3中的任一個中的平均運算的結果，進行3倍運算(更通常的情況為放大為曝光次數倍)，從而結果取得相當于加法運算的結果。電容器C4-2的電容是電容器C2-1的電容的1/3倍，也是電容器C2-2和電容器C2-3的各電容的1/3倍。
而運算放大器OP的輸出端與電容器C3的一端和開關SW8的漏極端子連接。
而且上述開關SW5-1、開關SW5-2、開關SW5-3、開關SW6、開關SW7-1、開關SW7-2的柵極端子與控制電路26連接，從控制電路26提供脈沖來控制它們的導通/截止。開關SW8 的柵極端子與水平讀出電路25連接，從水平讀出電路25提供脈沖來控制其導通/截止。
接著，圖12是表不用于取得聞動態范圍圖像的攝像部2的攝像動作的圖，圖13是表示從像素部21向存儲器部22傳送第I 第3曝光圖像數據的情形的圖，圖14是表示從列處理部23A向存儲器部22傳送經過了平均運算的曝光圖像數據的情形的圖，圖15是表示像素部21的第I行和第2行的動作的時序圖，圖16是表示像素部21的第I行的像素的晶體管等的信號變化的情形的時序圖。
在本實施方式中，將I個垂直同步期間內的I個曝光時間分割為連續性質的多個 (圖示的例子中為3個)曝光時間分別進行讀出，此時曝光時間的分割例如為均等分割(即成為彼此相等的曝光時間)。而分割為3等分的情況下，將通過第I分割曝光取得的數據 (TexpI)例如模擬傳送給存儲器部22的第I存儲器部MEMl (MTransl)，將通過第2分割曝光取得的數據(Texp2)例如模擬傳送給第2存儲器部MEM2 (MTrans2)，將通過第3分割曝光取得的數據(Texp3)例如模擬傳送給第3存儲器部MEM3 (MTrans3)(參見圖13)。
其中，在將第I曝光時間Texpl蓄積的電荷傳送給第I存儲器部MEMl時，開關 Sffl-I導通，并且開關SW1-2和開關SW1-3截止(參見圖15)。另外，在將第2曝光時間Texp2 蓄積的電荷傳送給第2存儲器部MEM2時，開關SW1-2導通，并且開關SWl-I和開關SW1-3 截止。進而，在將第3曝光時間Texp3蓄積的電荷傳送給第3存儲器部MEM3時，開關SW1-3 導通，并且開關SWl-I和開關SW1-2截止。
接著，在進行平均運算的情況下，首先進行復位動作。
S卩，在導通了開關7-1的狀態下，使開關SW6導通，從而將電容器C3、電容器C4_l 復位。通過該復位動作使得電容器C3被復位為Vref電平，電容器C4-1的兩端電位差為O。 而在維持使開關SW6導通的狀態下，使開關SW3-1和開關SW5-1導通，從而將電容器C2-1復位。同樣地，在維持使開關SW6導通的狀態下，使開關SW3-2和開關SW5-2導通，從而將電容器C2-2復位，通過使開關SW3-3和開關SW5-3導通，從而將電容器C2-3復位。通過該復位動作，電容器C2-1、電容器C2-2、電容器C2-3分別對反映了蓄積于存儲器ml、存儲器m2、 存儲器m3中的信號的狀態進行鉗位。
接著，使開關SW2-1、開關SW3-1和開關SW5-1導通，從而使運算放大器OP的輸出電位如圖16所示發生變化。當從上述的復位狀態起進行了通過使開關SW2-1導通而將蓄積于存儲器ml中的信號復位為Vref電平的操作時，蓄積于存儲器ml中的信號作為正方向的變化量輸出到垂直信號線33。其上升量被由運算放大器OP和電容器C4-1構成的電路變為1/3 (電容器C2-1與電容器C4-1的電容比)倍，從Vref電平向負方向變化，在運算放大器輸出中顯現。
接著，在將開關SW7-1維持為導通狀態的情況下，使開關SW2-1、開關SW3-1和開關 Sff5-1截止，然后使開關SW2-2、開關SW3-2和開關SW5-2導通，從而運算放大器OP的輸出電位如圖16所示進一步發生變化。通過該操作，運算放大器的輸出使蓄積于存儲器m2中的信號量向負方向變化1/3倍的量，在運算放大器的輸出中顯現。
進而，在將開關SW7-1維持為導通狀態的情況下，使開關SW2-2、開關SW3-2和開關 SW5-2截止，然后使開關SW2-3、開關SW3-3和開關SW5-3導通，從而運算放大器OP的輸出電位如圖16所示進一步發生變化。通過該操作，運算放大器OP的輸出作為使蓄積于存儲器m3中的信號量向負方向變化了 1/3倍的量后的輸出而顯現出來。最終，使存儲器ml、存儲器m2、存儲器m3的信號量分別為1/3倍且從Vref向負側變化后的信號電平在運算放大器OP的輸出中顯現。這即相當于平均值計算。此后使開關SW2-3、開關SW3-3和開關SW5-3 截止。
另一方面，通過使開關SW3-4導通，從而來自運算放大器OP的平均值被模擬傳送 (圖14的MTransAve)到存儲器部22，例如通過使開關SWl-I導通，使開關SW1-2和開關 SW1-3截止，從而來自運算放大器OP的平均值被存儲于存儲器ml。
接著，進行蓄積于電容器C3中的平均值的讀出，按照每行經由水平信號線27和輸出放大器28讀出平均值。向第I存儲器部MEMl、第2存儲器部MEM2、第3存儲器部MEM3 傳送了圖像信號后的平均值處理是在垂直同步信號VD的上升定時開始的。
對所有行讀出了平均值之后，在下一個垂直同步信號VD的上升定時開始相加值的讀出。
于是首先與上述同樣地，在使開關7-2導通的狀態下，使開關SW6導通，從而復位電容器C3、電容器C4-2。通過該復位動作使得電容器C3被復位為Vref電平，電容器C4-2 的兩端電位差為O。而在維持開關SW6導通的狀態下，使開關SW3-1和開關SW5-1導通，從而復位電容器C2-1。此后使開關SW6截止，結束復位動作。通過該復位動作，電容器C2-1 對反映了存儲器ml的信號的狀態進行鉗位。
接著，在維持開關SW7-2導通的狀態下，使開關SW2-1、開關SW3-1和開關SW5-1導通，從而運算放大器OP的輸出成為平均值的3倍的值，即成為相加值。該相加值被蓄積于電容器C3中，按照每行經由水平信號線27和輸出放大器28被讀出來。
并且在本實施方式中，先運算平均值，此后進行3倍運算，取得相加值，其原因在于通過3倍運算可能會超過能夠在攝像元件內處理的信號電平的上限。通常能夠在攝像元件內處理的信號電平的上限為略微大于ro能夠處理的信號電平的程度。即，在先計算出相加值的情況下，有時會達到傳感器能夠處理的信號電平的上限，即使按照其結果計算出平均值(除以3即可)還是不能取得正確的平均值。因此通過先運算平均值，能夠取得可靠性更高的結果。
另外，在上述中，根據進行平均運算的結果取得了相加值，如果即使電路變得復雜也沒關系，則能夠分別獨立地設置平均運算電路和相加運算電路來同時進行處理。
進而，進行了多次相加處理后，通常噪聲會重疊。在本實施方式的攝像部2中噪聲的重疊占據支配性地位的是從存儲器部22起重疊的噪聲。平均運算等運算動作導致的噪聲的產生會導致進一步的噪聲惡化。然而通常情況下對低靈敏度時的畫質帶來影響的噪聲是依賴于在ro內產生的信號電荷的散粒噪聲(Shot noise)，電路性的噪聲不會帶來支配性的影響。即，在較低靈敏度時，來自光電轉換部H)的多次數據傳送和將該數據相加所導致的噪聲的重疊(即畫質的惡化)不會成為導致問題的電平。利用該優點，在蓄積時間較長， 易于產生像抖動的低靈敏度時使用本實施方式的讀出方法，能夠實現對運動被攝體而言良好的HDR合成。
根據這樣的第2實施方式，對用于進行HDR合成的信號電平不同的多個圖像進行攝像時，不會成為相隔多個垂直同步期間的曝光圖像，這樣就能取得與上述第I實施方式相同的效果。
另外，在上述第I實施方式的構成中，雖說是連續性質地拍攝長時間曝光圖像和短時間曝光圖像，然而由于正確地來說曝光時刻是不同的時刻，因而例如當被攝體動作較快時進行動態范圍放大合成所取得的圖像會變得不自然。
對此，根據該第2實施方式，信號電平不同的多種圖像，在上述例子中為與短時間曝光圖像相應的信號電平的平均值圖像和與長時間曝光圖像相應的信號電平的相加值圖像成為同一曝光時刻的圖像，因而能夠使進行動態范圍放大合成所取得的圖像成為更自然的圖像。尤其在動態圖像攝影中由于重視張的連續性，因而將快門速度設為符合幀率的長度(結果產生了抖動的)的方法大多給人一種順暢且自然的印象，能夠通過本實施方式取得綜合性良好的動態圖像。
[第3實施方式]
圖17至圖25表示本發明的第3實施方式，圖17是表示I個像素涉及的像素部 21、存儲器部22和列處理部23A的構成的電路圖。
在該第3實施方式中，對于與上述第1、2實施方式相同的部分標注相同標號并省略說明，僅主要說明不同之處。
首先，本實施方式的攝像裝置的基本構成與上述圖I所示的相同。另外，本實施方式的攝像部2的基本構成除了列處理部23A的標號部分之外都與上述圖2所示相同。
而本實施方式的攝像部2的像素部21和存儲器部22的構成與圖7所示構成相同， 而不同之處在于列處理部23A具備基于比較運算和相加運算的HDR合成功能(由于具備附加功能因而標號從23變更為23A)。
S卩，在列處理部23A內，以經由垂直信號線33與第I存儲器部MEMl和第2存儲器部MEM2的各輸出端相連接的方式，并聯連接有開關SW5-1、開關SW5-2、開關SW5-3。
其中的開關SW5-1經由開關SW9-1與電容器C2_l的一端連接，開關SW5-2經由開關SW9-2與電容器C2-2的一端連接。
另外，開關SW5-3與電容器C2-4的一端連接。該電容器C2_4的另一端經由開關 SW6-2接地，并且與比較器CP的反轉輸入端和電容器C5的一端連接。電容器C5的另一端接地。
比較器CP的非反轉輸入端與預定的判定閾值電平Vth連接。而比較器CP的輸出端與開關SW7-1的漏極端子和開關SW7-2的漏極端子連接。
開關SW7-2的源極端子經由電阻R3接地。開關SW7-1的源極端子經由開關SW10-1 與上述開關SW9-1的柵極端子連接。開關SW10-1的柵極端子經由電阻R4與Vdd連接。而開關SW9-1的柵極端子經由電阻Rl也與電壓源Vdd連接。
另外，開關SW7-2的源極端子經由開關SW10-2與上述開關SW9-2的柵極端子連接。而開關SW9-2的柵極端子經由電阻R2也與電壓源Vdd連接。
進而，開關SW7-2的源極端子與開關SW9-3的柵極端子連接。該開關SW9-3的漏極端子與上述預定的判定閾值電平Vth連接，源極端子與電容器C2-3連接。而開關SW9-3 經由開關SW5-4接地。
處于彼此并聯的位置的電容器C2-1、電容器C2-2、電容器C2-3的另一端分別與運算放大器OP的反轉輸入端連接。其中，電容器C2-1、電容器C2-2、電容器C2-3的電容相同。
運算放大器OP的非反轉輸入端與參照電壓Vref連接。
運算放大器OP的輸出端與反轉輸入端經由彼此并列配設的開關SW6-1和電容器 C4連接起來。
其中，運算放大器0P、開關SW6-1和電容器C4用于進行相加運算。電容器C4的電容與電容器C2-1的電容相同，也與電容器C2-2和電容器C2-3的電容相同。
另外，運算放大器OP的輸出端與電容器C3的一端和開關SW8的漏極端子連接。
而且上述開關SW5-1、開關SW5-2、開關SW5-3、開關SW5-4、開關SW6-1、開關 SW6-2、開關SW7-1、開關SW7-2的柵極端子與控制電路26連接，從控制電路26提供脈沖而控制它們的導通/截止。開關SW8的柵極端子與水平讀出電路25連接，從水平讀出電路25 提供脈沖而控制其導通/截止。
圖18是表示用于取得高動態范圍圖像的攝像部2的攝像動作的圖。
如圖18所示，在本實施方式中，將I個垂直同步期間內的I個曝光時間分割為彼此不同的連續性質的2個曝光時間，即第I曝光時間Texpl (例如長曝光時間)和第2曝光時間Texp2(例如短曝光時間)分別進行讀出，按照上述圖9所示的處理，例如將前者模擬傳送(MTrans2)給存儲器部22的第2存儲器部MEM2，此后將后者模擬傳送(MTransl)給存儲器部22的第I存儲器部MEMl，這與上述第I實施方式大致相同(其中，為了與后述的圖24 和圖25的時序圖匹配，將長時間曝光圖像傳送給第2存儲器部MEM2，將短時間曝光圖像傳送給第I存儲器部MEM1，然而當然也可以將長時間曝光圖像傳送給第I存儲器部MEMlJf 短時間曝光圖像傳送給第2存儲器部MEM2)。
而且在此后的列處理部23A中，與垂直同步信號VD的上升定時同步地將存儲于存儲器部22的第2存儲器部MEM2中的長時間曝光圖像與存儲于第I存儲器部MEMl中的短時間曝光圖像進行簡易HDR合成，并從攝像部2輸出。因此在本實施方式的構成中，在每個垂直同步期間輸出I張高動態范圍圖像，而與上述第1、2實施方式不同，幀率不會降低。在列處理部23A中實施的簡易HDR合成結果從攝像元件被輸出后，被照相機的HDR數字合成部3進行適當處理后成為最終的HDR合成圖像。
參見圖19至圖23說明列處理部23A中的簡易HDR合成的概要。其中，圖19是表示長曝光時間時的光電轉換部ro的電荷蓄積量對入射光強度的線圖，圖20是表示短曝光時間時的光電轉換部ro的電荷蓄積量對入射光強度的線圖，圖21是表示將光電轉換部ro 的飽和電平作為預定的閾值電平，在列處理部中對長時間曝光圖像和短時間曝光圖像進行簡易HDR合成時的輸出電平的線圖，圖22是表示將光電轉換部ro的飽和電平作為預定的閾值電平，在列處理部中對長時間曝光圖像和短時間曝光圖像更簡易地進行簡易HDR合成時的輸出電平的線圖，圖23是表示通過在列處理部中將長時間曝光圖像和短時間曝光圖像單純相加來進行簡易HDR合成時的輸出電平的線圖。
在長曝光時間時，如圖19的曲線fl所示，相對于入射光強度的光電轉換部ro的電荷蓄積量在較弱的入射光強度時達到飽和電平Lsat。而在短曝光時間時，如圖20的曲線 f2所不，若未達到比長曝光時間時強的入射光強度，則相對于入射光強度的光電轉換部F1D 的電荷蓄積量不會達到飽和電平Lsat。因此，曲線fl的斜率大于曲線f2的斜率(并且，曲線fl和曲線f2不一定為I次函數，這里比較的是近似于I次函數時的斜率)。
而且，對于入射光強度較弱的范圍，長時間曝光圖像能較好地表現灰度，而對于入射光強度較強的范圍，如果不是短時間曝光圖像則無法表現灰度。于是，圖21表示將光電轉換部H)的飽和電平Lsat (其中實際上選擇的是略低于完全的飽和電平的電平(例如完全飽和電平的90%或85%的值等))作為預定的閾值電平，按照對未達到飽和電平Lsat的范圍使用曲線fl，對飽和電平Lsat以上的范圍成為曲線f2的輸出的方式來進行簡易HDR合成的例子。為了將飽和電平Lsat以上的輸出的范圍作為曲線f2的輸出，如圖21所示保證連續性并從攝像元件輸出，需要滿足f2+LsatX (l-α)，其中α =短曝光時間/長曝光時間。
圖22和圖23表示更簡易的簡易HDR合成的例子。
圖22將飽和電平Lsat以上的輸出的范圍作為曲線f2的輸出，而此時若單純通過 f2+Lsat這樣的處理來生成(成為電路的單純化(后述))則會喪失連續性。即使從攝像元件進行這種輸出也充分能夠在照相機的HDR數字合成部3中適當地進行HDR合成。其原因在于,將L a s t作為閾值,其以下的輸出為長秒時蓄積輸出，大于該閾值的輸出為短秒時輸出， 明確地進行了區分。
另外，在長時間曝光時，如圖19的曲線fl所示，作為相對于入射光強度的光電轉換部H)的電荷蓄積量，在達到了飽和電平Lsat之后，接受入射光而產生的電荷會泄漏到基板側，因而止步于飽和電平Lsat附近的電平。
于是在該圖23所示的例子中，在列處理部23A中對長時間曝光圖像與短時間曝光圖像進行單純相加，從而進行簡易HDR合成。在短曝光時間與長曝光時間之比較小的情況下(例如1/4、1/8、1/16等的情況)，即使長時間曝光圖像達到飽和電平，短時間曝光圖像的電平也止步于較低的電平。因此在長時間曝光圖像達到飽和電平以下的電平時，(fl+f2)的相加結果較為近似于H。在長時間曝光圖像達到飽和電平以上的電平時，(fl+f2)為近似于(fl+Lsat)的值，因而能取得接近圖21的簡易HDR合成結果的值。因此在短曝光時間與長曝光時間之比較小的情況下，使用該圖23所示的單純相加的方法也能取得較為良好的簡易HDR合成結果。
這種圖21、圖22和圖23所述的簡易HDR合成是在列處理部23A中進行的。而無論為了進行哪個簡易HDR合成，都需要使攝像元件所處理的信號電平的最大值增大至H)(光電二極管)倍以上。
接著圖24是表示像素部21的第I行和第2行的動作的時序圖，圖25是表示像素部21的第I行的像素的晶體管等的信號變化的情形的時序圖。其中，圖17所示的構成和圖24、圖25所示的處理對應于上述圖21所示的簡易HDR合成。并且，到圖22的對應是通過使圖17的Vth’等于Vth的簡易電路來達成的。另外，到圖23的對應可通過長曝光時間的數據與短曝光時間的數據的加法即可實現，因而能通過與第2實施方式所示的平均處理的電路類似的電路來達成(平均處理指的是加權相加處理)。
首先進行長時間曝光和短時間曝光，到從像素部21向存儲器部22傳送為止的動作都與上述第I實施方式相同。
即，在從存儲器部22讀出圖像數據時，使開關SW6-1導通，并且使開關SW3-1和開關SW5-1導通。由此電容器C4被復位。還由于此時開關SW7-1和開關SW7-2截止，因而開關SW9-1處于導通狀態，憑借該開關動作，電容器C2-1的一端通過OP放大器的動作被復位為Vref電平，并且電容器C2-1對從放大晶體管TrB-I輸出的放大信號(保持于存儲器ml 中的信號的放大信號)進行鉗位。
接著，在維持開關SW6-1導通的狀態下，使開關SW3-1和開關SW5-1截止，使開關 SW6-2導通。
進而，在維持開關SW6-1和開關SW6-2導通的狀態下，使開關SW3-2、開關SW5-2、 開關SW5-3和開關SW5-4導通。此時開關SW7-1和開關SW7-2仍為截止，因而開關SW9-2 處于導通狀態，憑借該開關動作，電容器C2-2的一端通過運算放大器的動作被復位為Vref電平，并且電容器C2-2對從放大晶體管TrB-2輸出的放大信號(保持于存儲器m2中的信號的放大信號)進行鉗位。同樣地，電容器C2-3的一端通過運算放大器的動作被復位為Vref 電平，并且電容器C2-3通過SW5-4的開關動作對接地電位進行鉗位。進而，憑借開關SW6-2 的開關動作使得電容器C2-4的一端和電容器C5被復位為接低電平，而且電容器C2-4對從放大晶體管TrB-2輸出的放大信號(保持于存儲器m2中的信號的放大信號)進行鉗位。
此后，維持開關SW6-1和開關SW6-2導通的狀態，使開關SW3-2、開關SW5-2、開關 SW5-3和開關SW5-4截止。
然后使開關SW6-1和開關SW6-2截止。
接著使開關SW7-1和開關SW7-2導通。
然后維持開關SW7-1和開關SW7-2導通的狀態，使開關SW2-2、開關SW3-2、開關 SW5-3導通。憑借該開關動作，保持于存儲器m2中的信號被復位為Vref電平,在電容器 C2-4的與比較器CP的連接端顯現出變化量為保持于存儲器m2中的信號量的正方向的變化。該電壓被保持于電容器C5中。比較器CP將進行了 Vth電平與保持于存儲器m2中的信號電平的比較的結果作為比較器CP輸出而輸出。當確定了該比較器CP輸出后，開關SW9-1、 開關SW9-2的導通/截止狀態也被確定，還確定了開關SW9-3的導通/截止。此時若開關 SW9-3導通，則電容器C2-3的與開關SW9-3的連接端側顯現Vth’電平，Vth’電平被輸出到運算放大器輸出。
進而，維持開關SW7-1和開關SW7-2、開關SW2-2、開關SW3-2、開關SW5-3導通的狀態，使開關SW5-2導通。憑借該開關動作，若比較器CP的比較結果為開關SW9-2導通，則在電容器C2-2的與開關SW9-2的連接側顯現出變化量為保持于存儲器m2中的信號量的正方向的變化，存儲器m2 (保持長秒時圖像信號)的信號量被輸出到運算放大器OP (在開關 SW9-2導通那樣的比較器CP輸出時開關SW9-3截止。即，到該定時為止比較器CP的輸出都是確定的，確定了是將存儲器m2的輸出還是將Vth’輸出給運算放大器。例如Vth >存儲器m2時運算放大器OP輸出存儲器m2電平)。
此后，首先使開關SW5-2截止，接著使開關SW2-2、開關SW3-2、開關SW5-3截止。
接著使開關SW2-1、開關SW3-1、開關SW5-1導通。憑借該開關動作，若比較器CP的比較結果為開關SW9-1導通，則在電容器C2-1的開關SW9-1連接側顯現出變化量為保持于存儲器ml中的信號量的正方向的變化，將存儲器ml (保持短秒時圖像信號)的信號量與已輸出到運算放大器的Vth’電平進行相加運算后輸出(在開關SW9-1導通這樣的比較器CP輸出時開關SW9-3導通，向運算放大器OP輸出Vth’電平。此時，Vth <存儲器m2)。在經過預定時間后使這些開關SW2-1、開關SW3-1、開關SW5-1截止，此后使開關SW7-1、開關SW7-2 截止。
如下說明憑借該動作，從存儲器部22讀出長時間曝光圖像和短時間曝光圖像進行簡易HDR合成時的作用的概要。
首先讀出存儲于第2存儲器部MEM2中的長時間曝光圖像，比較器CP將其與對應于光電轉換部H)的飽和電平Lsat的預定的判定閾值電平Vth進行比較。
其中，在比較器CP判定為長時間曝光圖像的信號值低于預定的判定閾值電平Vth 的情況下，比較器CP的輸出為低電平，其發揮作用使得開關SW9-1截止，開關SW9-2導通， 開關SW9-3截止。由此，從運算放大器OP僅輸出長時間曝光圖像的信號值(經由電容器C2-2輸入到運算放大器OP的信號值)。
另一方面，在比較器CP判定為長時間曝光圖像的信號值在預定的判定閾值電平 Vth以上的情況下，比較器CP的輸出成為高電平，其發揮作用使得開關SW9-1導通，開關 SW9-2截止，開關SW9-3導通。由此，從運算放大器OP輸出對短時間曝光圖像的信號值(經由電容器C2-1輸入到運算放大器的信號值)加上預定的判定閾值電平Vth (經由電容器C2-3 輸入到運算放大器的信號值)而得到的值。
如上，在圖17所示的電路構成中，進行如圖24和圖25所示的動作，由列處理部 23A進行圖21所示的簡易HDR合成。
從攝像部2輸出進行了簡易HDR合成的高動態范圍圖像，由照相機內的HDR數字合成部3進一步進行適當且詳細的合成處理，從而生成最終的HDR合成圖像。
另外，上述中是將長時間曝光圖像和短時間曝光圖像合成，然而不限于此。例如還可以如參照上述第2實施方式所說明的那樣，根據多次曝光涉及的圖像的平均運算結果和相加運算結果進行簡易HDR合成。
關于這種變形例，作為其概要，進行如下處理即可。
首先，曝光量控制部進行控制以使得I個垂直同步期間內的連續性質的多次曝光為彼此相等的曝光時間的曝光，使像素部21進行曝光。其結果在存儲器部22中存儲多次曝光涉及的圖像。
接著，作為存儲器讀出控制部的列處理部23A并列(同時)實施存儲于存儲器部22 中的多次曝光涉及的圖像的平均運算和相加運算。
然后列處理部23A將相加運算涉及的像素信號與預定的判定閾值電平Vth進行比較，在小于判定閾值電平Vth的情況下將相加運算涉及的像素信號輸出到外部，在大于等于判定閾值電平Vth的情況下將對平均運算涉及的像素信號進行加上判定閾值電平Vth’ 的相加運算的結果輸出到外部，從而可以將少于由曝光控制部控制的曝光次數的幀數的進行了簡易HDR合成的圖像輸出到外部。執行這種處理的電路可通過整合之前說明的實施方式中的電路構成來加以實現。
并且，在上述第I實施方式和第2實施方式中，對多次(例如2次)曝光取得的2張的圖像信號分別(例如以12比特)進行Α/D轉換，從而取得2張12比特的圖像數據。
而在本實施方式的情況下，例如在對2次曝光的數據進行簡易HDR合成而通過I 次Α/D轉換讀出的情況下，僅輸出合成后的I張12比特的圖像數據。若將該合成后的12 比特的圖像數據考慮為合成前的圖像數據，則例如成為11比特的2張圖像數據。因此相比第I實施方式和第2實施方式，產生了 I比特的Α/D轉換中的灰度等級的惡化。
其中，合成后的灰度特性成為如上所述接近Y特性的形狀(參見圖21、圖22或圖 23)，因而相當于原本在進行Α/D轉換之前提高了低電平側的信號值。由此既能夠將基于后級的數字增益的放大的必要量抑制得較低，又能吸收上述I個比特的惡化。
另外，在希望單純維持與以往同樣比特數的灰度(合成前的圖像中的12比特的灰度)的情況下，可以對本實施方式的合成后的圖像信號應用14比特的Α/D轉換。該14比特的Α/D轉換是近年來通用的AFE (Analog Front End,模擬前端)等通常具備的功能，因而不必追加特別的構成就能加以應對。
根據該第3實施方式，在對信號電平不同的多個圖像進行攝像時，不需要分散到多個垂直同步期間的多個曝光，基于這點能取得與上述第I實施方式和第2實施方式同樣的效果。
進而，根據該第3實施方式，由于從像素部21到存儲器部22的傳送是模擬傳送因而較快速，還使用模擬信號運算也可高速進行的情況，使用模擬信號運算對多次曝光涉及的像素信號進行簡易HDR合成，將進行簡易HDR合成后的圖像輸出到外部，因而將少于由曝光控制部控制的曝光次數的幀數的圖像輸出到外部即可，能提高幀率。
此時，若在每個垂直同步期間僅輸出進行了簡易HDR合成的圖像，則能夠在不降低幀率的情況下取得高動態范圍圖像。
并且，在上述構成中，對存儲于存儲器部22中的圖像信號彼此進行了相加、平均、 基于閾值的相加等運算處理。而作為攝像元件的構成，在存儲于存儲器部22中時，同時且依次進行必要的運算(在從像素部進行讀出的同時對像素乘以常數的運算和在存儲器的像素信號與從像素部進行讀出的同時進行的像素信號間的運算等)，并存儲于存儲器部22中， 從而也能夠達成相加、平均、基于閾值的相加等運算處理。這種情況下，垂直掃描電路24和列處理部23依次讀出連續性質的多次曝光涉及的各像素信號，且列處理部23進行實施必要的運算(加權用的常數乘法運算和平均處理的加法運算等)，并將其存儲于存儲器部22的控制。由此，還能夠削減存儲器部所需的存儲空間(例如進行η幀的平均運算時始終具備I 幀的存儲器即可)。
權利要求
1.一種攝像裝置，其進行曝光以取得圖像信號，其特征在于，該攝像裝置具有 像素部，其2維狀地排列有產生與曝光量相應的信號電荷的多個像素； 曝光量控制部，其確定上述像素部的曝光量； 存儲器部，其能夠存儲輸出圖像的多個幀的來自上述像素部的像素信號； 像素讀出控制部，其讀出上述像素部的像素信號，并存儲于上述存儲器部中；以及 存儲器讀出控制部，其讀出存儲于上述存儲器部中的像素信號， 上述曝光量控制部控制為使上述像素部進行連續性質的多次曝光， 上述像素讀出控制部依次讀出上述連續性質的多次曝光涉及的各像素信號并存儲于上述存儲器部中。
2.根據權利要求I所述的攝像裝置，其特征在于， 上述曝光量控制部所控制的多次曝光是曝光時間彼此不同的曝光， 上述存儲器讀出控制部將存儲于上述存儲器部中的、上述連續性質的多次曝光涉及的各像素信號按照該多次曝光中的每一次曝光依次輸出到外部。
3.根據權利要求I所述的攝像裝置，其特征在于，上述存儲器讀出控制部進行存儲于上述存儲器部中的上述連續性質的多次曝光涉及的各圖像的平均運算，或者上述像素讀出控制部在讀出上述像素部的像素信號并存儲于上述存儲器部中時，同時依次進行多次曝光涉及的各圖像的平均運算，從而取得平均運算結果，將該平均運算結果輸出到外部。
4.根據權利要求3所述的攝像裝置，其特征在于，上述存儲器讀出控制部還將上述平均運算結果再次寫入上述存儲器部，此后從該存儲器部讀出平均運算結果并放大，從而生成相當于上述多次曝光涉及的圖像彼此的相加運算結果的圖像并輸出到外部。
5.根據權利要求I所述的攝像裝置，其特征在于， 上述曝光量控制部所控制的多次曝光是曝光時間彼此不同的曝光， 上述存儲器讀出控制部進行存儲于上述存儲器部中的上述連續性質的多次曝光涉及的各像素信號的動態范圍合成，或者上述像素讀出控制部在讀出上述像素部的像素信號并存儲于上述存儲器部中時，同時依次進行多次曝光涉及的各像素信號的動態范圍合成，從而取得動態范圍合成結果，將比上述曝光量控制部所控制的曝光次數少的幀數的圖像輸出到外部。
6.根據權利要求5所述的攝像裝置，其特征在于，上述存儲器讀出控制部對上述連續性質的多次曝光涉及的各像素信號進行相加運算，從而進行動態范圍合成。
7.根據權利要求5所述的攝像裝置，其特征在于， 上述曝光量控制部所控制的多次曝光包含長曝光時間和短曝光時間， 上述存儲器讀出控制部將長曝光時間涉及的像素信號與預定的判定閾值電平進行比較，在小于該判定閾值電平的情況下將該像素信號輸出到外部，在大于等于該判定閾值電平的情況下進行對該像素信號加上該判定閾值電平或與長時間曝光與短時間曝光之比關聯的特定相加電平的相加運算，將結果輸出到外部，從而將進行了動態范圍合成的圖像輸出到外部。
8.根據權利要求I所述的攝像裝置，其特征在于， 上述存儲器讀出控制部并列實施存儲于上述存儲器部中的上述連續性質的多次曝光涉及的各圖像的平均運算和相加運算，或者上述像素讀出控制部在讀出上述像素部的像素信號并存儲于上述存儲器部中時，同時依次地并列實施多次曝光涉及的各圖像的平均運算和相加運算， 上述存儲器讀出控制部將相加運算涉及的像素信號與預定的判定閾值電平進行比較，在小于該判定閾值電平的情況下將該像素信號輸出到外部，在大于等于該判定閾值電平的情況下進行對平均運算涉及的像素信號加上該判定閾值電平或與長時間曝光與短時間曝光之比關聯的特定相加電平的相加運算，將結果輸出到外部，從而將比上述曝光量控制部所控制的曝光次數少的幀數的經過了動態范圍合成的圖像輸出到外部。
全文摘要
本發明提供一種攝像裝置，其不需要高級的圖像處理，能夠取得用于得到位置偏差小的高動態范圍圖像的圖像數據。作為解決手段，該攝像裝置具有2維狀地排列有多個像素的像素部(21)；確定曝光量以控制成使像素部(21)連續性質地多次曝光的曝光量控制部；能存儲輸出圖像的多個幀的像素部(21)的像素信號的存儲器部(22)；讀出像素部(21)的像素信號并存儲于存儲器部(22)中的垂直掃描電路(24)；以及讀出存儲于存儲器部(22)中的像素信號的列處理部(23)，垂直掃描電路(24)依次讀出多次曝光涉及的各像素信號并存儲于存儲器部(22)中。
文檔編號H04N5/243GK102984464SQ201210242280
公開日2013年3月20日 申請日期2012年7月12日 優先權日2011年9月6日
發明者島田義尚, 羽田和寬, 池田誠 申請人:奧林巴斯映像株式會社