專利名稱:圖像信號處理裝置及其方法和具有其的攝像裝置的制作方法
技術領域:
本發明涉及一種對攝像得到的圖像信號進行晃動修正的圖像信號處理裝置、具有其的攝像裝置和圖像信號處理方法。
背景技術:
組裝有CCD固體攝像元件等固體攝像元件的數字靜像照相機和攝像機的等的攝像裝置正在廣泛地使用。在攝像裝置中,搭載晃動修正功能的情況是十分普遍的,該晃動修正功能是對通過攝像得到的圖像信號進行由于攝像時的晃動而產生的影響的修正。
作為晃動修正處理,公知的方法是通過在攝像裝置中裝備的加速度傳感器等來檢測晃動的程度,并根據晃動的程度來挪動攝像得到的圖像信號的相對位置而進行處理。而且,還公開了一種檢測多個圖像幀之間的特征部分的變化,并由該變化來檢測晃動程度的方法。
(專利文獻1)特開2001-24933號公報當比較多個圖像幀來檢測特征部分的變化時,需要在十分短的攝像期間內取得供給到處理中的多個圖像幀的圖像信號。具體地說,優選在約0.6秒左右的期間內,取得被供給到檢測出晃動程度的處理的多個圖像幀的圖像信號。
可是,近年來,隨著固體攝像元件的高分辨率化等引起的像素數的增加,到輸出圖像信號為止的傳送級數也增加,則在必要的時間內取得多個圖像幀的圖像信號變得很困難。
例如,在幀傳送型的CCD固體攝像元件中,當將4個圖像幀供給晃動修正處理時,如圖21所示,為了對4個圖像幀進行攝像,則需要對4個圖像幀的曝光時間和3個圖像幀的傳送時間。此外,當對第4個圖像幀進行傳送時,由于第4個圖像幀的攝像已經結束,所以第4個圖像幀的傳送時間不成為問題。例如,如圖21所示,當快門速度Ts為1/60(0.017秒),幀傳送時間Tf為0.45秒,以及電子快門等的延期時間Tb為0.02秒時,用于對4個圖像幀進行攝像的時間Tt為4×0.017+3×(0.45+0.02)≈約1.48秒。
這樣,當取得多個圖像幀的圖像信號的時間變長時,即使對多個圖像幀之間進行比較來檢測特征部分的變化,也會由于晃動引起的影響之外的要素的影響(例如,被拍攝物體自身變化的影響)變大,使得晃動修正的精度降低。所以,不能夠充分得到晃動修正處理的效果。
發明內容
因此,本發明鑒于所述已有技術問題,其目的在于提供能夠對攝像的圖像信號進行有效的晃動修正的圖像信號處理裝置、具有其的攝像裝置和圖像信號處理方法。
本發明的攝像裝置,具有攝像元件,行列地配置生成和存儲與從外部入射的光的強度對應的信息電荷的多個像素,并傳送輸出存儲在像素中的信息電荷;和圖像信號處理單元,對從所述攝像元件輸出的圖像信號進行晃動修正處理,其特征在于,所述攝像元件,在攝像時將信息電荷存儲在實質上相互分離的多個勢阱中,并且在傳送時使用存儲在所述多個勢阱中至少1個中的信息電荷進行傳送,來輸出被壓縮的圖像信號,所述圖像信號處理單元使用被壓縮的圖像信號進行晃動修正處理。
所述圖像信號處理單元,是一種對圖像信號進行晃動修正處理的圖像信號處理裝置(圖像信號處理元件),所述圖像信號從具有行列配置多個像素的攝像單元的攝像元件輸出,所述多個像素在攝像時將與從外部入射的光的強度對應的信息電荷,存儲在實質上相互分離的多個勢阱中,其特征在于,通過使用從存儲在所述多個勢阱中至少1個中的信息電荷而得到的被壓縮的圖像信號,進行晃動修正處理。
該攝像裝置的圖像信號處理單元,能夠通過具有對從攝像元件輸出的圖像信號進行晃動修正處理的圖像信號處理裝置(圖像信號處理元件)來實現,所述攝像元件具有行列配置有多個像素的攝像單元,所述多個像素在攝像時將與從外部入射的光的強度對應的信息電荷,存儲在實質上相互分離的多個勢阱中。該圖像信號處理裝置的特征在于,通過將存儲在所述多個勢阱中的至少2個中的信息電荷相加合成,來使用被壓縮的圖像信號進行晃動修正處理。
這樣,通過將被壓縮的圖像幀的圖像信號用于晃動修正處理,能夠縮短攝像所需的時間。因此,通過排除被拍攝物體自身變化等的晃動之外的影響,能夠高精度地進行晃動修正。
這里,優選使用從所述攝像元件輸出的多個圖像幀進行晃動修正處理。只要在多個圖像幀中包含至少1個被壓縮的圖像幀即可,但是最好是包含多個被壓縮的圖像幀。
通過將包含至少1個被壓縮的圖像幀的圖像信號的多個圖像幀供給晃動修正處理,可以在短時間內使用攝像得到的圖像幀來更恰當地進行晃動修正。特別是,如果使用多個被壓縮的圖像幀的圖像信號來進行晃動修正處理,則與不進行壓縮而對相同數量的圖像幀進行攝像的情況相比,能夠進一步縮短攝像所需的時間。因此,能夠進一步排除晃動以外的影響,從而能夠更加提高晃動修正的精度。
而且,通過將存儲在所述多個勢阱中至少2個中的信息電荷沿著傳送方向相加合成,并使用被壓縮的圖像信號,可以進行晃動修正處理。作為壓縮處理對象的傳送方向可以是垂直傳送方向或水平傳送方向中的某一個。
而且,所述攝像元件,將沿著傳送方向連續地配置的像素,以每3個以上的規定數作為1組,優選從除去該組所包含的像素中的至少1個而余下的像素中所存儲的信息電荷,獲得被壓縮的圖像信號。例如,為了得到所述被壓縮的圖像信號,只要沿著傳送方向將信息電荷相加合成即可。
而且,也可以將本發明應用于將彩色攝像作為對象的攝像裝置。所述攝像元件與將不同的2個以上波長區域中的某一個作為透過波長區域的光學濾波器對應,接受透過光學濾波器的光,來存儲信息電荷,與具有各透過波長區域的光學濾波器對應的像素,沿著傳送方向以規定的周期重復配置。此時,所述攝像元件,將與具有同一透過波長區域的光學濾波器對應的像素被配置的周期中添加1個像素的周期后所包含的像素群作為1組,優選從除去該組所包含的像素中的至少1個而余下的像素中所存儲的信息電荷,獲得所述被壓縮的圖像信號。
例如,通過沿著與垂直傳送方向正交的方向,交互地配置以沿著垂直移位寄存器的延伸方向交互地使沿著垂直傳送方向透過紅色(R)的濾波器和透過綠色(G)的濾波器與各感光像素重合的方式排列的列、和以沿垂直移位寄存器的延伸方向交互地使透過綠色(G)的濾波器和透過藍色(B)的濾波器與各感光像素重合的方式排列的列,能夠實現嵌鑲狀地配置有與紅色(R)、綠色(G)、藍色(B)波長對應的像素的攝像元件。此時,將在垂直傳送方向或水平傳送方向連續配置的3個像素作為1組,通過將存儲在1組所包含的像素中的信息電荷沿著傳送方向相加合成,能夠使用被壓縮的圖像信號進行晃動修正處理。
進而,優選所述攝像元件,順次變更從所述組包含的像素中被除去的像素,來輸出被壓縮的圖像信號。這樣,通過在壓縮圖像信號時按每個圖像幀變更間隔提取信息電荷的像素,可以在晃動修正處理中,空間地使被內插處理的像素的位置平均化。因此,能夠減少晃動修正處理中的圖像惡化。
而且,優選對被壓縮的圖像信號進行解壓處理。由此,能夠算出與各像素不對應的光學濾波器的透過波長區域的信號成分。由此,能夠以更高精度進行晃動修正處理。
而且,優選對被壓縮的圖像信號進行內插處理。在被壓縮的圖像幀的圖像信號中,間隔提取具有信號值的像素。因此,通過進行經過被間隔提取的像素之間的內插處理,可以作為全像素(全圖像)的圖像幀進行晃動修正處理。
根據本發明,能夠縮短取得多個圖像幀的時間,提高使用了多個圖像幀的晃動修正處理的精度。
圖1是表示本發明實施方式中的攝像裝置的構成的圖。
圖2是表示CCD固體攝像元件的攝像單元和存儲單元的內部構成的俯視圖。
圖3是表示CCD固體攝像元件中的攝像單元和存儲單元的內部構成的剖視圖。
圖4是表示CCD固體攝像元件中的攝像單元和存儲單元的內部構成的剖視圖。
圖5是表示攝像單元中的彩色濾波器的配置的俯視圖。
圖6是表示嵌鑲狀地配置的彩色濾波器的俯視圖。
圖7是表示本發明的實施方式中攝像時和垂直傳送時的時序圖。
圖8是用于說明本發明實施方式中的攝像時和垂直傳送時的電位分布的圖。
圖9是說明在本發明的變形例中攝像時的電子快門的時序圖。
圖10是說明用于取得被供給到本發明實施方式中的晃動修正處理的多個圖像幀的時間的圖。
圖11是用于說明本發明實施方式中的像素間隔提取的圖。
圖12是表示本發明的實施方式中的晃動修正處理的流程圖。
圖13是表示本發明實施方式中的被壓縮處理的圖像幀的輸出信號的圖。
圖14是表示對圖13所示的圖像幀在水平方向進行濾波的結果的圖。
圖15是表示對圖14所示的圖像幀在垂直方向進行濾波的結果的圖。
圖16是表示本發明實施方式中的CCD固體攝像元件的存儲單元和水平傳送單元的內部構成的俯視圖。
圖17是表示本發明實施方式中的CCD固體攝像元件的存儲單元和水平傳送單元的內部構成的剖視圖。
圖18是表示本發明實施方式中的CCD固體攝像元件的存儲單元和水平傳送單元的內部構成的剖視圖。
圖19是表示本發明實施方式中水平傳送時的時序圖。
圖20是表示本發明實施方式中水平傳送時的電位分布的圖。
圖21是說明用于取得被供給到以往的晃動修正處理的多個圖像幀的時間的圖。
圖22是用于說明本發明實施方式中的像素組合的圖。
圖23是用于說明本發明實施方式中的像素組合的圖。
圖24是用于說明本發明實施方式中的像素間隔提取的圖。
圖25是表示本發明實施方式中的被壓縮處理的圖像幀的輸出信號的圖。
圖26是表示對圖25所示的圖像幀在垂直方向進行濾波的結果的圖。
圖27是表示對圖26所示的圖像幀在水平方向進行濾波的結果的圖。
圖28是表示變形例中的固體攝像裝置的構成的圖。
圖29是變形例中固體攝像元件的主要部分構成的放大圖。
圖30是控制變形例中的固體攝像元件的時鐘脈沖的時序圖。
圖31是控制變形例中的固體攝像元件的時鐘脈沖的時序圖。
圖32是表示變形例中的水平傳送單元的電位變化的圖。
圖33是表示變形例中的輸出變化的時序圖。
圖中6-驅動電路,6f-幀時鐘脈沖產生單元,6r-復位時鐘脈沖產生單元,6v-垂直時鐘脈沖產生單元,6h-水平時鐘脈沖產生單元,6u-輔助時鐘脈沖產生單元,10、11-固體攝像元件,10i、11i-攝像單元,10s、11s-存儲單元,10h、11h-水平傳送單元,10d、11d-輸出單元,12-驅動電路,14-圖像信號處理單元,16-輔助傳送電極,20-分離區域,22-溝道區域,24-傳送電極,26-彩色濾波器(透過濾波器),28-像素的列,32-溝道區域,34-水平傳送電極,35-排出電極,36-水平分離區域,37-排出溝道區域,38-排出溝道,40-排出區域,42-絕緣膜,50、52-勢阱,60~68-勢阱,100-攝像裝置。
具體實施例方式
本發明實施方式中的攝像裝置100,如圖1所示,包括固體攝像元件10、定時控制單元12和圖像信號處理單元14。
固體攝像元件10的攝像、傳送和輸出是根據從定時控制單元12輸入的各種時鐘脈沖而進行的。從固體攝像元件10輸出的圖像信號在圖像信號處理單元14中接受晃動修正處理等的信號處理。本實施方式的一個特征在于,通過對供給到晃動修正處理的多個圖像幀中至少1個幀份的圖像信號進行壓縮并傳送,來縮短攝像需要的時間。
固體攝像元件10可以是如CCD固體攝像元件、CMOS固體攝像元件那樣具有行列配置的感光像素,在攝像時依次傳送在各感光像素中生成的信息電荷作為圖像信號進行輸出的元件。下面,對固體攝像元件10采用幀傳送型的CCD固體攝像元件為例子進行說明,但是不限定于此。
固體攝像元件10包含攝像單元10i、存儲單元10s、水平傳送單元10h和輸出單元10d。
攝像單元10i和存儲單元10s如圖2的元件內部的俯視圖所示,由在半導體基板的表面區域形成的垂直移位寄存器構成。存儲單元10s具有與攝像單元10i的垂直移位寄存器連續地配置的垂直移位寄存器。存儲單元10s的垂直移位寄存器整體被遮光,用于只以1幀份存儲信息電荷。
垂直移位寄存器由朝向垂直方向(圖2的縱方向)相互平行延伸的分離區域20劃分的多個溝道區域22,和與溝道區域22交叉的多個傳送電極24-1~24-9構成。
圖3和圖4是表示沿著圖2的線C-C的剖視圖和沿線D-D的剖視圖。在N型半導體基板內形成P阱(PW),并在其上形成N阱(NW)。進而,在N阱(NW)上形成具有規定間隔并相互平行且由P型雜質區域構成的分離區域20。分離區域20在鄰接的溝道區域22之間形成勢壘。在電學上劃分由這些分離區域20夾著的區域,則溝道區域22成為信息電荷的傳送路徑。
而且,在半導體基板的表面上形成絕緣膜(INS)。如圖2所示,以和該絕緣膜(INS)上的溝道區域22的延伸方向正交的方式,相互平行地反復配置由多晶硅膜等構成的多個傳送電極24(24-1~24-9)。
在本實施方式中,連續的3個傳送電極24-1~24-3、24-4~24-6、24-7~24-9的組分別構成1個感光像素。通過從定時控制單元12將規定周期的傳送時鐘φi1~φi9施加到一組傳送電極24-1~24-9的各個上,將在攝像單元10i中生成的信息電荷傳送到存儲單元10s,并通過施加傳送時鐘φs1~φs9將在存儲單元10s中經過緩沖的信息電荷傳送到水平傳送單元10h。
在彩色攝像用CCD固體攝像元件中,如圖5所示,攝像單元10i的有效像素區域的各感光像素被配置成矩陣狀的與紅色(R)、綠色(G)、藍色(B)波長對應的透過濾波器26-R、26-G、26-B中的某一個覆蓋。例如,如圖6所示,通過沿著與垂直傳送方向正交的方向,交互地配置以沿著垂直移位寄存器的延伸方向交互地使沿著垂直傳送方向透過紅色(R)的濾波器26-R和透過綠色(G)的濾波器26-G與各感光像素重合的方式排列的列28-1、和以沿著垂直移位寄存器的延伸方向交互地使透過綠色(G)的濾波器26-G和透過藍色(B)的濾波器26-B與各感光像素重合的方式排列的列28-2,能夠嵌鑲狀地配置與紅色(R)、綠色(G)、藍色(B)的波長對應的像素。由此,可以得到彩色圖像。
而且,通過從定時控制單元12將輸出控制時鐘施加到存儲單元10s上,可以將保持在存儲單元10s中的信息電荷每1行份地傳送給水平傳送單元10h。水平傳送單元10h具有水平移位寄存器。從存儲單元10s的各垂直移位寄存器,分別順次將1像素份的信息電荷傳送到水平傳送單元10h的水平移位寄存器的各位中。從定時控制單元12將水平時鐘脈沖輸入給水平傳送單元10h。在水平傳送單元10h中接收水平時鐘脈沖,以1像素單位將信息電荷傳送到輸出單元10d。輸出單元10d將每1個像素的信息電荷量變換成電壓值,并將該電壓值的變化作為CCD輸出而輸出到圖像信號處理單元14。
定時控制單元12包含定時脈沖生成電路。定時控制單元12根據系統時鐘,來生成用于控制攝像元件10中的攝像和信息電荷的傳送的垂直時鐘脈沖、水平時鐘脈沖、輸出脈沖、復位脈沖等的時鐘脈沖,并輸出到攝像單元10的各部分。而且,每當從輸出單元10d輸出各像素的輸出信號S時,與復位脈沖等時鐘脈沖同步地將控制時鐘脈沖輸出到圖像信號處理單元14。由此,可以使來自固體攝像元件10的圖像信號的輸出與圖像信號處理單元14中的圖像信號的處理同步,從而能夠在適當的定時進行處理。
圖像信號處理單元14包括相關2重取樣單元(CDS單元CorrelatedDouble Sampling)、模擬放大器(AGCAuto Gain Control)、模擬/數字變換器(A/D變換器)和晃動修正處理單元。由于在CDS單元、模擬放大器、模擬/數字變換器中的處理與已有技術相同,所以省略對其進行說明。
<圖像信號的垂直壓縮傳送>
在本實施方式中,將沿著垂直傳送方向與同一波長區域(顏色)對應的像素所配置的周期施加1個像素的周期中所包含的像素群作為1組,并通過將不同的時鐘脈沖供給包含在1組中的各個傳送電極,來進行控制。例如,對圖5的像素配置來說,由于沿著垂直傳送方向與同一顏色(R、G、B)波長區域對應的像素以2像素周期被配置,所以,將2像素+1像素=3像素份的傳送電極作為1組進行控制。即,如圖6所示,將沿著傳送方向連續的9個傳送電極24-1~24-9作為1組,并將不同的時鐘脈沖供給傳送電極24-1~24-9中的每一個,來獨立地控制配置在沿著垂直方向連續的3個像素中的傳送電極24-1~24-9中的每一個。
攝像裝置100中的攝像(信息電荷的存儲)和信息電荷的傳送,能夠通過控制從定時控制單元12施加到傳送電極24-1~24-9上的電壓來進行。因此,在圖7中表示了從攝像到傳送的時序圖,來說明傳送電極的控制。對存儲單元10s傳送時的控制與對攝像單元10i傳送時的控制同樣地進行。
而且,圖8中表示了在時刻T0~T9中的各傳送電極24-1~24-9下的電位變化的情況。橫軸表示沿著攝像單元10i中的垂直傳送方向的位置,縱軸表示在各位置的電位。此時,圖中的下方為正電位側,上方為負電位側。
定時控制單元12分別將時鐘脈沖φi1~φi9施加到傳送電極24-1~24-9上。固體攝像元件10的半導體基板被固定在基板電位Vsub。
時刻T0是攝像前的初始狀態。此時,使時鐘脈沖φi1~φi9全部斷開,如圖8所示,在傳送電極24-1~24-9下不形成勢阱,電荷排出到基板上。
在時刻T1,以在作為1組的像素群中的兩端像素中形成勢阱的方式控制時鐘脈沖。這里,使時鐘脈沖φi2、φi8接通,在傳送電極24-2~24-8下形成勢阱。將與入射到變成接通狀態的傳送電極24-2和24-8周圍的光對應而產生的信息電荷存儲在這些勢阱中。
在本實施方式中,為了將沿著傳送方向與同一波長區域對應的像素所配置的周期施加1個像素的周期的像素作為1組,來進行向傳送電極的時鐘脈沖控制,將1組像素中與同一波長成分對應而產生的信息電荷存儲起來。例如,在圖3所示的列24-1中,從左重復配置R、G、R的組和G、R、G的組,在R、G、R的組中與紅色的波長成分對應而產生的信息電荷被存儲在與兩端的R對應的像素中,在G、R、G的組中與綠色的波長成分對應而產生的信息電荷被存儲在與兩端的G對應的像素中。在列24-2中,從左重復配置G、B、G的組和B、G、B的組,在G、B、G的組中與綠色的波長成分對應而產生的信息電荷被存儲在與兩端的G對應的像素中,在B、G、B的組中與藍色的波長成分對應而產生的信息電荷被存儲在與兩端的B對應的像素中。
這里,以通過將時鐘脈沖維持在斷開狀態,使得信息電荷在攝像時總是被排出到基板上的方式來控制兩端以外的像素,但是不限定于此。例如,如圖9所示,也可以通過在時刻S0暫時使時鐘脈沖φi2、φi8以及時鐘脈沖φi5接通,存儲信息電荷,在攝像結束的時刻S1使時鐘脈沖φi5回到斷開狀態,排出信息電荷,來進行電子快門的動作。
在時刻T2和T3中進行了信息電荷的再排列。將在1組像素群中存儲兩端像素的勢阱中的信息電荷匯集在1個勢阱中。在時刻T2中,在時鐘脈沖φi2、φi8的基礎上接通時鐘脈沖φi3~φi7,使得存儲在傳送電極24-2和24-8下的勢阱中的信息電荷相加合成。接著,在時刻T3,斷開時鐘脈沖φi2、φi3、φi7、φi8,將信息電荷再配置到傳送電極24-4~24-6下形成的勢阱中。
在時刻T4以后,將匯集在1個勢阱中的信息電荷傳送給1組像素群。此時,通過將同相的時鐘脈沖供給沿著傳送方向連續的至少2個傳送電極,來進行傳送。這里,通過將同相的時鐘脈沖供給配置在各像素中的3個傳送電極組中的每一個組,來進行傳送。
在本實施方式中,如圖7所示,分別同相地驅動了時鐘脈沖φi1~φi3、φi4~φi6、φi7~φi9的組,如圖8所示,分別將連續配置的傳送電極24-1~24-3、24-4~24-6、24-7~24-9的組作為1個傳送單位,來順次傳送信息電荷。
具體地說,如圖7所示,在時刻T4斷開時鐘脈沖φi1~φi3,接通時鐘脈沖φi4~φi9,在時刻T5斷開時鐘脈沖φi1~φi6,接通時鐘脈沖φi7~φi9。由此,如圖8所示,存儲在傳送電極24-4~24-6下形成的勢阱中的信息電荷被傳送到在傳送電極24-7~24-9下新形成的勢阱中。在時刻T6斷開時鐘脈沖φi4~φi6,接通時鐘脈沖φi1~φi3和φi7~φi9,在時刻T7斷開時鐘脈沖φi4~φi9,接通時鐘脈沖φi1~φi3。由此,如圖8所示,存儲在傳送電極24-7~24-9下形成的勢阱中的信息電荷被傳送到在傳送電極24-1~24-3下新形成的勢阱中。同樣地,通過對配置在1個像素中的每1組傳送電極施加同相的時鐘脈沖,能夠順次傳送信息電荷。對于其它列也能夠同樣地進行傳送。而且,通過在存儲單元10s上也同樣地施加時鐘脈沖φi1~φi9,能夠沿垂直傳送方向傳送信息電荷。
這樣,在傳送時,通過將多個傳送電極作為1組進行控制,可以在垂直傳送方向壓縮并高速地傳送攝像單元10i的圖像信號。例如,像本實施方式那樣,當將3個傳送電極匯集成1組進行控制時,與以往相比,能夠將幀傳送時間Tf縮短到約1/3。如果不進行壓縮的以往的幀傳送時間Tf為0.45秒,則在如本實施方式那樣進行壓縮時,能夠將幀傳送時間Tf縮短到大約0.15秒。
于是,在將4個圖像幀供給晃動修正處理的情況下,如圖10所示,在快門速度Ts為1/60(0.017秒),以及電子快門等的延期時間Tb為0.02秒時,用于對4個圖像幀進行攝像的時間Tt為4×0.017+3×(0.15+0.02)≈約0.58秒。因此,能夠在0.6秒以內,對供給檢測晃動程度的處理的多個圖像幀的圖像信號進行攝像。
而且,也可以在攝像時按每一幀來變更接通的傳送電極。例如,當如本實施方式那樣將沿著垂直傳送方向連續的3個像素作為1組時,在攝像時按每次攝像來變更存儲信息電荷的像素。具體地說,在將4個圖像幀供給晃動修正處理的情況下,當對第1個圖像幀進行攝像時,如圖11(a)所示,只斷開與傳送電極24-4~24-6對應的像素或通過電子快門動作而不存儲信息電荷,將存儲在傳送電極24-1~24-3中的信息電荷和存儲在傳送電極24-7~24-9中的信息電荷相加合成來進行傳送。在對第2個圖像幀進行攝像時,如圖11(b)所示,只斷開與傳送電極24-1~24-3對應的像素或通過電子快門動作而不存儲信息電荷,將存儲在相鄰組的傳送電極24-7~24-9中的信息電荷與存儲在傳送電極24-4~24-6中的信息電荷相加合成來進行傳送。在對第3個圖像幀進行攝像時,如圖11(c)所示,只斷開與傳送電極24-7~24-9對應的像素或通過電子快門動作而不存儲信息電荷,將存儲在傳送電極24-4~24-6中的信息電荷與存儲在相鄰組的傳送電極24-1~24-3中的信息電荷相加合成來進行傳送。而且,由于對被供給到晃動修正處理的最后的圖像幀,即第4個圖像幀的圖像信號所對應的傳送時間不成為問題,所以,能夠不進行通過相加合成的壓縮處理,而作為全畫面的圖像信號來進行攝像和傳送。
這樣,當在垂直方向壓縮圖像信號時,通過按每個圖像幀來變更間隔提取信息電荷的像素,能夠在后述的晃動修正處理中,對進行內插處理的像素的位置在空間上實施平均化。因此,能夠減少晃動修正處理中的圖像惡化。
當然,供給晃動修正處理的圖像幀的數目也可以不是4個。可以根據供給晃動修正處理的圖像幀的數目和對供給晃動修正處理的圖像幀進行攝像所需的總時間Tt,來調整間隔提取信息電荷的像素位置、壓縮的圖像幀的數目與不壓縮的圖像幀的數目之比。
而且,雖然在本實施方式中,將連續的9個傳送電極24-1~24-9作為1組,并通過將不同的時鐘脈沖供給各個傳送電極24-1~24-9,來控制攝像單元10i中的攝像(信息電荷的存儲)和信息電荷的傳送,但是當然也能夠與已有技術同相同,不壓縮信息電荷來進行傳送。即,也能夠分別將與1個像素對應的傳送電極24-1~24-3、24-4~24-6、24-7~24-9作為1組,以同相的時鐘脈沖控制傳送電極24-1、24-4、24-7,傳送電極24-2、24-5、24-8和傳送電極24-3、24-6、24-9。通過切換將跨越連續的多個像素的傳送電極作為1組的控制和將與1個像素對應的傳送電極作為1組的控制,能夠在進行晃動修正處理的情況下和不進行晃動修正處理的情況下,切換攝影和傳送。
此外,在所述實施方式中將9個傳送電極作為1組,通過供給不同的9個時鐘脈沖來進行控制,但是不限定于此。例如,通過增加可以控制的時鐘脈沖數,也可以更高速地傳送進一步壓縮了的圖像。而且,在所述實施方式中,得到了將與同一波長成分對應的2個像素相加合成而被壓縮的圖像,但是例如,對于將9個傳送電極作為1組的3個像素,也可以得到排出存儲在2個像素中的信息電荷,傳送并壓縮余下的1個像素的信息電荷的圖像。
<晃動修正處理>
下面,說明圖像信號處理單元14的晃動修正處理。沿著圖12所示的流程圖來實施晃動修正處理。晃動修正處理,通過提取在被供給到處理的多個圖像幀中所包含的圖像的特征部分,并在多個圖像幀之間比較特征部分的位置,求得各圖像幀中的位置偏離量,來修正各圖像幀中的位置偏離量,將多個圖像幀相加合成而實現的。
例如,如圖13所示,對下述情況進行了說明,即,將沿著垂直方向連續配置的3個像素作為1組,來輸出通過將各組的信息電荷相加合成而被壓縮的圖像信號。
在步驟S10中,根據被壓縮的圖像幀的各像素的輸出值,在水平方向進行濾波,并算出各像素的紅(R)、綠(G)、藍(B)各波長成分。通過選擇被壓縮的圖像幀中所包含的像素作為成為順次算出對象的著眼像素,并從著眼像素開始在水平方向(行方向)對存在于規定范圍內的像素乘上濾波系數,算出乘算結果的平均值,來算出著眼像素的各波長成分。對供給到晃動修正處理的多個像素幀中所有被壓縮的圖像幀進行濾波處理。
例如,當將沿水平方向連續的3個像素作為處理對象而進行濾波時,如果將第n行第m列的像素(n,m)作為著眼像素,則能夠通過Rhn,m=(α×rn,m-1+β×rn,m+γ×rn,m+1)/β算出像素(n,m)的紅(R)波長成分Rhn,m。這里,(α,β,γ)是濾波器系數,α=β/2和γ=β/2。rij是像素(i,j)中輸出信號的紅(R)波長成分。同樣,能夠通過Ghn,m=(α×gn,m-1+β×gn,m+γ×gn,m+1)/β算出像素(n,m)的綠(G)波長成分Ghn,m。這里,gij是像素(i,j)中輸出信號的綠(R)波長成分。而且,能夠通過Bhn,m=(α×bn,m-1+β×bn,m+γ×bn,m+1)/β算出像素(n,m)的藍(B)波長成分Bhn,m。這里,bij是像素(i,j)中輸出信號的藍(B)波長成分。
具體而言,對濾波器系數(α,β,γ)=(1,2,1)的情況進行說明。在交互地配置有紅(R)和綠(G)的信息電荷的第3行中,將像素(3,2)作為著眼像素。著眼像素(3,2)的紅(R)波長成分Rh3,2為Rh3,2=(1×r3,1+2×r3,2+1×r3,3)/2=(r3,1+r3,3)/2。即,由于著眼像素(3,2)中的紅(R)波長成分r3,2為0,所以與著眼像素(3,2)鄰接的像素(3,1)和像素(3,3)中的紅(R)波長成分對應的輸出值r3,1、r3,3的平均值為著眼像素(3,2)的紅(R)波長成分Rh3,2。著眼像素(3,2)的綠(G)波長成分Gh2,3為Gh2,3=(1×g2,2+2×g2,3+1×g2,4)/2=g2,3。即,由于與著眼像素(3,2)鄰接的像素(3,1)和像素(3,3)中的綠(G)波長成分所對應的輸出值g3,1、g3,3為0,所以著眼像素(3,2)中的綠(G)波長成分g3,2為著眼像素(3,2)的綠(G)波長成分Gh2,3。藍(B)波長成分Bh2,3為Bh2,3=(1×b2,2+2×b2,3+1×b2,4)/2=0。即,由于在成為濾波對象的全像素(3,1)、像素(3,2)、像素(3,3)中,與藍(B)波長成分對應的輸出值b3,1、b3,2、b3,3為0,所以著眼像素(3,2)的藍(B)波長成分Bh2,3也為0。對于其它的像素也同樣地進行處理。
通過在水平方向的濾波,如圖14所示,對于交互地輸出紅(R)和綠(G)波長成分r、g的行(例如,第3行)算出各像素的紅(R)和綠(G)波長成分Rh、Gh,對于交互地輸出綠(G)和藍(B)波長成分g、b的行算出各像素的綠(G)和藍(B)波長成分Gh、Bh。
此外,在步驟S10中的濾波不限定于此,也可以進一步使用更多像素的像素值,例如從著眼像素開始在水平方向上5個像素份的像素值來進行濾波等。而且,還可以適當地調整濾波器系數。
在步驟S12中,根據被壓縮的圖像幀的各像素的輸出值,在垂直方向進行濾波,并算出各像素的紅(R)、綠(G)、藍(B)各波長成分。通過選擇被壓縮的圖像幀中所包含的像素作為成為順次算出對象的著眼像素,對從著眼像素開始在垂直方向(列方向)存在于規定范圍內的像素乘上濾波系數,并算出乘算結果的平均值,來算出著眼像素的各波長成分。對供給到晃動修正處理的多個像素幀中所有被壓縮的圖像幀進行濾波處理。
對各個著眼像素的所有波長成分進行濾波。即,對于已經算出紅(R)波長成分Rh和綠(G)波長成分Gh的像素,通過對紅(R)和綠(G)波長成分進行在垂直方向的濾波,來進行隨機噪聲的平均化,同時算出沒有算出的藍(B)波長成分。同樣地,對于已經算出綠(G)波長成分Gh和藍(B)波長成分Bh的像素,對綠(G)和藍(B)波長成分進行在垂直方向的濾波,來進行隨機噪聲的平均化,同時算出沒有算出的紅(R)波長成分。
當將沿垂直方向連續的7個像素作為處理對象進行濾波時,如果將第n行第m列的像素(n,m)作為著眼像素,則能夠通過Rn,m=(δ×Rhn-3,m+ε×Rhn,m+ζ×Rhn+3,m)/(δ+ε+ζ)/2算出像素(n,m)的紅(R)波長成分Rn,m。這里,(δ+ε+ζ)是濾波器系數,δ=ζ。Rhij是像素(i,j)中在水平方向被濾波的紅(R)波長成分。同樣地,能夠通過Gn,m=(δ×Ghn-3,m+ε×Ghn,m+ζ×Ghn+3,m)/(δ+ε+ζ)算出像素(n,m)的綠(G)波長成分Gn,m。這里,Ghij是像素(i,j)中在水平方向被濾波的綠(G)波長成分。而且,能夠通過Bn,m=(δ×Bhn-3,m+ε×Bhn,m+ζ×Bhn+3,m)/(δ+ε+ζ)/2算出像素(n,m)的藍(B)波長成分Bn,m。這里,Bhij是像素(i,j)中在水平方向被濾波的藍(B)波長成分。
具體地說,對濾波器系數(δ+ε+ζ)=(1,2,1)的情況進行說明。如果在第6列中設定著眼像素(6,1),則著眼像素(6,1)的紅(R)波長成分R6,1為R6,1=(Rh3,1+Rh9,1)/2。即,由于著眼像素(6,1)中的紅(R)波長成分Rh6,1為0,所以像素(3,1)和像素(9,1)中的紅(R)波長成分Rh3,1、Rh9,1的平均值為著眼像素(6,1)的紅(R)波長成分R6,1。對于其它的像素也同樣,綠(G)波長成分G6,1為G6,1=(Gh3,1+2×Gh6,1+Gh9,1)/4,藍(B)波長成分B6,1為B6,1=Bh6,1。
通過在垂直方向的濾波,如圖15所示,對多個像素組分別求得紅(R)、綠(G)、藍(B)波長成分R、G、B,并且能夠進行隨機噪聲的平均化。
此外,在步驟S12中的濾波不限定于此,也可以進一步使用更多像素的像素值,例如使用從著眼像素開始在垂直方向的13個像素份的像素值來進行濾波等。而且,可以適當地調整濾波器系數。另外,在步驟S12的在垂直方向的濾波后,也可以進行步驟S10的在到水平方向的濾波。
在步驟S14中,進行了將被壓縮的圖像幀變換成全像素(全圖象)的圖像幀的內插處理。即,對由于壓縮而不具有值的像素,根據附近像素的各波長成分進行內插處理。此時,優選進行考慮了加權的線性內插處理,所述加權對應于從作為內插值的算出對象的像素距離。對供給到晃動修正處理的多個圖像幀中被壓縮的全部圖像幀進行內插處理。
例如,如圖15所示,當像素(3p,q)每隔3行具有像素值時,能夠通過R3p-1,q=(ζ×R3p-3,q+η×R3p,q)/(ζ+η)算出像素(3p-1,q)的紅波長成分的內插值R3p-1,q。而且,能夠通過R3p+1,q=(η×R3p,q+ζ×R3p+3,q)/(ζ+η)算出像素(3p+1,q)的紅波長成分的內插值R3p+1,q。對于其它的波長成分也能夠同樣地進行內插。這里,p,q是任意整數,(ζ+η)是內插處理的加權系數。
具體地說,如圖15所示,對被濾波的圖像幀進行加權系數(ζ,η)=(1,2)的內插處理來進行說明。對不具有像素值的像素(4,1)的紅(R)波長成分R4,1,令p=1,內插為R4,1=R3p+1,1=(2×R3,1+1×R6,1)/3。同樣地,能夠通過G4,1=G3p+1,1=(2×G3,1+1×G6,1)/3對綠(G)波長成分進行內插,通過B4,1=B3p+1,1=(2×B3,1+1×B6,1)/3對藍(B)波長成分進行內插。對不具有像素值的像素(5,1)的紅(R)波長成分R5,1,令p=2,通過R5,1=R3p-1,1=(1×R3,1+2×R6,1)/3進行內插。同樣地,能夠通過G5,1=G3p-1,1=(1×G3,1+2×G6,1)/3對綠(G)波長成分進行內插,通過B5,1=B3p-1,1=(1×B3,1+2×B6,1)/3對藍(B)波長成分進行內插。
通過對沒有各波長成分(像素值)的全像素進行內插處理,能夠從被壓縮的圖像幀得到全像素(全圖像)的圖像幀。
在步驟S16中,根據多個圖像幀進行了晃動修正處理。晃動修正處理可以采用在特開2001-24933號公報等中記載的現有處理。
例如,從多個圖像幀中的每一個提取高亮度區域等的特征區域,根據提取的特征區域的位置變化求得各圖像幀之間的相對位置偏離量,從而根據位置偏離量對各圖像幀的圖像信號進行位置修正并相加合成,由此,能夠修正晃動。
而且,將各圖像幀分割成8×8像素或16×16像素的塊,來確定探索范圍并進行塊匹配,由此,能夠求得位置偏離量。對各圖像幀求得相對其它圖像幀的相對位置偏離量,來對各圖像幀的圖像信號進行位置修正,由此,能夠修正晃動。
如上所述,對被壓縮的圖像幀實施基于濾波和內插處理的解壓處理,使其回到全像素的圖像幀,從而能夠進行晃動修正處理。由此,縮短了垂直傳送時間,可以適當地進行晃動修正處理。此外,對被壓縮的圖像幀的解壓處理不限于濾波和內插處理的組合,根據固體攝像元件的驅動方法等,能夠適當地變更。
<圖像信號的水平壓縮傳送>
如上所述,能夠使用在垂直方向被壓縮的圖像信號來進行晃動修正處理,通過在水平方向壓縮并輸出圖像信號,也能夠進一步縮短攝像所需的時間。
圖16是從存儲單元10s的輸出側到水平傳送單元10h的連接單元的元件內部的俯視圖。另外,圖17和圖18是沿著圖16中的線E-E和線F-F的剖視圖。
水平傳送單元10h包含接受并傳送從存儲單元10s的垂直移位寄存器輸出的信息電荷的水平移位寄存器。水平移位寄存器由溝道區域32、水平傳送電極34-1~34-12等構成。
在與垂直移位寄存器的延伸方向正交的方向上,通過從存儲單元10s的垂直移位寄存器延伸的分離區域20和與存儲單元10s對置地設置的P型擴散層即水平分離區域36,劃分出溝道區域32。垂直移位寄存器的溝道區域22和水平移位寄存器的溝道區域32經由延伸的分離區域20的間隙連接起來。
而且,通過在基板表面添加N型雜質,能夠以夾著水平分離區域36的方式,來形成與溝道區域32平行的排出溝道區域37。進而,以連接溝道區域32和排出溝道區域37的方式,形成朝向溝道區域32的垂直方向添加了N型雜質的排出溝道38。排出溝道38形成為與溝道區域32接連。而且,按每連續并列排列的3列溝道區域22,以3列溝道區域22中的1列沿垂直方向延伸的方式設置排出溝道38。
在排出溝道38的輸出側形成高濃度的N型擴散區域即排出區域40。排出區域40設置成沿著排出溝道區域37延伸。在排出區域40上施加排出電壓Vd。
如圖17和圖18所示,在分離區域20、溝道區域22和32、排出溝道區域37、排出溝道38以及排出區域40上形成絕緣膜42。在絕緣膜42上以相互電絕緣的狀態配置水平傳送電極34-1~34-12。奇數列的水平傳送電極34-1、34-3、34-5、34-7、34-9、34-11被設置在下層側,偶數列的水平傳送電極34-2、34-4、34-6、34-8、34-10、34-12被設置在上層側。
以跨越分離區域20和水平分離區域36之間地覆蓋在溝道區域32上的方式設置水平傳送電極34-1、34-5、34-9。以朝向溝道區域22的延伸方向,并跨越溝道區域22和水平分離區域36之間地覆蓋在溝道區域32上的方式設置水平傳送電極34-3、34-11。而且,以朝向溝道區域22的延伸方向,覆蓋在溝道區域22和32、排出溝道38以及排出溝道區域37上的方式設置水平傳送電極34-7。水平傳送電極34-7形成為比水平傳送電極34-3、34-11在垂直方向延伸。
水平傳送電極34-2、34-4、34-6、34-8、34-10、34-12,以覆蓋下層側的水平傳送電極34-1、34-3、34-5、34-7、34-9、34-11的間隙,并且其一部分經由絕緣膜與下層側的水平傳送電極34-1、34-3、34-5、34-7、34-9、34-11重合地覆蓋在溝道區域32上的方式進行配置。
并且,經由絕緣膜42在排出溝道區域37上形成了排出電極35。以跨越水平分離區域36、水平傳送電極34-7和排出區域40間的方式沿排出溝道區域37的延伸方向形成排出電極。在排出電極35上施加與垂直時鐘脈沖φs1~φs9同步的排出時鐘脈沖φt。
在水平傳送電極34-1~34-12上施加6相的水平時鐘脈沖φh1~φh6。更具體地說,在水平傳送電極34-1、34-2上施加水平時鐘脈沖φh1,在水平傳送電極34-3、34-4上施加水平時鐘脈沖φh2,在水平傳送電極34-5、34-6上施加水平時鐘脈沖φh3,在水平傳送電極34-7、34-8上施加水平時鐘脈沖φh4,在水平傳送電極34-9、34-10上施加水平時鐘脈沖φh5,在水平傳送電極34-11、34-12上施加水平時鐘脈沖φh6。
圖19中顯示了表示水平傳送時的垂直時鐘脈沖φs7~φs9、水平時鐘脈沖φh1~φh6的變化的時序圖。圖20是表示在圖19的各時刻水平傳送電極34-1~34-12下的溝道區域32的電位變化和信息電荷傳送狀況的模式圖。
在時刻H0,施加在位于存儲單元10s的垂直移位寄存器中的最靠近輸出側的傳送電極34-7~34-9上的垂直時鐘脈沖φs7~φs9變為接通,會在傳送電極24-7~24-9下形成勢阱50。此時,水平時鐘脈沖φh1~φh6全部斷開,則在溝道區域32上不形成勢阱。在勢阱50中存儲在垂直方向上相加合成的信息電荷。
在時刻H1,水平時鐘脈沖φh2、φh4、φh6被接通,則在水平傳送電極34-3、34-7、34-11下的溝道區域32形成勢阱52。接著,在時刻H2,垂直時鐘脈沖φs7~φs9斷開。由此,存儲在傳送電極24-7~24-9下的勢阱50中的信息電荷,被輸出到水平傳送電極34-3、34-7、34-11下的勢阱52。
在時刻H3,施加在排出電極35上的排出時鐘脈沖φt接通。由此,存儲在水平傳送電極34-7下的勢阱52中的信息電荷,經由排出溝道38、排出溝道區域37,被排出到排出區域40。
在時刻H4~H5,存在于水平傳送電極34-3、34-11下的勢阱52中的信息電荷在水平方向相加合成。在攝像單元10中,如圖5所示,朝向水平方向交互地存儲與綠(G)和藍(B)波長區域對應的信息電荷的行、和交互地存儲與紅(R)和綠(G)波長區域對應的信息電荷的行,交互地在垂直方向上配置。即,如圖22所示,在交互地存儲與綠(G)和藍(B)波長區域對應的信息電荷的行中,從左重復地配置G、B、G組和B、G、B組,在G、B、G組中在與兩端的G對應的像素中根據綠波長成分而產生的信息電荷被相加合成,在B、G、B組中在與兩端的B對應的像素中根據藍的波長成分而產生的信息電荷被相加合成。而且,如圖23所示,在交互地存儲與紅(R)和綠(G)波長區域對應的信息電荷的行中,從左重復地配置R、G、R組和G、R、G組,在R、G、R組中在與兩端的R對應的像素中根據紅波長成分而產生的信息電荷被相加合成,在G、R、G組中在與兩端的G對應的像素中根據綠波長成分而產生的信息電荷被相加合成。
在時刻H6以后,在水平方向相加合成后的信息電荷沿著溝道區域32在水平方向被傳送。水平傳送的信息電荷被輸出到輸出單元10d,作為根據信息電荷量的CCD輸出信號被輸出。此時,將連續配置的4個水平傳送電極34作為1組,通過將同相位的水平時鐘脈沖施加在作為1組的水平傳送電極34上,進行信息電荷的水平傳送。例如,在本實施方式中,分別將水平傳送電極34-1~34-4、34-5~34-8、34-9~34-12作為1組,通過將同相位的水平時鐘脈沖施加在各組所包含的水平傳送電極34上,將相互不同相位的水平時鐘脈沖施加在不同的組上,來進行信息電荷的水平傳送。
這樣,即使在水平傳送時,通過在水平方向將信息電荷相加合成,也可以在水平方向壓縮并傳送圖像信號。由此,不僅是在垂直方向的信息電荷的傳送時間,在水平方向的信息電荷的傳送時間也會縮短到已有技術的大約1/3。
而且,對于水平方向也與垂直方向同樣,優選按每一幀變更排出信息電荷的像素的位置。即,如圖24(a)~(c)所示,優選按每一圖像幀變更在排出區域40中間隔提取信息電荷的列。
關于第1個圖像幀,如圖20和圖24(a)所示,在將存儲于傳送電極24-7~24-9下的勢阱50中的信息電荷,輸出到水平傳送電極34-3、34-7、34-11下的勢阱52中之后,通過保持原樣,并使施加在排出電極35上的排出時鐘脈沖φt接通,排出與第3k+2列(k為0或自然數)對應的信息電荷。此后,將第3k+1列和第3k+3列的信息電荷相加合成來進行輸出。
關于第2個圖像幀,如圖20和圖24(b)所示,在將存儲于傳送電極24-7~24-9下的勢阱50中的信息電荷,輸出到水平傳送電極34-3、34-7、34-11下的勢阱52中,只將1列份的信息電荷水平向輸出單元10d方向傳送后,通過保持原樣,并使施加在排出電極35上的排出時鐘脈沖φt接通,來排出與第3k+3列(k為0或自然數)對應的信息電荷。此后,將第3k+2列和第3k+4列的信息電荷相加合成來進行輸出。
關于第3個圖像幀,如圖20和圖24(c)所示,在將存儲于傳送電極24-7~24-9下的勢阱50中的信息電荷,輸出到水平傳送電極34-3、34-7、34-11下的勢阱52中,只將2列份的信息電荷水平向輸出單元10d方向傳送后,通過保持原樣,并使施加在排出電極35上的排出時鐘脈沖φt接通,來排出與第3k+4列(k為0或自然數)對應的信息電荷。此后,將第3k+3列和第3k+5列的信息電荷相加合成來進行輸出。
此外,當使用在水平方向被壓縮的圖像信號進行晃動修正處理時,與在垂直方向被壓縮的圖像信號的垂直內插處理同樣,可以對在水平方向被壓縮的圖像信號進行水平內插處理。水平內插處理在圖像信號處理單元14中進行。
首先,根據圖像幀的輸出值在垂直方向進行濾波,算出各像素的紅(R)、綠(G)、藍(B)各波長成分。選擇包含在被壓縮的圖像幀中的像素作為成為順次算出對象的著眼像素,對從著眼像素開始在垂直方向(列方向)中存在于規定范圍內的像素乘上濾波器系數,通過算出乘算結果的平均值,來算出著眼像素的各波長成分。對供給到晃動修正處理的多個圖像幀中被壓縮的全部圖像幀進行濾波處理。作為濾波處理,可以采用已經說明了的方法。
通過在垂直方向的濾波,對于如圖25所示的交互地輸出紅(R)和綠(G)波長成分r、g的行(例如,第1行),能夠算出如圖26所示的各像素的紅(R)和綠(G)波長成分Rv、Gv,對于如圖25所示的交互地輸出綠(G)和藍(B)波長成分g、b的行(例如,第2行),能夠算出如圖26所示的各像素的綠(G)和藍(B)波長成分Gv、Bv。
接著,根據被壓縮的圖像幀的各像素的輸出值在水平方向進行濾波,算出各像素的紅(R)、綠(G)、藍(B)各波長成分。通過選擇包含在被壓縮的圖像幀中的像素作為成為順次算出對象的著眼像素,并對從著眼像素開始在水平方向(行方向)中存在于規定范圍內的像素乘上濾波器系數,算出乘算結果的平均值,來算出著眼像素的各波長成分。對供給到晃動修正處理的多個圖像幀中被壓縮的全部圖像幀進行濾波處理。
對于各著眼像素的全部波長成分進行濾波。即,對于已經算出紅(R)波長成分Rv和綠(G)波長成分Gv的像素,在通過對紅(R)和綠(G)波長成分進行在水平方向的濾波,來進行隨機噪聲的平均化的同時,算出沒有算出的藍(B)波長成分。同樣,對于已經算出綠(G)波長成分Gv和藍(B)波長成分Bv的像素,在通過對綠(G)和藍(B)波長成分進行在水平方向的濾波,來進行隨機噪聲的平均化的同時,算出沒有算出的紅(R)波長成分。
當將沿著水平方向連續的7個像素作為處理對象進行濾波時,如果將第r行第q列的像素(r,q)作為著眼像素,則能夠通過Rr,q=(κ×Rvr,q-3+λ×Rvr,q+μ×Rvr,q+3)/(κ+λ+μ)/2算出像素(r,q)的紅(R)波長成分Rr,q。這里,(κ+λ+μ)是濾波器系數,κ=μ。Rvij是像素(i,j)中沿著水平方向被濾波的紅(R)波長成分。同樣地,能夠通過Gr,q=(κ×Gvr,q-3+λ×Gvr,q+μ×Gvr,q+3)/(κ+λ+μ)算出像素(r,q)的綠(G)波長成分Gr,q。這里,Gvij是像素(i,j)中沿著水平方向被濾波的綠(G)波長成分。而且,能夠通過Br,q=(κ×Bvr,q-3+λ×Bvr,q+μ×Bvr,q+3)/(κ+λ+μ)/2算出像素(r,q)的藍(B)波長成分Br,q。這里,Bvij是像素(i,j)中沿著水平方向被濾波的藍(B)波長成分。
通過在水平方向的濾波,如圖27所示,對多個像素組分別求得紅(R)、綠(G)、藍(B)波長成分R、G、B的同時,能夠進行隨機噪聲的平均化。
而且,如上所述,也可以進一步對在水平方向的壓縮進行內插。在實施各濾波器處理后,通過對沒有各波長成分(像素值)的全像素進行內插處理,能夠從被壓縮的圖像幀得到全像素(全圖象)的圖像幀。
此外,如圖11(a)~(c)所示,當在攝像時按每一幀變更接通的傳送電極時,也能夠依次執行下述的壓縮處理,即分別將圖11(a)~(c)那樣的在垂直方向的信息電荷的相加合成和圖24(a)~(c)那樣的在水平方向的信息電荷的相加合成組合起來。
例如,在對第1個圖像幀進行攝像時,如圖11(a)所示,只斷開與傳送電極24-4~24-6對應的像素或通過電子快門工作而不存儲信息電荷,來將存儲在傳送電極24-1~24-3中的信息電荷和存儲在傳送電極24-7~24-9中的信息電荷相加合成,進行垂直傳送,如圖24(a)所示,在排出與第3k+2列(k為0或自然數)對應的信息電荷的同時,將第3k+1列和第3k+3列的信息電荷相加合成并進行輸出。在對第2個圖像幀進行攝像時,如圖11(b)所示,只斷開與傳送電極24-1~24-3對應的像素或通過電子快門工作而不存儲信息電荷,來將存儲在相鄰組的傳送電極24-7~24-9中的信息電荷和存儲在傳送電極24-4~24-6中的信息電荷相加合成,進行垂直傳送,如圖24(a)所示,在排出與第3k+2列(k為0或自然數)對應的信息電荷的同時,將第3k+1列和第3k+3列的信息電荷相加合成并進行輸出。在對第3個圖像幀進行攝像時,如圖11(c)所示,只有斷開與傳送電極24-7~24-9對應的像素或通過電子快門工作而不存儲信息電荷,來將存儲在傳送電極24-4~24-6中的信息電荷和存儲在相鄰組的傳送電極24-1~24-3中的信息電荷相加合成,進行垂直傳送,如圖24(a)所示,在排出與第3k+2列(k為0或自然數)對應的信息電荷的同時,將第3k+1列和第3k+3列的信息電荷相加合成并進行輸出。
在對第4個圖像幀進行攝像時,如圖11(a)所示,只斷開與傳送電極24-4~24-6對應的像素或通過電子快門工作而不存儲信息電荷,來將存儲在傳送電極24-1~24-3中的信息電荷和存儲在傳送電極24-7~24-9中的信息電荷相加合成,進行垂直傳送,如圖24(b)所示,在排出與第3k+3列(k為0或自然數)對應的信息電荷的同時,將第3k+2列和第3k+4列的信息電荷相加合成并進行輸出。在對第5個圖像幀進行攝像時,如圖11(b)所示,只斷開與傳送電極24-1~24-3對應的像素或通過電子快門工作而不存儲信息電荷,來將存儲在相鄰組的傳送電極24-7~24-9中的信息電荷和存儲在傳送電極24-4~24-6中的信息電荷相加合成,進行垂直傳送,如圖24(b)所示,在排出與第3k+3列(k為0或自然數)對應的信息電荷的同時,將第3k+2列和第3k+4列的信息電荷相加合成并進行輸出。在對第6個圖像幀進行攝像時,如圖11(c)所示,只斷開與傳送電極24-7~24-9對應的像素或通過電子快門工作而不存儲信息電荷,來將存儲在傳送電極24-4~24-6中的信息電荷和存儲在相鄰組的傳送電極24-1~24-3中的信息電荷相加合成,進行垂直傳送,如圖24(b)所示,在排出與第3k+3列(k為0或自然數)對應的信息電荷的同時,將第3k+2列和第3k+4列的信息電荷相加合成并進行輸出。
在對第7個圖像幀進行攝像時,如圖11(a)所示,只斷開與傳送電極24-4~24-6對應的像素或通過電子快門工作而不存儲信息電荷,來將存儲在傳送電極24-1~24-3中的信息電荷和存儲在傳送電極24-7~24-9中的信息電荷相加合成,進行垂直傳送,如圖24(c)所示,在排出與第3k+4列(k為0或自然數)對應的信息電荷的同時,將第3k+3列和第3k+5列的信息電荷相加合成并進行輸出。在對第8個圖像幀進行攝像時,如圖11(b)所示,只斷開與傳送電極24-1~24-3對應的像素或通過電子快門工作而不存儲信息電荷,來將存儲在相鄰組的傳送電極24-7~24-9中的信息電荷和存儲在傳送電極24-4~24-6中的信息電荷相加合成,進行垂直傳送,如圖24(c)所示,在排出與第3k+4列(k為0或自然數)對應的信息電荷的同時,將第3k+3列和第3k+5列的信息電荷相加合成并進行輸出。在對第9個圖像幀進行攝像時,如圖11(c)所示,只斷開與傳送電極24-7~24-9對應的像素或通過電子快門工作而不存儲信息電荷,來將存儲在傳送電極24-4~24-6中的信息電荷和存儲在相鄰組的傳送電極24-1~24-3中的信息電荷相加合成,進行垂直傳送,如圖24(c)所示,在排出與第3k+4列(k為0或自然數)對應的信息電荷的同時,將第3k+3列和第3k+5列的信息電荷相加合成并進行輸出。
如上所述,通過在水平方向也壓縮圖像進行傳送,能夠縮短傳送時間,使得在單位時間內得到的圖像幀更多。由此,能夠提高晃動修正的精度。而且,通過在水平方向也相加合成信息電荷,能夠減少隨機噪聲的影響。
進而,在將信息電荷相加合成時,即使對水平方向按每一圖像幀挪動了像素,也能夠通過相加合成信息電荷,在空間上對濾波處理和內插處理進行平均化。
<圖像信號的水平壓縮傳送的變形例>
本實施方式的變形例中的固體攝像裝置,如圖28所示,包括CCD固體攝像元件11和驅動電路6。幀傳送方式的CCD固體攝像元件11,與CCD固體攝像元件10同樣,具有攝像單元11i、存儲單元11s、水平傳送單元11h和輸出單元11d。定時控制單元6包括幀時鐘脈沖產生單元6f、垂直時鐘脈沖產生單元6v、輔助時鐘脈沖產生單元6u、水平時鐘脈沖產生單元6h和復位時鐘脈沖產生單元6r。通過從驅動電路6接受各種時鐘脈沖對CCD固體攝像元件11進行控制。
圖29是表示本實施方式的變形例中的CCD固體攝像元件11的存儲單元11s和水平傳送單元11h的連接單元的內部構造的俯視圖。此外,CCD固體攝像元件11的全體構成與所述的CCD固體攝像元件10相同。
水平傳送單元11h包括接受并傳送從存儲單元11s的垂直移位寄存器輸出的信息電荷的水平移位寄存器。水平移位寄存器由溝道區域32和水平傳送電極34構成。在與垂直移位寄存器的延伸方向正交的方向上,由從存儲單元11s的垂直移位寄存器延伸的分離區域20,和與存儲單元11s對置而設置的P型擴散層即水平分離區域36劃分溝道區域32。經由延伸的分離區域20的間隙,垂直移位寄存器的溝道區域22和水平移位寄存器的溝道區域32連接。
在存儲單元11s和水平傳送單元11h的連接區域中,形成輔助傳送電極16-1~16-4。輔助傳送電極16-1~16-4經由絕緣膜,作為相互電絕緣的多層電極而形成。輔助傳送電極16-1配置在離水平移位寄存器最遠側,與傳送電極24平行并具有規定的間隔。輔助傳送電極16-4配置在離水平移位寄存器最近側,與傳送電極24平行。輔助傳送電極16-2和16-3配置在輔助傳送電極16-1和16-4之間的區域中,使得它們的一部分經由絕緣膜在輔助傳送電極16-1、16-4上重合。輔助傳送電極16-3,以在奇數列中接近水平移位寄存器,在偶數列中遠離水平移位寄存器的方式進行蛇行,與傳送電極24并列地配置。輔助傳送電極16-2,以在奇數列中離開水平移位寄存器,在偶數列中接近水平移位寄存器的方式蛇行地經由絕緣膜配置在輔助傳送電極16-3上。這里,通過使上層側的輔助傳送電極16-2,以在奇數列的溝道區域22上與下層側的輔助傳送電極16-3重合的方式進行配置,使得施加在上層側的輔助傳送電極16-2上的電壓影響只作用于偶數列的溝道區域22。即,輔助傳送電極16-1~16-4在偶數列的溝道區域22的輸出端,形成1位份的輔助位。通過將4相的輔助時鐘脈沖φu1~φu4分別施加在該輔助傳送電極16-1~16-4上,在從存儲單元11s到水平傳送單元11h傳送信息電荷的過程中,能夠在偶數列的溝道區域22中暫時存儲1個像素份的信息電荷。此外,輔助傳送電極16不限定于4相控制,只要能夠相對奇數列僅延遲1個像素份地垂直傳送輸出偶數列的信息電荷即可。
在朝向與垂直移位寄存器正交的方向延伸的溝道區域32上形成水平傳送電極34。從與水平移位寄存器的輸出單元11d鄰接的奇數列的垂直移位寄存器,順序地對每個垂直移位寄存器配置2根水平傳送電極34。在本實施方式中,將12根水平傳送電極34-1~34-12作為1組,沿著水平移位寄存器的傳送方向順次配置。這里,配置在垂直移位寄存器的溝道區域22的延長上的水平傳送電極34-1、34-3、34-5、34-7、34-9、34-11,以跨過溝道區域22和水平分離區域36的方式,經由絕緣膜配置在溝道區域32上。水平傳送電極34-2、34-4、34-6、34-8、34-10、34-12,以跨過分離區域20和水平分離區域36的方式,經由絕緣膜配置在溝道區域32上。在本實施方式中,通過在與沿著水平傳送方向連續的6個垂直移位寄存器對應的12根水平傳送電極34-1~34-12上,施加可以相互獨立控制的水平時鐘脈沖φh1~φh12來進行控制。
下面,說明驅動電路6的各構成單元。幀時鐘脈沖產生單元6f,與從外部供給的幀移位定時信號FT對應地產生3相的幀時鐘脈沖φi,并供給攝像單元11i的垂直移位寄存器的傳送電極。根據該幀時鐘脈沖φi,存儲在攝像單元11i的各感光像素中的信息電荷按每個垂直掃描期間傳送給存儲單元11s。垂直時鐘脈沖產生單元6v,與垂直同步信號VT和水平同步信號HT對應地產生3相的垂直時鐘脈沖φs,并供給存儲單元11s的垂直移位寄存器的傳送電極。本實施方式中,在攝像單元11i和存儲單元11s中連續配置的3根傳送電極24-1~24-3與1條水平線對應。因此,通過將以相互不同的相位變化的3相時鐘脈沖分別施加在傳送電極24-1~24-3上,來作為幀時鐘脈沖φi和垂直時鐘脈沖φs,能夠按一條水平線垂直傳送信息電荷。此外,如所述實施方式那樣,也可以將在傳送方向上連續配置的9根傳送電極24-1~24-9作為1組,通過向各組的傳送電極24-1~24-9中的各個供給可以相互獨立控制的幀時鐘脈沖φi和垂直時鐘脈沖φs,來在垂直方向上相加與同一顏色對應的信息電荷,從而作為被壓縮的圖像信號進行傳送。
水平時鐘脈沖產生單元6h與水平同步信號HT對應地產生水平時鐘脈沖φh,并供給水平傳送單元11h的水平傳送電極34。這里,當在水平移位寄存器中將n像素份的信息電荷相加合成進行傳送時,水平時鐘脈沖產生單元6h能夠生成相對和連續的2n個垂直移位寄存器耦合的水平傳送電極34,可以相互獨立控制的水平時鐘脈沖φh。在本實施方式中,由于將3像素份的信息電荷相加合成,所以能夠生成相對和6個垂直移位寄存器耦合的12根水平傳送電極34-1~34-12,可以相互獨立控制的12相水平時鐘脈沖φh。輔助時鐘脈沖產生單元6u,與水平同步信號HT對應,產生具有垂直時鐘脈沖φs的1位份傳送周期的1/2周期的4相輔助時鐘脈沖φu,并供給輔助傳送電極16。根據該輔助時鐘脈沖φu,在存儲單元11s的垂直移位寄存器中被傳送的信息電荷,奇數列和偶數列交互地傳送輸出到水平傳送11h。基于垂直時鐘脈沖φs、水平時鐘脈沖φh和輔助時鐘脈沖φu進行的控制將在后面述說。
復位時鐘脈沖產生單元6r,與水平時鐘脈沖產生單元6h中所產生的水平時鐘脈沖φh同步地產生復位時鐘脈沖φr,并供給輸出單元11d。該復位時鐘脈沖φr被供給連接輸出單元11d的電容和基板深部的開關元件的柵極,用于將存儲在輸出單元11d的電容中的信息電荷向基板排出。
圖30和圖31是表示使用本實施方式中的固體攝像裝置,來降低圖像的分辨率進行高速傳送時的各時鐘脈沖的時序圖。在圖30中,表示了水平同步信號HT、垂直時鐘脈沖φs、輔助時鐘脈沖φu和水平時鐘脈沖φh的關系。在圖31中,表示了水平傳送時的水平時鐘脈沖φh、復位時鐘脈沖φr,和輸出信號Vout變化的情況。在圖31中,縱軸的上方向表示正電壓,下方向表示負電壓。此外,垂直時鐘脈沖φs為3相,輔助時鐘脈沖φu為4相,但在圖30中只表示了代表性的時鐘脈沖。
垂直時鐘脈沖φs,在與水平同步信號HT對應的周期中被施加在傳送電極24-1~24-3上。垂直時鐘脈沖φs由以各個相互不同的相位變化的3相脈沖φs1~φs3構成。由此,信息電荷沿著垂直移位寄存器的溝道區域22,在1個水平傳送期間按1條水平線傳送。輔助時鐘脈沖φu,與水平同步信號HT的1/2周期對應地,被施加在輔助傳送電極16-1~16-4上。由于如上所述,輔助傳送電極16-1~16-4只在偶數列的垂直移位寄存器的輸出端有效地起作用,所以在偶數列的垂直移位寄存器的溝道區域22中,以在1個水平傳送期間傳送每2像素份的方式,控制電位狀態。此時,由于根據垂直時鐘脈沖φs,在1個水平傳送期間從傳送電極24-1~24-3到輔助傳送電極16-1~16-4,只傳送1像素份的信息電荷,所以在奇數列的垂直移位寄存器和偶數列的垂直移位寄存器中,1像素的信息電荷在只偏離垂直傳送期間的1/2周期的定時,被傳送輸出到水平移位寄存器。
水平時鐘脈沖φh與垂直時鐘脈沖φs和輔助時鐘脈沖φu對應地生成,并在比水平傳送周期短的周期中施加在水平傳送電極34-1~34-12上。在本實施方式中,水平時鐘脈沖φh由電荷合成時鐘脈沖φha、φhb和電荷傳送時鐘脈沖φhc的組合構成。由此,與在1條水平線中包含的同一波長區域(同一顏色)對應的多個像素的信息電荷,在水平移位寄存器中相加合成并被朝向輸出單元11d傳送。
圖32表示在施加水平時鐘脈沖φh時的水平移位寄存器中形成的勢阱的狀態。在圖32中,橫軸表示與各水平傳送電極34-1~34-12對應的位置,縱軸表示上方向為負電位,下方向為正電位的電位。
在本實施方式中,通過獨立控制施加在水平傳送電極34-1~34-12上的水平時鐘脈沖φh1~φh12,僅3個像素份數地將與同一顏色對應的信息電荷相加合成。在時刻T1,施加在水平傳送電極34-1、34-5、34-9上的水平時鐘脈沖φh1、φh5、φh9為高電平,從垂直移位寄存器的奇數列傳送輸出的信息電荷分別被存儲在水平傳送電極34-1、34-5、34-9下形成的勢阱60(60a)中。例如,與奇數列的紅(R)波長區域對應的信息電荷被傳送輸出到水平移位寄存器。此后,通過直到時刻T2,順次變化水平時鐘脈沖φh1~φh9,將存儲在水平傳送電極34-5、34-9下形成的勢阱60(60a)中的信息電荷,再配置到水平傳送電極34-1下形成的勢阱62(62a)中。接著,在時刻T3,施加在水平傳送電極34-3、34-7、34-11上的水平時鐘脈沖φh3、φh7、φh11為高電平,從垂直移位寄存器的偶數列傳送輸出的信息電荷,分別被存儲在水平傳送電極34-3、34-7、34-11下形成的勢阱64中。這里,和對應于在時刻T1傳送輸出的紅(R)波長區域的信息電荷處于同一水平線中的與綠(G)波長區域對應的信息電荷,被傳送輸出到水平移位寄存器。此后,通過直到時刻T4,順次變化水平時鐘脈沖φh1~φh12,將存儲在水平傳送電極34-7、34-11下形成的勢阱64(64a)中的信息電荷,再配置到在水平傳送電極34-3下形成的勢阱66(66a)中。與此同時,將存儲在水平傳送電極34-1下形成的勢阱62(62a)中的信息電荷,順次傳送到在水平傳送方向的前面的水平傳送電極34-9下形成的勢阱68(68a)中。此時,存儲在處于水平移位寄存器的輸出端的水平傳送電極34-1下形成的勢阱中的信息電荷,被傳送輸出到輸出單元11d。
此外,水平移位寄存器中的信息電荷的相加合成不限定于此,也能夠以在1條水平線中包含的不同顏色的波長區域所對應的信息電荷不混合的方式進行相加合成。例如,當如本實施方式那樣,在1條水平線中包含的信息電荷在垂直移位寄存器的奇數列和偶數列中與不同顏色對應的情況下,可以將奇數列的信息電荷和偶數列的信息電荷分別相加合成。
這樣,在每3個像素地相加合成1條水平線份的信息電荷后,將水平傳送電極34-1~34-12中鄰接的2個電極作為1組,通過對1組電極施加同相位的3相水平時鐘脈沖φh,來水平傳送信息電荷。即,如圖31的水平時鐘脈沖φhc的期間所示,在本實施方式中,分別將與各個垂直移位寄存器對應的2根水平傳送電極34-1和34-2、水平傳送電極34-3和34-4、水平傳送電極34-5和34-6……作為1組,通過將實質上成為3相的水平時鐘脈沖φh1~φh12施加在鄰接的3組水平傳送電極上,來水平傳送被相加合成的信息電荷。由此,在時刻T5~T7,存儲在勢阱66、68中的信息電荷沿著水平傳送方向被順次傳送到輸出單元11d。通過順次重復該水平傳送,將1條水平線份的信息電荷變換成輸出信號并進行輸出。當1條水平線份的水平傳送結束時,如圖30所示,轉移到對下一條水平線的垂直傳送。此時,如圖33所示,從輸出單元11d交互地輸出與在1條水平線中包含的紅(R)和綠(G)或綠(G)或藍(B)波長區域對應的信息電荷。
如上所述,本變形例中將與同一顏色的波長區域對應的3個像素份的信息電荷在水平傳送方向相加合成的基礎上,能夠進行水平傳送。由此,能夠減少實際的傳送級數,與已有技術相比,能夠不提高時鐘脈沖的基本頻率地縮短水平傳送時的信息電荷的傳送時間。從而,在取得低分辨率的圖像時能夠高速地取得圖像。
而且,可以16相獨立地控制水平時鐘脈沖φh,通過基于該水平時鐘脈沖φh控制與連續的8個垂直移位寄存器耦合的16根水平傳送電極34,也可以在將4個像素份的信息電荷相加合成的基礎上,進行水平傳送。進而,當將n個像素份的信息電荷相加合成進行傳送時,可以通過將能夠相互獨立地控制的水平時鐘脈沖φh,供給與連續的2n個垂直移位寄存器耦合的水平傳送電極34來實現。
此外,當希望不相加合成信息電荷地作為高分辨率的圖像信號進行輸出時,與已有技術相同,只要通過4相的水平時鐘脈沖φh控制水平移位寄存器,使得按每1個像素份的信息電荷進行水平傳送即可。
而且,能夠對從本變形例的CCD固體攝像裝置11得到的圖像信號進行將所述的晃動修正處理。此時,可以與攝像單元11i的像素對應地再排列從CCD固體攝像裝置11輸出的圖像信號,并對經過再排列的圖像信號實施濾波處理和內插處理。
此外,在本實施方式中,對搭載了彩色攝像用的固體攝像元件的攝像裝置中的晃動修正處理進行了說明,但是在搭載了單色攝像用的固體攝像元件的攝像裝置中也能夠同樣地進行晃動修正處理。在單色攝像的情況下,通過對在垂直傳送方向和水平傳送方向的至少1個方向被壓縮的圖像信號進行內插處理,可以進行晃動修正處理。
而且,雖然在本實施方式中,將包含幀傳送型的CCD固體攝像元件的攝像裝置作為對象,但是本發明的適用范圍不限定于此。例如,也能夠適用于包含交錯型的CCD固體攝像元件的攝像裝置。
權利要求
1.一種攝像裝置,具有,攝像元件,行列地配置生成和存儲與從外部入射的光的強度對應的信息電荷的多個像素,并傳送輸出存儲在像素中的信息電荷;和圖像信號處理單元,對從所述攝像元件輸出的圖像信號進行晃動修正處理,所述攝像元件,在攝像時將信息電荷存儲在實質上相互分離的多個勢阱中,并且在傳送時使用存儲在所述多個勢阱中至少1個中的信息電荷進行傳送,輸出被壓縮的圖像信號,所述圖像信號處理單元使用被壓縮的圖像信號進行晃動修正處理。
2.根據權利要求1所述的攝像裝置,其特征在于,所述攝像元件將存儲在所述多個勢阱中至少2個中的信息電荷沿著傳送方向相加合成后,進行傳送。
3.根據權利要求1所述的攝像裝置,其特征在于,所述攝像元件,將沿著傳送方向連續配置的像素,以每3個以上的規定數作為1組,從除去該組所包含的像素中的至少1個而余下的像素中所存儲的信息電荷,獲得所述被壓縮的圖像信號。
4.根據權利要求1所述的攝像裝置,其特征在于,所述攝像元件中的各像素,與將不同的2個以上波長區域中的某一個作為透過波長區域的光學濾波器對應,接受透過光學濾波器的光,存儲信息電荷,與具有各透過波長區域的光學濾波器對應的像素,沿著傳送方向以規定的周期重復配置,所述攝像元件,將與具有同一透過波長區域的光學濾波器對應的像素被配置的周期中添加1個像素的周期后所包含的像素群作為1組,從除去該組所包含的像素中的至少1個而余下的像素中所存儲的信息電荷,獲得所述被壓縮的圖像信號。
5.根據權利要求3所述的攝像裝置,其特征在于,所述攝像元件,順次變更從所述組包含的像素中被除去的像素,來輸出被壓縮的圖像信號。
6.根據權利要求1所述的攝像裝置,其特征在于,所述圖像信號處理單元對所述被壓縮的圖像信號進行解壓處理。
7.一種圖像信號處理裝置,具有攝像單元,行列地配置有多個像素,所述像素在攝像時將與從外部入射的光的強度對應的信息電荷,存儲在實質上相互分離的多個勢阱中,使用由存儲在所述多個勢阱中至少1個中的信息電荷而得到的被壓縮的圖像信號,來進行晃動修正處理。
8.根據權利要求7所述的圖像信號處理裝置,其特征在于,使用通過存儲在所述多個勢阱中至少2個中的信息電荷沿著傳送方向相加合成而被壓縮的圖像信號,進行晃動修正處理。
9.根據權利要求7所述的圖像信號處理裝置,其特征在于,將沿著所述攝像元件的傳送方向連續配置的像素,以每3個以上的規定數作為1組,從除去該組所包含的像素中的至少1個而余下的像素中所存儲的信息電荷,獲得所述被壓縮的圖像信號。
10.根據權利要求7所述的圖像信號處理裝置,其特征在于,將與具有同一透過波長區域的光學濾波器對應的像素被配置的周期中添加1個像素的周期后所包含的像素群作為1組,從除去該組所包含的像素中的至少1個而余下的像素中所存儲的信息電荷,獲得所述被壓縮的圖像信號。
11.根據權利要求9所述的圖像信號處理裝置,其特征在于,使用順次變更從所述組包含的像素中被除去的像素而得到的多個被壓縮的圖像信號,進行晃動修正處理。
12.根據權利要求7所述的圖像信號處理裝置,其特征在于,對所述被壓縮的圖像信號進行解壓處理。
13.一種圖像信號處理方法,接受從具有攝像單元的攝像元件輸出的圖像信號,所述攝像單元,行列地配置有多個像素,所述像素在攝像時將與從外部入射的光的強度對應的信息電荷,存儲在實質上相互分離的多個勢阱中,使用由存儲在所述多個勢阱中至少1個中的信息電荷而得到的被壓縮的圖像信號,來進行晃動修正處理。
14.根據權利要求13所述的圖像信號處理方法,其特征在于,使用通過存儲在所述多個勢阱中至少2個中的信息電荷沿著傳送方向相加合成而被壓縮的圖像信號,進行晃動修正處理。
15.根據權利要求13所述的圖像信號處理方法,其特征在于,將沿著所述攝像元件的傳送方向連續配置的像素,以每3個以上的規定數作為1組,從除去該組所包含的像素中的至少1個而余下的像素中所存儲的信息電荷,獲得所述被壓縮的圖像信號。
16.根據權利要求13所述的圖像信號處理方法,其特征在于,將與具有同一透過波長區域的光學濾波器對應的像素被配置的周期中添加1個像素的周期后所包含的像素群作為1組,從除去該組所包含的像素中的至少1個而余下的像素中所存儲的信息電荷,獲得所述被壓縮的圖像信號。
17.根據權利要求15所述的圖像信號處理方法,其特征在于,使用順次變更從所述組包含的像素中被除去的像素而得到的多個被壓縮的圖像信號,進行晃動修正處理。
18.根據權利要求13所述的圖像信號處理方法,其特征在于,對所述被壓縮的圖像信號進行解壓處理。
19.一種攝像裝置,具有攝像元件,行列地配置生成和存儲與從外部入射的光的強度對應的信息電荷的多個像素,并傳送輸出存儲在像素中的信息電荷;和圖像信號處理單元,對從所述攝像元件輸出的圖像信號進行信號處理,所述攝像元件,在攝像時將信息電荷存儲在實質上相互分離的多個勢阱中,并且在傳送時使用存儲在所述多個勢阱中至少1個中的信息電荷進行傳送,來輸出被壓縮的圖像信號,所述圖像信號處理單元使用被壓縮的圖像信號進行合成的處理。
20.根據權利要求19所述的攝像裝置,其特征在于,所述攝像元件,將沿著傳送方向連續配置的像素,以每3個以上的規定數作為1組,順次變更所述組所包含的像素,從所述組包含的像素中存儲的信息電荷中至少一個,輸出所述被壓縮的圖像信號,所述圖像信號處理單元進行合成多個所述被壓縮的圖像信號的處理,多個所述被壓縮的圖像信號是通過順次變更所述組中所包含的像素而得到的。
全文摘要
本發明縮短了取得多個圖像幀的時間,提高了使用多個圖像幀的晃動修正處理的精度。具有行列地配置有多個像素,通過將時鐘脈沖施加在傳送電極上,傳送輸出信息電荷的攝像元件(10);控制施加在傳送電極上的時鐘脈沖的驅動電路(12);和對從攝像元件(10)輸出的圖像信號進行晃動修正處理的圖像信號處理單元(14),在攝像時將信息電荷存儲在實質上相互分離的多個勢阱中,并且在傳送時使用存儲在多個勢阱中至少一個中的信息電荷,從攝像元件(10)輸出被壓縮的圖像信號,并使用該被壓縮的圖像信號進行晃動修正處理。
文檔編號H04N5/14GK1863273SQ20061007945
公開日2006年11月15日 申請日期2006年4月29日 優先權日2005年5月13日
發明者東堤良仁 申請人:三洋電機株式會社