成像器件、成像裝置和電子裝置的制造方法
【技術領域】
[0001]本發明涉及成像器件、成像裝置和電子裝置，并具體地涉及能夠以相對低的功率消耗獲得以超高速拍攝的運動圖像(超慢運動圖像)的成像器件、成像裝置和電子裝置。
[0002]〈相關申請的交叉引用〉
[0003]本申請要求于2013年12月20日提交的日本在先專利申請JP 2013-263378和于2014年9月18日提交的日本在先專利申請JP 2014-190163的權益，將這些日本在先專利申請的全部內容以引用的方式并入本文。
【背景技術】
[0004]通常，由成像器件拍攝的運動圖像的幀速率大約為30fps，且在試圖實現比上述此幀速率快的高速幀速率的情況下，實際使用中的成像器件的上限在很多情況下受I/F的帶寬和功率消耗限制。例如，在以100fps的幀速率輸出每像素數據量為10比特且分辨率為1920 X 1080的全高清運動圖像的情況下，傳遞圖像數據的I/F須具有等于或大于20Gbps的帶寬。
[0005]另一方面，諸如移動電話等移動設備的I/F的帶寬即使具有高的速度，也僅約為4至6Gbps。因此，在安裝在移動設備或消費類相機上的小型成像器件中，上述情形非常突出。
[0006]此外，在未來，期望傳播具有4K(其4倍于全高清)或8K(其8倍于全高清)的分辨率的運動圖像，且對高速幀速率的需求增加。因此，可以預期的是，僅通過使I/F的帶寬變寬可能難以克服上述限制。
[0007]此外，在分辨率或幀速率增加的情況下，成像器件或設置在下一階段中的圖像信號處理電路的功率消耗增加，這導致發熱增大，而這種發熱的增大是移動設備或消費類相機必須避免的問題。
[0008]在相關技術中，針對此問題，提出了如下方法:通過對像素進行稀疏(thinningout)或裁去圖像的部分區域實現高幀速率，且通過降低處理后的像素的數量可以抑制功率消耗和發熱的增加(例如，參考專利文獻I)。
[0009]引用文獻列表
[0010]專利文獻
[0011]專利文獻I
[0012]日本未審查專利申請公開號9-247543
【發明內容】
[0013]技術問題
[0014]在上述相關技術中的方法中，可以實現高的幀速率，但是運動圖像的分辨率顯著惡化。
[0015]期望通過抑制功率消耗和熱量產生來獲得分辨率更小地惡化的超高速拍攝的運動圖像。
[0016]問題的解決方案
[0017]根據本發明的第一實施例，提供了一種成像器件，其包括:像素生成單元，其生成由與入射光相一致的多個像素信號形成的圖像信號；以及幀存儲器，其存儲多個幀的所述圖像信號。
[0018]根據本發明的第一實施例的成像器件還可包括:寫入單元，其將生成的所述圖像數據寫入所述幀存儲器中；以及讀取單元，其讀取被寫入所述幀存儲器中的所述圖像數據。
[0019]所述寫入單元可將生成的所述圖像數據重寫到所述幀存儲器的第一區域中；且所述讀取單元可以以幀為單元稀疏并讀取被重寫到所述幀存儲器的所述第一區域中的所述圖像數據。
[0020]所述寫入單元可以將以第一幀速率生成的所述圖像數據重寫到所述幀存儲器的第一區域中，且所述讀取單元可以稀疏并以低于所述第一幀速率的第二幀速率讀取以所述第一幀速率被重寫到所述幀存儲器的所述第一區域中的所述圖像數據。
[0021]根據本發明的第一實施例的成像器件還可包括:編碼單元，其對被寫入所述幀存儲器中的所述圖像數據進行編碼；以及解碼單元，其對從所述幀存儲器讀取的經編碼的所述圖像數據進行解碼。
[0022]根據本發明的第一實施例的成像器件可還包括:控制單元，其根據觸發條件控制所述寫入單元并停止將生成的所述圖像數據重寫到所述幀存儲器的所述第一區域中。
[0023]所述控制單元可根據所述觸發條件立即或在延遲預定幀數之后控制所述寫入單元并停止將生成的所述圖像數據重寫到所述幀存儲器的所述第一區域中。
[0024]通過作為所述觸發條件的來自外部的指令，所述控制單元可控制所述寫入單元并停止將生成的所述圖像數據重寫到所述幀存儲器的所述第一區域中。
[0025]根據本發明的第一實施例的成像器件可還包括:檢測單元，其檢測被重寫到所述幀存儲器的所述第一區域中的所述圖像數據中的高速轉變場景。通過作為所述觸發條件的對所述高速轉變場景的所述檢測，所述控制單元可控制所述寫入單元并停止將生成的所述圖像數據重寫到所述幀存儲器的所述第一區域中。
[0026]由于停止在所述幀存儲器的所述第一區域中的所述重寫，所述讀取單元可讀取所述幀存儲器的所述第一區域中保持的圖像數據。
[0027]在停止在所述第一區域中重寫所述幀存儲器的所述圖像數據之后，所述寫入單元可將生成的所述圖像數據寫入不同于所述第一區域的第二區域中，且所述讀取單元可讀取被寫入所述幀存儲器的所述第二區域中的所述圖像數據，并可由于所述重寫的停止還讀取所述幀存儲器的所述第一區域中保持的所述圖像數據。
[0028]在停止在所述第一區域中以所述第一幀速率重寫所述幀存儲器的所述圖像數據之后，所述寫入單元可將以低于所述第一幀速率的所述第二幀速率生成的圖像數據寫入所述幀存儲器的不同于所述第一區域的所述第二區域中，且所述讀取單元可以以所述第二幀速率讀取被寫入所述幀存儲器的所述第二區域中的所述圖像數據，并可由于所述重寫的停止還讀取所述幀存儲器的所述第一區域中保持的所述圖像數據。
[0029]所述像素生成單元可執行以下操作中的至少一者:改變生成的所述圖像數據的視角，以及添加所述像素信號。
[0030]根據本發明的第一實施例的成像器件可布置在一個或多個基板上，并可形成在單個芯片中。
[0031]根據本發明的第二實施例，提供了一種安裝有成像器件的成像裝置。所述成像器件包括:像素生成單元，其生成由與入射光相一致的多個像素信號形成的圖像信號；以及幀存儲器，其存儲多個幀的所述圖像信號。
[0032]根據本發明的第三實施例，提供了一種安裝有成像器件的電子裝置。所述成像器件包括:像素生成單元，其生成由與入射光相一致的多個像素信號形成的圖像信號；以及幀存儲器，其存儲多個幀的所述圖像信號。
[0033]在本發明的第一至第三實施例中，生成由與入射光相一致的多個像素信號形成的所述圖像信號，并將其寫入存儲多個幀的所述圖像信號的所述幀存儲器中。
[0034]根據本發明的第四實施例，提供了一種包括成像器件和ISP處理單元的成像裝置。所述成像器件包括以第一幀速率生成由與入射光相一致的多個像素信號形成的圖像信號的像素生成單元、對所述圖像信號進行編碼的編碼器以及以第一幀速率將經編碼的所述圖像信號輸出至所述ISP處理單元的輸出單元。所述ISP處理單元包括存儲多個幀的經編碼的所述圖像信號的幀存儲器、以所述第一幀速率將從所述成像器件輸入的經編碼的所述圖像信號寫入所述幀存儲器中的寫入單元以及以低于所述第一幀速率的第二幀速率讀取被寫入所述幀存儲器中的經編碼的所述圖像信號的ISP單元，并執行解碼和ISP處理。
[0035]所述ISP處理單元還可包括控制單元，所述控制單元根據觸發條件控制所述寫入單元并停止將經編碼的所述圖像數據重寫到所述幀存儲器中。
[0036]所述成像器件還可包括用于檢測生成的所述圖像數據中的高速轉變場景的檢測單元，且所述控制單元可將對所述高速轉變場景的檢測用作所述觸發條件。
[0037]ISP處理單元可還包括:解碼器，其對從所述成像器件輸入的經編碼的所述圖像信號進行解碼；以及檢測單元，其檢測經編碼的所述圖像數據中的高速轉變場景。所述控制單元可將對所述高速轉變場景的檢測用作所述觸發條件。
[0038]在根據本發明的第四實施例的成像器件中，以所述第一幀速率將生成和編碼的所述圖像數據輸出至ISP處理單元。在ISP處理單元中，以所述第一幀速率將經編碼的所述圖像信號寫入所述幀存儲器中，且以低于所述第一幀速率的所述第二幀速率讀取被寫入所述幀存儲器中的經編碼的所述圖像信號，且對經編碼的所述圖像信號執行所述解碼和所述ISP處理。
[0039]根據本發明的第五實施例，提供了一種包括成像器件和ISP處理單元的成像裝置。所述成像器件包括以第一幀速率生成由與入射光相一致的多個像素信號形成的圖像信號的像素生成單元、對所述圖像信號進行編碼的編碼器以及以所述第一幀速率將編碼的圖像信號輸出至所述ISP處理單元的輸出單元。所述ISP處理單元包括存儲多個幀的經編碼的所述圖像信號的幀存儲器以及以低于所述第一幀速率的第二幀速率讀取被寫入所述幀存儲器中的經編碼的所述圖像信號的ISP單元，并執行解碼和ISP處理。
[0040]在根據本發明的第五實施例的成像器件中，以所述第一幀速率將所生成和編碼的圖像數據寫入所述ISP處理單元的所述幀存儲器中。在所述ISP處理單元中，以低于所述第一幀速率的所述第二幀速率讀取被寫入所述幀存儲器中的經編碼的所述圖像信號，且對經編碼的所述圖像信號執行所述解碼和所述ISP處理。
[0041]本發明的有利效果
[0042]根據本發明的第一至第五實施例，可以通過抑制功率消耗和熱生成來獲得分辨率更小地惡化的超高速拍攝的運動圖像。
【附圖說明】
[0043]圖1是圖示本發明的成像器件的構造示例的框圖。
[0044]圖2是圖示從像素生成單元輸出并寫入幀存儲器中的圖像的總覽的示圖。
[0045]圖3是圖示本發明的成像器件的修改構造示例的框圖。
[0046]圖4是圖示在單個芯片中形成成像器件的情況下的構造示例的示圖。
[0047]圖5是說明圖像輸出處理的流程圖。
[0048]圖6是用于說明圖像輸出處理的示圖。
[0049]圖7是用于說明圖像輸出處理的示圖。
[0050]圖8是用于說明圖像輸出處理的不圖。
[0051 ]圖9是用于說明圖像輸出處理的不圖。
[0052]圖10是用于說明輸出被保護在幀存儲器中的圖像數據的方法的示圖。
[0053]圖11是用于說明輸出被保護在幀存儲器中的圖像數據的方法的示圖。
[0054]圖12是用于說明圖像輸出處理的應用示例的示圖。
[0055]圖13是用于說明以交錯驅動的方式驅動幀存儲器的情況的示圖。
[0056]圖14是圖示本發明的成像器件的另一構造示例的框圖。
[0057]圖15是圖示本發明的成像器件的又一構造示例的框圖。
[0058]圖16是圖示本發明的成像器件的又一構造示例的框圖。
[0059]圖17是圖示本發明的成像器件的又一構造示例的框圖。
【具體實施方式】
[0060]在下文中，將參考附圖對用于實施本發明的最佳實施方式(在下文中，被稱為實施例)進行詳細說明。
[0061 ]〈作為本發明的第一實施例的成像器件的構造示例〉
[0062]圖1圖示根據本發明的第一實施例的成像器件的構造示例。
[0063]成像器件10根據來自HOSTISP(主機圖像信號處理系統)30的請求拍攝運動圖像，并以幀為單元輸出圖像數據。
[0064]成像器件1包括輸入I/F 11、像素輸出控制單元12、V解碼器13、存儲器控制單元
14、像素生成單元16、AD轉換單元(ADC)17、第一信號處理單元18、幀存儲器20、第二信號處理單元21和輸出I/F 22。
[0065]輸入I/F 11連接到HOST ISP 30，并將來自HOST ISP 30的各種控制信號輸出至像素輸出控制單元12或輸出至存儲器控制單元14。像素輸