數字攝像機彩色圖像的光譜改進的制作方法

專利名稱：數字攝像機彩色圖像的光譜改進的制作方法
技術領域：
本申請通常涉及彩色成像技術。特別地，本申請涉及圖像的光譜含量。
背景技術：
色彩是一種心理現象，其基于光譜(光能相對于波長的分布)與眼中的光受體的 相互作用，所述光受體對特定的光譜的波長帶或區域(下文中稱為“光譜分量(spectral component)”)具有特定的靈敏度。基于其物理性質比如光吸收、反射、或發射光譜，色彩的 分類和色彩的物理特征也與對象、材料、光源等相關。從物理意義上來說，色彩是在電磁頻譜的不同光譜分量中所測量的強度的比率。 從生理學意義上來說，在人類中，不同的光譜分量由三種不同類型的眼中的受體(即，所謂 的紅、藍、和綠色視錐)的光譜靈敏度曲線所限定。人腦處理并組合來自紅、藍、和綠色視錐 的信號以產生場景的合成的印象或圖像。場景中所有的色彩被視為紅、藍和綠色視錐信號 的組合。人類所感知的色域或色移例如通過CIE 1931色度圖(圖5)來表示。人造彩色圖像傳感器(例如，彩色膠片，或者使用CXD或CMOS傳感器的數字攝像 機)還感測在數量有限的不同光譜分量中的光強度。不同類型的彩色圖像傳感器的區別 在于，它們如何分離和測量不同的光譜分量。例如，彩色膠片可具有一組三個不同乳化層 (emulsion layer)，所述三個不同乳化層分別由光的紅、綠、和藍分量曝光。數字攝像機可 使用分層的傳感器陣列，使得每個像素，像彩色膠片一樣，包含對個別色彩敏感的一組傳感 器(例如，由商標為i^oveon的企業所提供傳感器)。更常見地，數字攝像機使用位于CMOS 或C⑶傳感器頂部的空間彩色濾光片(colorfilter)陣列(例如，Bayer濾光片)，以捕獲 在相應的標稱像素類型中光的不同光譜分量。人造彩色圖像傳感器感測和收集對于從場景所接收到的每個不同的光譜分量的 強度數據。對于每個光譜分量的數據是單色的，即，其僅包括強度信息，而沒有色彩信息。為 了產生場景的再現或近似彩色圖像，對于不同的光譜分量的不同的強度數據被處理，被編 碼成某些色彩和強度，并且被組合。彩色圖像或再現至少部分為近似值，因為所收集的強度數據不包括關于從場景接 收到的光的光譜分布上的全部信息或完整信息。關于從場景接收到的光的光譜分布的強度 數據通過例如被感測的光譜分量的有限數量、對于每個光譜分量的傳感器光譜靈敏度的形 狀和寬度、以及對于不同光譜分量的光譜靈敏度的疊加而被限制。圖3顯示帶有RGB彩色 濾光片的示例性CMOS傳感器的紅、藍和綠光譜響應。現在考慮的是，使用關于從場景接收 到的光的光譜分布的更多信息來增加或輔助彩色圖像數據的方法。發明簡述提供用于修正彩色圖像的光譜信息內容的系統、裝置和方法。
5
一種用于修正由成像設備所獲得的場景的光譜響應表示的示例性系統，其包括具 有輔助照明設備和/或數據處理電路的裝置。輔助照明設備可操作來用具有光譜分布的光來照亮場景，對于該光譜分布來說， 至少有一些限定信息是可用的(例如，“已知的光譜分布”)。通過分別處理從在相應的多個場景照明下的場景所接收到的光的多組光譜分量， 數據處理電路再現場景的彩色圖像，所述場景照明包括用具有已知的光譜分布的光的至少 一個照明。場景的被再現的彩色圖像可能至少部分地基于從所述場景照明下的場景接收 到的光的被檢測的光譜分量，成像設備的特征光譜響應函數R( λ )，以及在至少一個照明中 的光的已知光譜分布。用于改進場景的再現或彩色圖像的方法可利用通過使用具有已知的光譜分布的 光來照亮場景所產生的額外的場景信息。一種涉及改進彩色圖像或場景再現的示例性方法，其可在第一場景照明下獲得。 該方法包括在第二場景照明中，以具有已知的光譜功率分布的光分量來照亮場景的至少 一部分；檢測從這種照明下的場景所接收到的光的有限數量的光譜分量；以及根據從這種 照明下的場景所接收到的光的有限數量的光譜分量的被檢測值來修正場景的再現或彩色 圖像。另一個示例性的方法涉及再現場景的彩色圖像。該方法包括對從包括第一和第二 場景照明的相應的多個場景照明下的場景所接收到的光的多組光譜分量的值進行處理。該 方法還包括再現場景的彩色圖像，這是至少部分地基于從第一和第二場景照明下的場景 所接收到的光的光譜分量的值；被用來檢測從場景接收到的光的光譜分量的成像設備的特 征光譜響應函數；以及在第二場景照明中的光的已知光譜分布。上述概要僅僅是示意性的而無意于是限制性的。除了以上所描述的示意性方面、 實施方式和特征之外，解決方案的進一步的方面、實施方式、以及特征將通過引用附圖和以 下的詳細描述變得更加明顯。附圖概述在附圖中

圖1是按照此處所描述的解決方案的原理、示出用于獲得場景的再現或彩色圖像 的示例性系統的框圖；圖2是按照此處所描述的解決方案的原理、可被用來照亮場景的光的示例性光譜 分布形狀的示意圖；圖3是按照此處所描述的解決方案的原理、示出用于修正由成像設備所獲得的場 景的光譜響應表示的示例性裝置的框圖；圖4是帶有RGB彩色濾光片的示例性CMOS傳感器的紅、綠和藍光譜響應的圖示；圖5是1931 CIE色度圖的再現，該1931 CIE色度圖是人類視覺的色域的標準表 示；圖6是按照此處所描述的解決方案的原理、示出用于改進彩色圖像或場景再現的 示例性方法的流程圖；圖7是按照此處所描述的解決方案的原理、示出用于響應于控制信號或命令信號 來再現場景的彩色圖像的示例性方法的流程圖；以及
圖8是按照此處所描述的解決方案的原理、示出用于調整“在使用中”的數字成像 設備的特征光譜響應函數的示例性方法的流程圖。除非另有說明，在這些圖中始終用相同的參考數字和符號來指示所示實施方式中 相似的特征、元件、部件或者部分。發明詳述在以下詳細描述中，對形成該描述的一部分的附圖進行引用。在這些圖中，除非下 文中另有規定，相似的符號一般指示相似的組件。在詳細描述、附圖和權利要求中所描述的 示意性實施方式并不意味著是限制性的。可利用其他的實施方式，并且可作出其他的改變， 而不偏離此處所提出的主題的精神或范圍。如此處所使用的術語“圖像”和“場景的再現”，其將被理解成分別包括但不限于參 考圖像和場景再現的數據和/或信號。在上下文中，這些術語還可以指這類數據和/或信號 的顯示或輸出。一般地說，此處用于指的是物理的、數學的、概念的、感性的、抽象的對象或 方面(例如，光譜功率分布、光的光譜分量、光譜響應函數，等等)的任何象征性的術語，將 被理解成包括但不限于參考數據和/或信號，或者指定的對象或方面的其他有形的代表。一種用于獲得第一場景照明下的場景的光譜特性的系統包括被配置成檢測從場 景所接收到的光的有限數量(N)的光譜分量的成像設備，可操作來提供帶有具有已知的光 譜分布的光的第二場景照明的輔助照明設備，以及用于產生指示場景的光譜功率分布響應 特征的信號的處理電路。處理電路響應于從第一和第二場景照明下的場景所接收到的光的 被檢測的光譜分量，成像設備的特征光譜響應函數λ )，η = 1、. . . N，以及由輔助照明設 備所提供的光的已知光譜分布。圖1顯示一種示例性的系統100，其用于獲得在第一場景照明下的場景180的再現 或彩色圖像。第一場景照明可包括環境照明和/或由可選的人工照明單元130所提供的人 工照明。從場景接收到的光182(例如，由場景反射、傳送、或發射的光)可具有表現場景特 征的光譜功率分布(SPD(A))0示例性的系統100包括成像設備110、輔助照明設備140、以及可選的控制和處理 電路(例如，控制器160和數據處理器170)。成像設備110被配置成得到經由合適的光學器件(例如，光學器件150)從場景接 收到的光182的色彩信息。成像設備110可包括圖像傳感器120(例如，具有像素陣列的 固態CCD或CMOS設備)，其能夠感測光并且將光轉換成數據和/或信號。此外，圖像傳感 器120可被配置成感測從場景180所接收到的光182的有限數量N個光譜分量。例如，圖 像傳感器120可被耦合到彩色濾光片陣列(例如，使紅、綠或藍色的光通過到達傳感器中所 選擇的像素的Bayer濾光片)，以形成在空間上交錯的像素網格，每個像素網格都對N個光 譜分量(例如，分別對紅、綠、和藍)中相應的一個敏感。可選擇地，圖像傳感器120中的每 個像素可包括一組感測元件，其中每個感測元件對光182的N個光譜分量中相應的一個敏 感。此外，成像設備110的實施方式可包括多個圖像傳感器120，每個傳感器被配置成感測 光182的N個光譜分量中相應的一個。對于這個實施方式，光學器件150可包括例如二色 性棱鏡(dichoric prism)布置(未顯示)，以分離光182的不同光譜分量。在任何情況下， 成像設備110可具有特征光譜響應函數Ι η( λ )，n = 1、. . . N，用于感測光182的N個光譜 分量。(見例如，圖4)。N個光譜分量的波長可相應于限定成像設備的色域(color gamut)的原色。在某些情況下，成像設備的分別相應于N個被檢測的光譜分量的特征光譜響應函 數^^入)，!!=〗、..^中的兩個或多個可能實質上是交疊的。在系統100中，成像設備110可操作地耦合到輔助照明設備140。后者可操作來 使用光142照亮第二場景照明中的場景180，其中光142具有光譜分布，對于該光譜分布至 少一些限定信息(qualifying information)(例如，波長和/或相對強度)是可用的(以 下稱為“已知的光譜分布”)。例如，輔助照明設備140可提供以一個或多個波長Xk，k = 1>...K的實質上單色的光142，用于照亮場景180。單色的光例如可以是被過濾的光、衍射 光柵分離的光、或者激光。可選擇地或額外地，光142可包括有其他光譜分布形狀的光。圖 2顯示光142的示例性光譜分布，其通過使用寬帶的、窄帶的、和基于CIE的濾光片組(146) 形成。系統100的組件(例如，成像設備110和輔助照明設備140)的操作可以由可選的 控制電路(例如，控制器160)來控制或協調。此外，系統100中可選的處理電路(例如，數 據處理器170)可被配置成接收、存儲、修正和/或處理與系統100的組件及其操作相關的 數據和/或信號，包括例如，由圖像傳感器120所感測的圖像或場景數據，以及關于由輔助 照明設備140提供的第二場景照明的數據。控制電路和/或處理電路的元件或部分可布置 在任何系統100的組件(例如，成像設備110和輔助照明設備140)上，布置在一個或多個 外部的或遠程的位置上，或者分布在系統100的組件和外部位置之間。在系統100的一個實施方式中，成像設備110被配置成感測光182的光譜分量，光 182從第一場景照明和第二場景照明下的場景180接收。此外，在這個實施方式中，處理電 路可被配置成響應于與從第一和第二場景照明下的場景180所接收到的光182的被感測的 光譜分量相對應的信號和/或數據、成像設備的特征光譜響應函數、以及由輔助照明設備 所提供的光的已知的光譜分布。處理電路可被配置成處理實時(live)成像設備數據，或者 可選擇地在稍后的時間處理這類數據(例如，批量處理這類數據)。處理電路的響應例如可包括至少部分地基于在第一場景照明下的被感測光譜分 量來計算與場景180的SPD相對應的信號和/或數據；以及至少部分地基于在第二場景照 明下的被感測光譜分量中的額外光譜信息來計算與被校正或被修正的SPD相對應的信號 和/或數據。處理電路可將被計算的數據和/或信號存儲、顯示、或傳輸到其他的處理器或用 戶。被計算的SPD數據和/或信號可被利用以產生場景的再現或視覺彩色圖像。 關于各種場景照明，輔助照明設備140可以是可操作的，使得在第二場景照明中 的具有已知光譜分布的光被添加到第一場景照明的光。可選擇地，在第二場景照明中，具有 已知光譜分布的光可代替第一場景照明的光。一般地說，系統100可被配置使得多個場景 照明中的第一個包括環境光和/或由可選的照明單元130所提供的人工光，并且輔助照明 設備140可被配置使得多個場景照明中的第一個額外地包括具有已知光譜分布的光以及 多個場景照明中的第二個僅包括具有已知光譜分布的光。 輔助照明設備140可包括任何適合數量或類型的光源(例如，固態照明(SSL)、發 光二極管(LED)、激光器、氣體放電燈、白熾燈、熒光燈、高強度放電(HID)燈、氣體放電燈、 弧光燈、以及燃燒燈)。合適的濾光片組合件可以被部署以形成或選擇被發射光的光譜分 布，并且將光指向到場景180。光源可包括一個或多個實質上單色的光源。示例性的輔助照明設備140包括以一個或多個波長λ k，k = 1、... K發射光的一個或多個光源的陣列，其可 分別相應于一個或多個不同的色彩1 、6、8、￥、(、見..。應當注意的是，在一些方法中，兩個 或多個光源可相應于給定的“色彩”。例如，在一些方法中，輔助照明可包括兩個或多個綠色 光源和/或兩個或多個藍色光源，或者任何其他的光源組合。每個相應于給定色彩的光源 可以具有不同于相應于給定色彩的一個或多個其他光源的光譜分布的光譜分布。例如，兩 個或多個綠色光源中的第一個可具有不同于兩個或多個綠色光源中的第二個的線中心頻 率(line center frequency)。相類似地，兩個或多個綠色光源中的第一個可具有不同于兩 個或多個綠色光源中的第二個的頻率寬度或頻率范圍。此外，輔助照明設備140可以有選擇地包括光學器件，其被配置成形輔助光，或者 朝著場景定向輔助光。示例性的輔助照明設備140包括自適應的光學器件(例如，透鏡或 微透鏡的陣列144)，其耦合到一個或多個光源。自適應的光學器件可被配置成將具有已知 的光譜分布的光指向到場景的至少一部分上。而且，自適應的光學器件可根據所選擇的分 布(例如，空間分布)，來分布來自輔助照明設備140的輔助光。例如，在一個方法中，自適 應的光學器件可將輔助照明實質上均勻地分布在一部分視域上，或者可在一部分視域上提 供強度梯度。另外地，自適應的光學器件可以在照明上不同，例如，對控制電路和/或處理 電路作出反應。例如，在第一場景照明期間，自適應的光學器件可提供均勻的分布，并且在 第二場景照明期間，自適應的光學器件可提供非均勻的(例如，高斯式的、梯度式的、在線 一離線式的)或者相類似的照明，這響應于控制電路和/或處理電路的信號或命令。在一些方法中，自適應的光學器件可根據輔助照明的光譜含量提供不同的響應。 例如，自適應的光學器件可以在輔助照明的第一周期(例如，紅光波長)期間提供輔助照明 的第一分布，并且在輔助照明的第二周期(例如，藍光波長)期間提供輔助照明的第二分 布。在自適應的光學器件是波長選擇性的情況下，輔助照明關于第一波長的分布可能不同 于輔助照明關于第二波長的分布，甚至是在共同的照明周期期間。輔助照明的不同的分布 不必限制于不同的“色”帶。例如，波長選擇性的光學器件可提供輔助照明關于第一綠光波 長的第一分布，以及輔助照明關于第二綠光波長的第二分布。這種窄帶光學器件可包括窄 帶濾光片、衍射元件、或者其他的波長選擇性結構或設備。繼續參考圖1-3，成像設備110可被配置成檢測有限數量M個光譜分量，其相應于 成像設備的色域的M個原色分量。成像設備110可包括一個或多個成像像素，每個成像像 素被配置成檢測有限數量M個光譜分量中的至少一個，所述M個光譜分量相應于成像設備 的色域的M個原分量。例如，成像像素可被配置成檢測三個光譜分量中的一個，所述三個 光譜分量相應于成像設備的色域的附加的紅、綠、和藍的原色分量或者減去的藍綠、品紅、 以及黃的原色分量。在圖像傳感器120耦合到空間彩色濾光片陣列的情況下，每個圖像傳感器120像 素僅感測通過濾光片陣列被經過到達該像素的特定光譜分量。對于這些情況，處理電路可 被配置成通過相鄰像素數據的空間插值來計算關于像素的附加的“固有(native) ”色彩值。 出于這個目的，可運用任何合適的色彩插值算法。處理電路可進一步配置成使用通過關于 在第一場景照明下所接收到的光的N個被檢測的光譜分量的像素值的空間插值所得到的 固有色彩值，以便提供在第一場景照明下的場景的固有色彩再現，并且根據在第二場景照 明下所接收到的光的被檢測的光譜分量的值來進一步修正該固有色彩再現。可選擇地，處理電路可被配置成修正關于在第一場景照明下所接收到的光的N個被檢測的光譜分量的 像素值，這根據從第二場景照明下的場景傳送的光的被檢測的光譜分量的值。處理電路可 被進一步配置成計算場景的固有色彩再現，這例如基于從第一場景照明下的場景傳送的光 的被檢測的光譜分量的所修正的值的空間插值。對于所有的固有色彩再現的情況(例如，基于隨后進行修正的插值方法，或反之 亦然)，處理電路可被進一步配置成將預定的色彩校正程序應用到固有色彩再現，以產生場 景的被校正的色彩再現。預定的色彩校正程序可基于成像設備的光學器件(例如，透鏡和 濾光片)的特征。圖3顯示一種裝置300，其用于修正由成像設備(例如，設備310)所獲得的場景的 光譜響應的表示。裝置300可包括輔助照明設備(例如，輔助照明設備140)和/或數據處 理電路370(例如，數據和/或信號處理器170)。裝置300還可包括控制單元360，其耦合 到輔助設備和/或數據處理電路370。輔助照明設備可以是可操作的，以利用具有光譜分布 的光142照亮場景，對于其來說，至少一些限定信息是可用的(例如，“已知的光譜分布”)。控制單元360可被配置成建立由輔助照明設備所提供的不同類型的場景照明，以 及相應數量的不同組的、要由成像設備來檢測的光的光譜分量，用于再現特定場景的彩色 圖像。控制單元360可被配置成響應環境光強度、返回光的特征、場景距離、和/或控制信 號中的至少一個，來確定不同類型的場景照明及其順序，用于再現特定場景的彩色圖像。不 同的場景照明中的第一個可包括環境光和/或由可選的第一照明設備所提供的人工光，并 且不同的場景照明中的第二個可用具有已知的光譜分布的光來代替環境光和/或人工光， 或者可以額外地包括具有已知的光譜分布的光。一種裝置，其可與成像設備一起使用以得到場景的彩色圖像，或者修正場景對于 光的被檢測的光譜功率分布響應，該裝置包括輔助照明設備，其可操作來使用具有已知的 光譜分布的光來照亮場景。所述裝置可額外地或可選擇地包括處理電路，以再現場景的彩 色圖像，或者產生指示場景對于光的被修正的光譜功率分布響應的信號。處理電路可對從 在相應的多個場景照明下的場景所接收到的光的多組光譜分量作出反應，所述場景照明包 括使用具有已知的光譜分布的光的至少一個照明。處理電路可再現場景的彩色圖像，或者 修正場景的光譜功率分布響應，其至少部分地基于從兩個不同場景照明下的場景所接收到 的光的光譜分量，所述兩個不同場景照明包括使用具有已知的光譜分布的光的一個場景照 明。數據處理電路370可包括接口 380，用于接收光的被檢測的光譜分量的值和來自 成像設備和輔助照明設備的其他數據和/或信號。數據處理電路370可被配置成響應于表 示輔助照明設備的數據、表示相應于由成像設備所檢測的N個光譜分量的特征光譜響應函 數Ι η( λ )，n = 1、. . . N的數據、以及表示不同照明下的場景的光響應的數據，所述不同照明 中的至少一個包括具有已知的光譜分布的光，以產生指示場景的被修正的光譜響應表示的 數據和/或信號。此外，數據處理電路370可被配置成通過處理從相應的多個場景照明下的場景所 接收到的光的多組光譜分量，再現場景的彩色圖像。這些組可包括至少第一組和第二組，它 們分別相應于包括具有未知的光譜分布的光和已知的光譜分布的光的第一場景照明和第 二場景照明。場景被再現的彩色圖像可能至少部分地基于從第一和第二場景照明下的場景所接收到的光的被檢測的光譜分量；成像設備的特征光譜響應函數R(X)；以及在第二 場景照明中的光的已知的光譜分布。此外，數據處理電路370可被配置成基于從第一場景照明下的場景所接收到的光 的被檢測的光譜分量的空間插值，來計算在空間維度中場景的色彩再現(例如，固有的色 彩再現)，并且至少部分地基于與第二場景照明相對應的光的第二組光譜分量的值來修正 該再現。數據處理電路370可以被可選擇地或額外地配置成至少部分地根據與第二場景 照明相對應的光的第二組光譜分量來修正與第一場景照明相對應的光的第一組光譜分量 的值，并且基于所修正的值，例如通過該所修正的值的空間插值，來計算在空間維度中場景 的色彩再現。另外，數據處理電路370可被配置成將預定的色彩校正程序應用到場景的色彩再 現(例如，固有的或被修正的再現)，以產生場景的被校正的色彩再現。預定的色彩校正程 序可基于成像設備的光學器件。數據處理電路370也可被配置成至少部分地基于從第一和第二場景照明下的場 景所接收到的光的被檢測的光譜分量、成像設備的特征光譜響應函數R( λ )、以及第二場景 照明中的光的已知的光譜分布，來估算在第一場景照明中具有未知的光譜分布的光的光譜 分布；并且至少部分地基于從第一場景照明下的場景所接收到的光的被檢測的光譜分量、 在第一場景照明中這種光的被估算的光譜分布、以及成像設備的特征光譜響應函數R(入)， 來進一步計算場景的色彩再現(例如，固有的色彩再現)。用于改進場景的再現或彩色圖像的方法可利用關于通過使用具有已知的光譜分 布的光照亮場景產生的場景SPD的額外信息。圖6-8示出示例性的方法600、700和800，其 利用關于通過使用具有已知的光譜分布的光照亮場景產生的場景SPD的額外信息來改進 彩色圖像或場景再現。用于修正在第一場景照明下所得到的場景的再現或第一彩色圖像的方法，其包括 檢測在第二場景照明下場景對于具有已知的光譜功率分布的光的光譜響應，并且根據場景 的被檢測光譜響應來修正第一彩色圖像。圖6顯示用于改進彩色圖像或場景再現的示例性方法600，所述彩色圖像或場景 再現可以已經在第一場景照明下得到。第一場景照明例如可包括了具有已知的光譜功率分 布的光。彩色圖像或再現可基于如由成像傳感器所檢測的、從場景接收到的光的有限數量 的光譜分量的值，所述成像傳感器具有用于檢測有限數量的光譜分量中的每一個的特征光 譜響應函數。第一場景照明可包括環境光和/或人工光。方法600包括在第二場景照明中，使用具有已知的光譜功率分布的光分量來照亮 場景的至少一部分(610)；檢測從這種照明下的場景所接收到的光的有限數量的光譜分量 (620)；以及根據從這種照明下的場景所接收到的光的有限數量的光譜分量的被檢測值來 修正場景的再現或彩色圖像，使得場景的再現或第一彩色圖像被改進(630)。被修正的圖像 或場景再現可基于從第一場景照明下的場景所接收到的光的被檢測的光譜分量的所修正 的值的空間插值。具有已知的光譜功率分布的光分量可包括以一個或多個波長λ k的實質上單色的 光，其中k = 1、... K。自適應的光學器件可被用來將光分量指向到場景的一部分上，該部分例如可能相應于成像設備的一個或多個像素。方法600可包括將具有已知的光譜功率分布的光分量添加到第一場景照明或者 其他場景照明，在第一場景照明下已得到未被修正的彩色圖像。方法600還可包括在第三或更多照明下，用具有已知的光譜功率分布的相同或其 他的光分量來照亮場景的相同的部分或其他的部分(612)；檢測由在第三或更多場景照明 下的場景所傳送的光的有限數量的光譜分量的值(620)；以及根據從一個或多個這種照明 下的場景所接收到的光的有限數量的光譜分量的被檢測值來修正場景的再現或彩色圖像 (630)。場景照明的數量和順序可以被預先確定，或者在方法600中建立，這基于對例如彩 色圖像質量以及光源、成像裝置和計算資源的可用性的考慮。例如通過考慮被迭代地修正 的彩色圖像的質量，照明的數量和順序可被迭代地確定。圖6顯示在方法600中可選的過 程602，用于建立不同類型的場景照明、場景照明的順序、以及要由成像設備檢測的光的相 應數量的不同組光譜分量，用于再現特定場景的被改進的彩色圖像。該過程可包括響應于 環境光強度、返回光特征、場景距離、成像設備的光學器件、或者控制信號中的至少一個來 建立不同類型的場景照明。方法600還可包括將預定的色彩校正程序應用到場景的再現或被修正的彩色圖 像，以產生場景的被校正的彩色再現。預定的彩色校正程序可基于對成像設備的光學器件 的考慮。此外，方法600還可包括將由成像設備檢測的光的光譜分量的值傳送至數據處理 設備，并且在該數據處理設備處處理光的光譜分量的值以生成場景的再現或被改進的彩色 圖像。該處理可包括處理實時成像設備數據，或者在稍后的時間處理這種數據(例如，批量 處理這種數據)。該數據處理設備可以在成像設備處或者在遠程位置處。用于響應于控制信號或命令信號來再現場景的彩色圖像的方法，其可包括處理從 在相應的多個場景照明下的場景所接收到的光的多組光譜分量，并且至少部分地基于從兩 個場景照明下的場景所接收到的光的光譜分量來再現場景的彩色圖像，所述兩個場景照明 中的至少一個包括具有已知的光譜分布的光。圖7顯示用于再現場景的彩色圖像的示例性 方法700。方法700包括響應于控制信號來處理從相應的多個場景照明下的場景所接收到 的光的多組光譜分量的值(710)。控制信號可響應于環境光強度、返回光特征、成像設備的 光學器件、或成像設備到場景的距離中的至少一個來生成。多組值可包括與第一場景照明 相應的至少第一組以及與第二場景照明相應的至少第二組，該第二場景照明包括具有已知 的光譜分布的光。從場景所接收到的光的每組光譜分量的值可能已由成像設備檢測到，所 述成像設備具有用于檢測這種光譜分量的特征光譜響應函數。方法700還包括至少部分地基于從第一和第二場景照明下的場景所接收到的光 的被檢測的光譜分量、成像設備的特征光譜響應函數、以及在第二場景照明中的光的已知 的光譜分布，來再現場景的彩色圖像(720)。在方法700中，再現彩色圖像(720)可包括以空間維度再現場景的第一彩色圖像， 這基于從第一場景照明下的場景所接收到的光的被檢測的光譜分量的空間插值。此外，再 現彩色圖像(720)可包括至少根據與第二場景照明相對應的光的第二組光譜分量的值來 修正與第一場景照明相對應的光的第一組光譜分量的值，和/或基于從第一場景照明下的場景所接收到的光的被檢測的光譜分量的所修正的值來計算場景的固有的彩色再現。額外地或可選擇地，在方法700中，再現彩色圖像(720)可包括至少部分地基于從 第一場景照明下的場景所接收到的光的被檢測的光譜分量以及成像設備的特征光譜響應 函數，來估算在第一場景照明中的光的光譜分布，并且還包括至少部分地基于從第二場景 照明下的場景接收到的光的被檢測的光譜分量、成像設備的特征光譜響應函數、以及第二 場景照明中的光的已知的光譜分布，來修正被估算的光譜分布。此外，方法700可包括至少 部分地基于修正的被估算的光譜分布來計算場景的固有的彩色再現。與方法600類似，方法700還包括將預定的色彩校正程序應用到彩色圖像(例如， 固有的或被修正的彩色圖像)以產生被校正的彩色圖像。此外，與方法600中類似，在方法 700中，處理多組值(710)可能至少部分地發生在成像設備處和/或發生在關于成像設備的 遠程位置處。此外，處理多組值(710)可包括處理實時成像設備數據和/或在稍后的時間 處理這種數據。用于在成像設備“正用來”成像場景的同時調整該成像設備的特征光譜響應函數 的方法，其可包括記錄對于使用具有已知的光譜功率分布的光分量照亮場景的至少一部分 的成像設備的光譜響應，并且根據所記錄的光譜響應來調整使用中的成像設備的特征光譜 響應函數。方法800包括，在第二場景照明中，使用具有已知的光譜功率分布的至少一個光 分量照亮場景的至少一部分(810)。具有已知的光譜功率分布的光分量可以是例如以一個 或多個波長Xk的實質上單色的光，其中k= 1、... K。第二場景照明可以先于第一場景照 明，接在第一場景照明后面，添加到第一場景照明，或者修正第一場景照明。方法800還包 括記錄成像設備對于從第二場景照明下的場景所接收到的光的光譜響應(820)，以及根據 成像設備對于從第二場景照明下的場景所接收到的光的被記錄的光譜響應來調整成像設 備的特征光譜響應函數(830)。在方法800中，調整成像設備的特征光譜響應函數(830)可包括根據在第二場景 照明下由成像設備所檢測到的光譜分量的值，來修正在第一場景照明下由成像設備所檢測 到的光譜分量的值。可選擇地或額外地，調整成像設備的特征光譜響應函數(830)可包括 基于在第一場景照明下由成像設備所檢測到的光譜分量的值來再現場景的第一圖像，并且 至少部分地根據在第二場景照明下由成像設備所檢測到的光譜分量的值來修正第一圖像。與方法700類似，可以啟動方法800來響應于控制信號，所述控制信號例如響應于 環境光強度、返回光特征、成像設備的光學器件、或者成像設備到場景的距離中的至少一個 被生成。此外，類似于方法600和700，方法800可被至少部分地實現在成像設備上和/或 關于成像設備的遠程位置上，并且可以包括處理實時成像設備數據和/或在稍后的時間處 理這種數據。通過框圖、流程圖、和/或例子的使用，之前的詳細描述已經闡明了設備和/或過 程的各種實施方式。在這些框圖、流程圖、和/或例子的范圍內包含一個或多個功能和/或 操作，本領域中的技術人員將會理解的是，通過在大范圍內的硬件、軟件、固件、或者其幾乎 任意組合，在這些框圖、流程圖、或例子中的每個功能和/或操作能夠被獨立地和/或共同 地實現。在一個實施方式中，此處所描述的主題的若干部分可以通過專用集成電路(ASIC)、 現場可編程門陣列(FPGA)、數字信號處理器(DSP)、或者其他的集成形式來實現。然而，在
13本領域中的技術人員將認識到，此處所公開的實施方式的一些方面能夠全部地或部分地作 為在一個或多個計算機上運行的一個或多個計算機程序(例如，作為一個或多個計算機系 統上運行的一個或多個程序)，作為在一個或多個處理器上運行的一個或多個程序(例如， 作為在一個或多個微處理器上運行的一個或多個程序)，作為固件，或者作為其幾乎任意組 合，在集成電路中被等效實現，并且根據本公開，本領域中的技術人員將能夠很好地設計電 路和/或編寫用于軟件和/或固件的代碼。此外，本領域中的技術人員將明白的是，此處 所描述的主題的機制能夠作為程序產品以各種形式進行發布，并且無論實際被用來進行發 布的是何種特定類型的信號承載介質，此處所描述的主題的示意性實施方式都能應用。信 號承載介質的例子包括但不限于以下介質可讀類型的介質，比如軟盤、硬盤驅動器、光盤 (CD)、數字視頻光盤(DVD)、數字磁帶、計算機存儲器，等等；以及傳輸類型的介質，比如數 字的和/或模擬的通信介質(例如，光纖電纜、波導、有線通信鏈路、無線通信鏈路(例如， 發射器、接收器、傳輸邏輯、接收邏輯，等等)，等等)。此外，本領域中的技術人員將認識到的是，此處所描述的設備和/或過程的至少 一部分能夠被集成到圖像處理系統中。本領域中的技術人員將認識到的是，一般的圖像處 理系統通常包括一個或多個系統單元外殼、視頻顯示設備、存儲器比如易失性或非易失性 的存儲器、處理器比如微處理器或數字信號處理器、計算實體比如操作系統、驅動器、應用 程序、一個或多個相互作用設備(例如，觸摸板、觸摸屏、天線，等等)、包括反饋回路和控制 電動機(例如，用于感測透鏡位置和/或速度的反饋；用于移動透鏡/使透鏡扭曲以給出所 需焦點的控制電動機)的控制系統。利用適合的商用部件，比如那些一般出現在數字靜止 系統和/或數字運動系統中的商用部件，圖像處理系統可被實現。雖然此處已公開了各個方面和實施方式，然而其他的方面和實施方式對于本領域 中的技術人員將是明顯的。此處所公開的各個方面和實施方式是出于說明的目的而無意于 限制，真實范圍和精神由以下權利要求指明。
權利要求
1.一種用于修正在第一場景照明下得到的場景的再現或第一彩色圖像的方法，所述方 法包括在第二場景照明中，使用具有已知的光譜功率分布的光來照亮所述場景的至少一部分；檢測在所述第二場景照明下所述場景對于所述具有已知的光譜功率分布的光的光譜 響應；以及根據在所述第二場景照明下所述場景對于所述具有已知的光譜功率分布的光的被檢 測的光譜響應，修正所述第一彩色圖像。
2.如權利要求1所述的方法，其中檢測所述場景的光譜響應包括使用一設備檢測光的 有限數量的光譜分量，所述設備具有分別用于檢測所述有限數量的光譜分量的特征光譜響 應函數。
3.如權利要求1所述的方法，其中使用具有已知的光譜功率分布的光來照亮所述場景 的至少一部分包括使用以一個或多個波長Ak的實質上單色的光照明，其中k= U. ..K0
4.如權利要求1所述的方法，其中使用具有已知的光譜功率分布的光來照亮所述場景 的至少一部分還包括使用自適應的光學器件，以將光指向到所述場景的部分上。
5.如權利要求1所述的方法，還包括在第三或更多的場景照明中，使用具有已知的光譜功率分布的光來照亮所述場景中的 相同部分或其他部分；檢測在第三或更多的場景照明下所述場景對于所述具有已知的光譜功率分布的光的 光譜響應；以及根據在第三或更多的場景照明下所述場景對于所述具有已知的光譜功率分布的光的 被檢測的光譜響應，修正所述第一彩色圖像。
6.如權利要求5所述的方法，還包括建立不同類型的場景照明，用于修正場景的再現 或所述第一彩色圖像。
7.如權利要求6所述的方法，其中建立不同類型的場景照明包括響應于環境光強度、 返回光特征、場景距離、成像設備的光學器件、或者控制信號中的至少一個，來建立不同類 型的場景照明。
8.如權利要求1所述的方法，其中所述場景的再現或所述第一彩色圖像基于從所述第 一場景照明下的所述場景接收到的光的被檢測的光譜分量的空間插值，并且修正所述第一 彩色圖像包括修正從所述第一場景照明下的所述場景接收到的光的所述被檢測的光譜分 量的值，以及對所修正的值進行空間插值計算。
9.如權利要求8所述的方法，還包括，將預定的色彩校正程序應用到被空間插值計算 的所修正的值，其中所述預定的色彩校正程序基于成像設備的光學器件。
10.如權利要求1所述的方法，還包括將所述場景對于所述光的被檢測的光譜響應傳輸至數據處理設備；以及在所述數據處理設備處，根據所述場景對于所述光的所述被檢測的光譜響應來修正所 述第一彩色圖像。
11.一種用于再現場景的彩色圖像的方法，所述方法包括響應于控制信號，處理從相應的多個場景照明下的場景接收到的光的多組光譜分量，所述多組光譜分量至少包括與第一場景照明相對應的第一組光譜分量，和與使用具有已知 的光譜分布的光的第二場景照明相對應的第二組光譜分量；以及至少部分地基于從所述第一場景照明和所述第二場景照明下的所述場景接收到的光 的所述光譜分量、以及在所述第二場景照明中的光的所述已知的光譜分布，來再現所述場 景的彩色圖像。
12.如權利要求11所述的方法，其中從所述場景接收到的光的每組光譜分量由成像設 備檢測，所述成像設備具有用于檢測這些光譜分量的特征光譜響應函數，并且其中再現所 述場景的彩色圖像包括，至少部分地基于從所述第一場景照明和所述第二場景照明下的所 述場景接收到的光的所述光譜分量、在所述第二場景照明中的光的所述已知的光譜分布、 以及所述成像設備的特征光譜響應函數，來再現所述場景的彩色圖像。
13.如權利要求11所述的方法，還包括，基于從所述第一場景照明下的場景接收到的 光的所述光譜分量的空間插值，來再現所述場景的第一彩色圖像。
14.如權利要求11所述的方法，還包括，至少根據與所述第二場景照明相對應的光的 所述第二組光譜分量的值，來修正與所述第一場景照明相對應的光的所述第一組光譜分量 的值。
15.如權利要求14所述的方法，還包括，基于與所述第一場景照明相對應的光的所述 第一組光譜分量的所修正的值的空間插值，來計算所述場景的固有色彩再現。
16.如權利要求15所述的方法，還包括，將預定的色彩校正程序應用到所述場景的固 有色彩再現，以產生所述場景的被校正的色彩再現，其中所述預定的色彩校正程序基于成 像設備的光學器件。
17.如權利要求11所述的方法，其中再現所述場景的彩色圖像包括，至少部分地基于 從所述第一場景照明下的場景接收到的光的所述光譜分量，來估算在所述第一場景照明中 的光的光譜分布。
18.如權利要求17所述的方法，還包括，至少部分地基于從所述第二場景照明下的場 景接收到的光的所述光譜分量、以及在所述第二場景照明中的光的所述已知的光譜分布， 來修正在所述第一場景照明中的光的被估算的光譜分布。
19.如權利要求18所述的方法，還包括，至少部分地基于在所述第一場景照明中的光 的所修正的被估算的光譜分布，來計算所述場景的色彩再現。
20.如權利要求11所述的方法，其中處理從所述場景接收到的光的多組光譜分量包括 至少部分地在關于成像設備的遠程位置上處理所述多組，所述成像設備被用來獲得從所述 場景接收到的光的所述多組光譜分量。
21.如權利要求11所述的方法，其中處理從所述場景接收到的光的多組光譜分量包括 至少部分地在成像設備上處理多組值，所述成像設備被用來獲得從所述場景接收到的光的 所述多組光譜分量。
22.如權利要求11所述的方法，其中處理從所述場景接收到的光的多組光譜分量包 括，批量處理成像設備數據。
23.如權利要求11所述的方法，還包括，基于環境光強度、返回光特征、成像設備的光 學器件、或者場景距離中的至少一個，生成所述控制信號。
24.一種用于調整數字成像設備的特征光譜響應函數的方法，所述數字成像設備用來成像在第一場景照明下的場景，所述方法包括在第二場景照明中，使用具有已知的光譜功率分布的光來照亮所述場景的至少一部分；感測所述成像設備對于從所述第二場景照明下的場景接收到的光的光譜響應；以及 根據所述成像設備對于從所述第二場景照明下的場景接收到的光的所述光譜響應，來 調整所述成像設備的特征光譜響應函數。
25.如權利要求M所述的方法，其中使用具有已知的光譜功率分布的光照亮所述場景 的至少一部分包括使用以一個或多個波長Xk的實質上單色的光照亮所述場景，其中k 一
26.如權利要求M所述的方法，其中調整所述成像設備的特征光譜響應函數包括根 據在所述第二場景照明下由所述成像設備所檢測到的所述光譜分量的值，來修正在所述第 一場景照明下由所述成像設備所檢測到的所述光譜分量的值。
27.如權利要求M所述的方法，其中調整所述成像設備的特征光譜響應函數包括基于在所述第一場景照明下由所述成像設備所檢測到的所述光譜分量的值，來再現所 述場景的第一圖像；以及至少部分地根據在所述第二場景照明下由所述成像設備所檢測到的所述光譜分量的 值，來修正所述第一圖像。
28.如權利要求M所述的方法，其中調整所述成像設備的特征光譜響應函數包括至 少部分地在關于所述成像設備的遠程位置上進行數據處理。
29.如權利要求M所述的方法，其中調整所述成像設備的特征光譜響應函數包括至 少部分地在所述成像設備上進行數據處理。
30.如權利要求M所述的方法，其中調整所述成像設備的特征光譜響應函數包括至 少部分地批量處理成像設備數據。
31.如權利要求M所述的方法，其中調整所述成像設備的特征光譜響應函數包括響 應于控制信號來調整所述特征光譜響應函數。
32.如權利要求31所述的方法，還包括，基于環境光強度、返回光特征、成像設備的光 學器件、或者場景距離中的至少一個，來生成所述控制信號。
全文摘要
提供了用于修正場景的彩色圖像的系統和方法。該系統和方法包括使用具有已知的光譜功率分布的光來照亮所述場景的至少一部分，以及檢測從這種照明下的場景接收到的光的有限數量的光譜分量。從場景接收到的光的光譜分量的被檢測的值被用來修正所述場景的再現或彩色圖像。
文檔編號H04N5/76GK102144389SQ200980134899
公開日2011年8月3日 申請日期2009年7月9日 優先權日2008年7月11日
發明者克拉倫斯·特格林, 內森·P·米佛德 申請人:希爾萊特有限責任公司