對距離改變不敏感的顏色傳感器的制作方法

專利名稱：對距離改變不敏感的顏色傳感器的制作方法
技術領域：
本主題說明書總體涉及固態傳感器，并且具體地涉及基于距離測量/確定的顔色確定/校正。
背景技術：
一種用于數字地捕獲圖像的裝置是如通常在數字照相機和其它成像裝置中使用的、將光學圖像轉換成電信號的圖像傳感器。典型的圖像傳感器包括電荷耦合器件(CCD)或互補金屬-氧化物-半導體(CMOS)有源-像素傳感器。CXD是模擬器件，當光照到包括圖像傳感器的各個光電傳感器(像素)時，接收到的光作為電荷保存在每個像素中。每個像素中的電荷被讀出，轉換成電壓，并且進一步轉換成數字信息，可以根據該數字信息產生數字圖像。對于CMOS傳感器，使用附加電路以將電壓轉換成數字數據。CCD和CMOS系統都利用多晶硅柵來操作，并且具有它們的優點和缺點。將CCD成像基底與CMOS讀取集成電路 (redout integrated circuit, R0IC)結合的科學級CMOS (sCMOS)、混合圖像傳感器是可用的。通過獲知顏色像素與對象之間的觀看距離，可將來自多個顏色像素的讀數與每個顔色像素的距離測量值一起編譯，從而產生3D圖像。顔色確定會受到顏色像素與所討論的對象的顔色之間的距離的影響。此外，距離對電磁譜的ー個特定部分的影響可以不同于關于電磁譜的另一部分的影響。例如，從紅光部分(例如，約650nm)得到的顏色讀數會比從藍光部分(例如，約475nm)得到的讀數更受到距離的影響。因此，對于圖像的顔色校正而言，對于從電磁譜的不同部分獲得的讀數，會要求使顔色校正的程度不同。

發明內容
下面公開了本說明書的簡化概要，以提供對本說明書的ー些方面的基本理解。該概要不是本說明書的詳盡綜述。其目的既不是表明本說明書的關鍵或重要要素，也不是敘述本說明書的范圍。其唯一目的是以簡化的形式公開本說明書的ー些構思，作為稍后公開的更詳細的描述的前序。通過這里提到的公開的方面，可以基于顏色感測裝置(例如，光電傳感器中的像素)與被觀看的對象之間的觀看距離對關于對象的著色的信息進行顏色校正。飛行時間(ToF)傳感器/像素與接收來自對象的光的像素(例如，顏色像素)相關聯。對在ToF傳感器接收到的電磁輻射執行相移分析，并且因此可以確定從ToF傳感器到對象的距離(以及相應地相關聯的顏色像素到對象的距離)。通過獲知從顏色像素到對象的距離，由顏色像素生成的顔色值可以被校正為根據所測量的距離的顔色值。實際上，顔色像素是基于所測量到的距離來校準的。用于ToF傳感器的輻射源可以是電磁輻射，其中，例如電磁輻射可以來自電磁輻射譜的紅外光部分或可見光部分。多個顏色像素和ToF像素布置是可用的。顏色像素和ToF像素可以并入同一圖像傳感器。芯片可以被制造為包括像素分組，其中產生像素以執行顏色感測(例如，紅、緑、藍(RGB))，并且其它像素是被產生為執行距離測量的ToF像素。替選地，可以制造多個芯片，從而許多芯片是顏色感測芯片，而其它芯片被制造為ToF傳感器。顏色感測芯片上的每個像素與ToF傳感器上的像素相關聯。在另一方面，顔色和距離感測部件可以與用于處理從顔色和距離感測部件接收到的讀數的裝置一起被結合在單個集成電路中。在ー個方面，可以使用共用輻射源，以生成顔色傳感器的照射以及允許由ToF傳感器執行距離測量。在另一方面，與用以照射對象且通過顏色像素進行顏色感測的輻射源相比，用以執行ToF測量的輻射源具有電磁譜的不同部分。以灰度操作并產生灰度圖像的ToF傳感器可以變為產生彩色圖像，從而可以使用濾色器并且包括ToF像素來執行這樣的改變，該濾色器限制入射到ToF傳感器上的輻射波長。在另一方面，可以使用單個LED來照射對象并且協助距離測量，例如，LED發射白光。在另一方面，可以使用多個LED,其中姆個LED發射特定波長的電磁福射。在又一方面，由多個LED生成的輻射可以被組合以產生具有多個波長的照射，例如紅光LED、藍光LED和 綠光LED被組合以形成白光照射。在ー個方面，可以通過使用提供顔色、距離和顔色校正之間的相互關系的查找表和/或算法來執行顏色像素的校準。以下的描述和附圖闡述了本說明書的某些示例性方面。然而，這些方面僅指示了可以使用本說明的原理的各種方式中的數個方式。當結合附圖考慮時，根據以下對本說明書的詳細描述，本說明書的其它優點和新穎特征將變得明顯。


圖I示出了根據ー個方面的、用于基于對象距離來確定顏色校正的系統。圖2示出了根據ー個方面的、使用電磁輻射來確定對象的位置的測量處理。圖3示出了根據ー個方面的、用于基于由相關聯的ToF傳感器提供的距離測量值來對圖像進行顏色校正的系統。圖4示出了根據ー個方面的、用于基于由相關聯的ToF傳感器提供的距離測量值來對圖像進行顏色校正的像素的布置。圖5示出了根據ー個方面的、用于基于由相關聯的ToF傳感器提供的距離測量值來對圖像進行顏色校正的像素和相關聯的ToF像素的布置。圖6示出了根據ー個方面的、用于基于由相關聯的ToF像素提供的距離測量值來對圖像進行顏色校正的多個顏色傳感器和相關聯的ToF像素的布置。圖7示出了根據ー個方面的、用于基于由相關聯的ToF像素提供的距離測量值來對圖像進行顏色校正的像素和相關聯的ToF像素的布置。圖8示出了根據ー個方面的、用于利用ToF傳感器進行顏色圖像生成的系統。圖9示出了根據ー個方面的、用于基于對象距離來確定顏色校正的系統。圖10示出了根據ー個方面的、用于基于對象距離來確定顏色校正的系統。圖11示出了根據ー個方面的、用于基于對象距離來確定顏色校正的示例性方法。圖12示出了根據ー個方面的、用于識別ToF像素是否不能操作的示例性方法。圖13示出了根據ー個方面的、用于使用ToF傳感器生成彩色圖像的示例性方法。
具體實施例方式現在，參考附圖描述要求權利的主題，在附圖中，始終使用相似的附圖標記來表示相似的元件。在以下描述中，出于說明的目的，闡述了大量具體細節，以提供對要求權利的主題的透徹理解。然而，顯然可以在沒有這些具體細節的情況下實現要求權利的主題。在其它示例中，以框圖形式示出公知結構和裝置，以便協助描述要求權利的主題。如在本申請中所使用的，術語“部件”、“模塊”、“系統”、“接ロ”等一般g在指代計算機相關的實體，硬件、硬件和軟件的組合、軟件、或者執行中的軟件。例如，部件可以是處理器上運行的處理、微處理器、微控制器、芯片、集成電路、對象、可執行文件、執行線程、程序、和/或計算機，但不限于此。通過說明的方式，控制器上運行的應用程序和該控制器均可以是部件。一個或更多個部件可以駐留在處理和/或執行線程內，并且部件可以在ー個計算機上本地化和/或分布于兩個或更多個計算機之間。作為另ー示例，接ロ可以包括I/o部件以及相關聯的處理器、應用、和/或API部件。

圖I示出了用于確定距對象的觀看距離以協助傳感器校準和顏色感測的系統100。圖像傳感器100包括飛行時間(ToF)傳感器110和顏色傳感器120。圖像傳感器100接收來自電磁譜的各個范圍的輻射，以協助ToF傳感器110和顏色傳感器120的操作。ToF輻射源140提供電磁能，以協助ToF傳感器110的操作，而輻射源150提供電磁能，以協助顏色傳感器120的操作。從源140和150發射出的電磁能從對象130反射，并分別由ToF傳感器110和顔色傳感器120捕獲。控制器160可以以個別方式或以部件結合的方式控制包括系統100的各部件(例如ToF傳感器110、顏色傳感器120等)的操作，由此使得能夠確定對象130與ToF傳感器110之間的距離d，并且能夠(按需要)校正對象130的接收顏色。基于距離d的測量值，控制器160可以關于顔色傳感器120的任意所需校準作出確定，并相應地作出對象130的接收顏色的“校正”。顏色傳感器120的這種自動校準，能夠消除對勞動密集型校準過程的需要，會要求勞動密集型校準過程以確保不由于傳感器至對象的距離而調整讀數的顔色傳感器的操作。此外，可以基于ToF傳感器110以及包括ToF傳感器110的任意ToF像素的刷新率來自動調整顔色傳感器120的觀看距離以及顔色傳感器120包括的任意像素。從顏色傳感器120和ToF傳感器110獲得的讀數可以被控制器160利用，以生成可轉發到外部裝置170的顔色校正輸出(例如圖像)。校正輸出可以包括各個像素的顔色信息和距離信息兩者，由此協助生成3D圖像。外部裝置170可以提供用于顯示圖像的裝置，其中該圖像根據接收自顏色傳感器120、接收自ToF傳感器110的信息以及受控制器160影響的任意顔色校正而生成。外部裝置170還可以包括用于數據處理的裝置，其中，可以將與顔色校正處理相關聯的信息(例如，由圖像傳感器100、ToF傳感器110、顔色傳感器120獲得的讀數等)提供給外部裝置，以用于后續處理。此外，考慮到系統100操作的環境條件，可以利用環境傳感器180獲得關于操作環境的信息。例如，環境傳感器180可以檢測到操作環境已受到大氣微粒(例如，煙霧)的負面影響，而輻射源150或ToF輻射源140的輸出要求例如通過控制器160進行相應調整。應理解，盡管將ToF傳感器110和顔色傳感器120示出為被并入到共用圖像傳感器100部件，然而本發明不限于此，其中可以將ToF傳感器110和顔色傳感器120結合以形成共用圖像傳感器110，或者ToF傳感器110和顔色傳感器120可以獨立操作。以下呈現這種組合/獨立的實施例。還應理解，盡管將包括系統100的各個部件示出為單獨裝置(例如圖像傳感器100、ToF傳感器110、顏色傳感器120、ToF輻射源140、輻射源150、控制器160、外部裝置170、以及存儲裝置910 (參見圖9)等)，然而，這里呈現的各個方面均不限于此，并且包括系統100的一個或更多個部件可以容納于共用外殼之內，例如，圖像傳感器100、ToF傳感器110、顏色傳感器120、ToF輻射源140、控制器160、以及存儲裝置710被集成于單個外殼或單個芯片、微控制器、集成電路等中。此外，盡管將外部裝置170示出為位于控制器160外部，然而，這兩個部件可以結合在共用外殼中，例如其中外部裝置170為顯示裝置，其協助顯示由控制器160和任意關聯部件生成的顔色校正圖像、顔色數據、距離數據等。應理解，盡管ToF輻射源140和輻射源150可以利用來自電磁譜不同部分的輻射，例如，ToF輻射源140利用IR輻射而輻射源150利用可見光，然而，對于此處呈現的各個方面，可以采用共用輻射。例如，ToF輻射源140和輻射源150均可以采用具有共用波長的輻射，諸如可見的紅光。如下面描述的，輻射源150可以采用紅色可見光來照射對象，而ToF輻 在另一方面，使用共用輻射源生成的圖像可以是單色的。此外，在另ー方面，ToF輻射源140和/或輻射源150可以包含同時操作的組合光(例如，將紅光、綠光和藍光LED組合以產生白光)，該組合光被調制并同時用于距離測量(例如經由ToF傳感器110)和顏色感測(例如，顔色傳感器120)。在又一方面，ToF輻射源140和/或輻射源150可以是激光器或用于發射電磁輻射的類似機制，其中ToF傳感器110和/或顏色傳感器120具有適當功能，以使用激光源進行各自的距離測量/圖像生成。出于理解本文提到的各個方面的目的，現在簡要描述ToF傳感器110的操作。針對距離測量領域的應用已經開發了 ToF傳感器110，以協助諸如對人、物體、障礙等的檢測以及測量位置、距離、尺度等的操作。如上所述，ToF傳感器110與ToF輻射源140相結合地操作。ToF輻射源140生成電磁譜的特定部分的輻射，并且可以基于輻射的波長來確定對象130距ToF輻射源140和ToF傳感器110的距離。在ー個方面，ToF輻射源140發射來自電磁譜的紅外(IR)部分的光。參考圖2，ToF技術基于確定從ToF輻射源140發射的信號與在ToF傳感器110處接收的、從對象130反射的信號之間的相移Δφ。根據確定的相移Δφ，可以確定對象130與ToF傳感器110之間的距離d。在參考等式A的情況下，d =距離，c =光速，fm =調制頻率(作為發射器的輻射功率的函數)，并且Δφ = arctan((A3-A1)/(A0-A2))，其中位置Α0、Α1、Α2和A3處于固定的持續時間。應理解，盡管圖2呈現了基于相移Δφ的確定的ToF技術，然而ToF技術的其它原理也是可用的，例如，發出相位并測量接收時間的相位測定。如前所述，ToF傳感器110和顔色傳感器120可以單獨操作或組合操作。呈現這樣的操作的各種實施例。在ー個方面，ToF傳感器110可以與顏色傳感器120結合在同一半導體芯片中。參考圖3，ToF像素可以與顏色傳感器像素結合，以形成具有距離測量功能的圖像傳感器310。像素聚束(例如四個像素320、330、340和350的組)中的每個像素可以被設計為執行特定任務。在圖3中，像素320、330和340被用于捕獲來自電磁譜的可見光部分的相應紅光(R)、綠光(G)、藍光(B)波長部分的光。像素350被用于操作為ToF傳感器。例如，在包括24 X 100像素的芯片中，該芯片可以被劃分為四個12X50像素的組，具有相應的R、G、B顏色感測和ToF確定功能。應理解，盡管圖3示出了具有RGB-d布置(其中d等效于ToF像素)的像素聚束，然而各個方面不限于此，由此可以利用任意像素聚束以協助由進行可見光捕獲的像素連同具有ToF能力的必要像素一起進行適當的圖像捕獲。圖4示出了包括像素420-450的圖像傳感器410，像素420-450具有六邊形輪廓并布置于蜂巢布局中，其中，像素420、430和440被用于捕獲來自電磁譜的可見光部分的相應紅光(R)、綠光(G)、藍光⑶波長部分的光。像素450被用于操作為ToF傳感器。圖5呈現了包括顏色傳感器510的系統500，顏色傳感器510與ToF傳感器520單獨構建，但是與ToF傳感器520相結合地操作。顏色傳感器510的像素被布置于BayerGRGB布局中，其中，每個像素聚束與相關聯的ToF傳感器像素相結合地操作。例如，可以基于從ToF傳感器中的ToF1獲得的距離測量值來對像素G1R1G1B1的聚束進行顔色校正，可以基于ToF2來對像素聚束G2R2G2B2進行顏色校正，而可以基于ToF3來對像素聚束G3R3G3B3進 行顏色校正，等等。此外，如圖5所示，ToF像素和顔色像素的尺寸不一定是相同尺寸，并且相應地，ToF像素和顔色像素不一定具有相同分辨率。對于圖像質量，通常包括顔色傳感器510的顏色像素越小越好，但是，假設ToF像素被用于校準顔色像素(以及來自顏色像素的讀數)，則相應的ToF像素的尺寸就沒有顔色像素那樣關鍵，這是因為，在實際的圖像構建和分辨率中，ToF像素可能不起作用。圖6的系統600呈現了多個顏色傳感器和ToF像素布置，其中，高分辨率顏色傳感器610包括多個顏色RGB像素620。高分辨率顏色傳感器610可以被耦合至低分辨率ToF芯片630。如圖6所示，低分辨率ToF芯片可以包括ー個或更多個ToF像素640。在ー個方面，高分辨率顏色傳感器610 (包括多個顏色RGB像素620)可以被耦合至包括單個ToF像素640的低分辨率ToF芯片630 (如圖6中的下側圖像所示)。在另一方面，高分辨率顏色傳感器610 (包括多個顏色RGB像素620)可以被耦合至包括多個ToF像素640的低分辨率ToF芯片630。如上側的兩個實施例(圖6的中間圖像和上側圖像)所示，高分辨率顏色傳感器610可以分散為顏色RGB像素620以及關于相關聯的ToF像素640進行的距離確定的群組。圖6所示的各個實施例適于測量大約平坦的表面的距離，并適于在低成本系統中得到應用。圖7呈現了包括顏色傳感器710的系統700，顏色傳感器710與ToF傳感器720單獨構建，但是與ToF傳感器720相結合地操作。顔色傳感器710的六邊形像素被布置于蜂巢布局中，其中，每個像素與相關聯的ToF傳感器像素相結合地操作。例如，可以基于從ToF傳感器中的ToFm獲得的距離測量值來對像素Rx進行顏色校正，其中Gx與ToFn相關聯，Gy與ToF0相關聯，等等。在替選方面中，可以采用跨越電磁譜的可見光部分操作的像素，而非使得像素操作于可見光電磁譜的特定部分(例如R、G或B)。替選地，可以采用灰度像素，其中像素與入射光的量相對應，例如隨著入射光的量増加，像素的輸出電壓就越大。此外，在另ー實施例中，可以將濾色器置于灰度像素之上，由此采用濾色器對電磁譜的各個部分進行濾波，同時允許特定波長、多個波長、或一定范圍的波長通過到下面的灰度像素。相應地，在輻射源150包括具有一定范圍的波長的電磁輻射(例如具有約390至750nm波長的可見光)的情況下，采用濾色器來減少照射顔色傳感器的光的波長，例如，濾色器是“綠光”濾色器，并允許具有約550nm波長的光通過到光傳感器。當前的ToF傳感器可以使用灰度像素進行操作。通過采用濾色器，能夠產生具有顏色感測能力的ToF傳感器，由此允許灰度ToF傳感器生成3D彩色圖像。圖8呈現系統800，系統800示出在ToF傳感器上采用了濾色器。灰度ToF傳感器810可被劃分為4個區域，第一區域用作ToF傳感器820并被用于確定從ToF傳感器820到對象(例如對象130)的距離D。灰度ToF傳感器810的第二、第三和第四區域可以分別被紅色濾色器830、綠色濾色器840或藍色濾色器850所覆蓋。可以利用白光源(例如產生白光的發光二極管(LED)860)照射對象130，各個濾色器(例如濾色器830、840、850)允許可見譜的特定部分被記錄在灰度ToF傳感器810的下面部分。利用(如通過ToF傳感器820來測量)已知的距離測量值，任意需要的傳感器校準/調整都基于該距離測量值，以及分別來自灰度ToF傳感器810的紅、綠和藍部分(例如830、840、850)的(需要的)校正顏色讀數，能夠編譯 (compile) 3D彩色圖像。此外，可以利用例如約20MHz的適于距離測量的調制來操作白光LED (例如LED860)，或者在替代實施例中，可以通過依次利用約20MHz頻率調制來照射的紅光、綠光和藍光LED 870來提供照射。 在另一方面中，ToF傳感器可以響應于電磁譜的可見部分中的ー個或多個波長，而非使ToF傳感器響應于具有紅外波長的電磁輻射。例如，參考圖1，ToF輻射源140可以發射來自可見譜的紅色部分(例如，具有約650nm波長的光)的光。紅光將會被響應于具有紅色波長的光的成像像素(例如顏色傳感器120)接收，而ToF傳感器110可以通過根據所接收到紅光的相移來確定對象130的位置而進行操作(如圖2所示)。在另ー實施例中，可以補償對象表面的變化效果。在對象表面并不平坦且未如通常那樣與圖像傳感器相垂直地定向的情況下，通過采用ToF傳感器確定觀看距離，可以按照測得的觀看距離來“校準”相關聯的顔色像素。如上所述，可以基于ToF傳感器測得的距離來校準顔色像素，并且可以按照校準調整來調整顏色傳感器作出的任意測量值。可以基于ToF傳感器的刷新率而自動調整顏色像素的觀看距離。應理解，盡管此處呈現的各個方面呈現了包括RGB布局和Bayer布局的顏色傳感器，然而，上述各個方面不限于此，而是可以利用任意適當的顔色傳感器布局。例如，可以進一步通過紅-綠-藍-青綠(red-green-blue-emerald, RGBE)、藍綠-黃-黃-品紅(cyan-yellow-yellow-magenta, CYYM)、藍綠 _ 黃-緑-品紅(cyan-yellow-green-magenta, CYGM)等來補充 RGB 布局和 Bayer 布局。現轉向圖9，示出了系統900，系統900包括先前討論的各個部件，包括ToF傳感器110和顔色傳感器120的圖像傳感器100、ToF輻射源140耦合至控制器160，而控制器160被進ー步耦合至外部裝置170，等等。此外，系統900包括存儲裝置910，存儲裝置910上存儲ー個或多個查找表920和/或算法930。查找表920可以提供距離測量值與顏色校正程度之間的相互關系，其中，要基于從ToF傳感器110接收的距離測量值來將該顏色校正程度施加于從顏色傳感器120接收的讀數。類似地，通過利用從ToF傳感器110接收的距離測量值的算法930，可以“校準”從顏色傳感器120接收的讀數。
圖10示出了描繪根據ー個方面的微控制器/集成電路的系統1000。系統1000包括微控制器/集成電路1010，在微控制器/集成電路1010上結合了處理單元1050以及圖像傳感器1020，圖像傳感器1020包括ToF傳感器1030和顏色傳感器1040。如之前描述的，并非多個部件被分開定位(例如，參照圖1，圖像傳感器100作為與控制器160分開的裝置而進行操作)，多個部件可以被結合在單個裝置上，例如，微控制器/集成電路1010。微控制器/集成電路1010可以被設計為使得包括ToF傳感器1030和顔色傳感器1040的圖像傳感器1020與相關聯的處理單元1050位于同一芯片上。應當理解，圖像傳感器1020、ToF傳感器1030、顔色傳感器1040以及處理單元1050與之前參照圖I描述的各個部件(圖像傳感器100、ToF傳感器110、顏色傳感器120和控制器160)具有相同的功能。此外，盡管未示出，應當理解ToF輻射源140、輻射源150、外部裝置170和/或環境傳感器180還可以被定位于微控制器/集成電路1010上。還應當理解到，ToF傳感器可以是顏色或灰度ToF傳感器。圖11示出了用于基于觀看距離來確定顏色校正的示例性方法1100。在1110處，從對象(例如，對象130)反射的光被包括一個或多個顏色傳感器(例如，圖像傳感器100、 710、1010，以及顏色傳感器120、310、410、510和610等)的一個或多個顏色像素(例如，顏色像素 320-340、420-440，G1R1G1B1、RX_ZGX_ZBX、1040 等)所捕獲。在1120處，每個顏色像素具有相關聯的ToF像素(例如，ToF像素350、450、ToF1、T0Fm_n、1030等)，ToF像素包括一個或多個傳感器(例如，圖像傳感器100和傳感器310、410,520和620)。在ToF像素處接收到從對象反射的電磁輻射。在1130處，(例如，通過控制器160、處理單元1050等)確定從特定ToF像素到接收到ToF輻射的對象表面的距離。在ー個方面中，ToF傳感器基于從輻射源發送到對象的發射輻射與在ToF像素處接收到的作為從對象反射的輻射之間的相移來確定距離。可以確定高達360°的相移，其中360°代表一個輻射波長，180°等于1/2波長等。相應地，通過知道相移，可以計算波長部分并且可以確定相對于波長部分的距離。為了達到精確確定，從顔色像素到對象的距離應當約等于ToF像素到對象的相應距離(或者已知的距離比率，例如，I : 1，1 : 2，1 : 5等)，其中，ToF像素被用于確定特定顔色像素到對象的距離。實際上，ToF像素被用于確定從顏色像素到對象的相應距離以有助于顏色像素的校準。在1140處，基于所確定的ToF像素和對象之間的距離、以及相應的與ToF像素相關聯的顔色像素的相應距離，可以(例如通過控制器160)根據所確定的距離來校正顔色像素獲得的顏色讀數。可以采用任意的適當方法來執行顏色校正。適當的方法是，但不限干，采用查找表(例如，查找表920)，該查找表包括顏色讀數、對象到像素的距離、以及基于對象到像素距離的校正因數之間的相互關系。替選地，可以使用輸入顏色讀數和相關聯的距離測量值的算法(例如算法930)，確定校正因數并生成校正顏色值。在1150處，可以輸出一個或多個顏色校正值。顏色校正值可以被輸出到例如用于呈現的外部裝置(例如，外部裝置170)，其中外部裝置包括用于顯示的裝置并且顏色校正圖像可以被顯示在這個用于顯示的裝置上。替選地，外部裝置可以包括視覺顯示裝置(諸如打印機)并且可以以硬格式生成顔色校正圖像。此外，外部裝置可以包括用于數據處理的其他裝置，其中與顏色校正處理相關聯的信息(例如，顏色像素320-340、420-440、G1R1G1B1, RX_ZGX_ZBX、1040 等獲得的讀數；圖像傳感器 100、ToF 傳感器 110、310、410、520、620和710獲得的讀數；如查找表820和/或算法830生成的顏色校正值；用于生成顏色校正值的查找表820和/或算法830 ；ToF輻射源140的操作設置；輻射源150的操作設置，等等)可以被提供給外部裝置用于后續處理。應當理解，盡管方法1100示出了作為在1120 (其中在ー個或多個ToF像素處接收輻射)以及1130(基于ToF數據確定對象距離)的操作之前的操作，通過ー個或多個顏色像素捕獲從對象(例如對象130)反射的光的處理1110，但是本文提出的各種方面不限于此，可以在通過顏色像素捕獲光以及隨后執行的顏色校正的操作1140之前執行確定對象距離的操作。還應當理解到，盡管方法1100公開了基于對相移的確定來確定對象到傳感器的距離，但是也可以使用ToF技術的其他原理，例如脈沖測定，在脈沖測定中，發出脈沖并測量接收時間。圖12示出了用于顏色感測像素的校正操作的示例性方法1200，其中相關聯的ToF 素是錯誤的或不能操作的。在1210處，在對包括圖像傳感器(例如，圖像傳感器100、1020，以及顏色傳感器120、310、410、510、610、710、810、1040等)的ー個或多個顏色感測像素(例如，顏色像素320-340、420-440 ,G1R1G1B1、RX_ZGX_ZBX等)進行校準期間，從與ー個或多個顏色感測像素關聯的ToF像素獲得不可信的距離測量值或未獲得測量值。如之前描述的，基于從與顔色像素關聯的ToF像素接收到的距離測量值來校準顏色感測像素。然而，可能出現ToF像素未正確工作的情況。在ー個方面中，可以對來自兩個或更多個ToF像素的距離讀數進行比較以確定是否特定ToF像素正在生成正確輸出。例如，兩個相鄰的ToF像素可能產生完全不同的讀數，例如，第一 ToF像素(例如，圖5，ToF1)指示對象是7m遠，而第二 ToF像素(例如，圖5，ToF2)指示對象為I. 5m遠。已知，對象具有平坦表面并且與ToF傳感器的視線垂直地對準。相應地，通過比較來自這兩個ToF像素的距離值，可以通過比較相鄰ToF像素(例如，圖5，ToF3或ToF4)的讀數來確定哪個ToF像素是錯誤的。替選地，在嘗試確定顏色感測像素要被校準的程度期間，在(例如，通過控制器160)執行校準確定期間，從與顏色感測像素關聯的ToF像素獲得不到讀數。基于上述內容，認為ToF像素或者正在提供錯誤值或者是不能操作的。在1220處，做出確定以識別能夠提供在校準主顔色像素時采用的讀數的替代ToF像素。在ToF像素為不能操作的/錯誤的(例如，圖5，ToF1為不能操作的)ー個方面中，從正在正確操作的相鄰ToF像素(例如，圖5，ToF2, ToF3或ToF4)獲取讀數。在1230處，(例如，通過控制器160、處理單元1050)確定從替代ToF像素到對象表面的距離。在1240處，替代距離測量值被應用于顏色感測像素。例如，當根據與從主顏色感測像素獲得的顏色讀數相關聯的查找表(例如，查找表920)來確定校正值時，參考替代距離測量值。在另一例子中，當應用校準算法(例如算法930)以校準從主顏色感測像素獲得的顔色讀數時，可以使用替代距離測量值。在1250處，輸出用于主顏色感測像素的顏色校正(例如，校準)值。圖1300示出了用于從灰度ToF傳感器生成顏色校正圖像的示例性方法1300。在1310處，灰度ToF傳感器(例如，ToF傳感器810)被劃分為用于執行觀看距離確定和顏色感測的各個部分。用于觀看距離確定的ToF傳感器可以僅在電磁譜的紅外部分中工作(如之前討論的)。此外，如上面討論的，ToF傳感器可以僅產生灰度3D圖像。然而，通過采用濾色器和適當的照射，可以產生3D彩色圖像。為了有助于距離測量，ToF傳感器的一部分被保持為用于測量距離的像素區域(例如，ToF-d 820)。ToF傳感器的其他部分可以被覆蓋有濾色器(例如，ToF紅色濾色器830、ToF綠色濾色器840、ToF藍色濾色器850)以允許可見光的期望部分穿過下面的ToF傳感器像素陣列。在1320處,照射對象(例如,對象130)。通過任意適當的照射源(例如,ToF福射源140、輻射源150)來協助照射，其中這樣的照射源可以是LED器件、激光器等。LED器件可以包括發射橫跨電磁譜的可見部分的光的單個LED (例如，LED 860)，其中該LED器件可以通過適合于ToF確定的頻率調制(例如，約20MHz)來進行操作。在可替換的實施例中，LED器件可以包括多個LED，其中每個LED發射來自電磁譜的不同部分的光(例如，紅光LED870、綠光LED 870、藍光LED 870)。多個LED可以依次地利用距離測量所需的頻率調制(例如，約20MHz)來操作。在1330處，基于從被用于協助距離測量的ToF傳感器的部分獲得的測量值來確定對象的距離。 在1340處，基于所確定的對象距離，對用于接收從對象反射的光并從而產生對象的3D圖像的ToF傳感器的各個部分進行校準。根據針對ToF傳感器的每個顏色感測部分確定的校準值，調整從每個顏色感測部分接收到的實際測量值。應當理解到，ー個顏色感測區域所需要的校準程度可能不等于另ー個顏色感測區域所需要的校準程度。例如，當在同一距離上給出紅光讀數和綠光讀數時，校正紅光讀數所需要的顔色校正程度可能大于藍光讀數所需要的顔色校正程度。在1350處，可以組合并輸出一個或多個顏色校正值。從ToF傳感器的紅光感側部分、綠光感測部分和藍光感測部分中的每個感測部分獲得的值可以被組合，以產生彩色圖像。由于各個讀數都伴隨有距離測量值，因而可以產生3D彩色圖像。顔色校正值可以被輸出到用于呈現、打印、其他數據處理等的外部裝置(例如，外部裝置170)。為了簡化闡述，根據本文公開的各個方面來實現的方法被示出和描述為一系列的塊。然而，應當明白和理解到，本文公開的各個方面不局限于塊的順序，這是因為，根據本文的描繪和描述，一些塊可以按不同順序進行，和/或這些塊可以與其他塊同時進行。而且，實現上面描述的方面不需要示出的全部塊。此外，還應當理解到，說明書中通篇公開的方法能夠被存儲在制品上以協助將這樣的方法傳輸和轉移到計算機。所使用的術語“制品”旨在涵蓋可以從任意計算機可讀裝置、載體或介質訪問的計算機程序。已關于多個部件之間的交互來描述了前述系統。應當理解到，這樣的系統和部件可以包括本文指明的那些部件或子部件、指明的部件或子部件中的ー些、和/或附加部件。子部件還可以被實現為通信地耦合至其他部件的部件，而不是被包括在母部件之內。此外，應當注意到，一個或多個部件可能被結合為提供聚合的功能的單個部件。這些部件還可能與本文未具體描述而本領與技術人員已知的一個或多個其他部件交互。此外，利用標準的編程和/或工程技術以生產軟件、固件、硬件或其任意組合從而控制用于實現所公開的各個方面的計算機，本文呈現的各個方面可以被實現為方法、設備、或制品。本文使用的術語“制品” g在涵蓋可從計算機可讀裝置、載體或介質訪問的計算機程序。例如，計算機可讀介質可以包括但不限于磁存儲裝置(例如，硬盤、軟盤、磁帶......)、光盤(例如，壓縮盤(CD)、數字多功能盤(DVD))、智能卡以及閃存裝置(例如，
卡、棒、鍵驅動器(key drive))。附加地，應當理解到，載波可被用于承載計算機可讀電子數據，諸如在發送和接收電子郵件或者訪問諸如互聯網或局域網(LAN)時使用的那些計算機可讀電子數據。當然，本領域技術人員將認識到，在不背離要求保護的主題的范圍或精神的情況下可以對該配置進行許多修改。而且，詞語“示例性”在本文中用于表示例子、實例、或圖示。本文被描述為“示例性”的任意方面或設計不一定被理解為相比于其他方面或設計是優選的或有利的。相反，使用詞語“示例性” _在以具體方式公開思想。本申請中所使用的術語“或” g在表示相容的“或”而非排他的“或”。即，除非另外指明，或從上下文中明顯看出，否則“X采用A或B”旨在表示自然相容的排列中的任ー個。即，如果X采用A ；X采用B ;或X采用A和B，則在前述實例中的任ー個的情況下，均滿足“X采用A或B”。此外，本申請和所附權利要求中使用的冠詞“a (—個)”和“an (—個)”應當被一般地理解為表示“一個或多個”，除非另外指明或從上下文中明顯看出其g在単數形式。

上面描述的包括本說明書的例子。當然，不可能為了描述本說明書而描述部件或方法的能想到的每種組合，但是本領域技術人員可以認識到本說明書的許多其他組合和置換是可能的。相應地，本說明書g在涵蓋落入所附權利要求的精神和范圍的所有這些替換、修改和變化。此外，在詳細描述或權利要求中使用的術語“包含”的范圍內，這樣的術語以類似于術語“包括”在被用作權利要求中的過渡詞時所解釋的方式g在相客。
權利要求
1.一種校準圖像像素的系統，包括 第一像素，其接收來自對象的第一電磁輻射，并基于所接收到的第一電磁輻射來生成第一輸出； 第二像素，其接收來自所述對象的第二電磁輻射，并基于所接收到的第二電磁輻射來生成第二輸出；以及 控制器，其接收所述第一輸出和所述第二輸出，確定從所述第二像素到所述對象的距離，并且基于所確定的距離來調整所述第一輸出。
2.根據權利要求I所述的系統，其中所述第二像素是飛行時間ToF像素。
3.根據權利要求I所述的系統，其中所述第一電磁輻射來自電磁譜的可見部分。
4.根據權利要求I所述的系統，其中所述第二電磁輻射來自電磁譜的紅外IR部分。
5.根據權利要求I所述的系統，還包括向所述對象發射第三電磁輻射的輻射源。
6.根據權利要求5所述的系統，其中所述控制器通過比較所發射的第三電磁輻射與所接收到的第二電磁輻射之間的相移來確定所述距離。
7.根據權利要求I所述的系統，還包括組合所述第一輸出與來自至少一個另外像素的經調整的輸出以生成數字輸出。
8.根據權利要求I所述的系統，其中所述第一像素和所述第二像素是根據組合的飛行時間ToF像素而產生的。
9.根據權利要求I所述的系統，其中所述第一像素和所述第二像素位于單個半導體上。
10.根據權利要求I所述的系統，其中所述第一像素和所述第二像素位于完全不同的半導體上。
11.一種用于校準圖像像素的方法，包括 接收從對象反射的第一電磁輻射； 基于所接收到的第一電磁輻射來生成第一信號； 接收從所述對象反射的第二電磁輻射； 基于所接收到的第二電磁輻射來生成第二信號； 基于所述第二信號來確定距離；以及 基于所確定的距離來校準所述第一信號。
12.根據權利要求11所述的方法，其中所述第一電磁輻射來自電磁譜的可見部分。
13.根據權利要求11所述的方法，其中所述第二電磁輻射來自電磁譜的紅外IR部分。
14.根據權利要求11所述的方法，其中所述第一電磁輻射和所述第二電磁輻射來自電磁譜的同一部分。
15.根據權利要求11所述的方法，還包括向所述對象發射第三電磁輻射。
16.根據權利要求15所述的方法，還包括通過比較所述第三電磁輻射與所述第二電磁輻射之間的相移來確定所述距離。
17.一種校準圖像像素的系統，包括 用于接收從對象反射的第一電磁輻射的裝置； 用于基于所接收到的第一電磁輻射來生成第一信號的裝置； 用于接收從所述對象反射的第二電磁輻射的裝置；用于基于所接收到的第二電磁輻射來生成第二信號的裝置； 用于基于所述第二信號來確定距離的裝置；以及 用于基于所確定的距離來校準所述第一信號的裝置。
18.根據權利要求17所述的系統，其中用于接收所述第一電磁輻射的裝置是顏色感測像素。
19.根據權利要求17所述的系統，其中用于接收所述第二電磁輻射的裝置是飛行時間ToF傳感器。
20.根據權利要求17所述的系統，其中所述距離確定是基于比較從所述對象反射的所述第二電磁輻射與向所述對象發射的第三電磁輻射的相移的。
全文摘要
本發明涉及一種對距離改變不敏感的顏色傳感器。公開了一種用于基于顏色感測像素與對象之間的距離來校準顏色感測像素的系統。通過測量從對象表面反射的電磁輻射相比于入射到對象表面上的電磁輻射的波剖面的相移來確定距離。顏色感測像素與飛行時間(ToF)像素相關聯，使用飛行時間像素確定顏色感測像素的距離。電磁輻射可以來自電磁譜的任何部分，特別是電磁譜的紅外部分和可見部分。顏色感測像素和ToF像素可以位于同一半導體或者完全不同的半導體上。
文檔編號H04N5/341GK102685402SQ20111035315
公開日2012年9月19日 申請日期2011年11月3日 優先權日2010年11月3日
發明者克雷格·馬丁·布羅克曼, 卡爾·曼赫茨, 埃利克·I·富克斯, 曼弗雷德·諾貝特·斯坦, 理查德·加萊拉, 羅貝特·M·布萊克, 蘇雷什·奈爾, 里頓·貝爾納, 馬丁·哈德格 申請人:洛克威爾自動控制技術股份有限公司, 賽德斯安全與自動化公司