專利名稱：圖像處理方法、圖像處理設備和圖像捕捉設備的制作方法
技術領域：
本發明涉及一種圖像處理方法，圖像處理設備和圖像捕捉設備。
背景技術：
近年來， 一直存在提供諸如用作車輛的倒車監視器(back monitor)等廣 角圖像捕捉設備的需求。然而，隨著角度變得更寬，倍率色像差或失真也會隨 之增大。結果，^b^設計出一種具有小像差的光學系統。出于這個原因，需要 通過組合圖像處理與圖像捕捉操作以提高性能。
作為使用具有特定倍率色像差或失真的光學系統的圖像捕捉設備中的現 有像差校正技術，提供了一種對R (紅色)、G (綠色)、B (藍色)信號應用 坐標變換的方法，其中R(紅色)、G(綠色)、B(藍色)信號是利用諸如CCD 或CMOS傳感器等圖像捕捉設備所獲取的，并且在后續階段對于每個RGB顏 色分量獨立地執行上述變換，從而同時校正倍率色像差和失真；或者提供了一 種方法，其中忽略了倍率色像差，通過對所有的RBG顏色分量應用坐標變換 而只校正失真(例如，參見JP-A-2006-345054 )。
在對每個RGB顏色分量獨立地執行上述變換以同時校正倍率色像差和失 真的現有方法中，對于每個RGB顏色分量需要例如SRAM或多端口存儲器的 具有大容量和隨機訪問時小等待時間的存儲器。然而，特別是在高分辨率需要 大容量的情況下，大容量SRAM或具有多端口的存儲器非常貴，相應地，設 備的價格已經非常高。
同時，對每個RGB顏色分量應用共同坐標變換/人而只校正失真的方法要 求大容量存儲器并且可以使用DRAM等，其中在DRAM等中一個芯片或組件 的價格很低，但是如果在廣角幾乎不忽略倍率色像差則不可用DRAM等。
盡管在所有的RGB顏色分量中失真是均勻的，但顏色分量中的倍率色像 差不同。進一步地，倍率色像差比失真小。因此，優選地分開校正倍率色像差 和失真。同時，對于倍率色像差的校正通常需要用于每個顏色分量的獨立的校正電 路，為了降低成本可能需要在最小電路規模上校正倍率色像差。
發明內容
根據本發明的一方面，提供了一種圖像處理方法，用于處理通過使用具有 廣角和大倍率色像差的光學系統捕捉到的圖像，其中通過不對特定顏色分量的 圖像進行坐標變換而只對除了特定顏色分量之外的顏色分量的圖像進行坐標 變換來進行倍率色像差校正。
根據本發明的另一方面，提供了一種圖像處理設備，用于處理通過使用具 有廣角和大倍率色像差的光學系統捕捉到的圖像，該圖像處理設備包括倍率色 像差校正設備，該倍率色像差校正設備用于通過不對特定顏色分量的圖像進行 坐標變換而只對除了特定顏色分量之外的顏色分量的圖像進行坐標變換來進 行倍率色像差校正。
根據本發明的再一方面，提供了一種圖像捕捉設備，包括具有廣角并且 至少具有大倍率色像差的光學系統；圖像捕捉元件，用于讀取通過光學系統捕 捉到的圖像；以及如上所述的圖像處理設備。
圖1是說明根據本發明一個例子的圖像捕捉設備的全局功能的框圖； 圖2A、 2B和2C是說明分別用于G信號、R信號和B信號的拜耳格式彩 色濾波器的圖3是說明MTF校正部的配置的示意圖4是說明FIR濾波器的一個例子的圖5是說明倍率色像差和失真的圖6是說明同時校正倍率色像差和失真的圖7A和圖7B是說明分別校正倍率色像差和失真的圖8是說明倍率色像差校正部的配置的一個例子的圖9是說明示出了倍率色像差校正-坐標變換操作部的配置的第一例子的
圖IO是說明示出了倍率色像差校正-坐標變換操作部的配置的第二例子的
圖；圖ll是說明示出了倍率色像差校正-坐標變換操作部的配置的第三例子的
圖12是說明示出了倍率色像差校正-坐標變換操作部的配置的第四例子的
圖13是說明示出了倍率色像差校正-坐標變換操作部的配置的第五例子的
圖14是說明示出了倍率色像差校正-坐標變換操作部的配置的第六例子的 圖；和
圖15是說明失真4交正部的配置的一個例子的圖。
具體實施例方式
下面將描述本發明的至少 一 個實施例。
本發明的實施例涉及用于處理通過具有廣角和大倍率色像差的光學系統 捕捉的圖像的圖像處理方法、圖像處理設備和圖像捕捉設備，并且特別涉及用 于校正捕捉到的圖像的倍率色像差的技術。
發明人構思了提供能夠在最小電路規模上校正倍率色像差而不降低校正 性能的圖像處理方法和圖像處理設備。
發明人也構思了在最小電路規模上安裝用于進行倍率色像差校正的圖係_ 處理設備以提供低成本圖像捕捉設備。
在本發明的一個實施例中，通過使用具有廣角和大倍率色像差的光學系統 來捕捉圖像，并通過不對特定顏色分量的圖像進行坐標變換而只對除了特定顏 色分量之外的顏色分量的圖像進行坐標變換來進行倍率色像差校正。這里，例
如，特定顏色分量可以是綠色(G)和除了紅色(R)和藍色(B)之外的顏色
分量。因此，特定顏色分量不需要校正電路，從而可以減小電路規模。
進一步地，基于特定顏色分量的圖像的坐標可以獲取校正量，并且可以基 于校正量對除了特定顏色分量之外的顏色分量的圖像進行坐標變換。因此，可 以進一步地減小電路規;漠。此外，可以通過進一步地用坐標值乘以預定增益來 調節除了特定顏色分量之外的顏色分量的圖像。因此，可以調節倍率色像差的 不對稱位移。
進一步地，在本發明的一個實施例中，可以通過進一步地獲得對每個顏色分量共同的失真的校正量并分別將失真的校正量加到每個顏色分量的圖像的 坐標值上來同時進行倍率色像差校正和失真校正，并且可以在倍率色像差校正 后對每個顏色分量分開進行共同的失真校正。因此，可以處理使用具有大倍率 色像差和失真的光學系統捕捉到的圖像。
由于根據本發明實施例的圖像處理方法和圖像處理設備，可以在最小電路 規模執行倍率色像差校正。因此，由于根據本發明實施例的圖像捕捉設備，可 以進行進一 步的成本縮減。
接下來，參考附圖描述本發明的一個實施例。該實施例是使用具有廣角和 大倍率色像差的光學系統來捕捉對象的圖像的圖像捕捉設備，其中圖像處理系 統具有不但校正倍率色像差而且校正失真的配置，然而，該實施例的一個特征
的光學系統捕捉的圖像是必要的。進一步地，圖像的顏色分量是根據加法三原
色的紅色(R)、綠色(G)和藍色(B)，然而，也可以是4艮據減法三原色的黃 色(Y)、紅紫色(M)和藍綠色(C)。
圖1是說明應用了本發明一個實施例的圖像捕捉設備中的圖像處理系統 的功能的框圖。圖像捕捉設備還包括在圖1中省略的操控部、圖像存儲部、圖 像顯示部等。圖像捕捉設備用作例如車載相機，當然，其用途并不限于此。
在圖1中，控制部100向設備中的每個部提供所需的控制信號(時鐘、水 平/垂直同步信號等)，從而按照流水線方式控制每個部的操作。
圖像捕捉元件110由例如用來將使用具有廣角和大倍率色像差和失真(圖 未示)的光學系統捕捉到的光學圖像轉換為電信號(圖像數據)的CCD、 CMOS 傳感器等組成。圖像捕捉元件110具有拜耳格式彩色濾波器，并基于從控制部 100提供的坐標值(x, y)順序地輸出拜耳格式的RGB圖像數據。進一步地， 通過使用預定時間偏差，控制部100將提供給圖像捕^l足元件110的坐標值(x， y)順序地提供到后續階段。此外，當輸入時鐘和水平/垂直同步信號時，可以 在圖像捕捉元件110中生成坐標值(x, y)，并且從圖像捕捉元件110將這些 坐標值順序地提供給后續階段。
A/D轉換器120將作為從圖像捕捉元件110輸出的模擬信號的拜耳格式的 RGB圖像數據轉換成數字信號，并且將所得到的數字信號發送到拜耳補充(Bayer complementary )部130。例如，對于每個RGB，凄丈字4言號可以由8比 特來表示。通常，在A/D轉換器120之前的階段設置有AGC電路，但是在這 里省略了 AGC電路。
拜耳補充部130接收已被轉換成數字信號的拜耳格式的RGB圖像數據， 然后通過線性補充對每個RGB顏色獨立地生成所有坐標位置的圖像數據(像 素數據)，隨后將圖像數據發送到倍率色像差校正部140。
圖2A、 2B和圖2C說明了拜耳格式彩色濾波器。Go從如下的等式中得到。
<formula>formula see original document page 8</formula>
進一步，R2、 R4、 R 、 R8、 Ro從如下的等式中得到。<formula>formula see original document page 8</formula>
B2、 B4、 B6、 Bs和Bo與上述R2、 Rj、 Re、 Rg和Ro的情況是相同的，因 此不再進一步描述。
此外，盡管在本例中已經描述了具有拜耳格式的彩色濾波器的圖像捕捉元 件，然而，具有諸如CMYG陣列或RGB+Ir (紅外)格式的另一種彩色濾波器 格式的圖像捕捉元件也是有效的。因此與具有例如RGB類型的三種顏色類型 相比，對于在具有四種顏色的濾波器格式的圖像捕捉元件中的倍率色像差校正 需要具有更低等待時間或4端口 RAM的存儲器。
倍率色像差校正部140接收已經經過了拜耳補充后的RGB圖像數據的輸 入，然后通過^f吏用預定多項式等對每種RGB顏色分量獨立地應用坐標變換(倍 率色像差坐標變換)，并輸出經過了倍率色像差校正后的RGB圖像數據。下面 將詳細描述倍率色像差校正部140,對于倍率色像差校正的坐標信息，倍率色 像差校正部140可以使用具有低容量和低等待時間的存儲器或具有低容量和 多端口的存儲器(例如SRAM)。進一步，可以通過應用該例子縮小坐標變換 操作部的電路規模。
MTF校正部150接收經過了倍率色像差校正后的RGB圖像數據的輸入，并利用FIR濾波器對RGB圖像數據執行MTF校正處理，從而輸出經過了 MTF
校正后(增強的高頻率)的RGB圖像數據。
圖3是說明MTF校正部150的配置的示意圖。轉換部152基于下列公式
將RGB圖像數據轉換成YCbCr像素數據。
Y=0.299R+0.587G+0.114B (7)
Cr=0.500R —0.419G —0.081B (8)
Cb= - 0.169R - 0.332G+0.500B (9)
FIR濾波器(5x5濾波器)154僅接收YCbCr信號當中的Y亮度信號的
輸入，并且進行預定的MTF校正處理。通過只對Y信號執行濾波(MTF校正)，
可以獲得顏色噪聲的放大被抑制的高質量圖像。圖4說明了 FIR濾波器系數的
一個例子。
逆轉換部156接收CbCr信號和經過了 MTF校正后的Y信號的輸入，基 于下列公式對上述信號進行逆轉換，然后輸出RGB圖像數據。 R=Y+1.402Cr (10) G=Y - 0.714Cr - 0.344Cb (11) B=Y+1.772Cb (12) 失真校正部160接收經過了倍率色像差校正和MTF才交正后的RGB圖傳_ 數據的輸入，然后使用預定的多項式對RGB中的每一種顏色分量執行相同的 坐標變換(失真坐標變換)，并且輸出經過了失真校正后的RGB圖像數據。對 于失真校正部160中的坐標變換，盡管存儲器容量(最多對于1個圖像)比用 于倍率色像差校正的存儲器的容量大，但是由于只需要l個端口，因此可以使 用具有高等待時間的存儲器(例如DRAM)。下面將會詳細地描述失真校正部 160。
伽馬校正部170接收從失真校正部160輸出的RGB圖傳_數據的輸入，通 過使用為RGB中的每一個所提供的查詢表等應用預定的伽馬校正，并且輸出 經過了伽馬校正后的RGB圖像數據。從伽馬校正部170輸出的圖像數據被發 送到顯示部(圖中未示出)并在監視器上顯示出來。
盡管上面描述了圖1中說明的實施例的全局操作，下面將會詳細描述倍率 色像差校正部140和失真校正部160。首先，將描述倍率色像差校正和失真校正的原理。
圖5示意性地示出了 ，當使用具有倍率色像差和失真的光學系統進行成像 時，由于失真造成在屏幕的右上角處由l表示的位置(像素)處的圖像數據(像 素數據)從原始位置處被移位，并且由于倍率色像差造成RGB中的每個顏色 分量都被不同地移動，從而由圖像捕捉元件成像的RGB的位置實際上分別是 位置2 (R)、 3 (G)、以及4 (B)。通過將位置(像素)2 (R)、 3 (G)、以及 4(B)處的RGB中的每個顏色分量的圖像數據復制到作為原始位置的位置(像 素)l處，即通過執行坐標變換，可校正倍率色像差和失真。這里，位置2、 3、 4被稱為坐標變換之后的坐標，而位置1被稱為坐標變換之前的坐標。
由于可以從光學系統的設計數據已知失真的程度和倍率色像差的程度，因 此可以計算出RGB中的每個顏色分量將會從原始位置被移動到的位置。
圖6示意性地說明了同時校正倍率色像差和失真的方法。即，通過將位置 (像素)2 (R)、 3 (G)、以及4 (B)處的每個顏色分量RGB的圖像數據復 制，即對其執行坐標變換，到作為原始位置的位置(像素)l處，可同時校正 倍率色像差和失真。然而，上述方法需要對于RGB中的每一種顏色分量都具 有大容量的存儲器，和^[氐等待時間或多個端口的存儲器。例如，在圖6的情況 下，對于RGB中的每一種顏色分量而言都需要使用高速六行存儲器以執行坐 標變換。進一步，對于RGB中的每一種顏色分量，可能需要坐標變換操作電 路或坐標變換表(LUT)。
圖7A和圖7B示意性地說明了分開地校正倍率色像差(圖7A)和失真(圖 7B)的方法。顏色分量的倍率色像差彼此不同，但是由此導致的位移小。另 一方面，失真導致的位移大，但是對于每種顏色分量是相等的。由于注意到該 情況，RGB中的各種顏色分量的圖像數據都要經過坐標變換以校正倍率色像 差，隨后，經過倍率色像差校正后的所有RGB圖像數據都要進行坐標變換， 從而校正失真。因此，可將用于坐標變換的存儲器分為對RGB執行倍率色像 差校正所需的、小容量并且高速(低等待時間或多個端口)的存儲器，以及對 RGB執行失真校正通常所需的、大容量并且^^速(高等待時間或單個端口 ) 的存儲器，從而可以降低整體成本。
進一步，由于倍率色像差的緣故，R和B顏色分量通常會以G顏色分量為中心而^皮此幾乎對稱地位移。因此，可通過只對R和B顏色分量執行坐標 變換并將它們復制到G分量的位置處而實現倍率色像差校正。因此，只有R 和B顏色分量需要用于倍率色像差校正的坐標變換操作電路或坐標變換表 (LUT),從而進一步降低整體成本。
圖7A示意性說明了倍率色像差校正，其中對位置(像素)2(R)和4(B) 處的R和B顏色分量的圖像數據執行坐標變換，將這些分量復制到G分量的 位置(像素)3 (G)處。通過上述操作校正倍率色像差。圖7B示意性地說明 了失真校正，其中對經過了倍率色像差校正后的并且位于位置(像素)3 (G) 處的R、 G、 B顏色分量的所有圖像數據進行坐標變換，并將R、 G、 B顏色 分量的圖像數據復制到作為原始位置的位置(像素)l處。通過上述操作校正 失真。
在圖7A和圖7B所示的示例中，用于每個RGB的三行存儲器可滿足用于 倍率色像差校正的高速存儲器。此外，盡管失真校正需要五行存儲器，但RGB 共用的低速存儲器也可滿足需要，從而與圖6所示的情況相比較，可降低整體 成本。進一步，只有R和B顏色分量需要使用用于倍率色像差校正的坐標變 換算術電路或坐標變換表(LUT),從而可進一步P爭低整體成本。
此外，這里所謂的失真表示關于期望的投影(projection )方式的透鏡失真， 其中，期望的投影方式可例如是用來通過相機獲取從頂部觀察到的圖像的投影 方式，并且包括放大和部分顯示的投影方式。
圖8是說明倍率色像差校正部140的一個例子的圖。
提供了用于倍率色像差校正的坐標變換存儲器(行緩沖器)142，其顏 色分量分別對應于142 (R)、 142 (G)和142 (B);倍率色像差校正-坐標變 換操作部144，用于根據預定坐標變換公式對RGB中的每一種(實際上僅對R 和G)計算用于倍率色像差校正的坐標變換；以及，坐標變換系數表146，用 于保存在坐標變換公式中使用的系數。
對于倍率色像差校正操作，需要小容量但包括用于RGB的三個端口的存 儲器、或是具有低等待時間的存儲器來作為行緩沖器(line buffer )。這里，假 定由于倍率色像差引起的最大位移量是Y方向上的20行，各個坐標變換存儲 器142 (R)、 142 (G)、 142 (B)都是由20行的SRAM組成。基于分辨率來確定X方向上的大小，例如，對于分辨率VGA (640x480)，則X方向上的 大小是640點。當色彩深度對于RGB中的每個都是8比特時，則以8比特為 單位將數據寫入任意坐標變換存儲器142 (R)、 142 (G)、 142(B)，或是以8 比特為單位從任意坐標變換存儲器142 (R)、 142 (G)、 142 (B)中讀取數據。 由于用于倍率色像差校正的坐標變換存儲器(行緩沖器)142 (R)、 142
(G)、 142 (B)具有小的容量，因此期望提供一種配置使得在圖像捕捉設備 的圖像處理芯片中安裝的3端口的SRAM用于確保具有20行的每個存儲區。 此外，在諸如SRAM的低等待時間的存儲器的情況下，通過分時共享存儲器， 一個端口的存儲器可用作三個端口的存儲器。
根據坐標值(x, y)，從第一行開始將捕捉到的、具有倍率色像差和失真 的圖像中的RGB圖像數據分別順序地寫入坐標變換存儲器142(R)、 142(G)、 142(B)中。然后，每當寫入了 20行的圖像數據時，從第一行開始順序地擦 除圖像數據，并且作為替換，新寫入后續行的圖像數據。因而，將倍率色像差 校正坐標變換所需的最大20行的RGB圖像數據分別順序地存儲到坐標變換存 儲器142(R)、 142 (G)、 142(B)當中。
這里，坐標值(x, y)表示讀取捕捉到的圖像的一幀的位置。同時，由于 坐標變換存儲器142 (R)、 142 (G)、 142 (B)都是20行的行緩沖器，并且 寫入行循環地改變，因此坐標值(x, y)不能直接地被用作坐標變換存儲器 142 (R)、 142 (G)、 142 (B)的寫入地址。因此，需要將坐標值(x， y)轉 換成坐標變換存儲器142 (R)、 142 (G)、 142 (B)的實際地址，其中在圖8 中省略了該配置。這同樣適用于在以下描述的讀取操作中的變換后的坐標值
(X， Y)與坐標變換存儲器142 (R)、 142 (G)、 142 (B)的讀取地址之間 的關系。
倍率色像差校正-坐標變換操作部144接收作為坐標變換之前的坐標的坐 標值(x， y)的輸入，然后根據諸如多項式的預定的坐標變換公式對RGB中 的每一種計算為倍率色像差校正而變換的坐標，并且輸出坐標值(X, Y)，作 為RGB中的每一種的坐標變換之后的坐標。如圖7A所示，用于倍率色像差 校正的坐標變換只應用于R和B顏色分量，從而將它們復制到G顏色分量的 位置處。因此，對于G顏色分量，倍率色像差校正-坐標變換操作部144將輸入的坐標值(x, y)直接作為變換后的坐標值(X， Y)輸出，對于R和B顏 色分量中的每一種，倍率色像差校正-坐標變換操作部144使用預定的坐標變 換公式將輸入坐標值(x， y)變換成坐標值(X， Y),從而輸出變換后的坐標 值(X， Y)。對于各組坐標值(x, y)，重復地扭j亍該才喿作。
這里，當屏幕的中心是原點時，可以將坐標變換公式表示為例如
X=x+[a(l)+a(2) x abs(x)+a(3) x abs(y)+a(4) x y2] x x和
Y=y+[b(l)+b(2) x abs(y)+b(3) x abs(x)+b(4) x x2] x y (13) 其中，abs()指示絕對值，并且a(l) a(4)和b(l)-b(4)都是坐標變換系數。坐 標變換系數已經存儲在坐標變換系數表146中。
與上面所描述的寫入操作并行地(實際上在預定的延遲時間后)，基于從 倍率色像差校正-坐標變換才喿作部144輸出的坐標值(X， Y)(實際上是由坐 標值(X, Y)轉換提供的值)，坐標變換存儲器142 (R)、 142 (G)、 142(B) 順序地讀出RGB圖像數據。在這種情況下，從坐標變換存儲器142 (G)中與 寫入時相同的位置處讀出G顏色分量圖傳Jt據。另一方面，乂人坐標變換存儲 器142 (R)和142 (B)中與寫入時的位置具有預定位置位移的位置處(即由 倍率色像差導致位移的位置處)讀出RB顏色分量圖像數據。
在上述處理中，坐標變換存儲器142 (R)、 142 (G)、 142 (B)輸出經過 了倍率色像差校正后的RGB圖像數據。即，基于坐標變換之前的坐標值(x， y)上的RGB圖像數據輸出坐標變換之后的坐標值(X， Y)上的RGB圖像數 據。
圖9至圖13說明了倍率色像差校正-坐標變換操作部144的配置的一些例 子。此外，盡管這里G顏色分量被用作基礎，但R或B也可被用作基礎。
圖9說明了一個特定例子，在該例子中，僅對R和B的顏色分量，使用 公式(13 )等分別通過坐標變換操作部1441和1442變換輸入坐標值(x, y )， 以輸出坐標變換之后的R (X， Y)的坐標值和B(X， Y)的坐標值，而G顏 色分量沒有經過坐標變換，因此直接地將輸入坐標值(x， y)作為坐標變換之 后坐標值(X, Y)輸出。由于僅需要向R顏色分量和B顏色分量提供坐標變 換操作部，因此電路規模可以很小。
在圖IO和圖11中，注意到倍率色像差，該倍率色像差是R和B顏色分量以G為中心的基本上彼此對稱的位移(參見圖7A)。這里，圖10說明了一 個特定例子，在該例子中，坐標變換操作部1443獲取坐標值(x, y)的校正 量(位移量)。減法部1444通過從坐標值(x， y)減去校正量而提供的值是B (X， Y)的坐標值，而加法部1445通過將校正量加到坐標值(x， y)而提供 的值是R (X， Y)的坐標值。與圖9相類似，對于G (x， y)的坐標值，直 接將坐標值(x, y)輸出。圖11說明了對于對稱位置的位移之間的差異，通 過增益電路1446來進一步調節R的校正量。此外，可在B側設置增益電路。 根據圖10和圖ll所示的特定例子，只需要一個坐標變換操作部，因此可進一 步減小電路規模。
上述配置可以類似地用于除了 R、 G和B像素之外還具有Ir像素并且能 捕捉紅外區域等的傳感器。在這種情況下，例如如圖12所示，向圖ll說明的 配置增加用于Ir的增益電路1461和加法部1462，從而可以通過一個坐標變換 操作部1443計算B的坐標值以及通過增益計算R和Ir的坐標值，因此，在傳 統上需要三個坐標變換操作部的條件下，只需要一個坐標變換操作部，從而可 以進一步減小電路規模。
圖13和圖14說明了同時進行倍率色像差校正和失真校正的配置的例子。 在這些情況下，不需要如下所述的失真^f交正部160。
圖13是一個特定例子，在該例子中，坐標變換操作部1447通過使用預定 多項式等獲得對于RGB共同的失真的校正量(位移量)，在加法部1448將校 正量加到坐標值(x, y)，同時加法部1448的輸出是G (X， Y)的坐標值以 及減法部1444和加法部1445的輸入中的一個。坐標變換操:作部1443、減法 部1444和加法部1445的操作和圖10所示的相似。根據圖13所示的配置，每 個RGB (X， Y)的坐標值表示對于倍率色像差和失真的校正量的坐標變換之 后的坐標。
圖14是一個特定例子，在該例子中，坐標變換操作部1447通過使用預定 多項式等相似地獲得對于RGB共同的失真的校正量(位移量)，在加法部1449 將加法部1445的輸出加到坐標變換操作部1447的輸出而提供的值是R (X, Y)的坐標值，同時在加法部1450將輸入坐標值(X， Y)加到坐標變換操作 部1447的輸出而提供的值是G (X, Y)的坐標值，并且在加法部1451將減法部1444的輸出加到坐標變換操作部1447的輸出而提供的值是B (X， Y) 的坐標值。與圖13的情況相似，根據圖14所示的配置，每個RGB (X， Y) 的坐標值表示對于倍率色像差和失真的校正量的坐標變換之后的坐標。
這里，替代圖9中的坐標變換操作部1441和1442，可以提供查詢表(LUT), 在該LUT中存儲了每個R和B顏色分量的輸入坐標值(x， y)和輸出坐標值 (X， Y)之間的對應關系，并且可以通過使用LUT直接獲得和坐標變換之前 的坐標值(x， y)相對應的坐標變換之后的坐標值(X, Y)。相似地，替代圖 10至圖14中的坐標變換操作部1443至1447，可以提供查詢表(LUT )，在該 LUT中存儲了輸入坐標值(x， y)和校正量之間的對應關系，并且可以通過 使用LUT直接獲得和坐標值(x， y)相對應的校正量。因此，可以省略對坐 標變換的計算，并且基本上可以只通過存儲器芯片實現倍率色像差校正、或倍 率色像差和失真校正。
下面，圖15是il明失真4吏正部160的配置的一個例子。如上所述，當在 倍率色像差校正部140中使用圖13或圖14所示的坐標變換操作部時，不需要 失真校正部160。在圖15中，說明了用于將RGB三種圖像數據組合到一組數 據的RGB組合部161、用于RGB數據共同的失真校正的坐標變換存儲器162、 用于將組合后的RGB圖像數據分離成原始顏色分量的RGB分離部163、用于 根據預定坐標變換公式計算用于對組合后的RGB圖像數據進行失真校正的坐 標變換的失真校正-坐標變換操作部164、以及用來保存坐標變換公式中使用的 系數的坐標變換系數表165。
由于失真導致的像素位移大，對于失真校正操作需要用于存儲最大一個屏 幕的圖像數據的緩沖存儲器。同時，對于所有RGB顏色分量而言該位移量都 相同，因此具有RGB圖像數據的總比特寬度的僅僅一個緩沖存儲器即可滿足 需要。這里，假設分辨率是VGA (640x480)并且RGB圖像數據中的每一個 的比特數目(色彩深度)假設都是8比特，同時假設坐標變換存儲器162是由 以24比特作為單位執行寫入/讀取的、640 x 480點的DRAM組成。
因而，由于用于失真校正的坐標變換存儲器162需要具有非常大的容量， 并且從成本角度而言很難將SRAM包含在圖像處理芯片中，而一個端口的存 儲器也可滿足RGB的需要，因此期望使用提供在圖像處理芯片之外的DRAM。RGB組合部161順序地接收經過了倍率色像差校正后的RGB圖像數據中 的每個(每個都具有8比特)的輸入，并將它們組合成一組圖像數據(24比 特)用于輸出。根據坐標值(x， y),從第一行開始將組合的RGB圖像數據順 序地寫入坐標變換存儲器162。
同時，失真校正坐標變換操作部164接收坐標變換之前的坐標值(x， y) 的輸入，根據諸如多項式的預定坐標變換公式計算RGB共有的、用于失真校 正的坐標變換，并且輸出坐標變換之后的坐標值(X, Y)。可使用和上述倍率 色像差校正相同的公式(13)表示該坐標變換公式。然而，當然所使用的坐標 變換系數是不同的。該坐標變換系數已經保存在坐標變換系數表165當中。
如上所述，用于失真校正的坐標變換公式可以是與用于倍率色像差校正的 公式相同的坐標變換公式(13 )，并且如果將倍率色像差校正中的計算結果(該 結果可以保存在存儲器等中)用于公式(13)中所使用的項x2、 y2、 abs(x)、 以及abs(y),則無需再次計算這些項，因此可以減小失真校正坐標變換操作部 164的電路規模。
與上述組合的RGB圖像數據(24比特)的寫入操作并行地(實際上在預 定的延遲時間后)，坐標變換存儲器162基于從失真校正坐標變換操作部164 輸出的坐標值(X， Y)順序地讀出組合的RGB圖像數據。RGB分離部163 將從坐標變換存儲器162讀出的組合的RGB圖像(24比特)分離成每個RGB 顏色分量的原始圖像數據(8比特)。
在上述處理中，從RGB分離部163輸出經過了倍率色像差校正和失真校 正后的每個RGB圖像數據。即，每個RGB圖像數據被復制到原始位置(x， y)處。
此外，還可提供用于失真校正操作的查詢表(LUT),在該LUT中存儲了 輸入坐標值(x， y)和輸出坐標值(X, Y)之間的對應關系，并且可以從LUT 直接地獲得和坐標變換之前的坐標值(x， y)相對應的坐標變換之后的坐標值 (X， Y)。因此，可以省略用于坐標變換的計算并且可以基本上只使用存儲器 芯片即可實現失真校正。
盡管參考附圖已經描述了本發明的說明性實施例和特定例子，但本發明并 不限于任意的說明性實施例和特定例子，在不偏離本發明的范圍的前提下可以對說明性實施例和特定例子進行改變、修改或組合。
本申請主張基于在2009年3月10日向日本專利局提交的日本優先權專利 申請No. 2008-059704的優先權的權益，并且該優先權文件的全部內容通過參 考包括于此。
權利要求
1. 一種圖像處理方法，用于處理通過使用具有廣角和大倍率色像差的光學系統捕捉到的圖像，其中，通過不對特定顏色分量的圖像進行坐標變換而只對除了特定顏色分量之外的顏色分量的圖像進行坐標變換來進行倍率色像差校正。
2. 根據權利要求1所述的圖像處理方法，其中，基于特定顏色分量的圖 像的坐標獲得校正量，并且基于校正量對除了特定顏色分量之外的顏色分量的 圖像進行坐標變換。
3. 根據權利要求2所述的圖像處理方法，其中，通過進一步用預定增益 乘以坐標值來調節除了特定顏色分量之外的顏色分量的圖像。
4. 根據權利要求2所述的圖像處理方法，其中，通過進一步地獲得對每 個顏色分量共同的失真的校正量并且分別將失真的校正量加到每個顏色分量 的圖像的坐標值來同時進行倍率色像差校正和失真校正。
5. 根據權利要求1所述的圖像處理方法，其中，在進行倍率色像差校正 后對每個顏色分量的圖像分開進行共同的失真校正。
6. 根據權利要求2所述的圖像處理方法，其中，特定顏色分量是綠色(G) 和除了紅色(R)和藍色(B)之外的顏色分量。
7. —種圖像處理設備，用于處理通過使用具有廣角和大倍率色像差的光 學系統捕捉到的圖像，所述圖像處理設備包括倍率色像差校正設備，所述倍率 色像差校正設備用于通過不對特定顏色分量的圖像進行坐標變換而只對除了 特定顏色分量之外的顏色分量的圖像進行坐標變換來進行倍率色像差校正。
8. 根據權利要求7所述的圖像處理設備，其中，倍率色像差校正設備基 于特定顏色分量的圖像的坐標獲得校正量，并且基于校正量對除了特定顏色分 量之外的顏色分量的圖像進行坐標變換。
9. 根據權利要求8所述的圖像處理設備，其中，倍率色像差校正設備通 過用預定增益乘以坐標值來調節除了特定顏色分量之外的顏色分量的圖像。
10. 根據權利要求8所述的圖像處理設備，其中，倍率色像差校正設備通 過進一步地獲得對每個顏色分量共同的失真的校正量并且分別將失真的校正量加到每個顏色分量的圖像的坐標值來同時進行倍率色像差校正和失真校正。
11. 根據權利要求7所述的圖像處理設備，進一步包括在倍率色像差校正 設備之后的失真校正設備，所述失真校正設備用于對每個顏色分量的圖像分開 進行共同的失真校正。
12. 根據權利要求8所述的圖像處理設備，其中，特定顏色分量是綠色(G) 和除了紅色(R)和藍色(B)之外的顏色分量。
13. —種圖像捕捉設備，包括具有廣角并且至少具有大倍率色像差的光 學系統；圖像捕捉元件，用于讀取通過光學系統捕捉到的圖像；以及，根據權 利要求7所述的圖像處理設備。
全文摘要
本發明涉及圖像處理方法，圖像處理設備和圖像捕捉設備。圖像處理方法用于處理通過使用具有廣角和大倍率色像差的光學系統捕捉到的圖像，其中通過不對特定顏色分量的圖像進行坐標變換而只對除了特定顏色分量之外的顏色分量的圖像進行坐標變換來進行倍率色像差校正。圖像處理設備用于處理通過使用具有廣角和大倍率色像差的光學系統捕捉到的圖像，該圖像處理設備包括倍率色像差校正設備，該倍率色像差校正設備用于通過不對特定顏色分量的圖像進行坐標變換而只對除了特定顏色分量之外的顏色分量的圖像進行坐標變換來進行倍率色像差校正。
文檔編號G06T3/00GK101534384SQ20091011845
公開日2009年9月16日 申請日期2009年3月9日 優先權日2008年3月10日
發明者笠原亮介 申請人:株式會社理光