專利名稱：用于處理原始圖像數(shù)據(jù)的圖像信號處理器線緩沖器配置的制作方法
技術(shù)領(lǐng)域：
本公開一般涉及數(shù)字成像設(shè)備，更具體地說，涉及用于處理利用數(shù)字成像設(shè)備的圖像傳感器獲得的圖像數(shù)據(jù)的系統(tǒng)和方法。
背景技術(shù)：
背景技術(shù)部分旨在向讀者介紹與下面描述和/或要求保護(hù)的本發(fā)明技術(shù)的各個方面相關(guān)的技術(shù)的各個方面。相信下面的討論有助于向讀者提供背景信息，以便于更好地理解本公開的各個方面。因此，應(yīng)明白要就此而論理解這些陳述，而不應(yīng)理解成對于現(xiàn)有技術(shù)的承認(rèn)。近年來，至少部分由于普通消費者越來越負(fù)擔(dān)得起數(shù)字成像設(shè)備的費用，因此數(shù)字成像設(shè)備變得日益普及。此外，除了目前可從市場上獲得的許多獨立的數(shù)字照相機(jī)之外， 作為另一個電子設(shè)備(比如桌上型或筆記本計算機(jī)、蜂窩電話或便攜式媒體播放器)的一部分而被集成的數(shù)字成像設(shè)備也不罕見。為了獲得圖像數(shù)據(jù)，多數(shù)數(shù)字成像設(shè)備包括提供許多光檢測元件(例如，光電檢測器)的圖像傳感器，所述光檢測元件被配置成把圖像傳感器檢測的光轉(zhuǎn)換成電信號。圖像傳感器還可包括過濾圖像傳感器捕捉的光，從而捕捉顏色信息的顏色濾光器陣列。圖像傳感器捕捉的圖像數(shù)據(jù)隨后由圖像處理管線處理，所述圖像處理管線可對圖像數(shù)據(jù)應(yīng)用多種不同的圖像處理操作，從而生成可顯示在顯示設(shè)備(比如監(jiān)視器)上以供觀看的全色圖像。雖然常規(guī)的圖像處理技術(shù)的目的通常在于產(chǎn)生在客觀和主觀方面令觀看者滿意的值得一看的圖像，不過這樣的常規(guī)技術(shù)可能沒有充分解決由成像設(shè)備和/或圖像傳感器引入的圖像數(shù)據(jù)的錯誤和/或畸變。例如，圖像傳感器上的歸因于制造缺陷或操作故障的有缺陷像素不能精確地感測光級，如果未被校正，那么會表現(xiàn)為出現(xiàn)在最后得到的經(jīng)處理的圖像中的偽像。另外，在圖像傳感器邊緣處的光強(qiáng)降低(可能歸因于透鏡的制造缺陷) 可能不利地影響特性測量，并且可能導(dǎo)致整體光強(qiáng)度不均勻的圖像。圖像處理管線還可進(jìn)行銳化圖像的一種或多種處理。不過，常規(guī)的銳化技術(shù)可能未充分解決現(xiàn)有的圖像信號中的噪聲，或者可能不能把噪聲和圖像中的邊緣和紋理化區(qū)域區(qū)分開。在這種情況下，常規(guī)的銳化技術(shù)實際上可能會增加圖像中的噪聲的出現(xiàn)，這通常是不可取的。此外，還可進(jìn)行各種另外的圖像處理步驟，其中的一些圖像處理步驟依賴于用統(tǒng)計信息收集引擎收集的圖像統(tǒng)計信息?？蓪D像傳感器捕捉的圖像數(shù)據(jù)應(yīng)用的另一種圖像處理操作是去馬賽克操作。由于色彩濾鏡陣列通常每個傳感器像素一個波長地提供顏色數(shù)據(jù)，因此為了再現(xiàn)全色圖像 (例如，RGB圖像)，通常對于每個顏色通道內(nèi)插完整的一組顏色數(shù)據(jù)。常規(guī)的去馬賽克技術(shù)通?；谀撤N類型的固定閾值，沿著水平或垂直方向內(nèi)插丟失的顏色數(shù)據(jù)的值。不過，這種常規(guī)的去馬賽克技術(shù)可能未充分考慮圖像內(nèi)的邊緣的位置和方向，這可能會導(dǎo)致將邊緣偽像(比如混疊(aliasing))、棋盤格偽像、或者彩虹偽像引入全色圖像，尤其是沿著圖像內(nèi)的對角邊緣引入。因此，當(dāng)處理利用數(shù)字照相機(jī)或其它成像設(shè)備獲得的數(shù)字圖像時，應(yīng)專注于各種考慮因素，以改善最后得到的圖像的外觀。特別地，下面的本公開的某些方面解決了上面簡要提及的一個或多個缺陷。
發(fā)明內(nèi)容
下面陳述這里公開的某些實施例的概要。應(yīng)明白介紹這些方面只是為了向讀者提供所述這些實施例的簡明概要，所述這些方面并不意圖限制本公開的范圍。實際上，本公開可包含未在下面陳述的各個方面。本公開提供和舉例說明圖像信號處理技術(shù)的各個實施例。特別地，本公開的公開實施例可涉及利用后端圖像處理單元的圖像數(shù)據(jù)的處理，實現(xiàn)原始像素處理邏輯器的線緩沖器的布置和結(jié)構(gòu)，在存在溢出(也稱為過速(overrun))狀態(tài)的情況下，管理像素數(shù)據(jù)的移動的技術(shù)，使視頻和音頻數(shù)據(jù)同步的技術(shù)，以及涉及可用于把像素數(shù)據(jù)保存到存儲器和從存儲器讀取像素數(shù)據(jù)的各種像素存儲器格式的使用的技術(shù)。就后端處理來說，公開的實施例提供一種圖像信號處理系統(tǒng)，它包括接收由前端像素處理單元和像素處理管線中的至少一個處理之后的像素數(shù)據(jù)的后端像素處理單元。在一些實施例中，后端處理單元接收亮度/色度圖像數(shù)據(jù)，并且可被配置成應(yīng)用面部檢測操作，局部色調(diào)映射，明度(brightness)、對比度和顏色調(diào)整以及比例縮放。此外，后端處理單元還可包括可收集頻率統(tǒng)計信息的后端統(tǒng)計單元。頻率統(tǒng)計信息可被提供給編碼器，并且可用于確定將應(yīng)用于圖像幀的量化參數(shù)。本公開的另一方面涉及利用一組線緩沖器的原始像素處理單元的實現(xiàn)。在一個實施例中，所述一組線緩沖器可包括第一子集和第二子集?？砂凑展灿玫姆绞?，利用線緩沖器的第一子集和第二子集，實現(xiàn)原始像素處理單元的各個邏輯器單元。例如，在一個實施例中，可利用線緩沖器的第一子集實現(xiàn)缺陷像素校正和檢測邏輯器。線緩沖器的第二子集可用于實現(xiàn)透鏡陰影校正邏輯器，增益、偏移和箝位邏輯器，和去馬賽克邏輯器。此外，也可分別利用線緩沖器的第一子集和第二子集的至少一部分實現(xiàn)降噪。本公開的另一方面涉及一種圖像信號處理系統(tǒng)，包括當(dāng)傳感器輸入隊列和/或前端處理單元接收到來自下游目的地單元的背壓時，檢測出目的地單元出現(xiàn)溢出狀態(tài)的溢出控制邏輯器。圖像信號處理系統(tǒng)還可以包括閃光控制器，所述閃光控制器被配置成利用傳感器定時信號，在目標(biāo)圖像幀開始之前啟用閃光設(shè)備。在一個實施例中，閃光控制器接收延遲的傳感器定時信號，并如下確定閃光啟用開始時間利用延遲的傳感器定時信號識別與前一巾貞的結(jié)束對應(yīng)的時間，使所述時間增大垂直消隱間隔時間，隨后減去第一偏移量，以補(bǔ)償傳感器定時信號和延遲的傳感器定時信號之間的延遲。隨后，閃光控制器減去第二偏移量，以確定閃光啟用時間，從而確保在接收目標(biāo)幀的第一個像素之前，閃光被啟用。本公開的其它方面提供涉及音頻-視頻同步的技術(shù)。在一個實施例中，當(dāng)被采樣時，時間碼寄存器提供當(dāng)前時間戳?？筛鶕?jù)圖像信號處理系統(tǒng)的時鐘，每隔一定時間間隔遞增時間碼寄存器的值。在圖像傳感器獲得的當(dāng)前幀開始時，對時間碼寄存器采樣，把時間戳保存在與圖像傳感器相關(guān)的時間戳寄存器中。隨后從時間戳寄存器讀出時間戳，并將其寫入與當(dāng)前幀相關(guān)的一組元數(shù)據(jù)中。隨后可以使用保存在幀元數(shù)據(jù)中的時間戳以使當(dāng)前幀與對應(yīng)的一組音頻數(shù)據(jù)同步。本公開的另一個方面提供一種靈活的存儲器輸入/輸出控制器，所述控制器被配置成支持多種像素和像素存儲器格式的保存和讀取。例如，存儲器I/O控制器可支持各種比特精度，例如8比特，10比特，12比特，14比特和16比特的原始圖像像素的存儲和讀取。 可按照緊縮方式，保存未與存儲器字節(jié)對準(zhǔn)(例如，不是8比特的倍數(shù))的像素格式。存儲器I/O控制器還可以支持各種格式的RGB像素組和YCC像素組。本公開的各個方面存在上面提及的特征的各種修改。在這些各個方面中也可結(jié)合另外的特征。這些修改和另外的特征可單獨存在或任意組合地存在。例如，下面關(guān)于一個或多個舉例說明的實施例討論的各個特征可以單獨地或者任意組合地結(jié)合到本公開的上述各個方向任意之一中。同樣，上面給出的簡要概述只是用來使讀者熟悉本公開的實施例的某些方面和上下文，而不是對要求保護(hù)的主題的限制。
本專利或申請文件包含至少一個彩色附圖。在支付必要費用的情況下，事務(wù)所將應(yīng)請求提供本專利或?qū)＠暾埞_的帶彩色附圖的副本。參考附圖，閱讀下面的詳細(xì)說明，可更好地理解本公開的各個方面，其中圖I是描述電子設(shè)備的一個例子的組件的簡化方框圖，所述電子設(shè)備包括成像設(shè)備和配置成實現(xiàn)在本公開中陳述的一種或多種圖像處理技術(shù)的圖像處理電路；圖2表示可在圖I的成像設(shè)備中實現(xiàn)的Bayer色彩濾鏡矩陣的2X2像素塊的圖形表示。圖3是按照本公開的各個方面的圖I的呈膝上型計算設(shè)備形式的電子設(shè)備的透視圖；圖4是按照本公開的各個方面的圖I的呈桌上型計算設(shè)備形式的電子設(shè)備的正視圖；圖5是按照本公開的各個方面的圖I的呈手持便攜式電子設(shè)備形式的電子設(shè)備的正視圖；圖6是圖5中所示的電子設(shè)備的后視圖；圖7是按照本公開的各個方面，圖解說明的圖I的圖像處理電路的一個實施例的方框圖，所述圖像處理電路包括前端圖像信號處理(ISP)邏輯器和ISP管道(pipe)處理邏輯器；圖8是按照本公開的各個方面，圖解說明圖I的圖像處理電路的另一個實施例的方框圖，所述圖像處理電路包括前端圖像信號處理(ISP)邏輯器、ISP管道(管線)處理邏輯器和ISP后端處理邏輯器；圖9是按照本公開的各個方面，描述利用圖7或圖8的圖像處理電路處理圖像數(shù)據(jù)的方法的流程圖；圖10是按照本公開的各個方面，表示可在圖7或圖8中實現(xiàn)的ISP前端邏輯器的一個實施例的更詳細(xì)方框圖；圖11是按照一個實施例，表示用于在圖10的ISP前端邏輯器中處理圖像數(shù)據(jù)的方法的流程圖12是按照一個實施例，圖解說明可用于在ISP前端邏輯器中處理圖像數(shù)據(jù)的雙 緩沖寄存器和控制寄存器的結(jié)構(gòu)的方框圖；圖13-15是按照本發(fā)明技術(shù)的實施例，描述觸發(fā)圖像幀的處理的不同模式的時序 圖；圖16是按照一個實施例，更詳細(xì)地描述控制寄存器的示圖；圖17是描述當(dāng)圖10的ISP前端邏輯器按照單傳感器模式工作吋，使用前端像素 處理單元處理圖像幀的方法的流程圖；圖18是描述當(dāng)圖10的ISP前端邏輯器按照雙傳感器模式工作吋，使用前端像素 處理單元處理圖像幀的方法的流程圖；圖19是描述當(dāng)圖10的ISP前端邏輯器按照雙傳感器模式工作吋，使用前端像素 處理單元處理圖像幀的方法的流程圖；圖20是按照一個實施例，描述其中兩個圖像傳感器都有效的方法的流程圖，不過 其中第一圖像傳感器在向前端像素處理單元發(fā)送圖像幀，而第二圖像傳感器在向統(tǒng)計信息 處理單元發(fā)送圖像幀，以致當(dāng)?shù)诙D像傳感器稍后繼續(xù)向前端像素處理單元發(fā)送圖像幀 吋，可立即得到第二傳感器的成像統(tǒng)計信息；圖21是按照本公開的各個方面，可應(yīng)用于保存在圖1的電子設(shè)備的存儲器中的像 素格式的線性存儲器尋址格式的圖形描述；圖22是按照本公開的各個方面，可應(yīng)用于保存在圖1的電子設(shè)備的存儲器中的像 素格式的分塊(tiled)存儲器尋址格式的圖形描述；圖23是按照本公開的各個方面，在圖像傳感器捕捉的源圖像幀內(nèi)定義的各個成 像區(qū)的圖形描述；圖M是使用ISP前端處理單元處理圖像幀的重疊垂直條紋的技術(shù)的圖形描述；圖25是描述按照本公開的各個方面，如何利用交換代碼，把字節(jié)交換應(yīng)用于來自 存儲器的進(jìn)入(incoming)圖像像素數(shù)據(jù)的示圖；圖沈-四表示按照本公開的各個實施例，可由圖7或圖8的圖像處理電路支持的 原始圖像數(shù)據(jù)的存儲器格式的例子；圖30-34表示按照本公開的各個實施例，可由圖7或圖8的圖像處理電路支持的 全色RGB圖像數(shù)據(jù)的存儲器格式的例子；圖35-36表示按照本公開的各個實施例，可由圖7或圖8的圖像處理電路支持的 亮度/色度圖像數(shù)據(jù)(YUV/YC1C2)的存儲器格式的例子；圖37表示按照本公開的各個方面，如何確定線性尋址格式的存儲器中的幀位置 的例子；圖38表示按照本公開的各個方面，如何確定分塊尋址格式的存儲器中的幀位置 的例子；圖39是描述按照本公開的ー個實施例，如何進(jìn)行溢出處理的圖8的ISP電路的方 框圖；圖40是描述按照本公開的各個方面，在從圖片存儲器讀取圖像像素數(shù)據(jù)的同吋， 當(dāng)發(fā)生溢出情況時用于溢出處理的方法的流程圖；圖41是描述按照本公開的ー個實施例，在從圖像傳感器接ロ讀入圖像像素數(shù)據(jù)的同時，當(dāng)發(fā)生溢出情況時用于溢出處理的方法的流程圖；圖42是描述按照本公開的另一個實施例，在從圖像傳感器接口讀入圖像像素數(shù)據(jù)的同時，當(dāng)發(fā)生溢出情況時的另一種用于溢出處理的方法的流程圖；圖43是可由圖I的電子設(shè)備捕捉和保存的圖像(例如，視頻)和對應(yīng)音頻數(shù)據(jù)的圖形描述；圖44圖解說明按照一個實施例，可用于提供使圖43的音頻和視頻數(shù)據(jù)同步的時間戳的一組寄存器；圖45是按照本公開的各個方面，可捕捉為圖43的視頻數(shù)據(jù)的一部分的圖像幀的簡化表示，并且說明如何把時間戳信息保存為圖像幀元數(shù)據(jù)的一部分；圖46是描述按照一個實施例，利用基于VSYNC信號的時間戳使圖像數(shù)據(jù)與音頻數(shù)據(jù)同步的方法的流程圖；圖47是描述按照本公開的一個實施例，可如何進(jìn)行閃光計時控制的圖8的ISP電路的方框圖；圖48是描述按照本公開的一個實施例,用于確定閃光啟用和停用時間的技術(shù)；圖49是描述根據(jù)圖48中所示的技術(shù)，確定閃光啟用時間的方法的流程圖；圖50是描述按照本公開的各個方面，在利用閃光獲取圖像場景之前，使用預(yù)閃光更新圖像統(tǒng)計信息的方法的流程圖；圖51是按照本公開的各個方面，提供如在圖10的ISP前端邏輯器中所示的ISP 前端像素處理單元的一個實施例的更詳細(xì)的視圖的方框圖；圖52是圖解說明按照一個實施例，可如何對圖51中所示的ISP前端像素處理單元接收的圖像像素數(shù)據(jù)應(yīng)用時域濾波的處理圖；圖53圖解說明可用于確定圖52中所示的時域濾波處理的一個或多個參數(shù)的一組參考圖像像素和一組對應(yīng)的當(dāng)如圖像像素；圖54是圖解說明按照一個實施例，對一組圖像數(shù)據(jù)的中的當(dāng)前圖像像素應(yīng)用時域濾波的處理的流程圖；圖55是表示按照一個實施例，計算供圖54的當(dāng)前圖像像素的時域濾波之用的運動增量值的技術(shù)的流程圖；圖56是圖解說明按照另一個實施例，對一組圖像數(shù)據(jù)中的當(dāng)前圖像像素應(yīng)用時域濾波的另一種處理的流程圖，所述另一種處理包括對圖像數(shù)據(jù)的每個顏色分量使用不同的增益；圖57是圖解說明按照又一個實施例，對圖51中所示的ISP前端像素處理單元接收的圖像像素數(shù)據(jù)的每個顏色分量使用單獨的運動表和亮度表的時域濾波技術(shù)的處理圖；圖58是圖解說明按照又一個實施例,利用圖57中所不的運動表和亮度表,對一組圖像數(shù)據(jù)中的當(dāng)前圖像像素應(yīng)用時域濾波的處理的流程圖；圖59描述按照本公開的各個方面，可用圖像傳感器捕捉的全分辨率原始圖像數(shù)據(jù)的樣本；圖60圖解說明按照本公開的一個實施例，可被配置成對圖59的全分辨率原始圖像數(shù)據(jù)應(yīng)用箱化(binning)，以輸出箱化的原始圖像數(shù)據(jù)的樣本的圖像傳感器；
圖61描述按照本公開的各個方面，可由圖60的圖像傳感器提供的箱化的原始圖像數(shù)據(jù)的樣本；圖62描述按照本公開的各個方面，在用箱化補(bǔ)償濾波器重新采樣之后的圖61的箱化的原始圖像數(shù)據(jù)；圖63描述按照一個實施例，可在圖51的ISP前端像素處理單元中實現(xiàn)的箱化補(bǔ)償濾波器；圖64是按照本公開的各個方面，可應(yīng)用于微分分析器，以選擇用于箱化補(bǔ)償濾波的中心輸入像素和索引/相位的各個步長的圖形描述；圖65是圖解說明按照一個實施例，利用圖63的箱化補(bǔ)償濾波器，比例縮放圖像數(shù)據(jù)的處理的流程圖；圖66是圖解說明按照一個實施例，確定圖63的箱化補(bǔ)償濾波器的水平和垂直濾波的當(dāng)前輸入源中心像素的處理的流程圖；圖67是圖解說明按照一個實施例，確定用于選擇圖63的箱化補(bǔ)償濾波器的水平和垂直濾波的濾波系數(shù)的指數(shù)的處理的流程圖；圖68是表示按照本公開的各個方面，可在如圖10中所示的ISP前端處理邏輯器中實現(xiàn)的統(tǒng)計信息處理單元的一個實施例的更詳細(xì)的方框圖；圖69表示按照本公開的各個方面，當(dāng)在圖68的統(tǒng)計信息處理單元的統(tǒng)計信息處理中，應(yīng)用檢測和校正缺陷像素時可以考慮的各個圖像幀邊界情況；圖70是圖解說明按照一個實施例，在統(tǒng)計信息處理期間進(jìn)行缺陷像素檢測和校正的處理的流程圖；圖71表示描述成像設(shè)備的常規(guī)透鏡的光強(qiáng)度與像素位置的關(guān)系的三維輪廓；圖72是表現(xiàn)整個圖像內(nèi)的非均勻光強(qiáng)度(可能由于透鏡陰影不規(guī)則性)的彩圖；圖73是按照本公開的各個方面，包括透鏡陰影校正區(qū)和增益網(wǎng)格的原始成像幀的圖示；圖74圖解說明按照本公開的各個方面，由四個邊界網(wǎng)格增益點圍繞的圖像像素的增益值的內(nèi)插；圖75是圖解說明按照本技術(shù)的一個實施例，確定在透鏡陰影校正操作期間，可應(yīng)用于成像像素的內(nèi)插增益值的處理的流程圖；圖76是描述按照本公開的各個方面，當(dāng)進(jìn)行透鏡陰影校正時，可應(yīng)用于表現(xiàn)出圖 71中所示的光強(qiáng)度特性的圖像的內(nèi)插增益值的三維輪廓；圖77表示按照本公開的各個方面，在應(yīng)用透鏡陰影校正操作之后的表現(xiàn)出改進(jìn)的光強(qiáng)度均勻性的圖72的彩圖；圖78圖示按照一個實施例，如何計算當(dāng)前像素和圖像的中心之間的徑向距離，并且將其用于確定透鏡陰影校正的徑向增益分量；圖79是圖解說明按照本發(fā)明技術(shù)的一個實施例，使用增益網(wǎng)格的徑向增益和內(nèi)插增益來確定在透鏡陰影校正操作中，可應(yīng)用于成像像素的總增益的處理的流程圖；圖80是表示顏色空間中的白色區(qū)域及低色溫軸和高色溫軸的圖示；圖81是表示按照一個實施例，如何關(guān)于各種參考照明條件設(shè)定白平衡增益的表；圖82是表示按照本公開的一個實施例，可在ISP前端處理邏輯器中實現(xiàn)的統(tǒng)計信息收集引擎的方框圖；圖83圖解說明按照本公開的各個方面，原始Bayer RGB數(shù)據(jù)的下采樣；圖84描述按照一個實施例，可利用圖82的統(tǒng)計信息收集引擎收集的二維顏色直方圖；圖85描述二維顏色直方圖內(nèi)的變焦和搖攝；圖86是按照一個實施例，更詳細(xì)地表示用于實現(xiàn)統(tǒng)計信息收集引擎的像素濾波器的邏輯器的示圖；圖87是按照一個實施例，可如何根據(jù)為像素濾波器定義的像素條件，評估像素在 C1-C2顏色空間內(nèi)的位置的圖形描述；圖88是按照另一個實施例的可如何根據(jù)為像素濾波器定義的像素條件，評估像素在C1-C2顏色空間內(nèi)的位置的圖形描述；圖89是按照又一個實施例，如何根據(jù)為像素濾波器定義的像素條件，評估像素在 C1-C2顏色空間內(nèi)的位置的圖形描述；圖90是表示按照一個實施例，可以如何確定圖像傳感器積分時間，以補(bǔ)償閃爍的圖示；圖91是詳細(xì)表示按照一個實施例，可在圖82的統(tǒng)計信息收集引擎中實現(xiàn)的，并被配置成收集自動聚焦統(tǒng)計信息的邏輯器的方框圖；圖92是描述按照一個實施例，利用粗調(diào)和微調(diào)自動聚焦評分值進(jìn)行自動聚焦的技術(shù)的圖示；圖93是描述按照一個實施例，利用粗調(diào)和微調(diào)自動聚焦評分值進(jìn)行自動聚焦的處理的流程圖；圖94和95表示獲得白平衡亮度值的原始Bayer數(shù)據(jù)的抽選(decimation)；圖96表示按照一個實施例，利用每個顏色分量的相對自動聚焦評分值進(jìn)行自動聚焦的技術(shù)；圖97是表示按照一個實施例，如何使用Bayer RGB直方圖數(shù)據(jù)幫助黑電平補(bǔ)償?shù)膱D68的統(tǒng)計信息處理單元的更詳細(xì)示圖；圖98是表示按照本公開的各個方面，圖7的ISP管道處理邏輯器的實施例的方框圖；圖99是表示按照本公開的各個方面，可在圖98的ISP管道處理邏輯器中實現(xiàn)的原始像素處理塊的實施例的更詳細(xì)的視圖；圖100是表示按照本公開的各個方面，當(dāng)在圖99中所示的原始像素處理塊的處理期間，應(yīng)用檢測和校正缺陷像素的技術(shù)時，可考慮的各種圖像幀邊界情況；圖101-103是描述按照一個實施例，可在圖99的原始像素處理塊中進(jìn)行的檢測和校正缺陷像素的各種處理的流程圖；圖104表示按照本公開的各個方面，當(dāng)在圖99的原始像素處理塊的處理中，應(yīng)用綠色不均勻校正技術(shù)時，可內(nèi)插的Bayer圖像傳感器的2 X 2像素塊中的兩個綠色像素的位置；圖105圖解說明按照本公開的各個方面，可用作降噪用水平濾波處理的一部分的，包括中央像素和相關(guān)聯(lián)的水平相鄰像素的一組像素；
圖106圖解說明按照本公開的各個方面，可用作降噪用垂直濾波處理的一部分的，包括中央像素和相關(guān)聯(lián)的垂直相鄰像素的一組像素；圖107是描述如何把去馬賽克應(yīng)用于原始Bayer圖像模式，以產(chǎn)生全色RGB圖像的簡化流程圖；圖108描述按照一個實施例，在Bayer圖像模式的去馬賽克期間，可從中得到水平和垂直能量分量，以便內(nèi)插綠色顏色值的Bayer圖像模式的一組像素；圖109表示按照本發(fā)明技術(shù)的各個方面，在Bayer圖像模式的去馬賽克期間，可對其應(yīng)用濾波，以確定內(nèi)插綠色顏色值的水平分量的一組水平像素；圖110表示按照本發(fā)明技術(shù)的各個方面，在Bayer圖像模式的去馬賽克期間，可對其應(yīng)用濾波，以確定內(nèi)插綠色顏色值的垂直分量的一組垂直像素；圖111表示按照本發(fā)明技術(shù)的各個方面，在Bayer圖像模式的去馬賽克期間，可對其應(yīng)用濾波，以確定內(nèi)插的紅色和藍(lán)色值的各個3X3像素塊；圖112-115提供描述按照一個實施例，在Bayer圖像模式的去馬賽克期間，內(nèi)插綠色、紅色和藍(lán)色顏色值的各種處理的流程圖；圖116表示可用圖像傳感器捕捉，并按照這里公開的去馬賽克技術(shù)的各個方面處理的原始圖像場景的彩圖；圖117表示圖116中所示的圖像場景的Bayer圖像模式的彩圖；圖118表示根據(jù)圖117的Bayer圖像模式，利用常規(guī)的去馬賽克技術(shù)重構(gòu)的RGB 圖像的彩圖；圖119表示按照這里公開的去馬賽克技術(shù)的各個方面，從圖117的Bayer圖像模式重構(gòu)的RGB圖像的彩圖；圖120-123描述按照一個實施例，可用于實現(xiàn)圖99的原始像素處理塊的線緩沖器的結(jié)構(gòu)和布置；圖124是表示按照一個實施例，利用圖120-123中所示的線緩沖器結(jié)構(gòu)，處理原始像素數(shù)據(jù)的方法的流程圖；圖125是表示按照本公開的各個方面，可在圖98的ISP管道處理邏輯器中實現(xiàn)的 RGB處理塊的一個實施例的更詳細(xì)的示圖；圖126是表示按照本公開的各個方面，可在圖98的ISP管道處理邏輯器中實現(xiàn)的 YCbCr處理塊的一個實施例的更詳細(xì)的示圖；圖127是按照本公開的各個方面，在利用I-平面格式的源緩沖器內(nèi)定義的亮度和色度的激活源區(qū)的圖形描述；圖128是按照本公開的各個方面，在利用2-平面格式的源緩沖器內(nèi)定義的亮度和色度的激活源區(qū)的圖形描述；圖129是圖解說明按照一個實施例，可在如圖126中所示的YCbCr處理塊中實現(xiàn)的圖像銳化邏輯器的方框圖；圖130是圖解說明按照一個實施例，可在如圖126中所示的YCbCr處理塊中實現(xiàn)的邊緣增強(qiáng)邏輯器的方框圖；圖131是表示按照本公開的各個方面，色度衰減因子與銳化的亮度值的關(guān)系的圖示；
圖132是圖解說明按照一個實施例，可在如圖126中所示的YCbCr處理塊中實現(xiàn)的圖像明度(brightness)、對比度和顏色(BCC)調(diào)整邏輯器的方框圖；圖133表示定義可在圖132的BCC調(diào)整邏輯器中的顏色調(diào)整期間應(yīng)用的各種色相角和飽和度值的YCbCr顏色空間中的色相和飽和度色輪；圖134是表示按照本公開的各個方面，圖8的ISP后端處理邏輯器的一個實施例的方框圖，所述ISP后端處理邏輯器可被配置成進(jìn)行ISP管線下游的各個后處理步驟；圖135是表不一種常規(guī)的全局色調(diào)映射技術(shù)的圖形表不；圖136是表不另一種常規(guī)的全局色調(diào)映射技術(shù)的圖形表不；圖137描述按照本公開的各個方面，為了應(yīng)用局部色調(diào)應(yīng)用技術(shù)，可如何分割圖像的各個區(qū)域；圖138圖形地圖解說明常規(guī)的局部色調(diào)映射如何導(dǎo)致輸出色調(diào)范圍的有限利用；圖139圖形地圖解說明按照本公開的實施例，用于局部色調(diào)映射的技術(shù)；圖140是按照本公開的各個方面，表示局部色調(diào)映射LTM邏輯器的一個實施例的更詳細(xì)的方框圖，所述局部色調(diào)映射LTM邏輯器可被配置成實現(xiàn)圖134的ISP后端邏輯器中的色調(diào)映射處理；圖141是表示按照一個實施例，利用圖134的ISP后端處理邏輯器處理圖像數(shù)據(jù)的方法的流程圖；圖142是表不按照一個實施例，利用圖140中所不的LTM邏輯器,應(yīng)用色調(diào)映射的方法的流程圖。
具體實施例方式下面將說明本公開的一個或多個具體實施例。這些說明的實施例只是目前公開的技術(shù)的例子。另外，在致力于提供這些實施例的簡明描述的過程中，在說明書中可能未描述實際實現(xiàn)的所有特征。應(yīng)意識到，在任何這種實際實現(xiàn)的開發(fā)中，和任何工程或設(shè)計項目中一樣，為了實現(xiàn)開發(fā)人員的可能因?qū)崿F(xiàn)而異的特定目標(biāo)，比如遵守與系統(tǒng)相關(guān)的和與商業(yè)相關(guān)的約束條件，必須做出各種特定于實現(xiàn)的決策。此外，應(yīng)意識到這樣的開發(fā)工作可能復(fù)雜和費時，不過對受益于本公開內(nèi)容的普通技術(shù)人員來說，這樣的開發(fā)工作不過是常規(guī)的設(shè)計、加工和生產(chǎn)任務(wù)。當(dāng)介紹本公開的各個實施例的部件時，冠詞“一個”等旨在意味存在一個或多個所述部件。用語“包含”、“包括”和“具有”旨在是開放的，并且意味可以存在除列舉的部件以外的其它部件。另外，應(yīng)明白本公開的對“一個實施例”或“實施例”的引用并不意圖被解釋成排除也包含所引用特征的其它實施例的存在。如下所述，本公開一般涉及處理利用一個或多個圖像感測設(shè)備獲得的圖像數(shù)據(jù)的技術(shù)。特別地，本公開的某些方面可以涉及檢測和校正缺陷像素的技術(shù)，對原始圖像模式去馬賽克的技術(shù)，利用多尺度非銳化掩膜銳化亮度圖像的技術(shù)，和應(yīng)用透鏡陰影增益校正透鏡陰影不規(guī)則性的技術(shù)。此外，應(yīng)明白，目前公開的技術(shù)可應(yīng)用于靜止圖像和運動圖像(例如，視頻)，并且可用在任何適當(dāng)類型的成像應(yīng)用中，比如數(shù)字照相機(jī)、具有一體化數(shù)字照相機(jī)的電子設(shè)備、安全或視頻監(jiān)視系統(tǒng)、醫(yī)療成像系統(tǒng)等等。在記住以上內(nèi)容的同時，圖I是圖解說明通過利用上面簡要提及的一種或多種圖像處理技術(shù)，提供圖像數(shù)據(jù)的處理的電子設(shè)備10的例子的方框圖。電子設(shè)備10可以是被配置成接收和處理圖像數(shù)據(jù)，比如利用一個或多個圖像感測組件獲得的數(shù)據(jù)的任意類型的電子設(shè)備，比如膝上型或桌上型計算機(jī)、移動電話、數(shù)字媒體播放器等等。例如，電子設(shè)備10可以是便攜式電子設(shè)備，比如可從Cupertino, California的蘋果公司獲得的某種型號的iPod .或iPhone 。另外，電子設(shè)備10可以是桌上型或膝上型計算機(jī)，比如可從蘋果公司獲得的某種型號的MacBook 、 MacBook Pro、.MacBook Air 、iMac 、Mac Mini 或Mac Pro 。在其它實施例中，電子設(shè)備io也可以是另一家制造商的能夠獲得和處理圖像數(shù)據(jù)的某種型號的電子設(shè)備。與其形式(例如，便攜式或非便攜式)無關(guān)，應(yīng)明白，電子設(shè)備10可利用上面簡要討論的一種或多種圖像處理技術(shù)提供圖像數(shù)據(jù)的處理，所述圖像處理技術(shù)可包括缺陷像素校正和/或檢測技術(shù)、透鏡陰影校正技術(shù)、去馬賽克技術(shù)或者圖像銳化技術(shù)等等。在一些實施例中，電子設(shè)備10可把這樣的圖像處理技術(shù)應(yīng)用于保存在電子設(shè)備10的存儲器中的圖像數(shù)據(jù)。在另外的實施例中，電子設(shè)備10可包括被配置成獲取圖像數(shù)據(jù)的一個或多個成像設(shè)備，比如一體的或者外部的數(shù)字照相機(jī)，電子設(shè)備10隨后可利用一種或多種上述圖像處理技術(shù)處理所述圖像數(shù)據(jù)。下面在圖3-6中進(jìn)一步討論表示電子設(shè)備10的便攜式和非便攜式實施例的各個實施例。如圖I中所示，電子設(shè)備10可包括為設(shè)備10的功能作出貢獻(xiàn)的各個內(nèi)部和/或外部組件。本領(lǐng)域的普通技術(shù)人員將認(rèn)識到圖I中所示的各個功能塊可包含硬件部件(包括電路)、軟件部件(包括保存在計算機(jī)可讀介質(zhì)上的計算機(jī)代碼)、或者硬件部件和軟件部件的組合。例如，在目前舉例說明的實施例中，電子設(shè)備10可包括輸入/輸出(1/0)端口 12、輸入結(jié)構(gòu)14、一個或多個處理器16、存儲設(shè)備18、非易失性存儲設(shè)備20、擴(kuò)展卡22、 連網(wǎng)設(shè)備24、電源26和顯示器28。另外，電子設(shè)備10可包括一個或多個成像設(shè)備30 (比如數(shù)字照相機(jī))和圖像處理電路32。如下進(jìn)一步所述，圖像處理電路32可被配置成在處理圖像數(shù)據(jù)時實現(xiàn)一種或多種上述圖像處理技術(shù)?？烧J(rèn)識到，圖像處理電路32處理的圖像數(shù)據(jù)可以取自存儲器18和/或非易失性存儲設(shè)備20，或者可以利用成像設(shè)備30獲得。在繼續(xù)進(jìn)行說明之前，應(yīng)明白圖I中所示的設(shè)備10的系統(tǒng)方框圖旨在是描述可包括在這樣的設(shè)備10中的各個組件的高級控制圖。S卩，圖I中表示的各個單獨組件之間的連接線不一定必須代表數(shù)據(jù)流經(jīng)的，或者在設(shè)備10的各個組件之間傳送數(shù)據(jù)的路徑或方向。事實下，如下所述，在一些實施例中，描述的處理器16可包括多個處理器，比如主處理器(例如，CPU)和專用圖像和/或視頻處理器。在這樣的實施例中，圖像數(shù)據(jù)的處理主要可由這些專用處理器負(fù)責(zé)，從而有效地從主處理器(CPU)卸載這些任務(wù)。就圖I中例示的每個組件來說，1/0端口 12可包括被配置成與各個外部設(shè)備連接的端口，所述外部設(shè)備比如是電源、音頻輸出設(shè)備(例如，頭戴式聽筒或頭戴式收話器)、或者其它電子設(shè)備(比如手持設(shè)備和/或計算機(jī)、打印機(jī)、投影儀、外部顯示器、調(diào)制解調(diào)器、 擴(kuò)展塢等等)。在一個實施例中，1/0端口 12可被配置成連接到外部成像設(shè)備，比如數(shù)字照相機(jī)，以便獲得可利用圖像處理電路32處理的圖像數(shù)據(jù)。1/0端口 12可支持任何適當(dāng)?shù)慕涌陬愋?，比如通用串行總線(USB)端口、串行連接端口、IEEE-1394(火線)端口、以太網(wǎng)或調(diào)制解調(diào)器端口、和/或AC/DC電力連接端口。
在一些實施例中，某些I/O端口 12可被配置成提供不止一種功能。例如，在一個實施例中，I/O端口 12可包括蘋果公司的專用端口，所述專用端口不僅能夠使數(shù)據(jù)在電子設(shè)備10和外部源之間的傳送更容易，而且能夠使設(shè)備10與充電接口(比如用于從壁裝電源插座提供電力的電源適配器，或者被配置成從另一個電設(shè)備，比如桌上型或膝上型計算機(jī)抽取電力的接口電纜)耦接，以便對電源26 (它可包括一個或多個可再充電電池)充電。 因此，I/O端口 12可被配置成基于經(jīng)I/O端口 12與設(shè)備10耦接的外部組件，既起數(shù)據(jù)傳送端口的作用，又起AC/DC電源連接端口的作用。
輸入結(jié)構(gòu)14可向處理器16提供用戶輸入或反饋。例如，輸入結(jié)構(gòu)14可被配置成控制電子設(shè)備10的一個或多個功能，比如在電子設(shè)備10上運行的應(yīng)用程序。例如，輸入結(jié)構(gòu)14可以包括按鈕、滑動器、開關(guān)、控制板、按鍵、旋鈕、滾輪、鍵盤、鼠標(biāo)、觸摸板等等，或者它們的組合。在一個實施例中，輸入結(jié)構(gòu)14允許用戶操縱顯示在設(shè)備10上的圖形用戶界面(GUI)。另外，輸入結(jié)構(gòu)14可包括結(jié)合顯示器28設(shè)置的觸敏機(jī)構(gòu)。在這樣的實施例中， 用戶可以利用觸敏機(jī)構(gòu)選擇或與顯示的界面部件互動。
輸入結(jié)構(gòu)14可包括向一個或多個處理器16提供用戶輸入或反饋的各種設(shè)備、電路和通道。這種輸入結(jié)構(gòu)14可被配置成控制設(shè)備10的功能，在設(shè)備10上運行的應(yīng)用，和 /或與電子設(shè)備10連接或者由電子設(shè)備10使用的任意接口或設(shè)備。例如，輸入結(jié)構(gòu)14可以允許用戶操縱顯示的用戶界面或應(yīng)用界面。輸入結(jié)構(gòu)14的例子可包括按鈕、滑動器、開關(guān)、控制板、按鍵、旋鈕、滾輪、鍵盤、鼠標(biāo)、觸摸板等等。
在一些實施例中，輸入結(jié)構(gòu)14和顯示器設(shè)備28可以設(shè)置在一起，比如在“觸摸屏” 的情況下，從而與顯示器28相結(jié)合地設(shè)置觸敏機(jī)構(gòu)。在這種實施例中，用戶可借助觸敏機(jī)構(gòu)，選擇或與顯示的界面部件互動。這樣，顯示的界面可提供交互式功能，從而允許用戶通過觸摸顯示器28來操縱顯示的界面。例如，用戶與輸入結(jié)構(gòu)14的交互，比如與顯示在顯示器28上的用戶或者應(yīng)用界面互動可生成表示用戶輸入的電信號。這些輸入信號可以經(jīng)由適當(dāng)?shù)耐ǖ?，比如輸入集線器或數(shù)據(jù)總線路由到一個或多個處理器16，以供進(jìn)一步處理。
在一個實施例中，輸入結(jié)構(gòu)14可包括音頻輸入設(shè)備。例如，電子設(shè)備10可以配有一個或多個音頻捕捉設(shè)備，比如一個或多個麥克風(fēng)。音頻捕捉設(shè)備可以與電子設(shè)備10—體化，或者可以是比如通過I/o端口 12與電子設(shè)備10耦接的外部設(shè)備。如下進(jìn)一步所述，電子設(shè)備10可以既是音頻輸入設(shè)備又是成像設(shè)備30，以捕捉聲音和圖像數(shù)據(jù)(例如，視頻數(shù)據(jù))，并且可以包括被配置成提供使捕捉的視頻數(shù)據(jù)和音頻數(shù)據(jù)同步的邏輯器。
除了處理經(jīng)輸入結(jié)構(gòu)14接收的各種輸入信號外，處理器16可控制設(shè)備10的一般操作。例如，處理器16可提供執(zhí)行操作系統(tǒng)、程序、用戶界面和應(yīng)用界面、和電子設(shè)備10 的任何其它功能的處理能力。處理器16可包括一個或多個微處理器，比如一個或多個“通用”微處理器、一個或多個專用微處理器和/或?qū)Ｓ梦⑻幚砥?ASIC)，或者這些處理組件的組合。例如，處理器16可包括一個或多個指令集(例如，RISC)處理器、以及圖形處理器 (GPU)、視頻處理器、音頻處理器和/或相關(guān)的芯片集。應(yīng)認(rèn)識到，處理器16可以與一個或多個數(shù)據(jù)總線耦接，以便在設(shè)備10的各個組件之間傳送數(shù)據(jù)和指令。在一些實施例中，處理器16可提供在電子設(shè)備10上運行成像應(yīng)用，比如可從蘋果公司獲得的Photo Booth 、 Aperture 、iPhoto 或preview ,或者由蘋果公司提供的存在于各種型號的 iPhone 上的“照相機(jī)”和/或“照片”應(yīng)用的處理能力。
將由處理器16處理的指令或數(shù)據(jù)可被保存在計算機(jī)可讀介質(zhì)，比如存儲器裝置 18中?？梢砸资源鎯ζ?比如隨機(jī)存取存儲器(RAM))，或者以非易失性存儲器(比如只讀存儲器(ROM))，或者以一個或多個RAM和ROM設(shè)備的組合的形式提供存儲器裝置18。存儲器18可保存各種信息，并且可用于各種用途。例如，存儲器18可保存電子設(shè)備10的固件，比如基本輸入/輸出系統(tǒng)(BIOS)、操作系統(tǒng)、各種程序、應(yīng)用、或者可在電子設(shè)備10上運行的任何其它例程，包括用戶接口功能、處理器功能等等。另外，在電子設(shè)備10的工作期間，存儲器18可用于緩存或高速緩存。例如，在一個實施例中，存儲器18包括當(dāng)視頻數(shù)據(jù)被輸出給顯示器28時，緩存視頻數(shù)據(jù)的一個或多個幀緩沖器。
除了存儲器裝置18之外，電子設(shè)備10還可包括用于永久保存數(shù)據(jù)和/或指令的非易失性存儲設(shè)備20。非易失性存儲設(shè)備20可包括閃速存儲器，硬盤驅(qū)動器，或者任何其它光、磁和/或固態(tài)存儲介質(zhì)，或者它們的某種組合。從而，盡管為了清楚起見，在圖I中被描述成單個設(shè)備，但應(yīng)明白，非易失性存儲設(shè)備20可包括結(jié)合處理器16工作的一個或多個上面列舉的存儲設(shè)備的組合。非易失性存儲器20可被用于保存固件、數(shù)據(jù)文件、圖像數(shù)據(jù)、 軟件程序和應(yīng)用、無線連接信息、個人信息、用戶首選項、和任何其它適當(dāng)?shù)臄?shù)據(jù)。按照本公開的各個方面，在顯示器上被輸出之前，保存在非易失性存儲設(shè)備20和/或存儲器裝置18 中的圖像數(shù)據(jù)可被圖像處理電路32處理。
圖I中圖解說明的實施例還包括一個或多個卡或者擴(kuò)展槽。卡槽可被配置成接納擴(kuò)展卡22，擴(kuò)展卡22可用于向電子設(shè)備10增添功能，比如額外的存儲器、I/O功能或者連網(wǎng)能力。這種擴(kuò)展卡22可通過任意種類的適當(dāng)連接器與設(shè)備連接，并且可相對于電子設(shè)備 10的機(jī)殼在外部或內(nèi)部被訪問。例如，在一個實施例中，擴(kuò)展卡22可以是閃速存儲卡，比如安全數(shù)字卡(SD)卡、小型或微型SD、緊湊式閃存卡等，或者可以是PCMCIA設(shè)備。另外，擴(kuò)展卡22可以是供電子設(shè)備10的提供移動電話能力的實施例使用的用戶識別模塊(SIM)卡。
電子設(shè)備10還包括網(wǎng)絡(luò)設(shè)備24，它可以是通過無線802. 11標(biāo)準(zhǔn)，或者任何其它適當(dāng)?shù)倪B網(wǎng)標(biāo)準(zhǔn)提供網(wǎng)絡(luò)連通性的網(wǎng)絡(luò)控制器或網(wǎng)絡(luò)接口卡(NIC)，其它適當(dāng)?shù)倪B網(wǎng)標(biāo)準(zhǔn)比如是局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)，例如增強(qiáng)數(shù)據(jù)速率GSM演進(jìn)(EDGE)網(wǎng)絡(luò)，3G數(shù)據(jù)網(wǎng)絡(luò)或因特網(wǎng)。在一些實施例中，網(wǎng)絡(luò)設(shè)備24可提供與在線數(shù)字媒體內(nèi)容提供者，比如可從蘋果公司得到的iTunes 音樂服務(wù)的連接。
設(shè)備10的電源26可包括按非便攜式和便攜式設(shè)置向設(shè)備10供電的能力。例如， 在便攜式設(shè)置中，設(shè)備10可包括向設(shè)備10供電的一個或多個電池，比如鋰離子電池。通過把設(shè)備10連接到外部電源，比如連接到壁裝電源插座，電池可被再充電。在非便攜式設(shè)置中，電源26可包括被配置成從壁裝電源插座抽取電力，并且向非便攜式電子設(shè)備(比如桌上型計算系統(tǒng))的各個組件分配電力的電源單元(PSU)。
顯示器28可用于顯示設(shè)備10生成的各種圖像，比如操作系統(tǒng)的⑶I，或者圖像處理電路32處理的圖像數(shù)據(jù)(包括靜止圖像和視頻數(shù)據(jù))，如下進(jìn)一步所述。如上所述，圖像數(shù)據(jù)可包括利用成像設(shè)備30獲得的圖像數(shù)據(jù)，或者從存儲器18和/或非易失性存儲設(shè)備20取回的圖像數(shù)據(jù)。顯示器28可以是任何適當(dāng)類型的顯示器，比如，例如液晶顯示器 (LCD)、等離子體顯示器、或者有機(jī)發(fā)光二極管(OLED)顯示器。另外，如上所述，可以結(jié)合上述觸敏機(jī)構(gòu)(例如，觸摸屏)設(shè)置顯示器28，所述觸敏機(jī)構(gòu)起電子設(shè)備10的控制界面的一部分的作用。
可以被配置成獲得靜止圖像和運動圖像(例如視頻)的數(shù)字照相機(jī)的形式，提供圖解所示的成像設(shè)備30。照相機(jī)30可包括鏡頭，和被配置成捕捉光并把光轉(zhuǎn)換成電信號的一個或多個圖像傳感器。例如，圖像傳感器可包括CMOS圖像傳感器(例如，CMOS有源像素傳感器(APS))或者CCD(電荷耦合器件)傳感器。通常，照相機(jī)30中的圖像傳感器包括具有像素陣列的集成電路，其中，每個像素包括感測光的光電探測器。本領(lǐng)域的技術(shù)人員將認(rèn)識到，成像像素中的光電探測器通常探測經(jīng)照相機(jī)鏡頭捕捉的光的強(qiáng)度。不過，光電探測器本身通常不能檢測捕捉的光的波長，從而不能確定顏色信息。
因此，圖像傳感器還包括覆蓋或者置于圖像傳感器的像素陣列上，以捕捉顏色信息的色彩濾鏡陣列(CFA)。色彩濾鏡陣列可包括微小色彩濾鏡的陣列，每個色彩濾鏡可重疊在圖像傳感器的相應(yīng)像素上，并按波長過濾捕捉的光。從而，當(dāng)結(jié)合使用時，色彩濾鏡陣列和光電探測器可提供關(guān)于通過照相機(jī)捕捉的光的波長和強(qiáng)度信息，所述光可以代表捕捉的圖像。
在一個實施例中，色彩濾鏡陣列可包括Bayer色彩濾鏡陣列，它提供為50 %綠色元素,25%紅色元素和25%藍(lán)色元素的濾波模式。例如，圖2表示Bayer CFA的2X2像素塊，它包括2個綠色元素(Gr和Gb)、I個紅色元素(R)和一個藍(lán)色元素(B)。從而,利用 Bayer色彩濾鏡陣列的圖像傳感器可提供關(guān)于照相機(jī)30在綠色、紅色和藍(lán)色波長下接收的光的強(qiáng)度有關(guān)的信息，從而每個圖像像素只記錄三種顏色(RGB)之一。隨后可利用一種或多種去馬賽克技術(shù)處理該信息(可被稱為“原始圖像數(shù)據(jù)”或者“原始域”中的數(shù)據(jù))，以把原始圖像數(shù)據(jù)轉(zhuǎn)換成全色圖像，通常是通過對于每個像素內(nèi)插一組紅色、綠色和藍(lán)色值進(jìn)行的。如下進(jìn)一步所述，這種去馬賽克技術(shù)由圖像處理電路32執(zhí)行。
如上所述，圖像處理電路32可提供各種圖像處理步驟，比如缺陷像素檢測/校正、 透鏡陰影校正、去馬賽克、圖像銳化、降噪、伽馬校正、圖像增強(qiáng)、顏色空間變換、圖像壓縮、 色度子采樣和圖像比例縮放操作等等。在一些實施例中，圖像處理電路32可包括各種子組件和/或離散邏輯器單元，所述子組件和/或離散邏輯器單元共同構(gòu)成執(zhí)行各種圖像處理步驟中的每一種的圖像處理“管線”。這些子組件可以利用硬件(例如，數(shù)字信號處理器或 ASIC)或者軟件實現(xiàn)，或者借助硬件和軟件組件的組合實現(xiàn)。圖像處理電路32可提供的各種圖像處理操作，尤其是與缺陷像素檢測/校正、透鏡陰影校正、去馬賽克和圖像銳化相關(guān)的那些處理操作將在下面更詳細(xì)地說明。
在繼續(xù)進(jìn)行說明之前，應(yīng)注意，雖然下面說明的各種圖像處理技術(shù)的各個實施例可利用Bayer CFA，不過目前公開的技術(shù)并不意圖局限于此。事實上，本領(lǐng)域的技術(shù)人員將認(rèn)識到這里提供的圖像處理技術(shù)適合于任何適當(dāng)類型的色彩濾鏡陣列，包括RGBW濾鏡、 CYGM濾鏡等等。
重新參見電子設(shè)備10，圖3-6圖解說明電子設(shè)備10可以采取的各種形式。如上所述，電子設(shè)備10可以采取計算機(jī)的形式，包括通常便攜的計算機(jī)(比如膝上型、筆記本和平板計算機(jī))，以及通常不便攜的計算機(jī)(比如桌上型計算機(jī)、工作站和/或服務(wù)器)，或者其它類型的電子設(shè)備，比如手持便攜式電子設(shè)備(例如，數(shù)字媒體播放器或移動電話機(jī))。特別地，圖3和4分別描述呈膝上型計算機(jī)40和桌上型計算機(jī)50形式的電子設(shè)備10。圖5 和6分別表示呈手持便攜式設(shè)備60形式的電子設(shè)備10的正視圖和后視圖。
如圖3中所示，描述的膝上型計算機(jī)40包括機(jī)殼42、顯示器28、1/0端口 12和輸入結(jié)構(gòu)14。輸入結(jié)構(gòu)14可包括與機(jī)殼42 —體化的鍵盤和觸摸板鼠標(biāo)。另外，輸入結(jié)構(gòu)14 可包括各種其它按鈕和/或開關(guān)，所述各種其它按鈕和/或開關(guān)可用于與計算機(jī)40交互， 比如使計算機(jī)通電或啟動計算機(jī)，操作GUI或者在計算機(jī)40上運行的應(yīng)用，以及調(diào)整與計算機(jī)40的操作相關(guān)的各個其它方面(例如，音量、顯示明度等)。計算機(jī)40還可包括提供與如上所述的其它設(shè)備的連通性的各種i/o端口 12，比如FireWire 或USB端口、高分辨率多媒體接口(HDMI)端口、或者適合于連接到外部設(shè)備的任何其它類型的端口。另外，如上關(guān)于圖I所述，計算機(jī)40可包括網(wǎng)絡(luò)連通性(例如，網(wǎng)絡(luò)設(shè)備26)、存儲器(例如，存儲器 20)，和存儲能力(例如，存儲設(shè)備22)。
此外，在圖解說明的實施例中，膝上型計算機(jī)40可包括一體式成像設(shè)備30 (例如，照相機(jī))。在其它實施例中，代替或者除了一體式照相機(jī)30之外，膝上型計算機(jī)40可以利用連接到一個或多個I/O端口 12的外部照相機(jī)(例如，外部USB照相機(jī)或“網(wǎng)絡(luò)照相機(jī)(webcam)”)。例如，外部照相機(jī)可以是可從蘋果公司獲得的iSight 照相機(jī)。照相機(jī)30(不論是一體的，還是外部的)可提供圖像的捕捉和記錄。這樣的圖像隨后可由用戶利用圖像觀看應(yīng)用觀看，或者可被其它應(yīng)用使用，所述其它應(yīng)用包括視頻會議應(yīng)用(比如 iChat )和圖像編輯 / 觀看應(yīng)用(比如 Photo Booth 、Aperture 、iPhoto 或者Preview )，這些應(yīng)用程序可從蘋果公司獲得。在一些實施例中，描述的膝上型計算機(jī)40可以是可從蘋果公司獲得的某種型號的MacBook 、MacBook Pr0、 MacBook Air 或者PowerBook 。另外，在一個實施例中，計算機(jī)40可以是便攜式平板計算設(shè)備，比如也可從蘋果公司獲得的某種型號的iPad 平板計算機(jī)。
圖4還圖解說明其中以桌上型計算機(jī)50的形式提供電子設(shè)備10的實施例。要認(rèn)識到，桌上型計算機(jī)50可包括許多大體與圖4中所示的膝上型計算機(jī)40提供的那些特征類似的特征，不過可具有通常更大的整體形狀因子。如圖所示，桌上型計算機(jī)50可被置于外殼42中，所述外殼42包括顯示器28，以及上面關(guān)于圖I中所示的方框圖討論的各種其它組件。此外，桌上型計算機(jī)50可包括可以通過一個或多個1/0端口 12(例如，USB)與計算機(jī)50耦接，或者可以與計算機(jī)50無線(例如，RF、藍(lán)牙等)通信的外部鍵盤和鼠標(biāo)(輸入結(jié)構(gòu)14)。桌上型計算機(jī)50還包括成像設(shè)備30，如上所述，成像設(shè)備30可以是一體式或外部照相機(jī)。在一些實施例中，描述的桌上型計算機(jī)50可以是可從蘋果公司獲得的某種型號的iMac 、Mac mini 或 Mac Pro 。
如圖進(jìn)一步所示，顯示器28可被配置成生成可由用戶觀看的各種圖像。例如，在計算機(jī)50的工作期間，顯示器28可顯示圖形用戶界面(“⑶1”)52，⑶I 52允許用戶與在計算機(jī)50上運行的操作系統(tǒng)和/或應(yīng)用交互。GUI 52可包括可以顯示在整個或者部分顯示器28中的各種層、窗口、屏幕、模板或其它圖形元素。例如，在描述的實施例中，操作系統(tǒng) GUI 52可包括各種圖形圖標(biāo)54，每個圖形圖標(biāo)54對應(yīng)于當(dāng)檢測到用戶選擇(例如，借助鍵盤/鼠標(biāo)或觸摸屏輸入)時，被打開或執(zhí)行的各種應(yīng)用。圖標(biāo)54可被顯示在塢站(dock) 56 中，或者被顯示在顯示于屏幕上的一個或多個圖形窗口元素58內(nèi)。在一些實施例中，圖標(biāo) 54的選擇可通向分級導(dǎo)航處理，從而圖標(biāo)54的選擇通向屏幕，或者打開包括一個或多個另外的圖標(biāo)或其它GUI元素的另一個圖形窗口。例如，顯示在圖4中的操作系統(tǒng)GUI 52可以源自可從蘋果公司獲得的某種版本的Mac OS 操作系統(tǒng)。
繼續(xù)參見圖5和6，圖中進(jìn)一步以便攜式手持電子設(shè)備60的形式圖解說明了電子設(shè)備10，所述便攜式手持電子設(shè)備60可以是可從蘋果公司獲得的某種型號的iPod 或 iPhone 。在所描述的實施例中，手持設(shè)備60包括殼體42,殼體42可保護(hù)內(nèi)部組件免受物理損壞，和屏蔽內(nèi)部組件使其不受電磁干擾的影響。殼體42可以用任何適當(dāng)?shù)牟牧?，或者多種材料的組合構(gòu)成，所述材料比如是塑料、金屬或復(fù)合材料，并且可以允許某些頻率的電磁輻射(比如無線連網(wǎng)信號)通過，從而到達(dá)置于殼體42內(nèi)的無線通信電路(例如，網(wǎng)絡(luò)設(shè)備24)，如圖5中所示。
殼體42還包括各種用戶輸入結(jié)構(gòu)14，通過用戶輸入結(jié)構(gòu)14，用戶可以與手持設(shè)備 60交互。例如，每個輸入結(jié)構(gòu)14可被配置成當(dāng)被按下或啟動時，控制一個或多個相應(yīng)設(shè)備功能。例如，一個或多個輸入結(jié)構(gòu)14可被配置成調(diào)用“主”屏幕，或者要顯示的菜單，在睡眠、喚醒或者通電/斷電模式之間切換，使蜂窩電話機(jī)應(yīng)用的鈴聲靜音，增大或減小音量輸出等等。應(yīng)明白，圖解說明的輸入結(jié)構(gòu)14僅僅是例證性的，并且手持設(shè)備60可包括以各種形式(包括按鈕、開關(guān)、按鍵、旋鈕、滾輪等)存在的許多適當(dāng)?shù)挠脩糨斎虢Y(jié)構(gòu)。
如圖5中所示，手持設(shè)備60可包括各種I/O端口 12。例如，描述的I/O端口 12可包括傳送和接收數(shù)據(jù)文件，或者對電源26充電的專用連接端口 12a，和使設(shè)備60與音頻輸出設(shè)備(例如，頭戴式收話器或揚(yáng)聲器)連接的音頻連接端口 12b。此外，在手持設(shè)備60提供移動電話功能的實施例中，設(shè)備60可包括接納用戶識別模塊(SIM)卡(例如，擴(kuò)展卡22) 的 I/O 端口 12c。
顯示器設(shè)備28(它可以是IXD、OLED或者任何適當(dāng)類型的顯示器)可以顯示手持設(shè)備60生成的各種圖像。例如，顯示器28可顯示向用戶提供關(guān)于手持設(shè)備60的一個或多個狀態(tài)(比如電源狀態(tài)、信號強(qiáng)度、外部設(shè)備連接等等)的反饋的各種系統(tǒng)指示符64。顯示器還可顯示如下參考圖4所述，允許用戶與設(shè)備60交互的⑶I 52。⑶I 52可包括圖形元素，比如圖標(biāo)54，圖標(biāo)54與當(dāng)檢測到用戶選擇相應(yīng)圖標(biāo)54時，可被打開或運行的各種應(yīng)用相對應(yīng)。例如，圖標(biāo)54之一可代表可以結(jié)合照相機(jī)30(圖5中用虛線表示)使用，以便獲得圖像的照相機(jī)應(yīng)用66。簡要地參見圖6，圖中圖解說明了圖5中所示的手持電子設(shè)備60 的后視圖，該圖把照相機(jī)30表不成與機(jī)殼42 —體化,并被置于手持設(shè)備60的背面。
如上所述，利用圖像處理電路32可以處理利用照相機(jī)30獲得的圖像數(shù)據(jù)，圖像處理電路32可包括硬件(例如，置于殼體42內(nèi))和/或保存在設(shè)備60的一個或多個存儲器 (例如，存儲器18或非易失性存儲設(shè)備20)上的軟件。利用照相機(jī)應(yīng)用66和照相機(jī)30獲得的圖像可保存在設(shè)備60上(例如，保存在存儲設(shè)備20中)，并且可在稍后利用照片觀看應(yīng)用68觀看。
手持設(shè)備60還可包括各種音頻輸入和輸出部件。例如，由附圖標(biāo)記70表示的音頻輸入/輸出部件可包括輸入接收器，比如一個或多個麥克風(fēng)。例如，在手持設(shè)備60包括蜂窩電話功能的情況下，輸入接收器可被配置成接收用戶音頻輸入，比如用戶的話音。另外， 音頻輸入/輸出部件70可包括一個或多個輸出發(fā)送器。這樣的輸出發(fā)送器可包括一個或多個揚(yáng)聲器，所述揚(yáng)聲器可用于向用戶傳送音頻信號，比如在利用媒體播放器應(yīng)用72重放音樂數(shù)據(jù)期間。此外，在手持設(shè)備60包括蜂窩電話應(yīng)用的實施例中，可以設(shè)置另外的音頻輸出發(fā)送器74,如圖5中所不。類似于音頻輸入/輸出部件70的輸出發(fā)送器,輸出發(fā)送器 74也包括被配置成向用戶傳送音頻信號，比如在電話通話期間接收的話音數(shù)據(jù)的一個或多個揚(yáng)聲器。從而，音頻輸入/輸出部件70和74可以一起工作，起電話機(jī)的音頻接收和發(fā)送部件的作用。
在提供了關(guān)于電子設(shè)備10可以采取的各種形式的一些背景的情況下，下面的討論將專注于圖I中描述的圖像處理電路32。如上所述，圖像處理電路32可以利用硬件和/ 或軟件組件實現(xiàn)，并且可包括定義圖像信號處理(ISP)管線的各種處理單元。特別地，下面討論將專注于在本公開中陳述的圖像處理技術(shù)的各個方面，尤其是涉及缺陷像素檢測/校正技術(shù)、透鏡陰影校正技術(shù)、去馬賽克技術(shù)和圖像銳化技術(shù)的方面。
現(xiàn)在參見圖7，按照目前公開技術(shù)的一個實施例，圖解說明描述可實現(xiàn)成圖像處理電路32的一部分的若干功能組件的簡化高級方框圖。特別地，圖7意解說明按照至少一個實施例，圖像數(shù)據(jù)是如何流過圖像處理電路32的。為了提供圖像處理電路32的概述， 這里參考圖7提供了這些功能組件如何工作以處理圖像數(shù)據(jù)的一般性描述，而每個圖解說明的功能組件的更具體說明以及它們相應(yīng)的子組件將在下面進(jìn)一步提供。
參見圖解說明的實施例，圖像處理電路32可以包括圖像信號處理(ISP)前端處理邏輯器80、ISP管道處理邏輯器82和控制邏輯器84。成像設(shè)備30捕捉的圖像數(shù)據(jù)可以首先由ISP前端邏輯器80處理，并對其進(jìn)行分析以捕捉可用于確定ISP管道邏輯器82和/或成像設(shè)備30的一個或多個控制參數(shù)的圖像統(tǒng)計信息。ISP前端邏輯器80可被配置成從圖像傳感器輸入信號捕捉圖像數(shù)據(jù)。例如，如圖7中所示，成像設(shè)備30可包括具有一個或多個透鏡88和圖像傳感器90的照相機(jī)。如上所述，圖像傳感器90可包括色彩濾鏡陣列(例如，Bayer濾鏡)，從而可提供用圖像傳感器90的每個成像像素捕捉的光強(qiáng)度和波長信息， 以提供可由ISP前端邏輯器80處理的一組原始圖像數(shù)據(jù)。例如，成像設(shè)備30的輸出92可被傳感器接口 94接收，傳感器接口 94接著可基于例如傳感器接口類型把原始圖像數(shù)據(jù)96 提供給ISP前端邏輯器80。例如，傳感器接口 94可以利用標(biāo)準(zhǔn)移動成像架構(gòu)(SMIA)接口或者其它串行或并行照相機(jī)接口，或者它們的某種組合。在一些實施例中，ISP前端邏輯器 80可在它自己的時鐘域內(nèi)工作，并且可向傳感器接口 94提供異步接口，以支持大小和定時要求不同的圖像傳感器。在一些實施例中，傳感器接口 94可包括在傳感器側(cè)的子接口(例如，傳感器側(cè)接口)和在ISP前端側(cè)的子接口，所述子接口構(gòu)成傳感器接口 94。
原始圖像數(shù)據(jù)96可被提供給ISP前端邏輯器80，并按多種格式逐個像素地處理。 例如，每個圖像像素可具有8、10、12或14比特的位深度。表示在存儲器中如何保存和尋址像素數(shù)據(jù)的存儲格式的各種例子將在下面進(jìn)一步詳細(xì)討論。ISP前端邏輯器80可對原始圖像數(shù)據(jù)96進(jìn)行一個或多個圖像處理操作，以及收集關(guān)于圖像數(shù)據(jù)96的統(tǒng)計信息?？砂聪嗤虿煌奈簧疃染冗M(jìn)行圖像處理操作，以及統(tǒng)計數(shù)據(jù)的收集。例如，在一個實施例中， 可以14比特的精度進(jìn)行原始圖像像素數(shù)據(jù)96的處理。在這種實施例中，ISP前端邏輯器 80接收的位深度小于14比特(例如，8比特、10比特、12比特)的原始像素數(shù)據(jù)可被上采樣到14比特，以便進(jìn)行圖像處理。在另一個實施例中，可以8比特的精度進(jìn)行統(tǒng)計處理，從而，具有較高位深度的原始像素數(shù)據(jù)可被下采樣成8比特格式，以供統(tǒng)計。要認(rèn)識到，下采樣到8比特可減小硬件尺寸(例如，面積)，還降低關(guān)于統(tǒng)計數(shù)據(jù)的處理/計算復(fù)雜性。另外，可在空間上平均原始圖像數(shù)據(jù)，以使統(tǒng)計數(shù)據(jù)對噪聲的魯棒性更高。
此外，如圖7中所示，ISP前端邏輯器80還可從存儲器108接收像素數(shù)據(jù)。例如， 如附圖標(biāo)記98所示，原始像素數(shù)據(jù)可從傳感器接口 94被發(fā)送給存儲器108。駐留在存儲器108中的原始像素數(shù)據(jù)隨后可被提供給ISP前端邏輯器80以供處理，如附圖標(biāo)記100所示。存儲器108可以是存儲器裝置18的一部分、存儲設(shè)備20，或者可以是電子設(shè)備10內(nèi)的獨立的專用存儲器，并且可包括直接存儲器存取(DMA)特征。此外，在一些實施例中，ISP 前端邏輯器80可在它自己的時鐘域內(nèi)工作，并且可向傳感器接口 94提供異步接口，以支持大小不同并且具有不同的定時要求的傳感器。
當(dāng)收到原始圖像數(shù)據(jù)96 (來自傳感器接口 94)或100 (來自存儲器108)時，ISP前端邏輯器80可進(jìn)行一個或多個圖像處理操作，比如時域濾波和/或箱化補(bǔ)償濾波。處理后的圖像數(shù)據(jù)隨后可被提供給ISP管道邏輯器82 (輸出信號109)，以便在被顯示(例如，顯示在顯示器設(shè)備28上)之前進(jìn)行另外的處理，或者可被發(fā)送給存儲器(輸出信號110)。ISP 管道邏輯器82或者直接從ISP前端邏輯器80接收“前端”處理數(shù)據(jù)，或者從存儲器108接收“前端”處理數(shù)據(jù)(輸入信號112)，并且可提供原始域中以及RGB和YCbCr顏色空間中的圖像數(shù)據(jù)的其它處理。ISP管道邏輯器82處理的圖像數(shù)據(jù)隨后可被輸出給顯示器28 (信號 114)，以供用戶觀看和/或可由圖形引擎或GPU進(jìn)一步處理。另外，ISP管道邏輯器82的輸出可被發(fā)送給存儲器108 (信號115)，并且顯示器28可從存儲器108讀取圖像數(shù)據(jù)(信號116)，在一些實施例中，存儲器108可被配置成實現(xiàn)一個或多個幀緩沖器。此外，在一些實現(xiàn)中，ISP管道邏輯器82的輸出可被提供給壓縮/解壓縮引擎118 (信號117)，以便編碼 /解碼圖像數(shù)據(jù)。編碼的圖像數(shù)據(jù)可被保存，稍后在被顯示在顯示器設(shè)備28上(信號119) 之前被解壓縮。例如，壓縮引擎或“編碼器”118可以是用于編碼靜止圖像的JPEG壓縮引擎、或者編碼視頻圖像的a 264壓縮引擎、或者它們的某種組合、以及解碼圖像數(shù)據(jù)的對應(yīng)解壓縮引擎。關(guān)于可在ISP管道邏輯器82中提供的圖像處理操作的額外信息將在下面參考圖98-133更詳細(xì)地討論。另外，應(yīng)注意，ISP管道邏輯器82還可從存儲器108接收原始圖像數(shù)據(jù)，如由輸入信號112所示。
ISP前端邏輯器80確定的統(tǒng)計數(shù)據(jù)102可被提供給控制邏輯器單元84。例如，統(tǒng)計數(shù)據(jù)102可包括涉及自動曝光、自動白平衡、自動聚焦、閃爍檢測、黑電平補(bǔ)償(BLC)、透鏡陰影校正等等的圖像傳感器統(tǒng)計信息?？刂七壿嬈?4可包括被配置成執(zhí)行一個或多個例程(例如，固件)的處理器和/或微控制器，所述一個或多個例程可以被配置成根據(jù)接收的統(tǒng)計數(shù)據(jù)102，確定成像設(shè)備30的控制參數(shù)104，以及ISP管道邏輯器82的控制參數(shù)106。 例如，控制參數(shù)104可包括傳感器控制參數(shù)(例如，增益、曝光控制的積分時間)、照相機(jī)閃光控制參數(shù)、透鏡控制參數(shù)(例如，聚焦或變焦用焦距)、或者這些參數(shù)的組合。ISP控制參數(shù)106可包括用于自動白平衡和顏色調(diào)整(例如，在RGB處理期間)的增益水平和色彩校正矩陣(CCM)，以及透鏡陰影校正參數(shù)，如下所述，透鏡陰影校正參數(shù)可以是根據(jù)白點平衡參數(shù)確定的。在一些實施例中，除了分析統(tǒng)計數(shù)據(jù)102之外，控制邏輯器84還可以分析歷史統(tǒng)計信息，所述歷史統(tǒng)計信息可保存在電子設(shè)備10上(例如，保存在存儲器18或存儲設(shè)備20中)。
參見圖解說明的實施例，圖像處理電路32可包括信號處理(ISP)前端處理邏輯器 80、ISP管道處理邏輯器82和控制邏輯器84。成像設(shè)備30捕捉的圖像數(shù)據(jù)首先可由ISP 前端邏輯器80處理，并被分析以捕捉可用于確定ISP管道邏輯器82和/或成像設(shè)備30的一個或多個控制參數(shù)的圖像統(tǒng)計信息。ISP前端邏輯器80可被配置成從圖像傳感器輸入信號中捕捉圖像數(shù)據(jù)。例如，如圖7中所示，成像設(shè)備30可包括具有一個或多個透鏡88和圖像傳感器90的照相機(jī)。如上所述，圖像傳感器90可包括色彩濾鏡陣列(例如，Bayer濾鏡)，從而可提供用圖像傳感器90的每個成像像素捕捉的光強(qiáng)度和波長信息，以提供可由 ISP前端邏輯器80處理的一組原始圖像數(shù)據(jù)。例如，成像設(shè)備30的輸出92可被傳感器接口 94接收，傳感器接口 94隨后把原始圖像數(shù)據(jù)96提供給基于例如傳感器接口類型的ISP 前端邏輯器80。例如，傳感器接口 94可以利用標(biāo)準(zhǔn)移動成像架構(gòu)(SMIA)接口，或者其它串行或并行照相機(jī)接口，或者它們的某種組合。在一些實施例中，ISP前端邏輯器80可在它自己的時鐘域內(nèi)工作，并且可向傳感器接口 94提供異步接口，以支持大小和定時要求不同的圖像傳感器。
圖8表示描述圖像處理電路32的另一個實施例的方框圖，其中，相同的組件用相同的附圖標(biāo)記表示。一般來說，圖8的圖像處理電路32的操作和功能與圖7的圖像處理電路32類似，除了圖8中所示的實施例還包括ISP后端處理邏輯器單元120之外，ISP后端處理邏輯器單元120可耦接在ISP管線82的下游并且提供另外的后處理步驟。
在圖解說明的實施例中，ISP后端邏輯器120可從ISP管線82接收輸出114，并對接收的數(shù)據(jù)114進(jìn)行后處理。另外，ISP后端120可直接從存儲器108接收圖像數(shù)據(jù)，如輸 A 124所示。如下參考圖134-142進(jìn)一步所述，ISP后端邏輯器120的一個實施例可提供圖像數(shù)據(jù)的動態(tài)范圍壓縮(通常稱為“色調(diào)映射”)、明度、對比度和顏色調(diào)整、以及把圖像數(shù)據(jù)比例縮放到期望的尺寸或分辨率(例如，根據(jù)輸出顯示器設(shè)備的分辨率)的比例縮放邏輯器。此外，ISP后端邏輯器120還可包括檢測圖像數(shù)據(jù)中的某些特征的特征檢測邏輯器。 例如，在一個實施例中，特征檢測邏輯器可包括被配置成識別圖像數(shù)據(jù)內(nèi)，面部和/或面部特征位于和/或置于的區(qū)域的面部檢測邏輯器。面部檢測數(shù)據(jù)可被提供給前端統(tǒng)計信息處理單元，作為用于確定自動白平衡、自動聚焦、閃爍和自動曝光統(tǒng)計信息的反饋數(shù)據(jù)。例如， ISP前端80中的統(tǒng)計信息處理單元(下面在圖68-97中更詳細(xì)地討論)可被配置成根據(jù)確定的圖像數(shù)據(jù)中的面部和/或面部特征的位置，選擇用于統(tǒng)計信息處理的窗口。
在一些實施例中，代替或者除了被反饋給ISP前端統(tǒng)計信息反饋控制回路之外， 面部檢測數(shù)據(jù)也可被提供給局部色調(diào)映射處理邏輯器、ISP后端統(tǒng)計信息單元、或者編碼器 /解碼器單元118中至少之一。如下進(jìn)一步所述，提供給后端統(tǒng)計信息單元的面部檢測數(shù)據(jù)可被用于控制量化參數(shù)。例如，當(dāng)編碼或壓縮輸出圖像數(shù)據(jù)(例如，在宏塊中)時，對于圖像的已確定為包括面部和/或面部特征的區(qū)域，可以減少量化，從而當(dāng)用戶顯示和觀看圖像時，提高面部和面部特征的視覺質(zhì)量。
在其它實施例中，特征檢測邏輯器還可被配置成檢測圖像幀中的對象的角落的位置。該數(shù)據(jù)可用于識別連續(xù)圖像幀中的特征的位置，以確定各幀之間的全局運動的估計，這可用于進(jìn)行某些圖像處理操作，比如圖像配準(zhǔn)。在一個實施例中，角落特征等的識別可能對于組合多個圖像幀的算法(比如某些高動態(tài)范圍(HDR)成像算法，以及某些全景拼接算法) 特別有用。
此外，如圖8中所示，ISP后端邏輯器120處理的圖像數(shù)據(jù)可被輸出給顯示器設(shè)備 28(信號126)，以供用戶觀看，和/或可被圖形引擎或GPU進(jìn)一步處理。另外，ISP后端邏輯器120的輸出可被發(fā)送給存儲器108 (信號122)，并且顯示器28可從存儲器108讀取圖像數(shù)據(jù)(信號116)，在一些實施例中，存儲器108可被配置成實現(xiàn)一個或多個幀緩沖器。在圖解說明的實施例中，ISP后端邏輯器120的輸出還可被提供給壓縮/解壓縮引擎118 (信號117)，以編碼/解碼圖像數(shù)據(jù)，供存儲和隨后重放之用，如上面大體在圖7中所述。在其它實施例中，圖8的ISB子系統(tǒng)32可具有旁路ISP后端處理單元120的選項。在這樣的實施例中，如果后端處理單元120被旁路，那么圖8的ISP子系統(tǒng)32可按照和圖7中所示類似的方式工作，即，ISP管線82的輸出被直接/間接發(fā)送到存儲器108、編碼器/解碼器118 或顯示器28中的一個或多個。
在圖7和圖8中所示的實施例中描述的圖像處理技術(shù)可大體利用圖9中的流程圖中描述的方法130概述。如圖所示，方法130始于方框132，在方框132，利用傳感器接口， 從圖像傳感器(例如，90)接收原始圖像數(shù)據(jù)(例如，Bayer模式數(shù)據(jù))。在方框134，利用 ISP前端邏輯器80處理在步驟132接收的原始圖像數(shù)據(jù)。如上所述，ISP前端邏輯器80可被配置成應(yīng)用時域濾波、箱化補(bǔ)償濾波。隨后在步驟136，ISP前端邏輯器80處理的原始圖像數(shù)據(jù)可被ISP管線82進(jìn)一步處理，ISP管線82可進(jìn)行各種處理步驟，以把原始圖像數(shù)據(jù)去馬賽克成全色RGB數(shù)據(jù)，并且進(jìn)一步把RGB顏色數(shù)據(jù)轉(zhuǎn)換到Y(jié)UV或YC1C2顏色空間(其中Cl和C2代表不同的色度差顏色，其中，在一個實施例中，Cl和C2可代表藍(lán)色色差(Cb) 和紅色色差(Cr)色度)。
從步驟136，方法130可以繼續(xù)到步驟138，或者繼續(xù)到步驟140。例如，在ISP管線82的輸出被提供給顯示器設(shè)備28的實施例(圖7)中，方法130繼續(xù)到步驟140，在步驟 140，利用顯示器設(shè)備28顯示YC1C2圖像數(shù)據(jù)(或者把YC1C2圖像數(shù)據(jù)從ISP管線82發(fā)送給存儲器108)。另一方面，在用ISP后端單元120對ISP管線82的輸出進(jìn)行后處理的實施例(圖8)中，方法130可從步驟136繼續(xù)到步驟138，在步驟138，利用ISP后端處理邏輯器120處理ISP管線182的YC1C2輸出，隨后在步驟140用顯示器設(shè)備顯示。
由于這里所示的圖像處理電路32的一般復(fù)雜的設(shè)計，有益的是把ISP前端邏輯器 80、ISP管道處理邏輯器82 (或ISP管線)和ISP后端處理邏輯器120的討論分成多個獨立的部分，如下所示。特別地，本申請的圖10-97可以涉及ISP前端邏輯器80的各個實施例和各個方面的討論，本申請的圖98-133可以涉及ISP管道處理邏輯器82的各個實施例和各個方面的討論，圖134-142可以涉及ISP后端邏輯器120的各個實施例和各個方面的討論。
ISP前端處理邏輯器
圖10是按照一個實施例，更詳細(xì)地表示可在ISP前端邏輯器80中實現(xiàn)的功能邏輯器塊的方框圖?；诔上裨O(shè)備30和/或傳感器接口 94的結(jié)構(gòu)，如上在圖7中所述，原始圖像數(shù)據(jù)可由一個或多個圖像傳感器90提供給ISP前端邏輯器80。在描述的實施例中， 原始圖像數(shù)據(jù)可由第一圖像傳感器90a (SensorO)和第二圖像傳感器90b (Sensorl)提供給 ISP前端邏輯器80。如下進(jìn)一步所述，每個圖像傳感器90a和90b可被配置成對全分辨率圖像數(shù)據(jù)應(yīng)用箱化，以便提高圖像信號的信噪比。例如，可以應(yīng)用諸如2X2箱化之類的箱化技術(shù)，所述箱化技術(shù)可以內(nèi)插以相同顏色的4個全分辨率圖像像素為基礎(chǔ)的“箱化的”原始圖像像素。在一個實施例中，這會導(dǎo)致相對于單個噪聲分量，存在與箱化的像素相關(guān)的4個累積信號分量，從而提高圖像數(shù)據(jù)的信噪比，不過降低總分辨率。另外，箱化還會可能導(dǎo)致圖像數(shù)據(jù)的不均勻或不一致的空間采樣，這可利用箱化補(bǔ)償濾波來校正，如下更詳細(xì)所述。
如圖所示，圖像傳感器90a和90b可分別提供作為信號SifO和Sifl的原始圖像數(shù)據(jù)。每個圖像傳感器90a和90b可大體與相應(yīng)的統(tǒng)計信息處理單元142 (StatsPipeO) 和 144 (StatsPipel)關(guān)聯(lián)，統(tǒng)計信息處理單兀 142 (StatsPipeO)和 144 (StatsPipel)可被配置成處理圖像數(shù)據(jù)，以確定一組或多組統(tǒng)計信息(如信號StatsO和Statsl所示)，包括與自動曝光、自動白平衡、自動聚焦、閃爍檢測、黑電平補(bǔ)償和透鏡陰影校正等等相關(guān)的統(tǒng)計信息。在一些實施例中，當(dāng)只有傳感器90a或90b之一在有效地獲取圖像時，如果需要另外的統(tǒng)計信息，那么圖像數(shù)據(jù)可被發(fā)給StatsPipeO和StatsPipel。例如,舉例來說,如果StatsPipeO和StatsPipel都可用，那么可以利用StatsPipeO收集一個顏色空間(例如 RGB)的統(tǒng)計信息，并且利用StatsPipel收集另一個顏色空間(例如，YUV或YCbCr)的統(tǒng)計信息。即，統(tǒng)計信息處理單元142和144可以并行工作，以收集有效傳感器獲得的圖像數(shù)據(jù)的每一幀的多組統(tǒng)計信息。
在本實施例中，在ISP前端80中提供5個異步數(shù)據(jù)源。這些包括(I)來自對應(yīng)于SensorO (90a)的傳感器接口的直接輸入(稱為SifO或SensO)，(2)來自對應(yīng)于 Sensorl (90b)的傳感器接口的直接輸入(稱為Sifl或Sensl)，(3)來自存儲器108的 SensorO數(shù)據(jù)輸入(稱為Sif InO或SensODMA)，存儲器108可包括DMA接口，(4)來自存儲器108的Sensorl數(shù)據(jù)輸入(稱為SifInO或SenslDMA)，和(5)具有來自從存儲器108取回的SensorO和Sensorl數(shù)據(jù)輸入的各巾貞的一組圖像數(shù)據(jù)(稱為FeProcIn或ProcInDMA)。 ISP前端80還可包括來自多個源的圖像數(shù)據(jù)可被發(fā)送到的多個目的地，其中，每個目的地可以是存儲器(例如，108)中的存儲位置，或者是處理單元。例如，在本實施例中，ISP前端80包括6個目的地(I)接收存儲器108中的SensorO數(shù)據(jù)的SifODMA，(2)接收存儲器 108中的Sensorl數(shù)據(jù)的SiflDMA, (3)第一統(tǒng)計信息處理單元142 (StatsPipeO), (4)第二統(tǒng)計信息處理單元144 (StatsPipel)，(5)前端像素處理單元(FEProc) 150，和(6)到存儲器108或ISP管線82的FeOut (或FEProcOut)(下面更詳細(xì)討論)。在一個實施例中，ISP前端80可被配置成使得只有某些目的地對于特定數(shù)據(jù)源有效，如下面的表I中所示。
權(quán)利要求
1.一種用于利用圖像信號處理系統(tǒng)來處理圖像數(shù)據(jù)的方法，該方法包括以下步驟 利用數(shù)字圖像傳感器來獲取原始圖像數(shù)據(jù)，該原始圖像數(shù)據(jù)包括表示圖像場景的多個原始像素；向包括一組線緩沖器的原始圖像處理管線提供所述多個原始像素；利用所述原始圖像處理管線處理所述多個原始像素，其中，利用所述原始圖像處理管線處理所述多個原始像素的步驟包括以下步驟利用在第一行邏輯器中實現(xiàn)的增益、偏移和箝位邏輯器向原始像素應(yīng)用第一組增益、 偏移和箝位參數(shù)；使用利用第一行邏輯器和所述一組線緩沖器的第一子集實現(xiàn)的缺陷像素校正邏輯器向原始像素應(yīng)用缺陷像素校正操作；使用利用所述一組線緩沖器實現(xiàn)的降噪邏輯器向原始像素應(yīng)用降噪；使用利用所述一組線緩沖器的第二子集實現(xiàn)的透鏡陰影校正邏輯器向原始像素應(yīng)用透鏡陰影校正；利用線緩沖器的第二子集向原始像素應(yīng)用第二組增益、偏移以及箝位參數(shù)；以及使用利用線緩沖器的第二子集實現(xiàn)的去馬賽克邏輯器以將原始像素去馬賽克成對應(yīng)的顏色RGB像素。
2.根據(jù)權(quán)利要求I所述的方法，其中，使用利用所述一組線緩沖器實現(xiàn)的所述降噪邏輯器向原始像素應(yīng)用降噪的步驟包括使用利用來自線緩沖器的第一子集中的至少一個線緩沖器實現(xiàn)的水平濾波器向原始像素應(yīng)用水平濾波；并且使用利用來自線緩沖器的第一子集中的至少一個線緩沖器和線緩沖器的第二子集中的至少一部分線緩沖器實現(xiàn)的垂直濾波器來應(yīng)用垂直濾波。
3.根據(jù)權(quán)利要求2所述的方法，其中，原始像素包括具有第一綠色分量和第二綠色分量的原始Bayer像素。
4.根據(jù)權(quán)利要求3所述的方法，其中，使用利用所述一組線緩沖器實現(xiàn)的所述降噪邏輯器向原始像素應(yīng)用降噪的步驟進(jìn)一步包括使用利用來自線緩沖器的第一子集中的至少一個線緩沖器實現(xiàn)的綠色不一致(GNU)校正邏輯器向原始像素應(yīng)用綠色不一致校正。
5.根據(jù)權(quán)利要求4所述的方法，其中，向原始像素應(yīng)用綠色不均勻校正的步驟包括 針對第一綠色像素，識別所述原始Bayer像素中的像素的2 X 2陣列，所述2 X 2陣列包括第一綠色像素和第二綠色像素，其中，所述第一綠色像素對應(yīng)于所述第一綠色分量，而所述第二綠色像素對應(yīng)于所述第二綠色分量；確定所述第一綠色像素的值與所述第二綠色像素的值之間的差的絕對值；確定所述絕對值是否小于綠色不均勻閾值；以及如果所述絕對值小于所述綠色不均勻閾值，則利用等于所述第一綠色像素的值和所述第二綠色像素的值的平均值的值來替換所述第一綠色像素的值。
6.根據(jù)權(quán)利要求2所述的方法，其中，所述水平濾波器包括7抽頭濾波器，并且應(yīng)用所述水平濾波的步驟包括將所述7抽頭濾波器的系數(shù)應(yīng)用于七個水平相鄰的相同顏色的原始像素。
7.根據(jù)權(quán)利要求2所述的方法，其中，所述垂直濾波器包括被配置成按遞歸模式和非遞歸模式操作的垂直濾波器。
8.根據(jù)權(quán)利要求7所述的方法，其中，向原始像素應(yīng)用垂直濾波的步驟包括如果所述垂直濾波器按遞歸模式操作，則將所述垂直濾波器作為5抽頭遞歸濾波器操作；如果所述垂直濾波器按非遞歸模式操作，則將所述垂直濾波器作為3抽頭非遞歸濾波器操作。
9.一種圖像信號處理系統(tǒng)，包括圖像處理管線，包括原始像素處理單元，其中，所述原始像素處理單元被配置成將利用數(shù)字圖像傳感器獲取的原始像素處理并轉(zhuǎn)換成對應(yīng)的顏色RGB像素，并且所述原始像素處理單元包括第一行邏輯器和多個線緩沖器，所述多個線緩沖器包括線緩沖器的第一子集和線緩沖器的第二子集；其中，所述線緩沖器的第一子集包括被配置成接收來自所述第一行邏輯器的第一輸出的第一線緩沖器、被配置成接收來自所述第一線緩沖器的第二輸出的第二線緩沖器、被配置成接收來自所述第二線緩沖器的第三輸出的第三線緩沖器、被配置成接收來自所述第三線緩沖器的第四輸出的第四線緩沖器、以及被配置成接收來自所述第四線緩沖器的第五輸出的第五線緩沖器；其中，所述線緩沖器的第二子集包括被配置成接收來自所述第五線緩沖器的第六輸出的第六線緩沖器、被配置成接收來自所述第六線緩沖器的第七輸出的第七線緩沖器、被配置成接收來自所述第七線緩沖器的第八輸出的第八線緩沖器、被配置成接收來自所述第八線緩沖器的第九輸出的第九線緩沖器、以及被配置成接收來自所述第九線緩沖器的第十輸出的第十線緩沖器。
10.根據(jù)權(quán)利要求9所述的圖像信號處理系統(tǒng)，其中，所述原始像素處理單元包括 利用所述第一行邏輯器實現(xiàn)的第一增益、偏移和箝位邏輯器；利用所述第一行邏輯器、所述第一線緩沖器、所述第二線緩沖器、所述第三線緩沖器以及所述第四線緩沖器實現(xiàn)的缺陷像素校正和檢測單元；利用所述第一行邏輯器、所述第一線緩沖器、所述第二線緩沖器、所述第三線緩沖器、 所述第四線緩沖器、所述第五行線緩沖器、所述第六線緩沖器、所述第七線緩沖器、所述第八線緩沖器、所述第九線緩沖器以及所述第十線緩沖器實現(xiàn)的降噪邏輯器；利用所述第六線緩沖器、所述第七線緩沖器、所述第八線緩沖器、所述第九線緩沖器以及所述第十線緩沖器實現(xiàn)的透鏡陰影校正邏輯器；利用所述第六線緩沖器、所述第七線緩沖器、所述第八線緩沖器、所述第九線緩沖器以及所述第十線緩沖器實現(xiàn)的第二增益、偏移和箝位邏輯器；以及利用所述第六線緩沖器、所述第七線緩沖器、所述第八線緩沖器、所述第九線緩沖器， 以及所述第十線緩沖器實現(xiàn)的去馬賽克邏輯器。
11.根據(jù)權(quán)利要求10所述的圖像信號處理系統(tǒng)，其中，所述降噪邏輯器包括利用所述第一行邏輯器和所述第一線緩沖器實現(xiàn)的綠色不一致(GNU)校正邏輯器； 利用所述第二線緩沖器實現(xiàn)的水平降噪濾波器；以及利用所述第二線緩沖器、所述第三線緩沖器、所述第四線緩沖器、所述第五線緩沖器、 所述第六線緩沖器、所述第七線緩沖器、所述第八線緩沖器、所述第九線緩沖器以及所述第十線緩沖器實現(xiàn)的垂直降噪濾濾波器。
12.根據(jù)權(quán)利要求11所述的圖像信號處理系統(tǒng)，其中，所述垂直降噪濾波器被配置成按無限脈沖響應(yīng)(IIR)模式和有限脈沖響應(yīng)(FIR)模式操作。
13.根據(jù)權(quán)利要求12所述的圖像信號處理系統(tǒng)，其中，當(dāng)按所述IIR模式操作時，所述垂直降噪濾波器操作為利用所述第二線緩沖器、所述第三線緩沖器、所述第四線緩沖器、所述第五線緩沖器、所述第六線緩沖器、所述第七線緩沖器、所述第八線緩沖器、所述第九線緩沖器以及所述第十線緩沖器實現(xiàn)的5抽頭濾波器；并且當(dāng)按所述FIR模式操作時，所述垂直降噪濾波器操作為利用所述第二線緩沖器、所述第三線緩沖器、所述第四線緩沖器、所述第五行線緩沖器以及所述第六線緩沖器實現(xiàn)的3 抽頭濾波器。
14.根據(jù)權(quán)利要求11所述的圖像信號處理系統(tǒng)，其中，所述水平濾波器包括7抽頭有限脈沖響應(yīng)(FIR)濾波器，其中，對于每一個濾波器抽頭，只有當(dāng)中心像素與該濾波器抽頭處的像素之差小于至少部分地取決于噪聲方差的閾值時，才使用該濾波器抽頭。
15.根據(jù)權(quán)利要求9所述的圖像信號處理系統(tǒng)，其中，所述圖像處理管線包括RGB像素處理單元，被配置成接收通過所述原始像素處理單元提供的顏色RGB像素，并且將所述顏色RGB像素轉(zhuǎn)換成亮度和色度顏色空間的對應(yīng)亮度和色度像素；和亮度和色度像素處理單元，被配置成接收和處理通過所述RGB像素處理單元提供的所述亮度和色度像素。
16.—種電子設(shè)備,包括圖像傳感器，被配置成獲取包括表示圖像場景的多個原始像素的原始圖像數(shù)據(jù)；圖像信號處理子系統(tǒng)；以及傳感器接口，被配置成向所述圖像信號處理子系統(tǒng)提供來自所述圖像傳感器的所述原始像素，其中，所述圖像信號處理子系統(tǒng)包括具有原始像素處理單元的圖像像素處理管線， 所述原始像素處理單元包括利用第一行邏輯器實現(xiàn)的第一增益、偏移和箝位邏輯器；線緩沖器的第一子集，包括第一線緩沖器、第二線緩沖器、第三線緩沖器、第四線緩沖器以及第五線緩沖器；線緩沖器的第二子集，包括第六線緩沖器、第七線緩沖器、第八線緩沖器、第九線緩沖器以及第十線緩沖器；利用所述第一行邏輯器和所述線緩沖器的第一子集中的至少一部分實現(xiàn)的缺陷像素校正和檢測單元；利用所述第一行邏輯器、所述線緩沖器的第一子集、以及所述線緩沖器的第二子集實現(xiàn)的降噪邏輯器；利用所述線緩沖器的第二子集實現(xiàn)的透鏡陰影校正邏輯器；利用所述線緩沖器的第二子集實現(xiàn)的第二增益、偏移和箝位邏輯器；以及利用所述線緩沖器的第二子集實現(xiàn)的去馬賽克邏輯器，其中，所述去馬賽克邏輯器被配置成將所述原始像素轉(zhuǎn)換成RGB像素。
17.根據(jù)權(quán)利要求16所述的電子設(shè)備，其中，所述第一行邏輯器的輸出被提供給所述第一線緩沖器的輸入，其中，所述第一線緩沖器的輸出被提供給所述第二線緩沖器的輸入， 所述第二線緩沖器的輸出被提供給所述第三線緩沖器的輸入，所述第三線緩沖器的輸出被提供給所述第四線緩沖器的輸入，所述第四線緩沖器的輸出被提供給所述第五線緩沖器的輸入，所述第五線緩沖器的輸出被提供給所述第六線緩沖器的輸入，所述第六線緩沖器的輸出被提供給所述第七線緩沖器的輸入，所述第七線緩沖器的輸出被提供給所述第八線緩沖器的輸入，所述第八線緩沖器的輸出被提供給所述第九線緩沖器的輸入，所述第九線緩沖器的輸出被提供給所述第十線緩沖器的輸入。
18.根據(jù)權(quán)利要求16所述的電子設(shè)備，其中，所述降噪邏輯器包括利用來自所述線緩沖器的第一子集中的至少一個線緩沖器實現(xiàn)的水平濾波器；和利用所述線緩沖器的第二子集和所述線緩沖器的第一子集中的至少一部分實現(xiàn)的垂直濾波器。
19.根據(jù)權(quán)利要求16所述的電子設(shè)備，包括控制寄存器，其中，所述垂直濾波器被配置成如果所述控制寄存器表示第一狀態(tài)則按遞歸模式操作，如果所述控制寄存器表示第二狀態(tài)，則按非遞歸模式操作。
20.根據(jù)權(quán)利要求19所述的電子設(shè)備，其中，當(dāng)按所述遞歸模式操作時，所述垂直濾波器充任利用所述第二、第三、第四、第五、第六、第七、第八、第九以及第十線緩沖器實現(xiàn)的5 抽頭濾波器，并且當(dāng)按所述非遞歸模式操作時，所述垂直濾波器充任利用所述第二、第三、 第四、第五以及第六線緩沖器實現(xiàn)的3抽頭濾波器。
全文摘要
本公開涉及用于處理原始圖像數(shù)據(jù)的圖像信號處理器線緩沖器配置。本公開提供了涉及利用一組線緩沖器實現(xiàn)原始像素處理單元(900)的技術(shù)。根據(jù)實施例，所述一組線緩沖器可以包括第一子集(1162)和第二子集(1164)。所述原始像素處理單元(900)的各種邏輯器單元可以按共享方式利用第一子集和第二子集的線緩沖器(1162、1164)來實現(xiàn)。例如，缺陷像素校正和檢測單元(932)可以利用第一子集的線緩沖器(1162)來實現(xiàn)。所述第二子集的線緩沖器(1164)可以被用于實現(xiàn)透鏡陰影校正邏輯器(936)，增益、偏移和箝位邏輯器(938)，以及去馬賽克邏輯器(940)。而且，噪聲縮減還可以利用第一子集和第二子集的線緩沖器(1162、1164)中的每一個的至少一部分來實現(xiàn)。
文檔編號H04N5/367GK102547162SQ201110305710
公開日2012年7月4日 申請日期2011年9月30日 優(yōu)先權(quán)日2010年9月30日
發(fā)明者G·科泰, J·E·弗雷德里克森, J·P·布拉特 申請人:蘋果公司