專利名稱：校正曝光期間的成像設備運動的制作方法
技術領域：
本發明涉及在圖像的曝光期間發生的成像設備運動。特別地，本發明的實施例涉
及確定和校正在圖像的曝光期間發生的成像設備運動的數字信號處理方法。
背景技術：
目前的數字照相機具有在弱光條件下當閃光燈不可用或者閃光燈并不有益時性 能較差的問題。可以增大曝光時間以增加到達傳感器的光子的數目，不過如果場景中存在 任何運動或者如果未保持照相機絕對穩定，那么這種解決方案通常會降低圖像中的銳度。 數字照相機還可利用數字增益系數人為地增大光強度。增益系數有效地按比例增大每個像 素的輸出碼值。這種技術的問題在于，其不但放大信號內容，而且放大噪聲。弱光圖像一般 具有低的信噪比，并且把圖像提高到可接受的亮度級所需的增益系數也會導致在圖像中存 在不可接受的噪聲級。 控制曝光期間的照相機運動的一種方法是迫使曝光時間很短，例如1/240秒。不
過在許多情況下，這樣的短曝光是不足夠的，并且導致形成曝光不足的有噪聲的圖像。 還提出了光學圖像穩定法來補償曝光期間的照相機運動。光學圖像穩定法一般是
通過使用陀螺測量伴隨安裝有橫向致動器的透鏡組件的受控運動在圖像捕捉期間而實現
的。現有技術公開一系列的用于陀螺測量和橫向透鏡運動的方法。由于需要多個方向上的
陀螺測量以及同樣在多個方向上需要透鏡系統中的橫向致動器，因此光學圖像穩定法成本較高。 可替換地，在基于對在圖像捕捉期間發生的照相機運動的測量的圖像捕捉之后， 能夠降低所捕捉的圖像中的模糊。照相機運動的改進的測量精度一般將產生來自去模糊算 法的更好的結果。跟蹤這種照相機運動的現有技術方法可被分成兩個普通類。 一類是使用 機械方法(諸如利用陀螺測量)來跟蹤照相機的運動。由于在圖像捕捉設備中需要額外的 機械設備，因此這種方法可能成本較高。用于跟蹤照相機運動的另一類是通過從所捕捉的 圖像本身或者從一系列所捕捉的圖像得出運動信息。這些解決方法有時被稱為電子圖像穩 定法。 用于校正曝光期間的照相機運動的這樣的方法包括捕捉一連串圖像，每個圖像均 以期望的總曝光時間的幾分之一被捕捉。將多個幀對準并組合以校正照相機運動，并提供 具有期望的總曝光時間的輸出圖像。這種方法的缺陷包括關于能夠多快地從傳感器讀出圖 像數據幀的傳感器限制，以及用于存儲多個圖像的存儲器成本。 校正曝光期間的照相機運動的另一種方法是使用盲去巻積算法。盲去巻積算法的 例子(諸如Lucy-Richardson算法)是本領域技術人員公知的，并且可用于減少照相機運 動模糊。盲去巻積算法的缺陷在于，它們假定沒有對曝光期間的運動的先驗知識，并且因此 相對于具有在曝光期間發生的運動的知識的技術它們的性能有限。 另一種估計曝光期間的照相機運動的方法涉及專用于收集將用于運動估計的數 據的CM0S圖像傳感器的第一部分的使用，同時圖像傳感器的第二部分代表圖像區。所述第一部分通常是一條帶來自傳感器區的頂部和/或底部的數行，并且在傳感器的第二部分的 曝光期間能夠被多次讀出。這些讀出可被用于估計在傳感器的第二部分的曝光期間的照相 機運動。這種方法的缺陷包括由于專用于運動估計的傳感器像素而導致的輸出圖像的空間 分辨率的降低。另外，沿著傳感器的頂部和/或底部的多條數據通常提供的信息不足以確 定全局運動。 估計曝光期間的照相機運動的另一種方法包括同時使用獨立的傳感器來捕捉用 于運動估計的數據。這種方法的缺陷包括額外的傳感器所需的額外成本和空間。
因此，本領域需要一種用于確定和校正曝光期間的照相機運動的改進過程。
發明內容
通過根據本發明的各個實施例的用于確定和校正曝光期間成像設備(諸如數字
靜態照相機或數字攝像機)的運動的系統和方法，上述問題得以解決并且一種技術解決方 案得以實現。 根據本發明的一個實施例，在圖像傳感器上定義多組像元采集設備，諸如本領域 中已知的CCD。為了清楚起見，這里一般把像元采集設備稱為"像素"或"圖像像素"。在捕 捉期間，一次或多次地從第一組像元采集設備(諸如本領域中已知的CCD)讀出信號。還一 次或多次地從第二組像元采集設備讀出信號。從至少第一組像元信號的讀出被用于確定曝 光時間期間的成像設備運動的估計。從第二組像元信號中的至少一些的讀出被用于至少基 于所確定的運動組合輸出圖像。 在本發明的一些實施例中，在圖像傳感器上定義四組像元采集設備。在捕捉期間， 從所述四組像元采集設備中的第一組像元采集設備一次或多次地讀出第一組像元信號。第 二組、第三組和第四組像元信號也分別從對應的各組像元采集設備一次或多次地被讀出。 從至少第一組像元的讀出被用于產生曝光時間期間的成像設備運動的估計。從至少第二 組、第三組和第四組像元的讀出被用于組合輸出圖像。 在本發明的一些實施例中，處理來自各組像元采集設備的用于組合輸出圖像的讀 出。該處理可包括去模糊、空間對準和銳化，以及丟棄一些數據。 根據本發明的一些實施例，第一組像元采集設備可以是鄰接或基本鄰接的一組像
元采集設備。可獨立于待捕捉的圖像場景，確定該第一組像元采集設備的位置，或者可在捕
捉之前至少部分地從對圖像場景的分析得到該第一組像元采集設備的位置。 根據本發明的其它實施例，第一組像元采集設備可由不鄰接或者基本不鄰接的一
組像元采集設備構成。 在本發明的一些實施例中，像元信號由對像元采集設備的破壞性讀出而產生。在 本發明的其它實施例中，來自至少第一組像元的信號由對像元采集設備的非破壞性讀出而 產生。 除了上面說明的實施例之外，通過參考附圖并研究下列詳細說明，其它實施例將 變得顯而易見。
通過結合附圖考慮對以下提供的示例性實施例的詳細說明，將更易于理解本發
6明，在附圖中 圖1示出根據本發明的一個實施例的系統的例子的框圖； 圖2示出根據本發明的一個實施例的用于確定和校正曝光期間的成像設備運動 的框圖； 圖3圖解說明根據本發明的-
圖4圖解說明根據本發明的 子； 圖5圖解說明根據本發明的 像素的一個例子； 圖6圖解說明根據本發明的 個例子； 圖7圖解說明根據本發明的-
圖8圖解說明根據本發明的 一個例子； 圖9圖解說明用以估計第一組和第二組圖像像素的讀出之間的運動的積分投影 技術；以及 圖10圖解說明根據本發明的一個實施例的第一組、第二組、第三組和第四組圖像 像素的讀出的一個例子。 應當理解的是，附圖為了舉例說明本發明的原理的目的，并且可不按比例繪制。
具體實施例方式
由于采用圖像傳感器和用于信號處理的相關電路的數字成像設備眾所周知，因此 本說明書將特別針對構成根據本發明的實施例的設備的一部分或者更直接地與其相互協 作的元件。在此為具體示出或描述的元件可從本領域已知的那些元件中選擇。待描述的實 施例的某些方面可用軟件的形式提供。給定根據本發明實施例的如所示和所述的系統，則 在下面的材料中，這里未具體示出、描述或建議的、對本發明的實施例的實施有用的軟件是 常規的并且在這樣的領域的普通技術之內。
圖1示出根據本發明的一個實施例的數字成像設備10的例子的框圖。數字成像
設備io是電池供電的便攜式設備，其足夠小以便在捕捉和瀏覽圖像時用戶能夠容易地握
持它。數字成像設備10優選地產生存儲在可移除存儲卡54上的靜止數字圖像和運動數字 圖像序列(例如，視頻片斷)。可替換地，數字成像設備可以只產生和存儲靜止數字圖像。
數字成像設備10包括向對應的圖像傳感器提供圖像的變焦透鏡。變焦透鏡3由 變焦和聚焦電動機5控制，并向圖像傳感器14提供圖像。使用可調透鏡孔徑連同由控制處 理器和定時發生器40向圖像傳感器14提供的電子曝光時間控制一起用于控制圖像傳感器 14的曝光。 在一些優選實施例中，圖像傳感器是14是使用公知的Bayer彩色濾光片模式捕捉 彩色圖像的單片彩色百萬像素CMOS傳感器。圖像傳感器14可具有例如4 : 3的圖像長寬 比和2848列有效像素X2144行有效像素即總共6. IMP的有效兆像素(百萬像素)。控制 處理器和定時發生器40通過向時鐘驅動器13提供信號來控制圖像傳感器14。
個實施例的第一組和第二組圖像像素的一個例子； -個實施例的第一組和第二組圖像像素的另一個例
-個實施例的第一組、第二組、第三組和第四組圖像
-個實施例的第一組和第二組圖像像素的讀出的一
個實施例的兩組圖像數據之間的塊匹配處理； -個實施例的第一組和第二組圖像像素的讀出的另
在其它優選例子中，圖像傳感器14可具有一些這樣的像素對于這些像素，濾光 片使所有波長的可見光透過。這樣的傳感器在JohnT.Compton和John F. Hamilton的美國 專利US 20070024931A1 "Image Sensor with Improved Light Sensitivity"中被描述。
控制處理器和定時發生器40還控制變焦和聚焦電動機5，以及發光以照亮場景的 閃光燈48。用戶控制裝置42被用于控制數字成像設備10的操作。 來自圖像傳感器14的模擬輸出信號18被模擬信號處理器和A/D轉換器22放大和 轉換成數字圖像信號，并被提供給DRAM緩沖存儲器36。存儲在DRAM緩沖存儲器36中的圖 像數據由諸如圖像處理器50之類的數據處理系統處理，從而產生經處理的數字圖像文件， 所述數字圖像文件可包含運動圖像序列或靜止數字圖像。應注意的是，控制處理器和定時 發生器40也可被認為是數據處理系統的一部分。 圖像處理器50進行的處理是由存儲在處理器可訪問的存儲系統中的固件控制 的，所述處理器可訪問的存儲系統可包括固件存儲器58，固件存儲器58可以是閃速EPR0M 存儲器。通過利用可包括RAM存儲器56的處理器可訪問的存儲系統來存儲處理階段期間 的中間結果，處理器50處理來自DRAM緩沖存儲器36的數字輸入圖像。
，應注意的是，圖像處理器50雖然通常為可編程圖像處理器，但可替換地也可以 是硬連線的定制集成電路(IC)處理器、通用微處理器或者硬連線的定制IC處理器和可編 程處理器的組合。此外，圖1中被示出為獨立的框的功能中的一個或多個，諸如DRAM緩沖 存儲器36和RAM存儲器58，可被合并成包含圖像處理器50的IC中的處理器可訪問的存儲 系統。 處理后的數字圖像文件可被存儲在處理器可訪問的存儲系統中，處理器可訪問的 存儲系統還可包括通過存儲卡接口 52被訪問的可移除存儲卡54。可移除存儲卡54是一種 可移除的數字圖像存儲介質，該存儲介質可以是處理器可訪問的存儲系統的一部分，并且 可以幾種不同的物理形式被獲得。例如，可移除存儲卡54可包括(但不限于)適合于公知 形式，比如Compact Flash (閃存卡)、SmartMedia(智能卡)、MemoryStick(記憶棒)、匪C、 SD或XD存儲卡形式的存儲卡。可替換地，可以使用其它種類的可移除數字圖像存儲介質， 比如硬盤驅動器，磁帶或光盤，來存儲靜止和運動數字圖像。可替換地，數字成像設備10可 以使用內部的非易失性存儲器(未示出)，比如內部閃速EPROM存儲器來存儲處理后的數字 圖像文件。在這樣的例子中，不需要存儲卡接口 52和可移除存儲卡54。
圖像處理器50執行各種圖像處理功能，包括后面跟隨著顏色和色調校正的顏色 插值，以便產生渲染的彩色圖像數據。如果成像設備處于靜止圖像模式，那么渲染的彩色圖 像數據隨后被JPEG壓縮，并作為JPEG圖像文件被存儲在可移除存儲卡54上。渲染的彩色 圖像數據也可經由通過諸如SCSI連接、USB連接或火線連接的適當的互連64而進行通信 的主機接口 62被提供給主機PC 66。 JPEG文件優選地使用由日本東京的日本電子和信息 技術工業協會(JEITA)在"Digital Still Camera Image File Format (Exif) " 2. 2版中 定義的所謂"Exif"圖像格式。該格式包括存儲特殊的圖像元數據(包括捕捉圖像的日期 /時間以及透鏡f數和其它照相機設置)的Exif應用部分。 如果成像設備處于運動圖像模式中，那么利用Apple Computerlnc.開發的公知的 QuickTime格式，把渲染的彩色圖像數據存儲在可移除存儲卡54上。應理解的是，使用各種 已知的壓縮技術，比如MPEG-1、MPEG-2、MPEG-4、H. 263、H. 264等，可以采用其它的運動圖像格式。在運動圖像模式下，渲染的彩色圖像數據也可經由通過適當的互連64進行通信的主 機接口 62被提供給主機PC 66。 圖像處理器50還創建靜止圖像或合適的運動圖像幀的低分辨率"縮略圖"尺寸 圖像。可如在以Kuchta等人的名義頒發的、共同轉讓的、題為"Electronic Still Camera Providing Multi-Format Storage ofFull and Reduced Resolution Images，，的美國專利 No. 5， 164， 831中所述的那樣創建該縮略圖尺寸圖像。在捕捉靜止和運動圖像之后，通過利 用縮略像來選擇期望的靜止圖像或運動圖像序列，能夠在彩色LCD圖像顯示器70上快 速回顧捕捉的靜止和運動圖像。顯示在彩色LCD圖像顯示器70上的圖形用戶界面由用戶 控制裝置42控制。 在本發明的一些實施例中，數字成像設備10被包括作為拍照手機的一部分。在這 樣的例子中，圖像處理器50還與蜂窩處理器90連接，蜂窩處理器90使用蜂窩調制解調器 92經天線94利用射頻傳輸向蜂窩網絡(未示出)傳送數字圖像。 圖2示出用于確定和校正曝光期間的成像設備運動的本發明的實施例的流程圖。 起初，在圖像傳感器上定義多組像素201。圖3-5圖解說明根據本發明的實施例的用于在 圖像傳感器上定義多組像素的示例性方法。在圖3中，在圖像傳感器308上定義兩組像素。 第一組像素302包含貫穿圖像傳感器被間隔開的多個鄰接像素塊。貫穿圖像傳感器，所述 塊可以具有任意的大小、形狀和位置，不過，在本發明的優選實施例中，所述塊是正方形的， 并且貫穿圖像傳感器被均勻地間隔。第二組像素304包含整個圖像傳感器。因此，第一組 像素是第二組像素的子集。第一組像素和第二組像素都具有與圖像傳感器306的輸出圖像 區的非空重疊。輸出圖像區對應于包含由成像設備產生的輸出圖像的那些像素。傳感器可 具有不包括在輸出圖像中的其它像素。 在圖4中，按跨越圖像傳感器406的輸出圖像區的棋盤的模式，在圖像傳感器408 上定義不鄰接的或者分離的兩組圖像像素。第一組像素402包含l/2的像素位置。第二組 像素404包含其余1/2的像素位置。 在圖5中，在圖像傳感器512上定義分離的四組圖像像素，以使得所述四組圖像像 素以始終如一的模式出現在圖像傳感器510的輸出圖像區的每個2X2區域上。第一組像 素502包含1/4的像素位置。類似地，第二組像素504，第三組像素506和第四組像素508 均包含獨立的1/4的像素位置。 返回圖2，一旦定義了多組像素，就開始圖像捕捉202。在本發明的一個替換實施
例中，也可根據例如對成像設備捕捉設置的分析，在開始圖像捕捉之后立即定義多組像素。
在開始圖像捕捉之后，一次或多次地從圖像傳感器讀出每組像素204。 圖6示出與圖3中描述的像素組對應的圖像傳感器讀出的示例性方法。在時間0，
開始曝光601。注意，圖像傳感器可具有各種曝光、快門和讀出系統。在一個例子中，傳感器
具有全局快門，從而使得給定組的所有像素同時開始曝光時間。隨后，與給定組對應的像素
數據信號(即，像元信號)被同時傳送給蔽光存儲單元，并從傳感器被讀出。在另一個例子
中，傳感器具有滾動快門系統，其中各行圖像傳感器像素具有與傳感器的讀出速度相應的
稍微偏移的積分周期。該方法允許傳感器的每行接收相同周期的積分，而不需要信號的蔽
光臨時存儲。 在本發明的一些實施例中，破壞性地讀出傳感器圖像像素信號(即，像元信號)，
9從而使得信號從傳感器像素被讀出而像素隨后被重置。在本發明的其它實施例中，非破壞 性地讀出傳感器圖像像素，以使得在不重置像素的情況下從傳感器像素位置讀出信號。這 些例子并不意味著限制，并且本領域技術人員會認識到本發明也適用于其它的傳感器設 計。 在圖6中，來自第一組像素的像元信號被多次讀出602，而來自第二組像素的像元 信號只在曝光結束時的時間t被讀出一次604。類似于下面討論的圖8和9，圖6中的每一 行可被看作從一組像元采集設備的像元信號的所指示的傳輸。在圖6的具體實施例中，除 最后一行外的每一行(602)可被視為從第一組像元采集設備的第一像元信號的所指示的 傳輸，所述第一組像元采集設備包含所述多個像元采集設備中的一些但不是全部。圖6的 最后一行(604)可被視為從第二組像元采集設備的第二像元信號的所指示的傳輸，所述第 二組像元采集設備包含所述多個像元采集設備中的一些或全部。 返回參照圖2，讀出的數據隨后被用于計算運動估計206。在圖6的例子中，從第 一組像素的像元信號的多個讀出被用于估計成像設備運動。本領域技術人員將會認識到存 在許多用于估計兩組圖像數據之間的運動的公知方法。在用于估計第一組圖像像素的兩個 連續讀出之間的運動的一種優選方法中，對于來自相同像素塊302的每對像元信號組，得 出平移運動估計。可以利用比如塊匹配的任何公知的技術來得出平移運動估計。
圖7圖解說明根據如關于圖6所述的從第一組圖像像素的信號的連續讀出而得到 兩個對應的圖像數據塊702之間的運動估計的過程。來自第一讀出的數據子塊704被選為 基準子塊。該子塊的大小可被選擇成允許在期望的搜索范圍708內的搜索而不離開整塊圖 像數據區。從第二讀出706中找出基準子塊的最佳匹配，并且運動估計被計算為基準子塊 和匹配子塊之間的平移偏移。 對來自每個像素塊702的每對對應信號重復該過程，從而得到一批運動估計。可 以將從第一組圖像像素的信號的連續讀出之間的全局平移運動估計作為該批運動估計的 函數來計算。 一種這樣的函數是采用該批運動估計的平均值。另一種這樣的函數是在水平 方向和垂直方向上獨立地采用該批運動估計的中位值。在一個優選實施例中，每對對應塊 不僅與運動估計相關，而且與指示最佳匹配的精度的成本值相關。在全局運動估計的計算 中，只包括具有指示良好匹配的低相關成本值的塊運動估計的子集。運動估計的該子集的 中位值被用作全局運動估計。公知的是，各個塊運動估計可反映與全局成像設備運動相反 的局部被攝物體運動。優選的方法通過排除具有通常指示噪聲或局部運動的高成本值的塊 運動估計并通過利用剩余估計的中位值來避免由局部運動引起的任何可能的殘余離群數 據，來計算全局運動的魯棒測量結果。 用于計算運動估計的數據可取決于傳感器像素的光譜靈敏度。在標準的Bayer模 式傳感器中，綠色像素可被用于確定最佳匹配。在包含全色像素的傳感器中，這些像素可被 用于比較各個運動偏移的質量。在任何一種情況下，數據可被插值，以使得在每個像素位置 處特定光譜靈敏度(例如綠色或全色)的值是可獲得的。 可如圖3中所示預先定義產生第一組圖像數據的像素塊的位置。在另一個實施例 中，恰在開始捕捉之前，分析預覽數據。所述預覽數據被用于確定圖像場景內的高局部對比 度的區域。塊位置可被選擇成以高局部對比度的區域為中心，因為它們通常產生改進的運 動估計精度。塊的數目和位置可以完全不受約束，或者受約束于特定數目和/或一般位置。
10在一個例子中，在垂直方向上約束塊位置，但是在水平方向上不進行約束。因此確保必須被 訪問的傳感器數據的行數受到控制以使行讀出開銷降到最小，同時允許塊的水平布置的靈 活性以使可能的運動估計性能達到最大。 隨后結合從第一組圖像像素的信號的連續讀出之間的運動估計來形成曝光區間
期間的全局運動的函數。本領域技術人員將會認識到，存在許多用于搏到這樣的函數 的方式。例如，運動可被約束為在從第一組圖像像素的信號的連續讀出之間的時間的每個 子區間上是分段線性的或者分段恒定的。作為另一例子，運動估計也可被用于找出到二次 或三次多項式的最小二乘擬合。這些例子并不意味著限制，而事實上把各個運動估計轉換 成曝光區間[O，t]期間的全局運動的函數的任何適當方法都被認為在本發明的范圍之內。
返回參照圖2，隨后處理來自一組或多組圖像像素中的至少一些的信號，以形成輸 出圖像208。在圖6的例子中，在時間t，從第二組圖像像素的像元信號的讀出604表示被處 理從而形成輸出圖像的信號。在本實施例中，第二組圖像像素包含整個傳感器圖像區，并且 在曝光結束時將對應的像元信號一次讀出，因此代表光在整個曝光區間[O，t]上的積分。
在本實施例中，第二組圖像像素包含也屬于第一組圖像像素的圖像像素。如果非 破壞性地發生從第一組圖像像素的像元信號的多個讀出，那么當從第二組圖像像素讀出像 元信號時，該測量結果將代表針對所有傳感器圖像像素光貫穿整個曝光區間的總積分。但 是，如果破壞性地發生從第一組圖像像素的像元信號的多個讀出，那么必須合計這些測量 結果與從第二組圖像像素的像元信號的最終讀出，以便在傳感器的為第一組和第二組圖像 像素的并集的那些區域中形成與整個區間[O，t]對應的曝光測量結果。
本領域技術人員將會認識到，存在與從CMOS傳感器的每個數據讀出相關的讀出 噪聲，并且在破壞性地進行從第一組圖像像素的每個信號讀出的情況下，與僅在曝光區間 結束時被一次讀出的圖像傳感器的區域相比，這些讀出的集合將包含更多的讀出噪聲。在 這種情況下，可能必須執行一些信號處理以匹配不同區域的噪聲特性。 返回參照圖6，在時間t讀出的來自第二組圖像像素的像元信號可被處理，以消除 由曝光期間的成像設備運動引起的運動模糊。在本發明的一個實施例中，從來自第一組圖 像像素的信號的多個讀出得到的全局運動函數可被用于產生在曝光區間
期間發生 的模糊點擴展函數的估計。模糊點擴展函數可以和來自第二組圖像像素的信號一起被輸入 到圖像去巻積函數，從而產生增強的圖像。這樣的算法在本領域中是眾所周知的。
圖8描述與圖4中描述的像素組對應的圖像傳感器讀出的示例性方法。在時間0， 開始第一組圖像像素402的曝光(802)。隨后以統一的曝光長度多次讀出來自第一組圖像 像素的像元信號806。來自第二組圖像像素的像元信號按照類似的方式與來自第一組圖像 像素的信號交錯地被曝光804和讀出808。在一個實施例中，第二組圖像像素的信號讀出在 來自第一組圖像像素的信號的連續讀出之間在時間上被均勻地間隔開，不過這并不構成限 制。 來自第一組和第二組圖像像素的信號讀出隨后被用于運動估計。用于計 算連續讀出之間的全局平移運動的示例性方法是如在Rabbani等的美國專利申請
2006/0274156A1 "Image SequenceStabilization Method and Camera Having Dual Path
Image SequenceStabilization"中所述并且還在圖9中被圖解說明的積分投影技術。
在圖9中，來自第一組圖像像素902的讀出的像元信號沿垂直軸被合計，從而形成單個水平向量904。類似地，來自第二組圖像像素906的讀出的像元信號沿垂直軸被合 計，從而形成單個水平向量908 。隨后比較這兩個向量以確定兩組數據之間的水平運動偏移 910。本領域技術人員將會認識到，用于計算兩個向量之間的相對運動值(包括確定最高相 關性的偏移)的適當方法有許多種。 圖9圖解說明兩組像元信號之間的水平運動偏移的計算。可以通過沿水平軸合計 數據以形成代表每組像元信號的單個垂直向量，按照類似的方式計算垂直運動偏移。
在圖9中，用于運動估計的兩組像元信號來自連續的讀出，S卩，得自于第一組圖像 像素的第一讀出和得自于第二組圖像像素的第二讀出。不過，這并不意味著限制，并且通 常，這兩個讀出可以是曝光時間期間的任意兩個讀出。 如圖9中所述的積分投影技術也可適用于其它圖像組，比如圖5中所述的圖像組。 在給定信號讀出不包含特定行(用于垂直運動估計)或列(用于水平運動估計)的數據的 情況下，合計的信號向量可被插值以填充缺少的行或列的數據值。 取決于傳感器的光譜靈敏度，用于運動估計中的兩個圖像像素組可以具有相同的 光譜靈敏度，或者可不具有相同的光譜靈敏度。例如，第一組圖像像素可以只包含全色像 素，而第二組圖像像素可以包含紅色、綠色和藍色像素。在這種情況下，在運動估計之前，為 了匹配來自兩個像素組的信號， 一些信號處理可能是必需的。在上述情況下，來自綠色像素 的信號可被用作來自全色像素的信號的近似，并被簡單地按比例縮放以匹配整體強度。在 另一種方法中，來自綠色、藍色和紅色像素的信號可被進行顏色插值，并被變換成亮度_色 度表示，并且亮度數據可被用作全色表示的近似。 隨后結合來自各組圖像像素的信號的連續讀出之間的運動估計來形成曝光區間
期間的全局運動的函數。如前所述，用于得到這樣的函數的方式很多。在給定全局 運動函數的情況下，處理來自多組圖像像素的信號從而形成最終的輸出圖像。
用于處理來自各組圖像像素的信號的方法有很多。 一種這樣的示例性方法是首選 獨立地增強每組像元信號。可對在其曝光期間存在顯著的成像設備運動的任意一組像元信 號應用去巻積算法。對在其曝光期間只存在輕微的成像設備運動的任意一組像元信號可應 用更基本的銳化算法。在每種情況下，該組像元信號可被插值以填充空缺，從而使得在銳化 或去巻積步驟之前在每個傳感器像素位置處都存在數據。在完成各組像元信號的處理之 后，處理后的數據然后可被進行運動對準并被合計以形成最終的輸出圖像。該步驟還可包 括時間濾波器，例如中值濾波器或sigma濾波器，以確保合計圖像不包含由不正確的運動 估計或局部被攝物體運動而產生的模糊或偽像。還可處理該數據，以使得與過度成像設備 運動的時段相對應的任意圖像數據可被排除在進一步的處理之外且還被阻止對最終的組 合圖像起作用。 也可按照圖6中描述的順序讀出圖4中描述的像素組。在這種情況下，第一像素 組被多次讀取，并通過利用例如如前所述的積分投影技術而被用于照相機運動的估計。第 二像素組只在曝光時間結束時被一次讀取。如圖4中那樣定義第二像素組，或者可替換地， 第二像素組可被定義成包含傳感器上的所有像素。由于由多次讀出而導致可在第一像素組 位置處獲得的數據是有噪聲的，因此可以利用來自第二組圖像像素的像素值來計算這些位 置處的替換像素值。通過從第二組圖像像素的相鄰值的插值，可計算在與第一組圖像像素 對應的位置處的像素值。例如，在單色傳感器的情況下，四個最近的近鄰的雙線性插值可被用于構造在與第一組圖像像素對應的位置處的像素值。通常，與圖4中所示相比較少的像 素位置可被分配給第一組圖像像素，其折衷是較不精確的運動估計是可能的，不過較少的 像素位置包含插值的數據。在插值之后，可按照所計算的運動估計如前所述對整個圖像應 用去巻積算法。 圖10示出與圖5中描述的像素組對應的圖像傳感器讀出的示例性方法。在時間 0，開始第一組圖像像素502的曝光1002。隨后按統一的曝光長度多次讀出來自第一組圖像 像素的信號1010。來自第二組圖像像素的信號按照類似的方式、與第一組圖像像素交錯地 被曝光1004和讀出1012。類似地，來自第三組圖像像素的信號與第一組圖像像素交錯地被 曝光1006和讀出1014。類似地，來自第四組圖像像素的信號與第一組圖像像素交錯地被曝 光1008和讀出1016。在一個實施例中，從第三組圖像像素的讀出在從第一組圖像像素的連 續讀出之間在時間上被均勻地間隔開，從第二組圖像像素的讀出在從第一組圖像像素的讀 出和后面的從第三組圖像像素的讀出之間被均勻地間隔開，從第四組圖像像素的讀出在從 第三組圖像像素的讀出和后面的從第一組圖像像素的讀出之間被均勻地間隔開，不過這并 不是限制。 通過利用例如前面關于圖8說明的技術，從所有四組圖像像素的讀出隨后被用于
運動估計。和與圖8相關的例子一樣，可以處理來自各組圖像像素的像元信號的方法也有
許多種。 一種這樣的示例性方法是首先增強每組像元信號。可對在其曝光期間存在顯著的
成像設備運動的任意一組像元信號應用去巻積算法。可對在其曝光期間只存在輕微的成像
設備運動的任意一組像元信號應用更基本的銳化算法。在每種情況下，該組像元信號可被
插值以填充空缺，以使得在銳化或去巻積步驟之前在每個傳感器像素位置處都存在數據。
每組像元信號還可被看作傳感器圖像數據的2X2下采樣，并且可以以創建具有降低的分
辨率的最終輸出圖像為目的，或者以只有在完成所有其它處理之后才插值回到傳感器全分
辨率為目的，以該分辨率進行處理。在完成各組像元信號的處理之后，處理后的數據然后可
被運動對準并合計以形成最終的輸出圖像。該步驟還可包括時間濾波器，比如中值濾波器
或sigma濾波器，以確保合計圖像不包含由不正確的運動估計或局部被攝物體運動而產生
的模糊或偽像。還可處理該數據，以使得與過度成像設備運動的時段對應的任意圖像數據
可被排除在進一步處理之外，并且還被阻止對最終的組合圖像起作用。 運動估計也可用于其它用途，諸如提醒成像設備用戶，由于曝光期間的過度成像
設備運動使得捕捉的圖像可能具有低圖像質量。 部件列表 3 變焦透鏡 5變焦和聚焦電動機 10數字成像設備 13時鐘驅動器 14圖像傳感器 18模擬輸出信號 22模擬信號處理器和模數轉換器 36 DRAM緩沖存儲器 40控制處理器和定時發生器
13
42用戶控制裝置 48 電子閃光燈 50 圖像處理器 52 存儲卡接口 54 可移除存儲卡 56 RAM存儲器 58固件存儲器 62 主機接口 64 互連 66 主機PC 70 彩色LCD圖像顯示器 90 蜂窩處理器 92蜂窩調制解調器 94 天線 201在圖像傳感器上定義多組圖像像素的步驟 202開始圖像捕捉的步驟 204 —次或多次地從每組圖像像素讀出信號的步驟 206利用來自一組或多組圖像像素的信號的讀出計算運動估計的步驟 208處理來自圖像像素的一組或多組信號以形成輸出數字圖像的步驟 302第一組圖像像素 304第二組圖像像素 306輸出圖像區 308傳感器圖像區 402第一組圖像像素 404第二組圖像像素 406輸出圖像區 408傳感器圖像區 502第一組圖像像素 504第二組圖像像素 506第三組圖像像素 508第四組圖像像素 510 輸出圖像區 512傳感器圖像區 601開始圖像像素的曝光的步驟 602從第一組圖像像素讀出信號的步驟 604從第二組圖像像素讀出信號的步驟 702來自第一組圖像像素的連續讀出的對應塊 704用作運動估計基準的子塊 706與基準子塊比較的子塊匹配
14
708運動估計搜索范圍802開始第一組圖像像素的曝光的步驟804開始第二組圖像像素的曝光的步驟806從第一組圖像像素讀出信號的步驟808從第二組圖像像素讀出信號的步驟902來自第一組圖像像素的讀出的信號904來自第一組圖像像素的讀出的信號沿垂直軸的合計906來自第二組圖像像素的讀出的信號908來自第二組圖像像素的讀出的信號沿垂直軸的合計910確定兩個向量之間的運動偏移的步驟1002開始第一組圖像像素的曝光的步驟1004開始第二組圖像像素的曝光的步驟1006開始第三組圖像像素的曝光的步驟1008開始第四組圖像像素的曝光的步驟1010從第一組圖像像素讀出信號的步驟1012從第二組圖像像素讀出信號的步驟1014從第三組圖像像素讀出信號的步驟1016從第四組圖像像素讀出信號的步驟
權利要求
一種用于確定圖像采集期間成像設備的運動的方法，所述成像設備包括圖像傳感器，所述圖像傳感器包括多個像元采集設備，所述方法至少部分地由數據處理系統來實施，并且包括下述步驟指示從第一組像元采集設備的第一像元信號的傳輸，所述第一組像元采集設備包含所述多個像元采集設備中的一些但不是全部；指示從第二組像元采集設備的第二像元信號的傳輸，所述第二組像元采集設備包含所述多個像元采集設備中的一些或者全部，并且其中第一像元信號中的一個和第二像元信號中的一個源自相同的像元采集設備；接收第一像元信號；接收第二像元信號；至少基于第一像元信號與所接收的其它像元信號的比較，確定成像設備的運動；把標識所確定的運動的信息存儲在處理器可訪問的存儲系統中；以及至少基于(a)標識所確定的運動的信息以及(b)第二像元信號中的至少一些，而組合圖像。
2. 根據權利要求1所述的方法，其中所接收的其它像元信號是第二像元信號。
3. 根據權利要求1所述的方法，其中在從相應的像元采集設備傳輸第二像元信號之前 或之后，從相應的像元采集設備傳輸第一像元信號。
4. 根據權利要求l所述的方法，還包括下述步驟 從第一組像元采集設備接收另外的像元信號， 其中所述所接收的其它像元信號是所述另外的像元信號。
5. 根據權利要求4所述的方法，其中在從相應的像元采集設備傳輸第一像元信號之前 或之后，從相應的像元采集設備傳輸所述另外的像元信號，其中在從相應的像元采集設備 傳輸第二像元信號之前或之后，傳輸第一像元信號。
6. 根據權利要求1所述的方法，其中從鄰接或基本鄰接的一組像元采集設備傳輸第一 像元信號。
7. 根據權利要求6所述的方法，還包括恰在由所述像元采集設備開始捕捉圖像場景之 前，至少部分地通過對所述圖像場景的分析來識別所述一組像元采集設備的步驟。
8. 根據權利要求1所述的方法，其中從不鄰接或基本不鄰接的一組像元采集設備傳輸 第一像元信號。
9. 根據權利要求1所述的方法，其中至少第一像元信號通過對相應的像元采集設備的 破壞性讀出而產生。
10. 根據權利要求1所述的方法，其中至少第一像元信號通過對相應的像元采集設備 的非破壞性讀出而產生。
11. 根據權利要求1所述的方法，其中標識所確定的運動的信息表示曝光期間的平移 運動。
12. 根據權利要求1所述的方法，還包括下述步驟指示至少基于所確定的運動而執行 至少作用于第二像元信號或從第二像元信號得到的信號的圖像處理程序。
13. 根據權利要求12所述的方法，其中所述圖像處理程序包括 去模糊程序；對第二像元信號中的至少一些第二像元信號的空間對準； 對第二像元信號中的至少一些第二像元信號的銳化；或 阻止第二像元信號中的至少一些第二像元信號對組合圖像起作用。
14. 一種用于確定圖像采集期間成像設備的運動的方法，所述成像設備包括圖像傳感 器，所述圖像傳感器包括多個像元采集設備，所述方法至少部分地由數據處理系統來實施， 并且包括下述步驟指示從第一組像元采集設備的第一像元信號的傳輸，所述第一組像元采集設備包含所 述多個像元采集設備中的一些但不是全部；指示從第二組像元采集設備的第二像元信號的傳輸，其中第二組像元采集設備與第一 組像元采集設備互斥或者基本互斥；接收第一像元信號；接收第二像元信號；至少基于第一像元信號和第二像元信號的比較而確定成像設備的運動； 把標識所確定的運動的信息存儲在處理器可訪問的存儲系統中；以及 至少基于(a)標識所確定的運動的所述信息，(b)第一像元信號中的至少一些，以及 (c)第二像元信號中的至少一些，來組合圖像。
15. 根據權利要求14所述的方法，其中在第二像元信號之前或之后傳輸第一像元信號。
16. 根據權利要求14所述的方法，還包括下述步驟從另外一組像元采集設備接收另外的像元信號，其中所述另外一組像元采集設備與 (a)第一組像元采集設備和(b)第二組像元采集設備互斥或基本互斥，其中在從相應的像元采集設備的第一像元信號的傳輸和從相應的像元采集設備的第 二像元信號的傳輸之間的時段期間，從相應的像元采集設備傳輸所述另外的像元信號。
17. 根據權利要求14所述的方法，其中第一像元信號由不鄰接或基本不鄰接的一組像元采集設備產生。
18. 根據權利要求14所述的方法，還包括下述步驟指示至少基于所確定的運動執行 至少作用于第二像元信號或從第二像元信號得到的信號的圖像處理程序。
19. 一種系統，包括 數據處理系統；以通信的方式連接到數據處理系統的成像設備，所述成像設備包括圖像傳感器，所述 圖像傳感器包括多個像元采集設備；存儲系統，其以通信的方式連接到數據處理系統，并存儲被配置成使數據處理系統實 施用于確定圖像采集期間成像設備的運動的方法的指令，其中所述指令包括導致從第一組像元采集設備傳輸第一像元信號的指令，所述第一組像元采集設備包含 所述多個像元采集設備中的一些但不是全部；導致從第二組像元采集設備傳輸第二像元信號的指令，所述第二組像元采集設備包含 所述多個像元采集設備中的一些或者全部，并且其中第一像元信號中的一個和第二像元信 號中的一個源自相同的像元采集設備；接收第一像元信號的指令；接收第二像元信號的指令；至少基于第一像元信號和所接收的其它像元信號的比較而確定成像設備的運動的指令；把標識所確定的運動的信息存儲在處理器可訪問的存儲系統中的指令；以及 至少基于(a)標識所確定的運動的信息和(b)第二像元信號中的至少一些而組合圖像 的指令。
20. —種系統，包括 數據處理系統；以通信的方式連接到數據處理系統的成像設備，所述成像設備包括圖像傳感器，所述 圖像傳感器包括多個像元采集設備，存儲系統，其以通信的方式連接到數據處理系統，并存儲被配置成使數據處理系統實 施用于確定圖像采集期間成像設備的運動的方法的指令，其中所述指令包括導致從第一組像元采集設備傳輸第一像元信號的指令，所述第一組像元采集設備包含 所述多個像元采集設備中的一些但不是全部；導致從第二組像元采集設備傳輸第二像元信號的指令，其中第二組像元采集設備與第 一組像元采集設備互斥或者基本互斥；接收第一像元信號的指令；接收第二像元信號的指令；至少基于第一像元信號和第二像元信號的比較而確定成像設備的運動的指令； 把標識所確定的運動的信息存儲在處理器可訪問的存儲系統中的指令；以及 至少基于(a)標識所確定的運動的信息、(b)第一像元信號中的至少一些以及(c)第 二像元信號中的至少一些而組合圖像的指令。
全文摘要
提供一種用于確定和校正曝光期間成像設備的運動的系統和方法。根據本發明的各個實施例，在圖像傳感器上定義多組圖像像素，其中每組像素至少部分地包含在圖像傳感器的輸出圖像區中。在曝光期間一次或多次地讀出來自每組圖像像素的信號，利用從一組或多組圖像像素的信號讀出計算運動估計，以及處理來自一組或多組圖像像素的信號讀出以形成最終的輸出圖像。
文檔編號H04N5/232GK101755448SQ200880025408
公開日2010年6月23日 申請日期2008年7月7日 優先權日2007年7月20日
發明者A·T·迪弗, J·N·博德, T·J·安德森 申請人:伊斯曼柯達公司