圖像模糊的制作方法

專利名稱：圖像模糊的制作方法
技術領域：
本發(fā)明涉及圖像模糊，而且本發(fā)明尤其涉及一種在圖像上產 生模糊，以降低該圖像的景深的系統(tǒng)和方法。
背景技術：
在數字照相機中，景深(下面稱為"DOF")通常遠高于使用 膠片的照相機，因為在某種程度上，圖像傳感器小于35mm底片。 這意味著，尤其是利用數字攝影機捕獲的肖像圖像往往會在銳 聚焦中具有背景，這常常是不希望的，因為拍照者可能希望強 調人的面部，而弱化圖片的背景。通過與仔細使用照相機配置 配合進行仔細照相，可以校正該問題。
作為一種選擇，專業(yè)拍照者可以在捕獲了圖像后利用臺式計 算機的圖像處理軟件，采用半人工方法，使肖像圖像模糊。這 涉及人工干預，而且常常耗時。然而，這種傳統(tǒng)的模糊軟件可 以利用采用巻積核的各種技術產生模糊效應，如圖1和2所示。通常，可以根據下面的等式表示巻積
其中B是模糊圖像，/是原始圖像，g是巻積核?？梢灾鹣袼氐厥?加巻積模糊。因此，對于具有坐標(x，y)的特定像素，可以將 核大小為(MXN)的巻積寫成
核的大小和形狀影響模糊效果。其大小確定模糊強度，并因此
確定物體的感覺深度(perceived depth)。其形狀確定該模糊 的視覺特性，而且它與所謂"彌散圈"相關。 直徑D的圓形核具有如下解析形式
<formula>formula see original document page 7</formula>
而且具有圓柱形或者"拋物柱面"的幾何形狀，如圖1所示。現
在，參考圖2a—2b,示出了巻積核對景物的閃光圖像中的一行 像素的影響。原始圖像的最亮位置(亮斑)，即，在該例中，是 從左到右拍攝的像素2和4，承受如虛線輪廓線20所描述的動態(tài) 光強范圍最大值(例如，8位/像素的圖像為255)的飽和限幅， 而像素l、 3和5沒有被限幅。因為巻積，獲得的模糊圖像缺乏景 物中呈現的對比度和清晰度，因此，引起較差感染力的視覺效 果。僅這種模糊技術不能實現真實效果，并且不能仿制所希望 的淺景深圖像。

發(fā)明內容
提供了一種在數字照相機采集的圖像上產生模糊，用于打印 或者電子顯示或者既打印又顯示的方法。以第一曝光量采集景 物的第一圖像，而以第二曝光量采集名義上為同一景物的第二 圖像。該第二圖像的至少一個圖區(qū)包括一個或者多個具有飽和 光強值的像素。對于至少一個所述飽和像素，由該第一圖像推 定一個或者多個值。生成包括第二圖像中具有非飽和值的像素 以及具有一個或者多個推定值的像素的第三圖像。至少使該第 三圖像的一部分模糊并改變其尺度。
在沒有閃光的情況下，采集該第一圖像，而以閃光曝光量采 集該第二圖像。
飽和像素的值可以通過計算所述第一圖像上的像素的光強 與至少一個非飽和像素的光強的至少一個比值，以及根據該光 強比提供已選像素的推定值進行推定。非飽和像素可以包括第 一圖像中對應于第二圖像中未受到飽和限幅的像素的像素。
可以確定所述第三圖像的一個或者多個部分，以對應于該圖 像的前景，而且可以確定對應于該圖像的背景的部分?？梢允?該背景部分模糊。
可以至少對所述第一圖像和第二圖像的圖區(qū)的至少一部分 進行調準。該第一圖像可以是較低分辨率圖像，而該第二圖像 可以是較高分辨率圖像，而且可以使該第一和第二圖像的分辨 率匹配?？梢詫υ摰诙D像的分辨率降抽樣，達到所述第一圖 像的分辨率，或者可以對該第一圖像的分辨率增抽樣，達到該 第二圖像的分辨率，或者它們的組合。
通過對此至少一部分應用巻積核，可以使該第三圖像模糊。該核可以是圓形核。
該第三圖像可以包括通過利用該推定值代替該飽和光強值 修改的第二圖像的拷貝。
該第三圖像可以包括通過利用該推定值代替該飽和光強值 修改的第二圖像。
改變尺度可以包括將該第三圖像的模糊部分的尺度縮放為 與該第二圖像相關的范圍。
提供了另一種用于產生數字圖像的方法。至少采集兩個圖 像，包括具有飽和光強值的一個或者多個像素的高清晰度圖像。 根據該至少兩個采集圖像之另一的非飽和像素，確定一個或者 多個光強比。修改該高清晰度圖像，包括恢復根據另一個采集 圖像的非飽和像素確定的一個或者多個光強比。使修改圖像的 一部分模糊，然后，對該修改圖像進行存儲、顯示或者打印， 或者它們的組合。
該修改可以包括增加該一個或者多個飽和像素的光強，或者 降低該一個或者多個非飽和像素的光強，或者包括它們的組合。
使模糊可以包括確定該修改圖像中對應于該圖像的前景的
一個或者多個部分和對應于該圖像的背景的部分；以及使該背
景部分模糊?？梢愿淖冊撔薷膱D像的模糊部分的尺度。 還提供了一種或者多種處理器可讀存儲器件，其上嵌入了用
于對一個或者多個處理器編程，以執(zhí)行在此所述的在數字圖像
上產生模糊的方法的處理器可讀編碼。 還提供了一種可以使采集圖像模糊的數字圖像處理設備，而
且該數字圖像處理設備包括控制器和一個或者多個處理器可讀
存儲器件。


現在將利用例子參考附圖描述優(yōu)選實施例和變換實施例，附 圖中
圖l示出傳統(tǒng)的圓形巻積核；
圖2a—2b示出利用圓形巻積核實現的傳統(tǒng)圖像模糊； 圖3示出根據一個實施例的流程圖4a — 4c示出對應于根據另一個實施例獲得的低分辨率或 者高清晰度非閃光圖像和/或者預覽圖像、高清晰度閃光圖像或 者在另一個高光強曝光條件下捕獲的圖像以及大動態(tài)范圍 (HDR)圖像的相應部分的圖形表示；以及
圖5a—5b示出圖4c所示HDR圖像的模糊圖像的一部分以及根
據另一個實施例獲得的已改變尺度的模糊圖像的一部分的圖形 表不。
具體實施例方式
本發(fā)明提供了在數字釆集圖像中實現與傳統(tǒng)膠片照相機產 生的低DOF模糊類似的更真實模糊的技術和部件。
根據在此描述的實施例，減緩或者減小或者消除與傳統(tǒng)模糊 技術相關的低對比度和銳度。此外，模擬了彌散圈的透鏡作用， 下面將做更詳細說明。
如圖2a — 2b所示，飽和限幅導致該圖像的大動態(tài)范圍，艮P， HDR，信息的丟失。在本發(fā)明的一個實施例中，該信息被有利地 恢復，用以提供更真實的景物圖像模糊。
現在，參考圖3，在100，捕獲景物的最終低分辨率非閃光圖 像(在此稱為預覽圖像)，然后，在iio，捕獲景物的高清晰度 閃光圖像。然而，應該知道，作為一種選擇，預覽可以包括一系列捕獲的非閃光低分辨率圖像之任一或者之多個。作為一種 選擇，可以在高清晰度閃光圖像之后捕獲景物的非閃光圖像， 并且因此可以是后覽圖像。預覽圖像也可以是另一個髙清晰度 圖像或者是其降抽樣圖像。為了便于參考引用，術語"預覽圖 像"是用來包括這些圖像中的每一個圖像。本實施例還使得本 發(fā)明甚至可以應用于在沒有閃光的情況下捕獲最終高清晰度圖
像110。在這種情況下，可以采用與預覽圖像100相同的或者與
其不同(通常高于其)的曝光量，而且優(yōu)選高于其的曝光量，
拍攝最終高清晰度圖像iio，因此，與預覽圖像相比，該最終高
清晰度圖像iio可以包括較多具有飽和值的像素。
預覽圖像可以應用于諸如自動聚焦、白平衡或者估計曝光參 數的各種任務。優(yōu)選地，將預覽圖像存儲在照相機的存儲器內， 以供其他處理技術使用。作為一種選擇，可以將預覽圖像存儲 在任意適配存儲器件中，或者可以僅供在照相機中臨時使用或 者存儲。
下面將參考附圖4a — 4c以及5a—5b說明圖3所示流程處理中 的各方框的其余方框，圖4a—4c以及5a—5b進一步圖示說明這 些處理方框中的某些方框。參考圖4a—4c，為了說明問題，利 用圖形表示5個像素的光強值，這5個像素優(yōu)選地僅是高清晰度 圖像或者原始圖像(圖4a)、預覽圖像(圖4b)以及大動態(tài)范圍 圖像(圖4c)或者HDR圖像的多行像素中一整行像素的一部分。
在圖4a中，利用圖形表示了采用閃光或者在另一個強光曝光 條件下拍攝的高清晰度圖像的該行像素中的一部分像素的光強 級。如上參考圖2a所述，由于動態(tài)光強范圍的限制，該高清晰 度圖像受到了飽和限幅。在這種情況下，將從左到右拍攝的像 素2和4從高于255的值分別限幅到極限值255，而像素l、 3和5沒有受到限幅。因此，關于該景物的有價值信息從高清晰度、
強曝光圖像上消失了。至少，像素2和4與像素1、 3和5的光強比 值被改變了。在限幅過程中，也改變了像素2與4的比值，而且 事實上，在該例中，圖2a示出了該比值。
由于在該例中圖4b所示預覽圖像優(yōu)選地是非閃光圖像，所以 通常不發(fā)生飽和限幅，這樣，關于該景物的曝光信息無任何丟 失或者幾乎沒有丟失。在圖4b中，全部5個代表性像素均具有低 于255的光強級，因此，均未受到限幅作用，而且5個像素之間
的實際光強比保持完好。
繼續(xù)描述圖3所示處理，在120，使預覽圖像和高清晰度圖像 具有相同分辨率，即，使它們的分辨率匹配。在該優(yōu)選實施例 中，通過降抽樣閃光圖像，使該圖像的分辨率與預覽圖像的分 辨率匹配。作為一種選擇，通過將增抽樣預覽圖像或者降抽樣 閃光圖像的分辨率進行任意組合，使圖像的分辨率匹配。然而， 應該知道，可以采用使圖像具有相同分辨率的任意適當的手段。 當然，如果分辨率開始就相同，則可以跳過120。
然后，利用圖像匹準技術，在130對預覽圖像和高清晰度圖 像進行調準，以補償在拍攝這些圖像期間景物或者照相機的微 小運動。可以利用各種技術對整個圖像從整體上或者在局部實 現調準，例如，指定同一個受讓人的、于2005年8月30日提交的 第11/217， 788號美國未決專利申請描述的技術，在此引用該美 國未決專利申請供參考，并且在此另外做進一步的特別說明。 此外，如果這些圖像已經完全調準，那么在130的調準不需要修 改。
利用從預覽圖像中獲得的光強信息，在140，根據該高清晰 度圖像構建大動態(tài)范圍(HDR)的圖像。該HDR圖像加入由飽和
12限幅而從該閃光圖像上消除的信息(亮斑)的估計值。圖4c中5個像素的每個像素中的每個光強級條表示上方的虛線矩形分別示出這些估計值。圖2a示出了僅位于像素2和4之上的虛線矩形， 只有像素2和4是被限幅的像素。圖4c不僅具有被降低到極限值 255的像素2和4，而且具有也被降低的像素l、 3和5。作為一種 選擇，在圖4c所示HDR圖像中，像素2和4之一或者二者都可以被 降低到255以下。圖4c所示HDR圖像上像素2和4與像素l、 3和5 之間的光強比，優(yōu)選地比圖4 a更接近實際物體的光強比。在一個實施例中，通過確定預覽圖像中兩個或者兩個以上 的相鄰像素之間的光強比，該兩個或者兩個以上的相鄰像素之 一在閃光圖像中會受到限幅；以及閃光圖像中一個或者多個非 飽和像素的光強值，獲取HDR圖像。然而，應該知道，每個飽和 像素的光強比可以根據一個或者多個非相鄰的比較像素進行確 定。利用該比值信息，通過與從預覽圖像相應的(各)像素獲 得的光強比成正比的關系，該閃光圖像的每個已限幅像素的光 強得到推定。例如，確定預覽圖像的第一像素的光強與該預覽圖像的相鄰 像素的光強的比值。如果該閃光圖像中該第一像素的對應像素 被飽和限幅，則根據該比值信息，提高該已限幅像素的光強， 以使該像素恢復其對其相鄰像素或者比較像素的原始光強比。 可以對所有飽和像素執(zhí)行該處理，以產生HDR圖像。根據其它可 以采用的處理，例如，選擇的輔助閃光(參考第10/608，810號 美國專利申請，在此引用該專利申請供參考)，可以提高或者降 低或者綜合提高和降低所有像素的光強?？梢詫⒃摫戎稻_調 節(jié)到預覽圖像比值，或反之，如圖4c所示。這樣，可以生成HDR 圖像用以仿造沒有受到飽和限幅的閃光圖像和/或者強曝光圖像。在圖4c中，利用圖形描述了對應于原始圖像和預覽圖像的 像素的HDR圖像的一行像素中的部分像素，當分別包括實線矩形 和虛線矩形時，該預覽圖像的光強比基本上與HDR圖像的光強比 相同。盡管通過利用圖像100、 110提供單獨的HDR圖像，描述了該 說明性實施例，另一個實施例將用于調整閃光圖像110的值并且 根據下文使用此已調整的圖像。在一個實施例中，如2005年8 月30日提交的第11/217， 788號美國專利申請公開的那樣，對HDR 圖像進行數字分割處理135，以至少在該圖像的一部分內確定前 景和/或者背景。在一種典型實現中，將HDR圖像與名義上為同 一個景物的非閃光預覽圖像100進行比較。這兩個圖像的總體光 分布可以不同，因為一個圖像或者圖像的一部分僅被可用背景 光照射，而另一個圖像或者圖像的一部分被直接閃光照射，從 而將HDR圖像分類為前景和背景。如果代替使用HDR圖像，可以 將高清晰圖像和/或者閃光圖像110與預覽圖像100進行比較，以 執(zhí)行前景/背景分割，這也可以應用于處理HDR圖像；或者可以 再次將閃光預覽圖像和非閃光預覽圖像或者每個高清晰度圖像 用于進行前景/背景分割，以供在處理HDR圖像中使用，當以不 同的曝光級捕像時，可以使用兩個閃光圖像或者兩個非閃光圖 像，以致可以實現圖3 — 5所示的以及在這里相應說明描述的優(yōu) 點。作為一種選擇，在135，可以利用序列號為60/773， 714的美 國臨時專利申請(引用該美國臨時專利申請供參考)公開的方 法分離HDR圖像的前景圖區(qū)和背景圖像。在該實施例中，利用比該背景更靠近焦點的前景，拍攝景物的一個閃光圖像或者非閃 光圖像，并且例如根據上面所述，該圖像可以變換為HDR圖像。然后，可以以例如DCT編碼格式或者類似格式存儲HDR圖像。在 133(圖3)，可以拍攝名義上為同一個景物的第二散焦圖像，并 且也可以將該第二散焦圖像以DCT編碼格式存儲。然后，將這兩 個DCT編碼圖像進行比較，并且，根據已選高階DCT系數的和相 對于該第二圖像的等效圖區(qū)是增大或者減小，將該HDR圖像的圖 區(qū)指定為前景或者背景。在一個實施例中，如圖5a—5b中描述的，在圖3所示的150， 利用類似于照相機鏡頭的PSF(點擴散函數)的圓形核模擬光學 模糊的實際效果，可以對由上述描述標記為背景的該HDR圖像的 圖區(qū)實行模糊。圖5a示出了被模糊的該HDR圖像的5個典型像素 的光強級?？梢圆捎脠A形核是有利的，因為它接近實際鏡頭的 孔徑效應。此外，由于鏡頭未放大或者減小通過的光量，所以 求得巻積核，例如，其所有值的和等于l，艮口可以采用其它適當形狀的核。然后，如圖5b所示，在圖3所 示的方框160,使在圖3所示步驟150產生的模糊圖像的范圍按比 例回到高清晰度圖像的范圍，以在方框170產生與膠片型照相機 產生的小景深的模糊類似的真實模糊圖像。應該注意，上述實施例可以有許多變型。例如，在照相機內 或者在對其提供了圖像IOO、 110、 133的諸如臺式計算機的外部 處理設備的一部分內，完全可以實施圖3描述的圖像處理軟件。盡管示出并描述了本發(fā)明的典型附圖和特定實施例，但是應 該明白，本發(fā)明的范圍并不局限于所討論的特定實施例。因此， 該實施例被認為是說明性的，而非限定性的，而且還應該明白，在不脫離后面的權利要求書描述的本發(fā)明范圍及其等效結構和 等效功能的情況下，本技術領域內的技術人員可以對這些實施 例進行變更。此外，在根據下面的權利要求書和/或者在此描述的優(yōu)選實 施例執(zhí)行的方法中，以選擇的排印順序描述各操作?？墒?，選 擇該順序，并且為了排印方便而如此排序，而且該順序無意暗 示執(zhí)行該操作的任意特定順序，除非明確提出該特定順序，或 者本技術領域內的技術人員必然這樣理解該特定順序。此外，在提供變換實施例時，背景技術、發(fā)明內容、摘要
及其附圖本身所描述的內容和在此引述的所有參考內容以及指定同一個受讓人的第2005/0068448號、第 2006/0098237號、第2006/0204110號、第2006/0098890號、第 2006/0288071號和第2006/0285754號美國專利申請公開以及第 60/746， 363號和60/803， 980號美國臨時專利申請引入這些優(yōu)選 實施例的詳細說明中供參考。
權利要求
1.一種可以使采集的圖像模糊的數字圖像處理設備，包括控制器和一個或者多個處理器可讀存儲器件，所述一個或者多個處理器可讀存儲器件在其嵌入有處理器可讀編碼，所述處理器可讀編碼用于對一個或者多個處理器編程，以執(zhí)行在數字圖像上產生模糊的方法，該方法包括(a)采集以第一曝光量拍攝的景物的第一圖像；(b)采集以第二曝光量拍攝的名義上為同一個景物的第二圖像，其中所述第二圖像的至少一個圖區(qū)包括一個或者多個具有飽和光強值的像素；(c)對于至少一個所述具有飽和光強值的像素，從所述第一圖像推定一個或者多個值；(d)產生第三圖像，該第三圖像包括所述第二圖像的、具有非飽和值的像素和具有所述一個或者多個推定的值的像素；(e)使該第三圖像的至少一部分模糊；以及(f)改變該第三圖像的模糊部分的尺度。
2. 根據權利要求l所述的數字圖像處理設備，其中在沒有 閃光的情況下，釆集該第一圖像，并且其中以閃光曝光量，采 集該第二圖像。
3. 根據權利要求l所述的數字圖像處理設備，其中推定飽 和像素的值包括計算所述第一圖像上的像素的光強與至少一個非飽和像素 的光強的至少一個比值；以及根據所述光強比，提供已選像素的所述推定值。
4. 根據權利要求3所述的數字圖像處理設備，其中所述非 飽和像素包括所述第一圖像中的、對應于所述第二圖像上的未受到飽和限幅的像素的像素。
5. 根據權利要求l所述的數字圖像處理設備，其中該方法 進一步包括確定對應于該圖像的前景的所述第三圖像的一個或者多個 部分以及對應于該圖像的背景的部分；以及 使所述背景部分模糊。
6. 根據權利要求l所述的數字圖像處理設備，其中所述使 所述第三圖像模糊包括對所述至少一部分應用至少一個巻積 核。
7. 根據權利要求6所述的數字圖像處理設備，其中所述核包括圓形核。
8. 根據權利要求l所述的數字圖像處理設備，其中所述第三圖像包括通過利用該推定值代替該飽和光強值修改的所述第 二圖像的拷貝。
9. 根據權利要求l所述的數字圖像處理設備，其中所述第 三圖像包括通過利用該推定值代替該飽和光強值修改的所述第 二圖像。
10. 根據權利要求l所述的數字圖像處理設備，其中所述 改變尺度包括將所述第三圖像的所述模糊部分的尺度改變?yōu)榕c 所述第二圖像相關的范圍。
11. 一種可以使采集的圖像模糊的數字圖像處理設備，包 括控制器和一個或者多個處理器可讀存儲器件，所述一個或者 多個處理器可讀存儲器件在其上嵌入有處理器可讀編碼，所述 處理器可讀編碼用于對一個或者多個處理器編程，以執(zhí)行產生數字圖像的方法，該方法包括(a)至少采集兩個圖像，包括具有一個或者多個具有飽和光強值的像素的高清晰度圖像；(b) 根據該至少兩個采集的圖像中之另一個的非飽和像 素，確定一個或者多個光強比；(c) 修改該高清晰度圖像，包括恢復根據所述另一個采 集的圖像的非飽和像素確定的一個或者多個光強比；(d) 使該修改的圖像的一部分模糊；以及(e) 對該修改的圖像進行打印、圖像處理或者電子存儲、 發(fā)送或者顯示，或者它們的組合。
12. 根據權利要求ll所述的設備，其中該修改包括對該一個或者多個飽和像素提高光強。
13. 根據權利要求12所述的設備，其中該修改進減小一個或者多個非飽和像素的光強。
14. 根據權利要求ll所述的設備，其中該修改進 減小一個或者多個非飽和像素的光強。
15. 根據權利要求ll所述的設備，使模糊包括 確定對應于該圖像的前景的所述修改圖像的一個部分以及對應于該圖像的背景的部分；以及 使所述背景部分模糊。
16. 根據權利要求ll所述的設備，該方法進一步 該修改圖像的模糊部分的尺度。
17. —種用于在數字照相機采集的圖像上產生模糊，以對 其進行打印、圖像處理或者分析、或者電子存儲、發(fā)送或者顯 示、或者它們的組合，所述方法包括-(a) 采集以第一曝光量拍攝的景物的第一圖像；(b) 采集以第二曝光量拍攝的名義上為同一個景物的第二 圖像，其中所述第二圖像的至少一個圖區(qū)包括一個或者多個具一步包括 一步包括或者多個包括改變有飽和光強值的像素；(c) 對于至少一個所述具有飽和光強值的像素，從所述第 一圖像推定一個或者多個值；(d) 產生第三圖像，該第三圖像包括所述第二圖像的、具 有非飽和值的像素和具有所述一個或者多個推定的值的像素；(e) 使該第三圖像的至少一部分模糊；以及(f) 改變該第三圖像的模糊部分的尺度。
18. 根據權利要求17所述的方法，進一步包括確定所述第三圖像對應于該圖像的前景的一個或者多個部 分和對應于該圖像的背景的部分；以及 使所述背景部分模糊。
19. 根據權利要求17所述的方法，其中通過對所述至少一部分應用至少一個巻積核，執(zhí)行所述使所述第三圖像模糊。
20. 根據權利要求17所述的方法，其中所述第三圖像包括通過利用推定值代替該飽和光強值修改的所述第二圖像。
全文摘要
使圖像模糊的方法包括采集以不同曝光量拍攝的名義上為同一個景物的兩個圖像。該圖像之一的至少一個圖區(qū)包括具有飽和光強值的像素。對于該飽和像素的至少一個像素，由另一個圖像推定其值。使第三圖像的至少一部分模糊，而且改變包括具有該推定值的像素的第三圖像的至少一部分的尺度。
文檔編號G06F15/00GK101568908SQ200780013491
公開日2009年10月28日 申請日期2007年2月10日 優(yōu)先權日2006年2月14日
發(fā)明者亞力山德魯·德林巴雷昂, 埃蘭·斯坦伯格, 彼得·科科倫 申請人:快圖影像有限公司