專利名稱：基于累積能量的無縫拼接圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理方法，特別涉及一種基于累積能量的無 縫拼接圖像處理方法。
背景技術(shù)：
基于內(nèi)容感知的圖像縮放的目的是將圖像的大小和寬高比任意 改變后，在新圖像里仍然對原圖中的重要內(nèi)容保持良好的視覺感受。 圖像縮放一般分為兩種， 一是寬高比不變但寬和高尺寸發(fā)生變化的縮
放；二是寬高此發(fā)生變化的縮放。如今的很多顯示設(shè)備，如電腦顯示 屏，電視，mp4等的屏幕有著不同的寬高比，而往往人們需要在這些 不同的顯示屏幕上顯示同樣的圖片和視頻。這時就需要利用圖像縮放 技術(shù)，特別是圖像寬高比發(fā)生變化的縮放。
無縫拼接seam carving技術(shù)是一種易于實(shí)現(xiàn)且很有成效的針對
圖像寬高比發(fā)生變化時的圖像縮放技術(shù)。特別是當(dāng)圖像有明顯的重要
區(qū)域與非重要區(qū)域時，無縫拼接seam carving技術(shù)有著很明顯的優(yōu)
勢。但是現(xiàn)有的無縫拼接seam carving技術(shù)的魯棒性比較弱，具體
表現(xiàn)為，當(dāng)圖像的信息很稠密時，處理后的圖像往往不能很好地保護(hù)
圖像內(nèi)容的自然性。
傳統(tǒng)的無縫拼接seara carving技術(shù)的具體實(shí)現(xiàn)過程如下所示， 以圖像寬度縮小為例
seam分為橫向的seam和豎向的seam。橫向的seam是指從圖像最左一列到圖像最右一列，每列取一個像素點(diǎn)以構(gòu)成一條路徑，其中
相鄰兩列取的像素點(diǎn)滿足八鄰域關(guān)系。豎向的seam的定義如橫向的 seam。寬度縮小的過程就是不斷地刪除豎向的seam,高度縮小的過 程則是不斷地刪除橫向的seam。為了明確刪除哪些seam以保護(hù)圖像 重要內(nèi)容，為每條seam定義能量。能量最小的seam被認(rèn)為是最不重 要的seam，因此是可以優(yōu)先刪除的。基于前向能量和后向能量的無 縫拼接seam carving算法步驟如下(以縮小寬度為例)
1、 根據(jù)seam的能量定義(前向能量或后向能量)利用動態(tài)規(guī)劃計(jì) 算出當(dāng)前圖像中能量最小的豎向seam。
2、 在圖像中刪除第1步找出的最小豎向seam，使圖像寬度減1，
〗如果此時已到達(dá)目標(biāo)寬度，則停止計(jì)算并輸出結(jié)果圖像；否則 回到第1步。
下面闡述本發(fā)明中使用的視覺顯著表(saliencymap)技術(shù)。該技術(shù)采 用論文GU0 C. ， MA Q., Z國G L. : Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform. In Proc. CVPR， 08 (2008)的方法。具體步驟如下
1. 對于輸入圖像P，將P用雙線性技術(shù)縮放至90X90大小得到尸'；
2. 對P'作二維快速傅里葉變換得到《；
3. 對A中的每個元素，將其幅度值歸一，得到尸/1;
4. 對P^作反傅里葉變換得到P,';
5. 對P,'中的每個元素求幅度值，并平方，得到A;
6. 將A通過半徑為3的圓形平均濾波器，得到A;
7. 將P;轉(zhuǎn)換為灰度強(qiáng)度圖，并將每個元素平方，得到尸4;8.用雙線性插值法將A的大小縮放為輸入圖像P的大小，此時得到P 的視覺顯著表Smap。
發(fā)明內(nèi)容
本發(fā)明基于原有的無縫拼接seam carving技術(shù)，加入了對seam 刪除后的能量累積效應(yīng)以及圖像視覺顯著性的考慮，提出了基于累積 能量的ASE (accumulative saliency energy)無縫拼接seam carving 模型，實(shí)驗(yàn)顯示，基于累積能量的ASE模型較原來的無縫拼接seam carving模型有更好的內(nèi)容感知的能力，并加強(qiáng)了魯棒性。
基于累積能量的ASE模型考慮了傳統(tǒng)無縫拼接seam carving過 程中的貪心效應(yīng)帶來的不良效應(yīng)，通過記錄無縫拼接seam carving 過程中更多的能量信息和引入能量更新步驟，并融入視覺顯著性信 息，達(dá)到減弱貪心效應(yīng)的目的。
為了解決以上的技術(shù)問題，本發(fā)明提供了一種基于累積能量的無 縫拼接圖像處理方法，對于一張輸入圖像P，按下面的步驟實(shí)現(xiàn)縮小 寬度
① 計(jì)算圖像的強(qiáng)度表/,并將/中所有元素除以/中元素的最大值(即 讓最大元素歸1);
② 將/通過大小為20X20、方差為9的高斯低通濾波器，得到模糊 化的圖像強(qiáng)度"；
③ 求出輸入圖像的視覺顯著表Smap(saliency map),并將Smap中 所有元素除以Sm即中元素的最大值(即讓最大元素歸1);
按如下公式構(gòu)造初始化最小能量表^和最大能量表5 :
formula>formula see original document page 6</formula>其中,。'和^(o)是^和S的初始化值，z是第i步得到的強(qiáng)度表，"
是第②步得到的模糊化的強(qiáng)度表，Sm鄰是第③步得到的視覺顯著 表；通過下標(biāo)i禾卩j遍歷Jw ， ， / ， /*和Smap。
⑤ 重新定義每個像素點(diǎn)的能量和每條seam的能量-設(shè)當(dāng)前已經(jīng)刪除t條seam(t初始值為0)，像素點(diǎn)々,的能量記為
則定義為e(')(化)
一(。=(《-《)2 + (《-《,)2 其中f和B(')是刪除t條seam之后的最小能量表和最大能量表 (初始為f)， 5(°))。
每條seams的能量為S中每個像素點(diǎn)的能量和
⑥ 按上一步驟的定義，按照下式的動態(tài)規(guī)劃求出當(dāng)前最小seam (M")(/，刀表示刪除t條seam后，當(dāng)前圖像中從首行某點(diǎn)為起點(diǎn)， 以尸(/,/)為終點(diǎn)的seam或者部分seam的最小能量值)
M(') (/，_/) = min(M(')(/ - W - 1)，M(')(/ - 1,/),M(')(/ -+1)} + MW的最后一行的最小值對應(yīng)著當(dāng)前最小能量的seam的能量。動 態(tài)規(guī)劃的過程中記錄回溯信息以確定最小seam的位置
⑦ 確定了當(dāng)前最小seam的位置后，更新能量表 設(shè)當(dāng)前已經(jīng)刪除了 t-l條seam，并且找到了馬上要刪除的第t條 seam(當(dāng)前最小seam)，則首先更新^'-')和')為f)和5"":在上式中，(i， j)遍歷要刪除的第t條seam(當(dāng)前最小seam)中的 點(diǎn)。
⑧更新能量表后，刪除當(dāng)前最小seam，形成下一個迭代的能量表:
計(jì)算出^'"和5""后，在當(dāng)前圖像，^('"和W。三張圖(表)中分別 刪除對應(yīng)當(dāng)前最小seam位置上的元素。設(shè)f )和W)刪除對應(yīng)位 置的元素后記為力(')和W，則/^和W)就是刪除t條seam后的 對應(yīng)能量表。如果此時圖像還未達(dá)到目標(biāo)寬度，回到第5步，否 則退出。
縮小高度的方法按以上的步驟實(shí)現(xiàn)。
本發(fā)明的優(yōu)越功效在于本發(fā)明的方法比原來的無縫拼接技術(shù)有 更好的內(nèi)容感知的能力，提高了魯棒性。
圖1 (包括圖1A、圖1B、圖1C和圖1D)為本發(fā)明與現(xiàn)有的無縫 拼接技術(shù)的結(jié)果比較具體實(shí)施例方式
請參閱附圖所示，對本發(fā)明作進(jìn)一步的描述。
本發(fā)明提供了一種基于累積能量的無縫拼接圖像處理方法，對于 一張輸入圖像P，按下面的步驟實(shí)現(xiàn)縮小寬度-
① 計(jì)算圖像的強(qiáng)度表/，并將/中所有元素除以/中元素的最大值(即 讓最大元素歸1);
② 將/通過大小為20X20、方差為9的高斯低通濾波器，得到模糊 化的圖像強(qiáng)度/、③ ；求出輸入圖像的視覺顯著表Smap(saliency map)，并將Smap 中所有元素除以Smap中元素的最大值(即讓最大元素歸1);
④ 按如下公式構(gòu)造初始化最小能量表^和最大能量表^ :
《)二min(/,乂，S拜,》
其中^。)和S(w是^和5的初始化值，/是第1步得到的強(qiáng)度表，/A 是第②步得到的模糊化的強(qiáng)度表，Sm鄰是第③步得到的視覺顯著 表。通過下標(biāo)i和j遍歷X(。) ， B(0) ， / ，廣和Smap。
⑤ 重新定義每個像素點(diǎn)的能量和每條seam的能量 設(shè)當(dāng)前已經(jīng)刪除t條seam(t初始值為0)，像素點(diǎn)化的能量記為
e(')(C)，則定義為,(C):
(。 = (K, )2 + (《-《')2 其中i')和S(')是刪除t條seam之后的最小能量表和最大能量表
(初始為^。)， &°))。
每條seams的能量為S中每個像素點(diǎn)的能量和
,)GS) = ^>(')(&)
,=1
◎按上一步驟的定義，按照下式的動態(tài)規(guī)劃求出當(dāng)前最小seam (M")(/,y')表示刪除t條seam后，當(dāng)前圖像中從首行某點(diǎn)為起點(diǎn)， 以尸(/，/)為終點(diǎn)的seam或者部分seam的最小能量值)
A/(') (f，;) = min{M(0 (/ —-1)， M(') (/ — 1, _/), (/ -1, / +1)} +(《;)
MW的最后一行的最小值對應(yīng)著當(dāng)前最小能量的seam的能量。動 態(tài)規(guī)劃的過程中記錄回溯信息以確定最小seam的位置；⑦ 確定了當(dāng)前最小seam的位置后，更新能量表
設(shè)當(dāng)前已經(jīng)刪除了 t-1條seam，并且找到了馬上要刪除的第t條
seam(當(dāng)前最小seam)，則首先更新^'-"和為f )和,): 《，-min(Of))
在上式中，(i， j)遍歷要刪除的第t條seam(當(dāng)前最小seam)中的 點(diǎn)。
⑧ 更新能量表后，刪除當(dāng)前最小seam，形成下一個迭代的能量表
計(jì)算出f)和W)后，在當(dāng)前圖像，f ;和5""三張圖(表)中分別 刪除對應(yīng)當(dāng)前最小seam位置上的元素。設(shè)f )和5('"刪除對應(yīng)位 置的元素后記為Z(')和B(')，則^')和sw就是刪除t條seam后的 對應(yīng)能量表。如果此時圖像還未達(dá)到目標(biāo)寬度，回到第⑤步，否 則退出。
縮小高度的方法按以上的步驟實(shí)現(xiàn)。
如圖1所示，圖1A為原圖；圖1B為采用后向能量技術(shù)的結(jié)果圖； 圖1C為采用前向能量技術(shù)的結(jié)果圖；圖1D為本發(fā)明的結(jié)果圖。從圖 中得知，本發(fā)明對大量的圖像做圖像寬度壓縮(壓縮至原圖寬度的 1/2到2/3)，發(fā)現(xiàn)本發(fā)明的基于累積能量的無縫拼接圖像處理方法 ASE對圖像的內(nèi)容感知能力和魯棒性都比前向、后向能量seam carving好o
權(quán)利要求
1、一種基于累積能量的無縫拼接圖像處理方法，其特征在于對于一張輸入圖像P，按下面的步驟實(shí)現(xiàn)縮小寬度①計(jì)算圖像的強(qiáng)度表I，并將I中所有元素除以I中元素的最大值(即讓最大元素歸1)；②將I通過大小為20×20，方差為9的高斯低通濾波器，得到模糊化的圖像強(qiáng)度Ib；③求出輸入圖像的視覺顯著表Smap，并將Smap中所有元素除以Smap中元素的最大值(即讓最大元素歸1)；④按如下公式構(gòu)造初始化最小能量表A和最大能量表B<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><msubsup> <mi>A</mi> <mrow><mi>i</mi><mo>,</mo><mi>j</mi> </mrow> <mrow><mo>(</mo><mn>0</mn><mo>)</mo> </mrow></msubsup><mo>=</mo><mi>min</mi><mo>{</mo><msub> <mi>I</mi> <mrow><mi>i</mi><mo>,</mo><mi>j</mi> </mrow></msub><mo>,</mo><msubsup> <mi>I</mi> <mrow><mi>i</mi><mo>,</mo><mi>j</mi> </mrow> <mi>b</mi></msubsup><mo>,</mo><mi>Sma</mi><msub> <mi>p</mi> <mrow><mi>i</mi><mo>,</mo><mi>j</mi> </mrow></msub><mo>}</mo> </mrow>]]></math></maths><maths id="math0002" num="0002" ><math><![CDATA[ <mrow><msubsup> <mi>B</mi> <mrow><mi>i</mi><mo>,</mo><mi>j</mi> </mrow> <mrow><mo>(</mo><mn>0</mn><mo>)</mo> </mrow></msubsup><mo>=</mo><mi>max</mi><mrow> <mo>(</mo> <msub><mi>I</mi><mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi></mrow> </msub> <mo>,</mo> <msubsup><mi>I</mi><mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi></mrow><mi>b</mi> </msubsup> <mo>,</mo> <mi>S</mi> <msub><mi>map</mi><mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi></mrow> </msub> <mo>)</mo></mrow> </mrow>]]></math></maths>其中A(0)和B(0)是A和B的初始化值，I是第1步得到的強(qiáng)度表，Ib是第②步得到的模糊化的強(qiáng)度表，Smap是第③步得到的視覺顯著表；通過下標(biāo)i和j遍歷A(0)，B(0)，I，Ib和Smap；⑤重新定義每個像素點(diǎn)的能量和每條seam的能量設(shè)當(dāng)前已經(jīng)刪除t條seam(t初始值為0)，像素點(diǎn)Pi，j的能量記為e(t)(Pi，j)，則定義為e(t)(Pi，j)<maths id="math0003" num="0003" ><math><![CDATA[ <mrow><msup> <mi>e</mi> <mrow><mo>(</mo><mi>t</mi><mo>)</mo> </mrow></msup><mrow> <mo>(</mo> <msub><mi>P</mi><mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi></mrow> </msub> <mo>)</mo></mrow><mo>=</mo><msup> <mrow><mo>(</mo><msubsup> <mi>A</mi> <mrow><mi>i</mi><mo>,</mo><mi>j</mi> </mrow> <mrow><mo>(</mo><mi>t</mi><mo>)</mo> </mrow></msubsup><mo>-</mo><msubsup> <mi>A</mi> <mrow><mi>i</mi><mo>,</mo><mi>j</mi><mo>-</mo><mn>1</mn> </mrow> <mrow><mo>(</mo><mi>t</mi><mo>)</mo> </mrow></msubsup><mo>)</mo> </mrow> <mn>2</mn></msup><mo>+</mo><msup> <mrow><mo>(</mo><msubsup> <mi>B</mi> <mrow><mi>i</mi><mo>,</mo><mi>j</mi> </mrow> <mrow><mo>(</mo><mi>t</mi><mo>)</mo> </mrow></msubsup><mo>-</mo><msubsup> <mi>B</mi> <mrow><mi>i</mi><mo>,</mo><mi>j</mi><mo>-</mo><mn>1</mn> </mrow> <mrow><mo>(</mo><mi>t</mi><mo>)</mo> </mrow></msubsup><mo>)</mo> </mrow> <mn>2</mn></msup> </mrow>]]></math></maths>其中A(t)和B(t)是刪除t條seam之后的最小能量表和最大能量表(初始為A(0)，B(0))；每條seamS的能量為S中每個像素點(diǎn)的能量和<maths id="math0004" num="0004" ><math><![CDATA[ <mrow><msup> <mi>e</mi> <mrow><mo>(</mo><mi>t</mi><mo>)</mo> </mrow></msup><mrow> <mo>(</mo> <mi>S</mi> <mo>)</mo></mrow><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>i</mi><mo>=</mo><mn>1</mn> </mrow> <mi>n</mi></munderover><msup> <mi>e</mi> <mrow><mo>(</mo><mi>t</mi><mo>)</mo> </mrow></msup><mrow> <mo>(</mo> <msub><mi>S</mi><mi>i</mi> </msub> <mo>)</mo></mrow> </mrow>]]></math></maths>⑥按上一步驟的定義，按照下式的動態(tài)規(guī)劃求出當(dāng)前最小seam(M(t)(i，j)表示刪除t條seam后，當(dāng)前圖像中從首行某點(diǎn)為起點(diǎn)，以P(i，j)為終點(diǎn)的seam或者部分seam的最小能量值)M(t)(i，j)＝min{M(t)(i-1，j-1)，M(t)(i-1，j)，M(t)(i-1，j+1)}+e(t)(Pi，j)M(t)的最后一行的最小值對應(yīng)著當(dāng)前最小能量的seam的能量；動態(tài)規(guī)劃的過程中記錄回溯信息以確定最小seam的位置；⑦確定了當(dāng)前最小seam的位置后，更新能量表設(shè)當(dāng)前已經(jīng)刪除了t-1條seam，并且找到了馬上要刪除的第t條seam(當(dāng)前最小seam)，則首先更新A(t-1)和B(t-1)為A(t1)和B(t1)<maths id="math0005" num="0005" ><math><![CDATA[ <mrow><msubsup> <mi>A</mi> <mrow><mi>i</mi><mo>,</mo><mi>j</mi><mo>-</mo><mn>1</mn> </mrow> <mrow><mo>(</mo><mi>t</mi><mn>1</mn><mo>)</mo> </mrow></msubsup><mo>=</mo><mi>min</mi><mo>{</mo><msubsup> <mi>A</mi> <mrow><mi>i</mi><mo>,</mo><mi>j</mi><mo>-</mo><mn>1</mn> </mrow> <mrow><mo>(</mo><mi>t</mi><mo>-</mo><mn>1</mn><mo>)</mo> </mrow></msubsup><mo>,</mo><msubsup> <mi>A</mi> <mrow><mi>i</mi><mo>,</mo><mi>j</mi> </mrow> <mrow><mo>(</mo><mi>t</mi><mo>-</mo><mn>1</mn><mo>)</mo> </mrow></msubsup><mo>}</mo> </mrow>]]></math></maths><maths id="math0006" num="0006" ><math><![CDATA[ <mrow><msubsup> <mi>B</mi> <mrow><mi>i</mi><mo>,</mo><mi>j</mi><mo>-</mo><mn>1</mn> </mrow> <mrow><mo>(</mo><mi>t</mi><mn>1</mn><mo>)</mo> </mrow></msubsup><mo>=</mo><mi>max</mi><mrow> <mo>(</mo> <msubsup><mi>B</mi><mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>-</mo> <mn>1</mn></mrow><mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo></mrow> </msubsup> <mo>,</mo> <msubsup><mi>B</mi><mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi></mrow><mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo></mrow> </msubsup> <mo>)</mo></mrow> </mrow>]]></math></maths>在上式中，(i，j)遍歷要刪除的第t條seam(當(dāng)前最小seam)中的點(diǎn)；⑧更新能量表后，刪除當(dāng)前最小seam，形成下一個迭代的能量表計(jì)算出A(t1)和B(t1)后，在當(dāng)前圖像，A(t1)和B(t1)三張圖表中分別刪除對應(yīng)當(dāng)前最小seam位置上的元素；設(shè)A(t1)和B(t1)刪除對應(yīng)位置的元素后記為A(t)和B(t)，則A(t)和B(t)就是刪除t條seam后的對應(yīng)能量表；如果此時圖像還未達(dá)到目標(biāo)寬度，回到第⑤步，否則退出；縮小高度的方法按以上的步驟實(shí)現(xiàn)。
全文摘要
本發(fā)明提供了一種基于累積能量的無縫拼接圖像處理方法，考慮了傳統(tǒng)無縫拼接seam carving過程中的貪心效應(yīng)帶來的不良效應(yīng)，通過記錄無縫拼接seam carving過程中更多的能量信息和引入能量更新步驟，并融入圖像的視覺顯著性信息，達(dá)到減弱貪心效應(yīng)的目的。本發(fā)明的優(yōu)點(diǎn)是本發(fā)明的方法比原來的無縫拼接技術(shù)有更好的內(nèi)容感知的能力，提高了魯棒性。
文檔編號G06T3/40GK101609547SQ20091005491
公開日2009年12月23日 申請日期2009年7月16日 優(yōu)先權(quán)日2009年7月16日
發(fā)明者張軍平, 白云峰, 駱?biāo)紡?qiáng) 申請人:復(fù)旦大學(xué)