一種基于圖像重要度的層次圖集自動拼貼方法
【技術領域】
[0001] 本發明為圖集處理技術,特別是涉及一種自動、可視效果優良的圖像拼貼方法。
【背景技術】
[0002] 隨著智能手機性能的提高與攝像頭像素的升級,人們越來越習慣通過隨手拍照來 記錄生活的點滴。如何對越來越多的照片進行瀏覽和管理成為了人們關注的問題。雖然各 種圖片、照片分享軟件和網站層出不窮,使人們可以與他人分享照片。然而,大量的圖像使 瀏覽和檢索變得困難,并且人們常用的分類保存方式也使得在查看某類圖片時只能看到文 件夾名稱,而無法獲取具體的圖像信息。而圖像拼貼技術旨在將多張圖像拼貼在一張畫布 中,讓用戶在有限的畫布中得到更多的圖像信息,有效地解決了在管理和瀏覽大量圖像時 帶來的部分問題。已經有人提出了一些自動圖像拼貼技術解決方案,但都存在一定的不足 之處,比如支持的圖像數較少,一般為20到40張,圖像數過多則會導致可視效果很差,并且 無法支撐層次圖集數據。
[0003] 例如,微軟提供了一個圖像拼貼軟件AutoCollage,它能提取圖像中的ROI區域, 但耗時較大,并且對畫布的形狀劃分比較單一。Yu Zongqiao在文獻中提出采用圓布局的方 式來進行圖像拼貼,它分別計算圖像的重要度,然后通過外切圓的方式分割畫布,缺點是圖 像重要度計算方式效果不好,畫布利用率低。Liu Tie等人在文獻中提出了一種區分圖像不 同重要區域,然后通過相互遮擋非重要區域的拼貼方式,該方法能讓畫布主要呈現圖像中 的ROI區域,缺點是視圖較混亂,并且下層圖片被遮擋的概率大。Brian等人提出了一種叫 做BRIC(blocked recursive image composition)的布局方案,該方法耗時少但拼貼效果 單一。
[0004] 上述提到的圖像拼貼方案,在拼貼效果和效率上并沒有取得一個比較好的平衡, 且僅考慮同一層的少量圖像拼貼,并不支持規模較大的多層次多主題圖集的拼貼可視化方 案。
【發明內容】
[0005] 本發明要克服現有技術的上述缺點,提出一種基于圖像重要度的圖集自動拼貼方 法,能夠對層次存放的圖像圖集數據實現快速且美觀自動拼貼可視化效果。
[0006] 本發明所述的基于圖像重要度的自動圖像拼貼方法,由四步驟組成:
[0007] 步驟一:使用Meanshift算法對圖像進行圖像分割,以矩形的方式提取出圖像中 的顯著區域,若有多個顯著區域則合并為一個;
[0008] 步驟二:經由圖像前后景的顏色復雜度與像素梯度復雜度,計算得到圖像前后景 的差異度,接著計算圖像與圖集中其它圖像的差異度的均值從而得到該圖像的代表度,最 終結合圖像內前后景差異度與圖像間差異度得到每幅圖像各自的重要度;
[0009] 步驟三:以XML文件保存圖集的層次關系,并將上述得到的圖像重要度作為節點 的權重并保存顯著區域的外接矩形輪廓;
[0010] 步驟四:采用Voronoi樹圖可視化圖集層次,畫布區域表示圖集子集或圖像的重 要度權重,根據節點顯著區域的矩形輪廓和圖像縮放技術自動拼貼各圖像的顯著區域。
[0011] 所述步驟一的具體步驟如下:
[0012] I. 1基于Meanshift的圖像分割
[0013] MeanShift算法被稱為均值漂移算法,是一種基于核密度梯度估計的無參快速統 計迭代算法,其形式簡單,在實際應用中表現出較好的穩定性、抗噪性和較高的效率。所 以本方法綜合考慮效果和效率,選擇Meanshift算法來做圖像分割處理,得到圖像中一個 或多個顯著區域(ROI)的外接矩形頂點坐標,如第i個ROI外接矩形的左上角頂點坐標 Li (X,y)和右下角頂點Ri (X,y)。
[0014] 1.2獲取圖像前后景區域
[0015] 本發明認為經圖像分割后的顯著區域都應為人們視覺所關注的重要前景區域。因 而合并圖像分割后的多個ROI區域,得到該圖像的ROI前景區域的外接矩形左上角和右下 角坐標,作為后續計算圖像重要度與拼貼計算的基礎區域。
[0016] 本發明假設圖像的坐標原點位于左下角,當圖像分割結果為1個顯著區域時,該 圖像的前景區域即為該顯著區域,記作I (L,R),其中I表示前景區域,L和R表示區域的左 上角和右下角頂點坐標。當圖像分割結果為多個顯著區域時,則前景區域I(L,R)可以通過 計算包含所有ROI矩形區域的外邊界得到,后景區域即為全圖像不包含前景區域的部分, 記作B。
[0017] 所述步驟二的具體步驟如下:
[0018] 2. 1前后景顏色復雜差異度計算
[0019] 將單張圖像的前后景顏色復雜差異度記為S。,計算方式如下:
[0020] 211.將前景區域I和后景區域B中的每個像素點由RGB色彩模式轉化成HSV(即 色調H,飽和度S,亮度V)顏色模型。并將H、S、V分量按其取值范圍平均分為m、η、〇個區 間,然后分別計算區域內各區間的像素點占總數的百分比,分別記為h n、S]I、vkI和h lB、s]B、 VkB°
[0021] 212.分別對I和B按下述公式計算得到顏色復雜度SjPS&。以心計算為例,需 要先分別計算在前景區域I的HSV各分量的復雜度,欠 I,再合成得到
[0025] 從而得到前景I的顏色復雜度為
[0026] 同理可得后景B的顏色復雜度Sb。
[0027] 213.最后得到圖像的前后景顏色復雜差異度S。= I S C1-Scb I。
[0028] 2. 2前后景像素梯度復雜差異度計算
[0029] 將單張圖像的前后景像素梯度復雜差異度記為計算方式如下:
[0030] 221.分別將前景區域I和后景區域B的素點矩陣轉化成梯度矩陣,先計算圖像X 方向梯度和y方向梯度,將斜率y/x轉換成〇到180度的角度表示的梯度矩陣,將梯度矩陣 均分為P個區間,分別統計區域內各區間的像素點個數占總數的百分比,記為〇"和〇 lB。
[0031] 222.通過下列式子計算得到前后景的梯度復雜度心和S ^
[0033] 同理可得后景B的梯度復雜度SeB
[0034] 223.最后得到前后景梯度復雜差異度
[0035] 2. 3圖像間差異度計算
[0036] 圖像間差異度可定義為單張圖像在對應圖集中的代表度,記作S1^,具體計算方式 如下:
[0037] 231.設圖集共有N張以HSV表示的圖像,將單張圖像H、S、V分量按其取值范圍平 均分為m、η、〇個區間,分別計算區域內各區間的像素點占總數的百分比,從而得到一個表 示該圖像的m+n+o維特征向量,如第i個圖像的特征向量表示為Vi。
[0038] 232.使用EMD算法,計算某個圖像到圖集中其它圖像的特征向量間的所有距離之 和的平均值即為其該圖像的圖像間差異度。
[0039] 即:
其中,EMD (V1, Va)表示使用EMD算法計算第i張圖像的特 征向量V1與第a張圖像的特征向量V 3的距離,i不能等于a。
[0040] 2. 4圖像重要度計算
[0041] 由上述圖像內前后景差異度與圖像間差異度便可得到圖像重要度S,其中
[0042] 所述步驟三生成XML文件的具體步驟如下:
[0043] 將圖集原始層次信息與計算得到的圖像重要度建立對應關系,生成圖集節點的 XML文件,其中主要包含圖集根目錄路徑、子文件夾與圖像葉子節點名稱、圖像重要度以及 圖像對應的前景區域坐標。
[0044] 所述步驟四的具體步驟如下:
[0045] 4. 1節點畫布區域計算
[0046] 把Voronoi樹圖節點區域面積與節點重要度對應起來,需先賦值各節點重要度權 重,然后Voronoi樹圖迭代計算得到相應面積的凸多邊形。計算步驟如下:
[0047] 411可根據XML文件,從葉子節點重要度開始逐層向上計算得到所有子節點重要 度之和,并設置父節點重要度權重為其占同層節點權重之和的百分比。
[0048] 412從根節點開始逐層向下,以各節點權重為區域面積目標值,做Voronoi樹圖PW 迭代計算,得到當前節點的每一個子節點對應凸多邊形區域的頂點序列。直到所有分支節 點計算完畢。
[0049] 4. 2拼貼計算
[0050] 每個分支節點區域對應圖集子集在可視化中可呈現的畫布區域。對于一定規模的 圖集,要用有限的畫布區域呈現子圖集內容,需要用到拼貼技術,盡可能裁剪選擇有代表性 的圖像顯著區域縮放匹配畫布。具體步驟如下:
[0051] 421由4. 1可獲取本級節點的畫布區域對應的頂點序列,進而得到外接矩形 P (L,R),其中第一分量表示矩形的左上角頂點,第二分量為矩形的右下角頂點。根據XML文 件選取本子集中重要度最高的圖像,由步驟一提取其前景區域I (L,R)。
[0052] 為避免拼貼時圖像被拉伸而失真,先匹配前景區域I (L,R)與畫布外接矩形 P (L,R),并按畫布區域裁剪得到最終拼貼圖像區域E (L,R)。具體是根據畫布外接矩形的長 寬比來修改圖像的前景區域范圍,達到盡可能的保留圖像前景區域視覺信息的目的。
[0053] 422.對E(L,R)區域再做縮放處理,與畫布大小一致,然后拼貼呈現在相應節點區 域中。
[005