一種縮略圖生成方法和系統的制作方法
【專利摘要】本發明公開了一種縮略圖生成方法和系統，通過聯合使用裁切、扭曲、縮放三種圖像處理策略生成縮略圖，發揮了不同策略的優勢，并使其互相補充，使圖像中的重要區域在縮略圖中得到準確、完整、充分的顯示，在縮略圖的有限空間中實現了重要信息的最大化保留。本發明將以上三種圖像處理策略通過一次統一的最優化過程實現，同時具有較少的時間開銷。
【專利說明】一種縮略圖生成方法和系統
【技術領域】
[0001]本發明涉及到一種圖像處理領域，特別涉及到一種生成圖像縮略圖的方法和系統。
【背景技術】
[0002]近年來，隨著多媒體和互聯網技術的不斷發展，圖像、視頻等可視化數據呈爆炸式增長。為了快速瀏覽圖像，手機、IPad、電腦等設備先將圖像轉換成小尺寸的縮略圖，然后在屏幕上同時顯示多幅圖像的縮略圖，以方便用戶的瀏覽。
[0003]根據調查，當前幾乎所有設備所采用的縮略圖生成方法都是裁切或者均勻縮放。裁剪就是直接在原始圖像中間截取一塊目標尺寸區域作為縮略圖，而均勻縮放則是將原始圖像以固定的比例壓縮至縮略圖的尺寸。然而，均勻縮放往往導致圖像中重要物體在縮略圖中嚴重形變，裁切可能造成某些重要物體被全部或者部分丟棄。總之，這兩種方法生成的縮略圖難以有效地向用戶傳達信息，極大降低了用戶視覺體驗。
[0004]近年來，一些國外學者注意到了縮略圖的實用意義以及所面臨的困難，提出了一些新的方法°在〈〈Proceedings of IEEE International Conference on Computer Vision))2012年發表的〈〈Scale and object aware image retargeting for thumbnail browsing))中，他們通過聯合使用兩種圖像處理策略一一縫雕刻與扭曲，來生成縮略圖，該方法首先通過縫雕刻算法剔除圖像中的非重要像素，生成一幅目標尺寸的縮略圖，然后根據縮略圖中各像素與源圖像中像素的對應關系，計算出從原始圖像到縮略圖的最佳映射，再根據該映射將源圖像映射成縮略圖。該方法可以使縮略圖中的大部分空間用于顯示重要的物體，同時確保該物體不發生嚴重的形變。然而，縫雕刻方法容易破壞圖像的幾何結構，很多時候后續的扭曲策略也無法完全修復，生成的縮略圖中重要物體依然會出現明顯的形狀改變，而且，該方法采用分階段的方式逐一執行兩種圖像處理策略，帶來了較大的時間開銷，不利于實際應用。
【發明內容】
[0005]本發明的目的是為了解決縮略圖中重要圖像內容形變嚴重、損失過多、視覺體驗較差的問題，而提出一種圖像的縮略圖生成方法和系統。該方法和系統將不同尺寸、規格和內容的圖像處理成預設尺寸的縮略圖，并且使該縮略圖準確、完整、充分地顯示圖像中的重要內容，提升用戶瀏覽效率和瀏覽體驗。
[0006]根據本發明的一個方面，提出一種圖像的縮略圖的生成方法，包括:步驟1，獲取待生成縮略圖的源圖片和待生成縮略圖的目標尺寸；步驟2，根據重要性分析算法，計算源圖片的重要性分布即每個像素的重要性；步驟3，將源圖片均勻劃分成MXN個網格，其中M是大于等于I的整數，N是大于等于I的整數，以及，根據圖像的重要性分布，計算每個網格的重要性；步驟4，根據不同網格的重要性，使用裁剪、縮放、扭曲三種策略對網格進行變形，獲得變形后的網格；步驟5，使源圖像各網格內的圖像內容適應變形后的網格，獲得第一縮略圖；步驟6，根據重要區域完整性檢測策略，判定第一縮略圖對重要區域的顯示是否符合中重要區域完整性判定條件；步驟7，若第一縮略圖符合重要區域完整性條件，則直接將第一縮略圖作為第二縮略圖；否則，利用裁切修正算法調整裁切策略的作用效果，重新獲得第一縮略圖；步驟8，根據重要區域充分性檢測策略，判定第二縮略圖對重要區域的顯示是否符合中重要區域充分性判定條件；步驟9，若第二縮略圖符合重要區域充分性條件，則直接將第二縮略圖作為第三縮略圖；否則，利用縮放修正算法調整縮放策略的作用效果，重新獲得第二縮略圖；步驟10，輸出第三縮略圖。
[0007]根據本發明的另一方面，還提出一種縮略圖生成系統，該系統包括:圖片獲取單元，用于獲取待生成縮略圖的源圖片和待生成縮略圖的目標尺寸；重要性分析單元，用于根據重要性分析算法，計算源圖片的重要性分布即每個像素的重要性；網格重要性確定單元，用于將源圖片均勻劃分成MXN個網格，其中M是大于等于I的整數，N是大于等于I的整數，以及，根據圖像的重要性分布，計算每個網格的重要性；網格變形單元，根據不同網格的重要性，使用裁剪、縮放、扭曲三種策略對網格進行變形，獲得變形后的網格；第一縮略圖獲取單元，使源圖像各網格內的圖像內容適應變形后的網格，獲得第一縮略圖；第一判定單元，根據重要區域完整性檢測策略，判定第一縮略圖對重要區域的顯示是否符合中重要區域完整性判定條件；第二縮略圖獲取單元，若第一縮略圖符合重要區域完整性條件，則直接將第一縮略圖作為第二縮略圖；否則，利用裁切修正算法調整裁切策略的作用效果，重新獲得第一縮略圖；第二判定單元，根據重要區域充分性檢測策略，判定第二縮略圖對重要區域的顯示是否符合中重要區域充分性判定條件；第三縮略圖獲取單元，若第二縮略圖符合重要區域充分性條件，則直接將第二縮略圖作為第三縮略圖；否則，利用縮放修正算法調整縮放策略的作用效果，重新獲得第二縮略圖；輸出單元，輸出第三縮略圖。
[0008]本發明的縮略圖生成系統和方法聯合使用三種圖像處理策略生成目標尺寸的縮略圖，將三種策略融合在一個統一的最優化框架下實現，根據所生成縮略圖對重要區域顯示的完整程度來調整裁切策略的作用效果，根據所生成縮略圖對重要區域顯示的充分程度來調整縮放策略的作用效果。
[0009]本發明引入的裁切策略，將使圖像中的重要區域被保存在縮略圖中，而相對不重要的圖像外圍區域則被舍棄，這么做將節省縮略圖本已十分有限的空間，使縮略圖有限的空間盡可能用于集中展示圖像的重要信息。
[0010]本發明所引入的扭曲策略，將使圖像的重要區域在縮略圖中保持原有的形狀和幾何結構，并同時扭曲處于各重要區域之間的不重要區域，使重要目標的空間排列發生改變，使其排列得更加緊密，有利于縮略圖完整地概括所有重要目標。
[0011]本發明所引入的縮放策略，將使重要區域在縮略圖中保持一個合適的尺度，避免重要目標發生過度的縮小，影響用戶的瀏覽和辨認，有利于縮略圖有效地向用戶傳達信息。
[0012]本發明通過聯合使用裁切、扭曲、縮放三種圖像處理策略處理圖像，發揮了不同策略的優勢，并使其互相補充，使圖像中的重要區域在縮略圖中得到準確、完整、充分的顯示，在縮略圖的有限空間中實現了重要信息的最大化保留。
[0013]本發明將三種圖像處理策略融合成一個統一的凸規劃問題，通過一次數值優化即可求解，相較于采用分階段的方式逐步執行各策略，這種統一的融合有效降低了算法的復雜度。[0014]本發明定義的縮略圖完整性判定條件和充分性判定條件可以評價當前縮略圖對重要區域顯示的完整程度和充分程度。
[0015]本發明所引入的縮略圖完整性修正算法，對重要區域顯示不完整的縮略圖，相應地調整裁切策略的作用效果，使再次生成的縮略圖包含更多重要區域，有效改進縮略圖中重要區域的完整性。
[0016]本發明所引入的縮略圖充分性修正算法，對重要區域顯示不充分的縮略圖，相應地調整縮放策略的作用效果，使再次生成的縮略圖中重要區域占據更多空間，有效改進縮略圖中重要區域的充分性。
【專利附圖】
【附圖說明】
[0017]圖1所示為本發明中的縮略圖生成方法示意圖；
[0018]圖2所示為本發明中的縮略圖生成系統示意圖；
[0019]圖3所示為縮略圖生成系統中重要區域分析模塊示意圖；
[0020]圖4所不為縮略圖生成系統中最優化|旲塊不意圖；
[0021]圖5所示為縮略圖生成系統中完整性修正模塊示意圖；
[0022]圖6所不為縮略圖生成系統中充分性修正模塊不意圖；
[0023]圖7所示為本發明重要性分析算法實施例示意圖；
[0024]圖8所示為本發明采用三種策略處理圖像生成縮略圖實施例示意圖；
[0025]圖9所示為本發明完整性、充分性修正算法修正縮略圖實施例示意圖；
[0026]圖10所示為本發明與已有算法處理實施例對比示意圖。
【具體實施方式】
[0027]為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照附圖，對本發明進一步詳細說明。
[0028]本發明的主要思想是同時使用三種圖像處理策略來生成縮略圖，使得重要的圖像內容得以在縮略圖中準確、完整、充分的顯示，使縮略圖最大化地保留原始圖像的重要信息，提高用戶的瀏覽效率和瀏覽體驗，同時降低算法復雜度。
[0029]下面首先對本發明涉及到的術語進行解釋:
[0030]裁切:位于裁切窗口內的圖像內容被保留，而裁剪窗口外的區域則被丟棄。本發明中的裁切策略將優先保留圖像的重要區域，而將不重要區域裁切掉。
[0031]扭曲:改變圖像或者圖像某個區域的形狀，這種形狀改變不包括等比例的放大或縮小，比如正方形區域被放大成一個邊長更長的正方形并不視為形狀改變，而正方形被拉伸成長方形則視為形狀改變。本發明中的扭曲策略是使重要區域保持原有的形狀，而改變不重要區域的形狀。
[0032]縮放:將圖像或者圖像的某個區域放大成原圖或者原區域的N倍，或者縮小成原圖或者原區域的1/N倍，其中N大于I。本方法中的縮放策略是將重要區域縮放到一個相對較大的尺寸，而縮小不重要區域的尺寸。
[0033]變形:該處含義不僅僅指改變圖像的形狀，而是對圖像內容廣義的改變，包括改變圖像某區域的形狀和位置。本發明中通過裁切、扭曲、縮放三種策略處理過的圖像被視為發生變形。
[0034]圖1示出了本發明中縮略圖生成方法的實施例的步驟流程圖。如圖1所示，本發明的縮略圖生成方法包括以下步驟:
[0035]步驟101，獲取待生成縮略圖的源圖像和該縮略圖的尺寸；該處的源圖像可以是任意尺寸和規格的圖像數據，包括網絡圖片、數碼相機照片到視頻中捕捉到的一幀。該處待生成縮略圖的目標尺寸可以是所述縮略圖的寬Wt和高Ht。
[0036]步驟102，根據重要性分析算法，計算目標圖像的重要性分布，并且進一步劃分出重要區域和非重要區域；計算圖像重要分布包括以下步驟:
[0037]先根據顯著性圖計算算法，計算圖像的顯著性圖，其中顯著性圖計算算法可以參考《IEEE Transactions on Pattern Analisis and Machine Intelligence》1998 年的《Amodel of saliency-based visual attention for rapid scene analysis))中的方法。
[0038]然后根據人臉檢測算法，檢測目標圖像的人臉所在區域；根據人臉檢測結果生成人臉區域圖。具體地，在人臉區域圖中，將人臉所在區域的像素賦予較高的灰度值(如255)，將其他區域的像素賦予較低的灰度值，其中人臉檢測算法可以參考文獻《InternationalJournal on Computer Vision〉〉2004 年〈〈Robust real-time face detection〉〉中的方法。
[0039]對于目標圖像每個像素，在顯著性圖和人臉區域圖中找到相應位置的像素的灰度值，并取兩個灰度值中較大的一個作為該像素的重要性值，獲得重要性分布圖:
[0040]I (i, j) =max (Is (i, j)，If (i, j))
[0041]I(i, j)是原始圖像中像素(i，j)的重要性圖值，Is(i，j)和If (i，j)分別是像素(i，j)的顯著性圖值和人臉區域圖值。
[0042]如圖7所示為該重要性分析算法示意圖。
[0043]步驟103，將目標圖像均勻劃分成MXN個網格；其中M是網格的行數大于等于I的整數，N是網格的列數大于等于I整數，以及，統計每個網格中所有像素的重要性分布，并相應地計算出各網格的重要性值；
[0044]步驟104，根據預置規則及各網格的重要性，使用裁切、縮放、扭曲三種策略對網格進行變形。這種處理是通過最小化目標函數實現的。首先，構建以網格頂點坐標為變量的縮略圖目標函數，該函數為與裁切、扭曲、縮放三種策略相對應的裁切能量函數、扭曲能量函數和縮放能量函數的線性加權和；然后，根據求解算法，求解出使得總能量函數值最小的網格頂點新坐標。
[0045]具體地，為本實施例構建以網格頂點坐標為變量的優化模型，說明步驟104。
[0046]第一步，定義裁切窗口，裁切窗口的左上頂點與右下頂點坐標分別為(0，0)、(WT, Ητ)，初始化原始網格頂點坐標，這里WT，Ht是待生成縮略圖的寬和高，該實施例中設為
120,120ο
[0047]第二步，分別構建對應扭曲、裁切、縮放策略的扭曲能量函數、裁切能量函數和縮放能量函數Dw、Dc和Ds。下面將具體給出Dw、Dc和Ds的計算方法。
[0048]所有網格總的形狀改變Dw的計算公式為:
[0049]
【權利要求】
1.一種縮略圖的生成方法，其特征在于，包括: 步驟1，獲取待生成縮略圖的源圖片和待生成縮略圖的目標尺寸； 步驟2，根據重要性分析算法，計算源圖片的重要性分布即每個像素的重要性； 步驟3，將源圖片均勻劃分成MXN個網格，其中M是大于等于I的整數，N是大于等于I的整數，以及，根據圖像 的重要性分布，計算每個網格的重要性； 步驟4，根據不同網格的重要性，使用裁剪、縮放、扭曲三種策略對網格進行變形，獲得變形后的網格； 步驟5，使源圖像各網格內的圖像內容適應變形后的網格，獲得第一縮略圖； 步驟6，根據重要區域完整性檢測策略，判定第一縮略圖對重要區域的顯示是否符合中重要區域完整性判定條件； 步驟7，若第一縮略圖符合重要區域完整性條件，則直接將第一縮略圖作為第二縮略圖；否則，利用裁切修正算法調整裁切策略的作用效果，重新獲得第一縮略圖； 步驟8，根據重要區域充分性檢測策略，判定第二縮略圖對重要區域的顯示是否符合中重要區域充分性判定條件； 步驟9，若第二縮略圖符合重要區域充分性條件，則直接將第二縮略圖作為第三縮略圖；否則，利用縮放修正算法調整縮放策略的作用效果，重新獲得第二縮略圖； 步驟10，輸出第三縮略圖。
2.根據權利要求1所述的生成方法，所述重要性分析算法，計算源圖片的重要性分布，進一步包括: 步驟201，根據顯著性圖計算算法，計算源圖片的顯著性圖； 步驟202，根據人臉檢測算法，檢測源圖片的人臉區域，然后根據人臉檢測結果生成人臉區域圖； 步驟3，同時根據人臉區域圖和顯著性圖，生成源圖片的重要性分布； 其中，根據人臉檢測結果生成人臉區域圖的方式為:將人臉所在區域的像素賦予較高的灰度值，該灰度值的取值范圍為150~255，將其他區域的像素賦予較低的灰度值，該灰度值的取值范圍為1~100。
3.根據權利要求1所述的生成方法，步驟4進一步包括:使用扭曲策略保持重要區域的形狀，而扭曲重要區域之間的不重要區域，使用裁切策略和縮放策略使變形后的網格同時滿足裁切要求、扭曲要求、縮放要求。
4.根據權利要求3所述的生成方法，其特征在于: 所述裁切要求為:網格的重要性越高，變形后的網格的位置與裁切窗口中心的距離越近； 其中，單個網格與裁切窗口中心距離的計算方式為:變形后網格的質心距離裁切窗口中心的距離的平方和，包括:根據網格的四個頂點，計算當前變形后網格的質心坐標；根據變形后網格的質心坐標，計算質心與裁切窗口中心的距離；計算所述距離的平方。
5.根據權利要求3所述的生成方法，其特征在于: 縮放要求為:網格的重要性越高，變形后的網格與原始網格相比尺度差異越小。 其中，單個網格與原始網格尺度差異的計算方式為:變形后網格的平均對角線長度與原始網格對角線長度之差的平方和，包括:根據網格的四個頂點，計算當前變形后網格的尺度參數，該參數取值為正值，在O到I的范圍內，說明該網格變形后發生了尺度縮小；大于.1，說明該網格變形后發生尺度擴大；等于I說明該網格尺度未發生變化；根據變形后網格的尺度參數，計算變形后網格的平均對角線長度與原始網格對角線長度之差；計算所述長度差的平方。
6.根據權利要求1所述的生成方法，其特征在于，步驟5進一步包括: 根據變形后網格的四個頂點坐標與原始網格的四個頂點坐標，計算從原始網格到變形后網格的最佳平面投影關系，即一個二維的線性映射； 根據最佳平面投影關系，將原始網格內的各像素投影到變形后的網格中，使原始圖像內容適應新的網格； 根據圖像變形后像素的位置和裁切窗口的位置，丟棄處于裁切窗口之外的像素，保留裁切窗口之內像素作為第一縮略圖。
7.根據權利要求1所述的生成方法，其特征在于，重要物體完整性判定條件為:縮略圖中所有像素的重要性之和與源圖片中所有像素的重要性之和的比例大于預設閾值，其中，預設閾值的取值大于0.2。
8.如權利要求1所述的方法，其特征在于，步驟7中利用裁切修正算法調整裁切策略的作用效果，重新獲得第一縮略圖的步驟進一步包括:對不滿足重要物體完整性判定條件的縮略圖，調整裁切策略的作用效果，即調整裁切要求，使重要網格距離裁切窗口中心的距離更近，減少變形后處于裁切窗口之外的像素數量。
9.根據權利要求1所述的生成方法，其特征在于，重要物體充分性判定條件為:縮略圖中重要像素所占的面積與縮略圖面積比例大于預設閾值，其中，預設閾值的取值大于0.2。
10.如權利要求1所述的方法，其特征在于，利用縮放修正算法調整縮放策略的作用效果，重新獲得第二縮略圖的步驟包括:對不滿足重要物體充分性判定條件的縮略圖，調整縮放策略的作用效果，即調整縮放要求，使重要網格的尺度與原始網格的尺度差異更小，增大變形后重要區域占據的面積。
11.一種縮略圖生成系統，其特征在于，包括:圖片獲取單元，用于獲取待生成縮略圖的源圖片和待生成縮略圖的目標尺寸； 重要性分析單元，用于根據重要性分析算法，計算源圖片的重要性分布即每個像素的重要性； 網格重要性確定單元，用于將源圖片均勻劃分成MXN個網格，其中M是大于等于I的整數，N是大于等于I的整數，以及，根據圖像的重要性分布，計算每個網格的重要性； 網格變形單元，根據不同網格的重要性，使用裁剪、縮放、扭曲三種策略對網格進行變形，獲得變形后的網格； 第一縮略圖獲取單元，使源圖像各網格內的圖像內容適應變形后的網格，獲得第一縮略圖； 第一判定單元，根據重要區域完整性檢測策略，判定第一縮略圖對重要區域的顯示是否符合中重要區域完整性判定條件； 第二縮略圖獲取單元，若第一縮略圖符合重要區域完整性條件，則直接將第一縮略圖作為第二縮略圖；否則，利用裁切修正算法調整裁切策略的作用效果，重新獲得第一縮略圖；第二判定單元，根據重要區域充分性檢測策略，判定第二縮略圖對重要區域的顯示是否符合中重要區域充分性判定條件； 第三縮略圖獲取單元，若第二縮略圖符合重要區域充分性條件，則直接將第二縮略圖作為第三縮略圖；否則，利用縮放修正算法調整縮放策略的作用效果，重新獲得第二縮略圖； 輸出單兀，輸出第三縮略圖。
【文檔編號】G06T7/00GK103902730SQ201410150911
【公開日】2014年7月2日 申請日期:2014年4月15日 優先權日:2014年4月15日
【發明者】盧漢清, 王金橋, 屈展 申請人:中國科學院自動化研究所