一種基于glcm的灰度圖像彩色化系統和方法
【專利摘要】本發明公開一種一種基于GLCM的灰度圖像彩色化系統和方法，包括圖像分塊模塊、灰度共生矩陣特征提取模塊、相似度匹配建立對應關系模塊、顏色標記和初步修正模塊、最優化著色模塊；能夠解決以前方法的不足并適應工程實際需求，該方法能加快圖像彩色化速度，并能改進圖像的彩色化效果。
【專利說明】-種基于GLCM的灰度圖像彩色化系統和方法
【技術領域】
[0001] 本發明屬于圖像處理領域，涉及一種灰度圖像彩色化方法，特別涉及一種基于 GLCM(灰度共生矩陣，Gray-levelco-occurrencematrix)的灰度圖像彩色化系統和方法。
【背景技術】
[0002] 圖像是人類認識客觀世界最常用的信息載體，圖像信息除了包括景物形狀、大小 等信息更包括顏色信息。沒有顏色信息的圖像是一種信息表達不完全的形式。在現實中， 夜視圖像、鉛筆手繪圖像等都缺少豐富的色彩信息。特別是夜視領域中，微光和熱成像技術 是當前主流技術，這兩種圖像都是灰度圖像，提供的細節信息有限，而人眼對顏色的分辨率 遠超對灰度層級的分辨率，如果利用彩色化處理將灰度圖像中的細節信息凸現出來，可使 人眼對圖像的細節有更豐富的認識。老舊照片或鉛筆涂鴉繪畫中，利用彩色化能生成圖像 信息，使圖像更生動形象。同一場景下的圖像實現不同季節下的景色變化等。
[0003] 實現圖像彩色化，需要基于參考圖像，在參考圖像的映射下實現顏色渲染。基于參 考圖像的圖像彩色化方法一般分為兩大類：人工交互法和自動著色法。人工交互方法需要 人為繪畫涂抹灰度圖像，使其變為涂鴉或帶有顏色痕跡的圖像，然后進行顏色的渲染傳播， 擴大至整幅圖像。AnatLevin等人提出了基于優化擴展的彩色化方法，這種方法主要是基 于一種圖像分割方法，設立優化條件，尋求最優的圖像分割，然后進行著色。這個方法是半 自動的方法，所謂半自動方法就是說需要我們人為的在一副灰度圖像上畫出自己想要添加 的顏色線條，根據我們確定的這個顏色線條，結合分割方法，進行著色。這類方法的缺點主 要在于需要大量的人力手工標注圖像，而且需要很好的觀察與細致的工作才能實現好的效 果，費時費力。
[0004] 自動著色法是利用參考圖像將色彩遷移到目標圖像中。Welsh方法在過去Rein hard色彩傳遞方法的基礎上進行改進，對目標圖像的每個像素從源圖像上匹配與之對應的 像素，利用像素亮度值與鄰域統計值作為判斷準則，將參考圖像的顏色信息傳遞到目標圖 像，同時保留目標圖像的亮度信息。這類方法雖然減少人為干預，變為自動方法，但色彩渲 染效果并不好，只能實現大致的色調遷移，而不能鮮明的區分出各種物體。
【發明內容】
[0005] 本發明提供一種基于GLCM的灰度圖像彩色化系統和方法，能夠解決以前方法的 不足并適應工程實際需求，該方法能加快圖像彩色化速度，并能改進圖像的彩色化效果。
[0006] 本發明通過以下技術手段實現：
[0007] -種基于GLCM的灰度圖像彩色化系統，包括圖像分塊模塊、灰度共生矩陣特征提 取模塊、相似度匹配建立對應關系模塊、顏色標記和初步修正模塊、最優化著色模塊；
[0008] 所述的圖像分塊模塊，采用像素塊網格劃分法，根據基本像素塊進行圖像劃分；
[0009] 所述的灰度共生矩陣特征提取模塊，針對每個像素塊，分別計算像素塊的灰度均 值、方差和0°方向、45°方向、90°方向、135°方向的灰度共生矩陣，提取灰度共生矩陣 的對比度、相關性、能量、同質性作為特征描述子，組成18維特征向量描述圖像塊的紋理特 征，綜合所述各個特征形成表征像素塊的特征描述子；
[0010] 所述的相似度匹配建立對應關系模塊，通過計算特征向量的歐氏距離表現像素塊 的近似程度；歐氏距離最小的灰度目標像素塊，即為與之對應的最優匹配塊；
[0011] 所述的顏色標記和初步修正模塊，選取像素塊的中心窗口位置作為顏色遷移點， 然后計算彩色圖像塊中心窗口內色彩的顏色均值作為遷移色，然后同樣選取灰度圖像塊中 心窗口區域作為遷移區域，進行色彩賦值，生成標記涂鴉圖像；
[0012] 所述的最優化著色模塊，把顏色痕跡圖像的顏色空間從RGB空間轉換到YUV空間， 構造包含所有像素顏色系數的稀疏矩陣，依據任意像素與其鄰域像素顏色加權差的平方和 最小原則構建方程組，此方程組用迭代法求解。
[0013] 其中，所述的基本像素塊數目準則是10*10,對于不能整分的圖像，采取向下取整 的方法。
[0014] 其中，所述的兩個像素塊之間相似度匹配的計算除了歐氏距離的疊加外，還要進 行灰度均值、方差和灰度共生矩陣特征的權重分配。
[0015] 其中，所述的像素塊的灰度共生矩陣特征、方差和灰度均值的對應權重分別取值 0. 2,0. 1和0. 1，對于灰度共生矩陣中各個特征描述子的權重取值分別取0. 25,0. 25,0. 25， 0· 25。
[0016] 其中，像素塊的中心窗口和灰度目標圖像中心窗口的選取規則為：假設IrJ和 It』}是參考圖像與目標圖像對應的最優匹配塊,設彩色參考像素塊的尺寸大小為M*N,則選 取的中心窗口長度范圍是[M/4,3M/4]，寬度范圍[N/4,3N/4]。
[0017] 其中，所述的灰度共生矩陣匹配產生誤配時，根據相鄰像素具有相似的灰度值則 具有相似顏色值的準則，進行結果修正，所述的修正過程是將計算灰度目標圖像塊的各中 心窗口的灰度值，進行相鄰九宮格區域的比對，如果發現灰度值相似，而遷移色不一致，則 統計具有相似灰度值的相鄰塊的遷移色進行修正。
[0018] 其中，所述的圖像將以相鄰的四方格或九宮格像素作為單個像素的方式進行著 色，此單個像素記為四方格或九宮格像素塊的超像素。計算四方格或九宮格像素塊的亮度 均值作為超像素的亮度值，此時原圖像會縮減至超像素組成的新圖像。新圖像以超像素為 彩色化的基本單元，將超像素代入最優化著色方法求解。求解得到的超像素的色度值作為 四方格或九宮格所有像素的色度值。
[0019] 一種基于GLCM的灰度圖像彩色化系統的方法，實現步驟如下：步驟1:圖像分塊：
[0020] 即采用像素塊網格劃分法，根據基本像素塊對圖像進行像素塊劃分，然后利用像 素塊進行特征提取和匹配；
[0021] 步驟2 :灰度共生矩陣特征提取：
[0022] 即針對每個像素塊，分別計算像素塊的灰度均值、方差和0°方向、45°方向、90° 方向、135°方向的灰度共生矩陣，提取灰度共生矩陣的對比度、相關性、能量、同質性作為 特征描述子，一共組成18維特征向量描述圖像塊的紋理特征，綜合所述各個特征形成表征 像素塊的特征描述子；
[0023] 步驟3 :相似度匹配建立對應關系：
[0024] 即通過計算特征向量的歐氏距離表現像素塊的近似程度，計算出歐氏距離最小的 灰度目標像素塊，就是與之對應的最優匹配塊；
[0025] 步驟4:顏色標記和初步修正：
[0026] 即選取像素塊的中心窗口位置作為顏色遷移點，然后計算彩色圖像塊中心窗口內 色彩的顏色均值作為遷移色，然后同樣選取灰度圖像塊中心窗口區域作為遷移區域，進行 色彩賦值，生成標記涂鴉圖像；步驟5:最優化著色：
[0027] 依據若相鄰像素具有相同的亮度值則應具有相同的顏色值的原理。即先把顏色痕 跡圖像的顏色空間從RGB空間轉換到YUV空間，構造包含所有像素顏色系數的稀疏矩陣，依 據任意像素與其鄰域像素顏色加權差的平方和最小原則構建方程組，此方程組用迭代法求 解。
[0028] 其中，兩個像素塊之間相似度匹配的計算除了歐氏距離的疊加，還要進行灰度均 值，方差和灰度共生矩陣特征的權重分配。
[0029] 其中，像素塊的灰度共生矩陣特征、方差和灰度均值的對應權重分別取值0. 2,0. 1 和0. 1 ;對于灰度共生矩陣中各個特征描述子的權重取值分別取0. 25,0. 25,0. 25,0. 25。
[0030] 其中，所述的像素塊的中心窗口和灰度目標圖像中心窗口的選取規則為：假設 IrJ和It」}是參考圖像與目標圖像對應的最優匹配塊，設彩色參考像素塊的尺寸大小為 M*N，則選取的中心窗口長度范圍是[M/4,3M/4]，寬度范圍[N/4,3N/4]，灰度目標圖像中心 窗口的選取規則與之相同。
[0031] 其中，所述的圖像將以相鄰的四方格或九宮格像素作為單個像素的方式進行著 色，此單個像素記為四方格或九宮格像素塊的超像素。計算四方格或九宮格像素塊的亮度 均值作為超像素的亮度值，此時原圖像會縮減至超像素組成的新圖像。新圖像以超像素為 彩色化的基本單元，將超像素代入最優化著色方法求解。求解得到的超像素的色度值作為 四方格或九宮格所有像素的色度值。
[0032] 本發明與現有技術相比所具有的優點是：
[0033] (1)加快了圖像彩色化速度，能夠為灰度圖像視頻彩色化的實時性打下基礎；
[0034] (2)圖像彩色化效果較傳統方法更好，結果圖像色彩信息更豐富自然；
[0035] (3)實現簡單，處理過程明確，使用圖像顏色痕跡的自動遷移代替人工手動涂鴉標 記，節省時間和勞動力，更容易實現計算機的自動處理。
【專利附圖】
【附圖說明】
[0036] 圖1為本發明的系統架構圖；
[0037] 圖2為本發明的方法流程圖；
[0038] 圖3顏色標記結果修正示意圖。
【具體實施方式】
[0039] 以下將結合附圖對本發明的實現過程進行詳細描述。
[0040] 一種基于GLCM的灰度圖像彩色化系統，包括圖像分塊模塊、灰度共生矩陣特征提 取模塊、相似度匹配建立對應關系模塊、顏色標記和初步修正模塊、最優化著色模塊。
[0041] 基于以上系統的一種新的圖像自動彩色化方法，如圖1所示，該方法利用具有相 似內容的圖像作為參考圖像，先對參考圖像和目標圖像分別進行分塊，其次計算各塊圖像 灰度共生矩陣、灰度均值、方差等作為特征描述，然后計算各圖像塊特征向量的歐氏距離， 得出最優的像素塊匹配關系，接著根據對應關系進行顏色痕跡的遷移，最后實現最優化顏 色傳播。
[0042] 其步驟如下：
[0043] 步驟1:初始圖像分塊
[0044] 針對目標圖像和參考圖像采用像素塊網格劃分法，基本像素塊數目準則是10*10， 然后根據圖像尺寸大小再次細分，圖像越大，分塊數目越多。例如800*600的圖像，按基本 像素塊劃分為10行10列，每塊尺寸大小80*60。對于2400*1200的圖像，可劃分為20行20 列，每塊大小120*60。但隨著分塊數目的增多，相應的匹配過程耗費時間也增多。因此，實 驗過程中，選取10行10列的分塊準則。對于不能整分的圖像，為簡化運算，我們采取向下 取整的方法。如768*512圖像，先裁剪成760*510的尺寸，然后進行分塊。因為圖像的顏色 分布呈區域連續性狀態，因此進行小范圍裁剪并不影響最終的彩色化結果。假如圖像尺寸 481*321，裁剪取整后為480*320,分塊成10行10列，則每塊大小48*32,之后利用像素塊進 行特征提取和匹配。
[0045] 步驟2:GLCM特征提取
[0046] 針對每個像素塊，分別計算像素塊的灰度均值、方差和0°，45°，90°，135°的 4個方向的灰度共生矩陣，提取灰度共生矩陣的對比度、相關性、能量、同質性作為特征描述 子，這樣一共組成18維（1+1+4*4)特征向量描述圖像塊的紋理特征。
[0047] 以下為各個特征的計算過程：
[0048] (1)灰度均值和方差
[0049] 像素塊的灰度均值是表征像素塊的基本特征，圖像中不同景物一般也會有不同的 灰度值，因此灰度均值能顯著區分圖像景物的類別。均值計算如公式1所示，
【權利要求】
1. 一種基于GLCM的灰度圖像彩色化系統，其特征在于：包括圖像分塊模塊、灰度共生 矩陣特征提取模塊、相似度匹配建立對應關系模塊、顏色標記和初步修正模塊、最優化著色 模塊； 所述的圖像分塊模塊，采用像素塊網格劃分法，根據基本像素塊進行圖像劃分； 所述的灰度共生矩陣特征提取模塊，針對每個像素塊，分別計算像素塊的灰度均值、方 差和0°方向、45°方向、90°方向、135°方向的灰度共生矩陣，提取灰度共生矩陣的對比 度、相關性、能量、同質性作為特征描述子，組成18維特征向量描述圖像塊的紋理特征，綜 合所述各個特征形成表征像素塊的特征描述子； 所述的相似度匹配建立對應關系模塊，通過計算特征向量的歐氏距離表現像素塊的近 似程度；歐氏距離最小的灰度目標像素塊，即為與之對應的最優匹配塊； 所述的顏色標記和初步修正模塊，選取像素塊的中心窗口位置作為顏色遷移點，然后 計算彩色圖像塊中心窗口內色彩的顏色均值作為遷移色，然后同樣選取灰度圖像塊中心窗 口區域作為遷移區域，進行色彩賦值，生成標記涂鴉圖像； 所述的最優化著色模塊，把顏色痕跡圖像的顏色空間從RGB空間轉換到YUV空間，構造 包含所有像素顏色系數的稀疏矩陣，依據任意像素與其鄰域像素顏色加權差的平方和最小 原則構建方程組，此方程組用迭代法求解。
2. 根據權利要求1所述的基于GLCM的灰度圖像彩色化系統，其特征在于：所述的基本 像素塊數目準則是10*10,對于不能整分的圖像，采取向下取整的方法。
3. 根據權利要求1所述的基于GLCM的灰度圖像彩色化系統，其特征在于：所述的兩個 像素塊之間相似度匹配的計算除了歐氏距離的疊加外，還要進行灰度均值、方差和灰度共 生矩陣特征的權重分配；所述的像素塊的灰度共生矩陣特征、方差和灰度均值的對應權重 分別取值0.2,0. 1和0. 1，對于灰度共生矩陣中各個特征描述子的權重取值分別取0.25， 0. 25,0. 25,0. 25。
4. 根據權利要求1所述的基于GLCM的灰度圖像彩色化系統，其特征在于： 像素塊的中心窗口和灰度目標圖像中心窗口的選取規則為：假設IrJ和{tj是參考圖 像與目標圖像對應的最優匹配塊，設彩色參考像素塊的尺寸大小為M*N，則選取的中心窗 口長度范圍是[M/4, 3M/4]，寬度范圍[N/4, 3N/4]。
5. 根據權利要求1所述的基于GLCM的灰度圖像彩色化系統，其特征在于：所述的灰度 共生矩陣匹配產生誤配時，根據相鄰像素具有相似的灰度值則具有相似顏色值的準則，進 行結果修正，所述的修正過程是將計算灰度目標圖像塊的各中心窗口的灰度值，進行相鄰 九宮格區域的比對，如果發現灰度值相似，而遷移色不一致，則統計具有相似灰度值的相鄰 塊的遷移色進行修正。
6. 根據權利要求1所述的基于GLCM的灰度圖像彩色化系統，其特征在于：所述的圖像 將以相鄰的四方格或九宮格像素作為單個像素的方式進行著色，此單個像素記為四方格或 九宮格像素塊的超像素。計算四方格或九宮格像素塊的亮度均值作為超像素的亮度值，此 時原圖像會縮減至超像素組成的新圖像，新圖像以超像素為彩色化的基本單元，將超像素 代入最優化著色方法求解，求解得到的超像素的色度值作為四方格或九宮格所有像素的色 度值。
7. -種基于GLCM的灰度圖像彩色化系統的方法，其特征在于實現步驟如下： 步驟1:圖像分塊： 即采用像素塊網格劃分法，根據基本像素塊對圖像進行像素塊劃分，然后利用像素塊 進行特征提取和匹配； 步驟2 :灰度共生矩陣特征提取： 即針對每個像素塊，分別計算像素塊的灰度均值、方差和0°方向、45°方向、90°方 向、135°方向的灰度共生矩陣，提取灰度共生矩陣的對比度、相關性、能量、同質性作為特 征描述子，一共組成18維特征向量描述圖像塊的紋理特征，綜合所述各個特征形成表征像 素塊的特征描述子； 步驟3 :相似度匹配建立對應關系： 即通過計算特征向量的歐氏距離表現像素塊的近似程度，計算出歐氏距離最小的灰度 目標像素塊，就是與之對應的最優匹配塊； 步驟4 :顏色標記和初步修正： 即選取像素塊的中心窗口位置作為顏色遷移點，然后計算彩色圖像塊中心窗口內色彩 的顏色均值作為遷移色，然后同樣選取灰度圖像塊中心窗口區域作為遷移區域，進行色彩 賦值，生成標記涂鴉圖像； 步驟5 :最優化著色： 依據若相鄰像素具有相同的亮度值則應具有相同的顏色值的原理。先把顏色痕跡圖像 的顏色空間從RGB空間轉換到YUV空間，構造包含所有超像素顏色系數的稀疏矩陣，依據任 意像素與其鄰域像素顏色加權差的平方和最小原則構建方程組，此方程組用迭代法求解。
8. 根據權利要求7所述的方法，其特征在于：兩個像素塊之間相似度匹配的計算除了 歐氏距離的疊加，還要進行灰度均值，方差和灰度共生矩陣特征的權重分配。像素塊的灰度 共生矩陣特征、方差和灰度均值的對應權重分別取值〇. 2,0. 1和0. 1 ;對于灰度共生矩陣中 各個特征描述子的權重取值分別取〇. 25,0. 25,0. 25,0. 25。
9. 根據權利要求7所述的方法，其特征在于：所述的像素塊的中心窗口和灰度目標圖 像中心窗口的選取規則為：假設{rj和It」}是參考圖像與目標圖像對應的最優匹配塊，設 彩色參考像素塊的尺寸大小為M*N，則選取的中心窗口長度范圍是[M/4,3M/4]，寬度范圍 [N/4, 3N/4]，灰度目標圖像中心窗口的選取規則與之相同。
10. 根據權利要求7所述的方法，其特征在于：所述的圖像將以相鄰的四方格或九宮 格像素作為單個像素的方式進行著色，此單個像素記為四方格或九宮格像素塊的超像素； 計算四方格或九宮格像素塊的亮度均值作為超像素的亮度值，以超像素為彩色化的基本單 元，代入最優化著色方法求解，求解得到的超像素的色度值作為四方格或九宮格像素塊中 所有像素的色度值。
【文檔編號】G06T7/40GK104376529SQ201410685330
【公開日】2015年2月25日 申請日期:2014年11月25日 優先權日:2014年11月25日
【發明者】李超, 王濤, 盛浩, 朱耿良 申請人:深圳北航新興產業技術研究院