一種基于最優化模型的交互式圖像重新著色方法
【專利摘要】本發明公開了一種基于最優化模型的交互式圖像重新著色方法，包括將待處理彩色圖像轉換進行人工線條著色，隨后將著色圖像分別進行基于全局最優化和基于局部最優化的摳圖，分別獲得全局最優化的摳圖圖像和局部最優化的摳圖圖像，對獲得的全局最優化的摳圖圖像和局部最優化的摳圖圖像進行二值化處理，根據線條著色的選區屬性采取添加或者減去的策略合并二值化圖像，計算待處理彩色圖像中需要重新著色區域，將著色區域的RGB顏色空間轉換到HSV顏色空間，采用交互式的方式調整著色區域中的色調通道和飽和度通道，將圖像的HSV顏色空間轉換到RGB色彩空間，最后將區域重新著色后的圖像和原彩色圖像合并后獲得重新著色圖像九個步驟。
【專利說明】一種基于最優化模型的交互式圖像重新著色方法
[0001] 技術鄰域
[0002] 本發明涉及一種彩色圖像重新著色方法，尤其是一種基于最優化模型的交互式圖 像重新著色方法。
【背景技術】
[0003] 圖像重新著色技術是指通過改變圖像的顏色來改變圖像的原有風格，達到某種特 定的彩色效果的處理過程。重新著色技術通常涉及到圖像的分割、聚類、運動估計等眾多圖 像與視頻處理技術，能直接產生巨大的經濟效益，重新著色技術是源自實踐、直接面向應用 的技術，所以當前重新著色技術研究是計算機圖形學與計算機視覺鄰域的一個富有挑戰性 的熱點課題，在影視、動漫，圖像、以及科學、工業和軍事等諸多工程鄰域具有十分廣闊的應 用前景。傳統的重新著色技術是通過純手工或者在計算機軟件輔助下完成的，這項工作需 要人工消耗大量的時間，比如Photoshop采用了顏色替換工具來實現圖像的重新著色，但 是該工具在選區的時候簡單的采用了色差容差，很多時候很難實現精確的選取。因此近幾 年國內外許多科研人員不斷探索新的算法來改善重新著色技術的效率和效果。目前，實現 圖像重新著色的技術可以粗略的分為基于參考圖像的顏色迀移方法和基于線條涂色的顏 色擴散方法。基于顏色迀移的圖像重新著色技術根據像素與鄰域統計特征的相似性實現顏 色轉移，即將一副彩色參考圖像的顏色轉移到目標圖像上，該方法的效果強烈依賴于參考 圖像與目標圖像的相似程度，當參考圖像和目標圖像的亮度條件差異較大時，會產生不正 確的重新著色結果。因此，參考圖像的選取對重新著色的結果起著至關重要的作用。基于 線條涂色的顏色擴散方法是利用用戶輸入的粗略涂色線條，結合圖像的自身特征（如像素 間顏色或者紋理的相似性）將顏色擴展到整幅圖像。相對而言，基于線條涂色的顏色擴散 方法的處理形式更能符合用戶的需求，因此本發明采用了類似于基于線條涂色的顏色擴散 方法，所不同的是基于線條涂色的顏色擴散方法由用戶直接輸入重新著色后的線條顏色， 然后采用不同的策略進行色彩傳播，而本發明的涂色線條（僅含前景色和背景色）只用來 選取重新著色的區域，精確選定區域后轉換到HSV色彩空間進行交互式色彩調整，保證了 原圖像顏色的色彩分布。圖像重新著色技術研究與圖像摳圖，圖像編輯，圖像色度調整等技 術息息相關。按照傳播鄰域像素的分布，基于線條涂色的顏色擴散方法可以粗略地分為局 部鄰域傳播和全局鄰域傳播的兩種方法。
[0004] 基于局部鄰域傳播的方法具有代表性的是Levin等人的工作。Levin等人假設相 鄰近像素間的顏色是平滑的，提出了一個能量最優化模型。當用戶輸入足夠多的涂色線條 的情況下，該方法能產生高質量的重新著色效果。之后，Yatziv等人和Criminisi等人提 出基于測地線距離融合的重新著色方法，Fattal等人把小波變換技術引入了圖像編輯方 法，Bhat等人建立了梯度域的能量最優化框架用于圖像編輯。前面提到的幾種方法是基于 圖像像素的空間連續性的假設，因此對于高對比度紋理圖像就不能得到理想的重新著色效 果。為了能在高紋理區域和片段區域取得好的效果，Farbman等人用擴散距離代替歐拉距 離計算像素之間的親和性。Qu等人和Sheng等人利用圖像的紋理信息分別用于動漫和自然 圖像的彩色化。基于局部鄰域傳播的重新著色方法可以實現很好的用戶局部控制，但是當 像素離涂色線條距離較遠時，重新著色的效果往往就達不到預期的效果。
[0005] 最近，基于全局鄰域傳播的方法吸引了眾多研究者的關注。基于全局鄰域傳播的 重新著色方法能實現全局色彩傳播，即使當需要重新著色的像素離用戶輸入涂色線條距離 較遠時，色彩也能很好的進行傳播。因此該方法對基于局部鄰域傳播的重新著色方法進行 了很好的補充。近年來，許多學者對基于全局鄰域傳播的方法展開了研究，Chen等人和Lee 等人定義了一個非局部鄰域的圖像摳圖算法。Musialski等人和Chen等人提出了非局部鄰 域主域保持的編輯距離算法。與基于局部鄰域傳播的重新著色方法相比，基于全局鄰域傳 播的重新著色方法能實現全局的色彩傳播，因此可以減少用戶輸入的涂色線條數量，但是 該方法缺少局部或者直接的選擇控制，當兩個相似的顏色被涂色成不同顏色時，會造成色 彩混合而出現錯誤。
[0006] 先前基于色彩傳播的重新著色技術中存在的如下問題：（1)人工著色線條需要把 圖像中所有顏色都覆蓋到，否則重新著色時會存在顏色丟失；（2)減少了重新著色區域的 顏色紋理信息；（3)需要調整算法參數來匹配需要重新著色的區域，方法不直觀；（4)全局 色彩傳播方法缺少局部控制，而局部色彩傳播方法需要更多的用戶輸入線條；(6)針對圖 片中存在鏡面反射和物體陰影部分，重新著色過程容易出現色彩滲透現象。本發明提出的 重新著色方法，第一步為用戶著色，類似與Photoshop中替換顏色工具，畫筆分為前景色 和背景色，可以增加、減少選擇區域，同時增加了 Photoshop中不具有的全局傳播、局部傳 播屬性，改進了先前全局色彩傳播方法缺少局部控制，而局部色彩傳播方法需要更多的用 戶輸入線條的限制。第二步選擇重新著色區域時，由于加入了全局和局部的傳播最優化方 案，僅需要用戶輸入少量的前景和背景色，除了摳圖出來的區域，其他區域顏色自動保持不 變，這樣就不需要像先前重新著色方法一樣涂色線條要把所有的顏色都覆蓋到，極大的減 少了用戶的輸入線條。第三步為對摳圖出來的區域進行HSV統一的色彩調整，保證了區域 內紋理的分布，同時也適用存在鏡面反射和物體陰影的圖片，整個調整過程很容易進行人 工交互，方便、簡單、快捷，算法中不需要調整額外的參數。
【發明內容】
[0007] 本發明的目的是：提供了一種有效的僅需要少量線條的基于最優化模型的交互式 彩色圖像重新著色方法，改進了現有基于色彩傳播的重新著色技術中存在的如下問題：（1) 人工著色線條需要把圖像中所有顏色都覆蓋到，否則重新著色時會存在顏色丟失；（2)減 少了重新著色區域的顏色紋理信息；（3)需要調整算法參數來匹配需要重新著色的區域， 方法不直觀；（4)全局色彩傳播方法缺少局部控制，而局部色彩傳播方法需要更多的用戶 輸入線條；（5)當用戶輸入線條顏色不合適需要調整時，整個算法需要重新計算，需要消耗 大量的時間。
[0008] 本發明所設計的基于最優化模型的交互式圖像重新著色方法，包括以下九個步 驟：
[0009] (1)輸入待處理彩色圖像1_，然后將待處理彩色圖像進行人工線條著色，獲得著 色圖像；
[0010] (2)將著色圖像分別進行基于全局最優化和基于局部最優化的摳圖，分別獲得全 局最優化的摳圖圖像iMphAlctel和局部最優化的摳圖圖像I Mphitx^l;
[0011] (3)對獲得的全局最優化的摳圖圖像IAlphaelc]bal和局部最優化的摳圖圖像I AlphaU]Ml 進行二值化處理，對應的二值化圖像分別為 IsegGlobal萍口 I SegLocal，
[0012] (4)根據著色線條的選區屬性，采取添加或者減去的策略，合并二值化圖像 IsegGlobal 萍口 I SegLocal^J I Seg，
[0013] (5)根據二值化圖像ISeg和待處理彩色圖像I _，計算待處理彩色圖像Itog中需要 重新著色區域1&1;
[0014] (6)將著色區域1&1的RGB顏色空間轉換到HSV顏色空間，分別獲得色調通道H、 飽和度通道S和亮度通道V ;
[0015] (7)用戶采用交互式的方式調整著色區域1&1中的色調通道H、飽和度通道S，即實 現選中區域進行重新著色，獲得圖像
[0016] (8)將圖像HSV顏色空間轉換到RGB色彩空間，獲得圖像I RSBral";
[0017] (9)將區域重新著色后的圖像IReBral"和彩色圖像I合并后獲得重新著色圖像I Not。
[0018] 2、根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在 于：在步驟（1)中所述的人工著色線條具有如下屬性（輸入線條的屬性見下表）：從顏色上 分為前景色白色和背景色黑色，其中前景色從色彩傳播上分為全局傳播和局部傳播，從區 域屬性分別為添加和減去。
[0020] 3、根據權利要求1或權利要求2所述的基于最優化模型的交互式圖像重新著色方 法，其特征在于：在步驟（2)中所述的分別進行基于全局最優化和基于局部最優化的摳圖 方法分為如下三個步驟：
[0021] (1)首先搜索每個像素的K個鄰域像素；所用的高維特征空間包括了 HSV色彩通 道和空間坐標，特征空間F⑴定義如下：
[0022] F⑴=(H(i)，S(i)，V(i)，yx(i)，yy(i))
[0023] 式中，H是圖像HSV色彩空間的色調值，S是飽和度，V是亮度值，y參數控制色彩 傳播是采用全局傳播還是局部傳播，y取值為〇或者0 (如果y取值為〇則為全局色彩 傳播，如果y取值為00則為局部色彩傳播），采用FLANN庫實現來查找像素 i的K個鄰域 N"KNN);
[0024] (2)其次構建重新著色的最優化模型，并且考慮用戶輸入著色線條，構建如下最優 化代價函數：
[0025] J(U)=人（U-G)TDs(U_G)+UTLcolorU
[0026] 式中：
[0027] U為求解的摳圖矩陣；
[0028] Ds為對角矩陣，在該對角矩陣中，涂色線條像素對應的對角線上的值為1，其余對 角線上的值為〇;
[0029] G對應為涂色線條的值，其中前景線條對應值為1，背景線條對應的值為0 ;
[0030] 公式中第一項確保了摳圖圖像和用戶涂色線條的值盡可能的接近，第二項保證了 像素和其鄰域的相似性，使得已經涂色的像素通過鄰域進行傳播，參數A用來調整這兩項 的平衡，算法實現中A設置為1;
[0031] 鄰域的彩色圖像的拉普拉斯矩陣Lec]lcJ^建如下：
[0033]式中：
[0034] j和k為圖像像素索引值；
[0035] S ^是克羅內克函數，如果i和j相等，則S 1;為1，否則S 1;為〇 ;
[0036] y <分別像素 k的K個非局部鄰域像素的平均值和方差；
[0037] K為像素 k的非局部鄰域個數；
[0038] G為規則化參數取值為1〇 6;
[0039] 13為輸入圖像在HSV色彩空間的色度值，飽和度以及亮度值；
[0040] 求解最優化模型獲得如下稀疏線性系統：
[0041] U= (LCDlDr+入 Ds) 1 入 DSG
[0042] 式中：L&lOT+ A比為稀疏矩陣求解，算法選擇通過高斯-賽德爾迭代法求解；
[0043] (3)最終，把輸入線條的前景色按照色彩傳播屬性分為全局前景色和局部前景色， 利用全局前景色和背景色進行基于全局的圖像摳圖，即鄰域像素搜索時y取值為〇;利用 局部前景色和背景色進行基于局部的圖像摳圖，即鄰域像素搜索時y取值為0。
[0044] 4、根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在 于：在步驟（3)中所述的對獲得的全局最優化的摳圖圖像I Alphaelc]bal和局部最優化的摳圖圖 像lMpha^al進行二值化處理如下： tf ^AlphaGlobal =
[0045] Iseg&obal = ] 1 j L1 V xAlphaGlobal ^ u*
[0 tf ^AlphaLocat = ^ 一 />0?
[0047] 5、根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在 于：在步驟（4)中所述的合并二值化圖像 IsegGlobal 和 I SegLocal 為 I Seg如下.
[0048] Isegl S Gi〇bal X IsegGlobal+SLocal X IsegLocal ~叫 〇 〇therdse
[0050] 式中S(；lc]bajP S ^al分別對應選取屬性，如果為添加，則數值為1，如果為減去，則數 值為-1。
[0051] 6、根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在 于：在步驟（5)中所述的計算待處理彩色圖像I tag中需要重新著色區域I 如下：
[0052] ISei= I〇rgXISeg
[0053] 7、根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在 于：在步驟（6)中所述的由RGB顏色空間轉換到HSV顏色空間的轉換方法如下：
[0054] 我們標記Max為（R，G，B)中的最大值，Min為（R，G，B)中的最小值，
[0058] 式中R，G，B分別表示圖像的紅、綠、藍顏色值，H是圖像的色調值，S是圖像的飽和 度，V是圖像的亮度。
[0059] 8、根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在 于：在步驟（8)中所述的由HSV顏色空間轉換到RGB顏色空間的轉換方法按如下公式：
[0062] p = V(l-S)
[0063] q = V (1-fS)
[0064] t = V (1- (1-f) S)
[0065] R = V，G = t，B = p if = 0
[0066] R = q，G = V，B = p if H ;= 1
[0067] R = p，G = V，B = t if 私=2
[0068] R = p，G = q，B = V if H ;= 3
[0069] R = t，G = p，B = V if = 4
[0070] R = V，G = p，B = q if H ;= 5
[0071] 9、根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在 于：在步驟（9)中所述的合并重新著色后的圖像I ReBralOT和彩色圖像1_為I 如下：
[0072] INew - I sei X IRGBc〇i〇r+(l_ISei) X I0rg
[0073] 本發明所設計的基于最優化模型的交互式圖像重新著色方法的有益效果是：
[0074] 1、本發明提出的重新著色方法，第一步為用戶著色，類似與Photoshop中替換顏 色工具，畫筆分為前景色和背景色，可以增加、減少選擇區域，同時增加了 Photoshop中不 具有的全局傳播、局部傳播屬性。第二步選擇重新著色區域時，由于加入了全局和局部的 傳播最優化方案，僅需要用戶輸入少量的前景和背景色，除了摳圖出來的區域，其他區域顏 色自動保持不變，這樣就不需要所有顏色都覆蓋到了，第三步為對摳圖出來的區域進行HSV 顏色調整，保證了區域內紋理的分布，同時也適用存在鏡面反射和物體陰影的圖片，調整顏 色方便、簡單、快捷。
[0075] 2、本方法給出的圖像重新著色技術，僅需要輸入少量的涂色線條（僅含前景色和 背景色），能精確的提取重新著色區域，實現前景區域和背景區域的有效分離，能產生高質 量的重新著色效果，為非專業人員提供了簡便直觀的圖像顏色替換方法。
[0076] 3、本方法所提出的圖像重新著色技術提高計算機輔助設計的效率、減少設計師的 勞動時間、改善重新著色技術的效果，支持圖像的批量重新著色。該系統能精確的提取用戶 需要重新著色的區域，采用交互式的方式，使設計師能很好地和軟件進行交互，設計出高質 量的藝術效果。
【附圖說明】
[0077] 圖1是實施例1的流程示意圖；
[0078] 圖2是本發明重新著色過程中圖像效果示意圖；
【具體實施方式】
[0079] 下面通過實施例結合附圖對本發明作進一步的描述。
[0080] 下面結合附圖對本發明一種基于最優化模型的交互式圖像重新著色方法通過實 施例進行詳細說明：本實施例在以本發明技術方案為前提下進行實施，結合了詳細的實施 方式和過程，但本發明的保護范圍不限于下述的實施例。圖1是實施例1的流程示意圖，共 包括九個步驟，圖2是本發明重新著色過程中圖像效果示意圖，圖2描述了從對待處理圖像 進行人工著色，其中白色線條表示前景區域，黑色線條表示背景區域，線條旁邊標準的（G+) 表示全局色彩傳播和區域屬性選擇添加，（L-)表示局部色彩傳播和區域選擇選擇為減去。 本發明中提出的全局和局部的色彩傳播使得用戶使用更少的交互，快速實現重新著色區域 的選擇，而且用戶采用交互式的方式快速的調整區域的顏色，符合用戶的習慣。
[0081] 實施例1 :
[0082] 如圖1所示，本實施例所描述的基于最優化模型的交互式圖像重新著色方法，包 括以下九個步驟：
[0083] (10)輸入待處理彩色圖像Itag，然后將待處理彩色圖像進行人工線條著色，獲得著 色圖像；
[0084] (11)將著色圖像分別進行基于全局最優化和基于局部最優化的摳圖，分別獲得全 局最優化的摳圖圖像iMphAlctel和局部最優化的摳圖圖像I Mphitx^l;
[0085] (12)對獲得的全局最優化的摳圖圖像IAlphaeklbal和局部最優化的摳圖圖像I AlphaU]Ml 進行二值化處理，對應的二值化圖像分別為 IsegGlobal萍口 I SegLocal，
[0086] (13)根據著色線條的選區屬性，采取添加或者減去的策略，合并二值化圖像 IsegGlobal 萍口 I SegLocal^J I Seg，
[0087] (14)根據二值化圖像ISeg和待處理彩色圖像Itog，計算待處理彩色圖像I tog中需要 重新著色區域1&1;
[0088] (15)將著色區域1&1的RGB顏色空間轉換到HSV顏色空間，分別獲得色調通道H、 飽和度通道S和亮度通道V ;
[0089] (16)用戶采用交互式的方式調整著色區域1&1中的色調通道H、飽和度通道S，即 實現選中區域進行重新著色，獲得圖像
[0090] (17)將圖像HSV顏色空間轉換到RGB色彩空間，獲得圖像I R(；Bral";
[0091] (18)將區域重新著色后的圖像IReBral"和彩色圖像I合并后獲得重新著色圖像 iNew0
[0092] 2、根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在 于：在步驟（1)中所述的人工著色線條具有如下屬性（輸入線條的屬性見下表）：從顏色上 分為前景色白色和背景色黑色，其中前景色從色彩傳播上分為全局傳播和局部傳播，從區 域屬性分別為添加和減去。
[0094] 3、根據權利要求1或權利要求2所述的基于最優化模型的交互式圖像重新著色方 法，其特征在于：在步驟（2)中所述的分別進行基于全局最優化和基于局部最優化的摳圖 方法分為如下三個步驟：
[0095] (1)首先搜索每個像素的K個鄰域像素；所用的高維特征空間包括了 HSV色彩通 道和空間坐標，特征空間F⑴定義如下：
[0096] F⑴=(H(i)，S(i)，V(i)，yx(i)，yy(i))
[0097] 式中，H是圖像HSV色彩空間的色調值，S是飽和度，V是亮度值，y參數控制色彩 傳播是采用全局傳播還是局部傳播，y取值為〇或者0 (如果y取值為〇則為全局色彩 傳播，如果y取值為00則為局部色彩傳播），采用FLANN庫實現來查找像素i的K個鄰域 N"KNN);
[0098] (2)其次構建重新著色的最優化模型，并且考慮用戶輸入著色線條，構建如下最優 化代價函數：
[0099] J(U)=人（U-G)TDs(U_G)+UTL colorU
[0100] 式中：
[0101] U為求解的摳圖矩陣；
[0102] Ds為對角矩陣，在該對角矩陣中，涂色線條像素對應的對角線上的值為1，其余對 角線上的值為〇;
[0103] G對應為涂色線條的值，其中前景線條對應值為1，背景線條對應的值為0 ;
[0104] 公式中第一項確保了摳圖圖像和用戶涂色線條的值盡可能的接近，第二項保證了 像素和其鄰域的相似性，使得已經涂色的像素通過鄰域進行傳播，參數A用來調整這兩項 的平衡，算法實現中A設置為1;
[0105] 鄰域的彩色圖像的拉普拉斯矩陣Lec]lcJ^建如下：
[0107] 式中：
[0108] j和k為圖像像素索引值；
[0109] S ^是克羅內克函數，如果i和j相等，則S ^為1，否則S ^為〇 ;
[0110] 心和 <分別像素k的K個非局部鄰域像素的平均值和方差；
[0111] K為像素k的非局部鄰域個數；
[0112] G為規則化參數取值為10
[0113] 13為輸入圖像在HSV色彩空間的色度值，飽和度以及亮度值；
[0114] 求解最優化模型獲得如下稀疏線性系統：
[0115] U= (Lcolor+ADs)
[0116] 式中：L&lOT+ADsS稀疏矩陣求解，算法選擇通過高斯-賽德爾迭代法求解；
[0117] (3)最終，把輸入線條的前景色按照色彩傳播屬性分為全局前景色和局部前景色， 利用全局前景色和背景色進行基于全局的圖像摳圖，即鄰域像素搜索時y取值為〇;利用 局部前景色和背景色進行基于局部的圖像摳圖，即鄰域像素搜索時y取值為0。
[0118] 4、根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在 于：在步驟（3)中所述的對獲得的全局最優化的摳圖圖像I Alphaelc]bal和局部最優化的摳圖圖 像lMplha^al進行二值化處理如下： if ^AlphaGlobal ~
[01 19] IsegGlobal -if T q lJ IAiphaGlobat ^ u* ^AlphaLocat ~ ^9 _〇] 一 i
[0121] 5、根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在 于：在步驟（4)中所述的合并二值化圖像 IsegGlobal 和 I SegLocal 為 I Seg如下.
[01 22] ^Segl ^ Global ^ ^SegGlobal^^Local ^ ^SegLocal 「y/_(/)>0
[0123] 7-(〇 = i〇 otherelse.
[0124] 式中S(；lc]bajP S ^al分別對應選取屬性，如果為添加，則數值為1，如果為減去，則數 值為-1。
[0125] 6、根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在 于：在步驟（5)中所述的計算待處理彩色圖像I tag中需要重新著色區域I 如下：
[0126] ISei= I〇rgXISeg
[0127] 7、根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在 于：在步驟（6)中所述的由RGB顏色空間轉換到HSV顏色空間的轉換方法如下：
[0128] 我們標記Max為（R，G，B)中的最大值，Min為（R，G，B)中的最小值，
[0132] 式中R，G，B分別表示圖像的紅、綠、藍顏色值，H是圖像的色調值，S是圖像的飽和 度，V是圖像的亮度。
[0133] 8、根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在 于：在步驟（8)中所述的由HSV顏色空間轉換到RGB顏色空間的轉換方法按如下公式：
[0136] p = V (1-S)
[0137] q = V (1-fS)
[0138] t = V(l-(l-f)S)
[0139] R = V，G = t，B = p if Hx= 0
[0140] R = q，G = V，B = p if H;= 1
[0141] R = p，G = V，B = t if Hx= 2
[0142] R = p，G = q，B = V if H;= 3
[0143] R=t，G = p，B = V if Hx= 4
[0144] R = V，G = p，B = q if H;= 5
[0145] 9、根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在 于：在步驟（9)中所述的合并重新著色后的圖像I ReBralOT和彩色圖像1_為I 如下：
[0146] INew - I sei X IRGBc〇i〇r+(l_ISei) X I0rg
[0147] 這里給出局部線性模型的具體推導過程：
[0148] 本發明算法基于如下假設：特征空間中相似的鄰域，摳圖后具有相似的alpha值。 基于這個假設，給出了每個像素的鄰域滿足如下的彩色線性模型：
[0149] U,=acri+p, VieNt (1)
[0150] 式中，（a，0 )是線性系數，I是輸入圖像（采用HSV色彩空間），C為色彩通道。 隊是像素i的鄰域，U是摳圖后的alpha值。值得注意的是本方法采用了基于高維特征的 空間鄰域。為了找到像素i的鄰域，非常關鍵的一個步驟就是設計合適的特征空間，本發明 提出的特征空間包括了 HSV色彩通道和空間坐標，特征空間F(i)定義如下：
[0151] F(i) = (H(i), S(i), V(i), yx(i), yy(i)) (2)
[0152] 式中，H是圖像HSV色彩空間的色調值，S是飽和度，V是亮度值，y參數控制色彩 傳播是采用全局傳播還是局部傳播，y取值為〇或者0 (如果y取值為〇則為全局色彩 傳播，如果y取值為00則為局部色彩傳播），采用FLANN庫實現來查找像素i的K個鄰域 N"KNN);
[0153] 通過基于鄰域的彩色線性模型，定義如下代價函數： (r V
[0154] j{u,a,p)=Y\ Z kel\j€N入 c J ^
[0155] 式中，G為規則化參數，防止a ,取的太大，增加數值穩定性（提出是算法中G = 10 6)。
[0156] 線性系數（a，0 )可以通過求解式（3)取得最小化代價函數獲得
[0157] J(U) = vamJ(U,a,p)
[0158] 式中能量最優化模型可以看做變量（a k，Pk)的二次方程，可以通過對公式進行 求一階偏導數獲得，求解可以獲得：
[0159] J(U) = v^J(U,a,p) = UTLcolorU
[0160] 其中鄰域的彩色圖像的拉普拉斯矩陣構建如下如下：
[0162] 式中，S g是克羅內克函數，如果i和j相等，則S "為1，否則S "為〇 ; y $ erf 分別像素k的K個非局部鄰域像素的平均值和方差。K為像素k的鄰域個數。
[0163] 通過合并基于鄰域的彩色線性模型和用戶輸入的涂色限制，可以獲得如下能量最 優化方程：
[0164] J〇J)=入（U-G)TDs(U-G)+UTL Ccil〇rU (4)
[0165] Ds為對角矩陣，在該對角矩陣中，涂色線條像素對應的對角線上的值為1，其余對 角線上的值為〇。6對應為涂色線條的值，其中前景線條對應值為1，背景線條對應的值為0。 公式中第一項確保了摳圖圖像和用戶涂色線條的值盡可能的接近，第二項保證了像素和其 鄰域的相似性，使得已經涂色的像素通過鄰域進行傳播。參數A用來調整這兩項的平衡， 算法實現中A設置為1。式（4)中的J(U)是摳圖矩陣U的二次方程，因此J(U)的全局最 小值可以通過對摳圖矩陣U的一階偏導數為零求解得到。可以獲得如下稀疏線性系統：
[0166] U = (Lcolor+ A Ds) 1 A DSG (5)
[0167] 式（5)中L&1"+A比為稀疏矩陣求解，求解稀疏線性矩陣方程應用非常廣泛，如 何提高求解稀疏線性矩陣方程的速度和減少內存的使用，已經成為學術界和工程界研究的 熱點。求解稀疏矩陣可以分為直接法和迭代法。相對而言，迭代法算法的復雜度和內存消 耗比用直接法求解低，而且迭代法通常比較容易并行計算，因此本發明的算法選擇通過高 斯 -賽德爾迭代法求解。
[0168] 本發明提出的重新著色方法，第一步為用戶著色，類似與Photoshop中替換顏色 工具，畫筆分為前景色和背景色，可以增加、減少選擇區域，同時增加了 Photoshop中不具 有的全局傳播、局部傳播屬性。第二步選擇重新著色區域時，由于加入了全局和局部的傳播 最優化方案，僅需要用戶輸入少量的前景和背景色，除了摳圖出來的區域，其他區域顏色自 動保持不變，這樣就不需要所有顏色都覆蓋到了，第三步為對摳圖出來的區域進行HSV顏 色調整，保證了區域內紋理的分布，調整顏色方便、簡單、快捷。
【主權項】
1. 一種基于最優化模型的交互式圖像重新著色方法，其特征在于：包括如下九個步 驟： (1) 輸入待處理彩色圖像，然后將待處理彩色圖像進行人工線條著色，獲得著色圖 像； (2) 將著色圖像分別進行基于全局最優化和基于局部最優化的摳圖，分別獲得全局最 優化的摳圖圖像IAlpha(;lcibal和局部最優化的摳圖圖像I AlphaUl(：al; (3) 對獲得的全局最優化的摳圖圖像IAlpha(；lc]bal和局部最優化的摳圖圖像I AlphaLocal 4丁 二值化處理，對應的二值化圖像分別為 IsegGlobal萍口 I SegLocal， (4) 根據著色線條的選區屬性，采取添加或者減去的策略，合并二值化圖像Is^lcibal和 I SegLocal I Seg， (5) 根據二值化圖像Iseg和待處理彩色圖像I _，計算待處理彩色圖像中需要重新 著色區域Ifel; (6) 將著色區域1&1的RGB顏色空間轉換到HSV顏色空間，分別獲得色調通道H、飽和 度通道S和亮度通道V ; (7) 用戶采用交互式的方式調整著色區域Ifel中的色調通道H、飽和度通道S，即實現選 中區域進行重新著色，獲得圖像 (8) 將圖像匕&的HSV顏色空間轉換到RGB色彩空間，獲得圖像I RGBcolor? (9) 將區域重新著色后的圖像Ir(;Bot1"和彩色圖像I合并后獲得重新著色圖像I fcw。2. 根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在于： 在步驟（1)中所述的人工著色線條具有如下屬性（輸入線條的屬性見下表）：從顏色上分 為前景色白色和背景色黑色，其中前景色從色彩傳播上分為全局傳播和局部傳播，從區域 屬性分別為添加和減去。3. 根據權利要求1或權利要求2所述的基于最優化模型的交互式圖像重新著色方法， 其特征在于：在步驟（2)中所述的分別進行基于全局最優化和基于局部最優化的摳圖方法 分為如下三個步驟： (1) 首先搜索每個像素的K個鄰域像素；所用的高維特征空間包括了 HSV色彩通道和 空間坐標，特征空間F(i)定義如下： F(i) = (H(i),S(i),V(i), γχ(?), yy(i)) 式中，H是圖像HSV色彩空間的色調值，S是飽和度，V是亮度值，γ參數控制色彩傳播 是采用全局傳播還是局部傳播，γ取值為0或者0 (如果γ取值為0則為全局色彩傳播，如 果γ取值為0則為局部色彩傳播），采用FLANN庫實現來查找像素 i的K個鄰域N1 (KNN); (2) 其次構建重新著色的最優化模型，并且考慮用戶輸入著色線條，構建如下最優化代 價函數：式中： U為求解的摳圖矩陣； Ds為對角矩陣，在該對角矩陣中，涂色線條像素對應的對角線上的值為I，其余對角線 上的值為〇 ; G對應為涂色線條的值，其中前景線條對應值為1，背景線條對應的值為O ; 公式中第一項確保了摳圖圖像和用戶涂色線條的值盡可能的接近，第二項保證了像素 和其鄰域的相似性，使得已經涂色的像素通過鄰域進行傳播，參數λ用來調整這兩項的平 衡，算法實現中λ設置為1 ; 鄰域的彩色圖像的拉普拉斯矩陣LecilJ^建如下：式中： j和k為圖像像素索引值； δ ^是克羅內克函數，如果i和j相等，則δ ^為1，否則δ ^為〇 ; μ JP <分別像素 k的K個非局部鄰域像素的平均值和方差； K為像素 k的非局部鄰域個數； e為規則化參數取值為IO6; I3為輸入圖像在HSV色彩空間的色度值，飽和度以及亮度值； 求解最優化模型獲得如下稀疏線性系統： U= (Lcolor+λ Ds) 1ADsG 式中：LM"+ λ Ds為稀疏矩陣求解，算法選擇通過高斯-賽德爾迭代法求解； (3)最終，把輸入線條的前景色按照色彩傳播屬性分為全局前景色和局部前景色，利用 全局前景色和背景色進行基于全局的圖像摳圖，即鄰域像素搜索時γ取值為〇;利用局部 前景色和背景色進行基于局部的圖像摳圖，即鄰域像素搜索時γ取值為0。4. 根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在于： 在步驟⑶中所述的對獲得的全局最優化的摳圖圖像I Alpha(；lcibal和局部最優化的摳圖圖像 IAlDha^al進行二值化處理如下：5. 根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在于： 在步驟（4)中所述的合并二值化圖像 IsegGlobal和 I SegLocal為 I Seg如卜. Isegl ^ Global ^ ^SegGlobal^^Local ^ -^SegLocal式中Stilcibal和S ^al分別對應選取屬性，如果為添加，則數值為1，如果為減去，則數值 為-Io6. 根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在于： 在步驟（5)中所述的計算待處理彩色圖像Itag中需要重新著色區域I 如下： I Sel I OrgX Iseg07. 根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在于： 在步驟（6)中所述的由RGB顏色空間轉換到HSV顏色空間的轉換方法如下： 我們標記Max為（R，G，B)中的最大值，Min為（R，G，B)中的最小值， V = MAX式中R，G，B分別表示圖像的紅、綠、藍顏色值，H是圖像的色調值，S是圖像的飽和度， V是圖像的亮度。8. 根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在于： 在步驟（8)中所述的由HSV顏色空間轉換到RGB顏色空間的轉換方法按如下公式： P = V (I-S)q = V(l-fS) t = V(l-(l-f)S) R = V, G = t, B = p if Hi= 0 R = q, G = V, B = p if Hi= I R = p，G = V，B = t if Hi= 2 R = p，G = q，B = V if Hi= 3 R = t，G = p，B = V if Hi= 4 R = V，G = p，B = q if Hi= 5 。9. 根據權利要求1所述的基于最優化模型的交互式圖像重新著色方法，其特征在于： 在步驟（9)中所述的合并重新著色后的圖像I R(；Bot1ot和彩色圖像I _為I _如下： 【New I Sel X IfiGBcolor+(I Isei) X I〇rg0
【文檔編號】G06F17/50GK105893649SQ201510133239
【公開日】2016年8月24日
【申請日】2015年3月23日
【發明人】厲旭杰, 趙漢理, 黃輝
【申請人】溫州大學