增強視頻圖像光滑度及清晰度的超分辨率重構方法
【專利摘要】本發明提供一種增強視頻圖像光滑度及清晰度的超分辨率重構方法，包括：步驟1：提供一原始圖像，包括數個陣列排布的原圖像素點；步驟2：利用Canny_H方式對所述原始圖像進行邊緣偵測，并考慮4*4區域圖像范圍的像素邊緣信息；步驟3：將邊緣像素進行2*2倍插值放大，并根據得出的像素邊緣信息判定該區域圖像類型為純色實體區或非純色實體區；步驟4：對純色實體區、非純色實體區分別進行條件插值；步驟5：得到像素2*2倍插值放大后的超分辨率圖像。本發明在純色實體區，采用4*4的邊緣信息按照規則進行插值，以保持純色實體區的邊界清晰度，同時可以在有鋸齒的地方降低鋸齒；在非純色實體區進行BiCubic_H方式插值，進而增強圖像光滑度和清晰度。
【專利說明】增強視頻圖像光滑度及清晰度的超分辨率重構方法
【技術領域】
[0001] 本發明涉及液晶顯示【技術領域】，尤其涉及一種增強視頻圖像光滑度及清晰度的超 分辨率重構方法。
【背景技術】
[0002] 隨著消費者日益增長的市場需求，特別在高端顯示領域，需要更加高端的顯示設 備。從最初的480P顯像管電視機到后來的720P、FHD、2K、4K和8K等分辨率的顯示設備，顯 示分辨率以及顯示設備的尺寸是在逐步提升的。
[0003] 4K2K，即高解析度面板，簡單來說就是比傳統全高清（Full High Definition，FHD) 的解析度還高四倍的新時代顯示格式，又稱為"超高解析電視（Quad Full High Definition, QFHD) "。4K2K的解析度為RGB4096X 2048或3840X 2160,而全高清電視解析度為 1920父1080,41(21(相當于4倍全高清規格；41(21(采用氧化物薄膜電芯片（0^如）制作，具備 高速電子移動速度，呈現畫面內容具有高解析度及薄邊框，呈現超薄質感，除了使電視機更 加輕薄，讓畫面更加細致之外，還可以應用于裸視3D熒幕、衛星云圖、航空地理情報等，因 此，4K2K將成為大尺寸的主流規格。
[0004] 為了降低系統運行成本，提高畫面質量，超分辨率算法（Super Resolution，SR)已 成為目前高端顯示領域中（例如4K2K)的主流算法，其是指將低分辨率圖像或圖像序列恢 復成高分辨率圖像。
[0005] 超分辨率算法是增強圖像或視頻分辨率的技術，指利用一幅或多幅低分辨率（Low Resolution,LR)圖像，通過相應的算法來獲得一幅清晰的高分辨率（High Resolution，·) 圖像。通過一系列低分辨率的圖像來得到一幅高分辨率的圖像過程就是超分辨率重構。也 就是，超分辨率算法的目的是使得輸出的圖像或視頻的分辨率比任意一幅輸入的圖像或輸 入視頻的任意一幀的分辨率都要高。這里所獲得的高分辨率圖像意味著圖像具有高像素密 度，可以提供更多的細節，而這些細節在許多實際應用中不可或缺。然而，很多視頻源沒能 達到這么高的分辨率（如全高清），讓低分辨率的視頻在高解析度面板上出色的播放，目前 的超分辨率方式有計算量大的缺陷，會導致成本增加，實用性不強。另一方面，諸如像臨近 取代算法、雙線性插值算法、Hermite插值算法和Canny插值算法這些簡單快速的超分辨率 算法，又使得畫面存在鋸齒、模糊等問題。
[0006] 請參閱圖1，為現有線性插值超分辨率算法的像素矩陣圖。其中，原圖像素 (Pixel)點分別為P00點、P01點、P10點、P11點，插值點分別為A點、B點、C點，根據 線性插值的概念，可以簡單地計算出A = 1/4*P00+1/4*P01+1/4*P10+1/4*P11、B = 1/2*P00+1/2*P01、C = 1/2*P00+1/2*P10。請參閱圖2,為現有采用圖1所示線性插值方法 的圖樣效果圖。由圖2可以看出，雖然圖1所示的這種超分辨率算法計算簡單，但這種方法 沒有降低鋸齒現象，并且存在字體不清晰、光滑度不足的問題。
【發明內容】
[0007] 本發明的目的在于提供一種增強視頻圖像光滑度及清晰度的超分辨率重構方法， 能夠利用較少的資源，較好的提升視頻圖像的光滑度和清晰度。
[0008] 為實現上述目的，本發明提供一種增強視頻圖像光滑度及清晰度的超分辨率重構 方法，包括：
[0009] 步驟1 :提供一原始圖像，包括數個陣列排布的原圖像素點P ;
[0010] 步驟2 :利用Canny_H方式對所述原始圖像進行邊緣偵測，并考慮4*4區域圖像范 圍的像素邊緣信息；
[0011] 步驟3 :將邊緣像素進行2*2倍插值放大，并根據得出的像素邊緣信息判定該區域 圖像類型為純色實體區或非純色實體區；
[0012] 步驟4 :對純色實體區、非純色實體區分別進行條件插值；
[0013] 步驟5 :得到像素2*2倍插值放大后的超分辨率圖像。
[0014] 所述步驟2包括：
[0015] 步驟20 :計算梯度方向和梯度值，用Sobel掩膜矩陣
【權利要求】
1. 一種增強視頻圖像光滑度及清晰度的超分辨率重構方法，其特征在于，包括： 步驟1 :提供一原始圖像，包括數個陣列排布的原圖像素點（P); 步驟2 :利用Canny_H方式對所述原始圖像進行邊緣偵測，并考慮4*4區域圖像范圍的 像素邊緣信息； 步驟3 :將邊緣像素進行2*2倍插值放大，并根據得出的像素邊緣信息判定該區域圖像 類型為純色實體區或非純色實體區； 步驟4 :對純色實體區、非純色實體區分別進行條件插值； 步驟5 :得到像素2*2倍插值放大后的超分辨率圖像。
2. 如權利要求1所述的增強視頻圖像光滑度及清晰度的超分辨率重構方法，其特征在 于，所述步驟2包括： 步驟20 :計算梯度方向和梯度值，用Sobel掩膜矩陣
分別和每個原圖像素點以及它 周圍的8個原圖像素點組成的3*3矩陣做點乘以得到4個梯度值，取4個梯度值中的最大 值作為梯度值并保存其方向； 步驟21 :根據每個原圖像素點的梯度值及其方向，對每個原圖像素點進行"非極大值" 邊緣抑制； 步驟22 :對每個原圖像素點及其周圍的8個原圖像素點做邊緣細化。
3. 如權利要求2所述的增強視頻圖像光滑度及清晰度的超分辨率重構方法，其特征 在于，邊緣偵測點是原圖像素點（P11)時，步驟20判斷原圖像素點（P11)為水平方向的邊 緣，邊緣值為G(P11)，如果滿足G(P11)>1/2*G(P01)且6(?11)>1/2扣$21)，將原圖像素點 (P11)的邊緣值記為G(P11)，否則將原圖像素點（P11)的邊緣值記為0; 步驟20判斷原圖像素點（P11)為垂直方向的邊緣，邊緣值為G(P11)，如果滿足 6(卩11)>1/2扣(？10)且6(?11)>1/2扣(？12)，將原圖像素點（？11)的邊緣值記為6(?11)，否 則將原圖像素點（P11)的邊緣值記為〇 ; 步驟20判斷原圖像素點（P11)為45度方向的邊緣，邊緣值為G(P11)，如果滿足 6(卩11)>1/2扣(?00)且6(?11)>1/2扣(?22)，將原圖像素點（？11)的邊緣值記為6(?11)，否 則將原圖像素點（P11)的邊緣值記為〇 ; 步驟20判斷原圖像素點（P11)為135度方向的邊緣，邊緣值為G(P11)，如果滿足 6(卩11)>1/2扣(?02)且6(?11)>1/2扣(?20)，將原圖像素點（？11)的邊緣值記為6(?11)，否 則將原圖像素點（P11)的邊緣值記為〇。
4. 如權利要求1所述的增強視頻圖像光滑度及清晰度的超分辨率重構方法，其特征在 于，所述步驟3中將邊緣像素進行2*2倍插值放大，其插值順序為：從第1行第1列的原圖 像素點開始，逐行逐列遍歷原圖像素點，每遍歷一個原圖像素點，需要插入3個新像素點。
5. 如權利要求1所述的增強視頻圖像光滑度及清晰度的超分辨率重構方法，其特征在 于，所述區域圖像類型為純色實體區時，采用4*4的邊緣信息按照規則進行插值。
6. 如權利要求1所述的增強視頻圖像光滑度及清晰度的超分辨率重構方法，其特征在 于，所述區域圖像類型為非純色實體區時，在非純色實體區進行BiCubic_H方式插值。
7. 如權利要求1所述的增強視頻圖像光滑度及清晰度的超分辨率重構方法，其特征在 于，當遍歷到原圖像素點（P11)時，原圖像素點（P02)、(P12)、(P22)、(P32)是邊緣，其他12 個原圖像素點不是邊緣，那么當： F(P10)-F(P11) |〈0· 125*max(F(P10)，F(Pll))且 F(P20)-F(P21) |〈0· 125*max(F(P20)，F(P21))且 F(P12)-F(P13) |〈0· 125*max(F(P12)，F(P13))且 F(P22) -F(P23)|〈0· 125*max (F (P22)，F (P23))， 則判定為純色實體區，否則判定為非純色實體區。
8. 如權利要求7所述的增強視頻圖像光滑度及清晰度的超分辨率重構方法，其特征在 于，所述（F(P))為原圖像素點⑵的RGB值求和，S卩：F(P) =P(R)+P(G)+P(B);所述區域 圖像判定為純色實體區時，對應的插值點（A)、插值點（B)、插值點（C)的計算分別為：A = P11+P21，B = Pll，C = P11+P21。
9. 如權利要求1所述的增強視頻圖像光滑度及清晰度的超分辨率重構方法，其特征在 于，當遍歷到原圖像素點（P11)時，原圖像素點（P10)、(P11)、(P12)、(P13)是邊緣，其他12 個原圖像素點不是邊緣，那么當 F(P01)-F(P11) |〈0· 125*max(F(P01)，F(Pll))且 F(P02)-F(P12) |〈0· 125*max(F(P02)，F(P12))且 F(P21)-F(P31) |〈0· 125*max(F(P21)，F(P31))且 F(P22) -F(P32)|〈0· 125*max (F (P22)，F (P32))， 則判定為純色實體區，否則判定為非純色實體區。
10. 如權利要求9所述的增強視頻圖像光滑度及清晰度的超分辨率重構方法，其特征 在于，所述（F(P))為原圖像素點（P)的RGB值求和，S卩：F(P) =P(R)+P(G)+P(B);所述區域 圖像判定為純色實體區時，對應的插值點（A)、插值點（B)、插值點（C)的計算分別為：A = P21+P22, B = P11+P12, C = P21。
11. 如權利要求1所述的增強視頻圖像光滑度及清晰度的超分辨率重構方法，其特征 在于，當遍歷到原圖像素點（P11)時，原圖像素點（P22)、（P23)、（P30)、（P31)是邊緣，其他 12個原圖像素點不是邊緣，那么當： F(P02)-F(P12) |〈0· 125*max(F(P02)，F(P12))且 F(P03)-F(P13) |〈0· 125*max(F(P03)，F(P13))且 F(P22)-F(P32) |〈0· 125*max(F(P22)，F(P32))且 F(P23) -F(P33)|〈0· 125*max (F (P23)，F (P33))， 則判定為純色實體區，否則判定為非純色實體區。
12. 如權利要求11所述的增強視頻圖像光滑度及清晰度的超分辨率重構方法，其特征 在于，所述（F(P))為原圖像素點（P)的RGB值求和，S卩：F(P) =P(R)+P(G)+P(B);所述區域 圖像判定為純色實體區時，對應的插值點（A)、插值點（B)、插值點（C)的計算分別為：A = P21+P22, B = P11+P12, C = P11+P21。
13. 如權利要求1所述的增強視頻圖像光滑度及清晰度的超分辨率重構方法，其特征 在于，當遍歷到原圖像素點（P11)時，原圖像素點（P02)、（P12)、（P20)、（P21)是邊緣，其他 12個原圖像素點不是邊緣，那么當： F(P01)-F(P11) |〈0· 125*max(F(P01)，F(Pll))且 F(P02)-F(P12) |〈0· 125*max(F(P02)，F(P12))且 F(P21)-F(P31) |〈0· 125*max(F(P21)，F(P31))且 F(P22) -F(P23)I〈0· 125*max (F (P22)，F (P23))， 則判定為純色實體區，否則判定為非純色實體區。
14. 如權利要求13所述的增強視頻圖像光滑度及清晰度的超分辨率重構方法，其特征 在于，所述（F(P))為原圖像素點（P)的RGB值求和，S卩：F(P) =P(R)+P(G)+P(B);所述區域 圖像判定為純色實體區時，對應的插值點（A)、插值點（B)、插值點（C)的計算分別為：A = P21+P22, B = Pll，C = P21。
15. 如權利要求1所述的增強視頻圖像光滑度及清晰度的超分辨率重構方法，其特征 在于，當遍歷到原圖像素點（P11)時，原圖像素點（P10)、（Pll)、（P22)、（P32)是邊緣，其他 12個原圖像素點不是邊緣，那么當： F(P10)-F(P11) |〈0· 125*max(F(P10)，F(Pll))且 F(P20)-F(P21) |〈0· 125*max(F(P20)，F(P21))且 F(P12)-F(P13) |〈0· 125*max(F(P12)，F(P13))且 F(P22) -F(P23)|〈0· 125*max (F (P22)，F (P23))， 則判定為純色實體區，否則判定為非純色實體區。
16. 如權利要求15所述的增強視頻圖像光滑度及清晰度的超分辨率重構方法，其特征 在于，所述（F(P))為原圖像素點（P)的RGB值求和，S卩：F(P) =P(R)+P(G)+P(B);所述區域 圖像判定為純色實體區時，對應的插值點（A)、插值點（B)、插值點（C)的計算分別為：A = P11+P21，B = Pll，C = P11+P21。
【文檔編號】G06T7/00GK104063875SQ201410329177
【公開日】2014年9月24日 申請日期:2014年7月10日 優先權日:2014年7月10日
【發明者】胡厚亮, 李 浩, 朱立偉 申請人:深圳市華星光電技術有限公司