一種圖像升頻系統及顯示裝置的制造方法
【技術領域】
[0001] 本實用新型涉及圖像信號處理技術領域，尤其涉及一種圖像升頻系統及顯示裝 置。
【背景技術】
[0002] 目前，在圖像信號處理的過程中，一般是利用標準的諸如雙三次（bicubic)和線 性等標準升頻（提高圖像分辨率）方式對圖像進行分辨率的提升。如圖1所示，示出了一 個2X的升頻方式，對輸入圖像的各像素（加上鄰像素）使用四個不同的濾波器F1、濾波器 F2、濾波器F3和濾波器F4,每個濾波器產生四分之一的輸出圖像的像素，這個過程可以看 作是對輸入圖像應用4個濾波器（卷積）后交錯或復用以創建寬度和高度翻倍的單一輸出 圖像。
[0003] 但是，目前的圖像升頻系統數據計算量較大，升頻倍數無法靈活調節。 【實用新型內容】
[0004] 有鑒于此，本實用新型實施例提供了一種圖像升頻系統及顯示裝置，用以基于卷 積神經網絡實現對圖像分辨率高品質的升頻，降低升頻計算量，提高升頻倍數調節的靈活 度。
[0005] 因此，本實用新型實施例提供的一種圖像升頻系統，包括：級聯的至少一個第一卷 積神經網絡模塊和至少一個復合器；其中，
[0006] 升頻系統的信號輸入端與一所述第一卷積神經網絡模塊連接，升頻系統的信號輸 出端與一所述復合器連接；
[0007] 所述復合器的信號輸入端與一所述第一卷積神經網絡模塊的信號輸出端連接，或 與另一所述復合器的信號輸出端連接；
[0008] 所述第一卷積神經網絡模塊，用于將輸入到所述第一卷積神經網絡模塊的輸入信 號的圖像轉換為多個特征圖像并輸出；
[0009] 所述復合器，用于將輸入到所述復合器的輸入信號的特征圖像中每n*n個特征圖 像合成一分辨率為所述輸入信號的特征圖像η倍的特征圖像并輸出；輸入到所述復合器的 輸入信號中特征圖像的數量為η*η的倍數，η為大于1的整數。
[0010] 在一種可能的實施方式中，本實用新型實施例提供的上述圖像升頻系統中，所述 復合器的個數為兩個或三個。
[0011] 在一種可能的實施方式中，本實用新型實施例提供的上述圖像升頻系統中，各所 述復合器的信號輸入端均與一所述第一卷積神經網絡模塊的信號輸出端連接。
[0012] 在一種可能的實施方式中，本實用新型實施例提供的上述圖像升頻系統中，所述 復合器為多個時，各所述復合器為升頻倍數相同的復合器。
[0013] 在一種可能的實施方式中，本實用新型實施例提供的上述圖像升頻系統中，所述 復合器為升頻倍數為質數的復合器。
[0014] 在一種可能的實施方式中，本實用新型實施例提供的上述圖像升頻系統中，所述 復合器為升頻倍數為2的復合器。
[0015] 在一種可能的實施方式中，本實用新型實施例提供的上述圖像升頻系統中，所述 復合器為自適應插值濾波器。
[0016] 在一種可能的實施方式中，本實用新型實施例提供的上述圖像升頻系統中，還包 括：設置于升頻系統的信號輸出端與所述復合器之間的第二卷積神經網絡模塊；
[0017] 所述第二卷積神經網絡模塊，用于對所述復合器的輸出信號的特征圖像進行畫質 優化。
[0018] 在一種可能的實施方式中，本實用新型實施例提供的上述圖像升頻系統中，所述 第一卷積神經網絡模塊和第二卷積神經網絡模塊包括至少一層由多個濾波單元組成的卷 積層。
[0019] 本實用新型實施例提供了一種顯示裝置，包括本實用新型實施例提供的上述圖像 升頻系統。
[0020] 本實用新型實施例的有益效果包括：
[0021] 本實用新型實施例提供的一種圖像升頻系統及顯示裝置，采用卷積神經網絡模塊 獲取圖像的特征圖像，采用復合器進行圖像的升頻處理將輸入信號中每n*n個特征圖像合 成一分辨率放大η倍的特征圖像，在復合器的升頻過程中，輸入信號中各特征圖像的信息 不損失的記載到生成的特征圖像中，因此圖像每經過一個升頻倍數為η的復合器后，圖像 分辨率可提升η倍。并且，在圖像升頻系統中可設置不止一個復合器進行逐次升頻，每個復 合器都可以執行單獨倍數的升頻功能，使系統可以根據需要靈活調整升頻倍數，實現了一 種針對不同升頻倍數可通用的升頻系統。進一步地，由于每個復合器在將特征圖像的分辨 率放大η倍的同時，減少了復合器輸出的特征圖像的數量，可以減少級聯的下一級復合器 或第一卷積神經網絡模塊的輸入信號量，從而簡化升頻計算量。
【附圖說明】
[0022] 圖1為現有技術中2χ的升頻示意圖；
[0023] 圖2a_圖2e分別為本實用新型實施例提供的圖像升頻系統的結構示意圖；
[0024] 圖3為本實用新型實施例提供的圖像升頻系統中復合器的升頻示意圖；
[0025] 圖4為本實用新型實施例提供的圖像升頻系統中卷積神經網絡模塊的結構示意 圖；
[0026] 圖5為本實用新型實施例提供的圖像升頻系統的訓練方法的流程示意圖。
【具體實施方式】
[0027] 卷積神經網絡是人工神經網絡的一種，已成為當前語音分析和圖像識別領域的研 究熱點。它的權值共享網絡結構使之更類似于生物神經網絡，降低了網絡模型的復雜度，減 少了權值的數量。該優點在網絡的輸入是多維圖像時表現的更為明顯，使圖像可以直接作 為網絡的輸入，避免了傳統識別算法中復雜的特征提取和數據重建過程。卷積網絡是為識 別二維形狀而特殊設計的一個多層感知器，這種網絡結構對平移、比例縮放、傾斜或者共他 形式的變形具有高度不變性。
[0028] 基于卷積神經網絡對于二維形狀即圖像的高度不變形，本實用新型提供一種圖像 升頻系統、對該圖像升頻系統進行訓練的方法，以及根據訓練后的圖像升頻系統對輸入圖 像進行升頻的方法。該系統具體采用卷積神經網絡對圖像進行升頻，在保證不丟失圖像信 息的前提下，可有效的將低分辨率的圖像轉換為高分辨率的圖像。
[0029] 下面結合附圖，對本實用新型實施例提供的圖像升頻系統及顯示裝置的具體實施 方式進行詳細地說明。
[0030] 本實用新型實施例提供的一種圖像升頻系統，如圖2a至圖2d所示，包括：級聯的 至少一個第一卷積神經網絡模塊（Convolutional Network，CN)和至少一個復合器（Muxer Layer，ML);其中，
[0031] 升頻系統的信號輸入端與一第一卷積神經網絡模塊連接，升頻系統的信號輸出端 與一復合器連接；
[0032] 復合器的信號輸入端與一第一卷積神經網絡模塊的信號輸出端連接，或與另一復 合器的信號輸出端連接；
[0033] 第一卷積神經網絡模塊，用于將輸入到第一卷積神經網絡模塊的輸入信號的圖像 轉換為多個特征圖像并輸出給復合器；
[0034] 復合器，用于將輸入到復合器的輸入信號的特征圖像中每n*n個特征圖像合成一 分辨率為輸入信號的特征圖像η倍的特征圖像并輸出；輸入到復合器的輸入信號中特征圖 像的數量為η*η的倍數，η為大于1的整數。
[0035] 在本實用新型實施例提供的上述圖像升頻系統中，采用復合器進行圖像的升頻處 理將輸入信號中每個特征圖像合成一分辨率放大η倍的特征圖像，在復合器的升頻過 程中，輸入信號中各特征圖像的信息不損失的記載到生成的特征圖像中，因此圖像每經過 一個升頻倍數為η的復合器后，圖像分辨率可提升η倍。并且，在圖像升頻系統中可設置不 止一個復合器進行逐次升頻，每個復合器都可以執行單獨倍數的升頻功能，使系統可以根 據需要靈活調整升頻倍數，實現了一種