[0055] S502、采用原始圖像信號作為圖像升頻系統的輸出信號，采用原始圖像信號經降 頻后的圖像信號作為圖像升頻系統的輸入信號，調整圖像升頻系統中的各參數，以使采用 調整后的各參數對降頻后的圖像信號進行升頻處理后與原始圖像信號相同。之后，采用調 整后的各參數作為升頻系統的升頻參數，對低分辨率的圖像進行升頻。
[0056] 其中，步驟S501初始化圖像升頻系統中的各參數，可以采用傳統的初始化方式， 將所有卷積神經網絡模塊的各卷積層的各濾波單元的權值Wij設置為一小的隨機數，并將 所有偏置初始化為〇。傳統的初始化方式在應用于諸如2x的小倍數升頻時不會出現任何問 題，但是在應用于由幾個卷積神經網絡模塊結合的諸如4x的高倍數升頻時會出現一些問 題，因此，本實用新型實施例提供的上述訓練方法中對于圖像升頻系統中的各參數的初始 化還提供了兩種新的方式，具體如下：
[0057] 第一種：將各濾波單元的偏置初始化為0 ;并按照以下公式初始化圖像升頻系統 中第一卷積神經網絡模塊和第二卷積神經網絡模塊的各卷積層的各濾波單元的權值Wij :
[0059] 其中，m表示輸入濾波單元的特征圖像數量。
[0060] 第二種：將各濾波單元的偏置初始化為0 ;并按照以下公式初始化圖像升頻系統 中第一卷積神經網絡模塊和第二卷積神經網絡模塊的各卷積層的各濾波單元的權值Wij :
[0063] 其中，m表示輸入濾波單元的特征圖像數量；uniform(-1，1)表示在（-1，1)之間選 取的隨機數。
[0064] 第二種初始化的方式相對于第一種初始化的方式，在各濾波單元的權值Wij中添 加了小的均勻分布噪聲值，這樣利于圖像升頻系統在訓練之后具有識別噪聲的能力。
[0065] 基于同一實用新型構思，本實用新型實施例還提供了一種采用上述圖像升頻系統 進行圖像升頻的方法，由于該方法解決問題的原理與前述一種圖像升頻系統相似，因此該 方法的實施可以參見系統的實施，重復之處不再贅述。
[0066] 本實用新型實施例提供的一種采用圖像升頻系統進行圖像升頻的方法，包括：
[0067] 第一卷積神經網絡模塊對輸入到該第一卷積神經網絡模塊的輸入信號的圖像轉 換為多個具有特定特征的特征圖像并輸出；
[0068] 復合器將輸入到該復合器的輸入信號的特征圖像中每n*n個特征圖像合成一分 辨率為該輸入信號的特征圖像η倍的特征圖像并輸出；輸入到該復合器的輸入信號中特征 圖像的數量為η*η的倍數，η為大于1的整數。
[0069] 具體地，在系統存在多個復合器時，每一個復合器接收到特征圖像后都會對特征 圖像進行升頻處理，然后輸出給下一個復合器，該下一個復合器對接收到的特征圖像進行 升頻處理直至最后一個復合器輸出最終的升頻圖像。
[0070] 本實用新型實施例所述的圖像升頻系統可以由一組中央處理器（CPU)實現、一也 可由一組圖像處理器（GPU)實現，或者還可以由現場可編程門陣列（FPGA)實現。
[0071] 基于同一實用新型構思，本實用新型實施例還提供了一種顯示裝置，包括本實用 新型實施例提供的上述圖像升頻系統，該顯示裝置可以為：手機、平板電腦、電視機、顯示 器、筆記本電腦、數碼相框、可穿戴設備、導航儀等任何具有顯示功能的產品或部件。該顯示 裝置的實施可以參見上述圖像升頻系統的實施例，重復之處不再贅述。
[0072] 本實用新型實施例提供的一種圖像升頻系統及顯示裝置，采用卷積神經網絡模塊 獲取圖像的特征圖像，采用復合器進行圖像的升頻處理將輸入信號中每n*n個特征圖像合 成一分辨率放大η倍的特征圖像，在復合器的升頻過程中，輸入信號中各特征圖像的信息 不損失的記載到生成的特征圖像中，因此圖像每經過一個升頻倍數為η的復合器后，圖像 分辨率可提升η倍。并且，在圖像升頻系統中可設置不止一個復合器進行逐次升頻，每個復 合器都可以執行單獨倍數的升頻功能，使系統可以根據需要靈活調整升頻倍數，實現了一 種針對不同升頻倍數可通用的升頻系統。進一步地，由于每個復合器在將特征圖像的分辨 率放大η倍的同時，減少了復合器輸出的特征圖像的數量，可以減少級聯的下一級復合器 或第一卷積神經網絡模塊的輸入信號量，從而簡化升頻計算量。
[0073] 顯然，本領域的技術人員可以對本實用新型進行各種改動和變型而不脫離本實用 新型的精神和范圍。這樣，倘若本實用新型的這些修改和變型屬于本實用新型權利要求及 其等同技術的范圍之內，則本實用新型也意圖包含這些改動和變型在內。
【主權項】
1. 一種圖像升頻系統，其特征在于，包括：級聯的至少一個第一卷積神經網絡模塊和 至少一個復合器；其中， 升頻系統的信號輸入端與一所述第一卷積神經網絡模塊連接，升頻系統的信號輸出端 與一所述復合器連接； 所述復合器的信號輸入端與一所述第一卷積神經網絡模塊的信號輸出端連接，或與另 一所述復合器的信號輸出端連接； 所述第一卷積神經網絡模塊，用于將輸入到所述第一卷積神經網絡模塊的輸入信號的 圖像轉換為多個特征圖像并輸出； 所述復合器，用于將輸入到所述復合器的輸入信號的特征圖像中每n*n個特征圖像合 成一分辨率為所述輸入信號的特征圖像n倍的特征圖像并輸出；輸入到所述復合器的輸入 信號中特征圖像的數量為n*n的倍數，n為大于1的整數。2. 如權利要求1所述的圖像升頻系統，其特征在于，所述復合器的個數為兩個或三個。3. 如權利要求2所述的圖像升頻系統，其特征在于，各所述復合器的信號輸入端均與 一所述第一卷積神經網絡模塊的信號輸出端連接。4. 如權利要求1所述的圖像升頻系統，其特征在于，所述復合器為多個時，各所述復合 器為升頻倍數相同的復合器。5. 如權利要求1所述的圖像升頻系統，其特征在于，所述復合器為升頻倍數為質數的 復合器。6. 如權利要求5所述的圖像升頻系統，其特征在于，所述復合器為升頻倍數為2的復合 器。7. 如權利要求1所述的圖像升頻系統，其特征在于，所述復合器為自適應插值濾波器。8. 如權利要求1所述的圖像升頻系統，其特征在于，還包括：設置于升頻系統的信號輸 出端與所述復合器之間的第二卷積神經網絡模塊； 所述第二卷積神經網絡模塊，用于對所述復合器的輸出信號的特征圖像進行畫質優 化。9. 如權利要求8所述的圖像升頻系統，其特征在于，所述第一卷積神經網絡模塊和第 二卷積神經網絡模塊包括至少一層由多個濾波單元組成的卷積層。10. -種顯示裝置，其特征在于，包括如權利要求1-9任一項所述圖像升頻系統。
【專利摘要】本實用新型公開了一種圖像升頻系統及顯示裝置，采用卷積神經網絡模塊獲取圖像的特征圖像，采用復合器進行圖像的升頻處理將輸入信號中每n*n個特征圖像合成一分辨率放大n倍的特征圖像。在復合器的升頻過程中，輸入信號中各特征圖像的信息不損失的記載到生成的特征圖像中，因此經過復合器后可以得到分辨率提升n倍的高質量圖像。并且，在圖像升頻系統中可設置多個復合器進行逐次升頻，每個復合器都可以執行單獨倍數的升頻功能，使系統可以根據需要靈活調整升頻倍數。且由于復合器在將特征圖像的分辨率放大n倍的同時，減少了復合器輸出的特征圖像的數量，從而減少下一級復合器或第一卷積神經網絡模塊的輸入信號量，簡化其計算量。
【IPC分類】H04N5/14
【公開號】CN204948182
【申請號】CN201520723888
【發明人】那彥波, 張麗杰, 何建民
【申請人】京東方科技集團股份有限公司
【公開日】2016年1月6日
【申請日】2015年9月17日