專利名稱：超解析影像的產生方法
技術領域：
本發明涉及一種超解析(super resolution, SR)影像的產生方法，特別是一種低資源需求的超解析影像的產生方法。
背景技術：
數字相機在現今已非常普及，且隨著科技的發展，其所具備的功能也越來越多。除了具有傳統的照相功能的拍攝模式以外，數字相機發展成具有可錄制視頻(video)的錄像模式。但是因為數字相機本身資源有限，錄像模式時所擷取的圖框(frame，也稱為影像框) 的分辨率相當低。舉例而言，為了得到畫面夠連續的視頻，一般的數字相機或攝錄像機在錄像模式下每秒需擷取至少30到60個影像。也就是說，數字相機也必須每秒處理至少30到 60個影像。但是數字相機的微處理器的處理速度以及緩沖器的容量均有限，因此只好降低影像的分辨率，以在單位時間內處理更多的影像。雖然使用者可以使用同一臺數字相機拍攝相片或錄像，卻難以在錄制視頻的同時進行高分辨率影像的拍攝。使用者需要停止錄像并將數字相機切換回拍攝模式之后才能拍攝高分辨率的相片。但是拍攝模式與錄像模式之間的切換需花費一段時間，而使得使用者錯失想要拍攝的畫面。若要讓使用者不需切換模式而在錄像同時得到想要的靜止影像 (still image)，可考慮的做法有兩種。第一種方法是使用高速的傳感器擷取視頻的所有圖框，再配合高速的處理器進行后續處理。極少數特殊應用的數字相機能在錄像時直接就以高分辨率進行。其先處理高分辨率的圖框后再根據實際需求將其轉變成較低分辨率的視頻，因此能從原來擷取的連續圖框中獲得較高解析的靜態影像。但是這種數字相機需要使用相當高階的傳感器與高速計算處理單元，因此不但零件成本高也非常耗電，而不適合一般消費者使用。此外，在較暗的場景下，這種方式容易產生較高噪聲的輸出影像。第二種方法則將視頻中的一張圖框單獨另外壓縮處理成一個靜止影像給使用者。 基于成本與電力的耗損的考慮，一般消費性機種的數字相機所使用的傳感器無法實時輸出高解析的影像。且考慮到錄像的持久性與成本，也不會事先處理較高分辨率的影像后再轉成低解析的影像來儲存。因此在錄像模式下，都直接先由傳感器轉成較低的分辨率的圖框并輸出較高速的影像序列(即視頻)。而當需要輸出靜止影像時，則直接從低解析的錄像序列中擷取其特定的圖框輸出。但是也由于錄像模式下的影像分辨率都不高，因此輸出的靜態影像的分辨率遠低于在拍攝模式之下所能獲得的靜態影像的分辨率。也就是說，傳統上不切換模式而在錄像同時得到想要的靜止影像的方法具有所需成本及資源過高、得到的靜止影像分辨率低，甚至得到有噪聲的影像等問題。
發明內容
本發明所要解決的技術問題在于提供一種超解析(super resolution, SR)影像的產生方法，以解決現有技術不切換模式而在錄像同時得到想要的靜止影像的方法得到的靜止影像分辨率低的缺陷。本發明提供一種超解析(super resolution, SR)影像的產生方法，其適用于一數字相機。超解析影像的產生方法包括接收對應于同一拍攝目標的多個影像；選取這些影像之一作為一基準影像，并將基準影像之外的影像作為多個參考影像；依據基準影像，以一幾何坐標校正程序處理參考影像，以產生個別對應于參考影像的多個校正影像；以及對基準影像以及校正影像執行一提高分辨率程序，以產生一超解析影像。而超解析影像的產生方法是可通過數字相機的一微處理器執行。較佳的是，幾何坐標校正程序僅被執行一次，以降低產生超解析影像時的資源需求。根據本發明的一實施范例，在“依據基準影像，以一幾何坐標校正程序處理參考影像，以產生個別對應于參考影像的多個校正影像”的步驟之后，超解析影像的產生方法另可包括對基準影像以及校正影像執行一去噪聲程序。其中去噪聲程序可包括以中值濾波器(median filter)處理基準影像以及校正影像。而“對基準影像以及校正影像執行一提高分辨率程序，以產生一超解析影像”的步驟可包括對基準影像以及校正影像執行提高分辨率程序，并產生一高解析影像；計算高解析影像的一誤差值；判斷誤差值是否小于一閾值；以及當誤差值小于閾值時，將高解析影像作為超解析影像。“對基準影像以及校正影像執行一提高分辨率程序，以產生一超解析影像”的步驟更可包括當誤差值大于或等于閾值時，回到“對基準影像以及校正影像執行提高分辨率程序，并產生一高解析影像”的步驟，以重新產生高解析影像。其中提高分辨率程序可包括以迭代反投影法(iterative back projection, IBP)處理基準影像以及校正影像。且提高分辨率程序更可包括以移動估計法(motion estimation)處理基準影像以及校正影像的局部。根據本發明的一實施范例，在時間軸上，基準影像最接近這些影像的中央。此外， 可于一在線模式(on-line mode)或是一離線模式(off-line mode)之下接收影像并產生超解析影像。綜上所述，超解析影像的產生方法依據視頻的多個影像產生清晰且分辨率較高的超解析影像。且由于幾何坐標校正程序僅需被執行一次，超解析影像的產生方法所需的資源較低，而不需要用到高階的微處理器。因此超解析影像的產生方法所適用的數字相機的成本，遠低于以高階感應器及處理器產生高解析影像的傳統相機。以下結合附圖和具體實施例對本發明進行詳細描述，但不作為對本發明的限定。
圖1為根據本發明一實施范例的數字相機的方塊圖；圖2為根據本發明一實施范例的超解析影像的產生方法的流程圖；圖3為根據本發明一實施范例的基準影像與參考影像的示意圖；圖4為根據本發明一實施范例的基準影像與校正影像的示意圖；圖5為根據本發明一實施范例的步驟S130的流程圖；以及圖6為根據本發明另一實施范例的超解析影像的產生方法的流程圖。其中，附圖標記
20數位相機
22鏡頭單元
24感光單元
26微處理器
28儲存單元
30影像
32基準影像
34參考影像
36，36a，36b 校正影像
38目標像素
具體實施例方式以下在實施方式中詳細敘述本發明的詳細特征以及優點，其內容足以使任何本領域技術人員了解本發明的技術內容并據以實施，且根據本說明書所揭露的內容、權利要求及圖式，任何本領域技術人員可輕易地理解本發明相關的目的及優點。本發明關于一種超解析(super resolution, SR)影像的產生方法，其適用于一數字相機。超解析影像的產生方法依據多個低分辨率的影像以產生高分辨率且清晰的一超解析影像。請參照圖1，其為根據本發明一實施范例的數字相機的方塊圖。數字相機20可包括一鏡頭單元(lens unit) 22、一感光單元(photosensitive unit) 24、一微處理器(micro processor unit) 26 以及一儲存單元(storage unit) 28。當擷取影像時，數字相機20是將鏡頭單元22對焦于一對焦距離(focusing distance)上。微處理器沈控制鏡頭單元22至對應此對焦距離的一對焦位置，并將透過鏡頭單元22以及感光單元M得到的影像存進儲存單元觀之中。而超解析影像的產生方法可通過微處理器沈執行。請參照圖2，其為根據本發明一實施范例的超解析影像的產生方法的流程圖。首先，通過鏡頭單元22以及感光單元M接收對應于同一拍攝目標(或是場景)的影像(步驟S100)。更詳細地說，這些影像可以是在數字相機20的一錄像模式底下針對某一個拍攝目標被擷取，并且是被擷取的視頻的一部份的連續圖框(frame，也稱為影像框)。接收影像之后，微處理器沈選取這些影像之一作為一基準影像，并將基準影像之外的影像作為多個參考影像(步驟S110)。請同時參照圖3，其為根據本發明一實施范例的基準影像與參考影像的示意圖。根據本發明的一實施范例，在時間軸上，基準影像32為最接近這些影像30的中央。換句話說，將這些影像30按照被擷取的順序在時間軸上排列時， 最接近這些影像30的中央的那一個影像30被選為基準影像32。但根據本發明的另一實施范例，基準影像32也可以是這些影像30中的第一個影像30或是最后一個影像30。超解析影像的產生方法并不對基準影像32的選取方式有所限定。每一個影像30都具有各自的影像坐標(pixel coordinates)。雖然這些影像30 是對應于同一拍攝目標，但是可能因為擷取時的角度改變或是拍攝目標移動位置，而使得這些影像30的影像坐標不一致。舉例而言，對一個行走中的人錄制視頻時，被攝人物可能會在視頻中的每一個圖框呈現不同的位置。也就是說，每個影像30中多多少少有存在一些微小的差別。超解析影像的產生方法便是將這些微小的差異整合到一高解析影像中，以提高輸出影像的分辨率。為了正確地整合每個影像30間彼此的細微差異，接著需要依據基準影像32，以一幾何坐標校正程序處理參考影像34，以產生個別對應于參考影像34的多個校正影像(步驟 S120)。幾何坐標校正程序可先以各種數字影像處理(digital image processing, DIP)的手段找出基準影像32以及參考影像34中的多個特征點，并計算特征點的影像坐標。依據特征點，也可更進一步地對這些影像30進行影像分割(image segmentation)，以得到影像 30的畫面的構成狀況。而依據足夠多的特征點的坐標，幾何坐標校正程序可以以基準影像 32為準產生個別對應于參考影像34的多個轉換矩陣，再以轉換矩陣修改參考影像34的影像坐標作為校正影像。請參照圖4，其為根據本發明一實施范例的基準影像與校正影像的示意圖。同一個被攝物(例如人的發尾或是樹上的某一片樹葉)在基準影像32或是校正影像36之中具有相同的影像坐標。換句話說，基準影像32、校正影像36a以及校正影像36b之中的一目標像素38對應于相同的被攝物。而坐標校正程序使用多種數字影像處理技術以及大量的矩陣運算，因此可能消耗微處理器沈較多的資源。較佳的是，步驟S120與幾何坐標校正程序僅被執行一次，以降低產生超解析影像時的資源需求。依據基準影像32校正參考影像34以得到校正影像36之后，微處理器沈對基準影像32以及校正影像36執行一提高分辨率程序，以產生超解析影像(步驟130)。請同時參照圖5，其為根據本發明一實施范例的步驟S130的流程圖。微處理器沈首先對基準影像32以及校正影像36執行一提高分辨率程序，并產生一高解析(high resolution, HR)影像 P (步驟 S132)。其中提高分辨率程序可包括以迭代反投影法(iterative back projection, IBP)處理基準影像32以及校正影像36。迭代反投影法是通過反復地仿真低分辨率影像以及觀測低分辨率影像間的差異，進行迭代反投影以得到高解析影像P。首先可利用一般簡易的影像內插方式，將基準影像32直接放大到目標的高分辨率作為此高解析影像P。接著將高解析影像P縮小成與基準影像32以及校正影像36相同分辨率，以作為一基礎影像LP。 微處理器沈分別計算縮小得到的基礎影像LP與基準影像32以及校正影像36的差異，再將這些差異反饋整合至高解析影像P。若數字相機20具有足夠的運算資源，提高分辨率程序更可以以移動估計法 (motion estimation)處理基準影像32以及校正影像36的局部，以得到細節更清晰的高解析影像P。接著微處理器沈計算高解析影像P的一誤差值(步驟S134)，并判斷誤差值是否小于閾值(步驟S136)。誤差值可以是基礎影像LP與這些校正影像36以及基準影像32 間的平均差異值。其中差異值例如可以是基礎影像LP與這些校正影像36和基準影像32 中，每一個對應于相同影像坐標的像素的值的差。若誤差值小于閾值，表示高解析影像P中已整合了基準影像32以及校正影像36中各種細微的影像信息，使得高解析影像P是足夠清晰的。因此當誤差值小于閾值時，便可將高解析影像P作為超解析影像進行輸出(步驟 S138)。
相對地，若誤差值大于或等于閾值，表示目前的高解析影像P可能還不夠清楚。因此可以回到對基準影像32以及校正影像36執行提高分辨率程序，并產生高解析影像P的步驟S132，以重新產生高解析影像P。換句話說，可以重復執行步驟S132，繼續將基準影像 32以及校正影像36之間的差異整合進高解析影像P中，以增進高解析影像P的清晰度。請參照圖6，其為根據本發明另一實施范例的超解析影像的產生方法的流程圖。若是數字相機20尚具有足夠的運算資源，于步驟S120產生校正影像36之后，超解析影像的產生方法另可對基準影像32以及校正影像36執行一去噪聲程序(步驟S125)。其中去噪聲程序可以包括以中值濾波器(median filter)處理基準影像32以及校正影像36。除了利用中值濾波器之外，去噪聲程序也可采用低通濾波(low pass filter)等其它方法，超解析影像的產生方法并不對其限制。根據本發明的一實施范例，微處理器沈可于一在線模式(on-line mode)或是一離線模式(off-line mode)之下接收影像30并產生超解析影像。在線模式是指數位相機 20處于錄像模式中。微處理器沈實時(real-time)處理正在錄制的視頻，并實時依據影像 30產生超解析影像。而于離線模式，數字相機20已結束錄像或是拍攝照片；微處理器沈從儲存單元觀將視頻中的部分圖框讀入作為用以產生超解析影像的影像30。由于在離線模式時數字相機20不需分配資源擷取視頻或相片，因此，可使用較多的影像30來產生質量更好的超解析影像。綜上所述，超解析影像的產生方法將視頻的多個影像處理一次的幾何坐標校正程序，并重復提高分辨率程序以得到清晰且分辨率較高的超解析影像。由于幾何坐標校正程序僅被執行一次，超解析影像的產生方法所需的運算以及暫存資源都很低，而能夠適用于一般消費型的數字相機。若數字相機的資源充足，超解析影像的產生方法也可額外以去噪聲程序或是移動估計法等技術進一步地提高超解析影像的畫質。此外直接將視頻的圖框作為輸出的傳統方法會因壓縮產生很明顯區塊效應 (block effect) 0但即使在離線模式下，超解析影像的產生方法能大幅降低產生的超解析影像的區塊效應。當然，本發明還可有其它多種實施例，在不背離本發明精神及其實質的情況下，熟悉本領域的技術人員可根據本發明作出各種相應的改變和變形，但這些相應的改變和變形都應屬于本發明權利要求的保護范圍。
權利要求
1.一種超解析影像的產生方法，其適用于一數字相機，其特征在于，該超解析影像的產生方法包括接收對應同一拍攝目標的多個影像；選取該些影像之一作為一基準影像，并將該基準影像之外的該些影像作為多個參考影像；依據該基準影像，以一幾何坐標校正程序處理該些參考影像，以產生個別對應于該些參考影像的多個校正影像；以及對該基準影像以及該些校正影像執行一提高分辨率程序，以產生一超解析影像。
2.根據權利要求1所述的超解析影像的產生方法，其特征在于，該幾何坐標校正程序僅被執行一次。
3.根據權利要求1所述的超解析影像的產生方法，其特征在于，在時間軸上，該基準影像最接近該些影像的中央。
4.根據權利要求1所述的超解析影像的產生方法，其特征在于，該依據該基準影像，以一幾何坐標校正程序處理該些參考影像，以產生個別對應于該些參考影像的多個校正影像的步驟之后另包括對該基準影像以及該些校正影像執行一去噪聲程序。
5.根據權利要求4所述的超解析影像的產生方法，其特征在于，該去噪聲程序包括 以中值濾波器處理該基準影像以及該些校正影像。
6.根據權利要求1所述的超解析影像的產生方法，其特征在于，該對該基準影像以及該些校正影像執行一提高分辨率程序，以產生一超解析影像的步驟包括對該基準影像以及該些校正影像執行該提高分辨率程序，并產生一高解析影像； 計算該高解析影像的一誤差值； 判斷該誤差值是否小于一閾值；以及當該誤差值小于該閾值時，將該高解析影像作為該超解析影像。
7.根據權利要求6所述的超解析影像的產生方法，其特征在于，該對該基準影像以及該些校正影像執行一提高分辨率程序，以產生一超解析影像的步驟另包括當該誤差值大于或等于該閾值時，回到該對該基準影像以及該些校正影像執行該提高分辨率程序，并產生一高解析影像的步驟，以重新產生該高解析影像。
8.根據權利要求1所述的超解析影像的產生方法，其特征在于，是于一在線模式或一離線模式之下接收該些影像，并產生該超解析影像。
9.根據權利要求1所述的超解析影像的產生方法，其特征在于，該提高分辨率程序包括以迭代反投影法處理該基準影像以及該些校正影像。
10.根據權利要求9所述的超解析影像的產生方法，其特征在于，該提高分辨率程序另包括以移動估計法處理該基準影像以及該些校正影像的局部。
全文摘要
本發明涉及一種超解析影像的產生方法，其包括接收對應于同一拍攝目標的多個影像；選取影像之一作為基準影像，并將基準影像之外的影像作為參考影像；依據基準影像，以幾何坐標校正程序處理參考影像，以產生個別對應于參考影像的校正影像；以及對基準影像以及校正影像執行提高分辨率程序，以產生超解析影像。
文檔編號G06T1/00GK102377935SQ201010260680
公開日2012年3月14日 申請日期2010年8月20日 優先權日2010年8月20日
發明者周詹閔, 李運錦 申請人:華晶科技股份有限公司