專利名稱：圖像處理方法、裝置及系統的制作方法
技術領域：
本發明涉及一種用于合成變形校正后的高分辨率圖像的方法、裝置及系統。
背景技術：
近年來，具有通信功能的攝像裝置(例如數字照相機、具有照相功能的手機或個人數字助理(PDA)等)提供了方便的文檔輸入手段，其能夠容易地拍攝文檔對象的圖像并將拍攝到的圖像傳輸到諸如計算機或具有圖像處理功能的多功能復合機等的圖像處理裝置，以進行圖像處理。然而，由于從傾斜方向拍攝，所以拍攝到的圖像中不可避免地包含透視變形。并且在諸如打開的書、展開的報紙或畫在彎曲墻壁上的壁畫等文檔表面彎曲的情況下，在拍攝到的圖像中還會發生非線性變形。拍攝到的信息的可讀性降低，因此期望校正這些變形。此外，要求能夠使用如數字照相機的可移動攝像裝置以高分辨率拍攝大文檔(例如打開的A4頁大小的書、報紙或壁畫等)的圖像。利用普通的拍攝單元，所拍攝到的大文檔的文本信息的分辨率太低以致不能舒適地閱讀，并且對于OCR引擎來說不能得到高識別率。當前，幾乎不存在能夠同時解決上述兩方面問題的技術。美國專利第7^8803號公開了一種圖像處理技術，其中，通過將使用數字照相機拍攝的多個部分重疊的圖像組合在一起來創建具有一定分辨率的合成圖像。在假定文檔表面為平面的情況下，該圖像處理技術對多個部分重疊的圖像的組合應用投影變換(projective transformation)，同時去除透視變形。然而，美國專利第M68803號所公開的技術要求文檔表面為平面。其不能處理諸如彎曲頁面、打開的書等的彎曲文檔。在這種情況下，在拍攝到的圖像中產生非線性變形，而僅使用投影變換不能校正非線性變形。日本特開第2001-292304號公報公開了通過數字照相機拍攝多個圖像并將拍攝到的圖像組合為合成圖像。然而，日本特開第2001-292304號公報中的技術沒有公開以下內容基于通過整體拍攝文檔對象獲得的圖像，來校正通過部分拍攝文檔對象獲得的多個圖像中的變形，以由多個圖像創建變形得到校正且具有一定高分辨率的合成圖像。
發明內容
為了解決上述問題，本發明的一個目的在于提供一種即使文檔對象的表面是彎曲的，也能夠容易地通過文檔對象的多個子景圖像創建變形得到校正且具有一定高分辨率的合成圖像的圖像處理方法、圖像處理裝置以及圖像處理系統。本發明的另一個目的在于提供一種即使在文檔對象的表面是彎曲的、且該文檔對象的子景圖像包含極少用于識別變形的線索的情況下，也能夠校正子景圖像中的變形，并且能夠容易地將變形校正后的子景圖像拼合為變形得到校正且具有一定高分辨率的合成圖像的圖像處理方法、圖像處理裝置以及圖像處理系統。本發明的一個方面提供了一種用于由多個子景圖像合成變形校正后的高分辨率
5圖像的圖像處理方法，該圖像處理方法包括獲取步驟，獲取文檔對象的多個子景圖像和全景圖像，所述多個子景圖像的組合能夠覆蓋所述文檔對象；校正步驟，根據所述全景圖像的變形模型校正各個所述子景圖像中的變形；以及拼合步驟，將所述多個變形校正后的子景圖像拼合為所述高分辨率圖像。本發明的另一方面提供了一種用于由多個子景圖像合成變形校正后的高分辨率圖像的圖像處理方法，該圖像處理方法包括獲取步驟，獲取文檔對象的多個子景圖像，所述多個子景圖像具有公共部分；校正步驟，校正各個所述子景圖像中的變形；以及拼合步驟，將變形校正后的子景圖像拼合為所述高分辨率圖像，其中，所述拼合步驟包括在所述子景圖像或所述變形校正后的子景圖像上確定屬于所述公共部分的至少兩對配準點的步驟；以及基于所述至少兩對配準點將所述變形校正后的子景圖像拼合為所述高分辨率圖像的步驟。本發明的又一方面提供了一種用于由多個子景圖像合成變形校正后的高分辨率圖像的圖像處理裝置，該圖像處理裝置與攝像裝置進行通信，所述攝像裝置從文檔對象拍攝多個子景圖像和全景圖像，所述圖像處理裝置包括獲取部，用于從所述攝像裝置獲取所述文檔對象的所述多個子景圖像和所述全景圖像，所述多個子景圖像的組合能夠覆蓋所述文檔對象；校正部，用于根據所述全景圖像的變形模型校正各個所述子景圖像中的變形； 以及拼合部，用于將多個變形校正后的子景圖像拼合為所述高分辨率圖像。本發明的又一方面提供了一種用于由多個子景圖像合成變形校正后的高分辨率圖像的圖像處理裝置，該圖像處理裝置與攝像裝置進行通信，所述攝像裝置從文檔對象拍攝多個子景圖像，所述圖像處理裝置包括獲取部，用于從所述攝像裝置獲取所述文檔對象的多個子景圖像，所述多個子景圖像具有公共部分；校正部，用于校正各個所述子景圖像中的變形；以及拼合部，用于將變形校正后的子景圖像拼合為所述高分辨率圖像，其中，所述拼合部包括配準點確定部，用于在所述子景圖像或所述變形校正后的子景圖像上確定屬于所述公共部分的至少兩對配準點；以及子景圖像拼合部，用于基于所述至少兩對配準點將所述變形校正后的子景圖像拼合為所述高分辨率圖像。本發明的又一方面提供了一種用于由多個子景圖像合成變形校正后的高分辨率圖像的圖像處理系統，該圖像處理系統包括如上所述根據本發明的任意一種圖像處理裝置以及用于從文檔對象拍攝多個子景圖像和全景圖像的攝像裝置。根據本發明的圖像處理方法及圖像處理裝置，即使文檔對象的表面是彎曲的，也能夠容易地由部分覆蓋該文檔對象的該文檔對象的多個子景圖像創建變形得到校正且具有一定高分辨率的合成圖像。通過以下結合附圖的詳細描述，本發明的特征和優點將變得更為清楚。
并入到說明書中且構成說明書的一部分的附圖，例示了本發明的示例性實施例、 特征和方面，并與文字說明一起用于解釋本發明的原理。圖1是例示根據本發明示例性實施例的圖像處理系統的使用環境的圖。圖2是例示根據本發明的圖像處理裝置的內部結構的示例的框圖。圖3是根據本發明第一示例性實施例的圖像處理裝置的CPU執行的圖像處理模塊的功能框圖。圖4A和圖4B分別例示了根據本發明第一示例性實施例的圖像處理裝置的校正部和拼合部的功能框圖。圖5是根據本發明第一示例性實施例的圖像處理裝置執行的用于校正拍攝到的圖像中的變形并將校正后的圖像拼合為合成圖像的處理的流程圖。圖6是例示作為根據本發明第一示例性實施例的攝像裝置拍攝的作為處理對象的打開的書的兩個子景圖像的視圖，其中一個子景圖像覆蓋左頁，而另一個子景圖像覆蓋右頁。圖7是例示根據本發明第一示例性實施例的被描述為曲面網格(warping mesh) 的變形模型的示例的視圖。圖8是根據本發明第一示例性實施例的圖像處理裝置的校正部的變形模型確定部的功能框圖。圖9是根據本發明第一示例性實施例的用于自動識別文檔圖像中的變形并創建曲面網格的方法的示例的流程圖。圖IOA是例示根據本發明第一示例性實施例的與圖6中的左頁對應的變形文檔圖像的曲面網格的一個示例的視圖。圖IOB是例示根據本發明第一示例性實施例的與圖IOA的變形文檔圖像的曲面網格對應的變形校正后的圖像的網格的視圖。圖11是例示根據本發明第一示例性實施例的校正后的子景圖像的示例的視圖。圖12是例示根據本發明第一示例性實施例的由用戶在原始子景圖像上手動輸入的兩對配準點(registration point)的示例的視圖。圖13是例示根據本發明第一示例性實施例的在校正后的子景圖像上自動輸入的兩對配準點的示例的視圖。圖14是例示根據本發明第一示例性實施例的圖像處理裝置通過拼合校正后的子景圖像而形成的合成圖像的示例的視圖。圖15是根據本發明第二示例性實施例的圖像處理裝置的CPU實施的圖像處理模塊的功能框圖。圖16是根據本發明第二示例性實施例的圖像處理裝置的校正部的功能框圖。圖17是例示根據本發明第二示例性實施例的用于校正文檔圖像中的變形并且將校正后的圖像拼合為合成圖像的處理的示例的流程圖。圖18是例示根據本發明第二示例性實施例的由攝像裝置從打開的書拍攝的全景圖像的示例的視圖。圖19是例示根據本發明第二示例性實施例的由攝像裝置從打開的書拍攝的多個子景圖像的示例的視圖。圖20是例示根據本發明第二示例性實施例的圖18的全景圖像的曲面網格的一個示例的視圖。圖21是例示根據本發明第二示例性實施例的用于自動識別文檔圖像中的變形并創建曲面網格的處理的示例的流程圖。圖22是根據本發明第二示例性實施例的圖像處理裝置的校正部的全景圖像變形模型確定部的功能框圖。圖23A是例示根據本發明第二示例性實施例的全景圖像的變形模型的曲面網格的一個示例的視圖。圖2 是例示根據本發明第二示例性實施例的與圖23A的全景圖像的曲面網格對應的變形校正后的圖像的網格的視圖。圖24A和圖24B分別例示了根據本發明第二示例性實施例的圖像處理裝置的校正部確定的一組子景圖像上的特征點和一組全景圖像上的匹配點的示例。圖25是根據本發明第二示例性實施例的圖像處理裝置的校正部的子景圖像變形模型確定部的功能框圖。圖沈是根據本發明第二示例性實施例的圖像處理裝置的校正部執行的用于創建子景圖像的變形模型的處理的流程圖。圖27是例示根據本發明第二示例性實施例的通過對全景圖像的變形模型進行插值生成的具有多個單元的網格的一個示例的放大視圖。圖觀是例示根據本發明第二示例性實施例的通過拼合校正后的子景圖像形成的合成圖像的視圖。
具體實施例方式下面，參照附圖詳細說明本發明的各種示例性實施例、特征和方面。在這些實施例中描述的部件的相對配置、數字表示和數值并不限制本發明的范圍。圖1是例示根據本發明示例性實施例的圖像處理系統10的使用環境的圖。諸如照相機和具有照相功能的手機、個人數字助理(PDA)或掃描儀等的攝像裝置11經由網絡、 線纜等以有線或無線的方式連接到諸如打印機、復印機、多功能機或計算機等的圖像處理裝置12。攝像裝置11對諸如打開的書、展開的報紙或壁畫等的文檔對象進行拍攝，并且將拍攝到的圖像發送給圖像處理裝置12以進行諸如圖像校正和圖像拼合的圖像處理。根據本發明的圖像處理系統可以由分開設置且以有線或無線的方式相互連接的圖像處理裝置和攝像裝置實現。此外，根據本發明的圖像處理系統還可以由具有圖像處理功能的攝像裝置(例如照相機、手機或個人數字助理)實現，或者由具有照相功能的圖像處理裝置(例如多功能復印機)實現。下面，將以具有圖像處理功能的多功能機1000作為示例詳細描述根據本發明的第一實施例的圖像處理裝置。[第一實施例]圖2是例示根據本發明示例性實施例的圖像處理裝置的內部結構的示例的框圖。如圖2所示，由具有圖像處理功能的多功能機1000實現根據本實施例的圖像處理裝置12。用作圖像處理裝置12的多功能機1000能夠與諸如數字照相機(未示出)的攝像裝置11進行通信，以從該攝像裝置接收圖像和信息。攝像裝置11是例如由光學系統、諸如CCD傳感器等的光電轉換設備、驅動電路、AD轉換器、執行各種圖像處理的信號處理電路 (未示出)以及幀緩存器等構成的圖像感測設備。用作圖像處理裝置的多功能機1000包括用于執行各種圖像處理操作的控制單元100，并且控制單元100由CPU101、RAM 103和ROM 104構成。ROM 104可以存儲實現多功能機1000 (下文中還被稱作圖像處理裝置1000)的功能所需的各種程序和數據。控制單元100讀取并執行存儲在ROM 104中的各種程序和數據，以使用CPU 101進行對多功能機的整體控制。RAM 103可以用作圖像處理裝置1000的操作所需的工作存儲器。此外，圖像處理裝置1000可以包括用戶界面102。用戶界面102包括用于接受來自操作者的指令或操作的輸入單元(例如按鈕開關、指示設備、觸摸屏、操作屏或鍵盤等)， 以及用于將信息輸出給操作者的輸出單元(例如顯示器)。用戶界面102可以顯示從攝像裝置接收的圖像，并且將來自操作者的指令發送給控制單元100。此外，圖像處理裝置1000可以包括通信接口 106，用作圖像處理裝置1000的多功能機經由通信接口 106與外部設備(例如數字照相機和具有照相功能的手機或個人數字助理(PDA)等)進行通信或者經由通信接口 106連接到諸如因特網的網絡，以與網絡上的其他裝置進行通信。通信接口 106可以是例如USB接口、以太網接口、藍牙或任何其他合適的有線或無線通信接口。此外，圖像處理裝置1000可以包括掃描儀引擎107和打印機引擎108。打印機引擎108可以是例如激光束打印機或噴墨打印機、或者任何其他合適的打印機。通過如上配置，可以選擇打印機引擎108作為輸出設備來執行打印操作。類似地，可以選擇掃描儀引擎 107作為攝像裝置11，以通過掃描文檔對象執行圖像獲取操作。此外，圖像處理裝置1000可以包括用于存儲諸如經由系統總線105接收的圖像數據等的數據的大容量存儲設備109。大容量存儲設備109是諸如硬盤、閃存等的大容量數據存儲設備。例如，由攝像裝置、掃描儀引擎107或外部設備(未示出)獲取的圖像數據以及用于實現各種圖像處理功能的程序被存儲在大容量存儲設備109中。圖像處理裝置1000中包含的所有部件經由系統總線105相互連接，以彼此進行通
fn °在本實施例中，諸如數字照相機或具有照相功能的手機等的攝像裝置11從表面彎曲的文檔對象(例如打開的書或展開的報紙)拍攝圖像。圖像處理裝置1000經由通信接口 106從攝像裝置11獲得拍攝到的圖像，然后執行用于校正拍攝到的圖像中的變形并將校正后的圖像拼合為變形得到校正且具有高分辨率的整個圖像(完整圖像)的處理。具體地說，由控制單元100的CPU 101執行用于校正拍攝到的圖像中的變形并將校正后的圖像拼合為合成圖像的處理。圖3示出了根據本發明第一示例性實施例的圖像處理裝置1000的CPU 101執行的圖像處理模塊300的功能框圖的一個示例。如圖3所示，圖像處理模塊300包括用于從攝像裝置獲取圖像和數據的獲取部301、用于校正獲取到的圖像中的變形的校正部302以及用于將變形校正后的圖像拼合為高分辨率圖像的拼合部303。下面分別參照圖4A和圖 4B詳細描述校正部302和拼合部303的具體配置。圖4A和圖4B分別示出了圖像處理裝置1000的校正部302和拼合部303的配置的功能框圖的示例。如圖4A所示，校正部302包括用于識別文檔圖像中的變形并確定文檔圖像的變形模型的變形模型確定部(例如，還被稱作子景圖像變形模型確定部)302-1以及用于通過參照由變形模型確定部確定的變形模型來校正文檔圖像中的變形的變形校正部 (例如，還被稱作子景圖像變形校正部)302-2。如圖4B所示，拼合部303包括配準點確定部303-1和子景圖像拼合部303-2。配準點確定部303-1用于在通過攝像裝置拍攝文檔對象獲得的子景圖像上(或者變形校正后的子景圖像上)確定(選擇)屬于公共部分的至少兩對配準點，并且子景圖像拼合部303-2能夠基于所確定的配準點將校正后的子景圖像拼合為高分辨率圖像。下面將參照圖5詳細描述用于校正拍攝到的圖像中的變形并將校正后的圖像拼合為合成圖像的處理流程。圖5是由圖像處理裝置1000執行的用于校正拍攝到的圖像中的變形并將校正后的圖像拼合為完整圖像的處理的流程圖。首先，在圖5的步驟S501中，攝像裝置11拍攝文檔對象(諸如打開的書)的多個子景圖像，并將拍攝到的子景圖像經由通信接口 106發送給圖像處理裝置1000。所述子景圖像是通過對文檔對象進行部分拍攝獲得的。這些子景圖像中的相鄰的兩個子景圖像部分重疊并且共有公共部分。這些子景圖像的組合能夠覆蓋文檔對象的整個圖像。作為由攝像裝置拍攝的多個子景圖像的一個示例，圖6示出了打開的書的兩個子景圖像，其中一個子景圖像覆蓋打開的書的左頁而另一個子景圖像覆蓋打開的書的右頁，并且兩個子景圖像都覆蓋裝訂部分(書脊)。可以將作為兩個子景圖像共有的公共部分的裝訂部分作為用于將子景圖像拼合為完整圖像的基準。圖像處理裝置1000在用戶界面102的顯示屏上顯示獲得的子景圖像。然后，在圖 5的步驟S502中，圖像處理裝置的校正部302識別各個子景圖像中的變形并校正所識別的變形。如圖6所示，已知在各個子景圖像上存在非線性變形。圖像處理裝置的校正部302 首先創建文檔圖像的變形模型。在本發明中，將變形模型描述為曲面網格。圖7示出了文檔圖像的子景圖像的曲面網格的示例，該曲面網格由一組水平曲線和一組垂直曲線構成。在圖7所示的示例中，各個子景圖像的曲面網格由手動輸入的兩條水平曲線和兩條垂直曲線構成。可以手動輸入或自動確定曲面網格。在手動輸入的情況下，用戶可以經由圖2中的用戶界面102例如沿頁邊框、規格線(ruled line)或文本行輸入多個點，以創建曲面網格中的曲線。在自動確定的情況下，校正部302的變形模型確定部302-1自動檢測文檔圖像中的頁邊框、規格線或文本行。現在，將參照圖9詳細描述用于實現自動識別圖像中的變形的方法。圖9例示了由圖像處理裝置的校正部302的變形模型確定部302-1自動識別文檔圖像中的變形的方法的流程圖，作為圖5的步驟S502中識別文檔圖像中的變形的一個示例性示例。下面將參照圖8所示的功能框圖描述用于自動識別文檔圖像中的變形的方法的流程，圖8例示了校正部302的變形模型確定部302-1的配置的功能框圖。首先，在圖9的步驟S901中，校正部302的變形模型確定部302-1的邊緣圖像檢測部檢測變形文檔圖像的邊緣圖像。邊緣檢測方法可以是Sobel算子、Carmy算子等。然而， 本發明中使用的邊緣檢測方法不限于此，能夠實現邊緣檢測功能的任何其他方法均適用。在檢測到變形文檔圖像的邊緣圖像之后，在圖9的步驟S902中校正部302的變形模型確定部302-1的變換部對在步驟S901中檢測到的邊緣圖像執行霍夫變換(Hough transform)來檢測垂直直線，然后從檢測到的垂直直線中選擇左邊界、右邊界以及書裝訂線。接下來，在圖9的步驟S903中，校正部302的變形模型確定部302_1的連通單元
10
權利要求
1.一種用于由多個子景圖像合成變形校正后的高分辨率圖像的圖像處理方法，該圖像處理方法包括獲取步驟，獲取文檔對象的多個子景圖像和全景圖像，所述多個子景圖像的組合能夠覆蓋所述文檔對象；校正步驟，根據所述全景圖像的變形模型校正各個所述子景圖像中的變形；以及拼合步驟，將多個變形校正后的子景圖像拼合為所述高分辨率圖像。
2.根據權利要求1所述的圖像處理方法，其中，所述校正步驟還包括 確定所述全景圖像的所述變形模型的步驟；針對各個所述子景圖像，在所述子景圖像上確定一組特征點以及在所述全景圖像上確定一組與所述子景圖像上的所述特征點分別對應的匹配點的步驟；針對各個所述子景圖像，根據所述全景圖像的所述變形模型、所述特征點和所述匹配點來確定所述子景圖像的變形模型的步驟；以及通過參照基于所述全景圖像的所述變形模型、所述特征點和所述匹配點確定的所述子景圖像的所述變形模型，來校正各個所述子景圖像中的變形的步驟。
3.根據權利要求2所述的圖像處理方法，其中，在確定所述全景圖像的所述變形模型的步驟中，通過檢測所述全景圖像中的頁邊框、規格線或文本行來確定所述全景圖像的所述變形模型。
4.根據權利要求2所述的圖像處理方法，其中，根據所述全景圖像的所述變形模型、所述特征點和所述匹配點確定各個所述子景圖像的所述變形模型的步驟還包括對所述全景圖像的所述變形模型進行插值以生成具有多條水平曲線和多條垂直曲線的網格，使得所生成的網格的各個單元中的文檔表面被視為平面的步驟；查找所有包含所述子景圖像的所述特征點的單元以及包含所述全景圖像的對應匹配點的單元的步驟；針對所找到的各個單元，基于所述單元中的所述特征點和所述對應匹配點計算用于投影變換的一組參數的步驟；以及基于所計算出的用于投影變換的該組參數和所述全景圖像的插值后的變形模型，確定所述子景圖像的所述變形模型的步驟。
5.根據權利要求1所述的圖像處理方法，其中，在所述拼合步驟中，使用所述子景圖像與所述全景圖像之間的透視投影關系，將所述多個變形校正后的子景圖像拼合為所述高分辨率圖像。
6.根據權利要求4所述的圖像處理方法，其中，在所述拼合步驟中，以所述單元為單位，使用所述子景圖像與所述全景圖像之間的透視投影關系將所述多個變形校正后的子景圖像拼合為所述高分辨率圖像。
7.一種用于由多個子景圖像合成變形校正后的高分辨率圖像的圖像處理方法，該圖像處理方法包括獲取步驟，獲取文檔對象的多個子景圖像，所述多個子景圖像具有公共部分； 校正步驟，校正各個所述子景圖像中的變形；以及拼合步驟，將變形校正后的子景圖像拼合為所述高分辨率圖像， 其中，所述拼合步驟包括在所述子景圖像或所述變形校正后的子景圖像上確定屬于所述公共部分的至少兩對配準點的步驟；以及基于所述至少兩對配準點將所述變形校正后的子景圖像拼合為所述高分辨率圖像的步驟。
8.根據權利要求7所述的圖像處理方法，其中，在確定所述配準點的步驟中，使用所述至少兩對配準點來建立用于使所述變形校正后的子景圖像匹配的映射關系，并且在拼合所述變形校正后的子景圖像的步驟中，基于所建立的映射關系將所述變形校正后的子景圖像拼合為所述高分辨率圖像。
9.根據權利要求7所述的圖像處理方法，其中，所述校正步驟還包括 確定各個所述子景圖像的變形模型的步驟；以及通過參照所述子景圖像的所述變形模型來校正各個所述子景圖像中的變形的步驟。
10.根據權利要求9所述的圖像處理方法，其中，在確定各個所述子景圖像的變形模型的步驟中，通過檢測所述子景圖像中的頁邊框、規格線或文本行來確定所述子景圖像的所述變形模型。
11.一種用于由多個子景圖像合成變形校正后的高分辨率圖像的圖像處理裝置，該圖像處理裝置與攝像裝置進行通信，所述攝像裝置從文檔對象拍攝多個子景圖像和全景圖像，所述圖像處理裝置包括獲取部，用于從所述攝像裝置獲取所述文檔對象的所述多個子景圖像和所述全景圖像，所述多個子景圖像的組合能夠覆蓋所述文檔對象；校正部，用于根據所述全景圖像的變形模型校正各個所述子景圖像中的變形；以及拼合部，用于將多個變形校正后的子景圖像拼合為所述高分辨率圖像。
12.根據權利要求11所述的圖像處理裝置，其中，所述校正部還包括 全景圖像變形模型確定部，用于確定所述全景圖像的所述變形模型；特征點及匹配點確定部，用于針對各個所述子景圖像，在所述子景圖像上確定一組特征點以及在所述全景圖像上確定一組與所述子景圖像上的所述特征點分別對應的匹配點。子景圖像變形模型確定部，用于針對各個所述子景圖像，根據所述全景圖像的所述變形模型、所述特征點和所述匹配點來確定所述子景圖像的變形模型；以及子景圖像校正部，用于通過參照基于所述全景圖像的所述變形模型、所述特征點和所述匹配點確定的所述子景圖像的所述變形模型，來校正各個所述子景圖像中的變形。
13.根據權利要求12所示的圖像處理裝置，其中，所述全景圖像變形模型確定部通過檢測所述全景圖像中的頁邊框、規格線或文本行來確定所述全景圖像的所述變形模型。
14.根據權利要求12所述的圖像處理裝置，其中，所述子景圖像變形模型確定部還包括插值部，用于對所述全景圖像的所述變形模型進行插值以生成具有多條水平曲線和多條垂直曲線的網格，使得所生成的網格的各個單元中的文檔表面被視為平面；幾何關系檢測部，用于查找所有包含所述子景圖像的所述特征點的單元以及包含所述全景圖像的對應匹配點的單元；以及計算部，用于針對所找到的各個單元，基于所述單元中的所述特征點和所述對應匹配點計算用于投影變換的一組參數，并且所述子景圖像變形模型確定部基于所計算出的用于投影變換的該組參數和所述全景圖像的插值后的變形模型，確定所述子景圖像的所述變形模型。
15.根據權利要求11所述的圖像處理裝置，其中，所述拼合部使用所述子景圖像與所述全景圖像之間的透視投影關系，將所述多個變形校正后的子景圖像拼合為所述高分辨率圖像。
16.根據權利要求14所述的圖像處理裝置，其中，所述拼合部以所述單元為單位，使用所述子景圖像與所述全景圖像之間的透視投影關系將所述多個變形校正后的子景圖像拼合為所述高分辨率圖像。
17.一種用于由多個子景圖像合成變形校正后的高分辨率圖像的圖像處理裝置，該圖像處理裝置與攝像裝置進行通信，所述攝像裝置從文檔對象拍攝多個子景圖像，所述圖像處理裝置包括獲取部，用于從所述攝像裝置獲取所述文檔對象的多個子景圖像，所述多個子景圖像具有公共部分；校正部，用于校正各個所述子景圖像中的變形；以及拼合部，用于將變形校正后的子景圖像拼合為所述高分辨率圖像，其中，所述拼合部包括配準點確定部，用于在所述子景圖像或所述變形校正后的子景圖像上確定屬于所述公共部分的至少兩對配準點；以及子景圖像拼合部，用于基于所述至少兩對配準點將所述變形校正后的子景圖像拼合為所述高分辨率圖像。
18.根據權利要求17所述的圖像處理裝置，其中，所述配準點確定部使用所述至少兩對配準點來建立用于使所述變形校正后的子景圖像匹配的映射關系，并且所述子景圖像拼合部基于所建立的映射關系將所述變形校正后的子景圖像拼合為所述高分辨率圖像。
19.根據權利要求17所述的圖像處理裝置，其中，所述校正部還包括子景圖像變形模型確定部，用于確定各個所述子景圖像的變形模型；以及子景圖像變形校正部，用于通過參照所述子景圖像的所述變形模型來校正各個所述子景圖像中的變形。
20.根據權利要求19所述的圖像處理裝置，其中，所述子景圖像變形模型確定部通過檢測所述子景圖像中的頁邊框、規格線或文本行來確定所述子景圖像的所述變形模型。
21.一種用于由多個子景圖像合成變形校正后的高分辨率圖像的圖像處理系統，該圖像處理系統包括根據權利要求11或17所述的圖像處理裝置以及用于從文檔對象拍攝多個子景圖像和全景圖像的攝像裝置。
全文摘要
本發明涉及一種圖像處理方法、裝置及系統。該圖像處理方法用于由多個子景圖像合成變形校正后的高分辨率圖像，該圖像處理方法包括獲取步驟，獲取文檔對象的多個子景圖像和全景圖像，所述多個子景圖像的組合能夠覆蓋所述文檔對象；校正步驟，根據所述全景圖像的變形模型校正各個所述子景圖像中的變形；以及拼合步驟，將所述多個變形校正后的子景圖像拼合為所述高分辨率圖像。本發明中提出的方法即使在文檔表面彎曲的情況下，也能夠容易地由文檔的多個圖像創建變形得到校正且具有一定高分辨率的合成圖像。
文檔編號G06T5/00GK102194212SQ20101012056
公開日2011年9月21日 申請日期2010年3月8日 優先權日2010年3月8日
發明者溫東超, 胥立豐 申請人:佳能株式會社