圖像處理裝置、圖像處理方法和程序的制作方法

專利名稱:圖像處理裝置、圖像處理方法和程序的制作方法
技術領域：
本發(fā)明涉及用于處理例如拍攝的照片圖像等的圖像處理裝置等等，更具體地，涉及用于對多個圖像進行校正的圖像處理裝置等等。
背景技術：
對于例如利用數(shù)字相機(數(shù)字靜物相機(DSC))所拍攝的多個相片圖像(圖像數(shù)據(jù)、數(shù)字圖像)以及通過掃描儀所讀取的多個圖像，將這樣的多個圖像置于一預定區(qū)域并且使所編輯的設計圖像可視化以用于輸出的工作廣泛地應用于以下領域例如，用于商業(yè)廣告?zhèn)鲉?、廣告、雜志文章等的印刷市場，以及展覽和會議材料、現(xiàn)場記錄寫真、制訂房地產(chǎn)、產(chǎn)品的商品快照的商業(yè)市場等。至今為止，例如，專業(yè)攝影者拍攝設計好的照片圖像，并且圖像處理的專業(yè)用戶在觀察每個圖像狀態(tài)時加以調節(jié)以進行編輯。另一方面，近年來，隨著以數(shù)字相機、移動電話等為代表的拍攝裝置的迅速發(fā)展和普及應用，以及因特網(wǎng)等網(wǎng)絡技術的進步，將普通用戶在分散的和不同的拍攝條件下所提供的多個圖像放入數(shù)據(jù)庫的情況增多了。
作為在公報中所描述的現(xiàn)有技術之一，對每個圖像產(chǎn)生一外接于具有邊緣空白的附加圖像的矩形區(qū)域，并且根據(jù)預定的布置規(guī)則來布置這些圖像，從而在指定的區(qū)域中設計所述圖像(例如，參見JP-A-2003-101749)。還公開了一種技術，即根據(jù)顯示區(qū)域的長度大小(或寬度大小)與圖像數(shù)據(jù)的長度大小(或寬度大小)之間的比率來按比例放大或縮小各讀出圖像的縱橫比(長對寬)，以醒目的方式在多個屏面上顯示未指定圖像尺寸的多幅圖像數(shù)據(jù)(例如，參見JP-A-2000-40142)。

發(fā)明內容如果在固定的拍攝條件等下拍攝所有的照片圖像，則可以產(chǎn)生醒目的設計畫面(layout display)。然而，如果使用在上述JP-A-2003-101749、JP-A-2000-40142等中的技術，產(chǎn)生在不同的環(huán)境中、由不同的拍攝者、并且在不同的拍攝條件下所拍攝的多個照片圖像的設計畫面，則不能提供醒目的設計畫面。例如，即使拍攝有限種類的商品，諸如化妝品和糖果的包裝，以及微型汽車玩具等，如果這些商品是在不同的條件下(拍攝地點、時間、被攝物體位置、被攝物體角度、照明、相機等)拍攝的，則所設計的多個圖像也會因商品的大小、位置、傾斜角等差異而變得非常難看。在難看的設計畫面中的圖像不僅起因于幾何特征量的差異，而且起因于與各圖像的明度、色彩、灰色平衡(gray balance)、半色調技術等圖像質量相關的特征量的差異。此外，背景是否存在也成為對多個圖像進行相互對比參照的障礙。至今為止，圖像質量的校正一直是手工進行的。然而，這種圖像校正僅依賴于人工或者手工勞動的情況，特別是對于需要設計圖像的加速打印輸出并且網(wǎng)絡中的圖像出版機會日漸增加的商業(yè)市場和印刷市場來說，是極為不利的。
鑒于上述情況提出本發(fā)明，通過自動校正各圖像以集總輸出多個圖像，并且利用統(tǒng)計技術提供多個圖像中的經(jīng)過校正的多個主要被攝物體和多個背景，來提供漂亮的設計輸出。
為此，根據(jù)本發(fā)明的圖像處理裝置包括特征量識別單元，識別多個圖像數(shù)據(jù)中的每一個圖像數(shù)據(jù)的特征量；以及處理基準提取單元，根據(jù)特征量識別單元所識別的特征量提取用于對所述多個圖像數(shù)據(jù)進行圖像校正的處理基準。
在本發(fā)明的另一方面中，根據(jù)本發(fā)明的圖像處理裝置包括輸入單元，輸入多個數(shù)字圖像；特征量識別單元，從通過輸入單元所輸入的多個數(shù)字圖像中的每個數(shù)字圖像中識別主要被攝物體的幾何特征量；以及，幾何校正單元，對所述多個數(shù)字圖像中的每一個數(shù)字圖像的主要被攝物體進行校正，以使所述多個圖像針對由特征量識別單元所識別的幾何特征量在幾何上一致。
另一方面，根據(jù)本發(fā)明的圖像處理裝置包括輸入單元，輸入多個數(shù)字圖像；特征量識別單元，從通過輸入單元所輸入的多個數(shù)字圖像中的每一個數(shù)字圖像中識別與主要被攝物體的圖像質量相關的特征量；以及圖像質量校正單元，對所述多個數(shù)字圖像中的每一個數(shù)字圖像的主要被攝物體進行校正，以使得所述圖像質量針對由特征量識別單元所識別的與圖像質量相關的特征量一致。
此外，根據(jù)本發(fā)明的圖像處理裝置包括特征量識別單元，從多個數(shù)字圖像中的每一個數(shù)字圖像中提取一背景區(qū)域，并且識別與每個背景相關的特征量；以及，背景校正單元，對各個圖像進行校正，使得所述多個背景針對由特征量識別單元所識別的與背景相關的特征量一致。
在本發(fā)明的另一方面中，根據(jù)本發(fā)明的圖像處理方法包括輸入多個圖像數(shù)據(jù)；識別所輸入的多個圖像數(shù)據(jù)中的每一個圖像數(shù)據(jù)的主要被攝物體的特征量；根據(jù)所識別的特征量設定用于對各主要被攝物體進行圖像校正的處理基準；利用所設定的處理基準對主要被攝物體進行校正；并且輸出具有已經(jīng)進行校正的主要被攝物體的圖像數(shù)據(jù)。
此外，根據(jù)本發(fā)明的圖像處理方法包括輸入多個圖像數(shù)據(jù)；在所輸入的該多個圖像數(shù)據(jù)中的每一個圖像數(shù)據(jù)中識別一背景區(qū)域；對該多個圖像數(shù)據(jù)進行校正，使得所識別的背景區(qū)域一致；并且輸出已經(jīng)進行校正的所述多個圖像數(shù)據(jù)。
一種計算機可讀存儲介質，該存儲介質存儲本發(fā)明的可由計算機執(zhí)行的多個指令的程序，所述程序使計算機執(zhí)行處理圖像的功能，所述功能包括以下步驟在所輸入的多個圖像數(shù)據(jù)中的每一個圖像數(shù)據(jù)中識別一主要被攝物體；識別每個所識別的主要被攝物體的特征量；根據(jù)所識別的特征量設定用于對各主要被攝物體進行圖像校正的處理基準；并且使用所設定的處理基準對主要被攝物體進行校正。
一種計算機可讀存儲介質，該存儲介質存儲本發(fā)明的可由計算機執(zhí)行的多個指令的程序，所述程序使計算機執(zhí)行處理圖像的功能，所述功能包括以下步驟在所輸入的多個圖像數(shù)據(jù)中的每一個圖像數(shù)據(jù)中識別一背景區(qū)域；并且對所述多個圖像數(shù)據(jù)進行校正，以使所識別的背景區(qū)域一致。
本發(fā)明可以自動地校正各圖像并且提供漂亮的設計輸出等，以集總輸出多個圖像。
將根據(jù)以下附圖對本發(fā)明的優(yōu)先實施例進行詳細說明，其中圖1是顯示根據(jù)本發(fā)明的一實施例的圖像處理系統(tǒng)的一般配置示例的圖；圖2是執(zhí)行本發(fā)明的實施例中的綜合設計處理的功能框圖；圖3是表示幾何特征量的處理基準計算過程的流程圖；圖4A至4C是用于說明圖3中所示的步驟105至110的處理的圖；圖5是表示幾何特征量的校正過程的流程圖；圖6是顯示圖像質量處理基準計算過程的流程圖；圖7是顯示圖像質量校正過程的流程圖；圖8是顯示用于背景處理的處理基準計算過程的流程圖；圖9是顯示背景色彩校正過程的流程圖；圖10A和10B是示出一個示例的示意圖，在該示例中未進行實施例中的綜合設計處理；以及圖11A和11B是示出一個示例的示意圖，在該示例中進行了實施例中的綜合設計處理。
具體實施方式現(xiàn)在參照附圖，在附圖中顯示了本發(fā)明的一個實施例。
圖1是顯示根據(jù)本發(fā)明的一個實施例的圖像處理系統(tǒng)的一般配置示例的圖。其中，通過諸如因特網(wǎng)的網(wǎng)絡9將多個功能模塊連接。圖1中所示的圖像處理系統(tǒng)包括圖像處理服務器1，用于對分散拍攝的照片圖像進行綜合設計處理；圖像數(shù)據(jù)庫服務器2，用于獲取分散拍攝的照片圖像，并且選擇要進行綜合設計處理的多個圖像；以及一個或者更多個圖像數(shù)據(jù)庫(圖像DB)3，與圖像數(shù)據(jù)庫服務器2相連接，用于存儲所分散拍攝的照片圖像。該圖像處理系統(tǒng)還包括圖像傳送設備5，用于讀取利用拍攝單元的數(shù)字相機4所拍攝的照片圖像，并且通過網(wǎng)絡9將該圖像傳送到圖像數(shù)據(jù)庫服務器2；顯示器6，用于顯示經(jīng)過圖像處理服務器1中的綜合設計處理的圖像；以及打印圖像處理設備8，用于執(zhí)行各種圖像處理，以將經(jīng)過圖像處理服務器1中的綜合設計處理的圖像輸出到圖像打印輸出單元的打印機7?？梢詫D像傳送設備5、顯示器6、以及打印圖像處理設備8實現(xiàn)為計算機，如筆記本式計算機(筆記本PC)和臺式PC。還可以將圖像處理服務器1和圖像數(shù)據(jù)庫服務器2理解為諸如PC的計算機。本實施例的特征在于，對在不同的拍攝地點和不同的拍攝條件所分散地拍攝的多個照片圖像進行綜合。為此，將多個數(shù)字相機4和與數(shù)字相機4相連的多個圖像傳送設備5連接到網(wǎng)絡9。
為便于理解，通過對比現(xiàn)有技術中的設計處理和本實施例中的綜合設計處理來進行說明。
圖10A和10B顯示一示例，在該示例中未進行稍后將說明的本實施例中的綜合設計處理。在圖10A中，拍攝A、拍攝B和拍攝C表示在不同環(huán)境中所拍攝的照片圖像示例，將其從圖像傳送設備5發(fā)送到圖像數(shù)據(jù)庫服務器2，并且存儲在作為存儲器的一個或者更多個圖像DB 3中。例如，在拍攝A的文件中，物體(主要被攝物體)被拍攝得比較大并且十分明亮，而且該圖像的明度也比較好。在拍攝B的文件中，物體被拍攝得很小，并且該圖像不夠明亮。并且，該被攝物體被布置得遠離中心。在拍攝C的文件中，物體的大小足夠大，但是該圖像是具有非常低的照度(illumination)的暗圖像。如果將在不同的拍攝條件下所拍攝的這種照片圖像不經(jīng)處理就進行版面設計，則這些照片圖像會成為例如圖10B所示的情況。被攝物體的大小不同并且被攝物體在圖像中的位置不一致。并且圖像的圖像質量(即明度、色彩再現(xiàn)等)也不同，因此，所產(chǎn)生文件質量很差。
圖11A和11B是示例圖，在該示例中，進行了本實施例的綜合設計處理。如果將如圖10A所示的在不同環(huán)境中拍攝的、具有不同的圖像質量、以及具有不同的被攝物體幾何特征的多個照片圖像進行綜合設計，則可以使用統(tǒng)計學技術來自動提供如圖11B所示的綜合文件。在該綜合文件中，從圖11A所示的各圖像中提取被攝物體的物體幾何特征量以及圖像處理特征量，并且根據(jù)所提取的不同類型的特征量設定基準，并對各圖像進行校正。對各圖像進行校正，以使在所述多個圖像中作為主要被攝物體的物體的明度和該被攝物體的背景都被統(tǒng)一(一致)。即，首先，提取大小、位置等幾何特征量，并且還提取圖像的明度、色彩再現(xiàn)等關于圖像質量的特征量。將這些特征量進行集中，根據(jù)一給定條件設定基準，并且校正各個圖像以匹配該基準，以產(chǎn)生一綜合設計。因此，可以提供例如象圖11B中的商品目錄那樣的使大小、位置、背景和明度等都一致的漂亮的設計圖像。
圖2是用于執(zhí)行如上參照圖11A和11B所述的本實施例中的綜合設計處理的功能框圖。用于主要執(zhí)行綜合設計的圖像處理服務器1包括圖像輸入部11，用于從圖像數(shù)據(jù)庫服務器2獲取存儲在圖像DB3中的圖像數(shù)據(jù)(多個數(shù)字圖像)；號碼給定及總數(shù)計數(shù)處理部12，用于對通過圖像輸入部11所輸入的多個圖像執(zhí)行給定圖像號碼(Gn)、總數(shù)計數(shù)等預處理；以及，圖像輸出部13，用于單獨地或以設計狀態(tài)向網(wǎng)絡9發(fā)送經(jīng)過圖像處理的分立的多個圖像。圖像處理服務器1還包括處理基準確定功能模塊20，用于從經(jīng)過號碼給定及總數(shù)計數(shù)處理部12的多個圖像中，獲取幾何特征量以及圖像質量特征量，并且計算處理基準；校正量計算功能模塊30，用于對通過圖像輸入部11所輸入、并且經(jīng)過號碼給定及總數(shù)計數(shù)處理部12的給定圖像號碼(Gn)、總數(shù)計數(shù)等預處理的各分立的圖像的特征量進行分析，并且根據(jù)處理基準確定功能模塊20的輸出來計算圖像校正量；以及，圖像處理功能模塊40，用于根據(jù)校正量計算功能模塊30所計算的多個分立圖像的校正量，執(zhí)行各種圖像處理。
校正量計算功能模塊30可以分析待經(jīng)實際圖像處理的各圖像的狀態(tài)，并且可以校正與多個圖像的所確定處理基準之差。并且也可以采用不提供校正量計算功能模塊30的配置。在此情況中，獨立于各圖像的狀態(tài)執(zhí)行由一個處理基準所一致確定的處理，該處理基準由多個圖像確定。還可以根據(jù)處理類型切換處理模式。例如，在使背景一致的處理中，根據(jù)基于多個圖像的多數(shù)裁定原則、平均值等來確定該處理基準，并且獨立于各圖像的狀態(tài)來進行一致確定的處理。另一方面，為根據(jù)一個圖像組的平均值來使明度級一致，優(yōu)選地在對與處理基準之差進行校正之前利用校正量計算功能模塊30來分析各圖像的狀態(tài)。
將進一步說明上述功能模塊。處理基準確定功能模塊20包括特征量提取部21，用于從待進行綜合設計處理的多個圖像中獲取幾何特征量和背景信息、色彩等各種圖像質量信息的特征量等；基準特征量分析部22，用于分析由特征量提取部21所提取的多個圖像的特征量；處理基準計算部23，用于根據(jù)多個圖像計算處理基準；以及，目標值設定和存儲部24，用于根據(jù)所計算的處理基準設定目標值，并且將所設定的值存儲在存儲器(未示出)中。該校正量計算功能模塊30包括圖像特征量提取部31，用于提取將進行校正處理的各圖像的幾何特征量、圖像質量特征量等；圖像特征量分析部32，用于分析已由圖像特征量提取部31提取出特征量的該圖像的特征量；以及，圖像校正量計算部33，用于根據(jù)圖像特征量分析部32所分析的特征量和處理基準計算部23所計算的處理基準來計算該圖像的校正量。而且，圖像處理功能模塊40包括幾何特征量校正部41，用于校正被識別為主要被攝物體的物體的大小、位置、傾斜度等幾何特征量；圖像質量校正部42，用于校正明度、色彩、灰色平衡、灰度校正等圖像質量；以及，背景處理部43，用于進行諸如背景去除或者使背景一致等背景校正。
圖像質量校正部42例如包括以下功能進行噪聲抑制處理的平滑處理功能；根據(jù)圖像分布是否為亮面或者暗面而移動基準點的明度校正功能；調節(jié)圖像分布的明亮部分和陰影部分的分布特性的加亮陰影校正功能；以及，從明暗分布直方圖獲得分布狀態(tài)并且校正明暗對比度的明暗對比度校正功能。該圖像質量校正部42具有以下功能色調和色彩平衡校正功能，例如，利用被認為最亮的白色區(qū)域作為基準，對一白色部分的色彩偏移進行校正；色飽和度校正功能，例如對色飽和度略低的圖像進行處理以使其變得清晰(鮮明)，以及對接近灰色的圖像進行處理，以抑制色飽和度；記憶色彩校正功能，例如校正一指定的記憶色彩，諸如利用皮膚色彩作為基準以使色彩接近皮膚色彩的校正等。此外，該圖像質量校正部42可以包括例如根據(jù)整體邊緣度(edge degree)來確定邊緣強度并校正成清晰圖像的清晰度增強處理功能。
以下將說明在圖2所示的多個功能塊中所執(zhí)行的處理。
首先，將說明幾何特征量的處理步驟。
圖3是表示幾何特征量的處理基準計算過程的流程圖。在圖像處理服務器1中，首先，通過圖像輸入部11輸入多個圖像(圖像數(shù)據(jù)、多個數(shù)字圖像)(步驟101)，并且號碼給定及總數(shù)計數(shù)處理部12向每個輸入圖像給定一圖像號碼Gn(步驟102)，并且對圖像總數(shù)N進行計數(shù)(步驟103)。然后，處理基準確定功能模塊20按順序(例如以第一圖像G1開始)讀取圖像Gn(步驟104)。特征量提取部21識別主要被攝物體(步驟105)，并且提取所識別的主要被攝物體(被攝物體)的輪廓(步驟106)，然后提取該被攝物體的外接矩形(步驟107)。處理基準計算部23執(zhí)行步驟108到110的各種計算處理。即，計算被攝物體的外接起始位置(步驟108)并且計算該被攝物體的大小(步驟109)。然后，計算該被攝物體的重心(步驟110)。
圖4A和4B是為說明上述步驟105到110中的處理的圖，并且顯示了直到計算出圖像圖案1至3的處理基準的過程。圖4A顯示識別被攝物體的示例；圖4B顯示輪廓提取的示例；而圖4C顯示提取該被攝物體的外接矩形以及計算矩形信息的示例。如圖4A所示，在步驟105，從背景中分離出該主要被攝物體并且識別該被攝物體。在步驟106，對各圖像圖案提取輪廓，并且提供一空白圖像，例如，如圖4B所示。在步驟107中從所提取的多個輪廓中提取如圖4C所示的被攝物體的外接矩形。在步驟108到110，根據(jù)所提取的被攝物體外接矩形對各個圖像計算該被攝物體的外接起始位置(例如(Xs1，Ys1)，(Xs2，Ys2)，(Xs3，Ys3))，該被攝物體的大小(例如，(Xd1，Yd1)，(Xd2，Yd2)，(Xd3，Yd3))，以及該被攝物體的重心坐標(例如，(Xg1，Yg1)，(Xg2，Yg2)，(Xg3，Yg3))。
再次參照圖3，在步驟110之后，判定所處理的圖像數(shù)是否超過圖像總數(shù)N，即，判定是否Gn＜N(步驟111)。如果所處理的圖像數(shù)沒有超過圖像總數(shù)N，則處理返回到步驟104，并且執(zhí)行步驟104及其后續(xù)步驟，以對各圖像重復計算處理。如果所處理的圖像數(shù)超過圖像總數(shù)N，則處理基準計算部23執(zhí)行步驟112至114的平均值計算處理。在步驟112，將外接起始位置的平均值(XsM，YsM)計算為XsM＝平均值(Xs1，Xs2，Xs3)，和YsM＝平均值(Ys1，Ys2，Ys3)。在步驟113，將大小的平均值計算為XdM＝平均值(Xd1，Xd2，Xd3)，和YdM＝平均值(Yd1，Yd2，Yd3)。然后，在步驟114，將重心的平均值計算為XgM＝平均值(Xg1，Xg2，Xg3)，和YgM＝平均值(Yg1，Yg2，Yg3)。當按此方式計算出處理基準后，目標值設定和存儲部24設定外接起始位置的目標值(步驟115)、大小的目標值(步驟116)、以及重心的目標值(步驟117)。將所設定的目標值存儲在存儲器(未示出)中，并且結束幾何特征量的處理基準計算過程。
還可以根據(jù)用戶的規(guī)定來確定幾何特征量的目標值。例如，可以在顯示器上顯示以下信息使多個被攝物體的重心在中心處匹配；使多個被攝物體與最大的被攝物體匹配；使多個被攝物體與最小的被攝物體匹配；以及使大小和位置與平均大小和平均位置匹配，并且可以提示用戶指定其中之一。在圖3中設定目標值的示例中，將平均值自動地計算為目標值。為提示用戶進行指定，目標值設定和存儲部24可以根據(jù)用戶的指定來改變目標值設定方法，并且可以將該多個目標值存儲在存儲器中。還可以在執(zhí)行實際的校正過程時設定該多個目標值。
圖5是表示幾何特征量的校正過程的流程圖。
在幾何特征量的校正過程中，根據(jù)在執(zhí)行圖3所示的過程時所獲得的處理基準的目標值，執(zhí)行實際的校正處理。作為校正處理，可以采用獨立于各圖像的狀態(tài)而進行一致確定的處理的方法，以及分析各圖像的狀態(tài)并校正與處理基準之差的方法。在圖5中，將以后一方法為例。
在幾何特征量的校正過程中，在圖2所示圖像處理服務器1中，首先，通過圖像輸入部11輸入多個待處理的圖像(圖像數(shù)據(jù)、多個數(shù)字圖像)(步驟151)，并且號碼給定及總數(shù)計數(shù)處理部12對每個輸入圖像給定一圖像號碼Gn(步驟152)，并且對待處理的圖像總數(shù)N進行計數(shù)(步驟153)。還可以提示用戶來指定多個待處理的圖像。在此情況下，用戶所指定的多個圖像的總數(shù)變?yōu)閳D像總數(shù)N。然后，校正量計算功能模塊30從N個圖像中讀取圖像Gn(以第一個圖像開始)(步驟154)。圖像特征量提取部31識別待處理的主要被攝物體(步驟155)，并且提取所識別的主要被攝物體(被攝物體)的輪廓(步驟156)，然后提取該被攝物體的外接矩形(步驟157)。然后，圖像特征量分析部32分析待處理的圖像的特征量。具體地說，計算該被攝物體的外接起始位置(步驟158)，并且計算該被攝物體的大小(步驟159)。然后，計算該被攝物體的重心(步驟160)。根據(jù)所使用的圖像校正處理方法，不必全部執(zhí)行所有的分析。
然后，圖像校正量計算部33讀取由目標值設定和存儲部24所設定并存儲的目標值(步驟161)，并且根據(jù)圖像特征量分析部32所分析的特征量和各讀出目標值之間的差，計算校正量(步驟162)。將所計算的校正量輸出給圖像處理功能模塊40。圖像處理功能模塊40的幾何特征量校正部41根據(jù)需要校正外接起始位置(步驟163)，校正大小(步驟164)，并且校正重心(步驟165)。判定是否執(zhí)行了總數(shù)N個圖像的校正，即，判定是否Gn＜N(步驟166)。如果未超過圖像總數(shù)N，則處理返回步驟154，并且重復步驟154及其后續(xù)步驟，以對下一待處理圖像執(zhí)行校正處理。如果超過圖像總數(shù)N，則結束幾何特征量的校正過程。以圖4A至4C所示的圖案為例進行說明。例如，為利用外接起始位置的平均值(XsM，YsM)和大小的平均值(XdM，YdM)來校正圖像圖案2，圖像偏移(XsM-Xs2，YsM-Ys2)像素偏移圖像放大比例(YdM/Yd2)倍…(與縱向縮放比例匹配)。
增加了這種校正后，使得可以提供具有一致的幾何特征量的醒目的設計輸出，如圖11B所示。
以下將說明圖像質量處理的各個處理過程。
圖6是表示圖像質量處理基準計算過程的流程圖。在圖像處理服務器1中，首先通過圖像輸入部11輸入多個圖像(步驟201)，并且號碼給定及總數(shù)計數(shù)處理部12對每個輸入圖像給定一圖像號碼Gn(步驟202)并且對圖像總數(shù)N進行計數(shù)(步驟203)。然后，處理基準確定功能模塊20按順序(例如從第一圖像G1開始)讀出圖像Gn(步驟204)。然后，對于主要被攝物體執(zhí)行關于輝度(luminance)、紅色(R)、綠色(G)、藍色(B)以及色飽和度的目標值設定處理。首先，對與背景分離的主要被攝物體，執(zhí)行例如向L*a*b的轉換，并且執(zhí)行輝度轉換(步驟205)，并且采集輝度直方圖(步驟206)。然后，計算出分布平均值L_ave(步驟207)，并且將所計算出的L_ave累加，以得到L_target(步驟208)。使用輝度轉換來用于例如加亮陰影校正，以及明暗對比度校正。例如，在明暗對比度校正中，從基準圖像中得到明暗分布(例如，直方圖)，并且一個使在把范圍分成五段時提供幾乎同一分布的值成為了目標值。
另一方面，為進行色飽和度校正，執(zhí)行了色飽和度轉換(步驟209)。首先，對與背景分離的主要被攝物體，采集色飽和度直方圖(步驟210)，并且計算分布平均值S_ave(步驟211)。將所計算的S_ave累加以得到S_target(步驟212)。其中，可以用L*a*b*的a*b*的兩個平面來表示該色飽和度。當a*b*為00時，產(chǎn)生灰色。作為基準，使接近灰色的部分為灰色，即，如果該部分有一點色彩，則通過抑制色飽和度將其校正為灰色。在具有中等或高色飽和度的分布中，進行色飽和度校正，以增強清晰度(明度)。在步驟209至212，根據(jù)關于各像素的主要被攝物體的分布平均值來確定用于色飽和度校正的目標。
此外，例如，為進行色調和色彩平衡校正，執(zhí)行RGB轉換(步驟213)。首先，對于與背景分離的主要被攝物體，采集RGB直方圖(步驟214)，計算R分布的最大值r_max(步驟215)，計算G分布的最大值g_max(步驟216)，并且計算B分布的最大值b_max(步驟217)。將所計算的r_max進行累加以得到Rmax_target(步驟218)，將所計算的g_max進行累加以得到Gmax_target(步驟219)，將所計算的b_max進行累加以得到Bmax_target(步驟220)。為進行色調和色彩平衡校正，分別采集R、G和B直方圖，并且例如將最亮的RGB直方圖點確定為白色，并且如果在該部分出現(xiàn)黃色、綠色等的圖像不清(fogging)，則假設該白色部分偏移，并且調節(jié)白色平衡以設定同一起點。
在步驟220后，判定所處理的圖像總數(shù)是否超過圖像總數(shù)N，即判定是否Gn＜N(步驟221)。如果所處理的圖像數(shù)未超過圖像總數(shù)N，則處理返回到步驟204，并且執(zhí)行步驟204及其后續(xù)步驟，以對每個圖像重復計算處理。如果所處理的圖像數(shù)超過圖像總數(shù)N，則處理基準計算部23執(zhí)行以下處理。首先，處理基準計算部23將多個圖像的計算結果的相加值(和)除以N，以得到平均值。即，將該值除以N以得到通過累加所計算出的L_target的平均值(步驟222)。同樣，將該值除以N以得到通過累加所計算出的S_target的平均值(步驟223)，計算Rmax_target的平均值(步驟224)，計算Gmax_target的平均值(步驟225)，計算Bmax_target的平均值(步驟226)。目標值設定和存儲部24將以此方式所計算的L_target設定為亮度校正目標值(步驟227)，將S_target設定為色飽和度校正目標值(步驟228)，將Rmax_target設定為色彩平衡(CB)校正目標值(步驟229)，將Gmax_target設定為CB校正目標值(步驟230)，并且將Bmax_target設定為CB校正目標值(步驟231)，并且將這些目標值存儲在預定存儲器(未示出)中?，F(xiàn)在圖像質量處理基準計算過程結束。
以下將說明實際的校正處理。
圖7是表示圖像質量校正過程的流程圖。在圖像處理服務器1中，首先，通過圖像輸入部11輸入待處理的多個圖像(步驟251)，并且號碼給定及總數(shù)計數(shù)處理部12對待處理的多個圖像按順序給定圖像號碼Gn(步驟252)，并且對圖像總數(shù)N進行計數(shù)(步驟253)。然后，在圖像特征量提取部31中，例如以第一圖像G1開始按順序讀取圖像Gn(步驟254)。對于與背景分離的主要被攝物體，進行RGB轉換(步驟255)。然后，采集RGB直方圖(步驟256)，計算R分布的最大值r_max(步驟257)，計算G分布的最大值g_max(步驟258)，并且計算B分布的最大值b_max(步驟259)。利用Rmax_target、Gmax_target以及Bmax_target和在圖6的流程圖中由目標值設定和存儲部24所設定的目標值，產(chǎn)生色彩平衡(CB)校正查尋表(LUT)(步驟260)，并且對經(jīng)過RGB轉換的圖像執(zhí)行色彩平衡校正(步驟261)。
例如，在轉換到L*a*b*后，對待處理圖像的主要被攝物體執(zhí)行步驟262及其后續(xù)步驟的輝度轉換，以及步驟267及其后續(xù)步驟的色飽和度轉換。在步驟262以及后續(xù)步驟的輝度轉換中，例如，采集基于L*的輝度直方圖(步驟263)。然后，計算出分布平均值L_ave(步驟264)。使用由目標值設定和存儲部24在圖6中的處理中所設定的L_target，產(chǎn)生明度校正LUT(步驟265)。然后，圖像質量校正部42使用該明度校正LUT執(zhí)行明度校正(步驟266)。在步驟267及其后續(xù)步驟中的色飽和度轉換中，例如，使用a*b*采集色飽和度直方圖(步驟268)，并且計算出S_ave作為分布平均值(步驟269)。使用目標值設定和存儲部24所設定的S_target，計算出色飽和度校正系數(shù)(步驟270)。然后，圖像質量校正部42使用該色飽和度校正系數(shù)執(zhí)行色飽和度校正(步驟271)。在以此方式進行了關于明度和色飽和度的校正后，根據(jù)圖像輸出格式執(zhí)行RGB轉換(步驟272)，并且輸出該圖像(步驟273)。判定所處理的圖像數(shù)是否超過圖像總數(shù)N，即，判定是否Gn＜N(步驟274)。如果所處理的圖像數(shù)未超過圖像總數(shù)N，則處理返回到步驟254，并且重復步驟254及后續(xù)步驟。如果所處理的圖像數(shù)超過圖像總數(shù)N，則結束校正處理。
當例如按照上述方式對圖像質量進行校正時，如果同一頁面包括同一類型的多個圖像，則可以使多個物體的明度、色彩和清晰度(鮮明度(brilliance))一致。因此，利用該統(tǒng)計技術使圖像質量一致，使得可以向用戶提供醒目的輸出圖像。
以下將說明背景處理的每個過程。
圖8是表示用于背景處理的處理基準計算過程的流程圖。在圖像處理服務器1中，首先通過圖像輸入部11輸入多個圖像(步驟301)，并且號碼給定及總數(shù)計數(shù)處理部12向每個輸入圖像給定一圖像號碼Gn(步驟302)，并且對圖像總數(shù)N進行計數(shù)(步驟303)。然后，處理基準確定功能模塊20按順序(例如從第一圖像G1開始)讀取圖像Gn(步驟304)。特征量提取部21識別背景區(qū)域(步驟305)，并且對背景區(qū)域色彩進行抽樣(步驟306)。所抽樣的背景區(qū)域色彩基本為輝度、明度以及色飽和度，并且以與圖5所示的主要被攝物體的測量相同的方式進行處理。然后，判定所處理的圖像數(shù)是否超過圖像總數(shù)N，即，判斷是否Gn＜N(步驟307)。如果所處理的圖像數(shù)未超過圖像總數(shù)N，則處理返回到步驟304，并且執(zhí)行步驟304以及后續(xù)步驟，以對每個圖像重復計算處理。如果所處理的圖像數(shù)超過圖像總數(shù)N，則目標值設定和存儲部24設定目標值并且將該目標值存儲在存儲器(未示出)中(步驟308)。例如，如果基準被預先設定，則所存儲的目標值與該基準一致。如果在實際的處理中進行該判定，則可以例如存儲所有圖像的背景圖像信息。為使背景色彩根據(jù)例如平均值一致，處理基準計算部23要執(zhí)行平均值處理等。
還可以根據(jù)用戶的指定來確定背景色彩的目標值。例如，可以顯示以下信息使背景色彩與最亮的背景色彩一致；使背景色彩與最暗的背景色彩一致；使背景色彩與最鮮艷的背景色彩一致；使背景色彩根據(jù)平均值一致，并且可以提示用戶來指定上述信息之一以確定目標值。作為目標值的特征，假設存在多個圖像數(shù)據(jù)，通過包含根據(jù)清晰度(鮮明度)的最大值、最小值等來選擇背景色彩以及根據(jù)平均值來確定背景色彩等統(tǒng)計處理在內的處理來確定目標值。
圖9為表示背景色彩校正過程的流程圖。在圖像處理服務器1中，首先通過圖像輸入部11輸入待處理的多個圖像(步驟351)，并且號碼給定及總數(shù)計數(shù)處理部12向每個輸入圖像給定一圖像號碼Gn(步驟352)，并且對圖像總數(shù)N進行計數(shù)(步驟353)。然后，背景處理部43按順序(例如以第一圖像G1開始)讀取待處理的具有圖像號碼Gn的圖像(步驟354)，并且識別背景區(qū)域(355)。然后，背景處理部43獲取所確定的背景目標值(步驟356)并且將該目標值應用于待處理圖像的背景區(qū)域(步驟357)。然后，判定所校正的圖像數(shù)是否超過圖像總數(shù)N，即，判斷是否Gn＜N(步驟358)。如果所校正的圖像數(shù)未超過圖像總數(shù)N，則處理返回到步驟354，并且重復執(zhí)行步驟354以及后續(xù)步驟。如果所校正的圖像數(shù)超過圖像總數(shù)N，則結束校正處理。
如以上詳細說明，在本實施例中，根據(jù)多個圖像(多個圖像數(shù)據(jù))確定處理基準，并且將該處理基準應用于每個圖像。獨立于各圖像的狀態(tài)，根據(jù)多數(shù)裁定、平均值確定等統(tǒng)計學技術來進行一致確定的處理，使得可以向用戶提供醒目的輸出圖像。多數(shù)裁定意指，例如如果在4個圖像數(shù)據(jù)中，3個圖像數(shù)據(jù)的背景為白色而1個圖像數(shù)據(jù)的背景為灰色，則使所有的圖像數(shù)據(jù)的背景為白色。在這種情況中，利用灰色背景對圖像的背景部分進行校正。
可以假設本實施例用于應用軟件類型、打印機驅動器類型、與數(shù)字相機合作類型等。在應用軟件類型中，可以將本實施例用作一用戶所收集的圖像的自動調節(jié)功能模塊，例如作為一插件軟件模塊，用于將數(shù)字靜物相機(DSC)圖像放置在相冊中，或者管理DSC圖像等。在打印機驅動器類型中，可以將本實施例用作一驅動器設置中的可選功能模塊，或者可以做成內置模式設置中的功能模塊。此外，在與數(shù)字相機的合作類型中，可以將本實施例用作一功能模塊，該功能模塊用于使得用戶可以利用嵌入在文件格式中的標志信息來在打印階段輸入一調節(jié)命令。
可以通過以下方式向計算機提供根據(jù)本發(fā)明的計算機程序，即，將該程序安裝在計算機中或者提供一存儲有該程序的計算機可讀存儲介質。該存儲介質可以是任何類型的DVD和CD-ROM或者卡式存儲介質等，并且通過安裝在計算機中或者與該計算機連接的DVD或CD-ROM讀出器、讀卡器等讀取存儲在該存儲介質上的程序。將該程序存儲在安裝在計算機中的HDD、閃存ROM等中，并且由CPU執(zhí)行。還可以通過網(wǎng)絡從例如程序傳送裝置來提供該程序。
例如可以將本發(fā)明用于連接到一諸如打印機的圖像形成裝置的計算機、用于通過因特網(wǎng)等提供信息的服務器、數(shù)字相機、在各種計算機中所執(zhí)行的程序等。
在此將于2003年11月18日提交的日本專利申請No.2003-387674的全部公開內容(包括說明書、權利要求
以及附圖和摘要)通過引用并入本文。
權利要求
1.一種圖像處理裝置，其包括輸入單元，其輸入多個數(shù)字圖像；特征量識別單元，其從通過所述輸入單元所輸入的所述多個數(shù)字圖像中的每一個數(shù)字圖像中識別與主要被攝物體的圖像質量相關的特征量；以及圖像質量校正單元，其對所述多個數(shù)字圖像中的每一個數(shù)字圖像的主要被攝物體進行校正，以使所述圖像質量針對所述特征量識別單元所識別的與圖像質量相關的特征量一致。
2.根據(jù)權利要求
1所述的圖像處理裝置，其中，由所述特征量識別單元所識別的與圖像質量相關的所述特征量為至少以下特征量之一與主要被攝物體的輝度相關的特征量、與色飽和度相關的特征量、與色彩分布相關的特征量、與明度相關的特征量，以及與清晰度相關的特征量。
3.根據(jù)權利要求
1所述的圖像處理裝置，其中，所述特征量識別單元還包括目標值設定單元，所述目標值設定單元根據(jù)統(tǒng)計技術設定一目標值，作為用于所述多個數(shù)字圖像的主要被攝物體的圖像質量的目標值，并且其中，所述圖像質量校正單元使用所述目標值設定單元設定的目標值進行校正。
專利摘要
圖像處理裝置、圖像處理方法和程序。一種圖像處理裝置包括特征量識別單元，識別多個圖像數(shù)據(jù)中的每一個圖像數(shù)據(jù)的特征量；以及，處理基準提取單元，根據(jù)特征量識別單元所識別的特征量提取用于對所述多個圖像數(shù)據(jù)進行圖像校正的處理基準。
文檔編號G06T7/60GK1991909SQ200710006966
公開日2007年7月4日 申請日期2004年6月15日
發(fā)明者日比吉晴, 奧津優(yōu), 北川原淳志 申請人:富士施樂株式會社導出引文BiBTeX, EndNote, RefMan