對象級圖像編輯的制作方法

專利名稱：對象級圖像編輯的制作方法
技術領域：
本描述一般涉及圖像編輯，尤其涉及但決不限于使用有關那些圖像中對象 的信息來編輯數字圖像的系統和方法。
背景
諸如微軟的Digital Image Suite (商標)、Adobe Photoshop (商標)和 Illustrator (商標)以及Google Picasa (商標)的圖像處理工具是已知的。在國 內市場和專業市場中對這種工具有越來越多的需求。需要簡化用戶操作圖像處 理工具所需的動作，以及需要提供快速并有效地操作的工具。此外，需要在工 具內提供增加的功能，以使得用戶能對數字圖像執行更多類型的操作，以及需 要改進現有的功能，以使得操作的結果更為逼真和美觀。
需要提供一種克服或至少減輕了本文中所提及問題的一個或多個的圖像 編輯或圖像處理的經改進系統和方法。
概述
下面提供本揭示的簡化概要以便為讀者提供基本的理解。本概要不是本 揭示的詳盡概觀，并且既不標識本發明的關鍵/本質元素也不描繪本發明的范 圍。其唯一 目的是以簡化形式提供在此揭示一些概念作為稍后提供的更詳細描 述的序言。
描述使用有關數字圖像中對象的信息來編輯這些圖像的系統和方法。例 如，有關對象的信息包括深度排序信息和/或有關各對象是其成員的類的信息。 類的示例包括天空、建筑物、飛機、草和人。該對象級信息被用來提供新的和 /或經改進的編輯功能，諸如剪切和粘貼、使用小塊或拼縫物填入圖像區域、數 字織錦、a消光生成、超分辨率、自動修剪、自動色彩平衡、對象選擇、景深 操縱、以及對象置換。此外，描述使用對象級信息對用于圖像編輯系統的用戶
界面的改進。
本示例提供一種包括以下步驟的編輯源數字圖像的方法- 訪問自動生成的有關該源數字圖像的對象級信息，該信息包括將圖像分 成一個或多個對象的分割，以及針對各個對象的該對象是其成員的類的細節；
以及
基于對象級信息自動處理源數字圖像以形成輸出數字圖像。 在另一示例中，提供了一種用于編輯源數字圖像的相應裝置，包括- 接口，安排成訪問自動生成的有關該源數字圖像的對象級信息，該信息 包括將圖像分成一個或多個對象的分割，以及針對各個對象的該對象是其成員
的類的細節；以及
處理器，安排成基于對象級信息自動處理源數字圖像以形成輸出數字圖像。
優選地，對象級信息包括以下的任一個有關至少一部分對象的深度排序 的信息；對象屬性；以及有關對象部分的位置的信息。
在某些示例中，該方法還包括組合源數字圖像的至少一部分與一個或多 個基準數字圖像以形成輸出數字圖像，且其中該方法包括訪問自動生成的有 關基準數字圖像的對象級信息，該信息包括將基準圖像分成一個或多個對象的 分割，以及針對各個對象的該對象是其成員的類的細節。
在某些示例中，針對多個源數字圖像實現該方法以創建單個輸出圖像，且 該輸出圖像基于有關各個源圖像的對象級信息自動形成。例如，在數字織錦、 照片-組合或其它圖像混合技術中。優選地，那些方法包括基于對象級信息選 擇源圖像的多個部分以包括在輸出圖像中。例如，基于對象級信息在輸出圖像 中選擇位置以定位源圖像的多個部分。
在其它示例中，與輸出圖像相比，源圖像具有低分辨率。例如，處理源圖 像的步驟包括訪問分辨率比源圖像高的圖像的數據庫，以及基于對象級信息 從該數據庫中選擇圖像以在形成輸出圖像時使用。
在一些實施例中，從源圖像裁剪輸出圖像，并且處理源圖像的步驟包括 基于對象級信息自動裁剪源圖像。優選地，該方法進一步包括基于從多個指定 模板、規則或標準中選擇的模板、規則或標準自動裁剪源圖像。在一些示例中，
處理源圖像的步驟包括基于對象級信息調節該源圖像的色彩平衡。
優選地，所述處理源圖像的步驟包括僅接收單個用戶輸入以選擇源圖像
中的對象，并經由用戶界面向用戶呈現關于作為該單個用戶輸入的結果選擇源
圖像中的哪個對象的指示，該選擇已由用戶用單個動作作出。
優選地，該方法還包括安排用戶界面以使經由界面呈現給用戶的編輯選
項基于與所選對象相關聯的對象級信息選擇。
在一些示例中，該方法還包括修改所選對象的色彩、焦點或深度次序的任—個。
優選地，處理源圖像的所述步驟包括用來自數據庫的選定對象或對象部 分的圖像替換源圖像中對象或對象的一部分，且其中該對象或對象部分的選擇 基于對象級信息作出。
上述裝置可具有用以執行上述方法的任何適當功能部件。
另一示例提供了一種包括計算機程序代碼裝置的計算機程序，當所述程序 在計算機上運行時適于執行任何方法的所有步驟。
例如，該計算機程序在計算機可讀介質上具體實現。
本方法可由存儲介質上具備機器可讀形式的軟件執行。軟件能夠適于在并 行處理器或串行處理器上執行，使得本方法的各步驟可以按任何合適的次序或 同時執行。
這里承認軟件能夠是有價值的、可以單獨交易的商品。它旨在包含運行于 或者控制"啞"或者標準的硬件以實現期望的功能的軟件，(因此，軟件本質 上定義了寄存器的功能，并且可以被叫做寄存器，即使是在它與其標準硬件結 合之前)。出于類似的理由，還旨在包含"描述"或者定義硬件配置的軟件， 例如HDL (硬件描述語言)軟件，用于設計硅芯片，或者用于配置通用可編
程芯片以實現期望的功能。
許多伴隨特征將隨著參考下面的詳細描述并結合附圖進行理解而得到更 好的認識。


從結合附圖的下列詳細描述將更好地理解本描述，在附圖中
圖1是對對象級圖像編輯系統的輸入的示意性圖示；
圖2是對象級圖像編輯系統的更詳細的示意性圖示；
圖3是使用對象級圖像編輯系統編輯圖像的方法的高級流程圖4是使用由對象級信息引導的平鋪來編輯圖像的方法的流程圖5示出對象級圖像編輯系統的用于語義對象移除的兩個示例用戶界面
顯示；
圖6是智能復制和粘貼以及智能剪切和粘貼的方法的流程圖7a和7b是指示智能復制和粘貼的示意性圖示；
圖8是使用智能數字織錦產生的輸出圖像的示例；
圖9是使用對象級信息引導的數字織錦的方法的流程圖IO是使用對象級信息的超分辨率的方法的流程圖11是使用對象級信息自動裁剪圖像的方法的流程圖12是使用對象級信息自動調節源圖像色彩的方法的流程圖13是選擇對象的單個用戶動作方法的流程圖14示出源圖像和使用對象級信息從該源圖像中將前景對象選擇成一組 四頭奶牛的結果。圖15示出使用圖像編輯系統說明對象替換的示例用戶界面顯示；
圖16是使用對象級信息的對象替換的方法的流程圖17示出使用對象級信息說明景深操縱的兩個用戶界面顯示；
圖18是提供使用對象級信息的圖像編輯系統的用戶界面的方法的流程
相同的標號用于指示附圖中相同的部分。
詳細描述
下面結合附圖提供的詳細說明旨在作為本發明的例子的描述，但是并不旨 在表示可以構造或者使用本例子的僅有的形式。該描述闡述本示例的功能以及 用于構造和操作本示例的步驟序列。然而，相同或等價的功能與序列可由不同
的示例來完成。
圖1是對對象級圖像編輯系統的輸入的示意性圖示。數字形式的任何適當
類型的源圖像IO被提供給對象識別系統11。本示例中的源圖像IO示出停在建
筑物前草坪上的輕型飛機。在建筑物之上可看到多云天空。對象識別系統產生
對源圖像的分析。分析結果在圖1中被示為圖像12，盡管并非必需如此。可使 用任何適當形式的表示。源圖像的分析包括將該源圖像分成一個或多個對象的 分割。在所示示例中，圖像被分成由圖1的圖像12中的陰影區域指示的四個 主要區域。對象識別系統還將每個分割區域標為屬于特定類型的對象類。在該 示例中，四個區域被標識為屬于對象類天空14、草地16、建筑物15和飛機17。 由對象識別系統產生的信息在本文中被稱為對象級信息，并且連同源圖像10 本身可被本發明的圖像編輯系統13訪問。
可使用任何適當類型的能分割源圖像并識別該源圖像的分割區域的適當 對象類的對象識別系統11。至少多個可能的對象類被用來標注分割圖像區域 (在優選示例中約有20個對象類)，并且增加系統的規模并使用數量多得多 的對象類是可能的。對象類的示例包括天空、草地、人、建筑物、馬、飛機、 奶牛、羊、水、船、樹、路和花。在一些實施例中，對象識別系統11優選地
還能提供所標識對象的深度排序信息，盡管這并非是必需的。此外，對象識別 系統優選地(但不是必需的)能標識對象的特定實例(例如將人的圖像識別為 屬于具體指定的人)，并且能標識有關對象的信息，諸如其方向、對象屬性、
對象部分的存在和位置(例如，人臉、樹葉、建筑物、屋頂)。對象識別系統 任選地可包括與對象類相關聯的語義信息，諸如有關類人和建筑物的對象的相 對大小的信息，或者有關對象的一般位置的信息，諸如圖像中的天空。
圖2是圖1的對象級圖像編輯系統13的更詳細的示意性圖示。 一個或 多個源圖像10和任選地一個或多個基準圖像9被輸入如上所述的對象識別系 統11。例如，源圖像可包括人靠在墻面背景的照片。基準圖像可包括花園景觀。 在人物的圖像被粘貼到花園景觀上的情形中，輸出圖像將包括以花園景觀為背 景的人物的圖像。對象識別系統優選地用來分析源圖像和基準圖像兩者。識別 結果以及源圖像10和基準圖像9變得對對象級圖像編輯系統13可用。該系統 包括對象級信息接口 8，其通過接口與對象識別系統11相連或以任何適當方式
訪問該對象識別系統的結果。還提供處理器7和任選的用戶界面6。處理器具
有任何適當類型，諸如個人計算機、操作系統、專用處理器或分布式系統。對
象級圖像編輯系統基于各個輸入產生輸出圖像5。
通過使用由對象識別系統提供的對象級信息，能提供自動編輯圖像的新方 法并改進自動編輯圖像的現有方法。現在給出編輯圖像的方法的高級概要，然 后闡述特定方法的示例。
在本文中所述的任一實施例中，對用戶而言在將對象級信息用于圖像編輯 之前任選地修改或校正該信息也是可能的。用戶可手動地或以任何其它適當方 式作出這些修改或校正。
圖3是使用對象級圖像編輯系統編輯圖像的方法的高級流程圖。訪問有關 一個或多個源圖像的對象級信息、以及任選的一個或多個基準圖像(參見框 35)。這是使用圖2的接口 8來實現的。基于對象級信息(參見框36)和所形 成的輸出圖像(參見框37)來處理源圖像和任何基準圖像。
現在給出使用對象級信息編輯圖像的特定方法的示例
智能平鋪
在我們的于2004年8月26日公布的公開號為US2004-0165787A1的題為 "Image region filling by example-based tiling"(通過基于示例平鋪進行圖像區 域填充)的較早美國專利申請中，描述了使用圖像數據的平鋪來執行各種任務， 包括但不限于修復(例如，隱藏裂縫、擦痕、銹斑、和其它損害)、校正(例 如，去除紅眼和其它不合需要的特征)、以及修改(例如去除圖像的特征)數 字圖像。在許多這種動作中，任務可通過用其它圖像數據"填充"圖像中的區 域來完成。在該較早專利申請中，描述了借用因近似目標圖像區域或某其它源 而產生的示例圖像數據塊來生成新圖像數據以供填充該區域。所述的基于示例 填充系統標識適當的填充材料以替換圖像中的目標區域并使用該材料填充目 標區域，從而減輕或最小化填充圖像中區域所需的手動編輯的量。目標區域可 通過用戶輸入(例如由用戶選擇圖像區域)或其它手段(例如指定要替換的色 彩或特征)指定。
在本申請中，我們通過允許使用對象級信息引導適當填充材料的選擇來基
于先前的工作進行擴展和構建。此外，我們通過使用對象級信息使目標區域的 指定能自動實現。術語"小塊"在本文中用來指適于填充數字圖像的目標區域 的圖像數據區或碎片。小塊可由一組或一網格像素表示，或者能以任何其它適 當方式表示。
圖4是在本申請的對象級圖像編輯系統中使用小塊的方法的流程圖。該圖 與圖3相同，其不同之處在于圖像數據小塊是在處理階段使用的(參見框39)。 例如，圖像數據小塊是像素碎片或像素網格。圖像數據小塊可例如用于填充圖 像的其中對象己被刪除的區域。優選地，基于對象級信息選擇圖像數據小塊(參 見框38)。例如，它們是從與需要填充的對象/部分相同的類(或相同對象部 分)的對象選擇的。小塊可從以下的任一個中選擇源圖像和基準圖像、源圖 像和基準圖像中同一類的其它對象、以及同一類(與正在填充的對象相同)的 其它對象的庫。
此外，深度排序信息可被用來引導供填充圖像區域的小塊的選擇。例如， 所選小塊僅需與要移除對象后面的對象相一致。現在參照圖5中的示例進行討 論。圖5給出對象級圖像編輯系統的用于語義對象移除的兩個示例用戶界面顯 示35、 36。顯示35包括人31站在草地中，且小徑消失在樹木和天空可見的背 景30中的圖像。每個顯示35、 36都具有諸如分層選擇結構34和操作條33的 圖形用戶界面設備。在顯示35中，操作條33指示圖像焦點所在之處，呈現用 以調節圖像中的模糊度的滑動條33，并提供選擇框以使圖像成為例如灰度而非 彩色。還提供了施加設置或取消它們的按鈕。在顯示35的示例中，用戶已經 以任何適當方式選擇了人31，諸如通過將鼠標指針置于人31上，并呈現可用 動作的菜單32，在本示例中包括擦除、聚焦、修復紅眼和色彩電平。假設用戶 從菜單32中選擇擦除功能。人31的圖像被"在語義上"擦除，從而給出了顯 示36中示出的結果。
在顯示36中，可看到背景30被保留，人31的圖像被刪去，并且先前被 人31的圖像所占據的圖像區域以適于該圖像的其余部分的方式填充。
先前被人所占據的圖像區域由圖5中的參考標號40和41指示。深度排序 和形狀信息被用來推斷該人后面的區域要使用區域41中的"類似草地"小塊 和區域40中的"類似樹木"小塊來填充。沒有這種深度排序信息，"類似草
地"小塊會被用來填充人31的圖像先前所在的整個區域。此外，如果在所擦 除的人前面存在物體，則深度信息將使它們能在填充期間被忽略。另外，將圖 像分成草地、樹木、人物對象和天空的分割信息被用來推斷要使用哪類小塊。
智能復制和粘貼(以及智能剪切和粘貼)
復制和剪切圖像區域的過程優選地是相同的，除了剪切的過程還涉及填充 源圖像的從中剪切了一區域的空地。優選地，填充過程是智能地使用對象級信 息實現的。
圖6是將對象級信息用于智能復制和粘貼或智能剪切和粘貼的方法的流
程圖。假設源圖像包括要剪切或復制的對象，并且提供了在此情形中被稱為目 標圖像的基準圖像以將所剪切復制的對象貼入。該方法包括訪問有關如上所述
的源圖像和目標圖像的對象級信息(參見圖6的框60)。該對象級信息被用來 從源圖像中復制或剪切對象(參見框61)。例如，分割信息被用來標識對象， 且其中之一被自動地選擇(例如使用深度排序信息以挑選前景對象、或使用預 先指定規則連同對象類信息)或作為用戶輸入的結果而被選擇。 一旦選擇了對 象，就使用本領域中所公知的任何適當的剪切或復制該對象的方法。在剪切的 情形中，優選地還填充源圖像的從中剪切掉一區域的空地。該填充是智能地使 用對象級信息實現的。
然后關于是否有剪切/復制對象的任何區域被遮擋在源圖像之外作出評 估。深度排序信息和/或其它對象級信息被用來作此評估。如果存在被遮擋區域， 則使用用對象級信息從源圖像中選擇的小塊(如上所述)來填充這些區域(參 見框63)。此外，在需要時填充源圖像中因為任何剪切操作而留白的區域。這 是使用用對象級信息進行的小塊選擇實現的。
下一階段包括將有關剪切/復制對象的對象級信息與目標圖像作比較，并 判定所剪切/復制的對象是否需要進行編輯(參見框64)。例如，所剪切/復制 的對象的大小可能需要改變以對應于目標圖像中對象的比例。對象類信息可包 括有關不同類的對象的相對大小的信息。例如，類建筑物的對象可被指定為比 類人物的對象大一特定倍數。使用該信息連同深度排序信息，有可能自動確定 要貼入目標圖像的對象的適當大小。在另一示例中，要粘貼對象的焦點可能需
要改變以匹配目標圖像中的焦點。再一次，深度排序信息可與有關目標圖像中 景深信息的信息一起使用以決定要對要粘貼對象應用什么焦點。在另一實施例 中，要粘貼對象的色彩可根據目標圖像的色彩細節改變。其它選項包括改變要 粘貼對象的照明或方向，改變人物圖像的面部表情以匹配目標圖像中的對象和 其它。
如果確定以特定方式編輯要粘貼對象，則該對象被自動地按需編輯(參見
框65)，然后粘貼到目標圖像(框66)中。注意，該方法的步驟的任一個可 并行或以不同順序執行以實現等同的結果。
圖7a和7b示出使用智能復制和粘貼的示例。圖7a示意性地示出人物71 站在柱子70后面的圖像。該人物的圖像要被復制和粘貼到基準圖像——在本 示例中稱為目標圖像74(參見圖7b)。復制該人物圖像的結果在圖7a中示出， 并且可看到存在柱子70先前遮擋人物圖像的一部分的空白區域72。在復制過 程期間，使用有關人物的對象級信息，其提供人物的分割和有關柱子和人物的 深度排序信息。
所遮擋的區域72使用小塊來填充以產生完整圖像73 (參見圖7b)。該完 整圖像73要被粘貼到示出房子的目標圖像74中。有關目標圖像的對象級信息 指示房子和人物的相對大小使得完整圖像73需要調節大小。在適當地調整大 小、以及諸如重新調焦或重新著色的任何其它確定編輯之后，人物75的圖像 被粘貼到基準圖像內。
經改進的數字織錦
圖8是在執行經改進的數字織錦之后從對象級圖像編輯系統產生的輸出 圖像的示例。術語"數字織錦"在本文中被用來指使用多個源圖像的各個部分 并將那些部分混合在一起來形成單個輸出圖像。在圖8中所示的示例中，12 個源圖像被用來形成單個數字織錦輸出圖像。
可使用將多個圖像部分混合在一起的任何適當方法。例如，我們的于2005 年7月28日提交的題為"ImageBlending"(圖像混合)的早先歐洲專利申請 No. 05254745.2描述了一種數字織錦的適當方法。Carsten Rother、Sanjiv Kumar、 Vladimir Kolmogorov和Andrew Blake在2005年美國圣地亞哥的CVPR會議上
發表的題為"Digital Tapestry"(數字織錦)的文章也描述了一種數字織錦的 適當方法。在本申請中，數字織錦通過允許從源圖像選擇多個圖像部分使用有 關源圖像的對象級信息引導來改進。此外，選擇輸出圖像中的位置以放置那些 圖像部分是使用對象級信息來引導的。
圖9是經改進數字織錦或圖像混合的方法的流程圖。它包括使用上述方 法訪問有關多個源圖像的每一個的對象級信息(參見框90)。該對象級信息被 用來選擇要使用的源圖像區域(參見框91)。例如，對象類信息可結合指定標 準或規則使用以選擇有關圖像區域。如果例如存在許多人物圖像，則可指定僅 選擇閾值數量的圖像以包括在內。可指定標準或規則以使某些類的對象優于其 它類的對象，例如，草地或道路被給予比動物或人物低的優先級。給予在源圖 像中例如僅存在一個或兩個的稀有類對象優先級也是可能的。
對象級信息也可用來針對所選源圖像區域自動選擇輸出圖像中的位置 (參見框92)。例如，源圖像區域可被放置成使類天空的對象被置于靠近輸出 圖像的頂部。然后源圖像區域被混合以形成如上所述的數字織錦(參見框93)。 例如，在圖8中可看到包含天空的源圖像區域都被放置成使天空處于合成輸出 圖像的頂部。此外，人物圖像被選擇成使不同人物顯示，或者同一人物被顯示 一次以上，給出了該人物的不同姿勢。
使用對象級信息的超分辨率
超分辨率是從低分辨率圖像制作高分辨率圖像的過程。現有的超分辨率方 法在創建高分辨率圖像時忽略對象的類型，并因此常常填充不當的細節。現有 的超分辨率方法的一個示例在William T.Freeman、 Thouis R. Jones和EgonC. Pasztor在IEEE計算機圖形學和應用(2002年3/4月)中的文章"Example-based super-resolution"(基于示例的超分辨率)中給出。
圖IO是使用對象級信息改進超分辨率的方法的流程圖。源圖像具有比 輸出圖像低的分辨率。訪問有關如上所述源圖像的對象級信息(參見框IIO)。 然后訪問分辨率比源圖像高的圖像的碎片或小塊的數據庫(參見框110)。圖 像編輯系統選擇同一對象類或對象部分的碎片或小塊作為源圖像中的對象(參 見框112)，并使用所選的碎片或小塊來構建高分辨率圖像(參見框113)。
小塊和使用那些小塊填充的方法可如上在標題為"智能小塊平鋪"的小節中所 述，或者可使用任何其它適當方法。
使用對象級信息的自動裁剪
圖像編輯中共同需要的是裁剪圖像以創建美觀的圖像的能力，其中所述各 個所示對象的比例以及對象的相對位置和色彩是協調和悅目的。還需要的是能 裁剪圖像以符合特定要求，諸如護照照片，并以最為清楚和最可理解的方式示 出對象或場景。以前，藝術家和圖片設計者都手工裁剪數字圖像以實現這些目 的和類似的目的。然而，存在使非熟練用戶能有效地裁剪圖像并提供自動裁剪 圖像而無需人工干預的系統的需要。
圖ll是使用對象級信息自動裁剪源圖像的方法的流程圖。訪問有關如
上所述源圖像的對象級信息(參見框120)。然后圖像編輯系統訪問用于圖像
裁剪的規則、標準和/或模板(可以是或然的)。這些規則、標準和/或模板是 預先指定的。例如，它們基于有關專業藝術家和圖像裁剪者如何將給定數字圖 像變換成經裁剪圖像的經驗數據來創建。這些規則、標準和/或模板可與特定情 形相關聯，諸如護照圖片的模板、橫向照片的模板、縱向照片的模板、靜物對 象圖像的規則、移動對象圖像的規則等等。規則的一個示例是可在景觀場景的
圖像中保留1/3天空到2/3地面的比值。
然后選擇規則、標準和/或模板的適當之一 (參見框122)。該選擇可基 于用戶輸入或自動地基于源圖像中的對象級信息作出。例如，如果對象級信息 指示圖像包括前景中的人物和背景中的草地，則可選擇肖像照片模板。
然后使用所選規則、標準或模板裁剪源圖像(參見框123)。
使用對象級信息的自動色彩平衡
常常會是這樣的情形由于偽像和其它處理，給定數字圖像的色彩分布不 真實、不美觀或不準確。在這些情形中，通過反復試驗手動或半自動地改變色 彩分布是已知的。我們通過允許使用對象級信息來引導和改進色彩平衡來對此 作出改進。
圖12是使用對象級信息自動使圖像色彩平衡的方法的流程圖。訪問有關
如上所述源圖像的對象級信息(參見框130)。然后對源圖像中對象的色彩細
節與有關同類對象的預先指定的色彩細節作出比較(參見框131)。例如，假 設圖像包括類草地的對象。實際圖像中該對象的色彩分布可能會偏向一特定 值，其與類草地對象的已知的、預先指定的色彩分布顯著不同。這兩個色彩分 布之間的差異提供關于應當如何調節整個源圖像的色彩分布以提供更為真實 和/或悅目的結果的指示。所比較的色彩細節可以是色彩分布、色彩值、特定色 彩統計數據或任何其它適當的色彩信息。然后基于該比較調節源圖像的色彩成 為可能(參見框132)。可僅改變該對象的色彩或改變整個圖像的色彩。
觸摸剪切(TouchCut)
如在本文中所述的對象級信息在圖像編輯系統中的使用是特別有利的， 因為它允許單擊(或單個用戶動作)對象選擇。此能力對通常需要單獨編輯圖 像中的給定對象、或獨立于該圖像的其余部分對其進行編輯的圖像編輯者而言 特別有用。以前，使用套索工具、繪畫工具等來手動圈出所需對象來選擇它們 是必要的。這是耗時的，并且需要精細的手工技巧和專門技能。本申請的單擊 對象選擇避免了這些問題，并且在本文中還被稱為觸摸剪切。
圖B是這種方法的流程圖。訪問有關如上所述源圖像的對象級信息(參 見框140)。然后圖像編輯系統接收選擇源圖像中對象的用戶輸入。該用戶輸 入可以是任何適當類型的，諸如鼠標點擊、觸摸屏事件、按鍵按壓、聲音或其 它用戶輸入。為了選擇該對象，用戶輸入只需要作出單個用戶動作(參見框 141)。這是優于對象一般必須通過圈出其邊界來選擇的現有技術的極大改進。 然后圖像編輯系統選擇對象(框142)并且可以或可以不通過用戶界面來作出 此指示，例如通過突出顯示所選對象、在所選對象周圍呈現閃爍邊界或以其它 方式。
圖14示出與草地背景形成對照的一群四頭奶牛的源圖像20。觸摸剪切被 用來選擇前景對象，即一群四頭奶牛22。這以在源圖像20的包括奶牛的區域 內的任何地方單擊鼠標來實現。
一旦觸摸剪切被用來選擇對象，該對象就可以任何方式進行操縱，例如通 過改變其色彩、焦距或大小，通過對該對象添加邊界，添加陰影，改變該對象
相對圖像中的其它對象的深度排序，或以任何其它適當方式來強調該對象。或 者，這種動作或操縱可對源圖像的未選部分作出。
現在討論其中所選對象被另一圖像所替換的特定實施例。
智能替換(SmartReplace)
圖15示出圖像編輯系統的使用智能替換的示例用戶界面顯示。第一用戶 界面顯示50包括停在其上面可看到天空的建筑物之前的草地上的飛機的圖像。 在該第一用戶界面顯示50中，可看到已使用觸摸剪切或以任何其它適當方式 選擇了天空對象54。在該示例中，選擇由天空對象54周圍的虛線邊界指示。 此外，呈現了要對該天空對象執行的可能動作的菜單53。在本示例中該菜單包 括選項替換和色彩電平。
假設用戶選擇了替換選項，則呈現顯示51。命令條呈現以指示替換功 能現在可用，并提供兩個示例天空對象實例55以用來替換現有天空。用戶選 擇這些對象實例之一并點擊應用。第一顯示50的天空對象然后被如第二顯示 51中所示的所選天空對象實例替換。
假設用戶接著擦除建筑物對象和草地對象并用天空來填充這些圖像區 域，則在第三顯示52中指示僅示出結果為以天空為背景的飛機。已使用天空 來填充先前被建筑物和草地占據的區域。在該顯示中，命令條現在示出擦除飛 機對象或再次填充的選項56，并且這可在需要時忽略對象標簽57來實現。
因而，智能替換涉及使用有關所選對象的對象級信息來選擇用其替換所選 對象的適當材料。圖16是智能替換方法的流程圖。
對于源圖像中的所選對象，圖像編輯系統訪問有關該對象和/或整個源 圖像的對象級信息(參見框170)。然后從數據庫中選擇基準對象(參見框171)。 基準對象優選地屬于與所選對象相同的類或相關的類。例如，晴空可被多云天 空所替換。或者，不清晰的奶牛的圖像可被馬的圖像所替換。該選擇還可基于 有關整個源圖像的對象級信息作出。例如，該信息可指出該源圖像是景觀照片 以使不適于包括在該景觀中的對象實例不被選擇。下一階段涉及用基準對象替 換所選對象(參見框172)。這以本領域技術人員所知的任何適當方式來實現。 在特定實施例中，智能替換過程包括對象合成。例如，假設需要通過替換人物
的特定實例的頭發來改變該人物的圖像。在該情形中，對象級信息被用來標識 和定位人物圖像的頭發對象部分。從數據庫中挑選小塊以使這些小塊來自頭發 對象部分的另一實例。然后使用那些所選小塊來替換圖像中的現有頭發。這樣， 特定類的新對象實例被創建；該新對象實例還不是該數據庫的一部分。
智能景深操縱
對象級信息還可用于智能景深操縱。例如，圖17示出來自圖像編輯系 統的兩個用戶界面顯示180、 181。第一用戶界面顯示180示出人物31站在前 景，而草地區域延伸到背景的源圖像。觸摸剪切或任何其它適當方法被用來如 上所述地選擇人物31 。菜單32呈現以指示可能的相關于人物31的圖像的動作。 這些包括例如擦除、聚焦、修復紅眼和色彩電平。假設選擇聚焦。這在第二用 戶界面顯示181中的命令條中指示。提供設置了用于調節模糊度的滑動條33， 并且在模糊度值被選擇為高時，結果在顯示181中示出。可看出人物31的圖 像被保留在焦距處，而模糊被應用于圖像的其余部分。然而，這不是必須的。 景深可考慮對象級信息以任何適當方式進行調節。
用戶界面改進
還改進了使用對象級信息的圖像編輯系統的用戶界面。這通過安排用戶界 面以使經由界面呈現給用戶的編輯選項基于與所選對象相關聯的對象級信息 選擇來實現。例如，在圖5中，與人物31的所選圖像相關聯的菜單32包括適 于對人物圖像進行操作的選項。這些包括擦除、聚焦、修復紅眼、色彩/電平。 作為對比，圖15示出與對象、天空相關聯的菜單53。該菜單僅呈現替換和色 彩/電平的選項。這是因為諸如修復紅眼和聚焦的操作對類天空對象不適用。為 了實現該類，特定編輯選項被指定并且可被圖像編輯系統訪問。菜單選項可取 決于對象類的屬性，例如，它是否被結構化或者它是否屬于例如車輛的更大類。 圖18是提供使用對象級信息的圖像編輯系統的用戶界面的方法的流程 圖。訪問有關在用戶界面上顯示的圖像的對象級信息(參見框190)。然后選 擇圖像中的對象(參見框191)。例如，這是使用用戶輸入實現的或者是由編 輯系統自動執行的。然后訪問來自指定類特定編輯選項庫的類特定編輯選項。
適于所選對象類的編輯選項被訪問(參見框192)并通過用戶界面呈現(參見 框193)。
本領域的技術人員將認識到用于存儲程序指令的存儲設備可分布在網 絡上。例如，遠程計算機可存儲描述為軟件的該過程的示例。本地或終端計算 機可訪問遠程計算機并下載該軟件的一部分或全部以運行該程序。可替換地， 本地計算機可按需下載軟件的片斷，或者可以在本地終端上執行一些軟件指令 而在遠程計算機(或計算機網絡)上執行一些軟件指令。本領域的技術人員將 認識到，通過使用本領域技術人員已知的常規技術，軟件指令的全部或部分可 由專用電路如DSP、可編程邏輯陣列等來執行。
如對于本領域的技術人員而言，顯然此處給出的任何范圍或者設備值可以 被擴展或者改變而不失去所尋求的效果。
文本中描述的各方法步驟可以在需要時按任何合適的次序或同時執行。 可以理解，上面對于較佳實施例的描述僅僅是作為例子給出的，而本領
域的技術人員可以做出多種改變。
盡管本示例在本文中被描述和例示為在針對數字靜止圖像的圖像編輯
系統中實現，但所述系統作為示例而非限制提供。如本領域技術人員將理解地， 本示例適于在各種不同類型的圖像處理系統中應用，諸如視頻處理、醫療圖像 操縱系統、虛擬現實系統、計算機游戲演示系統、以及嵌入相機的編輯工具。
權利要求
1. 一種編輯源數字圖像的方法，包括以下步驟(i)訪問自動生成的有關所述源數字圖像的對象級信息，該信息包括將所述圖像分成一個或多個對象的分割，以及針對各個對象的所述對象是其成員的類的細節。(ii)基于所述對象級信息自動處理所述源數字圖像以形成輸出數字圖像。
2. 如權利要求1所述的方法，其特征在于，所述對象級信息包括以下的任 一個有關至少一部分所述對象的深度排序的信息；對象屬性；以及有關所 述對象部分的位置的信息。
3. 如權利要求1或2所述的方法，其特征在于，還包括組合所述源數字 圖像的至少一部分與一個或多個基準數字圖像以形成所述輸出數字圖像，且其 中所述方法包括訪問自動生成的有關所述基準數字圖像的對象級信息，該信 息包括將所述基準圖像分成一個或多個對象的分割，以及針對各個對象的所述 對象是其成員的類的細節。
4. 如權利要求1所述的方法，其特征在于，所述方法針對多個源數字圖像 實現以創建單個輸出圖像，且其中所述輸出圖像基于有關各個源圖像的對象級 信息自動形成。
5. 如權利要求4所述的方法，其特征在于，包括基于所述對象級信息選擇 所述源圖像的多個部分以包括在所述輸出圖像中。
6. 如權利要求4或5所述的方法，其特征在于，包括基于所述對象級信息 選擇所述輸出圖像中的位置以定位所述源圖像的多個部分。
7. 如權利要求1所述的方法，其特征在于，所述源圖像與所述輸出圖像相 比具有低分辨率。
8. 如權利要求7所述的方法，其特征在于，所述處理所述源圖像的步驟 (ii)包括訪問分辨率比所述源圖像高的圖像的數據庫，以及基于所述對象級信 息從所述數據庫中選擇圖像以在形成所述輸出圖像時使用。
9. 如權利要求1所述的方法，其特征在于，所述輸出圖像從源圖像裁剪， 并且其中所述處理所述源圖像的步驟(ii)包括基于所述對象級信息自動裁剪所 述源圖像。
10. 如權利要求9所述的方法，其特征在于，進一步包括基于從多個指 定模板、規則或標準中選擇的模板、規則或標準自動裁剪所述源圖像。
11. 如權利要求1或2所述的方法，其特征在于，所述處理源圖像的步驟(ii)包括基于所述對象級信息調節所述源圖像的色彩平衡。
12. 如權利要求1或2所述的方法，其特征在于，所述處理源圖像的步 驟(ii)包括僅接收單個用戶輸入以選擇所述源圖像中的對象，并經由用戶界面向用戶呈現關于作為所述單個用戶輸入的結果選擇所述源圖像中的哪個對象 的指示，所述選擇已由用戶用單個動作作出。
13. 如權利要求12所述的方法，其特征在于，還包括安排所述用戶界面以使經由所述界面呈現給用戶的編輯選項基于與所選對象相關聯的所述 對象級信息選擇。
14. 如權利要求12或13所述的方法，其特征在于，還包括修改所選對象的色彩、焦距或深度次序的任一個。
15. 如權利要求1或2所述的方法，其特征在于，所述處理源圖像的步 驟(ii)包括用來自數據庫的選定對象或對象部分的圖像替換所述源圖像中對象 或對象的一部分，且其中所述對象或對象部分的選擇基于所述對象級信息作 出。
16. —種編輯源數字圖像的裝置，包括(i) 接口，安排成訪問自動生成的有關所述源數字圖像的對象級信息，該 信息包括將所述圖像分成一個或多個對象的分割，以及針對各個對象的所述對 象是其成員的類的細節。(ii) 處理器，安排成基于所述對象級信息自動處理所述源數字圖像以形成 輸出數字圖像。
17. 如權利要求16所述的裝置，其特征在于，所述對象級信息包括以 下的任一個有關至少一部分所述對象的深度排序的信息；對象屬性；以及 有關所述對象部分的位置的信息。
18. 如權利要求16或17所述的裝置，其特征在于，所述處理器被安排 成組合所述源數字圖像的至少一部分與一個或多個基準數字圖像以形成所述 輸出數字圖像，且其中所述接口被安排成訪問自動生成的有關所述基準數字圖 像的對象級信息，該信息包括將所述基準圖像分成一個或多個對象的分割，以 及針對各個對象的所述對象是其成員的類的細節。
19. 一種包括計算機程序代碼裝置的計算機程序，當所述程序在計算機 上運行時適于執行權利要求1至15中任一項的所有步驟。
20. 如權利要求19所述的計算機程序在計算機可讀介質上具體化。
全文摘要
描述使用有關數字圖像中對象的信息來編輯這些圖像的系統和方法。例如，有關對象的信息包括深度排序信息和/或有關各對象是其成員的類的信息。類的示例包括天空、建筑物、飛機、草和人物。該對象級信息被用來提供新的和/或經改進的編輯功能，諸如剪切和粘貼、使用小塊或拼縫物填入圖像區域、數字織錦、消光生成、超分辨率、自動修剪、自動色彩平衡、對象選擇、景深操縱、以及對象置換。此外，描述使用對象級信息對用于圖像編輯系統的用戶界面的改進。
文檔編號G06F17/24GK101390090SQ200780006769
公開日2009年3月18日 申請日期2007年2月8日 優先權日2006年2月28日
發明者C·羅瑟, J·溫 申請人:微軟公司