專利名稱：一種基于多幅照片去除無關圖像的方法
技術領域：
本發明屬于圖像處理技術領域，涉及多幅照片的去除無關圖像的方法。
背景技術：
處于旅游旺季的風景名勝游客通常很多，照片中經常會有不相關的 游客出現在背景中。要想等待所有的游客都從畫面中離開需要很長的時 間或是根本不可能的。在很多拍照的時候只能將背景中的游客一同拍下 來，這往往破壞了畫面的完整性和美觀性。去除照片背景中的游客成為 一項很有實用價值的技術。
從單獨的一張照片中去除游客，在目前仍然是一件十分困難的任 務，因為被游客遮擋住的景物信息是無法完全真實地恢復。隨著數碼相 機和數碼存儲技術的進步，在同一個場景拍攝多幅照片在經濟上變得可 以接受。在實際生活中，景點中游客的移動是相當頻繁，盡管很難找到 一個時刻背景中一個游客也沒有，但是在不同的時刻，由于游客的移 動，景物被游客遮擋的情況是在不斷變化的。在一些時刻，某部分景物 被游客遮擋，但是在另外的時刻，這部分景物完整地展現出來。如果對 于同一個場景在大致相同角度的不同時刻拍攝多幅照片，那么，利用這 組照片之間相互補充的關系，只要某背景部分至少在一幅照片上是不被 遮擋，那么就可以恢復這部分背景。
發明內容
在某些游客眾多的旅游場景拍照，無法等到一個時刻場景中沒有任 何游客，這時只能拍攝到包含游客的照片，為了解決這個問題，本發明的目的是利用多幅照片中的互補信息，在用戶少量的參與下，將照片中 的無關圖像去除，并且能將被無關圖像遮擋的背景的真實情況恢復出 來，保持照片內容的真實性，為此，本發明提出了一種基于多幅照片的 去除無關圖像的方法。
為了實現上述目的，本發明基,于多幅照片的去除無關圖像的方法包 含以下步驟，
步驟S1:用戶對一個場景拍攝多幅照片；
步驟S2:選取多幅照片中包含無關圖像最少的照片做為主照片； 步驟S3:判斷主照片中有否無關圖像需要去除，如果有需要去除，
則執行步驟4;如果不需要去除，則執行步驟8;
步驟S4:在主照片中選定要去除無關圖像的無關圖像窗；
步驟S5:利用自動圖像配準技術匹配圖像特征，計算出無關圖像窗
在每幅非主照片中相應的位置，并且把這些位置處的圖像經過幾何變換
生成多個替換窗；
步驟S6:在多個替換窗中選擇一個只包含背景的替換窗；
步驟S7:選擇的替換窗中的圖像內容經過幾何變換后替換無關圖像
窗中的圖像內容來修改主照片，并依次執行步驟S3修改主照片；
步驟S8:依次將主照片中的所有無關圖像一一去除，獲得一張不包
含無關圖像的背景照片。
優選地，所述多幅照片拍攝是從一個大致相同背景的位置、按照大
致相同背景的角度、以一定的時間間隔拍攝；在這樣多幅照片中，場景
中的每一部分背景至少在其中的一張照片上出現一次。
優選地，所述無關圖像窗的形狀為矩形，只需至少部分包含無關圖
像，這個無關圖像窗口的尺寸被算法自動擴大以包含無關圖像周圍的背
景信息。
優選地，所述自動圖像配準使用SIFT圖像特征進行特征提取和特征 匹配，并使用迭代最小二乘法估計無關圖像窗與替換窗之間的幾何變換 參數。本發明的優點在于
(1) 可以將照片中的無關圖像或其他無關的移動物體去除，并且 能將被無關圖像遮擋的背景的真實情況恢復出來，保持照片內容的真實 性。
(2) 本方法的性能與被無關圖像遮擋的背景的復雜性無關，對于 被遮擋區域很大且包含很多細節形狀的情況仍然很好地適用。
(3) 用戶操作簡便，無需準確勾畫出要去除的無關圖像輪廓，只 需要在圖像中大致指定一個包含無關圖像的矩形窗口即可。
圖1是流程圖，表明了本發明圖像處理部分的算法過程。
圖2是輸入算法的一組示例圖像。
圖3是算法實施過程中的中間結果，其中
圖34是用戶選定客戶窗
圖32在無關圖像窗和照片2中算法自動提取的SIFT圖像特征
圖36算法自動找到無關圖像窗與照片2中的匹配特征點
圖34由照片2、 3、 4產生替換窗交給用戶選擇
圖35臺階上的游客從主照片中被去除
圖36用戶選定主照片中剩下的另一位游客
圖37由照片2、 3、 4產生替換窗交給用戶選擇
圖4是算法對示例圖像生成的最后結果。
具體實施例方式
下面將結合附圖對本發明加以詳細說明，應指出的是，所描述的實 施例僅旨在便于對本發明的理解，而對其不起任何限定作用。
如圖1中的流程圖所示。首先由用戶在拍攝現場拍攝一組照片，在 這組照片中，場景中背景的每一部分至少在拍攝的多幅照片中的某一張上出現一次。在這組照片中，由用戶挑選一張比較清晰并包含無關游客 或移動物體最少的做為"主照片"。在主照片中，由用戶指定矩形窗口 包含想要去除的無關游客，即"無關圖像窗"。這以后，算法自動在無 關圖像窗和其他的非"主照片"的照片中提取局部圖像特征，并進行特 征匹配。利用匹配的圖像特征，算法計算出無關圖像窗在每幅非主照片 中相應的位置，并且把這些位置處的圖像經過幾何變換生成一系列"替 換窗"。對于一個無關圖像窗，由用戶挑選一個最合適的替換窗，算法 據此將主照片中無關圖像窗內部的內容替換為替換窗。按照這個步驟， 用戶依次將主照片中的所有無關游客一一去除，最后便得到一張不包含 任何游客的圖像。本發明的實施由兩部分組成，即"照片拍攝"和"照片處理"，如 圖1所示。照片拍攝由用戶使用數碼相機在拍攝現場完成。這些數碼照 片導入計算機，在計算機上運行本發明的算法程序進行照片處理。在照 片處理部分，本發明使用計算機視覺算法和少量的用戶交互自動將照片 中的游人去除。在照片拍攝部分，用戶對于同一個場景，在同一位置以相同的角 度，按照一定的時間間隔拍攝多幅照片。拍攝的時間間隔長短由用戶自 己根據場景中無關游客移動的頻率和速度進行把握。拍攝的原則是使得 場景中的所有景物至少在拍攝的多幅照片中的某一張上出現一次。需要 指出，如果某部分景物在拍攝的所有照片中都處于被某游客(可能不是 同一個游客)遮擋的狀態，那么本發明對此也無能為力，用戶在拍攝時 需要留意這種情況并盡量避免。在拍攝中，用戶可以不使用三腳架，手 持照相機拍攝即可。雖然要求多幅圖像的拍攝位置和角度應該盡量保持 一致，但即使拍攝的位置和角度存在偏差，本發明中采用的計算機視覺 算法仍然可以對其進行修正。為了后繼照片處理方便，建議用戶保持照 相機的拍攝參數固定(如光圈、焦距、快門速度)。在照片處理部分，首先由用戶從這組多幅照片中選出一張比較清晰 同時包含游客最稀疏的照片作為"主照片"。然后，用戶通過鼠標在主照片中指定"無關圖像窗"，即一個大致包含想要去除的無關游客的矩 形窗口。為了保證無關圖像窗中包含有足夠多的可供后面的圖像匹配算 法使用的信息，實際的無關圖像窗把用戶指定的矩形的尺寸擴大一倍， 這樣就把用戶指定的矩形的周圍的圖像內容也包含進去作為新的無關圖 像窗。本發明的圖像特征提取部分使用了 SIFT圖像特征，SIFT特征是具 有很強判別能力的局部圖像特征描述子，在光線強度變化、圖像發生相 似變換等條件下仍然能夠可靠地找到正確的對應點，在與其它局部圖像 描述子的比較中顯示出出色的性能。使用SIFT特征可以保證在兩幅圖像 之間存在著拍攝位置和角度差異的情況下，仍然能夠得到正確的匹配。 在圖像特征匹配部分，算法使用最近鄰和次近鄰比值法挑選出比較可靠 的匹配特征。在估計圖像幾何變換時，算法使用了迭代最小二乘法從而 使得算法更加魯棒，對于錯誤的匹配點不敏感。在特征提取部分，本發明使用Lowe等人的SIFT特征(Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image . David G. Lowe, US Patent 6,711,293 (March 23， 2004). Provisional application filed March 8, 1999. Asignee: The University of British Columbia.)。算法從無關圖像窗中提取SIFT特征點 及其描述子，其集合計為FTW;設共有m幅非"主照片"的照片，從其 中提取的SIFT特征集合計為Fj， i E {1,2, ..., m}。在Ftw和毎個Fi之間尋找匹配的特征點集合。對于Ftw中的毎個 SIFT特征:PjEFtw，計算Pj與Fi中的每個SIFT特征點的距離，如果最 小的距離與第二小的距離的比值大于閾值0.6，那么計Pj為匹配點，并 記錄它在Fi中相應的匹配點為Qj，這樣便得到Ftw和F,之間匹配特征點 的集合(Pj,Qj^。這里我們認為"無關圖像窗"與第i幅照片之間的幾何變換關系Ai 滿足一個射影變換，則Ai是一個3X3的矩陣(馬頌德，張正友，《計 算機視覺》，科學出版社，1998)。設FTW中某點的齊次坐標為[u v l]， Fj中某點的齊次坐標為[xy l]，則有[uvl]-[xy l]*Ai。利用(P:，Qj產，我們使用迭代最小二乘法可以估計出Ai的參數(李 慶揚等，《數值分析》，華中理工大學出版社，1982)。利用Ai，可以 計算出無關圖像窗在第i幅照片中對應的窗口位置，這個窗口中的圖像 內容稱為第i幅照片中對無關圖像窗的"替換窗"。m幅圖像將產生m 個替換窗。如果無關圖像窗中被游客遮擋的背景內容至少在拍攝的多幅照片中 的某一張上出現一次，那么這m個替換窗中就至少有一個的內容是不包 含任何游客的背景。算法將m個替換窗依次顯示給用戶，由用戶挑選一 個合適的替換窗。算法使用選定的替換窗中的圖像內容替換無關圖像窗中的圖像內 容，從而將主照片中的這部分的游客去除。同樣，當用戶繼續指定另一 個無關圖像窗，算法按照上述的過程再次進行計算。依此類推直到用戶 不再繼續指定無關圖像窗為止。實施例圖2中是在哈爾濱索非亞教堂前拍攝的一組照片，這是哈爾濱的標 志性景點之一，時值周末，教堂前的游客絡繹不絕。圖2中的四幅照片 中都有游客在畫面中的不同位置。在本實施例中，我們使用的相機是 Sony DSC T9型數碼相機，拍攝過程為手持拍攝。注意，由于沒有使用 三腳架，手持相機拍攝的多幅照片之間存在著位置和角度的不同。本發 明的目的是通過這四幅照片，產生一幅不包含任何游客的照片。四幅照片被導入到計算機中并呈現給用戶。首先由用戶挑選出一張 主照片，后面的算法將以此為基礎產生的輸出照片。在這里，用戶挑選 游客數量最少的照片1作為主照片。然后用戶通過鼠標在主照片中選定一個矩形窗口，包含畫面中臺階上的游客，如圖34中的內矩形所示。圖 中的外矩形是算法自動將此矩形進行擴展以包含周圍的背景信息。外矩 形代表的無關圖像窗口中的圖像內容如圖34所示。本發明的算法自動在無關圖像窗口和照片2、照片3、照片4中提取 SIFT特征。以照片2為例，如圖3S所示。將無關圖像窗口中的SIFT特征分別與照片2、照片3、照片4中的 SIFT特征進行匹配，找到它們之間的對應關系，以照片2為例，如圖36 所示，兩幅圖中的同名點標以相同的數字記號。使用匹配的特征點，算法通過迭代最小二乘法估計出無關圖像窗口 在照片2、照片3、照片4中的位置，并把對應位置處的圖像經過幾何變 換與無關圖像窗口對齊生成替換窗口，如圖34所示，圖中分別是照片 2、照片3、照片4中產生的替換窗。可以很容易地看到，只有照片2產 生的替換窗中不包含任何其他游客，用戶將其選定，算法使用這個替換 窗替換主照片中當前無關圖像窗中的圖像內容，如圖3-5所示，無關圖像 窗中的游客被從畫面中去除，同時被他遮擋的背景完好真實地恢復出 來。按照上述同樣的過程，用戶繼續選定畫面中大門右側的游客，如圖 36所示。算法自動生成的替換窗如圖3-7所示。替換后的結果如圖4所 示。這時照片中已經沒有任何游客，算法結束。最后，我們得到了一幅 不包含任何游客的照片，照片背景中的索非亞教堂是完全真實的。上面描述是用于實現本發明的實施例，本領域的技術人員應該理 解，在不脫離本發明的范圍的任何修改或局部替換，均屬于本發明權利 要求來限定的范圍。
權利要求
1. 一種基于多幅照片去除無關圖像的方法，其特征在于，步驟如下步驟S1用戶對一個場景拍攝多幅照片；步驟S2選取多幅照片中包含無關圖像最少的照片做為主照片；步驟S3判斷主照片中有否無關圖像需要去除，如果有需要去除，則執行步驟4；如果不需要去除，則執行步驟8；步驟S4在主照片中選定要去除無關圖像的無關圖像窗；步驟S5利用自動圖像配準技術匹配圖像特征，計算出無關圖像窗在每幅非主照片中相應的位置，并且把這些位置處的圖像經過幾何變換生成多個替換窗；步驟S6在多個替換窗中選擇一個只包含背景的替換窗；步驟S7選擇的替換窗中的圖像內容經過幾何變換后替換無關圖像窗中的圖像內容來修改主照片，并依次執行步驟S3修改主照片；步驟S8依次將主照片中的所有無關圖像一一去除，獲得一張不包含無關圖像的背景照片。
2、 按照權利要求1中所述的方法，其特征在于所述多幅照片拍攝是從一個大致相同背景的位置、按照大致相同背 景的角度、以一定的時間間隔拍攝；在這樣多幅照片中，場景中的每一 部分背景至少在其中的一張照片上出現一次。
3、 按照權利要求1中所述的方法，其特征在于所述無關圖像窗的形狀為矩形，只需至少部分包含無關圖像，這個 無關圖像窗口的尺寸被算法自動擴大以包含無關圖像周圍的背景信息。
4、 按照權利要求1中所述的方法，其特征在于所述自動圖像配準使用SIFT圖像特征進行特征提取和特征匹配，并 使用迭代最小二乘法估計無關圖像窗與替換窗之間的幾何變換參數。
全文摘要
本發明提出了一種基于多幅照片去除無關圖像的方法，用戶拍攝多幅照片，利用多幅照片中的互補信息，將照片中的無關圖像去除，并且能將被游客遮擋的背景的真實情況恢復出來，保持照片背景內容的真實性。用戶只需在照片上指定一個包含無關圖像窗口，本發明會利用計算機視覺技術自動地在拍攝的多幅照片中搜索與這個窗口匹配的替換窗口，并且自動地將這些替換窗口進行幾何變換使之與原來照片無關圖像周圍的背景完全吻合，用戶只需選定一個只包含背景的替換窗口，即將照片中的無關圖像從照片中去除，同時把游客遮擋背景的真實情況完好地恢復。本發明還可以用來去除照片中其他的移動的不相關物體，如汽車等。
文檔編號G06T5/50GK101266685SQ200710064389
公開日2008年9月17日 申請日期2007年3月14日 優先權日2007年3月14日
發明者李煒明, 胡占義 申請人:中國科學院自動化研究所