專利名稱：生成全景圖像的裝置、方法及由記錄有運行該方法的程序的計算機可讀取的記錄介質的制作方法
技術領域：
本發明涉及生成全景圖像的裝置、方法及由記錄有運行該方法的程序的計算機可讀取的記錄介質。更具體而言，涉及一種生成自然地融合了拼接區域的圖像的全景圖像的裝置、方法及由記錄有運行該方法的程序的計算機可讀取的記錄介質。
背景技術：
過去，通過基于SLR(Single Lens Reflex，單鏡頭反光)相機的膠卷型圖像拍攝等古典的裝置及方法生成圖像。但是，最近普遍利用電荷耦合器件(CXD，charge-coupled device)、互補金屬氧化物半導體(CMOS，complementary metal oxide semiconductor)等光學傳感器來生成數碼圖像。基于這種數碼光學裝置的圖像拍攝隨著現代人的文化生活和領域的擴大，對其的利用更加擴大，對于多種輔助拍攝裝置及數碼圖像的處理裝置等的發展，隨其發展得到飛越性的發展。膠卷型圖像拍攝裝置及數碼拍攝裝置等圖像拍攝裝置基本上將通過鏡頭、光圈及快門等光學裝置流入的光學信息顯像到膠卷，或上述光學傳感器轉換生成為電能。但是，這種圖像拍攝裝置不可避免地受到面對被拍攝體的鏡頭的光角限制。為了克服上述限制而開發有根據不同用途的多種鏡頭組，但是在鏡頭的物理特性上無法完全消除其限制。一般來說，全景圖像作為為了克服如上所述的物理限制引起的制約，來滿足應用數碼圖像的使用人員的增加的多種需求而提出的一個方案，其表示利用相機的拍攝技法、 相機鏡頭的焦點的變化及數碼圖像處理等，來擴大能夠由鏡頭囊括被拍攝體的區域的圖像。S卩，將多個拍攝的圖像以橫向或縱向或它們的組合進行連接，形成一個寬大的圖像，如此形成的圖像被稱為全景圖像。為了生成全景圖像而提出的現有技術中的方法有如下方法生成通過多角度存在的多個相機拍攝的多個圖像的方法；在圖像拍攝裝置內，物理上調整鏡頭朝向被拍攝體的角度，生成進行角度調整的圖像并合成為全景圖像的方法等。如上所述的裝置或方法需要有額外的裝備，并較大地受到使用人員的運用方法等主觀因素的影響，且對于當前基本上提供圖像拍攝功能的便攜式終端機的便攜化及小型化需求來講，可以稱其為不適合的方法。最近，開發出便攜式終端機中也能夠生成全景圖像的方法及裝置。但是，在這種方法及裝置中，檢測兩個以上的圖像的拼接區域，并以拼接區域為基準結合為一個圖像。但是，如上所述結合的全景圖像存在有不自然的情況較多。其原因可能在于將三維空間的被拍攝體轉換為二維圖像的過程中產生的失真， 即，即使具有相同的長度，隨著與圖像傳感器的距離增加而縮小顯示的現象。除此之外，可
5能是因為拍攝圖像裝置的光學鏡頭的物理特性，即，直線顯示為曲線的現象。并且，還可能是由于數碼自動相機的自動曝光及自動白平衡，使得相同的物體也顯示不同的亮度，或者表現為其它顏色。這種失真及不自然的合成能夠通過具有高運算能力的計算裝置中運行的PC用程序，得到復原或自然地再轉換。但是，具有有限的資源和有限的運算能力的便攜式終端機中難以完整地解決如上的操作。因此，尚未滿足現代人對能夠方便攜帶的圖像拍攝裝置上容易而簡便地自然合成全景圖像的方法的需求。
發明內容
為了解決上述問題，本發明的目的在于提供一種自然地融合原圖像之間的拼接區域，從而生成自然的全景圖像的裝置及方法。并且，為了在計算機中實現如上所述的方法，本發明的目的在于提供一種記錄有由計算機可識別并運行的程序的記錄介質。為了達到上述目的，根據本發明的一個方面的全景圖像生成裝置包括圖像獲取部，其依次獲取多個圖像；拼接區域獲取部，作為上述多個圖像中的某一個的第一圖像和要與上述第一圖像結合的第二圖像相互重復的拼接區域，獲取具有細部區域的上述拼接區域，上述細部區域是與作為上述第二圖像結合于上述第一圖像的方向的結合方向垂直地分割而形成的；以及全景生成部，其利用針對上述細部區域進行定義的加權函數，以上述細部區域為單位，融合(blending)而結合相當于上述第一圖像的上述拼接區域的區域和相當于上述第二圖像的上述拼接區域的區域，來生成全景圖像。根據上述全景圖像生成裝置的一例，上述全景生成部包括拼接區域融合部，其利用相當于上述第一圖像和上述第二圖像的上述拼接區域的像素的顏色信息及通過上述加權函數計算的上述各個細部區域的加權值，來計算融合拼接區域；以及全景結合部，其將上述第一圖像的不屬于上述拼接區域的區域、上述融合拼接區域以及上述第二圖像的不屬于上述拼接區域的區域結合為上述全景圖像。上述拼接區域融合部以上述細部區域為單位，從相當于上述第二圖像的上述細部區域的像素的顏色信息中減去相當于上述第一圖像的上述細部區域的像素的顏色信息來計算顏色信息偏差，上述細部區域的加權值乘以上述顏色信息偏差來計算加權顏色信息偏差，將上述加權顏色信息偏差加到相當于上述第一圖像的上述細部區域的像素的顏色信息，由此計算上述融合拼接區域。上述拼接區域融合部以上述細部區域為單位，利用上述細部區域的加權值，對相當于上述第一圖像的上述細部區域的像素的顏色信息和相當于上述第二圖像的上述細部區域的像素的顏色信息進行加權平均，來計算上述融合拼接區域。根據上述全景圖像生成裝置的另一例，上述全景生成部包括圖像線加載部，其沿著上述結合方向依次加載垂直于上述結合方向并由上述第一圖像和上述第二圖像的像素構成的線；拼接區域判斷部，其判斷上述線是否屬于上述拼接區域；全景依次生成部，如果上述線不屬于上述拼接區域，則將上述線插入到相當于上述全景圖像的上述線的位置，如果上述線屬于上述拼接區域，則加載與上述線拼接的上述第二圖像的拼接線，利用通過上述加權函數計算的上述線所屬的上述細部區域的加權值，決定上述線和上述拼接線的最終線，將上述最終線插入到相當于上述全景圖像的上述線的位置。上述細部區域的數量可以與朝向上述拼接區域的上述結合方向的像素數量相同。 并且，上述細部區域的數量也可以改變。根據上述全景圖像生成裝置的又一例，上述加權函數是如下的單調遞增函數當上述細部區域的數量為L時，將0至L+1的整數作為輸入變數，當上述輸入變數為0時，上述加權函數的值為0，當上述輸入變數為L+1時，上述加權函數的值為1。此時，上述加權函數可以是線性函數。根據上述全景圖像生成裝置的再一例，還包括圖像校正部，該圖像校正部選擇具有相當于第一圖像和第二圖像的上述拼接區域的相同位置的規定數量的像素，分別計算上述像素的顏色信息的平均值，使上述平均值的比率乘以屬于上述第一圖像或上述第二圖像的所有像素的顏色信息。此時，上述比率能夠乘以屬于上述第一圖像或上述第二圖像的所有像素的顏色信息。為了達到上述目的，根據本發明的另一方面的全景圖像生成方法包括如下步驟 圖像獲取步驟，依次獲取多個圖像；拼接區域獲取步驟，作為上述多個圖像中的某一個的第一圖像和要與上述第一圖像結合的第二圖像互重復的拼接區域，獲取具有細部區域的上述拼接區域，上述細部區域是與作為上述第二圖像結合于上述第一圖像的方向的結合方向垂直地分割而形成的；以及全景生成步驟，利用針對上述細部區域進行定義的加權函數，以上述細部區域為單位，融合而結合相當于上述第一圖像的上述拼接區域的區域和相當于上述第二圖像的上述拼接區域的區域，來生成全景圖像。為了達到上述目的，根據本發明的又一方面的由計算機可讀取的介質，在計算機中記錄用于運行上述全景圖像生成方法的程序。在本發明的全景圖像生成裝置及方法中，應用基于像素距離的加權值，對作為全景圖像對象的原圖像的拼接區域進行融合，從而能夠生成自然結合的全景圖像。并且，鑒于便攜式終端機的圖像拍攝裝置的特性，對自動變化的曝光及白平衡重新進行調整，從而在除拼接區域以外的剩余區域之間也能夠實現自然的合成。更進一步，根據本發明的裝置和方法，即使使用簡單的計算過程和較小的資源也能夠生成自然的全景圖像，因此能夠生成更加適于移動終端的硬件環境的全景圖像。
將通過參照附圖對例示性實施例進行的說明，使得本發明的上述特征和優點以及其他特征和優點更為明確。圖1是根據本發明一實施例的全景圖像生成裝置的框圖；圖2是根據本發明一實施例的圖1的全景圖像生成裝置的全景生成部的框圖；圖3是根據本發明另一實施例的圖1的全景圖像生成裝置的全景生成部的框圖；圖4至圖8是表示為了說明本發明一實施例的全景圖像生成過程而提供的示意圖；圖9是根據本發明一實施例的全景圖像生成方法的流程圖；圖10是根據本發明一實施例的圖9的全景圖像生成方法中的全景生成過程的框圖；圖11是根據本發明另一實施例的圖9的全景圖像生成方法中的全景生成過程的框圖；圖12是選擇性地包括在圖9的全景圖像生成方法中的圖像校正過程的流程圖；圖13和圖14是融合發生之前和之后的全景圖像。
具體實施例方式以下，參照附圖對本發明的實施例進行更加詳細的說明。在此之前，本說明書及權利要求書中使用的術語和單詞不能被限定解釋為通常或詞典上的含義，立足于發明人為了按照最優的方法說明自己的發明可以適當地定義術語的概念的原則，應當被解釋為符合本發明的技術思想的含義和概念。因此，本說明書中記載的各實施例和附圖中圖示出的結構，是為了向相應技術領域中的普通技術人員更加完整地說明本發明而提供的。這種實施例只不過是例示性的實施例，并不代表本發明的全部技術思想，在本申請的起點上，應當理解存在有可代替上述實施例的多種等同物和變形實施例。在對本發明詳細說明之前，對于說明本發明時所需的術語及定義等進行簡單闡述。通常，作為圖像處理的基本的圖像的顏色空間根據顏色混合的觀點、與人體的視覺體系的類似性等觀察顏色空間的觀點能夠表現為RGB (紅綠藍)、CMYK (cyan青色、 magenta品紅色、yellow黃色、key black黑色)、HS系列、CIE(國際發光照明委員會， Commission Internationale de' Eclairage)、Y系列等多種空間。通過簡單的數學變換式將表現為任意的形態的顏色空間變換為其它顏色空間，這對于本領域技術人員來說是顯而易見的。并且，輸入圖像由多個像素的和來表現，各像素將具有與之相應的圖像信息(明度、顏色、彩度等)。通常，圖像信息被區分為0到255階段并顯示為8位(bit)的信息。但是，根據應用的環境，圖像信息當然可以多樣地變更為10、12位等。因此，作為本發明的一個例子表現的一個顏色空間坐標系可以相同或類似地適用于其它顏色空間坐標系，輸入圖像中的一個像素所具有的圖像信息的位(bit)大小，應當被理解為其只不過是本發明的一個例子。圖1是根據本發明一實施例的全景圖像生成裝置100的框圖。參照圖1，本發明一實施例的全景圖像生成裝置100包括圖像獲取部110、拼接區域獲取部120及全景生成部130。全景圖像生成裝置100選擇性地包括圖像校正部140。圖像獲取部110依次獲取要結合為全景圖像的多個圖像。依次獲取的圖像是指要合成或結合的至少2個原圖像。圖像獲取部110可獲取結合為水平全景圖像或結合為垂直全景圖像的圖像。或者，圖像獲取部110可依次獲取要結合為基于水平垂直的組合OX2、2X3、3X3等)的全景圖像的圖像。只是在此情況下，依次獲取的圖像之間可能不會重疊。即，第一圖像和第三或第四圖像的一部分會相互重疊。要結合為全景圖像的多個圖像可從全景圖像生成裝置100的外部接收，也可以由全景圖像生成裝置100中包括的相機部(未圖示)直接拍攝并獲取。
對此參照圖4進行更加詳細的說明。拼接區域獲取部120獲取作為由圖像獲取部110依次獲取的多個圖像中的某一個圖像的第一圖像和要與第一圖像結合的第二圖像相互重復的拼接區域。為了獲取拼接區域，提取第一及第二圖像的特征點，通過提取出的特征點的圖案拼接，使第一及第二圖像的坐標相對應。通過如此對應的坐標能夠獲取拼接區域。拼接區域被區分為多個細部區域。細部區域的數量越多，全景圖像將更柔和地進行結合。對此參照圖4進行更加詳細的說明。全景生成部130利用對于各個細部區域進行定義的加權函數，以細部區域為單位，融合而結合相當于第一圖像和第二圖像的拼接區域的區域，來生成全景圖像。如此生成的全景圖像將柔和地連接第一圖像和第二圖像的顏色信息，以便除了顏色方面以外，在補償失真方面也實現自然的結合。對此參照如下的圖2及圖3進行更加詳細的說明。選擇性地包括在全景圖像生成裝置100中的圖像校正部140，選擇具有相當于第一圖像和第二圖像的拼接區域的相同位置的規定數量像素，分別計算被選擇的像素的顏色信息的平均值，計算出第一平均值和第二平均值，將第一平均值和第二平均值之間的比率反映到屬于第一圖像或第二圖像的所有像素。通過如上所述進行圖像校正，將第一圖像和第二圖像的拍攝瞬間所決定的曝光值及白平衡相互類似地對準，從而實現更加自然的結合。由于上述圖像校正部140選擇性地包括在全景圖像生成裝置100中，因此應當注意，在不背離本發明的保護范圍的情況下，可以省略圖像校正部140。對于圖像校正部140將參照圖12進行更加詳細的說明。圖2是表示本發明一實施例的圖1的全景圖像生成裝置100的全景生成部130a 的框圖。參照圖2，全景生成部130a包括拼接區域融合部131及全景結合部132。拼接區域融合部131利用相當于第一圖像和第二圖像的拼接區域的像素的顏色信息。并且，拼接區域融合部131通過加權函數計算各個細部區域的加權值，在融合拼接區域時利用對于各個細部區域的加權值。圖2中根據本發明一實施例，拼接區域融合部131以細部區域為單位，從相當于第二圖像的上述細部區域的像素的顏色信息中減去相當于第一圖像的上述細部區域的像素的顏色信息，來計算顏色信息偏差。隨后，拼接區域融合部131將通過加權函數計算的上述細部區域的加權值乘以顏色信息偏差來計算加權顏色信息偏差。最后，拼接區域融合部131 將加權顏色信息偏差加到相當于第一圖像的上述細部區域的像素的顏色信息，來計算融合拼接區域。拼接區域融合部131對屬于所有細部區域的所有像素執行上述過程，來計算融合拼接區域。根據本發明的另一實施例，拼接區域融合部131以細部區域為單位，利用上述細部區域的加權值，對相當于第一圖像的上述細部區域的像素的顏色信息和相當于第二圖像的上述細部區域的像素的顏色信息進行加權平均。拼接區域融合部131將如此加權平均的值分配為融合拼接區域的相應像素的顏色信息的值。通過對屬于所有細部區域的所有像素
9執行上述過程，拼接區域融合部131計算出融合拼接區域。對于該拼接區域融合部131將參照圖4進行更加詳細的說明。全景結合部132結合第一圖像的不屬于拼接區域的區域和融合拼接區域以及第二圖像的不屬于拼接區域的區域。通過如此的結合，全景結合部132將生成全景圖像。圖3是根據本發明一實施例的圖1的全景圖像生成裝置100的全景生成部130b 的框圖。參照圖3，全景生成部130b包括圖像線(image line)加載部135、拼接區域判斷部136及全景依次生成部137。圖像線加載部135依次加載由第一圖像和第二圖像的像素構成的線。該線垂直于第一圖像和第二圖像的結合方向。拼接區域判斷部136判斷由圖像線加載部135加載的線是否包含于拼接區域。如果被加載的線不包含于拼接區域，全景依次生成部137則將被加載的線直接插入到全景圖像的相應位置。相反，如果被加載的線包含于拼接區域，全景依次生成部137則加載與被加載的線對應的要結合的圖像的拼接線。隨后，對被加載的線和拼接線進行結合， 此時，如上所述的方法那樣，利用被加載的線所處的細部區域和該細部區域的加權值進行結合。其結果，將生成最終線。并將生成的最終線插入到全景圖像的相應位置。對此以下參照圖4進行更加詳細的說明。圖4至圖8是表示用于說明根據本發明一實施例的生成全景圖像的過程的示意圖。參照圖1和圖4，其例示性地圖示出從圖像獲取部110依次獲取的多個圖像中的2 個圖像302,304ο如上所述，圖像獲取部110依次獲取要結合為全景圖像的多個圖像。以下說明將第一圖像302和第二圖像304結合為水平全景圖像的過程。此時，第一圖像302是從圖像獲取部110獲取的任意一個圖像，第二圖像304是為了構成全景圖像而要與第一圖像302結合的圖像。并且，假設第一圖像302和第二圖像304具有nXm的分辨率。但是，本發明的技術思想的范圍并不局限于全景圖像的結合方向或要結合的圖像的數量及大小。拼接區域獲取部120獲取第一圖像302和第二圖像304相互重復的拼接區域。為了獲取拼接區域，提取第一圖像302和第二圖像304的特征點，例如“312”。特征點是指相比周邊區域成為特征，以能夠識別圖像的區域或點。例如，該特征點為相比周邊亮度高的點、較強的界限交匯的點或與鄰接像素具有規定大小以上的變化的點。在不背離本發明保護范圍的情況下，該特征點可由多種提取方法確定。基于如此提取的特征點312，提取第一圖像302和第二圖像304之間的單應性 (homography)來執行多維變形(warping)。單應性是指為了結合第一圖像302和第二圖像 304，將一個圖像的像素坐標系相同地變換為另一圖像的像素坐標系。隨后，通過多維變形來補償圖像302、304自身具有的失真。例如，將特征點312中的某一個點作為基準。求出對于作為基準的特征點312的第一圖像302和第二圖像304中的坐標。例如，假設特征點312的第一圖像302中的坐標為(xl，yl)，第二圖像304中的坐標為(x2，y2)時，相當于第一圖像302的拼接區域的區域將被決定為(xl-x2, yl-y2)、(xl-x2, m)、(η, yl_y2)、(η, m)。此時，坐標系將圖像的左上端設定為(1，1)，而將右下端設定為(n，m)。并且，如圖4所示，在本實施例的情況下，假設第二圖像304結合于第一圖像302的右側。通過如上所述的過程，拼接區域獲取部120獲取第一圖像302和第二圖像304相互重疊的拼接區域。也可以選擇性地從圖像生成裝置100的外部接收拼接區域。例如，全景圖像生成裝置100的拍攝部(未圖示)拍攝第二圖像，以使第一圖像302的一部分與第二圖像304的一部分相互重疊，從而提供預先決定的拼接區域308。參照圖1和圖5，其圖示出決定了拼接區域308的第一圖像302和第二圖像304。拼接區域獲取部120通過獲取的拼接區域308可知第一圖像302和第二圖像304 相結合的方向。在生成水平全景的本例中，如圖5所示，如果拼接區域308位于第一圖像 302的右側，可知第二圖像304將要結合于第一圖像302的右側，此時的結合方向將是右側方向。相反，在生成垂直全景的另一例中，如果拼接區域308位于第一圖像302的下端，可知第二圖像304將要結合于第一圖像302的下端，此時的結合方向將是下側方向。圖1和圖5中，假設拼接區域308由dXm個像素構成。即，可以理解為拼接區域 308具有由m個像素構成的d個縱向線。拼接區域308以與結合方向垂直的方向分割拼接區域308，從而具有多個細部區域314。如果結合方向為右側方向，還能通過縱向分割拼接區域308來獲取多個細部區域 314。在圖1和圖5中，假設拼接區域308具有L個細部區域314。此時，由于像素是具有顏色信息的最小單位，因而L不能大于d。如后面所述，作為細部區域314的數量的L是能夠表現為柔和結合的程度的常數。 L越大，區分拼接區域308的細部區域314存在得越多，因而將更加柔和地進行結合。例如， 當作為細部區域314的數量的L被設定為與作為朝向拼接區域308的結合方向像素的數量的d相等時，使其在給定的圖像302、304之間最為柔和地進行結合。通過上面的過程，獲取包括相互要結合的至少2個圖像的多個圖像，并決定上述2 個圖像相互重復的拼接區域。以下，對全景生成部130進行詳細的說明。如上所述，全景生成部130可以是圖2中所示的全景生成部130a，也可以是圖3中所示的全景生成部130b。全景生成部130a對獲取的拼接區域執行運算后，結合非拼接區域 306、310和拼接區域來生成全景圖像。相反，全景生成部130b依次加載由第一圖像302和第二圖像304的像素構成的線并執行運算，從而依次生成全景圖像。這種方式有利于在畫面上顯示全景圖像。在對全景生成部130a、130b進行詳細的說明之前，參照圖6及圖7，說明對于細部區域314進行定義的加權函數W(X)和通過該函數計算的細部區域314的加權值。各個細部區域314的加權值通過加權函數W(X)進行計算。加權函數W(X)是將從 0到L+1的整數作為輸入變數的函數，具有0以上1以下的值。并且，當加權函數被輸入為 0時，具有0值，當被輸入為L+1時，具有1值。加權函數可以是具有隨著輸入次數增加而增加或者與其相等的值的單調遞增函數。例如，加權函數W(X)可以是如W(X) =x/(L+l)的線性函數，根據拍攝的圖像302、 304的特性，例如焦距、被拍攝體、拍攝裝置、拼接區域的大小，其可以是其它函數，例如是w(x) = 0. 5*sin[ π {x/(L+l)_0. 5]+0. 5，w(x) = 0. 5*tan[ π {x/2(L+l)_0. 25}]+0. 5 或是 w(χ) =4{x/(L+l)-0. 5} 3+0. 5 該加權函數w(x)由使用人員的選擇進行變更。為了減少全景圖像生成裝置的運算負擔，加權函數W(X)被選擇為線性函數。加權函數W(X)的輸入稱為細部區域314的編號，輸入該編號的結果為相應細部區域314的加權值。例如，對于第a個細部區域的加權值是將a作為加權函數的輸入時的加權函數W(X)的結果值，即w (a)。其中，a顯而易見的是1以上L以下，假設細部區域314的編號由結合方向來進行設定。在圖6中所示的例中，最左側的細部區域314為第1個細部區域314，最右側細部區域314為第L個細部區域314。圖2中所示的拼接區域融合部131對相當于第一圖像302和第二圖像304的拼接區域308的區域進行融合。拼接區域融合部131計算從屬于相當于第二圖像304的拼接區域308的區域的所有像素的顏色信息值減去屬于相當于第一圖像302的拼接區域308的區域的所有像素的顏色信息值的顏色信息偏差。例如，如果相當于第一圖像302的拼接區域的特定坐標(i，j) 的像素Pl的顏色信息為(!·1^1，131)，與上述特定像素？1對應并相當于第二圖像304的拼接區域的坐標(i，j)的像素P2的顏色信息為(r2，g2，b2)時，顏色信息偏差將是(r2_rl， g2-gl，l32-bl)。此時，坐標(i，j)由局限于拼接區域的坐標系決定，假設拼接區域的左上端為(0，0)，拼接區域的右下端為(d，m)。并且，假設包括有相當于(i，j)的像素(P1，P2)的細部區域314的編號為a，加權函數W(X)中輸入a而得出的結果值，S卩加權值w (a)乘以顏色信息偏差。其結果，生成加權顏色信息偏差，該值為w (a) (r2-rl, g2_gl，l32-bl)。將加權顏色信息偏差加到相當于第一圖像的上述坐標(i，j)的像素Pl的顏色信息，生成最終拼接區域318。相當于最終拼接區域 318 的(i,j)的像素的最終顏色信息，將是(rl+w(a) (r2-rl), gl+w(a) (g2-gl),bl+w(a) (b2-bl))0對屬于拼接區域308的所有像素執行該過程，為了減少運算，作為加權函數的結果值的加權值按照相同的細部區域314單位執行。更具體而言，當細部區域314的數量L與朝向細部區域314的結合方向的像素數量d相等時，對應由縱向排列的像素構成的縱向線中的每個縱向線，分配加權值。并且，對加權函數為如W(x) = x/(d+l)的線性函數的例進行說明。按照上面的數學式，屬于最終拼接區域318的第i個線的像素具有(rl+i(r2-rl)/ (d+1)，gl+i (g2-gl) / (d+1)，bl+i (b2-bl) / (d+1))的最終顏色信息。選擇性地，拼接區域融合部131將屬于相當于拼接區域308的第一圖像302的所有像素的顏色信息值和屬于相當于拼接區域308的第二圖像304的所有像素的顏色信息值，以相應像素所屬的細部區域314的加權值進行加權平均，生成最終拼接區域318的最終顏色信息。例如，拼接區域308的坐標(i，j)的像素的顏色信息由將第一圖像302的坐標(i， j)的像素的顏色信息和第二圖像304的坐標(i，j)的像素的顏色信息分別以l-w(a)和 w (a)進行加權平均而進行計算。通過如上所述使用加權平均，無需求出屬于第一圖像302和第二圖像304的像素的顏色信息之差，從而減少運算量。
12
該過程也為了減少運算，按照加權函數的結果值相同的細部區域314單位來執行。為了說明本發明的技術思想，本說明書中使用RGB色坐標系進行說明，但是應當注意本發明并非限定于此。參照圖示有第一圖像302和第二圖像304結合的最終全景圖像的圖8，圖2中所示的全景結合部132將拼接區域融合部131中生成的最終拼接區域318與不相當于第一圖像 302的拼接區域308的區域306和不相當于第二圖像304的拼接區域308的區域310進行結合，從而生成全景圖像330。參照圖4的第一圖像302和第二圖像304，隨著拍攝位置位于被拍攝體的中心，與被拍攝體靠近的部分，即第一圖像302的右側和第二圖像304的左側，相比第一圖像302的左側和第二圖像304的右側更大地顯示。因此，第一圖像302中顯示的屋棚以正角傾斜，第二圖像304中顯示的屋棚以負角傾斜表現。這是起因于將三維空間表現為二維空間所發生的失真，即，即使是實際上相等的長度，根據與拍攝裝置的鏡頭的距離而不同地表現的顯像。該失真在制作為全景圖像時，該失真將以X字形態重疊顯示，或是實際上連接的線被表現為斷線，從而不自然地進行結合。但是，參照圖8的最終拼接區域318，用“A”標記的部分由平滑的曲線彎曲表現。 這是因為在結合第一圖像302和第二圖像304時利用加權值，從而顯示為一個曲線，而不是以X字形態重疊顯示。在使用具有寬廣的視角的廣角鏡頭的情況下，圖像的周邊部上顯示的直線也將被顯示為曲線，使得該現象被認為是自然的。圖13和圖14是經由如上所述的融合過程之前和之后的全景圖像的比較結果。特別是，在圖14的融合之前的圖中，第一圖像302和第二圖像304結合的部分由明確的線來區分，并相互錯開地拼接顯示。但是，在融合之后的圖中，可知錯開拼接的部分變得自然。現在，對圖3的全景生成部130b進行說明。參照圖3、圖4、圖5及圖8。圖像線加載部135按照線單位依次加載屬于第一圖像302和第二圖像304的所有像素。上述線與第一圖像302和第二圖像304結合的結合方向垂直，按照結合方向順序進行加載。參照圖5，從由位于第一圖像302的最左側的m個像素構成的最左側縱向線開始加載，接著加載與之相鄰的右側縱向線。如果按照如上所述的方式繼續加載，則會按照第一圖像302的非拼接區域306、第一圖像302的拼接區域308和第二圖像304的拼接區域 308、第二圖像304的非拼接區域310的順序進行加載。拼接區域判斷部136判斷圖像線加載部135中加載的線是否屬于拼接區域308。 對于拼接區域308的信息可從圖1中所示的拼接區域獲取部120獲取。全景依次生成部137根據拼接區域判斷部136的判斷結果，如果被加載的線屬于拼接區域308，則加載與被加載的線拼接的第二圖像304的拼接線。隨后，將被加載的線和拼接線利用上述線所屬的細部區域314的加權值來生成最終拼接線。由于利用加權值運算的過程已在上面進行說明，在此將省略。隨后，將最終拼接線插入到相當于被加載的線的位置，來生成全景圖像。如果拼接區域判斷部136判斷為被加載的線不屬于拼接區域，將其插入到相當于被加載的線的位置，來生成全景圖像。圖像線加載部135在加載屬于第一圖像302的所有像素后，加載第二圖像304的非拼接區域310。由此，全景生成部130b對所有像素執行上述過程，來生成全景圖像330。在生成最終拼接區域318的同時，圖3所示的全景生成部130b依次生成全景圖像 330，其運算量也不大，并且也不需要大容量的內存資源。圖3所示的全景生成部130b尤其有利于將全景圖像330實時地顯示在顯示裝置，或是向其它裝置傳輸數據。這是因為在對拼接區域308進行融合的同時，將融合的部分顯示在顯示器畫面。現在，對圖1中所示的圖像校正部140進行說明。如圖1所示，圖像校正部140位于拼接區域獲取部120與全景生成部130之間，在生成全景之前對圖像進行校正。參照圖4至圖8，圖像校正部140選擇相當于拼接區域308的第一圖像302和第二圖像304中具有相互拼接的位置的規定數量的像素。規定數量的像素是拼接區域308中包含的預先決定的、例如位于中央的一部分區域的像素。或者是，規定數量的像素按照預先決定的數量隨機選擇。或者是，規定數量的像素是屬于拼接區域308的所有像素。在理想狀態下，該像素在第一圖像302和第二圖像304中具有相同的顏色信息。 但是，由于第一圖像302和第二圖像304在不同的時間進行拍攝，無法準確地保持一致。因此，拍攝相同的被拍攝體的第一圖像302和第二圖像304之間也將具有不同的曝光值及白平衡。該曝光值及白平衡的差異導致第一圖像302和第二圖像304之間生成規定的差異。圖像校正部140將被選擇的規定數量的像素的顏色信息對第一圖像302和第二圖像304計算平均值，計算出第一顏色平均值及第二顏色平均值。例如，如果顏色信息使用RGB色坐標系，被選擇的像素的第一顏色平均值為(R1， Gl，Bi)，第二顏色平均值為(R2，G2，B2)。例如，如果第二圖像304的曝光值大于第一圖像302的曝光值，則第二圖像304則會相比第一圖像302更亮地表現，第二圖像304的像素將具有相對更高的顏色信息(例如 RGB)。即，對于被選擇的像素的第二圖像的顏色信息，R2+G2+B2值將大于作為第一圖像的顏色信息的R1+G1+B1值。并且，如果第二圖像304中的藍色系列的顏色較多，使圖像影像裝置600將白平衡向藍色側移動時，第二圖像304的像素將具有相對低的藍顏色信息。即，對于被選擇的像素的第二圖像的藍顏色信息即B2值將小于第一圖像的藍顏色信息即Bl值。圖像校正部140計算出作為第一顏色平均值和第二顏色平均值之差的顏色偏差或顏色比率。圖4至圖8中，顏色偏差可以是(R1-R2，G1-G2，B1-B2)，顏色比率可以是(R1/R2， G1/G2，B1/B2)。或者，也可以與之相反。圖像校正部140將計算出的顏色偏差或顏色比率反映到屬于第一或第二圖像的所有像素的顏色信息中。如果顏色偏差被定義為(R1-R2，G1-G2，B1_B》，則將上述顏色偏差加到屬于第二圖像304的所有像素的顏色信息中，由此能夠將第二圖像304的曝光值及白平衡校正為第一圖像302的曝光值和白平衡水準。相反，從屬于第一圖像302的所有像素的顏色信息中
14減去上述顏色偏差，由此能夠將第一圖像302的曝光值及白平衡校正為第二圖像304的曝光值和白平衡水準。與此相同，在顏色比率為(R1/R2，G1/G2，B1/B2)的情況下，屬于第一圖像302或第二圖像304的所有像素的顏色信息乘以或除以該顏色比率，使得第一圖像302和第二圖像 304的曝光值及白平衡相同地進行調整。在如上所述相同地調整曝光值和白平衡后，根據得到校正的第一圖像302或得到校正的第二圖像304生成全景時，能夠獲取更加自然地結合的全景。以上利用RGB色坐標系進行了說明，但是本技術領域的技術人員應當理解，本發明同樣適用于利用其它色坐標系的情況。現在，基于上述內容對全景圖像生成方法進行說明。圖9是根據本發明一實施例的全景圖像生成方法的流程圖。參照圖1和圖9，從圖像獲取部110獲取包括具有相互重復的區域的第一圖像和第二圖像的多個圖像(過程S10)。由于這部分在上面已進行詳細說明，在此省去詳細的說明。隨后，拼接區域獲取部120獲取第一圖像和第二圖像相互重復的拼接區域(過程 S20)。此時，拼接區域具有與作為第二圖像結合于第一圖像的方向的結合方向垂直地分割的細部區域。由于這部分在上面已進行詳細說明，在此省去詳細的說明。隨后，選擇性地，圖像校正部140對第一圖像或第二圖像進行校正(過程S40)。選擇具有相當于第一圖像和第二圖像的拼接區域的相同位置的規定數量的像素， 分別計算上述像素的顏色信息的平均值，將上述平均值的比率反映到屬于上述第一圖像或上述第二圖像的所有像素。該反映通過第一圖像或第二圖像乘以或除以上述比率來實現。 由于這部分在上面已進行詳細說明，在此省去詳細的說明。隨后，在全景生成部130生成結合第一圖像和第二圖像的全景圖像(過程S30)。 由于這部分在上面已進行詳細說明，在此省去詳細的說明。圖10是表示本發明第一實施例的全景圖像生成裝置的全景生成過程的流程圖。參照圖2和圖10，全景生成過程S30a包括拼接區域融合過程S31和全景結合過程 S32。拼接區域融合部131對相當于第一圖像和第二圖像的拼接區域的區域進行融合， 來生成融合拼接區域(過程S31)。由于這部分在上面已進行詳細說明，在此省去詳細的說明。在全景結合部132將融合拼接區域與第一圖像和第二圖像的非拼接區域進行結合，來生成全景圖像(過程S32)。由于這部分在上面已進行詳細說明，在此省去詳細的說明。圖11是根據本發明一實施例的圖9方法中的全景生成過程S30的流程圖。參照圖3和圖11，全景生成過程S30b包括圖像加載過程、拼接區域判斷過程及全景依次生成過程。在圖像加載部135按照線單位依次加載屬于第一圖像和第二圖像的所有像素，從而加載屬于第一圖像和第二圖像的所有像素(過程S35)。在拼接區域判斷部136判斷被加載的線是否屬于拼接區域(過程S36)。
如果被加載的線屬于拼接區域，全景依次生成部137則加載與被加載的線拼接的第二圖像的拼接線(過程S37)。隨后，將被加載的線和拼接線利用加權值來生成最終拼接線(過程S38)。隨后，將最終拼接線插入到相當于被加載的線的位置，來生成全景圖像(過程 S39)。如果判斷為被加載的線不屬于拼接區域，全景依次生成部137將該被加載的線插入到相當于被加載的線的位置，來生成全景圖像(S39)。在全景生成過程S30b中，在加載屬于第一圖像的所有像素后，加載屬于第二圖像的非拼接區域的所有像素。因此，在此過程中，對所有像素執行上述過程，從而生成全景圖像。對于全景生成過程S30b參照圖3已在上面進行詳細說明，在此省去詳細的說明。圖12是選擇性包括在圖9方法中的圖像的校正過程S40的流程圖。參照圖12，圖像的校正過程S40包括從第一圖像和第二圖像中選擇具有相互拼接位置的規定數量的像素的過程(S42)。收集如此被選擇的像素的顏色信息，計算出作為第一圖像中選擇的像素的顏色信息的平均值的第一平均值和作為第二圖像中選擇的像素的顏色信息的平均值的第二平均值(過程S44)。隨后，對計算出的第一及第二平均值的偏差或比率進行計算(過程S46)。將計算出的平均值的偏差或比率反映到第一圖像或第二圖像(過程S48)。對于圖像校正過程已在上面進行詳細說明，在此省去詳細的說明。上述根據本發明的全景圖像生成方法可以在由計算機可讀取的記錄介質中，作為計算機可讀取的代碼來實現。計算機可讀取的記錄介質包括存儲有由計算機可讀取的數據的所有種類的記錄裝置。作為計算機可讀取的記錄介質，可舉例ROM(只讀存儲器)、RAM(隨機存儲器)、CD-R0M(只讀光盤)、磁帶、軟盤、光學數據存儲裝置等，并且還包括以載波(例如通過因特網傳輸)的形態來實現。并且，由計算機可讀取的記錄介質被分散到由網絡連接的計算機裝置，以分散方式存儲并運行由計算機可讀取的代碼。并且，用于實現上述全景圖像生成方法的功能性(function)的程序、代碼及代碼段(code segment)，可以由本發明所屬技術領域的編程人員容易進行推導。以上說明的本發明并非限定于前述的實施例及附圖，在不超出由權利要求書決定的本發明的技術思想的范圍內，可以對其進行多種置換、修改及變形，這些對于本發明所屬技術領域的普通技術人員來說是顯而易見的。產業上的可利用性本發明涉及生成全景圖像的裝置、方法及由記錄有運行該方法的程序的計算機可讀取的記錄介質。更具體而言，涉及一種生成自然地融合了拼接區域的圖像的全景圖像的裝置、方法及由記錄有運行該方法的程序的計算機可讀取的記錄介質。在本發明的全景圖像生成裝置及方法中，應用基于像素距離的加權值，對作為全景圖像對象的原圖像的拼接區域進行融合，從而能夠生成自然結合的全景圖像。并且，根據本發明的裝置和方法，即使使用簡單的計算過程和較小的資源也能夠生成自然的全景圖像，因此能夠生成更加適于移動終端的硬件環境的全景圖像。
權利要求
1.一種全景圖像生成裝置，其特征在于，包括 圖像獲取部，其依次獲取多個圖像；拼接區域獲取部，作為所述多個圖像中的某一個的第一圖像和要與所述第一圖像結合的第二圖像相互重復的拼接區域，獲取具有細部區域的所述拼接區域，所述細部區域是與作為所述第二圖像結合于所述第一圖像的方向的結合方向垂直地分割而形成的；以及全景生成部，其利用針對所述細部區域進行定義的加權函數，以所述細部區域為單位， 融合而結合相當于所述第一圖像的所述拼接區域的區域和相當于所述第二圖像的所述拼接區域的區域，來生成全景圖像。
2.根據權利要求1所述的全景圖像生成裝置，其特征在于，所述全景生成部包括 拼接區域融合部，其利用相當于所述第一圖像和所述第二圖像的所述拼接區域的像素的顏色信息及通過所述加權函數計算的所述各個細部區域的加權值，來計算融合拼接區域；以及全景結合部，其將所述第一圖像的不屬于所述拼接區域的區域、所述融合拼接區域以及所述第二圖像的不屬于所述拼接區域的區域結合為所述全景圖像。
3.根據權利要求2所述的全景圖像生成裝置，其特征在于，所述拼接區域融合部以所述細部區域為單位，從相當于所述第二圖像的所述細部區域的像素的顏色信息中減去相當于所述第一圖像的所述細部區域的像素的顏色信息來計算顏色信息偏差，所述細部區域的加權值乘以所述顏色信息偏差來計算加權顏色信息偏差，將所述加權顏色信息偏差加到相當于所述第一圖像的所述細部區域的像素的顏色信息，由此計算所述融合拼接區域。
4.根據權利要求2所述的全景圖像生成裝置，其特征在于，所述拼接區域融合部以所述細部區域為單位，利用所述細部區域的加權值，對相當于所述第一圖像的所述細部區域的像素的顏色信息和相當于所述第二圖像的所述細部區域的像素的顏色信息進行加權平均，來計算所述融合拼接區域。
5.根據權利要求1所述的全景圖像生成裝置，其特征在于，所述全景生成部包括 圖像線加載部，其沿著所述結合方向依次加載垂直于所述結合方向并由所述第一圖像和所述第二圖像的像素構成的線；拼接區域判斷部，其判斷所述線是否屬于所述拼接區域；全景依次生成部，如果所述線不屬于所述拼接區域，則將所述線插入到相當于所述全景圖像的所述線的位置，如果所述線屬于所述拼接區域，則加載與所述線拼接的所述第二圖像的拼接線，利用通過所述加權函數計算的所述線所屬的所述細部區域的加權值，決定所述線和所述拼接線的最終線，將所述最終線插入到相當于所述全景圖像的所述線的位置。
6.根據權利要求1所述的全景圖像生成裝置，其特征在于，所述細部區域的數量與朝向所述拼接區域的所述結合方向的像素數量相同。
7.根據權利要求1所述的全景圖像生成裝置，其特征在于，所述細部區域的數量能夠改變。
8.根據權利要求1所述的全景圖像生成裝置，其特征在于，所述加權函數是如下的單調遞增函數當所述細部區域的數量為L時，將0至L+1的整數作為輸入變數，當所述輸入變數為0時，所述加權函數的值為0，當所述輸入變數為L+1時，所述加權函數的值為1。
9.根據權利要求8所述的全景圖像生成裝置，其特征在于，所述加權函數是線性函數。
10.根據權利要求1所述的全景圖像生成裝置，其特征在于，還包括圖像校正部，該圖像校正部選擇具有相當于第一圖像和第二圖像的所述拼接區域的相同位置的規定數量的像素，分別計算所述像素的顏色信息的平均值，使所述平均值的比率乘以屬于所述第一圖像或所述第二圖像的所有像素的顏色信息。
11.一種全景圖像生成方法，其特征在于，包括如下步驟 圖像獲取步驟，依次獲取多個圖像；拼接區域獲取步驟，作為所述多個圖像中的某一個的第一圖像和要與所述第一圖像結合的第二圖像相互重復的拼接區域，獲取具有細部區域的所述拼接區域，所述細部區域是與作為所述第二圖像結合于所述第一圖像的方向的結合方向垂直地分割而形成的；以及全景生成步驟，利用針對所述細部區域進行定義的加權函數，以所述細部區域為單位， 融合而結合相當于所述第一圖像的所述拼接區域的區域和相當于所述第二圖像的所述拼接區域的區域，來生成全景圖像。
12.根據權利要求11所述的全景圖像生成方法，其特征在于，所述全景生成步驟包括 拼接區域融合步驟，利用相當于所述第一圖像和所述第二圖像的所述拼接區域的像素的顏色信息及通過所述加權函數計算的所述各個細部區域的加權值，來計算融合拼接區域；以及全景結合步驟，將所述第一圖像的不屬于所述拼接區域的區域、所述融合拼接區域以及所述第二圖像的不屬于所述拼接區域的區域結合為所述全景圖像。
13.根據權利要求12所述的全景圖像生成方法，其特征在于，在所述拼接區域融合步驟中，以所述細部區域為單位，從相當于所述第二圖像的所述細部區域的像素的顏色信息中減去相當于所述第一圖像的所述細部區域的像素的顏色信息來計算顏色信息偏差，所述細部區域的加權值乘以所述顏色信息偏差來計算加權顏色信息偏差，將所述加權顏色信息偏差加到相當于所述第一圖像的所述細部區域的像素的顏色信息，由此計算所述融合拼接區域。
14.根據權利要求12所述的全景圖像生成方法，其特征在于，在所述拼接區域融合步驟中，以所述細部區域為單位，利用所述細部區域的加權值，對相當于所述第一圖像的所述細部區域的像素的顏色信息和相當于所述第二圖像的所述細部區域的像素的顏色信息進行加權平均，來計算所述融合拼接區域。
15.根據權利要求11所述的全景圖像生成方法，其特征在于，所述全景生成步驟包括 圖像加載步驟，沿著所述結合方向依次加載垂直于所述結合方向并由所述第一圖像和所述第二圖像的像素構成的線；拼接區域判斷步驟，判斷所述線是否屬于所述拼接區域；全景依次生成步驟，如果所述線不屬于所述拼接區域，則將所述線插入到相當于所述全景圖像的所述線的位置，如果所述線屬于所述拼接區域，則加載與所述線拼接的所述第二圖像的拼接線，利用通過所述加權函數計算的所述線所屬的所述細部區域的加權值，決定所述線和所述拼接線的最終線，將所述最終線插入到相當于所述全景圖像的所述線的位置。
16.根據權利要求11所述的全景圖像生成方法，其特征在于，所述細部區域的數量與朝向所述拼接區域的所述結合方向的像素數量相同。
17.根據權利要求11所述的全景圖像生成方法，其特征在于，所述細部區域的數量能夠改變。
18.根據權利要求11所述的全景圖像生成方法，其特征在于，所述加權函數是如下的單調遞增函數當所述細部區域的數量為L時，將0至L+1的整數作為輸入變數，當所述輸入變數為0時，所述加權函數的值為0，當所述輸入變數為L+1時，所述加權函數的值為1。
19.根據權利要求18所述的全景圖像生成方法，其特征在于，所述加權函數是線性函數。
20.根據權利要求11所述的全景圖像生成方法，其特征在于，還包括圖像校正步驟，在該圖像校正步驟中，選擇具有相當于第一圖像和第二圖像的所述拼接區域的相同位置的規定數量的像素，分別計算所述像素的顏色信息的平均值，使所述平均值的比率乘以屬于所述第一圖像或所述第二圖像的所有像素的顏色信息。
全文摘要
本發明提供生成全景圖像的裝置、方法及由記錄有運行該方法的程序的計算機可讀取的記錄介質。生成全景圖像的裝置包括圖像獲取部，其依次獲取多個圖像；拼接區域獲取部，作為所述多個圖像中的某一個的第一圖像和要與所述第一圖像結合的第二圖像相互重復的拼接區域，獲取具有細部區域的所述拼接區域，所述細部區域是與作為所述第二圖像結合于所述第一圖像的方向的結合方向垂直地分割而形成的；以及全景生成部，其利用針對所述細部區域進行定義的加權函數，以所述細部區域為單位，融合而結合相當于所述第一圖像的所述拼接區域的區域和相當于所述第二圖像的所述拼接區域的區域，來生成全景圖像。
文檔編號H04N5/225GK102342092SQ201080010317
公開日2012年2月1日 申請日期2010年3月5日 優先權日2009年3月5日
發明者張升鎬 申請人:韓國科亞電子股份有限公司