數字全景相機的制作方法

專利名稱：數字全景相機的制作方法
技術領域：
本發明涉及圖像處理領域，更具體地涉及用于創建全景圖片的數 字相機中的圖像處理。
背景技術：
如今，以各種方式執行全景攝影。 一種方式是使用安裝在三腳架 上的照相機來隨著繞三腳架旋轉相機來進行連續拍攝。在一些相機 中，通過專門的可移動光學器件來曝光比普通膠片帶寬的寬度。其他用于創建全景攝影的技術包括物理地切割以及通過仔細對 準膠片邊緣之間的邊界來將曝光的膠片帶粘貼在 一起。電子攝影的益處已經導致數字相機的發展，不同于基于膠片的相 機，數字相機將存儲器中捕獲的圖像存儲到數字存儲器中，例如閃 存。為了提供全景攝影效果，這些數字相機可以與個人計算機接口 連接以通過結合圖像的邊緣邊界將兩個或更多圖像結合成一個圖像 以提供全景效果。美國專利No. 5,138,460中描述了一種全景相機，其具有存儲 器設備，用于存儲來自目標的先前拍攝的部分的數據；以及控制設 備，用于使得顯示設備能夠實際上顯示要拍攝的圖像和已經拍攝了 并存儲在存儲器空間中的圖像二者。盡管這些技術是有用的，它們也有缺點。當前全景相機的一個缺 點是完全重疊在全景圖像的兩個相鄰畫面之間的區域是很困難的。 太多重疊導致由于冗余信息而浪費數字相機中的存儲器。發明內容本發明的目的是提供一種用于獲取全景圖片的新的解決方案。本發明涉及數字相機。本發明還涉及用于創建全景圖片的方法和計算 機程序產 品。根據本發明的數字相機適于當由用戶掃掠相機時產生場景或目標的圖像。相機至少包括圖像傳感器，圖像傳感器包括多個檢測 器線和檢測器線，其中圖像傳感器創建圖片元素，每個圖片元素包 括關于一個或多個檢測器的信息；控制單元，控制單元適于控制相 機的操作以及檢測掃掠速度；以及存儲器，用于存儲圖片元素。相 機適于記錄和存儲圖片元素的序列，其中基于掃掠速度來選擇序列 中的下一 圖片元素。相機從所存儲的圖片元素的序列創建圖像。如這里使用的，圖片元素可以例如是檢測器的一個或多個垂直 線，其例如從圖像傳感器的頂部邊緣延伸到底部邊緣，并且有用于 通過相機在水平方向上全景地移動來掃掠場景。類似地，圖片元素 可以例如是一個或多個水平線，從圖像傳感器的左邊緣延伸到右邊 緣，并且有用于在垂直方向上全景地掃掠場景。因此，盡管在此使 用的術語"圖片元素，，可以包含僅僅單個光檢測器，但是包含一個 或多個這種檢測器的線是最有利的，下面將變的更清楚。方法包括記錄由相機的圖像傳感器創建的圖片元素的序列；基 于掃掠速度選擇要存儲在存儲器中的下一圖片元素；以及從所存儲 的圖片元素的序列創建圖像。計算機程序產品包括指令，用于記錄由相機的圖像傳感器創建的 圖片元素的序列，基于掃掠速度選擇要存儲在存儲器中的下一 圖片 元素，以及從所存儲的圖片元素的序列創建圖像。計算機程序產品 存儲在計算機可讀介質中，并且可以在數據處理設備中執行，其例 如可適于通過使用數字相機創建全景圖像。原則上，本申請中的術語"掃掠"意思是由圖像傳感器元件傳感 的圖片是移動的。可以以許多不同方式實現掃掠動作。也可以離線 實施，使得對包含全景移動的預先記錄的視頻剪輯進行處理，如同 是取景器數據流。結構，可能產生符合本發明精神的本發明的各種實施方式。在一個實施方式中，用戶旋轉相機以掃描場景，并且包括來自傳 感器中心的垂直線的圖片元素被記錄并漸進組合以形成全景圖像。通過補償手動掃描的速度來創建全景圖像。在一個實施方式中，傳感器的中間檢測器線適于進行記錄。換言 之，隨著全景掃掠相機，中間檢測器線用于進行記錄而不使用其他線。在一個實施方式中，在圖像中心的一個或少量垂直線(或在垂直 全景情況下的水平線)用于形成圓柱全景投影，如同在傳統模擬全 景線相機中。在一個實施方式中，控制單元適于通過使用由圖像傳感器產生的 數據來檢測掃掠速度。在一個實施方式中，控制單元適于通過使用由圖像傳感器的所有 檢測器產生的數據來檢測掃掠速度。在一個實施方式中，從整個相機傳感器獲得的數據用于運動估計 以及用于獲得超出所記錄的線的信息。運動估計用于在最終全景圖 像中將線并入正確位置。當相機向左或右(或上/下)移動時，在所 記錄的線中的新數據插入到全景圖像中。運動估計還用于去除相機 不需要(例如，不垂直的)旋轉。在一個實施方式中，適于產生圖片元素的檢測器線被布置為垂直于掃4京方向。在一個實施方式中，適于產生圖片元素的檢測器線的寬度被調節 為取決于掃掠速度。在一個實施方式中，為了捕獲目標的圖像，例如場景或建筑物外 觀，用戶通過相機的單個掃掠來掃描目標，同時相機獲取圖像。相 機縫合圖片元素以創建全景或拼嵌圖片。在一個實施方式中，要存儲在存儲器中的下一圖片元素被布置為 與已經存儲在存儲器中的圖片元素部分地重疊。在一個實施方式中，要存儲在存儲器中的序列中的下一圖片元素與已經存儲在存儲器中的圖片元素并排布置。可以在許多解決方案中使用本發明。在一些解決方案中，設備是 典型的數字相機，而在一些解決方案中，相機單元集成到其他單元 中。例如，設備可以是移動電話、計算機、游戲設備、通信設備等。本發明的方法和設備的優點是用戶可以自由地旋轉相機。不需要 相機支架。這使得非常緊湊的移動實現成為可能，即，系統可以容 易地實現到移動相機電話中。此外，不同的解決方案提供了許多其他優點。例如，給出的解決方案可以提供以下優點中的一個或多個- 一個實施方式隨著旋轉膠片相機，提供圓柱全景投影，具有完 美的圖像縫合以及無縫的曝光。不需要補償在圖像的角上的光學像差。-系統可以通過任何標準數字相機模塊來實現。 -當允許用戶自由地移動相機同時記錄掃描線時，可以創建有趣 和逗笑的效果。-當記錄曝光的掃描線時，來自相機傳感器的全區域或其部分可 以用于調節曝光控制、AWB和運動估計/補償的操作。-來自傳感器的數據流是低的，因為僅少量高分辨率線需要在每 次步驟時捕獲。可以從減少尺寸的取景器圖像作出運動估計。-可以補償全景膠片相機中移動目標的典型的失真。-當在掃描目標期間改變焦距時，可以實現焦距的伸長的深度。


以下，將參照附圖更詳細描述本發明，附圖中圖1示出根據一個實施方式的設備；圖2示出根據一個實施方式的設備的框圖；圖3示出示例的流程圖；圖4示出場景的示例；圖5示出取景器區域的示例；圖6示出未完成圖像的示例；圖7示出使用子像素位移的圖像的合成的示例；圖8示出水平旋轉的補償的示例；圖9示出預捕獲線信息的示例；圖10示出可選簡化實現。為了清楚，附圖僅示出理解本發明所需細節。理解本發明不需要 的以及對于本領域技術人員顯而易見的結構和細節已從圖中省略， 以強調本發明的特征。
具體實施方式
圖1示出數字相機的一個示例。在該示例中，示出外殼l、觸發 按鈕3以及透鏡配置2。可以在許多解決方案中使用本發明。在一些 解決方案中，設備是典型的數字相機，而在一些解決方案中，相機 單元與其他單元集成。例如，設備可以是移動電話、計算機、游戲 設備、通信設備等。圖2示出根據本發明的設備的框圖。設備至少包括光學單元O U 、 控制單元CU、存儲器單元MEMORY以及用戶接口 UI。光學單元 OU典型地包括某種透鏡配置以及圖像傳感器(以下簡稱為傳感器) 組件，例如CCD或CMOS組件。通常傳感器組件包括檢測器矩陣。 在檢測器矩陣中，存在多個檢測器行和檢測器列(換言之，檢測器 線)。控制單元CU進而被布置為用于控制相機的功能。用戶接口 UI 至少包括一個顯示器。不同種類的信息顯示在顯示器上。通常顯示 器也用作取景器。存儲器單元被布置為用于存儲圖片。存儲器單元可以例如是固定 單元。可移除單元或固定和可移除單元的某種組合。通常使用某種 可移除存儲器卡。圖3示出一個實施方式的簡單流程圖。首先，例如當用戶按下相 機的觸發按鈕3時，記錄開始。系統纟全測運動的方向和速度(掃掠方向和速度)。系統傳感并記錄圖片元素。根據本發明， 一個檢測 器線或多個相鄰檢測器線可以用作"圖片元素"，用于當全景掃掠 場景時形成全景圖像。第一圖片元素存儲在存儲器中。接著，基于 掃掠速度選擇要存儲在存儲器中的圖片元素。相機處理存儲在存儲器中的圖片元素以創建圖像。例如當釋放觸發按鈕3時，記錄停止。 以下，將通過簡化的使用情況描述相機的操作。在該情況中，用 戶希望獲取場景的圖片，該場景較大以至于其部分在取景器區域4 之外，如圖4所示。在圖5中，更詳細描述取景器區域4。示出取景 器區域4和取景器區域的中間區域5。取景器區域4包括多個垂直檢 測器線6。通常存在數百或數千個檢測器線6,但在圖中，以較大比 例示出較少檢測器線以強調實施方式的特征。中間區域5包括檢測 器線6a,其適于產生圖片元素。在所示實施方式中，未使用邊線， 即，線6a用于排除區域5左右的周圍區域中的線。適于產生圖片元 素的中間區域5布置為垂直于掃掠方向S。中間區域5在圖4中為垂 直位置是因為掃掠方向S基本上是水平的。在掃掠方向S基本上是 垂直的情況下，中間區域5是水平的。用戶例如通過按下觸發4要4丑3和移動相才幾來開始手動地掃掠場 景。可以以許多不同方式來實現掃掠動作，并且其可以例如是旋轉 或線性運動。在一個實施方式中，從取景器數據估計相機的掃掠速度和方向 S。在一個實施方式中，掃掠速度和方向S的估計是基于像素的。當 中間區域5在期望的掃掠方向S上移動至少一個線6時，捕獲中間 區域的線6a并將其并入最終圖像。圖4和圖6中示出概念。圖6示 出在掃掠處理期間未完成的圖像。圖6中示出的圖像是添加了由圖4 的檢測器線6a產生的圖片元素的圖像。實時地，相機的取景器可以漸進地示出已創建的場景的部分，直 到捕獲全部圖像。可以以比用于運動估計的取景器數據高的分辨率捕獲可記錄圖 片元素。來自傳感器的數據流相比于以全分辨率捕獲整個圖像仍是較低的。因為所捕獲圖片元素也可以從子像素位置取得，即，圖片 元素部分重疊，所捕獲圖片元素的空間取樣柵可以比最終圖像的取樣柵密集，如圖7所示。因此，需要對最終取樣柵進行抽選。高級 分辨率技術也可以用于獲得增加的分辨率圖像。在一個實施方式中， 如果所捕獲圖片元素包括與已存儲圖片元素相同的數據，則如果未 使用超分辨率，可以丟棄所捕獲圖片元素。例如當存在低掃掠速度 或完全沒有運動時，該情況可能存在。自由相機移動也可以包括平移運動，這意味著運動可能對于附近 的目標和對于遠處的目標是不同的。在一個實施方式中，可以實施 運動估計，從而如果在所捕獲圖片元素處場景的足夠大部分移動一 個線，則所捕獲的區域并入圖像。因為相機(圍繞光軸)的水平旋轉也可能存在，所捕獲圖片元素 可能相對于彼此旋轉。在一個實施方式中，為了補償，可以捕獲圖 像中間的少量垂直線，并且運動估計和補償可以用于補償旋轉移動， 如圖8所示。在一個實施方式中，旋轉補償也可以是不嚴格的(relax)。 在這種情況下，可能形成不同種類的彎曲圖像。如果掃掠速度相比于幀速率要快，使得所捕獲圖片元素移動了比 一個線的寬度要寬，則一個所捕獲線/幀不一定足夠。在一個實施方 式中，可以記錄多個檢測器線6a、 6b。例如，記錄在捕獲線6a、 6b 之間的所有線(后捕獲圖片元素6b)。這種情況可以見圖9。如果 幀速率很低以至于在"和t2之間沒有幀可用，則在t!和t2處捕獲的 線6a、 6b之間的所有線也記錄并且并入圖l象。在一個實施方式中， 圖片元素包括來自多個檢測器線的數據。在另一實施方式中，存在 多個圖片元素，每個產生了檢測器線，該檢測器線是并排的。因為 低取樣率等于比在最終圖像中使用更稀疏的空間取樣柵，也可用使 用內插技術，但這樣結果的質量會降低。在一個實施方式中，相鄰線的顏色、對比度和亮度自動匹配，因 為當移動相機(例如旋轉)并瞄準場景中的不同位置時，曝光平滑 地改變。這消除了如傳統縫合情況下需要補償不同曝光和AWB設置。此外，可用根據空間和時間差異調節曝光設置。整個傳感器區域4可以用于獲得用于調節的數據。例如，在掃掠方向上的線6c可 以用于預測對于即將到來的線的曝光設置。預捕獲線6c的概念在圖 9中示出。在一個實施方式中，預捕獲數據可以用于幫助校正由于活動的目 標造成的誤差。因為實際記錄線6a在不同時間捕獲圖像，在記錄區 域之間的比較顯示活動的目標。在傳統旋轉全景膠片相機中，活動 的目標可能捕獲為失真的和彎曲的。不同實施方式可以在垂直或水平方向上操作。如果需要垂直全 景，則操作是相同的，但是水平測量線垂直地進行。模式可以通過 UI/按鈕來選擇或者基于初始移動的方向自動選擇。在一個實施方式中，運動估計可以纟企測掃掠(例如旋轉)方向S 的改變。如果場景的相同區域被再掃掠，則數據可以被拋棄或被用 于增加分辨率。如果新區域出現，則它們插入到圖像中。這使得左-中一右、右-中-左、中-左-(中)-右、和中-右-(中)-左掃掠順序成為可能，并且在垂直方向上有對應的行為。在一個實施方式中，當掃掠進行時，可以改變透鏡的焦距設置或 變焦位置(焦距)，這提供額外的效果。例如，當根據目標的距離 改變焦距時，可以實現焦距的伸長深度。然后，對象的短距離和長 距離區域兩者可以出現，比從多個圖像產生的全景看起來更強烈 (sharp)。可以使用任何自動聚焦系統進行焦距調節。如果改變焦 距(變焦)，則效果更藝術化，但只有本發明才有。不同實施方式可以實現到許多數字相機設備中。圖IO簡要描述 了簡化實施可選方案，其可以用于實現實時全景掃掠。實現也可以 離線進行，使得處理包含全景移動的預記錄的視頻剪輯，如同其是 取景器數據流。如上所述，存在不同可選方案以實現幀速率與手運動的同步(即，捕獲所有所需線以覆蓋運動的量以及處理子像素移位)。因為期望 傳感器組件的靈敏度提高，所以可以減少曝光時間和增加幀速率，因此實現場景的較快掃掠。也可以記錄更多冗余檢測器線，其可以 用于改進運動估計的性能和最終圖像的空間分辨率。手運動的速度可以通過各種用戶接口裝置和實施來引導。例如， UI可以顯示標記，例如箭頭，用于通知用戶速度是否正確，太低或 太高。組成的圖像也可以以預定速度移動并且與取景器數據混合使 得用戶試圖保持它們對準，這使得相機移動具有最優速度。在一個實施方式中，相機可以與旋轉相機的l更宜電動機結合使 用。運動補償消除了傳統上實現期望結果所需機械精度的需要。此，上述示例不應該解釋為對本發明的限制，而是本發明的實施方 式可以在以下權利要求中所述發明特征的范圍內自由地變化。
權利要求
1.一種數字相機，用于當相機掃掠目標區域時產生該區域的圖像，該數字相機至少包括圖像傳感器，圖像傳感器包括多個檢測器線，其中圖像傳感器創建圖片元素，每個圖片元素包括關于一個或多個檢測器線的信息；控制單元，控制單元適于控制相機的操作以及檢測掃掠速度；存儲器，用于存儲圖片元素；其中相機適于記錄和存儲圖片元素的序列，其中基于掃掠速度來選擇序列中的下一圖片元素，以及相機從所存儲的圖片元素的序列創建圖像。
2. 根據權利要求1所述的數字相機，其中圖像傳感器的中間檢 測器線適于進行記錄。
3. 根據權利要求1所述的數字相機，其中控制單元適于通過使 用由圖像傳感器產生的數據來檢測掃掠速度。
4. 根據權利要求1所述的數字相機，其中控制單元適于通過使 用由包括所有所述檢測器的圖像傳感器的檢測器產生的數據來檢測 掃4京速度。
5. 根據權利要求1所述的數字相機，其中適于產生圖片元素的 檢測器線布置為垂直于掃掠方向。
6. 根據權利要求1所述的數字相機，其中適于產生圖片元素的 檢測器的寬度調節為取決于掃掠速度。
7. 根據權利要求1所述的數字相機，其中要存儲在存儲器中的 下一 圖片元素布置為與已經存儲在存儲器中的圖片元素部分地重 疊。
8. 根據權利要求1所述的數字相機，其中要存儲在存儲器中的 序列中的下一圖片元素布置為與已經存儲在存儲器中的圖片元素并排。
9. 根據權利要求1所述的數字相機，其中相機是設備的一部分，該設備是以下至少之一移動電話，計算機，游戲設備。
10. —種用于通過使用數字相機創建全景圖像的方法，該方法包括記錄由相機的圖像傳感器創建的圖片元素的序列， 基于掃掠速度選擇要存儲在存儲器中的下一圖片元素，以及 從所存儲的圖片元素的序列創建圖像。
11. 根據權利要求10所述的方法，其中數字相機至少包括圖像 傳感器，圖像傳感器包括多個檢測器線，其中記錄圖像傳感器的中 間傳感器線。
12. 根據權利要求IO所述的方法，其中控制單元通過使用由圖 像傳感器產生的數據檢測掃掠速度。
13. 根據權利要求10所述的方法，其中圖像傳感器包括多個檢 測器，并且控制單元通過使用由圖像傳感器的所有多個檢測器產生 的數據檢測掃掠速度。
14. 根據權利要求10所述的方法，其中包括成一線的多個檢測 器的檢測器線產生圖片元素，該檢測器線布置為垂直于掃掠方向。
15. 根據權利要求14所述的方法，其中檢測器線的寬度適于產 生取決于掃掠速度的圖片元素。
16. 根據權利要求10所述的方法，其中要存儲在存儲器中的下 一圖片元素布置為與已經存儲在存儲器中的圖片元素部分地重疊。
17. 根據權利要求10所述的方法，其中要存儲在存儲器中的序 列中的下一圖片元素布置為與已經存儲在存儲器中的圖片元素并 排。
18. —種計算機程序產品，存儲在計算機可讀介質中，并且可以 在數據處理設備中執行，用于通過使用數字相機創建全景圖像，該 計算機程序產品包括指令，用于記錄由相機的圖像傳感器創建的圖片元素的序列， 基于掃掠速度選擇要存儲在存儲器中的下一圖片元素，以及 從所存儲的圖片元素的序列創建圖像。
全文摘要
本發明涉及圖像處理領域，以及更具體地涉及用于獲取全景圖片的數字相機中的圖像處理。根據本發明的數字相機適于當由相機掃掠目標區域時產生該區域的圖像。相機至少包括圖像傳感器，其包括多個檢測器線，其中圖像傳感器創建圖片元素，其中每個圖片元素包括關于一個或多個檢測器線的信息；控制單元，其適于控制相機的操作以及檢測掃掠速度；以及存儲器，用于存儲圖片元素。相機適于記錄和存儲圖片元素的序列，其中基于掃掠速度來選擇序列中下一圖片元素，并且相機從所存儲的圖片元素的序列創建圖像。
文檔編號H04N1/21GK101336439SQ200680052316
公開日2008年12月31日 申請日期2006年12月18日 優先權日2005年12月22日
發明者M·特里梅切, P·尼諾南, S·阿萊尼宇斯 申請人:諾基亞公司