專利名稱：成像設備、成像方法和程序的制作方法
技術領域：
本發明涉及一種具有組合多個圖像的功能的成像設備、成像方法和程序。
背景技術：
當使用可攜式攝像機、數字靜止照相機或任何其它適合的設備執行全景成像時， 每當捕獲圖像時必須保持照相機靜止，或者必須緩慢地移動照相機以便在照相機移動并且 同時捕獲圖像時圖像不會模糊。 在后者的情況下，高速快門對于捕獲圖像也是必要的。 相反，日本專利No. 3， 928， 222提出了一種在快速移動照相機的同時捕獲圖像且 保持圖像分辨率的方法。 在日本專利No. 3， 928， 222提出的方法中，檢測照相機移動的方向和照相機移動 的角速度，并且光軸以相同的角速度沿與照相機的移動相反的方向移動，從而每個圖像都 不會改變。結果，每個圖像被捕獲為好像僅觀察單個點。 —些情況下，加速度傳感器和角速度傳感器對于實現上述控制方法是必需的。相 反，日本專利No. 3， 925， 299提出了一種適當控制光軸而不需要這兩個傳感器及控制它們 的反饋電路的方法。 日本專利No. 3， 925， 299提出的方法被用作這樣的監控系統對用于控制成像方 向的步進電機的脈沖數進行計數，并基于該計數控制光軸。
發明內容
利用被設置為望遠鏡模式的照相機，通過多次改變成像方向以創建廣角、高清晰 照片的從單個點捕獲圖像的方法中，成像操作通常由放置于固定在三腳架的活動臺上的照 相機執行。替換地，可以用手握住照相機來執行這項工作。 然而，當通過用手握住照相機并把照相機沿用戶肩膀旋轉來捕獲圖像時，視差 (parallax)極大地影響捕獲的圖像，這是因為照相機圍繞照相機觀察物體的照相機的觀察 點后面的位置而旋轉。 這種情況下，當僅對遠景成像時幾乎沒有問題，但當捕獲的圖像包含鄰近物體時， 可能無法正確地組合圖像，因為相鄰圖像之間的鄰近物體的位置關系不同于遠處物體的位 置關系。 由于沒有當前的照相機能夠控制(監控)視差或移動物體的影響，所以在完成成 像操作之后無法立即判斷是否需要重新捕獲圖像。 因此，希望提供一種能夠在完成成像操作之后立即判斷是否需要重新捕獲圖像的 成像設備、成像方法和程序，由此方便操作。 根據本發明第一實施例的成像設備包括成像裝置，通過光學系統捕獲物體圖像； 圖像信號處理器，具有把多個捕獲的圖像組合成單個圖像的功能，這些圖像是在成像設備 移動期間捕獲的；以及控制單元。圖像信號處理器基于相鄰圖像之間的運動矢量的相似性檢測視差的任何影響或移動物體，控制單元在圖像信號處理器檢測到移動對象或視差的任 何影響時發出警告，以提示重新捕獲圖像。 優選地，圖像信號處理器在時間相鄰的兩個圖像彼此交疊的區域中執行多次運動
檢測操作以確定多個運動矢量，并在存在具有不同值的矢量時識別出檢測到視差。 優選地，圖像信號處理器在時間相鄰的兩個圖像彼此交疊的區域中執行多次運動
檢測操作以確定多個運動矢量，控制單元發出警告，而不對移動對象和靜止物體之間的邊
界上的視差和移動物體進行區分。 優選地，控制單元控制以固定交疊率捕獲若干圖像的操作，以所述固定交疊率，物 體的任何部分出現在至少兩個相鄰圖像中。 根據本發明第二實施例的成像方法包括下述步驟在移動成像設備的同時，利用 該成像設備通過光學系統捕獲物體圖像；基于相鄰圖像之間的運動矢量的相似性，檢測視 差的任何影響或移動物體；當檢測到視差或移動對象的任何影響時發出警告，以提示重新 捕獲圖像。 根據本發明第三實施例的程序使計算機執行成像處理，所述成像處理包括下述處 理在移動成像設備的同時，利用該成像設備通過光學系統捕獲物體圖像；基于相鄰圖像 之間的運動矢量的相似性，檢測視差的任何影響或移動物體；當檢測到移動對象或視差的 任何影響時發出警告，以提示重新捕獲圖像。 根據本發明的實施例，在成像設備移動期間捕獲的圖像被輸入到圖像信號處理 器。 圖像信號處理器基于相鄰圖像之間的運動矢量的相似性，檢測視差的任何影響或 移動物體，并把檢測結果輸出給控制單元。 控制單元在圖像信號處理器檢測到視差或移動對象的任何影響時發出警告，以提 示重新捕獲圖像。 本發明的實施例允許在完成成像操作之后立即判斷是否需要重新捕獲圖像，提高 了操作的方便性。
圖1是表示采用根據本發明實施例的成像處理設備的照相機設備的結構例子的 方框圖； 圖2示意性地表示利用本實施例的照相機設備執行的廣角成像； 圖3是精確組合處理器的方框圖； 圖4表示以曲線圖顯示的姿勢傳感器的輸出(掃描角速度)； 圖5A和圖5B描述在本實施例的第一配置中如何捕獲圖像； 圖6表示CM0S圖像傳感器曝光的時間段、讀取積累的電荷的時間段和控制光軸的 時間段之間的關系； 圖7A和圖7B表示通過基于互功率譜(CPS)的平移獲得的縫合圖像； 圖8描述使用塊匹配(BM)提取參數的處理并表示選擇良好條件的四個圖像的處
理； 圖9描述使用塊匹配(BM)提取參數的處理并表示沿單個邊界在三個位置執行BM的例子； 圖10描述使用塊匹配(BM)提取參數的處理并表示當存在透鏡失真時在彎曲邊界 的BM結果； 圖11描述使用塊匹配(BM)提取參數的處理并表示當傾斜角不正確時產生向 左_右方向傾斜的錯誤邊界的例子； 圖12描述使用塊匹配(BM)提取參數的處理并表示沿左右圖像之間的邊界產生的 沿上_下方向的收縮導致沿橫向方向的移位； 圖13描述使用塊匹配(BM)提取參數的處理并表示圖像的旋轉導致的誤差的例 子； 圖14A和圖14B描述在使用塊匹配(BM)提取參數之后，BM擴展到大量圖像從而 以最少誤差執行平移操作的過程； 圖15是表示基于連續捕獲的圖像和傳感器信息的空間排列方法的功能框圖；
圖16是表示在使連續捕獲的圖像與傳感器信息相關而使傳感器信息更精確的方 法中，在靜止狀態下的傳感器零位置的校正的功能框圖； 圖17是表示在使連續捕獲的圖像與傳感器信息相關而使傳感器信息更精確的方
法中，如何調節移動信息以使其更精確的功能框圖； 圖18是校正角速度傳感器的零點的過程的流程圖； 圖19是校正從角速度傳感器獲得的移動量的過程的流程圖； 圖20是獲取所述移動量的方法的流程圖； 圖21是使用捕獲的照片分配空間坐標的方法的流程圖； 圖22A至圖22D描述掃描速度的計算例子。
具體實施例方式以下將參照附圖描述本發明的實施例。 圖1是表示作為根據本發明實施例的成像設備的照相機設備的結構例子的方框 圖。 照相機設備10能夠，例如，如圖2所示，通過多次自動或手動改變成像方向而產生 從單個點捕獲的大量圖像(在圖2中，16X8二 128)。 照相機設備10準確、無縫地組合大量圖像(例如，幾百個圖像)，以形成所謂的全 景圖像。 也就是說，照相機設備10具有這樣的功能基于沿縱向或橫向方向高速搖動包含 了固態成像裝置(例如，CM0S圖像傳感器(CIS))的數字照相機所捕獲的圖像，創建全景圖 片。 根據本實施例的照相機設備10具有下述第一至第五特征結構和功能。
第一結構具有下述特點。 為了通過移動照相機設備10以捕獲多個圖像并組合所獲取的圖像來創建全景圖 像，控制聚集成像光的透鏡(移軸透鏡)的光軸，使得所述照相機被移動的方向以及其角速 度被取消。 以這種方法捕獲每個圖像，即使當照相機移動時，也好像僅觀察單個點。
在這種結構中，CIS(CM0S圖像傳感器)用作固態成像裝置，并且通過對CIS的線的中間部分執行上述控制來捕獲每個圖像。 也就是說，在一部分線被曝光的時間段加上讀出時間的期間，如上所述控制光軸，其中控制光軸，使得在所有其它時間使光軸回到中心附近的位置。這種情況下，照相機捕獲圖像的方向垂直于CIS的線。 然后，通過從CIS的一部分剪切條并執行與那一部分對應的光軸控制，即使照相機高速移動時也不降低分辨率，照相機設備10以高幀率產生全景圖像。
第二機構具有下述特點。 照相機設備10采用這樣的技術使用根據圖像識別技術獲得的幀移動信息和來自姿勢傳感器的移動信息，在空間上排列連續的圖像。 來自姿勢傳感器的信息補充圖像識別不能提供的信息。來自姿勢傳感器的信息用于檢查是否已成功執行圖像識別，或者當圖像識別失敗時用作輔助坐標。被空間排列的圖像創建單個完整的全景圖像。 這種情況下，照相機設備10構造為這樣的照相機照相機主要用手握住，并通過改變成像方向基本從單個點捕獲多個圖像。 照相機設備10的姿勢傳感器包括三軸(或兩軸)加速度傳感器和/或三軸(或兩軸)角速度傳感器。 照相機設備10不僅具有捕獲圖像并同時記錄指示捕獲每個圖像的方向的姿勢信息的功能，還具有在過程中(on the fly)把多個捕獲的圖像組合成單個圖像的功能。
照相機設備10不僅以塊匹配或任何其它適合的圖像識別功能使用相鄰圖像彼此交疊的區域來計算圖像之間的相對位置關系，還使用來自姿勢傳感器(由多種傳感器形成)的數據來計算所述圖像位置關系。 然后，照相機設備10使用所計算的相對位置關系和圖像位置關系之間的選擇性協調，計算圖像之間更精確的相對位置關系。 其后，照相機設備10確定每個圖像的絕對位置關系，諸如圖像的中心所朝向的方向、表示圍繞光軸的旋轉的水平角(經度)、傾斜角(緯度)和滾動角(傾斜)，并使用以上信息作為初始值以執行精確自動組合。
第三結構具有下述特點。 照相機設備10采用這樣的技術記錄連續的圖像，有通過圖像識別技術獲得的幀移動信息和來自姿勢傳感器的移動信息彼此相關。 照相機設備10計算每個圖像像素的視角、在靜止狀態下來自姿勢傳感器的值、來自姿勢傳感器的值和每個像素的視角之間的關系、以及僅從這兩種位置關系之一無法獲得的其它信息。照相機設備10具有偏移、增益和其它參數，并能改變它們以使得捕獲每個圖像的期望方向充分地與實際方向一致。 照相機設備IO以三軸(或兩軸)加速度傳感器相對于重力方向傾斜的角度，靜態地檢測靜止狀態下的姿勢數據，并把該數據設置為姿勢信息的初始值。 照相機設備10通過例如把來自三軸角速度傳感器的輸出值相對時間積分，主要計算照相機沿縱向和橫向方向的旋轉移動，并把獲得的值設置為捕獲每個圖像時的方向數據。
照相機設備10以塊匹配或任何其它適合的圖像識別方法，使用相鄰圖像彼此交疊的區域計算相鄰圖像之間的位置關系。照相機設備io通過如上所述的計算確定相鄰圖像之間的位置關系，并同時判斷結果是正確的還是錯誤的。 當判斷結果為正確時，照相機設備10基于如此獲得的信息校準所述參數。 然后，當判斷結果為錯誤時，照相機設備10基于已被校準的參數，通過使用來自
姿勢傳感器的值，排列圖像。 第四結構具有下述特點。 照相機設備10具有這樣的功能當它檢測到移動對象的任何影響時發出警告，提示用戶重新捕獲圖像。 照相機設備10具有這樣的功能以這樣的方式檢測移動對象，即交疊率被設置為50%或更高，從而物體的任何部分出現在至少兩個相鄰圖像中。結果，基于相鄰圖像之間的運動矢量的相似性，檢測視差或移動對象的影響。 也就是說，照相機設備10在檢測到移動對象或視差的任何影響時發出警告，以提示用戶重新捕獲圖像。 快速搖動照相機設備10以在廣角內捕獲物體的多個條形圖像并把它們組合成單
個圖像，照相機設備io檢測視差多大程度上影響鄰近物體，并提示用戶圍繞照相機的觀察
點(照相機從該觀察點觀察物體)重新捕獲圖像。
第五結構具有下述特點。 照相機設備10通知適當的掃描角速度(用戶搖動照相機的速度)，并在掃描角速度太快時發出警告。以這種方法，提示用戶重新捕獲圖像。 照相機設備10在顯示裝置18 (諸如，LCD屏幕)上以曲線圖顯示來自姿勢傳感器(陀螺傳感器)的輸出(掃描角速度)，垂直軸代表輸出，水平軸代表時間。當設置了水平視角、水平像素數和快門速度時，確定了最高的掃描角速度，這樣顯示曲線圖使得合適的范圍為最高的掃描角速度的60%到80%。 以下將描述具有以上特征的照相機設備10的更具體結構和功能。
照相機設備10包括光學系統11、成像裝置12、模擬前端(AFE)電路13、姿勢傳感器14、驅動器15、系統控制器16、存儲器17、顯示裝置18、操作單元19和聲音產生器20。
光學系統11在成像裝置12的成像表面上形成物體的圖像。 光學系統11包括普通透鏡111、作為光軸改變裝置的移軸透鏡1 12以及機械快門113。 移軸透鏡112不僅聚集成像光，還被驅動器15驅動以改變光軸的方向。
成像裝置12由CMOS (互補金屬氧化物半導體)裝置或CCD (電荷耦合裝置)形成。
在本實施例的描述中，使用CMOS圖像傳感器作為示例。在上述的第一結構中，CMOS圖像傳感器用作固態成像裝置。 在成像裝置12中，在半導體基底上以矩陣排列的光學傳感器檢測光學系統11形成的物體圖像，產生信號電荷，經過垂直和水平信號線讀取信號電荷，并輸出物體的圖像信號。 當成像裝置12由CMOS圖像傳感器形成時，全局快門和巻簾式快門用作電子快門來控制曝光。曝光由系統控制器16控制。
7
AFE電路13去除例如來自成像裝置12的圖像信號中包含的固定圖案噪聲，使用自動增益控制穩定信號電平，并把獲得的信號輸出給系統控制器16。 姿勢傳感器14檢測照相機設備10的姿勢，并把檢測結果提供給系統控制器16。
姿勢傳感器14由例如三軸加速度傳感器141和三軸角速度傳感器142形成。
加速度傳感器141能夠靜態地找到相對于重力方向的角度，并檢測傾斜角(tiltangle)和滾動角(roll angle)，但不能檢測水平角(panangle)。 因此，角速度傳感器142用于找到運動的角度。角速度傳感器142也稱為陀螺傳
感器，能夠檢測旋轉運動期間的角速度并輸出電壓信號。對電壓信號求積分可以產生角度。
由于角速度傳感器142是三軸傳感器，所以能夠檢測水平角、傾斜角和滾動角。 驅動器15在系統控制器16的控制下改變光學系統11中的移軸透鏡112的光軸。 系統控制器16是這樣的電路對來自AFE電路13的輸出信號執行色彩校正，組合
多個圖像，執行自動曝光控制、自動白平衡控制和其它控制操作。 系統控制器16包括圖像信號處理器161和用作控制單元的微計算機(ii -COM) 162。 圖像信號處理器161包括精確組合處理器，用于精確而無縫地組合通過多次改變成像方向從單個點捕獲的大量圖像。 如圖3所示，精確組合處理器1611包括第一色彩校正功能單元16111、組合功能單元16112和第二色彩校正功能單元16113。 圖像信號處理器161組合移動照相機設備10獲得的多個捕獲的圖像，以產生全景圖像。 微計算機162根據來自姿勢傳感器14的檢測結果，控制聚集成像光的透鏡(移軸透鏡)的光軸，使得照相機移動的方向及其角速度被抵消。 當CMOS圖像傳感器用作固態成像裝置時，微計算機162在CMOS圖像傳感器的線的中間部分被曝光的時間段加上讀出時間期間，如上所述控制光軸，而控制驅動器15使光軸在所有其它時間回到中心附近的位置。在后面的情況下，照相機捕獲圖像的方向垂直于CMOS圖像傳感器的線。 通過從CMOS圖像傳感器的一部分剪切條、并執行與那一部分對應的光軸控制，即使照相機高速移動時也不降低分辨率，微計算機162以高幀率控制全景圖像的產生過程。
微計算機162對來自角速度傳感器142的檢測信號求積分以計算照相機設備10的旋轉的角度，并根據所計算的旋轉角度控制移軸透鏡112的光軸應該改變多少。
替換地，圖像信號處理器161能夠檢測相鄰的捕獲圖像的運動分量，并且微計算機162能夠根據檢測的運動分量控制光軸應該改變多少。 替換地，微計算機162能夠使用所計算的旋轉角度和運動分量二者控制光軸應該改變多少。 微計算機162把指示捕獲每個圖像的方向的姿勢信息記錄在存儲器17中。
圖像信號處理器161和微計算機162不僅以塊匹配或任何其它適合的圖像識別功能，使用相鄰圖像彼此交疊的區域，計算圖像之間的相對位置關系，還使用來自姿勢傳感器(由多種傳感器形成)的數據，計算所述圖像位置關系。 微計算機162使用所計算的相對位置關系和圖像位置關系之間的選擇性協調，計算圖像之間更精確的相對位置關系。 其后，微計算機162確定每個圖像的絕對位置關系，諸如圖像的中心所朝向的方
向、表示圍繞光軸的旋轉的水平角(經度)、傾斜(緯度)和滾動角(傾斜)。 圖像信號處理器161使用以上信息作為初始值以執行精確自動組合。 微計算機162計算每個圖像像素的視角、在靜止狀態下來自姿勢傳感器的值、來
自姿勢傳感器的值和每個像素的視角之間的關系、以及僅從這兩種位置關系之一無法獲得
的其它信息。微計算機162具有偏移、增益和其它參數，并能改變它們以使得捕獲每個圖像
的期望方向充分地與實際方向一致。 微計算機162以三軸(或兩軸)加速度傳感器相對于重力方向傾斜的角度，靜態
地檢測靜止狀態下的姿勢數據，并把該數據設置為姿勢信息的初始值。 微計算機162通過例如把來自三軸角速度傳感器142的輸出值相對時間進行積
分，主要計算照相機沿縱向和橫向方向的旋轉移動，并把獲得的值設置為捕獲每個圖像時
的方向數據。 微計算機162以塊匹配或任何其它適合的圖像識別功能，使用相鄰圖像彼此交疊的區域，計算相鄰圖像之間的位置關系。微計算機162通過如上所述的計算確定相鄰圖像之間的位置關系，但同時判斷結果是正確的還是錯誤的。 當判斷結果為正確時，微計算機162基于如此獲得的信息校準參數。 然后，當判斷結果為錯誤時，微計算機162基于已被校準的參數，通過使用來自姿
勢傳感器的值，排列所述圖像。 當檢測到移動對象的任何影響時，微計算機162指示顯示裝置18和/或聲音產生器20發出顯示和/或警告聲音。以此方式提示用戶重新捕獲圖像。 微計算機162以此方式檢測移動對象交疊率被設置為50%或更高，從而物體的任何部分出現在至少兩個相鄰圖像中。結果，基于相鄰圖像之間的運動矢量的相似性，檢測視差的任何影響或移動物體。 也就是說，微計算機162在檢測到移動對象或視差的任何影響時發出警告，以提示用戶重新捕獲圖像。 微計算機162檢測視差多大程度上影響鄰近物體，并提示用戶圍繞照相機的觀察點(照相機從該觀察點觀察物體)重新捕獲圖像。 微計算機162通知適當的掃描角速度(用戶搖動照相機的速度)，并在掃描角速度太快時指示顯示裝置18和/或聲音產生器20發出顯示和/或警告聲音。以此方式提示用戶重新捕獲圖像。 微計算機162在顯示裝置18(諸如，LCD屏幕)上以曲線圖顯示來自姿勢傳感器(陀螺傳感器)的輸出(掃描角速度)，垂直軸代表輸出，水平軸代表時間。當設置了水平視角、水平像素數和快門速度時，確定了最高的掃描角速度，所以曲線圖如圖4所示，在圖4中，合適范圍RNG為最高的掃描角速度的60%到80%。
以下顯示以上操作的示意性過程。 [1]按下操作單元19中的開始按鈕，并旋轉照相機。然后，放開開始按鈕。
[2]只要開始按鈕被按下，掃描角速度就顯示在顯示裝置18的屏幕上，如圖4所
[3]當掃描角速度慢于合適范圍RNG的下限時，不會發出警告，而當掃描角速度快 于合適范圍RNG的上限(即使是瞬間快于RNG的上限)時，會產生警告聲音。
以下將具體描述上述第一至第五結構。 第一至第五結構中的控制的主要部分由系統控制器16執行。
[第一結構] 在第一結構中，由于CMOS圖像傳感器用作固態成像裝置，所以不應用幀/場方法， 而是使用順序讀取所有線的逐行掃描方案。 圖5A和圖5B描述在本實施例的第一結構中如何捕獲圖像。 照相機設備10假定基本按下述方法移動照相機設備10如圖5A所示垂直旋轉或 者如圖5B所示水平旋轉。也就是說，照相機沿與CMOS圖像傳感器的讀出線垂直的方向移 動。 另外，在本實施例中，微計算機162在剪切CMOS圖像傳感器的成像范圍的中間部
分所獲得的條(如圖5A和圖5B的黑條30所示)上執行光軸控制。 如上所述的捕獲條形圖像提供了下述優點。 (a)隨著條的寬度減小，有利地減小了視差的影響。 (b)隨著條的寬度減小，也有利地減小了 CMOS圖像傳感器的非同時讀出的影響。
(c)也有利地減小了周圍的光量減少的影響。
(d)也有利地減小了透鏡失真的影響。 微計算機162根據例如來自姿勢傳感器14的檢測結果，以下述方法控制聚集成像 光的透鏡(移軸透鏡)的光軸抵消了照相機移動的方向及其角速度。
當CMOS圖像傳感器用作固態成像裝置時，微計算機162在CMOS圖像傳感器的線 的中間部分被曝光的時間段加上讀出時間期間，如上所述控制光軸，而微計算機162控制 驅動器15使光軸在所有其它時間回到中心附近的位置。 也就是說，在圖5A和圖5B示出的條30被曝光的時間段期間，必須控制光軸。
圖6表示CM0S圖像傳感器被曝光的時間段、讀取積累的電荷的時間段和控制光軸 的時間段之間的關系。 對CMOS圖像傳感器的每條線，所述線被曝光，并且讀取電荷。對線執行讀出操作 之后，后面的線被曝光，并讀取電荷。在重復這項操作的時間段期間控制光軸，以處理整個 條上的電荷。 例如，當快門速度為1/1000秒(SP，曝光時間為lmsec)并且條的寬度對應于200 個線時，圖6示出的讀出時間為1. 56msec，光軸控制時間段為2. 56msec。作為參考，當考慮 捕獲圖像的幀率為60fps(大約每個圖像16. 66msec)的相應日本專利No. 3， 928， 222的圖 3的變量Son和Soff時，Son為2. 56msec， Soff為16. 66-2. 56 = 14. lmsec。
在日本專利No. 3，928，22中，光軸被控制的角限制為士1.2度。在本實施例中，但 從0度至0. 3度的任何值被用作角限制，雖然角限制可以為例如±0. 5度。0. 3度的角近似 為能夠選擇的角限制范圍的最大值的60%。 在圖3的精確組合處理器1611中組合這樣捕獲的條形圖像，以產生全景圖片。以 下將描述在精確組合處理器1611中執行的圖像組合處理。 根據本實施例的系統控制器16具有這樣的功能(例如，軟件)把通過多次改變
10成像方向從單個點捕獲的圖像精確地組合成校正了色彩不均勻的單個圖像。 以下將具體地描述在本實施例中的精確組合的特征功能部分。 為了提取透鏡失真校正系數和其它參數，第一色彩校正功能單元16111對每個邊
界執行至少三次塊匹配(BM)操作，并且至少四個邊界被用于組合。確定透鏡失真校正系
數，使得邊界盡可能準確。 換句話說，第一色彩校正功能單元16111從原始圖像提取透鏡失真校正系數和其 它參數。 第一色彩校正功能單元16111隨后對所有子圖像統一執行周圍光減少校正、對比 度增強、色度增強和伽馬校正。 在第一色彩校正功能單元16111已確定透鏡失真校正系數和其它參數并執行周 圍光減少校正、對比度增強、色度增強和伽馬校正之后，組合功能單元16112對所有邊界執 行至少一次(例如，三次)BM(塊匹配)操作。 組合功能單元16112同時評估所有邊界的BM結果，更新光軸方向使得在所有邊界 產生的誤差減少，由此減少誤差，并精確地組合多個圖像。 第二色彩校正功能單元16113對所有子圖像獨立地執行色彩(不均勻)校正，以
減少由組合功能單元16112精確組合的多個圖像之中相鄰圖像之間的色彩差異。 另外，第二色彩校正功能單元16113執行色彩校正，以把相鄰圖像之間色彩的不
連續減小到所述該不連續性不可見的水平。 現在將描述在精確組合處理器1611中執行的精確組合的理論概念。 本實施例基本應用基于Fourier (傅立葉)分析的相位相關技術。 也就是說，本實施例應用基于Fourier移動定理的方法，其中空間函數的移動僅
改變頻譜區中的相位。 也就是說，假定兩個函數^和f2滿足下面的關系。[方程l] f2(x， y) = fJx+Xt， y+yt) 另外，這兩個函數具有下面的頻譜特性。[方程2] F2 (u， v) =(u， v) exp (_2 Ji i (uxt， vyt)) 使用互功率譜(CPS)，以上方程能夠重寫為下面的等價方程。[方程3]
<formula>formula see original document page 11</formula>
其中，F2 ^代表復變函數F2的共軛函數。
實際上，圖像由比特噪聲形成，像兩個圖像之間的互功率譜，如圖7A和圖7B所示, 因此，希望找到互功率譜(CPS)的峰值并隨后推導出平移參數(xt，yt)。
圖7A和圖7B表示基于互功率譜(CPS)的平移獲得的縫合圖像。 圖7A表示縫合兩個圖像的結果。通過檢測互功率譜(CPS)的峰值執行二維平移，
如圖7B所示。當能夠讀取互功率譜(CPS)時，這兩個圖像完全彼此匹配。 由于難以在具有大量噪聲的圖像中檢測最佳峰值，可以使用幾個峰值來選擇最佳峰值。 接下來，將參照圖8至圖14A和圖14B描述使用BM(塊匹配)提取參數的原理。 需要注意BM包括推導上述互功率譜(CPS)的峰值的功能。 首先，選擇良好條件的四個圖像IM0、 IM1、 M2和IM3，如圖8所示。 例如，左下圖像稱為第零圖像IMO，右下圖像稱為第一圖像IM1。類似地，左上圖像
稱為第二圖像IM2，右上圖像稱為第三圖像IM3。圖像M0至M3排列為，使得相鄰圖像在
它們的邊界具有交疊部分。 在圖8中，沿邊界排列的每個矩形代表塊BLK。
在上述的排列條件下，執行BM(塊匹配)。 從四個(上、下、左、右)邊界BDR01、BDR02、BDR13和BDR23提取透鏡失真、視角、
傾斜角和其它信息。將進一步對BM(塊匹配)進行描述。 沿單個邊界的三個位置執行BM，例如，如圖9所示。 當存在透鏡失真時，BM導致彎曲的邊界，如圖10所示。 當傾斜角錯誤時，BM導致向左-右方向傾斜的錯誤邊界，如圖ll所示。 當透鏡失真的中心沿縱向方向偏移時，沿上下圖像之間的邊界產生左-右方向的
收縮，如圖12所示。另一方面，當沿左右圖像之間的邊界產生上_下方向的收縮時，透鏡失
真的中心沿橫向方向偏移。 當照相機朝上時圖像的旋轉程度增加時，產生向上-下方向傾斜的錯誤邊界，如 圖13所示。當照相機不朝向前面而是向機械傾斜軸傾斜時，產生圖13示出的誤差。
各種參數被確定為使得上述誤差最小化。
以這種方法，彼此連接的任何四個圖像幾乎不產生誤差。 例如，使用快速相位相關匹配執行圖像中的相應BM。通過獲取矢量偏移(Xij，yij) 并分析三個塊的偏移的行為，能夠量化每個參數。 對四個圖像執行BM(塊匹配)之后，BM擴展至更多的圖像，并且同時評估所有邊 界的BM結果，如圖14A和圖14B所示。更新光軸方向，以使得在所有邊界的誤差減少。由 此，減少了誤差，并精確地組合多個圖像。 這種情況下，單個圖像被設置為基準圖像，其它圖像被平移并最終放置于誤差被 最小化的位置。 根據以下列出的基本處理來執行精確組合。 平移被用于確定最佳位置并把圖像移動到最佳位置。 為此，重復該循環。 把指示將要進行的移動總量的參數fxy減小至0. 0。 沿上-下和左-右(縱向和橫向)方向對所有圖像執行以上操作。 保持基準圖像不變。
由于BM操作已經提供了相鄰圖像之間的位置關系，基于該位置關系計算將要進 行的移動量。 為了計算將要進行的移動量，加上基準圖像上方和右側的圖像的移動量并減去基
準圖像下方和左側的圖像的移動量，以產生平均值f [y] [x]. x、 f [y] [x]. y。 把該平均值的80%加到每個當前圖像的中心位置，以產生新圖像的中心位置。
把所有圖像的移動量的絕對值之和代入fxy。 計算移動操作如何改進了上下圖像之間的位置關系和左右圖像之間的位置關系。
隨著重復移動操作，變量fxy實際上逐漸減小。
換句話說，fxy趨向于不再能移動的狀態。
當fxy變為足夠小時，結束這個處理。 以下將描述允許無縫連接數千個圖像的圖像組合的具體例子。
在下面的描述中，考慮四個圖像。 例如，如圖8所示，左下圖像稱為第零圖像IM0，右下圖像稱為第一圖像IM1。類似 地，左上圖像稱為第二圖像IM2，右上圖像稱為第三圖像IM3。 第零圖像MO保持在固定位置。也就是說，第零圖像MO用作基準圖像。
假設bxl
、bxl[l]、bx2
和bx2[1]是BM(塊匹配)產生的橫向分量。
這個描述中，僅考慮橫向分量，縱向分量被另行處理。 字符bxl代表左-右方向，字符bx2代表上-下方向。括號[]中的值零代表向下 或向左方向。 當在基準圖像MO的右側或上方存在圖像時，BM結果為正值。 現在，作為極端的例子，假定僅一個位置具有異常值并且bxl[O] = 10、 bxl[l]=
0、bx2
= 0和bx2[1] = 0。 現在考慮這樣的情況在第一行中沿左-右方向存在與IO個像素對應的偏移，而 在其它三個邊界不存在偏移。 確定逐個排列的除基準圖像以外的每個圖像的位置，也就是說，對第零圖像MO 和第一圖像頂l執行的BM的結果確定了第一圖像Ml的位置；對第一圖像Ml和第三圖像 頂3執行的BM的結果確定了第三圖像M3的位置；對第二圖像M2和第三圖像M3執行的 BM的結果確定了第二圖像M2的位置，不利地在第零圖像MO和第二圖像M2之間的位置 關系中產生具有IO個像素的大值縫隙。 在本實施例的方法中，異常值10的影響被分成四個2. 5的子影響。這項處理由稍 后將描述的程序部分執行。 使用xypos2()以及相鄰圖像之間的位置關系確定要進行的平移的量。 第一計算的結果表明第一圖像IM1應該移動-5像素。 使用move ()平移第一 圖像頂l 。 實際移動的量是4像素，是5像素的80% 。 除第零圖像IMO以外的圖像M1、M2和IM3的移動的量為pox[l] = 4、pox[2]= 0以及pox[3] = 0。 作為BM的結果，bxl
從10變為6。
相應地，bx2 [1]的值從0變為4。
13
第二計算的結果表明第一圖像IM1應該移動-1像素。
第二計算的結果也表明第三圖像M3應該移動_2像素。
加上第二計算的結果的80X，產生pox[1] =4.8。 執行第三計算操作和后面的計算操作。在第32計算操作中，由于指示要進行的移 動量之和的fxy小于0. 001像素，計算操作結束。 此時，三個圖像被平移的像素數為7. 5、2. 5和5. 0，并且圖像之間的位置關系從 bxl[O] = 10、bxl[l] = 0、bx2
= 0禾Pbx2[1] = O變為bxl[O] = 2.5、bxl[l] = -2.5、 bx2
=-2. 5和bx2[1] =2.5。以上結果表示誤差已經由此劃分。
以下示出重復多少次計算使fxy小于等于0. 001以及獲得的fxy的值(ii = 32，
fxy = 0.
is
to
IX
0
2 2 2
fx[n]
-0.000244 -0.000244 -0.000344 n pox[n] poy[n] 每個圖像應該平移的像素數
0 0.00 0.00
1 7. 50 0.00
2 2. 50 0.00
3 5.00 0.00 程序的示例的一部分顯示在下面。 一程序的一部分(從這里開始)----------------
clrpos() -//Substitute zero into[pixel] ， the amount translation to be made， pox[] ， fzx[] ， and rolla[]. for(ii = 0 ;ii < 1000 ;ii++) {
xypos2() ;//Use the positional relationship between adjacent images to determine the amount translation to be made, if (fxy < 0. 001) {break ;}
move 0
ZTranslation
fprintf(inf，〃 ii = 1230484，fxy = 0.
)，How many times the calculation
repeated to make fxy equal to or smaller than 0.001 and the value of resultant fxy|n〃 ， ii， fxy);
xypos() ;//Use the positional relationship between adjacent images
determine the amount of translation to be made. move() -//Translation dsppos() ;//Display the amount of correction. angle 0 ;//Convert the amount of correction into an angle and update qq[n]，pp[n]. dsppos() ;//Display the amount of correction. dsperr() ;//Display the error between each pair of sub-images that is greater than 1. step() ;//Create a step angle from qq[n]，pp[n]. —程序的一部分(在這里結束)---------------- 主要的子程序顯示在下面。 —主要子程序---------------- void xypos20 {//Use the positional relationship between adjacent images to determine the amount of translation to be made fx[n]，fy[n]. //Determine the flag fz [n] indicative of an image that cannot be translated. (Delete fprintf) int m， n， m2， n2， h， v， ix ; double cx， cy ; 〃fprintf (inf， 〃 n ix fx[n] fy[n]\n〃 )； f xy = 0 ; for(v = 0 ;v < ny ;v++) {//For all images for(h = 0 ;h < nx ;h++) { m= (nx_l) *v+h ;//Boundary between right and left images n = nx*v+h ;//Boundary between upper and lower images ix = 0 ; if ((0 < skip[h] [v]) || ((v == (ny_l)/2)&&(h == (nx_l)/2))) { //Keep the central image and any image whose flag has been determined unchanged. fx[n] = 0 ;fy[n] = 0 ;fz[n] = 4 ;〃fz[n]is a flag indicative of 肌 image that ca皿ot be translated. if (skip [h] [v] ==2) {f z [n] = 2 ;}〃Set an image whose flag has been determined to 2. }else{
cx = 0 ;cy = 0 ; if (v ! = 0){//when not in the bottom row n2 = n-nx ;〃immediately below if (0 < fok2[n2]) { ix++ ; cx-= bx2[n2] ;//Subtract the value of the image immediately below cy- = by2[n2]; } } if (v ! = ny-1) {//when not in the top row if (0 < fok2[n]) { ix++ ; cx+ = bx2[n] ;〃Add the value of itself. cy+ = by2 [n]; } } if (h ! = 0){//when not in the leftmost row m2 = m-1 ;〃on the left if (0 < fokl[m2]) { ix++; cx- = bxl[m2] ;〃Subtract the value of the image on
the left cy- = byl [m2]; } } if (h ! = nx-1){//when not in the rightmost row if (0 < fokl[m]) { ix++ ; cx+ = bxl[m] ;〃Add the value of itself. cy+ = byl [m]; } } if(ix==0){ fx[n] = 0 ;fy[n] = 0 ;fz[n] = 1 ; fx[n] = cx/ix ; fy[n] = cy/ix ; f z [n] = 0 ;* * * * * * * * *氺*氺* * * * * * * * * * * * * * *氺*氺* * * * * * * * * * * *
i 8 .0*([xu+u][u]Xj)— = +[u]gXq t 8 .OK [xu+u] g一 [u]切一 二 + [u] gxq
i t[+A氺XU = U } (++" XU 〉 0 = q)呵
;8 ()* ([t+司Xj- [ui] Xj) — = + [u] t叫 :8 ()* ([T+冚]xj- [iu] xj) — = + [u] ixq ;H+a*(I—xu) = u
i l[+a*xu = Ul } (++" T_xu > 0 = q)呵
;8 'O剩Xj- 二 +[u]Xod ;8 'O剩xj- 二 +[u]xod sSuTp皿oxins 9， uio; p一w[os]: iou u叫叢// } (o 二 = [u]zj:)j:]:
} xu > o = q)司
(1一x]:d)一加ui]: jo uom:socl j^u一0一;// } (++Ai 〉 Ai o = a) :oj:
i a 'n 'u 'ui
ho]! W[subjjj 0 9a0ui pT〇a
v!^ vj^ vj^ vj^ vj^ vj^ vj^ vj^ vj^ vj^ vj^ vj^ ^J^ ^J^ / /
+ + +小個個小小小小小小小小小小小+個個個個個個個個個個個個個個個個個個個*T、 *T、個個Z Z
:([u]Xj)sqBj+([u]xj)sqi3j = +Xxj [S9S0] O9S0] [S9S0]
[6SS0]
pire [ASSO] [9SS0] [SSSO] [縱O] [SSSO] [戰o] [osso]
，1 [8柳] [Z>S0] [9柳] [WSO] [O柳] [6SS0] [8SS0] ["SO] [9SS0] [SSSO]
Osso] [ssso] [zsso]
如上所述，根據本實施例的第一結構，包含CMOS圖像傳感器的數字照相機能夠以 高幀率捕獲圖像而不會降低分辨率，并且減小了視差的影響、周圍光量的減少的影響和透 鏡失真的影響。另外，能夠創建高質量的全景圖像。 能夠準確地執行圖像組合而不必考慮被組合的圖像數量，并且也能夠消除色彩的 不均勻。 由于能夠從實際捕獲的圖像中提取透鏡失真校正系數，所以不再需要麻煩的校 準，并且顯著提高了精度。 無縫連接數千個圖像的方法允許以必要的分辨率捕獲必要的范圍內的圖像，而不
必擔心要捕獲的圖像數量。 接下來，將描述第二結構。[第二結構] 將描述記錄連續捕獲的圖像的空間位置。
〈概要> 使用連續的照片的全景成像是劃分空間并把劃分的空間重新集合成單個照片的 任務。使用在成像處理期間獲得的空間信息執行反運算能夠從照片創建高度精確的全景照 片。 在本實施例中，捕獲每個照片時，從傳感器和圖像計算關于成像空間的信息，并且 該信息被附于所述照片。這個過程幫助創建全景照片。
〈附著關于成像空間的信息> 例如，當執行全景成像時，固定于單個點的透鏡由電機驅動，從而改變成像方向。
在以上條件下捕獲的照片彼此的差別僅在于成像方向，但這些照片都是位于固定 位置的照相機設備10獲得的。也就是說，焦點位置固定。因此，下面描述限于在固定視角 內圍繞某一點捕獲的圖像。 使用上述的成像方法時，獲得關于捕獲的空間的如下兩類信息也就是說，關于被 成像的目標的信息(觀察矢量)和關于圍繞該觀察矢量的旋轉(滾動)角度的信息。
〈投影球面和空間的定義>
對空間成像獲得的照片被投影到單個表面上。 考慮到以全景攝影對空間成像。為了支持所有方向，假定球面存在于攝影用戶周 圍并且捕獲的圖像投影在球面上。然后，容易地執行圖像處理。當球面用于定義觀察矢量 時，也確定了坐標空間。 進行下面的定義照相機設備100所在的焦點位置是原點(0，0，0)，并且投影球面
具有半徑l。 假定水平前側位于Z軸上的點l(O，O，l)，觀察矢量是具有開始點(O，O，O)和結束 點f(O，O，l)的矢量。 觀察矢量是具有長度1的單位矢量，觀察矢量的長度在每個方向都是1。
由于觀察矢量vl自己不足以記錄幀的滾動，所以額外地記錄滾動矢量v2。滾動矢 量v2是指示所討論的圖像的向上方向的信息，矢量(v2-vl)指示該圖像的向上方向。
以這種方法，捕獲圖像的方向能夠由這兩個矢量(投影球面上的兩個點)表示，并 且成像方向能夠在投影球面上以均勻密度描述。
〈相對移動和絕對坐標> 當捕獲圖像時獲得的空間信息包括兩類信息相對信息和絕對信息。
創建全景圖像可以僅需要指示捕獲每個圖像的方位的絕對位置信息，但是可能無 法獲得可靠的絕對信息。為解決這個問題，積累相對信息以獲得絕對信息，或者使用粗略的 絕對信息獲得校正的絕對信息。 在透鏡驅動的全景照相機中，絕對信息用作移動透鏡的情景。然而，由于加入了成
像處理期間的震動、驅動透鏡時的誤差、姿勢傳感器低精度和其它因素作為相對信息，通過
計算確定精確的絕對值。〈把相對移動擴展到空間> 現在假定圖像識別和姿勢傳感器已經提供了準確的相對信息。
當前圖像幀fl從前一圖像幀f2平移(dx， dy)并被滾動幀滾動量rz時，基于視角 的計算表明，圍繞x軸和y軸的旋轉量分別是rx和ry。這種情況下，f2的觀察矢量v2被 旋轉(rx， ry， rz)以形成fl的觀察矢量vl。 投影球面上的絕對位置基于以上信息來確定。然而，把v2從v2的位置旋轉(rx， ry，rz)可能需要相對復雜的計算。 為解決這個問題，最新的圖像fl固定于前側vl(0，0，l)，排列在投影球面上的圖 像f2和后面的圖像整體上被旋轉(-rx，-ry，-rz)。也就是說，最新的圖像fl用作基準，其 它圖像相對于這個基準移動。 重復這項操作使最新圖像的位置為(O，O， 1)，但允許確定其它圖像的絕對位置。
通過也以矢量的形式表示滾動信息來產生這兩個矢量(觀察矢量和滾動矢量)的 原因在于相對旋轉(球面的旋轉，而非觀察矢量的旋轉)容易執行。
〈相對移動值的積累和與絕對信息的差異> 在以上描述中，僅使用相對信息在空間上排列圖像，但實際上，例如也從姿勢傳感
器14獲得關于沿上_下方向的絕對滾動和傾斜的信息。然而，從姿勢傳感器14獲得的絕
對信息并未精確得足以產生全景照片，可以不使用來自姿勢傳感器14的信息。 另一方面，相對信息非常精確，這是因為相對信息是通過圖像識別獲得的，但它仍
然包含誤差。基于相對信息連接圖像會導致由積累的小誤差引起的大差異。 為解決這個問題，使用來自姿勢傳感器14的絕對信息檢查是否已產生任何積累
的誤差。 在把相對移動擴展到空間的過程期間，以特定間隔把相對移動與來自姿勢傳感器 的對應絕對值進行比較。當相對移動與從姿勢傳感器獲得的絕對值的差異變得太大時，使 用來自姿勢傳感器的絕對值校正相對移動。相對移動積累從這個位置重新開始。
圖15是表示基于連續捕獲的圖像和傳感器信息的空間排列方法的功能框圖。
在圖15中，功能塊41設置關于來自角速度傳感器142的檢測信號的零基準，移動 積分器42執行積分以提供移動量。 檢測器43比較成像裝置12捕獲的相鄰幀圖像，并檢測移動量。 移動積分器42和檢測器43的輸出用于在協調校正邏輯44中執行協調校正，并且
相對位置積分器45對相對位置求積分以提供絕對位置信息。 絕對位置校正器46隨后基于來自加速度傳感器141的結果，校正絕對位置信息，排列部分47確定幀的空間位置并相應地排列幀。
〈空間坐標信息和全景照片> 在捕獲圖像的同時執行上述計算，圖像與指示成像方向的空間坐標信息一起被同 時記錄為元數據。 元數據自身允許創建全景照片。在后處理中執行更精確的調整和編輯時，元數據 也可以用作基本數據。 由于現有技術中不存在指示空間中的成像方向的元數據，所以不能創建精確的全
景照片。相反，本實施例通過當捕獲圖像時提供坐標信息解決了這個問題。 如上所述，在第二結構中，使用經圖像識別技術獲得的幀移動信息和來自姿勢傳
感器的移動信息在空間中排列連續的圖像。來自姿勢傳感器的信息補充圖像識別所沒有提
供的信息。來自姿勢傳感器的信息用于檢查是否已成功執行圖像識別、或者當圖像識別失
敗時用作輔助坐標。空間中排列的圖像創建單個完整的全景圖像。 使用上述方法使得不僅正確表現了用戶前方的景色及其鄰近區域，還正確表現了 用戶上方和后方的景色，由此能夠支持全方向成像或全天空成像。 不僅包含用戶前方的景色附近區域被成像時，而且當對廣角景色成像時，能夠無 誤差地創建全景圖像。
當然上述方法可應用于這樣的情況用手握住的照相機捕獲高清晰圖像。
接下來將描述第三結構。
〈第三結構> 將描述使用連續捕獲的圖像的位置識別的校正。
〈概要> 為了把精確的成像位置信息附著于連續捕獲的圖像中的每個圖像，本配置使用姿
勢傳感器結合圖像識別的方法，稱為"動態校準"。
〈連續成像和關于成像位置的信息> 當連續捕獲的照片被組合成全景照片時，圖片有時不包含高頻分量，因此可能無 法從圖片中鑒別連續性。 上述情況下，可能無法獲得指示連續幀之間的距離的信息。這種情況下，可能無法 創建完整的全景照片。 為了即使在上述情況下也提供位置信息，在使用姿勢傳感器14的成像操作期間，
不僅記錄照片，還同時記錄移動信息和位置信息。〈使用姿勢傳感器> 姿勢傳感器14由同時且并行使用的三軸角速度傳感器142和三軸加速度傳感器 141形成。 角速度傳感器142識別照相機當前以多快速度旋轉，加速度傳感器141檢測沿水 平方向的傾斜。 任何可能的時候，從捕獲的照片獲得移動信息，但是當圖片的條件不允許圖像識 別時，從姿勢傳感器14獲得相對于前一圖像的移動量。 通過把來自姿勢傳感器14的檢測結果中的變化量整體與圖像識別獲得的移動量 進行比較并允許這兩個量彼此影響，能夠獲得更準確的位置信息。
〈姿勢傳感器的問題〉 在希望的全景照片中，圖像的精度高于姿勢傳感器14的精度。當僅從姿勢傳感器
14獲得的信息產生位置信息時，獲得的全景照片可能太粗糙而無法觀看。 不應該依賴姿勢傳感器14的精度，而應該在完全沒有獲得信息時把其用作輔助。 像基于物理學的典型傳感器一樣，姿勢傳感器的輸出不是穩定的，而通常是變動的。 另外，由于靜止狀態下的姿勢傳感器的零位置隨著其條件而變化，必須在開始成
像之前創建靜止狀態并測量零位置的值。 一旦已測量出零位置的值，基于相對于零位置的
偏移來測量移動量。〈圖像識別及其校正> 在本配置中，以全景攝影捕獲連續的圖像，并且同時記錄來自姿勢傳感器的信息 作為元數據。 這個方法的問題在于當圖像被稍后組合成全景圖像時不容易使用元數據信息， 因為姿勢傳感器14的輸出的波動太大。 為解決這個問題，通過圖像識別產生的元數據在成像過程中被校正，隨后被記錄。
在記錄元數據的過程中，指示照相機所朝向的方向的空間信息被更新并隨后被保 持在內部。然而，各種因素降低空間信息的精度。 為解決這個問題，在本實施例中，執行動態校準，其中使用圖像識別和姿勢傳感器 以實時方式校正和更新所述內部保持的空間信息。 當以全景攝影捕獲連續的圖像時，當照相機由電機驅動時，存在預定移動場景 (scenario)，或者當手動掃描照相機時不存在移動場景。 當照相機由電機驅動的情況下存在移動場景時，預先知道大概的成像位置，但是 可能未考慮到在成像操作期間的不期望的震動和運動。姿勢傳感器14用于在成像操作期 間檢測這種變化。 當姿勢傳感器14在成像操作期間檢測到任何變化時，使用圖像識別來精確檢查 實際移動相對于預期的移動場景偏離了多少。在上述的精確檢查中，使用從姿勢傳感器14 獲得的移動量作為基準使得能夠容易地執行圖像識別。 如此計算了相對于預期的移動場景的偏差之后，把該偏差加到移動場景的值，并 且實際執行成像的位置的信息被記錄為捕獲照片的元數據。 由于當手動掃描照相機時不存在移動場景，每當捕獲幀時，使用當前幀和前一幀 之間基于圖像識別的比較來計算所述移動量。 這項操作中，雖然難以確定幀移動多少，但通過來自姿勢傳感器14的信息提供近
似的移動量并基于該近似值執行圖像識別，能夠精確地計算所述移動量。 當難以執行圖像識別時，從姿勢傳感器獲得的移動量被臨時記錄，并在稍后確定
當前幀的坐標，例如通過參照前一幀和當前幀之間的位置關系以及當前幀和下一幀之間的
位置關系。 圖16是表示在使連續捕獲的圖像與傳感器信息相關而使傳感器信息更精確的方 法中，在靜止狀態下的傳感器零位置的校正的功能框圖。 在圖16中，檢測器51比較成像裝置12捕獲的相鄰幀圖像，并檢測所述移動量。
21
靜止狀態檢測器52基于來自角速度傳感器142的檢測信號、來自加速度傳感器 141的檢測信號和來自檢測器51的檢測信號，檢測靜止狀態，并提供在靜止狀態下的角速 度傳感器的基準值。 其后，記錄器53確定該基準值，并把該基準值記錄在存儲器17。 圖17是表示在使連續捕獲的圖像與傳感器信息相關而使傳感器信息更精確的方
法中，如何調節移動信息以使其更精確的功能框圖。 在圖17中，功能塊54對來自角速度傳感器142的檢測信號設置零基準，移動積分 器55執行積分以提供所述移動量。 檢測器51比較成像裝置12捕獲的相鄰幀圖像，并檢測所述移動量。 移動積分器55和檢測器51的輸出用于在協調校正邏輯56中執行協調校正，從而
提供精確的相對移動信息。 如上所述，在第三結構中，當記錄連續圖像時，使圖像識別技術獲得的幀移動信息 與來自姿勢傳感器的移動信息相關，以計算每個圖像像素的視角、靜止狀態下來自姿勢傳 感器的值、來自姿勢傳感器的值和每個像素的視角之間的關系、以及僅從上述兩種類型的 信息之一無法獲得的其它信息。 因此，基于圖像的識別方法和基于姿勢傳感器的檢測方法(這兩種方法中的每一 種方法自己不能提供令人滿意的精度)在本技術中互相配合，由此能夠顯著提高精度和穩 定性。 將參照圖18至圖21更詳細描述以上第二結構和第三結構。
〈捕獲的照片和攝影用戶的旋轉> 以全景攝影捕獲圖像時，捕獲圖像的位置變化由于視差而導致不連續性。 由于視差而導致的不連續性可能無法通過捕獲圖像之后執行的圖像處理被校正。 因此，為了以全景攝影捕獲圖像，攝影用戶和照相機應該保持在特定位置，并且應
該使照相機圍繞該特定位置旋轉來捕獲照片，使得照相機的焦點被固定。 需要注意，眼睛觀看兩個不同的捕獲照片時的移動距離與在成像操作期間的旋轉
量成比例。 當每個照片是數字圖像并且其尺寸能夠由像素數表示時，通過計算在成像操作期 間的旋轉移動距離，能夠相反地確定由像素數表示的兩個圖像之間的移動量。這項操作中 的必要參數是視角。 視角是指示在單個照片中沿左_右方向或上_下方向顯示的寬度的值，該寬度以 成像空間的角度來表示。 視角是成像操作之前測量并提供的參數，假定視角在成像操作期間保持不變。
當水平視角是30度并且捕獲的數字照片的沿橫向方向的像素數是1000像素時， 每像素的成像空間的角度是O. 03度。也就是說，當發現兩個照片之間的移動是800像素時， 實際成像通過把照相機旋轉24度來執行。
每像素的視角用作最重要的初始值。
每像素的視角=幀的視角/幀中的像素數 兩個捕獲的照片之間的旋轉的量=像素數表示的這兩個照片之間的移動量X每 像素的視角
實際的每像素的視角被預先測量并保持作為初始值。
〈角速度傳感器和旋轉量>
角速度傳感器輸出當前的角速度。 由于輸出值隨時間改變，能夠發現角速度的改變，但是輸出值不直接代表旋轉量。
為了從角速度傳感器獲得旋轉的角度，需要定義積分的單位。 角速度傳感器用于以固定間隔執行測量，測量間隔被固定為主要參數。 不僅需要把任何測量的角速度相對時間求積分，還在積分期間在外部測量實際旋
轉的量。被積分的角速度除以實際旋轉量，以確定每度的角速度的積分。 其后，通過把角速度的積分除以每度的角速度的積分，能夠按比例地確定旋轉量。 實際的每度的角速度的積分被預先測量并保持作為初始值。〈動態校準> 角速度傳感器的輸出是相對角速度，除非使用極好的角速度傳感器，否則該輸出 隨著環境變化而變化。由于該變化影響實際的測量，所以每次測量可能需要校正。
這里使用的動態校準是特定于全景成像的處理，并使用來自以全景攝影捕獲的圖 像的反饋，自動執行校正。 在角速度傳感器的參數之中，兩個參數，在靜止狀態下的零點位置和每度的角速
度的積分，隨著環境變化而變化。除了這兩個參數，還存在由于相對移動導致的積累積分誤
差。校正上述這三個參數。〈角速度傳感器的零點的校正> 圖18是校正角速度傳感器的零點的過程流程圖。 為了校正角速度傳感器142的零點，執行圖18步驟ST1至ST16的處理。
除非準確地知道在靜止狀態下角速度傳感器142的輸出值，否則不能檢測角速 度。然而，不利的是，在某些情況下，靜止狀態下的零點隨著溫度和其它環境因素而變化。
使用圖像匹配的結果確定在成像操作期間的準確的零點，以校正零點的漂移。
當角速度傳感器142激活時，預設的初始值用作角速度傳感器142的零點輸出值。
執行兩個幀之間的圖像匹配(ST1至ST3)。當因為包含高頻分量而說明匹配結果 可靠、并且表示在沿X、 Y、 Z軸的方向沒有移動時，角速度傳感器在沿X、 Y、 Z軸的方向的輸 出值被認為指示零點，隨后對這些輸出值采樣。
這個處理中被采樣作為零點的值用于校正(ST4至ST15)。 當在任何軸方向檢測到任何移動時，輸出值不是零點。這種情況下，不執行采樣， 不進行零點校正。 采樣操作之后，采樣數量遞增，并校正零點值。 校正包括，把當前零點值和采樣值之差除以采樣數，并把結果加到當前零點值。由 此計算出零點的平均值。 校正的零點值=零點值+(采樣值_零點值)/采樣數〈從角速度傳感器獲得的移動量的校正> 圖19是校正從角速度傳感器獲得的移動量的過程流程圖。 為了校正從角速度傳感器獲得的移動量，執行圖19步驟ST21至ST26的處理。 不利的是，每度的角速度的積分(它是用于根據從角速度傳感器獲得的角速度的積分確定旋轉角度的參數)在某些情況下隨著溫度和其它環境因素變化。 執行圖像匹配(ST21至ST23)，基于匹配結果校正并更新每度的角速度的積分
(ST24至ST26)。以這種方法，確定在成像操作期間每度的角速度的積分的準確值。 執行兩個幀之間的圖像匹配。當因為包含高頻分量而說明匹配結果可靠時，通過
圖像匹配獲得的沿X、 Y、 Z軸的每個方向的移動量和相應的角速度的積分被用于確定每度
的角速度的積分。 每度的角速度的積分=角速度的積分/(每像素的視角X沿X軸的按照像素的移 動量) 校正的每度的角速度的積分=每度的角速度的積分+(采樣值_每度的角速度的 積分)/采樣數〈用于輔助所述角速度傳感器的加速度傳感器>
角速度傳感器輸出相對的角移動的量。 通過把所述相對值對時間積分(直到對應于當前位置的時間)，計算指示當前位 置的絕對位置信息。 當相對值包含少量偏移或噪聲時，所產生的偏移可能會隨著積分時間增加而增 加。 加速度傳感器能夠檢測重力加速度以提供圍繞Y軸方向(垂直)的旋轉和圍繞Z 軸方向(滾動)的旋轉的絕對值，但單位太大以致于在全景成像中無法使用。因此，在全景 成像中，加速度傳感器的可用性小于角速度傳感器。 然而，具有提供絕對值的優點的加速度傳感器能夠被用于在定期基礎上比較它的
輸出值與從角速度傳感器獲得的相對移動距離的積分，并校正該積分和絕對值。 當絕對移動量變得大到足以被加速度傳感器檢測時，加速度傳感器檢測的絕對位
置與從角速度傳感器獲得的相對移動距離的積分推導的絕對位置相比較，并隨后根據需要
被校正。〈從圖像確定的移動和從傳感器確定的移動>
圖20是獲取移動量的方法流程圖。 在獲取移動量的方法中，執行圖20的步驟ST31至ST35的處理。 圖像匹配獲得的移動量的分辨率遠高于角速度傳感器142的分辨率。因此，任何
可能的時候，通過圖像匹配計算相對移動距離(ST33和ST34)。 不包含高頻分量的圖像(諸如，整個具有單個顏色的天空)無法進行任何匹配。這
種情況下，角速度傳感器142的輸出用于計算相對移動的量(ST33和ST35)。〈通過使用捕獲的照片分配空間坐標的方法> 圖21是使用捕獲的照片分配空間坐標的方法流程圖。 在通過使用捕獲的照片分配空間坐標的方法中，執行圖21的步驟ST41至ST47的 處理。 對如上所述以全景攝影捕獲的所有照片，通過圖像匹配和角速度傳感器能夠確定 相對前一幀的相對旋轉量(ST41至ST43)。 為了創建全景照片，需要使用相對旋轉量來分配絕對空間坐標。 由于捕獲的照片具有相同的視角，通過僅考慮每個捕獲空間的中心(S卩，確定照
24相機朝向的矢量)，能夠執行分配操作。 相對前一幀的相對旋轉量也能夠以照相機所朝向的方向(即，成像觀察矢量)和 前一幀的矢量之間的角度來表示。 當僅使用觀察矢量的簡化方法執行排列時，可能不考慮圍繞Z軸方向的幀的旋轉 或滾動。 為解決這個問題，幀上方的、沿Y軸偏移的另一矢量被準備用于表示幀的滾動。
這兩個矢量表示照相機捕獲圖像的方向和沿Z軸的滾動，并且即使當幀旋轉時也 保持幀信息。 當位于空間中時，新的幀通常位于空間"a"中的前面位置(O，O，l.O)。 當存在任何相對旋轉量時，所有先前幀沿相反方向旋轉那個量，然后，新的幀位于
空間"a"中的前面位置(O，O， 1. 0) (ST44至ST46)。 不是相對前一幀的移動，而是當前幀和過去多個幀之間的移動量被用作基準。
現在假設幀A是當前捕獲的幀，幀B是前一捕獲的幀。
計算幀B相對于幀A旋轉多少(ST43)。 當計算表明幀B的照相機位置是當前幀A的照相機沿X軸方向旋轉rx、沿Y軸方
向旋轉ry以及沿Z軸方向旋轉rz的位置時，除了幀A以外的過去被捕獲幀的所有成像方
向矢量和滾動索引矢量被旋轉rx、ry、rz。 旋轉矩陣可以是在三維空間中使用的典型矩陣。 沿X軸方向的旋轉 x2 = x X cos (rx) _y X sin (rx) y2 = y X sin (rx) +z X cos (rx) z2 = z 沿Y軸方向的旋轉 x2 = x X cos (ry) _z X sin (ry) y2 = y z2 = x X sin (ry) +z X cos (ry)
沿Z軸方向的旋轉
x2 = x y2 = y X cos (rz) _z X sin (rz)
z2 = y X sin (rz) +z X cos (rz) 如上所述，旋轉全部幀并把新幀定位于適當位置(該位置是前側)，使得能夠從相 對旋轉量轉換為絕對空間坐標。 當所有轉換操作最終完成時，所有幀能夠具有各自適合的絕對坐標。 然而，由于最后幀被用作基準，在一些情況下所有幀可能需要相對于任意幀移動。 接下來將描述第四結構。〈第四結構〉 在第四結構中，當檢測到視差或移動對象的任何影響時，顯示裝置18或聲音產生 器20發出警告以提示用戶重新捕獲圖像。 另外，在第四結構中，檢測移動對象，使得即交疊率設置為50%或更高，從而物體的任何部分出現在至少兩個相鄰圖像中。結果，基于相鄰圖像之間的運動矢量的相似性，檢測視差的任何影響或移動物體。 快速搖動照相機設備10以在廣角內捕獲物體的多個條形圖像并把它們組合成單
個圖像，照相機設備io檢測視差多大程度上影響鄰近物體，并提示用戶圍繞照相機的觀察
點(照相機從該點觀察物體)重新捕獲圖像。 通常，廣角照相機的觀察點就位于它的透鏡后面，照相機理想地被手握住并圍繞用戶的手腕旋轉。 這樣圍繞照相機的觀察點旋轉照相機所捕獲的圖像能夠被正確地組合，即使包含鄰近物體。 本實施例的照相機設備10的優點還在于圍繞從照相機的觀察點稍微偏移的位
置捕獲圖像不太可能影響捕獲的圖像，因為所捕獲的多個圖像的任何一個具有條形。 然而，當用手握住照相機并把照相機圍繞用戶肩膀旋轉來捕獲圖像時，因為照相
機圍繞在照相機的觀察點后面較遠的位置旋轉，視差極大地影響捕獲的圖像。 這種情況下，僅對遠景成像時幾乎不存在問題，但當捕獲的圖像包含鄰近物體時
圖像可能無法被正確地組合，因為相鄰圖像之間的鄰近物體的位置關系不同于遠處物體的
位置關系。 為解決這個問題，在第四結構中，當發現視差的影響不允許正確的圖像組合時，發出把照相機圍繞它的觀察點旋轉的指令，以提示用戶重新捕獲圖像。
〈檢測視差的方法〉
將描述檢測視差的方法。 在時間相鄰的兩個圖像彼此交疊的區域中執行多次塊匹配(BM)操作，以確定這兩個圖像的運動矢量。 通常，當已正確地執行了掃描操作時，BM操作得到基本相同的矢量。 當照相機圍繞肩膀旋轉，并且鄰近物體與遠景交疊時，BM操作得到不同的矢量。 由于圖像在鄰近物體和遠物體之間的邊界變化很大，所以BM操作不會提供正確
的值。這個事實用于檢測視差。 以下將示出視差檢測的具體例子。 下面處理由系統控制器16中的圖像信號處理器161和微計算機162以互相配合的方式執行。〈檢測視差的方法〉
[粗略的組合] 照相機設備10在大約120度的范圍內從左向右旋轉，從而捕獲幾十個圖像。 相鄰圖像共享充分大的區域(交疊區域)，其中示出相同物體。 成像操作期間的照相機設備10的運動以短時間間隔由姿勢傳感器14檢測并被記錄。 由于該數據與捕獲圖像同步地記錄，所以可以在捕獲每個圖像時找出照相機所朝向的方向，盡管該方向的精度不是很高。 基于如此獲得的信息，圖像排列在經度_緯度平面上。 這種狀態下，任何一對相鄰圖像之間的交疊區域，具有大約100像素的大尺寸，被放置于基本上正確的位置。 精確的自動組合過程將從這種狀態開始。
〈精確的自動組合〉 在每個交疊區域中的多個位置執行運動檢測(ME :運動估計)。 ME或運動檢測采用基于FET的僅相位相關。也可以應用特征提取和其它適合的方法。 當僅發生平移時，僅需要一次ME操作。 兩次ME操作提供傾斜。 三次ME操作提供透鏡失真系數。 當每個交疊區域中不存在移動對象并且由照相機對遠景成像時，其中用手握住的照相機不影響捕獲的圖像，ME操作的次數可以很小。 然而，當存在移動對象和/或鄰近對象成像(其對產生視差的影響)時，少量的ME操作將無法發現發生的情況。 因此，在每個交疊區域中執行可能的最大次數的ME操作。 當大量ME操作得到具有基本相同的值的運動矢量時，相鄰圖像之一能夠平移并與另一圖像對準。 即使當獲得的運動矢量不具有基本相同的值時，頂部運動矢量的值以相同比率變
為底部運動矢量的值，相鄰圖像之一能夠被傾斜并與另一圖像對準。 然而，當任何交疊區域中的ME操作得到不同的值時，可能無法執行組合。 原因在于在存在移動物體、或同時存在鄰近物體和運物體的情況下，以移動的觀
察點捕獲了圖像。〈執行ME的方法〉 首先對收縮的圖像執行粗略的ME操作。 收縮比率逐漸減小，最終對實際大小的圖像執行ME操作。 改變在ME操作中使用的塊尺寸和/或減小相鄰塊的中心之間的距離，能夠獲取更
詳細的運動矢量。 〈ME結果的評估> 大量的ME結果被用于判斷是否能夠執行正確的縫合。當可能無法正確執行縫合時，把這種情況通知給用戶，并提示用戶重新捕獲圖像。 在任何可能時執行縫合，組合結果顯示并記錄在記錄介質(存儲器)中。〈移動物體的行為> 接下來將描述移動物體的行為。 在時間相鄰的兩個圖像彼此交疊的區域中執行多次塊匹配(BM)操作，以確定這兩個圖像的運動矢量。 所獲得的矢量反映移動部分移動的方向，由此能夠把移動部分與靜止部分分開。
由于圖像在移動對象和靜止物體之間的邊界變化很大，BM操作不會提供正確的值。沿橫向方向執行掃描操作時，無法區分由鄰近的靜止物體導致的視差和沿橫向方向移動的物體。 為解決這個問題，發出警告而不區分視差和移動物體。
27
當檢測到該警告時，任何當前的技術毫不奇怪地不執行縫合。 因此，在本實施例中，發出警告以提示用戶"只是重新捕獲圖像"或"改變捕獲圖像的方法并重新捕獲圖像"。 被發出的警告例子可以是"檢測到視差或移動對象的影響。減小旋轉的半徑并重新捕獲圖像"。 如上所述，在第四結構中，由于在開始成像之后立即判斷是否存在移動物體，所以用戶能夠重新捕獲圖像。 結果，由于在開始成像之后立即判斷視差是否影響所捕獲的圖像，用戶能夠有利
地重新捕獲圖像。 接下來將描述第五結構。〈第五結構〉 在第五結構中，通知適當的掃描角速度(用戶搖動照相機的速度)，當掃描角速度太快時發出警告。以這種方法，提示用戶重新捕獲圖像。 如上所述，微處理器162在顯示裝置18 (諸如，LCD屏幕)上以曲線圖顯示來自姿勢傳感器(陀螺傳感器)的輸出(掃描角速度)，垂直軸代表輸出，水平軸代表時間。
由于當設置了水平視角、水平像素數和快門速度時確定了最高的掃描角速度，如圖4所示顯示曲線圖，即合適范圍RNG為最高的掃描角速度的60%到80% 。
以下示出以上操作的示意性過程。 [1]按下操作單元19的開始按鈕并旋轉照相機。然后，放開開始按鈕。 [2]只要開始按鈕被按下，掃描角速度就顯示在顯示裝置18的屏幕上，如圖4所示。 [3]當掃描角速度慢于合適范圍RNG的下限時，不會發出警告，而當掃描角速度快
于合適范圍RNG的上限(即使是瞬間快于RNG的上限)時，會產生警告聲音。 如上所述，在第五結構中，由于照相機通知合適的速度，所以不會存在不便之處，
例如由于掃描角速度太快而產生區域的交疊，或者由于掃描角速度太慢而僅對較窄區域成像。 將參照圖22A至圖22D描述掃描速度的計算例子。
〈掃描速度的計算〉 下面將描述在已確定了曝光時間、像素數、單個線讀出時間、視角、交疊率、幀率和其它參數的條件下，計算模糊出現角度、模糊像素數和其它問題不會出現的掃描速度的方法。 在所確定的條件下，從下面三個方程獲得的掃描速度中的最慢掃描速度是最高角速度。 圖22A至圖22D示出的表格顯示在已給定視角、掃描速度和各種其它參數的情況
下，模糊像素數、幀率和其它參數的計算值。 列[1]至[6]表示不同條件下的結果。 以下，作為示例將在圖22A至圖22D的條件[1]下進行描述。 模糊出現角度ab2、模糊像素數和nb2和幀率f使用掃描速度vp、視角th、水平像素數H和交疊率k以及在圖22A至圖22D的表格右端示出的計算方程來確定。
ab2 = vp X (ts+n X rs) 1000
nb2 = vpX (ts+nXrs) XH/th
f = 100/(100-k) XHXvp/n/th
以上方程用于如下提供掃描速度vp :
vp = 1000 X ab2/(ts+n X rs)[deg] (1)
vp = nb2 X th/H/(ts+n X rs)[deg/sec] (2)
vp = (100-k) /100 X n X th X f/H (3) 假設模糊出現角度ab2是0. 28度、曝光時間是1 [msec]、沿較短側的像素數n是 400像素、并且單個線讀出時間rs是7. 8[ ii sec]，則掃描速度是vp = 68 [deg/sec]。
假設模糊像素數nb2是19. 9像素、較長側的視角th是50度、并且水平像素數H 是3560像素，則掃描速度是vp = 68 [deg/sec]。 假設交疊率k是20%并且幀率f是15. 13，則掃描速度是vp = 68 [deg/sec]。
因此，當上述每個方程(1)、 (2)、 (3)右側的參數改變時，掃描速度的值由這些方 程限制。 當以高于從方程(1)獲得的值vp的速度執行掃描操作時，光學手抖校正裝置工作 于其極限之外。 當以高于從方程(2)獲得的值vp的速度執行掃描操作時，模糊量超過容許限度。
當以高于從方程(3)獲得的值vp的速度執行掃描操作時，交疊量減少，一些情況 下甚至沒有交疊發生。 以上詳細描述的第一至第五結構中的一個或全部能夠應用于照相機設備IO，或者 能夠應用第一至第五結構的任何合適的組合。 以上詳細描述的方法能夠根據以上過程構造為程序，并在CPU或任何其它適合的 計算機上執行。 另外，上述程序能夠構造為存儲在半導體存儲器、磁盤、光盤、軟盤(注冊商標)和
任何其它適合的記錄介質中，從包括任何以上記錄介質的計算機訪問，并隨后被執行。 本申請包含與2008年10月3日提交給日本專利局的日本優先專利申請JP
2008-258114公開的主題相關的主題，該專利申請的全部內容通過引用包含于此。 本領域技術人員應該理解，在不脫離權利要求或其等同物的范圍的情況下，可以
根據設計的需要和其它因素做出各種變型、組合、子組合和替換。
權利要求
一種成像設備，包括成像裝置，通過光學系統捕獲物體圖像；圖像信號處理器，具有把多個捕獲圖像組合成單個圖像的功能，所述圖像是在成像設備移動期間被捕獲的；控制單元，其中圖像信號處理器基于相鄰圖像之間的運動矢量的相似性，檢測視差的任何影響或移動物體，以及控制單元在圖像信號處理器檢測到移動對象或視差的任何影響時發出警告，以提示重新捕獲圖像。
2. 權利要求1所述的成像設備，其中圖像信號處理器在時間相鄰的兩個圖像彼此交疊的區域中執行多次運動檢測操 作以確定多個運動矢量，并在存在具有不同值的矢量時識別為檢測到視差。
3. 權利要求1或2所述的成像設備，其中圖像信號處理器在時間相鄰的兩個圖像彼此交疊的區域中執行多次運動檢測操 作以確定多個運動矢量，以及控制單元發出警告，而不區分在移動對象和靜止物體之間的邊界上的視差和移動物體。
4. 權利要求1至3中任一所述的成像設備，其中控制單元以固定交疊率控制捕獲若干圖像的操作，以所述固定交疊率，物體的任 一部分出現在至少兩個相鄰圖像中。
5. —種成像方法，包括步驟在移動成像設備時，利用成像裝置通過光學系統捕獲物體圖像；基于相鄰圖像之間的運動矢量的相似性，檢測視差的任何影響或移動物體；當檢測到移動對象或視差的任何影響時發出警告，以提示重新捕獲圖像。
6. 權利要求5所述的成像方法，其中在時間相鄰的兩個圖像彼此交疊的區域中執行多次運動檢測操作以確定多個運 動矢量，并在存在具有不同值的矢量時識別為檢測到視差。
7. 權利要求5或6所述的成像方法，其中在時間相鄰的兩個圖像彼此交疊的區域中執行多次運動檢測操作以確定多個運 動矢量，以及發出警告，而不區分在移動對象和靜止物體之間的邊界上的視差和移動物體。
8. 權利要求5至7任一項所述的成像方法，其中以固定交疊率捕獲若干圖像，以所述固定交疊率，物體的任一部分出現在至少兩 個相鄰圖像中。
9. 一種使計算機執行成像處理的程序，包括處理 在移動成像設備時，利用成像裝置通過光學系統捕獲物體圖像； 基于相鄰圖像之間的運動矢量的相似性，檢測視差的任何影響或移動物體； 當檢測到移動對象或視差的任何影響時發出警告，以提示重新捕獲圖像。
全文摘要
一種成像設備、成像方法和程序。所述成像設備包括成像裝置，通過光學系統捕獲物體圖像；圖像信號處理器，具有把多個捕獲的圖像組合成單個圖像的功能，這些圖像是成像設備被移動期間捕獲的；控制單元，其中圖像信號處理器基于相鄰圖像之間的運動矢量的相似性，檢測視差的任何影響或移動物體，控制單元在圖像信號處理器檢測到移動對象或視差的任何影響時發出警告，以提示重新捕獲圖像。
文檔編號H04N5/232GK101715055SQ20091020444
公開日2010年5月26日 申請日期2009年9月29日 優先權日2008年10月3日
發明者山下紀之, 藤田俊史 申請人:索尼株式會社