專利名稱：根據(jù)單個相機(jī)和運動傳感器的3d信息推導(dǎo)的制作方法
根據(jù)單個相機(jī)和運動傳感器的3D信息推導(dǎo) ^^隨著手持電子設(shè)備技術(shù)的改進(jìn)，各種類型的功能被組合到單個設(shè)備，且這些設(shè) 備的形狀因數(shù)變小。這些設(shè)備可具有大規(guī)模的處理能力、虛擬鍵盤、用于蜂窩電話和因 特網(wǎng)服務(wù)的無線連接性以及相機(jī)等。相機(jī)尤其成為流行的附件，但包括在這些設(shè)備中的 相機(jī)通常限于低分辨率快照和短視頻序列。這些設(shè)備的小尺寸、輕重量和便攜性要求阻 止了相機(jī)的許多更復(fù)雜用途被包括于其中。例如，可通過從物理上分離的位置獲取同一 物體的兩張照片、由此給出同一場景的略微不同的視覺透視圖來實現(xiàn)3D照相術(shù)。用于這 種立體成像算法的技術(shù)通常需要精確知曉獲取兩張照片的兩個位置的相對幾何條件。具 體地，分離兩個相機(jī)的距離和光軸的會聚角是從圖像提取深度信息時的必要信息。常規(guī) 技術(shù)一般要求兩個相機(jī)相對于彼此從嚴(yán)格固定的位置同時獲取照片，這會需要昂貴且笨 重的設(shè)置。這種方法對于小型且相對便宜的手持設(shè)備是不實用的。附圖簡述通過參照以下描述和用于示出本發(fā)明的實施例的附圖可以理解本發(fā)明的一些實 施例。在附圖中
圖1示出根據(jù)本發(fā)明的實施例的具有內(nèi)置相機(jī)的多功能手持用戶設(shè)備。圖2A和2B示出根據(jù)本發(fā)明的實施例用于參照線性運動和角運動的框架。圖3示出根據(jù)本發(fā)明的實施例從不同位置在不同時間獲取同一物體的兩張照片 的相機(jī)。圖4示出根據(jù)本發(fā)明的實施例描繪在偏心位置中的物體的圖像。圖5示出根據(jù)本發(fā)明的實施例利用單個相機(jī)提供物體的3D信息的方法的流程 圖。詳細(xì)描述在以下描述中，陳述了眾多特定細(xì)節(jié)。然而，應(yīng)該理解本發(fā)明的實施例可在沒 有這些特定細(xì)節(jié)的情況下實施。在其它情況下，沒有詳細(xì)示出公知的電路、結(jié)構(gòu)和技 術(shù)，以免使本說明書的理解困難。對“一個實施例”、“實施例”、“示例實施例”、“各實施例”等的引用指 示所述的本發(fā)明的實施例可包括特定的特征、結(jié)構(gòu)或特性，但并非每個實施例都必需包 括該特定的特征、結(jié)構(gòu)或特性。此外，一些實施例可具有關(guān)于其它實施例描述的特征中 的一些、全部或不具有這些特征。在以下描述和權(quán)利要求書中，可使用術(shù)語“耦合”和“連接”及其衍生詞。應(yīng) 該理解這些術(shù)語并非旨在指彼此同義。相反，在特定實施例中，“連接”用于指示兩個 或多個元件相互直接物理或電接觸?！榜詈稀庇糜谥甘緝蓚€或多個元件彼此合作或相互 作用，但它們可能或可能不直接物理或電接觸。如權(quán)利要求中所使用，除非明確說明，否則用于描述普通元件的序數(shù)詞“第 一”、“第二”、“第三”等僅僅指示參照類似元件的不同實例，且不旨在暗示如此描 述的這些元件必須在時間、空間、按等級或按任意其它方式在給定序列中。
3
本發(fā)明的各實施例可以硬件、固件、軟件中的一個或其任意組合實現(xiàn)。本發(fā)明 還可被實現(xiàn)為包含在機(jī)器可讀介質(zhì)內(nèi)或之上的指令，其可由一個或多個處理器讀取和執(zhí) 行以實現(xiàn)本文所述的操作的執(zhí)行。計算機(jī)可讀介質(zhì)可包括用于按由一個或多個計算機(jī)可 讀形式存儲信息的任意機(jī)構(gòu)。例如，計算機(jī)可讀介質(zhì)可包括有形存儲介質(zhì)，諸如但不限 于只讀存儲器(ROM)；隨機(jī)存取存儲器(RAM)；磁盤存儲媒體；光存儲媒體；閃存設(shè) 備等。本發(fā)明的各實施例通過在不同時間從不同位置獲取同一一般場景的兩張照片， 將相機(jī)移動到照片之間的不同位置來使單個相機(jī)能導(dǎo)出一個或多個物體的三維(3D)信 息。線性運動傳感器可用于確定相機(jī)已經(jīng)在照片之間移動多遠(yuǎn)，由此提供用于分離距離 的基線。角運動傳感器可用于確定相機(jī)方向的變化，由此提供所需的會聚角。盡管這種 位置和角信息可能不會像兩個固定安裝的相機(jī)可能做到的那樣準(zhǔn)確，但該準(zhǔn)確度足夠用 于很多應(yīng)用，且對于那種更笨重方法，成本和尺寸的減小可能是相當(dāng)大的。各種形式的運動傳感器是可用的。例如，彼此處于正交角的三維線性運動加速 度計可提供三維空間中的加速度信息，該信息可轉(zhuǎn)換成三維空間中的線性運動信息，進(jìn) 而可轉(zhuǎn)換成三維空間中的位置信息。類似地，角運動加速度計可提供關(guān)于三個正交軸的 旋轉(zhuǎn)加速度信息，該信息可轉(zhuǎn)換成三維空間中角方向的變化?？墒咕哂泻侠頊?zhǔn)確度的 加速度計相當(dāng)便宜且具有緊湊的形狀因數(shù)，尤其是當(dāng)它們僅需要在短時間段上提供測量 時?？砂锤鞣N方式使用從兩張照片導(dǎo)出的信息，諸如但不限于1)可確定場景中一個或多個物體的相機(jī)至物體距離。2)多個物體的相機(jī)至物體距離可用于導(dǎo)出分層描述和物體距離相機(jī)的相對距離 和/或物體彼此間的相對距離。3)通過獲取周圍區(qū)域的一系列照片，可自動構(gòu)造整個區(qū)域的3D地圖。取決于 線和角測量設(shè)備的長期準(zhǔn)確度，這可使地理上廣大的區(qū)域的地圖能夠簡單地通過移動通 過該區(qū)域并獲取照片來制作，只要每張照片具有至少一個物體與至少一張其它照片相同 即可，從而可進(jìn)行適當(dāng)?shù)娜菧y量計算。圖1示出根據(jù)本發(fā)明的實施例的具有內(nèi)置相機(jī)的多功能手持用戶設(shè)備。示出設(shè) 備110具有顯示器120和相機(jī)鏡頭130。相機(jī)的其余部分以及處理器、存儲器、無線電 和其它硬件和軟件功能可包含在該設(shè)備中且在該圖中不可見。用于確定運動和方向的設(shè) 備——包括機(jī)械組件、電路和軟件——可在實際相機(jī)之外，但物理地且電子地耦合到該 相機(jī)。盡管所示的設(shè)備110被描述為具有特定形狀、比例和外觀，但這僅僅是實例，且 本發(fā)明的實施例可能不限于該特定的物理構(gòu)造。在一些實施例中，設(shè)備110可以主要是 相機(jī)設(shè)備，而沒有很多附加功能。在一些實施例中，設(shè)備110可以是多功能設(shè)備，且很 多其它功能與相機(jī)無關(guān)。為了便于說明，將顯示器120和相機(jī)鏡頭130示出在設(shè)備的同 一側(cè)，但在很多實施例中，鏡頭在設(shè)備上與顯示器相對的一側(cè)上，從而顯示器可充當(dāng)用 戶的取景器。圖2A和2B示出根據(jù)本發(fā)明的實施例用于參照線性運動和角運動的框架。假設(shè) 三個相互垂直的軸X、Y和Z，圖2A示出如何將線性運動描述為沿各個軸的線性向量， 而圖2B示出如何將角運動描述為關(guān)于每個軸的旋轉(zhuǎn)。這六個運動度合起來可描述三維
4空間中諸如相機(jī)之類的物體的任何位置或旋轉(zhuǎn)運動。然而，當(dāng)與周圍區(qū)域的XYZ框架相 比較時，關(guān)于相機(jī)的XYZ框架可改變。例如，如果諸如加速度計之類的運動傳感器固定 地安裝到相機(jī)上，則為這些傳感器提供基準(zhǔn)的XYZ軸將來自相機(jī)的基準(zhǔn)點，且XYZ軸將 隨相機(jī)旋轉(zhuǎn)而旋轉(zhuǎn)。但是如果所需的運動信息是關(guān)于諸如地球之類的相機(jī)外部的固定基 準(zhǔn)的運動，則變化的內(nèi)部XYZ基準(zhǔn)可能需要轉(zhuǎn)換成相對固定的外部XYZ基準(zhǔn)。幸運的 是，用于這一轉(zhuǎn)換的算法是已知的，且此處將不會進(jìn)一步詳細(xì)描述。一種用于測量運動的技術(shù)是使用相對于相機(jī)以固定定向耦合到相機(jī)的加速度 計。當(dāng)相機(jī)從一個位置運動到另一個位置時，各自的測量軸與三個軸X、Y和Z中不同 的一個軸平行的三個線性加速度計可檢測三維中的線性加速度。假設(shè)相機(jī)的初速度和位 置是已知的(諸如在已知位置處從靜止開始)，由加速度計檢測到的加速度可用于計算沿 每個軸的速度，該速度進(jìn)而可用于及時計算給定點處位置的變化。因為可將重力檢測為 垂直方向的加速度，所以這可從計算中減去。如果相機(jī)在測量期間不處于水平位置，則 X和/或Y加速度計可檢測重力分量，且這也可從計算中減去。類似地，與線性運動無關(guān)，各自的旋轉(zhuǎn)軸平行于三個軸X、Y和Z的三個角加速 度計可用于檢測三維中相機(jī)的旋轉(zhuǎn)加速度(即，相機(jī)可旋轉(zhuǎn)到任何方向上的點)。這可轉(zhuǎn) 換成角速度然后是角位置。因為測量加速度時的微小誤差可導(dǎo)致速度和位置的連續(xù)增加的誤差，所以加速 度計的周期校準(zhǔn)可能是必需的。例如，如果假設(shè)在獲取第一照片時相機(jī)是靜止的，則可 假設(shè)恰好在該點處的加速度計讀數(shù)表示靜止相機(jī)，且僅將從這些讀數(shù)的變化解釋為運動 的指示?？蓪⑵渌夹g(shù)用于檢測運動。例如，全球定位系統(tǒng)(GPS)可用于在任何給定 時間相對于地球坐標(biāo)定位相機(jī)，因此可直接確定不同照片的位置信息。電子羅盤可用于 確定相機(jī)在任何給定時間同樣相對于地球坐標(biāo)所指向的方向，且可從羅盤直接確定不同 照片的光軸的方向信息。在一些實施例中，在獲取照片時需要用戶盡最其大努力使相機(jī) 水平(例如，可在相機(jī)上提供氣泡水平儀或來自電子傾斜傳感器的指示)，以將線性傳感 器的數(shù)量減少到二(X和Y水平傳感器)并將方向傳感器的數(shù)量減少到一(圍繞垂直Z 軸)。如果使用電子傾斜傳感器，則可向相機(jī)提供水平信息，以防止在相機(jī)不水平時獲 取照片，或者在獲取照片時提供校正信息以補(bǔ)償非水平相機(jī)。在一些實施例中，可將位 置和/或方向信息從外部源輸入到相機(jī)，諸如通過用戶或通過本文檔范圍以外的方法確 定該信息并將該信息無線發(fā)射到相機(jī)的運動檢測系統(tǒng)的本地定位器系統(tǒng)。在一些實施例 中，可提供可視指示符以幫助用戶按正確方向旋轉(zhuǎn)相機(jī)。例如，在觀察屏幕中的指示符 (例如，箭頭、圓圈、偏斜盒等)可向用戶顯示向哪個方向旋轉(zhuǎn)相機(jī)(左右和/或上下)以 便在第二照片中視覺上獲取期望的物體。在一些實施例中，可使用各種技術(shù)的組合(例 如，用于線性運動的GPS坐標(biāo)和用于旋轉(zhuǎn)運動的角加速度計)。在一些實施例中，相機(jī) 可將這些技術(shù)中的多種用于該相機(jī)，且用戶或相機(jī)可自動地或通過手動選擇從可用技術(shù) 中進(jìn)行選擇和/或可按各種方式組合多種技術(shù)。圖3示出根據(jù)本發(fā)明的實施例從不同位置在不同時間獲取同一物體的兩張照片 的相機(jī)。在所示實例中，在相機(jī)的光軸(即，相機(jī)指向的方向，等價于照片的中心)指向 方向1的情況下，相機(jī)30獲取物體A和B的第一照片。用虛線示出物體A和B相對于光軸的方向。在將相機(jī)30移動到第二位置之后，在相機(jī)的光軸指向第二方向的情況下， 相機(jī)30獲取物體A和B的第二照片。如圖中所指示的，相機(jī)可沿某種間接路徑在第一 和第二位置之間移動。在最終計算中重要的是實際的第一和第二位置，而非它們之間隨 行的路徑，但在一些實施例中，復(fù)雜的路徑可使確定第二位置的過程變復(fù)雜。正如能夠看到的，在該示例中，物體都不直接處于照片的中心，但可基于相機(jī) 的光軸和物體相對于該光軸出現(xiàn)在照片中的位置來計算從相機(jī)至每個對象的方向。圖4 示出根據(jù)本發(fā)明的實施例描繪在偏心位置中的物體的圖像。如圖4所指示的，相機(jī)的光 軸將處于所獲取的任何照片的圖像的中心。如果物體A離心地位于圖像中，圖像中光軸 和該物體位置之間的水平差‘d’可容易地轉(zhuǎn)換成與光軸的角度差，不管物體距離相機(jī)的 物理距離如何這都應(yīng)該是相同的。尺寸‘d’示出水平差，但如果需要的話，還可按類 似方式確定垂直差。因此，可通過獲取相機(jī)指向的方向并基于照片中物體的布置調(diào)節(jié)該方向，以計 算從每個相機(jī)位置至每個物體的方向。假設(shè)在該描述中相機(jī)將相同視場用于兩張照片 (例如，在第一照片和第二照片之間沒有縮放)，從而在兩張照片的圖像中的相同位置將 提供相同的角度差。如果使用不同的視場，則需要使用不同的轉(zhuǎn)換值來計算每張照片的 角度差。但如果物體在兩張照片中都與光軸對齊，則可以不需要偏心計算。在這種情形 中，第一和第二照片之間的光學(xué)縮放是可以接受的，因此不管視場如何光軸都是相同的。代替本文檔的其它位置描述的特征或除這些特征之外，各實施例還可具有其它 特征。例如，在一些實施例中，如果相機(jī)不水平和/或不穩(wěn)定，則相機(jī)可不允許獲取照 片。在一些實施例中，一旦用戶將相機(jī)移動到附近的第二位置并且相機(jī)水平且穩(wěn)定，則 相機(jī)可自動獲取第二照片。在一些實施例中，在移動到第二位置并獲取相同物體的以 物體為中心的照片之前，可在每個位置獲取若干不同的照片，每張照片以不同物體為中 心。同一物體的每對照片可按如關(guān)于兩張照片所述的相同方式被處理?；趶南鄼C(jī)至每個物體的位置變化和方向變化，可針對物體A和B中的每一個 計算各種3D信息。在圖中，第二相機(jī)位置比第一位置更接近物體，且還可計算該差值。 在一些實施例中，如果物體在一張照片中呈現(xiàn)出與另一張照片不同的尺寸，則相對尺寸 可有助于計算距離信息或至少相對的距離信息。還可基于可用信息計算其它幾何關(guān)系。圖5示出根據(jù)本發(fā)明的實施例利用單個相機(jī)提供物體的3D信息的方法的流程 圖。在流程圖500中，在一些實施例中，在510，可以根據(jù)需要通過校準(zhǔn)位置和方向傳感 器開始過程。在520，如果運動感測通過加速度計來執(zhí)行，則可能需要剛好在獲取第一照 片之前、剛好之后或與之同時對第一位置建立零速度讀數(shù)。如果不需要校準(zhǔn)，則可跳過 操作510，并且在520通過獲取第一照片開始過程。然后在530，相機(jī)移動到第二位置， 在該位置獲取第二照片。取決于所使用的傳感器的類型，在540，可在運動期間監(jiān)視并計 算線性和/或旋轉(zhuǎn)運動(例如，對于加速度計)，或者可在獲取第二照片的時候簡單地確 定第二位置/方向(例如，對于GPS和/或羅盤讀數(shù))。在550，獲取第二照片?；?位置信息的變化和方向信息的變化，在560，可計算各種類型的3D信息，且可將該信息 用于各種用途。上述描述旨在說明性而非限制性。本領(lǐng)域的技術(shù)人員將想到變形。這些變形旨 在包括在僅由所附權(quán)利要求的范圍限制的本發(fā)明的各實施例中。
權(quán)利要求
1.一種用于獲取和處理照片的裝置，包括相機(jī)，用于在第一時間從第一位置獲取物體的第一照片，且用于在第二時間從第二 位置獲取所述物體的第二照片；耦合到所述相機(jī)的運動測量設(shè)備，所述運動測量設(shè)備用于確定對于所述第一和第 二照片所述相機(jī)角方向的變化以及在所述第一和第二位置之間所述相機(jī)的線性位置的變 化；以及處理設(shè)備，用于基于所述角方向的變化和所述線性位置的變化確定與所述相機(jī)有關(guān) 的所述物體的三維信息。
2.如權(quán)利要求1所述的裝置，其特征在于，所述運動測量設(shè)備包括線性加速度計。
3.如權(quán)利要求1所述的裝置，其特征在于，所述運動測量設(shè)備包括至少一個角加速度計。
4.如權(quán)利要求1所述的裝置，其特征在于，所述運動測量設(shè)備包括用于確定所述第一 和第二位置之間的線性距離的全球定位系統(tǒng)。
5.如權(quán)利要求1所述的裝置，其特征在于，所述運動測量設(shè)備包括用于確定所述第一 和第二照片之間所述相機(jī)的角方向變化的方向羅盤。
6.—種用于獲取和處理照片的方法，包括在第一時間從第一位置利用相機(jī)獲取物體的第一照片；將所述相機(jī)從所述第一位置移動到第二位置；在第二時間從所述第二位置利用所述相機(jī)獲取所述物體的第二照片；以及通過耦合到所述相機(jī)的電子設(shè)備確定所述第一和第二位置之間的線性距離和所述第 一和第二時間之間所述相機(jī)的光軸的角度變化。
7.如權(quán)利要求6所述的方法，其特征在于，還包括基于所述線性距離和所述角度變化 確定所述物體相對于所述第一和第二位置的位置。
8.如權(quán)利要求6所述的方法，其特征在于，所述確定包括沿多個垂直軸測量加速度以確定所述線性距離；以及測量圍繞至少一個旋轉(zhuǎn)軸的角加速度以確定角度變化。
9.如權(quán)利要求6所述的方法，其特征在于，所述確定包括在獲取所述第一照片之前第 一次使所述相機(jī)水平，以及在獲取所述第二照片之前第二次使所述相機(jī)水平。
10.如權(quán)利要求6所述的方法，其特征在于，所述確定角度變化包括部分地基于所述 物體在所述第一照片中的位置確定對于所述第一照片所述物體的角方向，以及部分地基 于所述物體在所述第二照片中的位置確定對于所述第二照片所述物體的角方向。
11.如權(quán)利要求6所述的方法，其特征在于，所述確定所述線性距離包括使用全球定 位系統(tǒng)確定所述第一和第二位置。
12.如權(quán)利要求6所述的方法，其特征在于，所述確定所述角度變化包括使用羅盤確 定在所述第一時間和所述第二時間所述光軸的方向。
13.一種計算機(jī)系統(tǒng)，包含用于執(zhí)行權(quán)利要求6-12的操作的裝置。
全文摘要
本申請涉及根據(jù)單個相機(jī)和運動傳感器的3D信息推導(dǎo)。在各實施例中，相機(jī)從兩個不同的相機(jī)位置獲取至少一個物體的照片。耦合到相機(jī)的測量設(shè)備測量相機(jī)從一個位置至另一個位置的位置變化和方向變化，并且根據(jù)該信息且在一些實施例中根據(jù)照片中的圖像導(dǎo)出關(guān)于物體的三維信息。
文檔編號G03B35/02GK102012625SQ20101020862
公開日2011年4月13日 申請日期2010年6月13日 優(yōu)先權(quán)日2009年6月16日
發(fā)明者C·B·霍普 申請人:英特爾公司