專利名稱：使用作為陀螺儀的光運動傳感器的成像裝置的制作方法
背景技術：
圖像模糊是攝影中常見的問題并且有各種原因例如對象的移動和聚焦錯誤造成。然而，一種最常見的導致圖像模糊的原因在于操作者造成的相機振動。人體肌肉通常在4-12赫茲頻率范圍內自然振動。當一個人拿著相機時，這樣的振動造成圖像模糊。這樣的人體振動造成的模糊在長曝光時間或使用具備非常長焦距的變焦/長焦透鏡時特別明顯。為減少這樣的模糊，手持成像系統，諸如數碼相機、可攜式攝像機和雙筒望遠鏡常常采用某種圖像穩定系統。
已經開發了用于圖像穩定的幾種方法和系統。然而，不論這些系統和/或方法，它們均依靠運動傳感器來檢測運動和一種手段來補償檢測到的運動。對靜止相機，所述運動傳感器通常是壓電陀螺儀或MEMs(微—電—機械)陀螺儀。這些陀螺儀通常為小PC板可安裝的封裝體并且通常相對于成像裝置的價格非常昂貴。由于需要兩個陀螺儀用于圖像穩定，這樣陀螺儀的成本常常阻礙其在低價、高容量成像裝置中的使用。可攜式攝像機通常采用其中通過把每一景象幀與前一幀比較而檢測運動的電子方法。盡管這樣的技術是可行的，但其需要大量的信號處理并會被景象中移動的物體搞亂。
圖像穩定系統通常電子或者光學補償檢測到的運動。在可攜式攝像機中，電子補償通過使用特大尺寸的圖像傳感器而獲得。在任何時候僅僅采用一部分圖像傳感器來記錄所述圖像，并且當相機移動時，記錄所述圖像的圖像傳感器部分在圖像傳感器周圍受陀螺儀控制隨時間移動。然后對于記錄的每個幀，相應地修剪圖像傳感器的像素數據。
靜止相機和可攜式攝像機都采用移動圖像而補償檢測到的運動的光—機械方法。一種這樣的方法采用陀螺儀和可移動透鏡元件。通常，相機旋轉造成圖像相對于圖像傳感器移動。陀螺儀檢測的運動轉換成被馬達采用而使透鏡元件進行移動的控制信號，該移動與檢測的運動造成的移動相等但是相反。
另外一種光—機械方法采用陀螺儀和可變棱鏡。所述可變棱鏡包括一對通過由形成不透液體密封的波紋管(bellow)連接的平面玻璃板。玻璃板之間的腔填充和玻璃板具備相同折射系數的液體。陀螺儀檢測的運動轉化成一種控制信號，該信號被馬達采用而調整所述波紋管并控制玻璃板之間的角度來“掌控”圖像以抵消所檢測的運動造成的移動。
盡管能補償圖像移動，但上面描述的每一種用于圖像移動的光-機械方法為開環系統，意味著沒有對圖像位置的反饋控制，因此不能證明/確保所述圖像進行了適當的變換。另外，如前面所提到的，這些方法的每一種方法采用相對昂貴的用作運動傳感器的陀螺儀。
發明概述一方面，本發明提供一種運動傳感器，其配置成控制對接收代表圖像平面上選定景象的光的成像裝置的移動進行補償。該傳感器包括光元件陣列和控制器。光元件陣列配置成獲取運動傳感器視場中環境特征的連續圖像，其包括第一特征圖像和在第一圖像之后一定時間間隔獲取的第二特征圖像，所述第一和第二圖像包括共同特征。所述控制器配置成接收第一和第二圖像并且使得它們相關以通過檢測所述共同特征相對于光電元件陣列的位置差異來檢測成像裝置在所述時間間隔內繞第一和第二軸的運動，和提供基于所述相關的第一和第二補償信號以控制光-機械調整而抵消檢測的成像裝置繞第一和第二軸的運動，以維持選定景象和圖像平面之間基本固定的關系。
參考下面的附圖可更好的理解本發明的實施例。附圖中的元件相對于彼此不一定成比例。相同的附圖標記表示相應的相似部分。
圖1為總體上描述按照本發明采用配置成數字陀螺儀的運動傳感器的相機的實施例的簡圖。
圖2為圖1中相機簡化的等距圖。
圖3A為按照本發明采用圖像穩定系統相機的簡要示意圖。
圖3B為描述圖3A圖像穩定的簡要示意圖。
圖4為按照本發明采用圖像穩定系統的相機的簡要示意圖。
圖5為總體上描述圖像傳感器和相應物鏡之間關系的示意圖。
圖6為描述按照本發明的用于數字陀螺儀的透鏡結構的實施例的簡要示意圖。
圖7為描述按照本發明的用于數字陀螺儀的透鏡結構的實施例的簡要示意圖。
圖8為描述按照本發明數字陀螺儀一個實施例的簡圖。
圖9為描述圖8數字陀螺儀的部分光接收器陣列和轉換放大器的簡要示意圖。
圖10描述按照本發明通過圖像相關性檢測運動的數字陀螺儀所采用過程的一個實施例。
圖11為圖10中部分過程的示意圖。
圖12為在圖8中計算陣列404內單個單元的示意圖。
具體實施例方式
在以下詳細的說明書中，參考附圖(構成說明書的一部分)，其中通過闡述可實施本發明的特定實施方案來示出本發明。在這一方面，方向術語，例如“頂部”、“底部”、“前部”、“后部”、“頭部”、“尾部”等等是參考所描述附圖的方位使用。由于本發明實施例的組件可位于多個不同方向，使用所述方向術語是為解釋目的而非限制。應理解，可采用其它實施例并且可進行結構或邏輯的變化而不偏離本發明的范圍。因此下面詳細的說明書不認為起限制作用，并且本發明的范圍是由附加的權利要求書限定。
圖1為總體上說明成像裝置例如相機30的簡圖，按照本發明采用配置成數字陀螺儀的運動傳感器32來控制對相機30移動的補償。相機30包括圖像平面34、相機物鏡36和陀螺儀物鏡38。在一個實施例中，相機30包括具有圖像平面34的模擬相機，該圖像平面包括光敏成像膜。一個實施例中，相機30為具有包括相機圖像傳感器的圖像平面34的數碼相機，相機圖像傳感器包括光電元件陣列或像素，例如CCD(電荷耦合裝置)型像素和CMOS(互補金屬-氧化物半導體)型像素。
數字陀螺儀32進一步包括光電元件陣列或像素，其配置成陀螺儀圖像傳感器40和控制器42。在一個實施例中，陀螺儀圖像傳感器40包括30×30的CMOS像素陣列。在一個實施例中，數字陀螺儀32包括集成電路封裝體，該集成電路封裝體包括陀螺儀圖像傳感器40和控制器42。數字陀螺儀32、圖像平面34和相機與陀螺儀物鏡36、38設置在相機體或外殼43中。
當相機30指向相機物鏡34的視場46(FOVC)中的選定景象44時，定位相機物鏡從而接收并將代表選定景象44的光線48投射在圖像平面34上。相似的，陀螺儀物鏡38配置成接收和將來自視場50(FOVG)內環境的光投射在陀螺儀圖像傳感器40上。在一個實施例中，陀螺儀物鏡138聚焦在無窮遠。
圖2為圖1中相機30的簡化等距圖。當拍攝者手持相機時，自然、無意的手部動作或振動把動作傳遞給相機是平常的。繞x-和z-軸52和54的相機運動使得相機30拍攝的照片模糊。導致的模糊程度取決于運動的速度、照片的曝光時間和相機的放大設置，其通常由相機物鏡36的焦距表示。
在35-毫米攝影中，常常引用的拇指規則表明相機能可靠手持的最長曝光時間(以秒計)為透鏡焦距(以毫米計)的倒數。例如，當使用50-毫米透鏡時，手持相機的曝光時間可為1/50秒或更快。相似的，當使用300-毫米透鏡時，1/300秒或更少的曝光時間對于不借助三角架而拍攝一張清晰相片通常是必要的。
由無意的手部動作施加在相機30上的動作通常是擺動的，并且由在大約4到12赫茲頻率范圍內的振動組成。無意手部動作可能為大約共六個自由度。然而，圖像模糊、接收的光線48在圖像平面34上的移動主要由繞x-軸和z-軸52，54的轉動造成。繞x-軸52的旋轉造成接收的光線48沿z-軸54移動，并且繞z-軸54的旋轉造成接收的光線沿x-軸52的移動。繞y-軸56的旋轉通常對圖像清晰度有可忽略不計的影響，因為這樣的運動通常不明顯和通常以使沿y-軸56運動的影響最小化的放大比例拍攝照片。
回到圖1，陀螺儀圖像傳感器40配置成獲取在數字陀螺儀32的FOVG50中環境特征的連續圖像。連續圖像包括第一特征圖像和在第一圖像后一定時間間隔獲得的第二特征圖像，第一和第二圖像包括共同特征。這樣的特征可以是所述環境中的任何物體或元件，例如，樹、建筑結構、椅子或桌子。應當注意到所述特征可能位于或可能不位于圖像平面34的FOVC46中。
一個實施例中，當快門控制鈕62(參考附圖2)被使用者部分或全部按壓時，陀螺儀圖像傳感器40開始獲取連續圖像。一個實施例中，陀螺儀圖像傳感器140配置成每秒至多獲取1000張環境特征圖像。
控制器42配置成從陀螺儀圖像傳感器40接收獲取的圖像和通過檢測共同特征相對于陀螺儀圖像傳感器40的像素陣列的位置差異使得第一圖像和第二圖像相關以檢測相機30在所述時間間隔內繞x-軸52和z-軸54的運動。一個實施例中，第一圖像被用作參考圖像。一個實施例中，參考圖像為陣列40在快門控制鈕62按下后獲取的初始圖像。一個實施例中，控制器42使得所述參考圖像與陀螺儀圖像傳感器接收的每個連續獲得的圖像相關以檢測相機30的運動。數字陀螺儀32的一個實施例和數字陀螺儀32采用的相關過程的例子在下文通過圖8到15更詳細的描述。
基于所述的相關性，控制器42提供第一和第二補償信號58和60，以控制光—機械調整來抵消檢測的相機30繞x-和z-軸52、54的運動，以維持選定的景象44和圖像平面34之間基本固定的聯系。一個實施例中，第一補償信號58控制沿x-軸52的調整，而且第二補償信號60控制沿z-軸54的調整。
這里所用的“光-機械調整”包括對可動透鏡元件(參見下圖4)的控制和/或圖像平面的移動控制(參見下面圖3A和3B)以維持選定的景象44和成像平面34之間基本穩定的聯系。其不包括對相機外殼43位置的調整以穩定所述圖像。
總而言之，通過采用光電元件陣列來檢測運動，諸如基于CMOS的圖像傳感器，按照本發明的數字陀螺儀32為昂貴的、基于機械的陀螺儀提供了廉價的替代物。因此，數字陀螺儀32為低價、高容量成像裝置提供廉價的圖像穩定裝置。此外，如下面參考圖3A和3B更詳細的進行了描述，數字陀螺儀32為圖像穩定系統提供對圖像位置直接反饋控制的裝置，從而改善圖像穩定系統的性能。
圖3A和3B總體上為顯示采用按照本發明圖像穩定系統實施例的數碼相機130的一個實施例的簡化示意圖。相機132包括數字陀螺儀132、相機圖像傳感器134、相機物鏡136和陀螺儀物鏡138。數字陀螺儀132進一步包括陀螺儀圖像傳感器140和控制器142。
一個實施例中，如所描述的，數字陀螺儀132和相機圖像傳感器134設置在一個可移動平移臺170上。平移臺170可由第一音圈馬達(VCM)172沿x-軸152移動。平移臺170可由第二VCM174沿z-軸154移動(參見圖3B)。數字陀螺儀132、平移臺170和VCM172、174一起形成閉路圖像穩定系統175，用于穩定相機圖像傳感器134通過相機物鏡136接收到的圖像。在一個實施例中(未顯示)，陀螺儀圖像傳感器140設置在平移臺170上，控制器142定位在離開平移臺170的位置。
參考圖3A和3B，當相機130聚焦在FOVC146選定的景象144上時，相機物鏡136將選定景象144的光線148投射在相機圖像傳感器134上。相似的，陀螺儀物鏡138接收和將來自FOVG150環境的光投射在陀螺儀圖像傳感器140上。一個實施例中，陀螺儀圖像傳感器140包括具備30×30像素陣列的CMOS圖像傳感器。一個實施例中，陀螺儀圖像傳感器140包括16×16像素陣列。
陀螺儀圖像傳感器140配置成獲取在FOVG150中環境特征的連續圖像。所述連續圖像包括第一特征圖像和第二特征圖像，第二特征圖像在第一圖像后一定時間間隔獲得，第一和第二圖像包括共同特征。一個實施例中，陀螺儀圖像傳感器140配置成每秒至多獲取1000張環境特征圖像。一個實施例中，如上面所提到的，當使用者部分或全部按壓快門控制鈕62(參見圖2)時陀螺儀圖像傳感器140開始獲取連續圖像。
控制器142從陀螺儀圖像傳感器140接收連續圖像。相機130繞x-和z-軸152、154的旋轉選取景象144和FOVG150中的特征分別經相機圖像傳感器134和陀螺儀圖像傳感器140從一個圖像傳遞到下一個圖像。為檢測相機130這樣的動作，控制器142使得第一和第二圖像相關以檢測處于第一和第二圖像之間的陀螺儀圖像傳感器140上共同特征的像素位置中的差別。
基于這樣的相關，控制器142對第一VCM172提供補償信號158以抵消檢測的沿x-軸152的移動，以及對第二VCM174提供第二補償信號160來抵消檢測的沿z-軸154的移動。作為一個例子，相機130分別向下和向左第二量(相對于使用者)的移動造成選定景象144和在FOVG150中的環境特征相對于相機圖像傳感器134和陀螺儀圖像傳感器140向上平移第一量和向右平移第二量。經過所述相關過程，控制器142測得這樣的移動，并且相應的提供第一補償信號158，使第一VCM172沿x-軸152朝右移動平移臺170第二量，以及提供使第二VCM174沿y-軸154朝上移動平移臺170第一量的第二補償信號160。在一個實施例中，如所示，用于第一和第二補償信號158、160的信號路徑包括放大器180、182，向VCM172、174提供需要的信號值。
通過移動平移臺170以抵消相機130的移動，穩定系統175維持FOVG150中環境特征和陀螺儀圖像傳感器140之間基本固定的關系。由于相機圖像傳感器134設置在平移臺170上，抵消FOVG150中環境特征的運動自動抵消選定景象144相對于相機圖像傳感器134的運動，從而穩定圖像傳感器134接收到的選定景象144的圖像并減少最終攝制圖像中的模糊。進一步，通過與平移臺170上的相機圖像傳感器134一致移動陀螺儀圖像傳感器140，穩定系統175提供對圖像位置(即選定的景象144)的直接反饋控制，從而改善系統性能。
圖4是簡化示意圖，描述了使用本發明另一圖像穩定系統的相機230的實施例。相機230使用了數字陀螺儀232，圖像平面234，相機物鏡236，以及陀螺儀物鏡238。數字陀螺儀還包括一個含有像素元件陣列的陀螺儀圖像傳感器240和一個控制器242。在一個實施例中，圖像平面234含有感光成像膜。一個實施例中，圖像平面234含有圖像傳感器。
相機230還包括一對包含可動凹透鏡元件290和固定設置的凹透鏡元件292的補償透鏡。第一VCM 272響應第一補償信號258沿x軸252移動凹透鏡元件290，第二VCM(未顯示)響應第二補償信號260沿Z軸移動凹透鏡元件290。數字陀螺儀232和第一、第二VCM、可動凹透鏡元件290、固定設置的凸透鏡元件292一起形成一個開環圖像穩定系統275。
在與上面所描述的圖3A和3B的數字陀螺儀132相似的模式中，數字陀螺儀232通過將陀螺儀物鏡238視場中環境的第一和第二特征圖像相關來檢測相機230繞x軸和z軸的旋轉。基于這樣的相關，數字陀螺儀提供第一和第二補償信號，使得第一和第二音圈馬達沿x-和z-軸將透鏡元件290移動一合適距離以抵消檢測的相機230移動。相機圖像傳感器234和數字陀螺儀232保持靜止。通過控制凹透鏡元件290的移動以抵消相機230的移動，凹透鏡元件290和固定設置的凸透鏡元件292一起工作以使通過相機物鏡236接收的光相對于圖像平面234平移，從而所述大量圖像相對于圖像平面234保持基本靜止。
陀螺儀圖像傳感器240和表示陀螺儀物鏡238視場中環境特征的并通過陀螺儀物鏡238接收的光線之間的關系沒有類似地進行調整。同樣的，由于穩定系統275不接收圖像位置的直接反饋，穩定系統275是開環系統(例如圖3A選定的景象144)。
圖5為描述圖像傳感器與相應物鏡，例如圖1所描述的陀螺儀物鏡38和數字陀螺儀32的陀螺儀圖像傳感器40之間關系的簡圖。陀螺儀圖像傳感器40包括具備寬度dA(用292表示的)像素陣列，對于每一個像素，如像素294具備和在298處所示基本相同的寬度dp。陀螺儀物鏡38的視場(FOVG)50的弧度與陀螺儀圖像傳感器40的寬度dA292和透鏡38的焦距(f)299的比率相等。
為使數字陀螺儀32檢測運動，陀螺儀圖像傳感器40、從而FOVG50必須轉動至少特定最小角度。若相機30為數碼相機時，相機圖像傳感器34獲取的圖像在相機30旋轉特定最小角度而導致圖像傳感器34上接收圖像的位置有一個像素移動時會有顯著的模糊。此特定最小角度稱為陀螺儀圖像傳感器40和相機圖像傳感器34的角分辨率。
若陀螺儀圖像傳感器40的角分辨率較相機圖像傳感器34的角分辨率大，則數字陀螺儀32在相機圖像傳感器34獲取的圖像開始變模糊之前將無法檢測到相機30的運動。這種情況下，數字陀螺儀32將無法充分抵消相機30的運動，從而無法有效穩定相機圖像傳感器34接收的圖像。鑒于此，數字陀螺儀32的角分辨率不應超過相機圖像傳感器34的角分辨率，希望陀螺儀圖像傳感器40的角分辨率與相機圖像傳感器34的角分辨率基本匹配。
陀螺儀圖像傳感器40的角分辨率以陀螺儀透鏡38的焦距和陀螺儀圖像傳感器40的最小可測圖像運動為依據。反過來，最小可測圖像運動與陀螺儀圖像傳感器40的像素大小相關。像素大小影響圖像質量，一般來說，像素尺寸越大，圖像質量越佳。在一個示例實施方案中，陣列38包括具有最小可測圖像運動大約為1/16像素的60微米像素30×30陣列，60微米除以16得到3.75微米的最小可測圖像運動。若陀螺儀透鏡38焦距為10毫米，則3.75微米的最小可測運動相當于角分辨率為0.375毫弧度。轉換為角度相當于角分辨率約為0.0215度。
相機圖像傳感器34的角分辨率是基于像素大小及相機物鏡36的焦距。例如，一架低檔數碼相機包括焦距為5.7毫米的透鏡，采用3兆像素的圖像傳感器，其中，像素大小約為2.6微米(不同相機間像素大小不同)。2.6微米除以5.7毫米得到角分辨率約為0.46毫弧度。轉化為角度即角分辨率約0.026度，這便與前述角分辨率0.0215度的數字陀螺儀很好匹配起來。
由此，為使陀螺儀32的角分辨率與相機圖像傳感器34的角分辨率匹配，可調整陀螺儀圖像傳感器40的最小可測運動和/或陀螺儀物鏡的焦距。不過一般來說，選一個焦距299的陀螺儀物鏡38以使陀螺儀圖像傳感器40的角分辨率與相機圖像傳感器34的角分辨率相匹配比調整陀螺儀圖像傳感器40的最小可測運動要容易得多。因此，陀螺儀物鏡38可針對具體相機來選擇以使數字陀螺儀32與相機圖像傳感器34的角分辨率最佳匹配。在一種實施方案中，當相機物鏡36包括具有可變焦距的變焦透鏡時，在變焦透鏡36處于遠距照相位置(即“放大”)時，數字陀螺儀的角分辨率配置得與相機圖像傳感器34的角分辨率大體匹配。較之在廣角位置，變焦透鏡36在遠距照相位置時具有最長焦距。
除了角分辨率，在配置采用數字陀螺儀的圖像穩定系統時考慮的另一因素為陀螺儀圖像傳感器的視場，例如圖1所示的數字陀螺儀圖像傳感器40的FOVG50。參考圖3如上所描述的，圖像傳感器的視場(按弧度計)被定義為圖像傳感器的寬度和相應物鏡焦距的比率(例如dA292和f299的比率)。
參考上面用于描述角分辨率的實施例，陀螺儀圖像傳感器60微米像素的30×30陣列具備大約10度的視場(例如圖1的FOVG50)，而3兆像素相機圖像傳感器具備約50度的視場(例如圖1的FOVC46)。因此，陀螺儀圖像傳感器的視場僅有相機圖像傳感器視場的1/5寬。因此，存在這樣的可能，即由陀螺儀圖像傳感器觀測到的部分圖像可能不包括數字陀螺儀可用作參考以測量運動的高對比特征。
參考上述的內容，重要的是提供具備足夠大視場的陀螺儀圖像傳感器以增加出現高對比特征的可能性。一種增加陀螺儀圖像傳感器視場的方法是降低陀螺儀物鏡的焦距，例如圖1中的陀螺儀物鏡38的焦距。然而，降低陀螺儀物鏡的焦距將降低陀螺儀圖像傳感器的角分辨率。
如圖6所示，一種增加陀螺儀圖像傳感器例如圖1的陀螺儀圖像傳感器40的視場的方法在于采用陀螺儀物鏡陣列，如陀螺儀物鏡300a，300b，300c所述。參考圖5，如果每一個物鏡具備和陀螺儀物鏡38相同的焦距(f)299，采用物鏡陣列300a，300b，300c的陀螺儀圖像傳感器40的有效視場大約為當僅用物鏡38時視場的三倍。在所描述的實施例中，三個透鏡300a，300b，300c在陀螺儀圖像傳感器40上產生三個重疊的圖像。因此，盡管陀螺儀圖像傳感器40的對比將會減小，但檢測高對比特征的可能性將增大。
一個實施例中，如圖7所示，相機物鏡36與陀螺儀圖像傳感器40共享，從而減少對單獨的陀螺儀物鏡如圖1所示陀螺儀物鏡38的需要。
圖8為描述按照本發明的數字陀螺儀的一個實施例的簡圖，如數字陀螺儀32。一個實施例中，數字陀螺儀32如圖8所示，形成于一個單一集成電路芯片中。所述芯片為設計用于獲取和處理兩維圖像的模擬信號處理芯片，提供補償信號以抵消如相機30的相關成像裝置的運動，通過獲取的兩維圖像的相關來檢測。
在圖8所示的實施例中，數字陀螺儀32的陀螺儀圖像傳感器40包括32行68列的光電元件408陣列。68列轉換放大器400陣列以逐行的方式從陀螺儀圖像傳感器408傳遞信號到64DC去除電路402陣列。計算陣列404從DC去除電路402接收數據并對該數據進行計算以向離線(off-chip)系統提供補償信號406(即圖1中的第一和第二補償信號58和60)，該芯片系統根據補償信號406抵消相關成像裝置的運動(例如圖3A和3B中的平移臺170和VCM172、174)。
在沒有進行常規集成光傳感器的逐個單元的校準中，靈敏度中的一些變化將會由于集成電路處理技術的限制而發生。如圖8所示的數字陀螺儀芯片32計算第一或參考圖像與隨后在相對于陀螺儀圖像傳感器408的不同位置獲取的第二圖像之間的相關性。照明度和光電元件靈敏度上的任何變化將惡化相關性信號。因此，圖8的空間DC去除電路402配置成維持相關性信號的整體性，同時保持系統的成本相對較低。從導航圖像中去除將破壞相關性信號的照明度和光電元件靈敏度的低空間頻率變化。
DC去除電路402操作的理解對于計算陣列404操作的完全理解不重要，因此沒有詳細描述。理解列轉換放大器400的基本操作是有用的。
參考圖9，顯示了68列光電元件的五列412、414、416、418和420。對每一列，顯示了32行中的6行422、424、426、428、430和432。每一行可操作地與分離的轉換放大器434、436、437、438和439相聯系。一列中的光電元件可操作地通過關閉讀出開關440而與相關的轉換放大器連接。在圖9電路的操作中，沒有兩個光電元件同時連接到相同的轉換放大器上。
每一個轉換放大器434-439作為一個積分器運行并包括連接到固定電壓源的輸入端442。第二輸入端444與轉換放大器的輸出端446通過轉換電容器448電容性地連接。
在圖9電路的運行中，光電元件第一行422的讀出開關可能被關閉，從而每一個轉換電容448接收到與在第一行的相關光電元件處接收的光能相應的電荷。接收到的電荷經輸出線446傳遞到隨后的處理電路。單行的讀出估計在200ns和300ns之間。讀出第一行后，開啟第一行的讀出開關而且轉換放大器復位。然后關閉第二行424的讀出開關以傳遞來自第二行光電元件的信號。重復該過程直到讀出每一行光電元件。
通過運行圖9的轉換放大器434-439，光電元件信號以逐行的方式傳遞到隨后的電路。圖8的DC去除電路402繼續光電元件信號的平行處理，如列轉換放大器所確定的。DC去除電路輸出64個信號并代表在導航傳感器408處接收的光能。在圖8實施例中，信號幀由計算陣列的像素值組成，而像素值通過對來自DC去除電路的64個信號的32個轉換而獲得。
圖10描述了根據本發明的數字陀螺儀例如數字陀螺儀32采用的處理的一種實施方案，用于檢測相關成像裝置例如相機30的運動(參見圖1)。盡管本發明將參考處理表示數字陀螺儀視場中環境特征的光電元件信號進行描述，但所述方法不限于任何一種應用。
進行所述處理以使環境特征參考幀與隨后的環境幀相關。實際上，所述相關性比較對參考幀和隨后的幀共有的圖像特征的位置以在獲取參考幀與隨后幀之間的時間間隔內提供與相關成像裝置的運動相關的信息。
起初，在450處，獲取參考幀信號(即參考圖像)。參考幀可認為是開始位置。通過稍后時間獲取來自導航傳感器的樣本幀信號452然后計算相對于參考幀和隨后獲得樣本幀的相關性值454，確定導航傳感器相對于稍后時間的成像區域的位置。
獲取初始參考幀450可在成像過程一開始發生。例如，一個實施例中，如前面提到的，所述獲取可通過按壓相關成像裝置的快門控制鈕而引發，例如圖2的快門控制鈕62。
盡管通過計算來檢測運動，但該實施例的概念可通過參考圖11的概念圖來描述。7×7像素參考幀456顯示具備T型特征458的圖像。稍后時間(dt)陀螺儀圖像傳感器408獲取用參考幀456替換的第二或樣本幀460，但表示的是基本相同的特征。持續時間dt優選這樣設置，在相關成像裝置例如相機30的平移速度下，使得T型特征458的相對位移比導航傳感器的一個像素小。
如果成像裝置在獲取參考幀456信號與獲取樣本幀460信號之間的時間段內移動，T型特征將移動。盡管優選實施例為dt小于一個完整像素移動的時間，但圖11的概念性描述表示特征458向上和向右移動一個完整像素。設想整個像素移動僅僅是為了簡化描述。
圖11中格柵462代表幀460的7×7陣列中具體像素的像素值的順序變化。所述順序變化單獨分成八個最相鄰像素。即步驟“0”不包括移動，步驟“1”為向上和向左的對角變化，步驟“2”為向上的移動，等等。所述移動對樣本幀460的所有像素同時進行。以這種方式，9個像素移動幀可與參考幀456結合以產生位置幀陣列464。指定為“位置0”的位置幀不包括移動，因此結果僅僅是幀456和460的結合。“位置7”具備最小數量的陰影像素，因此為具備最高相關性的幀。基于相關性結果，T型特征458在樣本幀460中的位置確定為相對于早先獲得的參考幀456中相同特征的位置向右和向上對角移動，這意味著成像裝置在時間dt內向下和向左移動。
盡管可采用其它相關性方法，但可接收的方法為“差值的平方和”相關性。對于圖13的實施例，從單元462的9個偏移形成9個相關系數(Ck＝C0，C1…C8)。另一個選擇考慮樣本幀460的移動，因為所述相關性通過偏移所述參考幀456和樣本幀保持不偏移表現得同樣好。
運用相關性來尋找參考幀456和樣本幀460共同特征458的位置以確定所述特征的位移。如上面所描述的，例如圖3A和3B，調整相機圖像傳感器34的位置以抵消通過隨后樣本幀與參考幀456的相關性而檢測的運動。盡管所述處理提供高度的相關性，誤差盡管會小，但當每一個連續樣本幀460與參考幀456比較時會隨著時間積累。如果允許積累過長的時間，這些誤差將造成對所檢測運動抵消的減弱，并且因此對圖像的穩定也減弱。對圖4所示的開環穩定系統275尤其如此。
借助上面的描述，一個實施例中，如果從獲取起始參考幀456開始過去太長持續時間而相機30不照一張照片，則將獲得一個新的參考幀456。此外，一個實施例中，如果相機30的使用者大大移動相機而使樣本幀460和參考幀456之間不存在共同特征，則獲得新的參考456。
因此，再次參考圖10，在454每一次相關值的計算后在466進行是否在隨后相關性處理之前替換參考幀的決定。如果確定參考幀不被替換，則在步驟468確定是否移動參考幀的信號，即像素值。如果決定不替換參考幀456，所述處理則返回452以獲取下一個樣本幀并且所述處理繼續。如果決定替換參考幀，圖11中的樣本幀460則成為新的參考幀，如圖10中472所示。下一個樣本幀在452處獲取并且所述處理繼續。
通過確定參考幀和樣本幀之間共同特征位置中的變化，檢測陀螺儀圖像傳感器408和被成像的環境之間的相對運動。基于所述相關性檢測的運動，數字陀螺儀32提供補償信號406以控制補償步驟而抵消檢測的運動，以維持進行成像的景象與成像裝置的成像平面之間相對固定的關系(例如數碼相機的相機圖像傳感器)，并且因此減少圖像模糊。
圖12為在圖8的計算陣列404中單個單元的示意圖。然而，如本領域技術人員所理解的，參考圖10和11可使用其它電路來進行所描述的處理。
圖像數據WDATA(i)代表來自裝載在線468的計算單元466上的特定光電元件的光能，而電荷補償晶體管開關470處于WR(j)信號的控制下。在WR(j)信號去聲明(deasserted)后，新數據保持在電容器472上并由放大器474緩沖。計算單元為兩維單元陣列中的數據單元。簡要的參考圖11，所述單元可用于存儲像素值并移動用于包括幀456和460的7×7陣列中單個像素的像素值。圖12的CDATA節點476為在計算陣列中允許信號幀所有像素的同時信號處理的一個CDATA節點。起初，CDATA節點陣列一起形成對比圖像，或“參考幀”。如下文所描述的，CDATA節點隨后形成樣本幀。控制輸入CDOUT 478選擇信號CDATA、對比數據或選擇用于最相鄰輸出節點NN(0)480的REFOUT。
最相鄰輸入NN(0)-NN(8)480、482、484、486、488、500、502、504和506分別通過線508上的開關控制信號S(0)-S(8)選取。所述NN(0)-NN(8)輸入480-506為按照圖11的像素圖462的最相鄰單元的輸出。因此，節點480表示為既作為散開以連接最相鄰單元的輸出又作為單元466的輸入。開關控制信號由處于計算陣列外部、未顯示的編碼器4-9產生。編碼器的4-位輸入被看作是最相鄰地址并為從0000(0)到1000(8)的二進制值。
所述最相鄰輸入(NNINPUT)節點510通過脈沖REFLD512而取樣，從而在節點REFH514上儲存NNINPUT。相似的，REFDATA516可通過脈沖REFSFT520進行取樣并保持在REFSH518上。
為測試，可聲明(assert)ROWTSTB522，從而允許所述NN(0)信號向TEST輸出524傳播。所述來自一行單元中每一個單元的TEST信號連接到在每一列計算陣列中的公共垂直總線上并在所述陣列的底部多路傳輸和離線驅動。沿所述陣列左沿的一個標準行解碼器允許選取用于測試的具體行。然而，測試特征對本發明不重要。
在圖10中參考步驟454，在單元陣列中的每一個計算單元466具備確定相關性值的電路526。第一輸入528接收來自REFDATA節點516的參考數據。第二輸入530提供由在線508處合適的開關控制信號選取的最相鄰輸入NNINPUT。相關性單元的輸出532為電流。在計算陣列中所有的相關性輸出在跟蹤電路534的單個離線求和電阻器中加在一起。在求和電阻器上形成的電壓被認為是圖12中的相關性值。
在圖12的實施例中，電路526基于差值的平方計算。所述單元466可進行改進以提供基于乘積的相關性而不改變陣列控制輸入S(0)-S(8)的基礎結構，REFLD、REFSFT和CDOUT對整個陣列是全局的。
理解圖11中用462代表的最相鄰圖之間的關系對于單個單元和作為整體的陣列是重要的。圖像的0位置指所述圖像的現在位置。當指圖像從位置0到位置1移動時，所表示的是所有陣列單元中的圖像信號向左向上移動到相鄰單元。即，所述移動與計算陣列中的單個單元相關并與所述陣列中的每一個單元相關。
計算陣列功能可按照圖像獲取、參考圖像加載和相關性計算來描述。圖像獲取指經每一個計算單元466的WDATA線468而加載新圖像信號。在當前的實施中，從光電元件陣列經列轉換放大器和DC去除放大器獲取每40微秒一個新信號幀，即像素值。
加載新圖像的過程被看作“幀傳遞”。幀傳遞花大約10微秒完成。幀傳遞控制電路在幀傳遞過程中聲明信號FTB(未顯示)。下面描述的計算陣列的操作通過觀測和與FTB信號同步來使得與幀傳遞過程協調。新對比圖像的有效性由FTB信號的下降沿顯示。當沒有聲明FTB時，下面描述的操作是唯一適宜的。
在可計算任何圖像相關性之前需要加載像素值的參考幀。為加載參考幀，在計算陣列中CDATA節點476的所有信號必須傳遞到REFH節點514。這通過將CDOUT478和S(0)設定高并發送線512上的REFLD信號而完成。
在參考幀加載后，計算陣列準備計算相關性。像素值的參考幀和隨后的樣本幀之間的相關性通過把最相鄰地址設定到預期的值并記錄在位移跟蹤電路534的求和電阻器上形成的最終電壓來進行計算。當光接收器陣列從獲取參考幀的位置移動單個像素距離時，在一個最相鄰位置將檢測最強相關性，這是因為將有最低水平的輸出電流。在圖11中，相關性在陣列464的位置7處檢測。子像素移動將通過在兩維相關性空間中從多重電流輸出讀數內插而確定。應當注意到，參考幀與其自身之間的相關性可通過設定CDOUT478為低和發射REFSFT520來計算。這使得最相鄰輸入來自參考幀而非樣本幀。
注意到，上面的圖8到12僅描述了按照本發明的數字陀螺儀32的一個實施例。其它電路配置和處理可由數字陀螺儀32利用以獲取和關聯圖像來檢測運動。此外，盡管這里主要對靜止相機進行了描述，但本發明的教導易于進行改變而應用于可攜式攝像機或其它提供運動圖像的成像裝置。例如，當用于可攜式攝像機時，數字陀螺儀可配置成當可攜式攝像機對選定景象拍攝全景時更新參考幀，并可配置成包括篩選以區分由可攜式攝像機全景拍攝或隨景象移動物體造成的有意移動和例如由人體肌肉振動造成的無意移動。
盡管這里描述和解釋了具體的實施例，但本領域技術人員可理解各種替代和/或等價實施可替代所顯示和描述的具體實施例，而不偏離本發明的范圍。該應用意欲覆蓋這里討論的具體實施例的任何更改或變化。因此，意味著本發明僅受權利要求書及其等效表述的限制。
權利要求
1.一種配置成控制對接收代表圖像平面上選定景象的光的成像裝置的移動進行補償的運動傳感器，所述運動傳感器包括光電元件陣列，配置成獲取運動傳感器視場中環境特征的連續圖像，其包括第一特征圖像和在第一圖像之后一定時間間隔獲取的第二特征圖像，所述第一和第二圖像包括共同特征，以及一個控制器，配置成接收第一和第二圖像并且使得它們相關以通過檢測所述共同特征相對于光電元件陣列的位置差異來檢測成像裝置在所述時間間隔內繞第一和第二軸的運動，和提供基于所述相關的第一和第二補償信號以控制光-機械調整而抵消檢測的成像裝置繞第一和第二軸的運動，以維持選定景象和圖像平面之間基本固定的關系。
2.如權利要求1所述的運動傳感器，其中第一圖像包括參考圖像。
3.如權利要求1所述的運動傳感器，其中所述環境的連續特征圖像的第一圖像包括參考圖像，并且連續圖像的每個隨后獲取的圖像與參考圖像相關以檢測成像裝置的運動。
4.如權利要求1所述的運動傳感器，其中所述運動傳感器包括集成電路封裝體，所述集成電路封裝體包括所述光電元件陣列和控制器。
5.如權利要求1所述的運動傳感器，其中所述光電元件陣列包括互補金屬氧化物半導體圖像傳感器。
6.一種成像裝置，包括沿第一和第二軸可動的臺；定位在所述臺上并配置成接收代表選定景象的光的成像平面；以及一個運動傳感器，包括光電元件陣列，定位在所述臺上并配置成獲取運動傳感器視場中環境的連續特征圖像，其包括第一特征圖像和在第一圖像之后一定時間間隔獲取的第二特征圖像，所述第一和第二圖像包括共同特征，以及一個控制器，配置成接收第一和第二圖像并且使得它們相關以通過檢測共同特征相對于光電元件陣列的位置差異來檢測成像裝置在所述時間間隔內繞所述第一和第二軸的運動，和提供基于所述相關的第一和第二補償信號以控制所述臺的移動而抵消檢測的成像裝置繞第一和第二軸的運動，以維持選定景象和成像平面之間基本固定的關系。
7.如權利要求1所述的成像裝置，其中移動所述臺以抵消檢測的成像裝置繞所述第一和第二軸的運動維持了運動傳感器視場中所述環境和光電元件陣列之間基本固定的關系。
8.如權利要求1所述的成像裝置，包括一個配置成沿所述第一軸響應所述第一補償信號移動所述臺的第一音圈馬達和配置成沿所述第二軸響應所述第二補償信號移動所述臺的第二音圈馬達。
9.如權利要求1所述的成像裝置，其中所述成像平面包括一個圖像傳感器。
10.如權利要求9所述的成像裝置，其中所述運動傳感器的光電元件陣列的角分辨率基本上與成像裝置的圖像傳感器的角分辨率匹配。
11.如權利要求1所述的成像裝置，包括一個與所述成像平面相關的相機物鏡和一個與所述運動傳感器相關的運動傳感器物鏡。
12.如權利要求11所述的成像裝置，其中運動傳感器物鏡具備一個焦距從而運動傳感器的光電元件陣列的角分辨率與成像裝置的圖像傳感器的角分辨率基本匹配。
13.如權利要求1所述的成像裝置，多個與運動傳感器的光電元件陣列相關的物鏡，所述多個物鏡中的每一個物鏡具備相應的視場，多個物鏡中每一個物鏡的視場結合以形成光電元件陣列的有效視場。
14.如權利要求13所述的成像裝置，其中多個物鏡中的每一個透鏡把相應視場中的特征圖像投射到光電元件陣列上，其中每一個特征圖像彼此不同。
15.一種成像裝置，包括配置成接收代表選定景象的光的成像平面；一個布置在成像平面和選定景象之間并沿第一軸和第二軸移動的透鏡元件；一個運動傳感器，包括光電元件陣列，定位在所述臺上并配置成獲取運動傳感器視場中環境特征的連續圖像，其包括第一特征圖像和在第一圖像之后一定時間間隔獲取的第二特征圖像，所述第一和第二圖像包括共同特征，以及一個控制器，配置成接收第一和第二圖像并且使得它們相關以通過檢測共同特征相對于光電元件陣列的位置差異來檢測成像裝置在所述時間間隔內繞所述第一和第二軸的運動，和提供基于所述相關的第一和第二補償信號以控制所述透鏡元件的移動而抵消檢測的成像裝置繞第一和第二軸的運動，以維持選定景象和成像平面之間基本固定的關系。
16.如權利要求15所述的成像裝置，其中所述成像平面包括一個圖像傳感器。
17.如權利要求15所述的成像裝置，其中所述成像平面包括光敏成像介質。
18.如權利要求1所述的成像裝置，進一步包括一個物鏡，其中所述成像平面和所述光電元件陣列定位從而所述物鏡把所述選定的景象投射到所述成像平面并且把所述光電元件陣列的視場中的所述環境特征投射到光電元件陣列。
19.一種對接收代表圖像平面上選定景象的光的成像裝置的運動進行補償的方法，該方法包括用圖像傳感器獲取環境特征的連續圖像，包括第一特征圖像和在所述第一圖像后一定時間間隔獲得的第二特征圖像，所述第一和第二圖像包含共同特征；使所述第一和第二圖像相關以通過檢測所述共同特征相對于所述圖像傳感器位置上的差異來檢測成像裝置繞第一和第二軸的運動；控制基于所述相關的光-機械調整以抵消檢測的成像裝置的運動，以維持選定景象和成像平面之間基本固定的關系。
20.如權利要求19所述的方法，其中所述第一圖像包括參考圖像并且所述相關包括選取環境特征的連續圖像的初始圖像作為參考圖像。
21.如權利要求19所述的方法，包括以基于選定的操作標準的連續特征圖像的隨后圖像來更新所述參考圖像。
22.如權利要求21所述的方法，其中更新選定的操作標準包括移動成像裝置，導致第一和第二圖像之間沒有共同特征。
23.如權利要求19所述的方法，其中控制光-機械調整包括沿第一和第二軸調整所述圖像平面的位置。
24.如權利要求23所述的方法，其中控制光-機械調整包括沿第一和第二軸一起調整所述圖像平面的位置和所述圖像傳感器的位置。
全文摘要
配置成控制對接收代表圖像平面上選定景象的光的成像裝置的移動進行補償的運動傳感器。所述運動傳感器包括光電元件陣列和控制器。光電元件陣列配置成獲取運動傳感器視場中環境特征的連續圖像，其包括第一特征圖像和在第一圖像之后一定時間間隔獲取的第二特征圖像，所述第一和第二圖像包括共同特征。所述控制器配置成接收第一和第二圖像并且使得它們相關以通過檢測所述共同特征相對于光電元件陣列的位置差異來檢測成像裝置在所述時間間隔內繞第一和第二軸的運動，和提供基于所述相關的第一和第二補償信號以控制光－機械調整而抵消檢測的圖像裝置繞第一和第二軸的運動，以維持選定景象和圖像平面之間基本固定的關系。
文檔編號H04N5/232GK1912685SQ200610089809
公開日2007年2月14日 申請日期2006年4月30日 優先權日2005年5月5日
發明者W·R·小圖爾納 申請人:阿瓦戈科技通用Ip(新加坡)股份有限公司