具有激光指示器的可見光和ir組合的圖像照相機的制作方法

專利名稱：具有激光指示器的可見光和ir組合的圖像照相機的制作方法
具有激光指示器的可見光和IR組合的圖像照相機背景技術現今的許多紅外照相機僅禾傭電磁光譜的遠紅外部分(典型地在8—14 M:的范圍內)的能量產生景象的圖像(IR圖像)。使用這些照相機獲得的 圖像基于至跶照相機傳感器元件的IR輻射的強度給構成景象的像素分配色 彩或灰度級別。因為合成IR圖像基于目標的皿，又因為照相機顯示的色 彩或級別并非典型地與景象的可見光色彩對應，所以特別^itk類裝置的初 學者，難以將IR景象中感興趣的特征(例如，熱斑)與操作者在可見光景 象中看到的其對應位置準確地聯系起來。在紅外景象反差較低的應用中， 僅紅外圖像可能尤其難以洤釋。紅外景象是熱量發射的結果，并且與反射可見光產生的可見光圖像相 比，雖然不是全部，但是絕大多數紅外景象都是非常本質地更不清晰。例 如，考慮一個具有許多電部件和互連的工業機器的電氣控制面板，由于不 同的色彩和精確定義的形狀，可見光圖像將變得清晰且分明。由于從溫度 高的一個或多個部分到其相鄰部分的熱傳遞，所述紅外圖像可能會顯得不 夠清晰。為了處理所述更好地識別感興趣的溫度斑的問題， 一些照相機允許操 作者利用嵌入紅外照相機的獨立的可見光照相機捕捉景象的可見光圖像 (通常稱為"控制圖像")。在商iLt可以從Oregon州的MIsonville的FLIR 系統得到的FLIR ThermaCam P65就是這種照相機的一個例子。這些照相 機不提供自動對準或將可見光與紅外圖像在照相機中合并的能力，將手動 使紅外圖像中感興趣的圖像特征與可見光圖像中對應的圖像特征關聯的操 作留給操作者。可選擇地， 一些紅外照相機應用嵌入照相機里或附于照相機上的激光 指示器。在商業上可以從Oregon州的WilsonviUe的FLIR系統得到的FLIR ThemiaCam⑧E65就是這種照相機的一個例子。該激光指示器在目標上艦 可見點或可見區域，以便允許用戶從視覺上識別目標景象通過紅外照相機
顯示的部分。因為激光指示器輻射位于可見光譜中，所以它在紅外圖像中 是不可見的。因此，所述激光指示器在紅外照相機中的價值有限。這在熱 斑或冷斑的位置難于識別時將成為問題。例如，大型工業控制面板通常具有許多微相似且緊緊組裝在一起的組件。有時難于確定導致熱事fK例如 在紅外照相機圖像中的熱斑)的具體組件。其它紅外、溫度測量工具可以應用單一的、溫度測量傳感器，或很少數量 的排列成柵格圖案的溫度傳感器。單一的指示工具典型地通過照亮由所述 單一溫度傳感器元件看到的點或區域來提供用以識別目標區域的激光指示 系統，所述單一溫度傳感器元件例如在商業上可從新澤西州奧克蘭的Mikron紅外有限公司獲得的Mikron M120。可選擇地， 一些系統應用允許 用戶從視覺上識別位于目標景象中的點的光學系統，所述目標景象ffiil經 由與鵬傳感器對準的光學路4鎖行觀觀啲工具進行觀懂，例如，商業上 可從新澤西州奧克蘭的Mikran紅外有限公司獲得的Mikron M90。具有多個 傳感器元件的工具典型地提供由很小數量的景象像素組成的非常粗糙的紅 外圖像，每一個傳感器元件均具有相對大的瞬時視場(IFOV)，所述傳感 器元件例如在商4Lh可從加利福尼亞圣地亞哥的Advanced Test Equipment 獲得的IRISYS IRI1011 。使用此類圖像非常難精確識別感興趣的特征。因為紅外圖像并非典型地具有清晰的分辨率，所以通常難以聚焦紅外 圖像。例如，因為通過多個過程從熱位置到相鄰位置的熱傳遞，所述圖像 并不總是具有清晰的分辨率。這使得用戶主觀地聚焦所述紅外圖像。因此， 期望使紅外圖像聚焦的主觀性減小。發明內容本發明的某些實施方式在一個工具中將視頻碼率和/或靜態紅外 照相機與視頻碼率和/或可見光照相機組合，以便景象可以同時以可 見光和紅外線觀測和記錄。所述兩圖像被配準(校正視差)且調整大 小以便相互匹配，使得紅外景象和可視景象在所得到的圖像中相互重 疊。操作者可以選擇觀測紅外圖像、可見光圖像、或兩種圖像的a混 合的(熔融的)組合。因為
像和可見光圖像中感興趣的特征關聯起來。初學者可以選擇僅觀測可 見光圖像且利用來自未顯示但關聯的紅外圖像的數據讀取可見光圖 像中的溫度。低反差的紅外景象，當與可見光圖像混合時，導致具有高得多的 明顯反差的組合圖像。在許多應用中可以排除對激光指示器的需求， 因為在可見光圖像中存在足夠識別紅外圖像中感興趣的特征的位置 的反差。本發明的實施方式允許制造商通過使用較小的低成本的紅外傳 感器以較低的成本生產高質量的紅外照相機，例如，包含更少探測器 元件的傳感器，和/或較不敏感的傳感器或傳感器/透鏡的組合。通過 使用匹配的可見光圖像，用戶具有在可見光圖像基礎上識別紅外目標 的能力，而不是僅在紅外圖像基礎上識別。本發明的一些實施方式提供一種顯示可見光(VL)圖像和/或紅 外(IR)圖像的方法。所述方法包括提供具有VL照相機模塊、IR照 相機模塊和顯示器的照相機。所述VL照相機模塊和IR照相機模塊 具有各自的第一和第二視場(FOVs)。所述方法包括用IR照相機模 塊對目標景象聚焦，以便生成聚焦的第二 FOV。 IR照相機模塊的聚 焦配準和聚焦的第二 FOV對應的第一 FOV的一部分和第二 FOV。 所述方法同樣包括顯示配準的第一FOV圖像、聚焦的第二FOV圖像、 或者配準的第一 FOV與聚焦的第二 FOV的混合圖像中的一種。本發明的一些實施方式提供一種顯示可見光(VL)圖像和/或紅 外(IR)圖像的方法。所述方法包括提供VL照相機模塊、IR照相機 模塊以及顯示器。所述VL照相機模塊和IR照相機模塊具有各自的 第一和第二視場(FOVs)，并且產生各自FOV的圖像。所述方法包 括在所述顯示器上顯示至少部分圖像。所述方法同樣包括通過相對于 彼此移動圖像直至通過使用手動調節機構配準這些圖像，從而在顯示 器上配準來自VL照相機模塊和IR照相機模塊的圖像。本發明的一些實施方式包括產生可視和紅外圖像的照相機。所述 照相機包括具有VL傳感器和VL光學裝置的可視照相機模塊，以及 具有IR傳感器和IR光學裝置的IR照相機模塊。所述VL照相機模 塊從所述IR照相機模塊中移走，所以這些模塊從不同視野看目標景 象，從而引起視差。所述照相機包括用于消除視差的裝置和用于同時 顯示來自IR照相機模塊和VL照相機模塊的圖像，從而使得沒有視 差地配準圖像的顯示器。本發明的一些實施方式包括具有用于執行如下方法的指令的計 算機可讀介質，所述方法為對來自多個照相機模塊的圖像進行配準的 方法。所述指令可以引起可編程處理器執行一些步驟。所述步驟包括 接收來自可見光(VL)照相機模塊的包括目標的第一圖像和來自紅 外(IR)照相機模塊的包括目標的第二圖像。所述VL照相機模塊和 IR照相機模塊具有各自的第一和第二視場(FOVs)。所述步驟同樣包 括確定從至少一個照相機模塊到所述目標的距離，利用所確定的距離 校正視差，配準校正了視差的第一和第二圖像，并且在顯示器上顯示 配準圖像。本發明的一些實施方式為紅外照相機提供激光指示器，以便幫助 識別感興趣點(例如熱斑)的位置，和/或幫助紅外照相機聚焦。許 多這樣的實施方式同樣包括和紅外照相機和激光指示器安置在一起 的可見光照相機。許多這樣的實施方式同樣包括能夠選擇性地顯示來 自紅外照相機的紅外圖像，來自可見光照相機的可見光圖像，和域 兩種圖像的a混合形式的顯示器。所述紅外和可見光照相機可以具有 產生視差的獨立的視場。所述照相機能夠校正視差，并且在顯示器上 配準來自獨立視場的圖像。激光指示器能夠被用于在配準過程中給予 幫助。在許多這樣的實施方式中，紅外照相機使用作為紅外照相機焦 距的函數的視差校準數據被校準，以識別紅外圖像中的激光斑的位 置。 一旦照相機計算出激光斑的位置，照相機可以生成在顯示圖像中 涉及的計算機生成的激光斑。所述斑可以被移動與在顯示圖像中可見 的實際激光斑對準，以便聚焦紅外照相機。所述斑同樣可以被用于注 釋圖像，用以在實際激光斑在顯示圖像中不可見時，顯示激光的位置。本發明的一些實施方式提供顯示器，所述顯示器顯示目標景象的 可見光圖像和滿足某些警報標準的目標景象的紅外圖像或可見光和 紅外圖像的a混合形式。所述警報包括絕對熱閾值、絕對冷閾值、相
對熱閾值、相對冷閾值、絕對范圍或等溫線。在一些實施方式中，所 述警報可由影像閃光、可聽見的警報或振動警報表示。


圖1和圖2是依據本發明實施方式的照相機的前透視圖和后透視圖；圖3示出了依據本發明實施方式的可用于實踐本發明實施方式 的具有代表性的照相機系統的結構圖；圖4是示出了光學路徑和照相機的傳感器構造的示意圖； 圖5示出了視差方程在幾何學上的推導；圖6示出了 (全屏、全傳感器紅外)/ (全屏、部分傳感器可見 光)景象顯示模式；圖7示出了未校正視差的可見光與紅外組合的圖像； 圖8示出了校正了視差的同一幅圖像；圖9和圖10是依據本發明的實施方式，具有磁體和霍耳效應傳 感器的紅外照相機模塊的橫斷面視圖；圖ll示出了 (部分屏幕，部分傳感器紅外)/ (全屏，全傳感器 可見光)景象顯示模式，在這種模式下，照相機利用全部的可見光傳 感器元件填充顯示器；圖12示出了 (部分屏幕、全傳感器紅外)/ (全屏、部分傳感器 可見光)景象顯示模式，在這種模式下，照相機利用全部的可用紅外 傳感器元件提供僅填充照相機顯示器中心區域的紅外圖像；圖13示出了 (部分屏幕、全傳感器紅外)/ (全屏、全傳感器可 見光)景象顯示模式，在這種模式下，照相機利用全部紅外傳感器元 件和全部可見光傳感器元件構造顯示圖像；圖14一16分別示出了絕熱杯的僅紅外圖像、所述杯子的僅可見 光圖像以及所述杯子的部分a混合圖像；圖17示出了 "熱閾值"警報模式顯示的例子；圖18示出了典型的低紅外反差景象的紅外圖像；圖19用a混合可見光圖像示出了同一景象，產生了高得多的鮮
明反差；圖20—23分別示出了具有激光斑的可見光圖像，具有激光斑和 與激光斑對準的計算機生成的激光標記物的可見光圖像，具有未對準 的計算機生成的激光標記物和熱斑的僅紅外圖像，以及具有對準的計 算機生成的激光標記物和熱斑的僅紅外圖像；圖24—26分別示出了具有激光點的僅可見光的圖像，具有未對 準的激光點和熱斑的a混合可見光/紅外圖像，以及具有對準的激光 點斑的a混合可見光/紅外圖像；圖27—28分別示出了具有未對準的計算機生成的激光指示器和 熱斑的僅紅外圖像，以及具有對準的計算機生成的激光指示器和熱斑 的僅紅外圖像；圖29—30分別示出了具有未對準的激光斑和計算機生成的激光 標記物的僅可見光圖像，以及具有對準的激光斑和計算機生成的激光 標記物的僅可見光圖像。
具體實施方式
系統描述圖1和圖2是依據本發明實施方式的照相機10的前透視圖和后 透視圖。機架包括紅外照相機模塊和可見光照相機模塊。特別地，照 相機IO包括照相機機架12、可見光(VL)透鏡13、紅外透鏡14、 聚焦環16和激光指示器18，以及如將參考圖3描述的位于所述機架 內的不同電子器件。在實施方式中，LED電筒(torch)/閃光燈17位于 VL透鏡13的每一側，用以幫助在黑暗環境中提供足夠的光線。顯示 器20位于照相機的背面，因此紅外圖像、可見光圖像和/或紅外和可 見光混合圖像可以被看到。另外，目標部位溫度(包括溫度測量斑大 小)和距離讀數可以被顯示。用戶控制器22同樣位于照相機的背面， 用于控制顯示模式和激活或禁用所述激光指示器。圖3示出了依據本發明實施方式的用于實踐本發明的實施方式 的代表性照相機系統的結構圖。可見光照相機模塊包括CMOS、 CCD或其它類型的可見光照相
機、LED電筒/閃光燈以及激光指示器。所述照相機將RGB圖像顯示 數據(例如，30赫茲)注入FPGA，以便與紅外RGB圖像數據組合 并在之后將組合的圖像數據發送至顯示器。模擬引擎與紅外傳感器連接并控制所述紅外傳感器，且將原始的 紅外圖像數據(例如，30赫茲)注入DSP。所述DSP執行計算，以 便將所述原始的紅外圖像數據轉換成景象溫度，且之后轉換成與景象 溫度和所選彩色調色板對應的RGB色彩。例如，授予本受讓人的名 為"Microbolometer Focal PlaneArray With Controlled Bias"的美國專 利6,444,983，其全部公開內容被結合于此，公開了這樣的紅外照相 機。所述DSP之后將產生的紅外RGB圖像顯示數據注入與VL RGB 圖像數據組合的FPGA，且之后將該組合的圖像數據發送至顯示器。嵌入式處理器卡引擎包括向照相機操作者提供圖形用戶界面 (GUI)的通用微處理器。所述GUI界面由菜單、文本及被送至FPGA 的圖形顯示元件組成，它們在SRAM中緩沖且之后被發送至顯示器。具有用戶界面的MSP430界面包括照相機按鈕、鼠標、LCD背 光以及智能電池。所述MSP430界面閱讀所述輸入并提供信息至用于 控制GUI并提供其它系統控制功能的所述嵌入式處理器卡引擎。所述FPGA利用組合的可見光圖像數據、紅外圖像數據及GUI 數據驅動所述顯示器(一個或多個)(例如，LCD和/或TV)。所述FPGA 請求來自所述VL和紅外照相機模塊的可見光和紅外圖像數據，并將 它們a混合在一起。所述FPGA同樣將產生的顯示圖像與GUI數據a 混合，用以產生最終發送至LCD顯示器的混合圖像。當然與本發明 的實施方式相關的顯示器不僅限于LCD型顯示器。所述FPGA在所 述DSP的控制下操作，所述DSP進一步被嵌入式處理器卡引擎控制。 用戶可以通過GUI控制圖像a混合的程度以及顯示模式，BP，畫中 畫、全屏、彩色警報(color alarm)和縮放模式。這些設置從嵌入式處 理器卡引擎發送至所述DSP，其之后恰當地配置FPGA。光學結構本發明的實施方式將在同一機架里彼此接近的實時可見光照相機的引擎和實時紅外照相機的引擎組合，使得光軸大致上彼此平行D依據本發明的實施方式的照相機將實時可見光照相機的引擎或 模塊置于實時紅外照相機的機架里。這樣放置使得所述可見和紅外光 軸例如在紅外光軸的垂直面上實效地接近且大致彼此平行。當然也可以是其它空間排列。所述可見光照相機模塊，例如，VL光學裝置和 VL傳感器陣列，被選擇為比紅外照相機模塊具有更大的視場(FOV)。 圖4示出了照相機的光路和傳感器結構。如圖所示，有兩條清晰的光路和兩個獨立的傳感器。 一個用于可見光，另一個用于紅外線。因為 這些傳感器的光路是不同的，所以每一個傳感器將從略有不同的有利位置"看見"目標景象，由此導致視差。正如將在后面詳細描述的， 所述視差通過利用軟件操作被電子地校正。這提供了電子地校正顯示 圖像視差的能力。在一些實施方式中，選用所述可見光光學裝置和傳 感器，使得它們各自的視場(FOV)是不同的，例如， 一個比另一個 大。例如，在一個實施方式中，所述VL FOV大于所述紅外FOV。 這提供了成本效率。目前，對于指定像素數目的傳感器，可見光傳感 器陣列比紅外傳感器陣列便宜得多。因此，對于指定的視場和分辨率 (瞬時視場)，可見光傳感器陣列比紅外傳感器陣列便宜。在--些實施方式中，可見光光學裝置使得可見光照相機模塊在全 部可用距離上保持聚焦。只有紅外透鏡需要針對不同距離的目標進行 調焦。視差校正和顯示模式圖5從幾何的角度示出了視差公式的推導(eq.l)。由所述公式 可見，視差可以通過最小化可見光和紅外光學孔徑間的距離(q)而 減小，并且同樣可以通過選擇短焦距透鏡而減小。所述照相機的設計 典型地將自然地固定(q)。在一些實施方式中，可見光和紅外透鏡的 焦距(f)能夠通過改變透鏡或利用包括多焦距或連續縮放的光學系 統在一定范圍內改變。在使用固定焦距透鏡的實施方式中， 一旦透鏡 被安裝，那么所述焦距在操作過程中保持恒定。因此，在照相機操作 過程中，視差僅是到目標的距離(d)的函數。在所示的實施方式中，
每一透鏡的焦距(f)是相同的。作為替換的實施方式，紅外透鏡和 可見光透鏡的焦距(f)可以是不同的。所述照相機校正可見光和紅外圖像的視差并且提供一些不同的 向操作者顯示配準圖像的方法。這些方法將在以下加以描述。 一般而 言，如下所述，視差校正基于紅外焦距。然而，視差同樣可以通過用 本領域普通技術人員所知的方案確定距目標圖像的距離(不同于通過 焦距)來校正。依據本發明的實施方式的照相機能夠以三個顯示模式之一操作； 1)全屏可見的，紅外的和/或混合的，2)畫中畫，例如在全屏可見 光圖像中有部分紅外圖像，和3)在可見光圖像中的紅外彩色警報。 在任意一種所述顯示模式中，溫度將被記錄且能夠在圖像的紅外部分 里顯示。在僅可見光圖像上，溫度同樣能夠從所記錄的而不是所顯示 的紅外圖像顯示。在全屏顯示模式中，操作者可以選擇顯示全屏僅可見光圖像、全 屏僅紅外圖像或全屏可見光和紅外混合圖像。在本發明的實施方式中，所述顯示器為320乘以240像素且在圖6中由虛線框表示。所述 紅外傳感器具有160乘以120像素且所述可見光傳感器具有1280乘 以1024像素。這些特定的大小僅作為例子給出且并不局限于本發明 的任一實施方式。因此，所述紅外傳感器、VL傳感器和顯示器中的 每一個均可以比給出的特定例子中的大或小。圖6示出了所述模式的 圖示，其中整個160乘以120的紅外圖像被插值以填充照相機顯示器。 基于所選擇的顯示模式，1280乘以1024的可見光圖像的一部分被開 窗以匹配紅外窗口。由于所選擇的可見光傳感器元件的數目不必要和 照相機顯示器的320乘以240像素匹配，所以可見光圖像被縮放以匹 配照相機顯示器。在視差校正后，每一個產生的紅外顯示像素將表示 與其相應的可見光顯示像素相同的瞬時視場(IFOV)。因為所述兩個 圖像是匹配的，所以照相機操作者僅通過注意兩圖像中感興趣的特征 相互重疊的部分，就能夠輕易地將紅外圖像中感
模式將在下面進一步討論。在可見光圖像和紅外圖像間的視差通過照相機自動校正。這一過 程被稱為配準。為了應用適當的視差校正，所述照相機必須首先確定 到感興趣的目標物體的距離。一種確定目標距離的方法是利用霍爾效應傳感器感測紅外透鏡的聚焦位置。圖9和圖IO示出了經過紅外透 鏡14的中心從前到后獲得的照相機10的截面圖。參考圖9和圖10， 霍爾效應傳感器30與紅外傳感器陣列34相關地被固定于機架32里， 用以感測附于IR透鏡14后面的磁體36的接近程度。當透鏡的聚焦 通過聚焦環16的旋轉而改變時，在磁體36和霍爾效應傳感器30間 的距離f'改變，導致來自霍爾效應傳感器的輸出與聚焦位置成比例。 (透鏡的聚焦能夠通過移動透鏡或移動紅外傳感器陣列來改變。)所 述聚焦位置被用來導出到目標的距離的估計值。所述紅外透鏡的聚焦 位置提供了一種特別方便的距離估計值，因為典型的紅外透鏡具有低 焦距比數，導致景深淺。在一個實施方式中，所述霍爾效應傳感器可 以被固定在紅外傳感器陣列上。另外，霍爾效應傳感器及磁體的位置 可以和所示的相反。在圖9和圖IO所示的實施方式中，磁體36是環繞聚焦環16內 表面，與紅外傳感器陣列34面對的環。所述霍爾效應傳感器30被固 定在照相機機架32內，距紅外傳感器陣列34很短的距離。霍爾效應 傳感器與磁體之間的距離用距離f'表示，如圖9和圖10所示。圖9 示出了用于近聚焦的透鏡位置且圖10示出了用于遠聚焦的透鏡位 置，在此情況下，磁體與霍爾效應傳感器的距離比圖9要近。除了以 上所述的霍爾效應傳感器，其它機構和方法當然可以被應用于確定到 目標的距離。這些等價的機構或方法是本領域技術人員所公知的。所 述霍爾效應傳感器是一種便利的方法。估計目標與照相機間的距離是有價值的安全特征。例如，當檢査 高壓電氣柜時，OSHA具有明確的安全距離要求。因此，使用依據本 發明實施方式的所述照相機，能夠在顯示器上顯示到目標的距離，以 便有助于所述照相機的操作者遵從OSHA的安全要求。另外，知道所測量的目標上的斑的大小(瞬時視場斑大小)是很
有意義的。因為斑大小是距離的函數，且本發明的實施方式具有測量 (或更確切地為估計)對視差進行校正所需的距離的能力，所以斑大 小能夠作為距離的函數被計算并且通過顯示器顯示給照相機的操作 者。用于關注每一個紅外透鏡的距離相關性的透鏡位置傳感器值在 工廠中被確定且同其它的照相機校準數據一起存儲于照相機的非易失性存儲器中。所述校準數據包括針對每一個焦距計算的X和Y圖像偏移量。通過利用感測的紅外透鏡聚焦位置及工廠校準數據，要顯示的可見光傳感器中的部分區域的校正的X和Y傳感器偏移量能夠 被計算并用于選擇對于當前的紅外焦距適宜的可見光傳感器區域。也 就是說，當紅外透鏡的焦距改變時，可見光傳感器圖像的不同區域被 提取并顯示，導致位于焦距的物體的紅外和可見光圖像的配準。圖7 示出了未對準的可見光和紅外圖像的組合的畫中畫顯示，即，視差未 校正。圖8示出了校正了視差的同一圖像。參考圖7，顯示器的中心 四分之一顯示模糊(未聚焦)且未配準的僅紅外圖像40，其被置于 僅可見圖像42的四周的框架內。圖像中的矩形暗區44是未對準的(未 配準的)，顯示了由未聚焦的紅外圖像44導致的視差。參考圖8，將 紅外圖像40中的矩形暗區44與僅可見光圖像42中的這種區域44的 部分配準，顯示出紅外圖像現在被適當聚焦了。圖7和圖8突出了這 樣一種方法，通過該方法，照相機10的用戶能夠僅通過旋轉聚焦環 16直至圖像40被適當配準來聚焦紅外圖像40。雖然圖7和圖8顯示 了僅紅外的顯示器的中心四分之一，但是所述相同的方法和技術能夠 被用于混合的可見和紅外圖像，無論所述圖像被顯示為畫中畫、全屏、 警報模式或其它顯示模式。注意在景象中的未位于焦距上的物體將仍存在視差。較近的物體 將比遠于焦距的物體表現出更大的視差。在實際操作中，當典型的紅 外照相機所使用的透鏡焦距超過約8英尺時，視差變得可以被忽略。 同樣注意視差僅能夠被校正減小至有限接近所述照相機的焦距(典型 地約為2英尺)。所述距離依據可見光傳感器與紅外傳感器相比較提 供了多少"精確"視場來被確定。
當圖像被采集時，全可見光圖像和全紅外圖像與全部輔助數據被 保存在照相機存儲卡的圖像文檔中。當所獲圖像作為部分可見光圖像 被保存時，位于照相機顯示范圍之外的所述可見光圖像部分不被顯 示。之后，如果需要在紅外和可見光圖像間進行配準調節，那么全可 見光圖像可以在照相機或計算機上獲得。所述照相機允許操作者在紅外/可見光圖像對被采集并存儲在存 儲器之后調節對可見光和紅外圖像進行的配準。完成所述調節的一種 方法是利用紅外透鏡位置作為輸入控制。這允許操作者僅僅通過旋轉 所述透鏡上的聚焦環，對所述配準進行微調，或者對圖像被采集時景 象中的不在紅外焦距上的物體進行手動配準。當所述可見光圖像是唯一的顯示圖像時，其優選地顯示為彩色， 即使沒有必要。當所述可見光圖像與所述紅外圖像混合時，所述可見 光圖像在混合前被轉換為灰階的，使得僅添加亮度到所述彩色的紅外 圖像。圖U示出了名為"部分屏幕、全傳感器紅外及全屏、部分傳感 器可見光顯示模式"的景象顯示模式。在所述模式下，照相機利用全 部可用的紅外傳感器元件提供僅填充照相機顯示器中心區域的紅外 圖像。標準的圖像處理技術(例如，縮放和開窗)被用于使紅外圖像適合于顯示器的期望區域。所述可見光圖像的IFOV被調節以匹配所 述紅外圖像的IFOV，且之后可見光圖像的一部分被選擇用以填充全 部顯示器并匹配顯示器中心的紅外圖像。顯示器的中心四分之一能夠 是僅紅外、僅可見光或兩者的混合。顯示器的其余四分之三(外部框 架)是僅可見光的。所述照相機在此模式下使用與對全屏模式描述的相同的技術來 校正視差。可選擇地，除了令可見光圖像匹配紅外圖像外，也可以進行恰與 此相反的操作。圖12和圖13說明了該技術。圖12示出了"部分屏 幕、部分傳感器紅外及全屏、全傳感器可見光景象顯示模式"的畫中 畫。在此模式中，所述照相機利用全部可見光傳感器元件填充顯示器。 如果可見光傳感器元件的數目不與顯示像素的數目匹配，那么所述照 相機利用標準成像技術產生填充顯示屏的圖像。可用的紅外傳感器的 一部分被選擇用來提供所述紅外圖像。所述紅外圖像被開窗并且被匹 配，以便產生的紅外顯示像素提供與可見光圖像顯示像素相同的IFOV。所述照相機利用與在圖6中所描述的那些類似的技術來校正視 差。然而，在此模式下，當紅外的焦距改變時，紅外傳感器的不同區 域被選擇用以匹配可見光圖像的中心區域。注意在此模式下，紅外圖 像總是被顯示于顯示器中間的固定位置。圖13示出了 "部分屏幕、全傳感器紅外及全屏、全傳感器可見 光景象顯示模式。"在此模式中，所述照相機利用全部的紅外和全部 的可見光傳感器元件來構成顯示圖像。所述可見光圖像被縮放以便完 全填充所述顯示器。所述紅外圖像被開窗并被縮放，使得產生的顯示 像素的IFOV匹配所述可見光圖像。所述產生的圖像在可見光圖像的 匹配區域之上被顯示。和前述的模式類似，通過移動所述紅外圖像景象以便使其與所述 可見光圖像景象對準，從而校正視差。a混合a混合是使疊加于一個像素上的兩種圖像的透明度/不透明度成 比例的過程。如果所述a二最大值，那么所述第一圖像是不透明的且 所述第二圖像是透明的，并如是寫入顯示器。如果a=0，那么所述 第一圖像是透明的且所述第二圖像是不透明的，并如是寫入顯示器。 在此之間的數值引發兩種來源間的"混合"(a混合)，公式是顯示 =來源1乂 (a/max—a)十來源2X ((max一ai) /max一a)。圖14-16分別示出了絕熱杯的僅紅外圖像、所述杯子的僅可見光 (VL)圖像以及所述紅外和VL圖像的部分a混合。所述照相機將使得操作者能夠從僅紅外(圖14)或僅可見光(圖 15)的極端到兩極端間的a混合的任意組合(圖16)間調節所述可 見光和紅外圖像的a混合。注意雖然所述紅外圖像在圖15中不可見， 但是下面的紅外圖像數據被用于在可見光圖像中顯示校正的物體溫
度52。因此，當指針在可見光圖像上移動時，與指針在圖像上的位 置相關的溫度52被顯示。所述紅外和可見光圖像能夠被顯示成彩色或灰階的。當彩色用于 在紅外圖像中描繪溫度時，重疊的區域中的可見光圖像可以被僅顯示 為灰階，以便使其不過分破壞紅外調色板的色彩。當保存一幅圖像時，可見光和紅外圖像均分別保存，以便之后能 夠在所述照相機或PC軟件中完成不同a混合的圖像重建。警報模式所述照相機支持幾種不同的視覺警報模式。這些模式被用于通過 在符合用戶設定的警報標準的區域內顯示a混合的或僅紅外圖像，來 喚起操作者對可見光圖像中的感興趣區域的注意。圖17示出了 "熱 閾值"警報模式的例子。只有那些在紅外圖象中的，超過設定溫度閾 值(熱斑60)的像素才被顯示。在彩色警報模式下，所述可見光圖 像62被轉變為灰階的，以便所述紅外圖像不會出現模糊。如下所述， 所述照相機能夠提供警報模式。其它警報模式同樣是可以的。絕對熱閾值一在定義的溫度之上的紅外像素與相應的可見圖像 像素a混合。絕對冷閾值一在定義的溫度之下的紅外像素與其相應的可見圖 像像素a混合。相對熱閾值一由用戶定義溫度范圍。所述溫度范圍與所述景象中 或在前或參考的景象中的當前最熱像素(或設定數量的最熱像素的均 值)相關。大于景象中由當前最熱像素(一個或多個)定義的閾值減去 用戶定義的或預定的溫度范圍的差值的紅外像素是與他們相應的可 見圖像像素a混合的。例如，如果溫度范圍是5度，且景象中的當前 最熱像素(一個或多個)是100度，例如，景象中所有高于95度的紅 外像素將與相應的可見光像素a混合。 相對冷閾值一由用戶定義溫度范圍。所述溫度范圍與所述景象中 或在前或參考的景象中的當前最冷像素(或設定數量的最冷像素 的均值)相關。小于景象中由當前最冷像素定義的閾值加上用戶
定義的或預定的溫度范圍的紅外像素是與紅外像素相應的可見光圖像像素a混合的。例如，如果溫度范圍是5度，且景象中的 當前最冷像素是10度，那么景象中所有低于15度的紅外像素將 與相應的可見光像素a混合。 絕對范圍(等溫線)—操作者輸入溫度范圍。具有設定的溫度范 圍內的溫度的紅外像素與其相應的可見光像素a混合。例如，用 戶輸入80—100度的范圍。溫度值位于所述80—100度范圍內的 全部紅外像素被a混合。 警報閃光模式一為了進一步喚起對感興趣區域的注意，所述照相 機可以提供這樣一種模式，由此a混合區域通過可選擇地將警報 像素顯示為僅可見光的且之后顯示為a混合或僅紅外的來被"閃 光"。以上識別的警報模式同樣可以顯示為可聽見的或通過振動。所述 可聽見的或振動的警報可以在熱斑很小以致于在視覺顯示中無法被 注意到的情況下發揮作用。在包括可聽見的或振動的警報的實施方式 中，所述照相機能夠產生這樣的警報以便在例如，所述照相機探測到 超出指定溫度范圍或以上識別的任意一種其它警報模式時，警告照相 機操作者。重新參考圖3，所述照相機可以包括連接到FPGA，提供 可聽見的或振動警報的警報模塊。所述振動機構可以和用在手機上， 用以警告人們來電的機構類似。PC軟件所有描述的用于照相機的圖像顯示技術同樣能夠被應用在運行 于PC主機上的軟件中，并且能夠應用于通過照相機采集的圖像。優點優點已經在上面提到。所述紅外圖像將不僅在更多細節上清晰， 還將被精確顯示出紅外目標是什么和在哪里的視覺圖像圍繞。視差將 自動被校正，產生的可見光控制圖像恰當地與所述紅外圖像配準。紅
外照相機能夠在制造中使用更小、更便宜的探測器陣列，仍然顯示明 顯的細節并且和具有大型且過于敏感的探測器陣列的非常昂貴的紅 外照相機形成對比。圖18示出了典型的低紅外反差景象的紅外圖像。圖19示出了使用a混合可見光圖像的同一景象，產生了具有目標部 位溫度測量的高得多的明顯反差。用途所述照相機能夠被用于所有階段的紅外溫度記錄，現在的紅外照 相機被用于現今和以后。在例如電工工具的最簡單的應用中，所述照 相機可以在制造中使用不昂貴的小型紅外探測器陣列并且仍具有很 高的性能一具有高空間分辨率和精確溫度的高圖像質量。在高端溫度 記錄的情況下，所述照相機能夠以更低的成本被制造并且具有比最昂 貴的紅外照相機具有更明顯細節的圖像。所述照相機將消除將獨立的 可見光圖像包括入溫度記錄報告的需要。激光指不器本發明的激光實施方式可以被用于不同的應用中。如前所述，因 為激光指示器輻射位于可見光譜，所以它在紅外圖像中不可見。因此， 所述激光指示器在紅外照相機中的價值有限。這將在熱斑或冷斑的位 置難于識別時出現問題。例如，大型工業控制面板經常具有許多形狀 相似且緊緊組裝在--起的部件。有時很難確定在紅外照相機圖像中引 發熱斑的準確部件。另外，在建筑檢査應用中，墻壁在可見光圖像中 顯示為一致的，但是在紅外圖像中卻顯示出瑕疵，本發明的實施方式 的激光指示器能夠用于識別墻壁上瑕疵的準確位置。在屋頂滲漏探測 應用中，它能夠極大地幫助溫度記錄人員標記懷疑需要修理的區域。 所述照相機的操作者能夠通過調節照相機指示勾勒出潮濕區域的輪 廓，以便圖中可見的激光斑勾勒出圖像中可疑的潮濕區域的輪廓，并 且因此同樣用激光束勾勒出屋頂上的可疑潮濕區域，以便所述潮濕區 域能夠被恰當地標記。在R&D應用中，所述目標很復雜，例如印刷 線路板組件，本發明實施方式的激光指示器可以幫助識別感興趣的紅
外點的位置。本發明的實施方式中的激光指示器被用于準確識別紅外的感興趣點的位置，并且被用于輕易地幫助紅外光學裝置聚焦。圖24—26 示出了事件的相關順序。所述激光指示器能夠由照相機操作者利用照 相機的可編程按鈕之一或通過其它機構開啟。在合理的距離上，目標 上的激光指示器斑100能夠在可見光圖像(圖24)中和在已經被校 正視差的混合的可見光和紅外圖像中(圖25)被看到。 一旦激光斑 在混合的圖像中被識別(圖25)，所述照相機的操作者能夠調節照 相機指向直到在混合的圖像中的激光斑與紅外圖像(圖26)中的感 興趣斑102匹配。所述激光束之后在感興趣點處標記所述目標(圖 26)。因為根據本發明的實施方式的照相機在工廠中被校準，以便利用 作為紅外照相機模塊焦距的函數的視差校準數據識別紅外圖像中的 激光斑的位置，照相機操作者不需要去看在VL圖像中顯示的激光斑。 如果所述目標有一定距離和/或具有對激光波長的低反射，那么激光 斑可能對VL照相機來說太弱以致于不能在照相機顯示器上顯著地顯 示，但是人們仍然能夠在目標上看到所述激光斑。圖27和圖28示出 了事件的相關順序。在所述情況下，所述紅外聚焦如常地通過觀察紅 外圖像的清晰度被調節。計算機生成的激光斑參考標記200被與所述 紅外圖像配準，以便在紅外圖像(圖27)上顯示代表性的標記(例 如，圓形)。所述照相機操作者之后調節照相機指向直至激光校準標 記200位于所述紅外感興趣點202 (圖28)之上。 一旦出現這種情況， 所述激光束之后將在感興趣的點處打在目標上。可選擇地，照相機操作者首先利用僅紅外顯示圖像聚焦紅外圖 像，轉換成如圖20所示，將在顯示器上顯示激光210的可見光顯示。 操作者在顯示器上用例如圓形(如圖21所示)的標記212標記激光 斑210，并且之后將所述顯示轉換回僅紅外的(如圖22所示)，此 時標記212與紅外圖像配準并且顯示于位于顯示器區域的中心四分 之一的紅外圖像上。操作者之后調節照相機指向以便使位于紅外顯示 上的標記212與紅外顯示上的感興趣的熱斑214匹配(如圖23所示)。 一旦發生所述情況，激光束之后將在感興趣點處打在目標上。 利用激光指示器聚焦紅外圖像憑借在激光指示器和紅外圖像間的用于校正視差的校準數據和 能夠看到VL圖像中的實際激光斑的能力，用于監視和幫助紅外聚焦的過程是可能的。圖29和圖30示出了事件的相關順序。在所述情況 下，激光斑220的位置在VL圖像(圖29)中是可見的。根據本發明 的實施方式的照相機在工廠中已被校準，以便利用作為紅外照相機模 塊焦距的函數的視差校準數據來產生指示聚焦的紅外圖像中的激光 斑位置的計算機生成的激光斑參考標記222。所述參考標記可以在IR 圖像或VL圖像(與IR圖像重疊)中顯示。在圖29中，參考標記222 顯示在僅VL圖像中。當紅外透鏡被調節時，在VL圖像中移動標記， 從而顯示出激光點應在紅外圖像中的斑。當紅外標記與VL圖像(圖 30)中所示的激光點一致時，可以停止聚焦調節并且紅外照相機模塊 被聚焦。這允許最初級的操作者對紅外透鏡聚焦并且消除聚焦的主觀 性。
權利要求
1.一種顯示可見光(VL)圖像和/或紅外(IR)圖像的方法，所述方法包括提供具有VL照相機模塊、IR照相機模塊以及顯示器的照相機，所述VL照相機模塊具有第一視場(FOV)，所述IR照相機模塊具有與所述第一FOV不同的第二FOV；將所述IR照相機模塊聚焦在目標上，以產生聚焦的第二FOV；所述IR照相機模塊的聚焦將和所述聚焦的第二FOV相應的所述第一FOV的至少一部分與所述聚焦的第二FOV配準；并且顯示所述配準的第一FOV圖像、所述聚焦的第二FOV圖像或所述配準的第一FOV和所述聚焦的第二FOV的混合圖像中的一個。
2. 如權利要求l所述的方法，還包括，其中，確定指示所述IR 照相機模塊和所述目標間距離的值。
3. 如權利要求l所述的方法，其中，將所述IR照相機模塊聚焦 在所述目標上包括關于所述IR照相機模塊的傳感器陣列移動所述IR 照相機模塊的透鏡。
4. 如權利要求3所述的方法，其中，所述傳感器陣列包括60 像素乘以120像素。
5. 如權利要求l所述的方法，其中，所述VL照相機模塊、所 述IR照相機模塊以及所述顯示器被安置于照相機機架內。
6. —種顯示可見光(VL)圖像和/或紅外(IR)圖像的方法，該 方法包括提供具有VL照相機模塊和IR照相機模塊以及顯示器的照相機， 所述VL照相機模塊具有第一視場(FOV)，所述IR照相機模塊具有 不同于所述第一 FOV的第二 FOV，所述VL照相機模塊產生所述第 一 FOV的圖像，所述IR照相機模塊產生所述第二 FOV的圖像；在所述顯示器上顯示來自所述VL照相機模塊和所述IR照相機 模塊的圖像的至少一部分；通過彼此相關地移動來自所述VL照相機模塊和所述IR照相機 模塊的圖像，直至通過手動調節機構配準，在所述顯示器上配準來自 所述VL照相機模塊和IR照相機模塊的圖像。
7. 如權利要求6所述的方法，其中，所述手動調節是用于所述 IR照相機模塊的聚焦機構。
8. 如權利要求6所述的方法，其中，所述來自所述IR照相機模 塊的至少部分圖像通常被居中地顯示在來自所述VL照相機模塊的所 述至少部分圖像內。
9. 如權利要求6所述的方法，其中，來自所述IR照相機模塊的 所述至少部分圖像被顯示為與來自所述VL照相機模塊的所述至少部 分圖像a混合。
10. 如權利要求6所述的方法，其中在部分所述顯示器上，顯示 來自所述IR照相機模塊的所述至少部分圖像而沒有顯示來自所述 VL照相機模塊的圖像。
11. 一種產生可見和紅外圖像的照相機，該照相機包括-具有VL傳感器和VL光學裝置的可見照相機模塊； 具有IR傳感器和IR光學裝置的IR照相機模塊，所述VL照相機模塊和所述IR照相機模塊被彼此相對移動，使 得所述IR和VL照相機模塊從不同視野看到目標景象，因而導致視 差；用于消除所述視差的裝置；以及 用于同時顯示來自所述IR照相機模塊和所述VL照相機模塊的 圖像的顯示器，以使得所述圖像無視差地配準。
12. 如權利要求11所述的照相機，其中，所述可見照相機模塊 和所述IR照相機模塊具有獨立的視場，所述可見照相機模塊的視場 大于所述IR照相機模塊的視場。
13. 如權利要求ll所述的照相機，還包括用于選擇來自所述IR 照相機模塊和所述VL照相機模塊的圖像中的配準在一起的部分的處 理器。
14. 如權利要求11所述的照相機，其中，用于消除所述視差的 裝置包括所述IR照相機模塊的聚焦機構。
15. 如權利要求14所述的照相機，其中，所述聚焦機構包括用 于確定所述IR光學裝置和所述IR照相機模塊的傳感器陣列間的距離 的設備。
16. —種具有用于執行如下方法的指令的計算機可讀介質，所述 方法為對來自多個照相機模塊的圖像進行配準的方法，所述介質包括 使可編程處理器進行如下操作的指令接收來自可見光(VL)照相機模塊的、包括目標的第一圖像， 所述VL照相機模塊具有第一視場(FOV);接收來自紅外(IR)照相機模塊的、包括所述目標的第二圖像， 所述紅外照相機模塊具有第二 FOV;確定從至少一個所述照相機模塊到所述目標的距離；利用所確定的距離校正視差；將校正了視差的所述第一和第二配準圖像配準；并在顯示器上顯 示至少部分所述第一和第二圖像，其中所述部分第一和第二圖像已經 被配準。
17. 如權利要求16所述的方法，其中，從至少一個所述照相機 模塊到所述目標的距離通過聚焦所述第二 FOV來確定。
18. 如權利要求17所述的方法，其中，安置于所述VL照相機 模塊的聚焦機構內的霍爾效應傳感器提供指示從至少一個所述照相 機模塊到所述目標的距離的數據。
19. 如權利要求16所述的方法，還包括在所述顯示器上顯示所 確定的至少一個所述照相機模塊和所述目標間的距離。
20. 如權利要求16所述的方法，還包括確定并顯示被顯示的至 少部分所述第一和第二圖像的瞬時視場的光斑大小。
全文摘要
用于通過聚焦IR照相機模塊，在照相機顯示器上配準獨立的可見光照相機模塊(13)和紅外照相機模塊(14)的視場的方法和裝置。所述視場能夠在幾種顯示模式下被顯示，包括1)全屏可見的、紅外的和/或混合的，2)畫中畫的，例如位于全屏可見光圖像中的局部的紅外圖像，且3)在可見光圖像中的紅外彩色警報。
文檔編號G01J5/00GK101111748SQ200580047235
公開日2008年1月23日 申請日期2005年12月5日 優先權日2004年12月3日
發明者K·R·約翰遜, T·J·麥克馬納斯 申請人:紅外線解決方案公司