利用阻隔紅外傳感器確定絕對輻射值的制作方法

利用阻隔紅外傳感器確定絕對輻射值的制作方法
【專利摘要】提供各種技術用于熱成像裝置的一個或多個屏蔽(例如阻擋、阻隔和/或遮蓋)紅外傳感器。在一個示例中，方法包括捕捉來自屏蔽紅外傳感器的信號，其中屏蔽紅外傳感器實質上受阻隔無法接收來自場景的紅外輻射。該方法還包括捕捉來自設置為接收來自場景的紅外輻射的未屏蔽紅外傳感器的信號。該方法還包括基于捕捉到的屏蔽紅外傳感器的信號確定屏蔽和未屏蔽紅外傳感器的平均熱像偏移參考。該方法還包括基于平均熱像偏移參考和捕捉到的未屏蔽紅外傳感器的信號來確定場景的絕對輻射值。
【專利說明】利用阻隔紅外傳感器確定絕對輻射值
[0001]相關申請的交叉引用
[0002]本申請要求2012年03月28日提交的、名稱為“利用阻隔紅外傳感器確定絕對福射值(DETERMINATION OF AN ABSOLUTE RADIOMETRIC VALUE USING BLOCKED INFRAREDSENSORS) ”的第61/616，766號美國臨時專利申請的權益，該文獻以其整體參考引用于此。
[0003]本申請要求2011年10月07日提交的、名稱為“紅外成像裝置的非均勻校正技術(NON-UNIFORMITY CORRECTION TECHNIQUES FOR INFRARED IMAGING DEVICES)” 的第61/545，056號美國臨時專利申請的權益，該文獻以其整體參考引用于此。
[0004]本申請還要求2011年06月10日提交的、名稱為“紅外照相機包裝系統和方法(INFRARED CAMERA PACKAGING SYSTEMS AND METHODS) ” 的第 61/495，873 號美國臨時專利申請的權益，該文獻以其整體參考引用于此。
[0005]本申請還要求2011年06月10日提交的、名稱為“紅外照相機系統架構(INFRAREDCAMERA SYSTEM ARCHITECTURES) ”的第61/495，879號美國臨時專利申請的權益，該文獻以其整體參考引用于此。
[0006]本申請還要求2011年06月10日提交的、名稱為“紅外照相機校正技術(INFRAREDCAMERA CALIBRATION TECHNIQUES) ”的第61/495，888號美國臨時專利申請的權益，該文獻以其整體參考引用于此。
【技術領域】
[0007]本發明的一個或多個實施例總體上涉及熱成像裝置，更具體地，例如涉及在這樣的裝置中的阻隔紅外傳感器(blocked infrared sensor)的利用。
【背景技術】
[0008]現有的熱成像器典型地與在陣列中排列的多個紅外傳感器一起實施，從而捕捉目標場景的熱圖像。各個紅外傳感器總體上呈現像素到像素變化(pixel-to-pixelvariation)，使得如果左邊未校正，則接收相同紅外輻射的紅外傳感器可以呈現顯著不同的輸出信號。
[0009]為了補償這樣的變化,可以在工廠測試過程中確定標準項(calibration term)。可惜，這樣的工廠測試通常費時且昂貴。還可以通過溫度控制快門的使用周期性地確定標準項。就這一點而言，快門可以用于暫時地阻隔紅外傳感器的陣列。通過捕捉快門的圖像，可以為各個紅外傳感器確定各個偏移值。這些各個偏移值可以應用于目標場景的隨后捕捉到的熱圖像，從而為紅外傳感器提供實質上一致的性能。可惜，傳統的快門實施方式會易于發生機械故障。這樣的快門還會增加熱成像器的費用、重量以及復雜性。
【發明內容】

[0010]提供技術用于利用熱成像裝置的一個或多個屏蔽(例如，阻擋、阻隔和/或遮蓋)紅外傳感器。在一個示例中，可以確定場景的熱圖像的每一個像素的絕對輻射值。例如，屏蔽紅外傳感器(shielded infrared sensor)可以用于確定平均熱像偏移參考(averagethermographic offset reference),該平均熱像偏移參考可以進一步用于確定絕對福射值。有利地，絕對輻射值可以用于在不依靠由工廠標準操作和/或基于快門的技術確定的像素到像素偏移值的情況下確定場景的熱圖像的每一個像素的溫度。
[0011]根據一個實施例，方法包括捕捉來自屏蔽紅外傳感器的信號，其中屏蔽紅外傳感器實質上受阻隔無法接收來自場景的紅外輻射；捕捉來自設置為接收來自場景的紅外輻射的未屏蔽紅外傳感器(unshielded infrared sensor)的信號；基于捕捉到的屏蔽紅外傳感器的信號確定屏蔽和未屏蔽紅外傳感器的平均熱像偏移參考；以及基于平均熱像偏移參考和捕捉到的未屏蔽紅外傳感器的信號確定場景的絕對輻射值。
[0012]根據另一實施例，裝置包括實質上受阻隔無法接收來自場景的紅外輻射的屏蔽紅外傳感器；配置為接收來自場景的紅外輻射的未屏蔽紅外傳感器；以及處理裝置，該處理裝置配置為:基于從屏蔽紅外傳感器捕捉到的信號確定屏蔽和未屏蔽紅外傳感器的平均熱像偏移參考，以及基于平均熱像偏移參考和從未屏蔽紅外傳感器捕捉到的信號確定場景的絕對輻射值。
[0013]本發明的范圍由權利要求限定，權利要求參考引用到本章節中。本發明的實施例的更加完整的理解以及其附加優勢的實現將通過一個或多個實施例的以下詳細說明的考慮提供給所屬【技術領域】的技術人員。將對首先進行簡要描述的附圖作出參照。
【專利附圖】

【附圖說明】
[0014]圖1表示根據本發明的實施例配置為在主機裝置(host device)中實施的紅外成像模塊(infrared imaging module)。
[0015]圖2表示根據本發明的實施例的組裝的紅外成像模塊。
[0016]圖3表示根據本發明的實施例并置在托座(socket)上的紅外成像模塊的分解圖。
[0017]圖4表示根據本發明的實施例包括紅外傳感器的陣列的紅外傳感器組件(infrared sensor assembly)的方框圖。
[0018]圖5表示根據本發明的實施例確定NUC項的各個操作的流程圖。
[0019]圖6表示根據本發明的實施例的在鄰近像素之間的差值。
[0020]圖7表示根據本發明的實施例的平場校正技術(flat field correctiontechnique)。
[0021]圖8表示根據本發明的實施例的圖5的各種圖像處理技術以及在圖像處理管線(image processing pipeline)中應用的其它操作。
[0022]圖9表示根據本發明的實施例的暫態噪聲降低過程(temporal noise reductionprocess)。
[0023]圖10表示根據本發明的實施例的圖6的圖像處理管線的若干個過程的特殊實施細節。
[0024]圖11表示根據本發明的實施例的像素的鄰域(neighborhood)中的空間相關FPN。
[0025]圖12表示根據本發明的實施例包括未屏蔽和屏蔽紅外傳感器的紅外傳感器組件的橫截面側視圖。
[0026]圖13表示根據本發明的實施例利用未屏蔽和屏蔽紅外傳感器的各個操作的流程圖。
[0027]通過參照接下來的詳細說明將最好地理解本發明的實施例及其優點。應當領會的 是相同的附圖標記用于識別一個或多個附圖中表示的相同的元件。
【具體實施方式】
[0028]圖1表示根據本發明的實施例配置為在主機裝置102中實施的紅外成像模塊100 (例如，紅外照相機或紅外成像裝置)。對于一個或多個實施例，紅外成像模塊100可以與小封裝技術(small form factor) 一起并根據圓片級封裝技術(wafer level packagingtechnique)或其它封裝技術實施。
[0029]在一個實施例中，紅外成像模塊100可以配置為在例如移動電話、平板電腦裝置、筆記本電腦裝置、個人數字助理、可見光相機(visible light camera)、音樂播放器或任何其它適當的移動裝置這樣的小型便攜式主機裝置102中實施。就這一點而言，紅外成像模塊100可以用于對主機裝置102提供紅外成像功能。例如，紅外成像模塊100可以配置為捕捉、處理和/或以其它方式管理紅外圖像，并對主機裝置102提供這樣的紅外圖像以任何期望的方式供使用(例如，用于進一步處理、存儲在存儲器中、顯示、被主機裝置102中運行的各種應用使用、輸出到其它裝置，或其它用途)。
[0030]在各個實施例中，紅外成像模塊100可以配置為以低電壓等級并跨越寬溫度范圍操作。例如，在一個實施例中，紅外成像模塊100可以利用大約2.4伏特、2.5伏特、2.8伏特，或較低電壓的電源操作，并且跨越大約-20攝氏度至大約+60攝氏度的溫度范圍操作(例如，跨越大約80攝氏度的環境溫度范圍提供合適的動態范圍和性能)。在一個實施例中，通過以低電壓等級操作紅外成像模塊100，與其它類型的紅外成像裝置相比，紅外成像模塊100會經歷降低量的自熱。結果，可以利用減少的措施操作紅外成像模塊100，從而補償這樣的自熱。
[0031]如圖1所示，主機裝置102可以包括托座104、快門105、運動傳感器194、處理器195、存儲器196、顯示器197和/或其它組件198。托座104可以配置為容納紅外成像模塊100，如由箭頭101識別的那樣。就這一點而言，圖2表示根據本發明的實施例的組裝在托座104中的紅外成像模塊100。
[0032]可以通過一個或多個加速計、陀螺儀或可以用于檢測主機裝置102的移動的其它適當的裝置實施運動傳感器194。運動傳感器194可以通過處理模塊160或處理器195進行監測，并且可以對處理模塊160或處理器195提供信息，從而檢測運動。在各個實施例中，運動傳感器194可以實施為主機裝置102的一部分(如圖1所示)、紅外成像模塊100，或連接到主機裝置102或以其它方式與主機裝置102接口的其它裝置。
[0033]處理器195可以實施為可以被主機裝置102用于執行例如在存儲器196中提供的軟件指令這樣的適當的指令的任何適當的處理裝置(例如邏輯裝置、微控制器、處理器、專用集成電路(ASIC)，或其它裝置)。顯示器197可以用于顯示捕捉到的和/或經處理的紅外圖像和/或其它圖像、數據和信息。其它組件198可以用于根據各種應用(例如時鐘、溫度傳感器、可見光相機，或其它組件)所期望的，實施主機裝置102的任何功能。此外，可以提供機器可讀介質(machine readable medium) 193用于存儲加載到存儲器196中并由處理器195執行的永久指令。
[0034]在各個實施例中，紅外成像模塊100和托座104可以實現大規模生產，從而促進高容量應用，例如，在移動電話或其它裝置(例如，需要小封裝技術)中實施。在一個實施例中，紅外成像模塊100和托座104的組合會呈現大約8.5mm乘8.5mm乘5.9mm的總尺寸，同時紅外成像模塊100安裝在托座104中。
[0035]圖3表示根據本發明的實施例并置在托座104上的紅外成像模塊100的分解圖。紅外成像模塊100可以包括透鏡鏡筒(lens barrel) 110、外殼120、紅外傳感器組件128、電路板170、底座(base) 150和處理模塊160。
[0036]透鏡鏡筒110可以至少部分地圍繞光學元件180 (例如透鏡)，光學元件180通過透鏡鏡筒110中的孔112在圖3中部分可見。透鏡鏡筒110可以包括實質上圓柱形延伸部114，其可以用于在外殼120中接合透鏡鏡筒110和孔122。
[0037]紅外傳感器組件128可以例如與安裝在基板(substrate) 140上的帽狀物(cap) 130 (例如，蓋子)一起實施。紅外傳感器組件128可以包括在陣列中或以其它方式在基板140上實施并被帽狀物130覆蓋的多個紅外傳感器132 (例如紅外檢測器)。例如，在一個實施例中，紅外傳感器組件128可以實施為焦平面陣列(FPA)。這樣的焦平面陣列可以實施為例如真空包裝組件(例如，被帽狀物130和基板140密封)。在一個實施例中，紅外傳感器組件128可以實施為圓片級封裝(例如，紅外傳感器組件128可以從提供在圓片上的一組真空包裝組件中分離)。在一個實施例中，可以實施紅外傳感器組件128從而利用大約2.4伏特、2.5伏特、2.8伏特或類似伏特的電源操作。
[0038]紅外傳感器132可以配置為檢測來自目標場景的紅外輻射(例如紅外能)，目標場景包括，例如中波紅外波段(MWIR)、長波紅外波段(LWIR)和/或根據在特殊實施方式中期望的其它熱成像波段。在一個實施例中，可以根據圓片級封裝技術提供紅外傳感器組件128。
[0039]紅外傳感器132可以實施為例如以任何期望的陣列模式排列的微測熱輻射計(microbolometer)或其它類型的熱成像紅外傳感器,從而提供多個像素。在一個實施例中，紅外傳感器132可以實施為具有17 μ m像素間距的氧化釩(VOx)檢測器。在各個實施例中，可以使用大約32乘32紅外傳感器132、大約64乘64紅外傳感器132、大約80乘64紅外傳感器132的陣列，或者其它陣列尺寸。
[0040]基板140可以包括各種電路，其中電路包括例如在一個實施例中規模小于大約
5.5mm乘5.5mm的讀出集成電路(ROIC)。基板140還可以包括接合焊盤(bond pad) 142,當紅外成像模塊100組裝為圖5A、5B和5C所示那樣時，接合焊盤142可以用于接觸放置在外殼120的內表面上的互補連接。在一個實施例中，ROIC與低壓差線性穩壓器(LDO) —起實施從而完成電壓調整，以降低引入紅外傳感器組件128中的電源噪聲，因此提供提高的電源抑制比(PSRR)。而且，通過實施LDO和ROIC(例如，在圓片級封裝中)，可以消費較小的芯片面積(die area)并且需要較少的分立模具(discrete die)(或芯片(chip))。
[0041]圖4表示根據本發明的實施例包括紅外傳感器132的陣列的紅外傳感器組件128的方框圖。在所示的實施例中，提供紅外傳感器132作為R0IC402的單元晶胞陣列(unit cell array)的一部分。R0IC402包括偏壓生成和定時控制電路(bias generationand timing control circuitry)404、列放大器(column amplifier)405、列多路復用器(column multiplexer) 406、行多路復用器(row multiplexer) 408 以及輸出放大器 410。由紅外傳感器132捕捉到的圖像幀(例如，熱圖像)可以通過輸出放大器410提供至處理模塊160、處理器195和/或任何其它適當的組件，從而完成這里描述的各種處理技術。盡管圖4中示出了 8乘8陣列，但在其它實施例中可以使用任何期望的陣列排列。ROIC和紅外傳感器(例如，微測熱輻射計電路)的進一步描述可以在2000年02月22日授權的第6，028，309號美國專利中找到，該文獻以其整體參考引用于此。
[0042]紅外傳感器組件128可以捕捉圖像(例如，圖像幀)并且以各種速率提供來自其ROIC的這樣的圖像。處理模塊160可以用于完成捕捉到的紅外圖像的適當的處理并且可以根據任何適當的構架實施。在一個實施例中，處理模塊160可以實施為ASIC。就這一點而言，這樣的ASIC可以配置為在高性能和/或高效率的情況下完成圖像處理。在另一實施例中，處理模塊160可以與通用中央處理單元(CPU) —起實施，通用中央處理單元(CPU)可以配置為執行適當的軟件指令從而完成圖像處理、利用各種圖像處理塊(image processingblock)協調和完成圖像處理、協調處理模塊160和主機裝置102之間的接口連接，和/或其它操作。在又一實施例中，處理模塊160可以與現場可編程門陣列(FPGA) —起實施。如所屬【技術領域】的技術人員可以理解的那樣，在其它實施例中處理模塊160可以與其它類型的處理和/或邏輯電路一起實施。
[0043]在這些和其它實施例中，在適當的情況下，處理模塊160還可以與例如易失性存儲器、非易失性存儲器和/或一個或多個接口(例如，紅外檢測器接口、內置集成電路(I2C)接口、移動行業處理器接口(MIPI)、聯合測試行為組織(JTAG)接口(例如IEEEl 149.1標準測試訪問端口和邊界掃描結構)和/或其它接口)這樣的其它組件一起實施。
[0044]在一些實施例中，紅外成像模塊100可以進一步包括一個或多個執行器(actuator) 199,其用于調整由紅外傳感器組件128捕捉到的紅外圖像巾貞的焦點。例如,執行器199可以用于相對于彼此移動光學元件180、紅外傳感器132和/或其它組件，從而根據這里所描述的技術選擇性地使紅外圖像幀聚焦和散焦。可以根據任何類型的誘導運動裝置或機制實施執行器199，并且根據適于不同的應用，執行器199可以設置在紅外成像模塊100內或外部的任何位置。
[0045]當組裝紅外成像模塊100時，外殼120可以實質上圍繞紅外傳感器組件128、底座150和處理模塊160。外殼120可以促進紅外成像模塊100的各個組件的連接。例如，在一個實施例中，如進一步描述的那樣，外殼120可以提供電氣連接部分(electricalconnection) 126,從而連接各個組件。
[0046]當組裝紅外成像模塊100時，電氣連接部分126(例如，導電電氣路徑、蹤跡或其它類型的連接部分)可以與接合焊盤142電氣連接。在各個實施例中，電氣連接部分126可以嵌入外殼120中、提供在外殼120的內表面上,和/或以其它方式由外殼120提供。電氣連接部分126可以終止在如圖3所示的從外殼120的底面伸出的連接部分124。當組裝紅外成像模塊100時，連接部分124可以與電路板170連接(例如，在各個實施例中外殼120可以置于電路板170上)。處理模塊160可以通過適當的電氣連接部分與電路板170電氣連接。結果，紅外傳感器組件128可以通過例如由接合焊盤142、外殼120的內表面上的補充連接部分、外殼120的電氣連接部分126、連接部分124以及電路板170提供的導電電氣路徑與處理模塊160電氣連接。有利地，在不需要在紅外傳感器組件128和處理模塊160之間提供引線鍵合(wire bond)的情況下，可以實施這樣的布置。
[0047]在各個實施例中，外殼120中的電氣連接部分126可以由任何期望的材料(例如銅或任何其它適當的導電材料)制成。在一個實施例中，電氣連接部分126可以幫助從紅外成像模塊100中散熱。
[0048]在其它實施例中可以使用其它連接部分。例如，在一個實施例中，傳感器組件128可以通過陶瓷板連接至處理模塊160，其中陶瓷板通過引線鍵合連接至傳感器組件128并且通過球柵極陣列(BGA)連接至處理模塊160。在另一實施例中，傳感器組件128可以直接安裝在剛性柔性板上并且與引線鍵合電氣連接，并且處理模塊160可以利用引線鍵合或BGA安裝并連接至剛性柔性板。
[0049]提供這里闡明的紅外成像模塊100和主機裝置102的各種實施方式用于示例的目的，而非用于限制。就這一點而言，這里描述的各種技術中的任何一種可以應用于任何紅外照相機系統、紅外成像器或用于完成紅外/熱成像的其它裝置。
[0050]紅外傳感器組件128的基板140可以安裝在底座150上。在各個實施例中，底座150(例如基座)可以由例如通過金屬注射成型(MIM)形成并且擁有黑色氧化物或鍍鎳涂料(nickel-coated finish)的銅制成。在各個實施例中，底座150可以由任何期望的材料制成，根據給定應用的需要，例如鋅、鋁或鎂，并且底座150可以通過任何期望的適用過程制成，根據特殊應用的需要，例如鑄鋁、MIM或鋅快速鑄造。在各個實施例中，在適當的情況下，底座150可以實施為提供結構支撐、各種電路通道、熱散熱器(thermal heat sink)性能以及其它功能。在一個實施例中，底座150可以是利用陶瓷材料至少部分地實施的多層結構。
[0051]在各個實施例中，電路板170可以容納外殼120，因此可以物理支承紅外成像模塊100的各個組件。在各個實施例中，電路板170可以實施為印刷電路板(例如，FR4電路板或其它類型的電路板)、剛性或柔性互連(例如，膠帶或其它類型的互連)、柔性電路基板、柔性塑料基板或其它適當的結構。在各個實施例中，底座150可以與描述電路板170的各種功能和屬性一起實施，并且反之亦然。
[0052]托座104可以包括配置為容納紅外成像模塊100的腔106 (例如，如圖2的組裝視圖中所示)。紅外成像模塊100和/或托座104可以包括適當的調整片(tab)、臂、銷、緊固件或可以用于利用摩擦、拉伸、粘附和/或任何其它適當的方式將紅外成像模塊100固定到托座104上或固定至托座104中的任何其它適當的接合部件。托座104可以包括接合部件107，當紅外成像模塊100插入托座104的腔106中時，接合部件107可以接合外殼120的表面109。
[0053]紅外成像模塊100可以通過適當的電氣連接部分(例如觸點、銷、電線或任何其它適當的連接部分)與托座104電氣連接。例如，托座104可以包括電氣連接部分108，其可以接觸紅外成像模塊100的對應電氣連接部分(例如互連焊盤、觸點或電路板170的側面或底面上的其它電氣連接部分、底座150上的接合焊盤142或其它電氣連接部分，或者其它連接部分)。電氣連接部分108可以由任何期望的材料(例如，銅或任何其它適當的導電材料)制成。在一個實施例中，電氣連接部分108可以是機械偏置的，從而當紅外成像模塊100插入托座104的腔106中時擠壓紅外成像模塊100的電氣連接部分。在一個實施例中，電氣連接部分108可以在托座104中至少部分地固定紅外成像模塊100。在其它實施例中可以使用其它類型的電氣連接部分。
[0054]托座104可以通過類似類型的電氣連接部分與主機裝置102電氣連接。例如，在一個實施例中，主機裝置102可以包括經過孔190與電氣連接部分108連接的電氣連接部分(例如，焊接連接部分、卡扣式連接部分或其它連接部分)。在各個實施例中，可以在托座104的側面和/或底部提供這樣的電氣連接部分。
[0055]紅外成像模塊100的各個組件可以與倒裝芯片技術(flip chip technology) 一起實施，倒裝芯片技術用于在沒有引線鍵合連接部分典型地需要的額外的間隙的情況下，將組件直接安裝至電路板。作為示例，倒裝芯片連接部分可以用于減小紅外圖像模塊100的總尺寸，以供緊湊的小封裝技術應用使用。例如，在一個實施例中，處理模塊160可以利用倒裝芯片連接部分安裝至電路板170。例如，紅外成像模塊100可以與這樣的倒裝芯片構造一起實施。
[0056]在各個實施例中，紅外成像模塊100和/或關聯的組件可以根據2010年07月27日提交的第12/844，124號美國專利申請以及2011年03月30日提交的第61/469，651號美國臨時專利申請中闡明的各種技術(例如，圓片級封裝技術)實施，這些文獻以它們的整體參考引用于此。此外，根據一個或多個實施例，紅外成像模塊100和/或關聯的組件可以根據例如2008年12月30日授權的第7，470，902號美國專利、2000年02月22日授權的第6，028，309號美國專利、2004年11月02日授權的第6，812，465號美國專利、2006年04月25日授權的第7，034，301號美國專利、2010年03月16日授權的第7，679，048號美國專利、2008年12月30日授權的第7，470, 904號美國專利、2008年09月02日提交的第12/202，880號美國專利申請以及2008年09月02日提交的第12/202，896號美國專利申請中闡明的各種技術實施、標準化、測試和/或使用，這些文獻以它們的整體參考引用于此。
[0057]再次參照圖1，在各個實施例中，主機裝置102可以包括快門105。就這一點而言，當紅外成像模塊100安裝在托座104中時，快門105可以選擇性地放置在托座104上(例如，如由箭頭103識別的那樣)。就這一點而言，當未使用時，快門105可以用于例如保護紅外成像模塊100。如所屬【技術領域】的技術人員將理解的那樣，快門105還可以用作作為紅外成像模塊100的標準化過程(例如，NUC過程或其它標準化過程)的一部分的溫度參考。
[0058]在各個實施例中，快門105可以由各種材料制成，例如聚合物、玻璃、鋁(涂覆的或受過陽極化處理的)或其它材料。在各個實施例中，快門105可以包括一個或多個涂層，從而選擇性地過濾電磁輻射和/或調整快門105的各種光學性質(例如，均勻的黑體涂層或反光金色涂層)。
[0059]在另一實施例中，快門105可以固定在適當位置從而一直保護紅外成像模塊100。在該情況下，快門105或快門105的一部分可以由沒有實質上過濾期望的紅外波長的適當的材料(例如，聚合物或紅外透射材料，例如，硅、鍺、硒化鋅或硫族化合物玻璃)制成。在另一實施例中，如所屬【技術領域】的技術人員將理解的那樣，快門可以作為紅外成像模塊100的一部分(例如，在透鏡鏡筒中或作為透鏡鏡筒的一部分，或在紅外成像模塊100的其它組件中或作為紅外成像模塊100的其它組件的一部分)實施。
[0060]作為選擇，在另一實施例中，不需要提供快門(例如，快門105或其它類型的外部或內部快門)，相反地可以利用無快門技術完成NUC過程或其它類型的標準化。在另一實施例中，可以結合基于快門的技術完成利用無快門技術的NUC過程或其它類型的標準化。
[0061]紅外成像模塊100和主機裝置102可以根據2011年06月10提交的第61/495，873號美國臨時專利申請、2011年06月10日提交的第61/495，879號美國臨時專利申請以及2011年06月10日提交的第61/495，888號美國臨時專利申請中闡明的各種技術中的任何一種實施，這些文獻以它們的整體參考引用于此。
[0062]在各個實施例中，主機裝置102和/或紅外成像模塊100的組件可以實施為具有通過有線和/或無線網絡彼此通信的組件的本地或分布式系統。因此，本發明中識別的各個操作可以如特殊實施方式中期望的那樣通過本地的和/或遠程的組件完成。
[0063]圖5表示根據本發明的實施例確定NUC項的各個操作的流程圖。在一些實施例中，圖5的操作可以通過對由紅外傳感器132捕捉到的圖像幀進行操作的處理模塊160或處理器195 ( 二者總體上還稱為處理器)完成。
[0064]在框505中，紅外傳感器132開始捕捉場景的圖像幀。典型地，場景將是真實世界環境，主機裝置102當前位于該場景中。就這一點而言，可以打開快門105 (如果可選擇地提供)從而允許紅外成像模塊接收來自場景的紅外輻射。在圖5中所示的所有操作過程中，紅外傳感器132可以繼續捕捉圖像幀。就這一點而言，如進一步討論的那樣，可以對各個操作使用連續捕捉到的圖像幀。在一個實施例中，捕捉到的圖像幀可以在它們用在圖5所示的操作之前得到暫態濾波(例如，根據這里針對圖8進一步描述的框826的過程)并且由其它項(例如，如這里針對圖8進一步描述的工廠增益項(factory gain term)812、工廠偏移項(factory offset term) 816、之前確定的 NUC 項 817、列 FPN 項 820 和行 FPN 項 824)處理。
[0065]在框510中，檢測到NUC過程發起事件。在一個實施例中，可以響應于主機裝置102的物理移動發起NUC過程。可以例如通過運動傳感器194檢測這樣的移動，其可以通過處理器查詢。在一個示例中，用戶可以以特殊的方式移動主機裝置102，例如通過在“擦除(erase)”或“刮擦(swipe) ”移動中有意地來回晃動主機裝置102。就這一點而言，用戶可以根據預先確定的速度和方向(速率)，例如以上上下下、一邊到另一邊或其它模式發起NUC過程，來移動主機裝置102。在該示例中，使用這樣的移動可以允許用戶直觀地操作主機裝置102，從而模擬捕捉到的圖像幀中的噪聲的“擦除”。
[0066]在另一示例中，如果超出超過閾值的運動(例如，大于普通用途期望的運動)，則NUC過程可以由主機裝置102發起。可以預期的是主機裝置102的任何期望類型的空間平移可以用于發起NUC過程。
[0067]在又一實施例中，如果由于之前完成的NUC過程，最短時間已經消逝，則NUC過程可以由主機裝置102發起。在另一示例中，如果由于之前完成的NUC過程，紅外成像模塊100已經經歷過最小溫度改變，則NUC過程可以由主機裝置102發起。在再一示例中，可以連續發起和重復NUC過程。
[0068]在框515中，在檢測到發起事件的NUC過程之后，確定是否應當實際上完成NUC過程。就這一點而言，可以基于是否滿足一個或多個附加條件選擇性地發起NUC過程。例如，在一個實施例中，可以不完成NUC過程，除非由于之前完成的NUC過程，最短時間已經消逝。在另一個實施例中，可以不完成NUC過程，除非由于之前完成的NUC過程，紅外成像模塊100已經經歷過最小溫度改變。在其它實施例中可以使用其它標準或條件。如果已經滿足適當的標準或條件，那么流程圖繼續至框520。否則，流程圖回到框505。
[0069]在NUC過程中，模糊圖像幀可以用于確定NUC項，NUC項可以應用于捕捉到的圖像幀從而校正FPN。如討論的那樣，在一個實施例中，模糊圖像幀可以通過積累移動場景的多個圖像幀(例如，當場景和/或熱成像器在運動時捕捉到的)獲得。在另一實施例中，模糊圖像幀可以通過使熱成像器的光學元件或其它組件散焦獲得。
[0070]因此，在框520中，提供任一方法的選擇。如果使用基于運動的方法，那么流程圖繼續至框525。如果使用基于散焦的方法，那么流程圖繼續至框530。
[0071]現在參照基于運動的方法，在框525中檢測到運動。例如，在一個實施例中，可以基于由紅外傳感器132捕捉到的圖像幀檢測運動。就這一點而言，適當的運動檢測過程(例如，圖像配準過程(image registration process)、巾貞到巾貞差值計算(frame-to-framedifference calculation)或其它適當的過程)可以應用于捕捉到的圖像巾貞，從而確定運動是否存在(例如，靜止或移動圖像幀是否已經捕捉到)。例如，在一個實施例中，可以確定連續的圖像幀的像素附近的像素或區域是否已經改變超過用戶定義的量(例如，百分數和/或閾值)。如果像素的至少給定的百分數已經改變至少用戶定義的量，那么運動將在足夠確定性的情況下進行檢測，從而繼續至框535。
[0072]在另一實施例中，可以在逐像素基礎上確定運動，其中僅積累呈現明顯改變的像素，從而提供模糊圖像幀。例如，可以為每一個像素提供計數器，并將其用于確保為每一個像素積累相同數量的像素值，或將其用于基于為每一個像素實際上積累的像素值的數量算出像素值的平均值。可以完成其它類型的基于圖像的運動檢測，例如完成拉東變換(Radontransform)。
[0073]在另一實施例中，可以基于由運動傳感器194提供的數據檢測運動。在一個實施例中，這樣的運動檢測可以包括檢測主機裝置102是否沿相對直的軌跡(trajectory)移動通過空間。例如，如果主機裝置102正沿相對直的軌跡移動，那么出現在成像的場景中的某些對象并不十分模糊是可能的(例如，在可以與直的軌跡對齊或實質上平行于直的軌跡移動的場景中的對象)。因此,在這樣的實施例中，由運動傳感器194檢測到的運動可以在呈現或不呈現特殊軌跡的主機裝置102上適應。
[0074]在又一實施例中，可以使用運動檢測過程和運動傳感器194。因此，利用這些各個實施例中的任何一個，可以作出關于當場景的至少一部分和主機裝置102相對于彼此運動時是否捕捉到每一個圖像幀的確定(例如，其會被相對于場景移動的主機裝置102、相對于主機裝置102移動的場景的至少一部分或二者引起)。
[0075]可以預料的是由于與場景移動相互作用的紅外傳感器132的熱時間常數(例如，微測熱輻射計熱時間常數)，檢測運動所針對的圖像幀會呈現捕捉到的場景的一些二次模糊(例如，與場景關聯的模糊熱圖像數據)。
[0076]在框535中，積累檢測運動所針對的圖像幀。例如，如果檢測到連續系列的圖像幀的運動，那么可以積累該系列的圖像幀。作為另一示例，如果檢測到僅一些圖像幀的運動，那么可以略過非移動的圖像幀，并且非移動的圖像幀可以不包括在積累中。因此，可以基于檢測到的運動選擇連續或不連續的一組圖像幀進行積累。
[0077]在框540中，算出積累的圖像幀的平均值以提供模糊圖像幀。因為在運動過程中捕捉積累的圖像幀，所以可以預料的是真實場景信息將在圖像幀之間變化，因此引起場景信息在因而產生的模糊圖像幀中進一步模糊(框545)。
[0078]相比之下，FPN(例如，由紅外成像模塊100的一個或多個組件引起的)在運動過程中將在至少短的一段時間內以及在場景輻照度中至少有限改變內保持固定。結果，在運動過程中在時間和空間中極為接近的情況下捕捉到的圖像幀將受到相同或至少非常類似的FPN。因此，盡管場景信息可以在連續的圖像幀中改變，但FPN將保持本質上不變。通過算出平均值，在運動過程中捕捉到的多個圖像幀將使場景信息變模糊，但將不會使FPN模糊。結果，FPN將保持在框545中提供的模糊圖像幀中比場景信息更加清楚地限定。
[0079]在一個實施例中，在框535和540中累積32或更多圖像幀并算出平均值。然而，在其它實施例中可以使用任何期望數量的圖像幀，但當幀數減少時通常會降低校正準確性。
[0080]現在參照基于散焦的方法，在框530中，可以完成散焦操作從而有意地使由紅外傳感器132捕捉到的圖像幀散焦。例如，在一個實施例中，可以使用一個或多個執行器199調整、移動或以其它方式轉化光學元件180、紅外傳感器組件128和/或紅外成像模塊100的其它組件，從而引起紅外傳感器132捕捉場景的模糊(例如，未聚焦)圖像幀。對于有意地使紅外圖像幀散焦來說，還可以預期基于其它非執行器的技術，例如手工(例如，用戶發起)散焦。
[0081]盡管場景可以在圖像幀中出現模糊，但FPN(例如，由紅外成像模塊100的一個或多個組件引起的)將保持不受散焦操作的影響。結果，場景的模糊圖像幀將具備保持在模糊圖像中比場景信息更加清楚地限定的FPN(框545)。
[0082]在上述討論中，已經針對單個捕捉到的圖像幀描述基于散焦的方法。在另一實施例中，基于散焦的方法可以包括積累多個圖像幀，同時紅外成像模塊100已經散焦并算出散焦的圖像幀的平均值，從而去除暫態噪聲的影響并在框545中提供模糊圖像幀。
[0083]因此，將領會到的是可以通過基于運動的方法或基于散焦的方法在框545中提供模糊圖像幀。因為許多場景信息將通過運動或散焦，或者運動和散焦變得模糊，所以模糊圖像幀可以實際上視為關于場景信息的原始捕捉到的圖像幀的低通濾波版本(low passfiltered version)。
[0084]在框550中，處理模糊圖像幀以確定更新的行和列FPN項(例如，如果之前尚未確定行和列FPN項，那么更新的行和列FPN項在框550的第一次迭代中可以是新的行和列FPN項)。如在本發明中使用的那樣，可以根據紅外傳感器132和/或紅外成像模塊100的其它組件的取向交替地使用項行和列。
[0085]在一個實施例中，框550包括確定模糊圖像幀的每一行的空間FPN校正項(例如，每一行可以具有其自己的空間FPN校正項)，以及還確定模糊圖像幀的每一列的空間FPN校正項(例如，每一列可以具有其自己的空間FPN校正項)。這樣的處理可以用于減少例如由可以顯示為圖像幀中的垂直和水平條紋、在R0IC402中的放大器的Ι/f噪聲特性引起的熱成像器固有的空間和緩慢變化的(Ι/f)行和列FPN。
[0086]有利地，通過利用模糊圖像巾貞確定空間行和列FPN項，將存在在真實成像的場景中的垂直和水平對象被誤認為是行和列噪聲的降低的風險(例如，真實場景內容將是模糊的，而FPN保持不模糊)。
[0087]在一個實施例中，行和列FPN項可以通過考慮模糊圖像幀的鄰近像素之間的差值確定。例如，圖6表示根據本發明的實施例的鄰近像素之間的差值。具體地，在圖6中，像素610與其8個最接近的水平鄰近像素進行比較:一側的d0-d3以及另一側的d4-d7。可以算出鄰近像素之間的差值的平均值以獲得所示的像素的組的偏移誤差的估計。可以計算行或列中每一個像素的偏移誤差，并且平均值結果可以用于校正整個行或列。
[0088]為了防止真實場景數據被解釋為噪聲，可以使用上、下閾值(thPix以及-thPix)。落到這些閾值之外的像素值(在該示例中，像素dl和d4)沒有用于獲得偏移誤差。此外，行和列FPN校正的最大值可以由這些閾值限制。
[0089]完成空間行和列FPN校正處理的進一步的技術在2009年03月02日提交的第12/396，340號美國專利申請中闡明，該文獻以其整體參考引用于此。
[0090]再次參照圖5，存儲(框552)在框550中確定的更新的行和列FPN項，并將其應用至(框555)在框545中提供的模糊圖像幀中。在應用這些項之后，模糊圖像幀中的一些空間行和列FPN會減少。然而，因為總體上對行和列應用這樣的項，所以附加的FPN可以保持，例如與像素到像素漂移或其它原因關聯的空間無關FPN(spatially uncorrelated FPN)。還可以保持空間相關FPN的鄰域，其可以與各個行和列沒有直接關聯。因此，可以如以下討論的那樣完成進一步處理以確定NUC項。
[0091]在框560中，確定模糊圖像巾貞中的局部對比度值(local contrast value)(例如，鄰近或小群體像素之間的邊緣或絕對值的梯度)。如果模糊圖像幀中的場景信息包括沒有明顯模糊的(例如，原始場景數據中的高對比度邊緣)對比區域，那么這樣的特征可以通過在框560中的對比度確定過程確定。
[0092]例如，可以計算模糊圖像幀中的局部對比度值，或者任何其它期望類型的邊緣檢測過程可以應用于將模糊圖像中的特定像素識別為局部對比度的區域的一部分。在該方法中標記的像素可以認為是包含將解釋為FPN的極度高空間頻率場景信息(例如，這樣的區域可以對應于尚未足夠模糊的場景的一部分)。正因如此，這些像素可以排除在用在NUC項的進一步確定之外。在一個實施例中，這樣的對比度檢測處理可以依靠大于與FPN關聯的預期對比度值的閾值(例如，呈現大于閾值的對比度值的像素可以認為是場景信息，并且呈現小于閾值的對比度值的那些像素可以認為是呈現FPN)。
[0093]在一個實施例中，在行和列FPN項已經應用于模糊圖像幀之后可以對模糊圖像幀完成框560的對比度確定(例如，如圖5所示)。在另一實施例中，可以在確定行和列FPN項之前，先于確定對比度的框550完成框560(例如，為了防止基于場景的對比度促成這樣的項的確定)。
[0094]接著框560，可以預料保持在模糊圖像幀中的任何高空間頻率內容可以總體上由空間無關FPN產生。就這一點而言，接著框560，許多的其它噪聲或基于真實期望的場景的信息已經去掉或排除在模糊圖像幀之外，原因在于:圖像幀的有意模糊(例如，通過在框520到545中的運動或散焦)、行和列FPN項的應用(框555)以及(框560)的對比度確定。
[0095]因此，可以預料的是接著框560，任何剩下的高空間頻率內容(例如，呈現為模糊圖像幀中的對比度或差值區域)可以由空間無關FPN產生。因此，在框565中，模糊圖像幀是高通濾波的。在一個實施例中，這可以包括應用高通濾波器(high pass filter)從模糊圖像幀中提取高空間頻率內容。在另一實施例中，這可以包括對模糊圖像幀應用低通濾波器(low pass filter)并取得低通濾波圖像幀和未過濾模糊圖像幀之間的差值，從而獲得高空間頻率內容。根據本發明的各個實施例，高通濾波器可以通過計算傳感器信號(例如，像素值)及其鄰近信號之間的平均差來實施。
[0096]在框570中，對高通濾波模糊圖像幀完成平場校正過程，從而確定更新的NUC項(例如，如果NUC過程之前尚未完成，那么更新的NUC項在框570的第一次迭代中可以是新的NUC項)。[0097]例如，圖7表示根據本發明的實施例的平場校正技術700。在圖7中，可以利用每一個像素710的鄰近像素712到726的值確定模糊圖像幀的每一個像素710的NUC項。對于每一個像素710，可以基于各個鄰近像素的值之間的絕對差來確定若干個梯度。例如，可以在像素712和714 (左到右對角線梯度)之間、像素716和718 (上到下垂直梯度)之間、像素720和722 (右到左對角線梯度)之間以及像素724和726 (左到右水平梯度)之間確定絕對值差。
[0098]可以計算這些絕對差的總和以提供像素710的總和梯度。可以確定像素710的加權值(weight value)，其與總和梯度成反比。可以為模糊圖像幀的所有像素710完成該過程直到提供每一個像素710的加權值。對于具有低梯度的區域(例如，模糊或具有低對比度的區域)，加權值將接近一。相反地，對于具有高梯度的區域，加權值將是零或接近零。由高通濾波器估計的NUC項的更新與加權值相乘。
[0099]在一個實施例中，通過將一定量的暫態阻尼(temporal damping)應用到NUC項確定過程中可以進一步降低將場景信息引入NUC項中的風險。例如，可以選擇O和I之間的暫態阻尼因子λ，使得存儲的新的(new)NUC項(NUCnew)是舊的(old)NUC項(NUQm)和估計的更新(updated) NUC項(NUCupdate)的加權平均值。在一個實施例中，這可以表示為NUCnew=入.NUCold+(1-λ).(NUCold+NUCupdate)。
[0100]盡管已經針對梯度對NUC項的確定進行描述，但在適當的情況下可以使用局部對比度值代替。還可以使用其它技術，例如標準偏差計算。可以完成其它類型的平場校正過程來確定NUC項，包括例如2000年02月22日授權的第6，028，309號美國專利、2004年11月02日授權的第6，812，465號美國專利以及2008年05月05日提交的第12/114，865號美國專利申請中各種識別的過程，這些文獻以它們的整體參考引用于此。
[0101]再次參照圖5，框570可以包括NUC項的附加處理。例如，在一個實施例中，為了保留場景信號平均數，可以通過從每一個NUC項中減去NUC項平均數使所有NUC項的總和正規化至零。也在框570中，為了避免行和列噪聲影響NUC項，每一個行和列的平均數值可以從每一個行和列的NUC項中減去。結果，利用在框550中確定的行和列FPN項的行和列FPN濾波器可以在NUC項應用于捕捉到的圖像之后(例如，在框580中在這里進一步討論的)的進一步迭代(例如，如圖8中進一步表示的)中能夠更好地濾除行和列噪聲。就這一點而言，行和列FPN濾波器可以普遍采用更多數據計算每行和每列偏移系數(例如，行和列FPN項)，并且因此可以提供比基于高通濾波的NUC項更加穩健、用于降低空間相關FPN的替代，從而捕捉空間無關的噪聲。
[0102]在框571-573中，可以可選擇地完成附加的高通濾波和更新的NUC項的進一步確定，從而去掉具有比之前由行和列FPN項去掉的空間頻率低的低空間頻率的空間相關FPN。就這一點而言，紅外傳感器132或紅外成像模塊100的其它組件中的一些可變性可以導致不能容易地模型為行或列噪聲的空間相關FPN噪聲。這樣的空間相關FPN可以包括例如對輻照度作出與鄰近紅外傳感器132不同響應的傳感器包或一組紅外傳感器132上的窗樣缺損(window defect)。在一個實施例中，這樣的空間相關FPN可以利用偏移校正得到緩和。如果這樣的空間相關FPN的量很可觀，那么噪聲在模糊圖像幀中還可以是可檢測的。因為該類型的噪聲會影響像素的鄰域，所以具有小內核(small kernel)的高通濾波器可以不檢測鄰域中的FPN(例如，用在高通濾波器中的所有值可以從受影響的像素的鄰域中取得，因此會受相同的偏移誤差的影響)。例如，如果利用小內核完成框565的高通濾波(例如，考慮僅落入受空間相關FPN影響的像素的鄰域中的直接鄰近像素)，那么可以未檢測寬廣分布的空間相關FPN。
[0103]例如，圖11表示根據本發明的實施例在像素的鄰域中的空間相關FPN。如樣品圖像幀1100中所示，像素1110的鄰域可以呈現與各個行和列沒有精確相關并且分布在若干個像素的鄰域中(例如，在該示例中大約4乘4像素的鄰域)的空間相關FPN。樣品圖像幀1100還包括呈現實質上一致的響應、未用于過濾計算的一組像素1120，以及用于估計像素1110的鄰域的低通值的一組像素1130。在一個實施例中，像素1130可以是許多可被二整除的像素，從而促進有效率的硬件或軟件計算。
[0104]再次參照圖5，在框571-573中，可以可選擇地完成附加的高通濾波和更新的NUC項的進一步確定，從而去掉例如由像素1110呈現的空間相關FPN。在框571中，在框570中確定的更新的NUC項應用于模糊圖像幀。因此，這個時候，將為空間相關FPN首先校正模糊圖像幀(例如，通過框555中的更新的行和列FPN項的應用)，并且還為空間無關FPN首先校正模糊圖像幀(例如，通過框571中的更新的NUC項的應用)。
[0105]在框572中，應用具有比用在框565中大的內核的另一高通濾波器，并且可以在框573中確定另一更新的NUC項。例如，為了檢測存在于像素1110中的空間相關FPN，在框572中應用的高通濾波器可以包括來自像素的十分足夠大的鄰域的數據，使得可以在未受影響的像素(例如，像素1120)和受影響的像素(例如，像素1110)之間確定差值。例如，可以使用具有大的內核的低通濾波器(例如，大于3乘3像素的N乘N內核)，并且可以減去結果從而完成適當的高通濾波。
[0106]在一個實施例中,對于計算效率,可以使用稀疏內核(sparse kernel)使得僅使用N乘N鄰域內部的少量鄰近像素。對于利用遠處的鄰近的任何給定高通濾波操作(例如，大的內核)，存在將真實(潛在模糊的)場景信息模型為空間相關FPN的風險。因此，在一個實施例中，暫態阻尼因子λ可以為在框573中確定的更新的NUC項設置為接近I。
[0107]在各個實施例中，可以重復(例如，串聯)框571-573從而在增加內核尺寸的情況下迭代地完成高通濾波從而提供進一步更新的NUC項，進一步校正期望鄰域尺寸的空間相關FPN。在一個實施例中，判定完成這樣的迭代可以由空間相關FPN是否已經被之前完成的框571-573的更新的NUC項去掉而確定。
[0108]完成框571-573之后，作出關于是否將更新的NUC項應用于捕捉到的圖像幀的判定(框574)。例如，如果整個圖像幀的NUC項的絕對值的平均值小于最小閾值，或大于最大閾值，則NUC項可以視為謬誤或者不可能提供有意義的校正。作為選擇，閾值標準可以應用于各個像素從而確定哪一個像素接收更新的NUC項。在一個實施例中，閾值可以對應于最近計算的NUC項和之前計算的NUC項之間的差值。在另一實施例中，閾值可以與之前計算的NUC項無關。可以應用其它測試(例如，空間相關測試)確定是否應當應用NUC項。
[0109]如果NUC項視為謬誤或不可能提供有意義的校正，那么流程圖返回框505。否則，存儲最近確定的NUC項(框575)以代替之前的NUC項(例如，由圖5的之前完成的迭代確定的)并將最近確定的NUC項應用于捕捉到的圖像幀(框580)。
[0110]圖8表示根據本發明的實施例的圖5的各種圖像處理技術和在圖像處理管線800中應用的其它操作。就這一點而言，管線800識別在用于校正由紅外成像模塊100提供的圖像幀的全部迭代圖像處理方案的背景下的圖5的各個操作。在一些實施例中，管線800可以通過在由紅外傳感器132捕捉到的圖像幀上操作的處理模塊160或處理器195 ( 二者也總體上稱為處理器)提供。
[0111]可以將由紅外傳感器132捕捉到的圖像幀提供給幀平均器(frameaverager)804，幀平均器804整合多個圖像幀以提供具有提高的信噪比的圖像幀802。幀平均器804可以由紅外傳感器132、R0IC402和實施為支持高圖像捕捉率的紅外傳感器組件128的其它組件有效地提供。例如，在一個實施例中，紅外傳感器組件128可以以240Hz (例如，每秒240個圖像)的幀速率捕捉紅外圖像幀。在該實施例中,這樣的高幀速率可以通過例如以相對低的電壓(例如，與移動電話電壓兼容)操作紅外傳感器組件128以及通過利用紅外傳感器132的相對小的陣列(例如，在一個實施例中64乘64紅外傳感器的陣列)實施。
[0112]在一個實施例中，這樣的紅外圖像幀可以以高的幀速率(例如，240Hz或其它幀速率)從紅外傳感器組件128提供至處理模塊160。在另一實施例中，紅外傳感器組件128可以整合較長時間周期，或多個時間周期，以按照較低的幀速率(例如，30Hz、9Hz或其它幀速率)將整合的(例如，平均的)紅外圖像幀提供至處理模塊160。關于可以用于提供高圖像捕捉率的實施方式的進一步信息可以在之前在這里參考的第61/495，879號美國臨時專利申請中找到。
[0113]圖像幀802通過管線800進行，在這里圖像幀802通過用于確定各個調整項和補償的增益的各個項、暫態濾波得到調整。
[0114]在框810和814中，工廠增益項812和工廠偏移項816應用于圖像幀802從而分別補償在生產和測試過程中確定的各個紅外傳感器132和/或紅外成像模塊100的其它組件之間的增益和偏移差值。
[0115]在框580中，如討論的那樣，NUC項817應用于圖像幀802以校正FPN。在一個實施例中，如果NUC項817尚未確定(例如，在已經發起NUC過程之前)，那么可以不完成框580，或者初始化值可以用于NUC項817，導致對圖像數據沒有改變(例如，每一個像素的偏移將等于零)。
[0116]在框818和822中，列FPN項820和行FPN項824分別應用于圖像幀802。可以根據如討論的框550確定列FPN項820和行FPN項824。在一個實施例中，如果列FPN項820和行FPN項824尚未確定(例如，在已經發起NUC過程之前)，那么可以不完成框818和822，或者初始化值可以用于列FPN項820和行FPN項824，導致對圖像數據沒有改變(例如，每一個像素的偏移將等于零)。
[0117]在框826中，根據暫態噪聲降低(TNR)過程對圖像幀802完成暫態濾波。圖9表示根據本發明的實施例的TNR過程。在圖9中，處理當前接收到的圖像幀802a和之前暫態濾波的圖像幀802b以確定新的暫態濾波圖像幀802e。圖像幀802a和802b包括分別圍繞像素805a和805b的像素803a和803b的局部鄰域。鄰域803a和803b對應于圖像幀802a和802b內的相同位置并且是圖像幀802a和802b中的總像素的子集。在所示的實施例中，鄰域803a和803b包括5乘5像素的面積。在其它實施例中可以使用其它鄰域尺寸。
[0118]確定對應的鄰域803a和803b的像素之間的差值，并算出其平均值，以提供對應于像素805a和805b的位置的平均德爾塔值(delta value) 805co平均德爾塔值805c可以用于在框807中確定加權值，從而應用于圖像幀802a和802b的像素805a和805b。
[0119]在一個實施例中，如圖表809所示，在框807中確定的加權值可以與平均德爾塔值805c成反比，使得當鄰域803a和803b之間存在大的差值時，加權值快速下降至零。就這一點而言，鄰域803a和803b之間的大的差值可以表明改變已經在場景中發生(例如，由于運動)，并且像素802a和802b可以是適當地加權的，在一個實施例中，從而避免弓I入橫跨幀到幀場景改變的模糊。加權值和平均德爾塔值805c之間的其它關聯可以用在各個實施例中。
[0120]在框807中確定的加權值可以應用于像素805a和805b從而確定對應的圖像幀802e的像素805e的值(框811)。就這一點而言，根據平均德爾塔值805c和在框807中確定的加權值，像素805e可以具有是像素805a和805b的加權平均值(或其它組合)的值。
[0121]例如，暫態濾波圖像幀802e的像素805e可以是圖像幀802a和802b的像素805a和805b的加權總和。如果像素805a和805b之間的平均差是由于噪聲產生的，那么可以預料的是鄰域805a和805b之間的平均值改變將接近零(例如，對應于無關改變的平均值)。在這種情況下，可以預料的是鄰域805a和805b之間的差值的總和將接近零。在該情況下，圖像幀802a的像素805a可以都是適當地加權的，以便促成像素805e的值。
[0122]然而，如果這些差值的總和不是零(例如，在一個實施例中甚至與零相差一定量)，那么改變可以解釋為由運動而不是噪聲產生。因此，可以基于由鄰域805a和805b呈現的平均值改變檢測運動。在這種情況下，圖像幀802a的像素805a可以是重加權，而圖像幀802b的像素805b可以是輕加權。
[0123]還可以預期其它實施例。例如，盡管平均德爾塔值805c已經描述為基于鄰域805a和805b確定，在其它實施例中，平均德爾塔值805c可以基于任何期望的標準(例如，基于各個像素或其它類型的像素集的組)確定。
[0124]在上述實施例中，圖像幀802a已經描述為目前接收到的圖像幀，并且圖像幀802b已經描述為之前暫態濾波的圖像幀。在另一實施例中，圖像幀802a和802b可以是由紅外成像模塊100捕捉到的、尚未暫態濾波的第一和第二圖像幀。
[0125]圖10表示關于框826的TNR過程的進一步實施細節。如圖10所示，圖像幀802a和802b可以分別被讀到行緩存區IOlOa和IOlOb中，并且圖像幀802b (例如，之前的圖像幀)可以在被讀到行緩存區IOlOb中之前存儲在幀緩存區1020中。在一個實施例中，行緩存區1010a-b和幀緩存區1020可以由通過紅外成像模塊100和/或主機裝置102的任何適當組件提供的一塊隨機存取存儲器(RAM)實施。
[0126]再次參照圖8，圖像幀802e可以轉到自動增益補償框828以進行進一步處理，從而提供可以根據需要被主機裝置102使用的結果圖像幀830。
[0127]圖8進一步表示各個操作，完成這些操作以確定所討論的行和列FPN項和NUC項。在一個實施例中，這些操作可以利用如圖8中所示的圖像幀802e。因為已經暫態濾波圖像幀802e，因此可以去除至少一些暫態噪聲，因此將不會無意地影響行和列FPN項824和820以及NUC項817的確定。在另一實施例中，可以使用非暫態濾波的圖像幀802。
[0128]在圖8中，圖5的框510、515和520共同地表示在一起。如討論的那樣，可以選擇性地發起NUC過程，并且響應于發起事件的各個NUC過程并且基于各種標準或條件完成NUC過程。還如討論的那樣，可以根據基于運動的方法(框525、535和540)或基于散焦的方法(框530)完成NUC過程，從而提供模糊圖像幀(框545)。圖8進一步表示之前針對圖5討論的各個附加的框 550、552、555、560、565、570、571、572、573 和 575。
[0129]如圖8所示，可以以迭代的方式確定并應用行和列FPN項824和820以及NUC項817，使得利用圖像幀802確定更新的項，其中之前的項已經應用于圖像幀802。結果，圖8的全過程可以重復地更新并且應用這樣的項，從而連續地減少將被主機裝置102使用的圖像幀830中的噪聲。
[0130]再次參照圖10，涉及管線800為圖5和8的各個框說明進一步實施細節。例如，框525、535和540所示為以由管線800接收到的圖像幀802的正常幀速率進行操作。在如圖10所示的實施例中，在框525中作出的確定表示為判定菱形，該判定菱形用于確定給定的圖像幀802是否已經足夠改變，使得其可以被認為是如果增加到其它圖像幀中將增加模糊的圖像幀，因此是積累的(在該實施例中框535由箭頭表示)以及平均的(框540)。
[0131]還是在圖10中，列FPN項820的確定(框550)表示為以更新速率進行操作，在該示例中，由于在框540中完成的求平均值，更新速率是傳感器幀速率(例如，正常幀速率)的1/32。其它實施例中可以使用其它更新速率。盡管在圖10中僅識別出列FPN項820，但行FPN項824可以以類似方式以減小的幀速率實施。
[0132]圖10還表示涉及框570的NUC確定過程的進一步實施細節。就這一點而言，模糊圖像幀可以被讀到行緩存區1030中(例如，由紅外成像模塊100和/或主機裝置102的任何適當的組件提供的一塊RAM實施)。可以在模糊圖像幀上完成圖7的平場校正技術700。
[0133]鑒于本發明，應當領會的是這里描述的技術可以用于去掉各種類型的FPN(例如，包括非常高振幅的FPN)，例如空間相關行和列FPN以及空間無關FPN。
[0134]還可以預期其它實施例。例如，在一個實施例中，更新行和列FPN項和/或NUV項的速率可以與模糊圖像幀中的模糊的估計量成反比，和/或與局部對比度值的量值(例如，在框560中確定)成反比。
[0135]在各個實施例中，描述的技術可以提供優于傳統的基于快門的噪聲校正技術的優勢。例如，通過利用無快門過程，不需要提供快門(例如，快門105)，因此允許尺寸、重量、費用和機械復雜性的降低。如果快門不需要進行機械操作，則也可以降低應用于紅外成像模塊100或由紅外成像模塊100生成的功率和最大電壓。通過去掉作為潛在的故障點的快門將提高可靠性。無快門過程還消除了通過快門成像的場景的暫時阻塞引起的潛在圖像中斷。
[0136]而且，通過有意地利用從真實世界場景(并非由快門提供的均勻的場景)捕捉到的模糊圖像幀校正噪聲，可以在具有與期望成像的真實場景類似的輻照度級的圖像幀上完成噪聲校正。這可以提高根據描述的各種技術確定的噪聲校正項的準確度和有效性。
[0137]根據附加的實施例，提供技術用于利用熱成像裝置的一個或多個屏蔽(例如，阻擋、阻隔和/或遮蓋)紅外傳感器。在一個實施例中，可以確定由紅外成像模塊100捕捉到的場景的熱圖像的每一個像素的絕對(例如，非相關的)輻射值。就這一點而言，紅外傳感器組件128的一個或多個紅外傳感器132可以與場景屏蔽(例如阻擋、阻隔和/或遮蓋)，而紅外傳感器組件128的其它紅外傳感器132保持未屏蔽并且用于捕捉場景的熱圖像。屏蔽紅外傳感器132可以用于確定平均熱像偏移參考，平均熱像偏移參考用于確定由未屏蔽紅外傳感器132捕捉到的熱圖像的每一個像素的絕對輻射值。
[0138]絕對輻射值可以用于例如在不需要從紅外成像模塊100向場景傳輸的情況下以及不需要場景中的局部溫度測量值的情況下確定場景的每一個像素的絕對溫度(例如，通過放置在場景中和/或遠離紅外成像模塊100的傳感器)。如特殊應用期望的那樣，絕對輻射值可以用在其它過程中。
[0139]圖12表示根據本發明的實施例包括未屏蔽紅外傳感器132A和屏蔽紅外傳感器132B的紅外傳感器組件128的橫截面側視圖。如討論的那樣，紅外傳感器組件128可以實施為圓片級封裝。就這一點而言，紅外傳感器132A-B可以提供為圓片級封裝的一部分并放置在帽狀物130下面。紅外傳感器132A-B可以實施為例如在任何期望的陣列模式中或其它期望的分布中排列的微測輻射熱計或其它類型的熱成像紅外傳感器。紅外傳感器132A-B還可以與基板140熱分離，并且可以利用與紅外傳感器組件128的所有紅外傳感器132實質上相同的響應度和其它操作特征實施。
[0140]未屏蔽紅外傳感器132A (例如，也稱為主動紅外傳感器)放置為接收由場景1201產生的的紅外輻射1210，并且可以與一個或多個未屏蔽紅外傳感器132A —起使用以捕捉場景1201的熱圖像。如圖12所示，帽狀物130可以包括具有孔1204的上表面1202，孔1204中使通過光學元件180容納的紅外輻射1210通過。
[0141]放置屏蔽紅外傳感器132B(例如，也稱為阻擋或阻隔紅外傳感器)使得其實質上和/或完全無法接收紅外輻射1210。例如，在圖12所示的實施例中，屏蔽紅外傳感器132B放置在阻隔紅外輻射1210的屏蔽1206下面。如果需要，可以提供附加的屏蔽1208以阻隔附加的紅外傳感器。
[0142]盡管屏蔽1206和1208表示為連接至帽狀物130的側壁的結構，但可以使用其它類型的屏蔽。例如，在各個實施例中，帽狀物130可以配置為基于帽狀物130的物理形狀或構造、提供在帽狀物130的內和/或外表面上的吸氣劑(getter)和/或其它材料，和/或通過其它技術阻隔紅外輻射1210和屏蔽紅外傳感器132B。在各個實施例中，可以根據在2011年03月30日提交的第61/469，651號美國臨時專利申請中識別的任何技術配置帽狀物130，該文獻以其整體參考引用于此。還可以預期采用各種結構的形式的其它屏蔽，這些屏蔽完全阻隔或部分阻隔屏蔽紅外傳感器132B和紅外輻射1210的各種來源。
[0143]盡管這里針對圓片級封裝實施方式描述了未屏蔽和屏蔽紅外傳感器132A-B的使用，但還可以預期其它實施例。例如，在適當的情況下，這里描述的技術可以利用其它結構應用于傳統紅外照相機。
[0144]盡管在圖12中僅示出了一個未屏蔽紅外傳感器132A和一個屏蔽紅外傳感器132B，但可以提供任何期望數量的未屏蔽紅外傳感器132A和屏蔽紅外傳感器132B。在一個實施例中，紅外傳感器132A-B可以根據例如圖4的各個紅外傳感器132實施。例如，圖4中所示的紅外傳感器132的一個或多個列或行可以實施為屏蔽紅外傳感器132B，剩下的實施為未屏蔽紅外傳感器132A。
[0145]未屏蔽紅外傳感器132A可以接收來自各種來源的紅外輻射。例如，未屏蔽紅外傳感器132A可以通過角度β I接收由場景1201產生的紅外輻射1210。未屏蔽紅外傳感器132Α還可以接收由光學元件180產生的紅外輻射1211。在圖12中，紅外輻射1211表示為在紅外傳感器組件128中與紅外輻射1210重合，并且通過與角度β I重合的角度β2接收。未屏蔽紅外傳感器132Α還可以通過角度β 3接收由帽狀物130產生的紅外輻射1213。
[0146]盡管屏蔽1206可以實質上阻隔屏蔽紅外傳感器132Β無法接收分別由場景1201和光學元件180產生的紅外輻射1210和1211，但屏蔽紅外傳感器132B可以接收來自各種其它來源的紅外輻射。例如，屏蔽紅外傳感器132B可以通過角度α I接收由屏蔽1206產生的紅外輻射1214。屏蔽紅外傳感器132Β還可以通過角度α 2接收由帽狀物130產生的紅外輻射1212。
[0147]盡管各種類型的紅外輻射已經描述為被紅外傳感器132Α-Β接收，但這樣的紅外輻射的特殊類型、數量和角度可以根據紅外傳感器132Α-Β、紅外傳感器組件128和/或其它因素的特殊物理布局、構造和實施方式而變化。因此，應當理解的是圖12中識別的特殊紅外輻射已經描述為示例的目的，并且紅外輻射的不同組合可以在各個實施例中促成由紅外傳感器132Α-Β檢測到的真實紅外輻射。
[0148]紅外傳感器組件128可以與一個或多個溫度傳感器1220、1222、1224和1226 —起實施，溫度傳感器1220、1222、1224和1226可以用于分別檢測光學元件180的溫度(表示為Toptical)、帽狀物130的溫度(表示為Teap)、屏蔽(shield) 1206的溫度(表示為Tshield)和屏蔽1208的溫度。這樣的溫度傳感器可以實施為例如熱敏電阻和/或其它適當的裝置。利用檢測到的一個或多個這樣的組件的溫度，可以完成適當的處理(例如，在一個實施例中通過處理器195)來確定來自這樣的組件的各種類型的紅外輻射的貢獻(例如，可以基于檢測到的溫度確定每一個這樣的組件的輻射值)。應當理解的是圖12中所示的各個溫度傳感器的數量、類型和布置表示為示例的目的，并且可以預期其它構造。例如，在一個實施例中，紅外傳感器132的整個陣列的溫度傳感器可以用于當放置在接近陣列的位置時確定屏蔽1206和1206的溫度。在適當的情況下，紅外傳感器組件128的各個部分的溫度可以根據具備基板140或其它地方的一個或多個溫度傳感器推算。[0149]如討論的，屏蔽紅外傳感器132B可以用于確定紅外傳感器組件128的所有紅外傳感器132的平均熱像偏移參考，其可以用于確定由特定未屏蔽紅外傳感器132A成像的場景1201的每一個像素的絕對輻射值。
[0150]來自紅外傳感器132之一的原始信號SR可以表不為:
[0151]Se = R.ff+Ο (等式 I)
[0152]在等式I中，R是紅外傳感器132的響應度，W是由紅外傳感器132接收到的總入射輻射，以及O是紅外傳感器132的總熱像偏移參考。
[0153]盡管紅外傳感器組件128的所有紅外傳感器132可以實施為相同類型的傳感器(例如，相同類型的微測熱輻射計)，但在各個紅外傳感器132之間可以依然存在變體。例如，接收相同總入射輻射W的紅外傳感器132然而由于它們的響應度R以及特定于每一個紅外傳感器132的不同的總熱像偏移參考0，可以在它們的原始信號Sk中呈現差異。
[0154]來自紅外傳感器132之一的總熱像偏移參考O可以表示為:
[0155]0 = 0 + ?0 (等式 2)
[0156]在等式2中，O是由所有紅外傳感器132呈現的平均熱像偏移參考，以及Λ O是特殊紅外傳感器132的特定傳感器熱像偏移參考(sensor-specific thermographic offset
reference)。就這一點而言,特定傳感器熱像偏移參考Δ O是與平均熱像偏移參考O的另
一偏移。
[0157]當應用于屏蔽紅外傳感器132B時，等式I和2可以重寫為:[0158]
【權利要求】
1.一種方法，包含: 捕捉來自屏蔽紅外傳感器的信號，屏蔽紅外傳感器實質上受阻隔無法接收來自場景的紅外輻射； 捕捉來自未屏蔽紅外傳感器的信號，未屏蔽紅外傳感器設置為接收來自場景的紅外輻射； 基于捕捉到的屏蔽紅外傳感器的信號確定屏蔽和未屏蔽紅外傳感器的平均熱像偏移參考；以及 基于平均熱像偏移參考和捕捉到的未屏蔽紅外傳感器的信號確定場景的絕對輻射值。
2.根據權利要求1所述的方法，其中: 屏蔽和未屏蔽紅外傳感器是圓片級封裝的一部分；以及 平均熱像偏移參考進一步基于: 屏蔽紅外傳感器的響應度，以及 由屏蔽紅外傳感器從圓片級封裝的組件接收到的紅外輻射。
3.根據權利要 求2所述的方法，進一步包含: 檢測圓片級封裝的組件的溫度；以及 基于檢測到的溫度確定來自組件的紅外輻射。
4.根據權利要求1所述的方法，其中: 屏蔽和未屏蔽紅外傳感器是圓片級封裝的一部分；以及 絕對輻射值進一步基于由未屏蔽紅外傳感器從圓片級封裝的組件接收到的紅外輻射。
5.根據權利要求1所述的方法，其中: 絕對輻射值進一步基于未屏蔽紅外傳感器的特定傳感器熱像偏移參考；以及所述方法進一步包含利用非均勻校正(NUC)項或工廠增益項確定特定傳感器熱像偏移參考。
6.根據權利要求1所述的方法，進一步包含基于絕對輻射值確定場景的溫度。
7.根據權利要求1所述的方法，其中在沒有使用溫度控制快門的情況下確定絕對輻射值。
8.根據權利要求1所述的方法，進一步包含: 完成多個屏蔽紅外傳感器和多個未屏蔽紅外傳感器的捕捉操作，其中捕捉到的未屏蔽紅外傳感器的信號提供包含多個像素的場景的熱圖像；以及基于以下為每一個像素確定場景的絕對輻射值: 對應的捕捉到的與像素關聯的未屏蔽紅外傳感器的信號，以及平均熱像偏移參考，其中平均熱像偏移參考進一步基于捕捉到的屏蔽紅外傳感器的信號的平均值。
9.根據權利要求1所述的方法，其中: 屏蔽和未屏蔽紅外傳感器是圓片級封裝的一部分；以及 屏蔽紅外傳感器實質上被圓片級封裝的帽狀物阻隔。
10.根據權利要求1所述的方法，其中屏蔽和未屏蔽紅外傳感器是微測輻射熱計。
11.一種裝置，包含: 實質上受阻隔無法接收來自場景的紅外輻射的屏蔽紅外傳感器；配置為接收來自場景的紅外輻射的未屏蔽紅外傳感器；以及 處理裝置，該處理裝置配置為: 基于從屏蔽紅外傳感器捕捉到的信號確定屏蔽和未屏蔽紅外傳感器的平均熱像偏移參考，以及 基于平均熱像偏移參考和從未屏蔽紅外傳感器捕捉到的信號確定場景的絕對輻射值。
12.根據權利要求11所述的裝置，進一步包含圓片級封裝，其中: 屏蔽和未屏蔽紅外傳感器是圓片級封裝的一部分；以及 平均熱像偏移參考進一步基于: 屏蔽紅外傳感器的響應度，以及 由屏蔽紅外傳感器從圓片級封裝的組件接收到的紅外輻射。
13.根據權利要求12所述的裝置，進一步包含配置為檢測組件的溫度的溫度傳感器，其中處理裝置進一步配置為基于檢測到的溫度確定來自組件的紅外輻射。
14.根據權利要求11所述的裝置，進一步包含圓片級封裝，其中: 屏蔽和未屏蔽紅外傳感器是圓片級封裝的一部分；以及 絕對輻射值進一步基于由未屏蔽紅外傳感器從圓片級封裝的組件接收到的紅外輻射。
15.根據權利要求11所述的裝置，其中: 絕對輻射值進一步基于未屏蔽紅外傳感器的特定傳感器熱像偏移參考；以及處理裝置進一步適合利用非均勻校正(NUC)項或工廠增益項確定特定傳感器熱像偏移參考。
16.根據權利要求11所述的裝置，其中處理裝置進一步適合基于絕對輻射值確定場景的溫度。
17.根據權利要求11所述的裝置，其中在沒有使用溫度控制快門的情況下確定絕對輻射值。
18.根據權利要求11所述的裝置，進一步包含: 多個屏蔽紅外傳感器； 多個未屏蔽紅外傳感器，其中捕捉到的未屏蔽紅外傳感器的信號提供包含多個像素的場景的熱圖像；以及 其中處理裝置進一步適合基于以下為每一個像素確定場景的絕對輻射值: 對應的捕捉到的與像素關聯的未屏蔽紅外傳感器的信號，以及平均熱像偏移參考，其中平均熱像偏移參考進一步基于捕捉到的屏蔽紅外傳感器的信號的平均值。
19.根據權利要求11所述的裝置，進一步包含圓片級封裝，其中: 屏蔽和未屏蔽紅外傳感器是圓片級封裝的一部分；以及 屏蔽紅外傳感器實質上被圓片級封裝的帽狀物阻隔。
20.根據權利要求11所述的裝置，其中屏蔽和未屏蔽紅外傳感器是微測熱輻射計。
21.根據權利要求11所述的裝置，其中處理裝置是邏輯裝置、微控制器、處理器或專用集成電路(ASIC)。
【文檔編號】H04N5/33GK103907342SQ201280054228
【公開日】2014年7月2日 申請日期:2012年7月31日 優先權日:2011年10月7日
【發明者】P·布朗熱, P·埃爾姆福斯, N·霍根斯特恩, T·R·赫爾特, K·斯特蘭德瑪, B·夏普, E·A·庫爾特 申請人:菲力爾系統公司