促進關聯的可視光和紅外線(ir)圖像信息的分析和解釋的制作方法

促進關聯的可視光和紅外線(ir)圖像信息的分析和解釋的制作方法
【專利摘要】為一實施例提供了一種實現描繪實景的紅外線圖像和可視光圖像內的關聯的圖像數據的改進的分析和解釋的方法，該實施例使用包括有一紅外線成像系統和可視光成像系統的熱成像裝置捕捉，本方法包括：捕捉描繪具有第一視場角的場景的紅外線圖像；捕捉描繪具有第二視場角的場景的可視光圖像；處理至少一個可視光圖像和紅外線圖像，從而表示在可視光圖像內的視場角實質上對應表示在紅外線圖像內的視場角；關聯結果紅外線和可視光圖像來提供關聯圖象；并實現使用者獲取關聯圖像，用作顯示，其中具有圖像對內容的關聯圖像的分析和解釋是直觀的，因為關聯后的結果可視光圖像和結果紅外線圖像表示相同視場角。
【專利說明】促進關聯的可視光和紅外線(IR)圖像信息的分析和解釋

【技術領域】
[0001]通常，本發明的實施例涉及熱成像【技術領域】。更具體地，本申請的不同實施例涉及促進或實現提高的相關聯的可視光或可見光(VL)和紅外線(IR)圖像信息的分析和解釋。

【背景技術】
[0002]現如今許多熱成像裝置包括可視光成像系統和紅外線(IR)成像系統的合成。既然通常很難解釋紅外線圖像并將其與相應可視光(VL)圖像內示出的聯系起來，也就存在了如何實現分析和解釋捕捉的可視光和紅外線圖像數據的建議。一些現有技術參考文獻公開了紅外線圖像數據和可視光圖像數據的混合或融合，目的在于實現更簡單的分析和解釋所描繪的場景。
[0003]現有技術中，融合可視光圖像可被縮放，來與紅外線圖像匹配，并進一步地，與紅外線圖像對齊，目的在于將圖像融合至一合成的圖像，包括可視光圖像數據和紅外線圖像數據。合成的圖像可隨捕捉的紅外線和可視光圖像存儲，單一的圖像以他們原始捕獲的格式存儲，因此實現對包括所有捕獲數據的原始圖像的后續檢索。
[0004]然而，熱成像系統的很多使用者不使用熱成像系統內所有的先進的軟件功能，例如合成可見光VL圖像和紅外線圖像來融合可視光和紅外線圖像數據。取而代之的是，使用者可能簡單地使用熱成像裝置在延長的時間周期內，例如一小時或一天，來捕捉圖像數據，也許存儲捕捉的圖像并隨后，在現場或后續時間內，從存儲器內顯示或檢索圖像供分析。如果使用者在一紅外線圖像內看到有趣的東西，例如指出溫度異常或有趣的模式，使用者可能會轉向相應的可視光圖像，獲得更多的關于有趣的紅外線功能涉及場景哪部分的信息。然而，就如可見光相比于紅外線圖像的實景的捕捉視圖，可描繪或表現實景的不同的捕捉視圖，對于使用者而言，將可視光圖像信息與紅外線圖像信息聯系是困難的。另外，當可見光圖像相比于紅外線圖像的實景的捕捉視圖，描繪或表現不同的實景的捕捉視圖時，合成的紅外線/可見光圖像是困難的。
[0005]因此，當可視光圖像信息和紅外線圖像信息不在一張圖像內合成，例如只有可見光或只有紅外線時，以及當可視光圖像信息和紅外線圖像信息合成在一張圖像內，例如使用畫中畫，混合或融合的方法時，仍然存在對于促進或實現提高的相關聯的可視光和紅外線(IR)圖像信息分析和解釋的需求。


【發明內容】

[0006]根據一個或多個當可視光圖像信息和紅外線圖像信息不合成在一張圖像內時，指向提供相關聯的可視光和紅外線(IR)圖像信息的提高的分析和解釋的實施例，公開了系統和方法。
[0007]當可視光圖像信息和紅外線圖像信息合成或不合成在一張圖像內，例如使用畫中畫，混合或融合的方法時，一個或多個實施例可促進或實現提高的相關聯的可視光和紅外線(IR)圖像信息的分析和解釋。此外，一個或多個實施例也可促進和實現提高的包括描繪實景的紅外線圖像和可見光圖像的圖像對的分析和解釋，所述圖像使用包括了紅外線成像系統和可見光成像系統的熱成像裝置捕捉。
[0008]由于熱成像裝置的可視光成像系統的視場角通常實質上大于紅外線成像系統的視場角，可視光圖像和紅外線圖像內的同樣的坐標將不在場景的同一部份表現，這使得使用者困難地將可視光圖像信息聯系到紅外線圖像信息。因此，此處公開的一個或多個實施例的技術可保證使用紅外線成像系統捕捉的圖像或圖像序列及可見光成像系統分別以一格式顯示和/或存儲，其中圖像具有相同的視場角(FOV)。如本文進一步討論的，這也被稱為視場角跟蹤功能，或視場角跟蹤模式。
[0009]通過保證圖像或圖像幀序列的視場角表示同樣的視場角，或換句話說，描繪觀察場景的相同部分，圖像間的比較得到了促進。舉例而言，如果圖像對包括描繪相同場景，進一步根據相同的視場角描繪相同視場角的一紅外線圖像和一可見光圖像，對于使用者而言，可更簡單地將圖像之一看到的是什么與其他圖像看到的是什么作比較，并因此在觀察場景的分析中得到結論。根據本文所述的一個或多個實施例，提供了一種表現紅外線和可見光圖像數據的使用者友好方式，因此渲染了一種提高的易用性和促進或實現提高的表現在捕捉圖像內的分析和解釋。
[0010]根據本發明的一實施例，提供了一種促進或實現描繪了實景的紅外線圖像和可見光圖像內的，提高的相關聯的紅外線和可視光圖像數據的分析和解釋，所述圖像使用包括有紅外線成像系統和可視光成像系統的熱成像裝置捕捉。該方法包括:關聯描繪了實景的紅外線圖像和可見光圖像；處理至少一個可見光圖像和紅外線圖像，從而表現在可見光圖像內的視場角實質上對應于表現在紅外線圖像內的視場角，因此產生了具有對應視場角的一結果紅外線圖像和一結果可見光圖像；實現使用者獲得相關聯的圖像來呈現所述關聯圖像的表示。
[0011]根據本發明的另一實施例，提供了一種熱成像裝置，用于促進或實現描繪了實景的紅外線圖像和可見光圖像內的，提高的相關聯的紅外線和可視光圖像數據的分析和解釋，所述裝置包括:根據第一視場角配置為捕捉實景的紅外線圖像的紅外線成像系統；根據第二視場角配置為捕捉可視光圖像的可視光成像系統；設置為處理至少一個可視光圖像和紅外線圖像的處理器，從而表現在可視光內的視場角實質上對應于表現在紅外線圖像內的視場角，并關聯結果紅外線和結果可視光圖像；及一配置為存儲關聯的圖像的存儲器。
[0012]根據本發明進一步的實施例，提供了計算機系統，計算機可讀媒介，和/或配置為執行本文所述方法實施例中的任意步驟或功能的計算機程序產品。
[0013]本發明的保護范圍由權利要求定義，并被并入到此
【發明內容】
中以作參考。通過以下詳細描述的一個或多個實施例的考慮，本發明實施例的更完整的理解及其額外的優點的領悟將被賦予本領域技術人員。首先簡要描述的附圖中將提及附圖標記。

【專利附圖】

【附圖說明】
[0014]圖1示出了一實施例中熱成像裝置的示意圖；
[0015]圖2為一個或多個實施例的方法流程圖；
[0016]圖3a示出了一實施例中圖像對的示例，其不使用本發明方法；
[0017]圖3b示出了一實施例中圖像對的示例；
[0018]圖4示出了獲得包括對其的步驟，決定可見光圖像分辨率和紅外線圖像分辨率實質上相同，并合成紅外線圖像和可見光圖像的合成圖像的方法；
[0019]圖5示出了輸入設備4的示例性實施例。該輸入設備包括交互式顯示器570，例如觸摸屏，實現使用者鍵入輸入的圖像顯示部和控制510-550 ；
[0020]圖6a示出了不具有視場角功能的獲取的視圖是如何針對可見光成像系統620的示例，及不具有視場角功能的獲取的視圖是如何針對紅外線成像系統630的示例。
[0021]圖6b示出了當視場角功能被激活時，處理后的可視光圖像及處理后的紅外線圖像描繪或表現實質上相同的捕獲視圖的相同子集的示例；
[0022]圖7示出了一圖像，例如關聯的紅外線圖像，關聯的可見光圖像或基于關聯的紅外線圖像和關聯的可見光圖像的合成的圖像的顯示；
[0023]圖8a_8c示出了基于在捕捉可見光圖像或紅外線圖像內決定指示位置，決定實景的獲取視圖的子集的示例性方法。

【具體實施方式】
[0024]導言
[0025]根據一個或多個實施例，本文所述的方法可保證使用紅外成像系統和可視光成像系統捕捉的圖像或圖像序列分別以一種格式顯示和/或存儲，其中圖像具有相同的視場角(FOV)。這里，也可稱為視場角跟蹤功能。
[0026]根據一實施例，紅外線成像系統和可見光成像系統均包括在一熱成像裝置內，將在后文描述。根據文本所表示的實施例，保證視場角都相同地包括縮放和/或移動由具有更寬視場角的成像系統捕捉的圖像，以這樣的方式他們可匹配使用具有更窄視場角的成像系統捕捉的圖像。
[0027]通過保證圖像，或圖像序列的視場角，表示相同的視場角，或換句話說描繪觀察場景的相同部分，促進了圖像間的比較。舉例而言，如果圖像對包括描繪相同場景進一步地根據相同視場角描繪場景的一紅外線圖像和可見光圖像，對于使用者而言，可更簡單地將圖像之一看到的是什么與其他圖像看到的是什么作比較，并因此在觀察場景的分析中得到結論。
[0028]通常，可見光成像系統相比于紅外線成像系統具有更寬的視場角。因此，在許多情況中，需要調整的是可見光視場角，例如縮放和/或移動，來匹配紅外線成像系統的視場角。可見光成像系統可具有，舉例來說，50-60°視場角，而紅外線成像系統可具有，舉例來說，25°視場角。然而，根據一實施例，熱成像裝置具有額外的紅外線光學器件，為紅外線成像系統提供了例如90°視場角。根據該實施例，紅外線圖像的視場角被調整，例如縮放和/或移動，根據下文所述任意實施例來匹配可見光的視場角。
[0029]舉例來說，開啟或關閉文本方法實施例所表示的視場角跟蹤功能是可能的。有時候使用者想要查看或存儲具有比紅外線成像系統的視場角(如果它是兩視場角中更窄的那個)更寬的視場角的可見光圖像。如果視場角跟蹤功能被關閉了，紅外線視場角和可見光視場角每一為默認設置到他們各自的最大值。
[0030]視場角
[0031]可見光成像系統通常具有一約為40-70°的可視(或可見)視場角(FOV)，而紅外線成像系統通常具有一更窄的可視(或可見)視場角，例如約為20-30°。本領域技術人員可以理解的是，其他視角也可使用，例如通過可替換光學元件或包括光學元件的透鏡的使用。對于紅外線成像設備，可替換光學元件或包括光學器件的透鏡舉例來說可賦予視場角15-45°，或甚至查看角直至約為90°。
[0032]系統架構
[0033]圖1示出了用于促進和實現提高的描繪實景的紅外線圖像和可視光圖像內相關聯紅外線和可視光圖像數據的分析和解釋的熱成像裝置I的實施例示意圖。根據一實施例，熱成像裝置I包括具有紅外線傳感器20的紅外線成像系統12，該紅外線成像系統12配置根據第一視場角捕捉實景的紅外線圖像。根據一實施例，熱成像裝置I進一步包括具有可視(或可見)傳感器16的可視光成像系統11，該可視光成像系統11配置為根據第二視場角捕捉可視光圖像。
[0034]根據實施例，熱成像裝置I進一步包括可選的針對觀察的實景，并于熱成像裝置I通信耦合的傳感器設備。
[0035]根據實施例，傳感器設備為配置為投射激光點到觀察的實景的激光投影儀、配置為投射激光點到觀察的實景的可見光光源、配置為投射激光點到觀察的實景的測距儀，環境溫度傳感器或濕度傳感器中的一種。
[0036]包括在熱成像裝置I內的紅外線成像系統12配置為捕捉紅外線圖像，且可視光成像系統11以本身已知的方法(例如以本領域技術人員可理解的一個或多個傳統方式)，配置為捕捉可視光圖像。根據一實施例，紅外線圖像和可見光圖像同時被捕捉。根據另一實施例，紅外線圖像和可視光圖像緊挨著被捕捉。根據第三實施例，紅外線圖像和可視光圖像以進一步分開的時間實例捕捉。
[0037]在捕捉一個或多個紅外線和/或可視光圖像后，捕捉到的一個或多個圖像傳輸至配置為執行圖像處理操作的處理器2。
[0038]根據實施例，集成在熱成像裝置I內的處理器2，與熱成像裝置I耦合，或配置為接收從熱成像裝置I轉發來的數據。捕捉的圖像也可通過可能的中間物(intermediate)存儲至一單獨或成像設備外部的處理單元來傳輸。在成像設備或單獨處理單元內的處理提供有特別設計的程序或適用為控制處理單元或處理器來執行本發明實施例的步驟和功能的程序代碼部分，將在文本進一步描述。
[0039]根據一實施例，處理器2設置為處理至少一個可視光圖像和紅外線圖像，從而呈現在可視光圖像的視場角實質上對應呈現在紅外線圖像內的視場角。
[0040]根據一實施例，處理器2設置為處理至少一個可視光圖像和紅外線圖像，從而呈現在可視光圖像的視場角實質上對應呈現在紅外線圖像內的視場角，包括以下操作的選擇:至少一個圖像或至少一個圖像的部分的裁剪；窗口化；縮放；移動；和旋轉。
[0041]根據實施例，處理器2設置為處理至少一個捕捉的可視光圖像和捕捉的紅外線圖像，從而處理后的可視光圖像和處理后的紅外線圖像描繪或呈現實景的捕捉視圖的實質上相同的子集，其中實景的捕捉視圖的子集完全由紅外線成像系統視場角和可視光成像系統視場角圍繞。
[0042]確定區域應用視場角跟蹤功能
[0043]圖6a示出了不具有視場角功能的獲取的視圖是如何針對可見光成像系統620，及不具有視場角功能的獲取的視圖是如何針對紅外線成像系統630。圖6a也示出了完全由紅外線成像系統視場角和可視光成像系統視場角圍繞的實景捕捉視圖的示例性子集640。另外圖6a示出了觀察到的實景610。
[0044]圖6b示出了當視場角功能激活時，處理后的可視光圖像和處理后的紅外線圖像是如何描繪或呈現捕捉的視圖實質上相同的子集。
[0045]根據實施例，實景的捕捉視圖的子集是由以下確定的:
[0046]-確定最新的圖像，即哪個捕捉的可視光圖像和捕捉的紅外線圖像是最近捕捉的
[0047]-確定最早的圖像，即哪個捕捉的可視光圖像和捕捉的紅外線圖像不是最近捕捉的
[0048]-確定實景的捕捉視圖的子集作為由最新圖像表示的實景捕捉視圖和由最早圖像表示的實景捕捉視圖的重疊部分，因此獲得描繪或表示實景捕捉視圖的子集的處理后的可視光圖像和處理后的紅外線圖像。
[0049]根據實施例，實景捕捉視圖的子集是由以下確定:
[0050]-確定捕捉的可視光圖像的亮度測量值，指示可見光的光量或光強。
[0051]-如果確定的亮度測量值等于或超過預定閾值，確定實景的捕捉視圖的子集，作為由可視光圖像表示的實景的捕捉視圖，并且如果確定的亮度測量值低于預定閾值，確定實景的捕捉視圖的子集，作為由紅外線圖像表示的實景的捕捉視圖，由此獲得描繪或表示實景的捕捉視圖的子集的處理后的可視光圖像和處理后的紅外線圖像。
[0052]圖8a_8c示出了通過確定捕捉的可視光圖像或紅外線圖像內的指示位置確定實景的捕捉視圖的子集的示例性方法。
[0053]圖8a示出了實景810、可視光成像系統820的實景的捕捉視圖、紅外線成像系統830的實景的捕捉視圖，及實景840的捕捉視圖的子集是在何處圖示的示例。一示例視場角跟蹤功能的操作模式內，紅外線成像系統830的實景的捕捉視圖完全由被選為實景840的捕捉視圖的子集的可視光成像系統820的實景的捕捉視圖圍繞。
[0054]實景的捕捉視圖的子集
[0055]根據實施例，實景的捕捉視圖的子集是由以下確定的:
[0056]-確定捕捉的可視光圖像或紅外線圖像的指示位置，
[0057]-使用預定特征關聯位置
[0058]-確定實景的捕捉視圖的子集作為預定特征的輪廓，因此獲得描繪或表示實景的捕捉視圖的子集的處理后的可視光圖像和處理后的紅外線圖像。
[0059]根據實施例，確定捕捉的可視光圖像或紅外線圖像的指示位置是由以下執行的:
[0060]-通過與熱成像裝置連接或集成在熱成像裝置內的激光投影儀投射一激光點至實
~I— O
[0061]-確定表示或描繪實景的捕捉的可視光圖像或紅外線圖像內的激光點的位置作為指示位置
[0062]-關聯預定特征至確定的指示位置。
[0063]-通過將可視光圖像的部分和紅外線圖像的部分裁剪出預定特征的輪廓外，獲得描繪或表示實景的捕捉視圖的子集的處理后的可視光圖像和處理后的紅外線圖像。
[0064]圖8b示出了實景810、可視光成像系統820的實景的捕捉視圖、紅外線成像系統830的實景的捕捉視圖，及實景840的捕捉視圖的子集是在何處圖示的示例。在一指示位置由使用者通過瞄準由投影儀17投射到實景810上的激光點850指示的示例中，捕捉的可視光圖像或紅外線圖像內的激光點的位置被確定為指示位置，一例如矩形的預定特征，例如位于中心的與指示位置關聯，且實景的捕捉視圖的子集確定為預定特征的輪廓。
[0065]一示例性實施例中，與熱成像裝置連接或集成在熱成像裝置集成的激光投影儀投射激光點至實景上，例如至一第一物體。例如通過檢測可視光圖像內的激光點或通過紅外線成像系統、可視光成像系統和激光投影儀之間的預定關系，如視場角，確定表示或描繪實景的捕捉的可視光圖像或紅外線圖像內的激光點的位置。預定特征與可視光圖像和紅外線圖像內確定的激光點位置關聯，例如矩形位于確定位置的中心。確定實景的捕捉視圖的子集作為預定特征，例如矩形，的輪廓，并通過將可視光圖像的部分和紅外線圖像的部分裁剪出預定特征的輪廓外，獲得描繪或表示實景的捕捉視圖的子集的處理后的可視光圖像和處理后的紅外線圖像。
[0066]根據實施例，確定捕捉的可視光圖像或紅外線圖像是由以下執行的:
[0067]-確定指示位置作為捕捉的紅外線圖像的中心或捕捉的可視光圖像的中心
[0068]-關聯預定特征至確定的指示位置。
[0069]-通過將可視光圖像的部分和紅外線圖像的部分裁剪出預定特征的輪廓外，獲得描繪或表示實景的捕捉視圖的子集的處理后的可視光圖像和處理后的紅外線圖像。
[0070]圖8c示出了實景810、可視光成像系統820的實景的捕捉視圖、紅外線成像系統830的實景的捕捉視圖，及實景840的捕捉視圖的子集是在何處圖示的示例。一示例中，指示位置由使用者通過將實景810的視圖居中于興趣區域，捕捉紅外線圖像的中心或捕捉可視光圖像的中心確定為指示位置，一例如矩形的預定特征，以例如位于中心的與指示位置關聯，且實景的捕捉視圖的子集確定為預定特征的輪廓。
[0071]一示例性實施例中，表示或描繪實景的捕捉的可視光圖像的中心或捕捉的紅外線圖像的中心確定為指示位置。一預定特征與可視光圖像和紅外線圖像內的指示位置關聯，例如矩形位于確定位置的中心。確定實景的捕捉視圖的子集作為預定特征，例如矩形，的輪廓，并通過將可視光圖像的部分和紅外線圖像的部分裁剪出預定特征的輪廓外，獲得描繪或表示實景的捕捉視圖的子集的處理后的可視光圖像和處理后的紅外線圖像。
[0072]根據實施例，確定捕捉的可視光圖像或紅外線圖像是由以下執行的:
[0073]-確定指示位置作為表現在捕捉的紅外線圖像內的物體的中心，或是表現在捕捉的可視光圖像內的物體的中心。
[0074]-關聯預定特征至確定的指示位置。
[0075]-通過將可視光圖像的部分和紅外線圖像的部分裁剪出預定特征的輪廓外，獲得描繪或表示實景的捕捉視圖的子集的處理后的可視光圖像和處理后的紅外線圖像。
[0076]根據實施例，物體的中心是由使用者通過一使用者接口指示的。
[0077]根據實施例，物體的中心通過檢測捕捉的可視光圖像或捕捉的紅外線圖像內的物體和確定物體中心被指示。
[0078]一示例性實施例中，物體在捕捉的可視光圖像內或捕捉的紅外線圖像內被檢測，例如通過使用者指示物體或通過現有技術物體檢測方法。表示或描繪實景的捕捉的可視光圖像內的物體的中心或捕捉的紅外線圖像內的物體的中心被確定為指示位置。預定特征與可見光圖像內和紅外線圖像內的指示位置關聯，例如矩形位于確定位置的中心。確定實景的捕捉視圖的子集作為預定特征，例如矩形，的輪廓，并通過將可視光圖像的部分和紅外線圖像的部分裁剪出預定特征的輪廓外，獲得描繪或表示實景的捕捉視圖的子集的處理后的可視光圖像和處理后的紅外線圖像。
[0079]根據一實施例，處理器2設置為執行縮放至少一個處理后的圖像，從而圖像的尺寸變得相同。根據一實施例，處理器2設置為執行重采樣至少一個處理后的圖像，從而圖像的分辨率變得相同。
[0080]根據一實施例，處理器2進一步配置為關聯結果紅外線和可視光圖像。根據一實施例，處理器2配置為產生包括關聯的圖像，例如以圖像對的形式，的數據結構。
[0081]處理器2可以是例如通常或目的處理引擎的處理器，舉例來說，微處理器、微控制器或包括存儲在計算機可讀存儲媒介上，并固定用于執行某些任務的代碼或代碼部分的區段，或其他存儲在計算機可讀存儲媒介，可在使用時改變的代碼的區段的其他控制邏輯。這樣可改變的區段可包括用作不同任務的輸入的參數，例如熱成像裝置I的校準，采樣率，或圖像的空間濾波的濾波器，等等。
[0082]根據一實施例，處理器2配置為使用硬件描述語言(HDL)。
[0083]根據一實施例，處理器2為現場可編程邏輯門陣列(FPGA)，即設計成由客戶或設計者在加工并配置使用硬件描述語言(HDL)后的集成電路。為了該目的，本發明的實施例包括配置為控制FPGA來執行本文所述方法實施例的步驟和功能的配置數據。
[0084]根據一實施例，熱成像裝置I進一步包括一個或多個輸入設備4的選擇，用于輸入命令和/或控制信號，例如，一交互式顯示器，手柄和/或錄音/按壓按鈕。響應于輸入命令和/或控制信號，處理器2控制熱成像裝置I的不同部分的功能。
[0085]圖5內示出了輸入設備的示例性實施例。輸入設備包括交互式顯示器570，例如觸摸屏，圖像顯示部分和控制器510-550實現使用者鍵入輸入。
[0086]根據一實施例，輸入設備4包括控制器，實現使用者執行以下功能:
[0087]-激活510或禁用視場角跟蹤功能，即將由關聯的紅外線圖像表現的視場角與關聯的可視光圖像的視場角匹配。
[0088]-選擇520來獲取或顯示圖像，例如關聯的紅外線圖像、關聯的可視光圖像或基于關聯的紅外線圖像和關聯的可視光圖像的合成圖像。圖7中對該點進一步詳細說明。
[0089]-選擇模式530，當應用“視場角跟蹤”功能時，確定由處理后的可視光圖像和處理后的紅外線圖像描繪和表示的實景的捕捉視圖的子集，就如上文“確定區域應用視場角跟蹤功能”所描述的。
[0090]-存儲或保存圖像540至存儲器(8或15)。
[0091]-在紅外線或可視光圖像上執行縮放或按比例縮放動作550。
[0092]根據一實施例，熱成像裝置I進一步包括至少一個存儲區15，用于存儲由熱成像裝置I注冊或處理的數據。根據一實施例，存儲器15配置為存儲圖像數據，例如從上述處理獲得的關聯圖像。存儲器15可集成在熱成像裝置I內或與熱成像裝置I通過有線或無線通信耦合。根據一實施例，存儲器是集成在外部單元10內的外部存儲器8，存儲器8配置為接收并存儲熱成像裝置I發來的數據。根據一實施例，存儲器可以是集成在熱成像裝置內的或與熱成像裝置耦合的存儲器15，和/或集成在配置為從熱成像裝置I接收數據，和/或轉發數據至熱成像裝置I的集成在外部單元內的存儲器8。根據實施例，每一存儲器15、8可以是易失性存儲器或非易失性存儲器。
[0093]根據一實施例，熱成像裝置I包括或與配置為通信數據至一外部單元10的數據通信接口 5耦合，并因此實現使用者使用外部單元10獲取和/或顯示關聯圖像。根據一實施例，外部單元10包括一配置為執行任何、所有或一種本文描述的功能的方法步驟的選擇的處理單元9。根據一實施例，數據在熱成像裝置I和外部單元10間通過熱成像裝置I的數據通信接口 5和與其對應的外部單元10的數據通信接口 6轉發或通信，接口，例如可包括有線或無線連接、紅外數據IRDA協議、藍牙、USB、火線fire-wire等(例如一個或多個不同種類的接口標準)。由所述接口 5、6實現的單工和雙工通信在圖1中使用虛線圖示。
[0094]此外，熱成像裝置I可包括配置為顯示至少一個關聯的紅外線和可視光圖像或基于關聯的紅外線圖像和可視光圖像的合成的圖像的顯示器。根據一實施例，顯示器為集成在熱成像裝置I內或與熱成像裝置I耦合的顯示器3。根據一實施例，顯示器為集成在外部單元10內或與外部單元10耦合的外部顯示器7，并配置為通過上述的接口 5、6接收從熱成像裝置轉發來的數據。顯示器3、7配置為顯示關聯的圖像給使用者，用作進一步的分析和解釋。通過實現使用者獲取關聯的圖像，用作關聯的紅外線圖像和可視光圖像對的圖像內容的顯示、分析和解釋是直觀的，因為可視光圖像和紅外線圖像是根據相同視場角的相同實景的表示，意味著使用者查看圖像或在圖像間切換，可簡單地和快捷地將呈現在一張圖像內的信息與呈現在另一張圖像內的信息聯系起來。
[0095]本文中，術語“計算機程序產品”和“計算機可讀存儲媒介”可通常用于稱為例如存儲器15或處理器2的存儲媒介或外部存儲媒介的媒介(media)。這或其他形式的計算機可讀存儲媒介可用于提供指令至處理器2用作執行。這樣的指令，通常稱為“計算機程序代碼”(可以以計算機程序的形式分組或其他分組)，當執行時，實現了熱成像裝置I (例如紅外線照相機)來執行特征或現有技術的實施例的功能。進一步地，如本文所用的，“邏輯”可包括硬件、軟件、固件或上述的合成。
[0096]處理器2與準備參數給處理器2使用的存儲器15通信，且如果使用者需要的話，由處理器2處理的圖像可存儲。一個或多個存儲器15可包括硬盤驅動器、軟盤驅動器、磁帶驅動器、光盤驅動器、CD或DVD驅動器(R或RW)或其他可移動或固定的媒介驅動器的選擇。
[0097]方法實施例
[0098]圖2示出了根據一個或多個實施例的方法流程圖。根據一實施例，提供了一種促進或實現提高的描繪實景的紅外線圖像和可視光圖像內關聯的紅外線和可視光圖像數據的分析和解釋的方法。因此，進一步獲得了提高的使用性。根據一實施例，關聯的可視光和紅外線圖像信息表現為包括描繪相同實景的紅外線圖像和可視光圖像的圖像對。根據一實施例，所述圖像使用包括有紅外線成像系統和可視光成像系統的熱成像裝置捕捉。
[0099]根據一個或多個實施例，本方法包括:
[0100]步驟S202:捕捉使用紅外線成像系統描繪實景的紅外線圖像，得到第一視場角。
[0101]步驟S204:捕捉使用可視光成像系統描繪實景的可視光圖像，得到第二視場角。
[0102]根據一個或多個實施例，步驟S202和S204可同時、緊挨著或更遠的時間實例執行。由于優選的是描繪的場景在各自捕捉的圖像間盡可能的改變小，同時或緊挨著捕捉紅外線和可視光圖像是有利的。然而，在一監控情況例如熱成像裝置固定安裝或放置在支架上以一長時間監控靜態狀態下，以更遠的時間示例捕捉的圖像可包括表現，其中描繪的場景保持或多或少相同，并因此提供精確的比較結果。
[0103]步驟S206:處理至少一個可視光圖像和紅外線圖像，從而表現在可視光圖像內的視場角實質上對應表現在紅外線圖像內的視場角，因此使用對應的視場角產生結果紅外線圖像和結果可視光圖像。
[0104]紅外線圖像和可視光圖像在步驟S206執行完畢后于本文稱作結果圖像，即便是在步驟S206中紅外線圖像和可視光圖像未被處理的實施例中。
[0105]根據實施例，處理可包括以下根據現有技術中已知的方法的選擇:裁剪；窗口化；縮放；移動；和旋轉。舉例而言，可視光的部分可被移動和/或裁剪或窗口化來匹配紅外線視場角。此外，由于可視光傳感器和/或紅外線傳感器的分辨率，以傳感器元件的數量而言，不需要匹配顯示捕捉的圖像的顯示器的分辨率，可視光和/或紅外線圖像可進一步比例縮放來匹配顯示器的分辨率。
[0106]根據一實施例，捕捉的紅外線圖像相比于可視光圖像的視場角表示更寬的視場角，即紅外線成像系統視場角完全包括可視光成像系統視場角。因此，可視光圖像被處理為可視光圖像的視場角匹配紅外線圖像的視場角。
[0107]根據另一實施例，捕捉的可視光圖像相比于紅外線圖像的視場角表示更寬的視場角，即紅外線成像系統視場角完全包括可視光成像系統。因此，紅外線圖像被處理為紅外線圖像的視場角匹配可視光圖像的視場角。
[0108]根據一第三實施例，可視光成像系統和紅外線成像系統的視場角及表示各自視場角的圖像可具有任意內在關系，且兩者的圖像被處理為圖像表示的視場角互相匹配，并與一第三，更窄的視場角匹配。例如，如果紅外線成像系統和可視光成像系統的視場角不是完全重疊的話，這可能是相關的，意味著為了表現在圖像內的視場角匹配，由兩個成像系統捕捉的圖像的部分必須被移除。
[0109]根據一實施例，步驟S206的處理包括鑒別一個捕捉的圖像內，表示相對于由其他捕捉的圖像表示的更窄的視場角的更寬的視場角的區域或范圍。以另一種方式表達為，處理包括鑒別表示描繪了與表示更窄視場角的圖片觀察場景的相同部分的更寬視場角的圖片的區域或范圍。
[0110]根據一實施例，該待鑒別的區域或地域使用成像系統11、12間已知的關系例如已知的視差、指向誤差和/或紅外線成像系統11和可視光成像系統11的視場角間的關系。所述關系可在熱成像裝置的設計、生產或校準時，以本身已知的方式(例如本領域技術人員理解的傳統的方法)確定。根據另一實施例，區域或地域可對于每一圖像對使用任何已知的鑒別方法鑒別，例如，圖案識別、邊緣檢測、物體識別和/或互相關(cross-correlat1n)技術，僅舉幾例。
[0111]根據一實施例，在已知的方式中，為了提供如本文所述的區域或范圍的更加精確的鑒別，步驟S206的處理可進一步包括捕捉圖像的對準和/或穩定。
[0112]因為兩圖像在步驟S206后匹配，使用者可簡單地使用可視光圖像內的區域或物體鑒別紅外線圖像內的興趣區域，簡單地注意到紅外線圖像內興趣區域位于哪里，并看到可視光圖像的相同坐標。
[0113]一旦可保證紅外線圖像的視場角和可視光圖像的視場角互相對應，根據實施例，本方法可進一步包括重采樣處理后的可視光圖像，從而使處理后的可視光圖像的分辨率匹配紅外線圖像的分辨率，和/或比例縮放處理后的可視光圖像從而處理后的可視光圖像的尺寸匹配紅外線圖像的尺寸。如果步驟S206內的處理后的圖像還不具有相同的分辨率或尺寸，重采樣和/或比例縮放可被執行。
[0114]步驟S208:處理后，關聯結果紅外線和可視光圖像。
[0115]根據一實施例，關聯圖像包括創建圖像間的關系或連接，因此創建了圖像對。關聯的圖像可同時操作或處理。舉例而言，圖像可互相靠近顯示，或使用者查看關聯圖像可實現圖像的顯示模式間的切換。
[0116]根據一實施例，關聯圖像包括創建包含兩個圖像的數據結構的例子。
[0117]根據一實施例，關聯圖像可進一步被存儲，或暫時存儲在臨時性存儲器上，例如，使用熱成像裝置I的顯示器3或外部單元的顯示器7，在站點現場或實時查看捕捉的圖像，或在非臨時性存儲器上存儲更加永久，于后續查看和分析。
[0118]根據一實施例，關聯圖像存儲在或集成在熱成像裝置內或與熱成像裝置耦合的易失性存儲器上。易失性存儲器可以是RAM或緩存存儲器。根據另一實施例，關聯圖像存儲在集成于熱成像裝置內、與熱成像裝置耦合、或是集成于配置為從熱成像裝置接收數據，和/或轉發數據至熱成像裝置的外部單元的非易失性存儲器上。
[0119]步驟S210:實現使用者獲取用于顯示的關聯圖像，其中圖像對內容的分析和解釋是直觀的，因為可視光圖像和紅外線圖像是根據相同視場角的相同實景的表現。
[0120]根據一實施例，實現使用者獲取用于顯示的關聯圖像包括通過數據通信接口 5、6，通訊包含關聯圖像的數據至外部單元10。外部單元10可包括配置為顯示接收到的圖像數據的顯不器7。
[0121]根據一實施例，實現使用者獲取用于顯示的關聯圖像包括在集成于熱成像裝置內或與熱成像裝置耦合的顯示器上顯示關聯圖像。根據一實施例，關聯圖象實時顯示或接近實時顯示，連接來被捕捉。
[0122]根據一實施例，實現使用者獲取用于顯示的關聯圖像進一步包括實現在顯示可視光圖像和紅外線圖像間切換。
[0123]根據一實施例，實現使用者獲取用于顯示的關聯圖像進一步包括取決于關聯圖像實現合成的圖像的顯示。
[0124]根據一實施例，合成的圖像為紅外線圖像與可視光圖像數據的對比增強版本。
[0125]根據一實施例，獲取合成的圖像的方法包括對準的步驟，確定可視光圖像分辨率值和紅外線圖像分辨率值實質上相同，并合成紅外線圖像和可視光圖像。圖4示出了該方法的示意圖。
[0126]對準
[0127]由于紅外線圖像的捕捉和可視光圖像的捕捉通常由以繞光軸不同的偏移量、方向和旋轉安裝的成像設備的不同的成像系統執行。成像系統間的光軸彼此間可有一定距離，且稱為視差距離誤差的光學現象將產生。成像系統間的光軸可相對于彼此以一定角度定向視差指向誤差的光學現象將產生。成像系統圍繞他們對應的光軸的旋轉和稱為視差旋轉誤差的光學現象將產生。由于這些視差誤差，稱為視場角的實景捕捉視圖在紅外線成像系統和可視光成像系統之間可以是不同的。
[0128]由于紅外線圖像的捕捉和可視光圖像的捕捉通常由成像設備的不同成像系統執行，其中成像設備具有不同的帶有例如放大率的不同性質的光學系統，稱為視場角的實景捕捉視圖在不同成像系統間不同。紅外線圖像和可視光圖像可通過帶有例如放大率的不同性質的光學系統獲得，導致了由紅外線傳感器和可視光傳感器捕捉的不同大小的視場角。
[0129]為了合成捕捉的紅外線和捕捉的可視光圖像，圖像必須調整，從而獲得表示觀察的實景的相同部分的調整后的紅外線圖像和調整后的可視光圖像，換句話說，補償不同的視差錯誤和視場角尺寸。該處理步驟被稱為紅外線圖像和可視光圖像的配準或對準。
[0130]配準或對準被根據本領域技術人員任何已知的方法執行。
[0131 ] 確定紅外線圖像分辨率值和可視光圖像分辨率值實質上是相同的
[0132]一實施例中，紅外線圖像和可視光圖像可通過不同的分辨率獲取，即成像系統的不同數量的傳感器元件。為了實現在紅外線和可視光圖像上的像素智能操作，他們需要被重采樣至一常規分辨率。重采樣可根據本領域技術人員任何已知的方法執行。
[0133]一實施例中，紅外線圖像被重采樣至第一分辨率，且可視光圖像被重采樣至第二分辨率，其中第一分辨率為第二分辨率的2倍的倍數，或第二分辨率為第一分辨率的2倍的倍數，因此通過考慮紅外線圖像和可視光圖像的每2N次方像素實現即時重采樣。
[0134]合成紅外線圖像和可視光圖像
[0135]在一個或多個實施例中，紅外線圖像和可視光圖像通過合成對準的紅外線圖像和對準的可視光圖像的高空間頻率內容來得到對比度增強的合成圖像。該合成通過可視光圖像和紅外線圖像的聞空間頻率內容的置加來執行，或可選地在可視光圖像的聞空間頻率內容上疊加紅外線圖像。結果，與可視光圖像的對比度可插入至展示溫度變化的紅外線圖像內，因此在不失去結果合成圖像的清晰度和可讀性下合成了兩圖像種類的優點。
[0136]根據一實施例，獲得對比度增強的合成圖像的方法包括以下步驟:
[0137]步驟1010捕捉可視光圖像
[0138]一示例性實施例中，捕捉可視光圖像包括捕捉使用具有光學系統和傳感器元件的可視光成像系統的描繪有觀察的實景的可視光圖像，其中捕捉的可視光圖像包括捕捉的可見光圖像的可見表示的可視光像素。捕捉可視光圖像可根據本領域技術人員任何已知的方法執行。
[0139]步驟1020捕捉紅外線圖像
[0140]一示例性實施例中，捕捉紅外線圖像包括捕捉使用具有光學系統和傳感器元件的紅外線成像系統的描繪有觀察的實景的紅外線圖像，其中捕捉的紅外線圖像包括捕捉的由觀察的實景發出的紅外輻射的紅外數據值，及表示捕捉的紅外數據值的溫度值的可見表示的關聯紅外線像素。捕捉紅外線圖像可根據本領域技術人員任何已知的方法執行。
[0141]一示例性實施例中，步驟1010和步驟1020同時執行或接續執行。
[0142]一示例性實施例中，圖像可在相同時間捕捉或盡可能小的時間差內捕捉，因為捕捉可視光圖像和紅外線圖像的成像單元的移動，這會減少對準差別的風險。如對本領域技術人員是顯而易見的，以時間實例更遠的捕捉圖像也是可以使用的。
[0143]一示例性實施例中，紅外線成像系統的傳感器元件和可視光成像系統的傳感器元件實質上是相同的，例如具有實質上相同的分辨率。
[0144]一示例性實施例中，紅外線圖像可使用非常地分辨率的紅外線成像設備捕捉，SP時的分辨率低至64*64或32*32像素，但如對本領域技術人員可簡單理解的，很多其他的像素同樣適用。發明人發現如果邊緣和輪廓(高空間頻率)信息從可視光圖像附加至合成圖像，非常低分辨率紅外線圖像的使用將仍然渲染合成圖像，使用者可清楚地區分描繪的物體和溫度或其他與之相關的紅外線信息。
[0145]捕捉一紅外線圖像可根據本領域技術人員任何已知的方法執行。
[0146]步驟1030對準紅外線圖像和可視光圖像
[0147]一示例性實施例中，視差包括通常由于捕捉所述紅外線圖像和可視光圖像的成像系統的傳感器位置的不同引起的光軸間視差距離錯誤，由于通常防止光軸恰好平行安裝的機械公差，在這些光軸間創造的視差指向錯誤角度，及由于通常防止光軸恰好在圍繞紅外線和可視光成像系統的光軸的光學相同的旋轉安裝的機械公差的視差旋轉誤差。
[0148]一示例性實施例中，紅外線圖像的捕捉和可視光圖像的捕捉由具有不同不同性質，例如放大率，的光學系統成像設備的不同成像系統執行，稱為視場角的實景的捕捉視圖的范圍將不同。
[0149]通過補償視差和視場角的尺寸對準紅外線圖像，以獲得具有實質上相同的視場角的對準的紅外線圖像和對準的可視光圖像可根據本領域技術人員任何已知的方法執行。
[0150]步驟1090確定紅外線成像系統的分辨率值和可視光成像系統的分辨率值，其中紅外線成像系統的分辨率值對應捕捉的紅外線圖像的分辨率，且可視光成像系統的分辨率值對應捕捉的可視光圖像的分辨率。
[0151 ] 一示例性實施例中，分辨率值表示捕捉的圖像的一行像素的數量和一列像素的數量。
[0152]一示例性實施例中，成像系統的分辨率是預定的。
[0153]確定紅外線成像系統的分辨率值和可視光成像系統的分辨率值，其中紅外線成像系統的分辨率值對應捕捉的紅外線圖像的分辨率，且可視光成像系統的分辨率值對應捕捉的可視光圖像的分辨率可根據本領域技術人員任何已知的方法執行。
[0154]步驟1100確定可視光圖像分辨率值和紅外線圖像分辨率值實質上是相同的。
[0155]如果步驟1100中確定了可視光圖像分辨率值和紅外線圖像分辨率值實質上是不相同的，本方法可進一步涉及選擇性的步驟1040，重采樣至少一個接收到的圖像，從而重采樣后獲得的結果可視光圖像分辨率值和結果紅外線圖像分辨率值實質上是相同的。
[0156]一示例性實施例中，重采樣包括將紅外線圖像的分辨率向上采樣至于步驟1090確定的可視光圖像的分辨率。
[0157]一示例性實施例中，重采樣包括將可視光圖像的分辨率向上采樣至于步驟1090確定的紅外線圖像的分辨率。
[0158]一示例性實施例中，重采樣包括將紅外線圖像的分辨率向下采樣至于步驟1090確定的可視光圖像的分辨率。
[0159]一示例性實施例中，重采樣包括將可視光圖像的分辨率向下采樣至于步驟1090確定的紅外線圖像的分辨率。
[0160]一示例性實施例中，重采樣包括重采樣紅外線圖像的分辨率和可視光圖像的分辨率至一與步驟1090中確定的捕捉的紅外線圖像分辨率和捕捉的可視光圖像分辨率不同的中間分辨率。
[0161]一示例性實施例中，中間分辨率基于熱成像裝置或成像設備的顯示單元的分辨率確定。
[0162]根據一示例性實施例，方法步驟對于紅外線圖像的一部分和可視光圖像的對應部分執行。根據一實施例，可視光圖像的對應部分是描繪與紅外線圖像相同的觀察的實景部分的部分。該實施例中，高空間頻率內容從可視光圖像的部分抽取，且紅外線圖像的部分與可視光圖像的部分的抽取出來的高空間頻率內容合成，來產生一合成圖像，其中紅外線圖像部分內的對比度和/或分辨率相比于原始捕捉的紅外線圖像增加了。
[0163]根據不同的實施例，紅外線圖像的所述部分可以是整個紅外線圖像或整個紅外線圖像的子集，且可視光圖像的所述對應部分可以是整個可視光圖像或整個可視光圖像的子集。換句話說，根據一實施例，該部分可以是整個紅外線圖像，且如果各自的紅外線和可視光圖像具有不同的視場角，可視光圖像的對應部分可以是整個可視光圖像或可視光圖像的子集。
[0164]確定可視光圖像分辨率值和紅外線圖像分辨率值實質是相同的可根據本領域技術人員任何已知的方法執行。
[0165]步驟1050通過抽取可視光圖像的高空間頻率內容處理可視光圖像
[0166]根據一示例性實施例，抽取可視光圖像的高空間頻率內容是由使用空間濾波器高通濾波可視光圖像執行的。
[0167]根據一示例性實施例，抽取可視光高空間頻率內容是由抽取描繪同一場景的兩圖像間的差異(通常稱為差分圖像)執行的，其中第一圖像是在第一時間實例被捕捉的，第二圖像是在第二時間實例被捕捉的，優選的第二時間實例緊挨著第一時間實例。兩圖像可通常為一圖像幀序列里連續的兩圖像幀。表示場景內物體的邊緣和輪廓的高空間頻率內容可在差分圖像內出現，除非圖像化的場景優選地從第一時間實例至第二時間實例未改變，且成像傳感器完全地保持靜止。舉例來說，由于圖像化場景內光的變化或描繪的物體的移動，場景可能從一幀至下一幀已變化。同樣地，在幾乎每一個情況下，成像設備或熱成像系統不會完全保持靜止。
[0168]出于從圖像內抽取高空間頻率內容的目的，執行有一高通濾波,換句話說,標定對比區域，即相鄰像素的值顯示大差異的區域，例如銳緣。結果高通濾波圖像可以通過從原始圖像抽取低通濾波圖像，按像素計算，來得到。
[0169]通過抽取可視光圖像的高空間頻率內容處理可視光圖像可根據本領域技術人員任何已知的方法執行。
[0170](選擇性的)步驟1060處理紅外線圖像來減少噪聲和/或使紅外線圖像模糊
[0171]根據一示例性實施例，處理紅外線圖像包括減少噪聲和/或使紅外線圖像模糊，是通過空間低通濾波器執行的。低通濾波可由在圖像的每一像素上放置偏芯和使用相鄰像素內的值和所述偏芯的系數為所述像素計算新值來執行。
[0172]在可選步驟1060執行的低通濾波的目的在于平滑表現在紅外線圖像步驟1020捕捉的原始紅外線圖像內的噪聲而來的不均勻。由于原始紅外線圖像內可視的銳緣和噪聲被移除或至少在濾波處理時減少，結果圖像內的可視化進一步通過紅外線圖像的濾波提高，且在紅外線圖像和可視光圖像不對準的合成圖像內展示出的雙緣的風險被減少了。
[0173]處理紅外線圖像來減少圖像內的噪聲和/或使紅外線圖像模糊可根據本領域技術人員任何已知的方法執行。
[0174]步驟1070合成捕捉的可視光圖像的抽取的高空間頻率內容，并選擇性地處理紅外線圖像至一合成圖像
[0175]一示例性實施例中，合成捕捉的可視光圖像的抽取的高空間頻率內容，并選擇性地處理紅外線圖像至一合成的圖像包括只使用處理后的可視光圖像的亮度分量Y。
[0176]一示例性實施例中，合成捕捉的可視光圖像的抽取的高空間頻率內容，并選擇性地處理紅外線圖像至一合成的圖像包括將捕捉的可視光圖像的抽取的高空間頻率內容的亮度分量與選擇性處理的紅外線圖像的亮度分量合成。作為結果，紅外線圖像的色彩或灰度未改變，且維持了原始紅外線調色板的性質，而同時將期望對比度增加至合成的圖像中。由于輻射線測定或其他相關的紅外線信息可在整個處理中保持，且合成圖像的解釋可由此對于使用者而言促進了，通過處理和顯示的所有階段維持紅外線調色板是有益處的。
[0177]一示例性實施例中，合成捕捉的可視光圖像和可選擇地處理后的紅外線圖像的抽取的高空間頻率內容，包括當增加亮度分量時，使用因子α來確定兩圖像的亮度分量將可視光圖像的亮度分量與紅外線圖像的亮度分量合成。該因子α可由成像設備或成像系統本身，使用確定可視光圖像創造滿意的圖像所需要的輪廓線級別的合適的參數所確定，但也可由使用者給到成像設備或成像系統的輸入決定。該因子也可在后續階段改變，例如當圖像存儲在系統內，或存儲在計算機或類似物體內時，且可調整為適合使用者的任何需求。
[0178]一示例性實施例中，合成捕捉的可視光圖像和可選擇地處理后的紅外線圖像的抽取的高空間頻率內容至一合成圖像包括，使用調色板，舉例而言，根據色彩空間的YCbCr族，在紅外線圖像的溫度值上映射色彩，其中Y分量(即調色板亮度分量)可選擇為整個調色板上的常量。一實例中，Y分量可選擇為合成圖像、可視光圖像或紅外線圖像的最大亮度的0.5倍。作為結果，當根據選擇的調色板將紅外線圖像與可視光圖像合成時，處理后的可視光圖像的Y分量可增加至處理后的紅外線圖像305，且在處理后的紅外線圖像的色彩不改變下產生需要的對比度。色彩的特定細微差別的重要意義由此在原始紅外線圖像的處理中得以維持。
[0179]當計算色彩分量時，下列方程式可用來為合成圖像確定分量Y、Cr和Cb，Y分量從處理后的，例如高通濾波，的可視光圖像而來，Cr和Cb分量從紅外線圖像而來。
[0180]hp_y_vis =高通(y_vis)
[0181](y_ir, cr_ir, cb_ir)=色彩化(低通(ir_ 信號 _ 線性))
[0182]另一種表示法可寫為:
[0183]hpyvis =高通(yvis)
[0184](yir, crir, cbir)=色彩化(低通(ir 信號線性))
[0185]除了 YCbCr的其他色彩空間，當然也可用在本文的實施例中。不同色彩空間的使用，例如RGB、YCbCr, HSV、CIE1931XYZ或CIELab，以及色彩空間間的轉換對本領域技術人員而言是已知的。舉例而言，當使用RGB色彩模型時，亮度計算為有色彩分量的平均值，且通過轉換方程式計算一個色彩空間至另一色彩空間的亮度，用于確定亮度的新的表達將對每一色彩空間確定。
[0186]步驟1080增加高分辨率噪聲至合成圖像
[0187]根據一示例性實施例，高分辨率噪聲是高分辨率順時噪聲。
[0188]為了向觀看者更清楚地渲染結果圖像，及減少可由于在所述紅外線圖像的可選低通濾波時保留的原始紅外線圖像內的噪聲呈現的污跡或類似物的表示，高分辨率噪聲可增加至合成圖像。
[0189]根據一實施例，處理器2配置為執行方法步驟1010-1080。
[0190]可為使用者提供一使用者界面，實現使用者與例如在顯示器3、7上的顯示數據相互作用。這樣的使用者界面可包括可選的選項或允許使用者在不同的視圖間切換、在興趣區域放大等的輸入可能性。為了與顯示器相互作用，使用者可提供使用一個或多個輸入設備4的輸入。
[0191]根據一實施例，使用者可與熱成像裝置I互動來以本領域已知的方式執行放大或縮放一副圖像。如果使用者活在紅外線圖像或在可視光圖像上執行放大或縮放動作，關聯圖像的視場角將根據本文所述的任意實施例調整(例如使用步驟S208和S210)。由此，關聯圖像的視場角將總是或實時或接近實時地與使用者在站點，或在存儲用作后續檢索的圖像數據內查看圖像匹配的。
[0192]圖3示出了未使用本發明方法的根據一實施例的圖像對的實例。示出在圖3A的圖像對根據第一視場角包括一可視光圖像300，及根據第二視場角包括一紅外線圖像。根據示出在圖3A的實施例，可視光300的視場角對應可視光成像系統11的視場角，且紅外線圖像310的視場角對應紅外線成像系統12的視場角。
[0193]對于本領域技術人員顯而易見的是，關聯的和處理的圖像對的進一步處理可根據本領域已知的方法執行。
[0194]使用案例實施例
[0195]根據一實施例，視場角功能或換句話說，紅外線圖像的視場角與對應可視光的視場角的匹配是可開啟或關閉的模式。開啟和關閉視場角跟蹤功能基于熱成像裝置的設定可自動執行，或通過使用者與一個或多個輸入設備4相互作用手動執行。
[0196]在一使用案例實施例中，使用者可操作熱成像裝置來調查場景尋找例如一建筑工地上以潮濕、絕緣不良或過熱電子為形式的異常狀況。根據該實例，使用者可實時地，或接近實時地在熱成像裝置的顯示器上查看捕捉的紅外線和可視光圖像的幀序列。根據一實施例，紅外線圖像幀序列在顯示器上顯示給使用者。當使用者看到感興趣的東西時，例如，表明如故障電子的熱點時，使用者可使用提供在照相機上的輸入設備，從紅外線圖像視圖切換至可視光圖像視圖。根據本文所述的實施例，使用者可被呈現有一與片刻前呈現的紅外線圖像相同視場角的可視光圖像。因為兩圖像匹配，使用者可通過標注興趣特征位于紅外線圖像的何處，并在可視光圖像內看到相同坐標，利用可視光圖像內的區域或物體簡單地鑒別紅外線圖像內的興趣區域。換句話說，使用者片刻前注意到的紅外線圖像內的興趣區域的場景的相關部分是正確的。
[0197]對于本領域技術人員顯而易見的是，純紅外線圖像或純可視光圖像的顯示不是僅有的選項。舉例而言，可根據情形使用融合，混合或畫中畫。根據一實施例，顯示的紅外線圖像可以是代替純紅外線圖像的帶有額外的本領域已知方法產生的可視光圖像數據的融合、混合或對比增強版本的紅外線圖像。然而，紅外線圖像通常其自身難以解釋，且在混合或融合圖像內，它也很難將圖像內容與觀察的場景關聯。因此，切換至可視光表示的可能性對于解釋是很有利的，其中可視光圖像的視場角與先前顯示的紅外線或合成圖像的視場角重合。
[0198]根據一使用案例實施例，使用者使用熱成像裝置來觀察自使用者站立點的場景距離。因此，使用者選擇放大當示出在熱成像裝置的顯示器上的紅外線圖像。當使用者在興趣的物體或范圍放大時，使用者切換至可視光來關聯紅外線關聯數據至場景。如果視場角跟蹤模式打開，使用者將不會看到表示片刻前示出的紅外線圖像的放大的視場角的可視光圖像。如果視場角跟蹤模式關閉，紅外線成像系統和可視光成像系統在捕捉活動圖像序列或靜止照片期間單獨工作，且使用者例如可在由紅外線成像系統或可視光成像系統之一捕捉的圖像內，在不影響由其他成像系統捕捉的圖像或圖像序列下放大。換句話說，使用者可被呈現有或是根據可視光成像系統視場角的放大版本的可視光圖像，其中可視光圖像系統視場角放大而非與紅外線圖像匹配，或是根據可視光成像系統的整個視場角被呈現有原始縮小的可視光圖像。根據一使用案例實施例，使用者將視場角跟蹤模式置為開，切換可視光來看在場景的哪個部分，興趣特征在放大的和匹配的可視光圖像內被找到，并關閉視場角跟蹤模式，由此顯示了根據可視光成像系統的全視場角的可視光圖像，因此允許使用者將場景的感興趣部分放置在其背景內。
[0199]根據一實施例，使用者可使用一輸入設備4來捕捉和/或存儲關聯的紅外線圖像和可視光圖像對。在使用者的視角中，單一輸入動作因此可執行。響應于單一使用者動作，根據本文任一實施例所述的方法步驟執行，從而依賴于預設或使用者選擇的當前運行的熱成像裝置的設定引起圖像的捕捉、關聯、存儲和/或顯示。
[0200]如果使用者正在使用成像裝置來觀察距離物體，使用者可能想要放大并拍照或捕捉一圖像序列。使用者可能已經檢測了物體或紅外線圖像內的感興趣的細節，但卻發現在可視光視圖內放大更簡單。因此使用者在放大前切換至可視光。使用一個或多個本發明方法的實施例，對應紅外線圖像的視場角的可視光圖像的視場角使得使用者更簡單地將檢測到的溫度模型或紅外線圖像內看到的感興趣的異常性與可視光場景的正確部分關聯起來，并將其放大。
[0201]另一實例中，使用者可能想要縮小，以便放置一觀察到的細節或物體至其背景中。如果使用者連同縮放動作在紅外線和可視光間切換，視場角總可匹配。在使用者手動為可視光選擇寬于紅外線成像系統可獲得的視場角的情況下，紅外線成像系統的視場角將設置為其最大值。
[0202]根據一實施例，顯示器上顯示的內容為使用者保存圖像時保存的內容。如果視場角跟蹤模式開啟，包括紅外線和可視光圖像的圖像對被存儲，其中圖像具有匹配的視場角。使用者可在后續收回圖像對，并在熱成像裝置或外部單元的顯示器上查看。根據顯示器的設定及使用的使用者界面，使用者可同時查看圖像對，圖像彼此相鄰呈現，或依次查看圖像對，則使用者可實現在圖像間切換。
[0203]根據另一使用實例，使用者具有捕捉好的圖像，并使用集成在熱成像裝置或已轉發有捕捉的圖像數據的外部單元內的報告生成邏輯，選擇生成一報告。在這種情況下，使用者通常期望包括包含有描繪場景的紅外線圖像和可視光圖像的圖像對。然而，現有技術中，使用者或不得不包含表示不同視場角的紅外線圖像和可視光圖像，或執行額外的步驟，例如手動裁剪具有更寬視場角的圖像來匹配其他圖像的視場角，以便促進人們閱讀報告時的理解。根據本文的方法實施例，這并非必要的，因為關聯的圖像總能表示相同的視場角，因此實現關聯的可視光和紅外光圖像信息的提高的分析和解釋。
[0204]進一步實施例
[0205]對本領域技術人員顯而易見的是，捕捉的和關聯的圖像可進一步根據本領域已知的方法處理，例如獲得融合、混合或呈現為畫中畫的圖像。
[0206]根據一實施例，處理器使用硬件描述語言(HDL)配置。根據一實施例，處理器2為現場可編程邏輯門陣列(FPGA)或其他邏輯設備種類。
[0207]根據一實施例，處理器2進一步適用為執行本文所述方法實施例的步驟或功能。
[0208]根據本發明一實施例，提供有具有適用為執行本文所述方法實施例的步驟或功能的處理器的計算機系統。
[0209]根據本發明一實施例，提供有計算機可讀媒介，其上存儲有適用為控制處理器執行執行本文所述方法實施例的步驟或功能的非臨時性信息。
[0210]根據本發明一實施例，提供有計算機程序產品，其包含適用為控制處理器執行本文所述方法實施例的步驟或功能的代碼部分。
[0211]根據本發明一實施例，提供有計算機程序產品，其包含適用為配置現場可編程邏輯門陣列(FPGA)來執行本文所述方法實施例的步驟或功能的配置數據。
[0212]本發明的其他優點
[0213]通過激活視場角跟蹤功能使用者可實現圖像信息例如可視光圖像、紅外線圖像或合成圖像間的即時切換，因此即時獲取當前情境的最相關的信息。
[0214]通過激活視場角跟蹤功能，合成圖像例如融合或混合圖像的質量和解釋，實質上作為在可視光圖像和紅外線圖像內實質上重疊的物體提高了。
[0215]通過實現使用者選擇可視光視場角功能的模式，可適用在相關的使用者情境，因此大大增強了使用者體驗。
[0216]盡管本發明結合有限數量的實施例已細節說明，應當容易理解的是本發明并非限制于已公開的實施例。相反地，本發明可被修改來合并迄今尚未描述的變化、改變、替換或等同裝置，但與本發明相稱的精神和范圍。額外地，盡管本發明已描述了不同實施例，可以理解的是本發明的各方面可僅包括描述實施例的部分。從而，本發明不應視為限制于前述的描述，僅限制于所附權利要求的范圍。
【權利要求】
1.一種實現描繪有實景的紅外線圖像和可視光圖像內的關聯的紅外線和可視光圖像數據的提高的分析和解釋的方法，所述紅外線圖像和可視光圖像使用包括有紅外線成像系統和可視光成像系統的熱成像裝置捕捉，該方法包括: -關聯描繪有實景的紅外線圖像和可視光圖像； -處理至少一個可視光圖像和紅外線圖像，從而表示在可視光圖像內的視場角實質上對應表示在紅外線圖像內的視場角，由此產生具有對應視場角的結果紅外線圖像和結果可視光圖像； -實現使用者獲取關聯的圖像，用作所述關聯圖像的表示的顯示。
2.如權利要求1所述的方法，其中實現使用者獲取用作顯示的關聯圖像進一步包括實現依賴于關聯圖像的合成圖像的顯示。
3.如權利要求2所述的方法，其中合成圖像為具有額外紅外線圖像數據的對比度增強版本的紅外線圖像。
4.如權利要求3所述的方法，其中所述方法進一步包括通過對準紅外線圖像和可視光圖像獲得合成圖像，確定可視光圖像分辨率值同紅外線圖像分辨率值實質上相同，及合成紅外線圖像和可視光圖像。
5.如權利要求1所述的方法，其中實現使用者獲取用作顯示的關聯圖像進一步包括實現在顯示可視光圖像和紅外線圖像間切換。
6.如權利要求1所述的方法，其中獲取關聯圖像用作所述關聯圖像的表示的顯示進一步包括，關聯圖像的分析和解釋是直觀的，因為結果可視光圖像和結果紅外線圖像在關聯后為根據相同視場角的相同實景的表示。
7.如權利要求1所述的方法，進一步包括捕捉使用具有第一視場角的紅外線成像系統描繪有實景的紅外線圖像。
8.捕捉使用具有第二視場角的可視光成像系統描繪有實景的可視光圖像。
9.如權利要求1所述的方法，其中處理進一步包括確定紅外線成像系統的分辨率值和可視光成像系統的分辨率值，其中紅外線成像系統的分辨率值對應捕捉的紅外線圖像的分辨率，且可視光成像系統的分辨率值對應捕捉的可視光圖像的分辨率。
10.如權利要求1所述的方法，其中處理進一步包括確定可視光圖像分辨率值與紅外線圖像分辨率值實質上是相同的。
11.如權利要求1所述的方法，其中處理進一步包括通過抽取可視光圖像的高空間頻率內容處理可視光圖像。
12.如權利要求1所述的方法，其中處理進一步包括處理紅外線圖像來減少紅外線圖像內的噪聲和/或使紅外線圖像模糊。
13.如權利要求1所述的方法，其中處理進一步包括增加高分辨率噪聲至合成圖像。
14.如權利要求1所述的方法，其中處理進一步包括合成捕捉的可視光圖像和紅外線圖像的抽取的高空間頻率內容至合成圖像。
15.如權利要求12所述的方法，其中所述表示為所述合成圖像。
16.如權利要求1所述的方法，其中所述處理包括: -裁剪； -窗口化； -縮放； -移動；和/或 -旋轉。
17.如權利要求1所述的方法，其中關聯圖像進一步存儲在易失性存儲器上，即: -集成在熱成像裝置內；或 -與熱成像裝置耦合。
18.如權利要求1所述的方法，其中關聯圖像進一步存儲在非易失性存儲器上，即: -集成在熱成像裝置內； -與熱成像裝置耦合；或 -集成在配置為從熱成像裝置內接收數據和/或轉發數據至熱成像裝置的外部單元。
19.如權利要求1所述的方法，進一步包括通過數據通訊接口通訊包括關聯圖像的數據至外部單元。
20.如權利要求1所述的方法，進一步包括在集成在熱成像裝置內或與熱成像裝置耦合的顯示器上顯示關聯圖像。
21.如權利要求6所述的方法，其中所述關聯圖像實時或接近實時顯示。
22.如權利要求6所述的方法，進一步包括實現在顯示可視光圖像和紅外線圖像間切換。
23.如權利要求1所述的方法，進一步包括重采樣處理后的可視光圖像，從而處理后的可視光圖像的分辨率與紅外線圖像的分辨率匹配。
24.如權利要求1所述的方法,進一步包括按比例縮放處理后的可視光圖像,從而處理后的可視光圖像的大小與紅外線圖像的大小匹配。
25.如權利要求1所述的方法，其中紅外線圖像的捕捉和可視光圖像的捕捉同時或緊接著執行。
26.一種用于實現描繪實景的紅外線圖像和可視光圖像內關聯的紅外線和可視光圖像數據的提高的分析和解釋的熱成像裝置，所述裝置包括: -一配置為根據第一視場角捕捉實景的紅外線圖像的紅外線成像系統； -一配置為根據第二視場角捕捉可視光圖像的可視光成像系統； -一處理器，設置為: 關聯描繪實景的紅外線圖像和可視光圖像； 處理至少一個可視光圖像和紅外線圖像，從而表示在可視光圖像內的視場角實質上對應表示在紅外線圖像內的視場角，因此生成具有對應視場角的結果紅外線圖像和結果可視光圖像； 實現使用者獲取關聯圖像，用作所述關聯圖像的表示的顯示； 及 -一配置為存儲關聯的紅外線和可視光圖像的存儲器。
27.如權利要求12所述的熱成像裝置，進一步包括配置為顯示至少一個關聯紅外線和可視光圖像的顯示器，其中所述顯示器集成在熱成像裝置內或與熱成像裝置耦合。
28.如權利要求12所述的熱成像裝置，進一步包括或耦合于一配置為實現使用者獲取和/或顯示關聯紅外線和可視光圖像的接口。
29.如權利要求12所述的熱成像裝置，進一步包括或耦合于一配置為顯示關聯圖像給使用者進一步分析和解釋的顯示器。
30.如權利要求12所述的熱成像裝置，其中存儲器為易失性存儲器，SP: -集成在熱成像裝置內；或 -與熱成像裝置耦合。
31.如權利要求12所述的熱成像裝置，其中存儲器為非易失性存儲器，SP: -集成在熱成像裝置內； -與熱成像裝置耦合；或 -集成在配置為從熱成像裝置內接收數據和/或轉發數據至熱成像裝置的外部單元。
32.如權利要求12所述的熱成像裝置，其中對至少一個可視光圖像和紅外線圖像，表示在可視光圖像內的視場角實質上對應表示在紅外線圖像內的視場角的處理包括: -裁剪； -窗口化； -縮放； -移動；和/或 -旋轉。
33.如權利要求12所述的熱成像裝置，其中所述處理器進一步設置為執行對至少一個處理后圖像的按比例縮放，從而圖像的大小變得相同。
34.如權利要求12所述的熱成像裝置，其中所述處理器進一步設置為執行重采樣可視光圖像和/或紅外線圖像處理，從而可視光圖像和紅外線圖像的分辨率變得相同。
35.如權利要求12所述的熱成像裝置，其中紅外線圖像和可視光圖像同時捕捉或緊挨著捕捉。
36.如權利要求12所述的熱成像裝置，其中處理器使用硬件描述語言HDL配置。
37.如權利要求12所述的熱成像裝置，其中處理器為現場可編程邏輯門陣列FPGA。
38.如權利要求12所述的熱成像裝置，處理器進一步適用于執行如權利要求1-28任一項所述的步驟或功能。
39.一種具有適用于執行如權利要求1-13任一項所述步驟或功能的處理器的計算機系統。
40.一種計算機可讀媒介，其中存儲有適用為控制處理器執行如權利要求1-13任一項所述步驟或功能的非臨時性信息。
41.一種計算機程序產品，包括適用為控制處理器執行如權利要求1-13任一項所述步驟或功能的代碼部分。
42.一種計算機程序產品，包括適用為配置現場可編程邏輯門陣列FPGA執行如權利要求1-13任一項所述步驟或功能的配置數據。
【文檔編號】H04N5/33GK104364800SQ201380028298
【公開日】2015年2月18日 申請日期:2013年3月28日 優先權日:2012年3月30日
【發明者】凱特琳·斯特蘭德馬爾, 比約恩·羅特, 馬茨·阿爾斯特倫 申請人:前視紅外系統股份公司