圖像融合方法和圖像融合設備的制造方法
【專利摘要】公開了一種圖像融合方法和圖像融合設備。提供了一種用于對對象的熱圖像和可見圖像進行融合的圖像融合設備。所述圖像融合設備包括：確定處理器，被配置為基于熱圖像和可見圖像的每個像素的亮度值，確定每個像素的重要度；像素系數設置處理器，被配置為基于熱圖像和可見圖像的每個像素的重要度來設置針對熱圖像的每個像素的像素系數；熱圖像處理器，被配置為通過將像素系數施加到熱圖像的每個像素的亮度值來生成另一個熱圖像；圖像融合處理器，被配置為對所述另一個熱圖像和可見圖像進行融合來生成融合圖像。
【專利說明】
圖像融合方法和圖像融合設備
[0001] 本申請要求于2014年5月8日提交到韓國知識產權局的第10-2014-0054928號 韓國專利申請的優先權，其公開通過引用完整地包含于此。
技術領域
[0002] 與示例性實施例一致的設備和方法涉及圖像融合，更具體地講，涉及融合對象的 熱圖像和對象的可見圖像。
【背景技術】
[0003] 在包括可見圖像相機、控制設備和顯示器設備的監視系統中，觀察顯示器設備中 的移動圖像的監視器在夜間照明范圍內具有相對較低的信息識別能力和情況管理能力。
[0004] 因此，最近添加了捕獲對象的熱圖像的熱圖像相機以顯示通過對熱圖像和可見圖 像進行融合而產生的融合圖像。
[0005] 然而，在這種融合圖像中，圖像的清晰度在相對較亮的重要區域中基本上降低。
[0006] 因此，現有技術中使用了以下的圖像融合方法。
[0007] 首先，在熱圖像中，具有大于可見圖像的亮度值的平均值的亮度值的像素被選擇， 使這些被選擇的像素的亮度值增大并且使其他像素的亮度值減小，從而獲得另一個熱圖 像。
[0008] 其次，將如上獲得的可見圖像和另一個熱圖像融合在一起。
[0009] 根據以上圖像融合方法，可部分地改善在相對較亮的區域中的圖像的清晰度。然 而，由于熱圖像的高亮度而導致在相對較亮的區域的某些部分中圖像的清晰度降低。
【發明內容】
[0010] 本發明構思的示例性實施例包括可提高在相對較亮的區域中的圖像的整體清晰 度的對熱圖像和可見圖像進行融合的方法。
[0011] 本發明構思的各個方面將在下面的描述中部分地闡明，并且通過描述部分將是顯 然的，或者可通過呈現的示例性實施例的實施而得知。
[0012] 根據示例性實施例，提供了一種用于對對象的熱圖像和可見圖像進行融合的圖像 融合方法，所述圖像融合方法可包括：基于熱圖像和可見圖像的每個像素的亮度值，確定每 個像素的重要度；基于熱圖像和可見圖像的每個像素的重要度來設置針對熱圖像的每個像 素的像素系數；通過將像素系數施加到熱圖像的每個像素的亮度值來生成另一個熱圖像； 對所述另一個熱圖像和可見圖像進行融合來生成融合圖像。
[0013] 確定每個像素的重要度的步驟可包括：確定亮度值等于或者大于基于熱圖像的亮 度值的平均值計算的第一參考值的熱圖像的像素，作為熱圖像的重要像素；確定亮度值等 于或者大于基于可見圖像的亮度值的平均值計算的第二參考值的可見圖像的像素，作為可 見圖像的第一重要像素；確定亮度值等于或者大于預設的第三參考值的可見圖像的像素， 作為可見圖像的第二重要像素。
[0014] 第一參考值可通過將熱圖像的亮度值的平均值和標準偏差相加來獲得。
[0015] 第二參考值可通過從可見圖像的殼度值的平均值減去標準偏差來獲得。
[0016] 第三參考值可在執行融合的圖像融合處理器中被預設。
[0017] 設置針對熱圖像的每個像素的像素系數的步驟可包括：作為確定的結果，如果熱 圖像的某個像素被確定為熱圖像的重要像素，并且可見圖像的對應像素被確定為不是可見 圖像的第一重要像素而是可見圖像的第二重要像素，則將針對熱圖像的該像素的像素系數 設置為值1。
[0018] 設置針對熱圖像的每個像素的像素系數的步驟還可包括：作為確定的結果，如果 可見圖像的某個像素被確定為不是可見圖像的第二重要像素而是可見圖像的第一重要像 素，則將針對熱圖像的對應像素的像素系數設置為在0和1之間選擇的值。
[0019] 在設置針對熱圖像的每個像素的像素系數的步驟中，作為確定的結果，在熱圖像 的某個像素被確定為不是熱圖像的重要像素時設置的針對熱圖像的該像素的像素系數小 于在熱圖像的該像素被確定為熱圖像的重要像素且可見圖像的對應像素被確定為不是可 見圖像的第二重要像素而是可見圖像的第一重要像素時設置的針對熱圖像的該像素的像 素系數。
[0020] 對所述另一個熱圖像和可見圖像進行融合的步驟可通過將施加權重的可見圖像 與施加像素系數和另一個權重的所述另一個熱圖像相加來執行。
[0021] 圖像融合方法還可包括：在確定熱圖像的每個像素的重要度之前調整對象的原始 熱圖像的每個像素的亮度值來生成所述熱圖像。調整的步驟可通過如下步驟來執行：如 果原始熱圖像的某個像素的亮度值大于可見圖像的亮度值的平均值，則增大該像素的亮度 值，如果該像素的亮度值不大于可見圖像的亮度值的平均值，則減小該像素的亮度值。
[0022] 根據另一個示例性實施例，提供了一種用于對對象的熱圖像和可見圖像進行融合 的圖像融合設備，所述圖像融合設備可包括：確定處理器，被配置為基于熱圖像和可見圖像 的每個像素的亮度值，確定每個像素的重要度；像素系數設置處理器，被配置為基于熱圖像 和可見圖像的每個像素的重要度來設置針對熱圖像的每個像素的像素系數；熱圖像處理 器，被配置為通過將像素系數施加到熱圖像的每個像素的亮度值來生成另一個熱圖像；圖 像融合處理器，被配置為對所述另一個熱圖像和可見圖像進行融合來生成融合圖像。
[0023] 確定處理器可包括：第一確定處理器，被配置為確定亮度值等于或者大于基于熱 圖像的亮度值的平均值計算的第一參考值的熱圖像的像素，作為熱圖像的重要像素；第二 確定處理器，被配置為確定亮度值等于或者大于基于可見圖像的亮度值的平均值計算的第 二參考值的可見圖像的像素，作為可見圖像的第一重要像素，并且確定亮度值等于或者大 于預設的第三參考值的可見圖像的像素，作為可見圖像的第二重要像素。
[0024] 第一參考值可通過將熱圖像的亮度值的平均值和標準偏差相加來獲得。
[0025] 第二參考值可通過從可見圖像的殼度值的平均值減去標準偏差來獲得。
[0026] 第三參考值可在圖像融合處理器中被預設。
[0027] 作為通過第一確定處理器和第二確定處理器確定的結果，如果熱圖像的某個像素 被確定為熱圖像的重要像素，并且可見圖像的對應像素被確定為不是可見圖像的第一重要 像素而是可見圖像的第二重要像素，則像素系數設置處理器可將針對熱圖像的該像素的像 素系數設置為值1。
[0028] 作為通過第一確定處理器和第二確定處理器確定的結果，如果可見圖像的某個像 素被確定為不是可見圖像的第二重要像素而是可見圖像的第一重要像素，則像素系數設置 處理器可將針對熱圖像的對應像素的像素系數設置為在0和1之間選擇的值。
[0029] 作為通過第一確定處理器和第二確定處理器確定的結果，像素系數設置處理器可 設置針對熱圖像的每個像素的像素系數，以使在熱圖像的某個像素被確定為不是熱圖像的 重要像素時設置的針對熱圖像的該像素的像素系數小于在熱圖像的該像素被確定為熱圖 像的重要像素且可見圖像的對應像素被確定為不是可見圖像的第二重要像素而是可見圖 像的第一重要像素時設置的針對熱圖像的該像素的像素系數。
[0030] 圖像融合處理器可被配置為通過將施加權重的可見圖像與施加像素系數和另一 個權重的所述另一個熱圖像相加來對所述另一個熱圖像和可見圖像進行融合。
[0031] 圖像融合處理器還可被配置為在確定處理器確定熱圖像的每個像素的重要度之 前調整對象的原始熱圖像的每個像素的亮度值來生成所述熱圖像。熱圖像處理器可調整原 始熱圖像的每個像素的亮度值，從而如果原始熱圖像的某個像素的亮度值大于可見圖像的 亮度值的平均值，則增大該像素的亮度值，如果該像素的亮度值不大于可見圖像的亮度值 的平均值，則減小該像素的亮度值。
【附圖說明】
[0032] 通過下面結合附圖對示例性實施例進行的描述，這些和/或其他方面將會變得清 楚和更易于理解，其中：
[0033] 圖1是示出根據示例性實施例的用于執行圖像融合方法的控制器的示圖；
[0034] 圖2是通過圖1的控制器執行的第一示例性實施例的圖像融合方法的流程圖；
[0035] 圖3是通過圖1的控制器執行的第二示例性實施例的圖像融合方法的流程圖；
[0036] 圖4是示出根據示例性實施例的通過圖3的圖像融合方法生成的數據流的示圖；
[0037] 圖5是根據示例性實施例的圖3的操作S307的詳細流程圖；
[0038] 圖6是根據示例性實施例的圖3的操作S303的詳細流程圖；
[0039] 圖7是根據示例性實施例的圖3的操作S305的詳細流程圖；
[0040] 圖8是根據示例性實施例的圖5的操作dl的詳細流程圖；
[0041] 圖9是示出用來描述示例性實施例的效果的圖片的示圖；
[0042] 圖10是根據示例性實施例的圖像融合方法的流程圖；
[0043] 圖11是根據示例性實施例的圖像融合設備的框圖。
【具體實施方式】
[0044] 現在將詳細參照示例性實施例，在附圖中示出示例性實施例，其中，相同的參考標 號始終表示相同的元件。就這點而言，示例性實施例可具有不同的形式，并且不應被解釋為 局限于這里闡明的描述。因此，下面通過參照附圖僅對示例性實施例進行描述以解釋本發 明構思的多個方面。
[0045] 以下描述和附圖用于理解根據示例性實施例的操作，為了簡明，可省略對本領域 的普通技術人員可容易實現的公知的特征的描述。
[0046] 此外，說明書和附圖不是為了限制本發明構思的范圍，本發明構思的范圍由權利 要求來限定。為了更好地理解本發明構思，這里所使用的術語被解釋為具有與現有技術一 致的含義和概念。
[0047] 以下，將參照附圖對示例性實施例進行詳細描述。
[0048] 圖1是示出根據示例性實施例的用于執行圖像融合方法的控制器103的示圖。
[0049] 參照圖1，熱圖像相機102輸出對象的熱圖像Ithe。可見圖像相機101輸出對象 的可見圖像Ivis。
[0050] 控制器103對來自可見圖像相機101的可見圖像和來自熱圖像相機102的熱圖像 進行融合。
[0051] 控制器103將通過對可見圖像Ivis和熱圖像Ithe進行融合而產生的融合圖像 Imix提供給顯示設備104。控制器103可在記錄器中存儲可見圖像Ivis、熱圖像Ithe和/ 或融合圖像Imix。
[0052] 在下文中，將對通過根據示例性實施例的控制器103執行的圖像融合方法進行描 述。
[0053] 圖2是通過圖1的控制器103執行的第一示例性實施例的圖像融合方法的流程 圖。以下將參照圖1和圖2對第一示例性實施例的圖像融合方法進行描述。
[0054] 控制器103基于每個像素的亮度值來確定熱圖像Ithe的每個像素是否為重要像 素以獲得第一確定結果（操作S201)。這里，重要像素是亮度值等于或者大于第一參考值的 像素，第一參考值是熱圖像Ithe的亮度值的平均值或者基于該平均值計算。
[0055] 此后，控制器103基于每個像素的亮度值來確定可見圖像Ivis的每個像素是否為 重要像素以獲得第二確定結果（操作S203)。這里，重要像素是亮度值等于或者大于第二參 考值的像素，第二參考值是可見圖像Ivis的亮度值的平均值或者基于該平均值計算。
[0056] 此后，控制器103基于第一確定結果和第二確定結果，通過調整熱圖像Ithe的每 個像素的亮度來獲得經調整的熱圖像（操作S205)。
[0057] 然后，控制器103對可見圖像Ivis和經調整的熱圖像進行融合（操作S207)。
[0058] 根據第一示例性實施例的圖像融合方法，考慮到根據亮度的熱圖像Ithe的每個 像素的重要度和可見圖像Ivis的每個像素的重要度來調整熱圖像Ithe的每個像素的亮 度。然后，可對可見圖像Ivis和經調整的熱圖像進行融合來生成最終的圖像。
[0059] 因此，由于熱圖像Ithe的高亮度而導致的在一部分相對較亮的區域中圖像的清 晰度降低的問題（即，根據現有技術的圖像融合方法的問題）可被解決。即，通過考慮根據 亮度的熱圖像Ithe的每個像素的重要度和可見圖像Ivis的每個像素的重要度來確定針對 特定區域的像素的系數而增大者減小針對包括在相對較亮的區域中的像素的熱圖像Ithe 的系數，可提高融合圖像的整體清晰度。
[0060] 圖2的第一示例性實施例可通過將參照圖3至圖9描述的第二示例性實施例來充 分理解。這是因為圖2的操作S201對應于圖3的操作S303,圖2的操作S203對應于圖3 的操作S305,圖2的操作S205對應于圖3的操作S307,圖2的操作S207對應于圖3的操 作 S309。
[0061] 圖3是通過圖1的控制器103執行的第二示例性實施例的圖像融合方法的流程 圖。圖4是示出通過圖3的圖像融合方法生成的數據流的示圖。在圖4中，參考標號403 表示統計數據。
[0062] 以下將參照圖1、圖3和圖4對第二示例性實施例的圖像融合方法進行描述。
[0063] 控制器103在第一熱圖像（與圖1的Ithe對應）中選擇亮度值高于可見圖像（與 圖1的Ivis對應）的亮度值的平均值仏^的像素，增大選擇的像素的亮度且減小第一熱圖 像的其他像素的亮度，從而獲得第二熱圖像（操作S301)。這里，亮度增大的量和亮度減小 的量可被預定或者由控制器103控制。
[0064] 即，可見圖像的數據401被用于獲得可見圖像的亮度值的平均值仏^，并且根據可 見圖像的亮度值的平均值Mra，第一熱圖像的數據402被轉換為第二熱圖像的數據404,如 以下等式1中所示。
[0065] Y - |[(x識-wCCi)) / wCCI) +1].如果~S "?ca> 通 1 [(xm -mCCD)-mCCD +lf 如果~> WCC0 "i )
[0066] 在以上等式中，xIR表示第一熱圖像中的像素的亮度值，Mra表示可見圖像的亮度值 的平均值，x IRt表示第二熱圖像中的像素的亮度值。
[0067] 此后，控制器103基于第二熱圖像的每個像素的亮度值來確定第二熱圖像的每個 像素是否為重要像素，從而獲得第一確定結果（操作S303)。詳細地講，第一熱圖像的數 據402被用于獲得第一熱圖像的亮度值的平均值M IR和標準偏差S IR，并且根據第一熱圖像 Ithe的亮度值的平均值MIR和標準偏差S IR來獲得針對第二熱圖像的數據404的每個像素 的第一確定結果的變量Rir407。稍后將參照圖6對操作S303進行更詳細的描述。
[0068] 此后，控制器103基于可見圖像的每個像素的亮度值來確定可見圖像的每個像素 是否為重要像素，從而獲得第二確定結果（操作S305)。詳細地講，根據可見圖像的亮度值 的平均值M ra和標準偏差S 來獲得針對可見圖像的數據401的每個像素的第二確定結果 的變量Rra406和Tra405。稍后將參照圖7對操作S305進行更詳細的描述。
[0069] 此后，控制器103基于第一確定結果和第二確定結果，通過調整第二熱圖像的每 個像素的亮度值獲得第三熱圖像（操作S307)。即，根據第一確定結果的變量R ir和第二確 定結果的變量Rra406和Tra405來獲得針對第二熱圖像的數據404的每個像素的像素系數 gIR408,并且根據像素系數gIR將第二熱圖像的數據404轉換為第三圖像的數據409。稍后 將參照圖5和圖8對操作S307進行更詳細的描述。
[0070] 此后，控制器103對可見圖像和第三熱圖像進行融合（操作S309)。即，對可見圖 像的數據401和第三熱圖像的數據409進行融合來生成最終的融合圖像的數據410。
[0071] 根據第二示例性實施例的圖像融合方法，考慮到根據亮度的熱圖像的每個像素的 重要度和可見圖像的每個像素的重要度來調整第二熱圖像的數據404。然后，將可見圖像的 數據401和第三熱圖像的數據409融合在一起。
[0072] 因此，由于第二熱圖像的高亮度而導致的在一部分相對較亮的區域中圖像的清晰 度降低的問題（即，根據現有技術的圖像融合方法的問題）可被解決。即，通過考慮根據亮 度的熱圖像的每個像素的重要度和可見圖像的每個像素的重要度來確定針對特定區域的 像素的系數而增大者減小針對包括在相對較亮的區域中的像素的熱圖像的系數，可提高融 合圖像的整體清晰度。在下文中，將對第二示例性實施例的配置和效果進行更詳細的描述。
[0073] 圖5是圖3的操作S307的詳細流程圖。以下將參照圖1、圖4和圖5對圖3的操 作S307進行更詳細的描述。
[0074] 控制器103根據第一確定結果和第二確定結果（RIR、Rea^P T 的值）獲得與第二 熱圖像的每個像素對應的像素系數gIR(操作dl)。稍后將參照圖8對操作dl進行更詳細 的描述。
[0075] 此后，控制器103將第二熱圖像的每個像素的亮度值和與每個像素對應的像素系 數gIR相乘，并將相乘的結果設置為第三熱圖像的每個像素的亮度值（操作d2)。即，當第 二熱圖像中的像素的亮度值為x IRt且與該像素對應的像素系數為gIR時，第三熱圖像中的對 應像素的亮度值為gIRXx IRt。
[0076] 在這個情況下，在圖3的操作S309中，當在可見圖像中的像素的亮度值為xra時， 通過以下等式2來獲得對應像素的融合結果的亮度值x F。
[0077] xF - x CCD X wCCD+xIRt X gIR X wIR. . . (2)
[0078] 在以上等式中，《_表示可見圖像的像素的權重，w IR表示熱圖像的對應像素的權 重，xF表示最終融合圖像的對應像素的亮度值，x ^表示可見圖像的對應像素的亮度值，x IRt 表示熱圖像的對應像素的亮度值。這里，可通過等式3來確定和w IR。
[0080] 在以上等式中，表示可見圖像數據，w IR表示熱圖像數據。
[0081] 圖6是圖3的操作S303的詳細流程圖。以下將參照圖1、圖4和圖6對圖3的操 作S303進行詳細的描述。
[0082] 控制器103通過將第一熱圖像的亮度值的平均值MIR和標準偏差S IR相加來設置第 一參考值MIR+SIR (操作bl)。
[0083] 此后，控制器103將二進制數" 1"賦予第二熱圖像中亮度值大于第一參考值Mir+Sir 的像素作為第一確定結果的變量Rir，并且將二進制數"〇"賦予第二熱圖像中的其他像素作 為第一確定結果的變量R ir (操作b2)。
[0084] 圖7是圖3的操作S305的詳細流程圖。以下將參照圖1、圖4和圖7對圖3的操 作S305進行詳細的描述。
[0085] 控制器103通過從可見圖像的亮度值的平均值Mra減去標準偏差S 來設置第二 參考值^_(操作cl)。
[0086] 此后，控制器103將第三參考值PTHR(未示出）設置為可見圖像的閾值亮度值（操 作 C2)。這里，閾值亮度值為用于確定光飽和的參考值。具有等于或者大于閾值亮度值的 亮度值的像素可被認為是飽和區域，并且在可見圖像中包括具有等于或者大于閾值亮度值 的亮度值的像素的區域的清晰度降低。此后，控制器103將二進制數"1"賦予可見圖像中 亮度值大于第二參考的像素作為第二確定結果的第一變量!?^，并且將二進制數 "0"賦予可見圖像中的其他像素作為第二確定結果的第一變量R ra(操作c3)。
[0087] 此后，控制器103將二進制數"1"賦予可見圖像中亮度值大于第三參考值PTHR的 像素作為第二確定結果的第二變量T ra，并且將二進制數"0"賦予可見圖像中的其他像素作 為第二確定結果的第二變量Tra (操作c4)。
[0088] 圖8是圖5的操作dl的詳細流程圖。以下將參照圖1、圖4和圖8對圖5的操作 dl進行詳細的描述。
[0089] 控制器103將值"1"賦予如下像素作為像素系數gIR:被賦予二進制數"1"作為第 一確定結果的變量R ir、被賦予二進制數"〇"作為第二確定結果的第一變量Rra且被賦予二 進制數" 1"作為第二確定結果的第二變量Tra的像素（操作S801和操作S803)。
[0090] 在操作803中被賦予值"1"的像素為可見圖像中由于光飽和所導致的高亮度而具 有低分辨率的區域以及熱圖像中的具有高分辨率的區域，并且為了維持熱圖像的亮度而將 該像素的像素系數g IR設置為" 1 "。
[0091] 此后，控制器103將"0. 31"到"0. 99"范圍內選擇的值賦予如下像素作為像素系數 gIR:被賦予二進制數" 1"作為第一確定結果的變量R IR、被賦予二進制數" 1"作為第二確定 結果的第一變量Rra且被賦予二進制數"〇"作為第二確定結果的第二變量T eeD的像素（操 作S801和操作S805)。這里，由于這些像素被包括在光未飽和的區域，因此這些像素與可 見圖像中具有高分辨率的區域對應。例如，值"〇. 7"被賦予這些像素作為像素系數gIR。因 此，熱圖像的亮度會減小，并且由此可見圖像數據的亮度會增大。即，對于熱圖像和可見圖 像兩者中可被清楚地識別的區域而言，由于可見圖像數據與熱圖像數據相比可被更清楚地 識別，因此可通過將像素系數g IR設置為小于1來減小熱圖像數據的亮度。
[0092] 由于被賦予"0.31"到"0.99"范圍內的值（例如，"0.7"）的像素會是熱圖像和可 見圖像兩者中可被清楚地識別的區域的可能性大，因此第二熱圖像的像素的亮度可略有下 降。
[0093] 此后，由于被賦予二進制數"0"作為第一確定結果的變量Rir的像素包括在熱圖像 中被識別為暗的區域中，因此控制器103將"0"到"0. 30"范圍內的值賦予這些像素作為像 素系數gIR以進一步減小熱圖像數據的亮度（操作S801和操作S807)。值"0. 30"被賦予 這些像素作為像素系數gIR。
[0094] 由于被賦予"0"到"0.30"范圍內的值（例如，"0.30"）的像素在熱圖像中不重 要，因此為了進一步減小第二熱圖像的這些像素的亮度值而賦予更小的像素系數。
[0095] 這里，亮度減小的量和亮度進一步減小的量可預先確定或由控制器103控制。
[0096] 圖9是示出用來描述示例性實施例的效果的圖片的示圖。
[0097] 在圖9中，參考標號"901"表不第一熱圖像（圖1中的Ithe)，參考標號"902"表 示可見圖像（圖1中的Ivis)，參考標號"903"表示第二熱圖像。
[0098] 此外，參考標號"904"表示通過可見圖像902和第二熱圖像903的融合而產生的 融合圖像，參考標號"904a"表示其中的重要區域。參考標號"905"表示第三熱圖像。
[0099] 此外，參考標號"906"表示通過可見圖像902和第三熱圖像905的融合而產生的 融合圖像，參考標號"906a"表示其中的重要區域。
[0100] 參照圖9,可以看出，包含通過可見圖像902和第三熱圖像905的融合而產生的重 要像素的區域906a的清晰度高于通過可見圖像902和第二熱圖像903的融合而產生的重 要像素的區域904a的清晰度。
[0101] 圖10是根據示例性實施例的圖像融合方法的流程圖。
[0102] 參照圖10,示例性實施例的圖像融合方法是用于融合對象的熱圖像和對象的可見 圖像的方法，該方法包括檢測熱圖像的重要像素的操作S1002、檢測可見圖像的第一重要像 素和第二重要像素的操作S1003和計算像素系數的操作S1004。
[0103] 在操作S1002中，圖像融合設備可檢測具有等于或者大于基于熱圖像的亮度值的 平均值計算的第一參考值的亮度值的熱圖像的重要像素。操作S1002可與圖3的操作S303 對應，并且具有值"1"作為變量的像素可以是熱圖像的重要像素。這里，第一參考值可與熱 圖像的亮度值的平均值對應并且可等于熱圖像的亮度值的平均值和標準偏差的總和。通過 操作S1002,檢測出包括在熱圖像中且具有相當高的亮度的重要像素。
[0104] 在操作S1003中，圖像融合設備可檢測亮度值等于或者大于基于可見圖像的亮度 值的平均值計算的第二參考值的可見圖像的第一重要像素，并檢測亮度值等于或者大于第 三參考值的可見圖像的第二重要像素。操作S1003可與圖3的操作S305對應，第一重要像 素可以是具有值1作為第一變量的像素，第二重要像素可以是具有值1作為第二變量的像 素。這里，第二參考值可通過從可見圖像的亮度值的平均值減去標準偏差來獲得，第三參考 值可以是可見圖像的閾值亮度值。通過操作S1003,檢測出包括在可見圖像中且具有非暗 (non-dark)亮度的第一重要像素，可檢測出包括在可見圖像中且具有飽和亮度的第二重要 像素。
[0105] 在操作S1004中，用于調整用于對熱圖像和可見圖像進行融合的熱圖像的權重的 針對熱圖像的每個像素的像素系數基于每個像素的重要度被設置。由于已參照圖5描述過 調整權重的操作，因此為了簡明而將省略其中的多余的描述。
[0106] 根據示例性實施例的圖像融合方法還可包括調整熱圖像的亮度值以處理熱圖像 的操作S1001。由于操作S1001與操作S301相同，因此將省略其中的多余的描述。
[0107] 圖11是根據示例性實施例的圖像融合設備的框圖。
[0108] 參照圖11，根據示例性實施例的圖像融合設備可與圖1示出的控制器對應，并且 包括第一確定處理器1101、第二確定處理器1102、系數設置處理器1103、熱圖像處理器 1104和圖像融合處理器1105。
[0109] 第一確定處理器1101確定具有等于或者大于基于熱圖像的亮度值的平均值計算 的第一參考值的亮度值的熱圖像的像素作為熱圖像的重要像素。由于第一確定處理器1101 的操作與操作S303相同，因此將省略其中的多余的描述。
[0110] 第二確定處理器1102確定亮度值等于或者大于基于可見圖像的亮度值的平均值 計算的第二參考值的可見圖像的像素作為可見圖像的第一重要像素，并且檢測具有等于或 者大于預設的第三參考值的亮度值的可見圖像的像素作為可見圖像的第二重要像素。由于 第二確定處理器1102的操作與操作S305相同，因此將省略其中的多余的描述。根據示例 性實施例，第一確定處理器和第二確定處理器可作為單個確定處理器來實施。
[0111] 系數設置處理器1103基于每個像素的重要度，通過設置針對熱圖像的每個像素 的像素系數來調整用于對熱圖像和可見圖像進行融合的熱圖像的權重。由于系數設置處理 器1103的操作與操作S307相同，因此將省略其中的多余的描述。
[0112] 由于用于預處理熱圖像的熱圖像處理器1104的操作與操作S301和操作S307相 同，因此將省略其中的多余的描述。
[0113] 圖像融合處理器105通過施加像素系數的熱圖像和可見圖像的加權的總和來對 熱圖像和可見圖像進行融合。由于圖像融合處理器1105的操作與操作S309相同，因此將 省略其中的多余的描述。
[0114] 如上所述，根據以上的示例性實施例，在圖像融合方法中，考慮到根據亮度的熱圖 像的每個像素的重要度和可見圖像的每個像素的重要度來調整熱圖像的每個像素的亮度。 然后，將可見圖像和第二熱圖像融合在一起。
[0115] 因此，根據現有技術的圖像融合方法的問題可被解決。即，由于熱圖像的高亮度而 導致的在一部分相對較亮的重要區域中清晰度降低的問題可被解決。
[0116] 因此，通過根據以上示例性實施例的圖像融合方法，可提高在相對較亮的重要區 域中的圖像的整體清晰度。即，通過考慮熱圖像的每個像素的重要度和可見圖像的每個像 素重要度來確定針對特定區域的像素的像素系數而增大者減小針對包括在相對較亮的重 要區域中的像素的熱圖像的系數，可提高融合圖像的整體清晰度。
[0117] 可提供一種存儲用于執行如上所述的圖像融合方法的操作的程序的非暫時性計 算機可讀介質。非暫時性計算機可讀介質是指半永久地存儲數據并可由裝置讀取的介質， 而不是諸如寄存器、高速緩沖存儲器、內存等的短期存儲數據的介質。詳細地講，可將如上 所述的應用或程序存儲和設置在非暫時性計算機可讀介質（諸如，致密盤（CD)、數字通用 盤（DVD)、硬盤、藍光盤、通用串行總線（USB)、存儲卡和只讀存儲器（ROM)等）中。
[0118] 根據示例性實施例，由如圖11所示的塊表示的組件、元件或者單元中的至少一個 可被實現為執行如上所述的各自的功能的各種數量的硬件、軟件和/或固件結構。例如， 這些組件、元件或者單元中的至少一個可使用可通過一個或者更多個微處理器或其他控制 設備的控制來執行各自的功能的直接的電路結構（諸如，存儲器、處理裝置、邏輯、查找表 等）。此外，這些組件、元件或者單元中的至少一個可通過模塊、程序或者代碼的一部分來專 門體現，所述模塊、程序或者代碼的一部分包含用于執行指定的邏輯功能的一個或更多個 可執行的指令。此外，這些組件、元件或者單元中的至少一個還可包括處理器，諸如執行各 自的功能的中央處理器（CPU)、微處理器等。此外，雖然在以上框圖中沒有示出總線，但可通 過總線來執行組件、元件或者單元之間的通信。可以以在一個或者更多個處理器上執行的 算法來實現以上示例性實施例的功能方面。此外，由塊或者處理步驟表示的組件、元件或者 單元可采用用于電子配置、信號處理和/或控制、數據處理等的任意數量的現有技術。
[0119] 本發明構思不僅可用于對熱圖像和可見圖像進行融合，而且還可用于對其他的圖 像進行融合。
[0120] 應理解的是，這里所描述的示例性實施例應該被認為僅是描述性的意義而不是為 了限制的目的。每個實施例的特征或方面的描述通常應被認為可用于其他示例性實施例中 的其他類似的特征或者方面。
[0121] 雖然已經參照附圖描述了示例性實施例，但是本領域普通技術人員將理解的是， 在不脫離由權利要求限定的本發明構思的精神和范圍的情況下，可對其做出形式和細節上 的各種改變。
【主權項】
1. 一種用于對對象的熱圖像和可見圖像進行融合的圖像融合方法，所述圖像融合方法 包括： 基于熱圖像和可見圖像的每個像素的亮度值，確定每個像素的重要度； 基于熱圖像和可見圖像的每個像素的重要度來設置針對熱圖像的每個像素的像素系 數； 通過將像素系數施加到熱圖像的每個像素的亮度值來生成另一個熱圖像； 對所述另一個熱圖像和可見圖像進行融合來生成融合圖像。2. 如權利要求1所述的圖像融合方法，其中，確定每個像素的重要度的步驟包括： 確定亮度值等于或者大于基于熱圖像的亮度值的平均值計算的第一參考值的熱圖像 的像素，作為熱圖像的重要像素； 確定亮度值等于或者大于基于可見圖像的亮度值的平均值計算的第二參考值的可見 圖像的像素，作為可見圖像的第一重要像素； 確定亮度值等于或者大于預設的第三參考值的可見圖像的像素，作為可見圖像的第二 重要像素。3. 如權利要求2所述的圖像融合方法，其中，第一參考值通過將熱圖像的亮度值的平 均值和標準偏差相加來獲得。4. 如權利要求2所述的圖像融合方法，其中，第二參考值通過從可見圖像的亮度值的 平均值減去標準偏差來獲得。5. 如權利要求2所述的圖像融合方法，其中，第三參考值在執行融合的圖像融合處理 器中被預設。6. 如權利要求2所述的圖像融合方法，其中，設置針對熱圖像的每個像素的像素系數 的步驟包括：作為確定的結果，如果熱圖像的某個像素被確定為熱圖像的重要像素，并且可 見圖像的對應像素被確定為不是可見圖像的第一重要像素而是可見圖像的第二重要像素， 則將針對熱圖像的該像素的像素系數設置為值1。7. 如權利要求2所述的圖像融合方法，其中，設置針對熱圖像的每個像素的像素系數 的步驟包括：作為確定的結果，如果可見圖像的某個像素被確定為不是可見圖像的第二重 要像素而是可見圖像的第一重要像素，則將針對熱圖像的對應像素的像素系數設置為在〇 和1之間選擇的值。8. 如權利要求7所述的圖像融合方法，其中，在設置針對熱圖像的每個像素的像素系 數的步驟中，作為確定的結果，在熱圖像的某個像素被確定為不是熱圖像的重要像素時設 置的針對熱圖像的該像素的像素系數小于在熱圖像的該像素被確定為熱圖像的重要像素 且可見圖像的對應像素被確定為不是可見圖像的第二重要像素而是可見圖像的第一重要 像素時設置的針對熱圖像的該像素的像素系數。9. 如權利要求1所述的圖像融合方法，其中，對所述另一個熱圖像和可見圖像進行融 合的步驟通過將施加權重的可見圖像與施加像素系數和另一個權重的所述另一個熱圖像 相加來執行。10. 如權利要求2所述的圖像融合方法，還包括：在確定熱圖像的每個像素的重要度之 前調整對象的原始熱圖像的每個像素的亮度值來生成所述熱圖像， 其中，調整的步驟包括： 如果原始熱圖像的某個像素的亮度值大于可見圖像的亮度值的平均值，則增大該像素 的亮度值； 如果該像素的亮度值不大于可見圖像的亮度值的平均值，則減小該像素的亮度值。11. 一種用于對對象的熱圖像和可見圖像進行融合的圖像融合設備，所述圖像融合設 備包括： 確定處理器，被配置為基于熱圖像和可見圖像的每個像素的亮度值，確定每個像素的 重要度； 像素系數設置處理器，被配置為基于熱圖像和可見圖像的每個像素的重要度來設置針 對熱圖像的每個像素的像素系數； 熱圖像處理器，被配置為通過將像素系數施加到熱圖像的每個像素的亮度值來生成另 一個熱圖像； 圖像融合處理器，被配置為對所述另一個熱圖像和可見圖像進行融合來生成融合圖 像。12. 如權利要求11所述的圖像融合設備，其中，確定處理器包括： 第一確定處理器，被配置為確定亮度值等于或者大于基于熱圖像的亮度值的平均值計 算的第一參考值的熱圖像的像素，作為熱圖像的重要像素； 第二確定處理器，被配置為確定亮度值等于或者大于基于可見圖像的亮度值的平均值 計算的第二參考值的可見圖像的像素，作為可見圖像的第一重要像素，并且確定亮度值等 于或者大于預設的第三參考值的可見圖像的像素，作為可見圖像的第二重要像素。13. 如權利要求12所述的圖像融合設備，其中，第一參考值通過將熱圖像的亮度值的 平均值和標準偏差相加來獲得。14. 如權利要求12所述的圖像融合設備，其中，第二參考值通過從可見圖像的亮度值 的平均值減去標準偏差來獲得。15. 如權利要求12所述的圖像融合設備，其中，第三參考值在圖像融合處理器中被預 設。16. 如權利要求12所述的圖像融合設備，其中，作為通過第一確定處理器和第二確定 處理器確定的結果，如果熱圖像的某個像素被確定為熱圖像的重要像素，并且可見圖像的 對應像素被確定為不是可見圖像的第一重要像素而是可見圖像的第二重要像素，則像素系 數設置處理器將針對熱圖像的該像素的像素系數設置為值1。17. 如權利要求12所述的圖像融合設備，其中，作為通過第一確定處理器和第二確定 處理器確定的結果，如果可見圖像的某個像素被確定為不是可見圖像的第二重要像素而是 可見圖像的第一重要像素，則像素系數設置處理器將針對熱圖像的對應像素的像素系數設 置為在〇和1之間選擇的值。18. 如權利要求17所述的圖像融合設備，其中，作為通過第一確定處理器和第二確定 處理器確定的結果，像素系數設置處理器設置針對熱圖像的每個像素的像素系數，以使在 熱圖像的某個像素被確定為不是熱圖像的重要像素時設置的針對熱圖像的該像素的像素 系數小于在熱圖像的該像素被確定為熱圖像的重要像素且可見圖像的對應像素被確定為 不是可見圖像的第二重要像素而是可見圖像的第一重要像素時設置的針對熱圖像的該像 素的像素系數。19. 如權利要求11所述的圖像融合設備，其中，圖像融合處理器被配置為通過將施加 權重的可見圖像與施加像素系數和另一個權重的所述另一個熱圖像相加來對所述另一個 熱圖像和可見圖像進行融合。20. 如權利要求12所述的圖像融合設備，其中，熱圖像處理器還被配置為在確定處理 器確定熱圖像的每個像素的重要度之前調整對象的原始熱圖像的每個像素的亮度值來生 成所述熱圖像， 其中，熱圖像處理器調整原始熱圖像的每個像素的亮度值，從而如果原始熱圖像的某 個像素的亮度值大于可見圖像的亮度值的平均值，則增大該像素的亮度值，如果該像素的 亮度值不大于可見圖像的亮度值的平均值，則減小該像素的亮度值。
【文檔編號】G06K9/62GK105894009SQ201510232880
【公開日】2016年8月24日
【申請日】2015年5月8日
【發明人】李準性, 裴正民
【申請人】韓華泰科株式會社