使用基于來自其它圖像的信息的函數的泛函產生目標圖像的制作方法
【技術領域】
[0001] 領域通常設及圖像處理，并且更具體地，設及包括使用與其它圖像有關的信息產 生給定目標圖像的圖像重建和其它處理。
【背景技術】
[0002] 圖像處理在許多不同的應用中是重要的，并且該樣的處理可能設及多個不同類型 的圖像，包括二維（2D)圖像和S維（3D)圖像。例如，可W使用基于多個由對應的相機捕獲 的二維圖像的=角剖分（triangulation)產生空間場景的=維圖像，所述相機被布置為使 得每一個相機具有不同的場景視圖。替代地，可W使用深度成像器（例如，結構光（SL)相 機或飛行時（To巧相機）直接產生3D圖像。可W在機器視覺應用（例如手勢識別、人臉檢 測和單人或多人跟蹤）中處理該些或其它類型的多個圖像。
[0003] 常規的圖像處理技術包括多種圖像重建技術，例如插值和超分辨率。當僅部分 的給定圖像的信息可用時，通常使用插值。例如，可W使用超分辨率技術來利用另一較高 分辨率的圖像來提高低分辨率圖像的分辨率。示例性的超分辨率技術可W基于馬爾可夫 (Markov)隨機場或雙邊濾波器。
【發明內容】
[0004] 在一個實施例中，一種圖像處理系統包括圖像處理器，配置為基于多個函數構建 指定的泛函，并使用構建的泛函產生目標圖像，所述多個函數每一個與設及至少第一圖像 和第二圖像的圖像信息的對應部分相關聯。可W從一個或多個圖像源接收輸入圖像，并且 可朗尋目標圖像提供到一個或多個圖像目的地。僅作為示例，所述多個函數可W包括函數 (Al)，f2 (As)，…，ft(AJ的組，每一個包括來自所述圖像信息的多個輸入圖像Al,As,…， 中對應的圖像的像素的函數，并且所述泛函可W是該組函數(Al)，f2 (As)，…，片(AJ的函 數。泛函可W是FOO的形式，其中X表示目標圖像，并且W該樣的布置，可W通過將泛函 FOO最小化產生目標圖像X。
[0005] 本發明的其它實施例包括但不限于方法、裝置、系統、處理設備、集成電路，W及其 中實現有計算機程序代碼的計算機可讀存儲介質。
【附圖說明】
[0006] 圖1是在一個實施例中圖像處理系統的框圖。
[0007] 圖2是在圖1系統中的用于使用線性方程組產生目標圖像的處理的流程圖。
[0008] 圖3是在圖1系統中用于使用逼近迭代最小化產生目標圖像的處理的流程圖。
【具體實施方式】
[0009] 此處結合示例性的圖像處理系統W及用于使用基于來自其它圖像的信息的函數 的泛函產生目標圖像的實現技術示出了本發明的實施例，示例性的圖像處理系統包括圖像 處理器或其它類型的處理設備。然而，應理解，本發明的實施例可更一般地適用于其中期望 使用來自多個其它圖像的信息產生目標圖像的任何圖像處理系統或相關聯的設備或技術。
[0010] 圖1示出了本發明一個實施例中的圖像處理系統100。圖像處理系統100包括圖 像處理器102,其從圖像源104接收圖像，并且將已處理的圖像提供到圖像目的地106。
[0011] 圖像源104包括例如3D成像器（例如，化相機或ToF相機）W及一個或多個2D 成像器（例如，配置來產生2D紅外圖像、灰度圖像、彩色圖像或其它類型的2D圖像的2D成 像器），上述元素可W任意組合。圖像源104之一的另一個例子是給圖像處理器102提供圖 像W用于處理的存儲設備或服務器。
[0012] 圖像目的地106示例性地包括，例如，人機界面的一個或多個顯示屏幕，或從圖像 處理器102接收已處理的圖像的至少一個存儲設備或服務器。
[0013] 盡管在本實施例中圖像處理器102被示出為與圖像源104和圖像目的地106分 離，但是圖像處理器102也可W至少部分地與一個或多個圖像源或圖像目的地組合在共同 的處理設備上。因此，例如，可W將圖像源104和圖像處理器102中的一個或多個共同地實 現在同一處理設備上。類似地，可W將圖像目的地106和圖像處理器102中的一個或多個 共同地實現在同一處理設備上。
[0014] 在一個實施例中，將圖像處理系統100實現為用于處理圖像W識別用戶手勢的視 頻游戲系統或者其它類型的基于手勢的系統。所公開的技術可W類似地適用于在各種各 樣的需要基于手勢的人機界面的其它系統中使用，并且還可適用于除手勢識別外的其它應 用，例如機器人技術中的機器視覺系統W及其它工業應用。
[0015] 使用至少一個處理設備實現本實施例中的圖像處理器102,并且圖像處理器102 包括禪接到存儲器112的處理器110。圖像處理器102還包括泛函構建模塊114和目標圖 像產生模塊116。
[0016] 泛函構建模塊114被配置為基于多個函數構建指定的泛函，所述多個函數每一 個與至少設及第一圖像和第二圖像的圖像信息的對應部分相關聯。此處使用的術語"泛 函"旨在包含，例如，多個函數的函數。更一般地，可W認為泛函提供從矢量空間到其基礎 (underlying)標量場的映射，其中所述矢量空間可W是函數空間。此處使用的術語"圖像 信息"應被寬泛地解釋W包含第一圖像和第二圖像本身、該些圖像的部分、或從該些圖像的 至少部分導出的信息。
[0017] 可W由一個或多個圖像源104提供第一圖像和第二圖像或從其導出的其它圖像 信息。例如，第一圖像源和第二圖像源可W給圖像處理器102分別提供第一圖像和第二圖 像，使得圖像處理器可W從該些第一圖像和第二圖像導出圖像信息。替代地，圖像源可W從 相應的圖像導出信息，并將導出的信息提供到圖像處理器102。作為另一個例子，單個圖像 源可W給圖像處理器102提供多個圖像或相關聯的導出的信息。
[001引 目標圖像產生模塊116被配置為使用構建的泛函產生目標圖像。將系統100中產 生的目標圖像提供到一個或多個圖像目的地106。
[0019] 在本實施例中用于在模塊114中構建泛函的具體函數包括從圖像處理器102的若 干函數118選擇或獲得的一個或多個函數組。例如，在下面將結合圖2和圖3描述的處理 過程中，用于在模塊114中構建泛函的函數包括函數(Al)，f2 (As)，…，片(\)的組，每一個 函數包括來自上述圖像信息的多個輸入圖像Al,As,…，\中的對應的圖像的像素的函數。因 此，在該種布置中，泛函是函數組fi(Al),f2(A2)，…，片(AJ的函數。然而，在其它實施例中 可W使用其它類型的函數來構建泛函。
[0020] 在泛函構建模塊114中構建的泛函可W是FOO的形式，其X表示目標圖像。目標 圖像產生模塊116可W被配置為通過將泛函FOO最小化來產生目標圖像X。該可W包括， 例如，如圖2處理中的線性方程組的求解，或如圖3的處理中的逼近迭代最小化。泛函F狂） 可W并入權重組和概率組中的一者或多者，所述組從圖像處理器102的相應的權重120或 概率122選擇或W其它方式獲得。其它實施例可W使用許多其它類型和配置的泛函W及用 于利用泛函產生目標圖像的相關技術。
[0021] 在圖像處理系統100中使用來確定給定的目標圖像的多個圖像可W包括深度圖 像和非深度圖像的多種多樣的組合。例如，第一圖像可W包括來自圖像源104中的第一圖 像源的第一分辨率的深度圖像，而第二圖像可W包括來自圖像源104中的不同于第一圖像 源的另一個圖像源的基本上相同場景的具有與第一分辨率基本上相同的分辨率的2D圖 像。在該類型的實施例中，第一圖像源可W包括3D圖像源（例如，結構光或ToF相機），而 第二圖像源可W包括2D圖像源（2D圖像源被配置用于產生如紅外圖像、灰度圖像或彩色圖 像的第二圖像）。如上所指示的，在其它實施例中，同一圖像源提供第一圖像和第二圖像兩 者。另外，可W不止使用第一圖像和第二圖像。
[0022] 應注意，在泛函構建模塊114的上下文中的術語"構建"化及在目標圖像產生模塊 116的上下文中的術語"產生"應被寬泛地解釋，W分別包括用于確定泛函和目標圖像的多 種多樣的不同的技術。
[0023] 如前所述，下面將結合圖2和圖3更詳細地描述使用圖像處理器102的泛函構建 模塊114和目標圖像產生模塊116實現的示例性圖像處理操作。
[0024] 圖1實施例中的處理器110和存儲器112可W包括至少一個處理設備的相應部 分，其中，所述處理設備包括微處理器、專用集成電路（ASIC)、現場可編程口陣列（FPGA)、 中央處理單元（CPU)、算術邏輯單元（ALU)、數字信號處理器值S巧或其它類似的處理設備 組件W及其它類型和布置的圖像處理電路，上述元素可W任意組合。
[0025] 可W至少部分地W軟件的形式實現泛函構建模塊114和目標