用于消除視差的方法和設備的制作方法
【專利摘要】用于消除視差的方法和設備。一種用于減少由相機陣列采集的圖像內容的視差的設備和方法，所述方法包括：識別與所采集的圖像內容的視差對應的顏色邊緣；確定所述顏色邊緣的偏移量；以及基于所述偏移量調整所采集的圖像內容中的視差。所述相機陣列可以包括相機的二維陣列。
【專利說明】用于消除視差的方法和設備
【技術領域】
[0001]本發明涉及圖像處理，更具體地涉及包括相機的移動終端以及相關方法、設備和計算機程序產品。
【背景技術】
[0002]陣列相機可以具有許多優點。例如，配置為2X2的相機能夠提供比具有相似分辨率性能的傳統的單個的相機更低的累積高度(building height)。例如,一種陣列相機的配置可包括兩個具有綠色(G)濾波器的相機、一個具有藍色(B)濾波器的相機以及另一個具有紅色(R)濾波器的相機。由于相機被定位在陣列或矩陣中，所以它們將從略微不同的視角生成圖像。當來自四個相機的四個圖像被合并為一 RGB圖像時，視差效果會導致顏色的不匹配。
[0003]解決視差問題的一個方式是采用關聯(或差異)算法，其中，針對視差差錯對圖像進行比較和調整。此種算法通常對計算能力要求很高，對于移動設備來說尤其如此。要獲得整個圖像的充分的視差估計也會存在某些困難。鑒于要處理的數據量，視頻錄制也是特別困難的。
【發明內容】
[0004]根據某些實施方式的用于減少由相機陣列采集的圖像內容的視差的電子設備包括:處理器；以及存儲器，所述存儲器連接至所述處理器，并且包括具體實現在所述存儲器中的計算機可讀程序代碼，當所述處理器執行所述計算機可讀程序代碼時，使所述處理器執行包括以下各項的操作:識別與所采集的圖像內容的所述視差相對應的顏色邊緣；確定所述顏色邊緣相對于參考圖像的偏移量；以及基于所述偏移量調整所采集的圖像內容中的所述視差。
[0005]在其它實施方式中，可以對所采集的圖像內容的局部區域中的多個局部區域執行識別、確定和調整。識別所述顏色邊緣的操作可以包括:針對所采集的圖像內容的區域檢測相對于期望的或參考顏色空間異常的顏色空間。
[0006]在某些實施方式中，所述確定操作可以包括:基于在距離所述相機陣列最近的物體處的偏移和在距離所述相機陣列無限遠的物體處的偏移的平均值來確定所述偏移量。
[0007]在某些實施方式中，可以相對于所述相機陣列的相機的圖像內容視角來執行所述調整操作。也可以相對于亮度相機的圖像內容視角來執行所述調整操作。調整操作可包括:以所述偏移量將所采集的圖像內容的受到所述視差影響的相應部分移位。
[0008]根據某些實施方式，一種無線終端，所述無線終端包括:相機陣列，所述相機陣列被配置為生成與所采集的圖像內容相對應的可視數據信號；以及信號處理器。所述信號處理器可以被配置為:識別所述可視數據信號中與所采集的圖像內容的視差相對應的顏色邊緣；確定所述顏色邊緣相對于參考圖像的偏移量；以及基于所述偏移量調整所述圖像內容中的所述視差。
[0009]在某些實施方式中，信號處理器還可以被配置為，調整所采集的圖像內容的局部區域中的多個局部區域的所述視差。
[0010]在其它實施方式中，信號處理器還可以被配置為，針對所采集的圖像內容的區域檢測相對于期望的顏色空間異常的顏色空間。
[0011 ] 在某些實施方式中，信號處理器還可以被配置為，相對于所述相機陣列中的相機的圖像內容視角來調整所述視差。信號處理器還可以被配置為，相對于亮度相機的圖像內容視角來調整所述視差。
[0012]在其它實施方式中，信號處理器還可以被配置為，以所述偏移量將所采集的圖像內容的受到所述視差影響的相應部分移位。
[0013]在某些實施方式中，信號處理器還可以被配置為，基于在距離相機陣列最近的物體處的偏移和在距離相機陣列無限遠的物體處的偏移的平均值來確定偏移量。
[0014]根據某些實施方式，一種用于減少由相機陣列采集的圖像內容的視差的方法，所述方法包括以下步驟:識別與所采集的圖像內容的所述視差相對應的顏色邊緣；確定所述顏色邊緣相對于參考圖像的偏移量；以及基于所述偏移量調整所采集的圖像內容中的所述視差。
[0015]在其它實施方式中，可以對所采集的圖像內容的局部區域中的多個局部區域執行識別、確定和調整。識別所述顏色邊緣的步驟可以包括:針對所采集的圖像內容的區域檢測相對于期望的顏色空間異常的顏色空間。
[0016]在某些實施方式中，所述確定步驟可以包括:基于在距離所述相機陣列最近的物體處的偏移和在距離所述相機陣列無限遠的物體處的偏移的平均值來確定所述偏移量。
[0017]在某些實施方式中，相對于所述相機陣列的相機的圖像內容視角來執行所述調整。可以相對于亮度相機的圖像內容視角來執行所述調整。調整操作可包括:以所述偏移量將所采集的圖像內容的受到所述視差影響的相應部分移位。
[0018]在本領域技術人員閱讀下面的附圖和詳細說明后，根據本發明的實施方式的其他設備、方法和/或計算機程序產品將是顯而易見的。所有這種附加的設備、方法和/或計算機程序產品意在被包含在本說明書中、落入本發明的范圍內并由所附的權利要求保護。另夕卜，期望本文公開的所有實施方式能夠單獨地實施或者以任何方式和/或組合而實施。
【專利附圖】
【附圖說明】
[0019]包括附圖一提供對本發明的進一步的理解，附圖被并入且構成了本申請的一部分，例示了本發明的特定的實施方式。
[0020]圖1A至圖1B例示了根據本發明的各種實施方式的用于采集并校正圖像中的顏色邊緣的電子設備。
[0021]圖1C例示了具有顏色邊緣的圖像的表示。
[0022]圖1D例示了根據本發明的各種實施方式的被校正的圖像的表示。
[0023]圖2是例示了根據各種實施方式的用于校正圖像數據中的顏色邊緣的處理的流程圖。
[0024]圖3A至圖3E例示了根據各種實施方式的各種相機配置的示例。
[0025]圖4是例示了根據各種實施方式的包括無線終端的無線通訊系統的示意性框圖。
【具體實施方式】
[0026]下面將參照附圖更全面地描述本發明，附圖例示了本發明的各種實施方式。但是，本發明不應當被解釋為僅限于本文描述的實施方式。提供這些實施方式使得本公開全面和完整，并將向本領域技術人員充分地表達本發明的范圍。相同的標號始終表示相同的部件。
[0027]如本文所使用的那樣，措辭“包括”是開放性的，并且包括一個或多個所闡述的特征、要素、元件、步驟、部件或功能，并且不排除包含或增加一個或多個其他特征、要素、元件、步驟、部件、功能或它們的組合。如本文所使用的那樣，措辭“和/或”包括一個或多個相關的列出的項目的任意和全部組合。另外，如本文所使用的，源于拉丁短語“例如(exempligratia) ”的通用縮略詞“e.g.”可用來介紹或指定一般的示例或者前面提到的項目的示例，并且不旨在限于這種項目。本文所使用的源于拉丁短語“即(id est)”的通用縮略詞“1.e.”可用來指定更通用的引用中具體的項目。
[0028]本文所使用的術語只是為了描述具體的實施方式，并不是為了限制本發明。本文所使用的單數形式“一”、“一個”和“該”也旨在包括復數形式，除非上下文中明確地另外指
/Jn ο
[0029]除非另有定義，否則本文所使用的所有術語(包括科技術語)都具有與本發明所屬領域的技術人員通常理解相同的含義。還應當理解，這些術語(例如在通常使用的字典中定義的術語)應當被解釋為具有與本公開的上下文中的含義以及相關技術的含義相一致的含義，并且不能以理想化的形式或者過于正式的形式解釋，除非本文明確地如此定義。
[0030]應當理解，當描述一個元件被“耦接”或“連接”至其他元件時，該元件可以被直接耦接或連接至所述其他元件，或者也可以存在介于中間的元件。相反，當描述一個元件被“直接耦接”或“直接連接”至其他元件時，就不存在介于中間的元件。另外，本文使用的“耦接”或“連接”還可以包括無線地耦接或連接。
[0031]陣列相機具有許多優點，但是圖像可能包含視差效果，這會導致顏色不匹配。通過像素關聯來估計視差的一個傳統的方法是確定單個像素值之間的差異最小的圖像偏移。
[0032]下面所描述的實施方式提供了解決視差問題的不同的方法。這些實施方式對于視頻錄制來說是有用的，包括和使用靜止圖像相比像素分辨率相對較低的情況。本文描述的實施方式沒有使用關聯算法，而是識別作為視差結果的顏色邊緣。因為顏色邊緣能夠被容易地檢測到以及更容易進行調整。具有不自然的和干擾顏色的像素被識別并局部地校正。因此，本發明的某些實施方式可以更有效地計算，因為它們不執行完全的關聯和/或對各像素進行搜索。
[0033]根據其它實施方式，可以以這樣的方式來對準(align)來自多個(例如，四個)相機的圖像:位于無限遠處的物體和位于最近的工作距離處的物體在圖像平面中產生相同的視差量。例如，在無限遠距離處的圖像具有O個像素的偏移，在距相機陣列最近處的圖像可以具有6個像素的偏移，以3個像素將兩種偏移之間的偏移分開可以幫助加快糾錯。
[0034]根據其它實施方式，可以利用具有將顏色從亮度分離的顏色空間的處理。在產生最終圖像時，從具有綠色濾波器或者沒有濾波器的一個相機中獲得亮度分量。顏色(色度)是從具有R、G、B濾波器的相機獲得的。
[0035]由于人體視覺系統對色度的細節不如對亮度更敏感，所以可以更加強過濾色度通道而不破壞圖像的銳度。這種濾波能夠減少或消除殘余顏色邊緣。邊緣檢測算法可以利用相機之間的距離是已知的事實。因此，如果該算法檢測到由例如綠色和藍色相機之間的視差導致的邊緣，則可以計算出綠色相機和紅色相機之間的視差以及藍色相機和紅色相機之間的視差。
[0036]圖1A至圖1B例示了根據本發明的某些實施方式的用于識別和校正視差差錯的電子設備。電子設備100可以包括被配置為生成可視數據信號的相機110，所述可視數據信號包括與物體150 (例如，人)的圖像160相對應的內容。圖像160可以表示靜止圖像或視頻流中的圖像或幀。圖1C例示了具有顏色邊緣的圖像的表示。圖1D例示了根據某些實施方式的校正的圖像的表示。
[0037]下面將參照圖2中的流程圖描述圖1A至圖1D。信號處理器120可從相機110接收可視數據信號并分析圖像160。圖像160可能經受導致圖像模糊的視差差錯以及顏色邊緣。這種視差是由如圖1B所示的相機180的2X2陣列中的各個相機的不同的視角導致的。在圖1C中所示的圖像160看上去比原始物體150更加模糊不清。
[0038]對圖像160的分析可能涉及在某時對圖像160的局部區域或一個或多個部分進行處理。在圖像160的局部區域中識別到了顏色邊緣(框202)，在所述局部區域中，相機陣列或矩陣的不同的相機采集的各個圖像的偏移產生了異常的顏色。在某些實施方式中，這可能涉及在顏色空間的特定區域內尋找異常的顏色。顏色空間可包括例如CIE XYZ、YUV及其衍生物這樣的顏色空間。顏色邊緣的異常顏色可能不同于該邊緣周圍的圖像部分的顏色。該顏色可能與期望的不同。例如，異常顏色可以是從圖像中合適的位置、參考位置或期望位置被移位的圖像的部分所導致的顏色或顏色的混合。圖像中的期望位置或參考位置可以被定義或被識別為從被指示為目標相機或主相機的相機的視角看去在圖像中的位置。
[0039]一旦識別出顏色邊緣，就可以測量從期望的位置的偏移(框204)。例如，如果顏色邊緣指示3個像素的偏移，則可以以3個像素調整圖像(框206)。如圖1D所示，所得到的圖像170會更加清晰可辨。與某些像素關聯的標準方法相比，這種基于顏色異常的校正形式需要少得多的計算。對圖像的各個局部區域重復執行該處理。如果已經完全分析了圖像(框208)，則結束圖像處理(框210)。在各種實施方式中，可以以局部區域為基礎對局部區域進行調整。在其它實施方式中，在觀察了圖像160的特定數目的局部區域之后，一旦確定了偏移量，就可以對整個圖像進行調整。
[0040]根據某些實施方式，可以解決殘余失配。這可以包括分離亮度檢測器以及從剩余的濾色器中確定色度。
[0041]在某些實施方式中，識別圖像或視頻的一部分中的顏色邊緣包括向能夠對圖像的一部分進行分析的處理器發送該圖像的該部分。電子設備100可包括收發器130，收發器130可將圖像160或圖像160的一部分發送給另一個處理器140，所述另一個處理器140被配置為針對顏色邊緣分析所述圖像的該部分。處理器140可設置在電子設備100內部，并且收發器130可包括內部數據傳輸和/或數據總線管理功能。如本文所述，信號處理器120和/或處理器140可分別為通用處理器和/或數字信號處理器，它們可以被封閉在共用的封裝中或者彼此獨立和分離。在某些實施方式中，處理器140可設置在電子設備的外部和/或可以包含在經由收發器130可以與電子設備100可通信地連接的網絡和/或設備中。收發器130可包括蜂窩收發器，所述蜂窩收發器130可包括發送器(TX)和接收器(RX)以允許雙向通信，但本發明不限于這種設備。
[0042]上述示例參考了具有紅色(R)、綠色(G)和藍色⑶濾波器的相機。但是，這種算法可以被調整以適于應對相機的各種配置，例如，具有紅色、綠色和藍色相機和第四個沒有濾色器的相機的2X2陣列。在某些情況下，無濾波器的或“清晰的(clear)”相機用于亮度，而其他三個相機用于顏色記錄。實施方式不限于2X2陣列。例如，可使用諸如1X3、RGB陣列的配置。
[0043]例如，圖3A至圖3E示出了根據各種實施方式的各種相機配置的五個示例。相機的濾色器已被確定。清晰的相機會缺少濾波器并且可以是亮度相機。例如，在圖3A中，相機302A是“主”相機，并且任何顏色邊緣都能表示從來自相機302A的期望的圖像的偏移。相機302A可以是無濾波器的或亮度相機。箭頭310A指示相機304A至308A被對準至“主”相機302A，“主”相機302A可以充當針對參考圖像的視角。
[0044]圖3B示出了相機陣列302B至308B，箭頭310B指示308B是主相機。在圖3C中，箭頭31C指示綠色濾波器相機302C是藍色濾波器相機304C和紅色濾波器相機306C的主相機。在圖3D中，箭頭310D指示藍色、紅色和無濾波器的相機304D-308D使用相機302D的視角作為參考圖像。在圖3E中，箭頭310E指示相機304E-308E對準至相機302E。相機308E可以是紅外線(IR)相機。
[0045]現在參照圖4，圖4是根據各種實施方式的包括無線終端400的無線通信系統的示意性框圖。實施方式包括對移動終端的參考，但是并不限于移動終端。實施方式還可以用于其他計算設備。
[0046]在某些實施方式中，無線終端400可包括移動無線通信終端，所述移動無線通信終端從蜂窩基站402和/或無線局域網416接收無線通信信號。蜂窩基站402被連接至MTS0406, MTS0406轉而連接至PSTN412以及網絡414(例如，互聯網)。移動終端400可利用通信協議與無線局域網416通信，所述通信協議可包括但不限于802.lla、802.lib、802.lie,802.llg、802.1li和/或其他無線局域網協議。無線局域網416可被連接至網絡414。
[0047]在本發明的某些實施方式中，無線終端400包括多種部件，例如相機460、控制器432、蜂窩收發器434、存儲器436、局域網收發器440、顯示器446以及鍵盤448。某些實施方式描述了顯示器446可包括觸敏顯示器或屏幕等。
[0048]存儲器436存儲可由控制器432執行的軟件，并且可以包括一個或多個可擦除可編程只讀存儲器(EPR0M或Flash EPROM)、支持電池的隨機存取存儲器(RAM)、磁性、光學或其他數字存儲設備，并可以與控制器432分離或者至少部分地位于控制器432中。控制器432可包括多于一個處理器(例如，通用處理器和數字信號處理器)，所述通用處理器和數字信號處理器可以被包圍在共用的封裝中或者彼此獨立和分離。具體地，控制器432可被配置為控制無線終端400的各種功能，包括從觸敏屏幕或鍵盤448接收輸入。
[0049]如圖4所示，蜂窩收發器434通常包括發送器(TX)450和接收器(RX)452以允許雙向通信，但本發明不限于這種設備，并且如在本文中使用的，“收發器”可僅僅包括接收器452。因而，移動終端400可利用射頻信號與基站402通信，所述射頻信號可通過天線454進行傳送。例如，移動終端400可被配置為利用一個或多個蜂窩通信協議(例如，高級移動電話服務(AMPS)、ANS1-136、全球移動標準(GSM)通信、通用分組無線業務(GPRS)、增強數據率GSM演進(EDGE)、碼分多址(CDMA)、寬帶CDMA、CDMA2000和/或通用移動通信系統(UMTS)等)經由蜂窩收發器434進行通信。這里使用的通信協議可指明所傳送的信息、定時、頻率、調制和/或用于建立和/或維持通信連接的操作。在某些實施方式中，天線454可以是單個的天線。
[0050]應當理解，本發明并不限于在圖1A至圖1B、圖1D和圖2至圖4中所示的具體配置，而是旨在涵蓋能夠實施本文描述的操作的任何配置。盡管以展示的方式用具體的框描述了具體的功能，但是可以將不同框的功能和/或其部分的功能組合、分割和/或刪除。另外，根據本發明的各種實施方式，硬件/軟件架構的功能可以實現為單個處理器系統或多處理器系統。
[0051]本發明可被具體實施為方法、電子設備和/或計算機程序產品。上文中本發明的某些實施方式是參考方法和電子設備的框圖和/或操作展示來描述的。在這方面，各個框可代表包括了用于實現特定的邏輯功能的一個或多個可執行指令的模塊、分段或部分代碼。應當理解，所述框圖和/或操作展示的各個框以及所述框圖和/或操作展示的框的組合能夠被具體實施為模擬電路和/或數字電路。這些程序指令可被提供給控制器電路，所述控制器電路可包括一個或多個通用處理器、專用處理器、ASIC和/或其他可編程數據處理裝置，以便經由處理器執行的所述指令創建用于執行所述框圖和/或操作展示所述的功能/動作的手段。在某些另選的實施方式中，所述框中描述的功能/動作可以按照所述操作展示中的命令而發生。例如，相繼展示的兩個框事實上可以實質上同時執行，或者根據涉及的功能/動作，有時可以以相反的順序執行所述框。
[0052]這些計算機程序指令還可以被存儲在計算機可用或計算機可讀的存儲器中，所述存儲器可指示控制器電路以特定的方式發揮功能，以便存儲在計算機可用或計算機可讀的存儲器中的指令生產包括能夠執行流程圖和/或框圖塊中指定的功能的指令的制造品。例如，計算機可用或計算機可讀介質可以是但不限于電子、磁性、光學、電磁或半導體系統、裝置或設備。計算機可讀介質的更多具體示例(并不是詳盡的清單)包括:硬盤設備、光學存儲設備、磁性存儲設備、RAM設備、ROM設備、EPROM或閃存EPROM設備和壓縮盤ROM(CD-ROM)。
[0053]本文公開了諸多不同的實施方式，以及不同的應用/變化對于了解本
【發明內容】
的技術人員來說將是顯而易見的。附圖和說明書公開了本發明的特定實施方式，盡管使用了具體的術語，它們僅僅是概括和描述性的并且并不在于限制，所附權利要求限定了本發明的范圍。應當理解，用文字描述和展示這些實施方式的每一種組合和次組合將是累贅和混亂的。因此，本說明書(包括附圖)應當被解釋為構成了本文所述的本發明的這些實施方式的所有組合和次組合以及制造和使用它們的方式和過程的完整的書面描述，并且將針對任何上述組合和子組合支持權利要求。
[0054]在說明書中，公開了本發明的實施方式，盡管使用了特定的術語，但是它們僅僅是概括和描述性的并且并不在于限制。
[0055]本申請要求2013年6月14日提交的美國臨時專利申請第61/835，035號的權益和優先權，將其全部內容通過引用并入于此。
【權利要求】
1.一種用于減少由相機陣列采集的圖像內容的視差的電子設備，所述電子設備包括: 處理器；以及 存儲器，所述存儲器連接至所述處理器，并且包括具體實現在所述存儲器中的計算機可讀程序代碼，當所述處理器執行所述計算機可讀程序代碼時，使所述處理器執行包括以下各項的操作: 識別與所采集的圖像內容的所述視差相對應的顏色邊緣； 確定所述顏色邊緣相對于參考圖像的偏移量；以及 基于所述偏移量調整所采集的圖像內容中的所述視差。
2.根據權利要求1所述的電子設備，其中，對所采集的圖像內容的局部區域中的多個局部區域執行識別、確定和調整。
3.根據權利要求1所述的電子設備，其中，識別所述顏色邊緣的操作包括:針對所采集的圖像內容的區域檢測相對于期望的顏色空間異常的顏色空間。
4.根據權利要求1所述的電子設備，其中，所述確定操作包括:基于在距離所述相機陣列最近的物體處的偏移和在距離所述相機陣列無限遠的物體處的偏移的平均值來確定所述偏移量。
5.根據權利要求1所述的電子設備，其中，相對于所述相機陣列的相機的圖像內容視角來執行所述調整操作。
6.根據權利要求5所述的電子設備，其中，相對于亮度相機的圖像內容視角來執行所述調整操作。
7.根據權利要求1所述的電子設備，其中，調整所述視差的操作包括:以所述偏移量將所采集的圖像內容的受到所述視差影響的相應部分移位。
8.一種無線終端，所述無線終端包括: 相機陣列，所述相機陣列被配置為生成與所采集的圖像內容相對應的可視數據信號；以及 信號處理器，所述信號處理器被配置為: 識別所述可視數據信號中與所采集的圖像內容的視差相對應的顏色邊緣； 確定所述顏色邊緣相對于參考圖像的偏移量；以及 基于所述偏移量調整所述圖像內容中的所述視差。
9.根據權利要求8所述的無線終端，其中，所述信號處理器還被配置為，調整所采集的圖像內容的局部區域中的多個局部區域的所述視差。
10.根據權利要求8所述的無線終端，其中，所述信號處理器還被配置為，針對所采集的圖像內容的區域檢測相對于期望的顏色空間異常的顏色空間。
11.根據權利要求8所述的無線終端，其中，所述信號處理器還被配置為，相對于所述相機陣列中的相機的圖像內容視角來調整所述視差。
12.根據權利要求11所述的無線終端，其中，所述信號處理器還被配置為，相對于亮度相機的圖像內容視角來調整所述視差。
13.根據權利要求8所述的無線終端，其中，所述信號處理器還被配置為，以所述偏移量將所采集的圖像內容的受到所述視差影響的相應部分移位。
14.一種用于減少由相機陣列采集的圖像內容的視差的方法，該方法包括以下步驟: 識別與所采集的圖像內容的所述視差相對應的顏色邊緣； 確定所述顏色邊緣相對于參考圖像的偏移量；以及 基于所述偏移量調整所采集的圖像內容中的所述視差。
15.根據權利要求14所述的方法，其中，對所采集的圖像內容的局部區域中的多個局部區域執行識別、確定和調整。
16.根據權利要求14所述的方法，其中，識別所述顏色邊緣的步驟包括:針對所采集的圖像內容的區域檢測相對于期望的顏色空間異常的顏色空間。
17.根據權利要求14所述的方法，其中，所述確定步驟包括:基于在距離所述相機陣列最近的物體處的偏移和在距離所述相機陣列無限遠的物體處的偏移的平均值來確定所述偏移量。
18.根據權利要求14所述的方法，其中，相對于所述相機陣列的相機的圖像內容視角來執行所述調整。
19.根據權利要求14所述的方法，其中，相對于亮度相機的圖像內容視角來執行所述調整。
20.根據權利要求14所述的方法，其中，調整所述視差的步驟包括:以所述偏移量將所采集的圖像內容的受到所述視差影響的相應部分移位。
【文檔編號】H04N9/64GK104243943SQ201410200280
【公開日】2014年12月24日 申請日期:2014年5月13日 優先權日:2013年6月14日
【發明者】J·古斯塔夫森, 馬茨·維爾納松 申請人:索尼公司