配備有相機的移動終端及其控制方法與流程

本發明涉及一種配備有通過執行白平衡來處理圖像的相機的移動終端及其控制方法。

背景技術：

終端可以根據其移動性而一般地分類為移動/便攜式終端或固定終端。移動終端也可以根據用戶是否能夠直接攜帶終端而分類為手持終端或車載終端。

移動終端已經變得越來越多功能。這樣的功能的示例包括數據和語音通信、經由相機采集圖像和視頻、記錄音頻、經由揚聲器系統播放音樂文件以及在顯示器上顯示圖像和視頻。一些移動終端包括支持玩游戲的額外的功能，而其他終端被配置為多媒體播放器。最近，一些終端已經被配置為接收允許觀看諸如視頻和電視節目的內容的廣播和多播信號。

正在努力支持和增加移動終端的功能。這樣的努力包括軟件和硬件改進，以及結構組件方面的改變和改進。

配備有通過執行白平衡處理圖像的相機的移動終端包括用于執行與外部裝置、基站或服務器的無線通信的天線。近來，諸如相機的電子裝置被集成到移動終端中。為了方便起見，可以自動地執行白平衡。特別地，由于白平衡根據光源的種類而具有不同種類的色溫，但是要求準確地識別光源的類型以實現白平衡。

在該方面，由于諸如白熾燈和熒光燈的室內燈被在同一頻率或50Hz或60Hz下操作，因此產生了不容易識別室內燈和在考慮室內燈的情況下實現白平衡的問題。

技術實現要素：

因此，本發明的目的在于解決上述問題。本發明的另一目的在于提供一種配備有通過考慮周圍光源來執行白平衡的相機的移動終端及其控制方法。

為了實現這些和其他優點并且根據本發明的目的，如這里具體實施和廣泛描述 的，根據本發明的一方面，一種移動終端，被配置為處理圖像，移動終端包括相機，其被配置為采集圖像；圖像傳感器，其被配置為獲取經由相機采集的圖像中的對象的圖像信號；紅外傳感器，其被配置為檢測從對象反射的紅外信號；控制器，其被配置為利用圖像傳感器執行下述操作：確定是否生成閃爍；以及基于檢測到的紅外信號檢測與為所生成的閃爍做出貢獻的光源相關的信息；以及圖像處理器，其被配置為執行所獲取的圖像的白平衡，所述白平衡是在生成閃爍的情況下基于所檢測到的信息而執行的。

根據一個實施方式，光源包括是白熾燈的第一光源以及是熒光燈的第二光源；以及如果檢測到的紅外信號小于或等于預定值則基于第二光源執行白平衡。

根據一個實施方式，光源還包括是太陽光的第三光源；以及如果檢測到的紅外信號大于預定值并且沒有生成閃爍則基于第三光源執行白平衡。

根據一個實施方式，圖像信號和紅外信號各自包括均具有不同起始點的多個輸入信號；并且多個輸入信號各自的曝光時間的頻率不同于第一和第二光源的操作頻率。

根據一個實施方式，如果檢測到的紅外信號大于預定值并且生成了閃爍，則基于第一光源執行白平衡。

根據一個實施方式，控制器進一步配置為基于獲取的圖像信號的平均強度的變化確定是否生成閃爍。

根據一個實施方式，控制器還被配置為確定紅外傳感器是否被啟用；以及如果紅外傳感器沒有被啟用則確定是否生成了閃爍。

根據一個實施方式，如果紅外傳感器沒有被啟用并且沒有生成閃爍則基于第三光源執行白平衡；并且控制器還被配置為如果生成了閃爍則重新確定紅外傳感器是否被啟用。

根據一個實施方式，控制器還被配置為基于所獲取的圖像信號的平均強度的變化確定是否生成了閃爍。

根據一個實施方式，圖像處理器還被配置為：執行所獲取的圖像的自動曝光和自動對焦；以及對通過白平衡、自動曝光和自動對焦處理的所獲取的圖像進行數字化和分析。

在本發明的另一方面，一種包括相機的移動終端的圖像處理方法，所述方法包括：獲取經由相機采集的圖像中的對象的圖像信號；檢測從對象反射的紅外信號；確定是 否生成閃爍；檢測與為所生成的閃爍做出貢獻的光源相關的信息；以及執行所獲取的圖像的白平衡，所述白平衡是在生成閃爍的情況下基于所檢測到的信息而執行的。

根據一個實施方式，光源包括是白熾燈的第一光源以及是熒光燈的第二光源；以及如果檢測到的紅外信號小于或等于預定值則基于第二光源執行白平衡。

根據一個實施方式，光源還包括是太陽光的第三光源；以及如果檢測到的紅外信號大于預定值并且沒有生成閃爍則基于第三光源執行白平衡。

根據一個實施方式，圖像信號和紅外信號各自包括均具有不同起始點的多個輸入信號；并且多個輸入信號各自的曝光時間的頻率不同于第一和第二光源的操作頻率。

根據一個實施方式，如果檢測到的紅外信號大于預定值并且生成了閃爍，則基于第一光源執行白平衡。

根據一個實施方式，基于獲取的圖像信號的平均強度的變化確定是否生成閃爍。

根據一個實施方式，方法還包括：確定紅外傳感器是否被啟用；以及如果紅外傳感器沒有被啟用則基于所獲取的圖像信號的平均強度的變化確定是否生成了閃爍。

根據一個實施方式，方法還包括：如果紅外傳感器沒有被啟用并且沒有生成閃爍則基于第三光源執行白平衡；并且如果生成了閃爍則重新確定紅外傳感器是否被啟用。

根據一個實施方式，基于所獲取的圖像信號的平均強度的變化確定是否生成了閃爍。

根據一個實施方式，方法還包括：執行所獲取的圖像的自動曝光和自動對焦；以及對通過白平衡、自動曝光和自動對焦處理的所獲取的圖像進行數字化和分析。

附圖說明

附圖被包括以提供本發明的進一步的理解并且被并入本說明書中并且構成其一部分，示出了示例性實施方式并且與描述一起用于解釋本發明的原理。

在附圖中：

圖1是示出根據本發明的移動終端的框圖；

圖2和圖3是示出從不同方向看的根據本發明的移動終端的示例的概念圖；

圖4是示出移動終端使用相機和紅外傳感器確定是否生成了閃爍并且檢測與為閃爍的生成做出貢獻的光源相關的信息的概念圖；

圖5是示出根據本發明的包括執行白平衡的相機、紅外傳感器和顯示單元的移動終端的框圖；

圖6示出了基于供電電源的光源的光的量的變化；

圖7示出了基于時間的變化的光源的光的量的變化；

圖8是示出根據本發明的一個實施方式的圖像處理方法的流程圖；以及

圖9是示出根據本發明的另一實施方式的圖像處理方法的流程圖。

具體實施方式

現在將參考附圖根據這里公開的示例性實施方式進行詳細描述。為了參考附圖簡要描述起見，相同或等效的組件可以具有相同或類似的附圖標記，并且其描述將不會重復。一般來說，諸如“模塊”和“單元”的后綴可以用于表示元件或組件。在這里，這樣的后綴的使用僅意在方便說明書的描述，并且后綴本身不意在給出任何特殊的含義或功能。在本公開中，為了簡要起見，通常省略了對于本領域技術人員來說公知的內容。附圖用于幫助各種技術特征的容易理解并且應理解的是，這里示出的實施方式不受到附圖的限制。因此，本公開應該被理解為延伸到除了附圖中具體闡述的內容之外的任何改變、等效物和替代物。

將理解的是，雖然詞語第一、第二等在這里可以用來描述各種元件，但是這些元件不應受這些詞語的限制。這些詞語通常僅用于將一個元件與其它元件進行區分。

將理解的時，當元件被稱為“連接到”另一元件時，這些元件能夠與其它元件連接或者也可以存在中間元件。相反地，當元件被稱為“直接連接到”另一元件時，不存在中間元件。

單數表述可以包括復數表述，除非在上下文中有明顯不同的意義。在這里使用諸如“包括”或“具有”的詞語，并且應該理解的是，它們意在指示本申請中公開的若干組件、功能或步驟的存在并且還理解的是，可以類似地利用更多或更少的組件、功能或步驟。

這里示出的移動終端可以使用各種不同類型的終端來實施。這樣的終端的示例包括蜂窩電話、智能電話、用戶設備、膝上計算機、數字廣播終端、個人數字助理(PDA)、便攜式多媒體播放器(PMP)、導航儀、便攜式計算機(PC)、板式PC、平板PC、超極本、可穿戴裝置(例如，智能手表、智能眼鏡、頭戴式顯示器(HMD))等等。

僅借助于非限制示例，將參考特定類型的移動終端進行進一步的描述。然而，這樣的教導同等地應用于諸如上述類型的其他類型的終端。另外，這些教導也可以應用于諸如數字TV、臺式計算機等等的固定終端。

現在參考圖1至圖3，其中，圖11是根據本公開的移動終端的框圖，并且圖2和圖3是從不同方向看的移動終端的一個示例的概念圖.

移動終端100被示出為具有諸如無線通信單元110、輸入單元120、感測單元140、輸出單元150、接口單元160、存儲器170、控制器180和電源單元190的組件。應理解的是，不要求實施所有示出的組件，并且可以替選地實施更多或更少的組件。

現在參考圖1，移動終端100被示出為具有被構造有若干公共實施組件的無線通信單元110。例如，無線通信單元110通常包括允許移動終端100與移動終端所在的無線通信系統或網絡之間的無線通信的一個或更多個組件。

無線通信單元110通常包括允許諸如移動終端100與無線通信系統之間的無線通信、移動終端100與另一移動終端之間的通信、移動終端100與外部服務器之間的通信的通信的一個或更多個模塊。此外，無線通信單元110通常包括將移動終端100連接到一個或更多個網絡的一個或更多個模塊。為了便于這樣的通信，無線通信單元110包括廣播接收模塊111、移動通信模塊112、無線互聯網模塊113、短程通信模塊114和位置信息模塊115中的一個或更多個。

輸入單元120包括用于獲得圖像或視頻的相機200、作為一種用于輸入音頻信號的音頻輸入裝置的麥克風121和用于允許用戶輸入信息的用戶輸入單元122(例如，觸摸鍵、按壓鍵、機械鍵、軟鍵等等)。通過輸入單元120收集的音頻數據或圖像數據可以由用戶的控制命令來進行分析和處理。

感測單元140可以包括感測移動終端的內部信息、移動終端的周圍環境以及用戶信息的至少一個傳感器。例如，感測單元140可以包括接近傳感器141、亮度傳感器142、紅外(IR)傳感器143、觸摸傳感器、加速度傳感器、磁性傳感器、G傳感器、陀螺儀傳感器、運動傳感器、RGB傳感器、手指掃描傳感器、超聲波傳感器、光學傳感器(例如，參見相機200)、麥克風121、電池計、環境傳感器(例如，氣壓計、濕度計、溫度計、輻射監測傳感器、熱傳感器、氣體傳感器等等)以及化學傳感器(例如，電子噪聲、健康傳感器、生物傳感器等等)。另一方面，這里公開的移動終端可以以組合這些傳感器中的至少兩個傳感器感測的信息的方式來利用信息。

輸出單元150通常被配置為輸出諸如音頻、視頻、觸覺輸出等等的各種類型的信息。輸出單元150被示出為具有顯示單元151、音頻輸出模塊152、觸覺模塊153和光學輸出模塊154。

顯示單元151可以具有分層結構或與觸摸傳感器一體的結構以便于實施觸摸屏幕。觸摸屏幕可以提供移動終端100與用戶之間的輸出接口，并且用作提供移動終端100與用戶之間的輸入接口的用戶輸入單元122。

接口單元160用作與能夠耦接到移動終端100的各種類型的外部裝置的接口。例如，接口單元160可以包括有線或無線端口、外部電源端口、有線或無線數據端口、存儲卡端口、用于連接具有識別模塊的裝置的端口、音頻輸入/輸出(I/O)端口、視頻I/O端口、耳機端口等等中的任一種。在一些情況下，移動終端100可以相應于當前連接到接口單元160的外部裝置執行與所連接的外部裝置關聯的各種控制功能。

此外，存儲器170可以存儲用于支持移動終端100的各種功能的數據。存儲器170可以存儲在移動終端100中執行的多個應用程序(或應用)、用于移動終端100的操作的數據、指令詞等等。這些應用程序中的至少一些可以經由無線通信從外部服務器下載。這些應用程序中的另外一些可以針對移動終端100的基本功能(例如，接收呼叫、撥打電話、接收消息、發送消息等等)而在裝箱時安裝在移動終端100內。另一方面，應用程序可以存儲在存儲器170中，安裝在移動終端100中，并且由控制器180執行以執行移動終端100的操作(或功能)。

控制器180可以通常控制除了與應用程序關聯的操作之外的移動終端100的整體操作。控制器180可以以處理由各種組件輸入或輸出的信號、數據、信息等等或激活存儲在存儲器170中的應用程序的方式來提供或處理適合于用戶的信息或功能。

控制器180可以控制圖1中所示的組件中的至少一部分，以便于驅動存儲器170中存儲的應用程序。另外，控制器180可以通過組合移動終端100中包括的組件中的至少兩個來驅動應用程序以進行操作。

電源單元190可以在控制器180的控制下接收外部電力或內部電力以便于提供操作移動終端100中包括的各元件和組件所要求的適合的電力。電源單元190可以包括電池，并且電池可以是嵌入式電池或可替換電池。

這些元件和組件中的至少一部分可以根據這里描述的各種示例性實施方式被組合以便于實施移動終端的操作和控制或者移動終端的控制方法。而且，移動終端的操 作和控制或控制方法可以以激活存儲器170中存儲的至少一個應用程序的方式來在移動終端中實施。

參考圖2和圖3，參考直板型終端主體來描述移動終端100。然而，移動終端100可以替選地以各種不同構造中的任一種來實施。這樣的構造的示例包括手表型、夾子型、眼鏡型或折疊型、翻轉型、滑動型、擺動型和其中兩個或更多機體以可相對移動的方式彼此組合的旋轉型以及其組合。這里的討論將通常涉及特定類型的移動終端(例如直板型、手表型、眼鏡型等等)。然而，這樣的關于特定類型的移動終端的教導將通常也應用于其他類型的移動終端。

移動終端100將通常包括形成終端的外觀的殼體(例如，框架、外殼、蓋等等)。在該實施方式中，使用前殼體101和后殼體102形成殼體。各種電子組件被并入在形成在前殼體101與后殼體102之間的空間中。在前殼體101和后殼體102之間可以額外地放置至少一個中間殼體。

顯示單元151被示出為位于終端主體的前側以輸出信息。如所示的，顯示單元151的窗口151a可以安裝到前殼體101以與前殼體101一起形成終端主體的前表面。

在一些實施方式中，電子組件也可以安裝到后殼體102。這樣的電子組件的示例包括可拆卸電池191、識別模塊、存儲卡等等。后蓋103被示出為覆蓋電子組件，并且該蓋可以可拆卸地耦接到后殼體102。因此，當后蓋103從后殼體102卸下時，安裝到后殼體102的電子組件被暴露到外部。

如所示的，當后蓋103耦接到后殼體102時，后殼體102的側表面被部分地暴露。在一些情況下，在耦接時，后殼體102也可以由后蓋103完全地遮擋。在一些實施方式中，后蓋103可以包括用于將相機200b或音頻輸出模塊152b暴露到外部的開口。

殼體101、102、103可以通過注入模塑合成樹脂來形成或者可以由金屬(例如，不銹鋼(STS)、鋁(Al)、鈦(Ti)等等)形成。

作為對于多個殼體形成用于容納組件的內部空間的示例的替選，移動終端100可以被配置為，一個殼體形成內部空間。在該示例中，具有一體機體的移動終端100形成為從側表面到后表面延伸的合成樹脂或金屬。

如果需要，移動終端100可以包括用于防止水進入到終端主體中的防水單元。例如，防水單元可以包括位于窗口151a與前殼體101之間、前殼體101與后殼體102之間或者后殼體102與后蓋103之間的防水組件，以當這些殼體耦接時氣密地密封內 部空間。

圖2和圖3將特定組件描繪為布置在移動終端上。然而，將理解的是，替選布置也是可能的并且處于本公開的教導內。一些組件可以被省略或重新布置。例如，第一操作單元123a可以位于終端主體的另一表面上，并且第二音頻輸出模塊152b可以位于終端主體的側表面上。

顯示單元151輸出在移動終端100中處理的信息。顯示單元151可以使用一個或更多個適合的顯示裝置來實施。這樣的適合的顯示裝置的示例包括液晶顯示器(LCD)、薄膜晶體管液晶顯示器(TFT-LCD)、有機發光二極管(OLED)、柔性顯示器、三維(3D)顯示器、電子墨水顯示器及其組合。

顯示單元151可以使用能夠實施相同或不同的顯示技術的兩個顯示裝置來實施。例如，多個顯示單元151可以被布置在一側，彼此隔開或者這些裝置可以被集成，或者這些裝置可以被布置在不同的表面上。

顯示單元151也可以包括感測在顯示單元處接收的觸摸輸入的觸摸傳感器。當觸摸被輸入到顯示單元151時，觸摸傳感器可以被配置為感測該觸摸并且控制器180例如可以生成對應于觸摸的控制命令或其他信號。以觸摸方式輸入的內容可以是文本或數值，或者能夠在各種模式中指示或指定的菜單條目。

觸摸傳感器可以被配置為布置在窗口151a與窗口151a的后表面上的顯示器之間的具有觸摸圖案的膜形式、或者在窗口151a的后表面上直接圖案化的金屬布線。替選地，觸摸傳感器可以與顯示器形成為一體。例如，觸摸傳感器可以被布置在顯示器的基板上或者顯示器內。

顯示單元151也可以與觸摸傳感器一起形成觸摸屏。這里，觸摸屏可以用作用戶輸入單元122(參見圖1)。因此，觸摸屏可以替代第一操作單元122a的功能中的至少一些。

第一音頻輸出模塊152a可以實施為揚聲器的形式以輸出語音音頻、警報聲音、多媒體音頻再現等等。

顯示單元151的窗口151a將通常包括用于允許由第一音頻輸出模塊152a生成的音頻通過的孔。一個替選方案用于允許音頻沿著結構體之間的組裝間隙(例如，窗口151a與前殼體101之間的間隙)釋放。在該情況下，獨立地形成為輸出音頻聲音的孔可以是不可見的或者以其他方式在外觀方面隱藏，從而進一步簡化移動終端100 的外觀和制造。

光學輸出模塊154能夠被配置為輸出用于指示事件生成的光。這樣的事件的示例包括消息接收、呼叫信號接收、未接電話、警報、日程提醒、電子郵件接收、通過應用的信息接收等等。當用戶已經檢查了生成的事件時，控制器能夠控制光學輸出單元154以停止光輸出。

第一相機121a能夠處理諸如在采集模式或視頻通話模式中由圖像傳感器獲得的靜態或移動圖像的圖像幀。處理后的圖像幀能夠然后顯示在顯示單元151上或存儲在存儲器170中。

第一操作單元122a和第二操作單元122b是用戶輸入單元122的示例，其可以由用戶操作以將輸入提供給移動終端100。第一操作單元122a和第二操作單元122b也可以統稱為操作部分，并且可以采用允許用戶執行諸如觸摸、推動、滾動等等的操作的任何觸覺方法。第一操作單元122a和第二操作單元122b也可以采用允許用戶執行諸如接近觸摸、懸停等等的操作。

圖2將第一操作單元122a示出為觸摸鍵，但是可能的替選包括機械鍵、推動鍵、觸摸鍵及其組合。

在第一操作單元122a和第二操作單元122b處接收的輸入可以以各種方式使用。例如，第一操作單元122a可以由用戶使用來將輸入提供到菜單、主頁鍵、取消、搜索等等，并且第二操作單元122b可以由用戶使用來將輸入提供到從第一音頻輸出模塊152a或第二音頻輸出模塊152b輸出的音量大小，以切換到顯示單元151的觸摸識別模式等等。

作為用戶輸入單元122的另一示例，后輸入單元可以位于終端主體的后表面上。后輸入單元能夠由用戶操作來將輸入提供到移動終端100。輸入可以以各種不同方式來使用。例如，后輸入單元可以由用戶使用來提供用于開機/關機、開始、結束、滾動、控制從第一音頻輸出模塊152a或第二音頻輸出模塊152b輸出的音量大小、切換到顯示單元151的觸摸識別模式等等的輸入。后輸入單元可以被配置為允許觸摸輸入、推動輸入或其組合。

后輸入單元可以被布置為在終端主體的厚度方向上與前側的顯示單元151重疊。作為一個示例，后輸入單元可以位于終端主體的后側的上末端部分上，從而用戶能夠在用戶用一只手抓住終端主體時使用食指進行操作。替選地，后輸入單元能夠位于終 端主體的后側的任何位置處。

包括后輸入單元的實施方式可以在后輸入單元中實施第一操作單元122a的功能中的一些或全部。因此，在從前側省略第一操作單元122a的情況下，顯示單元151能夠具有更大的屏幕。

作為又一替選，移動終端100可以包括掃描用戶的手指的手指掃描傳感器。控制器180能夠然后使用由手指掃描傳感器感測的指紋信息作為驗證過程的一部分。手指掃描傳感器也可以安裝在顯示單元151中或者在用戶輸入單元122中實施。

麥克風121被示出為處于移動終端100的末端處，但是其他位置也是可能的。如果需要，則可以利用允許接收立體聲的布置來實施多個麥克風。

接口單元160可以用作允許移動終端100與外部裝置交互的路徑。例如，接口單元160可以包括用于連接到另一裝置(例如，耳機、外部揚聲器等等)的連接端子、用于近場通信的端口(例如，紅外數據協會(IrDA)端口、藍牙端口、無線LAN端口等等)或者用于將電力提供給移動終端100的電源端子中的一個或更多個。接口單元160可以實施為用于容納外部卡(例如，訂戶識別模塊(SIM)、用戶識別模塊(UIM)或者用于信息存儲的存儲卡)的插槽。

第二相機200b可以進一步安裝到終端主體的后表面。第二相機200b可以具有與第一相機單元200a的圖像采集方向基本上相反的圖像采集方向。

第二相機200b可以包括沿著至少一條線布置的多個透鏡。多個透鏡也可以被布置為矩陣構造。相機可以被稱為“陣列相機”。當第二相機200b實施為陣列相機時，可以使用多個透鏡以各種方式來采集圖像并且可以獲得具有更好質量的圖像。

如所示的，閃光燈124被示出為與第二相機200b相鄰。當利用相機200b采集對象的圖像時，閃光燈124可以照亮對象。

如所示的，第二音頻輸出模塊152b能夠位于終端主體上。第二音頻輸出模塊152b可以與第一音頻輸出模塊152a一起實施立體聲功能，并且也可以用于為所有通信實施免提電話模式。

至少一個用于無線通信的天線可以位于終端主體上。天線可以安裝在終端主體中或者由殼體形成。例如，構成廣播接收模塊111的一部分的天線可縮回到終端主體中。替選地，天線可以使用附接到后蓋103的內表面的膜來形成，或者使用包括導電材料的殼體來形成。

用于將電力提供給移動終端100的電源單元190可以包括電池191，其安裝在終端主體中或者可拆卸地耦接到終端主體的外部。電池191可以經由連接到接口單元160的電源線纜接收電力。而且，電池191可以使用無線充電器以無線方式再充電。無線充電可以利用磁感應或電磁諧振來實施。

如前參考圖1所描述的，移動終端可以被配置為包括諸如藍牙^TM、射頻識別(RFID)、紅外數據協會(IrDA)、超寬帶(UWB)、紫蜂^TM、近場通信(NFC)、無線USB(無線通用串行總線)等等的短程通信技術。

在根據本發明的包括相機200和顯示單元151的移動終端中，在相機200中獲取的圖像中產生了閃爍。在該情況下，產生的問題在于可以從顯示單元151上顯示的圖像移除閃爍，但是無法根據光源的類型執行不同的白平衡。

本發明提出了用于在存在至少一個光源的環境中使用相機的圖像傳感器和紅外傳感器基于光源的類型執行白平衡的機制。

下面，將參考圖4至圖9詳細描述設置有相機、紅外傳感器和顯示單元的本發明的移動終端。

首先，圖4是示出移動終端使用相機和紅外傳感器確定是否生成了閃爍并且檢測與為閃爍的生成做出貢獻的光源相關的信息的概念圖。

參考圖4，移動終端100包括相機200、紅外傳感器143和顯示單元151。

由圖像傳感器獲取通過相機200采集的對象的圖像信號，并且所采集的圖像顯示在顯示單元151上。

本發明實施了一種用于白平衡的方法，其根據多個光源的類型來校正顏色改變，其中，所述多個光源包括分別對應于第一至第三光源的白熾燈310、熒光燈320和自然光(太陽光)330。如果僅存在第三光源330，則沒有由圖像傳感器生成閃爍。然而，如果生成了閃爍，則不容易識別出閃爍的因素是由第一光源310引起的還是由第二光源320引起的。

然而，基于紅外傳感器143的紅外信號相對于第一光源310和第三光源330具有高反射率，但是相對于第二光源320具有低反射率。即，如果提供了紅外傳感器143，則可以執行基于光源的類型的白平衡。

因此，如果由圖像傳感器產生了閃爍并且檢測到紅外信號，則可以確定由第一光源310引起了閃爍。而且，如果由圖像傳感器生成了閃爍并且沒有檢測到紅外信號， 則可以確定閃爍是由第二光源320引起的。而且，如果圖像傳感器沒有產生閃爍，則可以確定僅存在第三光源330作為周圍光源。

而且，將參考圖5至圖9描述根據本發明的移動終端和圖像處理方法。在該情況下，可以考慮首先驅動紅外傳感器143的情況以及首先驅動圖像傳感器并且然后驅動紅外傳感器143的情況。

圖5是示出根據本發明的包括執行白平衡的相機、紅外傳感器和顯示單元的移動終端的框圖。如圖5中所示，在移動終端100中設置有相機200。在該情況下，相機200可以包括圖像傳感器210和圖像處理器220。而且，移動終端可以還包括紅外傳感器143、顯示單元151和控制器180。

紅外傳感器143檢測從通過相機200采集的對象反射的紅外信號。

顯示單元151在屏幕上顯示與周圍背景關聯的圖像和所采集的對象。

控制器180確定是否使用圖像傳感器210生成了閃爍，并且使用紅外信號檢測與對于閃爍的生成做出貢獻的光源相關的信息。這時，如果沒有生成閃爍，則確定僅存在第三光源(太陽光)。同時，如果生成了閃爍，則可以使用紅外信號來確定閃爍是否是由第一光源和第二光源中的任一個引起的。

而且，控制器180可以使用紅外傳感器143確定是否生成了閃爍并且使用圖像傳感器信號來檢測與對閃爍的生成做出貢獻的光源相關的信息。

這時，控制器180確定從紅外傳感器143獲取的紅外信號是否是預定值或更大。而且，如果從紅外傳感器143獲取的紅外信號是預定值或更大，則控制器180基于紅外信號的平均強度的變化來確定是否生成閃爍。而且，如果生成了閃爍，則控制器180生成閃爍信息以及與對于閃爍的生成做出貢獻的光源相關的信息。在該情況下，閃爍信息表示隨時間變化的閃爍值或者這些閃爍值的變化。

圖像傳感器210在存在至少一個光源的環境中獲取通過相機200采集的對象的圖像信號。

圖像處理器220基于從圖像傳感器獲取的圖像信號的閃爍信息以及與光源相關的信息來執行所獲取的圖像的白平衡。

在該情況下，如果周圍光源是白熾燈(第一光源)，則色溫譜向紅色偏移，并且如果周圍光源是熒光燈(第二光源)，則色溫譜向綠色偏移。因此，白平衡是用于通過基于光源對譜偏移進行電子校正來對顏色進行校正以允許在顯示單元151上與光 源的類型無關地顯示對象的特有的顏色的方案。

而且，閃爍表示來自光源的光的量隨著時間的變化而變化。更具體地，當光源的平均強度在特定時間內變化時生成了閃爍。

同時，圖6示出了基于供電電源的光源的光的量的變化，并且圖7示出了基于時間的變化的光源的光的量的變化。

如圖6中所示，50Hz或60Hz的電源被提供給白熾燈和熒光燈。在該情況下，注意的是，如果供電電源的頻率為60Hz，則諸如白熾燈和熒光燈的光源的光的量根據時間以1/120秒的周期變化。另一方面，諸如太陽光的自然光沒有根據時間而變化而是具有給定量的光。

因此，入射到相機200上的自然光能夠與白熾燈和熒光燈區分開。然而，不容易識別白熾燈還是熒光燈作為周圍光進入到相機200。然而，如上所述，如果檢測到從對象反射的紅外信號，則能夠識別出是白熾燈還是熒光燈作為周圍光進入相機200。

同時，將更詳細地描述檢測與周圍光源相關的信息的方法。

如果比較從太陽光(第三光源)采集對于紅外信號具有高反射率的對象的情況和從白熾燈(第一光源)采集對象的情況，則從對象反射的信號的大小可能彼此類似。

然而，如果從熒光燈(第二光源)采集對象，則從對象反射的信號的大小小于從由第一光源和第三光源采集的對象反射的信號的大小。因此，如果紅外信號是預定值或更小，則控制器180生成與作為熒光燈(第二光源)的光源相關的信息并且將與光源相關的信息發送給圖像處理器220。在該情況下，圖像處理器220基于第二光源執行所獲取的圖像的白平衡。

而且，如果確定紅外信號是預定值或更大并且生成了閃爍，則控制器180確定存在白熾燈(第一光源)。同時，如果確定紅外信號是預定值或更大并且沒有生成閃爍，則控制器180確定存在太陽光(第三光源)。在該情況下，圖像處理器220基于第一光源和第三光源執行所獲取的圖像的白平衡。

然而，與光源相關的信息的確定以及白平衡的執行不限于確定存在一種類型的光源并且基于確定結果執行白平衡的情況。例如，如果周圍光源包括70％的白熾燈(第一光源)以及30％的太陽光(第二光源)，則周圍光源具有不同于與周圍光源包括100％的白熾燈(第一光源)的情況相對應的閃爍圖案。

因此，控制器180可以基于閃爍信息確定與光源相關的信息的詳細比率，并且將 所確定的比率發送給圖像處理器220。而且，控制器180可以將閃爍信息發送給圖像處理器220，并且圖像處理器220可以確定與光源相關的信息的詳細比率。

如圖7中所示，從紅外傳感器143和圖像傳感器210獲取的光源的光的量根據時間而變化。如果光源是太陽光，則光的量將具有固定值而與時間的變化無關。

同時，如果紅外傳感器143和圖像傳感器210的曝光時間的開始時刻點對于根據時間變化的光的量而變化，則注意的是，光的量的平均強度值在每個時間段變化。參考圖6，注意的是，當開始時間增大時光的量的平均強度值減小，而顯示在每個時間幀的對比度被顯示為較暗。

如果圖像傳感器210是互補金屬氧化物半導體(CMOS)圖像傳感器，則圖像傳感器被實施為卷簾式快門。因此，圖像傳感器210具有對于幀內的每條線變化的曝光時刻。即，基于曝光時間的光的總量對于圖像傳感器的每條線變化，從而生成了閃爍。

同時，不管是否感測到閃爍，都注意的是，對于紅外傳感器143，由白熾燈(第一光源)引起了閃爍。而且，注意的是，對于圖像傳感器143，由白熾燈(第一光源)或熒光燈(第二光源)引起了閃爍。

同時，根據本發明的一個實施方式，圖像信號和紅外信號中的每一個包括其開始時刻點彼此不同的多個輸入信號。

而且，多個輸入信號的曝光時間的頻率不同于第一和第二光源的操作頻率。這是因為，如果曝光時間的頻率與第一和第二光源的50Hz(或60Hz)的操作頻率相同，則即使曝光時間變化，光源的平均強度在曝光時間內也不變化。

下面，將描述在控制器180或圖像處理器220中確定與光源相關的信息并且執行白平衡的詳細過程。

圖像處理器220可以基于熒光燈(第二光源)執行所獲取的圖像的白平衡。這是因為熒光燈(第二光源)在室內拍攝的情況下是主光源。而且，如果紅外傳感器143不是始終工作，并且因此被禁用，則直到紅外傳感器143被啟用需要時間。因此，可以在默認狀態下執行基于熒光燈(第二光源)獲取的圖像的白平衡。

接下來，如果紅外信號是預定值或更大并且生成了閃爍，則圖像處理器220基于第一光源執行所獲取的圖像的白平衡。另一方面，如果紅外信號是預定值或更大并且沒有生成閃爍，則圖像處理器220基于第三光源執行所獲取的圖像的白平衡。

控制器180可以確定紅外傳感器是否被啟用，并且可以在紅外傳感器被禁用的情 況下基于圖像信號的平均強度的變化來確定是否生成了閃爍。

這時，如果沒有生成閃爍，則圖像處理器220可以基于第三光源執行所獲取的圖像的白平衡。而且，如果生成了閃爍，則控制器180可以再次確定紅外傳感器是否被啟用。

圖像處理器220可以對于所獲取的圖像執行白平衡、自動曝光和自動對焦。而且，圖像處理器220可以對通過白平衡、自動曝光和自動對焦處理的圖像進行數字化和分析。

同時，圖像處理器220可以由內置在相機200中的硬件電路和固件或軟件來實施。而且，與圖5不同的是，圖像處理器220可以由控制器180內的硬件電路和固件或軟件來實施。

下面，將描述根據本發明的設置有相機的移動終端的圖像處理方法。可以由該圖像處理方法執行根據多個光源的白平衡。

圖8是示出根據本發明的一個實施方式的圖像處理方法的流程圖。圖8的方法是用于在紅外傳感器可以檢測到從對象反射的紅外信號的情況下執行白平衡的方法。

圖9是示出根據本發明的另一實施方式的圖像處理方法的流程圖。圖9的方法是用于通過確定紅外傳感器是否被啟用來執行最優白平衡的方法。

參考圖8，圖像處理方法(700)包括獲取圖像的步驟S710、比較紅外信號的步驟S720、確定是否生成了閃爍的步驟S730以及執行白平衡的步驟S740。在該情況下，執行白平衡的步驟S740包括執行第一至第三白平衡的步驟S741至S743。

獲取圖像的步驟S710包括：獲取在存在至少一個光源的環境中通過相機采集的對象的圖像。

比較紅外信號的步驟S720包括：通過紅外傳感器檢測從對象反射的紅外信號以及確定所檢測到的紅外信號是否是預定值或更大。

確定是否生成閃爍的步驟S730包括：如果紅外信號是預定值或更大，則基于紅外信號的平均強度的變化來確定是否生成了閃爍。

執行第一白平衡的步驟S741包括：如果生成了閃爍，則基于閃爍信息和對于閃爍的生成做出貢獻的光源(白熾燈、第一光源)來執行所獲取的圖像的白平衡。

執行第二白平衡的步驟S742包括：如果沒有生成閃爍，則基于第三光源(太陽光)執行所獲取的圖像的白平衡。

執行第三白平衡的步驟S743包括：如果紅外信號是預定值或更小，則基于第二光源(熒光燈)執行所獲取的圖像的白平衡。

在該情況下，圖像信號和紅外信號中的每一個包括其開始點彼此不同的多個輸入信號。而且，多個輸入信號的曝光時間的頻率不同于第一和第二光源的操作頻率。這是因為，如果曝光的頻率與操作頻率相同，則不存在基于時間變化的光的量的變化。已經參考圖6對此進行了描述。

接下來，參考圖9，圖像處理方法800包括獲取圖像的步驟S710、確定紅外傳感器是否被啟用的步驟S815、比較紅外信號的步驟S720、確定是否生成第一閃爍的步驟S730、確定是否生成第二閃爍的步驟S840以及執行白平衡的步驟S850。在該情況下，執行白平衡的步驟S850包括執行第一至第三白平衡的步驟S851至S853。

在該情況下，獲取圖像的步驟S710和比較紅外信號的步驟S720將被圖7的描述替代。而且，確定是否生成第一閃爍的步驟S730對應于圖7中確定是否生成閃爍的步驟S730。

在步驟S815中，確定紅外傳感器是否被啟用。這是因為，如果相機被啟用則圖像傳感器被啟用，但是紅外傳感器與相機分離地操作。而且，即使當相機被啟用時紅外傳感器被啟用，紅外傳感器也可能已經被其他應用使用。

步驟S840在紅外傳感器被禁用的情況下基于圖像信號的平均強度的變化來確定是否生成了第二閃爍。

同時，執行第一至第三白平衡的步驟S851至S853包括基于第一光源(白熾燈)、第二光源(熒光燈)和第三光源(太陽光)執行從圖像傳感器獲取的圖像的白平衡。

同時，如果在確定是否生成第二閃爍的步驟S840中沒有生成閃爍，則基于第三光源執行所獲取的圖像的白平衡(S853)。

另一方面，如果在確定是否生成了第二閃爍的步驟S840中生成了閃爍，則再次確定紅外傳感器是否被啟用(S815)。這是確定閃爍是與第一光源(白熾燈)相關還是與第二光源(熒光燈)相關。

然而，如果在確定是否生成了第二閃爍的步驟S840中生成了閃爍，沒有再次確定紅外傳感器是否被啟用，或者在特定時間過去后，則可以基于第二光源(熒光燈)執行所獲取的圖像的白平衡。而且，如果在確定紅外傳感器是否被啟用的步驟S815中禁用了圖像傳感器，則可以在默認狀態下基于第二光源執行白平衡。

而且，可以對來自圖像傳感器的閃爍圖案進行彼此比較以確定閃爍圖案是由第一光源(白熾燈)引起的還是由第二光源(熒光燈)引起的。然而，由于由第一光源(白熾燈)或第二光源(熒光燈)引起的閃爍圖案彼此類似，因此不優選的是，確定閃爍圖案是由第一光源引起的還是由第二光源引起的。

同時，如果在基于第二光源執行所獲取的圖像的白平衡時或之后紅外傳感器被啟用，則可以在紅外傳感器被啟用的情況下執行比較紅外信號的步驟S720。

因此，如果在比較紅外信號的步驟S720中紅外信號是預定值或更大，并且如果在確定是否生成第一閃爍的步驟S730中生成了閃爍，則基于第一光源(白熾燈)執行所獲取的圖像的白平衡(S851)。

而且，如果在比較紅外信號的步驟S720中紅外信號是預定值或更大，并且如果在確定是否生成第一閃爍的步驟S730中沒有生成了閃爍，則基于第三光源(太陽光)執行所獲取的圖像的白平衡(S853)。

而且，如果在比較紅外信號的步驟S720中紅外信號是預定值或更小，則基于第二光源(熒光燈)執行所獲取的圖像的白平衡(S852)。

如上所述，在根據本發明的配備有相機的移動終端中，已經詳細描述了用于執行白平衡的圖像處理方法。

根據圖像處理方法和用于白平衡的方法，如果存在至少一個周圍光源，則可以執行根據光源的類型的有效白平衡。而且，即使存在多個周圍光源，也可以預測多個周圍光源的比例，從而可以執行根據多個光源的比例的白平衡。

根據本發明的至少一個實施方式，有利之處在于可以通過基于圖像傳感器和紅外傳感器的閃爍分析來執行根據周圍光源的類型的有效白平衡。

而且，根據本發明的至少一個實施方式，有利之處在于可以在紅外傳感器被啟用的情況下執行根據周圍光源的類型的有效白平衡。

可以使用其上存儲有用于由處理器執行以執行這里示出的各種方法的機器可讀介質來實施各實施方式。可能的機器可讀介質的示例包括HDD(硬盤驅動器)、SSD(固態硬盤)、SDD(硅盤驅動器)、ROM、RAM、CD-ROM、磁帶、軟盤、光學數據存儲裝置、這里示出的其他類型的存儲介質及其組合。如果需要，則機器可讀介質可以實現為載波的形式(例如，通過互聯網傳輸)。處理器可以包括移動終端的控制器180。

前述實施方式僅是示例性的并且不被視為限制本公開。本教導能夠容易地應用于其他類型的方法和設備。該說明書意在是示出性的，并且不限制權利要求的范圍。對于本領域技術人員來說，很多替選、修改和變化都是顯而易見的。這里描述的示例性實施方式的特征、結構、方法和其他特性可以以各種方式組合以獲得額外的和/或替選的示例性實施方式。

由于在不偏離其特性的情況下可以以若干形式來實施當前的特征，因此還應理解的時，上述實施方式不受到前述說明書的任何細節的限制，除非另有所述，但是應該在所附權利要求限定的范圍內寬泛地來理解，，并且因此，落入權利要求的尺度和界限或者這樣的尺度和界限的等價物內的所有變化和修改都應該由所附權利要求覆蓋。