用于基于膚色檢測來進行相機測定的系統和方法

專利名稱：用于基于膚色檢測來進行相機測定的系統和方法
技術領域：
本發明總體上涉及攝影術，更具體地說，涉及用于基于膚色(flesh tone)檢測來進行相機測定(metering)的系統和方法。
背景技術：
數字相機的曝光設置可以基于點測定(spot metering)。典型的點測 定技術包括對相機的整個視場中的一些或全部視場的照明等級進行監 測。將這些照明等級進行綜合，以評估照明條件并且調整曝光設置，諸 如閃光燈(flash)強度(如果要使用閃光燈)、f制光圈(f-stop)、快門速 度等。在對照明等級進行綜合的期間，相機視場中的一個固定區域或多 個區域被賦予更大的權重。例如，根據相機用戶傾向于將照片的希望目 標設置于相機視場中央的理論，對場景的中央矩形部分可以賦予比該視 場其余部分大的權重。
存在一些其中點測定無效的情況。例如，如果用戶希望拍攝某人的 照片而在所測定的點存在較暗對象(subject matter)(例如，位于為照片 擺好姿勢的該人之后的較暗樹葉)，則相機會感測到該照片是暗場景并由 此設置曝光設置。結果，人的面部可能會曝光過度。類似的是，如果在 所測定的點存在較亮對象，則面部可能會曝光不足。在這兩種情況下， 相對而言并不重要的細節(例如，此前示例中的葉子)可能會被很好地 成像，而在所得到的照片中的面部可能太亮(例如，看起來"褪色 (washed-out)"的樣子)或太暗。區域測定技術受相同問題的困擾。
另外，多數數字相機采用模擬增益調整，以使得被成像場景"充滿" 模擬-數字轉換器(ADC)的動態范圍。許多ADC出于成本、靈敏度、 尺寸以及速度的原因而具有有限范圍(例如，大約是一個8比特字)。如 果這種測定導致將面部成像為較暗或較亮區域，則面部細節傾向于在ADC的范圍中被動態壓縮。具體來說，點測定技術、區域測定技術以及 組合點及區域的測定技術通常不能動態地將面部設置在ADC范圍的中 央，這是因為當拍攝一個或更多個人的照片時，(多個)面部可能不會處 于用于點測定的點中、和/或(多個)面部可能沒有占據能夠有效地影響 區域測定的足夠大的區域、和/或相機選擇了錯誤的測定方法(如果這對 于相機可用)。因而，這種測定可能不能為相機視場中的人的高質量成像 來調整曝光設置。有時使用后處理(post processing)來改進照片的動態 壓縮部分，但是一旦因為壓縮而丟失數據，則對比度通常不可恢復，而 且已知的是，后處理會引入噪聲。
一些相機允許手動調整曝光設置，以最佳化面部細節。但是大部分 相機用戶并不熟悉應當采取什么動作來手動調整相機設置。

發明內容
為了提高照片質量，在本領域中，存在對能夠得到出現在照片中的 人的改進圖像質量的用于自動化相機測定的系統和方法的需要。根據本 發明的特定方面，將膚色檢測用于驅動相機測定，以使得出現在照片中 的面部及人具有高度細節和對比度。
根據本發明的一個方面，提供了一種用于調整數字相機的曝光設置 的方法，該方法包括以下步驟在所述相機的視場的至少一部分視場中 搜索具有膚色的多個像素；分析多個膚色像素以識別出至少一個膚色點； 對所述相機的視場進行點測定，使得為至少一個膚色點賦予比所述視場 的其余膚色點大的權重；以及基于所述點測定來調整所述曝光設置。
根據該方法的一個實施方式，所述分析多個膚色像素的步驟包括以 下步驟根據所述多個膚色像素彼此之間的相對接近度來對所述多個膚 色像素進行分組。
根據該方法的一個實施方式，所述膚色點的區域具有至少占閾值百 分比的膚色像素。
根據一個實施方式，該方法還包括以下步驟在進行所述點測定之
前縮減所述膚色點的尺寸。根據一個實施方式，該方法還包括以下步驟針對各個像素而將對
所述視場進行成像的傳感器的RGB輸出轉換成基于坐標的顏色值。
根據該方法的一個實施方式，所述膚色由基于坐標的顏色空間(color
space)的預定部分來限定。
根據該方法的一個實施方式，所述基于坐標的顏色空間的預定部分
是橢圓的。
根據該方法的一個實施方式，所述基于坐標的顏色空間的橢圓部分 由一組矩形逼近。
根據一個實施方式，該方法還包括以下步驟從較暗向較亮重復地 調整所述曝光設置，直到檢測到膚色飽和為止。
根據一個實施方式，該方法還包括以下步驟在檢測到膚色飽和時，
對所述重復調整的至少一部分進行反轉。
根據本發明的另一方面，提供了一種相機，該相機包括傳感器， 該傳感器用于對視場進行成像，并且輸出表示了多個像素的照度 (luminance)及顏色的信號；以及控制器，該控制器通過以下步驟來調 整所述相機的曝光設置識別出哪些像素具有膚色；分析這些膚色像素 以識別出至少一個膚色點；對所述視場進行點測定以使得為至少一個膚 色點賦予比所述視場的其余膚色點大的權重；以及基于所述點測定來調 整所述曝光設置。
根據該相機的一個實施方式，所述控制器執行邏輯指令以調整所述 曝光設置。
根據該相機的一個實施方式，所述控制器分析多個膚色像素的步驟 包括以下步驟根據所述多個膚色像素彼此之間的相對接近度來對所述 多個膚色像素進行分組。
根據該相機的一個實施方式，所述膚色點的區域具有至少占閾值百 分比的膚色像素。
根據該相機的一個實施方式，所述控制器在進行點測定之前縮減所 述膚色點的尺寸。
根據該相機的一個實施方式，所述傳感器的輸出具有針對各個像素的RGB值集，并且所述控制器針對各個像素而將傳感器的RGB輸出轉 換成基于坐標的顏色值。
根據該相機的一個實施方式，所述膚色由基于坐標的顏色空間的預 定部分來限定。
根據該相機的一個實施方式，所述控制器從較暗向較亮重復地調整 所述曝光設置，直到檢測到膚色飽和為止。
根據該相機的一個實施方式，在檢測到膚色飽和時，所述控制器對 所述重復調整的至少一部分進行反轉。
根據該相機的一個實施方式，該相機形成其具有通過通信網絡而建 立呼叫的無線電電路的移動無線終端的一部分。
根據以下說明并參照附圖，本發明的這些和其它特征將變得更加清 楚。在說明和附圖中，詳細公開了本發明的具體實施方式
，作為對可以 實現本發明的原理的一些方式的指示，但是可以理解的是，本發明在范 圍上并不受相應限制。相反，本發明涵蓋落入所附的權利要求的精神和 條款內的全部變化例、修改例以及等同物。
根據一個實施方式所描述和/或例示的多種特征，可以通過相同方式 或者類似方式而被用于一個或更多個其它實施方式中，和/或與其它實施 方式的特征相組合而使用，或代替其它實施方式的特征而使用。
應當強調的是，當在本說明書中使用時，術語"包括 (comprises/comprising)"用于表明所述特征、整件、步驟或組件的存在， 但是并不排除一個或更多個其它特征、整件、步驟、組件或它們組合的 存在和增加。


圖1是根據本發明一個實施方式的具有相機組件(camera assembly) 并作為示例性電子裝置的移動電話的示意性正視圖； 圖2是圖1的移動電話的示意性后視圖； 圖3是圖1的移動電話的操作部分的示意性框圖； 圖4是圖1的移動電話可以工作于其中的通信系統的示意圖；圖5是表示根據本發明的相機測定的示例性方法的流程圖；以及
圖6是表示圖5的方法中的膚色像素識別步驟及膚色像素分析步驟
的流程圖。
具體實施例方式
現在將參照附圖對本發明進行描述，其中，相同的附圖標記始終表 示相同的單元。可以理解的是，附圖不需要按照比例繪制。
本發明的各個方面涉及攝影術。這里描述的技術可應用于利用數字 靜物相機來拍攝照片和利用數字視頻相機來拍攝視頻。可以理解的是， 一些數字相機能夠拍攝靜物圖像以及視頻。如果膠片相機配備有如這里 描述的用于檢測膚色的合適傳感器，則這里描述的技術還可以與這種相 機一起使用。
這里描述的技術可以通過包括有相機的任何類型的電子裝置來執 行。例如，可以根據本發明來構造專用靜物和/或視頻數字相機。
作為另一示例，許多移動電話包括可以根據本發明而構造的相機。 作為示例，可以在包括有相機組件的移動電話的背景下進行以下說明。 但是可以理解的是，本發明并不限于移動電話，而可以涉及任何類型的 合適電子設備，其示例包括專用相機、包括有相機的媒體播放器、包括 有相機的游戲裝置以及包括有相機的計算機。這里出于描述的目的，可 互換的術語"電子設備"和"電子裝置"包括便攜式無線通信設備。術 語"便攜式無線通信設備"(此后稱為"移動無線終端")包括諸如移動
電話、尋呼機、通信裝置、電子記事本、個人數字助理(PDA)、智能手 機、便攜式通信裝置等的全部設備。
首先參照圖1到圖3，圖1到圖3示出了電子裝置10。電子裝置IO 包括相機組件12，相機組件12被設置成基于相機視場中存在的膚色來進 行測定并且調整曝光設置。稍后將對相機組件12的附加細節和操作進行 更詳細的描述。這里描述的用于測定的技術可以被具體實施為駐留在電 子裝置10中并由電子裝置10執行的可執行代碼。在一個實施方式中， 相機組件12和/或電子裝置10可以包括其執行存儲在計算機或機器可讀介質上的程序的控制器或處理器。該程序可以是獨立軟件應用程序，或
者形成其執行與電子裝置10有關的附加任務的軟件應用程序的一部分。 所例示的實施方式的電子裝置是移動電話，并被稱為移動電話10。 所示的移動電話10具有"磚形"或"塊形"外形設計的外殼，但是可以
理解的是，可以利用其它類型外殼，諸如翻蓋式外殼(例如，"翻"開式 外殼)或滑蓋式外殼。
移動電話10可以包括顯示器14。顯示器14向用戶顯示諸如操作狀 態、時間、電話號碼、聯系人信息、各種導航菜單等的信息，這些信息 使得用戶能夠利用移動電話10的各種特征。顯示器14還可用于可視地 顯示移動電話10接收到的內容和/或從移動電話10的存儲器16 (圖3) 獲取的內容。顯示器14可用于向用戶呈現圖像、視頻以及其它圖片，諸 如照片、移動電視內容以及與游戲相關的視頻。而且，顯示器14可以用 作相機組件12的電子取景器(viewfmder)。
鍵區18提供各種用戶輸入操作。例如，鍵區18通常包括用于輸入 諸如電話號碼、電話列表、聯系人信息、注釋等的字母數字信息的字母 數字鍵。另外，鍵區18通常包括特殊功能鍵，諸如用于發起或應答呼叫 的"呼叫發送"鍵和用于結束或"掛斷"呼叫的"呼叫結束"鍵。特殊 功能鍵還可以包括菜單導航和選擇鍵，其用于通過顯示在顯示器14上的 菜單來進行導航。特殊功能鍵可以包括視聽內容回放鍵，以開始、停止 和暫停回放，跳過或重復音軌等。與移動電話相關的其它鍵可以包括音 量鍵、靜音鍵、電源開/關鍵、web瀏覽器啟動鍵等。 一些鍵或全部鍵可 以作為軟鍵與顯示器一起使用。還可以將鍵或與鍵類似的功能具體實施 為與顯示器14相關的觸摸屏。當激活相機組件12時，可以使用來自鍵 區18的鍵來控制相機組件12的操作。例如，這些鍵中的一個可以用作 快門鍵，而其它鍵可以控制相機組件的變焦(zoom)。
移動電話10包括呼叫電路，該呼叫電路使得移動電話10能夠與被 叫/呼叫裝置(通常是另一移動電話或固定電話)建立呼叫和域交換信號。 然而，被叫/呼叫裝置不必是另一電話，而可以是諸如互聯網web服務器、 內容提供服務器等的一些其它裝置。呼叫可以采用任何合適的形式。例如，該呼叫可以是通過蜂窩電路交換網絡而建立的傳統呼叫，或者是通
過蜂窩網絡的分組交換能力或通過替換分組交換網絡(諸如WiFi、A^!Max 等)而建立的互聯網語音傳輸協議(VoIP)呼叫。另一示例包括通過蜂 窩或替換網絡而建立的視頻使能呼叫。
移動電話10可以被設置成發送、接收和/或處理數據，諸如文本消 息(例如，俗稱為"SMS"，其代表簡單消息服務)、電子郵件消息、多 媒體消息(例如，俗稱為"MMS"，其代表多媒體消息服務)、圖像文件、 視頻文件、音頻文件、鈴聲、流式音頻、流式視頻、數據饋送(data feed) (包括播客(podcast))等。對這些數據的處理可以包括將數據存儲在存 儲器16中、執行允許用戶與數據進行交互的應用、顯示與數據相關的視 頻和/或圖像內容、輸出與數據相關的音頻聲音等。
圖3示出了移動電話10的功能性框圖。為了簡潔，這里并不對移動 電話10的一般傳統特征進行詳細的描述。移動電話IO包括主控制電路 20，主控制電路20被設置成執行對移動電話10的功能和操作的整體控 制。控制電路20可以包括諸如CPU、微控制器或微處理器的處理裝置 22。處理裝置22執行存儲在控制電路20內的存儲器(未示出)中和/或 存儲在獨立存儲器(諸如存儲器16)中的代碼，以執行移動電話10的操 作。存儲器16例如可以是緩存、閃存、硬盤驅動器、可移除介質、易失 性存儲器、非易失性存儲器或其它合適裝置中的一個或更多個。
繼續參照圖1到3，移動電話10包括連接到無線電電路26的天線 24。如傳統的一樣，無線電電路26包括用于經由天線24來發射和接收 信號的射頻發射機和接收機。無線電電路26可以被設置成在移動通信系 統中工作，并可用于發送和接收數據和/或視聽內容。與移動無線網絡和/ 或廣播網絡交互的接收機類型包括但不限于GSM、 CDMA、 WCDMA、 GPRS、 MBMS、 WiFi、 WiMax、 DVB-H、 ISDB-T等以及這些標準的高 級版本。
移動電話10還包括用于處理由無線電電路26發射的及從無線電電 路26接收到的音頻信號的聲音信號處理電路28。如傳統的一樣，聲音處 理電路28連接有揚聲器30和麥克風32，揚聲器30和麥克風32使得用戶能夠經由移動電話IO收聽和講話。無線電電路26和聲音處理電路28 分別連接到控制電路20，以執行整體操作。可以將音頻數據從控制電路 20傳送至聲音信號處理電路28，以向用戶回放。音頻數據例如可以包括 來自由存儲器16存儲并由控制電路20獲取的音頻文件的音頻數據，或 包括諸如按照流式音頻數據形式而從移動無線服務接收到的音頻數據。 聲音處理電路28可以包括任何合適的緩存、解碼器、放大器等。
顯示器14可以通過視頻處理電路34連接到控制電路20，視頻處理 電路34將視頻數據轉換成用于驅動顯示器14的視頻信號。視頻處理電 路34可以包括任何合適的緩存、解碼器、視頻數據處理器等。視頻數據 可以由控制電路20生成、從存儲在存儲器16中的視頻文件中獲取、從 由無線電電路28接收到的入向視頻數據流中得到、或通過任何其它合適 的方法獲得。
移動電話10還可以包括一個或更多個I/O接口 36。1/0接口 36可以 采用典型的移動電話I/O接口的形式，并且可以包括一個或更多個電連接 器。如典型的一樣，(多個)1/0接口 36可用于將移動電話IO連接到電 池充電器，以對移動電話10內的電源單元(PSU) 38的電池進行充電。 另外，或作為替換方式，(多個)I/O接口 36可用于將移動電話10連接 至具有與移動電話10的有線接口的耳機組件(例如，個人免提(PHF) 裝置)。此外，(多個)1/0接口36可用于經由數據線纜而將移動電話10 連接至個人計算機或其它裝置，以交換數據。移動電話10可以在連接至 車載電源適配器或電插座電源適配器時經由(多個)1/0接口 36來接收 工作電力。
移動電話10還可以包括用于執行定時功能的定時器40。這些功能 可以包括對通話的持續時長進行計時、生成時間和日期戳的內容等。移 動電話10還可以包括位置數據接收機42,諸如全球定位系統(GPS)接 收機、伽利略衛星系統接收機等。
移動電話10還可以包括諸如紅外線收發機和/或RF適配器(例如， 藍牙適配器)的本地無線接口 44，用于與附件、另一移動無線終端、計 算機或另一裝置建立通信。例如，在其中該耳機組件具有相應的無線接口的實施方式中，本地無線接口 44可以可操作地將移動電話10連接到 該耳機組件(例如，PHF裝置)。
另外參照圖4，移動電話10可以被設置成作為通信系統46的一部 分而工作。系統46可以包括具有服務器50 (或多個服務器)的通信網絡 48，該服務器用于對由移動電話10發起的呼叫或目的地為移動電話10 的呼叫進行管理、向移動電話IO發送數據、以及執行任何其它支持功能。 服務器50經由傳輸介質與移動電話10通信。傳輸介質可以是任何合適 的裝置或組件，例如包括通信塔(例如，蜂窩塔)、另一移動電話、無線 接入點、衛星等。網絡的一部分可以包括無線傳輸路徑。網絡48可以支 持多個移動電話10以及其它類型的終端用戶裝置的通信活動。可以理解 的是，服務器50可以被設置為用于執行服務器功能的典型計算機系統， 并且可以包括被設置成執行包含了實現服務器50的多個功能的邏輯指令 的軟件的處理器和存儲這種軟件的存儲器。
繼續參照圖1到圖3，相機組件12可以包括控制器52，諸如數字信 號處理器(DSP)。在其它實施方式中，被描述為由控制器52執行的相機 組件12控制功能中的一些或全部可以由控制電路20來執行，從而可以 使控制器52小型化或省略控制器52。控制器52控制相機組^牛12操作的 各個方面，包括但不限于測定操作以及曝光設置的管理。控制器52可以 對由相機組件12拍攝的圖像和/或視頻數據的存儲進行協調。例如，圖像 和/或視頻數據可以由存儲器16存儲在相應的圖像文件和/或視頻文件中。
控制器52可以執行用于實現相機組件12控制功能的代碼。如何對 相機和域移動電話編程，以使其工作并執行與相機組件12的控制相關的 邏輯功能，這對于計算機編程領域、尤其是對于相機、移動電話或其它 電子裝置的應用編程領域的技術人員是明顯的。因此，為了簡潔，省略 了關于具體編程代碼的細節。而且，雖然根據本發明的優選實施方式由 控制器52來執行這些代碼，但是也可以經由專用硬件、固件、軟件或它 們的組合來執行這種功能，而不脫離本發明的范圍。
在例示的實施方式中，相機組件12是使用傳感器54來對由該相機 組件的成像光學器件(optics) 56所確定的視場進行成像的數字相機。測光計(light meter) 58可以對視場的照明條件進行檢測。可能存在閃光燈 60，用于在拍攝照片期間提供輔助照明。
另外參照圖5和圖6，圖5和圖6例示了用于實現基于膚色檢測的 相機測定的示例性方法的邏輯操作。該示例性方法例如可以通過利用控 制器52執行代碼來執行。因而，圖5和圖6的流程圖可被視為描述了由 相機組件12所執行的方法的各個步驟。雖然圖5和圖6示出了執行功能 邏輯塊的特定次序，但是可相對于所示的次序改變這些塊的執行次序。 此外，可以并行或部分并行地執行連續示出的兩個或更多個塊。還可以 省略某些塊。另外，為了增強實用性、計費(accounting)、性能、測量、 故障診斷等目的，可以將任何數量的功能、邏輯操作、指令、狀態變量、 信號量(semaphore)或消息添加至該邏輯流中。可以理解的是，全部這 種變化都落入本發明的范圍內。
基于膚色檢測來進行相機測定的方法的邏輯流可以從塊62開始，在 塊62中識別出具有膚色的像素。圖6示出了識別膚色像素的詳細方法。 所利用的方法依次地對各個像素是否具有膚色進行確定，但是可以理解 的是，可以同時針對多個像素來進行這種確定。確定膚色像素的邏輯流 可以從塊64開始，在塊64中接收該像素的值集。例如，傳感器54可以 輸出輸入到控制器52中的該像素的紅色、綠色、藍色(RGB)值集。
在塊66中，可以將該像素的RGB值集轉換成CIE比色圖表(color chart)(或顏色空間)值。例如，可以將RGB值集可以轉換成YUV值集。 這些YUV值涉及比色圖表的坐標系統，其中，Y值表示照度(亮度 (brightness)),而U值及V值表示色度(顏色)分量，或表示XY類型 (style)顏色平面上的點。該平面的右上象限(U及V都是正值)通常 包括紫色，該平面的右下象限(U是正值，而V是負值)通常包括藍色， 該平面的左上象限(U是負值，而V是正值)通常包括紅色、橙色以及 黃色，而該平面的左下象限(U及V都是負值)通常包括綠色，但是這 些顏色傾向于在該平面中混合在一起。可以利用線性表達式來從RGB轉 換成YUV以及從YUV轉換回RGB。例如，利用RGB的已知值，可以 解出等式1到等式3，以得到YUV值。Y-0.30R + 0.59G + 0.11B 等式1
U = 0.70R - 0.59G - 0.1 IB 等式2
V = -0.3R - 0.59G + 0.89B 等式3
U及V的值沒有照度分量。如果針對R、 G以及B的值全部相同， 則限定了灰色，并且相應的U值和V值為零。而且，改變Y的值并不會 改變顏色，而改變顏色并不會改變亮度。其它顏色空間系統使用Yxy坐 標，其中，Y是照度，而x和y表示傾斜的、拋物線狀(parabolic-shape) 顏色空間色度圖(chromaticity diagram)上的顏色，在該色度圖中，外部 的彎曲部分是光譜(或單色)軌跡。這里描述的技術可以被修改成使用 像素的值集的Yxy表示法，而不是使用YUV表示法。應注意到，YUV 顏色表示法可能依賴于包括在相機組件12中的特定傳感器54，并且可以 針對具體的相機組件12來調整照度與顏色之間的轉換。
在塊68中，可以作出該像素是否與圖像的膚色部分相對應的確定。 例如，如果Y具有最大值255，則代表性膚色可以具有188、 42、 -32或 152、 22、 -27的YUV值。在一個實施方式中，如果一個像素的UV值位 于UV平面的預定矩形部分中，則可以將該像素確定為與膚色相關聯。 例如，可以將膚色限定為具有從21到43的U值以及從-22到-33的V值。 在另一實施方式中，UV平面的與膚色相關聯的部分可以是非矩形形狀， 諸如橢圓或逼近橢圓的一組連續矩形。例如，可以將膚色與以特定UV 坐標為中心的一個或更多個恰可察覺差異(just noticeable difference) (JND)相關聯。例如，如果使用Yxy顏色值，則可以使用以xy坐標.37、.27 為中心的五個JND(5xJND)的橢圓尺寸來確定膚色。包含在(多個)JND 區域內的值可以從多種公開可獲源獲取。可以針對特定相機調整(例如， 為應對傳感器構造的變化)和/或特定相機消費市場，來調整與為了驅動 相機測定目的的膚色相關聯的值的范圍。
本領域技術人員可以理解的是，可以基于前述(forgoing)技術針對 幾乎全部人種來識別膚色像素，而與種族無關。也就是說，具有歐洲血 統、非洲血統以及亞洲血統的人通常具有相同的皮膚著色(coloration), 但具有不同量的色素沉著(pigmentation)。可以將UV和xy顏色值方案用于檢測膚色，而不會受色素沉著程度的影響。然而，應注意到，曝光 過度的皮膚圖像或曝光不足的皮膚圖像不能被識別為具有膚色。例如，
高加索人被攝對象的曝光過度皮膚可能具有253、 -2、 -2的￥1^值，其 中，最大Y值為255。因而，在塊68中皮膚的亮反射(reflectionoff)部 分及皮膚的重陰影化部分不能得到肯定的確定。如稍后將變得更清楚的， 從膚色區域中排除這種像素可以得到基于一個或更多個可識別膚色點來 驅動點測定，并且得到在創建針對照明條件的曝光設置方面的相應改進。
如果在塊68中作出否定的確定，則邏輯流可以前進至塊70，在塊 70中將該像素標記為不具有膚色。另選的是，可以將該像素"歸零"(諸 如通過設置該像素的照度和顏色值)，而表示全黑。如果在塊68中作出 肯定的確定，則邏輯流可以前進至塊72，在塊72中將該像素標記為具有 膚色。可以理解的是，該像素可以與某人的皮膚或類似的著色對象相關 聯。后續的處理用于識別出在驅動對相機組件12的視場的測定中可能有 用的潛在實體部分結構。
在塊70和塊72之后，邏輯流可以前進至塊74，在塊74中，作出 來自傳感器54的輸出的最后一個像素是否已經過塊62的膚色像素識別 處理的確定。在一個實施方式中，來自相機組件12的視場的全部像素都 經過膚色像素識別處理。在另一實施方式中，所選擇的像素集經過膚色 像素識別處理。例如，所構想的是，大部分用戶會將傾向于將人被攝對 象設置在照片中央。因此，在膚色像素識別處理中以及在稍后描述的后 續膚色像素分析中，可以忽略在相機組件12的視場中央區域以外的視場 部分。如果在塊74中作出否定的確定，則邏輯流可以返回至塊64。如果 在塊74中作出肯定的確定，則邏輯流可以前進至本方法的膚色像素分析 部分。
繼續參照圖5和6， 一旦在塊62中識別出膚色像素，則邏輯流可以 前進至塊76，在塊76中分析這些膚色像素。圖6示出了分析膚色像素的 詳細方法。該分析確定是否應當將一個或更多個膚色像素組用于驅動對 相機組件12的視場的測定，由此得到創建曝光設置。
分析膚色像素的邏輯流可以從塊78開始，在塊78中，對在塊72中被識別為具有膚色的像素進行分組。可以通過將各個膚色像素同與之相 距小于指定距離的任何其它膚色像素進行關聯，來創建分組。大于指定 距離的分組可能會因為這些像素中的一些像素的多個關聯而創建。該組 所占據的區域不必是連續的(例如，該組的區域可能包含不具有膚色的 像素)。
各個組都可以具有關聯形狀。被攝對象的實體的多個部分可能不具
有清楚限定的形狀，但是仍然占據了相機組件12的視場的被可寬泛地識 別為普通形狀的區域。例如，面部可能具有橢圓形形狀、未被衣服覆蓋 的四肢(例如，臂部或腿部)可能具有細長形狀、未被衣服覆蓋的軀干 可能具有矩形形狀、通過衣服的"V"形衣領線而暴露的軀干部分可能具 有三角形狀等。而且，與具有膚色的無生命(inanimate)對象相對應的 像素可能具有與該對象相對應的幾何形狀。
在塊80中，將多個膚色像素組相對于彼此和/或相對于識別標準而 進行評估，以識別出可用于驅動相機測定的多個膚色點中的一個膚色點。 對于單獨的或與小于閾值數量的其它膚色像素(例如，大約20個像素的 閾值)分組在一起的膚色像素而言，由于這些膚色像素與太小以致于不 能表示人體對象的一部分(該部分適于驅動相機測定)的區域相關聯， 所以可以忽略這些膚色像素。在一個實施方式中，對于具有清楚限定的 幾何形狀(例如，由直外周線或均勻曲線限定)的多個膚色像素組而言， 由于這些膚色像素組可能與對應于無生命對象的區域相關聯，所以可以 忽略這些膚色像素組。
在分析時可以保留包括了其它色調的膚色像素組，以適應眼睛、嘴 唇、牙齒、面部毛發、化妝、珠寶等。在一個實施方式中，如果包括一 組膚色像素的區域具有超過預定閾值百分比的像素，則可以作出一個人 或多個人的一部分位于相機組件12的視場的相應點中的結論。在一個實 施方式中，該閾值可以是百分之五十。在另一實施方式中，該閾值可以 是百分之六十。在另一實施方式中，該閾值可以是百分之七十，而在一 個其它實施方式中，該閾值可以是百分之八十。具有小于閾值百分比的 膚色像素的一組像素可以被忽略，或為其賦予比用于相機測定目的的膚色點小的權重。
可以對剩余像素組進行分析，從而選擇一個或更多個組以用于相機
測定。例如，可以優選位于最靠近相機組件12的視場中央的膚色區域。 為了測定目的，可以為位于最靠近中央的膚色組賦予比其它膚色區域高 的權重，或者可以在測定期間忽略更遠端的組。作為另一示例，相對于 四肢及軀干而優選面部。在這個實施方式中，可以假定照片中的人正面 朝上，并且可以選擇位于另一組(或多組)像素上的一組(或多組)像 素，以用于相機測定。用于對相對于四肢及軀干而優選面部進行設置的 另一技術是，通常相對于其它形狀組而選擇橢圓形狀組。在一個方法中， 為了測定目的，在這些技術中不與面部相關聯的那些組可能被忽略，或 者在另一方法中，在這些技術中不與面部相關聯的那些組可能被包括在 測定中但被賦予比與面部相關聯的多個組小的權重。
如示例性技術所示，塊80的識別處理可以縮減要用在相機測定中的 膚色組的數量，和/或可以創建要被賦予給各個組的權重的等級(mnk)。 在另一實施方式中，全部像素或與超過閾值數量的像素組相關聯的全部 像素都可用于測定，而與相對尺寸、形狀、位置、膚色百分比等無關。 在這些方法中的任一方法中，如果識別出超過一個膚色點，則可以選擇 這些膚色點中的一個膚色點用于相機測定，可以選擇這些膚色點中的一 些膚色點用于相機測定，或者可以選擇全部這些膚色點用于相機測定。 如上所述，如果要將多個膚色點用于相機測定，則可以根據它們的相對 尺寸、形狀和/或位置來為這些膚色點賦予不同的測定權重。
返回至圖5的流程圖，邏輯流可以前進至塊82，在塊82中，作出 通過塊76的分析而識別出的任何膚色點是否適用于相機測定的確定。如 果作出否定的確定，則邏輯流可以前進至塊84，在塊84中，可以利用默 認方法(諸如傳統的點測定和/或區域測定方法)來執行相機測定。
如果在塊82中作出肯定的確定，則邏輯流可以前進至塊86，在塊 86中，對用于相機測定的該膚色點或多個膚色點調整大小和/或調整形 狀。這種調整大小和/或調整形狀可用于對(多個)點的排布進行設置， 以輔助進行與測定相關聯的處理。例如，同與膚色點相關聯的不規則形狀相比，矩形或其它多邊形更容易處理。而且，可以縮減區域中的(多 個)點(例如，縮減大約百分之五到大約百分之十五)，以消除位于這些 點的外周邊緣處的像素。按照這種方式，在測定中忽略這些點的邊緣。 這可以對其中許多相機的顏色分辨率不如照度檢測一樣好的情況進行補 償。因而，在面部的邊緣處，會出現緩慢的到膚色的顏色過渡，并且消 除膚色點的邊緣將得到以下這種點該點與具有在驅動相機測定中所希 望的照明質量的該被攝對象的皮膚的一部分具有更精確的交疊。
接下來，在塊88中，可以執行基于所識別的膚色點的相機測定。例
如，可以采用點測定技術。在點測定中，可以監測在相機組件12的整個
視場(或該視場的一部分)中的照明等級。對這些照明等級進行綜合， 以評估照明條件。在對照明等級進行綜合的期間，所識別的(多個)膚 色點被賦予比非膚色區域大的權重。可以將這種點測定與區域測定技術 結合在一起。可以理解的是，與這些膚色點相關聯的照明會影響測定的 結果。因而，與如果使用了用于傳統的點和/或區域測定技術的預定點的 情況相比，該測定的結果可以更準確地表示與用戶主要感興趣的照片的 那部分(例如，相機視場中的人)相關聯的照明條件。
在塊84和塊88之后，(取決于塊82的結果)，邏輯流可以前進至塊 卯，在塊90中將測定的結果用于調整曝光設置。可以響應于測定而進行 調整的示例性曝光設置可以包括是否使用閃光燈60 (并 且如果使用閃光 燈，則包括閃光燈強度(如果可調))、f制光圈、快門速度等。
在一個實施方式中，可以使曝光設置調整滿足特定標準，使得照度
極限值不太暗或不太亮。例如，不超出預定百分比的膚色像素可以具有
大于預定照度閾值上限的照度值，并且不超出預定百分比的膚色像素可 以具有小于預定照度閾值下限的照度值。換句話說，在曝光設置調整之
后，預定百分比的膚色像素可以具有在照度閾值上限與照度閾值下限之 間的照度值。在一個示例中，對于其中Y的最大值為255而最小值為零 的24比特圖像而言，不超出百分之五的膚色像素可以具有大于225的照 度值，而不超出百分之二十五的膚色像素可以具有小于80的照度值。在 一些情況下，如果超出這兩項標準中的一項或兩項，則存在出現顯著數量的與人的皮膚相關聯、而在塊68中不可識別的像素的可能性，這是因 為這些像素過飽和(例如，反射過多致使膚色松散)或欠飽和(例如， 反射過少致使膚色松散)。
另外，可以對因為調整曝光設置而造成的照度變化量施加限制。因 為如果曝光過亮或過暗則會丟失用于膚色識別的顏色信息，所以該限制 可以使這些調整最小化，從而防止使得膚色點飽和或變暗和/或防止照片 平均值超出特定量。
在一個實施方式中，可以采用重復處理作為曝光設置調整的一部分。 例如，可以采用遞增曝光設置、直到檢測到膚色飽和為止，以尋找最佳 曝光設置。在一個方法中，當用戶按下或釋放快門控制按鈕以指令拍攝 照片時，該處理可以從能夠得到較低照片亮度的曝光設置開始。然后， 可以按照遞增的方式來調整曝光設置，以增大亮度。針對每一次遞增(或 每一級)，可以按照上述方式來識別膚色點，并且可以執行測定。當預定 百分比的之前檢測的膚色像素偏移向飽和時，可以結束遞增。在一個實 現中，在遞增結束之后，可以將曝光設置后退，以相對于得到膚色飽和 檢測的曝光設置而使得照片稍微變暗(例如，可以按照一級或更多級增 量來反轉該曝光設置)。這種遞增方法增大了用于測定處理的圖像中的膚 色像素的數量，并且縮減了膚色像素因為光線閃耀(glare)而不可識別 的可能性。優選的是，可以在用戶移動了相機組件12 (這導致相機組件 12的視場變化)和/或視場中的人被攝對象移動了顯著量之前，完成這種 重復的曝光設置調整處理。
在調整了曝光設置之后，在塊92中拍攝照片。
在這里描述的方法中，使用膚色識別來對點測定進行加權。結果， 可以驅動曝光設置，以將膚色最佳地設置在相機組件12的動態范圍中。 按照這種方式，與比視場中的其它被攝對象(諸如背景和/或前景被攝對 象)相比，在所得到的照片中與在相機組件12的視場中的人相關聯的面 部及其它區域可以具有更高程度的細節。結果，該用戶可以得到具有良 好成像的人的照片，而不需要手動調整曝光設置和/或不需要對照片進行 后處理。在這里描述的方法中，針對具有與膚色相關聯的顏色的像素并針對 表示人對象的一部分的多個膚色像素組進行搜索。這些像素組可以用于 驅動測定以及曝光設置調整。可以理解的是，可以通過搜尋全部或部分 視場的顏色空間以尋找特定顏色范圍中的多個像素(組合這些像素，以 得到作為人對象的可能表示的視場中的足夠區域和/或位置)，來識別出被 賦予比該相機組件的視場的其它部分高的權重的一個或更多個膚色點。 結果，可以識別出一個或多個優選點，以引導點測定及曝光設置調整處 理。
雖然已經針對一些具體優選實施方式示出和描述了本發明，但是可 以理解的是，通過閱讀并理解本說明書，本領域技術人員能夠想到本發 明的等同物和修改例。本發明包括全部這些等同物和修改例，并且僅由 所附權利要求的范圍來限定。
權利要求
1、一種用于調整數字相機(12)的曝光設置的方法，該方法包括以下步驟在所述相機的視場的至少一部分視場中搜索具有膚色的多個像素；分析多個膚色像素以識別出至少一個膚色點；對所述相機的所述視場進行點測定，使得為至少一個膚色點賦予比所述視場的其余膚色點大的權重；以及基于所述點測定來調整所述曝光設置。
2、 根據權利要求1所述的方法，其中，所述分析多個膚色像素的步 驟包括以下步驟根據所述多個膚色像素彼此之間的相對接近度來對所 述多個膚色像素進行分組。
3、 根據前述權利要求中任意一項所述的方法，其中，所述膚色點的 區域具有至少占閾值百分比的膚色像素。
4、 根據前述權利要求中任意一項所述的方法，該方法還包括以下步 驟在進行所述點測定之前縮減所述膚色點的尺寸。
5、 根據前述權利要求中任意一項所述的方法，該方法還包括以下步 驟針對各個像素而將對所述視場進行成像的傳感器(54)的RGB輸出 轉換成基于坐標的顏色值。
6、 根據前述權利要求中任意一項所述的方法，其中，所述膚色由基 于坐標的顏色空間的預定部分來限定。
7、 根據前述權利要求中任意一項所述的方法，該方法還包括以下步 驟從較暗向較亮重復地調整所述曝光設置，直到檢測到膚色飽和為止。
8、 根據前述權利要求中任意一項所述的方法，該方法還包括以下步 驟在檢測到膚色飽和時，對所述重復調整的至少一部分進行反轉。
9、 一種相機(12)，該相機包括傳感器(54)，該傳感器用于對視場進行成像，并且輸出表示了多個 像素的照度及顏色的信號；以及控制器(52),該控制器通過以下步驟來調整所述相機的曝光設置識別出哪些像素具有膚色；分析這些膚色像素以識別出至少一個膚色點; 對所述視場進行點測定以使得為至少一個膚色點賦予比所述視場的其余 膚色點大的權重；以及基于所述點測定來調整所述曝光設置。
10、根據權利要求9所述的相機，其中，所述相機形成其具有通過 通信網絡(48)而建立呼叫的無線電電路(26)的移動無線終端(10)的一部分。
全文摘要
一種用于調整數字相機(12)的曝光設置的方法，該方法包括以下步驟在所述相機的視場的至少一部分視場中搜索具有膚色的多個像素。分析這些膚色像素以識別出至少一個膚色點。對所述相機的視場執行點測定，使得為至少一個膚色點賦予比該視場的其余膚色點大的權重。然后，基于所述點測定來調整所述曝光設置。
文檔編號H04N5/232GK101543051SQ200780043012
公開日2009年9月23日 申請日期2007年5月31日 優先權日2006年11月21日
發明者泰倫斯·E·羅杰斯, 詹森·M·科普 申請人:索尼愛立信移動通訊有限公司