可配置用于自主自學操作的照相機的制作方法

專利名稱：可配置用于自主自學操作的照相機的制作方法
技術領域：
本發明總體上涉及圖像捕捉，更具體而言涉及在沒有直接的操作員 干預的情況下響應 一組環境提示的照相機裝置。
背景技術：
雖然目前的數字照相機已取得易于使用且相對不麻煩的進步，但仍 存在可能妨礙享受拍照體驗的缺陷。即使用最直觀的"對準即拍"式數字 照相機，攝影師也常常較多地參與拍照的任務，而不是作為參加者享受
該事件。在很大程度上，這已經是公認的準則；拍照者有工作要做，并 因此比其它參加者略少地參與行動。這種布置的另一缺點涉及事件時參 加者的響應，參加者知道正在給他們拍照，并可能在拍照期間反應不自然。
為了解放拍照者、允許攝影師從照相機后面走出并成為場景的一部 分，已經提出了許多解決方案。最熟悉的解決方案包括從使得攝影師能 夠在進行了所有設定和調整之后立即從照相機后面趕快走出的延遲器 到遙控快門及其它設備。雖然諸如此類的解決方案能夠向攝影師提供一 定程度的自由，但為了獲取事件時的圖像，仍需要大量的注意力和設置。
遠程照相機激活已被用于諸如工業監視、偵察以及建筑物安全的應 用。用于圖像捕捉的聲音或運動致動系統使得能夠記錄各種類型的事 件，諸如人員的進入或離開，人、動物或物體的運動等。用于遠程監 控的Webcam設備還可以在諸如從紅外(IR)運動^f企測器感測到噪聲、 光、聲音或運動時捕捉圖像。用于此類系統的照相機通常被放置在固定 位置并以已知的格式獲得圖像內容。例如在Norris等人的題為"Smart Camera System"的美國專利申請公開No. 2004/0080618中描述了事件檢 測照相機設備。
雖然用于事件拍照的遠程照相機激活可以利用為了安全和監視而 開發的解決方案，但是，在用于消費者成像、捕捉與家人和朋友的瞬間 的拍照環境與監視遠程位置處的事件的更尋常的工作之間存在許多重 大差別。當然，圖像質量、主體(subject)選擇以及定時對于消費者事件攝影來說是關鍵關注而對于遠程監視而言相對不重要。例如，僅僅用 運動或聲音的檢測實現照相機激活雖然足以用于遠程工業成像，但不太 可能在諸如生日宴會或與朋友的假日聚會的家庭事件時獲得合意的圖像。
提供更自然的拍照體驗的努力包括在Pilu的題為"Autonomous Camera Having Exchangeable Behaviors，，的美國專利申i青公開No. 2005/0012830中所概述的那些。'830 Pilu公開描述了具有行為存儲器的 可佩戴照相機，其中所述照相機能夠通過分析來自對象場的數據來檢測 關注的事件或情況。同樣地，惠普公司(Hewlett-Packard Corp.)的團隊 已經提出一種"總是打開的照相機"，其連續地進行記錄并用算法進行補 充以將獲得的巨量圖像分類以便幫助選擇可能值得保存的少數好圖像。 例如， 一種版本固定到一對眼鏡的側邊，這4吏其可用于至少某一部分人。 雖然使照相機從一個人的頭部側面突出可能感覺自然，但可以質疑的 是，人是否可能由正在被連續攝像的對象場中的那些人引發自然且自發 的行為。此外，可佩戴解決方案沒有將攝影師帶入照片中，而是僅僅改 變用戶瞄準照相機的方式。當然，對于許多類型的消費者成像情況，將 照相機附著于攝影師的想法看起來幾乎不符合"解放，，攝影師的想法。
因此，雖然以更自然和自發的方式自動地獲得圖像的價值得到認 可，但現有的解決方案不滿足一方面將攝影師從圖像捕捉功能中解放出 來的需要和另 一 方面將主體從"在拍照片"的心理約束中解放出來的需 要。用于具有后續挑選過程的連續"批量"成像的現有解決方案錯失了表 征人們想要捕捉和保存的時刻的激動、自發和社會互動的元素。
現有解決方案在捕捉關鍵時刻時包括靜止圖像或視頻圖像的捕捉。 捕捉包括一 個時刻前后的視頻以及靜止圖像的整個時刻的能力將大大 地增加該時刻的上下文并增加攝影師的體驗。然而，在國際專利申請 WO2004/111971 A2"Automatic Traffic Violation Monitoring and Reporting System with Combined Video and Still-Image Data，，中已經描述 了視頻和靜止圖像的組合捕捉，其局限于用作交通違例中的證據，此外 還需要使用多個視頻和靜止圖像捕捉設備和多個所捕捉的圖像。需要一 種消費者可用的能夠捕捉整個關鍵時刻的單個設備來將攝影師從圖像 捕捉功能中解放出來。
現有解決方案中未提出或解決的問題是需要提供改善的其中涉及運動的成像。例如，消費者攝影師難以捕捉運動中的足球剛好在被守門 員接住或漏掉之前的圖像。對于快速移動的動作，消費者照片趨向于由 于照相機操作員的延遲和圖像捕捉定時本身的固有延遲兩者而被延遲(有時延遲零點幾秒)，從而可能錯過更關注的圖像。對視頻流的后續 編輯是傳統上用來解決此問題的一種解決方案。然而，具有一種允許高 速事件成像并允許攝影師有更大的自由度且易于用于獲得圖像的方法 將是有利的。因此，可以看到需要創新的方法以便提供可能在不使攝影師束縳于 拍照任務且不使攝影師置身于照片之外的情況下獲得良好照片的更令 人滿意的拍照體驗。對于某些情況來說，可用的自主照相機解決方案甚 至應能夠在群體事件時為專門的攝影師提供可用的替代者。提供非常適 合于拍照消費者的需要的、用于自動或"自主"的照相機操作的裝置和方 法將是有利的。發明內容一般而言，本公開涉及改善數字式成像設備的多用性以包括自主自學操作。為了達到此目的，本發明提供一種圖像捕捉方法，包括將圖 像捕捉設備配置為處于學習模式中以用于感測設備周圍環境中的至少一個變量并定義所述至少一個變量的正常狀態；在檢測到所述至少一個變量從所述正常狀態到新條件的轉換時發起圖像捕捉，其中，所述轉換超過預定閾值水平；以及將所述正常狀態重新定義為所述新條件。本發明的另一方面是一種用于捕捉圖像的裝置。該裝置包括圖像 捕捉設備，其提供可配置的學習模式以用于感測所述設備周圍環境中的 至少一個變量并定義所述至少一個變量的正常狀態；至少一個傳感器， 其用于檢測所述至少一個變量從所述正常狀態到新條件的轉換，其中， 所述轉換超過預定閾值水平；以及處理器，其用于在檢測到所述至少一 個變量的轉換時發起圖像捕捉并將所述正常狀態重新定義為所述新條 件。


雖然本說明書以特別指出并明確主張本發明的主題的權利要求書 結束，但應該相信，通過結合附圖進行的以下說明，將更好地理解本發明，在附圖中圖1是根據本發明的實施例的數字圖像捕捉設備的示意性框圖； 圖2是舉例說明根據本發明的在事件時使用的數字圖像捕捉設備的 框圖；圖3是根據本發明的用于獲取的圖像捕捉組的定時圖； 圖4舉例說明根據本發明的 一 個實施例的用于設置成像系統的界面 屏幕的一個示例；圖5是用于圖像觸發設置的用戶界面屏幕的平面圖；圖6是示出用于圖像捕捉的自動觸發的步驟的邏輯流程圖；圖7舉例說明根據本發明的一個實施例的自動響應模式如何工作；以及圖8舉例說明操作員將遵循以便訓練照相機以使用各種圖像主體作 為圖像捕捉觸發器的過程。
具體實施方式
將參照附圖來詳細描述本發明的各種實施例，在附圖中相同的附圖 標記在多個視圖中自始至終表示相同的部分或組件。對各種實施例的參 考不限制本發明的范圍，本發明的范圍僅僅由隨附的權利要求的范圍來限制。另外，本說明書中所闡述的任何示例并不意圖是限制性的，而是 僅僅闡述所主張的發明的許多可能實施例中的某些。本發明提供一種諸如照相機的自主圖像捕捉設備，其提供非常適合 于消費者對給家人、朋友和群體事件拍照的需要的解決方案。所述自主 圖像捕捉設備根據用戶輸入的指令、用戶提供的培訓或被設備檢測為合 適的圖像觸發條件的環境事件而響應于設備所感測的提示來自動地捕 捉數字圖像。所述設備是靈活的，允許除通過用戶按下圖像捕捉按鈕之 外還通過許多可編程事件中的任何一個來觸發圖像捕捉。對于本發明的 實施例，應注意的是使用圖像捕捉設備捕捉的圖像可以是視頻圖像或靜 止圖像或視頻與靜止圖像的某組合。隨后描述的實施例的圖像捕捉設備可以是數字靜止照相機、視頻照 相機或能夠捕捉靜止和視頻圖像兩者的照相機。由圖像捕捉設備來獲取 圖像捕捉組且該圖像捕捉組可以包含由設備基于設備的能力和由操作 員或由設備控制邏輯指定的設定參數而捕捉的靜止和視頻中的任何一者或兩者中的一個或多個。在一個實施例中，所述圖像捕捉組由包括 靜止圖像與檢測到圖像觸發條件之前的預定秒數的視頻的組合、靜止圖 像與檢測到圖像觸發條件之后的預定秒數的視頻的組合、和/或上述兩者 的組合。圖1是根據本發明的實施例的數字圖像捕捉設備10的示意性框圖。 至少包含透鏡13和圖像傳感器15的圖像捕捉模塊12連接到執行用于 自動地獲取照片的邏輯程序的中央處理單元14。至少一個傳感器18與 中央處理單元14通信，使得中央處理單元14能夠通過激活圖像捕捉模 塊12以捕捉圖像來響應所感測的條件。所捕捉的圖像的圖像數據可以 被本地地存儲在可選存儲器16處或者可以通過諸如以太網或其它網絡 類型的網絡22被發送到遠程存儲器。用戶接口 20使得操作員指令能夠 被輸入并在中央處理單元14上被執行，從而允許圖像捕捉設備10的靈 活」操作和響應。如對于本領域技術人員來說顯而易見的那樣，圖1的基本布置允許 有許多不同的實施例。例如，數字圖像捕捉設備IO可以具有整體地內 置的傳感器18以及中央處理單元14、用戶接口 20或存儲器16中的任 何一個。如隨后將描述的，可以提供一個或多個環境傳感器18,包括檢 測聲音、光(可見光、紫外線或紅外線)、振動、熱量、電場、磁場、 輻射及能夠充當暗示或提示的其它環境變量的傳感器。或者，中央處理 單元14例如可以是機載微處理器或單獨的個人計算機，諸如膝上型計 算機或工作站。用戶接口 20可以是內置的或者可以是與裝置IO可分離 的。中央處理單元14和存儲器16部件可以遠程地位于沿著網絡22的 某些其它位置。根據所需的靈活性，部件之間的連接可以是無線或有線 的。因此，出于后續說明的目的，圖1的布置可以充當有用的模型，遭 受任意數目的變體。圖2是舉例說明根據本發明的在事件時使用的數字圖像捕捉設備 IO的框圖。數字圖像捕捉設備IO位于便于圖像捕捉的位置，例如，諸 如在架子或高桌上以用于室內事件。或者，數字圖像捕捉設備10可以 被手持或附著于人體或數字圖像捕捉設備10模糊地指向期望進行圖像 捕捉的方向的其它方法。可以將一個或多個傳感器18嵌入數字圖像捕 捉設備10中或根據其與數字圖像捕捉設備IO之間的互連通信信道的許 可布置在與數字圖像捕捉設備10的任何適當距離處。此互連通信信道可以是有線或無線的。可以將傳感器18中的一個或多個隱藏、偽裝成 場景中的對象或偽裝在場景中的對象中，或者可以由在數字圖像捕捉設備10的場景附近的某個人佩戴。傳感器類型和布置傳感器18可以是許多類型的傳感器設備中的任何 一 個并特別地使用中央處理單元14的處理能力來#企測許多條件中的任何一個。可以使用多個傳感器18。傳感器18可以是例如音頻傳感器。在一個實施例中，預定閾值水平以上的噪聲可以指示用于圖像捕捉的適當時間。然而，可能存在適合于圖像捕捉的細微提示。聲音的類型也可以指示有利于圖像捕捉的時間。這可以包括來自一個或多個參加者的提示，諸如關鍵字、從一種提示設備獲得的無論是否可被人耳聽見的聲音、笑聲、從高到低或從低到高的音量突然轉換、喝彩、到沉默的轉換等等。還可以獲取一個或多個參加者的語音資料(profile)且中央處理單元14被編程為對任何特定人的語音或來自 一個或多個人的聲音中的語調做出響應。而且， 諸如鈴聲的來自動物或對象的聲音可以觸發圖像捕捉。或者，傳感器18可以是任何類型的環境傳感器，諸如一種熱傳感 器或紅外傳感器。可以使用從事件參加者檢測到的熱來觸發圖像捕捉。 還可以使用所檢測的圖像場的熱分布圖的變化，諸如指示運動的變化。 傳感器18還可以感測光的變化，包括亮度或光譜變化。傳感器18可以 越過可見光譜而到紫外區或紅外區中感測光語變化。這種類型的變化可 以用來例如指示適合于觸發圖像捕捉的運動。或者可以由傳感器18或 多個傳感器18來感測振動或氣流。還可以由傳感器18來感測電場、磁 場或輻射以感測觸發圖像捕捉的圖像場變化。例如，這些因素可以指示 一個或多個參加者的接近。在其它實施例中，可以由對由圖像捕捉模塊12連續獲得的圖像數 據執行圖像處理的圖像處理軟件來扮演傳感器18的角色。通過連續地 監視由圖像捕捉模塊12獲得的視頻信號，此軟件能夠檢測諸如突然運 動、運動開始或運動停止、亮度變化及能夠充當用以觸發圖像捕捉的圖 像觸發條件的其它條件的事件。 捕才足內容在數字圖像捕捉設備10的另一操作;漠式下，獲取圖像捕捉組。該 圖像捕捉組由包括靜止圖像與檢測到圖像觸發條件之前的預定秒數的視頻的組合、靜止圖像與檢測到圖像觸發條件之后的預定秒數的視頻的
組合、及其以上兩者的組合。在本實施例中，圖像捕捉模塊12可以捕
捉靜止圖像及如在視頻中 一樣的 一 系列圖像兩者，或者可以從提供給顯 示器的預覽流中捕捉視頻。
先前所述的一個問題涉及照相機操作員的響應時間。在此工作才莫式
下，使用臨時緩沖器17作為用以存儲由圖像捕扭j莫塊12連續地獲得的 視頻圖像的最近部分的臨時緩沖器。視頻的分辨率低于靜止圖像的分辨 率以實現快幀速^L頻、降低視頻流的數據速率并且還減小所需的臨時緩 沖器17的大小。這提供一種用于從檢測到圖像觸發條件之前的幾秒開 始獲取視頻圖像以顯示導致靜止圖像捕捉的事件的方法。另外，當在圖 像捕捉組中時，這幾秒的視頻可以為靜止圖像捕捉提供上下文。
圖3是示出根據本發明的如何能夠獲得圖像捕捉組的簡化定時圖。 在圖3中，窗口 32舉例說明時間窗口 32。在時間窗口32中，時間tl 是比能夠將視頻數據存儲在臨時緩沖器17中的t2早的預定時間段。例 如，時間tl可以是時間t2之前的10秒。時間t3是在可以將^L頻數據存 儲在臨時緩沖器17中的t2之后的預定時間段。例如，時間t3可以是t2 之后的5秒。如圖3的圖所示，觸發事件在時間t2發生。由于時間t3 是t2之后的時間段，所以從t2至t3的時間段的視頻數據可以直接存儲 在存儲器16中。如下文更詳細地討論的那樣，所述圖像捕捉組可以由 從時間tl至t2的視頻圖像、在t2捕捉的靜止圖像以及從t2至t3的視頻 圖像的任何組合組成。在捕捉圖像捕捉組之后，可以將圖像捕捉組移動 到存儲器16中。
在一個實施例中，在靜止圖像捕捉之前的預定時間段獲取的視頻可 以被包括在圖像捕捉組中。此時間段在圖3中由窗口 32示出為tl與t2 之間的時間。對于此時間段，視頻被連續地存儲在臨時緩沖器17中(圖 1)。另外，靜止圖像捕捉之后的預定時間段(在圖3中被示出為時間 t2至時間t3)的視頻也可以被包括在圖像捕捉組中。tl與t2之間的時間 以及t2與t3之間的時間由用戶偏好、臨時緩沖器17大小、默認設置或 它們的組合而確定。當設備準備好捕捉時，諸如當數字捕捉設備10被 置于以下模式中時視頻被連續地存儲在臨時緩沖器17中在該模式中， 在用戶拿起數字捕捉設備10時或者在用戶接觸圖像捕捉按鈕時捕捉圖 像組被使能。用戶界面示例
圖4舉例說明根據本發明的 一 個實施例的用于成像系統的設置的界
面屏幕30的一個示例。在一個實施例中，所述圖像捕捉系統被編程為
對事件環境中的細微提示作出響應。例如，笑聲可能具有可以:故量化并 用來發起圖像捕捉的特定音頻信號特性。還可以使用一定量的訓練，由 此將中央處理單元14編程為實現越來越好的結果以便將一種類型的聲 音與另一種(或者，更一般地，是一種類型的感測的條件與另一種)區 別開
在圖4中，界面屏幕30出現在照相機顯示器上并使用觸摸屏菜單 選擇。提供可擴展菜單選擇34以使得能夠選擇用于自主圖像捕捉的基 本暗示或提示。在圖5的示例中，選擇音量變化條件作為發起圖像捕捉 的提示。照相機操作員進行將導致圖像或圖像捕捉組被獲得的音量變化 閾值的設定36。可以重新映射照相機上的控制按鈕以便設置設定級別。 可選地，可以使用觸摸屏或其它類型的操作員輸入機構來獲得優選的設 定級別。
可以有效地使用轉換作為圖像捕捉觸發器且其比靜態條件更有用。 例如，可以將數字圖像捕捉設備IO設置為在感測到某閾值以上的噪聲 時獲取圖像。然而，在相對嘈雜的環境中，這將導致數字圖像捕捉設備 10比所期望的更頻繁地激活并捕捉圖像。作為替代，例如給定時間間隔 內的若干分貝的噪聲水平之間的轉換將更可能在照相機用戶關注的事 件期間發起圖像捕捉。
其它提示選擇可能比圖5的簡單示例中所示的更加復雜。例如，提 示選擇可以指定一種語音(例如成年人或兒童)或者可以指定特定人的 語音。如隨后在更詳細的示例中描述的那樣，將使用在中央處理單元14 (圖1 )上運行的語音識別軟件來檢測一個或多個個體的語音作為提示。
可以用作圖像捕捉觸發器的其它可選事件包括但不限于顏色、亮 度、或其它圖像特性的變化。可以通過許多特性來檢測運動，包括突然 運動、停止的運動、指定閾值速度以上或以下的運動或具有可以可編程 地選擇的其它特性的運動。還可以使用內容作為圖像捕捉觸發器，以便 各種圖像主體可以被檢測到并充當圖像捕捉觸發器。例如，諸如圖像場 中的臉部數目的變量可以充當圖像捕捉觸發器；面色和臉色(諸如可能 指示吃力或羞愧的面色和臉色)的變化也可以由數字圖像捕捉設備10來感測，并且用作用于圖像捕捉的圖像觸發條件。
其它定義的內容條件可以包括人、動物、臉部或其它可識別主體或 對象的檢測。數字圖像捕捉設備IO可以設置有用于周期性地分析圖像 并確定該圖像是否是人、寵物或其它動物、或關注的對象的圖像的邏輯
工具。如隨后所述，數字圖像捕捉設備IO還可以具有"學習"特定人或
對象的能力。
可以采用許多可選的傳感器來檢測除通常與光或聲音相關聯的條 件之外的條件。可以選擇紅外檢測器來識別某些人、寵物或視場中的人 體熱量或所測量的熱分布圖的其它變化是適當的圖像捕捉觸發器的情
況。可以使用用于體溫、EKG、振動或其它可檢測參數的傳感器。
如前所述，可以獲取靜止和視頻圖像兩者作為圖像捕捉組的 一部 分。用于數字圖像捕捉設備10的操作員界面能夠向操作員提供用以設 置具體地用于圖像捕捉的類型或以某種組合形式用于兩種類型的捕捉 的圖像觸發條件的選項。 使用指定語音或其它音頻信號的示例
圖6是舉例說明根據本發明的語音和/或音頻檢測邏輯的流程圖。對 于語音或其它音頻檢測，可以使用圖6的邏輯流程或類似邏輯。對于語 音示例，給出以下示例和步驟。應注意的是，諸如特定寵物、樂器、開 門、電話、鈴等的聲音或其它聲音的任何類型的聲音可以是用于利用處 于自主圖像捕捉模式中的數字圖像捕捉設備10進行圖像捕捉的類似激 勵。
在選擇步驟100中，操作員使用界面屏幕30命令來指定用于一種 或多種語音(或其它聲音)的語音或聲音識別。在樣本獲取步驟110中， 操作員使經識別的人向擴音器中說話。所述擴音器可以在照相機本身 上，或者附著于照相機或中央處理單元14。根據所需的技巧，語音采樣 可以相對簡單，僅僅需要說話者發音幾秒的時間段，長到足以生成基本 的音頻資料。在更復雜的設定中，可能需要經識別的人說出有助于表征 特定人的音調或語音模式的特定字句，以便能將其與其他人的音調或語 音模式區別開。
一旦照相機被激活用于自主操作，則執行監視步驟120。在監視步 驟120期間，數字圖像捕捉設備10上的中央處理單元14連續地監視從 擴音器輸入信號檢測到的音頻流。根據控制邏輯確定是否已檢測到指定人的語音，事件檢測循環步驟130周期性地發生。如果已檢測到，則執 行圖像捕捉步驟140。然后可以停止成像，直至接收到下一個操作員命 令為止。可選地，可以用指示特定人或參加者已說話的所檢測到的每個 音頻"事件"來發起連續的圖像捕捉。 對環境變量的自動響應
圖7舉例說明根據本發明的一個實施例的自動響應模式如何工作。 可以將數字圖像捕捉設備IO置于自動響應模式中，在該模式下其響應 "預期"或"正常"設定的變化。在此模式下，數字圖像捕捉設備IO可以適 應于其視場中的變化并在其檢測到其環境中的足夠量的變化時捕捉圖 像。這樣，例如，可以將數字圖像捕捉設備IO單獨留在最初空閑的房 間中。當人進入時，所檢測的活動可能具有足以激活數字圖像捕捉設備 IO進行圖像捕捉的能量。
在圖7中，首先執行模式初始化步驟200,在此期間數字圖像捕捉 設備IO被置于用于適合于其特定視場的模式下。可以提供一組或多組 預置閾值設定202以幫助設置用于數字圖像捕捉設備IO執行圖像捕捉 的"能量水平"的靈敏度閾值。然后是用于訓練數字圖像捕捉設備10 了 解場景以便制訂圖像觸發條件閾值的自學步驟210。在步驟210期間， 數字圖像捕捉設備IO從其環境中感測一個或多個變量。這些變量可以 包括例如其視場中的活動、環境噪聲水平、相對亮度、顏色及其它可檢
測提示。處于此才莫式時，數字圖像捕捉設備IO將隨著時間的推移所感 測到的該活動綜合，以便其獲取其"世界"看來像的特性"資料"。然后， 數字圖像捕捉設備10將能夠在其已隨著時間的推移感測到場景中的相 對活動或能量水平時立即響應場景中的轉換。在一定的學習時間段之 后，數字圖像捕捉設備10隨后準備好進行自主操作步驟220。例如，這 可能是在預置時間段之后。或者，可以使用來自操作員的某些指示來結 束自學步驟210并開始自主操作步驟220。
作為自主操作步驟220的一部分執行監視步驟230。在監視步驟230 期間，數字圖像捕捉設備10監視其視場及其所選的一組環境變量。當 某些被測變量超過給定閾值時，發生事件檢測步驟240。例如，外面經 過的汽車的噪聲可能是可檢測的，但在數字圖像捕捉設備10已經"學習" 的閾值以下。這可能在數字圖像捕捉設備10已被置于相對噪雜的環境 中時發生，從而來自預期環境噪聲的假觸發未被用于觸發圖像捕捉。當已感測到某種類型的激勵時執行判定步驟250。如果所感測的信號超過 給定閾值或滿足可能受預置設定202和在自學步驟210中獲得的所學特 性這兩者的影響的其它必要條件，則可以發起圖像捕捉步驟260。如所 示，這可以終止自主操作，或者可以簡單地導致控制邏輯返回到監視步 驟230。
作為自主操作步驟220的另一部分，數字圖像捕捉設備IO還可以 基于在操作中所感測到的內容連續地"重新學習"其環境。例如，會議室 最初在自學步驟210期間可能是空的。隨著參加者開始進入該房間，數 字圖像捕捉設備IO將開始獲取圖像，如剛剛所述的那樣前進到圖像捕 捉步驟260。例如，將對進入房間的每個人或周期性地捕捉圖像。然而， 一旦房間滿了或將再沒有其他人進入，則照相機的響應應因此改變。在 另一實施例中，通過繼續綜合所感測的數據，數字圖像捕捉設備10因 此能夠獲得被更新的歷史，以便其靈敏度閾值在會議已開始時立即改 變。然后將使用一種重新定義、重新計算或"滾動"的正常狀態，從而允 許數字圖像捕捉設備10使用所感測的條件的最近"歷史"響應于變化的 環境或新的條件來調整其閾值靈敏度。對于圖7所示的邏輯，因此能夠 周期性地調用自學步驟210以便調整在判定步驟250中使用的闊值設 定。通過獲得此歷史，則只有音量或運動的急劇變化可能觸發后續的圖 像捕捉。可以有效地防止假觸發以使不關注或重復的圖像的捕捉最小 化。
還應注意到，數字圖像捕捉設備10能夠自動地進入自動響應模式， 從而在上電后立即執行或根據定時器執行模式初始化步驟200。另外， 監視步驟230可以具有隨時間而變的不同水平的靈敏度。此特征將允許 數字圖像捕捉設備10進入"節肯&"模式，從而如果在預定時間段內未檢 測到事件，則減少電池或其它功率消耗。例如，在用戶忘記關閉數字圖 像捕捉設備IO且該設備在周末一直留在會議室中的情況下，較低水平 的監視靈敏度可能最適合于節能特征。
總而言之，在自動響應模式下使用的數字圖像捕捉設備10的操作 員可使用各種配置。在一個實施例中，不需要照相機的配置。除非操作 員另外指示，否則只要被施加功率，照相機就自動地進入自動響應模式。 或者，可以提供配置工具以便從各種感測條件之中進行選擇或提供初始 化閾值。如前所述，在自動響應;f莫式下獲得的圖像捕捉組可以是靜止圖像或 視頻圖像或兩種圖像類型的某些組合。在某些條件下，諸如對于某些類 型的事件或對于不同的閾值設定，可以在圖像捕捉步驟260中獲得短視 頻序列。
對主體或事件的所學習的響應
圖8舉例說明用于教授數字圖像捕捉設備IO使用圖像的各種可識 別部分作為充當圖像捕捉觸發器的關注的主體的過程。在 一 個實施例 中，數字圖像捕捉設備10連續地分析視場并在檢測到關注主體時發起 圖像捕捉。同樣地，所述關注主體表示要檢測的變量且視場內的關注主 體的存在指示圖像觸發條件閾值水平已經被超過。或者，圖像觸發條件 可以是關注主體的存在變化，其中當關注主體離開一見場時所迷閾值^皮超 過。
數字圖像捕捉設備10學習或被訓練響應特定的關注主體或在其視 場內能夠感測或發生的特定類型的事件。在一個實施例中，如圖8的示 例所示，操作員允許用于教導或訓練照相機的過程使用各種關注主體作 為圖像捕捉觸發器。更具體地說，在設置步驟300中，操作員指示數字 圖像捕捉設備10進入教授才莫式，此指令可以使用照相機上的控制機構 42或通過諸如下拉菜單或指定控制序列的、為此目的而提供的一些其它 命令輸入設備來輸入。
在顯示步驟310中，包含關注主體或事件的圖像出現在照相機顯示 器30上。其可以是新捕捉的圖像或先前存儲的可被照相機訪問的圖像。 利用所顯示的圖像，接下來執行識別步驟320。在識別步驟320中，操 作員明確地指示應被用作圖像捕捉觸發器的關注主體。在圖8的示例中， 操作員想要在數字圖像捕捉設備10在其視場中具有足球時所捕捉的圖 像。操作員顯示具有該關注主體的適當圖像并隨后以某種方式(諸如利 用觸摸屏)突出顯示該關注主體。然而，本發明不限于突出顯示，可以 使用任何適當技術來選擇主體，諸如在授予Manico等人的美國專利No. 7,164,490"Custom Cut Image Products"中所述的那些技術。所顯示的圖像 可以是先前捕捉并存儲在數字圖像捕捉設備10中的圖像，或數字圖像 捕捉設備10諸如通過網絡22可訪問的圖像。可選地，所顯示的圖像可 以僅僅是在數字圖像捕捉設備10操作期間連續地獲取的現場圖像顯示。
在圖8中，繪出在照相機顯示器30中所示的足球周圍的輪廓44。可以在觸摸屏顯示器上勾畫或者可以以其它方式生成4侖廓44。可選地，
觸摸屏上的手指按壓可以識別關注主體。然后，中央處理單元14(圖1)
上的圖像分析軟件將能夠被綁定并識別離手指按壓最近的對象。
可以根據需要將圖8所示的用于教授數字圖像捕捉設備10的設置 步驟重復許多次以便生成關注主體的"庫"。例如，可以使用此相同序列 來將人物作為關注主體引到數字圖像捕捉設備10。這將允許數字圖像捕 捉設備IO識別其"關注的"人或致力于獲得該組人的圖像。因此關注主 體的庫將既包括諸如圖8的示例的足球的對象，又包括任何數目的人者。
可以使用類似序列來識別特定的顏色或聲音并將其同樣地存儲在 所學習的響應主體和事件的庫中。這樣，例如，可以將足球隊制服或球
隊歡呼存儲為圖像觸發條件。
教授序列的 一部分可能需要反饋并修正獲取相似的人或對象的圖 像時的照相機誤差，但并不是優選選擇。例如，母親可以有效地教授數 字圖像捕捉設備IO將其孩子與團隊或學校比賽中的其它孩子區別開。
通過將多個關注主體組合，用戶可以教授數字圖像捕捉設備10在 關注主體全部一起存在于圖像中時捕捉圖像。使用多個關注的主體的示 例是教授數字圖像捕捉設備10在具有特定運動衫號碼的足球運動員連 同足球和球門一起在視場中時發起圖像捕捉。在這種情況下，運動衫號 碼、足球和球門每個均將被識別為關注主體且圖像觸發條件閾值將是全 部3個關注主體在^l場中的同時存在。
在另 一 實施例中，數字圖像捕捉設備10可以被配置為使用圖像庫
來基于庫的內容確定特定用戶趨向于具有的優選關注主體。此圖像庫可 以位于數字圖像捕捉設備10上或位于經由網絡22訪問的遠程地點。例 如，某個兒童、寵物或其它主體的重復圖像將指示此特定主體對于用戶 來說特別有價值。可以使用圖像分析軟件來跟蹤各種主體的獲得的圖像 的數目并使用此數據作為到學習過程的輸入以確定優選的關注主體。同 樣地，數字圖像捕捉設備10能夠根據其對用戶的認知價值來對圖像庫 中的每個圖像賦予圖像值。這稱為圖像值索引(IVI)。例如，可以獲得 關于用戶查看某些圖像多長時間和那些圖像的內容的數據。可以以多種 方式來檢測圖像中的重要區域，諸如授予Miller等人的題為"Method and Computer Program Product for Determining an Area of Importance in an Image using Eye Monitoring Information"的共同轉讓的美國專利No.7,046,924中所述的方式。各種圖像內容的有效值的其它有用指示符可以 包括使用圖像的電子郵件事務的數目和從此設備捕捉的圖像的可識別 內容。還可以掃描由數字圖像捕捉設備IO傳輸和檢測的提供給圖像的 元數據并用來指示看起來用戶特別關注的主體。
一旦已存儲一個或多個關注主體，數字圖像捕捉設備10就可以采 用這些關注主體作為每當其處于自動響應模式時的圖像捕捉觸發器。這 些圖像捕捉觸發器隨后可以被感測為使數字圖像捕捉設備10在視場中 存在關注主體(一個或多個)且已滿足相應的閾值時捕捉圖像(或捕捉 圖像捕捉組)的"指令"。提供附加用戶程序，以用于管理關注主體庫及 所學的其它圖像捕捉觸發器、消除對于用戶來說不再有價值的圖像捕捉 觸發器、將圖像捕捉觸發器按優先次序排列或者以組合方式協調多個圖 像捕捉觸發器的使用。 圖像處理
傳統攝影方法常常需要相當小心和注意照相機設備的精確設置并 支撐照明部件，以便盡可能多地使圖像質量最優化。相反，本發明利用 數字成像的各種好處來使所需的圖像處理自動化以便在使用數字圖像 捕捉設備10時獲得合意的圖像。
在一個實施例中，使用廣角照相機來獲得原始數字圖像。然后，使 用用于從圖像中識別重要圖像內容并進行裁切以便為了形成經調節的 數字圖像而去除較不關注內容的許多眾所周知的技術中的任何一種來 確定此原始圖像的中心并進行裁切，以便。可以觀察到成像分辨率方面 的正在進行和未來預期的進步將使得經裁切的圖像能夠具有合意的外 觀和非常好的圖像質量。
可以使用關鍵幀提取方法以便檢測并辨別對用戶來說最可能有價 值的關鍵圖像幀。在Luo等人的題為"Extracting Key Frame Candidates fromVideoClip，，的于2006年2月3日提交的共同轉讓的待決美國專利 申請序列號11/346,708和Luo等人的題為"Analyzing Camera Captured VideoforKeyFrames，，的于2006年2月3日提交的待決的美國專利申請 序列號11/347,679中描述了關鍵幀提取方法。在Zhang的題為"Intelligent Key Frame Extraction From a Video"的美國專利申請No. 2005/0228849 中描述了其它關鍵幀提取方法。
自動變焦和裁切技術對于選擇廣角圖像的特別關注的那部分來說Luo的題為"Automatically Producing an Image of a Portion of a Photographic Image，，的共同轉讓的美國專利No. 6,654，507和授予Luo等 人的題為"Method for Automatically Creating Cropped and Zoomed Versions of Photographic Images"的共同轉讓的美國專利No, 6，654,506。 可以使用圖像捕捉組中的視頻來進一 步改善應用于圖像捕捉組的靜止 圖像的內容的自動變焦和裁切過程。而且，可以通過向自動變焦和裁切 過程提供輸入而使用圖像捕捉觸發信息來進一步改善自動變焦和裁切 的圖像的圖像內容。
已特別參考本發明的某些優選實施例詳細描述了本發明，但應理解 的是，在不脫離本發明的范圍的情況下本領域技術人員可以在如隨附權 利要求所述的如上所述的本發明的范圍內實現修改和變更。例如，通過 實現部件之間的適當連接及使用在標準工作站或膝上型計算機平臺上 執行的控制程序邏輯，本發明可以與許多類型的數字照相機一起使用。 或者，可以將本發明的裝置封裝為產品，將傳感器、控制邏輯、接口及 其它功能件集成到所述設備。根據應用，可以釆用各種類型的圖像處理。 在不同的位置處，可以使用多個照相機，并基于相同的感測條件來獲取 圖像。利用基于所感測的條件的各種組合而編程的不同性能，可以使用 傳感器的不同布置。
因此，提供的是用于提供一種響應一組環境提示而在沒有直接的操作 員干預的情況下獲得圖像捕捉組的照相機裝置的裝置和方法。
部件表
10數字圖像捕捉設備
12圖像捕捉模塊
13透鏡
14處理單元
15圖像傳感器
16存儲器
17臨時緩沖器
18傳感器
20用戶接口
22網絡30
32
34
36
42
44
100
110
120
130
140
200
202
210
220
230
240
250
260
300
310
320
屏幕 窗口
菜單選擇 設定
控制機構 輪廓
選擇步驟 樣本獲取步驟
監視步驟
事件檢測循環步驟
圖像捕捉步驟
模式初始化步驟
閾值設定
自學步驟
自主操作步驟
監視步驟
事件檢測步驟
判定步驟
圖像捕捉步驟
設置步驟
顯示步驟
識別步驟
權利要求
1.一種圖像捕捉方法，包括將圖像捕捉設備配置為處于學習模式中以用于感測所述設備周圍區域中的至少一個變量并定義所述至少一個變量的正常狀態；在檢測到所述至少一個變量從所述正常狀態到新條件的轉換時發起圖像捕捉，其中，所述轉換超過預定閾值水平；以及將所述正常狀態重新定義為所述新條件。
2. 權利要求l的方法，其中，將所述圖像捕捉設備配置為處于學習 模式中還包括在上電時進入所述學習模式。
3. 權利要求l的方法，其中，檢測所述至少一個變量的轉換還包括 檢觀，J照相機的 一見場中的所述至少 一 個變量。
4. 權利要求3的方法，還包括檢測來自包括視場中的活動、環境噪 聲水平、紫外線強度、紅外線強度、電場水平、磁場水平、輻射水平、相對亮度和顏色的組的至少一個變量。
5. 權利要求3的方法，其中，配置所述圖像捕捉設備還包括將視場 中的圖像中的關注主體識別為所述至少一個變量且所述關注主體的存 在的變化組成超過所述閾值水平的轉換。
6. 權利要求5的方法，其中，識別視場中的關注主體還包括顯示包 括所述關注主體的圖像并通過使用觸摸屏來指示具有所述關注主體的 圖像的部分。
7. 權利要求5的方法，其中，識別視場中的關注主體還包括勾畫來 自顯示在圖像捕捉設備上的圖像的一部分的、來自包括對象、動物和人 的組的至少 一個關注主體。
8. 權利要求5的方法，其中，識別關注主體包括分析圖像集合。
9. 權利要求8的方法，其中，分析圖像集合以確定關注主體還包括 分析圖像元數據。
10. 權利要求8的方法，其中，分析所述圖像集合以確定關注主體 還包括使用圖像值索引。
11. 權利要求8的方法，其中，分析所述圖像集合以確定關注主體 還包括分析圖像內容。
12. 權利要求l的方法，還包括隨著時間的推移繼續感測所述至少 一個變量并基于所感測的變量的行為來重新定義所述正常狀態。
13. 權利要求l的方法，其中，重新定義所述正常狀態還包括通過 響應于變化的環境或新條件來調整所述閾值水平而重新定義所述正常狀態。
14. 權利要求13的方法，其中，調整所述閾值水平還包括基于所感 測的所述至少一個變量的最近歷史來將所述正常狀態重新定義為所述 新條件。
15. 權利要求13的方法，其中，調整所述閾值水平還包括周期性地 將所述正常狀態定義為所述新條件。
16. 權利要求l的方法，還包括在一段時間的非激活狀態之后降低 照相機功率消耗。
17. 權利要求13的方法，其中，將所述正常狀態定義為所述新條件 還包括在每次隨后的圖像捕捉之后將所述正常狀態定義為所述新條件。
18. —種用于捕捉圖像的裝置，包括圖像捕捉設備，其提供可配置學習模式以用于感測所述設備的周圍 環境中的至少一個變量并定義所述至少一個變量的正常狀態；至少一個傳感器，其用于檢測所述至少一個變量從所述正常狀態到 新條件的轉換，其中，所述轉換超過預定閾值水平；以及處理器，其用于在檢測到所述至少 一個變量的轉換時發起圖像捕捉 并將所述正常狀態重新定義為所述新條件。
19. 權利要求18的裝置，其中，所述至少一個傳感器檢測照相機的 -現場中的所述至少 一 個變量。
20. 權利要求18的裝置，其中，所述至少一個檢測器檢測包括視場 中的活動、環境噪聲水平、紫外線強度、紅外線強度、電場水平、磁場 水平、輻射水平、相對亮度和顏色的組中的至少一個變量。
21. 權利要求18的裝置，其中，所述處理器基于所感測的變量的行 為來重新定義所述正常狀態。
22. 權利要求18的裝置，其中，所述處理器通過響應于變化的環境 或新條件來調整所述閾值水平而重新定義所述正常狀態。
23. 權利要求18的裝置，其中，所迷處理器基于所感測的所述至少 一個變量的最近歷史來將所述正常狀態重新定義為所述新條件。
24. 權利要求18的裝置，其中，所述處理器周期性地將所述正常狀 態定義為所述新條件。
25. 權利要求18的裝置，其中，所述處理器在一段時間的非激活狀 態之后降低照相機功率消耗。
26. 權利要求18的裝置，其中，所述處理器在每次隨后的圖像捕捉 之后將所述正常狀態定義為所述新條件。
27. 權利要求19的裝置，其中，所述圖像捕捉設備還包括用于將視 場中的圖像中的關注主體識別為所述至少 一個變量的裝置，并且視場中 的所述關注主體的存在的變化組成超過所述閾值水平的所述至少一個 變量的轉換。
28. 權利要求27的裝置，其中，所述圖像捕捉設備還包括具有用于 顯示包括關注主體的圖像的觸摸屏的顯示器和用于指示包含所述關注 主體的圖像的部分的裝置。
29. 權利要求28的裝置，其中，所述顯示器具有用于指示包含所述 至少一個關注主體的圖像的的部分的裝置，其中，所述至少一個關注主 體來自包括顯示在所述顯示器上的對象、動物和人的組。
30. 權利要求28的裝置，其中，所述顯示器提供用于分析圖像集合 以便識別關注主體的控制機構。
31. 權利要求30的裝置，還包括用于分析圖像集合以確定關注主體 的元數據。
32. 權利要求30的裝置，還包括用于分析圖像集合以確定關注主體 的圖像值索引。
33. 權利要求30的裝置，還包括用于分析圖像集合以確定關注主體 的圖像內容。
全文摘要
本公開涉及用于捕捉圖像的圖像捕捉設備和技術。所述技術包括將圖像捕捉設備配置處于學習模式中以用于感測設備的周圍環境中的至少一個變量并定義所述至少一個變量的正常狀態。此外，所述技術包括在檢測到所述至少一個變量從所述正常狀態到新條件的轉換時發起圖像捕捉，其中，所述轉換超過預定閾值水平；以及將所述正常狀態重新定義為所述新條件。
文檔編號H04N7/18GK101682695SQ200880017995
公開日2010年3月24日 申請日期2008年5月29日 優先權日2007年5月30日
發明者C·J·庫伯卡, D·C·巴努姆, F·C·威廉斯, J·N·波爾德, K·A·約翰遜 申請人:伊斯曼柯達公司