虛擬快門圖像捕獲的制作方法
【專利摘要】根據一些實施例，正如在本文使用的，在“無按鈕幀選擇”中無需操作快門或者按鈕來選擇一幀或者一組幀以便于圖像捕獲。這將用戶從不得不操作相機來選擇感興趣的幀中解脫出來。此外，它減少了為了定時操作按鈕來精確捕獲真正感興趣的幀或者一組幀所需要的技術量。
【專利說明】虛擬快門圖像捕獲
【技術領域】
[0001 ] 本發明總體涉及包括靜止和運動圖片捕獲的圖像捕獲。
【背景技術】
[0002]通常，快門被用于例如相機的靜止成像設備中，以選擇用于捕獲和存儲的特定圖像。類似地，在電影攝像機中，記錄按鈕被用于捕獲一系列幀，以形成感興趣的片段。
[0003]當然，這兩種技術所存在的一個問題是定時捕獲期望的恰當序列需要一定程度上的技術。
【專利附圖】
【附圖說明】
[0004]圖1是根據一個實施例的圖像捕獲設備的示意圖；
[0005]圖2是根據本發明的一個實施例的捕獲后虛擬快門裝置；
[0006]圖3是根據本發明的一個實施例的實時虛擬快門裝置；
[0007]圖4是用于捕獲后虛擬快門實施例的本發明的一個實施例的流程圖；
[0008]圖5是用于實時虛擬快門實施例的流程圖；以及
[0009]圖6是用于本發明的另一個實施例的流程圖。
【具體實施方式】
[0010]根據一些實施例，正如在本文使用的，在“無按鈕幀選擇”中無需操作快門或者按鈕來選擇一幀或者一組幀以便于圖像捕獲。這使得用戶從不得不操作相機來選擇感興趣的幀中解脫出來。此外，這減少了為了定時按鈕操作以精確捕獲該真正感興趣的幀或者一組幀所需的技術量。
[0011]因此，參考圖1，根據一個實施例的成像設備10可包括光學器件12，其接收來自場景的將要被圖像傳感器14捕獲的光線。該圖像傳感器可隨后被耦合到離散圖像傳感器處理器(ISP) 16，其在一個實施例中可被集成到一個片上系統(SOC) 18中。該SOC 18可耦合到存儲器20。
[0012]因此，在一些實施例中，一幀或者一組幀被選擇，而無需用戶已經操作按鈕來指示用戶想要記錄哪一幀或者哪些幀。在一些實施例中，可執行捕獲后的分析，以尋找這些感興趣的幀。這可通過使用音頻或者視頻分析在所捕獲的媒體中尋找指示用戶期望記錄一幀或者一組幀的特征或者聲音。在其它實施例中，可以尋找特定的圖像特征，從而在圖像捕獲期間實時識別感興趣的幀或者多個幀。
[0013]參考圖2，捕獲后虛擬快門實施例使用包含存儲的媒體22的存儲設備20。存儲的媒體可包括在一定時段上記錄的暫時連續的幀的流。考慮到這些，幀可以是包括感興趣的時刻26的元數據24。因此,元數據可指出或者指示關于在巾貞序列中什么是真正感興趣的信息。這些幀序列可包括與感興趣的時刻26相關的一個或者多個幀，其是用戶真正期望的幀。
[0014]為了識別這些幀，可如在30中指示的那樣存儲規則。這些規則指示如何確定什么是用戶期望從捕獲的幀中獲得的。例如，在所述事實之后，用戶可指示在記錄中他或者她真實感興趣的是在旅途的終點對朋友的描述。分析引擎28可分析完整的音頻或者視頻記錄內容，從而找到感興趣的特定幀或者多個幀。
[0015]因此，在一些實施例中，記錄幀的連續序列并且隨后在所述事實之后，使用視頻或者音頻分析來分析所述幀，連同用戶輸入一起來找到感興趣的幀或者多個幀。還可能在所述事實之后在連續捕獲的幀中尋找特定表情或者聲音。例如，幾乎與感興趣的幀或者多個幀同時，用戶可做出已知的聲音或者姿態，其可以在之后被搜索從而尋找感興趣的幀或者多個幀。
[0016]根據圖3所示的另一個實施例，在捕獲圖像時，可實時識別感興趣的序列。傳感器32可被用于記錄音頻、視頻和靜止圖片。規則引擎34可被提供來指示系統應當尋找什么，從而指示感興趣的一個或多個幀或者時間。例如，在捕獲幀的過程中，用戶可執行表情或者產生聲音，其被記錄裝置知曉以表示感興趣的時刻。當通過這種方式標記了感興趣的時刻時，時間上與感興趣時刻的時間幀最接近的幀可被標記并且被記錄。
[0017]傳感器32可被耦合到媒體編碼設備40，其耦合到存儲器20并且提供媒體22用于存儲在存儲器20中。分析引擎28還耦合到傳感器，并且其自身還耦合到規則引擎34。分析引擎可耦合到元數據24和感興趣時刻26。分析引擎可被用于識別在將要被記錄的內容中的由用戶標記的那些感興趣時刻。
[0018]通用時間或者序列38提供了用于時間戳的時間指示，使得可以識別感興趣的時間或者時刻。
[0019]在兩個實施例中，捕猶后和實時識別感興趣的巾貞，與所指定的感興趣的時刻最接近的幀用作期望或者最優幀的第一近似值。通過任意一種技術選擇感興趣的時刻，第二組分析標準可被用于改善幀選擇。在最初選擇之前和之后的時間窗內的幀可針對所述標準被記分，并且可選擇在時間窗內的局部最大值。在一些實施例中，可提供手動控制來重寫虛擬幀選擇。
[0020]可以構思很多不同的捕獲場景。可通過傳感器數據來發起捕獲。基于捕獲的傳感器數據的示例可以是全球定位系統坐標、加速度或者時間數據捕獲。圖像的捕獲可基于攜帶相機的人所感測的數據或者通過在成像的場景或者一組幀中示出的對象的運動特性或者其它特征。
[0021]因此，當用戶通過終點線時，他或者她可能位于特定的全球定位點，其使固定在身體上的相機抓拍一張圖片。類似的，相機本身的加速度可以觸發一張圖片，從而可以捕獲例如跳臺滑雪者觀察到的場景的圖片。然而，可針對以特定加速度運動的對象來分析視頻幀，該特定加速度能夠觸發捕獲。由于很多相機包括自帶加速度測量器以及可包括在與捕獲的圖像或者幀相關的元數據中的其它傳感器數據，因此可以很容易獲得該信息。也可以通過包括在捕獲幀中的時間來觸發捕獲。
[0022]在其它實施例中，可檢測到對象，可識別對象，并且口說命令或者語言可被檢測或實際上理解，并且被識別為捕獲觸發。例如，當用戶說“捕獲”時，可捕獲幀。當所捕獲的音頻中的用戶的聲音被識別出時，其可以觸發以捕獲幀或者一組幀。同樣地，當產生特定的語句時，其可以觸發圖像捕獲。并且另一示例，做出具有特定意思的語句會觸發圖像捕獲。以及再一個實施例，當識別圖像內的特定對象時，可發起圖像捕獲。
[0023]在一些實施例中，訓練可與圖像檢測、識別或者理解實施例相關聯。因此，系統可被訓練成識別語音、理解用戶語言或者使給定的對象與捕獲觸發相關聯。在一些實施例中，這可以使用圖形用戶界面在設置階段期間完成。
[0024]在其它實施例中，在真實捕獲的幀的選擇中可以是智能的。當接收到觸發時，可基于包括真實捕獲的圖像幀的質量的多個標準來選擇與觸發點最接近的幀。例如，與觸發點最接近的過曝光或者曝光不足的幀被跳過，從而獲得在時間上最接近的最佳圖像質量的幀。
[0025]因此參考圖4，可提供序列42以實現捕獲后虛擬快門的實施例。序列42可以以軟件、固件和/或硬件來實現。在軟件和固件的實施例中，通過存儲在永久計算機可讀介質(例如磁、光或者半導體存儲器)中的計算機可執行指令來實現。
[0026]通過指導成像設備10連續捕獲幀，如在框44中示出的，來進行序列42。通過音頻或者視頻分析單元46有助于感興趣時刻的實時捕獲,該音頻或者視頻分析單元46分析表示特定序列應當被捕獲的所捕獲的視頻和音頻隊列。例如，眨眼表情或者手勢可被用于標記感興趣時刻。類似地，特定聲音可以產生以用于指示感興趣時刻。一旦該分析識別了信號，就如冋在菱形48中指不的Iv命中。隨后在框50中將該時間標記為感興趣。在一些實施例中，替代標記特定幀，例如使用時間戳來表示時間。而最接近于感興趣時間的幀被標記，使得用戶不需要提供具有高定時精確度的指示。
[0027]接下來參考圖5，在捕獲后實施例中，序列52也可以實現為軟件、固件和/或硬件。在軟件和固件實施例中，通過使用存儲在永久計算機可讀介質(例如磁、光或者半導體存儲器)中的計算機可執行指令來實現。
[0028]如在框54中指示的，序列52還執行連續捕獲一系列幀。在菱形56中的檢查確定是否已經接收到尋找感興趣時刻的請求。如果是，如在框58中指示的，可使用分析法來分析所記錄的內容，從而識別具有特定特征的感興趣時刻。該內容可以是音頻和/或視頻內容。該特征可以是用戶在那時已經慎重完成或者在那時已經完成再調用的任意音頻或視頻的分析地可確定信號，其可用于識別特定感興趣時刻。如果在菱形60中檢測到命中，與命中的時間相對應的時間幀可被標記為感興趣時刻，如在框62中所示的。此外，代替標記特定幀，在一些實施例中替代地，可使用時間，從而使幀的識別具有較少的技術依賴性。
[0029]最后，轉到圖6，在序列64中，可用于識別那些真正感興趣的幀。該序列64可以實現為軟件、固件和/或硬件。在軟件和固件實施例中，通過使用存儲在永久計算機可讀介質(例如半導體、光或者磁存儲器)中的計算機可執行指令來實現。
[0030]通過定位與所記錄的感興趣的時間最接近的幀開始該序列64，如在框66中所示。在所定位的幀之前或者之后，可收集預定數量的幀，如在框68中所示。
[0031]接下來如在框70中所示，該幀可被記分。基于它們的由視頻或者音頻分析確定的與規定為用于識別感興趣時刻的基礎的特征的相似性來給幀記分。
[0032]隨后，最佳幀可被選擇，如在框72中所示，并且用作一組幀中的索引。在一些情況下，可僅使用最佳幀。在另一些情況下，通過定義該幀的記分如何接近于理想值，使得一個片段可被定義在一組連續幀中。
[0033]本文描述的圖形處理技術以不同的硬件架構來實現。例如，圖形功能可以集成在芯片組中。可選擇地，也可以使用離散圖形處理器。如在另一個實施例中，可以通過包括多芯處理器的通用目的處理器來實現圖形功能。
[0034]貫穿整個說明書中的參考“一實施例”或者“實施例”意思是一個特定的特征、結構、或者結合這些實施例描述的特性被包括在本發明內包含的至少一個實施例中。因此，所出現的術語“一個實施例”或者“在實施例中”不應指的是相同的實施例。此外，特定的特征、結構或者特性可以以不同于所示的特定實施例的其它合適形式來建立，并且所有這些形式都包括在本發明的權利要求中。
[0035]雖然已經通過參考有限數量的實施例描述了本發明，然而本領域技術人員可以明白其中的多種修改和變形。旨在使所附權利要求覆蓋落入本發明的真正精神和范圍內的所有這些修改和變形。
【權利要求】
1.一種方法，包括: 使用計算機來從捕獲的圖像內容中進行無按鈕幀選擇。
2.根據權利要求1所述的方法，包括使用視頻或者音頻分析法進行幀選擇。
3.根據權利要求1所述的方法，包括刪除所捕獲的視頻內容中的隊列，并使用所述隊列進行幀選擇。
4.根據權利要求1所述的方法，包括連續捕獲幀，并且使用無按鈕幀選擇來選擇連續捕獲的幀。
5.根據權利要求4所述的方法，包括在所述連續捕獲的幀中標記感興趣的幀。
6.根據權利要求4所述的方法，包括定位在與所述感興趣的時間最接近的時間處所捕獲的幀。
7.根據權利要求6所述的方法，包括定位與在所述感興趣的時間處的所述幀最接近的多個幀。
8.根據權利要求7所述的方法，包括評估所述多個幀以選擇感興趣的幀。
9.根據權利要求1所述的方法，包括識別口說命令來控制圖像捕獲。
10.根據權利要求1所述的方法，包括響應于語音識別來捕獲幀。
11.一種存儲指令的永久計算機可讀介質,所述指令用于使計算機能夠: 使用計算機來從捕獲的圖像內容中進行無按鈕幀選擇。
12.根據權利要求11所述的介質，進一步存儲用于使用視頻或者音頻分析法進行幀選擇的指令。
13.根據權利要求11所述的介質，進一步存儲用于刪除所捕獲的視頻內容中的隊列并使用所述隊列進行幀選擇的指令。
14.根據權利要求11所述的介質，進一步存儲用于連續捕獲幀并使用無按鈕幀選擇來選擇連續捕獲的巾貞的指令。
15.根據權利要求11所述的介質，進一步存儲用于在所述連續捕獲的幀中標記感興趣的幀的指令。
16.根據權利要求11所述的介質，進一步存儲用于定位在與所述感興趣的時間最接近的時間處所捕獲的幀的指令。
17.根據權利要求11所述的介質，進一步存儲用于將多個幀定位在所述感興趣的時間處的所述幀的指令。
18.根據權利要求11所述的介質，進一步存儲用于評估所述多個幀以選擇感興趣的幀的指令。
19.根據權利要求11所述的介質，進一步存儲用于識別口說命令來控制圖像捕獲的指令。
20.根據權利要求11所述的介質，進一步存儲用于響應于語音識別來捕獲幀的指令。
21.一種裝置，包括: 成像設備，其用于捕獲一系列的幀；以及 處理器，其用于基于在所述幀中的聲音或者圖像的識別來選擇用于存儲的幀。
22.根據權利要求21所述的裝置，所述處理器用于使用視頻或者音頻分析法來進行幀選擇。
23.根據權利要求21所述的裝置，所述處理器用于刪除所捕獲的視頻內容中的隊列，并使用所述隊列進行幀選擇。
24.根據權利要求21所述的裝置，所述處理器用于連續捕獲幀并使用無按鈕幀選擇來選擇連續捕獲的幀。
25.根據權利要求21所述的裝置，所述處理器用于在所述連續捕獲的幀中標記感興趣的幀。
26.根據權利要求21所述的裝置，所述處理器用于定位在與所述感興趣的時間最接近的時間處所捕獲的幀。
27.根據權利要求21所述的裝置，所述處理器用于將多個幀定位在所述感興趣的時間處的所述幀。
28.根據權利要求21所述的裝置，所述處理器用于評估所述多個幀以選擇感興趣的幀。
29.根據權利要求21所述的裝置，所述處理器用于識別口說命令來控制圖像捕獲。
30.根據權利要求21所述的裝置，所述處理器用于響應于語音識別來捕獲幀。
【文檔編號】H04N5/232GK104170367SQ201180076132
【公開日】2014年11月26日 申請日期:2011年12月28日 優先權日:2011年12月28日
【發明者】D·C·米德爾頓, M·C·蓬塔雷利 申請人:英特爾公司