分布式自動影像和視頻處理的制作方法
【技術領域】
[0001]本發明涉及數碼照片和視頻的自動捕捉和處理。
【背景技術】
[0002]在日常生活中，拍攝數碼照片和視頻變得日益重要。人們通常在運動、旅行和其他活動中使用免持式攝像機，并將其固定在身體、頭盔或設備上。這類攝像機可在自動模式下以預定的時間間隔持續拍攝視頻或照片。然而，此種方法存在一些缺點。持續拍攝期間會產生諸多大文件，這些文件中大部分都是無用和多余的照片和視頻，浪費了諸多存儲空間和電池壽命，而且需要耗時的搜索和處理才能提取出視頻或相關照片的有趣部分。此外，由于儲存空間和電池壽命有限，就需要降低分辨率和幀頻，并延長照片拍攝間隔。舉例來說，當使用此類攝像機每隔幾秒持續拍攝一組照片時，儲存空間和電池壽命甚至會在拍攝到有趣時刻或值得拍攝對象之前就已耗盡，或者在兩次連續拍攝之間錯過了有趣時刻。
[0003]此外，由于攝像機固定在用戶身體上，當用戶想拍攝自己的照片時往往就無法從期望的角度進行拍攝。
【發明內容】
[0004]—種捕捉視頻和靜態影像的新方法隨著諸多技術領域的發展形成:
數碼成像技術的發展、光學性能的改善、分辨率和影像質量的提高以及攝像機價格的降低，產生了一種新局面，那就是當用戶被其他用戶和攝像機包圍時，該用戶能從不同角度拍攝其高分辨率的影像或視頻。
[0005]網絡連接的發展、帶寬和覆蓋范圍的提高以及能耗和連接價格的同步降低，實現了數碼相機的網絡連接、必要系統信息交換以及照片和視頻大文件的快速上傳和下載。
[0006]影像和視頻處理、視頻理解技術以及面部和目標識別技術的發展，實現了從不同視角對人物和環境的識別，以及對視頻流中有趣場面或場景的自動識別。
[0007]3D掃描、對不同視角拍攝的照片或視頻的立體處理以及計算機圖像生成的發展，實現了從新視角對影像或視頻進行拍攝。
[0008]對所拍攝視頻的影像處理和理解、對身體參數的監控以及對GPS和加速度傳感器的使用，實現了對用戶體驗的重要和激動時刻的確定，以及通過視頻拍攝、攝像機拍攝或增加分辨率、畫質和幀頻對這些時刻進行選擇性的捕捉。
[0009]GPS、其他導航系統以及其他技術的發展，實現了對攝像機位置的映射和記錄，以及對當前事件所關聯的攝像機清單的了解。
[0010]一些社交程序能夠追蹤用戶位置、識別和標記用戶并采用其他方法從照片和視頻中追蹤用戶物理位置并識別用戶。隨著這些社交程序以及社交網絡的日益普及和使用，能夠利用位于相關位置采用相關時間間隔的攝像機，從用戶親友及其他合作用戶所拍攝的照片和視頻中追蹤和識別用戶。
[0011 ] 通過結合使用上述一些解決方案、進行相應修改并如本披露內容所述將其組織到恰當系統，形成了一種數碼成像和視頻拍攝的新方法。在該方法中，可穿戴攝像機一直處于“就緒”狀態，不斷從處于節能“經濟”模式的所有相關傳感器捕捉視頻、音頻和其他信息，并對其進行持續處理，以識別“重要”情況。根據在適當位置和恰當時間運行的一部或多部攝像機采集到的信息，自動或半自動檢測、選擇或生成最重要和有趣的事件。多部攝像機可連接至網絡并在事件期間協作。攝像機采集的視頻和照片也可上傳至網絡并在之后進行處理。
[0012]下面以用戶在滑雪勝地滑雪這一場景為例，假設用戶正在進行滑雪表演。用戶攝像機自動檢測到表演的開始和結束時刻，開始采集視頻、影像以及適當的高品質設定。附近的其他協作攝像機也開始在相關間隔拍攝視頻和影像。事件結束后，從所有攝像采集的視頻被自動進行處理，然后從數部攝像機的視頻中選出或生成最佳角度的最佳視頻。該視頻之后進行穩定處理，并基于多部攝像機的信息以及所識別個人和目標的其他影像和視頻進行畫質改善。
[0013]通過處理固定在用戶身體或設備上的攝像機所拍攝的視頻、攝像機或其他裝置上傳感器的聲音、位置、速度、加速度或其他信息，包括身體監控傳感器采集的心跳和大腦活動等信息，找到表演的恰當時刻。
[0014]基于其他登記和協作的攝像機的位置和視野確定相關攝像機。加速幀頻、改善畫質以及拍攝更高分辨率的靜止影像也可應用到事件時刻的相關協作攝像機。
[0015]根據類似視角拍攝的多個視頻/照片，選出或生成最佳視角的最佳照片和視頻。也可在之后根據所有相關攝像機的拍攝內容以及在事件時刻和地點拍攝的影像/視頻數據庫離線找到最佳視角的最佳照片和視頻。
【附圖說明】
[0016]根據以下附圖的描述，可更充分的理解本發明的諸多方面。附圖中的各部件并非為了放大或強調，而是為了清晰說明當前披露內容的原理。在多幅附圖中，各附圖中的相同部分使用相同的參考數字標記。
[0017]圖1是一個攝像機聯網協作系統的示意圖，與本發明的一個實施例一致。
[0018]圖2是協作攝像機連接和參與的說明圖，與本發明的一個實施例一致。
[0019]圖3是攝像機運行和網絡通訊的原理流程圖，與本發明的一個實施例一致。
[0020]圖4是攝像機系統的系統方框圖，與本發明的一個實施例一致。
[0021]圖5是攝像機與附近攝像機運行和協作的流程圖。
[0022]圖6是處理用戶的視頻或照片改善請求的流程圖。
【具體實施方式】
[0023]本發明詳述如下，并附有方法、裝置(系統)和計算機程序產品的流程圖和/或框圖，與本發明的實施例一致。應當理解，流程圖和/或框圖的每個方框以及流程圖和/或框圖中多個方框的組合，都可以由計算機程序指令實現。這些計算機程序指令可在通用處理器、應用處理器和專用集成電路上執行，以創造方法實施流程圖和/或框圖中單個或多個方框指定的功能/操作。
[0024]這些計算機程序指令也可存儲在能指示計算機或其他可編程數據處理裝置以特定方式工作的計算機可讀介質中，這樣，存儲在計算機可讀介質中的指令會產生一個包含指令方法的制品，實施流程圖和/或框圖中單個或多個方框指定的功能/操作。
[0025]附圖中的各部件并非為了放大或強調，而是為了清晰說明當前披露內容的原理。在多幅附圖中，各附圖中的相同部分使用相同的參考數字標記。
[0026]本發明的目標之一是提供一種方法和一個系統，用于在兩個及以上協作成像系統環境中自動和半自動地拍攝視頻和靜止影像。這種系統又稱為成像器。
[0027]各成像器中包含一個數字成像攝像機，能夠拍攝數字靜止影像、視頻和/或3D視頻。成像器可進一步包含一種實現成像器間通訊的網絡連接，或一種實現與其他協作成像器直接通訊的裝置。成像器可配備附加傳感器，如GPS及其他導航定位傳感器、加速度傳感器、音頻傳感器、生物傳感器等。成像器可進一步包含影像處理硬件和/或軟件，并可將拍攝的影像和視頻上傳至網絡進行處理。
[0028]在本發明中，術語“攝像機”指能夠拍攝靜止影像和/或視頻的數字成像攝像機。此外，在一些情況下，上文所述“成像器”也將指“攝像機”。在本發明中，將使用術語“影像”或“視頻”代替“靜止影像或視頻”。術語“自動采集”指有無用戶直接初始化、配置、啟動、停止和選擇都進行的采集。為了陳述內容的清晰簡潔，這些名稱變體和名稱組合未列在文本中。
[0029]成像器的預期用途之一是固定在用戶身體或設備上，捕捉用戶希望捕捉到的運動或其他活動。此類活動包括在滑雪勝地滑雪或滑雪板、在大海沖浪或風箏沖浪、騎自行車、徒步旅行等等。盡管用戶會長時間穿戴成像器，但用戶可能只對拍攝特定事件感興趣。
[0030]術語“成像事件”或“事件”指特別有趣的事件，這類事件可能對用戶而言具有價值，并且值得提高成像質量。此類事件可基于對持續拍攝的視頻和/或傳感器數據的處理自動確定。通過場景、速度和用戶活動的改變、對場景內相關人物或目標的檢測以及對加速心率、速度、高度、壓力、加速度、聲音或其他信息的檢測，能夠檢測到成像事件。我們假定成像器至少擁有兩種運行模式。一種是正常模式，用于監控傳感器數據，并以降低的分辨率和幀頻拍攝視頻。另一種是影像增強模式，以加速的幀頻、提高的分辨率、3D拍攝等進行成像。
[0031]本發明的目標之一是提供一種方法和一個系統，用于通過協作的成像器系統自動拍攝視頻。當其中一臺成像器檢測到成像事件后，該成像器切換到影像增強模式，并通知其附近的協作成像器。這些協作成像器開始對同一事件成像，以從不同和更合適的視角和位置提供事件的視頻，以供進一步處理或選擇事件的最佳視頻。
[0032]本發明的另一目標是提供一種方法和一個系統，用于視頻處理。數部成像器從不同的位置和視角捕捉成像事件，并將采集到的視頻上傳至網絡供進一步處理。在處理階段，根據數個采集到的視頻選擇和生成最佳視頻。最佳視頻根據影像質量和事件描述質量確定。
[0033]影像質量標準包括噪點水平和恰當的焦距值、曝光值、白平衡值、視頻穩定等。事件描述質量包括比例、距離、視角、場景質量(遮蔽或清晰呈現的主要對象或目標)、風景等。通過影像處理、面部檢測和識別、場景分析以及傳感器數據處理(如位置傳感器、壓力傳感器、速度傳感器、生物傳感器等傳感器的數據)，可對事件進行定位。
[0034]在生成輸出視頻時，可通過處理多個采集到的視頻的數據和/或添加儲存在別處的已識別人士和目標的影像來提升影像質量。此外，可將諸如用戶速度、位置、加速度等其他信息層覆蓋在