瀏覽摘要圖像的系統及方法
【專利摘要】提供了一種瀏覽摘要圖像的系統及方法。所述方法包括：通過控制圖像處理引擎，追蹤包括在包括多個圖像幀的輸入視頻圖像中的至少一個對象；通過控制圖像處理引擎，從所述多個圖像幀中選擇所述至少一個對象中的每個對象的代表圖像幀；通過控制瀏覽引擎，產生至少一個摘要靜止圖像，所述至少一個摘要靜止圖像包括從所述至少一個對象中的每個對象的代表圖像幀中提取的至少一個對象段。
【專利說明】瀏覽摘要圖像的系統及方法
[0001]本申請要求于2015年2月10日提交到韓國知識產權局的第10-2015-0020291號韓國專利申請的優先權，所述韓國專利申請的公開通過引用完整地包含于此。
技術領域
[0002]與示例性實施例相一致的設備和方法涉及瀏覽摘要圖像的系統及方法的。
【背景技術】
[0003]隨著對諸如圖像和視頻服務的多媒體服務的需求增長以及便攜式多媒體裝置的廣泛普及，越來越需要可以管理大量多媒體數據并且通過快速準確地尋找并提供消費者期望的內容的有效的多媒體搜索和瀏覽系統。
【發明內容】
[0004]本發明構思的示例性實施例提供允許用戶便捷地查看搜索結果的圖像瀏覽系統及方法。
[0005]本發明構思的各種方面將會部分地在以下描述中闡明，并將會部分地從描述中清楚或者可以通過本示例性實施例的實踐而領會。
[0006]根據一個或更多個示例性實施例，提供了一種瀏覽摘要圖像的方法。所述方法可包括:通過控制圖像處理引擎，追蹤包括在包括多個圖像幀的輸入視頻圖像中的至少一個對象；通過控制圖像處理引擎，從所述多個圖像幀中選擇所述至少一個對象中的每個對象的代表圖像幀；通過控制瀏覽引擎，產生至少一個摘要靜止圖像，所述至少一個摘要靜止圖像包括從所述至少一個對象中的每個對象的代表圖像幀中提取的至少一個對象段。
[0007]選擇代表圖像幀的步驟可包括:從所述多個圖像幀中選擇在至少一個對象選擇條件上具有最高分數的圖像幀作為代表圖像幀。
[0008]所述至少一個對象選擇條件可包括以下項中的至少一項:所述至少一個對象的屬性、所述多個圖像幀中的模糊效果、所述至少一個對象與另一對象之間的重疊程度。所述至少一個對象選擇條件中的每個可被給予預定的分數范圍。
[0009]所述至少一個摘要靜止圖像還可包括:基于所述多個圖像幀中的靜止區域產生的背景圖像。
[0010]在所述至少一個摘要靜止圖像中的至少一個對象段的尺寸和位置對應于在代表圖像幀中示出的至少一個對象的尺寸和位置。
[0011]產生至少一個摘要靜止圖像的步驟包括:根據所述至少一個對象在所述多個圖像幀中的出現時間的順序以及在一個摘要靜止圖像中設置的對象的最大數量產生至少一個摘要靜止圖像。
[0012]所述方法還可包括:響應于選擇在所述至少一個摘要靜止圖像中的對象段的選擇信號，提供從所述至少一個對象段中選擇的對象段的運動的預覽圖像。
[0013]所述方法還可包括:響應于在所述至少一個摘要靜止圖像上選擇預覽圖像的選擇信號，按時間順序再現所選對象段的運動。
[0014]所述方法還可包括:接收搜索條件信號以指示產生至少一個摘要靜止圖像；產生代表圖像幀的元數據。元數據可包括關于代表圖像幀的時間信息和關于代表圖像幀中的至少一個對象的位置信息。
[0015]選擇代表圖像幀的步驟可在接收到搜索條件信號之后被執行。
[0016]根據一個或更多個示例性實施例，提供了一種瀏覽摘要圖像的系統，所述系統可包括:圖像處理引擎，被配置為追蹤包括在包括多個圖像幀的輸入視頻圖像中的至少一個對象并從所述多個圖像幀中選擇所述至少一個對象中的每個對象的代表圖像幀；瀏覽引擎，被配置為產生至少一個摘要靜止圖像，所述至少一個摘要靜止圖像包括從所述至少一個對象中的每個對象的代表圖像幀提取的至少一個對象段。圖像處理引擎可從所述多個圖像幀中選擇在至少一個對象選擇條件上具有最高分數的圖像幀作為代表圖像幀。
[0017]在所述至少一個摘要靜止圖像中的至少一個對象段的尺寸和位置可對應于在代表圖像幀中示出的至少一個對象的尺寸和位置。
[0018]瀏覽引擎可根據所述至少一個對象在所述多個圖像幀中的出現時間的順序以及在一個摘要靜止圖像中設置的對象的最大數量產生至少一個摘要靜止圖像。瀏覽引擎可響應于選擇在所述至少一個摘要靜止圖像中的對象段的選擇信號，提供從所述至少一個對象段中選擇的對象段的運動的預覽圖像。
[0019]瀏覽引擎可以響應于在所述至少一個摘要靜止圖像上選擇預覽圖像的選擇信號，按時間順序再現所選對象段的運動。
[0020]所述系統還可包括:查詢引擎，被配置為接收搜索條件信號以指示產生至少一個摘要靜止圖像。
[0021]圖像處理引擎還可被配置為產生代表圖像幀的元數據，并在查詢引擎接收到搜索條件信號之后選擇代表圖像幀。
【附圖說明】
[0022]這些和/或其它方面將通過以下結合附圖的示例性實施例的描述變得清楚和更容易理解，在附圖中:
[0023]圖1是根據示例性實施例的圖像瀏覽系統的示意性框圖；
[0024]圖2是根據示例性實施例的圖1的圖像處理引擎的示意性框圖；
[0025]圖3是根據示例性實施例的圖像瀏覽方法的示意性流程圖；
[0026]圖4A至圖5C示出根據示例性實施例的從輸入視頻圖像產生的摘要靜止圖像；
[0027]圖6A至圖6C示出根據示例性實施例顯示摘要靜止圖像的屏幕；
[0028]圖7是根據另一示例性實施例的圖像瀏覽方法的示意性流程圖。
【具體實施方式】
[0029]現在將對示例性實施例作詳細參考，這些示例性實施例被示出在附圖中，其中相同的標號始終表示相同的元件。在這點上，本示例性實施例可具有不同的形式并且不應解釋為限于這里闡明的描述。因此，以下僅通過參考附圖描述示例性實施例，以解釋發明構思的多個方面。如在這里使用的，術語“和/或”包括一個或更多個相關的所列項目的任意組合和所有組合。
[0030]本發明構思可包括各種示例性實施例和修改，并且這些示例性實施例被示出在附圖中，并將在以下被具體描述。然而，應該理解，本發明構思不限于示例性實施例并且包括所有落入本發明構思的精神和范圍中的修改、等同物和替代物。在以下描述中，由于公知的功能或配置的具體描述會不必要地模糊本發明構思的主題，所以這些公知的功能或配置的具體描述將會被省略。
[0031]在以下示例性實施例中，盡管諸如“第一”和“第二”的術語可被用在這里以描述各種元件或組件，但是這些元件或組件不應被這些術語限制。這些術語只是用來將一個元件或組件與另一元件或組件區分開。
[0032]這里使用的術語只為描述示例性實施例的目的，不意圖限制本發明構思。如在這里使用的，除非上下文另外明確指出，否則單數形式也意圖包括復數形式。將會理解的是，當在這里使用諸如“包括”、“具有”的術語時，說明存在陳述的特征、整體、步驟、操作、元件、組件、或它們的組合，但是不排除存在或添加一個或更多個其它特征、整體、步驟、操作、元件、組件、或它們的組合。
[0033]示例性實施例可以參照附圖從功能塊組件和各種處理操作方面被描述。這些功能塊可被通過任意數量的執行特定功能的硬件和/或軟件組件實施。例如，示例性實施例可以使用可在一個或更多個微處理器或其它控制裝置的控制下執行各種功能的各種集成電路(IC)組件，如存儲器元件、處理元件、邏輯元件和查找表。類似地，在示例性實施例的元件通過軟件編程或軟件元件實施的情況下，示例性實施例可通過任意編程或腳本語言(諸如C、C++、Java或匯編語言)利用各種算法來實施，所述各種算法通過數據結構、進程、例程或其它編程元件的任意組合來實施。功能性方面可通過在一個或更多個處理器中執行的算法實施。此外，示例性實施例可使用相關技術進行電子環境設置、信號處理、和/或數據處理。諸如“機制”、“元件”、“單元”、“模塊”和“配置”的術語可以廣義地使用，且不限于機械配置和物理配置。這些術語可包括結合處理器等的軟件例程的含義。
[0034]圖1是根據示例性實施例的圖像瀏覽系統的示意性框圖。圖2是圖1的圖像處理引擎的示意性框圖。
[0035]參照圖1，圖像瀏覽系統I可執行一系列處理以向用戶提供搜索結果并且使得用戶理解搜索結果。圖像瀏覽系統I可包括圖像處理引擎10、數據庫(DB)20、查詢引擎30、搜索引擎40和瀏覽引擎50。
[0036]圖像處理引擎10可在輸入視頻圖像中執行諸如圖像消失檢測、對象運動檢測和對象出現/消失檢測的圖像分析。此外，圖像處理引擎10可執行背景檢測、前景和對象檢測、對象計數、相機干擾檢測、面部檢測等。此外，圖像處理引擎10可計算圖像亮度、顏色、紋理以及輪廓(形狀)信息。
[0037]輸入視頻圖像可以是從作為連接到圖像瀏覽系統I的圖像傳感器的相機(未示出)直接發送的視頻圖像、存儲在連接到圖像瀏覽系統I的網絡視頻錄像機(NVR)中或數字視頻錄像機中的視頻圖像、或者通過網絡(未示出)在各種頻道上輸入的視頻圖像。
[0038]圖像處理引擎10可包括對象追蹤器101和代表圖像選擇器103。
[0039]對象追蹤器101可從組成輸入視頻圖像的多個圖像幀確定作為感興趣的對象的運動區域并且追蹤對象的運動軌跡。對象追蹤器101可通過收集關于在連續的圖像幀之間的對象改變的信息獲取關于視頻圖像中的對象的追蹤信息。
[0040]代表圖像選擇器103可基于預定的選擇條件在跟隨或表示對象的追蹤的運動軌跡的圖像幀中選擇代表圖像幀。選擇條件可由用戶進行不同設置。選擇條件可包括對象的外部形狀和對象與另一對象的位置關系(如對象間的重疊程度)。例如，代表圖像選擇器103可確定對象是人還是車輛。在這種情況下，當對象是人時，作為示例，代表圖像選擇器103可首先選擇包括面部的圖像幀；當對象是車輛時，作為示例，代表圖像選擇器103可首先選擇包括牌照的圖像幀。代表圖像選擇器103可首先選擇具有較大對象尺寸的圖像幀。代表圖像選擇器103可首先選擇具有最小模糊效果的圖像幀。代表圖像選擇器103可首先選擇與另一對象沒有或者具有最小遮擋的圖像幀。代表圖像選擇器103可首先選擇由用戶指定的事件被檢測到的圖像幀。所述事件可包括特定運動、特定語音等。由于對象選擇條件是考慮其是否能夠增加識別對象的機率而確定的，所以代表圖像幀的選擇可允許用戶容易地識別對象。可以設置一個或更多個選擇條件。代表圖像選擇器103可為一個或更多個選擇條件中的每個選擇條件設置分數并且選擇具有最高最終分數的圖像幀作為每個對象的代表圖像幀。選擇條件的分數可根據由用戶考慮的優先順序被設置為相同或不同。例如，對象尺寸、模糊效果和重疊程度可被設置為選擇條件，并且可為每個選擇條件設置分數。在這里，每個選擇條件的分數可被設置超過根據選擇條件而不同的預定的分數范圍。根據滿足圖像幀中的一定的選擇條件的程度，該選擇條件的分數被設置給圖像幀。每個對象的圖像幀上的選擇條件的分數可被相加，并且具有最高總分數的圖像幀可被選擇為代表圖像幀。
[0041]代表圖像選擇器103可從針對每個對象選擇的代表圖像幀中提取對象并產生對象段。對象段可以是圍繞、包圍或包含對象的預定尺寸的塊，或者是從代表圖像幀中提取的對象本身。代表圖像選擇器103可產生包括關于代表圖像幀的時間信息(時間戳)、關于代表圖像幀中的對象的位置信息等的元數據。
[0042]當輸入視頻圖像時，代表圖像選擇器103可基于考慮對象追蹤結果的選擇條件選擇每個對象的代表圖像幀，并產生和存儲代表圖像幀的元數據。可選擇地，當輸入視頻圖像并且用戶或圖像瀏覽系統I請求摘要靜止圖像時，代表圖像選擇器103可基于選擇條件和輸入視頻圖像中的對象之間的位置關系選擇每個對象的代表圖像幀，并產生和存儲相關的元數據。
[0043]DB 20存儲輸入視頻圖像、視頻圖像分析結果等。視頻圖像分析結果可以以基于文本的元數據或基于圖像的元數據的形式存儲。圖像處理引擎10可創建和組織用于簡單搜索的元數據并將結果存儲在DB 20中。
[0044]DB 20可包括圖像DB 201和元數據DB 203。輸入視頻圖像和每個對象的視頻圖像(即，一系列跟隨或表示對象的運動軌跡的圖像幀)可被存儲在圖像DB 201中。關于每個對象的代表圖像幀的時間信息和關于代表圖像幀中的對象的位置信息的元數據可被存儲在元數據DB 203中。此外，關于每個對象的視頻圖像時間信息(時間戳)可被存儲在元數據DB 203中。此外，從代表圖像幀提取的對象段可以以基于圖像的元數據的形式被存儲在元數據DB 203中。
[0045]此外，圖像處理引擎10可在多個圖像幀中確定作為背景的靜止區域并產生背景圖像。背景圖像產生方法不限于特定的方法并且背景圖像可以由各種已知的方法產生。
[0046]此外，圖像處理引擎10可執行圖像分析，并且在圖像分析結果滿足預定事件產生條件時產生事件。在這里，事件可以包括在系統中設置的系統事件，諸如網絡錯誤的產生或新相機的設置。此外，事件可以包括由用戶設置的用戶事件，諸如對象的出現、由用戶指定的圖像的產生(例如，無法識別的面部圖像的出現)、屏幕顏色的改變、在預定區域中的運動的發生、異常聲源的產生(例如，汽車輪胎摩擦(打滑)聲、玻璃碎裂聲、警報聲、撞擊聲等)、由用戶指定的聲源的產生(例如，呼喊、尖叫、哭泣等)或者高于臨界水平的語音的產生。
[0047]查詢引擎30通過輸入裝置60接收一個或更多個搜索條件的輸入，從所述條件分析用戶的需求，并以預定的形式重建所述條件。例如，用戶可通過輸入裝置60輸入所述條件，諸如時間段、對象分類、顏色、監測區域中的感興趣區域(ROI)、監測區域中的特定方向的特定線路。例如，時間段可被設為日期/時間。對象分類可被設為對象類型(例如，人物、車輛或動物)、特定對象(例如，無名氏、白色車輛或貓)等。
[0048]檢索引擎40可接收重建的搜索條件并根據搜索條件訪問DB 20以查找必要信息。搜索引擎40可提取與搜索條件相應的一個或更多個圖像幀和元數據。
[0049]瀏覽引擎50可從搜索引擎40(或圖像處理引擎10)接收背景圖像和每個對象的代表圖像幀的對象段，并將對象段合成到背景圖像中以產生摘要靜止圖像。背景圖像可以是特定的靜止圖像或從輸入視頻圖像產生的背景圖像。
[0050]瀏覽引擎50可執行用于清楚地辨別背景和前景(對象)的可視化。作為可視化的示例，對象可由特定顏色或由特定圖形(如四邊形或圓形)來表示。一個或更多個摘要靜止圖像可根據視頻圖像中的對象的數量和對象之間的重疊而產生。兩個或更多個摘要靜止圖像可維持與對象的出現時間相應的時間的順序。摘要靜止圖像可包括表示對象信息的文本。對象信息可包括關于對象分類(例如，人物、車輛、動物等)、出現和/或維持時間、對象段顏色的信息。
[0051]瀏覽引擎50可在顯示器70上實時渲染摘要靜止圖像。瀏覽引擎50可顯示示出滿足搜索條件的多個對象的一個或更多個摘要靜止圖像。瀏覽引擎50可以以基于對象的出現時間的時間順序布置多個摘要靜止圖像。例如，時間上在前的摘要靜止圖像可被布置在時間上在后的摘要靜止圖像之前或之后。當確定一個摘要靜止圖像被多個對象完全充滿時，瀏覽引擎50產生下一個摘要靜止圖像。瀏覽引擎50重復摘要靜止圖像的產生，直至在請求時間期間內的所有對象被概括為一個或更多個靜止圖像。
[0052]瀏覽引擎50可通過使用關于對象的出現時間和位置的信息在一個或更多個相同的背景圖像中渲染多個對象的多個對象段。因此，基于不同對象之間的相互作用的摘要靜止圖像可被提供。
[0053]當選擇摘要靜止圖像中的對象時，瀏覽引擎50可提供所選對象的視頻圖像作為預覽圖像。預覽圖像可以以對話氣球提示的形式被提供在所選對象的周圍。當選擇預覽圖像(例如，鼠標移過并點擊預覽圖像)時，瀏覽引擎50可以再現對象的視頻圖像。因此，用戶能快速搜索感興趣的對象并能快速確定在所選時間期間發生了什么事件。
[0054]用戶終端80可以是由安全參與者或者管理圖像瀏覽系統I的用戶使用的計算機或移動終端。用戶可通過用戶終端80控制圖像瀏覽系統I。用戶終端80包括輸入裝置60，輸入裝置60是使用戶能夠將查詢(搜索條件)輸入到圖像瀏覽系統I中的用戶接口。
[0055]輸入裝置60被無線連接或有線連接到圖像瀏覽系統1，以產生允許用戶控制圖像瀏覽系統I的操作的輸入數據。輸入裝置60可包括鍵盤、圓頂開關、觸摸板(如電容覆蓋型、電阻覆蓋型、紅外光束型、表面聲波型、積分應變型、壓電型或非接觸式接近傳感器型)、鼠標、遙控器、滾輪和滾輪開關。用戶終端80可通過使用輸入裝置60修正、添加或刪除搜索條件來設置結果圖像的顯示條件。用戶終端80可通過使用輸入裝置60調整顯示的結果圖像的布置、合并和執行。
[0056]顯示器70為用戶提供從瀏覽引擎50輸出的結果圖像，因此使得用戶能夠監測顯示的圖像。顯示器70可為用戶提供視覺信息和/或聽覺信息。顯示器70可包括液晶顯示器(IXD)面板、有機發光顯示器(OLED)面板或電泳顯示器(EPD)面板。顯示器70可以以能夠接收根據用戶的觸摸的輸入的觸摸屏的形式被提供，從而用作輸入接口。
[0057]在閉路電視(CCTV)圖像安全系統中，由相機捕獲的圖像通過傳輸網絡被發送/接收，以使人們可以通過使用監視器直接監測安全環境，或者圖像可被存儲在DVR、NVR或視頻管理系統(VMS)中，以使人們后續可以搜索存儲的圖像。然而，在CCTV圖像安全系統中，由于CCTV相機的數量快速增長，由人進行的分析和直接監測受到限制，并且由于CCTV相機的數量快速增長，搜索存儲的圖像所花費的時間也成指數增長。因此，視頻濃縮/摘要技術已得到發展。視頻摘要技術將長期記錄的圖像概括以提供壓縮圖像，因此幫助用戶有效地搜索記錄的圖像。
[0058]視頻圖像摘要方案收集關于移動對象的信息以提供新的摘要圖像。因此，為用于后來的搜索，結果屏幕上產生多個對象同時出現和移動的場景，并且用戶需要確定期望的對象是否存在于結果屏幕上的圖像中。在這種情況下，當圖像摘要長度太短時，屏幕復雜度增加，并且監測目標對象因此可能會被錯失；當圖像摘要長度太長時，搜索效率比再現一般的監測圖像的情況下的搜索效率更低。此外，由于需要相對較長的時間來將監測圖像概括到結果圖像中，所以在后續需要快速搜索時搜索效率可能被降低。
[0059]根據示例性實施例，移動對象的視頻圖像被作為靜止圖像概括和提供給用戶，因此幫助用戶尋找監測目標對象而不會錯失。根據示例性實施例，靜止圖像可通過布置對象來提供，以使對象之間的重疊最小化并且對象之間的沒有路徑重疊的區域最大化。即，當η個對象存在于原始視頻圖像中時，表示η個對象中的每個對象的主要場景(圖像幀)(即每個對象的代表圖像幀)被選擇用來概括視頻圖像，以使所有的η個對象可以被表示在單個靜止圖像中。如果包括在一個結果摘要圖像中的對象重疊過多，則可提供多個靜止圖像。靜止圖像的順序可被設置為時間順序，以使用戶搜索感興趣的對象時不會困惑。
[0060]圖3是根據示例性實施例的圖像瀏覽方法的示意性流程圖。
[0061]圖像瀏覽系統可從輸入視頻圖像的多個圖像幀檢測對象并追蹤對象的運動(S31)。圖像瀏覽系統可通過識別、運動檢測和追蹤技術從所有圖像幀檢測一個或更多個對象，并通過持續追蹤提取和恢復對象的運動軌跡。
[0062]圖像瀏覽系統可選擇每個對象的代表圖像幀(S32)。圖像瀏覽系統可設置包括面部的人物圖像、包括牌照的車輛圖像、具有大對象尺寸的圖像、具有小模糊效果的圖像、不具有與另一對象的遮擋或具有與另一對象的很少遮擋的圖像、或者發生事件的圖像作為代表圖像幀的選擇條件。選擇條件對于一些對象可以是相同的，或者可以根據對象而不同。一個或更多個選擇條件可被設置。圖像瀏覽系統可設置一個或更多個選擇條件中的每個選擇條件的分數并選擇具有最高最終分數的圖像幀作為每個對象的代表圖像幀。選擇條件的分數可以根據由用戶考慮的優先順序設置為相同或不同。
[0063]圖像瀏覽系統可以從每個對象的代表圖像幀產生元數據并存儲元數據(S33)。圖像瀏覽系統可提供每個對象的代表圖像幀的數據庫并以基于文本的元數據的形式提供關于代表圖像幀中的對象的時間信息和位置信息。圖像瀏覽系統可以以基于文本的元數據的形式提供關于每個對象出現在其中的視頻圖像的時間信息的數據庫，以便提供跟隨或表示每個對象的完整運動軌跡的視頻圖像。圖像瀏覽系統可以以基于圖像的元數據的形式提供從代表圖像幀提取的對象段的數據庫。元數據可針對每個對象進行匹配并存儲。
[0064]當從用戶終端接收到摘要靜止圖像請求時(S34)，圖像瀏覽系統渲染并顯示摘要靜止圖像(S35)。圖像瀏覽系統從用戶終端接收搜索條件，并提取與搜索條件響應的信息(元數據和圖像幀)。圖像瀏覽系統可通過將與搜索條件相應的每個對象的對象段合成到背景圖像來產生至少一個摘要靜止圖像。每個對象的對象段可通過特定顏色或通過特定圖形被可視化。
[0065]當接收到對象視頻圖像再現請求時，即，當從摘要靜止圖像選擇對象時(S36)，圖像瀏覽系統再現所選對象的視頻圖像(S37)。當在摘要靜止圖像中的對象上感測到輸入單元(例如，鼠標光標、數字筆、手指等)的位置時，圖像瀏覽系統可以以預覽圖像的形式提供所選對象的視頻圖像。當接收到預覽圖像的選擇信號時(即，當預覽圖像被點擊時)，圖像瀏覽系統可再現所選對象出現的時間段的視頻圖像。對象視頻圖像可提供其它對象被移除且只有所選對象出現的場景。
[0066]根據本示例性實施例，當輸入視頻圖像時，對象被追蹤并且代表圖像幀基于每個對象的選擇條件被選擇以產生和存儲元數據。在這種情況下，靜止摘要圖像可被實時產生。
[0067]圖4A至圖5C示出根據示例性實施例的從輸入視頻圖像產生的摘要靜止圖像。圖4A至圖4C示出產生一個摘要靜止圖像的示例，圖5A至圖5C示出產生兩個摘要靜止圖像的示例。
[0068]圖4A示出包括多個圖像幀的輸入視頻圖像的示例。在輸入視頻圖像中，假設四個對象同時或不同時出現并沿不同的路線移動。關于對象視頻圖像(即每個對象的圖像幀)的時間信息可如上述描述被存儲為元數據。不同的對象可同時出現在一個圖像幀中。因此，一個圖像幀可與不同對象匹配。在圖4A中，為便于描述，省略背景和其它對象，而只示出感興趣的對象。
[0069]在圖4A的每個對象的圖像幀中，代表圖像幀RF I至RF4被選擇。可基于針對每個對象設置的選擇條件來針對每個對象選擇代表圖像幀RF I至RF4。可以從每個對象的代表圖像幀RFl至RF4提取對象段。每個對象的代表圖像幀和諸如關于對象段的位置信息和時間信息的元數據可被存儲。
[0070]圖4B示出圖4A的輸入視頻圖像中的四個對象的運動軌跡(箭頭)和出現順序。在圖4A的輸入視頻圖像中，假設第一對象①至第四對象④以數字順序出現在圖4B中指示的各自位置，并沿著由實線箭頭指示的各自的運動軌跡移動。
[0071]圖4C示出四個對象①至④被表示在一個摘要靜止圖像中的示例。從各自的代表圖像幀RFl至RF4中提取的所有四個對象段被表示在一個靜止圖像中。可以看出，代表圖像幀被選擇為使得對象相互不重疊。各個對象的對象段可由不同顏色或由不同圖形來表示。
[0072]圖5A示出出現九個對象的輸入視頻圖像。這九個對象的出現順序和運動軌跡(箭頭)不同。當過多對象被表示在一個摘要靜止圖像中時，對象密度值可由用戶的指定被改變，并且摘要靜止圖像的數量會因此增加或減少。
[0073]圖5B和圖5C示出以分開的方式在兩個摘要靜止圖像中表示九個對象的示例。圖5B示出時間上在前的四個對象被表示的第一摘要靜止圖像。圖5C示出時間上在后的五個對象被表示的第二摘要靜止圖像。
[0074]圖6A至圖6C示出根據示例性實施例顯示摘要靜止圖像的屏幕。
[0075]在如圖6A所示的摘要靜止圖像被顯示在屏幕上的狀態下，當如圖6B所示，諸如鼠標光標的指針位于對象上時，可在所選的對象周圍以對話氣球提示的形式提供圖層，并且在該圖層中可顯示對象的預覽圖像。當點擊預覽圖像時，如圖6C所示，所選對象沿著運動軌跡移動的對象視頻圖像可在整個屏幕上被重疊和再現。當再現完成時，在圖6A中示出的摘要靜止圖像可再次被顯示。
[0076]圖7是根據另一示例性實施例的圖像瀏覽方法的示意性流程圖。
[0077]圖像瀏覽系統可從輸入視頻圖像的多個圖像幀中檢測對象并追蹤對象的運動(S51)。圖像瀏覽系統可通過識別、運動檢測和追蹤技術從所有圖像幀中檢測一個或更多個對象，并且通過持續追蹤提取和恢復對象的運動軌跡。
[0078]當從用戶終端接收到摘要靜止圖像請求時(S52)，圖像瀏覽系統可選擇每個對象的代表圖像幀(S53)。當從用戶終端接收到搜索條件的輸入時，圖像瀏覽系統可基于搜索條件選擇輸入視頻圖像中的每個對象的代表圖像幀。如上所述，代表圖像幀的選擇條件可由用戶設置為對于一些對象相同或根據對象而不同。一個或更多個選擇條件可被設置。圖像瀏覽系統可以設置一個或更多個選擇條件中的每個選擇條件的分數，并選擇具有最高最終分數的圖像幀作為每個對象的代表圖像幀。選擇條件的分數可根據由用戶考慮的優先順序被設為相同或不同。
[0079]圖像瀏覽系統可從每個對象的代表圖像幀產生元數據并存儲元數據(S54)。圖像瀏覽系統可提供每個對象的代表圖像幀的數據庫，并且以基于文本的元數據的形式提供關于代表圖像幀中的對象的時間信息和位置信息。圖像瀏覽系統可將關于每個對象的時間信息存儲為元數據，以便提供跟隨每個對象的整個運動軌跡的視頻圖像。圖像瀏覽系統可以以基于圖像的元數據的形式提供從代表圖像幀提取的對象段的數據庫。元數據可針對每個對象進行匹配和存儲。
[0080]圖像瀏覽系統渲染并顯示與搜索條件相應的摘要靜止圖像(S55)。圖像瀏覽系統可通過合成從與搜索條件相應的每個對象的代表圖像幀提取的對象段來產生至少一個摘要靜止圖像。每個對象的對象段可通過特定顏色或通過特定圖形被可視化。
[0081]當接收到對象視頻圖像再現請求時(即，當從摘要靜止圖像中選擇對象時)(S56)，圖像瀏覽系統再現所選對象的視頻圖像(S57)。當在摘要靜止圖像中的對象上感測到輸入單元(例如，鼠標光標、數字筆、手指等)的位置時，圖像瀏覽系統可以以預覽圖像的形式提供所選對象的視頻圖像。當接收到預覽圖像的選擇信號時(即當點擊預覽圖像時)，圖像瀏覽系統可再現示出出現所選對象的整個運動軌跡的視頻圖像。對象視頻圖像可提供其它對象被移除且只有所選對象出現或移動的場景。
[0082]根據在圖3中示出的示例性實施例，當視頻圖像輸入時預先產生和存儲元數據。不同于圖3中示出的示例性實施例，在圖7中示出的本示例性實施例中，當摘要靜止圖像被請求時，元數據被產生和存儲。在這種情況下，不是只基于對象的外部形狀簡單地選擇代表圖像幀，而是通過考慮與其它對象的位置關系，最小化對象之間的重疊以使更多的對象可位于一個摘要靜止圖像中。因此，可以減少摘要靜止圖像的數量。
[0083]圖像瀏覽系統可根據用戶的設置選擇性地執行圖3的示例性實施例和圖7的示例性實施例。
[0084]根據示例性實施例，摘要圖像不是簡縮的視頻圖像而是基于對象的圖像。因此，錯失對象的可能性可以減少，并且可以一眼識別多個對象，從而可提供用戶的便利性。具體地講，由于對象的代表圖像基于代表圖像選擇分數被選擇，所以對象的存在/不存在可被快速地確定，而不花費不必要的再現時間。此外，示例性實施例可提供低存儲消耗和高處理速度。根據示例性實施例，盡管所有圖像幀可作為數據庫被獲得和提供，但是由于只有對象的代表圖像可被存儲，所以當接收到摘要請求時，摘要圖像可被立即提供給用戶。此外，示例性實施例可為用戶搜索提供便利性。由于通過在感興趣的對象上放置諸如鼠標的指針來再現感興趣的對象的從出現到消失的圖像，所以關于對象的信息可被快速獲得。
[0085]如上所述，根據以上示例性實施例，通過產生基于對象的摘要靜止圖像，可以一眼識別多個對象并且可以提供用戶的便利性。
[0086]根據示例性實施例的摘要圖像瀏覽方法還可以被實施為計算機可讀記錄介質上的計算機可讀代碼。計算機可讀記錄介質可以是能存儲此后可被計算機系統讀取的數據的任何數據存儲裝置。計算機可讀記錄介質的示例可包括ROM、RAM、⑶-ROM、磁帶、軟盤和光學數據存儲器。計算機可讀記錄介質還可分布于連接網絡的計算機系統上，以使計算機可讀代碼可以以分布方式被存儲和執行。此外，用于實現本發明構思的功能程序、代碼和代碼段可以由本發明構思所屬領域的編程技術人員容易地解釋。
[0087]應該理解，這里描述的示例性實施例應被看作僅有描述意義，而不是為了限制的目的。每個示例性實施例中的特征或方面的描述通常應被看作可用于在其它示例性實施例中的其它類似的特征或方面。
[0088]雖然一個或更多個示例性實施例已經參考附圖被描述，但是本領域普通技術人員應該理解，在不脫離由權利要求限定的本發明構思的精神和范圍的情況下，可在形式和細節上進行各種改變。
【主權項】
1.一種瀏覽摘要靜止圖像的方法，所述方法包括: 通過控制圖像處理引擎，追蹤包括在包括多個圖像幀的輸入視頻圖像中的至少一個對象； 通過控制圖像處理引擎，從所述多個圖像幀中選擇所述至少一個對象中的每個對象的代表圖像幀； 通過控制瀏覽引擎，產生至少一個摘要靜止圖像，所述至少一個摘要靜止圖像包括從所述至少一個對象中的每個對象的代表圖像幀中提取的至少一個對象段。2.如權利要求1所述的方法，其中，選擇代表圖像幀的步驟包括:從所述多個圖像幀中選擇在至少一個對象的選擇條件上具有最高分數的圖像幀作為代表圖像幀。3.如權利要求2所述的方法，其中，所述至少一個對象選擇條件包括以下項中的至少一項:所述至少一個對象的屬性、所述多個圖像幀中的模糊效果、所述至少一個對象與另一對象之間的重疊程度， 其中，所述至少一個對象選擇條件中的每個被給予預定的分數范圍。4.如權利要求1所述的方法，其中，所述至少一個摘要靜止圖像還包括:基于所述多個圖像幀中的靜止區域產生的背景圖像。5.如權利要求1所述的方法，其中，在所述至少一個摘要靜止圖像中的至少一個對象段的尺寸和位置對應于在代表圖像幀中示出的至少一個對象的尺寸和位置。6.如權利要求1所述的方法，其中，產生至少一個摘要靜止圖像的步驟包括:根據在所述至少一個對象所述多個圖像幀中的出現時間的順序和在一個摘要靜止圖像中設置的對象的最大數量產生至少一個摘要靜止圖像。7.如權利要求1所述的方法，還包括:響應于選擇在所述至少一個摘要靜止圖像中的對象段的選擇信號，提供從所述至少一個對象段中選擇的對象段的運動的預覽圖像。8.如權利要求7所述的方法，還包括:響應于在所述至少一個摘要靜止圖像上選擇預覽圖像的選擇信號，按時間順序再現所選對象段的運動。9.如權利要求1所述的方法，還包括: 接收搜索條件信號以指示產生至少一個摘要靜止圖像； 產生代表圖像幀的元數據； 其中，元數據包括:關于代表圖像幀的時間信息和關于在代表圖像幀中的至少一個對象的位置信息。10.如權利要求9所述的方法，其中，選擇代表圖像幀的步驟在接收到搜索條件信號之后被執行。11.一種瀏覽摘要圖像的系統，所述系統包括: 圖像處理引擎，被配置為追蹤包括在包括多個圖像幀的輸入視頻圖像中的至少一個對象并從所述多個圖像幀中選擇所述至少一個對象中的每個對象的代表圖像幀； 瀏覽引擎，被配置為產生至少一個摘要靜止圖像，所述至少一個摘要靜止圖像包括從所述至少一個對象中的每個對象的代表圖像幀提取的至少一個對象段。12.如權利要求11所述的系統，其中，圖像處理引擎被配置為從所述多個圖像幀中選擇在至少一個對象選擇條件上具有最高分數的圖像幀作為代表圖像幀。13.如權利要求12所述的系統，其中，所述至少一個對象選擇條件包括以下項中的至少一項:所述至少一個對象的屬性、在所述多個圖像幀中的模糊效果、所述至少一個對象與另一對象之間的重疊程度， 其中，所述至少一個對象選擇條件中的每個被給予預定的分數范圍。14.如權利要求11所述的系統，其中，所述至少一個摘要靜止圖像還包括:基于在所述多個圖像幀中的靜止區域產生的背景圖像。15.如權利要求11所述的系統，其中，在所述至少一個摘要靜止圖像中的至少一個對象段的尺寸和位置對應于在代表圖像幀中示出的至少一個對象的尺寸和位置。16.如權利要求11所述的系統，其中，瀏覽引擎被配置為根據所述至少一個對象在所述多個圖像幀中的出現時間的順序和在一個摘要靜止圖像中設置的對象的最大數量產生至少一個摘要靜止圖像。17.如權利要求11所述的系統，其中，瀏覽引擎還被配置為響應于選擇在所述至少一個摘要靜止圖像中的對象段的選擇信號，提供從所述至少一個對象段中選擇的對象段的運動的預覽圖像。18.如權利要求17所述的系統，其中，瀏覽引擎還被配置為響應于在所述至少一個摘要靜止圖像上選擇預覽圖像的選擇信號，按時間順序再現所選對象段的運動。19.如權利要求11所述的系統，還包括:查詢引擎，被配置為接收搜索條件信號以指示產生至少一個摘要靜止圖像， 其中，圖像處理引擎還被配置為產生代表圖像幀的元數據， 其中，元數據包括:關于代表圖像幀的時間信息和關于在代表圖像幀中的至少一個對象的位置信息。20.如權利要求19所述的系統，其中，圖像處理引擎還被配置為在查詢引擎接收到搜索條件信號之后選擇代表圖像幀。
【文檔編號】H04N7/18GK105872452SQ201510622680
【公開日】2016年8月17日
【申請日】2015年9月25日
【發明人】白榮民, 金大煥, 全承先, 金智星
【申請人】韓華泰科株式會社