一種基于視頻內容元素的信息標注和關聯方法、系統和設備的制造方法
【技術領域】
[0001]本發明涉及視頻技術領域，具體涉及一種基于視頻內容元素的信息標注和關聯方法、系統和設備。
【背景技術】
[0002]近年來，移動互聯網和移動智能終端的快速發展正在影響著人們觀看視頻的方式。一方面，越來越多的人使用平板電腦、智能手機等終端設備觀看在線視頻或0TT(0VerThe Top)視頻；另一方面，很多人喜歡在用電視或電腦觀看視頻的同時操作平板電腦或手機等“第二屏”終端設備，這些終端設備一般都具有觸屏交互的功能，使得用戶能夠方便地與視頻內容進行交互。
[0003]用戶觀看的視頻中，通常含有數量巨大的VCE(Video Content Element,視頻內容元素)，例如，商品、人物、音樂、地點、場所、字幕和背景知識。用戶在觀看視頻的過程中，往往會對視頻中的某一 VCE產生興趣，并希望獲得關于該VCE的相關信息。現有技術中，通常需要用戶暫停視頻，打開瀏覽器和搜索引擎，在搜索引擎中輸入用戶自認為貼切的關鍵字進行搜索。由于視頻中的VCE通常難以用語言描述，因此，用戶很難準確地查詢到VCE的相關信息。
【發明內容】
[0004]本發明提供了一種基于視頻內容元素的信息標注和關聯方法、系統和設備，以解決現有技術中VCE的相關信息難以獲取的缺陷。
[0005]本發明提供了一種基于視頻內容元素VCE的信息標注和關聯方法，應用于包括VCE服務器和VCE客戶端的系統中，所述方法包括以下步驟:
[0006]所述VCE服務器接收來自所述VCE客戶端的視頻幀編號，將與所述視頻幀編號對應的一個或多個已標注VCE的索引信息發送給所述VCE客戶端；
[0007]所述VCE服務器接收來自所述VCE客戶端的被用戶選擇的VCE的索引信息，根據所述被用戶選擇的VCE的索引信息和所述視頻幀編號，檢索所述被用戶選擇的VCE的關聯信息，并將所述關聯信息發送給所述VCE客戶端。
[0008]優選地，所述VCE服務器接收來自所述VCE客戶端的視頻幀編號之后，還包括:
[0009]所述VCE服務器判斷所述視頻幀編號對應的視頻幀內是否存在已標注VCE ;
[0010]所述VCE服務器將與所述視頻幀編號對應的一個或多個已標注VCE的索引信息發送給所述VCE客戶端，具體為:
[0011]當所述VCE服務器判斷出所述視頻幀編號對應的視頻幀內存在已標注VCE時，所述VCE服務器將所述已標注VCE的索引信息發送給所述VCE客戶端。
[0012]優選地，所述VCE服務器將與所述視頻幀編號對應的一個或多個已標注VCE的索引信息發送給所述VCE客戶端之后，還包括:
[0013]所述VCE客戶端根據所述已標注VCE的索引信息，將所述已標注VCE顯示在所述視頻幀編號對應的視頻幀上。
[0014]優選地，所述已標注VCE為可視VCE，所述已標注VCE的索引信息為可視VCE的位置信息；
[0015]所述VCE客戶端根據所述已標注VCE的索引信息，將所述已標注VCE顯示在所述視頻幀編號對應的視頻幀上，具體為:
[0016]所述VCE客戶端根據所述可視VCE的位置信息，將所述可視VCE的輪廓進行高亮顯示在所述視頻幀上。
[0017]優選地，所述已標注VCE的位置信息包括與所述已標注VCE對應的邊界框的水平坐標、垂直坐標、高度和寬度。
[0018]優選地，所述已標注VCE為抽象VCE，所述已標注VCE的索引信息為抽象VCE的名稱；
[0019]所述VCE客戶端根據所述已標注VCE的索引信息，將所述已標注VCE顯示在所述視頻幀編號對應的視頻幀上，具體為:
[0020]所述VCE客戶端根據所述抽象VCE的名稱，將所述抽象VCE以文字框的形式顯示在所述視頻幀的背景上。
[0021]優選地，所述VCE服務器將所述關聯信息發送給所述VCE客戶端之后，還包括:
[0022]所述VCE客戶端對所述關聯信息進行展示。
[0023]優選地，所述被用戶選擇的VCE為已標注VCE，所述被用戶選擇的VCE的關聯信息為所述已標注VCE對應的內部維基頁面的地址；
[0024]所述VCE客戶端對所述關聯信息進行展示，具體為:
[0025]所述VCE客戶端通過瀏覽器打開所述已標注VCE對應的內部維基頁面，所述內部維基頁面包括以下內容中的至少一項:名稱、種類、子類、基本描述、圖像特征、外部維基頁面的鏈接、電商頁面的鏈接、團購頁面的鏈接、點評頁面的鏈接、在線音樂鏈接、在線問答鏈接和關聯視頻列表。
[0026]優選地，所述VCE服務器接收來自所述VCE客戶端的視頻幀編號之后，還包括:
[0027]所述VCE服務器將與所述視頻幀編號對應的一個或多個未標注VCE的索引信息發送給所述VCE客戶端；
[0028]所述VCE客戶端根據所述未標注VCE的索引信息，將所述未標注VCE顯示在所述視頻幀編號對應的視頻幀上。
[0029]優選地，所述被用戶選擇的VCE為未標注VCE，所述VCE服務器接收來自所述VCE客戶端的未標注VCE的索引信息之后，還包括:
[0030]所述VCE服務器根據所述被用戶選擇的VCE的特征信息，判斷VCE數據庫中是否存在與所述被用戶選擇的VCE匹配的已標注VCE的數據結構，如果是，則從與所述被用戶選擇的VCE匹配的已標注VCE的數據結構中獲取描述信息，將所述描述信息發送給所述VCE客戶端；否則，根據所述被用戶選擇的VCE的特征信息，使用外部搜索引擎進行搜索，將搜索到的網頁集合的鏈接發送給所述VCE客戶端，接收所述VCE客戶端返回的用戶確認的網頁集合的鏈接，根據所述用戶確認的網頁集合的鏈接，生成所述被用戶選擇的VCE的數據結構，將所述被用戶選擇的VCE的數據結構存儲到所述VCE數據庫中。
[0031]優選地，所述描述信息包括名稱和基本描述；所述被用戶選擇的VCE為可視VCE時，所述描述信息還包括圖像特征。
[0032]優選地，所述被用戶選擇的VCE為可視VCE時，所述被用戶選擇的VCE的特征信息為可視VCE的圖像特征；所述被用戶選擇的VCE為抽象VCE時，所述被用戶選擇的VCE的特征信息為抽象VCE的名稱。
[0033]優選地，所述被用戶選擇的VCE為未標注VCE，所述VCE服務器接收來自所述VCE客戶端的未標注VCE的索引信息之后，還包括:
[0034]所述VCE服務器接收來自所述VCE客戶端的標注信息，根據所述標注信息生成所述被用戶選擇的VCE的數據結構，將所述被用戶選擇的VCE的數據結構存儲到VCE數據庫中。
[0035]優選地，所述VCE服務器生成所述被用戶選擇的VCE的數據結構之后，還包括:
[0036]所述VCE服務器根據所述被用戶選擇的VCE的特征信息，判斷所述被用戶選擇的VCE是否出現在當前視頻的其他視頻幀上以及其他視頻中，如果所述被用戶選擇的VCE出現在當前視頻的其他視頻幀上，則獲取所述被用戶選擇的VCE在當前視頻的其他視頻幀上的索引信息，將獲取到的索引信息添加到所述被用戶選擇的VCE的數據結構中；如果所述被用戶選擇的VCE出現在其他視頻中，則獲取所述被用戶選擇的VCE在其他視頻中對應的視頻幀編號以及各個視頻幀上的索引信息，將獲取到的視頻幀編號和索引信息添加到所述被用戶選擇的VCE的數據結構中。
[0037]優選地，所述VCE客戶端通過瀏覽器打開所述已標注VCE對應的內部維基頁面之后，還包括:
[0038]所述VCE客戶端檢測到所述內部維基頁面中的關聯視頻列表被觸發后，將被觸發視頻的標識信息發送給所述VCE服務器；
[0039]所述VCE服務器根據被觸發視頻的標識信息，從檢索到的已標注VCE的數據結構中獲取與被觸發視頻對應的一個或多個視頻幀的編號，將獲取到的視頻幀的編號發送給所述VCE客戶端；
[0040]所述VCE客戶端根據被觸發視頻的標識信息和接收到的視頻幀的編號，向視頻服務器發送播放請求，并在接收到來自所述視頻服務器的視頻數據后，對所述視頻數據進行播放。
[0041]本發明還提供了一種VCE服務器，包括:
[0042]第一接收模塊，用于接收來自VCE客戶端的視頻幀編號；
[0043]第一發送模塊，用于將與所述第一接收模塊接收到的所述視頻幀編號對應的一個或多個已標注VCE的索引信息發送給所述VCE客戶端；
[0044]第二接收模塊，用于接收來自所述VCE客戶端的被用戶選擇的VCE的索引信息；
[0045]檢索模塊，用于根據所述第二接收模塊接收到的所述被用戶選擇的VCE的索引信息和所述第一接收模塊接收到的所述視頻幀編號，檢索所述被用戶選擇的VCE的關聯信息;
[0046]第二發送模塊，用于將所述檢索模塊檢索到的所述關聯信息發送給所述VCE客戶端。
[0047]優選地，所述的VCE服務器，還包括:
[0048]第一判斷模塊，用于判斷所述第一接收模塊接收到的所述視頻幀編號對應的視頻幀內是否存在已標注VCE ；
[0049]所述第一發送模塊，具體用于在所述第一判斷模塊判斷出所述視頻幀編號對應的視頻幀內存在已標注VCE時，將所述已標注VCE的索引信息發送給所述VCE客戶端。
[0050]優選地，所述第一發送模塊，還用于將與所述視頻幀編號對應的一個或多個未標注VCE的索引信息發送給所述VCE客戶端。
[0051 ] 優選地，所述被用戶選擇的VCE為未標注VCE ；
[0052]所述VCE服務器，還包括:
[0053]第二判斷模塊，用于根據所述被用戶選擇的VCE的特征信息，判斷VCE數據庫中是否存在與所述被用戶選擇的VCE匹配的已標注VCE的數據結構；
[0054]第一獲取模塊，用于在所述第二判斷模塊判斷出所述VCE數據庫中存在與所述被用戶選擇的VCE匹配的已標注VCE的數據結構時，從與所述被用戶選擇的VCE匹配的已標注VCE的數據結構中獲取描述信息，將所述描述信息發送給所述VCE客戶端；
[0055]搜索模塊，用于在所述第二判斷模塊判斷出所述VCE數據庫中不存在與所述被用戶選擇的VCE匹配的已標注VCE的數據結構時，根據所述被用戶選擇的VCE的特征信息，使用外部搜索引擎進行搜索，將搜索到的網頁集合的鏈接發送給所述VCE客戶端，接收所述VCE客戶端返回的用戶確認的網頁集合的鏈接；
[0056]第一生成模塊，用于根據所述搜索模塊接收到的所述用戶確認的網頁集合的鏈接，生成所述被用戶選擇的VCE的數據結構，將所述被用戶選擇的VCE的數據結構存儲到所述VCE數據庫中。
[0057]優選地，所述描述信息包括名稱和基本描述；所述被用戶選擇的VCE為可視VCE時，所述描述信息還包括圖像特征。
[0058]優選地，所述被用戶選擇的VCE為可視VCE時，所述被用戶選擇的VCE的特征信息為可視VCE的圖像特征；所述被用戶選擇的VCE為抽象VCE時，所述被用戶選擇的VCE的特征信息為抽象VCE的名稱。
[0059]優選地，所述的VCE服務器，還包括:
[0060]第三接收模塊，用于接收來自所述VCE客戶端的標注信息；
[0061]第二生成模塊，用于根據所述第三接收模塊接收到的所述標注信息生成所述被用戶選擇的VCE的數據結構，將所述被用戶選擇的VCE的數據結構存儲到VCE數據庫中。
[0062]優選地，所述的VCE服務器，還包括:
[0063]第三判斷模塊，用于根據所述被用戶選擇的VCE的特征信息，判斷所述被用戶選擇的VCE是否出現在當前視頻的其他視頻幀上以及其他視頻中；
[0064]第二獲取模塊，用于在所述第三判斷模塊判斷出所述被用戶選擇的VCE出現在當前視頻的其他視頻幀上時，獲取所述被用戶選擇的VCE在當前視頻的其他視頻幀上的索引信息，將獲取到的索引信息添加到所述被用戶選擇的VCE的數據結構中；在所述第三判斷模塊判斷出所述被用戶選擇的VCE出現在其他視頻中時，獲取所述被用戶選擇的VCE在其他視頻中對應的視頻幀編號以及各個視頻幀上的索引信息，將獲取到的視頻幀編號和索引信息添加到所述被用戶選擇的VCE的數