視頻數據的提供的制作方法
【專利說明】視頻數據的提供
[0001]本發明涉及在通信媒體上提供視頻數據。具體地，本發明涉及通過將“書簽”數據應用于節目來識別記錄節目的“最精彩部分(highlights)”。這些可以由創建這些節目的用戶或其他用戶來使用以識別最感興趣的部分。例如，它們可以用來識別廣播的部分以編輯成短視頻序列。提供這種最精彩部分是許多電視服務(特別是體育賽事報道)的重要部分。
[0002]編輯“最精彩部分”片段的序列所需的提取通常使用標準數字視頻編緝工具從較長的視頻序列創建，所述標準數字視頻編緝工具直接地或者參考該片段中的關鍵事件來定義每個視頻片段的起點和終點。每個片段典型地存儲為獨立的文件，該獨立的文件可以隨后提供給觀眾。典型地，給請求“最精彩部分”序列的觀眾提供地址或地址集合，從該址或地址集合檢索構成所需序列的片段。
[0003]例如從國際專利說明書W02004/025508中已知，提供識別視頻序列中的“最精彩部分”的自動程序以便給觀眾提供導航設備或簡化和減少視頻生產和編輯中的成本。現有技術典型地通過分析視頻序列中視頻或音頻的電平的變化來自動識別視頻片段。更具體地，通過分析視頻信號的可視部分、音頻部分和文本部分，使用各種超級直方圖、幀簽名、剪切檢測方法、隱藏字幕信息、音頻信息等來典型地識別“最精彩部分”視頻段落的邊界。例如，基于響應于運動員的表現記錄的觀眾歡呼的音量(US7831112)，或分析描述分數的圖像區域來檢測變化(US7983442)。
[0004]例如從歐洲專利申請EP142178中還已知，使觀眾手動地以書簽標記“最精彩部分”以用于以后的訪問。盡管人工輸入比內容分析更可靠，但是單獨的用戶將以不同的方式反應，特別是將具有不同的反應時間，范圍從響應于語音或手勢命令、或者如果在預計事件的情況下用戶使其手指保持適當控制的姿勢，到如果用戶不太熟悉系統和/或需要尋找控制單元、或者如果相關節目建立標記需要具有多功能(例如平板計算機)的幾秒鐘。因此，視頻檢索處理器難以響應單獨以書簽標記內容，精確地確定內容的哪部分適于針對視頻片段來標記。根據以書簽標記的事件是用戶正期待的“定位球(set piece)”還是響應時間將變化較大的某些不期待的事情，能夠發生其它變化。
[0005]本發明提供了一種用于從視頻數據元素的序列生成視頻片段以根據需要傳輸和重放的視頻服務平臺，該視頻服務平臺包括:
[0006]用戶輸入單元，其接收多個單獨時間戳數據輸入，每個單獨時間戳數據輸入由各用戶生成，并且識別要用來生成片段的視頻數據的一部分；
[0007]聚合系統，其用于計算從所述多個單獨時間戳數據導出的聚合時間戳值；
[0008]事件標記器單元，其用于根據所述聚合時間戳數據，將事件標記器標志與視頻數據序列的元素相關聯；和
[0009]輸出單元，其用于從與事件標記器標志相關地定義的多個視頻數據元素生成視頻片段。
[0010]本發明還提供了一種用于從視頻數據元素的序列生成視頻片段以根據需要傳輸和重放的方法，其中由多個用戶中的每一個生成的識別要用于生成片段的視頻數據的一部分的單獨時間戳數據輸入被聚合以計算聚合時間戳值，并且根據聚合的時間戳，將事件標記器標志與視頻數據序列的元素相關聯。
[0011]用于確定聚合時間戳值的處理可以根據與單獨時間戳值相關聯的元數據和/或時間戳數據輸入的分布來選擇。時間戳數據輸入的分布例如通過選擇整個持續時間，或者選擇在事件標志之前出現的片段的比例還可用于控制在該片段的事件標記器之前和/或之后視頻片段部分的持續時間。
[0012]本發明使觀眾能使用觀眾定義的“臨時書簽”在視頻序列內識別多個關鍵事件(例如，在足球比賽中的進球)。與相關聯的元數據一起地，這些書簽被存儲為時間代碼，所述元數據將時間代碼識別為屬于某種類型的事件。在優選實施方式中，不是標記最精彩片段的開始和結束，而是第一值標記關鍵事件，第二值用來定義識別在標記點之前和標記點之后要提供的片段的相對持續時間的比率。因此，用戶不需要識別對事件本身建立的開始。當保持該比率時，能夠調整實際持續時間。
[0013]可以在關鍵事件的時刻由非專家用戶通過單次交互在直播視頻流上容易地且實時地識別和生成片段。但是，由于不熟悉控制設備，意識到事件的重要性所用時間的不同、外物分心等，用戶響應于關鍵事件所用時間會不同。這會降低系統的有效性，因為不同的用戶將接收不同的片段、顯示或多或少感興趣的事件。特別地，片段必須足夠長以確保關鍵時刻(根據正在討論的運動，進球、接球、擊球、超過)被捕捉，導致任何被傳輸的片段很可能包括比期望更多的關鍵時刻之前和/或之后的事件。這反過來意味著在給定的時間內能給用戶顯示較少的片段。
[0014]更進一步的缺陷在于存儲了大量的事件標記器。不但引起針對服務提供商的存儲問題，而且它使檢索變得困難，特別是如果這些片段對那些沒有看到或以書簽標記原始廣播或者其中的一部分的觀眾可用，并且希望使用書簽來創建最精彩的序列，更是如此。許多標簽將與相同的事件有關，并且未經詳細分析，對于用戶來說很難識別與事件有關的多個標記中的哪一個將提供最精確的觀看。即使對于創建標記的用戶，他們的反應時間可能從一個標記到另一個標記而變化，導致某些片段的起點和終點比期望的更早或更晚。
[0015]本發明通過分析在視頻傳輸(所述視頻傳輸可以是流直播或可以視為“按需”時移紀錄)期間由多個用戶生成的事件標記器的臨時分布，識別彼此臨時靠近的事件標記器，生成聚合的時間戳，以及生成具有聚合時間戳的值的聚合事件標記器來克服這些缺陷。該聚合值可以為簡單的中值，或者在時間戳的分布上的某些更早或更晚的點，例如第25%的點。與事件標記器相結合由用戶提供的元數據不但可以用來最初識別與相同的事件相關的事件標記器，而且用于確定多個聚合處理中的哪一個用于每個這種群組，例如期望針對諸如罰球等的“定位球”的用戶標記行為比諸如沖撞、自由運動的射門等的意外事件更集中。
[0016]通過HTTP (超文本傳輸協議)傳送視頻的通用方法包括將大的視頻文件分成多個較小的文件(稱為塊)，且每個塊對應于在長度上可能為幾秒的視頻段，并且每個視頻段具有其自己的URL(統一資源定位符)。在這種系統中，服務器平臺給客戶提供清單文件，(所述清單文件指明請求的片段的每個塊的URL)，以便客戶能夠請求、編輯并且然后重放視頻。在該實施方式中，由客戶端設備創建和解譯清單文件的方式，以便通過首先下載與關鍵事件有關的塊(諸如進球)，接著進一步下載在每個單獨的事件之前或之后的序列中的“視頻塊”，來基于其敘述的重要性對傳輸的內容進行排序。還可以給不同事件提供不同的優先級，以便首先傳輸諸如進球的事件，稍后傳輸諸如沒能進球、犯規等其它事件。通過將較低優先級事件的定義的“事件標記器”塊排序在較高優先級事件的事件標記器之前或之后的一段距離發生的塊之前，與較低優先級事件相關的塊在完成所有較高優先級的事件的塊的傳輸之前開始傳輸。在任何事件中，在傳輸之后，塊被重新匯編為它們的用于觀看的正確的序時順序。
[0017]該配置能使適合于帶寬的以靈活方式提供的“最精彩片段”可用。這對于使用低容量網絡或處于不可靠覆蓋范圍(例如移動用戶可能經歷的那樣)的觀眾是有益的。這種配置將允許觀眾可用的多個單獨的最精彩片段，在可用帶寬或可靠連接存在限制的情況下被優化。視頻塊的優先次序還使視頻片段能被“飛速”動態編輯，以匹配專用回放長度限制。這種設備在提供“后來者”追趕設備時是有用的，所述“后來者”追趕設備能給觀眾提供在加入直播流之前發生的關鍵事件大綱。
[0018]現在，將通過示例的方式并且參照附圖描述本發明的實施方式，在附圖中:
[0019]圖1描繪了