一種直播時移的播放進度操控方法及系統與流程

本發明涉及多媒體播放技術領域，特別涉及一種直播時移的播放進度操控方法及系統。

背景技術：

所謂時移，是指觀眾可以任意回放過去時間的直播內容。時移是直播與點播相結合而形成的一種新業務，是直播業務的補充。用戶在觀看直播節目時，中途可以暫停，過后可以從暫停處繼續收看，以免錯過某些重要情節。從技術上講，在暫停請求時，播放服務器把節目錄下來，在繼續播放時，再把錄下來的節目采用單播形式重新播放。

對于直播的節目，具有時移功能的流媒體直播系統可以在之后的任何時間看節目，例如播放球賽，不一定要直播觀看球賽，可以隨時暫停、回放、前進或播放，也就是把球賽的播放時間同步性給去掉了，想什么時候看就什么時候看，想看任何一個進球的精彩瞬間均可以回放觀看，給用戶帶來了便利。

目前，用戶觀看直播視頻想要調整播放進度時，通常只能通過手動或案件拉動播放進度條調整播放進度，例如現有專利公開號為cn102664032a公開的一種直播時移的播放進度調節條及其控制方法，該技術中，用戶通過調節進度條可以調節播放進度，但是通過該技術在播放進度調整過程中無法快速地、準確地定位到自己想看的進度，并且來回調節進度比較枯燥，定位誤差較大，無法根據播放的內容進行快速定位跳轉到用戶想要的播放位置，進度調節不夠人性化、用戶體驗度較差，為此，急需開發一種能夠準確定位播放進度的直播時移的播放進度操控方法及系統。

技術實現要素：

為了解決現有視頻播放進度調節技術中，無法快速地、準確地定位到自己想看的進度，并且來回調節進度比較枯燥，定位誤差較大，無法根據播放的內容進行快速定位跳轉到用戶想要的播放位置，進度調節不夠人性化、用戶體驗度較差等問題，本發明提供了一種能夠準確定位播放進度的直播時移的播放進度操控方法及系統。

本發明具體技術方案如下：

本發明提供了一種直播時移的播放進度操控方法，所述操控方法包括以下步驟：

s1、采集直播視頻流中各個視頻幀內出現的內容信息，并記憶所述內容信息的發布時間點，所述發布時間點為所述視頻幀在所述直播視頻流中的播放時間戳，同時保存至數據庫，所述內容信息包括字幕內容、彈幕內容或音頻內容；

s2、將所述內容信息通過所述發布時間點與其對應的所述視頻幀進行關聯；

s3、用戶發送時移播放請求，所述時移播放請求包括快退、快進或暫停；

s4、接收所述時移播放請求，判斷當前所述直播視頻流是否滿足時移條件，若滿足，則給予用戶提供定位時移搜索界面；

s5、根據用戶在所述定位時移搜索界面輸入的關鍵字段在所述數據庫中搜索所述內容信息并進行匹配處理；

s6、當匹配成功時，獲取所述數據庫中匹配的所述內容信息，根據所述內容信息的所述發布時間點快速跳轉到與其關聯的所述視頻幀的幀畫面，并進行播放。

進一步的，步驟s1，對所述直播視頻流中各個所述視頻幀內出現的所述內容信息的采集包括以下步驟：

①、判斷所述視頻幀的幀畫面中是否存在字幕內容或彈幕內容，若存在，則抓取所述字幕內容或所述彈幕內容的關鍵字或關鍵詞語并保存至所述數據庫，若不存在，則進入步驟②；

②、監聽所述視頻幀內的所述音頻內容，并對所述音頻內容進行語音識別，獲取所述音頻內容中的關鍵字或關鍵詞語并保存至所述數據庫。

進一步的，步驟s2中，將所述內容信息通過所述發布時間點與其對應的所述視頻幀進行關聯，具體包括以下步驟：

s2-1、將所述內容信息與其對應的所述視頻幀進行關聯；

s2-2、若干所述視頻幀的播放時間戳根據播放時間進度形成進度條，所述進度條的時刻節點與若干所述視頻幀的播放時間戳對應；

s2-3、將所述進度條的所述時刻節點通過與其對應的所述播放時間戳鏈接各個所述視頻幀。

進一步的，步驟s4中，接收所述時移播放請求，判斷當前所述直播視頻流是否滿足時移條件，若滿足，則給予用戶提供定位時移搜索界面，具體方法為：

s4-1、接收用戶發送的所述時移播放請求，退出直播狀態，并轉入帶緩存的半直播狀態，確定當前直播時間點和時移請求時間點；

s4-2、將所述時移請求時間點作為播放進度的起始時間，將所述當前直播時間點作為播放進度的結束時間；

s4-3、判斷所述起始時間和所述結束時間之間的所述視頻流是否存在緩存，并確定存儲位置；

s4-4、若不存在緩存，則不滿足時移條件，向用戶發送時移失敗信息；若存在緩存，則滿足時移條件，此時，給予用戶提供定位時移搜索界面。

優選的，步驟s5中，根據用戶在所述定位時移搜索界面輸入的關鍵字段在所述數據庫中搜索所述內容信息并進行匹配處理，具體方法包括以下步驟：

s5-1、對用戶在所述定位時移搜索界面輸入的關鍵字段進行識別；

s5-2、根據識別出的所述關鍵字段在所述數據庫中搜索與其相似的所述內容信息，并進行匹配處理；

s5-3、若匹配不成功則無法實現自動時移請求，用戶僅能通過手動調節播放進度；若匹配成功，則進入步驟s6。

優選的，步驟s5-2中，還包括以下步驟：

若根據識別出的所述關鍵字段在所述數據庫中搜索出多個與其相似的所述內容信息時，則提醒用戶在所述定位時移搜索界面第二次輸入其他所述關鍵字段，在第一次搜索出的相似的所述內容信息中搜索與兩次所述關鍵字段均匹配的所述內容信息；

若根據兩個所述關鍵字段在所述數據庫中仍然搜索出多個所述內容信息，則提醒用戶在所述定位時移搜索界面第三次輸入其他所述關鍵字段，直至搜索出一個匹配的所述內容信息為止。

本發明還提供了一種直播時移的播放進度操控系統，包括數據庫及與所述數據庫相通訊的信息采集模塊、關聯模塊、請求接收模塊、界面創建模塊、搜索匹配模塊、跳轉模塊；

所述信息采集模塊用于采集直播視頻流中各個視頻幀內出現的內容信息，并記憶所述內容信息的發布時間點，同時保存至所述數據庫，所述發布時間點為所述視頻幀在所述直播視頻流中的播放時間戳，所述內容信息包括字幕內容、彈幕內容或音頻內容；

所述關聯模塊用于將所述內容信息通過所述發布時間點與其對應的所述視頻幀進行關聯；

所述請求接收模塊用于接收用戶發送的所述時移播放請求，并判斷當前所述直播視頻流是否滿足時移條件，若滿足，則生成搜索指令發送至所述界面創建模塊；

所述界面創建模塊用于接收所述搜索指令并為用戶提供創建的定位時移搜索界面；

所述搜索匹配模塊用于根據用戶在所述定位時移搜索界面輸入的關鍵字段在所述數據庫中搜索所述內容信息并進行匹配處理，若匹配則生成時移指令發送至所述跳轉模塊；

所述跳轉模塊用于獲取所述數據庫中匹配的所述內容信息，同時根據所述內容信息的所述發布時間點快速跳轉到與其關聯的所述視頻幀的幀畫面，并進行播放。

進一步的，所述信息采集模塊包括與所述數據庫相通訊的內容判斷單元、抓取單元、監聽單元、語音識別單元，所述內容判斷單元用于判斷所述視頻幀的幀畫面中是否存在字幕內容或彈幕內容，若存在，則生成內容抓取指令發送至所述抓取單元；所述抓取單元用于抓取所述字幕內容或所述彈幕內容的關鍵字或關鍵詞語并保存至所述數據庫；若不存在，則生成音頻監聽指令發送至所述監聽單元，所述監聽單元用于監聽所述視頻幀內的所述音頻內容，并發送至所述語音識別單元；所述語音識別單元用于對所述音頻內容進行語音識別，獲取所述音頻內容中的關鍵字或關鍵詞語并保存至所述數據庫。

進一步的，所述請求接收模塊包括相通訊的接收單元、狀態切換單元、緩存判斷單元，所述接收單元用于接收用戶發送的所述時移播放請求；所述狀態切換單元用于根據所述時移播放請求，控制播放狀態退出直播狀態，并轉入帶緩存的半直播狀態，確定當前直播時間點和時移請求時間點；所述緩存判斷單元用于判斷所述時移請求時間點和所述當前直播時間點之間的所述視頻流是否存在緩存，并確定存儲位置，若存在緩存，則生成搜索指令發送至所述界面創建模塊。

優選的，所述搜索匹配模塊包括與所述數據庫相通訊的字段識別單元、搜索單元，所述字段識別單元用于對用戶在所述定位時移搜索界面輸入的關鍵字段進行識別，并發送至所述搜索單元；所述搜索單元用于根據識別出的所述關鍵字段在所述數據庫中搜索與其相似的所述內容信息，并進行匹配處理，若匹配成功，則生成時移指令發送至所述跳轉模塊。

本發明的有益效果如下：本發明提供的方法能夠實現快速、準確的定位時移到用戶想看的進度，并且克服了現有技術中用戶手動調節進度條，無法根據視頻幀內容確切定位播放進度等缺陷，該方法有效提高了時移的準確率，不僅不影響直播效果，而且能夠快速定位跳轉到用戶想要的播放位置，時移進度更具有人性化，節省了用戶回放視頻流中精彩畫面的時間，定位準確，此外，該系統結構簡單，能夠實現用戶對時移進度的準確定位，實用性強。

附圖說明

圖1為實施例1所述的一種直播時移的播放進度操控方法的流程示意圖；

圖2為實施例2所述的一種直播時移的播放進度操控方法中步驟s1中內容信息采集的方法流程圖；

圖3為實施例2所述的一種直播時移的播放進度操控方法中步驟s2的具體操作流程圖；

圖4為實施例2所述的一種直播時移的播放進度操控方法中步驟s4的具體操作流程圖；

圖5為實施例2所述的一種直播時移的播放進度操控方法中步驟s5的具體操作流程圖；

圖6為實施例3所述的一種直播時移的播放進度操控系統的結構框圖；

圖7為實施例4所述的一種直播時移的播放進度操控系統中信息采集模塊的結構框圖；

圖8為實施例4所述的一種直播時移的播放進度操控系統中請求接收模塊的結構框圖；

圖9為實施例4所述的一種直播時移的播放進度操控系統中搜索匹配模塊的結構框圖。

其中：1、數據庫；2、信息采集模塊；201、內容判斷單元；202、抓取單元；203、監聽單元；204、語音識別單元；3、關聯模塊；4、請求接收模塊；401、接收單元；402、狀態切換單元；403、緩存判斷單元；5、界面創建模塊；6、搜索匹配模塊；601、字段識別單元；602、搜索單元；7、跳轉模塊。

具體實施方式

下面結合附圖和以下實施例對本發明作進一步詳細說明。

實施例1

如圖1所示，本發明實施例1提供了一種直播時移的播放進度操控方法，所述操控方法包括以下步驟：

s1、采集直播視頻流中各個視頻幀內出現的內容信息，并記憶所述內容信息的發布時間點，所述發布時間點為所述視頻幀在所述直播視頻流中的播放時間戳，同時保存至數據庫1，內容信息的時間碼應該與視頻幀的播放時間戳對應，這樣才能通過內容信息對應查找視頻幀，方便視頻幀的定位。所述內容信息包括字幕內容、彈幕內容或音頻內容；內容信息可以通過視頻幀的幀畫面的字幕或彈幕中提取關鍵字，若該幀畫面中不具有字幕或彈幕，則可以采集幀畫面中的音頻，通過對音頻的解析識別關鍵字信息，方便后期用戶通過關鍵字檢索該幀畫面。

s2、將所述內容信息通過所述發布時間點與其對應的所述視頻幀進行關聯；將內容信息與視頻幀關聯后，才能通過內容信息直接連接視頻幀。

s3、用戶發送時移播放請求，所述時移播放請求包括快退、快進或暫停；時移播放請求可以為快退、快進或暫停，當發送時移播放請求時，退出直播模式，進入點播狀態，此時，由發出時移播放請求開始至直播節點之間，系統持續進行緩存。

s4、接收所述時移播放請求，為了能夠實現時移，需要判斷當前所述直播視頻流是否滿足時移條件，若滿足，則給予用戶提供定位時移搜索界面；是否能夠實現時移，主要系統有沒有針對時移的階段進行緩存。

s5、為了能夠實現精確定位時移，提高時移的準確性和定位效率，需要通過關鍵字段進行定位檢索，根據用戶在所述定位時移搜索界面輸入的關鍵字段在所述數據庫1中搜索所述內容信息并進行匹配處理；

s6、當匹配成功時，獲取所述數據庫1中匹配的所述內容信息，根據所述內容信息的所述發布時間點快速跳轉到與其關聯的所述視頻幀的幀畫面，并進行播放。若匹配不成功，則系統會提示時移失敗。

本發明提供的方法能夠通過用戶輸入的關鍵字段在數據庫1中檢索，從而能夠通過關鍵字段的匹配性，精確定位關聯的視頻幀，提高了時移定位的準確率，能夠快速定位跳轉到用戶想要的播放位置，時移進度更具有人性化，節省了用戶回放視頻流中精彩畫面的時間，定位準確，實用性強。

例如，當用戶觀看直播球賽時，若由于某些事情耽誤觀看精彩進球的瞬間，則為了能夠回放該視頻內容，用戶可以暫停直播狀態，通過發送時移播放請求進入點播狀態，并通過輸入“進球、進了、球門”等關鍵字段在數據庫1中檢索相關的內容信息，同時通過檢索到的內容信息匹配相關的的視頻幀，從而將檢索到的視頻幀播放。

實施例2

本發明實施例2在實施例1的基礎上進一步限定了直播時移的播放進度操控方法中各步驟的具體操作方法，有效提高了直播時移的精確定位。

如圖2所示，需要進一步說明的是，步驟s1，對所述直播視頻流中各個所述視頻幀內出現的所述內容信息的采集包括以下步驟：

①、判斷所述視頻幀的幀畫面中是否存在字幕內容或彈幕內容，若存在，則抓取所述字幕內容或所述彈幕內容的關鍵字或關鍵詞語并保存至所述數據庫1，若不存在，則進入步驟②；

②、監聽所述視頻幀內的所述音頻內容，并對所述音頻內容進行語音識別，獲取所述音頻內容中的關鍵字或關鍵詞語并保存至所述數據庫1。

視頻流是由若干視頻幀隨時間連續播放形成，為了能夠實現對視頻幀的定位，需要采集視頻幀內的內容信息，視頻幀內的信息可以包括字幕、彈幕或音頻，為了提高內容信息的采集效率，可以首先識別字幕或彈幕，便于處理和內容提取，若該視頻幀的幀畫面中不具有字幕或彈幕，為了實現內容的提取，可以通過音頻識別視頻幀的信息，比如直播球賽過程中，可以采集主持人、球迷、隊員、裁判等音頻，識別關鍵信息，進行內容信息的采集，有效提高了信息提取效率。

如圖3所示，需要進一步解釋的是，步驟s2中，將所述內容信息通過所述發布時間點與其對應的所述視頻幀進行關聯，具體包括以下步驟：

s2-1、將所述內容信息與其對應的所述視頻幀進行關聯；

s2-2、若干所述視頻幀的播放時間戳根據播放時間進度形成進度條，所述進度條的時刻節點與若干所述視頻幀的播放時間戳對應；進度條即計算機在處理任務時，實時的，以圖片形式顯示處理任務的速度，完成度，剩余未完成任務量的大小，和可能需要處理時間，一般以長方形條狀顯示。進度條上的時間對應視頻流中視頻幀的播放時間戳。

s2-3、將所述進度條的所述時刻節點通過與其對應的所述播放時間戳鏈接各個所述視頻幀。當調節進度條上的時間節點時，可以對應跳轉出鏈接的視頻幀，方便不同視頻回放、前進的調節。

如圖4所示，進一步需要說明的是，步驟s4中，接收所述時移播放請求，判斷當前所述直播視頻流是否滿足時移條件，若滿足，則給予用戶提供定位時移搜索界面，具體方法為：

s4-1、接收用戶發送的所述時移播放請求，退出直播狀態，并轉入帶緩存的半直播狀態，確定當前直播時間點和時移請求時間點；

s4-2、將所述時移請求時間點作為播放進度的起始時間，將所述當前直播時間點作為播放進度的結束時間；

s4-3、判斷所述起始時間和所述結束時間之間的所述視頻流是否存在緩存，并確定存儲位置；

s4-4、若不存在緩存，則不滿足時移條件，向用戶發送時移失敗信息；若存在緩存，則滿足時移條件，此時，給予用戶提供定位時移搜索界面。

只有當系統內存在視頻緩存時，才能實現直播視頻的時移，為此，當直播過程中，用戶發送時移播放請求時，需要退出直播狀態，并進行緩存，然后檢測請求播放的時移時間點的視頻是否存在緩存，若存在緩存才可以實現時移。

如圖5所示，優選的，步驟s5中，根據用戶在所述定位時移搜索界面輸入的關鍵字段在所述數據庫1中搜索所述內容信息并進行匹配處理，具體方法包括以下步驟：

s5-1、對用戶在所述定位時移搜索界面輸入的關鍵字段進行識別；

s5-2、根據識別出的所述關鍵字段在所述數據庫1中搜索與其相似的所述內容信息，并進行匹配處理；

s5-3、若匹配不成功則無法實現自動時移請求，用戶僅能通過手動調節播放進度；若匹配成功，則進入步驟s6。

當用戶輸入的關鍵字段能夠在數據庫1檢索到提取的與視頻幀關聯的內容信息，則證明匹配成功，若沒有檢索到相關內容信息，則證明不存在相匹配的內容信息。

優選的，步驟s5-2中，還包括以下步驟：

若根據識別出的所述關鍵字段在所述數據庫1中搜索出多個與其相似的所述內容信息時，則提醒用戶在所述定位時移搜索界面第二次輸入其他所述關鍵字段，在第一次搜索出的相似的所述內容信息中搜索與兩次所述關鍵字段均匹配的所述內容信息；

若根據兩個所述關鍵字段在所述數據庫1中仍然搜索出多個所述內容信息，則提醒用戶在所述定位時移搜索界面第三次輸入其他所述關鍵字段，直至搜索出一個匹配的所述內容信息為止。

當用戶輸入第一個關鍵字時，若在數據庫1中檢索到若干內容信息時，則為了實現視頻幀的精確定位，可以通過輸入第二關鍵字，將關鍵字以“and”的形式進行檢索，進一步精確定位內容信息，若仍然存在多個對應的內容信息，則可以進一步輸入第三個關鍵字，進一步檢索和定位，直至檢索出只有一個對應的內容為止，從而實現了視頻幀的精確定位。

例如在播放球賽時，可以檢索“進球、進了”等作為關鍵字進行信息檢索，若出現3個與其相匹配的內容信息，則再次以“進球and進球隊員”作為關鍵字進行檢索，即可檢索出與其匹配的僅有一個內容信息，實現了視頻幀的精確定位。

實施例3

如圖6所示，本發明實施例3提供了一種直播時移的播放進度操控系統，包括數據庫1及與所述數據庫1相通訊的信息采集模塊2、關聯模塊3、請求接收模塊4、界面創建模塊5、搜索匹配模塊6、跳轉模塊7；

所述信息采集模塊2用于采集直播視頻流中各個視頻幀內出現的內容信息，并記憶所述內容信息的發布時間點，同時保存至所述數據庫1，所述發布時間點為所述視頻幀在所述直播視頻流中的播放時間戳，所述內容信息包括字幕內容、彈幕內容或音頻內容；

所述關聯模塊3用于將所述內容信息通過所述發布時間點與其對應的所述視頻幀進行關聯；

所述請求接收模塊4用于接收用戶發送的所述時移播放請求，并判斷當前所述直播視頻流是否滿足時移條件，若滿足，則生成搜索指令發送至所述界面創建模塊5；

所述界面創建模塊5用于接收所述搜索指令并為用戶提供創建的定位時移搜索界面；

所述搜索匹配模塊6用于根據用戶在所述定位時移搜索界面輸入的關鍵字段在所述數據庫1中搜索所述內容信息并進行匹配處理，若匹配則生成時移指令發送至所述跳轉模塊7；

所述跳轉模塊7用于獲取所述數據庫1中匹配的所述內容信息，同時根據所述內容信息的所述發布時間點快速跳轉到與其關聯的所述視頻幀的幀畫面，并進行播放。

本發明提供的系統結構簡單，能夠通過對視頻幀的內容信息的采集，通過對內容信息的檢索，能夠實現用戶對時移進度的準確定位，實用性強。

實施例4

如圖7所示，本發明實施例4在實施例3的基礎上進一步限定了，所述信息采集模塊2包括與所述數據庫1相通訊的內容判斷單元201、抓取單元202、監聽單元203、語音識別單元204，所述內容判斷單元201用于判斷所述視頻幀的幀畫面中是否存在字幕內容或彈幕內容，若存在，則生成內容抓取指令發送至所述抓取單元202；所述抓取單元202用于抓取所述字幕內容或所述彈幕內容的關鍵字或關鍵詞語并保存至所述數據庫1；若不存在，則生成音頻監聽指令發送至所述監聽單元203，所述監聽單元203用于監聽所述視頻幀內的所述音頻內容，并發送至所述語音識別單元204；所述語音識別單元204用于對所述音頻內容進行語音識別，獲取所述音頻內容中的關鍵字或關鍵詞語并保存至所述數據庫1。

通過信息采集模塊2能夠精確采集視頻幀內的內容信息，方便后期通過內容信息對視頻幀的定位和篩選，有效提高時移效率。

如圖8所示，需要進一步說明的是，所述請求接收模塊4包括相通訊的接收單元401、狀態切換單元402、緩存判斷單元403，所述接收單元401用于接收用戶發送的所述時移播放請求；所述狀態切換單元402用于根據所述時移播放請求，控制播放狀態退出直播狀態，并轉入帶緩存的半直播狀態，確定當前直播時間點和時移請求時間點；所述緩存判斷單元403用于判斷所述時移請求時間點和所述當前直播時間點之間的所述視頻流是否存在緩存，并確定存儲位置，若存在緩存，則生成搜索指令發送至所述界面創建模塊5。

如圖9所示，優選的需要說明的是，所述搜索匹配模塊6包括與所述數據庫1相通訊的字段識別單元601、搜索單元602，所述字段識別單元601用于對用戶在所述定位時移搜索界面輸入的關鍵字段進行識別，并發送至所述搜索單元602；所述搜索單元602用于根據識別出的所述關鍵字段在所述數據庫1中搜索與其相似的所述內容信息，并進行匹配處理，若匹配成功，則生成時移指令發送至所述跳轉模塊7。

當用戶輸入的關鍵字段能夠在數據庫1檢索到提取的與視頻幀關聯的內容信息，則證明匹配成功，若沒有檢索到相關內容信息，則證明不存在相匹配的內容信息。

本發明不局限于上述最佳實施方式，任何人在本發明的啟示下都可得出其他各種形式的產品，但不論在其形狀或結構上作任何變化，凡是具有與本申請相同或相近似的技術方案，均落在本發明的保護范圍之內。