使用音頻流識別與當前播放的電視節目相關聯的元數據的制作方法
【技術領域】
[0001]本描述通常涉及被配置成呈現與播放的電視節目相關聯的互聯網可訪問內容的系統、方法和設備。
【背景技術】
[0002]視頻內容有時包括提示觀眾采取與視頻的內容有關的某個動作的聽覺或視覺消息。例如，電視廣告可以提不用戶訪冋與廣告的廣品相關聯的廣品網站來獲得有關廣品的優惠券或信息。在另一示例中，在廣播電視節目或電影期間，消息可能出現，提示觀眾訪問網站來觀看有關在電視節目或電影中描述或相關聯的人物、地點或事物的信息。即使沒有被提示，許多用戶對與他們正觀看的視頻內容有關的人物、地點或事物感興趣。通常，為獲得與視頻流相關的信息，用戶需要使用上網功能的設備訪問網站。現有的方法是低效的，因為它們要求用戶采取觀看體驗外的某個動作。而且，許多觀眾可能錯過或忽略提供有關視頻內容的附加信息的音頻消息和視覺消息，對許多觀眾來說，在觀看視頻內容的同時，不方便操作計算設備。
【發明內容】
[0003]在此所述的方法和系統提供在用戶觀看視頻內容的同時顯示與視頻內容相關的信息的高效方式。例如，可以在顯示設備上顯示有關茶的廣告，當用戶正觀看該廣告時，連接到顯示設備的客戶端設備解析隱藏字幕內容來獲得信息集，將信息集發送到服務器，從服務器獲得指令集并且根據接收的指令集來執行一個或多個功能。一個或多個功能顯示有關隱藏字幕內容的信息。在該示例中，指令集包括執行一個或多個應用的指令，所述應用諸如顯示具有有關特定類型或品牌的茶的網頁的瀏覽器、示出有關制作茶的教學視頻的媒體播放器、顯示有關茶的文章的饋送閱讀器應用或呈現作為廣告的主題的茶的優惠券的優惠券簿應用的指令。當正播放廣告時，執行一個或多個應用，并且在顯示設備上，與廣告一起同時顯示一個或多個應用。
[0004]根據一些實現，提供系統和方法來顯示信息。在客戶端設備接收包括隱藏字幕的視頻流。從隱藏字幕的內容確定信息集。將包括信息集的請求發送到遠離客戶端設備的服務器以便處理。從服務器接收指令集。指令集包括顯示與信息集有關的信息的指令。響應于接收指令集，根據指令集來執行一個或多個應用。
[0005]根據一些實現，在服務器接收包括從視頻流中的隱藏字幕內容提取的信息集的客戶請求。從信息集識別一個或多個相關標識。確定與信息集相關聯的指令集。將指令集發送到客戶端。
[0006]本公開的另一方面包括一種方法的實現，包括在具有一個或多個處理器和存儲將由一個或多個處理器執行的一個或多個程序的存儲器的計算設備處:獲得視頻流，視頻流包括音頻描述數據；從音頻描述數據確定信息集，其中信息集包括從音頻描述數據取得的一個或多個符號或詞；將包括信息集的請求發送到遠離計算設備的服務器以便處理；從服務器接收指令集，其中指令集包括用于顯示與信息集有關的內容信息的指令；以及響應于接收指令集并且根據指令集，基于內容信息的類型來執行一個或多個應用，其中一個或多個應用包括下述中的至少一個:Web瀏覽器、音樂應用、饋送閱讀器應用、優惠券應用和內容觀看器。
[0007]在一些實現中，該方法進一步包括格式化來自一個或多個應用的輸出以與視頻流的顯示相鄰地顯示。
[0008]在一些實現中，信息集包括從音頻描述數據取得的非語音信息。在一些實現中，信息集包括從音頻描述數據提取的至少一個符號。在一些實現中，信息集包括從音頻描述數據提取的至少一個句子。在一些實現中，與視頻流并發地顯示來自一個或多個應用的輸出。
[0009]在一些實現中，在與計算設備同步的第二設備上并發地顯示來自一個或多個應用的輸出。
[0010]在一些實現中，從音頻描述數據確定信息集包括應用語音識別技術來將音頻內容轉換成文本。在一些實現中，從音頻描述數據確定信息集包括將音頻描述數據轉換成文本，而不播放音頻描述數據使得音頻描述數據能被聽到。
[0011]在一些實現中，信息集包括從音頻描述數據提取的至少一些文本。
[0012]在一些實現中，該方法進一步包括:傳送發起包括在音頻描述數據中的音頻內容的播放的代碼；記錄音頻內容的至少一部分；以及從記錄的音頻內容提取文本。
[0013]在本公開中，還提供用于執行上述方法的一個或多個步驟的計算系統和非瞬時計算機可讀存儲介質。
【附圖說明】
[0014]因此，能更詳細地理解本公開，參考各個實現的特征給出更特定描述，在附圖中示出一些。然而，附圖僅示出本公開的更相關特征，因此不視為限制，因為本說明書容許其他有效的特征。
[0015]圖1是圖示根據一些實現的分布式客戶端-服務器系統的框圖。
[0016]圖2A是圖示根據一些實現的示例性服務器系統的結構的框圖。
[0017]圖2B是圖示根據一些實現的示例性廣播系統的結構的框圖。
[0018]圖3是圖示根據一些實現的示例性客戶端設備的結構的框圖。
[0019]圖4是圖示顯示信息的過程的概述的流程圖。
[0020]圖5A、5B、5CjD和5E是根據一些實現的示例性截屏。
[0021]圖6是圖示顯示信息的過程的流程圖。
[0022]圖7是圖示基于從隱藏字幕提取的信息集來確定指令集的過程的流程圖。
[0023]圖8是客戶端-服務器環境的實現的圖。
[0024]圖9A是根據一些實現的電視顯示的示例性截屏的示意圖。
[0025]圖9B是根據一些實現的電視顯示和第二屏幕客戶端設備(即平板電腦)的示意圖。
[0026]圖10是圖示使用包括在節目數據中的音頻描述數據來顯示相關聯的內容和信息的過程的概述的信號流圖。
[0027]圖11是使用包括節目數據中的音頻描述數據來顯示相關聯的內容和信息的方法的實現的流程圖表示。
[0028]圖12是基于從音頻描述數據提取的信息集來確定指令集的方法的實現的流程圖表不。
[0029]根據一般實踐，在圖中所示的各個特征可以不按比例繪制。因此，為清楚起見，各個特征的尺寸可以任意地擴大或縮小。此外，圖可以不描述給定系統、方法或設備的所有部件，因為為簡化起見，未詳盡地描述已知方法、部件和電路。最后，在整個說明書和圖中，使用相同的參考數字來表示相同的特征。
【具體實施方式】
[0030]在此所述的各個實現包括能識別并且實時地呈現與在電視或顯示器上并發播放的特定電視節目相關聯的互聯網可訪問和/或基于互聯網的功能、內容和/或服務作為交互電視技術套件的一部分的系統、方法和/或設備。在一些實現中，識別相關聯的內容的過程包括分析包括在用于媒體(例如電視)節目的視頻流數據中的隱藏字幕數據和音頻描述數據中的至少一個。例如，本公開的一個方面是通過獲得包括在用于媒體節目的視頻流數據中的隱藏字幕數據和音頻描述數據中的至少一個、從包括在視頻流數據中的隱藏字幕數據和音頻描述數據中的至少一個提取文本、基于提取的文本中的至少一些傳送對信息的請求，以及顯示響應于該請求接收的相關聯的內容和/或信息，識別和呈現與媒體節目相關聯的內容的方法。
[0031]在此描述許多細節以便提供在附圖中所圖示的示例性實現的全面理解。然而，在沒有這些具體細節的情況下，也可以實施本發明。未以詳盡地方式描述非常公知的方法、過程、部件和電路，以便不必要地混淆示例性實現的更相關方面。
[0032]圖1是圖示為一些實現而實現的分布式系統100的框圖。客戶端-服務器系統100包括:一個或多個客戶端設備102、通信網絡104、服務器系統106、顯示設備108和廣播系統128。服務器系統106通過通信網絡104耦接到一個或多個客戶端設備102和廣播系統 128。
[0033]廣播系統128將視頻流161廣播到一個或多個客戶端設備102。服務器系統106接收包含從隱藏字幕內容取得的信息集的請求，基于信息集來確定指令集并且將指令集發送到客戶端設備102以便執行。當由客戶端設備102執行時，指令集使客戶端設備102顯示與從視頻流的隱藏字幕提取的信息集相關的信息。
[0034]根據一些實現，視頻或視頻流是表示具有運動中的對象的場景的一系列圖像或幀。視頻每秒顯示多個圖像或幀。例如，視頻通常每秒顯示30幀。相比而言，如在此單獨使用的靜態圖像是靜態或靜止的，不包括如視頻通常的運動或變化。在此的圖像能包括或嵌入在更大圖像或視頻內。
[0035]隱藏字幕是指顯示字幕文本來選擇觀眾的成員的能力。隱藏字幕在出現時或通過稍微延遲(以逐字或編輯形式)通常顯示節目的音頻部分的轉錄，有時包括非語音元素。隱藏字幕中的術語“隱藏”指示不是所有觀眾能看到該字幕。僅選擇解碼或激活隱藏字幕的用戶能觀看它們。隱藏字幕與所有用戶均能看到的開放式字幕相區分。隱藏字幕還與字幕相區分。字幕假定觀眾能聽到但不能理解語言或口音，因此字幕僅轉錄對話和一些屏上文本。隱藏字幕用來向聾人和聽力困難的人描述所有重要的音頻內容，包括口語對話、音樂、聲音效果和非語音信息，諸如說話者的身份和他們的說話方式。隱藏字幕有時由內容創建者或內容的廣播者創建。
[0036]在一些實施例中，服務器系統106被實現為單一服務器系統，而在其他實現中，其被實現為多個服務器的分布式系統。僅為了說明方便，在下文中將服務器系統106描述為實現在單一服務器系統上。在一些實現中，廣播系統128被實現為單一服務器系統，而在其他實現中，其被實現為多個服務器的分布式系統。僅為了說明方便，在下文中將廣播系統128描述為實現在單一服務器系統上。
[0037]通信網絡104可以是任何有線或無線局域網(LAN)和/或廣域網(WAN)，諸如內聯網、外聯網或互聯網。通信網絡104提供一個或多個客戶端設備102和服務器系統106之間的通信能力則足以。在一些實現中，通信網絡104使用超文本傳輸協議(HTTP)來使用傳輸控制協議/網際協議(TCP/IP)來傳輸信息。HTTP允許客戶端設備102訪問經通信網絡104可獲得的各種資源。然而，各種實現不限于使用任何特定協議。
[0038]在一些實現中，服務器系統106包括便利服務器系統106和網絡104之間的通信的前端服務器112。在一些實現中，前端服務器112被配置成接收對指令集的請求。在一些實現中，前端服務器112被配置成將指令集發送到發出請求的客戶端設備102。在一些實現中，前端服務器112被配置成發送內容文件或/和指向內容文件的鏈接或內容文件。在該上下文中，術語“內容文件”是指任何格式的任何電子文件，包括但不限于視頻文件、圖像文件、音樂文件、Web頁面、電子郵件消息、SMS消息、內容饋送、廣告、優惠券、播放列表和XML內容文件。在一些實現中，前端服務器112還被配置成將視頻流發送到客戶端102。
[0039]內容饋送(或信道)是在饋送源提供呈現、新添加或新更新的內容項的列表的資源或服務。內容饋送中的內容項可以包括與項本身相關聯的內容(內容項指定的實際內容)、標題(有時稱為標題行)和/或內容的描述、內容的網絡位置或定位符(例如URL)或其任意組合。例如，如果內容項識別文本文章，內容項可以包括內嵌的文章本身，以及標題(或標題行)和定位符。替選地，內容項可以包括標題、描述和定位符，但不包括文章內容。由此，一些內容項可以包括與那些項相關聯的內容，而其他包含指向相關聯的內容的鏈接，而不是項的整個內容。內容項還可以包括提供有關內容的另外的信息的另外的元數據。內容的版本可以是任何機器可讀數據，包括但不限于網頁、圖像、數字音頻、數字視頻、可移植內容文件格式(PDF)內容文件等等。
[0040]在一些實現中，使用內容聯合格式，諸如RSS，指定內容饋送。RSS是代表“豐富站點摘要”、“RDF站點摘要”或“真正簡易聚合”的縮寫。“RSS”可以是指基于用于指定內容饋送和包括在該饋送中的內容項的可擴展標記語言(XML)的格式系列中的任何一個。在一些其他實現中，諸如Atom聯合格式或VCALENDAR日歷格式的其他內容聯合格式可以用來指定內容饋送。
[0041]在一些實現中，服務器系統106包括存儲一個或多個相關標識和相關聯的度量的標識數據庫116。標識能表示人、地點或事物以及相關聯的度量測量各個標識的重要性。在一些實現中，標識數據庫116是分布式數據庫。
[0042]在一些實現中，服務器系統106包括管理和檢索在標識數據庫116中存儲的信息的識別模塊114。識別模塊114接收請求并且返回與該請求匹配的、標識數據庫116中存儲的標識。
[0043]在一些實現中，服務器系統106包括存儲用戶數據的用戶數據庫124。用于各個用戶的用戶數據包括用戶標識符、相關聯的內容文件和偏好。在一些實現中，用戶數據庫124是分布式數據庫。
[0044]在一些實現中，服務器系統106包括內容數據庫122。在一些實現中，內容數據庫122存儲視頻、圖像、音樂、網頁、電子郵件消息、SMS消息、內容饋送、廣告、優惠券、播放列表XML內容文件。在一些實現中，內容數據庫122存儲指向視頻、圖像、音樂、網頁、電子郵件消息、SMS消息、內容