媒體應用后臺處理的制作方法
【專利摘要】公開一種媒體應用。所述媒體應用提供包括視頻部分和音頻部分的媒體項的播放。媒體應用停止媒體項的視頻部分的播放，同時繼續提供媒體項的音頻部分。媒體應用與所提供的音頻部分同步地恢復媒體項的視頻部分的播放。
【專利說明】
媒體應用后臺處理
技術領域
[0001] 本公開的實施方式設及內容遞送，更具體設及設備上的媒體播放。
【背景技術】
[0002] 互聯網允許人們獲得信息，與其他人連接W及互相共享信息。通常的互聯網目的 地包括新聞網站、內容共享平臺、社交網絡網站等。許多網站和平臺包括內容共享方面，其 允許用戶查看、上傳和共享媒體項，諸如視頻內容、圖像內容、音頻內容等等。用戶可W通過 他們的用戶設備消耗媒體項。
【發明內容】
[0003] 下面是本公開的簡化總結，W便提供對本公開一些方面的基本理解。該總結不是 本公開的擴展綜述。而是旨在既不識別本公開的關鍵或重要元素，也不描寫本公開的特定 實施方式的任何范圍或者權利要求的任何范圍。其僅有的目的在于W簡化形式呈現本公開 的一些概念，作為在稍后呈現的更詳細描述的一個前序。
[0004] 在一個方面，一種方法包括由處理設備所執行的應用提供包括視頻部分和音頻部 分的媒體項的播放。所述方法進一步包括由所述應用在所述媒體項的播放期間接收第一消 息。方法進一步包括響應于所述第一消息，停止所述媒體項的視頻部分的播放，同時繼續提 供所述媒體項的音頻部分。方法進一步包括在提供所述媒體項的音頻部分的同時，由所述 應用接收第二消息。所述方法進一步包括響應于所述第二消息，與所提供的所述音頻部分 相同步地恢復所述媒體項的視頻部分的播放。
[0005] 實施方式可W包括任何、所有或不包括下面的特征。方法可W包括提供媒體項的 播放、接收播放媒體項的請求、W及響應于所述請求而保留與媒體項的播放相關聯的一個 或多個資源。方法可W進一步包括停止媒體項的視頻部分的播放W及釋放一個或多個資源 中的至少一個。所述一個或多個資源可W包括W下中的至少一個:存儲器、緩沖、視頻解碼 器或視頻播放器。釋放一個或多個資源中的至少一個包括W下中的至少一個:從緩沖中清 除視頻數據、停止視頻部分的下載、或者關閉用于請求視頻部分的網絡連接。恢復所述媒體 項的視頻部分的呈現可W包括重新獲取所釋放的一個或多個資源。所述第一消息可W是W 下中的至少一個:應用已經進入移動設備上的后臺狀態的指示、移動設備的顯示器被關閉 的指示、或者第二應用已經進入移動設備上的前臺狀態的指示。所述第二消息可W是應用 已經進入移動設備上的前臺狀態的指示。可W在不用打斷音頻部分的呈現的情況下恢復所 述媒體項的視頻部分的呈現。所述視頻部分可W最初W第一質量被呈現，并且其中，恢復所 述媒體項的視頻部分的呈現可W包括W第二質量呈現所述視頻部分。方法可W包括經由圖 形用戶界面呈現要恢復視頻部分的呈現的消息。方法可W包括從不同源接收視頻部分和音 頻部分。方法可W包括作為單個文件接收媒體項的視頻部分和音頻部分。方法可W進一步 包括將視頻部分和音頻部分分隔為分離的文件。
[0006] 在附加的實施方式中，還公開了用于執行上述實施方式的操作的計算設備。此外， 在本公開的實施方式中，計算機可讀存儲介質存儲了用于執行上述實施方式的操作的方 法。
【附圖說明】
[0007] 本公開通過示例而非通過限制方式，在附圖中進行圖示。
[0008] 圖1圖示根據本公開的一個實施方式的示例系統架構。
[0009] 圖2是圖示根據本公開的一些實施方式的用于在客戶端設備上提供有效媒體應用 后臺處理的方法的流程圖。
[0010] 圖3圖示根據本公開的一些實施方式的用于在客戶端設備上提供有效媒體應用后 臺處理的兩個示例時間線。
[0011] 圖4是圖示根據一些實施例的示例性計算機系統的框圖。
【具體實施方式】
[0012] 本文中所描述的是一種用于改善客戶端設備上的媒體消耗的機制。傳統客戶端設 備可W通過內容共享平臺對媒體項進行流式傳輸。客戶端設備上的媒體應用可W在客戶端 設備上使用媒體播放器來播放被流式傳輸的媒體項。用戶可能希望操作客戶端設備上的另 一特征或其他應用，使得視頻的音頻部分繼續播放而視頻部分不再在客戶端設備上顯示。 例如，用戶可能希望使用其他應用或者關閉客戶端設備屏幕，而同時音頻部分繼續播放。用 戶可W依次最小化、關閉或者使得媒體應用進入后臺狀態。后臺狀態可W指其中應用繼續 運行而不再可見且處于后臺狀態的應用可W指"后臺處理的"應用的狀態。
[0013] 傳統客戶端設備通常不許可在媒體項的播放期間動態和獨立地增加和/或移除視 頻和音頻流。盡管傳統客戶端設備可W對播放視頻的媒體應用進行后臺處理，媒體應用通 常繼續運行且處理音頻和視頻數據(例如，下載、解碼、緩存)而不管視頻在屏幕上不可見。 當對媒體應用進行后臺處理時，傳統客戶端設備通常還占用著系統資源，諸如存儲器(用于 緩沖數據）、網絡套接字和視頻解碼器。此外，一些傳統設備可W W非復用的格式接收媒體 項，其中視頻的同步的視頻部分和音頻部分被分別遞送。在播放期間，客戶端設備通常同時 擅染同步的視頻和音頻流。傳統系統通常不會在媒體應用被后臺處理時進行不同的操作， 運可能導致不必要的資源消耗。移動設備通常具有有限數目的資源，其意味著傳統途徑會 阻止另一應用使用資源。
[0014] 本公開的實施方式通過提供一種用于控制媒體項的視頻部分和媒體項的音頻部 分的獨立播放的機制而解決了傳統系統的上述不足。客戶端設備上的應用提供包括視頻部 分和音頻部分的媒體項的播放。在任意時間，應用可W停止媒體項的視頻部分的播放，同時 繼續提供音頻部分。稍后，應用可W與所提供的音頻部分同步地恢復視頻部分的播放。
[0015] 本文中所述的技術可W降低對處于后臺模式的應用進行操作的成本。當應用沒有 呈現視頻部分時，應用可W停止下載視頻部分，暫停解碼任何下載的視頻數據并清除任何 關聯的存儲器。通過釋放運些和其他資源，客戶端設備的網絡和電池消耗可W因此被減少。 用戶通常不希望下載他們不想觀看的視頻，因為運使用了數據和帶寬。進一步地，可W在應 用從前臺轉換為后臺W及返回前臺的過程中無縫提供音頻部分。
[0016] 為了簡短和簡化起見，關于包括音頻部分和視頻部分的媒體項而描述本文中的實 施方式。媒體項可W包括任意數量的任意類型的部分。例如，媒體項的部分可W包括音頻、 視頻、字幕數據、覆蓋數據的流、注釋、廣告、評論、元數據、與媒體項的內容有關的信息（例 如，演員、相關電影、音軌、面部識別等）。所述部分中的任何部分可W使用本文中所述的技 術來處理。
[0017] 圖1根據本公開的一個實施方式圖示了用于獨立提供包括視頻部分和音頻部分的 媒體項的播放的示例系統架構100。系統架構100包括任何數量的客戶端設備102、網絡104、 數據存儲106、和內容共享平臺110。在一個實施方式中，網絡104可W包括公共網絡(例如， 互聯網）、專用網絡（例如，局域網（LAN)或廣域網(WAN))、有線網絡（例如，W太網絡）、無線 網絡(例如，802.11網絡或Wi-Fi網絡）、蜂窩網絡(例如，長期演進化TE)網絡）、路由器、集線 器、交換機、服務器計算機和/或上述的組合。
[0018] 在一個實施方式中，數據存儲106可W是存儲器(例如，隨機存取存儲器）、高速緩 存、驅動器(例如，硬盤驅動器）、閃存驅動器、數據庫系統、分布式數據庫、分布式存儲、或能 夠存儲數據的另一類型的組件或設備。數據存儲106還可W包括多個存儲組件(例如，多個 驅動器或多個數據庫），其還可W跨越多個計算設備(例如，多個服務器計算機）。數據存儲 106可W存儲媒體項和媒體項的部分，諸如音頻部分和視頻部分。數據存儲106可W包括媒 體項的視頻部分的視頻源118。類似地，數據存儲106可W包括媒體項的音頻部分的音頻源 120。在實施方式中，視頻源118和音頻源120被存儲在相同數據存儲106上。在另一實施方式 中，視頻源118和音頻源120被存儲在不同數據存儲上。在實施方式中，不同數據存儲可W由 一個實體擁有和/或操作。替選地，或者不同數據存儲可W被多個單獨的實體所擁有和/或 操作。例如，視頻源118被第一實體所擁有和操作而音頻源120被第二實體所擁有和操作。客 戶端設備102可W從運兩個不同實體接收單獨的視頻和音頻流。
[0019] 客戶端設備102可W各自包括計算設備，諸如個人計算機(PC)、膝上計算機、移動 電話、智能電話、平板計算機、筆記本計算機等等。在一些實施方式中，客戶端設備102還可 W被稱為"用戶設備"。每個客戶端設備包括媒體播放器112。在一個實施方式中，媒體播放 器112可W是應用或應用的一部分，其允許用戶查看內容，諸如圖像、視頻、網頁、文檔等等。 例如，媒體播放器112可W是web瀏覽器，其可W訪問、檢索、呈現和/或導航由web服務器提 供的內容（例如，諸如超文本標記語言化TML)頁面的網頁、數字媒體項等等）。媒體播放器 112可W擅染、顯示和/或呈現內容（例如，網頁、媒體查看器)給用戶，諸如經由圖形用戶界 面(GUI)。媒體播放器112還可W顯示嵌入式媒體播放器(例如，Pla化⑥播放器或HTML5播放 器），其被嵌入到網頁(例如，可W提供與在線商戶所出售的產品有關的信息的網頁）中。在 另一示例中，媒體播放器112可W是獨立應用，其允許用戶查看數字媒體項（例如，數字視 頻、數字圖像、電子書等等）。
[0020] 媒體播放器112可W由服務器(未示出）和/或內容共享平臺110提供給客戶端設備 102。例如，媒體播放器112可W是嵌入式媒體播放器，其被嵌入到由內容共享平臺110所提 供的網頁中。在另一示例中，媒體播放器112可W是從服務器所下載的應用。
[0021] 在一個實施方式中，內容共享平臺110可W是能夠被用來向用戶提供對媒體項的 訪問和/或將媒體項提供給用戶的一個或多個計算設備（諸如機架式服務器、路由器計算 機、服務器計算機、個人計算機、大型計算機、筆記本計算機、平板計算機、桌面計算機等 等）、數據存儲(例如，硬盤、存儲器、數據庫）、網絡、軟件組件和/或硬件組件。例如，內容共 享平臺110可W允許用戶消耗、上傳、捜索、贊成（"喜歡"）、不喜歡、和/或對媒體項進行評 論。內容共享平臺110還可W包括網站(例如，網頁），其可W被用于向用戶提供對媒體項的 訪問。內容共享平臺110可W包括任意類型的內容遞送網絡，其提供對內容和/或媒體項的 訪問，并且可W包括社交網絡、新聞報道機構、媒體聚合機構等。內容共享平臺110可W使用 媒體項數據存儲106來提供媒體項給客戶端設備102。內容共享平臺110使得客戶端設備102 從一個或多個數據存儲接收媒體項，諸如從媒體項數據存儲106接收媒體項。在實施方式 中，內容共享平臺110包括媒體項數據存儲106。在其他實施方式中，媒體項數據存儲106不 是內容共享平臺110的一部分。內容共享平臺110可W可通信地被禪合到媒體項數據存儲 106。當處理對媒體項的用戶請求時，內容共享平臺110可W與媒體項數據存儲106交互W提 供所請求的媒體項給客戶端設備102。
[0022] 內容共享平臺110可W呈現或提供可用媒體項的列表給客戶端設備102。媒體項的 示例可W包括，但是不限于，數字視頻、數字電影、數字照片、相簿、數字音樂、網站內容、社 交媒體更新、視頻點播、現場流媒體、電子書(ebook)、電子雜志、數字報紙、數字音頻書、電 子期刊、網絡日志(博客)條目、簡易信息聚合(RSS)饋送、電子漫畫書、軟件應用、廣告等等。 在一些實施方式中，媒體項還被稱為內容項。
[0023] 可W經由互聯網和/或經由客戶端應用(諸如客戶端設備102的媒體播放器112)來 消耗媒體項。為了簡短和簡化起見，在線視頻(本文中也被稱為視頻)被用作遍及本文檔的 媒體項的示例。如本文中所使用的，"媒體"、"媒體項"、"在線媒體項"、"數字媒體"、"數字媒 體項"、"內容"和"內容項"可W包括可W使用被配置為呈現數字媒體項給實體的軟件、固件 或硬件執行或加載的一個或多個電子文件。
[0024] 在實施方式中，客戶端設備102包括媒體項播放管理器114。媒體項播放管理器114 控制包括兩個單獨部分或流的媒體項的播放。所述部分中的一個部分可W是音頻部分且另 一個可W是視頻部分。客戶端設備102從視頻源118接收視頻部分且從音頻源120接收音頻 部分。視頻部分和音頻部分可W W任何格式且使用任何技術或協議，諸如HTTP現場流式傳 輸化LS)、HTTP上的動態自適應流式傳輸（DASH)、用于Flash巧的Adobe動態流式傳輸、 Microsoft?平滑流式傳輸、Octoshape多比特率等等，來遞送。媒體項播放管理器114在媒 體播放器112中協調媒體項的視頻部分和音頻部分的同步播放并且可W保留資源，如本文 中所述。
[0025] 媒體項播放管理器114可W接收更改媒體項的播放的指示。例如，該指示可W是來 自操作系統116的消息(諸如偏好或命令）。替選地，媒體項播放管理器114可W從客戶端設 備102的任何組件或者從用戶接收指示。該指示可W是W下中的至少一個:媒體播放器112 不再是主應用的指示、媒體播放器112已經進入客戶端設備102的后臺狀態的指示、客戶端 設備102的顯示器被關閉的指示、第二應用已經進入客戶端設備102的前臺狀態的指示、與 媒體播放器112相關聯的視頻具有較低優先級、或者經由接口或按鈕從用戶接收的用于對 媒體播放器112進行后臺處理的請求。該指示可W由操作系統116提供給媒體項播放管理器 114W停止媒體播放器的視頻部分的播放。響應于該指示，媒體項播放管理器114可W停止 媒體播放器112內的媒體項的視頻部分的播放，同時繼續提供媒體項的音頻部分。
[0026] 在實施方式中，操作系統116可W追蹤呈現媒體項（例如，媒體播放器112)的應用 何時進入前臺狀態W及其何時進入后臺狀態。媒體項播放管理器114可W在應用(媒體播放 器112)已經進入后臺狀態時從操作系統116接收信號、指示或消息。
[0027] 一旦接收到信號，媒體項播放管理器114可W釋放與下載和播放視頻相關聯的任 何資源。媒體項播放管理器114可W開始處理W清除視頻緩沖并釋放視頻存儲器、視頻解碼 器、關閉網絡套接字等。在一些實施方式中，媒體項播放管理器114可W保持一些資源一段 時間。保持資源會由于性能原因而有益，諸如當應用進入后臺狀態且隨后快速進入前臺狀 態時。在另一示例中，媒體項播放管理器114可W釋放視頻解碼器，但繼續下載數據，使得當 應用進入前臺狀態時，媒體播放器可W開始解碼視頻部分W便快速恢復。在一些實施方式 中，媒體項播放管理器114可W保持一些資源且隨后在一段時間后釋放。
[0028] 隨后，媒體項播放管理器114可W接收更改媒體項的播放的第二指示，同時媒體播 放器112正在提供媒體項的音頻部分。第二指示可W是在音頻部分的播放期間（例如，當媒 體播放器112進入前臺狀態)初始化或繼續視頻部分的播放。例如，第二指示可W是，來自操 作系統116的消息(諸如偏好或命令）：媒體播放器112現在是主應用、媒體播放器112已經進 入客戶端設備102上的前臺狀態的指示、客戶端設備102的顯示器被開啟的指示、或者與媒 體播放器112相關聯的視頻具有高顯示優先級。響應于第二指示，媒體項播放管理器114可 W指令媒體播放器112與所提供的音頻部分相同步地恢復媒體項的視頻部分的播放。
[0029] 在實施方式中，內容共享平臺110提供音頻部分和視頻部分的索引，其通知客戶端 設備102怎樣在播放期間同步音頻部分和視頻部分。例如，音頻部分和視頻部分可W是用時 間索引的。當媒體播放器112開始從起始播放媒體項時，媒體播放器112從時間=0播放音頻 部分和視頻部分，如索引所指示。當恢復視頻部分時，媒體項播放管理器114可W關于索引 識別播放音頻落在時間上的哪里。媒體項播放管理器114隨后可W指令媒體播放器112在對 應時間位置處恢復視頻部分。而且，當恢復視頻部分時，媒體項播放管理器114可W重新獲 取任何所釋放的資源(例如，視頻解碼器、緩沖(重新分配存儲器）、開放網絡套接字W下載 視頻部分，等等）。當其正在發生時，媒體播放器112繼續播放音頻。一旦視頻部分可用且準 備好了用于播放，媒體項播放管理器114可W再次識別播放音頻關于索引落入時間上的哪 里。通過知道音頻的位置，媒體項播放管理器114可W指令媒體播放器112與播放音頻部分 同步地恢復視頻部分的播放。
[0030] 通常，客戶端設備102所執行的一個實施方式中所述的功能也可W適當地在其他 實施方式中在內容共享平臺110上執行。類似地，內容共享平臺110所執行的一個實施方式 中所述的功能也可W適當地在其他實施方式中在客戶端設備102上執行。此外，歸因于特定 組件的功能可W由不同組件或一起操作的多個組件來執行。例如，媒體播放器112和媒體項 播放管理器114可W在單個應用內操作。內容共享平臺110還可W作為通過適當應用編程接 口（API)提供給其他系統或設備的服務被訪問，且因此不限于在網站中使用。
[0031] 在一些實施方式中，媒體播放器112和媒體項播放管理器114是相同應用的一部 分。在實施方式中，媒體項播放管理器114是操作系統116的一部分。
[0032] 在進一步實施方式中，媒體項播放管理器114當處于后臺狀態時可W下載較低質 量視頻，W便快速恢復和最小網絡使用。媒體項播放管理器114可W請求較高質量視頻，媒 體播放器112可W在該視頻被接收到時播放該視頻。在一些實施方式中，當恢復視頻部分下 載時，媒體項播放管理器114可W降低音頻部分的質量W給出更多帶寬來恢復視頻。
[0033] 在實施方式中，媒體項播放管理器114可W識別當前網絡狀況。當媒體項播放管理 器114確定其不能可靠地接收視頻部分(諸如由于當前網絡狀況)時，媒體項播放管理器114 可W觸發僅音頻模式，直到視頻部分可W被可靠地接收，媒體項播放管理器114可W經由低 視頻可靠性的GUI提示用戶。用戶可W選取僅繼續進行音頻且媒體項播放管理器114可W經 由GUI接收運樣的輸入且可W由此繼續進行。
[0034] 在一些實施方式中，音頻部分和視頻部分經由單個連接、流或文件被遞送。媒體項 播放管理器114或操作系統116可W在媒體播放器112進入后臺狀態時通知內容平臺110,或 者發送音頻部分而不發送視頻部分。內容平臺110可W停止視頻部分經由單個連接的遞送。 在一些實施方式中，當音頻部分和視頻部分作為單個組合文件被遞送時，文件可W包括視 頻部分和音頻部分的標識符，媒體項播放管理器114可W使用其來在客戶端處分開兩個部 分。
[0035] 在實施方式中，媒體項可W與現場流或現場事件(例如，在線演講或報告、視頻游 戲流)相關聯。對于現場流和事件，媒體項可W被打包在分段中，諸如通過時間（例如，五秒 分組)或者通過大小（例如，一兆字節分組）。音頻分組可W具有與視頻分組不同的大小。例 如，音頻分組可W是長度上的五秒分組而視頻分組可W是十秒。媒體項的音頻部分和視頻 部分可W互相對應但可W分別被打包。例如，媒體項可W被劃分為200個順序的分組。音頻 部分和視頻部分可W同樣被劃分為順序的200個分組，每個分組與時間上相同的時刻相對 應(例如，視頻部分和音頻部分的第27分組與時間上相同的時刻相對應）。當停止視頻部分 時，媒體項播放管理器114可W指令媒體播放器112不播放下一順序的分組。當恢復視頻部 分時，媒體項播放管理器114可W識別哪個音頻分組當前正在播放且可W指令媒體播放器 112在其開始播放下一音頻分組的同時開始播放下一視頻分組。在實施方式中，媒體項播放 管理器114還可W請求和/或來自內容共享平臺110的下一視頻分組。
[0036] 在其他實施方式中，軟件開發者或終端用戶可W對媒體項播放管理器114進行配 置。例如，GUI可W被提供W允許終端用戶查看媒體項播放管理器114的功能中的一些或全 部且按需要對其進行修改。在另一示例中，內容共享平臺110可W提供API W允許軟件開發 者對媒體項播放管理器114配置。
[0037] 在一些實施方式中，與后臺中當前正在媒體播放器112中播放的媒體項相對應的 諸如元數據的信息可W在客戶端設備102的用戶界面的媒體項信息部分中被示出。例如，與 視頻有關的信息，諸如其標題、查看計數、贊等等，可W被呈現。與當前正在后臺中播放的媒 體項相關的附加菜單選項也可W被呈現，諸如播放、暫停、停止、快進、回退、社交發帖、添加 評論等等。在另一實施方式中，與媒體項相對應的信息可W W半透明格式被呈現(例如，作 為半透明覆蓋或層），同時用戶在客戶端設備102上執行其他活動。
[0038] 圖2是圖示根據本公開的一些實施方式的用于在客戶端設備上提供有效媒體應用 后臺處理的方法200的流程圖。可W通過處理包括硬件(例如，電路、專用邏輯、可編程邏輯、 微代碼等等）、軟件(例如，在處理設備上運行W執行硬件仿真的指令)或其組合的邏輯來執 行方法200。
[0039] 為了解釋的簡化起見，本公開的方法被描繪和描述為一系列動作。但是，根據本公 開的動作可W與未在本文中呈現和描述的其他動作W各種次序和/或同時發生。而且，并非 所有圖示的動作都可能是實現根據所公開的主題的方法所需要的。此外，本領域技術人員 將理解和認識到，方法可W替選地經由狀態圖或事件而被表示為一系列相互關聯的狀態。 此外，應該認識到，本說明書中所公開的方法能夠被存儲在制造的物品中W促進傳輸和傳 送運樣的方法到計算設備。如本文中所使用的術語"制造的物品"，旨在包涵可通過任何計 算機可讀設備或存儲介質訪問的計算機程序。在一個實施方式中，方法200可W由應用來執 行，諸如媒體播放器112或媒體項播放管理器114、或者其組合，如結合圖1進一步所述。
[0040] 參看圖2,方法200開始于塊202,此時處理邏輯接收播放具有視頻部分和音頻部分 的媒體項的請求。該請求可W作為用戶輸入而被接收，諸如經由客戶端設備的觸摸屏。在塊 204處，處理邏輯響應于請求而保留與媒體項的播放相關聯的一個或多個資源。例如，一個 或多個資源可W是存儲器、緩沖、視頻解碼器、網絡套接字或視頻播放器。處理邏輯從一個 或多個源接收媒體項。
[0041] 在塊206處，處理邏輯呈現媒體項，其包括經由客戶端設備的顯示器提供媒體項的 播放。在塊208處，處理邏輯在媒體項的播放期間接收第一消息。
[0042] 在塊210處，響應于第一消息，處理邏輯停止媒體項的視頻部分的播放，而同時繼 續提供媒體項的音頻部分。在塊212處，處理邏輯釋放與媒體項的播放相關聯的一個或多個 資源中的至少一個。例如，當釋放一個或多個資源中的至少一個時，處理邏輯可W包括W下 至少一個:從緩沖消除視頻數據、停止視頻部分的下載、或者關閉用于請求視頻部分的網絡 連接。
[0043] 在塊214處，處理邏輯接收第二消息，同時提供媒體項的音頻部分。在實施方式中， 第二消息是由處理邏輯所執行的應用已經進入客戶端設備上的前臺狀態的指示。在塊216 處，處理邏輯重新獲取所釋放的資源。在塊218處且響應于第二消息，處理邏輯與所提供的 音頻部分相同步地恢復媒體項的視頻部分的播放。在實施方式中，在不打斷音頻部分的呈 現的情況下，處理邏輯恢復媒體項的視頻部分的呈現。
[0044] 在實施方式中，處理邏輯最初W第一質量水平或比特率來呈現視頻部分，當恢復 媒體項的視頻部分的呈現時，處理邏輯W第二質量水平或比特率來呈現視頻部分。例如，由 于經改善的網絡資源，第二質量可W比第一質量更高。
[0045] 圖3圖示根據本公開一些實施方式的用于在客戶端設備上提供有效媒體應用后臺 處理的兩個示例時間線302、304。間隔和事件被用于圖示活動。間隔的長度或維度不表示特 定時間或持續時間，它們也不表示相對于彼此的任何時間或持續時間。任何間隔可W是任 何時間量或時間段。
[0046] 在第一示例中，連續過程(run)302,在諸如結合圖1所圖示的客戶端設備102的客 戶端設備上的應用在間隔306期間播放媒體項的音頻部分和視頻部分二者。在事件308處， 應用接收第一消息，響應于該消息，停止視頻部分的播放，同時繼續播放音頻部分，如本文 中所述。在間隔310期間，應用釋放視頻資源，并且到間隔312的結束時釋放視頻資源。在事 件314處，應用接收第二消息。響應于在事件314處所接收的第二消息，應用在間隔316期間 獲取視頻資源。一旦視頻資源被獲取，應用可W恢復媒體項的視頻部分的播放，而同時在間 隔306期間繼續播放音頻部分。
[0047] 在第二示例中，連續過程304,應用起到類似于第一示例的連續過程302的作用。第 二示例進一步包括接合窗口 320，其是應用獲取視頻資源并開始與音頻部分同步地播放視 頻部分的可允許持續時間。接合窗口 320的持續時間可W是預先確定的時間量（例如，五 秒）。替選地，接合窗口 320的持續時間可W是動態的且可W取決于屬于媒體項的任何變量。 例如，接合窗口320的持續時間可W是當前正在播放的音頻數據分組的剩余持續時間。在接 合窗口 320期間，客戶端設備可W擅染提示W向用戶指示視頻正在加載、緩沖等等。例如，提 示可W包括縮略圖、下拉列表(spinner)、消息等。該提示可W被顯示，直到視頻部分恢復。 在實施方式中，客戶端設備可W W較低質量或比特率恢復視頻部分，W便快速恢復且可W 動態調節視頻質量或比特率。如果視頻部分不在接合窗口 320內播放或恢復，則應用可W暫 停音頻(例如，持續時間為間隔322)，直到視頻部分準備好了播放。
[0048] 圖4圖示了計算機系統400的示例形式的機器的圖解表示，在所述計算機系統400 內可W執行用于使得機器執行本文中討論的方法論中的任何一個或多個的指令集。在替選 實施方式中，機器可W被連接(例如，聯網巧IjLAN、內聯網、外聯網或互聯網中的其他機器。 機器可W W服務器資格操作，或者操作客戶端-服務器網絡環境中的客戶端機器，或者作為 點對點（或分布式）網絡環境中的對等機器。機器可W是個人計算機(PC)、平板PC、機頂盒 (STB)、個人數字助理(PDA)、蜂窩電話、web電器、服務器、網絡路由器、交換機或橋、或者能 夠執行指定機器要采取的動作的指令集(連續的等)任何機器。進一步地，盡管只圖示了一 個機器，術語"機器"還將被采用W包括獨立或聯合地執行要進行本文中所討論的方法論中 的任何一個或多個的一組(或多組)指令集的機器的任何集合。
[0049] 示例計算機系統400包括處理設備（處理器)402、主存儲器404(例如，只讀存儲器 (ROM)、閃存存儲器、諸如同步DRAM(SDRAM)或RambuS DRAM(畑RAM)的動態隨機存取存儲器 (DRAM)等等）、靜態存儲器406(例如，閃存存儲器、靜態隨機存取存儲器(SRAM)等等）W及數 據存儲設備416,它們經由總線408互相通信。
[0050] 處理器402表示一個或多個通用處理設備，諸如微處理器、中央處理單元等。更具 體地，處理器402可W是復雜指令集計算（CISC)微處理器、精簡指令集計算（RISC)微處理 器、超長指令字(VLIW)微處理器、或者實現其他指令集的處理器或實現指令集組合的處理 器。處理器402還可W是一個或多個專用處理設備，諸如專用集成電路(ASIC)、現場可編程 口陣列(FPGA)、數字信號處理器(DSP)、網絡處理器等。處理器402被配置為執行用于進行本 文中所討論的操作和步驟的指令426。
[0051 ] 計算機系統400可W進一步包括網絡接口設備422。計算機系統400還可W包括視 頻顯示單元410(例如，液晶顯示器化CD)、陰極射線管(CRT)或觸摸屏）、字母數字輸入設備 412(例如，鍵盤）、光標控制設備414(例如，鼠標)和信號生成設備420(例如，揚聲器）。
[0052] 數據存儲設備416可W包括計算機可讀存儲介質424,在其上存儲體現本文中討論 的方法論或功能中的任何一個或多個的一個或多個指令集426(例如，軟件）。指令426在其 被計算機系統400執行期間還可W完全或至少部分地駐留在主存儲器404內和/或處理器 402內，主存儲器404和處理器402也構成計算機可讀存儲介質。指令426可W進一步經由網 絡接口設備422通過網絡418被傳送或接收。
[0053] 在一個實施方式中，指令426包括用于媒體播放器或媒體項播放管理器的指令，其 可W分別與結合圖1所述的媒體播放器112或媒體項播放管理器114,和/或包含提供媒體播 放器或媒體項播放管理器的方法的軟件庫相對應。盡管在示例實施方式中計算機可讀存儲 介質424被示為單個介質，術語"計算機可讀存儲介質"應該被采用為包括單個介質或多個 介質（例如，中央或分布式數據庫，和/或相關聯的緩存和服務器），其存儲一組或多組指令 集。術語"計算機可讀存儲介質"還應該被采用W包括能夠存儲、編碼或攜帶用于由機器執 行且使得機器執行本公開的方法論中的一個或多個的指令集的任何介質。術語"計算機可 讀存儲介質"因此應該被采用W包括，但不限于，固態存儲器、光學介質和磁介質。
[0054] 在前面的描述中，闡述了許多細節。但是，從本公開中受益的本領域普通技術人員 顯然明白，本公開可W在沒有運些具體細節的情況下被實踐。在一些實例中，W框圖形式示 出公知結構和設備，而不是細節，為的是避免混淆本公開。
[0055] 詳細描述的一些部分已經根據計算機存儲器內關于數據比特的操作的算法和符 號表示來呈現。運些算法描述和表示是數據處理領域的技術人員所使用的含義W最有效地 傳達其工作的實質給本領域其他技術人員。本文中，且通常，算法被構想為導致所期望的結 果的一致的的步驟序列。所述步驟是要求物理量的物理操作的步驟。通常，盡管并非必需， 運些量采用能夠被存儲、傳送、組合、比較和操作的電或磁信號的形式。已經證明，有時為了 方便，主要是為了常用的原因，將運些信號稱為比特、值、元素、符號、字符、項、數字等。
[0056] 但是，應該記住雖有運些和類似術語中的全部要與適當物理量相關聯且僅僅是應 用于運些量的方便的標簽。除非具體陳述，否則從下面討論中顯而易見的是，在整個描述 中，利用諸如"分害r、"分昕'、"確定"、"使能"、"識別"、"修改"等的術語的討論，指的是計算 機系統或類似電子計算設備的動作和處理，其操作且將計算機系統的寄存器和存儲器內的 被表示為物理(例如，電子)量的數據變換為計算機系統存儲器或寄存器或其他運樣的信息 存儲、傳輸或顯示設備內的類似地表示為物理量的其他數據。
[0057] 本公開還設及用于執行本文中的操作的裝置。該裝置可W被特別構建用于所需用 途，或者其可W包括由存儲在計算機中的計算機程序選擇性激活或重新配置的通用計算 機。運樣的計算機程序可W被存儲在計算機可讀存儲介質中，諸如但不限于，任何類型的 盤，其包括軟盤、光盤、CD-ROM、和磁光盤，只讀存儲器(ROM)，隨機存取存儲器(RAM)，EPROM， EEPR0M，磁或光卡，或者適合用于存儲電子指令的任何類型的介質。
[0058] 單詞"示例"或"示例性"在本文中被用來表示用作示例、實例或說明。本文中被描 述為"示例"或"示例性"的任何方面或設計不必被解釋為相對其他方面或設計優選或有利。 而是，單詞"示例"或"示例性"的使用旨在W具體方式呈現概念。如本中請中所使用的，術語 "或"旨在意味著包含性的"或"而不是排他性的"或"。也就是說，除非另外指出，或者上下文 中很明顯，"X包括A或護旨在意味著任何自然的包含性排列。也就是說，如果X包括A;X包括 B;或X包括A和B二者，則在任何前述情形下都滿足氣包括A或B"。此外，本申請和所附權利要 求書中使用的冠詞V'和"an"通常應該被解釋為意味著"一個或多個"，除非另外指出，或者 從上下文中很明顯看出指向單數形式。而且，通篇中，術語"實施方式"或"一個實施方式"的 使用不旨在意味著相同的實施方式，除非運樣描述。
[0059] 本說明書中通篇參考"一個實施方式"或"實施方式"意味著與實施方式相關的特 定特征、結構或特性包括在至少一個實施方式中。因此，短語"在一個實施方式中"或"在實 施方式中"在本說明書中通篇各個地方的出現不必都指的是相同的實施方式。此外，術語 "或"旨在意味著包含性的"或"，而非排他性的"或"。
[0060] 應該理解，上面的描述旨在是說明性的，而不是限制性的。一旦閱讀和理解上面的 描述，本領域技術人員將很清楚許多其他實施方式。因此，應該結合所附權利要求W及運些 權利要求享有的等價物的完全范圍來確定本公開的范圍。
【主權項】
1. 一種方法，包括： 由處理設備所執行的應用提供包括視頻部分和音頻部分的媒體項的播放； 由所述應用在所述媒體項的所述播放期間接收第一消息； 響應于所述第一消息，停止所述媒體項的所述視頻部分的所述播放，同時繼續提供所 述媒體項的所述音頻部分； 在提供所述媒體項的所述音頻部分的同時，由所述應用接收第二消息；以及 響應于所述第二消息，與所提供的所述音頻部分相同步地恢復所述媒體項的所述視頻 部分的所述播放。2. 如權利要求1所述的方法，其中： 提供所述媒體項的所述播放包括接收播放所述媒體項的請求，以及響應于所述請求而 保留與所述媒體項的所述播放相關聯的一個或多個資源；以及 停止所述媒體項的所述視頻部分的所述播放包括釋放所述一個或多個資源中的至少 一個。3. 如權利要求2所述的方法，其中，所述一個或多個資源包括以下中的至少一個:存儲 器、緩沖、視頻解碼器或視頻播放器。4. 如權利要求2所述的方法，其中，釋放所述一個或多個資源中的至少一個包括以下中 的至少一個:從緩沖中清除視頻數據、停止所述視頻部分的下載、或者關閉用于請求所述視 頻部分的網絡連接。5. 如權利要求2所述的方法，其中，恢復所述媒體項的所述視頻部分的所述呈現包括重 新獲取所釋放的一個或多個資源。6. 如權利要求1所述的方法，其中，所述第一消息是以下中的至少一個:所述應用已經 進入移動設備上的后臺狀態的指示、所述移動設備的顯示器被關閉的指示、或者第二應用 已經進入所述移動設備上的前臺狀態的指示。7. 如權利要求1所述的方法，其中，所述第二消息是所述應用已經進入移動設備上的前 臺狀態的指示。8. 如權利要求1所述的方法，其中，在不用打斷所述音頻部分的所述呈現的情況下恢復 所述媒體項的所述視頻部分的所述呈現。9. 如權利要求1所述的方法，其中，所述視頻部分最初以第一質量被呈現，并且其中，恢 復所述媒體項的所述視頻部分的所述呈現包括以第二質量呈現所述視頻部分。10. 如權利要求1所述的方法，進一步包括經由圖形用戶界面呈現要恢復所述視頻部分 的所述呈現的消息。11. 如權利要求1所述的方法，進一步包括從不同源接收所述視頻部分和所述音頻部 分。12. 如權利要求1所述的方法，進一步包括： 作為單個文件接收所述媒體項的所述視頻部分和所述音頻部分；以及 將所述視頻部分和所述音頻部分分隔為分離的文件。13. -種裝置，包括： 顯不設備； 可通信地耦合到所述顯示設備的存儲器；以及 可通信地耦合到所述存儲器的處理設備，所述處理設備執行指令以： 提供包括視頻部分和音頻部分的媒體項的播放； 在所述媒體項的所述播放期間接收第一消息； 響應于所述第一消息，停止所述媒體項的所述視頻部分的所述播放，同時繼續提供所 述媒體項的所述音頻部分； 在提供所述媒體項的音頻部分的同時接收第二消息；以及 響應于所述第二消息，與所提供的所述音頻部分相同步地恢復所述媒體項的所述視頻 部分的所述播放。14. 如權利要求13所述的裝置，其中： 當提供所述媒體項的所述播放時，所述處理設備接收播放所述媒體項的請求，以及響 應于所述請求而保留與所述媒體項的所述播放相關聯的一個或多個資源；以及 當停止所述媒體項的所述視頻部分的所述播放時，所述處理設備釋放所述一個或多個 資源中的至少一個。15. 如權利要求14所述的裝置，其中，所述一個或多個資源包括以下中的至少一個:存 儲器、緩沖、視頻解碼器或視頻播放器。16. 如權利要求14所述的裝置，其中，當釋放所述一個或多個資源中的至少一個時，所 述處理設備執行以下中的至少一個:從緩沖中清除視頻數據、停止所述視頻部分的下載、或 者關閉用于請求所述視頻部分的網絡連接。17. 如權利要求14所述的裝置，其中，當恢復所述媒體項的所述視頻部分的所述呈現 時，所述處理設備重新獲取所釋放的一個或多個資源。18. -種存儲指令的非暫時性機器可讀存儲介質，所述指令在被執行時使得處理設備 執行操作，所述操作包括： 由所述處理設備所執行的應用提供包括視頻部分和音頻部分的媒體項的播放； 由所述應用在所述媒體項的所述播放期間接收第一消息； 響應于所述第一消息，停止所述媒體項的所述視頻部分的所述播放，同時繼續提供所 述媒體項的所述音頻部分； 在提供所述媒體項的所述音頻部分的同時，由所述應用接收第二消息；以及 響應于所述第二消息，與所提供的所述音頻部分相同步地恢復所述媒體項的所述視頻 部分的所述播放。19. 如權利要求18所述的非暫時性機器可讀存儲介質，其中，所述第一消息是以下中的 至少一個:所述應用已經進入移動設備上的后臺狀態的指示、所述移動設備的顯示器被關 閉的指示、或者第二應用已經進入所述移動設備上的前臺狀態的指示。20. 如權利要求18所述的非暫時性機器可讀存儲介質，其中，所述第二消息是所述應用 已經進入移動設備上的前臺狀態的指示。
【文檔編號】H04N21/2387GK105940671SQ201580006269
【公開日】2016年9月14日
【申請日】2015年1月29日
【發明人】奧利佛·約翰·伍德曼, 馬特·杜克勒夫
【申請人】谷歌公司