專利名稱：用于影響視聽質量的多用戶反饋的系統、方法及計算機程序的制作方法
用于影響視昕質量的多用戶反饋的系統、方法及計算機程
序
背景技術：
隨著近來聯網技術的進步，用戶有時候幾乎實時地接收視聽內容現在是常見的。 示例包括語音和視頻電話會議、網絡研討會以及諸如音樂會、新聞報道以及體育賽事的現場即時事件流送。此外，在此類內容遞送期間，可對內容的采集、處理以及向用戶遞送應用多種參數，這些參數影響用戶體驗的質量。例如，這些參數可包括采樣率、編碼參數以及數據吞吐率。此外，已知用戶典型地想要盡可能最佳的AV體驗，一個或多個用戶可具有關于這些參數的偏好。然而，對參數值的選擇會必然伴有取舍(tradeoff)。例如，在視頻會議期間，參與者可能正在進行主動的討論，在此情況下可能想要低音頻滯后時間。在此，用戶希望感覺到如同他們一起在同一間房間中，進行面對面談話；任何顯著的滯后時間會使人分心。但延遲的減少會降低視頻的質量。提高視頻質量會相反地增加延遲，且也會降低音頻質量。在一些情況下，一定的取舍會是可接受的。例如，在同一視頻會議期間，可能演示像工業設計或構造之類的可視對象演示，在此情況下，為了獲得較高的視頻質量，滯后和較低的音頻質量會是可接受的。在另一示例中，在廣播音樂會期間，當演唱者僅僅站立在那里唱歌時的部分廣播期間，多數用戶可能更喜歡以視頻為代價而聆聽較高質量的音頻。例如，降低視頻的比特率編碼能允許在給定AV流中更高的音頻質量。在節目的其他部分期間，看到高質量視頻可能變得更合乎需要。相對于媒體質量進行智能取舍對于服務供應商或自動化系統而言會是困難的。終端用戶想要的質量水平會基于用戶的顯示器大小、用戶對視頻相對于音頻的偏好、對體驗而言的音頻滯后的接受度、或甚至內容的本質而不同。相比于其他情況，在一些情況下高AV 質量可能更重要。對于媒體廣播，因特網語音傳輸協議(VOIP)或視頻會議的設定(即取舍水平)可由設計者或技術人員在沒有來自用戶輸入的情況下決定。例如，技術人員可遵循指令，或根據期望的最佳取舍來做出判斷。也可基于網絡吞吐量變化進行自動調節。可進行對網絡話務的數學建模以及將視頻和音頻分組區分優先次序的嘗試，但這不會解決或支持用戶想要的體驗，或用戶組的需求。
圖Ia是示出根據實施例的本文中所述系統的處理的框圖，其中用戶設定的平均化可在媒體服務器處執行，且經平均化的設定可在采集設備處應用。圖Ib是示出根據實施例的本文中所述系統的處理的框圖，其中用戶設定的平均化可在媒體服務器處執行，且經平均化的設定可在服務器處應用。圖2是示出根據實施例的本文中所述系統的處理的框圖，其中用戶設定的平均化可在采集設備處執行，且經平均化的設定可在采集設備處應用。
圖3示出根據實施例的圖形用戶界面(⑶I)，用戶可通過該⑶I選擇AV質量取舍。圖4是示出根據實施例的用于收集、處理以及應用用戶設定以確定AV取舍的過程的流程圖。圖5是示出本文所述系統的軟件或固件實施例的框圖。
具體實施例方式現在將參照附圖描述優選實施例，其中相同附圖標號表示相同或功能相似的要素。此外，在附圖中，每個附圖標號的最左位對應于其中首次使用該附圖標號的附圖。雖然討論了特定配置和安排，但應理解這僅僅是為了說明目的。本領域普通技術人員將可認識到，可使用其它配置和安排，而不背離本描述內容的精神和范圍。對本領域普通技術人員而言顯而易見的是，本發明也可用于除本文中描述的系統和應用之外的各種其它系統和應用。本文中公開了用于收集有關視聽(AV)內容質量的用戶輸入、并基于所收集的輸入改變該內容質量的系統、方法以及計算機程序。用戶可提供有關AV質量取舍的輸入，諸如音頻質量相對于視頻質量，或音頻質量相對于延遲。用戶的輸入表示關于取舍的所選設定。這些設定可被平均化以產生反映所有用戶的輸入的一個或多個平均設定。然后可使用平均設定來確定可應用于AV內容采集、處理和/或遞送的一個或多個參數。例如，這可應用于視頻電話會議、即時播客(live podcasting)、預記錄媒體播放、 遠程學習、虛擬會議以及多個用戶參與的在線協作環境。本文中描述的系統和方法允許一組用戶對AV體驗行使控制。AV質量可受影響的兩個位置為1)AV采集設備處、以及幻分發媒體流的服務器處。如下文將描述，可使用這一個或兩個位置。圖IA和IB示出經用戶選擇的設定可被發送至媒體服務器并在媒體服務器處被平均器處理(將在下文中更詳細描述)的實施例。在圖IA中，音頻和/或視頻可由采集設備110采集。AV數據170可由采集設備110產生并被發送至媒體服務器120。然后AV數據170可由媒體服務器120發送至若干用戶130a-130c中的每一個。用戶130a-130c可各自向媒體服務器120提供分別被示為140a-140c的設定。這些設定140表示來自每個用戶 130的與個體用戶所選擇的取舍有關的輸入。如上所討論，例如，用戶可選擇較高音頻質量并接受由此導致的較低視頻質量，反之亦然。作為替代或作為附加，用戶可選擇接受較大的延遲以有利于較高的音頻或視頻質量，或可偏好較少延遲并接受由此導致的較差音頻或視頻質量。在一實施例中，可向用戶提供圖形用戶界面(GUI)，以允許用戶在分立的選擇集合上或連續范圍上選擇設定。在圖IA的實施例中，這些選擇可由用戶130以設定140a-140c 的形式傳遞至媒體服務器120。如本領域普通技術人員可理解，設定140可表示一個或多個特定數值。例如，通過選擇特定設定，用戶130可有效地指定特定比特率、采樣率或編碼或濾波參數。當在媒體服務器120處接收到設定140時，相應的數值可由模塊150處理。對于用戶所選擇的每種類型的設定(例如視頻質量相對于音頻質量)，模塊150可產生單個設定以反映每一個個體設定140或是每一個個體設定140的函數。在圖IA的實施例中，模塊150可以是平均器。在本實施例中，例如，平均器150可計算設定140a-140c的算術平均。在一些實施例中，平均器150可計算加權平均值。在這樣的實施例中，特定用戶130的設定140會被給予較高優先級或重視，反映為比起給予其它用戶的權重而言更大的權重。在其它實施例中，模塊150 可執行不同的統計函數。例如，該模塊可產生中值來代替平均值。平均器150的輸出被示為一個或多個平均設定160。然后平均設定160可被發送至采集設備110，平均設定160在采集設備110處實現。以此方式，由個體用戶130作出的選擇可被處理并發送至采集設備110，然后采集設備110可通過對適當參數作出相應調整來作出響應。在本發明的實施例中，用戶130可在AV數據170的展示已開始之后選擇設定140。 這可允許用戶130接收利用缺省參數產生的AV數據170。然后用戶130可根據他們對利用這些缺省參數產生的AV數據170的反應來輸入設定140。因此在這樣的實施例中，設定 140可表示反饋。替代地，用戶130可在任何AV數據展示之前輸入設定140。這樣可允許用戶130在展示開始時提供輸入。圖IB示出替代實施例，其中經修改的參數可在媒體服務器處實現。這里，用戶 135a-135c提供各自的設定14fe_145c。設定145可在媒體服務器125處被接收，且在媒體服務器125處由平均器155處理。在本實施例中，平均器155的輸出可能不被發送至采集設備。相反，平均器155的輸出可在媒體服務器125內部使用。這里，可根據由平均器155 產生的作為個體設定14fe-145c的函數的平均設定來調節和實現參數。在本實施例中，應注意，在媒體服務器125處調節和實現的參數可能與在圖IA中的采集設備110處調節和實現的參數不同。這是因為，即使特定參數可在采集設備處修改，但他們可能無法在媒體服務器處修改，反之亦然。例如，采樣率可在采集設備處修改，但不可在媒體服務器處修改。圖2示出平均器位于采集設備處而不是位于媒體服務器處的實施例。采集設備 210可包括平均器250。AV數據270可從采集設備210處被發送至媒體服務器220。然后媒體服務器220將AV數據270轉發至若干用戶230a-230c中的每一個。如先前情況中一樣， 每個用戶可產生一個或多個設定，在此示為設定M0a-240c。和之前一樣，設定表示有關用戶方面對AV體驗質量的取舍的選擇。例如，給定用戶可能偏愛較高的視頻質量水平，且可能接受較低的音頻質量水平，且這些偏好可能在由用戶所選擇的設定中顯示出。作為附加或替代，用戶可能偏好在展示中犧牲一定量的延遲以換取提高的AV質量。如前所述，給定的設定可表示在AV數據270的采集和/或處理中使用的一個或多個參數。如240所示設定中所反映的參數可由采集設備210處的平均器250來平均化。然后所得到的平均器250 的輸出可用于調節應用在采集設備210處的參數。如前所述，設定240可在AV數據270的展示開始之前或之后由平均器250選擇并處理。注意，在圖1A、1B和2中示出了三個用戶；實際上，用戶數量可以更多或更少。此外，采集設備、媒體服務器以及用戶之間的連接可使用有線或無線介質，且可通過一個或多個網絡。網絡可包括局域網、廣域網、因特網或它們的組合。在一實施例中，用戶可通過使用圖形用戶界面(⑶I)作出他對AV質量取舍的選擇。根據一實施例，這樣的⑶I在圖3中示出。該圖示出了包括兩個范圍320和340的窗口 300。范圍320可對應于關于視頻質量與音頻質量之間的取舍的可能性范圍。用戶可操縱沿范圍320的滑塊310。將滑塊310進一步向左移動導致較高的視頻質量和較低的音頻質量。將滑塊310向右移動導致較低的視頻質量但較高的音頻質量。范圍340對應于關于 AV質量與延遲(即，“滯后”)之間的取舍的可能性范圍。將滑塊330向左移動導致較高的AV質量但較大的滯后。將滑塊330向右移動導致較低的AV質量但較少的滯后。水平方向滑塊的使用不意味著做為限制。如本領域普通技術人員可理解，其它圖形界面也是可能的。例如，相似的功能可通過使用圖形呈現的旋鈕、開關等來實現。也可使用文本框，例如，用戶可在文本框中以語句或數值格式(例如1與100之間的數字)輸入想要的視頻質量數量。然后關聯的框可將所得的音頻質量顯示為1與100之間的數字。此外， 在替代實施例中，僅可操縱兩個所示范圍中的一個范圍。在其它實施例中，可展示附加的取舍(未示出)。通過操縱圖形呈現的控件，諸如滑塊310或330，用戶可能指向窗口或顯示器中的特定像素。在一實施例中，由用戶產生和發送的設定可以是顯示坐標的形式。然后這些坐標和由其他用戶標識的坐標可由平均器來平均化。然后平均坐標可被轉換成可在采集設備或媒體服務器處應用的一個或多個參數的值。例如，此類參數可包括數據率或采樣率。在這樣的實施例中，將坐標轉換成參數值的邏輯可駐留在平均器處或與平均器在一起。替代地，這樣的轉換邏輯可本地駐留在用戶機器處。在此，用戶所選的像素坐標可在本地被轉換成一個或多個參數值。因此用戶所發送的設定可采取參數值的形式，這些參數值可由平均器接收以用于計算平均參數值。根據一實施例，本文中所描述的系統的處理在圖4中示出。在410，可從每個用戶請求一個或多個取舍設定。完成這一步驟的一種方式是通過使用諸如圖3所示界面的圖形用戶界面。在420，可接收這些設定。如果平均器通過使用加權平均來計算平均設定，則可在430應用權重。如果相對于加權平均而計算了常規數值平均，則不需要加權。在440，可計算平均設定。注意，如果一用戶未作任何選擇，則在一實施例中，可按照少了一個參與者的基準來計算平均。換言之，如果涉及η個用戶，且一個用戶沒有輸入設定，則可基于η-1個用戶來計算平均。替代地，可對這樣的用戶指定缺省設定，并基于所有 η個用戶來計算平均。在一實施例中，可通知用戶有關其他用戶所選擇的設定。在此情況下，在450，可將其他用戶的設定顯示給每個用戶。替代地，查看其他用戶的設定可以是用戶可選擇或拒絕的顯示選項。在460，可向用戶顯示所計算的平均。同樣，查看該值可以是用戶可選擇或拒絕的顯示選項。在470，可按照與所計算的平均設定一致的方式調節AV參數。在480，可在應用平均設定之后將AV數據展示給用戶。注意，在替代實施例中，并非圖4中所描述的所有信息都對用戶可用。例如，在此類實施例中，用戶可能無法查看平均設定。同樣，其他用戶的設定也是不可查看的。本文中公開的一個或多個特征可在硬件、軟件、固件以及它們的組合中實現，包括分立和集成電路邏輯、專用集成電路(ASIC)邏輯和/或微控制器，且可實現為專門領域的集成電路封裝的一部分或集成電路封裝的組合。本文中所使用的“軟件”這一術語指的是包括計算機可讀介質的計算機程序產品，該計算機可讀介質具有存儲于其中的計算機程序邏輯，用于使計算機系統執行本文中所揭示的一個或多個特征和/或特征的組合。在圖5中在計算系統500的背景下示出了軟件實施例。系統500可包括處理器 520和存儲器主體510，該存儲器主體510可包括可存儲計算機程序邏輯540的一個或多個計算機可讀介質。存儲器510可被實現為硬盤和驅動器、諸如緊致盤和驅動器或只讀存儲器(ROM)等可移動介質。處理器520和存儲器510可使用本領域普通技術人員公知的若干種技術中的任一種技術來通信，諸如使用總線來通信。存儲器510中包含的計算機程序邏輯540可由處理器520讀取和執行。共同示為1/0(輸入/輸出)530的一個或多個I/O端口和/或I/O設備也可連接至處理器520和存儲器510。根據一實施例，計算機程序邏輯540可包括平均器邏輯550。平均器邏輯550可負責處理從用戶接收的設定。具體而言，邏輯550可接收設定并計算作為這些設定的函數的一個或多個輸出值，其中輸出值反映了每個個體設定。如上所討論，這些函數可包括算術平均，或可包括加權平均。替代地，平均器邏輯550可計算這些設定的一些其它統計函數。本文中公開的方法和系統是借助于示出其功能、特征和關系的功能性構件塊來公開的。為便于描述，在本文中任意地限定了這些功能性構件塊的至少一些邊界。可限定替換的邊界，只要其指定的功能和關系被適當地執行。雖然本文中公開了各種實施例，但應理解它們僅以示例方式給出而非作為限定。 本領域普通技術人員將清楚知道，其中可作出形式上以及細節上的各種改變而不背離本文所揭示的方法和系統的精神和范圍。因此，權利要求的寬度和范圍不受本文中所公開的任一示例性實施例的限制。
8
權利要求
1.一種方法，包括接收由多個用戶各自選擇和提供的一個或多個視聽(AV)設定； 計算所述輸入的函數；以及確定影響AV數據的采集或向用戶遞送的一個或多個參數，其中所述參數由所述函數的輸出來確定，其中所述接收、計算以及確定由可編程處理器來執行。
2.如權利要求1所述的方法，其特征在于，所述處理器位于與用戶通信的媒體服務器處。
3.如權利要求1所述的方法，其特征在于，所述處理器位于被配置成采集AV內容的內容采集設備處。
4.如權利要求1所述的方法，其特征在于，所述控制輸入指定以下的一個或多個之間的取舍視頻質量相對于音頻質量，以及 AV質量相對于AV滯后。
5.如權利要求1所述的方法，其特征在于，所述函數是所接收的設定的算術平均。
6.如權利要求1所述的方法，其特征在于，在采集設備處使用所述參數來控制AV內容的采集或處理。
7.如權利要求1所述的方法，其特征在于，在媒體服務器處使用所述參數來控制所述 AV數據的處理或向用戶的遞送。
8.一種系統，包括 處理器；以及與所述處理器通信的存儲器，所述存儲器用于存儲多個處理指令，所述處理指令指導所述處理器接收由多個用戶各自選擇和提供的一個或多個視聽(AV)設定； 計算所述設定的函數；以及確定影響AV數據的采集或向用戶遞送的一個或多個參數，其中所述參數由所述函數的輸出來確定。
9.如權利要求8所述的系統，其特征在于，所述處理器位于以下之一處 與所述用戶通信的媒體服務器，或配置成采集AV內容的內容采集設備。
10.如權利要求8所述的系統，其特征在于，所述設定指定以下的一個或多個之間的取舍視頻質量相對于音頻質量，以及 AV質量相對于AV滯后。
11.如權利要求8所述的系統，其特征在于，所述函數是所接收的控制設定的算術平均。
12.如權利要求8所述的系統，其特征在于，在采集設備處使用所述參數來控制AV內容的采集或處理。
13.如權利要求8所述的系統，其特征在于，在媒體服務器處使用所述參數來控制所述AV數據的處理或向用戶的遞送。
14.一種計算機程序產品，包括其中存儲計算機程序邏輯的計算機可讀介質，所述計算機控制邏輯包括被配置成使處理器接收由多個用戶各自選擇和提供的一個或多個視聽(AV)控制設定的邏輯；被配置成使所述處理器計算所述輸入的函數的邏輯；以及被配置成使所述處理器確定影響AV數據的采集或向用戶遞送的一個或多個參數的邏輯，其中所述參數由所述函數的輸出來確定。
15.如權利要求14所述的計算機程序產品，其特征在于，所述處理器位于與用戶通信的媒體服務器處。
16.如權利要求14所述的計算機程序產品，其特征在于，所述處理器位于被配置成采集AV內容的內容采集設備處。
17.如權利要求14所述的計算機程序產品，其特征在于，所述控制輸入指定以下的一個或多個之間的取舍視頻質量相對于音頻質量，以及AV質量相對于AV滯后。
18.如權利要求14所述的計算機程序產品，其特征在于，所述函數是所接收的控制設定的算術平均。
19.如權利要求14所述的計算機程序產品，其特征在于，在采集設備處使用所述參數來控制AV內容的采集或處理。
20.如權利要求14所述的計算機程序產品，其特征在于，在媒體服務器處使用所述參數來控制所述AV數據的處理或向用戶的遞送。
全文摘要
本文中公開了用于收集與視聽(AV)內容的質量有關的用戶設定、并基于所收集的設定改變該內容的質量的系統、方法以及計算機程序產品。用戶可提供有關AV質量的取舍的輸入，諸如音頻質量相對于視頻質量，或音頻質量相對于延遲。可對用戶的輸入進行平均化，以產生反映所有用戶的輸入的單個輸入。然后可使用該單個輸入來確定可被應用于定義AV內容采集、處理或遞送中實現的取舍的一個或多個參數。
文檔編號H04L29/06GK102238031SQ201110126980
公開日2011年11月9日 申請日期2011年5月6日 優先權日2010年5月7日
發明者A·C·尤金, G·J·安德森, P·J·科瑞弗奧 申請人:英特爾公司