基于用戶在視頻顯示器特定部分上的聚焦處理視頻信號的制作方法
【專利摘要】本公開涉及基于用戶在視頻顯示器特定部分上的聚焦處理視頻信號。公開了用于檢測至少一個觀眾的聚焦指向視頻顯示器的特定區域的設備與方法。視頻幀中用于在觀眾的聚焦的區域中呈現的第一部分與該視頻幀中與不是觀眾的聚焦的部分的區域相關的另一部分不同地處理。
【專利說明】基于用戶在視頻顯示器特定部分上的聚焦處理視頻信號
【技術領域】
[0001]本申請總體上涉及對諸如TV(電視機)之類的顯示設備尤其是對超高清晰度(UHD)TV的視頻信號的處理。
【背景技術】
[0002]高清晰度(HD)顯示器已經引入，它具有比標準清晰度(SD)顯示器更高的分辨率。這是通過把像素密度從標準的480行、每行640或720個像素(720X480)增加到HD1920X1080 (對于逐行和隔行掃描)、1440X 1080 (對于較舊的隔行掃描)實現的。越大的分辨率產生越清楚、越具體的視覺呈現。
[0003]最近，具有甚至比HD更高分辨率的超高清晰度(UHD)顯示器已經引入。如這里所理解的，這些顯示器的分辨率有助于增強用戶體驗。
【發明內容】
[0004]如這里所理解的，有時候可能難以或者不可能讓顯示設備的處理組件例如像預期的那樣完全、有效地解碼進入的UHD音頻視頻(AV)信號的所有部分，使得例如視頻基于顯示器的能力以最佳可能的刷新率和屏幕分辨率無縫地以UHD格式呈現。這可能是由于例如設備不能(例如，資源不足)以它被接收的相當快的速率處理這么大量的數據。因此，所給出的原理理解:期望基于設備的能力以最佳可能的刷新率和屏幕分辨率呈現至少顯示器上的視頻中觀眾特別聚焦的的部分。
[0005]因此，在一方面，一種方法包括檢測至少一個觀眾的聚焦在還具有至少第二視頻顯示區域的視頻顯示器的第一視頻顯示區域上。該方法還包括，響應于檢測到至少一個觀眾的聚焦在第一視頻顯示區域上，與一視頻幀的第二部分不同地解碼該視頻幀要在第一視頻顯示區域中呈現的第一部分。因而，在有些實施例中，第一部分可以以比第二部分更快的速率解碼。而且，在有些實施例中，第二部分可以解碼或者可以根本就不解碼。
[0006]還有，在示例性實施例中，檢測包括成像觀眾的至少一只眼睛。成像可以包括利用與顯示器并置的照相機生成觀眾的眼睛的圖像，和/或可以包括利用安裝在用戶佩戴的護目鏡上的照相機生成觀眾的眼睛的圖像。
[0007]在另一方面，配置為從照相機接收顯示器的觀眾的眼睛的圖像的裝置包括定義多個視頻顯示區域的視頻顯示器。該裝置還包括配置用于控制視頻顯示器并且用于從照相機接收該視頻顯示器的至少一個觀眾的眼睛的圖像的處理器。該處理器還配置為，響應于從照相機接收到的圖像，利用第一處理處理一視頻幀的第一部分并且利用第二處理處理該幀的第二部分。
[0008]在還有另一方面，一種音頻視頻顯示設備包括視頻顯示器和配置為接收要求的圖像并且在視頻顯示器上呈現所述要求的圖像的處理器。該處理器還配置為，響應于確定觀眾聚焦到顯示器中對應于第一部分的區域上，以比所要求的圖像的第二部分更大的分辨率和/或以更大的刷新率呈現所述要求的圖像的第一部分。
[0009]在本發明的另一方面，一種音頻視頻顯示設備能夠檢測觀眾離設備的距離。如果觀眾離得太遠以至于不能辨別視頻中的細節，則整個圖像的分辨率降低。于2012年10月23提交且標題為“ADAPTING LAYOUT AND TEXT FONT SIZE FOR VIEWER DISTANCE FROM TV”的共同未決的美國專利申請N0.13/658，272在此引入作為參考并且解釋了測量確定觀眾離TV的距離的多種途徑。
【專利附圖】
【附圖說明】
[0010]本發明關于結構和操作的細節可以參考附圖得到最好的理解，附圖中相同的標號指相同的部分，而且其中:
[0011]圖1是根據所給出的原理的非限制性示例系統的框圖；
[0012]圖2是示例TV的框圖；
[0013]圖3是示例平板計算機的框圖；
[0014]圖4是包括至少一個數碼相機的示例性護目鏡的框圖；
[0015]圖5是可以根據所給出的原理用于確定觀眾的聚焦并且基于該聚焦盡可能快且好地處理進入幀的至少一部分的邏輯的示例性流程圖；及
[0016]圖6-圖12示出了根據所給出的原理的顯示器的示例性顯示區域，所述示例性顯示區域可以基于設備能力以不同圖像質量等級呈現并且其中至少一個區域包括焦點。
具體實施例
[0017]首先參考圖1中所示的非限制性示例實施例,系統10包括音頻視頻設備(AVD),諸如包括與TV處理器18通信的TV調諧器16的TV12，其中TV處理器18訪問有形的計算機可讀存儲介質20，諸如基于盤的儲存器或者固態儲存器。雖然示例AVD體現為TV，但是所給出的原理也適用于其它AVD，例如，家庭影院、游戲控制臺、計算設備等。
[0018]TV12可以在一個或多個揚聲器22上輸出音頻。TV12可以利用與處理器12通信的內置有線或無線調制解調器24從互聯網接收流化的視頻，其中處理器12可以執行軟件實現的瀏覽器26。視頻在TV處理器18的控制下在TV顯示器28上呈現，TV顯示器28可以是用于呈現2D圖像的兩維(2D)顯示器，和/或既用于呈現2D圖像又用于呈現3D圖像的三維(3D)顯示器(應當理解，這里所描述的圖像與幀可以是2D的或者3D的)。在所示出的例子中，顯示器28是具有3840X2160像素分辨率(用于4K UHD)的2160p (逐行掃描)顯示器或者具有7860X4320像素分辨率(用于8K UHD)的4320p (逐行掃描)顯示器。用于UHD顯示器28的幀速率可以是例如每秒24、25、50、60或120幀。16K UHD設備正在造原型。而且，通過把更多的顯示面板組合到一起，甚至更大的顯示器也是有可能的。
[0019]到達處理器18的用戶命令可以利用例如RF或紅外線從遙控器(RC) 30無線地接收。除TV之外的其它音頻視頻顯示設備也可以使用，例如，智能電話、游戲控制臺、個人數字組織器、筆記本計算機以及其它類型的計算機，等等。
[0020]如由與TV12通信的地面廣播天線34接收到的來自一個或多個地面TV廣播源32的TV節目可以在顯示器28和揚聲器22上呈現。地面廣播節目可以遵循數字ATSC標準并且可以在其中攜帶地面廣播EPG，雖然地面廣播EPG也可以從備選的源接收，例如經以太網或有線通信鏈路或衛星通信鏈路從互聯網接收。[0021 ] 來自有線TV頭端36的TV節目也可以在TV接收，用于在顯示器28和揚聲器22上呈現TV信號。當只期望基本電纜時，在美國，來自墻上的電纜一般攜帶QAM或NTSC格式的TV信號并且直接插到TV機殼上的“F-型連接器” 38中，雖然用于這個目的的連接器在其它國家可以變化。相反，例如當用戶具有擴展的電纜訂閱時，來自頭端36的信號一般通過STB40發送，該STB40可以與TV機殼分離或者可以集成到其中，但是在任何情況下它都把HDMI基帶信號發送到TV。
[0022]類似地，由與家用衛星碟形天線關聯的集成的接收器/解碼器(IRD) 44接收的從TV廣播信號的衛星源42發送的HDMI基帶信號可以輸入到TV12，用于在顯示器28和揚聲器22上呈現。而且，流化的視頻可以從互聯網46接收，用于在顯示器28和揚聲器22上呈現。流化的視頻可以在計算機調制解調器24接收或者它可以在TV12外面的家中的調制解調器48接收并且經有線或無線以太網鏈路傳送到TV12并且在TV機殼上的RJ45或802.1lx天線接收。
[0023]此外，應當指出，TV12還包括可以是數碼相機的照相機66。照相機66可以集成到TV12中并且可以由處理器18控制，以便根據所給出的原理收集TV12的觀眾的圖片/圖像和視頻，和/或可以與TV12物理上分離但仍然與其通信，以便向處理器18提供圖像。
[0024]平板計算機68也在圖1中示出。平板計算機68包括可以是例如諸如攝像頭的數碼相機的照相機70。平板計算機68將在下面參考圖3更詳細地描述，但是應當理解，它經諸如像互聯網46的網絡與TV12 (例如，無線)通信，以便根據所給出的原理從照相機70向TV12提供圖像。
[0025]仍然參考圖1，系統10還包括護目鏡72(例如，眼鏡)，該護目鏡包括可以是數碼相機的照相機74。護目鏡72應當理解為經例如像互聯網46的網絡與TV12 (例如，無線)通信，以便根據所給出的原理從照相機74向TV12提供圖像。護目鏡72將在下面參考圖4更詳細地描述。
[0026]現在參考圖2，它示出了一個示例TV12的細節。如所示出的，ATSC格式的地面信號輸入到TV調諧器16，就像在使用基本電纜并且墻上的電纜插入F-型連接器38的情況下為NTSC或QAM格式的基本電纜。另一方面，流化的互聯網視頻可以在DOCSIS調諧器50接收并且在DOCSIS解碼器/解調器52解調/解碼。通常，DOCSIS組件與TV12分開地容納，但是在有些實施例中，可以包括在TV12的機殼內。
[0027]依賴于所接收的信號格式，調諧器16的輸出可以發送到NTSC解碼器/解調器54，或者QAM解碼器/解調器56，或者ATSC解碼器/解調器58。來自NTSC解碼器/解調器54的輸出可以直接發送到顯示器28和揚聲器22供呈現。另一方面，來自數字解碼器/解調器56、58的輸出通常發送到傳輸流解復用器60，該傳輸流解復用器60分離選定的流中期望的節目與其它節目并且把期望的節目發送到MPEG視頻解碼器62，解碼器62又解壓縮期望的MPEG節目并且把解壓后的節目發送到TV顯示器28供呈現。來自解復用器60的音頻可以發送到音頻解碼器64，解碼器64又把解碼后的音頻發送到揚聲器22供呈現。
[0028]與以上討論過的解碼器/解調器、解復用器和MPEG解碼器序列形成對比，來自STB40或IRD44的視頻在其被TV12接收時處于基帶HDMI。因此，來自STB40或IRD44的信號直接發送到TV顯示器28供呈現，而不需要STB40或IRD44與TV顯示器28之間進一步的視頻解壓縮。來自STB40或IRD44的音頻可以仍然是在揚聲器22上播放之前需要解碼的格式，例如AC3，使得音頻可以通過音頻解碼器64發送，如所示出的。同樣，來自ATSC地面源32的音頻可以是AC3格式并且因此可以通過音頻解碼器64發送。來自DOCSIS解碼器/解調器52的互聯網視頻可以通過解復用器60和解碼器62、64發送，如所示出的。
[0029]轉向圖3，示出了以上引用的平板計算機68。平板計算機68應當理解為可以操作成采用所給出的原理，如以下進一步描述的。但是，應當進一步理解，除平板計算機之外的其它設備，諸如其它便攜式和/或個人電子設備，都可以用于采用所給出的原理而且可以包括平板計算機68中所包括的一些或全部組件。例如，可以使用的其它設備是，例如，智能電話、音樂播放器、智能手表、個人數字助理(PDA)、膝上型與臺式計算機、諸如電子書的電子閱讀器以及實際上其它電視，包括啟用了互聯網的智能TV、迷你TV等。
[0030]不管怎樣都更具體地描述圖3，根據所給出的原理，平板計算機68包括觸摸使能的顯示器72、用于輸出音頻的一個或多個揚聲器74以及附加的輸入設備76，諸如像觸控板或者用于接收語音命令和輸入的音頻接收器/麥克風。平板計算機68還包括用于在處理器80的控制下經至少一種網絡，諸如互聯網46、WAN、LAN等，通信的網絡接口 78，應當理解，處理器80控制包括例如呈現圖像的顯示器72和呈現音頻的揚聲器74的平板計算機68。網絡接口 78可以是例如有線或無線調制解調器或路由器，或者其它適當的接口，諸如像無線電話收發器。此外，平板計算機68還包括諸如像USB端口的輸入端口 82以及諸如基于盤的儲存器或固態儲存器的有形計算機可讀存儲介質84。而且，雖然GPS接收器86包括在平板計算機68上并且配置為從至少一個衛星接收地理位置信息并且把該信息提供給處理器80，但是應當理解，根據所給出的原理，除GPS接收器之外的其它合適的位置接收器也可以使用。
[0031]在圖3中還示出了包括在平板計算機68上的至少一個照相機70，該照相機可以是例如數碼相機。照相機70應當理解為可以在處理器80的控制下操作，以便與TV12 (例如，TV的處理器18)通信，由此經例如互聯網46或者任何其它合適網絡上的網絡接口 78向TV12提供圖像。
[0032]現在參考圖4，示出了包括多個數碼相機74的示例性護目鏡72的框圖。照相機74應當理解為在護目鏡處理器90的控制下并且與之通信，以便向其提供圖像。護目鏡72還包括用于在處理器90的控制下經至少一個網絡，諸如互聯網46、WAN、LAN等，通信的網絡接口 92，應當理解，處理器90控制護目鏡組件，包括例如安裝在其上的照相機74。網絡接口 92可以是例如有線或無線調制解調器或路由器，或者其它適當的接口，諸如像無線電話收發器。因而，照相機74應當理解為可以在處理器90的控制下操作，以便與TV12 (例如，TV的處理器18)通信，根據所給出的原理經例如互聯網46或任何其它合適網絡上的網絡接口 92向TV12提供圖像。
[0033]圖4還顯示護目鏡72可選地包括觀眾在佩戴護目鏡72時可以通過其觀看的透鏡88，以及有形的計算機可讀存儲介質94 (諸如基于盤的儲存器或固態儲存器)，和開/關開關96，這個開關可以從關位置切換成開位置并且反之亦然，由此給護目鏡72的電子組件，諸如照相機74和處理器90，通電或斷電。
[0034]繼續參考圖5的具體描述，應當理解，利用更大的屏幕和更大的分辨率，諸如高清晰度和超高清晰度(UHD)顯示器，進入的視頻數據的速率與量(例如，包括用于UHD顯示器的像素個數)可能是相當大的。此外，根據所給出的原理，例如，顯示器相對高的刷新率能力可能期望地需要進入的數據應當盡可能高效地被處理，以便以高刷新率呈現流，或者流的至少一部分。
[0035]因此，圖5是可以由TV處理器，諸如上述處理器18，執行的邏輯的示例性流程圖。在方框100開始，該邏輯通過接收并處理進入的圖像流(例如，通過STB接收到AV節目)開始，在示例性實施例中，圖像流可以是UHD流。在方框100，基于例如TV處理器的處理速度與能力，邏輯以最佳可能的質量呈現流的每一幀的盡可能多的部分，而且實際上就是流本身。
[0036]然后，邏輯移到決定菱形方框102，在那里邏輯基于來自照相機的輸入檢測顯示器的一個或多個觀眾的眼睛是否聚焦到顯示器的一個或多個區域。如果沒有檢測到一個或多個觀眾的眼睛聚焦到一個特定區域(和/或如果檢測/確定不了焦點)，則邏輯可以前進到方框104，在那里邏輯繼續以最佳可能的質量呈現流的每一幀的盡可能多的部分(例如，解碼盡可能多的像素)。
[0037]但是，如果在決定菱形方框102檢測到一個或多個觀眾的聚焦，則邏輯前進到方框106。在方框106，邏輯基于所述檢測確定觀眾的眼睛(例如，總體上)聚焦到其上的顯示器的一個或多個區域。該區域可以，例如，以TV上與TV所確定的觀眾的聚焦對應的焦點為中心，而且該區域可以擴展超出該焦點，例如，擴展到作為顯示器總面積一部分的預定義半徑或面積。在方框106的確定之后，邏輯前進到方框108，在那里邏輯分配和/或分派(例如，響應于所述檢測)其圖像處理資源和/或能力，使得至少一個在方框106確定的區域以最佳可能的質量呈現進入的流(例如，巾貞、圖像流、諸如電視節目的AV流等)(例如，解碼它，以便給出具有高屏幕刷新率的UHD質量分辨率)。此外，在方框108，處理能力可以分配或分派，使得顯示器在觀眾聚焦區域之外的區域可以不以UHD質量分辨率而是以HD或標準清晰度(SD)質量呈現進入的視頻圖像流、可以根本不呈現幀或流的一部分(例如，通過不解碼其一部分)，和/或可以當在聚焦區域上呈現后續幀的時候繼續呈現之前處理過的幀。
[0038]在繼續移動之前，應當指出，這里所述的檢測可以基于由TV處理器從這里所公開的一個照相機接收到的眼睛的圖像發生。然后，接收到的圖像被TV處理器利用圖像識別進行處理，以相對于例如由觀眾與TV之間的方向定義的軸確定觀眾的眼睛的角度(例如，基于瞳孔關于眼白部分的朝向)，由此確定(估計)觀眾的聚焦和/或聚焦方向。
[0039]此外，應當理解，以上引用的處理資源的分配和/或分派(例如，一個幀有多少不同區域應當解碼)可以多種途徑確定。例如，響應于確定了聚焦區域/面積的中心，邏輯可以在一個幀周期(例如，一秒的1/32，或者任何其它合適的幀周期)中解碼從聚焦區域中心開始并且從其向外發展的盡可能多的區域，使得，例如，如果在下一個幀周期之前該幀的外部不應當全部解碼或者根本不需要解碼，則對于該幀沒有完全解碼的屏幕區域可以維持和/或繼續呈現來自前一幀的先前圖像。作為另一個例子，響應于確定了聚焦區域/面積的中心，邏輯可以以一個幀速率解碼聚焦中心周圍預定面積尺寸的圖像并且以較慢的幀速率(例如，一秒的1/16)解碼包括聚焦中心的預定面積之外的圖像。作為還有另一個例子，響應于確定了聚焦區域/面積的中心，邏輯可以解碼聚焦中心周圍預定面積中圖像的所有像素以及預定面積之外圖像的少量像素。
[0040]繼續參考圖5，應當理解，在上述方框104或108任何一個之后，其中進入的視頻流的全部或部分在TV/顯示設備上呈現，邏輯可以可選地前進到決定菱形方框110。在決定菱形方框110，邏輯確定是否檢測到一個或多個觀眾的(例如，眼睛的)聚焦的變化。如果檢測到變化，則邏輯返回方框106，以確定聚焦區域，然后在方框108重新分配其處理資源，以便對例如隨后要在顯示器上呈現的幀/圖像在新的聚焦區域呈現最佳幀/圖像質量(或者在有些實施例中，對于例如被解碼和呈現的當前幀/圖像重新分配處理資源)。如果在菱形方框110沒有檢測到變化，則邏輯返回到方框104，在那里邏輯以最佳可能的質量呈現盡可能多的圖像/幀。
[0041]因而，作為基于以上所述的一個例子，當檢測到觀眾的聚焦在左上角區域時，在顯示器左上角區域呈現的幀/圖像的第一部分可以以比幀/圖像的右下角部分更快的速率解碼。然后，基于例如由照相機(諸如，TV照相機66)(例如，從其在TV上的位置捕捉到觀眾的眼睛的至少一個圖像)、平板計算機照相機70 (例如，當在觀眾前面并置時捕捉到觀眾的眼睛的至少一個圖像)和/或護目鏡照相機74 (例如，當觀眾佩戴該護目鏡時捕捉到觀眾的眼睛的至少一個圖像)檢測到觀眾的聚焦移到顯示器右下角的變化，基于確定右下角部分是觀眾的聚焦改變到的部分，在顯示器左上角呈現的后續幀/圖像的第一部分可以以比該幀/圖像右下角部分更慢的速率解碼，而右下角部分更快地解碼。
[0042]還有，應當指出，在有些實施例中，如果在處理器處理特定幀/圖像的時候觀眾的聚焦改變，則處理資源的分配可以改變，以應對聚焦的變化，使得，例如，幀的處理可以對幀/圖像的第一部分以更快的速率并且對第二部分以較慢的速率開始，但是在同一幀處理期間在處理過程中切換成使得第一部分以比第二部分慢的速率處理。
[0043]此外，響應于確定其眼睛被跟蹤的觀眾離顯示器處于閾值距離或者更遠，其中要在顯示器上呈現的視頻信號部分比其它部分解碼成更高分辨率的上述選擇性解碼可以被禁用。例如，閾值距離可以是顯示器寬度的兩倍。這認識到，當觀眾移動離開顯示器時，對于整個顯示需要更低的分辨率。因而，當觀眾離顯示器處于閾值距離或者更大時，全部視頻都可以以相對較低的分辨率解碼，而且一旦觀眾移到靠近顯示器在閾值距離以內，就調用上述邏輯以不同的分辨率解碼視頻的部分。應當指出，在分辨率連續性可能的情況下，代替離散的分辨率(諸如UHD，然后是HD，然后是SD)，隨著觀眾朝顯示器移動，分辨率可以持續地線性增加，而隨著觀眾離開顯示器，持續地線性減小。
[0044]繼續，根據所給出的原理，用于諸如TV的視頻顯示器的示例性顯示區域在圖6-12中示出，其中每個圖都包括包含觀眾焦點的至少一個區域，應當理解，基于設備的能力，這些區域可以以不同的圖像質量等級呈現。還應當理解，這里所公開的任何區域和區域形狀可以彼此組合。
[0045]從圖6開始，顯示器112被分成多個區域，包括總體上關于顯示器112居中的矩形聚焦區域114并且包括至少一個觀眾的眼睛被確定要聚焦到的焦點116。應當指出，在顯示器112中包括四個其它區域，這四個區域中每一個都延伸到顯示器112的角落。依賴于顯示器總體上的處理能力或者例如那個時候可用的能力，這四個區域可以以等于或低于聚焦區域114中所呈現的圖像/幀的呈現質量的各種質量等級呈現圖像/幀。
[0046]圖7和8分別示出了顯示器118和120，它們被分成三個矩形。圖7示出了位于顯示器118上部并且包括至少一個觀眾的眼睛被確定要聚焦的焦點124的聚焦區域122。圖8示出了位于顯示器120左部并且包括至少一個觀眾的眼睛被確定要聚焦的焦點128的聚焦區域126。應當指出，焦點128沒有位于聚焦區域126的中心，但是聚焦區域126仍然占據顯不器120左邊的三分之一。
[0047]圖9示出了具有居中、總體上為圓形的聚焦區域132的顯示器130，該聚焦區域132包括位于其中心的焦點134。聚焦區域132的面積可以基于例如從焦點134延伸的半徑。應當理解，這個半徑可以預定義為離焦點134的某個長度，和/或使得區域132最外面的部分與顯示器130的邊緣之間的距離(例如，到區域132的最近邊緣)被維持，和/或基于例如顯示器當前的和/或估計的處理能力、進入的圖像流的質量等動態確定。
[0048]現在參考圖10,示出了顯示器136,顯示器136包括焦點138。聚焦區域140包圍焦點138。應當理解，基于顯示器136的能力，圖10中所示的聚焦區域140可以最佳可用的分辨率，和/或以最佳可能的刷新率，以例如UHD質量呈現圖像/幀。區域140周圍的區域142也可以基于焦點138來確定，但是由于其部分總體上離焦點138比區域140更遠，因此，基于有限的顯示資源，區域142以HD質量而不是UHD質量呈現幀/圖像。
[0049]但是，應當進一步理解，如果顯示器136能夠在區域142中也呈現UHD質量圖像和/或最佳可能的刷新率，則可以這么做。對于區域144也一樣。如果在向區域140和142分配最優數量之后還有足夠的處理資源或分配可用于在區域144中呈現UHD質量圖像和最佳可能的刷新率，則可以這么做，而不是在區域144中呈現例如SD或HD質量的圖像/幀。
[0050]因而，基于以上所述總體上可以認識到，在有些實施例中，基于顯示器的處理能力，最靠近并且包圍焦點的第一區域可以呈現UHD質量分辨率和/或以最佳可用的刷新率呈現幀/圖像，而次最靠近焦點的區域呈現HD質量分辨率和/或較小的刷新率，而離焦點最遠的第三區域呈現SD質量分辨率和/或相對慢的刷新率。但是，應當進一步理解，在有些實施例中，最靠近和次最靠近焦點的區域可以，例如(I)都呈現基于顯示器能力，UHD質量分辨率和最佳可能的刷新率，(2)在都以最佳可能的刷新率呈現幀/圖像的同時，對于最靠近的區域呈現UHD質量分辨率，對于次最靠近的區域呈現HD質量，和/或(3)都呈現UHD質量分辨率，同時最靠近的區域以最佳可能的刷新率呈現幀/圖像，而次最靠近的區域以相對較低的刷新率呈現幀/圖像。依賴于任何給定時刻顯示器的特定處理能力，其它離焦點甚至更遠的區域可以呈現逐步更不精細的圖像/幀質量(例如，SD)和/或以更小的刷新率呈現圖像/幀。因而，區域離焦點越遠，所呈現的幀/圖像的質量可以逐步越不精細。如以上所提到的，甚至可以從焦點和到觀眾的距離確定觀眾離得太遠，以至于不能辨別更高質量的幀/圖像。而且，在那種情況下，將不需要提供區域性質量改進。
[0051]現在，參考圖11，示出了兩個焦點148、150，每個焦點都應當理解為確定成顯示器146的不同觀眾的估計焦點。根據所給出的原理，針對焦點148、150的聚焦區域152、154可以以最佳可能的分辨率和/或刷新率呈現幀/圖像，而依賴于顯示器146 (例如，在那個時候)的處理能力，區域156和158可以這樣或者可以不這樣。為了完整性，應當指出，當有多于兩個觀眾觀看一個顯示器時，所給出的原理也可以適用。
[0052]繼續參考圖12，示出了兩個焦點160、162，具有包圍它們的對應聚焦區域164、166。在這種示例性實施例中，區域164、166不重疊，但是仍然都被相對更大的區域168涵蓋。因此，在這種示例性配置中，基于顯示器處理器確定有可能在涵蓋區域164、166 二者的區域中對幀/圖像呈現最佳質量分辨率，和/或以最佳可能的刷新率呈現幀/圖像，顯示器170這么做。但是，應當指出，類似的決定可以在用于不同焦點的聚焦區域至少在某種程度上重疊的地方作出。不管怎樣，應當指出，在顯示器170上還有四個延伸到各自角落的外部區域，在分配足夠的能力在區域168中呈現最佳分辨率和/或刷新率之后，基于顯示器128剩余的處理能力，這些區域可以只以最佳可用的分辨率和/或可能的刷新率呈現幀/圖像。
[0053]基于以上所述，現在可以認識到，觀眾在顯示器特定區域上的聚焦可以被檢測并且被例如TV處理器用于確定顯示器的哪個區域要處理在其上呈現的圖像/幀，例如，最佳地、最快地，等等，并且因此相應地控制TV解碼器。所給出的原理還認識到，除了或者代替基于觀眾的眼睛的一個或多個圖像檢測觀眾的聚焦，這里所公開的照相機(例如，照相機66、70和74)還可以用于收集關于觀眾頭的角度的圖像(及頭的改變與運動)，然后基于觀眾的頭相對于TV的角度與傾斜來確定聚焦區域。這對于觀眾不能一次看到整個圖像的大顯示器，例如通過聚集多個面板制成的顯示器，可能是尤其重要的。觀眾將把他或她的頭轉到感興趣的區域。還有，除了或者代替以上所述，觀眾可以簡單地向TV處理器提供輸入，從而指示觀眾要聚焦到顯示器哪個(哪些)區域和/或規定觀眾期望最快、最佳、以最高可能的分辨率和/或最快可能的刷新率處理的顯示器的至少一個或多個區域。
[0054]此外，應當理解，實現這里所述的任何或全部邏輯的軟件代碼可以由這里所述的處理器執行并且可以存儲在這里所述的計算機可讀存儲介質中，應當理解，所給出的原理可以由狀態邏輯及確定性邏輯流實現。而且，這里所述的圖總體上結合這里所公開的設備、裝置與元件示出了方法步驟。應當進一步理解，所給出的原理可以在沒有這里所述的一個或多個細節的變化的實施例中實現。
[0055]因此，應當理解，這里所述的特定步驟與步驟序列是示例性的并且不應當認為是限定本公開內容或權利要求。實際上，圖5示例性流程圖和圖6-12中所示示例性區域的變體與組合應當理解為在本申請的范圍之內。因此，應當理解，在有些情況下，這里所述的功能與邏輯步驟可以不按圖中所示的示例性次序執行。
[0056]雖然特定的“基于用戶在視頻顯示器特定部分上的聚焦處理視頻信號”在這里示出并具體描述，但是應當理解，本發明所涵蓋的主題只能由權利要求來限定。
【權利要求】
1.一種用于視頻處理的方法，包括: 檢測至少一個觀眾的聚焦在具有至少第二視頻顯示區域的視頻顯示器的第一視頻顯示區域上 '及 響應于檢測到至少一個觀眾的聚焦在第一視頻顯示區域上，與解碼一視頻幀的第二部分不同地解碼該視頻幀中用于在第一視頻顯示區域中呈現的第一部分。
2.如權利要求1所述的方法，其中第一部分是以比第二部分更快的速率解碼的。
3.如權利要求2所述的方法，其中第二部分不被解碼，或者，第二部分被解碼。
4.如權利要求1所述的方法，其中所述檢測包括對觀眾的眼睛成像。
5.如權利要求4所述的方法，其中所述成像包括利用與顯示器并置的照相機生成觀眾的眼睛的圖像，或者，所述成像包括利用安裝在觀眾佩戴的護目鏡上的照相機生成觀眾的眼睛的圖像。
6.一種配置為從照相機接收顯示器的觀眾的眼睛的圖像的裝置，包括: 定義多個視頻顯示區域的視頻顯示器； 處理器，配置為控制視頻顯示器并且從照相機接收視頻顯示器的至少一個觀眾的眼睛的圖像，處理器配置為響應于從照相機接收到的圖像，利用第一處理處理一視頻幀的第一部分并且利用第二處 理處理該視頻幀的第二部分。
7.如權利要求6所述的裝置，其中第一處理包括以第一速率進行處理，而第二處理包括以與第一速率不同的第二速率進行處理，或者，第一處理包括以第一速率解碼幀的一部分，而第二處理包括以與第一速率不同的第二速率解碼幀的一部分。
8.如權利要求6所述的裝置，其中圖像指示在顯示器的第一區域上的觀眾聚焦，并且響應于此，幀的第一部分利用第一處理被處理。
9.如權利要求6所述的裝置，其中所述幀是第一幀，而且其中處理器配置為，響應于在利用第一處理處理第一視頻幀的第一部分之后從照相機接收到附加圖像，利用第二處理處理第二視頻幀的第一部分并且利用第一處理處理第二幀的第二部分，其中第一幀的第一部分和第二幀的第一部分二者都能在視頻顯示器基本相似的區域上呈現。
10.如權利要求8所述的裝置，其中處理器配置為，響應于從圖像確定的觀眾聚焦從第一區域改變到第二區域，利用第一處理處理一幀的第二部分并且利用第二處理處理一幀的第一部分。
11.如權利要求6所述的裝置，其中視頻顯示器是三維(3D)視頻顯示器而且幀是3D幀。
12.如權利要求6所述的裝置，其中處理器配置為接收視頻顯示器的多個觀眾的眼睛的圖像，而且其中處理器配置為，響應于接收到圖像，利用第一處理處理幀的第一部分和幀的第三部分并且利用第二處理處理幀的第二部分。
13.一種音頻視頻顯示設備AVDD，包括: 視頻顯示器 '及 處理器，配置為接收要求的圖像并且在視頻顯示器上呈現所述要求的圖像，該處理器配置為，響應于確定觀眾聚焦到視頻顯示器的對應于第一部分的區域上，以比所要求的圖像的第二部分更大的分辨率或更大的刷新率呈現所要求的圖像的第一部分。
14.如權利要求13所述的AVDD，其中處理器配置為，響應于確定觀眾聚焦到視頻顯示器的對應于第一部分的區域上，以比所要求的圖像的第二部分更大的分辨率和更大的刷新率呈現所要求的圖像的第一部分。
15.如權利要求13所述的AVDD，其中處理器配置為，響應于確定第一觀眾聚焦到視頻顯示器的對應于第一部分的區域上并且第二觀眾聚焦到視頻顯示器的對應于第三部分的區域上，以比所要求的圖像的第二部分更大的分辨率或更大的刷新率呈現所要求的圖像的第一部分和所要求的圖像的第三部分。
16.如權利要求13所述的AVDD，其中區域是第一區域，而且其中處理器配置為，響應于觀眾聚焦從視頻顯示器第一區域改變到第二區域，動態地改變所要求的圖像的處理，使得所要求的圖像的第二部分以比第一部分更大的分辨率或更大的刷新率呈現，聚焦的改變指向第二部分。
17.如權利要求13所述的AVDD，其中確定觀眾聚焦到視頻顯示器的對應于第一部分的區域上基于來自與視頻顯示器并置的照相機的用于生成觀眾的眼睛的圖像的輸入，和/或確定觀眾聚焦到視頻顯示器的對應于第一部分的區域上基于來自安裝在由觀眾佩戴的護目鏡上的照相機的用于生成觀眾的眼睛的圖像的輸入。
18.一種用于視頻處理的方法，包括: 檢測從觀眾到視頻顯示器的距離；及 響應于確定該距離至少為閾值距離或者更大，確立用于要在顯示器上呈現的視頻的第一解碼； 響應于確定距離不是至少為閾值距離或者更大，確立用于要在顯示器上呈現的視頻的第二解碼； 根據第一或第二解碼來解碼視頻，以渲染解碼后的視頻 '及 在顯示器上呈現解碼后的視頻。
【文檔編號】H04N21/442GK104053038SQ201410082087
【公開日】2014年9月17日 申請日期:2014年3月7日 優先權日:2013年3月11日
【發明者】F·J·祖斯塔克, B·坎德洛爾, G·克利夫特, 近藤量資, S·M·瑞馳曼 申請人:索尼公司