處理多個裝置采集的音頻或視頻信號的制作方法
【技術領域】
[0001] 本申請涉及音頻與視頻信號處理。更具體地，本發明的實施方式涉及對多個裝置 所采集的音頻或視頻信號進行處理。
【背景技術】
[0002] 人們已經熟知麥克風和攝像機是用于采集音頻和視頻信號的裝置。已經提出了各 種技術來改善對所采集的音頻或視頻信號的呈現。在這些技術中的一些技術中，設置多個 裝置來記錄同一事件，并且對裝置所采集的音頻或視頻信號進行處理以改善對該事件的呈 現。這樣的技術的示例包括環繞聲、三維（3D)視頻和多視點視頻。
[0003] 在環繞聲的示例中，在陣列中設置多個麥克風來記錄事件。通過麥克風采集音頻 信號并且將音頻信號處理成與從多個重合麥克風獲取的輸出等效的信號。重合麥克風是指 具有相同或不同方向特征但位于相同位置的兩個或更多個麥克風。
[0004] 在3D視頻的示例中，布置有兩個攝像機來記錄事件，以針對每個幀生成分別呈現 給觀看者的左眼和右眼的兩個偏移圖像。
[0005] 在多視點視頻的示例中，在場景周圍布置若干個攝像機來采集使得能夠從任何角 度對該場景進行高品質呈現所需的視圖。一般地，所采集的視圖通過多視點視頻壓縮（MVC) 進行壓縮以便傳輸。從而，觀看者的觀看裝置可以訪問相關視圖以內插出新的視圖。
【發明內容】
[0006] 根據本公開內容的一個實施方式，用于處理視頻和音頻信號的設備包括估計單元 和處理單元。估計單元可以至少基于分別由布置成陣列的便攜式裝置的至少之一采集的至 少一個視頻或音頻信號來估計所述陣列的至少一個方面。處理單元可以將所述至少基于視 頻的方面應用于通過所述陣列生成環繞聲信號的過程，或將所述至少基于音頻的方面應用 與通過所述陣列生成組合視頻信號的過程。
[0007] 根據本公開內容的一個實施方式，用于生成環繞聲信號的系統包括不止一個便攜 式裝置和處理裝置。便攜式裝置被布置成陣列。便攜式裝置之一包括估計單元。估計單元 可以從由便攜式裝置采集的視頻信號中識別與所述不止一個便攜式裝置中的至少一個其 它便攜式裝置對應的至少一個可視對象。此外，估計單元可以基于所識別的可視對象來確 定所述便攜式裝置與所述不止一個便攜式裝置中的所述至少一個其它便攜式裝置之間的 至少一個距離。處理裝置可以基于所確定的距離來確定用于配置根據所述陣列采集的音頻 信號生成環繞聲信號的過程進行配置的至少一個參數。
[0008] 根據本公開內容的一個實施方式，便攜式裝置包括攝像機、測量單元和輸出單元。 測量單元可以從通過攝像機采集的視頻信號中識別與至少一個其它便攜式裝置對應的至 少一個可視對象。此外，測量單元可以基于所識別的可視對象來確定便攜式裝置之間的至 少一個距離。所述距離可以通過輸出單元來輸出。
[0009] 根據本公開內容的一個實施方式，用于生成3D視頻信號的系統包括第一便攜式 裝置和第二便攜式裝置。第一便攜式裝置可以采集第一視頻信號。第二便攜式裝置可以采 集第二視頻信號。第一便攜式裝置可以包括測量單元和呈現單元。測量單元可以通過聲學 測距來測量第一便攜式裝置與第二便攜式裝置之間的距離。呈現單元可以呈現所述距離。
[0010] 根據本公開內容的一個實施方式，用于生成高動態范圍（HDR)視頻或圖像信號的 系統包括不止一個便攜式裝置和處理裝置。便攜式裝置可以采集視頻或圖像信號。處理裝 置可以根據視頻或圖像信號來生成HDR視頻或圖像信號。對于至少一對便攜式裝置中的每 一對便攜式裝置，該對便攜式裝置之一可以包括測量單元，其能夠通過聲學測距來測量該 對便攜式裝置之間的距離。處理裝置可以基于所述距離來校正由該對便攜式裝置之間的位 置差引起的幾何失真。
[0011] 根據本公開內容的一個實施方式，提供了一種處理視頻和音頻信號的方法。根據 該方法，獲取分別由在陣列中設置的便攜式裝置的至少之一采集的至少一個視頻或音頻信 號。至少基于所述視頻或音頻信號來估計所述陣列的至少一個方面。然后，至少基于視頻 的方面被應用于通過所述陣列生成環繞聲信號的過程，或至少基于音頻的方面被應用于通 過所述陣列生成組合視頻信號的過程。
[0012] 根據本公開內容的一個實施方式，提供了一種用于生成3D視頻信號的方法。根據 該方法，通過聲學測距來測量第一便攜式裝置與第二便攜式裝置之間的距離。然后，呈現所 述距離。
[0013] 以下，參考附圖來描述本發明的進一步的特征和優點，以及本發明的各種實施方 式的結構與操作。需要注意的是本發明不限于本文中所描述的【具體實施方式】。本文中所提 出的這些實施方式僅用于示例性目的。基于這里所包含的教示，另外的實施方式對相關領 域的普通技術人員也是明顯的。
【附圖說明】
[0014] 在附圖的各圖中，以示例性和非限制性的方式對本發明進行闡釋，在附圖中，類似 的附圖標記指代類似的元件，其中：
[0015] 圖1是用于說明根據本公開內容的一個實施方式的處理視頻和音頻信號的方法 的流程圖；
[0016] 圖2是用于說明根據本公開內容的一個實施方式的用于生成環繞聲信號的示例 陣列布置的示意圖；
[0017] 圖3是用于說明根據本公開內容的一個實施方式的用于生成3D視頻信號的示例 陣列布置的示意圖；
[0018] 圖4是說明根據本公開內容的一個實施方式的用于處理視頻和音頻信號的設備 的結構的框圖；
[0019] 圖5是說明根據該設備的進一步的實施方式的用于生成環繞聲信號的設備的結 構的框圖；
[0020] 圖6是用于說明如圖2所示的陣列的覆蓋的示意圖；
[0021] 圖7是用于說明根據本公開內容的一個實施方式的生成環繞聲信號的方法的流 程圖；
[0022] 圖8是用于說明根據本公開內容的一個實施方式的生成環繞聲信號的方法的流 程圖；
[0023] 圖9是用于說明根據本公開內容的一個實施方式的生成環繞聲信號的方法的流 程圖；
[0024] 圖10是用于說明根據本公開內容的一個實施方式的用于生成環繞聲信號的系統 的結構的框圖；
[0025] 圖11是用于說明根據本公開內容的一個實施方式的用于生成環繞聲信號的方法 的流程圖；
[0026] 圖12是用于說明可視標記和視頻信號的示例呈現的示意圖；
[0027] 圖13是根據本公開內容的一個實施方式的用于生成環繞聲信號的方法的流程 圖；
[0028] 圖14是用于說明根據本公開內容的一個實施方式的用于生成HDR視頻或圖像信 號的系統的框圖；以及
[0029] 圖15是說明用于實施本發明的各個方面的示例性系統的框圖。
【具體實施方式】
[0030] 下面參考附圖描述本發明實施方式。應注意，為清楚起見，在附圖和描述中省略了 關于本領域技術人員已知但是與本發明無關的組件和過程的陳述和描述。
[0031] 本領域的技術人員可以理解，本發明的各方面可以被實施為系統、方法或計算機 程序產品。因此，本發明的各方面可以采取以下形式：完全硬件實施方式、完全軟件實施方 式(包括固件、駐留軟件、微代碼等）或組合軟件部分與硬件部分的實施方式，本文可以一般 地稱之為"電路"、"模塊"或"系統"。此外，本發明的各方面可以采取體現為一個或更多個 計算機可讀介質的計算機程序產品的形式，該計算機可讀介質上體現有計算機可讀程序代 碼。
[0032] 可以使用一個或多個計算機可讀介質的任何組合。計算機可讀介質可以是計算機 可讀信號介質或計算機可讀存儲介質。計算機可讀存儲介質例如可以是(但不限于）電的、 磁的、光的、電磁的、紅外線的、或半導體的系統、設備或裝置、或前述各項的任何適當的組 合。計算機可讀存儲介質的更具體的例子(非窮舉的列表）包括以下：有一個或多個導線的 電連接、便攜式計算機磁盤、硬盤、隨機存取存儲器（RAM)、只讀存儲器（ROM)、可擦式可編 程只讀存儲器（EPROM或閃存）、光纖、便攜式緊湊磁盤只讀存儲器（CD-ROM)、光存儲裝置、 磁存儲裝置、或前述各項的任何適當的組合。在本文語境中，計算機可讀存儲介質可以是任 何含有或存儲供指令執行系統、設備或裝置使用的或與指令執行系統、設備或裝置相聯系 的程序的有形介質。
[0033] 計算機可讀信號介質可以包括例如在基帶中或作為載波的一部分傳播的、其中帶 有計算機可讀程序代碼的數據信號。這樣的傳播信號可以采取任何適當的形式，包括但不 限于電磁的、光的或其任何適當的組合。
[0034]計算機可讀信號介質可以是不同于計算機可讀存儲介質的、能夠傳達、傳播或傳 輸供指令執行系統、設備或裝置使用的或與指令執行系統、設備或裝置相聯系的程序的任 何一種計算機可讀介質。
[0035]體現在計算機可讀介質中的程序代碼可以采用任何適當的介質傳輸，包括但不限 于無線、有線、光纜、射頻等等、或上述各項的任何適當的組合。
[0036] 用于執行本發明各方面的操作的計算機程序代碼可以以一種或多種程序設計 語言的任何組合來編寫，所述程序設計語言包括面向對象的程序設計語言，諸如Java、 Smalltalk、C++之類，還包括常規的過程式程序設計語言，諸如"C"程序設計語言或類似的 程序設計語言。程序代碼可以完全地在用戶的計算機上執行、部分地在用戶的計算機上執 行、作為一個獨立的軟件包執行、部分在用戶的計算機上并且部分在遠程計算機上執行、或 者完全在遠程計算機或服務器上執行。在后一種情形中，遠程計算機可以通過任何種類的 網絡，包括局域網（LAN)或廣域網（WAN)，連接到用戶的計算機，或者，可以（例如利用因特 網服務提供商來通過因特網）連接到外部計算機。
[0037] 以下參照按照本發明實施方式的方法、設備(系統）和計算機程序產品的流程圖和 /或框圖來描述本發明的各個方面。應當理解，流程圖和/或框圖的每個方框以及流程圖和 /或框圖中各方框的組合都可以由計算機程序指令實現。這些計算機程序指令可以提供給 通用計算機、專用計算機或其它可編程數據處理設備的處理器以生產出一種機器，使得通 過計算機或其它可編程數據處理裝置執行的這些指令產生用于實現流程圖和/或框圖中 的方框中規定的功能/操作的裝置。
[0038] 也可以把這些計算機程序指令存儲在能夠指引計算機或其它可編程數據處理設 備以特定方式工作的計算機可讀介質中，使得存儲在計算機可讀介質中的指令產生一個包 括實現流程圖和/或框圖中的方框中規定的功能/操作的指令的制造品。
[0039] 也可以把計算機程序指令加載到計算機、其它可編程數據處理設備或其它裝置 上，導致在計算機、其它可編程處理設備或其它裝置上執行一系列操作步驟以產生計算機 實現的過程，使得在計算機或其它可編程設備上執行的指令提供實現流程圖和/或框圖的 方框中規定的功能/動作的過程。
[0040] 為了改善所記錄的事件的呈現，設置多個裝置來記錄事件。一般地，在陣列中設置 這些裝置，并且基于該陣列的一個或更多個方面來處理所采集的音頻或視頻信號以生成預 期結果。這些方面可以包括但不限于：