基于網絡擁塞程度的視頻傳輸方法、系統及裝置的制作方法

專利名稱：基于網絡擁塞程度的視頻傳輸方法、系統及裝置的制作方法
技術領域：
本發明涉及圖像技術領域，特別涉及一種基于網絡擁塞程度的自由視點視頻或多 視點視頻傳輸方法、系統及裝置。
背景技術：
自由視點視頻是一種全新的視頻形式，是繼平面數字電視、立體數字電視之后，能 提供豐富的人機交互、靈活地以平面和立體的形式進行顯示的視頻形式。隨著移動多媒體 時代的到來，越來越多的人利用手機、個人數字助理(PDA)和筆記本電腦等終端設備接入 通信網絡，并借助終端移動性和網絡覆蓋性，享受無處不在的視聽娛樂。具有靈活交互手 段的自由視點視頻與無所不在的通信網絡之間相結合，將為未來3G移動通信、IPv6拓展新 的、更具吸引力的業務平臺。當前各國主流研究機構、大學都對基于各種技術條件下的自由視點視頻展開了研 究，許多公司都對這一前沿領域進行了實用化、產品化的探索。但是，這些方案主要是針對 自由視點視頻業務的數據量大的特點，采用一些諸如H. 264視頻壓縮標準、JMVM多視點視 頻壓縮平臺等措施來對自由視點視頻數據進行壓縮。這些方法都默認網絡在任何時候都有 充足的能力來處理自由視點視頻流。這顯然是不夠合理的。眾所周知，基于移動互聯網絡 的多媒體系統存在異構性因素，即節目源在壓縮方式、時間和空間分辨率以及信息速率方 面都存在不同，不同終端之間的處理能力也存在明顯差異。所以，將視頻編解碼和網絡協議 簡單組合的方法是很難對各種終端奏效的，尤其是在網絡可用資源的限制將對視頻服務的 質量造成重大影響的情況下。因此，如何在網絡資源有限的情況下進一步提高客戶端重構的圖像質量成為了亟 待解決的問題。

發明內容
本發明的目的旨在至少解決上述技術缺陷之一，提出了一種用于基于網絡擁塞程 度的自由視點視頻或多視點視頻傳輸方法、系統及裝置。為達到上述目的，本發明一方面提出一種基于網絡擁塞程度的自由視點視頻或多 視點視頻傳輸方法，包括以下步驟服務器接收原始或經編解碼后的自由視點視頻或多視 點視頻信號；所述服務器根據客戶端反饋確定網絡擁塞程度；所述服務器根據所述網絡擁 塞程度確定所述自由試點視頻或多視點視頻信號編碼的量化參數QP，其中，網絡擁塞程度 越嚴重，QP越大；和所述服務器根據確定的所述QP對所述自由視點視頻或多視點視頻信號 重新進行編碼壓縮，并向所述客戶端發送。本發明另一方面還提出了一種基于網絡擁塞程度的自由視點視頻或多視點視頻 傳輸系統，包括服務器和客戶端，所述服務器，用于接收原始或經編解碼后的自由視點視頻 或多視點視頻信號，并根據客戶端反饋確定網絡擁塞程度，以及根據所述網絡擁塞程度確 定所述自由試點視頻或多視點視頻信號編碼的量化參數QP，和根據確定的所述QP對所述
5自由視點視頻或多視點視頻信號重新進行編碼壓縮，并向所述客戶端發送；所述客戶端，用 于接收所述服務器發送的碼流，并根據用戶選擇的虛擬視點，利用視頻及對應視差進行虛 擬視點的繪制，并將繪制結果顯示給用戶。本發明另一方面還提出了一種服務器，包括編碼器、用戶與網絡狀況反饋模塊和 QP調整模塊，所述編碼器，用于接收原始或經編解碼后的自由視點視頻或多視點視頻信號， 并根據量化參數QP對所述自由視點視頻或多視點視頻信號進行編碼壓縮，并向客戶端發 送；所述用戶與網絡狀況反饋模塊，用于接收用戶的反饋，以及網絡擁塞程度的反饋；所述 QP調整模塊，用于根據客戶端反饋確定網絡擁塞程度，并根據所述網絡擁塞程度調整QP。本發明再一方面還提出了 一種客戶端，包括權重判定模塊、解碼與差錯隱藏模塊 和視點選擇與虛擬視點繪制模塊，所述權重判定模塊，用于判斷接收到的幀碼流是否應該 被舍棄以及是否為不能解碼的差錯幀；所述解碼與差錯隱藏模塊，用于當接收到的幀為差 錯幀時，則將其同時刻所有視點的視頻幀，視差幀所對應的碼率全部舍棄，并將前一時刻的 對應視點的視頻幀和視差幀拷貝至當前時刻，并且重復拷貝動作，直至當前時刻的幀能正 確解碼重建，或者當前時刻幀的權重大于前一時刻幀的權重；所述視點選擇與虛擬視點繪 制模塊，用于根據解碼結果和用戶選擇的視點繪制虛擬視點。本發明能夠根據網絡擁塞程度對QP進行調整，從而使得客戶端所得到的圖像質 量具有較高水平。在本發明的優選實施例中，可根據視覺質量和網絡擁塞程度同時對QP進 行優化，從而能進一步保證客戶端得到的圖像的質量。本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發明的實踐了解到。


本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變 得明顯和容易理解，其中圖1為本發明實施例的由視點傳輸系統的框架圖；圖2為本發明實施例一的自由視點視頻或多視點視頻傳輸方法流程圖；圖3為本發明實施例二的自由視點視頻或多視點視頻傳輸方法流程圖；圖4為本發明實施例的服務器的結構圖；圖5為本發明實施例的客戶端的結構圖。
具體實施例方式下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用于解釋本發明，而不能解釋為對本發明的限制。目前，基于網絡的自由視點視頻或多視點視頻系統，其客戶端所觀看到的視頻圖 像質量主要由真實視點圖像重建質量、深度/視差像重建質量、虛擬視點繪制算法等 因素決定。具體包括(a)真實視點圖像在客戶端的重建質量主要由編碼端進行視頻壓縮時所采用的量 化參數(QP)所決定，QP值越大，重建質量越低；反之，越高。
6
(b)真實視點圖像在客戶端的重建質量也受到差錯控制算法的影響。(c)深度/視差圖的圖像重建質量與真實視點圖像的情況相同。(d)虛擬視點的圖像質量同時受到真實視點圖像重建質量、深度/視差圖的重建 質量、虛擬視點繪制算法的影響。真實視點圖像與深度/視差圖的重建質量越高，所采用的 虛擬視點繪制算法約好，則虛擬視點圖像的視覺質量越高。本發明的目的在于改善以往自由視點視頻或多視點視頻系統在設計中沒有考慮 圖像視覺質量的因素，從而提出了一種自由視點傳輸方法和系統，該方法和系統能夠具有 以下多項功能1、能夠利用圖像視覺質量評價方法進行多視點視頻與視差進行QP優化編碼；2、能夠設置權重等級進行網絡擁塞程度自適應傳輸；3、能夠通過判斷網絡與碼流權重進行客戶端差錯控制。通過上述幾項功能，本發明能夠確保客戶端所得到的圖像質量具有較高的水平。 并且該發明所針對的是客戶端設備類型與計算能力多樣化、網絡帶寬具有波動、客戶端對 圖像視覺質量具有較高要求的環境。但是需要說明的是，上述3項功能既可以同時采用，也 可以分開采用，例如僅根據圖像視覺質量對QP進行優化，或者僅根據網絡擁塞程度對QP進 行調整，等等，這些均應包含在本發明的保護范圍之內。如圖1所示，為本發明實施例的由視點傳輸系統的框架圖。服務器101采用多層 次B幀的多視點視頻編碼方案對所有視頻信號、視差圖序列進行壓縮，并將所有視頻碼流、 視差碼流向客戶端102進行傳輸。客戶端102在接收到服務器101發來的碼流后進行解碼， 并顯示當前客戶所選視點的圖像。當客戶選擇到虛擬視點時，則利用視頻與對應視差進行 虛擬視點繪制，并將繪制結果向客戶顯示。在本發明實施例中，上述視差所表示的是具有相 同語義的同一個像素點在兩個視點圖像間水平坐標的差異，一個視點圖像中所有像素的視 差構成該視點的視差圖；上述虛擬視點為介于兩個相機視點之間的任意一個視點，且該視 點上不具有相機對場景進行拍攝。在本發明的一個實施例中，服務器101根據網絡擁塞程 度優化視頻編碼與視差編碼的方案。在本發明的優選實施例中，服務器101還需要參考圖 像視覺質量，同時根據網絡擁塞的程度和圖像視覺質量對QP進行優化。客戶端102在接收 到通過網絡傳輸的碼流之后，采用識別策略對其進行判斷，然后根據判斷的結果進行圖像 重構。實施例一，如圖2所示，為本發明實施例一的自由視點視頻或多視點視頻傳輸方法流程圖， 該實施例主要根據圖像的視覺質量S對QP進行優化。該方法包括以下步驟步驟S201，服務器獲得自由視點視頻或多視點視頻信號，其中，包括視頻信號和視 差圖序列等。步驟S202，服務器根據客戶端反饋確定網絡擁塞程度。步驟S203，根據網絡擁塞程度對QP進行調整，其中，如果網絡擁塞程度越高，則選 擇的QP值越大，反之如果網絡擁塞程度越低，則選擇的QP值越小。步驟S204，根據選擇的QP值對自由視點視頻或多視點視頻信號進行壓縮編碼，并 將視頻碼流和視差碼流發送給客戶端。在本發明實施例中，不僅適用于在線編碼，還適用于 離線編碼，具體包括
1、針對在線編碼，其特點為視頻壓縮編碼的參數根據網絡擁塞、客戶端圖像質量 需求反饋的情況動態地調整，對視頻與視差信號實時壓縮并發送至客戶端。2、針對離線編碼，其特點在于服務器采用各種編碼參數對視頻與視差信號提前進 行壓縮，將碼流存放在服務器以根據網絡與客戶端的不同反饋，及時提取碼流并發送至客 戶端。其中，在在線編碼和離線編碼中，如何選擇QP將在以下的實施例中進行詳細描 述，在此不再贅述。實施例二，該實施例為本發明的優選實施例，不僅根據網絡擁塞程度對QP進行優化，還需要 根據圖像視覺質量對QP進行自適應調整。如圖3所示，為本發明實施例二的自由視點視頻 或多視點視頻傳輸方法流程圖，該實施例具體包括以下步驟步驟S301，服務器獲得自由視點視頻或多視點視頻信號，其中，包括視頻信號和視 差圖序列等。步驟S302，服務器計算虛擬視點的圖像質量S，并確定網絡擁塞程度。其中，服務器計算虛擬視點的圖像質量S具體包括在本發明的一個實施例中，可根據基于Contourlet的虛擬視點圖像質量評價方 法計算虛擬視點圖像質量S。具體實施步驟如下(3al)、對所得到的虛擬視點圖像按塊大小為NXN進行分塊，由此得到圖像中每 行、每列各有I、J個塊。取N=2n，其中η彡6。(3a2)、對虛擬視點圖像中的每一個塊Bvij(C)彡i彡1，0彡j彡J)，利用基于MSE 最小準則的塊匹配方法，分別在其左右視點圖像中按水平方向找到對應的最佳匹配塊B1ij 和BKU，其中B^在左視點圖像中，B、在右視點圖像中。(3a3)、對所得到的塊Bvij和獲得的最佳匹配塊進行Contourle小波分解，以得到U 個高頻子帶塊Bu, J (u = 1，2，...，U)和一個低頻塊Ci/,此處X e {V, R，L}，集合中的元素 分別代表著虛擬視點、右視點、左視點圖像。(3a4)、對分解得到的每一個高頻子帶塊Bu,進一步采用u_層方向濾波器組分 解，得到 2U 個子帶塊 Cu,。，J(ο = 1，2，. . .，2U)。(3a5)、計算每一個子帶塊(；,。」/的方差σ ,。」/。(3a6)、在σ u,。, J的基礎上進一步得到整幅圖像的ou,。x=E "(%,。」/)。(3a7)、計算得到虛擬視點圖像與左、右視點圖像在同層分解序數之間的誤差參數 5u,o = mini Gu,。v-ou,。K|，I σ u,。v-σ u,。L|}。(3a8)、對每一層的誤差參數進行加權整合Δ = Σ u,。2_u δ u,。。(3a9)、計算虛擬視點圖像的視覺質量^^/(l+log^f +1))，其中C。為常實數調節
因子，范圍是CtlG [1，10]，建議范圍是CtlG [6,8] ；S為實數，代表主觀視覺質量分值，值域 為(0，1]。S分值越高，視覺質量越好。步驟S303，服務器根據虛擬視點的圖像質量S和網絡擁塞的程度對QP進行調整。 如QP可選范圍為[a，b]，則QP可采用與S相關的線性或非線性等的一一映射關系進行調 整，其基本原則在于S值越高，QP值越低，但無論其采用何種方法，都屬于本專利的保護范圍。
具體包括(3b)針對實時系統，其特點為視頻壓縮編碼的參數根據網絡擁塞、客戶端圖像質 量需求反饋的情況動態地調整，對視頻與視差信號實時壓縮并發送至客戶端。具體包括(3bl)該優化策略體現在視頻編碼與視差編碼過程中所采用的編碼量化參數QP 是根據網絡帶寬和虛擬視點的圖像質量S共同約束而進行的，QP值越大壓縮效率越高，解 碼端圖像的重建質量越低；反之壓縮效率越低，重建質量越高。QP取值范圍根據系統所采 用的編碼標準有所不同。(3b2)視差編碼所采用的QP小于等于同視點視頻編碼所采用的QP，即 QPvi彡QPdi(vi為第i個視點，di為第i個視點的視差圖)。(3b3)視頻編碼所采用的QPvi根據虛擬視點的圖像質量S的評價結果，為保證客
戶端視頻的重建質量，其取值范圍為
。(3b4)假設某一視頻編解碼平臺的QP允許范圍為[a，b]之間的整數(a，b彡0)， 其中越小的QP值代表壓縮效率越低。令QP = a時的S = 1，QP = b時的S = 0，[Sb_d，1] 為用戶自定義的虛擬視點質量范圍，則QPuppCT-b_d = b*(l-Sb_d)。(3b5)視點視頻編碼所采用的QPvi除了滿足(3b4)的限制外，為適應網絡帶寬的 波動，視頻編碼所采用的QPvi根據當前的帶寬狀況實時進行細微調整，調整量定義為QP/， 值域范圍為
。帶寬越小，QPvi*越大；反之，QPvi*越小。(3b6)QPvi*的確定方法為編碼平臺采用QPvi+QPvi*進行編碼之后所輸出的碼率 rate(out) 小于網絡帶寬rate
(band) °(3b7) AQPi = QPvi_QPdi根據網絡帶寬條件進行自適應調整，網絡帶寬越低、擁塞 情況越嚴重，八(》^值越大。客戶端要求虛擬視點圖像繪制的視覺質量越高，AQPi值越小； 反之，越大。(3b8)為保證客戶端虛擬視點圖像的繪制視覺質量，AQPi具有取值范圍
°(3b9)視差圖編碼所采用的 QPdi 根據 AQPi = QPvi_QPdi 以及
和
共同確定，由此得到QPdi的范圍為[QPd，——，QPd廣CT_b_d]，并令QPdi =
fyp upper-bound(3c)針對離線系統，其特點在于服務器采用各種編碼參數對視頻與視差信號提 前進行壓縮，將碼流存放在服務器以根據網絡與客戶端的不同反饋，及時提取碼流并發送 至客戶端。其中，離線系統與在線系統選擇QP的方式類似，不同的是在線系統是在線壓 縮，離線系統是根據確定的QP進行選擇。在離線系統中，該優化策略體現在視頻編碼與 視差編碼過程中所采用的編碼量化參數分別使用[QPlower-bound，QPupper-bound]范 圍內所有的QP進行編碼，并將碼流在服務器進行保存。即在服務器具有各個視點視頻 分別在[QPlower-bound，QPupper-bound]范圍內所有QP編碼條件下所得到的A QP = QPupper-bound-QPlower-bound組碼流，以及對應的A QP組視差碼流。QP值越大壓縮效率 越高，解碼端圖像的重建質量越低；反之壓縮效率越低，重建質量越高。QP取值范圍根據系 統所采用的編碼標準有所不同。步驟S304，服務器根據確定的QP進行對自由視點視頻或多視點視頻信號進行視 頻編碼，并采用針對編碼幀權重大小進行碼流發送的自適應策略。具體是，服務器根據權重
9的大小，對部分幀進行特殊處理，包括(3dl)權重設置是按照多層次B幀編碼方案中，位于層次編號越低的幀，其權重越 高；反之，位于層次編號越高的幀，其權重越低。層次編號為整數{0，1，2，...，W}，其對應的 權重則為{W, ff-l,ff-2,...，0}。(3d2)網絡擁塞等級對應于層次編號數設為(Bc^BpB2,...，BW}，其中B。擁塞狀況 高于B1,隨后依次遞減，至Bw時網絡擁塞程度最低。(3d3)對應于網絡的不同擁塞等級Bx，(a)對于實時系統而言，對權重范圍為{W， W-l，W-2，...，W-x}的所有幀進行編碼，并向客戶端發送碼流；(b)對于離線系統而言，抽取 權重范圍為{W，W-l，W-2，...，W-x}的所有幀對應的碼流，并向客戶端發送。步驟S305，客戶端在接收到通過網絡傳輸的碼流之后，采用識別策略對其進行判 斷，然后根據判斷結果進行圖像重構。在本發明的一個實施例中，客戶端還需要將網絡擁塞 程度等信息反饋給服務器。具體包括1、識別策略，主要用于判斷接收到的幀碼流是否該舍棄以及是否為不能解碼的差 錯幀。具體實施步驟根據以下幾個環節，描述如下(3el)幀識別策略中的舍棄策略是根據當前網絡擁塞程度以及用戶當前所使用的 設備運算能力共同決定的。(3e2)對應于服務器的設置，將網絡擁塞程度定義為{B。，B1, B2, ... , Bj，其中B。 擁塞狀況高于B1,隨后依次遞減，至Bw時網絡擁塞程度最低。(3e3)當網絡處在不同的擁塞等級Bx時，客戶端僅接收權重范圍為{W，W_l， W-2, . . . , ff-x}的所有幀碼流。如果還有其他權重的碼流發送至客戶端，則全部予以舍棄。(3a4)用戶當前所使用的設備其運算能力也對客戶端接收權重范圍{W，ff-Ι, W-2，... , ff-x}有所影響，運算能力越差的，權重范圍越小。2、解碼與差錯隱藏(3fl)當接收到的幀為差錯幀，不能正確重建當前時刻的圖像時，則將其同時刻所 有視點的幀、視差幀所對應的碼率全部舍棄，并將前一時刻的對應視點的幀和視差幀拷貝 至當前時刻。(3f2)重復(3fl)的拷貝動作，直至當前時刻的幀能正確解碼重建，或者當前時刻 幀的權重大于前一時刻幀的權重為止。3、視點選擇和虛擬視點繪制根據解碼結果和用戶選擇的視點繪制虛擬視點。如圖1所示，該系統包括服務器101和一個或多個客戶端102。服務器101用于接 收原始或經編解碼后的自由視點視頻或多視點視頻信號，并根據客戶端102反饋確定網絡 擁塞程度，以及根據所述網絡擁塞程度確定量化參數QP，其中，網絡擁塞程度越嚴重，QP越 大，和確定的所述QP對所述自由視點視頻或多視點視頻信號重新進行編碼壓縮，并向所述 客戶端102發送。客戶端102用于接收所述服務器發送的碼流，并根據用戶選擇的虛擬視 點，利用視頻及對應視差進行虛擬視點的繪制，并將繪制結果顯示給用戶。如圖4所示，為本發明實施例的服務器的結構圖。該服務器101包括編碼器200、 用戶與網絡狀況反饋模塊204和QP調整模塊203。編碼器200用于接收原始或經編解碼后 的自由視點視頻或多視點視頻信號，并根據量化參數QP對所述自由視點視頻或多視點視頻信號重新進行編碼壓縮，并向客戶端發送。用戶與網絡狀況反饋模塊204用于接收用戶 的反饋，以及網絡擁塞程度的反饋。QP調整模塊203用于根據網絡擁塞程度調整所述QP。在本發明的一個實施例中，QP調整模塊203還用于計算虛擬視點圖像的視覺質 量，并根據所述虛擬視點圖像的視覺質量調整所述QP。在本發明的一個實施例中，編碼器200包括在線編碼器201和離線編碼器202。在本發明的一個實施例中，服務器101還包括權重設置模塊205，用于根據網絡擁 塞等級選擇相應權重的幀進行發送或編碼。如圖5所示，為本發明實施例的客戶端的結構圖。客戶端包括權重判定模塊301、 解碼與差錯隱藏模塊302和視點選擇與虛擬視點繪制模塊303。權重判定模塊301用于判 斷接收到的幀碼流是否應該被舍棄以及是否為不能解碼的差錯幀。解碼與差錯隱藏模塊 302用于當接收到的幀為差錯幀時，則將其同時刻所有視點的視頻幀，視差幀所對應的碼率 全部舍棄，并將前一時刻的對應視點的視頻幀和視差幀拷貝至當前時刻，并且重復拷貝動 作，直至當前時刻的幀能正確解碼重建，或者當前時刻幀的權重大于前一時刻幀的權重。視 點選擇與虛擬視點繪制模塊303用于根據解碼結果和用戶選擇的視點繪制虛擬視點。本發明能夠根據網絡擁塞程度對QP進行調整，從而使得客戶端所得到的圖像質 量具有較高水平。在本發明的優選實施例中，可根據視覺質量和網絡擁塞程度同時對QP進 行優化，從而能進一步保證客戶端得到的圖像的質量。盡管已經示出和描述了本發明的實施例，對于本領域的普通技術人員而言，可以 理解在不脫離本發明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換 和變型，本發明的范圍由所附權利要求及其等同限定。
權利要求
一種基于網絡擁塞程度的自由視點視頻或多視點視頻傳輸方法，其特征在于，包括以下步驟服務器接收原始或經編解碼后的自由視點視頻或多視點視頻信號；所述服務器根據客戶端反饋確定網絡擁塞程度；所述服務器根據所述網絡擁塞程度確定上述自由試點視頻或多視點視頻信號編碼的量化參數QP，其中，網絡擁塞程度越嚴重，QP越大；和所述服務器根據確定的所述QP對所述自由視點視頻或多視點視頻信號重新進行編碼壓縮，并向所述客戶端發送。
2.如權利要求1所述的基于網絡擁塞程度的自由視點視頻或多視點視頻傳輸方法，其 特征在于，所述服務器采用多視點視頻編碼方法或單視點視頻編碼方法對所述自由視點視 頻或多視點視頻信號進行壓縮。
3.如權利要求2所述的基于網絡擁塞程度的自由視點視頻或多視點視頻傳輸方法，其 特征在于，還包括所述服務器還根據虛擬視點圖像的視覺質量確定QP，其中，虛擬視點圖像的視覺質量 越高，則選擇的QP越低。
4.如權利要求3所述的基于網絡擁塞程度的自由視點視頻或多視點視頻傳輸方法，其 特征在于，QP可選范圍為[a，b]，則QP可采用與S相關的線性或非線性的一一映射關系進 行調整，其基本原則在于S值越高，QP值越低。
5.如權利要求3所述的基于網絡擁塞程度的自由視點視頻或多視點視頻傳輸方法，其 特征在于，所述服務器計算虛擬視點圖像的視覺質量包括對所得到的虛擬視點圖像按塊大小為NXN進行分塊，其中，每行有I個塊，每列有J個 塊，其中，N = 2n，其中n彡6 ；對所述虛擬視點圖像中的每一個塊Bvu，利用基于MSE最小準則的塊匹配方法，分別在 其左右視點圖像中按水平方向找到對應的最佳匹配塊妒。_和VKU，其中，B、在左視點圖像 中，B、在右視點圖像中；對所得到的塊Bvu和獲得的最佳匹配塊進行Contourle小波分解，以得到U個高頻子 帶塊Bu, i/，其中，u = 1，2，. . .，U和一個低頻塊Q/，其中，X G {V，R，L}，其中，V為虛擬視 點圖像、R為右視點圖像、L為左視點圖像；對分解得到的每一個高頻子帶塊Bua/進一步采用u-層方向濾波器組分解，得到2U個 子帶塊 Cu,。」/，其中，o= 1，2，...，2U;分別計算每一個子帶塊(；,“/的方差o u,。,^ ；根據得到整幅圖像的Qu,。X=E ^(0.0,,/)；計算得到所述虛擬視點圖像與左、右視點圖像在同層分解序數之間的誤差參數S u,。= min{| ou,。v-ou,。K|，| o u,。v-o u,。L|}；對每一層的誤差參數進行加權整合A =E u,。2_uSu,。；計算所述虛擬視點圖像的視覺質量>5=l/(l+k)g1()(f+l))，其中C(l為常實數調節因子， 范圍是 CQ G [1，10]。
6.如權利要求3所述的基于網絡擁塞程度的自由視點視頻或多視點視頻傳輸方法，其特征在于，所述服務器采用在線編碼或離線編碼方式對所述自由視點視頻或多視點視頻信 號進行編碼。
7.如權利要求3所述的基于網絡擁塞程度的自由視點視頻或多視點視頻傳輸方法，其 特征在于，還包括所述服務器根據網絡擁塞等級選擇相應權重的幀進行發送或編碼。
8.如權利要求7所述的基于網絡擁塞程度的自由視點視頻或多視點視頻傳輸方法，其 特征在于，還包括所述客戶端判斷接收到的幀碼流是否應該被舍棄以及是否為不能解碼的差錯幀； 如果接收到的幀為差錯幀時，則所述客戶端將其同時刻所有視點的視頻幀，視差幀所 對應的碼率全部舍棄，并將前一時刻的對應視點的視頻幀和視差幀拷貝至當前時刻；所述客戶端重復拷貝動作，直至當前時刻的幀能正確解碼重建，或者當前時刻幀的權 重大于前一時刻幀的權重。
9.一種基于網絡擁塞程度的自由視點視頻或多視點視頻傳輸系統，其特征在于，包括 服務器和客戶端，所述服務器，用于接收原始或經編解碼后的自由視點視頻或多視點視頻信號，并根據 客戶端反饋確定網絡擁塞程度，以及根據所述網絡擁塞程度確定上述自由試點視頻或多視 點視頻信號編碼的量化參數QP，和根據確定的所述QP對所述自由視點視頻或多視點視頻 信號重新進行編碼壓縮，并向所述客戶端發送；所述客戶端，用于接收所述服務器發送的碼流，并根據用戶選擇的虛擬視點，利用視頻 及對應視差進行虛擬視點的繪制，并將繪制結果顯示給用戶。
10.一種服務器，其特征在于，包括編碼器、用戶與網絡狀況反饋模塊和QP調整模塊， 所述編碼器，用于接收原始或經編解碼后的自由視點視頻或多視點視頻信號，并根據量化參數QP對所述自由視點視頻或多視點視頻信號進行編碼壓縮，并向客戶端發送； 所述用戶與網絡狀況反饋模塊，用于接收用戶的反饋，以及網絡擁塞程度的反饋； 所述QP調整模塊，用于根據客戶端反饋確定網絡擁塞程度，并根據所述網絡擁塞程度 調整QP。
11.如權利要求10所述的服務器，其特征在于，所述QP調整模塊，還用于根據虛擬視點 圖像的視覺質量確定QP。
12.如權利要求10或11所述的服務器，其特征在于，所述編碼器包括在線編碼器和離線編碼器。
13.如權利要求10所述的服務器，其特征在于，還包括權重設置模塊，用于根據網絡擁 塞等級選擇相應權重的幀進行發送或編碼。
14.一種客戶端，其特征在于，包括權重判定模塊、解碼與差錯隱藏模塊和視點選擇與 虛擬視點繪制模塊，所述權重判定模塊，用于判斷接收到的幀碼流是否應該被舍棄以及是否為不能解碼的 差錯幀；所述解碼與差錯隱藏模塊，用于當接收到的幀為差錯幀時，則將其同時刻所有視點的 視頻幀，視差幀所對應的碼率全部舍棄，并將前一時刻的對應視點的視頻幀和視差幀拷貝 至當前時刻，并且重復拷貝動作，直至當前時刻的幀能正確解碼重建，或者當前時刻幀的權重大于前一時刻幀的權重；所述視點選擇與虛擬視點繪制模塊，用于根據解碼結果和用戶選擇的視點繪制虛擬視點o
全文摘要
本發明提出一種基于網絡擁塞程度的自由視點視頻或多視點視頻傳輸方法，包括以下步驟服務器接收原始或經編解碼后的自由視點視頻或多視點視頻信號；所述服務器根據客戶端反饋確定網絡擁塞程度；所述服務器根據所述網絡擁塞程度確定上述自由試點視頻或多視點視頻信號編碼的量化參數QP；和所述服務器根據確定的所述QP對所述自由視點視頻或多視點視頻信號重新進行編碼壓縮，并向所述客戶端發送。本發明能夠根據網絡擁塞程度對QP進行調整，從而使得客戶端所得到的圖像質量具有較高水平。
文檔編號H04N7/68GK101895753SQ20101022736
公開日2010年11月24日 申請日期2010年7月7日 優先權日2010年7月7日
發明者戴瓊海, 楊鈾 申請人:清華大學