一種基于視差變化連續性調節的立體視頻舒適度增強方法
【技術領域】
[0001] 本發明涉及立體視頻舒適度增強和3D圖像處理領域，特別涉及一種基于視差變 化連續性調節的立體視頻舒適度增強方法。 技術背景
[0002] 3D電視的誕生，給很多喜歡看3D電影的朋友帶來了福音，但是由于目前3D電視 技術的不完善，也導致了長時間觀看3D電視節目，容易導致惡心、頭暈眼花、頭痛等不同程 度的視覺疲勞。相關統計研宄表明，在看過3D視頻圖像的人中，36%的人有嚴重視覺疲勞 的感覺，7%的人由于嚴重視覺疲勞而無法持續觀看3D電影[1]。從1987年開始有少量的學 者對觀看3D視頻的視覺疲勞問題進行研宄，隨著3D顯示技術取得突破性進展和3D應用需 求的不斷增長，最近幾年開始有較多的學者參與到觀看3D視頻視覺疲勞問題的研宄中。但 是，根據文獻檢索信息，這方面的研宄尚處于起步階段，研宄成果較少。對觀看3D視頻視覺 舒適度增強（視覺疲勞改善）問題的研宄主要有三個方面：產生視覺疲勞的因素分析和檢 測 [2^2°]、視覺疲勞的評價方法[m]以及增強視覺舒適度（改善視覺疲勞）的方法[& 38]。
[0003] 從人眼的視覺感知機理研宄表明，引起3D視頻視覺疲勞的原因主要有輻輳和調 節的不一致、垂直視差、視差變化的不連續性和串擾等。Emoto,M等人的研宄表明，即使不 考慮過度視差，視差的不連續變化也是導致立體視疲勞的主要因素[5]。
[0004] 國際上，2010年開始美國舊金山杜比實驗室的科學家就已經與加州大學舊金山分 校等高校展開合作，改善3D互動技術的欣賞舒適度。2011年美國加州大學伯克利分校的 研宄團隊通過改進3D眼鏡為改善視覺疲勞問題提供了解決方法，該方法在眼鏡上安裝特 殊的監控設備，當影像出現時，可以通過遮擋部分影像來幫助雙眼對焦，以此緩解眼部的緊 張，這種方法在一定程度上起到了幫助改善視覺疲勞的作用。2012年韓國光州科學技術院 和三星公司聯合申請的美國專利中公開了一種提高3D攝像儀3D效果和減輕視覺疲勞的方 法和儀器，該方法首先利用左右眼圖像的匹配特征點計算出視差，如果視差不在舒適觀賞 的視差范圍內，則移動左眼或同時移動雙眼的鏡頭調整視差，使達到輻輳和調節的一致性， 從而達到減輕視覺疲勞的目的。2010年日本日立顯示器開發出可降低視覺疲勞的3D液晶 面板，其采用視差柵格方式，即在液晶面板前方配置長條狀格柵，使雙眼可分別觀賞3D顯 示的左眼用及右眼用影像，這種面板減弱了會導致視覺疲勞的過度立體感。
[0005] 國內在增強視覺舒適度（改善視覺疲勞）方法的研宄方面，有北京郵電大學的王 飛課題組在深入分析觀看立體影像引起視覺疲勞原因的基礎上，提出了可以用增加補正透 鏡等方法改善視覺疲勞以及可以通過控制觀看時間和避免視差過大和視差不連續變化改 善視覺疲勞。但是對由于視差變化不連續性引起的視覺疲勞的改善方法尚未見研宄報道。
【發明內容】
[0006] 本發明要解決的技術問題在于提供一種基于視差變化連續性調節的立體視頻舒 適度增強方法，通過本發明可以有效地增強觀看立體視頻的舒適度。該方法詳見下文描 述：
[0007] -種基于視差變化連續性調節的立體視頻舒適度增強方法，所述方法包括以下步 驟：
[0008] 第一步：將0.2秒作為一個考察時段，在立體視頻解碼過程中提取當前時段幀的 視差和運動矢量彳目息；
[0009] 第二步：根據立體視頻舒適度模型，設每一時刻圖像幀的立體視頻舒適度為CL， 計算每個考察時段的立體視頻舒適度的平均值Ft;
[0010] 每一時刻圖像幀的立體視頻舒適度CL計算公式如下：
[0011] CL=MV+DV
[0012] 其中，
[0015]其中，
[0016]CL表示每一時刻立體視頻舒適度值；
[0017]N表示每一時刻圖像幀中的宏塊總數；
[0018] n表示第n個宏塊；
[0019]MV表示運動矢量值；
[0020] DV表不視差值；
[0021] 和別表示第n個宏塊的運動矢量在水平和垂直方向上的分量值；
[0022] 和分別表示第n個宏塊的水平視差和垂直視差。
[0023] 第三步：判斷前一個時段的立體視頻舒適度平均值Ft_a2和后一時段立體視頻舒 適度平均值匕+(|.2的關系是否滿足
其中和$_分別表示 所有時段內立體視頻舒適度平均值的最大值和最小值，Fth表示設定閾值。若滿足，則對當 前考察時段進行非舒適幀調節，生成新的圖像替換原圖像，播放生成的新視頻；若不滿足， 則直接播放視頻；
[0024] 非舒適幀視差調節方法包括下列步驟：
[0025] 步驟1):提取當前考察時段內立體視頻舒適度CL值最大的視頻幀的前后兩幀匹 配點對應像素的R、G、B分量值；
[0026] 步驟2):將R、G、B分量值加權平均計算如下：
[0027] Dest[h] [w]_r = (aSource1 [h] [w]_r+0 Source2 [hr ] [wr ]_r)
[0028] Dest[h] [w]_g = (aSource1 [h] [w]_g+0 Source2 [hr ] [wr ]_g)
[0029] Dest[h][w]_b =(a Source1[h][w]_b+0 Source2[h' ] [w' ]_b)
[0030]h' =h+Ah [0031]wr =w+Aw [0032]a+|3 = 1
[0033]其中，
[0034]Sourcel[h] [w]_r、Sourcel[h] [w]_g和Sourcel[h] [w]_b分別表不前幀每個像素 的R、G、B分量值，h和w分別為前幀每個像素的水平和垂直坐標；
[0035]Source2[h' ] [w' ]_r、Source2[h' ] [w' ]_g和Source2[h' ] [w' ]_b分別 表示后幀每個像素的
[0036]R、G、B分量值，h'和w'分別為后幀每個像素的水平和垂直坐標；
[0037]Dest[h] [w]_r、Dest[h] [w]_g和Dest[h] [w]_b分別表示新圖像的每個像素的R、 G、B分量值，h和w分別為新圖像的每個像素的水平和垂直坐標；
[0038]Ah和Aw分別表示后幀和前幀對應匹配點的運動矢量的水平和垂直方向的分量 值；a和0均為常數，表示權值。
[0039] 本發明的特點及有益效果：
[0040] 本發明提出一種基于視差變化連續性調節的立體視頻舒適度增強方法，由于視差 和運動矢量變化過快，產生視覺感知突兀，視線匯聚困難，增加觀視者眼部負擔，產生視覺 疲勞，通過本發明可以有效地增強觀看立體視頻的舒適度。
【附圖說明】：
[0041] 圖1為本發明的方案流程圖。
【具體實施方式】
[0042] 為使本發明的目的，技術方案和優點更加清楚，下面將結合附圖和JMVC(Joint Multi-viewVideoCoding)多視點視頻編碼系統對本發明實施方式做進一步的詳細敘述：
[0043] (1)將0.2秒作為一個考察時段，在JMVC(JointMulti-viewVideoCoding)多視 點編碼系統的解碼過程中提取當前時段各幀的視差信息和運動矢量信息。視差信息為 和￡?17，其中，DF,"和分別表示第n個宏塊的水平視差和垂直視差。運動矢量信息為： If和其中If和分別表示第n個宏塊的運動矢量在水平和垂直方向上的分 量值。實驗采用200幀分辨率為320X240的AC序列作為測試視頻，其幀率為25幀/秒， 將0. 2秒作為一個考察時段，S卩每個考察時段內有5幀。
[0044] (2)根據立體視頻舒適度模型CL，計算每一時刻圖像幀的立體視頻舒適度如下：
[0045]CL=MV+DV
[0046]其中，
[0049]其中，
[0050] CL表示每一時刻立體視頻舒適度值；
[0051] N表示每一時刻圖像幀中的宏塊總數；
[0052] n表示第