專利名稱：一種多格式3d數字內容播放方法和系統的制作方法
技術領域：
本發明涉及3D視頻技術領域，特別是指一種多格式3D數字內容播放方法和系統
背景技術：
3D成像是靠人兩眼的視覺差產生的。人的兩眼(瞳孔)之間一般會有6厘米左右的距離，如果希望呈現3D影像，就必須讓左眼和右眼看到不同的影像，使兩幅畫面產生一定差距，即模擬實際人眼觀看時的情況。3D的立體感覺就是這樣產生的。而3D數字內容就是把3D成像所需要的左右眼不同的影像數字化后，以一定的格式保存到磁盤、光盤等存儲器之中。播放的時候，由播放系統讀取數字內容，解碼還原成左右眼不同的影像。當前3D數字內容的格式主要包括以下幾種(I)半寬左右格式(Half Side bySide)，這種格式的長寬比是全高清、高清、標清的標準的16 :9或4 :3。其算法是將同步的·左右圖像各在水平方向壓縮為1/2的，高度不變，左右排列后合成為I幀標準分辨率的圖像。(2)上下格式(Top-and-Bottom)，這種格式同樣也是標準的16 :9或4 :3長寬比，將同步的左右圖像各在垂直方向壓縮為1/2的，寬度不變，上下排列后合成為I幀標準分辨率的圖像。(3)水平交錯(Row interleaved),這種格式是將同步的左右圖像各自抽取一半的垂直方向的像素線，然后左右圖像的像素線I條隔I條排列成I幀標準分辨率的圖像。(4)棋盤格(Checkerboard)，在這種格式中用于左眼和右眼的兩幅圖像被交織，即每隔一個像素用于左眼或者右眼。國際象棋棋盤的方格相當于像素點，黑色的方格是用于左眼的像素，而白色的方格則是用于右眼的像素。(5)幀序列(Frame Sequential)，這種格式的左右圖像不做任何分辨率上的壓縮處理。左右圖像I幀隔I幀，按照時間序列，順序排列后成為I條視頻流。進一步還包括全寬左右格式、全高上下格式、左右分離。對于3D數字內容視頻格式，分別有24P/50P/60P/50I/60I等格式，P與I分別是逐行與隔行，逐行主要用于電影行業，隔行主要用于電視行業。這多種格式的存在，造成了行業間的內容互換的障礙，雖然有方法和設備可以進行這些格式的轉換，但由于只是做了簡單的轉換，造成了數字內容畫質與分辨率的下降，大大影響了觀眾的觀看感受。綜上所述由于針對3D數字內容沒有統一的標準，所以存在多格式的3D數字內容，對于不同格式的3D數字內容，要使用不同方法與標準進行播放，大大降低了播放的統一性以及操作的兼容性。
發明內容
有鑒于此，本發明的主要目的在于提供一種多格式3D數字內容播放方法和系統，能夠解決多格式的3D數字內容播放時缺乏統一性和兼容性的問題。為達到上述目的，本發明的技術方案是這樣實現的
本發明公開了一種多格式3D數字內容播放方法，所述方法包括
根據3D數字內容的奇行幀和偶行幀估算運動向量，結合運動向量和中間幀得到相鄰奇行幀間的運動矢量，利用運動矢量調整偶行幀的像素點；
掃描抽樣圖得到相鄰像素點的運動向量，根據運動向量插入補充的像素點，掃描補充的像素點前后相鄰的像素點得到色彩加權值，根據色彩加權值調整補充的像素點的色彩值；
掃描預設時間段內3D數字內容中的所有幀，構建運動向量，根據運動向量和相鄰的幀得到需要插入的數據幀，將數據幀補充完整進行播放。其中，所述根據3D數字內容的奇行幀和偶行幀估算運動向量，具體為
通過對奇行幀與偶行幀進行運動估算，得到偶行幀的運動向量X與Y。其中，所述結合運動向量和中間幀得到相鄰奇行幀間的運動矢量，利用運動矢量調整偶行幀的像素點，具體為
根據運動向量X調整偶行幀的位移，得到中間幀；對奇行幀進行行掃描，計算出相鄰奇行幀間的運動矢量；根據運動矢量使用運動算法對每一偶行幀進行運動調整，調整偶行幀的每個像素點的位置與色彩。
其中，所述掃描預設時間段內3D數字內容中的所有幀，構建運動向量，根據運動向量和相鄰的幀得到需要插入的數據幀，具體為
掃描3D數字內容I秒中的所有幀，構建一個運動向量；然后按照目標幀率根據運動向量重新組織3D數字內容中的幀，保留首尾兩幀，去掉中間幀；并根據運動向量與上下相鄰的抽掉的中間幀計算出需插入的數據幀。通過這種幀率轉換的方法能夠保證圖像的平滑與穩定過渡。本發明還公開了一種多格式3D數字內容播放系統，所述系統包括逐行轉換模塊、解碼模塊與幀率轉換模塊，其中
所述逐行轉換模塊，用于根據3D數字內容的奇行幀和偶行幀估算運動向量，結合運動向量和中間幀得到相鄰奇行幀間的運動矢量，利用運動矢量調整偶行幀的像素點，將處理后的數據發送給解碼模塊；
所述解碼模塊，用于掃描抽樣圖得到相鄰像素點的運動向量，根據運動向量插入補充的像素點，掃描補充的像素點前后相鄰的像素點得到色彩加權值，根據色彩加權值調整補充的像素點的色彩值，將處理后的數據發送給幀率轉換模塊；
所述幀率轉換模塊，用于掃描預設時間段內3D數字內容中的所有幀，構建運動向量，根據運動向量和相鄰的幀得到需要插入的數據幀，將數據幀補充完整。其中，所述逐行轉換模塊根據3D數字內容的奇行幀和偶行幀估算運動向量，具體為所述逐行轉換模塊通過對奇行幀與偶行幀進行運動估算，得到偶行幀的運動向量X與Y。其中，所述逐行轉換模塊結合運動向量和中間幀得到相鄰奇行幀間的運動矢量，利用運動矢量調整偶行幀的像素點，具體為逐行轉換模塊根據運動向量X調整偶行幀的位移，得到中間幀；對奇行幀進行行掃描，計算出相鄰奇行幀間的運動矢量；根據運動矢量使用運動算法對每一偶行幀進行運動調整，調整偶行幀的每個像素點的位置與色彩。其中，所述幀率轉換模塊掃描預設時間段內3D數字內容中的所有幀，構建運動向量，根據運動向量和相鄰的幀得到需要插入的數據幀，具體為幀率轉換模塊掃描3D數字內容I秒中的所有幀，構建一個運動向量；然后按照目標幀率根據運動向量重新組織3D數字內容中的幀，保留首尾兩幀，去掉中間幀；并根據運動向量與上下相鄰的抽掉的中間幀計算出需插入的數據幀。通過這種幀率轉換的方法能夠保證圖像的平滑與穩定過渡。
本發明所提供的多格式3D數字內容播放方法和系統，根據3D數字內容的奇行幀和偶行幀估算運動向量，結合運動向量和中間幀得到相鄰奇行幀間的運動矢量，利用運動矢量調整偶行幀的像素點；掃描抽樣圖得到相鄰像素點的運動向量，根據運動向量插入補充的像素點，掃描補充的像素點前后相鄰的像素點得到色彩加權值，根據色彩加權值調整補充的像素點的色彩值；掃描預設時間段內3D數字內容中的所有幀，構建運動向量，根據運動向量和相鄰的幀得到需要插入的數據幀，將數據幀補充完整進行播放，能夠解決多格式的3D數字內容播放時缺乏統一性和兼容性的問題，使得畫面更加清晰和平滑。
圖I為現有技術中圖像隔行抽取的示意 圖2為現有技術中圖像還原的不意 圖3為現有技術中3D數字內容抽樣的示意圖； 圖4為現有技術中3D數字內容還原的示意 圖5為現有技術中抽值與插值的示意 圖6為本發明一種多格式3D數字內容播放方法流程示意 圖7為本發明奇行巾貞和偶行巾貞的不意 圖8為本發明得到偶行幀運動向量的示意 圖9為本發明得到中間幀A的示意 圖10為本發明掃描奇行幀計算運動矢量的示意 圖11為本發明掃描抽樣圖得到相鄰像素點的運動向量的示意 圖12為本發明根據運動向量插入補充的像素點的示意 圖13為本發明掃描補充的像素點前后相鄰的像素點得到色彩加權值的示意 圖14為本發明計算像素點運動向量的示意 圖15為本發明幀率轉換的示意 圖16為本發明一種多格式3D數字內容播放系統結構示意圖。
具體實施例方式為了更好的理解本發明，先介紹一下現有技術中3D數字內容的播放方式。目前有部分3D數字內容是使用電視行業標準所拍攝的，在播放時存在一個問題，由于采用的是隔行掃描方式，當在一些運動量大的場景時，會導致畫面出現嚴重的毛刺現象。圖I為現有技術中圖像隔行抽取的示意圖，如圖I所示，黑色行為隔行抽取得到的圖像，白色為未被抽取的圖像，抽取的數據可以是奇行數據也可以是偶行數據。圖2為現有技術中圖像還原的示意圖，如圖2所示，以奇數行為例在還原過程中，把抽取出來的1、3、5、7、9等奇數行經過倍線處理，重新合成一副圖像。通過這種方法處理的缺點是由于圖像是倍線生成的，圖像清晰度會降低一半，會損失圖像細節。現有的3D數字內容的編碼是基于抽樣的方法把左右眼畫面抽去一半的像素點，再把抽樣后的左右眼畫面合并成一幅畫面，如圖3所示，圖3為現有技術中3D數字內容抽樣的示意圖。在還原過程中，一般都是直接復制補點，如圖4所示，圖4為現有技術中3D數字內容還原的示意圖。這種抽樣和還原的方式使得像素點的還原效果不能令人滿意。
同樣的，在幀率轉換過程中同樣存在問題。圖5為現有技術中抽值與插值的示意圖，如圖5所示，左圖為抽值，右圖為插值。由圖可見這種方法只是很簡單的從幀序列中抽去或插入畫片幀，經過這樣的算法處理后的數字內容，在運動劇烈的場景下，動畫感與跳幀現象會很明顯，嚴重影響了播放效果。有鑒于此，本發明的基本思想是根據3D數字內容的奇行幀和偶行幀估算運動向量，結合運動向量和中間幀得到相鄰奇行幀間的運動矢量，利用運動矢量調整偶行幀的像素點；掃描抽樣圖得到相鄰像素點的運動向量，根據運動向量插入補充的像素點，掃描補充的像素點前后相鄰的像素點得到色彩加權值，根據色彩加權值調整補充的像素點的色彩值；掃描預設時間段內3D數字內容中的所有幀，構建運動向量，根據運動向量和相鄰的幀得到需要插入的數據幀，將數據幀補充完整進行播放。
下面結合附圖和具體實施例對本發明的技術方案進一步詳細闡述。圖6為本發明一種多格式3D數字內容播放方法流程示意圖，如圖I所示，所述方法包括
步驟101，根據3D數字內容的奇行幀和偶行幀估算運動向量，結合運動向量和中間幀得到相鄰奇行幀間的運動矢量，利用運動矢量調整偶行幀的像素點；
具體的，圖7為本發明奇行幀和偶行幀的示意圖。所述根據3D數字內容的奇行幀和偶行幀估算運動向量，具體為通過對奇行幀與偶行幀進行運動估算，得到偶行幀的運動向量X與Y。圖8為本發明得到偶行幀運動向量的示意圖。運動估算的方法具體為以奇行幀為子塊，設w為塊運動的正最大位移，則該塊在前一幀的搜索窗口大小為(l+2w)x(l+2w)，計算其最小均方誤差
MSE (X，y) =Ei=O [ (I, j) - -B^1 (x+i, y+j) ] 2
其中，x, y e [-w, -w+1, ···，w_l, w], gs為當前需進行運動估算的偶行巾貞。為參
考幀奇行幀。具有最小值的MSE的候選幀即為最佳匹配幀，它對應的位移(x，y)即為運動向量X與Y。所述結合運動向量和中間幀得到相鄰奇行幀間的運動矢量，利用運動矢量調整偶行幀的像素點，具體為根據運動向量X調整偶行幀的位移，得到中間幀A ;對奇行幀進行行掃描，計算出相鄰奇行幀間的運動矢量B1，B2……Bn;根據運動矢量BI……Bn，使用運動算法對每一偶行幀進行運動調整，調整偶行幀的每個像素點的位置與色彩。其中，所述計算運動矢量BI，B2……Bn使用的公式為(Xa，) = (Xs，X- Ye十y),其中(Xsi，為
偶行幀根據運動向量位移后的新坐標，Xe, 1為偶行幀中的原坐標，x，y為前面所述的計
算出的運動向量X與Y。圖9為本發明得到中間幀A的示意圖。圖10為本發明掃描奇行幀計算運動矢量的示意圖。掃描的公式如下以每一行為子塊。劃分為NxN的子塊，w為塊運動的正最大位移，則該子塊在前一行的搜索窗口大小為(N+2w) X (N+2w)。MSE (x, y)=2，其中，X，y e [-w, -w+i,…
，w-l，w]，gn為當前行。為參考幀前一行。具有最小值的MSE的候選行即為最佳匹配行，它對應的位移(x，y)即為運動矢量B。
步驟102，掃描抽樣圖得到相鄰像素點的運動向量，根據運動向量插入補充的像素點，掃描補充的像素點前后相鄰的像素點得到色彩加權值，根據色彩加權值調整補充的像素點的色彩值；
具體的，圖11為本發明掃描抽樣圖得到相鄰像素點的運動向量的示意圖。圖12為本發明根據運動向量插入補充的像素點的示意圖，其中P1、P2、P3為插入的像素點。圖13為本發明掃描補充的像素點前后相鄰的像素點得到色彩加權值的示意圖，其中Cl為Pl點色彩加權值的掃描范圍；C2為P2點色彩加權值的掃描范圍；C3為P3點色彩加權值的掃描范圍。圖14為本發明計算像素點運動向量的示意圖，如圖14所示，相鄰像素點的運動向量的計算方法為首先將(0，0)作為第一步的最小MSE值點，且(0，0)為下一步的搜索起點。在第二步中，計算起點(0，0)周圍8個點的MSE。如果某點的MSE小于上一步中的最小MSE，就將其作為新的起點之一。將中步的最小MSE值點連同其MSE值一同記錄下來。 重復以上過程，直到找不到新的起點。這樣就可以將后到的各點的最小MSE值點設為各點的向量了。步驟103，掃描預設時間段內3D數字內容中的所有幀，構建運動向量，根據運動向量和相鄰的幀得到需要插入的數據幀，將數據幀補充完整進行播放。具體的，所述掃描預設時間段內3D數字內容中的所有幀，構建運動向量，根據運動向量和相鄰的幀得到需要插入的數據幀，具體為掃描3D數字內容I秒中的所有幀，構建一個運動向量；然后按照目標幀率根據運動向量重新組織3D數字內容中的幀，保留首尾兩幀,去掉中間幀；并根據運動向量與上下相鄰的抽掉的中間幀計算出需插入的數據幀。通過這種幀率轉換的方法能夠保證圖像的平滑與穩定過渡。圖15為本發明巾貞率轉換的示意圖,如圖15所示,上方圖為構建運動向量；中間圖為保留首尾兩幀，去掉中間幀，虛框為抽掉的幀；下方圖為插入數據幀，黑色幀為根據上下相鄰幀計算出的插入幀。圖16為本發明一種多格式3D數字內容播放系統結構示意圖，如圖16所示，所述系統包括逐行轉換模塊61、解碼模塊62與幀率轉換模塊63，其中，
所述逐行轉換模塊61，用于根據3D數字內容的奇行幀和偶行幀估算運動向量，結合運動向量和中間幀得到相鄰奇行幀間的運動矢量，利用運動矢量調整偶行幀的像素點，將處理后的數據發送給解碼模塊62 ；
具體的，所述逐行轉換模塊61根據3D數字內容的奇行幀和偶行幀估算運動向量，具體為所述逐行轉換模塊61通過對奇行幀與偶行幀進行運動估算，得到偶行幀的運動向量X與Y。所述逐行轉換模塊61結合運動向量和中間幀得到相鄰奇行幀間的運動矢量，利用運動矢量調整偶行幀的像素點，具體為逐行轉換模塊61根據運動向量X調整偶行幀的位移，得到中間幀；對奇行幀進行行掃描，計算出相鄰奇行幀間的運動矢量；根據運動矢量使用運動算法對每一偶行幀進行運動調整，調整偶行幀的每個像素點的位置與色彩。所述解碼模塊62，用于掃描抽樣圖得到相鄰像素點的運動向量，根據運動向量插入補充的像素點，掃描補充的像素點前后相鄰的像素點得到色彩加權值，根據色彩加權值調整補充的像素點的色彩值，將處理后的數據發送給幀率轉換模塊63 ；
所述幀率轉換模塊63，用于掃描預設時間段內3D數字內容中的所有幀，構建運動向量，根據運動向量和相鄰的幀得到需要插入的數據幀，將數據幀補充完整。具體的，所述幀率轉換模塊63掃描預設時間段內3D數字內容中的所有幀，構建運動向量，根據運動向量和相鄰的幀得到需要插入的數據幀，具體為幀率轉換模塊63掃描3D數字內容I秒中的所有幀，構建一個運動向量；然后按照目標幀率根據運動向量重新組織3D數字內容中的幀，保留首尾兩幀，去掉中間幀；并根據運動向量與上下相鄰的抽掉的中間幀計算出需插入的數據幀。通過這種幀率轉換的方法能夠保證圖像的平滑與穩定過渡。進一步需要說明的是，所述多格式3D數字內容播放系統中的具體操作與多格式3D數字內容播放方法相同，在此不再贅述。以上所述，僅為本發明的較佳實施例而已，并非用于限定本發明的保護范圍。
·
權利要求
1.一種多格式3D數字內容播放方法，其特征在于，所述方法包括 根據3D數字內容的奇行幀和偶行幀估算運動向量，結合運動向量和中間幀得到相鄰奇行幀間的運動矢量，利用運動矢量調整偶行幀的像素點； 掃描抽樣圖得到相鄰像素點的運動向量，根據運動向量插入補充的像素點，掃描補充的像素點前后相鄰的像素點得到色彩加權值，根據色彩加權值調整補充的像素點的色彩值； 掃描預設時間段內3D數字內容中的所有幀，構建運動向量，根據運動向量和相鄰的幀得到需要插入的數據幀，將數據幀補充完整進行播放。
2.根據權利要求I所述的方法，其特征在于，所述根據3D數字內容的奇行幀和偶行幀估算運動向量，具體為 通過對奇行幀與偶行幀進行運動估算，得到偶行幀的運動向量X與Y。
3.根據權利要求2所述的方法，其特征在于，所述結合運動向量和中間幀得到相鄰奇行幀間的運動矢量，利用運動矢量調整偶行幀的像素點，具體為 根據運動向量X調整偶行幀的位移，得到中間幀；對奇行幀進行行掃描，計算出相鄰奇行幀間的運動矢量；根據運動矢量使用運動算法對每一偶行幀進行運動調整，調整偶行幀的每個像素點的位置與色彩。
4.根據權利要求I所述的方法，其特征在于，所述掃描預設時間段內3D數字內容中的所有幀，構建運動向量，根據運動向量和相鄰的幀得到需要插入的數據幀，具體為 掃描3D數字內容I秒中的所有幀，構建一個運動向量；然后按照目標幀率根據運動向量重新組織3D數字內容中的幀，保留首尾兩幀，去掉中間幀；并根據運動向量與上下相鄰的抽掉的中間幀計算出需插入的數據幀；通過這種幀率轉換的方法能夠保證圖像的平滑與穩定過渡。
5.一種多格式3D數字內容播放系統，其特征在于，所述系統包括逐行轉換模塊、解碼模塊與幀率轉換模塊，其中 所述逐行轉換模塊，用于根據3D數字內容的奇行幀和偶行幀估算運動向量，結合運動向量和中間幀得到相鄰奇行幀間的運動矢量，利用運動矢量調整偶行幀的像素點，將處理后的數據發送給解碼模塊； 所述解碼模塊，用于掃描抽樣圖得到相鄰像素點的運動向量，根據運動向量插入補充的像素點，掃描補充的像素點前后相鄰的像素點得到色彩加權值，根據色彩加權值調整補充的像素點的色彩值，將處理后的數據發送給幀率轉換模塊； 所述幀率轉換模塊，用于掃描預設時間段內3D數字內容中的所有幀，構建運動向量，根據運動向量和相鄰的幀得到需要插入的數據幀，將數據幀補充完整。
6.根據權利要求5所述的系統，其特征在于，所述逐行轉換模塊根據3D數字內容的奇行幀和偶行幀估算運動向量，具體為所述逐行轉換模塊通過對奇行幀與偶行幀進行運動估算，得到偶行幀的運動向量X與Y。
7.根據權利要求6所述的系統，其特征在于，所述逐行轉換模塊結合運動向量和中間幀得到相鄰奇行幀間的運動矢量，利用運動矢量調整偶行幀的像素點，具體為逐行轉換模塊根據運動向量X調整偶行幀的位移，得到中間幀；對奇行幀進行行掃描，計算出相鄰奇行幀間的運動矢量；根據運動矢量使用運動算法對每一偶行幀進行運動調整，調整偶行幀的每個像素點的位置與色彩。
8.根據權利要求5所述的系統，其特征在于，所述幀率轉換模塊掃描預設時間段內3D數字內容中的所有幀，構建運動向量，根據運動向量和相鄰的幀得到需要插入的數據幀，具體為幀率轉換模塊掃描3D數字內容I秒中的所有幀，構建一個運動向量；然后按照目標幀率根據運動向量重新組織3D數字內容中的幀，保留首尾兩幀，去掉中間幀；并根據運動向量與上下相鄰的抽掉的中間幀計算出需插入的數據幀；通過這種幀率轉換的方法能夠保證圖像的平滑與穩定過渡。
全文摘要
本發明公開了一種多格式3D數字內容播放方法和系統，根據3D數字內容的奇行幀和偶行幀估算運動向量，結合運動向量和中間幀得到相鄰奇行幀間的運動矢量，利用運動矢量調整偶行幀的像素點；掃描抽樣圖得到相鄰像素點的運動向量，根據運動向量插入補充的像素點，掃描補充的像素點前后相鄰的像素點得到色彩加權值，根據色彩加權值調整補充的像素點的色彩值；掃描預設時間段內3D數字內容中的所有幀，構建運動向量，根據運動向量和相鄰的幀得到需要插入的數據幀，將數據幀補充完整進行播放，能夠解決多格式的3D數字內容播放時缺乏統一性和兼容性的問題，使得畫面更加清晰和平滑。
文檔編號H04N7/01GK102833565SQ20121032101
公開日2012年12月19日 申請日期2012年9月3日 優先權日2012年9月3日
發明者馬士超 申請人:雷歐尼斯(北京)信息技術有限公司