面向互聯網應用3d視頻/圖像生成方法
【技術領域】
[0001]本發明涉及電子成像技術領域，尤其涉及一種面向互聯網應用3D視頻/圖像生成方法。
【背景技術】
[0002]當前3D視頻或圖像的成像主要依賴于雙目攝像機的同步拍攝，一般具有較高的制作成本，并在后期使用過程中需要較為專業的對齊、校正過程，給廣大普通使用者帶來不便，也因此限制了 3D視頻或圖像成像產品的應用。
[0003]現有2D轉3D辦法分為兩大類，一類是不做場景內容的分析，直接通過圖像的幾何變形，生成3D所需要的2個視點圖像。這類方法速度快，但是其3D質量差。第二類方法是做場景分析，換算出場景深度信息，然后通過虛擬視點繪制的辦法生成所需要的2個視點圖像。這類方法會對圖像中的每一個像素計算深度信息，其質量高，但是速度慢。
【發明內容】
[0004]針對上述問題中存在的不足之處，本發明提供一種面向互聯網應用3D視頻/圖像生成方法。
[0005]為實現上述目的，本發明提供了一種面向互聯網應用3D視頻/圖像生成方法，包括:
[0006]步驟一、對輸入的2D視頻/圖像進行色彩空間的轉換，得到YUV或YCRCB色彩空間下的圖像；
[0007]步驟二、計算圖像的Y分量，對Y分量圖像進行超像素分割；
[0008]步驟三、計算每個超像素區域內Y分量均值Y’，相鄰的超像素根據Y’值的差異性進行合并;所述相鄰超像素合并的原則為:相鄰超像素的Y’的差值的絕對值不大于閾值；
[0009]步驟四、統計合并后超像素的個數N，將[0，255]均分為N等份，得到N個取值區間；
[0010]步驟五、計算合并后超像素區域內Y分量均值Y”，Y”大小排序得到序號N’，根據序號的大小找到步驟四中的對應區間，取區間內一數值作為該超像素的深度值，得到深度圖；
[0011]步驟六、基于深度圖的3D場景繪制方法，進行另一視點視頻或者圖像的繪制，完成空洞填補后，與原始所輸入的視頻聯合輸出成3D視頻或圖像。
[0012]作為本發明的進一步改進，所述步驟二中，每個超像素所包含像素的個數不超過20個。
[0013]作為本發明的進一步改進，所述閾值為2。
[0014]作為本發明的進一步改進，所述步驟四中，將[0，255]均分為N等份，不滿足等分要求的向下取整。
[0015]作為本發明的進一步改進，所述步驟五中，取區間內的中值或均值作為該超像素的深度值。
[0016]作為本發明的進一步改進，所述另一視點視頻或者圖像的繪制為:基于深度的圖像繪制或基于視差的圖像繪制。
[0017]作為本發明的進一步改進，所述空洞用均值、中值或者inpainting方法進行填補。
[0018]與現有技術相比，本發明的有益效果為:
[0019]本發明提供了面向互聯網應用3D視頻/圖像生成方法，對互聯網的2D視頻或圖像進行基于圖像內容的計算與處理，通過分析其場景中物體的三維空間關系，恢復其場景深度信息，并以此進行3D視頻或圖像的生成，從而避免通過雙目攝像機進行拍攝的3D內容生成方式，通過超像素的方法，減少像素數量，從而提高速度，節省了制作成本與時間。
【附圖說明】
[0020]圖1為本發明一種實施例公開的面向互聯網應用3D視頻/圖像生成方法的流程圖。
【具體實施方式】
[0021]為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明的一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
[0022]本發明提供一種面向互聯網應用3D視頻/圖像生成方法，包括:
[0023 ]步驟一、對輸入的2D視頻/圖像進行色彩空間的轉換，得到YUV或YCRCB色彩空間下的圖像；
[0024]步驟二、計算圖像的Y分量，對Y分量圖像進行超像素分割；
[0025]步驟三、計算每個超像素區域內Y分量均值Y’，相鄰的超像素根據Y’值的差異性進行合并;所述相鄰超像素合并的原則為:相鄰超像素的Y’的差值的絕對值不大于閾值；
[0026]步驟四、統計合并后超像素的個數N，將[0，255]均分為N等份，得到N個取值區間；
[0027]步驟五、計算合并后超像素區域內Y分量均值Y”，Y”大小排序得到序號N’，根據序號的大小找到步驟四中的對應區間，取區間內一數值作為該超像素的深度值，得到深度圖；
[0028]步驟六、基于深度圖的3D場景繪制方法，進行另一視點視頻或者圖像的繪制，完成空洞填補后，與原始所輸入的視頻聯合輸出成3D視頻或圖像。
[0029]本發明通過分析其場景中物體的三維空間關系，恢復其場景深度信息，并以此進行3D視頻或圖像的生成，通過超像素的方法，減少像素數量，從而提高速度，節省了制作成本與時間。
[0030]下面結合附圖對本發明做進一步的詳細描述:
[0031]如圖1所示，本發明提供一種面向互聯網應用3D視頻/圖像生成方法，其具體包括:
[0032]SlOl、對輸入的2D視頻/圖像進行色彩空間的轉換，得到YUV或YCRCB色彩空間下的圖像；
[0033]YUV是模擬信號的處理方式，YCRCB是數字信號的處理方式。雖然有不同，但是對于Y分量的計算是一樣的。
[0034]S102、計算圖像的Y分量，對Y分量圖像進行超像素分割;每個超像素所包含像素的個數不超過20個。
[0035]像素三個分量的視覺屬性是一致的，人類視覺生理系統對Y分量的敏感程度比其他兩個分量高;所以選擇對Y分量圖像進行超像素分割。超像素分割是將數字圖像細分為多個圖像子區域(像素的集合)(也被稱作超像素)的過程。超像素有一系列位置相鄰且顏色、亮度、紋理等特征相似的像素點組成的小區域。這些小區域大多保留了進一步進行圖像分割的有效信息，且一般不會破壞圖像中物體的邊界信息。圖像分割的結果是圖像上子區域的集合(這些子區域的全體覆蓋了整個圖像)，或是從圖像中提取的輪廓線的集合(例如邊緣檢測)。一個子區域中的每個像素在某種特性的度量下或是由計算得出的特性都是相似的，例如顏色、亮度、紋理。鄰接區域在某種特性的度量下有很大的不同。
[0036]S103、對超像素進行基于鄰域的聚類，計算每一個超像素區域內的Y分量均值Y’；對于相鄰的超像素，根據Y’值的差異性進行合并;其合并的公式是|Yi’-Y2’ I <閾值，滿足要求則進行合并;其中:Yi’、Y2’表示兩個相鄰的超像素；閾值的大小決定了合并后新的超像素所涵蓋的面積大小，同樣也決定了后續計算的復雜度和最終所形成的圖像質量，絕對值越大的閾值將導致超像素面積越大，后續計算復雜度越低，但圖像質量越差;反之，則超像素面積越小，計算復雜度越高，圖像質量越高;一般可取閾值為2。
[0037]S104、統計合并后的超像素的個數為N，將[0，255]均分為N等份，不滿足等分條件的，按下取整方法，比如1.4則為I; 1.9也為I;得到N個取值區間。
[0038]S105、計算合并后超像素區域內Y分量均值Y”，Y”從大到小得到序號N’(也可以從小到大排序)，根據序號的大小找到S104中的對應區間，取區間內某一個值作為該超像素的深度值(取值方法可為中值、均值等任意一種)；從而得到深度圖；
[0039]S106、根據基于深度圖的3D場景繪制方法，進行另一視點視頻或者圖像的繪制；具體繪制方法可為基于深度的圖像繪制方法(即DIBR)，也可以是基于視差的圖像繪制方法；在完成空洞填補后，即可與原始所輸入的視頻聯合輸出成3D視頻或圖像。空洞是指在繪制過程中出現的一種圖像空洞，這是由于整數計算所帶來的問題，也是常見的問題。通常可用均值、中值或者用inpainting方法進行填補。本發明提供了面向互聯網應用3D視頻/圖像生成方法，通過算法在步驟三?五的整合以及步驟五中的深度圖生成辦；，對互聯網的2D視頻或圖像進行基于圖像內容的計算與處理，通過分析其場景中物體的三維空間關系，恢復其場景深度信息，并以此進行3D視頻或圖像的生成，從而避免通過雙目攝像機進行拍攝的3D內容生成方式，通過超像素的方法，減少像素數量，從而提高速度，節省了制作成本與時間。
[0040]以上僅為本發明的優選實施例而已，并不用于限制本發明，對于本領域的技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。
【主權項】
1.一種面向互聯網應用3D視頻/圖像生成方法，其特征在于，包括: 步驟一、對輸入的2D視頻/圖像進行色彩空間的轉換，得到YUV或YCRCB色彩空間下的圖像； 步驟二、計算圖像的Y分量，對Y分量圖像進行超像素分割； 步驟三、計算每個超像素區域內Y分量均值Y’，相鄰的超像素根據Y’值的差異性進行合并;所述相鄰超像素合并的原則為:相鄰超像素的Y’的差值的絕對值不大于閾值； 步驟四、統計合并后超像素的個數N，將[0，255]均分為N等份，得到N個取值區間； 步驟五、計算合并后超像素區域內Y分量均值Y”，Y”大小排序得到序號N’，根據序號的大小找到步驟四中的對應區間，取區間內一數值作為該超像素的深度值，得到深度圖；步驟六、基于深度圖的3D場景繪制方法，進行另一視點視頻或者圖像的繪制，完成空洞填補后，與原始所輸入的視頻聯合輸出成3D視頻或圖像。2.如權利要求1所述的面向互聯網應用3D視頻/圖像生成方法，其特征在于，所述步驟二中，每個超像素所包含像素的個數不超過20個。3.如權利要求1所述的面向互聯網應用3D視頻/圖像生成方法，其特征在于，所述閾值為2。4.如權利要求1所述的面向互聯網應用3D視頻/圖像生成方法，其特征在于，所述步驟四中，將[0，255]均分為N等份，不滿足等分要求的向下取整。5.如權利要求1所述的面向互聯網應用3D視頻/圖像生成方法，其特征在于，所述步驟五中，取區間內的中值或均值作為該超像素的深度值。6.如權利要求1所述的面向互聯網應用3D視頻/圖像生成方法，其特征在于，所述另一視點視頻或者圖像的繪制為:基于深度的圖像繪制或基于視差的圖像繪制。7.如權利要求1所述的面向互聯網應用3D視頻/圖像生成方法，其特征在于，所述空洞用均值、中值或者inpainting方法進行填補。
【專利摘要】本發明公開了一種面向互聯網應用3D視頻/圖像生成方法，包括：對2D視頻/圖像進行色彩的轉換，計算YUV或YCRCB圖像的Y分量，對Y分量圖像進行超像素分割；計算每個超像素區域內Y分量均值Y’，相鄰的超像素根據Y’值的差異性進行合并；統計合并后超像素的個數N，將[0,255]均分為N等份，得到N個取值區間；合并后超像素均值大小排序得到序號N’，根據序號的大小找到對應區間，取區間內一數值作為深度值，得到深度圖；進行另一視點視頻或者圖像的繪制，與原始所輸入的視頻聯合輸出成3D視頻或圖像。本發明通過分析其場景中物體的三維空間關系，恢復其場景深度信息，并以此進行3D視頻或圖像的生成，提高速度，節省了制作成本與時間。
【IPC分類】H04N13/00
【公開號】CN105611273
【申請號】CN201511028125
【發明人】楊鈾, 朱光喜
【申請人】武漢鴻瑞達信息技術有限公司
【公開日】2016年5月25日
【申請日】2015年12月31日