一種基于全概率模型的多視點深度圖增強系統的制作方法
【專利摘要】本發明實施例公開了一種基于全概率模型的多視點深度圖增強系統。該系統包括如下步驟：圖像預處理步驟：將像素矢量聚合為超像素矢量；顏色信息分類步驟：使用狄利克雷混合模型模擬超像素矢量分布，并運用變分法估測模型參數，得出超像素矢量的概率密度函數，根據概率進行分類；深度信息分類和增強步驟：基于顏色信息分類結果，使用高斯混合模型模擬深度圖像素矢量分布，并運用變分法估計模型參數，根據所得概率密度函數對深度圖像素進行細分，將各像素深度值更新為所在類內深度均值，完成深度圖增強。利用本發明實施例，能夠得到層次更加清晰，結構更加緊湊的深度圖，從而提高基于深度繪制的多視點圖像合成質量，具有很大的實用價值。
【專利說明】一種基于全概率模型的多視點深度圖增強系統
【技術領域】
[0001] 本發明涉及多視點圖像合成方法的改善，著重描述了一種基于全概率模型的深度 圖增強系統，從而達到提高多視點圖像合成質量的目的。
【背景技術】
[0002] 隨著3D技術逐漸走入人們的生活，多視點視頻作為一種應運而生的新興數字媒 體越來越受到大家的關注。多視點視頻是通過在一個場景不同視角放置多臺攝像機，可以 更加真實、生動的還原場景，為用戶提供交互式操作功能。但若想將這種3D視頻表示方法 應用到諸如自由視點電視（FTV)，遠程醫療，交融式會議電視等多媒體業務中，圖像質量，視 頻連貫性等還需要達到更高標準。
[0003] 由于拍攝現場的攝像機數目限制，我們只能從有限的視角獲取圖景信息，若想流 暢展示物體的全部視角，需要我們進行多視點圖像合成。多視點圖像合成大致分為三個步 驟：圖像的預處理、圖像信息的處理與聚類、圖像合成。其中，如何利用有限的信息以及如何 有效的處理信息對多視點圖像的合成質量有決定性作用。在數字圖像處理中，圖像的顏色 作為最重要的視覺特征之--直被廣泛應用。K-means算法作為一種簡單的聚類方法常被 用于圖像顏色信息的分割聚類。這一聚類方法雖然簡單，但未能考慮像素間的關聯性，且需 要在聚類前確定聚類數目。因此，我們需要探索一種更高效的方法對圖像的顏色信息進行 聚類。
[0004] 近年來，在圖像合成過程中除了運用圖像所包含的顏色信息，能夠提供幾何信息 的深度圖也開始得到廣泛關注。深度圖可以用一個二維矩陣表示，矩陣中每個像素值表示 的是場景中各點與攝像機的距離。相比于2D的普通圖像，深度信息可用于對場景內的物體 進行更加精確的區分。然而，在多數研究中，深度圖常用立體匹配算法進行估計，忽視了像 素間的連續性，層次模糊的深度圖可能會給圖像合成造成負面影響。因此，如何充分利用圖 像信息對深度圖進行增強，即得到分布更加緊湊、層次更加清晰的深度圖，對基于深度的圖 像繪制結果具有重要意義。
[0005] 另外，3D圖像的合成需要對海量圖片進行處理，加之圖像高清化、超清化的趨勢， 如何對原圖像進行預處理，從而迅速高效的進行圖像合成，對于多視點視頻的流暢性也具 有十分重要的意義。
【發明內容】
[0006] 為了解決基于深度的圖像繪制技術中所使用的深度圖連續性缺陷以及層次模糊 的問題，本發明提供一種以基于全概率模型的深度圖增強系統，改善了合成效果。
[0007] 為達到上述目的，本發明提出的基于全概率模型的多視點深度圖增強系統包括下 列步驟：
[0008] 步驟一.圖像預處理步驟：針對高清（超清）圖片包含的龐大像素數量，對原始圖 像進行超像素聚類，降低圖像處理的計算復雜度；
[0009]步驟二.顏色信息聚類步驟：有效的顏色信息聚類是深度圖增強的基礎，本文使 用狄利克雷混合模型（DMM-Dirichlet mixture model)逼近三維超像素向量的分布，并運 用變分貝葉斯方法（VB-Variational Bayes)估計模型參數，從而獲得作為顏色聚類依據的 責任矩陣R ;
[0010] 步驟三.深度信息聚類及增強步驟：
[0011] A、深度信息聚類步驟：在顏色信息聚類結果的基礎上，按照各像素的深度值再細 分出不同子類，此處對一維深度像素矢量用貝塔混合模型（BMM-Beta Mixture Model)建 模；
[0012] B、深度圖增強步驟：計算步驟A中所得子類內像素矢量的深度均值，更新原始深 度值，最終完成深度圖的增強，得到層次更加清晰，結構更加緊湊的深度圖。
[0013] 在步驟一所述的圖像預處理步驟中，可選用K-means，SLIC(Simple-Linear_Itera tive-Clustering)等聚類方法將相似度高的像素聚合為超像素，便于對圖像的進一步處 理。
[0014] 在步驟二所述顏色信息聚類步驟中，對三維超像素矢量用狄利克雷混合模型進行 逼近，并運用變分推斷法估計分布參數，從而計算出像素矢量的概率密度，得到作為聚類依 據的責任矩陣R。此步驟具體過程如下：
[0015] 1)對步驟一所得三維超像素矢量Sm歸一化，得到三維向量xk，
【權利要求】
1. 一種基于全概率模型的多視點深度圖增強系統，其特征在于，包括以下步驟： 步驟一.圖像預處理步驟：針對高清（超清）圖片包含的龐大像素數量，對原始圖像進 行超像素聚類，降低圖像處理的計算復雜度； 步驟二.顏色信息聚類步驟：有效的顏色信息分類是深度圖增強的基礎，本文使用狄 利克雷混合模型（DMM-Dirichletmixturemodel)逼近三維超像素向量的分布，并運用變 分貝葉斯方法（VB-VariationalBayes)估計模型參數，從而獲得作為顏色分類依據的責任 矩陣R; 步驟三.深度信息聚類及增強步驟： A、 深度信息聚類步驟：在顏色信息分類結果的基礎上，按照各像素的深度值再細分出 不同子類，此處對一維深度像素矢量用貝塔混合模型（BMM-BetaMixtureModel)建模； B、 深度圖增強步驟：計算步驟A中所得子類內像素矢量的深度均值，更新原始深度值， 最終完成深度圖的增強，得到層次更加清晰，結構更加緊湊的深度圖。
2. 如權利要求1所述的一種基于全概率模型的多視點深度圖增強系統，其特征在于， 步驟二所述的顏色信息聚類步驟為： 1) 對步驟一所得三維超像素矢量Sm歸一化，得到三維向量xk，=丨人=3: 2) 用狄利克雷混合模型對超像素向量進行建模，模型表示為： -T(Y1iUk)K DHSmIW，uk>0; nk=1r(uk)k=i 結合變分推斷法估計模型參數，得到超像素矢量的概率密度函數： M ? Zi(^in5LZ)=FlViTr iDir ?0<^<1； W=1 /=1 3) 根據概率密度函數的到責任矩陣R，，其中，f=[#,...,心丫中 各元素表示超像素Sm屬于第i類的概率，判定依據如下：
3. 如權利要求1所述的一種基于全概率模型的多視點深度圖增強系統，步驟A所述的 深度信息聚類步驟以顏色信息聚類結果為基礎，進行基于深度信息的子類劃分；鑒于深度 信息為一維向量且其值有界（如：分布在〇?255區間），可以用貝塔混合模型對其進行建 模，此步驟具體過程如下： 1) 將與顏色像素矢量Vnr位置對應的深度矢量dm做同樣聚類，第i深度簇表示為 D1. ； 2) 用貝塔混合模型對深度矢量dm建模，并運用變分法估計模型參數，從而得到深度矢 量概率密度函數為：
其中，Φω表示第i深度類的類內像素索引序號；τ= [T1,...，τJt表示貝塔混合 模型各部分的權值；模型參數μPA1等可由變分法估計獲得； 從而可通過概率密度函數得到作為深度信息聚類依據的責任矩陣： κ{η)-ΚοΧΦ- >Γ=?^\...4Γ]Γ·^ 其中，元素表示深度矢量4屬于子類1的概率，把第i簇內深度矢量歸為第1類的 依據為：
4.如權利要求1所述的一種基于全概率模型的多視點深度圖增強系統，步驟B所述的 深度圖增強步驟為： 1) 計算深度圖子類內的深度均值，其計算公式為：
其中，Y(il)表示深度矢量的索引序號，Γν(Λ)表示深度矢量V屬于第1子類的概率； 2) 得到各深度簇深度均值后，將各深度矢量值更新為所在子類深度均值，從而完成深 度圖增強。
【文檔編號】H04N13/00GK104320649SQ201410612458
【公開日】2015年1月28日 申請日期:2014年11月4日 優先權日:2014年11月4日
【發明者】馬占宇, 黃迪 申請人:北京郵電大學