專利名稱：一種交互式立體視頻關鍵幀的制作方法及制作裝置的制作方法
技術領域：
本發明涉及計算機圖像處理技術領域，特別涉及一種交互式立體視頻關鍵幀的制作方法及一種交互式立體視頻關鍵幀的制作裝置。
背景技術：
立體視頻作為當前影視作品的一種重要表現形式，被廣泛認為是影視行業的未來主要發展方向。立體視頻的顯示效果層次分明、色彩鮮艷，具有很強的視覺沖擊力，給觀眾留下深刻的印象。此外，立體視頻的顯示效果更具真實感，場景與人物栩栩如生，給觀眾強烈的身臨其境的感覺，具有很高的藝術欣賞價值。正因為立體視頻具有這些平面視頻所不具備的特點，所以在諸如終端顯示、機器人導航、航空航天、軍事訓練、醫療教育、游戲傳媒等領域具有廣闊的市場前景和商業價值。立體視頻作為視覺信息的一種重要的表示方式，特別涉及計算機視覺、圖像視頻處理、模式識別等領域。長期以來，立體視頻的制作方式可以分為三種第一種方式是直接使用立體攝像機進行拍攝。這種方式需要采用專業的立體視頻拍攝設備及完整的后期處理流水線，成本高昂。與此同時，立體攝像機拍攝時需要在不同視角間進行匹配校準，對拍攝環境及攝像機運動都有著一定的限制，這些都在很大程度上制約了采用立體攝像機直接拍攝這種方式的普及。第二種方式是利用三維建模軟件制作立體視頻，這種方式可以生成基于任意場景的立體視頻，但是需要專業人員花費大量精力對場景、對象進行建模，其經濟成本和時間成本令人望而卻步。第三種方式是利用平面視頻立體化技術，直接將平面視頻轉換為立體視頻。這種方式的成本比前兩種方式低很多，而且可以將任何一組現有的平面視頻轉換為對應的立體視頻。考慮到現有平面視頻的大量資源，如能將其轉換為立體視頻，不僅可以獲得更好的觀賞體驗，還可以推進以立體電視、立體影院為代表的立體顯示技術的推廣普及。當前基于人機交 互的平面視頻立體化技術可分為關鍵幀制作、非關鍵幀擴散和基于深度圖的渲染三個階段。在關鍵幀制作階段中，通過引入人工操作生成高精度的關鍵幀深度圖。在非關鍵幀制作階段中，利用深度傳播算法將關鍵幀的深度圖擴散到非關鍵幀，得到整個平面視頻序列的深度圖。在基于深度圖的渲染階段中，根據平面視頻序列及其對應的深度圖，采用基于深度圖的渲染算法(DIBR算法)，生成對應的立體視頻。在平面視頻立體化技術的三個階段中，關鍵幀制作是第一個也是最重要的一個階段，只有在關鍵幀深度圖精度較高的情況下，才能夠擴散生成高精度的非關鍵幀深度圖，進而得到高質量的立體視頻。關鍵幀制作可以分為圖像分割和深度賦值兩個階段。傳統的圖像分割方法將圖像進行0-1 二值分割，即圖像中的像素點只能屬于前景或屬于背景。然而，這類方法得到的分割結果邊緣較為生硬，特別是當圖像中存在物體前后遮擋或存在較細小的毛發邊緣等情況時，分割邊緣出現錯誤的現象更為明顯。分割結果的不準確直接導致深度賦值的不準確，影響了關鍵幀深度圖的質量，并最終導致生成的立體視頻中存在物體邊緣抖動等明顯瑕疵。這些瑕疵會引起立體視頻觀看者的不適感，在一定程度上限制了平面視頻立體化技術的推
廣普及。
發明內容
本發明的目的旨在至少解決上述的技術缺陷之一。為此，本發明的一個目的在于提出一種交互式立體視頻關鍵幀的制作方法，該制作方法降低了立體視頻的制作成本，提高了立體視頻關鍵幀制作的速度和精度，消除了傳統制作方式引起的邊緣抖動現象及觀看者的不適感，提高了平面視頻立體化轉換的效率。本發明的另一個目的在于提出一種交互式立體視頻關鍵幀的制作裝置。為達到上述目的，本發明的一方面實施例提出了一種交互式立體視頻關鍵幀的制作方法，包括如下步驟Si，獲取圖片序列并選定所述圖片序列中的關鍵幀，以及對所述關鍵幀進行圖像去噪后調用κ-means聚類算法將圖像去噪后的關鍵幀中相似的像素點合并成區域，記錄區域信息；S2，計算每個區域分配權值，并根據所述區域分配權值調用GrpahCut算法對關鍵幀進行區域分割以獲得區域分割結果；S3，根據所述區域分割結果進行圖像膨脹操作和圖像腐蝕操作以構造關鍵幀的三分圖，并調用貝葉斯摳圖算法以獲得精
細化分割的結果；S4，根據所述精細化分割的結果構造圖像前景區域和圖像背景區域并分別進行深度賦值，以及將前景深度圖和背景深度圖進行融合以獲得關鍵幀深度圖進行輸出。根據本發明實施例的交互式立體視頻關鍵幀的制作方法，能夠逐步求精的進行圖像分割操作，快速生成高精度的分割結果，還能夠方便的進行前景與背景的深度賦值，得到高質量的關鍵幀深度圖，從而降低了立體視頻的制作成本，提高了立體視頻關鍵幀制作的速度和精度，提高了平面視頻立體化轉換的效率。在本發明的一個實施例中，在所述步驟SI中，還包括采用高斯濾波算法對所述關鍵幀進行圖像去噪。在本發明的一個實施例中，所述區域分配權值包括區域連接權值和區域標記權值，所述區域標記權值包括前景標記權值和背景標記權值。在本發明的一個實施例中，所述步驟S3進一步包括如下步驟讀入所述區域分割結果并將其轉換為單通道八位標記圖像，以及保存至少兩份標記圖像的副本；在所述至少兩份標記圖像的副本中的一個副本上進行圖像膨脹操作，并在所述至少兩份標記圖像的副本中的另一個副本上進行圖像腐蝕操作；根據圖像膨脹操作結果和圖像腐蝕操作結果構造關鍵幀的三分圖；將關鍵幀圖像和所述三分圖作為輸入參數，調用貝葉斯摳圖算法以獲得精細化分割的結果，其中，所述精細化分割的結果以alpha通道的形式進行保存。在本發明的一個實施例中，在所述步驟S4中，還包括通過繪制的方式或模型的方式進行所述深度賦值，其中，深度賦值模型包括單一深度模型、線性漸變深度模型、球形漸變深度模型。本發明進一步實施例提出的交互式立體視頻關鍵幀的制作裝置包括預處理模塊，用于獲取圖片序列并對選定的所述圖片序列中的關鍵幀進行圖像去噪，以及通過調用K-means聚類算法將圖像去噪后的關鍵幀中相似的像素點合并成區域，并記錄區域信息；區域分割模塊，用于計算每個區域分配權值，并根據所述區域分配權值調用GrpahCut算法對關鍵幀進行區域分割以獲得區域分割結果；精細化分割模塊，用于根據所述區域分割結果進行圖像膨脹操作和圖像腐蝕操作以構造關鍵幀的三分圖，并調用貝葉斯摳圖算法以獲得精細化分割的結果；深度賦值模塊，用于根據所述精細化分割的結果構造圖像前景區域和圖像背景區域并分別進行深度賦值，以及將前景深度圖和背景深度圖進行融合以獲得關鍵幀深度圖進行輸出。根據本發明實施例的交互式立體視頻關鍵幀的制作裝置，通過區域分割模塊和精細化分割模塊逐步求精的進行圖像分割操作，快速生成高精度的分割結果，還能夠方便的進行前景與背景的深度賦值，得到高質量的關鍵幀深度圖，從而降低了立體視頻的制作成本，提聞了立體視頻關鍵巾貞制作的速度和精度，進而提聞了平面視頻立體化轉換的效率。在本發明的一個實施例中，所述預處理模塊采用高斯濾波算法對所述關鍵幀進行圖像去噪。在本發明的一個實施例中，所述區域分配權值包括區域連接權值和區域標記權值，所述區域標記權值包括前景標記權值和背景標記權值。在本發明的一個實施例中，所述精細化分割的結果以alpha通道的形式進行保存。在本發明的一個實施例中，所述深度賦值模塊通過繪制的方式或模型的方式進行所述深度賦值，其中，深度賦值模型包括單一深度模型、線性漸變深度模型、球形漸變深度模型。本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。
本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變得明顯和容易理解，其中圖1為根據本發明一個實施例的交互式立體視頻關鍵幀的制作方法的流程圖；圖2為根據本發明的交互式立體視頻關鍵幀的預處理過程的流程圖；圖3為根據本發明的交互式立體視頻關鍵幀的區域分割過程的步驟圖；圖4為根據本發明的交互式立體視頻關鍵幀的精細化分割的步驟圖；圖5為根據本發明的交互式立體視頻關鍵幀的深度賦值過程的步驟圖；圖6為根據本發明一個實施例的交互式立體視頻關鍵幀的制作裝置的方框圖；以及圖7為根據本發明的交互式立體視頻關鍵幀的制作裝置的技術方案流程框圖。
具體實施例方式下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發明，而不能解釋為對本發明的限制。下文的公開提供了許多不同的實施例或例子用來實現本發明的不同結構。為了簡化本發明的公開，下文中對特定例子的部件和設置進行描述。當然，它們僅僅為示例，并且目的不在于限制本發明。此外，本發明可以在不同例子中重復參考數字和/或字母。這種重復是為了簡化和清楚的目的，其本身不指示所討論各種實施例和/或設置之間的關系。此夕卜，本發明提供了的各種特定的工藝和材料的例子，但是本領域普通技術人員可以意識到其他工藝的可應用于性和/或其他材料的使用。另外，以下描述的第一特征在第二特征之“上”的結構可以包括第一和第二特征形成為直接接觸的實施例，也可以包括另外的特征形成在第一和第二特征之間的實施例，這樣第一和第二特征可能不是直接接觸。在本發明的描述中，需要說明的是，除非另有規定和限定，術語“安裝”、“相連”、“連接”應做廣義理解，例如，可以是機械連接或電連接，也可以是兩個元件內部的連通，可以是直接相連，也可以通過中間媒介間接相連，對于本領域的普通技術人員而言，可以根據具體情況理解上述術語的具體含義。參照下面的描述和附圖，將清楚本發明的實施例的這些和其他方面。在這些描述和附圖中，具體公開了本發明的實施例中的一些特定實施方式，來表示實施本發明的實施例的原理的一些方式，但是應當理解，本發明的實施例的范圍不受此限制。相反，本發明的實施例包括落入所附加權利要求書的精神和內涵范圍內的所有變化、修改和等同物。下面參照附圖對本發明實施例提出的交互式立體視頻關鍵真的制作方法及制作裝置進行描述。如圖1所示，本發明實施例提出的交互式立體視頻關鍵真的制作方法包括如下步驟 步驟SI，獲取圖片序列并選定圖片序列中的關鍵幀，以及對關鍵幀進行圖像去噪后調用K-means聚類算法將圖像去噪后的關鍵幀中相似的像素點合并成區域，記錄區域信
肩、O在本發明的一個實施例中，在步驟SI中，還包括采用高斯濾波算法對關鍵幀進行圖像去噪。由此，減弱圖像噪聲對K-means聚類算法的影響。具體地，步驟SI為交互式立體視頻關鍵幀的制作方法中的預處理過程，進一步包括如圖2所示步驟步驟S201，獲取圖片序列。人工選定關鍵幀，可以選擇圖像序列中那些存在鏡頭切換或是物體運動變化中關鍵動作所處的那一幀作為關鍵幀。步驟S202，圖像去噪。對選定的圖片序列的關鍵幀進行圖像去噪以減弱圖像噪聲對后續算法的影響。在本發明的一個實施例中，采用高斯濾波算法進行圖像去噪操作。步驟S203至步驟S205是K-means聚類算法，其作用是把圖像中的像素點按照(X，y, r, g, b)五維空間坐標(像素位置坐標和顏色空間坐標)進行聚類，為后續步驟S206的區域生成做鋪墊。步驟S203，設置初始聚類中心。在本發明的一個示例中，按照固定的長度和寬度將圖像分成若干個矩形方塊，計算每個矩形方塊中所有像素點的五維空間坐標平均值作為初始聚類中心。若圖像的長度/寬度無法被矩形方塊的長度/寬度整除，則把相除后的余數作為最后一個矩形方塊的長度/寬度。步驟S204，將像素點按照五維空間坐標聚類。對于圖像中的任意像素點，計算該點與其搜索范圍內的各個聚類中心的五維空間距離，并將其歸類于距離最近的聚類中心所屬的類別。
五維空間距離的計算公式如下distc-. = ^(Rp-Rsf+(Gp-Gs)+(Bp-Bs)distpos = ^(Xp-XsJ+ (Yp-YsJdistps = ^distlolor+(JiSl2posmin— distP = min (Jislps其中，(Xp, Yp, Rp, Gp, Bp)和(Xs，Ys, Rs, Gs, Bs)分別為像素點p和聚類中心s的五維空間坐標；distMlOT為像素點P與聚類中心s的顏色空間距離；distp()S為像素點P與聚類中心S的位置距離；distps為像素點P與聚類中心S的五維空間距離；min_distp為像素點p與聚類中心s的最小五維空間距離。更新聚類中心的信息，統計每一類別所包括的像素點，計算該類別中五維空間坐標的平均值作為新的聚類中心坐標。步驟S205，判斷是否達到聚類結束的條件。首先計算圖像中像素點距離聚類中心的最小五維空間距離之和
權利要求
1.一種交互式立體視頻關鍵幀的制作方法，其特征在于，包括如下步驟 Si，獲取圖片序列并選定所述圖片序列中的關鍵幀，以及對所述關鍵幀進行圖像去噪后調用K-means聚類算法將圖像去噪后的關鍵幀中相似的像素點合并成區域，記錄區域信息； S2，計算每個區域分配權值，并根據所述區域分配權值調用GrpahCut算法對關鍵幀進行區域分割以獲得區域分割結果； S3，根據所述區域分割結果進行圖像膨脹操作和圖像腐蝕操作以構造關鍵幀的三分圖，并調用貝葉斯摳圖算法以獲得精細化分割的結果； S4，根據所述精細化分割的結果構造圖像前景區域和圖像背景區域并分別進行深度賦值，以及將前景深度圖和背景深度圖進行融合以獲得關鍵幀深度圖進行輸出。
2.如權利要求1所述的交互式立體視頻關鍵幀的制作方法，其特征在于，在所述步驟SI中，還包括 采用高斯濾波算法對所述關鍵幀進行圖像去噪。
3.如權利要求1所述的交互式立體視頻關鍵幀的制作方法，其特征在于，所述區域分配權值包括區域連接權值和區域標記權值，所述區域標記權值包括前景標記權值和背景標記權值。
4.如權利要求1所述的交互式立體視頻關鍵幀的制作方法，其特征在于，所述步驟S3進一步包括如下步驟 讀入所述區域分割結果并將其轉換為單通道八位標記圖像，以及保存至少兩份標記圖像的副本； 在所述至少兩份標記圖像的副本中的一個副本上進行圖像膨脹操作，并在所述至少兩份標記圖像的副本中的另一個副本上進行圖像腐蝕操作； 根據圖像膨脹操作結果和圖像腐蝕操作結果構造關鍵幀的三分圖； 將關鍵幀圖像和所述三分圖作為輸入參數，調用貝葉斯摳圖算法以獲得精細化分割的結果，其中，所述精細化分割的結果以alpha通道的形式進行保存。
5.如權利要求1所述的交互式立體視頻關鍵幀的制作方法，其特征在于，在所述步驟S4中,還包括 通過繪制的方式或模型的方式進行所述深度賦值，其中，深度賦值模型包括單一深度模型、線性漸變深度模型、球形漸變深度模型。
6.一種交互式立體視頻關鍵幀的制作裝置，其特征在于，包括 預處理模塊，用于獲取圖片序列并對選定的所述圖片序列中的關鍵幀進行圖像去噪，以及通過調用K-means聚類算法將圖像去噪后的關鍵幀中相似的像素點合并成區域，并記錄區域信息； 區域分割模塊，用于計算每個區域分配權值，并根據所述區域分配權值調用GrpahCut算法對關鍵幀進行區域分割以獲得區域分割結果； 精細化分割模塊，用于根據所述區域分割結果進行圖像膨脹操作和圖像腐蝕操作以構造關鍵幀的三分圖，并調用貝葉斯摳圖算法以獲得精細化分割的結果； 深度賦值模塊，用于根據所述精細化分割的結果構造圖像前景區域和圖像背景區域并分別進行深度賦值，以及將前景深度圖和背景深度圖進行融合以獲得關鍵幀深度圖進行輸出。
7.如權利要求6所述的交互式立體視頻關鍵幀的制作裝置，其特征在于，所述預處理模塊采用高斯濾波算法對所述關鍵幀進行圖像去噪。
8.如權利要求6所述的交互式立體視頻關鍵幀的制作裝置，其特征在于，所述區域分配權值包括區域連接權值和區域標記權值，所述區域標記權值包括前景標記權值和背景標記權值。
9.如權利要求6所述的交互式立體視頻關鍵幀的制作裝置，其特征在于，所述精細化分割的結果以alpha通道的形式進行保存。
10.如權利要求6所述的交互式立體視頻關鍵幀的制作裝置，其特征在于，所述深度賦值模塊通過繪制的方式或模型的方式進行所述深度賦值，其中，深度賦值模型包括單一深度模型、線性漸變深度模型、球形漸變深度模型。
全文摘要
本發明公開了一種交互式立體視頻關鍵幀的制作方法及制作裝置，其制作方法包括如下步驟獲取圖片序列并選定圖片序列中的關鍵幀，以及對關鍵幀進行圖像去噪后調用K-means聚類算法將關鍵幀中相似的像素點合并成區域，記錄區域信息；計算每個區域分配權值，并根據區域分配權值調用GrpahCut算法對關鍵幀進行區域分割以獲得區域分割結果；根據區域分割結果進行圖像膨脹和腐蝕操作以構造關鍵幀的三分圖，并調用貝葉斯摳圖算法以獲得精細化分割結果；根據精細化分割結果構造圖像前景和背景區域并分別進行深度賦值，以及將前景和背景深度圖進行融合以獲得關鍵幀深度圖進行輸出。該制作方法降低了關鍵幀的制作成本，且制作速度和精度高。
文檔編號H04N13/00GK103051915SQ201310013059
公開日2013年4月17日 申請日期2013年1月14日 優先權日2013年1月14日
發明者戴瓊海, 李振堯 申請人:清華大學