專利名稱：一種交互式多視點視頻系統中虛擬視點的合成方法
技術領域：
本發明涉及一種交互式多視點視頻系統中虛擬視點的合成方法，尤其涉及一種用于用戶自主選擇視點時視點切換過程視頻圖像生成方法的設計，屬于信息傳播技術領域。
背景技術：
多視點視頻是視頻處理的新興領域。在這個領域中，單路視頻源被環繞場景的拍攝的多路視頻取代。多視點視頻能夠提供用戶與場景的交互能力，即用戶可以自主選擇觀察角度以獲得更好的觀看效果。虛擬視點是指在用戶切換實際視點的過程中經過的沒有實際攝像機拍攝的視點。依靠實際視點拍攝的視頻生成虛擬視點的視頻圖像，達到視點平滑切換的目的成為目前多視點視頻領域的重要問題。由于多視點視頻系統中存在的攝像機數量多、相鄰攝像機拍攝夾角大，傳統合成方法在處理多視點視頻合成問題時，存在著計算量大，處理攝像機夾角小和視頻質量差的問題，限制了這些方法的實用性和應用場景。
發明內容
本發明的目的是提出一種交互式多視點視頻系統中虛擬視點的合成方法，通過對前景圖像的特征點提取和跟蹤建立圖像的對應關系；根據對應特征點進行視頻對象的三角剖分；通過插值運算得到虛擬視點的視頻前景圖像；對于背景圖像使用全景圖生成方法得到拍攝場景背景的全景圖；最后將前后景圖像融合得到虛擬視點對應的虛擬圖像。
本發明提出的交互式多視點視頻系統中虛擬視點的合成方法，包括以下步驟(1)視頻系統根據用戶交互觀看視頻的請求，確定過渡視頻圖像質量的參數，進而確定相鄰實際視點間需要插進的圖像幀數，并確定用戶當前的視點序號以及視角切換后的視點序號，進而計算視角切換所經過的實際視點的數量及其序號；(2)根據上述實際視點的序號讀取各路實際視頻當前時間點的視頻幀并存儲；(3)將上述實際視點的各視頻幀分割成前景和背景圖像，并按上述實際視點的序號依次分別存儲；(4)利用上述背景圖像得到背景的全景圖像；(5)利用前景圖像，得到前景的灰度圖像，并對其進行中值濾波，去除噪聲；(6)從上述濾波后的前景灰度圖像中提取圖像特征，并建立其與相鄰實際視點拍攝的圖像特征之間的對應關系；
(7)根據上述對應關系，對相鄰實際視點的圖像進行三角剖分，并根據三角剖分結果和上述插值幀數，在兩個相鄰實際視點之間進行插值運算，得到虛擬視點前景圖像；(8)將上述虛擬視點前景圖像與背景的全景圖像進行疊加，得到虛擬視點圖像。
上述方法中，將實際視點的各視頻幀分割成前景和背景圖像，包括以下步驟(1)對實際視點的多幀視頻進行差值計算和平滑濾波，獲得視頻對象的大致區域；(2)對上述大致區域進行形態處理，構造視頻對象的內外邊界；(3)通過多值水線分割算法提取對象邊界。
上述方法中，從濾波后的前景灰度圖像中提取圖像特征，并建立其與相鄰實際視點拍攝的圖像特征之間的對應關系的方法，包括以下步驟(1)計算前景灰度圖像中所有象素對應矩陣A=ΣwIx2IxIyIxIyIx2]]>的特征值，λ1和λ2，且λ1大于λ2，其中A表示二階矩陣，w表示搜索窗口，I表示提取特征的圖像，IX＝I/x，IY＝I/y，x和y分別表示圖像的水平和豎直方向；(2)根據上述每個象素的二階矩陣特征值中較小的一個λ2，將圖像中的所有象素做降序排序；(3)根據上述圖像質量參數，從上述排序的象素中選取前n個象素作為圖像特征，并存儲特征的圖像位置信息和順序編號；(4)根據上述圖像特征，在與其相鄰的實際視點的前景圖像中進行窗口匹配搜索，設定一個窗口誤差域值，選取窗口匹配誤差最小并且低于誤差閾值的象素作為與上述圖像特征相對應的特征，并存儲其位置信息和對應特征編號，對該特征作成功標記，對窗口誤差值高于閾值的象素，作失敗標記；(5)重復步驟(4)，直到所有特征都打上標記；(6)對上述標記失敗的圖像特征，根據實際視點視頻編碼中的運動向量做步驟(2)；得到最終的對應特征集合。
上述方法中，對相鄰實際視點的圖像進行三角剖分的方法，包括以下步驟(1)計算前景灰度圖像中每兩個圖像特征點之間的距離，并排序得到距離的最大值和最小值；(2)將上述最大值和最小值之差除以一個定值，得到搜索步長；(3)從圖像中兩點之間距離最小的任意一點出發，以上述搜索步長為初始半徑的循環搜索，每個循環的搜索半徑增加一個搜索步長，對搜索范圍內的點進行三點共線判斷，若共線則繼續搜索，直至找到形成三角形的點，將該三個點標記為入選，并存儲三角形序號和三個點的特征序號；(4)從上述找到的形成三角形的點出發，重復步驟(3)，直到所有的點都標記成入選；(5)按三角形重心的坐標大小，對上述所有形成的三角形進行升序排序，生成三角形列表。
上述方法中，在兩個相鄰實際視點之間進行插值運算，得到虛擬視點前景圖像的方法，包括以下步驟(1)根據虛擬視點與相鄰兩個實際視點的距離大小的比例關系，確定虛擬視點圖像的插值權重；(2)計算所有虛擬視點圖像與相鄰兩個實際視點圖像的剖分三角形之間的變換矩陣；(3)對每個虛擬視點中的象素，從上述三角形列表中尋找相應的三角形序號；(4)從上述三角形之間的變換矩陣中選擇與上述三角形序號相對應的變換矩陣，并將虛擬視點中象素的仿射坐標分別乘以該變換矩陣，得到對應的相鄰實際視點圖像中的象素坐標；(5)讀取相鄰實際視點圖像中的象素坐標對應的顏色信息，根據上述插值權重計算虛擬視點中象素的顏色值；(6)重復步驟(4)和(5)，計算虛擬視點圖像中所有象素的顏色值。
上述方法中，將虛擬視點前景圖像與背景的全景圖像進行疊加，得到虛擬視點圖像的方法，包括以下步驟(1)根據上述虛擬視點前景圖像的插值權重，計算背景全景圖中對應的背景窗口位置；(2)在上述位置的窗口的背景圖像上疊加對應的虛擬視點前景圖像，得到虛擬視點圖像；(3)在上述疊加的虛擬視點圖像上前景與背景的交接處，進行五階高斯濾波，得到最終的合成視頻圖像。
本發明提出的一種交互式多視點視頻系統中虛擬視點的合成方法，用于生成用戶切換視點過程中的中間過渡視頻序列，使得用戶在觀看視點切換的過程中得到平滑過渡的視覺效果。主要的優勢在于低計算量，實時合成的可能性，較好的視頻質量和算法使用現有硬件設備的良好接口。使用相鄰攝像機視頻流建立不完全三維結構關系來取代三維模型；并且通過提取并跟蹤特征的方式來建立兩個視頻流之間的對應關系，可以不需要精確的攝像機標定方法，只要求攝像機的擺放是在同一水平線上并且是距離視頻場景中的主要前景物體大致一樣，搜索特征的時候不用考慮攝像機的旋轉變化，降低搜索的復雜度。這種搜索和跟蹤特征的方法可以處理25到30度攝像機夾角的拍攝圖像。
具體實施例方式
本發明提出的交互式多視點視頻系統中虛擬視點的合成方法，首先視頻系統根據用戶交互觀看視頻的請求，確定過渡視頻圖像質量的參數，進而確定相鄰實際視點間需要插進的圖像幀數，并確定用戶當前的視點序號以及視角切換后的視點序號，進而計算視角切換所經過的實際視點的數量及其序號；根據實際視點的序號讀取各路實際視頻當前時間點的視頻幀并存儲；將實際視點的各視頻幀分割成前景和背景圖像，并按上述實際視點的序號依次分別存儲；利用背景圖像得到背景的全景圖像；利用前景圖像，得到前景的灰度圖像，并對其進行中值濾波，去除噪聲；從濾波后的前景灰度圖像中提取圖像特征，并建立其與相鄰實際視點拍攝的圖像特征之間的對應關系；根據對應關系，對相鄰實際視點的圖像進行三角剖分，并根據三角剖分結果和上述插值幀數，在兩個相鄰實際視點之間進行插值運算，得到虛擬視點前景圖像；將虛擬視點前景圖像與背景的全景圖像進行疊加，得到虛擬視點圖像。
以下詳細介紹本發明的內容本發明的方法，首先由交互式多視點視頻系統接受用戶發送的變換視點位置的請求，請求中包括過渡視頻圖像質量參數和用戶當前的視點序號M以及視角切換后的視點序號N，上述過渡視頻圖像質量參數提供高質量圖像和低質量圖像兩種選擇，分別對應相鄰實際視點間需要插進的圖像幀數為20幀和10幀，上述M-N+1為變換視點位置所經過的實際視點數量，其序號為包含在M和N之間的所有自然數。
根據上述實際視點的序號讀取各路實際視頻當前時間點的視頻幀并存儲；將上述實際視點的各視頻幀分別與其所在實際視點的前一幀視頻進行差值計算和平滑濾波，獲得視頻對象的大致區域，進而進行形態處理構造視頻對象的內外邊界，改進的多值水線分割算法精確提取對象邊界，即對內外邊界區域內的圖像進行平滑消除噪聲，使得屬于同一物體區域的像素點平滑，并且使區域與區域之間的邊界得到保持，從內外邊界向區域內部進行區域擴張，當內邊界擴張區域和外邊界擴張區域相交時，相交的邊界就是前景和背景圖像的分割邊界，并按上述實際視點的序號依次分別存儲。
對于上述背景圖像，以序號最小的圖像為基準圖像，其坐標原點作為全景圖的坐標原點，其他序號的圖像分別計算相對于基準圖像的全局運動參數，并根據上述全局運動參數計算其所有象素的全景圖坐標，進而拼接成背景的全景圖。
對于上述前景圖像，首先得到前景的灰度圖像，并對其進行中值濾波，去除噪聲；并對上述灰度圖像每個象素計算其矩陣A=ΣWIX2IXIYIXIYIY2]]>的特征值λ1和λ2，且λ1大于λ2，其中A表示二階矩陣，w表示搜索窗口，實際采用9×9的窗口，I表示提取特征的圖像，IX＝I/x，IY＝I/y，x和y分別表示圖像的水平和豎直方向；并根據λ2的大小對所有象素降序排序，選取前50個象素作為圖像特征，存儲上述圖像特征的對應坐標和順序編號。
根據上述圖像特征，在與其相鄰的實際視點的前景圖像中進行窗口為9×9的匹配搜索，設定一個窗口誤差域值500，選取窗口匹配誤差最小并且低于誤差閾值的象素作為與上述圖像特征相對應的特征，并存儲其位置信息和對應特征編號，對該特征作成功標記，對窗口誤差值高于閾值的象素，作失敗標記。
對上述標記失敗的圖像特征，其搜索起始位置加上實際視點視頻編碼中對應的運動向量得到新的搜索起始位置，并重復上述的圖像匹配搜索過程，所有有成功標記的特征形成最終的對應特征集合。
計算前景灰度圖像中每兩個圖像特征點之間的距離，并排序得到距離的最大值和最小值，上述最大值和最小值之差除以一個定值100，得到搜索步長，從圖像中兩點之間距離最小的任意一點出發，以上述搜索步長為初始半徑的循環搜索，每個循環的搜索半徑增加一個搜索步長，對搜索范圍內的點進行三點共線判斷，若共線則繼續搜索，直至找到形成三角形的點，將該三個點標記為入選，并存儲三角形序號和三個點的特征序號，從上述找到的形成三角形的點出發，重復上述搜索過程直到所有的點都標記成入選；按三角形重心的坐標大小，對上述所有形成的三角形進行升序排序，生成三角形列表；根據虛擬視點與相鄰兩個實際視點的距離大小的比例關系，確定虛擬視點圖像的插值權重λ，并根據下面的公式計算所有虛擬視點圖像與相鄰兩個實際視點圖像的剖分三角形之間的變換矩陣，T=f1*T1⇒f2-1*T=T1⇒f2-1=T1*T-1T=f2*T2⇒f2-1*T=T2⇒f2-1=T2*T-1]]>其中假設p(x，y，1)時在虛擬視點圖像中的象素，T是象素p所在三角形的仿射變換矩陣，p1，p2分別p是在左右兩個真實圖像中對應象素的仿射坐標，T1和T2分別代表從p到p1和p2所在三角形的仿射矩陣。f1和f2分別表示從中間視點到左右兩個實際視點圖像的變換矩陣。f1-1，f2-1分別表示了f1和f2的逆矩陣；對每個虛擬視點中的象素，從上述三角形列表中尋找相應的三角形序號，并進而選擇與上述三角形序號相對應的變換矩陣，將虛擬視點中象素的仿射坐標分別乘以該變換矩陣，得到對應的相鄰實際視點圖像中的象素坐標；讀取相鄰實際視點圖像中的象素坐標對應的顏色信息，根據下面的公式計算虛擬視點中象素的顏色值，C＝C1*λ+C2*(1-λ)其中C，C1和C2分別表示象素在中間視點，左視點和右視點的顏色值，而λ表示上述虛擬視點圖像的插值權重；根據上述虛擬視點前景圖像的插值權重λ，根據公式E1＝L*(1-λ)及E2＝L*(1-λ)+W計算背景全景圖中對應的背景窗口位置，其中E1和E2表示窗口左右邊界，L表示全景圖長度，λ表示上述虛擬視點圖像的插值權重，在上述位置的窗口的背景圖像上疊加對應的虛擬視點前景圖像，得到虛擬視點圖像，在上述疊加的虛擬視點圖像上前景與背景的交接處，進行5階的高斯濾波，得到最終的合成視頻圖像。
權利要求
1.一種交互式多視點視頻系統中虛擬視點的合成方法，其特征在于該方法包括以下步驟(1)視頻系統根據用戶交互觀看視頻的請求，確定過渡視頻圖像質量的參數，進而確定相鄰實際視點間需要插進的圖像幀數，并確定用戶當前的視點序號以及視角切換后的視點序號，進而計算視角切換所經過的實際視點的數量及其序號；(2)根據上述實際視點的序號讀取各路實際視頻當前時間點的視頻幀并存儲；(3)將上述實際視點的各視頻幀分割成前景和背景圖像，并按上述實際視點的序號依次分別存儲；(4)利用上述背景圖像得到背景的全景圖像；(5)利用前景圖像，得到前景的灰度圖像，并對其進行中值濾波，去除噪聲；(6)從上述濾波后的前景灰度圖像中提取圖像特征，并建立其與相鄰實際視點拍攝的圖像特征之間的對應關系；(7)根據上述對應關系，對相鄰實際視點的圖像進行三角剖分，并根據三角剖分結果和上述插值幀數，在兩個相鄰實際視點之間進行插值運算，得到虛擬視點前景圖像；(8)將上述虛擬視點前景圖像與背景的全景圖像進行疊加，得到虛擬視點圖像。
2.如權利要求1所述的方法，其特征在于其中所述的將實際視點的各視頻幀分割成前景和背景圖像，包括以下步驟(1)對實際視點的多幀視頻進行差值計算和平滑濾波，獲得視頻對象的大致區域；(2)對上述大致區域進行形態處理，構造視頻對象的內外邊界；(3)通過多值水線分割算法提取對象邊界。
3.如權利要求1所述的方法，其特征在于其中所述的從濾波后的前景灰度圖像中提取圖像特征，并建立其與相鄰實際視點拍攝的圖像特征之間的對應關系的方法，包括以下步驟(1)計算前景灰度圖像中所有象素對應矩陣A=ΣWIX2IXIYIXIYIY2]]>的特征值，λ1和λ2，且λ1大于λ2，其中A表示二階矩陣，w表示搜索窗口，I表示提取特征的圖像，IX＝I/x，IY＝I/y，x和y分別表示圖像的水平和豎直方向；(2)根據上述每個象素的二階矩陣特征值中較小的一個λ2，將圖像中的所有象素做降序排序；(3)根據上述圖像質量參數，從上述排序的象素中選取前n個象素作為圖像特征，并存儲特征的圖像位置信息和順序編號；(4)根據上述圖像特征，在與其相鄰的實際視點的前景圖像中進行窗口匹配搜索，設定一個窗口誤差域值，選取窗口匹配誤差最小并且低于誤差閾值的象素作為與上述圖像特征相對應的特征，并存儲其位置信息和對應特征編號，對該特征作成功標記，對窗口誤差值高于閾值的象素，作失敗標記；(5)重復步驟(4)，直到所有特征都打上標記；(6)對上述標記失敗的圖像特征，根據實際視點視頻編碼中的運動向量做步驟(2)；得到最終的對應特征集合。
4.如權利要求1所述的方法，其特征在于其中所述的對相鄰實際視點的圖像進行三角剖分的方法，包括以下步驟(1)計算前景灰度圖像中每兩個圖像特征點之間的距離，并排序得到距離的最大值和最小值；(2)將上述最大值和最小值之差除以一個定值，得到搜索步長；(3)從圖像中兩點之間距離最小的任意一點出發，以上述搜索步長為初始半徑的循環搜索，每個循環的搜索半徑增加一個搜索步長，對搜索范圍內的點進行三點共線判斷，若共線則繼續搜索，直至找到形成三角形的點，將該三個點標記為入選，并存儲三角形序號和三個點的特征序號；(4)從上述找到的形成三角形的點出發，重復步驟(3)，直到所有的點都標記成入選；(5)按三角形重心的坐標大小，對上述所有形成的三角形進行升序排序，生成三角形列表。
5.如權利要求1所述的方法，其特征在于其中所述的在兩個相鄰實際視點之間進行插值運算，得到虛擬視點前景圖像的方法，包括以下步驟(1)根據虛擬視點與相鄰兩個實際視點的距離大小的比例關系，確定虛擬視點圖像的插值權重；(2)計算所有虛擬視點圖像與相鄰兩個實際視點圖像的剖分三角形之間的變換矩陣；(3)對每個虛擬視點中的象素，從上述三角形列表中尋找相應的三角形序號；(4)從上述三角形之間的變換矩陣中選擇與上述三角形序號相對應的變換矩陣，并將虛擬視點中象素的仿射坐標分別乘以該變換矩陣，得到對應的相鄰實際視點圖像中的象素坐標；(5)讀取相鄰實際視點圖像中的象素坐標對應的顏色信息，根據上述插值權重計算虛擬視點中象素的顏色值；(6)重復步驟(4)和(5)，計算虛擬視點圖像中所有象素的顏色值。
6.如權利要求1所述的方法，其特征在于其中所述的將虛擬視點前景圖像與背景的全景圖像進行疊加，得到虛擬視點圖像的方法，包括以下步驟(1)根據上述虛擬視點前景圖像的插值權重，計算背景全景圖中對應的背景窗口位置；(2)在上述位置的窗口的背景圖像上疊加對應的虛擬視點前景圖像，得到虛擬視點圖像；(3)在上述疊加的虛擬視點圖像上前景與背景的交接處，進行五階高斯濾波，得到最終的合成視頻圖像。
全文摘要
本發明涉及一種交互式多視點視頻系統中虛擬視點的合成方法，屬信息傳播技術領域。首先對視頻系統初始化，根據實際視點的序號讀取實際視頻當前時間點的視頻幀，將各視頻幀分割成前景和背景圖像；利用背景圖像得到背景的全景圖像；利用前景圖像，得到前景的灰度圖像，建立其與相鄰實際視點拍攝的圖像特征之間的對應關系；根據對應關系，對相鄰實際視點的圖像進行三角剖分，并根據三角剖分結果和上述插值幀數，在兩個相鄰實際視點之間進行插值運算，得到虛擬視點前景圖像；將虛擬視點前景圖像與背景的全景圖像進行疊加，得到虛擬視點圖像。本發明的方法，使用戶在觀看視點切換的過程中得到平滑過渡的視覺效果，而且計算量低、實時合成、視頻質量好。
文檔編號H04N5/262GK1694512SQ20051007747
公開日2005年11月9日 申請日期2005年6月24日 優先權日2005年6月24日
發明者李放, 孫立峰, 楊士強 申請人:清華大學