專利名稱：雙目立體視頻的時(shí)空一致性分割方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像視頻處理技術(shù)領(lǐng)域，特別涉及一種雙目立體視頻的時(shí)空一致性分割方法。
背景技術(shù)：
圖像分割是計(jì)算機(jī)視覺領(lǐng)域的基本問題，旨在將圖像空域上相似的像素進(jìn)行聚類分析，而視頻分割是圖像分割在時(shí)域上的擴(kuò)展，這種分割能保持圖像分割在時(shí)域上的一致性和連貫性，可用于更高級(jí)別的視覺任務(wù)，如物體識(shí)別，目標(biāo)跟蹤，基于內(nèi)容的檢索等。最簡單的視頻分割方法是對(duì)視頻序列中的視頻幀分別進(jìn)行圖像分割，這種方法簡單高效，但是由于缺乏時(shí)域信息，會(huì)產(chǎn)生幀間的抖動(dòng)。目前更主流的方法是時(shí)空聯(lián)合分割方法，即同時(shí)利用圖像的空間相關(guān)性和視頻的時(shí)間相關(guān)性，以獲得更好的分割效果，根據(jù)是否利用后續(xù)視頻幀信息可以分為在線分割方法和離線分割方法。在線分割方法只利用前幀的信息，可達(dá)到實(shí)時(shí)的速度，而離線分割方法綜合考慮了前后幀的信息，通?？梢垣@得更穩(wěn)定的結(jié)果，但計(jì)算量較大。另外，借助于人工輸入和 半監(jiān)督學(xué)習(xí)的方法，可以使視頻獲得更有語義性的分害I]，在物體識(shí)別與跟蹤領(lǐng)域應(yīng)用較多。雙目立體視頻是兩個(gè)處在不同位置的攝像機(jī)同時(shí)拍攝同一場(chǎng)景獲得的圖像序列，不僅包含了單路視頻具有的灰度、紋理、顏色、運(yùn)動(dòng)等信息，而且包含了場(chǎng)景的深度信息，使得位于同一深度層面的目標(biāo)對(duì)象的分割更為有效，從而更容易實(shí)現(xiàn)全自動(dòng)的視頻語義分害I]。此外，時(shí)空一致的雙目立體視頻分割也為后續(xù)的視頻分析研究提供了有效的信息，如獲取物體的空間關(guān)系及視差求取等?，F(xiàn)有的雙目立體視頻分割方法主要存在以下不足:首先，由于數(shù)據(jù)量大，視頻分割算法往往速度很慢，而且占用很大的內(nèi)存，因此只能處理較短的視頻序列或者將長視頻分成多個(gè)短視頻處理，這將難以保持幀間的一致性；其次，較少考慮場(chǎng)景的深度信息，因此分割的語義性較差；最后，分割等級(jí)固定，對(duì)于一組參數(shù)只能輸出一種分割結(jié)果，靈活性較差。
發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一。為達(dá)到上述目的，本發(fā)明提出一種雙目立體視頻的時(shí)空一致性分割方法，包括以下步驟:A:視頻預(yù)處理，獲得視頻片段及相應(yīng)的初始光流圖序列和視差圖序列；B:根據(jù)所述初始光流圖序列和視差圖序列，對(duì)所述視頻片段進(jìn)行基于像素的分割，獲得第一層分割結(jié)果；C:根據(jù)所述第一層分割結(jié)果對(duì)初始光流圖序列和視差圖序列進(jìn)行平滑處理，獲得優(yōu)化的光流圖序列和視差圖序列；以及D:根據(jù)所述優(yōu)化的光流圖序列和視差圖序列及第一層分割結(jié)果，對(duì)所述視頻片段進(jìn)行基于超像素的分割，獲得多層分割結(jié)果。根據(jù)本發(fā)明實(shí)施例的雙目立體視頻的時(shí)空一致性方法，本發(fā)明通過引入雙目立體視頻的視差信息，結(jié)合紋理、運(yùn)動(dòng)等信息，可以得到更有語義性的時(shí)空一致性分割，多層分割結(jié)果提供了從過分割到接近語義表達(dá)的稀疏分割等多個(gè)分割等級(jí)，為不同的后期視頻處理應(yīng)用提供基礎(chǔ)。在本發(fā)明的一個(gè)實(shí)施例中，所述步驟A進(jìn)一步包括:A1:對(duì)輸入的雙目立體視頻進(jìn)行分段，每N幀分為一段，相鄰兩段有M幀的重疊區(qū)域，可以得到多個(gè)視頻片段，每個(gè)視頻片
段包含左右兩路圖像序列，其中第k個(gè)視頻片段的左右兩路圖像序列用I1k , /[表示，第k個(gè)
視頻片段中的第t幀左右圖像分別為/^，/&，其中I彡t彡N ;A2:對(duì)所述當(dāng)前待處理的第k個(gè)視頻片段，分別求取左右兩路視頻片段中各幀與后一幀的光流，可以得到前向光流圖序列F/，巧'分別求取左右兩路視頻片段中各幀與前一幀的光流，可以得到后向光流圖序列
B1k，Brk，這些光流圖序列構(gòu)成當(dāng)前視頻片段的初始光流圖序列F/，F(xiàn)，B1k，BI ,以及A3:對(duì)所述當(dāng)前待處理的第k個(gè)視頻片段，以左路視頻片段各幀圖像/為目標(biāo)視圖，右路視頻片段對(duì)應(yīng)圖像為參考視圖，進(jìn)行立體匹配，可以得到左路視頻片段的初始視差圖序列1^，反過來，以右路視頻片段各幀圖像^力目標(biāo)視圖，左路視頻片段對(duì)應(yīng)圖像/i,為參考視圖，進(jìn)行立體匹配，可以得到右路視頻片段的初始視差圖序列這些視差圖序列構(gòu)成當(dāng)前視頻片段的初始視差圖序列 ，。在本發(fā)明的一個(gè)實(shí)施例中，所述步驟B進(jìn)一步包括:B1:根據(jù)所述初始光流圖序列和視差圖序列，以當(dāng)前視頻片段包含的所有像素為節(jié)點(diǎn)建立圖模型，確定圖中節(jié)點(diǎn)之間的邊及邊的權(quán)重；B2: 根據(jù)所述圖模型對(duì)圖中所有的邊按權(quán)重從小到大排序；B3:依次遍歷所述排序后的邊，按照合并準(zhǔn)則確定是否對(duì)每條邊連接的兩個(gè)像素進(jìn)行合并操作，得到初始分割結(jié)果；以及B4:根據(jù)所述初始分割結(jié)果，遍歷所有的分割塊，對(duì)于包含像素?cái)?shù)小于尺寸閾值的分割塊，與周圍顏色最近的分割塊進(jìn)行合并，得到第一層分割結(jié)果。在本發(fā)明的一個(gè)實(shí)施例中，所述步驟BI中邊的權(quán)重為:
權(quán)利要求
1.一種雙目立體視頻的時(shí)空一致性分割方法，其特征在于，包括以下步驟: A:視頻預(yù)處理，獲得視頻片段及相應(yīng)的初始光流圖序列和視差圖序列； B:根據(jù)所述初始光流圖序列和視差圖序列，對(duì)所述視頻片段進(jìn)行基于像素的分割，獲得第一層分割結(jié)果； C:根據(jù)所述第一層分割結(jié)果對(duì)初 始光流圖序列和視差圖序列進(jìn)行平滑處理，獲得優(yōu)化的光流圖序列和視差圖序列；以及 D:根據(jù)所述優(yōu)化的光流圖序列和視差圖序列及第一層分割結(jié)果，對(duì)所述視頻片段進(jìn)行基于超像素的分割，獲得多層分割結(jié)果。
2.根據(jù)權(quán)利要求1所述的雙目立體視頻的時(shí)空一致性分割方法，其特征在于，所述步驟A進(jìn)一步包括: Al:對(duì)輸入的雙目立體視頻進(jìn)行分段，每N幀分為一段，相鄰兩段有M幀的重疊區(qū)域，可以得到多個(gè)視頻片段，每個(gè)視頻片段包含左右兩路圖像序列，其中第k個(gè)視頻片段的左右兩路圖像序列用/丨，忍表示，第k個(gè)視頻片段中的第t幀左右圖像分別為/i，f，/:,，其中I≤ t ≤N ； A2:對(duì)所述當(dāng)前待處理的第k個(gè)視頻片段，分別求取左右兩路視頻片段中各幀與后一幀的光流，可以得到前向光流圖序列K，F(xiàn);:，分別求取左右兩路視頻片段中各幀與前一幀的光流，可以得到后向光流圖序列成，巧,這些光流圖序列構(gòu)成當(dāng)前視頻片段的初始光流圖序列片，O丨;以及 A3:對(duì)所述當(dāng)前待處理的第k個(gè)視頻片段，以左路視頻片段各幀圖像/I力目標(biāo)視圖，右路視頻片段對(duì)應(yīng)圖像I,力參考視圖，進(jìn)行立體匹配，可以得到左路視頻片段的初始視差圖序列ΣΚ反過來，以右路視頻片段各幀圖像及;為目標(biāo)視圖，左路視頻片段對(duì)應(yīng)圖像A為參考視圖，進(jìn)行立體匹配，可以得到右路視頻片段的初始視差圖序列〃這些視差圖序列構(gòu)成當(dāng)前視頻片段的初始視差圖序列/):: , O:。
3.根據(jù)權(quán)利要求1所述的雙目立體視頻的時(shí)空一致性分割方法，其特征在于，所述步驟B進(jìn)一步包括: B1:根據(jù)所述初始光流圖序列和視差圖序列，以當(dāng)前視頻片段包含的所有像素為節(jié)點(diǎn)建立圖模型，確定圖中節(jié)點(diǎn)之間的邊及邊的權(quán)重； B2:根據(jù)所述圖模型對(duì)圖中所有的邊按權(quán)重從小到大排序； B3:依次遍歷所述排序后的邊，按照合并準(zhǔn)則確定是否對(duì)每條邊連接的兩個(gè)像素進(jìn)行合并操作，得到初始分割結(jié)果；以及 B4:根據(jù)所述初始分割結(jié)果，遍歷所有的分割塊，對(duì)于包含像素?cái)?shù)小于尺寸閾值的分割塊，與周圍顏色最近的分割塊進(jìn)行合并，得到第一層分割結(jié)果。
4.根據(jù)權(quán)利要求3所述的雙目立體視頻的時(shí)空一致性分割方法，其特征在于，所述步驟BI中邊的權(quán)重為:
5.根據(jù)權(quán)利要求3所述的雙目立體視頻的時(shí)空一致性分割方法，其特征在于，所述步驟Β3中的合并準(zhǔn)則為:ω (e) ≤ τ 其中ω (e)表示邊e的權(quán)重值，τ表示設(shè)定的閾值。
6.根據(jù)權(quán)利要求1所述的雙目立體視頻的時(shí)空一致性分割方法，其特征在于，所述步驟C進(jìn)一步包括: Cl:按照所述第一層分割結(jié)果，對(duì)視頻片段中的每一張圖像的前向光流和后向光流按照平面運(yùn)動(dòng)模板進(jìn)行擬合，得到優(yōu)化的光流圖序列；以及 C2:按照所述第一層分割結(jié)果，對(duì)視頻片段中的每一張圖像的視差按照平面視差模板進(jìn)行擬合，得到優(yōu)化的視差圖序列。
7.根據(jù)權(quán)利要求6所述的雙目立體視頻的時(shí)空一致性分割方法，其特征在于，所述步驟Cl中的平面運(yùn)動(dòng)模板為:
8.根據(jù)權(quán)利要求6所述的雙目立體視頻的時(shí)空一致性分割方法，其特征在于，所述步驟C2中的平面視差模板為:ax+by+c=d 其中X和y分別表示像素(X，y)的橫向坐標(biāo)和縱向坐標(biāo)，d表示像素(x，y)的初始視差，a, b, c表不平面視差模板的參數(shù)。
9.根據(jù)權(quán)利要求1所述的雙目立體視頻的時(shí)空一致性分割方法，其特征在于，所述步驟D進(jìn)一步包括: Dl:根據(jù)所述第h層分割結(jié)果，屬于同一分割塊的像素構(gòu)成一個(gè)超像素，統(tǒng)計(jì)超像素的紋理特征、運(yùn)動(dòng)特征、視差特征；D2:以所述超像素為節(jié)點(diǎn)建立圖模型，確定圖模型中節(jié)點(diǎn)之間的邊及邊的權(quán)重； D3:對(duì)圖中的超像素進(jìn)行聚類，得到第h+Ι層分割結(jié)果；以及 D4:重復(fù)Dl D3步驟，執(zhí)行H-1次，獲得多層分割結(jié)果Lh，其中，I彡h彡H，Lh(p)表示像素P在第h層分割結(jié)果中的標(biāo)號(hào)。
10.根據(jù)權(quán)利要求9所述的雙目立體視頻的時(shí)空一致性分割方法，其特征在于，所述步驟Dl中的超像素的紋理特征為: Et (a) = Lhis1 (a), hiS2 (a), hiS3 (a) ]T 其中ET(a)表示在處理第k段視頻片段時(shí)超像素a的紋理特征，his^a), his2 (a), his3(a)分別表示超像素a包含的所有像素在三個(gè)顏色分量上的直方圖統(tǒng)計(jì)向量，每一個(gè)直方圖統(tǒng)計(jì)向量是一個(gè)行向量。
11.根據(jù)權(quán)利要求9所述的雙目立體視頻的時(shí)空一致性分割方法，其特征在于，所述步驟Dl中的超像素的運(yùn)動(dòng)特征為:
12.根據(jù)權(quán)利要求9所述的雙目立體視頻的時(shí)空一致性分割方法，其特征在于，所述步驟Dl中的超像素的視差特征為:
13.根據(jù)權(quán)利要求9所述的雙目立體視頻的時(shí)空一致性分割方法，其特征在于，所述步驟D2中的邊的權(quán)重為:ω (e) =exp (- α J Et (ea) -Et (eb) | I _ a 21 Em (ea) -Em (eb) | - α J I Ed (ea) -Ed (eb) | |) 其中ω (e)表示邊e的權(quán)重值，ea和eb分別表示邊e連接的兩個(gè)超像素，Et (a)，Em(a)，Ed (a)分別表示超像素a的紋理特征、運(yùn)動(dòng)特征和視差特征，所有特征分別進(jìn)行歸一化處理， Q1, α2, α3是相應(yīng)的比例系數(shù)。
全文摘要
本發(fā)明提出一種雙目立體視頻的時(shí)空一致性分割方法，包括視頻預(yù)處理，獲得視頻片段及相應(yīng)的初始光流圖序列和視差圖序列；根據(jù)初始光流圖序列和視差圖序列，對(duì)視頻片段進(jìn)行基于像素的分割，獲得第一層分割結(jié)果；根據(jù)第一層分割結(jié)果對(duì)初始光流圖序列和視差圖序列進(jìn)行平滑處理，獲得優(yōu)化的光流圖序列和視差圖序列；以及根據(jù)優(yōu)化的光流圖序列和視差圖序列及第一層分割結(jié)果，對(duì)視頻片段進(jìn)行基于超像素的分割，獲得多層分割結(jié)果。本發(fā)明通過引入雙目立體視頻的視差信息，結(jié)合紋理、運(yùn)動(dòng)等信息，可以得到更有語義性的時(shí)空一致性分割，多層分割結(jié)果提供了從過分割到接近語義表達(dá)的稀疏分割等多個(gè)分割等級(jí)，為不同的后期視頻處理應(yīng)用提供基礎(chǔ)。
文檔編號(hào)H04N13/00GK103237228SQ20131015731
公開日2013年8月7日 申請(qǐng)日期2013年4月28日 優(yōu)先權(quán)日2013年4月28日
發(fā)明者戴瓊海, 趙昱, 邵航 申請(qǐng)人:清華大學(xué)