專利名稱：基于實(shí)時(shí)人機(jī)對(duì)話的平面視頻轉(zhuǎn)立體視頻的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)多媒體技術(shù)領(lǐng)域，特別涉及一種將普通平面視頻轉(zhuǎn)為立體視頻的技術(shù)。
背景技術(shù)：
通過對(duì)人類生理立體視覺要素的研究發(fā)現(xiàn)，人類左右眼看同一場(chǎng)景時(shí)因存在"視差" 而產(chǎn)生立體感，所謂"視差"即三維空間中同一物體在左右眼成像時(shí)會(huì)有水平方向上的位 移。傳統(tǒng)的視頻序列都是單路的平面視頻序列，而立體視頻序列則包含了多路(兩路或兩 路以上)平面視頻序列，各路平面視頻序列同一時(shí)刻的視圖之間帶有"視差"信息，能夠 為觀看者提供對(duì)應(yīng)的左眼視圖序列和右眼視圖序列，這也是觀看立體視頻時(shí)可以產(chǎn)生如臨 其境的立體感的原因。
一直以來，真實(shí)感立體視頻以其場(chǎng)景的真實(shí)感，很強(qiáng)的視覺沖擊力，受到大眾的喜愛， 也被電視、電影、廣告等行業(yè)所重視。早期的立體顯示方式，需要一定的輔助工具(如偏 振眼鏡等)，從而限制了立體l見頻的應(yīng)用范圍。隨著立體顯示技術(shù)的發(fā)展，現(xiàn)有裸眼立體 顯示技術(shù)(如裸眼自由式多視點(diǎn)顯示技術(shù)、裸眼雙目立體顯示技術(shù))已經(jīng)逐漸成熟，可以 實(shí)現(xiàn)無需佩戴特殊的輔助工具的立體視頻直接呈現(xiàn)。目前，裸眼立體顯示技術(shù)的成熟和立 體視頻應(yīng)用的逐漸普及，對(duì)相應(yīng)的立體視頻內(nèi)容生成技術(shù)提出了很高的要求。
立體視頻的內(nèi)容生成技術(shù)是相關(guān)計(jì)算機(jī)多媒體領(lǐng)域內(nèi)的重要難題之一 一方面，由于 直接拍攝多路立體視頻的設(shè)備成本高、技術(shù)難度大，而且單鏡頭拍攝方式在未來相當(dāng)長一 段時(shí)間內(nèi)仍然會(huì)占主流；另一方面，現(xiàn)有的平面視頻內(nèi)容數(shù)量龐大，將平面視頻轉(zhuǎn)為立體
視頻具有極大的現(xiàn)實(shí)意義和商業(yè)價(jià)值，而平面視頻轉(zhuǎn)立體視頻技術(shù)也正在得到越來越多的 重視。
計(jì)算機(jī)視覺領(lǐng)域的理論指出，相對(duì)于給定的觀察位置(如攝像機(jī)或者人眼)，某點(diǎn)的
"視差"與其所在三維空間中的深度(depth value,即該點(diǎn)在三維空間中的位置與觀察位 置的實(shí)際距離)成反比。深度越大(離觀察位置距離越遠(yuǎn))的物體，產(chǎn)生的視差越小，而 無窮遠(yuǎn)點(diǎn)的視差則對(duì)應(yīng)為0;反之，深度越小的物體(離觀察位置距離越近)，其產(chǎn)生的視 差則越大。如果從某一觀察位置獲取了三維空間的平面視圖，那么該平面視圖中每一個(gè)像 素的深度值便組成了該平面視圖對(duì)應(yīng)的深度圖(depth map)?；谀骋挥^察位置所獲取的 平面視圖和對(duì)應(yīng)深度圖，計(jì)算機(jī)就可以通過視覺理論中的插值渲染算法，自動(dòng)得到三維空 間在觀察位置相鄰視角所成像的多路虛擬平面視圖。原平面視圖與這些多路虛擬視圖一同 構(gòu)成了立體視頻所需的多路視角圖像，最終合成相應(yīng)的立體視頻。
平面視頻轉(zhuǎn)換為立體視頻的過程，就是一個(gè)提取單路平面視頻序列每幀視圖所對(duì)應(yīng)的深度信息，并通過深度信息插值渲染生成多路視頻序列，即立體視頻的過程?；谏疃刃?息的渲染(Depth Image Based Rendering, DIBR)算法是計(jì)算機(jī)多媒體技術(shù)領(lǐng)域的一種成 熟算法，因而平面視頻轉(zhuǎn)換成立體視頻的關(guān)鍵，在于如何提取單路平面視頻序列所對(duì)應(yīng)的 深度信息。目前，現(xiàn)有的平面視頻轉(zhuǎn)立體視頻技術(shù)方案主要分為基于人機(jī)交互手動(dòng)提取和
基于計(jì)算機(jī)算法自動(dòng)提取兩類
1) 用戶通過計(jì)算機(jī)屏幕，利用圖像或視頻編輯軟件，對(duì)單路平面視頻每一幀手動(dòng)地 進(jìn)行前景物體分割，并根據(jù)視頻序列的內(nèi)容，即序列中前后景物體的位置和運(yùn)動(dòng)關(guān)系，進(jìn) 行深度賦值，從而得到單路平面視頻序列所對(duì)應(yīng)的深度圖序列。該技術(shù)方案的優(yōu)勢(shì)在于前
景物體的手動(dòng)分割結(jié)果可以達(dá)到較高的精度，同時(shí)操作靈活，深度圖視覺質(zhì)量較好；而不 足之處則在于，逐幀手動(dòng)分割和提取深度圖的效率不高，進(jìn)行大規(guī)模商業(yè)應(yīng)用的人工成本
太咼o
2) 基于計(jì)算機(jī)算法自動(dòng)提取單路平面視頻序列的深度圖過程則主要利用現(xiàn)有計(jì)算機(jī) 算法自動(dòng)完成該視頻序列中每一幀的前景物體分割，從而大大降低了用戶轉(zhuǎn)換的工作量， 提高了轉(zhuǎn)換的效率。然而，利用該技術(shù)方案所生成的立體視頻的效果，依賴于分割算法的 精度，而現(xiàn)有計(jì)算機(jī)自動(dòng)分割算法對(duì)于視頻序列內(nèi)容的依賴性比較高，算法的魯棒性較低。 另外，還沒有成熟的前后景物體位置判斷和運(yùn)動(dòng)關(guān)系分析算法，因此用戶需要人工進(jìn)行對(duì) 應(yīng)的深度賦值。
本發(fā)明中涉及到的成熟算法
1) 視頻子序列劃分和鏡頭檢測(cè)技術(shù)
鏡頭檢測(cè)算法是基于內(nèi)容的視頻檢索技術(shù)的一部分，其特點(diǎn)在于能夠方便地利用計(jì)算 機(jī)對(duì)視頻數(shù)據(jù)進(jìn)行處理以產(chǎn)生適當(dāng)?shù)恼?，從而更加全面地表示、處理、組織和獲取視頻 數(shù)據(jù)。視頻中的一個(gè)鏡頭是指用同一攝像機(jī)進(jìn)行連續(xù)不間斷拍攝、表示時(shí)間和空間上的一 個(gè)連續(xù)動(dòng)作的幀序列；從內(nèi)容的上下文語義上講，鏡頭是視頻序列內(nèi)容的基本單元，而鏡 頭邊緣檢測(cè)則是對(duì)應(yīng)的功能算法，通過對(duì)視頻幀特定的圖像信息進(jìn)行分析(如亮度變化、 直方圖分布、運(yùn)動(dòng)估計(jì)、邊緣圖等)，利用視頻序列鏡頭邊緣若干幀特定信息的突變，來 檢測(cè)視頻子序列，完成視頻子序列劃分和關(guān)鍵幀提取。
2) 圖像增強(qiáng)技術(shù)與圖像銳化
圖像銳化是圖像增強(qiáng)技術(shù)的一種。圖像銳化處理的目的，是為了使圖像的邊緣、輪廓 線以及圖像的細(xì)節(jié)變得清晰。從頻率域來考慮，圖像模糊和不清晰的實(shí)質(zhì)是因?yàn)槠涓哳l分 量被衰減，因此可以用高通濾波器來使圖像清晰。在本專利中，我們選擇一種簡單的高頻 濾波算法來實(shí)現(xiàn)圖像增強(qiáng)的目的，即將拉普拉斯算子濾波后的圖像與原始圖像作差，來得 到邊緣銳化和增強(qiáng)的圖像。
3) 圖像平滑與高斯濾波
圖像平滑的作用主要在于消除噪聲。
一般來說，圖像的能量主要集中在其低頻部分， 噪聲所在的頻段主要在高頻段。因此，對(duì)圖像進(jìn)行平滑可以采用低通濾波的方法去除高頻干擾。 一種簡單的空域圖像平滑方法在圖像上使用一個(gè)較小的滑動(dòng)窗口，每次對(duì)窗口內(nèi) 所有像素點(diǎn)的亮度值進(jìn)行高斯濾波，并將巻積結(jié)果作為窗口中心點(diǎn)像素的亮度值；同時(shí)， 也通過對(duì)相鄰時(shí)刻視頻序列對(duì)應(yīng)位置的像素進(jìn)行平滑，獲得相鄰幀之間的平滑結(jié)果。 4)基于深度圖的立體渲染算法(DIBR)和立體視頻生成
在不同的觀察位置(觀察視角)成像的視圖中，三維空間中的點(diǎn)與攝像機(jī)中心的距離 (景深信息)，表現(xiàn)為平面視圖中成像點(diǎn)坐標(biāo)的位移(即"視差")；而該"視差"信息和 景深(即深度值)成反比關(guān)系。DIBR渲染算法基于一個(gè)觀察位置上所得的平面視圖中每個(gè) 像素所對(duì)應(yīng)的深度信息，計(jì)算該像素點(diǎn)的"視差"值，并進(jìn)行相應(yīng)的坐標(biāo)位移；對(duì)該視圖 中每一個(gè)像素進(jìn)行移動(dòng)后，便生成了該觀察視角相鄰位置上成像虛擬平面視圖；而利用這 些帶有"視差"信息的多路視圖，便能合成多路立體顯示設(shè)備所需要的立體視圖。
發(fā)明內(nèi)容
本發(fā)明的目的是為改進(jìn)現(xiàn)有平面視頻轉(zhuǎn)立體視頻方法的不足，提出一種基于實(shí)時(shí)人機(jī) 對(duì)話的平面視頻轉(zhuǎn)立體視頻方法。該方法基于實(shí)時(shí)人機(jī)對(duì)話，可以提取單路平面視頻序列 每一幀的精確深度圖，得到效果較好的立體視頻序列，從而實(shí)現(xiàn)從平面視頻到立體視頻的 轉(zhuǎn)換過程；該方法能同時(shí)滿足轉(zhuǎn)換效果和轉(zhuǎn)換效率這兩個(gè)要求。
本發(fā)明提出一種基于實(shí)時(shí)人機(jī)對(duì)話的平面視頻轉(zhuǎn)立體視頻方法，包括以下步驟
1) 基于鏡頭檢測(cè)技術(shù)，計(jì)算機(jī)自動(dòng)對(duì)要處理的平面視頻序列，按照相鄰視頻幀內(nèi)容 的上下文關(guān)系，將整個(gè)視頻序列劃分成內(nèi)容相關(guān)的子序列；同時(shí)，用戶通過計(jì)算機(jī)屏幕指 定每個(gè)子序列中任意一幀作為關(guān)鍵幀，其余作為非關(guān)鍵幀；
2) 基于拉普拉斯算子，計(jì)算機(jī)自動(dòng)對(duì)所有平面視頻幀進(jìn)行濾波，增強(qiáng)圖像邊緣信息， 銳化視頻幀前景物體的邊緣，突出對(duì)應(yīng)的前景物體的輪廓；
3) 用戶基于實(shí)時(shí)人機(jī)對(duì)話，對(duì)關(guān)鍵幀進(jìn)行前景物體分割，并提取輪廓曲線和深度4) 用戶基于實(shí)時(shí)人機(jī)對(duì)話，對(duì)非關(guān)鍵幀的前景物體進(jìn)行分割和提取輪廓曲線；
5) 用戶基于實(shí)時(shí)人機(jī)對(duì)話，提取非關(guān)鍵幀的深度6) 重復(fù)步驟4) ~5)，直到生成該視頻子序列中所有非關(guān)鍵幀的深度7) 重復(fù)步驟3) ~6)，直到生成原平面視頻序列所有幀對(duì)應(yīng)的深度圖序列；
8) 計(jì)算機(jī)自動(dòng)對(duì)深度圖序列中每一幀深度圖進(jìn)行高斯平滑處理，消除立體視圖渲染 時(shí)的邊緣抖動(dòng)；
9) 基于DIBR算法，計(jì)算機(jī)自動(dòng)將原視頻序列的每一幀作為參考視圖，利用平滑后的 深度圖序列渲染生成每一時(shí)刻所對(duì)應(yīng)的多個(gè)視角的視圖；然后，根據(jù)特定立體顯示設(shè)備的 要求，將每一個(gè)時(shí)刻多個(gè)視角的視圖合成為該時(shí)刻對(duì)應(yīng)的立體視頻幀；
10 )計(jì)算機(jī)自動(dòng)將每個(gè)時(shí)刻的立體視頻幀組成立體視頻序列。 本發(fā)明的特點(diǎn)及有益效果
1)本發(fā)明方法的特點(diǎn)和優(yōu)勢(shì)在于首先，通過人機(jī)實(shí)時(shí)對(duì)話，得到平面視頻序列里關(guān)鍵幀的精確分割結(jié)果和深度圖；其次，計(jì)算機(jī)自動(dòng)利用視頻幀之間的內(nèi)容相關(guān)性，將關(guān)鍵 幀的分割結(jié)果和深度圖作為非關(guān)鍵幀處理的初始值；然后，用戶通過計(jì)算機(jī)屏幕手動(dòng)進(jìn)行 局部調(diào)整，得到準(zhǔn)確的非關(guān)鍵幀深度圖；最后，基于深度信息，生成對(duì)應(yīng)的立體視頻序列;
2) 該方法結(jié)合了計(jì)算機(jī)算法和實(shí)時(shí)人機(jī)對(duì)話，僅需要用戶手動(dòng)轉(zhuǎn)換少量的關(guān)鍵幀和 細(xì)調(diào)非關(guān)鍵幀的計(jì)算機(jī)自動(dòng)處理結(jié)果，能夠高效和精確地得到視頻幀前景物體分割結(jié)果和 對(duì)應(yīng)的深度圖；而現(xiàn)有的平面視頻轉(zhuǎn)立體視頻方法，即用戶手動(dòng)逐幀轉(zhuǎn)換方法和計(jì)算機(jī)自 動(dòng)轉(zhuǎn)換方法，都難以同時(shí)滿足轉(zhuǎn)換效果和轉(zhuǎn)換效率這兩個(gè)要求；
3) 本發(fā)明方法的特點(diǎn)和優(yōu)勢(shì)還在于，利用圖像邊緣銳化的增強(qiáng)技術(shù)，強(qiáng)化視頻序列 的邊緣輪廓，以方便用戶進(jìn)行前景對(duì)象分割和輪廓提取的人機(jī)交互操作；
4) 本發(fā)明方法的特點(diǎn)和優(yōu)勢(shì)又體現(xiàn)在，利用視頻序列相鄰幀之間的內(nèi)容相關(guān)性，將 參考幀的前景物體輪廓曲線和對(duì)應(yīng)的前景物體深度值，直接作為相鄰幀前景物體分割和深 度賦值的初始值，從而提高轉(zhuǎn)換的效率；同時(shí)，由于在非關(guān)鍵幀中只需要進(jìn)行前景物體輪 廓曲線的局部調(diào)整和對(duì)應(yīng)的深度細(xì)調(diào)，因此可以保證較高的相鄰幀前景物體分割精度和相 鄰幀前景物體輪廓曲線的一致性，減少渲染后立體視頻序列中因相鄰幀前景物體輪廓的不 連續(xù)而造成的前景物體邊緣抖動(dòng)，獲得更好的立體視頻質(zhì)量；
5) 本發(fā)明方法的特點(diǎn)和優(yōu)勢(shì)最后還體現(xiàn)在，對(duì)深度圖進(jìn)行平滑的后處理技術(shù)，可以 減少因前景物體分割不準(zhǔn)和圖像噪聲等因素所造成的誤差，并改善這些誤差對(duì)立體視頻渲 染質(zhì)量的影響。
圖1為本發(fā)明方法總體流程框圖。
圖2為本發(fā)明的實(shí)施例中待處理的平面視頻序列的關(guān)鍵幀圖像。
圖3為對(duì)關(guān)鍵幀進(jìn)行圖像增強(qiáng)的結(jié)果圖。
圖4為生成的關(guān)鍵幀的深度圖。
圖5本實(shí)施例對(duì)深度圖進(jìn)行平滑濾波的過程。
具體實(shí)施例方式
本發(fā)明提出一種基于實(shí)時(shí)人機(jī)對(duì)話的平面視頻轉(zhuǎn)立體視頻的方法，其具體實(shí)施方法，
結(jié)合流程圖(如圖l所示)，說明如下
1) 基于鏡頭檢測(cè)技術(shù)，計(jì)算機(jī)自動(dòng)對(duì)要處理的平面視頻序列，按照相鄰視頻幀內(nèi)容 的上下文關(guān)系，將整個(gè)視頻序列劃分成內(nèi)容相關(guān)的子序列；同時(shí)，用戶通過計(jì)算機(jī)屏幕指 定每個(gè)子序列中任意一幀作為關(guān)鍵幀，其余作為非關(guān)鍵幀；
2) 基于拉普拉斯算子，計(jì)算機(jī)自動(dòng)對(duì)所有平面視頻幀進(jìn)行濾波，增強(qiáng)圖像邊緣信息， 銳化視頻幀前景物體的邊緣，突出對(duì)應(yīng)的前景物體的輪廓；
3) 對(duì)關(guān)鍵幀進(jìn)行前景物體分割，并提取輪廓曲線和深度圖31) 用戶通過計(jì)算機(jī)屏幕，基于圖像編輯軟件工具，勾勒出邊緣銳化后的關(guān)鍵幀中每 一個(gè)前景物體的輪廓，得到對(duì)應(yīng)的前景物體輪廓曲線；每一條輪廓曲線包圍的區(qū)域?yàn)榍熬?物體，所有輪廓曲線以外的區(qū)域?yàn)楸尘皡^(qū)域，由此完成關(guān)鍵幀的前景物體分割；
32) 根據(jù)關(guān)鍵幀前景物體的特點(diǎn)，用戶通過計(jì)算機(jī)屏幕以輸入數(shù)值的方式，指定輪廓 曲線所圍區(qū)域內(nèi)每個(gè)像素的深度值(像素的深度值以一整數(shù)表示，取值范圍為大于0，小 于等于255，表示該像素的空間位置離攝像機(jī)的距離；深度值0，表示空間位置在距離攝 像機(jī)無限遠(yuǎn)處，而深度值255則表示距離攝像機(jī)最近的空間位置)；同時(shí)，指定背景區(qū)域 像素的深度值為0，得到關(guān)鍵幀的深度4) 對(duì)非關(guān)鍵幀的前景物體進(jìn)行分割和提取輪廓曲線
41) 計(jì)算機(jī)自動(dòng)將關(guān)鍵幀每一個(gè)前景物體的輪廓曲線復(fù)制到相鄰非關(guān)鍵幀的對(duì)應(yīng)位 置，作為非關(guān)鍵幀前景物體輪廓曲線的初始位置；
42) 用戶通過計(jì)算機(jī)屏幕，基于圖像編輯軟件工具，對(duì)輪廓曲線進(jìn)行局部位置調(diào)整， 得到精確的非關(guān)鍵幀前景物體輪廓曲線；該非關(guān)鍵幀中每一條輪廓曲線包圍的區(qū)域?yàn)榉顷P(guān) 鍵幀的前景物體，所有輪廓曲線以外的區(qū)域?yàn)榉顷P(guān)鍵幀的背景區(qū)域，由此完成非關(guān)鍵幀的 前景物體分割；
5) 提取非關(guān)鍵幀的深度圖
51) 計(jì)算機(jī)自動(dòng)將關(guān)鍵幀前景物體的深度值，復(fù)制到非關(guān)鍵幀對(duì)應(yīng)的前景物體輪廓曲 線所包圍的區(qū)域，作為非關(guān)鍵幀前景物體的初始深度值；賦予非關(guān)鍵幀背景區(qū)域深度值為 0;
52) 用戶通過計(jì)算機(jī)屏幕根據(jù)視頻序列中前景物體的運(yùn)動(dòng)特點(diǎn)，對(duì)非關(guān)鍵幀中前景物 體的深度值進(jìn)行細(xì)調(diào)，從而得到非關(guān)鍵幀的深度6) 重復(fù)步驟4) ~5)，直到生成該視頻子序列中所有非關(guān)鍵幀的深度7) 重復(fù)步驟3) ~6)，直到生成原平面視頻序列所有幀對(duì)應(yīng)的深度圖序列；
8) 計(jì)算機(jī)自動(dòng)對(duì)深度圖序列中每一幀深度圖進(jìn)行高斯平滑處理，消除立體視圖渲染 時(shí)的邊緣抖動(dòng)；
9) 基于DIBR算法，計(jì)算機(jī)自動(dòng)將原視頻序列的每一幀作為參考視圖，利用平滑后的 深度圖序列渲染生成每一時(shí)刻所對(duì)應(yīng)的多個(gè)視角的視圖；然后，根據(jù)特定立體顯示設(shè)備的 要求，將每一個(gè)時(shí)刻多個(gè)視角的視圖合成為該時(shí)刻對(duì)應(yīng)的立體視頻幀；
10) 計(jì)算機(jī)自動(dòng)將每個(gè)時(shí)刻的立體視頻幀組成立體視頻序列。
本發(fā)明提出的基于實(shí)時(shí)人機(jī)對(duì)話的平面視頻轉(zhuǎn)立體視頻方法實(shí)施例，結(jié)合附圖，包括 以下步驟-
1)基于鏡頭檢測(cè)技術(shù)，計(jì)算機(jī)自動(dòng)對(duì)要處理的平面視頻序列，按照相鄰視頻幀內(nèi)容 的上下文關(guān)系，將整個(gè)視頻序列劃分成內(nèi)容相關(guān)的子序列；同時(shí)，用戶通過計(jì)算機(jī)屏幕指 定每個(gè)子序列中任意一幀作為關(guān)鍵幀，其余作為非關(guān)鍵幀；本實(shí)施例的子序列如圖2所示 包括5個(gè)視頻幀，指定其中任意一幀為關(guān)鍵幀，圖2中用黑色框標(biāo)出的第一幀作為關(guān)鍵幀，其余4幀為非關(guān)鍵幀；
2) 基于拉普拉斯算子，計(jì)算機(jī)自動(dòng)對(duì)所有平面視頻幀進(jìn)行濾波，增強(qiáng)圖像邊緣信息， 銳化視頻幀前景物體的邊緣，突出對(duì)應(yīng)的前景物體的輪廓；以關(guān)鍵幀為例，如圖3 (a)所 示，由于背景復(fù)雜，前景人物的某些邊緣部分和背景難以區(qū)分，造成用戶提取輪廓和進(jìn)行 前景物體分割時(shí)的困難；而使用拉普拉斯算子對(duì)關(guān)鍵幀進(jìn)行濾波，如圖3 (b)所示，并將 關(guān)鍵幀與濾波后的圖像作差后得到增強(qiáng)的關(guān)鍵幀圖像，如圖3 (c)所示；在邊緣增強(qiáng)的圖 像中，關(guān)鍵幀中對(duì)象的輪廓更加分明用戶更容易分割前景物體和背景區(qū)域，從而有效提取 前景物體輪廓；
3) 對(duì)關(guān)鍵幀進(jìn)行前景物體分割，并提取輪廓曲線和深度圖
31) 用戶通過計(jì)算機(jī)屏幕，基于圖像編輯軟件工具，勾勒出邊緣銳化后的關(guān)鍵幀中每 一個(gè)前景物體的輪廓，得到對(duì)應(yīng)的前景物體輪廓曲線；每一條輪廓曲線包圍的區(qū)域?yàn)榍熬?物體，所有輪廓曲線以外的區(qū)域?yàn)楸尘皡^(qū)域，如圖4 (a)中的黑色區(qū)域)，由此完成關(guān)鍵 幀的前景物體分割；
32) 根據(jù)關(guān)鍵幀前景物體的特點(diǎn)，用戶通過計(jì)算機(jī)屏幕以輸入數(shù)值的方式，指定輪廓 曲線所圍區(qū)域內(nèi)每個(gè)像素的深度值(像素的深度值以一整數(shù)表示，取值范圍為大于0，小 于等于255，表示該像素的空間位置離攝像機(jī)的距離；深度值0，表示空間位置在距離攝 像機(jī)無限遠(yuǎn)處，而深度值255則表示距離攝像機(jī)最近的空間位置)；同時(shí)，指定背景區(qū)域 像素的深度值為0，得到關(guān)鍵幀的深度圖；如圖4 (a)所示，背景為最大景深，對(duì)應(yīng)深度 值為0，前景5個(gè)物體左邊1個(gè)、中間2個(gè)、右邊2個(gè)分別對(duì)應(yīng)深度值為200、 220、 240;
4) 對(duì)非關(guān)鍵幀的前景物體進(jìn)行分割和提取輪廓曲線
41) 計(jì)算機(jī)自動(dòng)將關(guān)鍵幀每一個(gè)前景物體的輪廓曲線復(fù)制到相鄰非關(guān)鍵幀的對(duì)應(yīng)位 置，作為非關(guān)鍵幀前景物體輪廓曲線的初始位置；
42) 用戶通過計(jì)算機(jī)屏幕，基于圖像編輯軟件工具，對(duì)輪廓曲線進(jìn)行局部位置調(diào)整， 得到精確的非關(guān)鍵幀前景物體輪廓曲線；該非關(guān)鍵幀中每一條輪廓曲線包圍的區(qū)域?yàn)榉顷P(guān) 鍵幀的前景物體，所有輪廓曲線以外的區(qū)域?yàn)榉顷P(guān)鍵幀的背景區(qū)域，由此完成非關(guān)鍵幀的 前景物體分割；
5) 提取非關(guān)鍵幀的深度圖
51) 計(jì)算機(jī)自動(dòng)將關(guān)鍵幀前景物體的深度值，復(fù)制到非關(guān)鍵幀對(duì)應(yīng)的前景物體輪廓曲 線所包圍的區(qū)域，作為非關(guān)鍵幀前景物體的初始深度值；賦予非關(guān)鍵幀背景區(qū)域深度值為 0;
52) 用戶通過計(jì)算機(jī)屏幕根據(jù)視頻序列中前景物體的運(yùn)動(dòng)特點(diǎn)，對(duì)非關(guān)鍵幀中前景物 體的深度值進(jìn)行細(xì)調(diào)，從而得到非關(guān)鍵幀的深度圖； 一非關(guān)鍵幀的深度圖如圖4 (b)?？?以看到該實(shí)施例中各幀的前景物體分割結(jié)果基本一致，局部位置稍有調(diào)整，而深度賦值沒 有變化，大大降低了轉(zhuǎn)換過程中的用戶操作；
6) 重復(fù)步驟4) ~5)，直到生成該視頻子序列中所有非關(guān)鍵幀的深度圖；7) 重復(fù)步驟3) ~6)，直到生成原平面視頻序列所有幀對(duì)應(yīng)的深度圖序列；
8) 計(jì)算機(jī)自動(dòng)對(duì)深度圖序列中每一幀深度圖進(jìn)行高斯平滑處理，消除立體視圖渲染 時(shí)的邊緣抖動(dòng)；基于深度信息的立體視頻渲染(DIBR算法)效果，對(duì)深度信息的精度比 較敏感；而在深度圖中，當(dāng)前景物體邊緣處深度值突變很快時(shí)，前景物體分割時(shí)的誤差就 會(huì)在基于深度信息的立體視頻渲染過程中造成更嚴(yán)重的邊緣抖動(dòng)問題，影響渲染效果和立 體視頻質(zhì)量；通過平滑深度圖在邊緣處的深度突變，就能改善邊緣抖動(dòng)問題；在本實(shí)施例 里平滑過程實(shí)現(xiàn)為前景物體的深度值保持不變，僅在邊緣深度突變處進(jìn)行了深度值平滑； 平滑前的關(guān)鍵幀深度圖如圖5 (a)，平滑后的關(guān)鍵幀深度圖如圖5 (b),平滑前的深度圖序 列如圖5 (c)，平滑后的深度圖序列如圖5 (d);
9) 基于DIBR算法，計(jì)算機(jī)自動(dòng)將原視頻序列的每一幀作為參考視圖，利用平滑后的 深度圖序列渲染生成每一時(shí)刻所對(duì)應(yīng)的多個(gè)視角的視圖；然后，根據(jù)特定立體顯示設(shè)備的 要求，將每一個(gè)時(shí)刻多個(gè)視角的視圖合成為該時(shí)刻對(duì)應(yīng)的立體視頻幀；
10) 計(jì)算機(jī)自動(dòng)將每個(gè)時(shí)刻的立體視頻幀組成立體視頻序列。
權(quán)利要求
1. 一種基于實(shí)時(shí)人機(jī)對(duì)話的平面視頻轉(zhuǎn)立體視頻方法，包括以下步驟1)基于鏡頭檢測(cè)技術(shù)，計(jì)算機(jī)自動(dòng)對(duì)要處理的平面視頻序列，按照相鄰視頻幀內(nèi)容的上下文關(guān)系，將整個(gè)視頻序列劃分成內(nèi)容相關(guān)的子序列；同時(shí)，用戶通過計(jì)算機(jī)屏幕指定每個(gè)子序列中任意一幀作為關(guān)鍵幀，其余作為非關(guān)鍵幀；2)基于拉普拉斯算子，計(jì)算機(jī)自動(dòng)對(duì)所有平面視頻幀進(jìn)行濾波，增強(qiáng)圖像邊緣信息，銳化視頻幀前景物體的邊緣，突出對(duì)應(yīng)的前景物體的輪廓；3)用戶基于實(shí)時(shí)人機(jī)對(duì)話，對(duì)關(guān)鍵幀進(jìn)行前景物體分割，并提取輪廓曲線和深度圖；4)用戶基于實(shí)時(shí)人機(jī)對(duì)話，對(duì)非關(guān)鍵幀的前景物體進(jìn)行分割和提取輪廓曲線；5)用戶基于實(shí)時(shí)人機(jī)對(duì)話，提取非關(guān)鍵幀的深度圖；6)重復(fù)步驟4)～5)，直到生成該視頻子序列中所有非關(guān)鍵幀的深度圖；7)重復(fù)步驟3)～6)，直到生成原平面視頻序列所有幀對(duì)應(yīng)的深度圖序列；8)計(jì)算機(jī)自動(dòng)對(duì)深度圖序列中每一幀深度圖進(jìn)行高斯平滑處理，消除立體視圖渲染時(shí)的邊緣抖動(dòng)；9)基于DIBR算法，計(jì)算機(jī)自動(dòng)將原視頻序列的每一幀作為參考視圖，利用平滑后的深度圖序列渲染生成每一時(shí)刻所對(duì)應(yīng)的多個(gè)視角的視圖；然后，根據(jù)特定立體顯示設(shè)備的要求，將每一個(gè)時(shí)刻多個(gè)視角的視圖合成為該時(shí)刻對(duì)應(yīng)的立體視頻幀；10)計(jì)算機(jī)自動(dòng)將每個(gè)時(shí)刻的立體視頻幀組成立體視頻序列。
2、 如權(quán)利要求l所述的方法，其特征在于，所述步驟3)用戶基于實(shí)時(shí)人機(jī)對(duì)話，對(duì)關(guān)鍵幀進(jìn)行前景物體分割，并提取輪廓曲線和深度圖，具體步驟包括31) 用戶通過計(jì)算機(jī)屏幕，基于圖像編輯軟件工具，勾勒出邊緣銳化后的關(guān)鍵幀中每 一個(gè)前景物體的輪廓，得到對(duì)應(yīng)的前景物體輪廓曲線；每一條輪廓曲線包圍的區(qū)域?yàn)榍熬?物體，所有輪廓曲線以外的區(qū)域?yàn)楸尘皡^(qū)域，由此完成關(guān)鍵幀的前景物體分割；32) 根據(jù)關(guān)鍵幀前景物體的特點(diǎn)，用戶通過計(jì)算機(jī)屏幕以輸入數(shù)值的方式，指定輪廓 曲線所圍區(qū)域內(nèi)每個(gè)像素的深度值，取值范圍為大于0，小于等于255的一整數(shù)；同時(shí)， 指定背景區(qū)域像素的深度值為0，得到關(guān)鍵幀的深度圖。
3、 如權(quán)利要求l所述的方法，其特征在于，所述步驟4)用戶基于實(shí)時(shí)人機(jī)對(duì)話，對(duì)非關(guān)鍵幀的前景物體進(jìn)行分割和提取輪廓曲線，具體步驟包括41) 計(jì)算機(jī)自動(dòng)將關(guān)鍵幀每一個(gè)前景物體的輪廓曲線復(fù)制到相鄰非關(guān)鍵幀的對(duì)應(yīng)位置，作為非關(guān)鍵幀前景物體輪廓曲線的初始位置；42) 用戶通過計(jì)算機(jī)屏幕，基于圖像編輯軟件工具，對(duì)輪廓曲線進(jìn)行局部位置調(diào)整， 得到精確的非關(guān)鍵幀前景物體輪廓曲線；該非關(guān)鍵幀中每一條輪廓曲線包圍的區(qū)域?yàn)榉顷P(guān) 鍵幀的前景物體，所有輪廓曲線以外的區(qū)域?yàn)榉顷P(guān)鍵幀的背景區(qū)域，由此完成非關(guān)鍵幀的 前暈物體分割。
4、如權(quán)利要求l所述的方法，其特征在于，所述步驟5)用戶基于實(shí)時(shí)人機(jī)對(duì)話，提 取非關(guān)鍵幀的深度圖，具體步驟包括-51) 計(jì)算機(jī)自動(dòng)將關(guān)鍵幀前景物體的深度值，復(fù)制到非關(guān)鍵幀對(duì)應(yīng)的前景物體輪廓曲 線所包圍的區(qū)域，作為非關(guān)鍵幀前景物體的初始深度值；賦予非關(guān)鍵幀背景區(qū)域深度值為 0;52) 用戶通過計(jì)算機(jī)屏幕根據(jù)視頻序列中前景物體的運(yùn)動(dòng)特點(diǎn)，對(duì)非關(guān)鍵幀中前景物 體的深度值進(jìn)行細(xì)調(diào)，從而得到非關(guān)鍵幀的深度圖。
全文摘要
本發(fā)明涉及基于實(shí)時(shí)人機(jī)對(duì)話的平面視頻轉(zhuǎn)立體視頻的方法，屬于計(jì)算機(jī)多媒體技術(shù)領(lǐng)域，該方法包括計(jì)算機(jī)將整個(gè)視頻序列劃分成內(nèi)容相關(guān)的子序列；用戶指定每個(gè)子序列中任意一幀作為關(guān)鍵幀；計(jì)算機(jī)對(duì)所有平面視頻幀進(jìn)行濾波，增強(qiáng)圖像邊緣信息，銳化視頻幀前景物體的邊緣；對(duì)關(guān)鍵幀和非關(guān)鍵幀的進(jìn)行前景物體分割，并提取輪廓曲線和深度圖，直到生成原平面視頻序列所有幀對(duì)應(yīng)的深度圖序列；再利用平滑后的深度圖序列渲染生成每一時(shí)刻所對(duì)應(yīng)的多個(gè)視角的視圖，并合成立體視頻幀；將各個(gè)時(shí)刻的立體視頻幀組成立體視頻序列。本發(fā)明基于實(shí)時(shí)人機(jī)對(duì)話，可以得到每一幀的精確深度圖，從而很好地實(shí)現(xiàn)平面視頻轉(zhuǎn)立體視頻，最終得到效果較好的立體視頻。
文檔編號(hào)H04N13/00GK101287143SQ20081011177
公開日2008年10月15日 申請(qǐng)日期2008年5月16日 優(yōu)先權(quán)日2008年5月16日
發(fā)明者劉繼明, 尤志翔, 戴瓊海 申請(qǐng)人:清華大學(xué)