深度學習2d轉3d單元像素塊深度圖修改方法及裝置的制造方法
【專利摘要】本發明提供基于深度學習的2D轉3D單元像素塊深度圖修改方法及裝置，包括：導入深度學習網絡2D轉3D單元像素塊深度圖中提取的位置深度格式數據并生成點圖；接收用戶第一指令通過涂抹修改點圖中位置深度點深度信息；接收用戶第二指令采用圖像匹配跟蹤方式修改點圖中位置深度點深度和位置信息；接收用戶第三指令移動圖像匹配跟蹤方式無法追蹤的位置深度點；接收用戶第四指令選擇點圖中的位置深度點，刪除該點所有生命周期內的點組成的凸包內的非所選點；接收用戶第五指令選擇點圖中的位置并加點；以位置深度格式導出修改后的點圖以供在深度學習網絡2D轉3D過程中使用單元像素塊深度圖的流程使用。能提高3D深度圖像準確性，滿足觀眾需求。
【專利說明】
深度學習2D轉3D單元像素塊深度圖修改方法及裝置
技術領域
[0001]本發明涉及3D領域，尤其涉及一種基于深度學習的2D轉3D單元像素塊深度圖中提取出來的位置深度格式數據的修改方法及裝置。
【背景技術】
[0002]目前，深度學習發展迅速，在各個領域都出現了令人欣喜的成果。現有的專利《一種基于深度學習的2D圖像轉3D圖像的方法及系統》是將深度學習技術用于2D轉3D領域，通過學習已有的3D影片，將2D影片轉為3D，現有的2D轉3D技術是基于深度學習將2D單視差圖像(也就是需要轉制成為3D的原始圖像)輸出為單元像素塊深度圖，再通過著色器等獲取2D單視差圖像對應的3D圖像，其效果與傳統的自動2D轉3D相比有顯著的提高。但是該方法3D深度圖像的準確性還是不能使所有鏡頭的效果都能夠滿足觀眾的需求。
[0003]鑒于此，如何提高3D深度圖像的準確性，以使2D轉3D中鏡頭的效果滿足觀眾的需求成為目前需要解決的技術問題。
【發明內容】
[0004]為解決上述的技術問題，本發明提供一種基于深度學習的2D轉3D單元像素塊深度圖中提取出來的位置深度格式數據的修改方法及裝置，能夠有效地提高3D深度圖像的準確性，以提高2D轉3D后鏡頭的效果，滿足觀眾的需求。
[0005]第一方面，本發明提供一種基于深度學習的2D轉3D單元像素塊深度圖中提取出來的位置深度格式數據的修改方法，包括:
[0006]導入深度學習網絡2D轉3D的單元像素塊深度圖中提取出來的位置深度格式數據，生成點圖，包括將位置深度格式數據儲存在點圖的位置深度點中，生成相應的深度圖，和用彩色點標記位置深度點的位置及狀態；
[0007]接收用戶的第一指令，根據所述第一指令通過涂抹對點圖中的位置深度點的深度信息進行修改；
[0008]接收用戶的第二指令，根據所述第二指令采用圖像匹配跟蹤的方式對點圖中的位置深度點的深度和位置信息進行修改；
[0009]接收用戶的第三指令，根據所述第三指令對點圖中采用圖像匹配跟蹤的方式無法追蹤的位置深度點進行移動；
[0010]接收用戶的第四指令，根據所述第四指令對點圖中的位置深度點進行選擇，并將所選位置深度點的所有生命周期內的位置深度點組成的凸包內的非所選位置深度點刪除；
[0011]接收用戶的第五指令，根據所述第五指令選擇點圖中的位置，并在所選的位置加位置深度點；
[0012]將修改后的點圖以位置深度格式數據導出，以供在深度學習網絡2D轉3D過程中使用上述單元像素塊深度圖的流程使用。
[0013]可選地，所述彩色點包括:黃色的方點、綠色的方點、紅色的方點、紫色的方點、紅色單箭頭和綠色雙箭頭；
[0014]所述黃色的方點表示所述點圖中孤立位置深度點；
[0015]所述綠色的方點表示所述點圖中連續位置深度點好的部分，叫做好點，好點既有位置又有深度；
[0016]所述紅色的方點表示所述點圖中連續位置深度點壞的部分，叫做壞點，壞點只有位置沒有深度；
[0017]所述紅色單箭頭表示根據方向分別指前面的幀或后面的幀是壞點，其在當前幀是好點;所述紅色單箭頭還表示沒有追上回滾的位置深度點，表示前面或后面沒追上；
[0018]所述綠色雙箭頭表示新加的位置深度點，生命周期只在當前幀，即孤立位置深度占.V，
[0019]所述紫色的方點表示選中的位置深度點，如果在位置深度點的生命周期內，顯示當前幀應在的位置，如果超出了生命周期，顯示最近的位置關鍵幀所在的位置；
[0020]其中，有位置指的是本幀本身是位置關鍵幀，或本幀不是位置關鍵幀但是它前面和后面都有位置關鍵幀;有深度指的是本幀本身是深度關鍵幀，或本幀不是深度關鍵幀但是它前面和后面都有深度關鍵幀。
[0021 ]可選地，在根據所述第一指令通過涂抹對點圖中的位置深度點的深度進行修改時，還包括:
[0022]根據所述第一指令選擇是否顯示彩色點，是否顯示灰度圖，是否顯示原圖，是否顯示交錯圖，是否顯示等高線圖，是否疊加半透的深度圖。
[0023]可選地，所述圖像匹配跟蹤的方式，包括:全局單向孤立式追蹤、局部單向孤立式追蹤、全局單向連續式追蹤、局部單向連續式追蹤、全局交叉孤立式追蹤和全局交叉連續式追蹤;其中:
[0024]所述全局單向孤立式追蹤，包括:單向追蹤，賦值起始位置深度點的深度值和追蹤得到的位置信息，刪除追蹤的幀的位置深度點，以孤立位置深度點的方式保存；
[0025]所述局部單向孤立式追蹤，包括:單向追蹤，賦值起始位置深度點的深度值和追蹤得到的位置信息，刪除追蹤幀追上的位置深度點組成的凸包范圍內的位置深度點，以孤立位置深度點的方式保存；
[0026]所述全局單向連續式追蹤，包括:單向追蹤，賦值追蹤的位置，刪除追蹤的幀的位置深度點，以連續位置深度點的方式保存，未追上的位置深度點回滾到起始幀，標記追蹤方向的紅色單向箭頭，追蹤結束時尋找最近的位置深度點的深度信息賦予深度值；
[0027]所述局部單向連續式追蹤，包括:單向追蹤，賦值追蹤的位置，刪除追蹤幀追上的位置深度點組成的凸包范圍內的位置深度點，以連續位置深度點的方式保存，未追上的位置深度點回滾到起始幀，標記追蹤方向的紅色單向箭頭，追蹤結束時尋找最近的位置深度點的深度賦予深度值；
[0028]所述全局交叉孤立式追蹤，包括:進行兩遍全局單向孤立式追蹤，但只在第一遍刪除位置深度點；
[0029]所述全局交叉連續式追蹤，包括:進行兩遍全局單向連續式追蹤，但只在第一遍刪除位置深度點。
[0030]第二方面，本發明提供一種基于深度學習的2D轉3D單元像素塊深度圖中提取出來的位置深度格式數據的修改裝置，包括:
[0031]導入模塊，用于導入深度學習網絡2D轉3D的單元像素塊深度圖中提取出來的位置深度格式數據，生成點圖，包括將位置深度格式數據儲存在點圖的位置深度點中，生成相應的深度圖，和用彩色點標記位置深度點的位置及狀態；
[0032]涂抹模塊，用于接收用戶的第一指令，根據所述第一指令通過涂抹對點圖中的位置深度點的深度信息進行修改；
[0033]跟蹤模塊，用于接收用戶的第二指令，根據所述第二指令采用圖像匹配跟蹤的方式對點圖中的位置深度點的深度和位置信息進行修改；
[0034]移動模塊，用于接收用戶的第三指令，根據所述第三指令對點圖中采用圖像匹配跟蹤的方式無法追蹤的位置深度點進行移動；
[0035]刪除模塊，用于接收用戶的第四指令，根據所述第四指令對點圖中的位置深度點進行選擇，并將所選位置深度點的所有生命周期內的位置深度點組成的凸包內的非所選位置深度點刪除；
[0036]加點模塊，用于接收用戶的第五指令，根據所述第五指令選擇點圖中的位置，并在所選的位置加位置深度點；
[0037]導出模塊，用于將修改后的點圖以位置深度的格式導出，以供在深度學習網絡2D轉3D過程中使用上述單元像素塊深度圖的流程使用。
[0038]可選地，所述彩色點包括:黃色的方點、綠色的方點、紅色的方點、紫色的方點、紅色單箭頭和綠色雙箭頭；
[0039]所述黃色的方點表示所述點圖中孤立位置深度點；
[0040]所述綠色的方點表示所述點圖中連續位置深度點好的部分，叫做好點，好點既有位置又有深度；
[0041]所述紅色的方點表示所述點圖中連續位置深度點壞的部分，叫做壞點，壞點只有位置沒有深度；
[0042 ]所述紅色單箭頭表示根據方向分別指前面的幀或后面的幀是壞點，其在當前幀是好點;所述紅色單箭頭還表示沒有追上回滾的位置深度點，表示前面或后面沒追上；
[0043]所述綠色雙箭頭表示新加的位置深度點，生命周期只在當前幀，即孤立位置深度占.V，
[0044]所述紫色的方點表示選中的位置深度點，如果在位置深度點的生命周期內，顯示當前幀應在的位置，如果超出了生命周期，顯示最近的位置關鍵幀所在的位置；
[0045]其中，有位置指的是本幀本身是位置關鍵幀，或本幀不是位置關鍵幀但是它前面和后面都有位置關鍵幀;有深度指的是本幀本身是深度關鍵幀，或本幀不是深度關鍵幀但是它前面和后面都有深度關鍵幀。
[0046]可選地，所述涂抹模塊，還用于
[0047]根據所述第一指令選擇是否顯示彩色點，是否顯示灰度圖，是否顯示原圖，是否顯示交錯圖，是否顯示等高線圖，是否疊加半透的深度圖。
[0048]可選地，所述圖像匹配跟蹤的方式，包括:全局單向孤立式追蹤、局部單向孤立式追蹤、全局單向連續式追蹤、局部單向連續式追蹤、全局交叉孤立式追蹤和全局交叉連續式追蹤;其中:
[0049]所述全局單向孤立式追蹤，包括:單向追蹤，賦值起始位置深度點的深度值和追蹤得到的位置信息，刪除追蹤的幀的位置深度點，以孤立位置深度點的方式保存；
[0050]所述局部單向孤立式追蹤，包括:單向追蹤，賦值起始位置深度點的深度值和追蹤得到的位置信息，刪除追蹤幀追上的位置深度點組成的凸包范圍內的位置深度點，以孤立位置深度點的方式保存；
[0051 ]所述全局單向連續式追蹤，包括:單向追蹤，賦值追蹤的位置，刪除追蹤的幀的位置深度點，以連續位置深度點的方式保存，未追上的位置深度點回滾到起始幀，標記追蹤方向的紅色單向箭頭，追蹤結束時尋找最近的位置深度點的深度信息賦予深度值；
[O052 ]所述局部單向連續式追蹤，包括:單向追蹤，賦值追蹤的位置，刪除追蹤幀追上的位置深度點組成的凸包范圍內的位置深度點，以連續位置深度點的方式保存，未追上的位置深度點回滾到起始幀，標記追蹤方向的紅色單向箭頭，追蹤結束時尋找最近的位置深度點的深度賦予深度值；
[0053]所述全局交叉孤立式追蹤，包括:進行兩遍全局單向孤立式追蹤，但只在第一遍刪除位置深度點；
[0054]所述全局交叉連續式追蹤，包括:進行兩遍全局單向連續式追蹤，但只在第一遍刪除位置深度點。
[0055]由上述技術方案可知，本發明的基于深度學習的2D轉3D單元像素塊深度圖中提取出來的位置深度格式數據的修改方法及裝置，能夠有效地提高3D深度圖像的準確性，以提高2D轉3D后鏡頭的效果，滿足觀眾的需求。
【附圖說明】
[0056]圖1為本發明一實施例提供的基于深度學習的2D轉3D單元像素塊深度圖中提取出來的位置深度格式數據的修改方法的流程示意圖；
[0057]圖2為本發明實施例提供的要將其轉換為立體的原始圖像；
[0058]圖3為對圖2使用圖1所示實施例所述方法修改前的點圖的深度圖；
[0059]圖4為現有技術中對圖2使用圖1所示實施例所述方法修改前的單元像素塊深度圖通過后面的深度學習網絡最終生成的深度圖；
[0060]圖5為使用圖4的深度圖生成的左右圖；
[0061 ]圖6為對圖2使用圖1所示實施例所述方法修改后的點圖的深度圖；
[0062]圖7為對圖2使用圖1所示實施例所述方法修改后的點圖導出的位置深度格式數據通過后面的深度學習網絡最終生成的深度圖；
[0063]圖8為使用圖7的深度圖生成的左右圖；
[0064]圖9為圖1所示實施例所述方法中用彩色點來表示點圖的位置深度點位置的示意圖；
[0065]圖10為本發明一實施例提供的基于深度學習的2D轉3D單元像素塊深度圖中提取出來的位置深度格式數據的修改裝置的結構示意圖。
【具體實施方式】
[0066]為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整的描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他的實施例，都屬于本發明保護的范圍。
[0067]下述為本發明實施例中使用的相關名稱:
[0068]1、原圖:需要將其轉換為左右圖的原始圖像。
[0069]2、深度:用于描述像素距離觀察者的遠近。
[0070]3、深度圖:用于描述圖像像素深度的圖片，本文中以黑白的灰度圖表示。
[0071 ] 4、原圖序列幀:一系列有時間先后順序的原圖。
[0072]5、位置深度點:記錄了對應原圖的橫坐標、縱坐標和深度數值。分為孤立位置深度點和連續位置深度點。孤立位置深度點僅在某一幀起作用。連續位置深度點在連續的多幀起作用。
[0073]6、彩色點:是擁有不同顏色和幾何形狀的小點，用來標明位置深度點的位置和狀
??τ O
[0074]7、位置深度格式數據:以橫坐標、縱坐標、深度數值的格式記錄，并標記了每一幀原圖對應的一組橫坐標、縱坐標、深度數值。
[0075]8、點圖:用于儲存和修改《一種基于深度學習的2D圖像轉3D圖像的方法及系統》中生成的單元像素深度圖中提取的位置深度格式數據，包含每一幀對應的一組位置深度點，一個深度圖和一組彩色點，點圖的位置深度點用來記錄位置深度格式數據，點圖的深度圖是用其每一個像素尋找與其最近的位置深度點，并將最近的位置深度點的深度值賦予該像素，是用來體現位置深度點的深度信息。彩色點:是用來體現位置深度點的位置信息和狀
??τ O
[0076]9、左右圖:根據深度圖將原圖像素位移相應距離用于左眼和右眼觀看的圖片。
[0077]10、生命周期:點圖中的位置深度點起作用的幀范圍。
[0078]圖1示出了本發明一實施例提供的基于深度學習的2D轉3D單元像素塊深度圖中提取出來的位置深度格式數據的修改方法的流程示意圖，如圖1所示，本實施例的基于深度學習的2D轉3D單元像素塊深度圖中提取出來的位置深度格式數據的修改方法，包括步驟101-107:
[0079]101、導入深度學習網絡2D轉3D的單元像素塊深度圖中提取出來的位置深度格式數據，生成點圖，包括將位置深度格式數據儲存在點圖的位置深度點中，生成相應的深度圖，和用彩色點標記位置深度點的位置及狀態，可參考圖9。
[0080]在具體應用中，所述彩色點包括:黃色的方點、綠色的方點、紅色的方點、紫色的方點、紅色單箭頭和綠色雙箭頭；
[0081 ]所述黃色的方點表示所述點圖中孤立位置深度點；
[0082]所述綠色的方點表示所述點圖中連續位置深度點好的部分，叫做好點，好點既有位置又有深度，有位置指的是本幀本身是位置關鍵幀，或本幀不是位置關鍵幀但是它前面和后面都有位置關鍵幀;有深度指的是本幀本身是深度關鍵幀，或本幀不是深度關鍵幀但是它前面和后面都有深度關鍵幀；
[0083]所述紅色的方點表示所述點圖中連續位置深度點壞的部分，叫做壞點，壞點只有位置沒有深度；
[0084]所述紅色單箭頭表示根據方向分別指前面的幀或后面的幀是壞點，其在當前幀是好點，用來起到提示作用;所述紅色單箭頭還表示沒有追上回滾的位置深度點，表示前面或后面沒追上；
[0085]所述綠色雙箭頭表示新加的位置深度點，生命周期只在當前幀，即孤立位置深度點，用來起到提示作用；
[0086]所述紫色的方點表示選中的位置深度點，如果在位置深度點的生命周期內，顯示當前幀應在的位置，如果超出了生命周期，顯示最近的位置關鍵幀所在的位置，這是為了在生命周期外可以移動位置深度點，比如在第一幀選中了生命周期只在第一幀的位置深度點，切換到第二幀，第二幀顯示第一幀位置深度點所在的位置。
[0087]可理解的是，由于點圖中的點有很多，每一個點手動設置生命周期是很繁重的勞動，所以可用序號最小和最大的位置關鍵幀來表示生命周期的范圍。
[0088]102、接收用戶的第一指令，根據所述第一指令通過涂抹對點圖中的位置深度點的深度信息進行修改。
[0089]可理解的是，如果要修改深度，給點賦予深度是必不可少的。由于點圖中的位置深度點很多，每個位置深度點都設置深度是很繁重的勞動，所以可根據所述第一指令采用畫筆的方式賦予深度值。左鍵涂抹，畫筆覆蓋上的位置深度點賦予當前選擇的深度值。右鍵涂抹擦除功能，恢復當前幀換深度前該位置深度點的深度。涂抹時可以根據所述第一指令選擇是否顯示彩色點，是否顯示灰度圖，是否顯示原圖，是否顯示交錯圖(帶立體眼睛可以看出立體效果)，是否顯示等高線圖，是否疊加半透的深度圖。
[0090]103、接收用戶的第二指令，根據所述第二指令采用圖像匹配跟蹤的方式對點圖中的位置深度點的深度和位置信息進行修改。
[0091]可理解的是，涂抹只能修改單幀的深度，在總幀數很多或錯誤較多時，一幀幀涂抹是十分消耗人工成本的。采用圖像匹配跟蹤的方式可減少人工成本。針對不同的深度錯誤形式，以相關匹配追蹤為基礎，先后提出了不同的追蹤方式，所述圖像匹配跟蹤的方式，包括:全局單向孤立式追蹤、局部單向孤立式追蹤、全局單向連續式追蹤、局部單向連續式追蹤、全局交叉孤立式追蹤和全局交叉連續式追蹤;其中:
[0092]所述全局單向孤立式追蹤，包括:單向追蹤，賦值起始位置深度點的深度值和追蹤得到的位置信息，刪除追蹤的幀的位置深度點，以孤立位置深度點的方式保存;所述全局單向孤立式追蹤用于鏡頭穩定，但是幀間抖動嚴重或深度值錯誤的鏡頭，鏡頭中物體深度幾乎沒有變化，此追蹤無法過渡；
[0093]所述局部單向孤立式追蹤，包括:單向追蹤，賦值起始位置深度點的深度值和追蹤得到的位置信息，刪除追蹤幀追上的位置深度點組成的凸包范圍內的位置深度點，以孤立位置深度點的方式保存;所述局部單向孤立式追蹤用于場景穩定，但是幀間抖動嚴重或深度值錯誤的鏡頭，鏡頭中物體深度幾乎沒有變化，此追蹤無法過渡；
[0094]所述全局單向連續式追蹤，包括:單向追蹤，賦值追蹤的位置，刪除追蹤的幀的位置深度點，以連續位置深度點的方式保存，未追上的位置深度點回滾到起始幀，標記追蹤方向的紅色單向箭頭，追蹤結束時尋找最近的位置深度點的深度信息賦予深度值;所述全局單向連續式追蹤用于鏡頭穩定，但是幀間抖動嚴重或深度值錯誤的鏡頭，鏡頭中物體深度有變化；
[0095]所述局部單向連續式追蹤，包括:單向追蹤，賦值追蹤的位置，刪除追蹤幀追上的位置深度點組成的凸包范圍內的位置深度點，以連續位置深度點的方式保存，未追上的位置深度點回滾到起始幀，標記追蹤方向的紅色單向箭頭，追蹤結束時尋找最近的位置深度點的深度賦予深度值;所述局部單向連續式追蹤用于場景穩定，但是幀間抖動嚴重或深度值錯誤的鏡頭，鏡頭中物體深度有變化；
[0096]所述全局交叉孤立式追蹤，包括:進行兩遍全局單向孤立式追蹤，但只在第一遍刪除位置深度點；所述全局交叉孤立式追蹤用于鏡頭穩定或平行移動，但是幀間抖動嚴重或深度值錯誤的鏡頭，鏡頭中物體深度幾乎沒有變化，此追蹤無法過渡；
[0097]所述全局交叉連續式追蹤，包括:進行兩遍全局單向連續式追蹤，但只在第一遍刪除位置深度點；所述全局交叉連續式追蹤用于鏡頭穩定或平行移動，但是幀間抖動嚴重或深度值錯誤的鏡頭，鏡頭中物體深度有變化。
[0098]下述所述圖像匹配跟蹤的方式中使用的相關的名詞:
[0099]單向:追蹤從起始幀到目標幀；
[0100]交叉:追蹤從起始幀到目標幀，再從目標幀到起始幀追蹤，從兩個方向上相互補充深度信息；
[0101]孤立:位置深度點的生命周期只在一幀；
[0102]連續:位置深度點的生命周期在多幀，也就是說在多個幀都有那一個點的存在，SP連續位置深度點。非關鍵幀采取尋找關鍵幀進行線性過渡；
[0103]全局:當前幀所有的位置深度點都是要追蹤的位置深度點；
[0104]局部:當前幀選擇的位置深度點是要追蹤的位置深度點；
[0105]凸包:用不嚴謹的話來講，給定二維平面上的點集，凸包就是將最外層的點連接起來構成的凸多邊型，它能包含點集中所有的點。用來刪除它范圍內的位置深度點，消除不正確的位置深度點的影響，在使用前會將其小幅度擴大；
[0106]回滾:連續位置深度點在追蹤的匹配度小于預設值時，刪除該位置深度點的追蹤方向，追蹤起始幀后面的所有位置深度點。
[0107]104、接收用戶的第三指令，根據所述第三指令對點圖中采用圖像匹配跟蹤的方式無法追蹤的位置深度點進行移動。
[0108]可理解的是，執行步驟105是因為有些追蹤無法追上的位置深度點，如果不移動，這些位置深度點沒有正確的深度值會對最終效果造成較大的影響，若判斷得知如果不將沒有追上的位置深度點在追蹤的幀范圍內給予正確的位置和深度會對最終效果產生較大影響，才對位置深度點進行移動和賦值，也就是說如果認為沒追上的位置深度點造成的影響不大，可以不用對其進行操作。
[0109]105、接收用戶的第四指令，根據所述第四指令對點圖中的位置深度點進行選擇，并將所選位置深度點的所有生命周期內的位置深度點組成的凸包內的非所選位置深度點刪除。
[0110]可理解的是，本步驟105避免了一幀幀刪點的重復勞動，提高了效率。
[0111]106、接收用戶的第五指令，根據所述第五指令選擇點圖中的位置，并在所選的位置加位置深度點。
[0112]可理解的是，由于點圖中的位置深度點的數量有限，有些精細結構上沒有位置深度點，但是其中一部分精細結構如果不賦予正確的深度會對整體效果有較大的影響，于是提出了加點的方式解決這種問題。
[0113]107、將修改后的點圖以位置深度的格式導出，以供在深度學習網絡2D轉3D過程中使用上述單元像素塊深度圖的流程使用。
[0114]具一個例子，如圖2至圖8所示，圖2為要將其轉換為立體的原始圖像，圖3為對圖2使用本實施例所述方法修改前的點圖的深度圖，圖4為現有技術中對圖2使用本實施例所述方法修改前的單元像素塊深度圖通過后面的深度學習網絡最終生成的深度圖，圖5為使用圖4的深度圖生成的左右圖；圖6為對圖2使用本實施例所述方法修改后的點圖的深度圖，圖7為對圖2使用本實施例所述方法修改后的點圖導出的位置深度格式數據通過后面的深度學習網絡最終生成的深度圖；圖8為使用圖7的深度圖生成的左右圖。由圖2至圖8可知，本實施例所述基于深度學習的2D轉3D單元像素塊深度圖中提取出來的位置深度格式數據的修改方法能夠有效地提高2D轉3D中鏡頭的效果。
[0115]本實施例的基于深度學習的2D轉3D單元像素塊深度圖中提取出來的位置深度格式數據的修改方法，能夠有效地提高3D深度圖像的準確性，以提高2D轉3D后鏡頭的效果，滿足觀眾的需求。
[0116]圖10示出了本發明一實施例提供的基于深度學習的2D轉3D單元像素塊深度圖中提取出來的位置深度格式數據的修改裝置的結構示意圖，如圖10所示，本實施例的基于深度學習的2D轉3D單元像素塊深度圖中提取出來的位置深度格式數據的修改裝置，包括:導入模塊11、涂抹模塊12、跟蹤模塊13、移動模塊14、刪除模塊15、加點模塊16和導出模塊17;其中:
[0117]導入模塊11，用于導入深度學習網絡2D轉3D的單元像素塊深度圖中提取出來的位置深度格式數據，生成點圖，包括將位置深度格式數據儲存在點圖的位置深度點中，生成相應的深度圖，和用彩色點標記位置深度點的位置及狀態；
[0118]涂抹模塊12，用于接收用戶的第一指令，根據所述第一指令通過涂抹對點圖中的位置深度點的深度信息進行修改；
[0119]跟蹤模塊13，用于接收用戶的第二指令，根據所述第二指令采用圖像匹配跟蹤的方式對點圖中的位置深度點的深度和位置信息進行修改；
[0120]移動模塊14，用于接收用戶的第三指令，根據所述第三指令對點圖中采用圖像匹配跟蹤的方式無法追蹤的位置深度點進行移動；
[0121]刪除模塊15，用于接收用戶的第四指令，根據所述第四指令對點圖中的位置深度點進行選擇，并將所選位置深度點的所有生命周期內的位置深度點組成的凸包內的非所選位置深度點刪除；
[0122]加點模塊16，用于接收用戶的第五指令，根據所述第五指令選擇點圖中的位置，并在所選的位置加位置深度點；
[0123]導出模塊17，用于將修改后的點圖以位置深度的格式導出，以供在深度學習網絡2D轉3D過程中使用上述單元像素塊深度圖的流程使用。
[0124]在具體應用中，所述彩色點包括:黃色的方點、綠色的方點、紅色的方點、紫色的方點、紅色單箭頭和綠色雙箭頭；
[0125]所述黃色的方點表示所述點圖中孤立位置深度點；
[0126]所述綠色的方點表示所述點圖中連續位置深度點好的部分，叫做好點，好點既有位置又有深度，有位置指的是本幀本身是位置關鍵幀，或本幀不是位置關鍵幀但是它前面和后面都有位置關鍵幀;有深度指的是本幀本身是深度關鍵幀，或本幀不是深度關鍵幀但是它前面和后面都有深度關鍵幀；
[0127]所述紅色的方點表示所述點圖中連續位置深度點壞的部分，叫做壞點，壞點只有位置沒有深度；
[0128]所述紅色單箭頭表示根據方向分別指前面的幀或后面的幀是壞點，其在當前幀是好點，用來起到提示作用;所述紅色單箭頭還表示沒有追上回滾的位置深度點，表示前面或后面沒追上；
[0129]所述綠色雙箭頭表示新加的位置深度點，生命周期只在當前幀，即孤立位置深度點，用來起到提示作用；
[0130]所述紫色的方點表示選中的位置深度點，如果在位置深度點的生命周期內，顯示當前幀應在的位置，如果超出了生命周期，顯示最近的位置關鍵幀所在的位置，這是為了在生命周期外可以移動位置深度點，比如在第一幀選中了生命周期只在第一幀的位置深度點，切換到第二幀，第二幀顯示第一幀位置深度點所在的位置。
[0131]可理解的是，由于點圖中的位置深度點有很多，每一個位置深度點手動設置生命周期是很繁重的勞動，所以可用序號最小和最大的位置關鍵幀來表示生命周期的范圍。
[0132]在具體應用中，所述涂抹模塊12，還可用于
[0133]根據所述第一指令選擇是否顯示彩色點，是否顯示灰度圖，是否顯示原圖，是否顯示交錯圖，是否顯示等高線圖，是否疊加半透的深度圖。
[0134]可理解的是，涂抹只能修改單幀的深度，在總幀數很多或錯誤較多時，一幀幀涂抹是十分消耗人工成本的。采用圖像匹配跟蹤的方式可減少人工成本。針對不同的深度錯誤形式，以相關匹配追蹤為基礎，先后提出了不同的追蹤方式，在具體應用中，所述圖像匹配跟蹤的方式，包括:全局單向孤立式追蹤、局部單向孤立式追蹤、全局單向連續式追蹤、局部單向連續式追蹤、全局交叉孤立式追蹤和全局交叉連續式追蹤;其中:
[0135]所述全局單向孤立式追蹤，包括:單向追蹤，賦值起始位置深度點的深度值和追蹤得到的位置信息，刪除追蹤的幀的位置深度點，以孤立位置深度點的方式保存;所述全局單向孤立式追蹤用于鏡頭穩定，但是幀間抖動嚴重或深度值錯誤的鏡頭，鏡頭中物體深度幾乎沒有變化，此追蹤無法過渡；
[0136]所述局部單向孤立式追蹤，包括:單向追蹤，賦值起始位置深度點的深度值和追蹤得到的位置信息，刪除追蹤幀追上的位置深度點組成的凸包范圍內的位置深度點，以孤立位置深度點的方式保存;所述局部單向孤立式追蹤用于場景穩定，但是幀間抖動嚴重或深度值錯誤的鏡頭，鏡頭中物體深度幾乎沒有變化，此追蹤無法過渡；
[0137]所述全局單向連續式追蹤，包括:單向追蹤，賦值追蹤的位置，刪除追蹤的幀的位置深度點，以連續位置深度點的方式保存，未追上的位置深度點回滾到起始幀，標記追蹤方向的紅色單向箭頭，追蹤結束時尋找最近的位置深度點的深度信息賦予深度值;所述全局單向連續式追蹤用于鏡頭穩定，但是幀間抖動嚴重或深度值錯誤的鏡頭，鏡頭中物體深度有變化；
[0138]所述局部單向連續式追蹤，包括:單向追蹤，賦值追蹤的位置，刪除追蹤幀追上的位置深度點組成的凸包范圍內的位置深度點，以連續位置深度點的方式保存，未追上的位置深度點回滾到起始幀，標記追蹤方向的紅色單向箭頭，追蹤結束時尋找最近的位置深度點的深度賦予深度值;所述局部單向連續式追蹤用于場景穩定，但是幀間抖動嚴重或深度值錯誤的鏡頭，鏡頭中物體深度有變化；
[0139]所述全局交叉孤立式追蹤，包括:進行兩遍全局單向孤立式追蹤，但只在第一遍刪除位置深度點；所述全局交叉孤立式追蹤用于鏡頭穩定或平行移動，但是幀間抖動嚴重或深度值錯誤的鏡頭，鏡頭中物體深度幾乎沒有變化，此追蹤無法過渡；
[0140]所述全局交叉連續式追蹤，包括:進行兩遍全局單向連續式追蹤，但只在第一遍刪除位置深度點；所述全局交叉連續式追蹤用于鏡頭穩定或平行移動，但是幀間抖動嚴重或深度值錯誤的鏡頭，鏡頭中物體深度有變化。
[0141]下述所述圖像匹配跟蹤的方式中使用的相關的名詞:
[0142]單向:追蹤從起始幀到目標幀；
[0143]交叉:追蹤從起始幀到目標幀，再從目標幀到起始幀追蹤，從兩個方向上相互補充深度信息；
[0144]孤立:位置深度點的生命周期只在一幀；
[0145]連續:位置深度點的生命周期在多幀，也就是說在多個幀都有那一個點的存在，SP連續位置深度點。非關鍵幀采取尋找關鍵幀進行線性過渡；
[0146]全局:當前幀所有的位置深度點都是追蹤點；
[0147]局部:當前幀選擇的位置深度點是追蹤點；
[0148]凸包:用不嚴謹的話來講，給定二維平面上的點集，凸包就是將最外層的點連接起來構成的凸多邊型，它能包含點集中所有的點。用來刪除它范圍內的位置深度點，消除不正確的位置深度點的影響，在使用前會將其小幅度擴大；
[0149]回滾:連續位置深度點在追蹤的匹配度小于預設值時，刪除該位置深度點的追蹤方向，追蹤起始幀后面的所有位置深度點。
[0150]本實施例的基于深度學習的2D轉3D單元像素塊深度圖中提取出來的位置深度格式數據的修改裝置，應用于處理器中，能夠有效地提高3D深度圖像的準確性，以提高2D轉3D后鏡頭的效果，滿足觀眾的需求。
[0151]本實施例所述的裝置可以用于執行上述方法實施例，其原理和技術效果類似，此處不再贅述。
[0152]需要說明的是，對于裝置實施例而言，由于其與方法實施例基本相似，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。
[0153]本領域普通技術人員可以理解:以上各實施例中的指令可以任意組合，實現上述各方法實施例的全部或部分步驟可以通過程序指令相關的硬件來完成。前述的程序可以存儲于一計算機可讀取存儲介質中。該程序在執行時，執行包括上述各方法實施例的步驟;而前述的存儲介質包括:R0M、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質。
[0154]最后應說明的是:以上各實施例僅用以說明本發明的技術方案，而非對其限制;盡管參照前述各實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解:其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特征進行等同替換；而這些修改或者替換，并不使相應技術方案的本質脫離本發明各實施例技術方案的范圍。
【主權項】
1.一種基于深度學習的2D轉3D單元像素塊深度圖中提取出來的位置深度格式數據的修改方法，其特征在于，包括: 導入深度學習網絡2D轉3D的單元像素塊深度圖中提取出來的位置深度格式數據，生成點圖，包括將位置深度格式數據儲存在點圖的位置深度點中，生成相應的深度圖，和用彩色點標記位置深度點的位置及狀態； 接收用戶的第一指令，根據所述第一指令通過涂抹對點圖中的位置深度點的深度信息進行修改； 接收用戶的第二指令，根據所述第二指令采用圖像匹配跟蹤的方式對點圖中的位置深度點的深度和位置信息進行修改； 接收用戶的第三指令，根據所述第三指令對點圖中采用圖像匹配跟蹤的方式無法追蹤的位置深度點進行移動； 接收用戶的第四指令，根據所述第四指令對點圖中的位置深度點進行選擇，并將所選位置深度點的所有生命周期內的位置深度點組成的凸包內的非所選位置深度點刪除；接收用戶的第五指令，根據所述第五指令選擇點圖中的位置，并在所選的位置加位置深度點； 將修改后的點圖以位置深度格式數據導出，以供在深度學習網絡2D轉3D過程中使用上述單元像素塊深度圖的流程使用。2.根據權利要求1所述的方法，其特征在于，所述彩色點包括:黃色的方點、綠色的方點、紅色的方點、紫色的方點、紅色單箭頭和綠色雙箭頭； 所述黃色的方點表示所述點圖中孤立位置深度點； 所述綠色的方點表示所述點圖中連續位置深度點好的部分，叫做好點，好點既有位置又有深度； 所述紅色的方點表示所述點圖中連續位置深度點壞的部分，叫做壞點，壞點只有位置沒有深度； 所述紅色單箭頭表示根據方向分別指前面的幀或后面的幀是壞點，其在當前幀是好點;所述紅色單箭頭還表示沒有追上回滾的位置深度點，表示前面或后面沒追上； 所述綠色雙箭頭表示新加的位置深度點，生命周期只在當前幀，即孤立位置深度點；所述紫色的方點表示選中的位置深度點，如果在位置深度點的生命周期內，顯示當前幀應在的位置，如果超出了生命周期，顯示最近的位置關鍵幀所在的位置； 其中，有位置指的是本幀本身是位置關鍵幀，或本幀不是位置關鍵幀但是它前面和后面都有位置關鍵幀;有深度指的是本幀本身是深度關鍵幀，或本幀不是深度關鍵幀但是它前面和后面都有深度關鍵幀。3.根據權利要求1所述的方法，其特征在于，在根據所述第一指令通過涂抹對點圖中的位置深度點的深度進行修改時，還包括: 根據所述第一指令選擇是否顯示彩色點，是否顯示灰度圖，是否顯示原圖，是否顯示交錯圖，是否顯示等高線圖，是否疊加半透的深度圖。4.根據權利要求1所述的方法，其特征在于，所述圖像匹配跟蹤的方式，包括:全局單向孤立式追蹤、局部單向孤立式追蹤、全局單向連續式追蹤、局部單向連續式追蹤、全局交叉孤立式追蹤和全局交叉連續式追蹤;其中: 所述全局單向孤立式追蹤，包括:單向追蹤，賦值起始位置深度點的深度值和追蹤得到的位置信息，刪除追蹤的幀的位置深度點，以孤立位置深度點的方式保存； 所述局部單向孤立式追蹤，包括:單向追蹤，賦值起始位置深度點的深度值和追蹤得到的位置信息，刪除追蹤幀追上的位置深度點組成的凸包范圍內的位置深度點，以孤立位置深度點的方式保存； 所述全局單向連續式追蹤，包括:單向追蹤，賦值追蹤的位置，刪除追蹤的幀的位置深度點，以連續位置深度點的方式保存，未追上的位置深度點回滾到起始幀，標記追蹤方向的紅色單向箭頭，追蹤結束時尋找最近的位置深度點的深度信息賦予深度值； 所述局部單向連續式追蹤，包括:單向追蹤，賦值追蹤的位置，刪除追蹤幀追上的位置深度點組成的凸包范圍內的位置深度點，以連續位置深度點的方式保存，未追上的位置深度點回滾到起始幀，標記追蹤方向的紅色單向箭頭，追蹤結束時尋找最近的位置深度點的深度賦予深度值； 所述全局交叉孤立式追蹤，包括:進行兩遍全局單向孤立式追蹤，但只在第一遍刪除位置深度點； 所述全局交叉連續式追蹤，包括:進行兩遍全局單向連續式追蹤，但只在第一遍刪除位置深度點。5.—種基于深度學習的2D轉3D單元像素塊深度圖中提取出來的位置深度格式數據的修改裝置，其特征在于，包括: 導入模塊，用于導入深度學習網絡2D轉3D的單元像素塊深度圖中提取出來的位置深度格式數據，生成點圖，包括將位置深度格式數據儲存在點圖的位置深度點中，生成相應的深度圖，和用彩色點標記位置深度點的位置及狀態； 涂抹模塊，用于接收用戶的第一指令，根據所述第一指令通過涂抹對點圖中的位置深度點的深度信息進行修改； 跟蹤模塊，用于接收用戶的第二指令，根據所述第二指令采用圖像匹配跟蹤的方式對點圖中的位置深度點的深度和位置信息進行修改； 移動模塊，用于接收用戶的第三指令，根據所述第三指令對點圖中采用圖像匹配跟蹤的方式無法追蹤的位置深度點進行移動； 刪除模塊，用于接收用戶的第四指令，根據所述第四指令對點圖中的位置深度點進行選擇，并將所選位置深度點的所有生命周期內的位置深度點組成的凸包內的非所選位置深度點刪除； 加點模塊，用于接收用戶的第五指令，根據所述第五指令選擇點圖中的位置，并在所選的位置加位置深度點； 導出模塊，用于將修改后的點圖以位置深度的格式導出，以供在深度學習網絡2D轉3D過程中使用上述單元像素塊深度圖的流程使用。6.根據權利要求5所述的裝置，其特征在于，所述彩色點包括:黃色的方點、綠色的方點、紅色的方點、紫色的方點、紅色單箭頭和綠色雙箭頭； 所述黃色的方點表示所述點圖中孤立位置深度點； 所述綠色的方點表示所述點圖中連續位置深度點好的部分，叫做好點，好點既有位置又有深度； 所述紅色的方點表示所述點圖中連續位置深度點壞的部分，叫做壞點，壞點只有位置沒有深度； 所述紅色單箭頭表示根據方向分別指前面的幀或后面的幀是壞點，其在當前幀是好點;所述紅色單箭頭還表示沒有追上回滾的位置深度點，表示前面或后面沒追上； 所述綠色雙箭頭表示新加的位置深度點，生命周期只在當前幀，即孤立位置深度點； 所述紫色的方點表示選中的位置深度點，如果在位置深度點的生命周期內，顯示當前幀應在的位置，如果超出了生命周期，顯示最近的位置關鍵幀所在的位置； 其中，有位置指的是本幀本身是位置關鍵幀，或本幀不是位置關鍵幀但是它前面和后面都有位置關鍵幀;有深度指的是本幀本身是深度關鍵幀，或本幀不是深度關鍵幀但是它前面和后面都有深度關鍵幀。7.根據權利要求5所述的裝置，其特征在于，所述涂抹模塊，還用于 根據所述第一指令選擇是否顯示彩色點，是否顯示灰度圖，是否顯示原圖，是否顯示交錯圖，是否顯示等高線圖，是否疊加半透的深度圖。8.根據權利要求5所述的裝置，其特征在于，所述圖像匹配跟蹤的方式，包括:全局單向孤立式追蹤、局部單向孤立式追蹤、全局單向連續式追蹤、局部單向連續式追蹤、全局交叉孤立式追蹤和全局交叉連續式追蹤;其中: 所述全局單向孤立式追蹤，包括:單向追蹤，賦值起始位置深度點的深度值和追蹤得到的位置信息，刪除追蹤的幀的位置深度點，以孤立位置深度點的方式保存； 所述局部單向孤立式追蹤，包括:單向追蹤，賦值起始位置深度點的深度值和追蹤得到的位置信息，刪除追蹤幀追上的位置深度點組成的凸包范圍內的位置深度點，以孤立位置深度點的方式保存； 所述全局單向連續式追蹤，包括:單向追蹤，賦值追蹤的位置，刪除追蹤的幀的位置深度點，以連續位置深度點的方式保存，未追上的位置深度點回滾到起始幀，標記追蹤方向的紅色單向箭頭，追蹤結束時尋找最近的位置深度點的深度信息賦予深度值； 所述局部單向連續式追蹤，包括:單向追蹤，賦值追蹤的位置，刪除追蹤幀追上的位置深度點組成的凸包范圍內的位置深度點，以連續位置深度點的方式保存，未追上的位置深度點回滾到起始幀，標記追蹤方向的紅色單向箭頭，追蹤結束時尋找最近的位置深度點的深度賦予深度值； 所述全局交叉孤立式追蹤，包括:進行兩遍全局單向孤立式追蹤，但只在第一遍刪除位置深度點； 所述全局交叉連續式追蹤，包括:進行兩遍全局單向連續式追蹤，但只在第一遍刪除位置深度點。
【文檔編號】G06T7/00GK106056616SQ201610397022
【公開日】2016年10月26日
【申請日】2016年6月7日
【發明人】趙天奇, 渠源, 李桂楠
【申請人】十二維度（北京）科技有限公司