一種拼接墻的拼接縫識別方法及消除方法

專利名稱：一種拼接墻的拼接縫識別方法及消除方法
技術領域：
本發明涉及視頻圖像處理領域，具體涉及一種拼接墻的拼接縫識別方法和消除方法。
背景技術：
Vff(Video Wall)，即超高分辨率數字拼接墻系統，具有超高分辨率、多信號源、超大畫面無縫顯示等特性，用以滿足用戶的集中顯示、集中監控、集中指揮調度需求，從而有效提升監控者的工作效率與質量，完成在單個顯示屏前無法完成的工作，其有著廣闊的應用前景。拼接墻由多塊液晶屏幕拼接而成，拼接不可避免的就會產生拼接縫，而液晶屏幕 的邊框是影像拼接縫寬窄的重要原因。液晶屏幕的邊框具有支撐屏幕、封裝光學結構、封裝電子結構等多種功能，因為顯示屏幕本身的重量需要邊框進行支撐，因此控制屏幕邊框的寬度是一件非常困難的事情。但對于拼接墻體，拼接縫的大小卻嚴重影響實際的顯示效果。在液晶拼接墻產業格局中，接縫問題已經成為阻礙這一產業壯大的一個核心因素。利用相關技術改善拼接墻的接縫顯示效果有助于解決拼接縫的顯示問題。視頻圖像處理技術源自計算機視覺技術，它能夠在圖像及圖像描述之間建立映射關系，從而使計算機能夠通過數字圖像處理和分析來理解視頻畫面中的內容。運用圖像處理算法，在不需要人為干預的情況下，通過對攝像機拍攝的視頻圖像序列進行自動分析，實現對場景中目標定位、識別和跟蹤等操作，并可以在此基礎上進一步理解和描述目標的行為。使用視頻圖像處理技術，對視頻圖像中拼接墻的拼接縫進行自動識別，并使用一定的方法將其消除，可以讓拼接墻在視頻中獲得更好的視覺展示效果。一種現有的從圖像中識別直線的方法，是在圖像區域進行擬合，前提是要根據先驗知識確定一個大概的直線方程，通過直線方程擬合的方法識別圖像中的直線，這種方法因為預先設定了直線方程，識別結果的魯棒性較差，在處理攝像頭畸變引起的直線彎曲以及視頻圖像中其他直線的干擾等問題時，性能會受到很大影響。同時，擬合運算的計算效率較低，無法滿足視頻圖像實時處理的要求。另一種可能用來識別直線的方法，是將圖像按橫向與縱向分別考慮，在兩個方向上分別使用現有的邊緣檢測算子(如sobel算子)，求出圖像的梯度圖，梯度大于預先設定閾值的點，可能為直線上的點，根據閾值將梯度圖轉為二值圖像，最后用Hough變換求出直線方程。此種直線識別方法較前一種方法，計算效率較高，但由于使用邊緣檢測算子進行邊緣檢測會產生較多干擾，當接縫邊緣不明顯時，無法簡單的通過閾值篩選出接縫，所以識別率不高，因此這種方法也不適合直接用來處理識別拼接縫的問題。視頻圖像中拼接墻的拼接縫識別及消除，其難點在于
(I)視頻圖像中，拍攝到的大屏幕場景會不斷變化，同時由于拍攝角度等原因，光線也會不斷變化，對識別產生干擾；(2)視頻圖像處理對處理速度要求較高，現有的識別方法速度較慢，無法滿足實時處理視頻圖像的要求；
(3)視頻圖像中拍攝的物體會產生攝像頭畸變現象，大屏幕的拼接縫會彎曲而非嚴格的直線，對識別造成影響；
(4)在識別過程中，視屏圖像中大屏幕區域內外的其他線狀物體容易被錯誤識別，使用不恰當的識別方法會對識別結果造成干擾，同時影像處理速度；
(5)當攝像頭與拼接屏幕產生相對運動吋，視頻圖像中的拼接縫可能會變模糊，導致不容易被識別；
針對上述難點，現有的ー些方法均無法直接使用，需要設計更加合理的具有針對性的方法來解決視頻圖像中超高分辨率數字拼接墻的拼接縫識別及消除問題。

發明內容
本發明解決的技術問題是克服現有技術的不足，提供ー種提高拼接縫檢測準確率的拼接墻的拼接縫識別方法。本發明還提供一種提高拼接縫檢測和消除準確率的拼接縫消除方法。為解決上述技術問題，本發明第一個發明目的的技術方案如下
一種拼接墻的拼接縫識別方法，包括步驟
將拍攝的圖像轉換為灰度圖像；
提取灰度圖像中的拼接縫點形成ニ值圖像；
對ニ值圖像進行Hough變換，利用累加器記錄變換結果；
根據累加器結果求出拼接縫對應的直線方程。上述方案中，所述提取灰度圖像中的拼接縫點形成ニ值圖像的具體步驟為 設置拼接縫提取模板；
利用拼接縫提取模板遍歷灰度圖像提取拼接縫點；
建立灰度圖像對應的提取結果ニ值圖像，其中將拼接縫點的值設為I。上述方案中，所述提取模板包括橫向拼接縫提取模板和縱向拼接縫提取模板。上述方案中，提取灰度圖像中的拼接縫點形成ニ值圖像后還進行如下步驟利用提取結果ニ值圖像對拼接縫點進行篩選，去除偽拼接縫點。上述方案中，所述利用提取結果ニ值圖像對拼接縫點進行篩選，去除偽拼接縫點的具體步驟為
設置拼接縫篩選模板和篩選閾值；
利用拼接縫篩選模板遍歷提取結果ニ值圖像，對拼接縫篩選模板區域內的像素求和；判斷求和結果是否大于篩選閾值，若是則將求和結果所對應的像素點保留，否則將求和結果對應的像素點的值設為0，得到篩選后的ニ值圖像。上述方案中，所述拼接縫篩選模板包括橫向拼接縫篩選模板和縱向拼接縫篩選模板。上述方案中，所述Hough變換采用極坐標參數方程。上述方案中，所述根據累加器結果求出拼接縫對應的直線方程的具體步驟為 設置變換閾值；將累加器結果大于變換閾值時所對應的點保留；
求取保留點中的極值點，根據每個極值點求出拼接縫對應的直線方程。上述方案中，所述變換閾值包括橫向拼接縫的變換閾值和縱向拼接縫的變換閾值。本發明第二個發明目的的 技術方案如下
一種拼接墻的拼接縫消除方法，，采用所述的拼接墻的拼接縫識別方法識別拼接墻中的拼接縫，根據拼接縫的直線方程采用線性插值對原始拍攝圖像進行拼接縫融合，得到消除拼接縫后的圖像。與現有技術相比，本發明技術方案的有益效果是
本發明的拼接縫識別方法采用拼接縫識別模板對拼接縫進行識別，能夠準確識別拼接墻中的拼接縫，并采用拼接縫篩選模板對提取的拼接縫點進行篩選，進一步將偽拼接縫點去除，保留真拼接縫點，進一步提高了拼接縫識別的準確率。本發明具有較高的魯棒性，能夠識別由于攝像頭與拼接墻相對運動而變模糊的拼接縫。而且，本發明具有較高的計算效率，能夠滿足實時處理的要求。本發明的拼接縫消除方法將識別出來的拼接縫利用線性插值實現拼接縫的去除。


圖I為本發明中一種拼接墻的拼接縫識別方法的流程 圖2為本發明中拼接縫提取模板的示意圖，其中a圖為橫向拼接縫提取模板，b圖為縱向拼接縫提取模板；
圖3為拼接墻中橫向窄拼接縫局部和放大示意圖，其中a圖為橫向拼接縫局部示意圖，b圖為a圖的放大不意 圖4為拼接墻中橫向寬拼接縫示意 圖5為原始拍攝的視頻圖像及其提取拼接縫點后的二值圖像；
圖6為圖5的提取結果二值圖像進行拼接縫點篩選后的二值圖像；
圖7為從圖6中識別出來的拼接縫示意 圖8為本發明中一種拼接墻的拼接縫消除方法的流程 圖9為原始拍攝的視頻圖像意 圖10為對圖9進行拼接縫消除后結果示意圖。
具體實施例方式下面結合附圖和實施例對本發明的技術方案做進一步的說明。如圖I所示，為本發明中一種拼接墻的拼接縫識別方法的流程圖。一種拼接墻的拼接縫識別方法，具體包括如下步驟
(SI)將拍攝的圖像轉換為灰度圖像；對拍攝的視頻圖像中的每一幀圖像逐幀處理，將彩色圖像轉換為灰度圖像，得到轉換后的每幀圖像的灰度圖像。(S2)提取灰度圖像中的拼接縫點形成二值圖像；其具體步驟為
(S21)設置拼接縫提取模板；拼接縫提取模板包括橫向拼接縫提取模板和縱向拼接縫提取模板。如圖2所示，假設將橫向拼接縫提取模板設置為7*1向量，將縱向拼接縫提取模板設置為1*7向量，其中的￡,1 , /,f分別代表灰度圖像對應模板中不同位置像素點的灰度值。(S22)利用拼接縫提取模板遍歷灰度圖像提取拼接縫點；
以橫向拼接縫提取模板為例，若拼接縫屬于窄拼接縫，則利用橫向拼接縫提取模板遍歷灰度圖像，若在橫向拼接縫提取模板區域內，驪ゑ#)，則判斷拼接縫為三個像素寬為拼接縫點 '若爾_具腿>麵_^,則判斷拼接縫為兩個像素寬，‘if為拼接縫點 '若，則判斷拼接縫為ー個像素寬，rf為拼接縫點。若拼接縫屬于寬拼接縫，則利用橫向拼接縫提取模板遍歷灰度圖像，若在橫向拼接縫提取模板區域內，.a,bj3g)>avg(c,!f5.e),其中avg表示均值，則c，d，e為拼接縫；同時向橫向拼接縫提取模板兩邊繼續擴展，若/則6為拼接縫，如果/〈め則/為拼接縫，以此類推，直到找不到拼接縫或者達到預先設定的像素值上限。 上述對拼接縫提取模板的設置以及對拼接縫點的判斷規則可具體根據實際的拼接墻設置，以獲取更準確的拼接縫提取模板以及提取更為準確的拼接縫點。如圖3所示，為拼接墻中橫向窄拼接縫局部和放大示意圖。對于橫向窄接縫，其滿足三個特征a)拼接縫寬在I-]個像素之間山)拼接縫像素值低于上下非拼接縫區域的像素值；c)是一條橫向直線，傾角大于_20°，小于20°。將這三個特征作為窄拼接縫的前提假設條件，根據橫向窄拼接縫的特征設置上述橫向拼接縫提取模板和拼接縫點的判斷規則。如圖4所示，對于橫向寬拼接縫，其寬度通常在3個像素以上，有的地方甚至超過10個像素。這種情況下，如果單純的采用橫向窄拼接縫的判斷規則，擴大模板，會極大的増加運算量，因此，需要根據橫向寬拼接縫的實際情況設置不同的判斷規則。(S23)建立灰度圖像對應的提取結果ニ值圖像，其中將拼接縫點的值設為I。將拼接縫提取模板遍歷整幅灰度圖像，就能找出所有拼接縫點，同時也會帶來很多噪聲。如圖5所示，圖5 (a)為原始拍攝的視頻圖像，圖5 (b)為橫向拼接縫提取結果示意圖，拼接縫提取的結果圖是ニ值圖像，數值為I (白)的像素表示拼接縫點，為0 (黒)的像素表示不是接縫點。(S3)利用提取結果ニ值圖像對拼接縫點進行篩選，去除偽拼接縫點。對拼接縫點進行篩選的原則是a)孤立的點一般不為拼接縫；b)彎曲的線一般不為拼接縫。其具體步驟為
(531)設置拼接縫篩選模板和篩選閾值；拼接縫篩選模板包括橫向拼接縫篩選模板和縱向拼接縫篩選模板；
(532)利用拼接縫篩選模板遍歷提取結果ニ值圖像，對拼接縫篩選模板區域內的像素求和；
(533)判斷求和結果是否大于篩選閾值，若是則將求和結果所對應的像素點保留，否則將求和結果對應的像素點的值設為0，得到篩選后的ニ值圖像。如對與橫向窄拼接縫，設置橫向拼接縫篩選模板mXn,其中m為3Q, n為2，篩選閾值f為25 ;對于橫向寬拼接縫，設置橫向拼接縫篩選模板ffiX/ ，其中《為30，/ 為4，篩選閾值r為70。如圖6所示為利用橫向拼接縫篩選模板對圖5中的橫向拼接縫提取結果ニ值圖像中的拼接縫點進行篩選后的ニ值圖像。
(S4)對篩選后的二值圖像進行Hough變換，利用累加器記錄變換結果；
針對篩選后的二值圖像，使用極坐標參數方程對其進行Hough變換(又名Radon變換)，極坐標中直線參數方程為
P =Xcos Θ +^sin Θ (I)
Hough變換在極坐標系參數空間中檢測共線的主要步驟為
(1)給P 和 Θ 定義值域，P G [~ , D] (D-mnxCwidth ,heigh )), θ ^ [-90°，90° ]，構造二維累加數組^ (P，〃)，初始化為零數組；
(2)對空間中的給定點I^ η，利用β遍取其值域內的值(步長自設)，通過公式(I)計算出P ； 每計算出一組的(P，值，便對累加數組對應的元素^ (0，加1，則計算完成之后d (P，的值就是對應參數P和β的直線上的共線點的數目，通過P和β又可以利用公式(I)反求得原空間直線函數式。(S5)根據累加器結果求出拼接縫對應的直線方程。(S51)設置變換閾值；變換閾值包括橫向拼接縫的變換閾值和縱向拼接縫的變換閾值。如對與窄拼接縫，橫向方向Hough變換閾值設為WidtMAH縱向方向Hough變換閾值為知i#i*4/8 ;對于寬拼接縫，橫向方向Hough變換閾值設為width難，縱向方向Hough 變換閾值為*4/6。(S52)將累加器結果大于變換閾值時所對應的點保留；
(S53)求取保留點中的極值點，根據每個極值點求出拼接縫對應的直線方程。如圖7所示，為根據執行方程式提取的拼接縫結果示意圖。如圖8所示，為本發明中一種拼接墻的拼接縫消除方法的流程圖，所述消除方法采用拼接墻的拼接縫識別方法識別拼接墻中的拼接縫，根據拼接縫的直線方程采用線性插值對原始拍攝圖像進行拼接縫融合，得到消除拼接縫后的圖像。如圖10所示，為對原始拍攝視頻圖像進行拼接縫消除后的結構示意圖。最后所應說明的是，以上實施例僅用以說明本發明的技術方案而非限制。盡管參照實施例對本發明進行了詳細說明，本領域的技術人員應當理解，對本發明的技術方案進行修改或者等同替換，都不脫離本發明技術方案的精神和范圍，其均應涵蓋在本發明的權利要求范圍當中。
權利要求
1.一種拼接墻的拼接縫識別方法，其特征在于，包括步驟 將拍攝的圖像轉換為灰度圖像； 提取灰度圖像中的拼接縫點形成二值圖像； 對二值圖像進行Hough變換，利用累加器記錄變換結果； 根據累加器結果求出拼接縫對應的直線方程。
2.根據權利要求I所述的拼接墻的拼接縫識別方法，其特征在于，所述提取灰度圖像中的拼接縫點形成二值圖像的具體步驟為 設置拼接縫提取模板； 利用拼接縫提取模板遍歷灰度圖像提取拼接縫點； 建立灰度圖像對應的提取結果二值圖像，其中將拼接縫點的值設為I。
3.根據權利要求2所述的拼接墻的拼接縫識別方法，其特征在于，所述提取模板包括橫向拼接縫提取模板和縱向拼接縫提取模板。
4.根據權利要求2所述的拼接墻的拼接縫識別方法，其特征在于，提取灰度圖像中的拼接縫點形成二值圖像后還進行如下步驟利用提取結果二值圖像對拼接縫點進行篩選，去除偽拼接縫點。
5.根據權利要求4所述的拼接墻的拼接縫識別方法，其特征在于，所述利用提取結果二值圖像對拼接縫點進行篩選，去除偽拼接縫點的具體步驟為 設置拼接縫篩選模板和篩選閾值； 利用拼接縫篩選模板遍歷提取結果二值圖像，對拼接縫篩選模板區域內的像素求和； 判斷求和結果是否大于篩選閾值，若是則將求和結果所對應的像素點保留，否則將求和結果對應的像素點的值設為0，得到篩選后的二值圖像。
6.根據權利要求5所述的拼接墻的拼接縫識別方法，其特征在于，所述拼接縫篩選模板包括橫向拼接縫篩選模板和縱向拼接縫篩選模板。
7.根據權利要求I至6任一項所述的拼接墻的拼接縫識別方法，其特征在于，所述Hough變換采用極坐標參數方程。
8.根據權利要求7所述的拼接墻的拼接縫識別方法，其特征在于，所述根據累加器結果求出拼接縫對應的直線方程的具體步驟為 設置變換閾值； 將累加器結果大于變換閾值時所對應的點保留； 求取保留點中的極值點，根據每個極值點求出拼接縫對應的直線方程。
9.根據權利要求8所述的拼接墻的拼接縫識別方法，其特征在于，所述變換閾值包括橫向拼接縫的變換閾值和縱向拼接縫的變換閾值。
10.一種拼接墻的拼接縫消除方法，其特征在于，采用權利要求I所述的拼接墻的拼接縫識別方法識別拼接墻中的拼接縫，根據拼接縫的直線方程采用線性插值對原始拍攝圖像進行拼接縫融合，得到消除拼接縫后的圖像，得到消除拼接縫后的圖像。
全文摘要
本發明涉及視頻圖像處理領域，具體涉及一種拼接墻的拼接縫識別方法和消除方法。一種拼接墻的拼接縫識別方法包括步驟將拍攝的圖像轉換為灰度圖像；提取灰度圖像中的拼接縫點形成二值圖像；對二值圖像進行Hough變換，利用累加器記錄變換結果；根據累加器結果求出拼接縫對應的直線方程。本發明的拼接縫識別方法采用拼接縫識別模板對拼接縫進行識別，能夠準確識別拼接墻中的拼接縫，具有較高的魯棒性，能夠識別由于攝像頭與拼接墻相對運動而變模糊的拼接縫。而且，本發明具有較高的計算效率，能夠滿足實時處理的要求。本發明的拼接縫消除方法將識別出來的拼接縫利用線性插值實現拼接縫的去除。
文檔編號G06T5/00GK102760286SQ20121018610
公開日2012年10月31日 申請日期2012年6月7日 優先權日2012年6月7日
發明者何正宇, 張澤琦, 楊宇博, 王晶 申請人:廣東威創視訊科技股份有限公司