基于分布式計算的視頻去霧系統及視頻去霧方法
【專利摘要】本發明公開了基于分布式計算的視頻去霧系統及視頻去霧方法，本發明系統包括部署在分布式計算架構上的輸入節點、透射率估計模塊、大氣光照估計模塊、無霧圖像生成模塊，輸出節點，每個模塊均有多臺計算機以分布式架構的方式負責執行，本發明方法將輸入的有霧視頻將被分拆成幀流，透射率估計模塊同時計算數幀的透射率，大氣光照度估計模塊計算出對應幀的大氣光照度，無霧圖像生成模塊產生有霧幀所對應的無霧圖像，并按照幀的正確序列順序輸出。本發明擁有更高的處理速度，具備實時處理能力。
【專利說明】
基于分布式計算的視頻去霧系統及視頻去霧方法
技術領域
[0001] 本發明設及計算機視覺領域，更具體地，設及到一種基于分布式計算的視頻去霧 系統及視頻去霧方法。
【背景技術】
[0002] 霧靈天氣致使視頻設備所攝取的視頻數據模糊不清，嚴重降低了數據的質量。目 標跟蹤系統、目標識別系統等高度依賴于視頻數據清晰度的應用將因此而無法正常運作。 視頻去霧能夠W低清晰度的有霧視頻作為輸入，經一系列處理后，輸出無霧的視頻數據。因 此，視頻去霧對視頻數據的分析和處理具有極其重要的意義。
[0003] 目前視頻去霧的方法均只針對去霧效果，并不著重于其性能，因而普遍存在著效 率瓶頸，無法達到實時處理的要求。然而，大部分的視頻數據分析系統，在視頻數據的清晰 度上有特殊要求的同時，往往還需要具備實時處理的能力。過于緩慢的視頻去霧處理速度， 將無法滿足各大視頻處理系統的性能指標，導致其實用性不高，推廣和應用也受到了局限。 另一方面，由于大部分視頻去霧算法所設及的一些固有的基本的運算步驟，其本身在計算 時具有較高的時間復雜度，嘗試從視頻去霧算法本身出發提高整體效率也在一定程度上存 在著困難。如何進一步提高視頻去霧方法的處理效率是一個關鍵且有現實意義的問題。
【發明內容】
[0004] 本發明的目的在于進一步提高視頻去霧的處理速度，W使其達到實時處理的要 求。
[0005] 為實現上述目的，本發明公開了基于分布式計算的視頻去霧系統，采用Apache Storm作為分布式計算的實現架構，包括部署在分布式計算架構上輸入節點、透射率估計模 塊、大氣光照估計模塊、無霧圖像生成模塊，輸出節點，各模塊分5層部署:第1層為輸入節 點，讀取視頻帖流;第2層為透射率估計模塊，由多個節點組成，每個節點都部署有一個獨立 的透射率估計單元，用W估計單個圖像帖所對應的透射率，并將結果輸出到第3層;第3層為 大氣光照估計模塊，由多個節點組成，每個節點都部署有一個獨立的大氣光照估計單元，用 W接收第2層的透射率并估計對應的大氣光照度，將結果輸出到第4層;第4層為無霧圖像生 成模塊，由多個節點組成，每個節點都部署有一個獨立的無霧圖像生成單元，用W接收第3 層輸出的大氣光照度，同時生成無霧圖像帖，并輸出到第5層;第5層為輸出節點，用于輸出 視頻流。
[0006] 進一步地，所述的第1層的輸入節點WApache storm中的Spout實現，第2~5層的 所有節點WApache Storm中的Blot實現。
[0007] 其中，所述的輸出節點將無霧圖像帖按照視頻序列的正確順序排序后輸出視頻 流。
[000引優選地，所述的輸入節點、透射率估計模塊、大氣光照估計模塊、無霧圖像生成模 塊，輸出節點，平均配到若干臺計算機上運行。
[0009] 本發明還公開了的基于分布式計算的視頻去霧方法，包括W下步驟：
[0010] SI.將有霧視頻W帖流的形式作為輸入，W每秒n帖的速率，通過輸入節點輸入圖 像帖Iti，It2，…，Itn至化edis緩沖池中；
[0011] S2.輸入節點不斷從Redis緩沖池中讀取有霧的圖像帖，并輸出到透射率估計模塊 中；
[001 ^ S3.透射率估計模塊同時估計n帖圖像的透射率Tti，Tt2，…，Ttn，并將結果輸入到大 氣光照度估計模塊中；
[001引S4 .大氣光照度估計模塊根據圖像帖Itl，It2，…，Itn的透射率Ttl，Tt2，. .，Ttn，同時 估計出其對應的大氣光照度Atl, At2,…，Atn,并將結果輸出到無霧圖像生成模塊中；
[0014] S5 .無霧圖像生成模塊根據Itl，It2，…，Itn和Ttl，Tt2，. .，Ttn W及Atl，At2，…，Atn，生 成無霧帖 Jtl，Jt2，? ? ?，Jtn ;
[001引S6.對無霧帖…，Jtn按照正確的序列順序進行排序，得到排好序的無霧帖 ,Jt+n-l，其中Jt表不,Jta中序則頓序最前的無霧帖；
[0016] S7.將排好序的無霧帖Jt，Jtu，…，Jt+n-1輸出到Redis緩沖池；
[0017] S8.從Redis緩沖池中不斷讀取無霧帖，重新合成視頻流并通過輸出節點輸出。
[0018] 其中，所述步驟S3中的透射率估計模塊，由多個透射率估計單元組成，每個透射率 估計單元的實現方式均相同，其具體實現如下：
[0019] 給定一帖有霧圖像I，透射率估計單元計算其對應的透射率：
[0020]
[0021] 其中，t是I所對應的透射率，Q (X)是尺寸為15 X 15的Wx為中屯、的局部塊，0是大 氣散射系數，e=l.Ojva哺rat分別是HSV顏色空間下的亮度及飽和度，a日、ai和日2為線性系 數，a〇 = 〇. 1893,日1二 1.0267，日2 = -1.2966。
[0022] 其中，步驟S4中大氣光照度估計模塊，由多個大氣光照度估計單元組成，每個估 計單元的實現方式均相同，其具體實現如下：
[0023]
[0024] 其中，A表示圖像帖I所對應的大氣光照度。
[0025] 其中，步驟S5中無霧圖像生成模塊，由多個無霧圖像生成單元，每個單元均采用同 樣的方法復原無霧圖像，具體的復原方法如下：
[0026] 根據有霧圖像I、透射率t、大氣光照度A，結合大氣散射模型，可由下式計算無霧帖 J，從而復原1中無霧閣像：
[0027]
[0028] 與現有技術相比，本發明具有W下有益效果：
[0029] 1)結合分布式計算技術，可并行對多帖有霧視頻進行處理，解決了視頻去霧的處 理效率瓶頸。大幅度縮短了對視頻的處理時間，具備實時處理的能力。
[0030] 2)具有更高的可擴展性，通過不斷擴展計算機的數量，可進一步提高視頻處理的 效率，且沒有上限限制，其效率主要取決于計算機的平均性能及其數量。
【附圖說明】
[0031] 圖1為本發明的方法中所設及各模塊在分布式架構中的部署形式。
[0032] 圖2為本發明的方法執行步驟示意圖。
[0033] 圖3為本發明方法的處理效率統計圖。
【具體實施方式】
[0034] 下面結合附圖對本發明做進一步的描述，但本發明的實施方式并不限于此。
[0035] 如圖1所示，本發明公開了基于分布式計算的視頻去霧系統，采用Apache Storm作 為分布式計算的實現架構，包括部署在分布式計算架構上輸入節點、透射率估計模塊、大氣 光照估計模塊、無霧圖像生成模塊，輸出節點。
[0036] 圖1中每個圓表示分布式框架中的一個節點，相應代表著一個獨立線程。各模塊分 5層部署，具體如下詳述。
[0037] 第1層作為輸入節點，讀取視頻帖流，該節點WApache Storm中的Spout實現，其余 所有節點都WApache Storm中的Bolt實現。
[0038] 第2層是透射率估計模塊，由多個節點組成，每個節點均部署有一個獨立的透射率 估計單元，用W估計單個圖像帖所對應的透射率，并將結果輸出到第3層，不同節點之間的 估計單元的相互獨立。
[0039] 第3層為大氣光照度估計模塊，與第2層類似，由多個節點組成，每個節點部署一個 獨立的大氣光照度估計單元，節點間的單元同樣相互獨立，每個節點在空閑時接收第2層輸 出的透射率，估計出對應的大氣光照度，并輸出到第4層。
[0040] 第4層為無霧圖像生成模塊，可分解成多個無霧圖像生成單元，每個單元獨立地部 署在一個單獨的節點上，負責接收第3層輸出的大氣光照度，同時生成無霧圖像，輸出到第5 層。
[0041] 第5層為單個輸出節點，用于對輸出的無霧圖像帖按照視頻序列的正確順序重新 排序，并輸出視頻流。
[0042] 給定m臺物理計算機，所有獨立線程(包括各輸入節點、透射率估計模塊中的估計 單元、大氣光照度估計模塊中的估計單元、無霧圖像生成模塊中的生成單元W及輸出節點） 將平均分配到運m臺計算機上運行。如圖3所示，獨立線程分配到3臺物理計算機上運行時， 在同樣的分辨率時，其帖率顯著大于1臺計算機，極大的提高了處理效率，能滿足實時處理 的要求。
[0043] 基于上述系統，本發明還公開了視頻去霧的處理方法，其執行步驟如附圖2所示， 具體包括如下步驟：
[0044] S1 .將有霧視頻W帖流的形式作為輸入，W每秒n帖的速率，輸入圖像帖I ti， It2，...，Itn 到Redi S 緩沖池中。
[0045] S2.輸入節點從Redis緩沖池中讀取有霧的圖像帖，并且輸出到透射率估計模塊；
[0046] S3.透射率估計模塊由多個透射率估計單元組成，每個透射率估計單元均根據有 霧圖像I計算其各圖像帖的透射率，計算公式如公式1所示。
[0047]
[004引具甲，t是i所刈化的透斯準，U U;是尺了刃化A化的Wx為中屯、的局部塊，0是大 氣散射系數，e=l.Ojva哺rat分別是HSV顏色空間下的亮度及飽和度，a日、ai和日2為線性系 數，a0 = 0.1893，日1二 1.0267，日2 = -1.2966。
[0049] 根據公式1得至Ijn帖圖像的透射率Tti，Tt2,…，Ttn,并將結果輸入到大氣光照度估計 模塊中。
[0050] S4.大氣光照度估計模塊由多個大氣光照度估計單元組成，根據圖像帖Iti, It2，...，Itn的透射率Ttl，Tt2, . .，Ttn，每個大氣光照度估計單元按公式2計算圖像帖對應的 大氣光照度Atl，At2，…，Atn。并將結果輸出到無霧圖像生成模塊中。
[0化1]
)
[0052] 其中，A表示圖像帖I所對應的大氣光照度。
[0053] S5.無霧圖像生成模塊由多個無霧圖像生成單元組成，根據Iti, It2,…，Itn和Tti, Tt2, . . ,TtnW及Atl，At2，，'，，Atn，每個無霧圖像生成單元根據公式3計算生成的無霧帖Jtl, ,Jta。
[0化4]
(公式3)
[00對 S6 .輸出節點對無霧帖Jtl，Jt2，…，Jtn按照正確的序列順序進行排序，得到排好序 的無霧帖Jt, Jt+1, ? ? ? , Jt+n-1，其中Jt表不Jtl, Jt2 , ? ? ? , Jtn中序列順序最前的無霧帖；
[0056] S7.輸出節點進一步將排好序的無霧帖JtJt+i，…，Jt+n-i輸出到Redis緩沖池；
[0057] S8.從Redis緩沖池中不斷讀取無霧帖，重新合成視頻流并通過輸出節點輸出。
[005引綜上，本發明方法將輸入的有霧視頻將被分拆成帖流，W每秒數帖的形式傳入透 射率的計算模塊，該模塊同時計算數帖的透射率，并將結果輸出到大氣光照度的估計模塊， 大氣光照度估計模塊同時計算出對應帖的大氣光照度，把結果輸出到無霧圖像的生成模 塊，無霧圖像生成模塊產生有霧帖所對應的無霧圖像，輸出節點按照帖的正確序列順序輸 出。本發明系統和方法可用于復原遠景及近景，復原后遠景的輪廓明顯，色彩自然逼真，近 景的圖像文字清晰可見，本發明每個模塊均有多臺計算機W分布式架構的方式負責執行， 流水線式運作，擁有更高的處理速度，具備實時處理能力，適于推廣應用。
[0059] W上所述的本發明的實施方式，并不構成對本發明保護范圍的限定。任何在本發 明的精神原則之內所作出的修改、等同替換和改進等，均應包含在本發明的權利要求保護 范圍之內。
【主權項】
1. 基于分布式計算的視頻去霧系統，采用Apache storm作為分布式計算的實現架構， 其特征在于：包括部署在分布式計算架構上輸入節點、透射率估計模塊、大氣光照估計模 塊、無霧圖像生成模塊，輸出節點，各模塊分5層部署： 第1層為輸入節點，讀取視頻帖流； 第2層為透射率估計模塊，由多個節點組成，每個節點都部署有一個獨立的透射率估計 單元，用W估計單個圖像帖所對應的透射率，并將結果輸出到第3層； 第3層為大氣光照估計模塊，由多個節點組成，每個節點都部署有一個獨立的大氣光照 估計單元，用W接收第2層的透射率并估計對應的大氣光照度，將結果輸出到第4層； 第4層為無霧圖像生成模塊，由多個節點組成，每個節點都部署有一個獨立的無霧圖像 生成單元，用W接收第3層輸出的大氣光照度，同時生成無霧圖像帖，并輸出到第5層； 第5層為輸出節點，用于輸出視頻流。2. 根據權利要求1所述的基于分布式計算的視頻去霧系統，其特征在于:所述的第1層 的輸入節點WApache Storm中的Spout實現，第2~5層的所有節點WApache Storm中的 Blot實現。3. 根據權利要求1或2所述的基于分布式計算的視頻去霧系統，其特征在于:所述的輸 出節點將無霧圖像帖按照視頻序列的正確順序排序后輸出視頻流。4. 根據權利要求3所述的基于分布式計算的視頻去霧系統，其特征在于:所述的輸入節 點、透射率估計模塊、大氣光照估計模塊、無霧圖像生成模塊，輸出節點，平均配到若干臺計 算機上運行。5. 權利要求1~4任一項所述的基于分布式計算的視頻去霧系統的視頻去霧方法，其特 征在于，包括W下步驟：51. 將有霧視頻W帖流的形式作為輸入，W每秒η帖的速率，輸入圖像帖…，Itn 至化edis緩沖池中；52. 輸入節點不斷從Redis緩沖池中讀取有霧的圖像帖，并輸出到透射率估計模塊中；53. 透射率估計模塊同時估計η帖圖像的透射率Tti，Tt2，…，Ttn，并將結果輸入到大氣光 照度估計模塊中；54. 大氣光照度估計模塊根據圖像帖Itl，It2，…，I化的透射率Ttl，Tt2，. .，Ttn，同時估計 出其對應的大氣光照度4*1，4*2，-|，心。，并將結果輸出到無霧圖像生成模塊中； S5 .無霧圖像生成模塊根據Itl，It2，…，Itn和Ttl，Tt2，. .，Ttn W及Atl，At2，…，Atn，生成無 霧帖Jtl，Jt2，···，Jtn;56. 對無霧帖按照正確的序列順序進行排序，得到排好序的無霧帖Jt, Jt+1，…，Jt+n-1，其中Jt表示Jtl，Jt2，…，Jtn中序列順序最前的無霧帖；57. 將排好序的無霧帖Jt，Jt+1，…，Jt+n-1輸出到Redis緩沖池；58. 從Redis緩沖池中不斷讀取無霧帖，重新合成視頻流并通過輸出節點輸出。6. 根據權利要求5所述的基于分布式計算的視頻去霧方法，其特征在于，所述步驟S3中 的透射率估計模塊，由多個透射率估計單元組成，每個透射率估計單元的實現方式均相同， 其具體實現如下： 給定一帖有霧圖像I，透射率估計單元計算其對應的透射率：其中，t是I所對應的透射率，Ω (X)是尺寸為15 X 15的Wx為中屯、的局部塊，β是大氣散 射系數，β=1.〇，Γ3哺rat分別是HSV顏色空間下的亮度及飽和度，α日、αι和日2為線性系數，α〇 =0.1893，日1= 1.0267，日2 = -1.2966。7. 根據權利要求6所述的基于分布式計算的視頻去霧方法，其特征在于，所述步驟S4中 大氣光照度估計模塊，由多個大氣光照度估計單元組成，每個估計單元的實現方式均相同， 其具體實現如下：其中，A表示圖像帖I所對應的大氣光照度。8. 根據權利要求7所述的基于分布式計算的視頻去霧方法，其特征在于，所述步驟S5中 無霧圖像生成模塊，由多個無霧圖像生成單元，每個單元均采用同樣的方法復原無霧圖像， 具體的復原方法為，根據有霧圖像I、透射率t、大氣光照度A，結合大氣散射模型，可由下式 計算無霧帖J，從而復原出無霧圖像：
【文檔編號】H04N5/21GK105979120SQ201610393336
【公開日】2016年9月28日
【申請日】2016年6月3日
【發明人】王美華, 麥嘉銘, 梁云
【申請人】華南農業大學