一種基于魚類視網膜機制的水下圖像增強方法與流程
本發明屬于圖像處理技術領域，涉及彩色圖像增強技術，具體涉及一種基于魚類視網膜機制的水下圖像增強方法。
背景技術：
隨著人類探索能力的不斷增強，越來越多的水下圖像被廣泛傳播與應用。但是由于水體中懸浮顆粒的后向散射以及前向散射會導致圖像模糊，由于光射入水中后不同波長的光波衰減速度不同而導致水下圖像顏色具有藍綠色偏。圖像模糊及色偏都會使得我們最終獲得的水下圖像不夠清晰。因此，如何去除模糊和色偏的影響，獲得具有高對比度的水下圖像成了一個比較重要的問題。
現有的圖像去模糊方法主要為基于暗通道先驗假設的方法，該類方法總體上都是基于大氣散射物理模型，代表方法有chiangjy等于2012年提出的方法，參考文獻：chiangjy,chenyc.underwaterimageenhancementbywavelengthcompensationanddehazing[j].ieeetransactionsonimageprocessing,2012,21(4):1756-1769。它們都需要滿足暗通道先驗才能實現很好的去模糊效果。
顏色恒常的方法有基于學習的或靜態的顏色恒常方法，主要通過估計場景光源顏色還原物體的真實顏色。然而它們主要是針對陸地場景，忽略了水下圖像的一些特性。其中，基于學習的方法由于目前沒有一個擁有標準光源的水下圖像數據庫，所以應用于水下圖像處理仍有一定難度；而靜態方法大都基于一定的灰度假設，但一般水下圖像紅色波段明顯弱于其他波段，不滿足灰度假設，所以靜態方法校正出來的圖像顏色大都偏紅，即使有些改進后的靜態方法，也要滿足暗通道先驗模型才能有一定效果。魚類視網膜可以同時解決色偏和模糊問題，然而目前還沒有一種模擬魚類視網膜同時處理色偏和模糊的方法。
技術實現要素：
針對現有技術存在上述問題，本發明提出了一種基于魚類視網膜機制的水下圖像增強方法。
本發明的技術方案為：一種基于魚類視網膜機制的水下圖像增強方法，包括以下步驟：
s1、提取顏色分量以及亮度分量：對水下圖像每一個像素點分別提取紅色分量ir、綠色分量ig、藍色分量ib，并計算出平均亮度分量i：
i＝(ir+ig+ib)/3
s2、計算rgb三通道的調整后均值：計算紅色通道中像素值大于第一閾值的最亮的部分的像素點的均值mr，作為紅色通道調整后的均值，并計算綠色通道和藍色通道各自的均值mg、mb；
s3、校正圖像的色偏：將r、g、b三通道每一像素點與其對應的均值相除，處理完成得到各通道更新后的值i′r、i′g、i′b，具體計算公式為；
然后，將更新后的值拉伸至原始圖像亮度，具體計算公式為：
其中，i′表示由i′r、i′g、i′b組成的圖像；mean表示求圖像的均值。
s4、計算顏色通道與亮度通道感受野外周輸入：對步驟s1得到的亮度分量i以及步驟s3得到r、g、b三通道更新后的值(i″r、i″g、i″b)分別進行濾波，得到四個通道的感受野外周輸入fsi、fsr、fsg、fsb；
s5、計算亮度通道感受野中心輸入：
計算步驟s1得到的亮度通道i的均值m，若m小于第二閾值，則亮度通道感受野的中心輸入fci為采用sigmoid函數調節，同時，將步驟s3得到的(i″r、i″g、i″b)也采用sigmoid進行再次更新；否則令fci＝i，且(i″r、i″g、i″b)不作更新處理；
s6、計算顏色通道與亮度通道感受野外周所占權重：使用k表示rgb通道與亮度通道感受野外周權重，其計算公式為：
其中，λ表示r、g、b三個通道，a為每個通道對應的最大值。i″λ(x，y)為經步驟s5處理后i″r、i″g、i″b對應(x，y)位置的像素值，kmax為k值上限。
s7、計算亮度通道感受野響應：將步驟s4與s5計算得到的感受野中心和外周輸入fci與fsi代入雙高斯差函數，計算得到亮度通道的感受野響應值，具體計算公式為：
其中，
s8、計算rgb三通道感受野的中心輸入：對步驟s7得到的亮度通道感受野輸出rodbp進行gamma變換得到rodbpγ，并與經步驟s5處理得到的i″r、i″g、i″b相乘共同構成r、g、b三通道的感受野中心輸入fc，具體計算公式為：
fcr＝i″r*rodbpγ
fcg＝i″g*rodbpγ
fcb＝i″b*rodbpγ
其中，*表示乘號；
s9、計算rgb三通道感受野響應并輸出：同步驟s7，將步驟s5與s8計算得到r、g、b三通道的感受野中心輸入fcr、fcg、fcb以及外周輸入fsr、fsg、fsb代入雙高斯差函數來計算r、g、b三通道的感受野響應，具體計算公式為：
r、g、b三個通道的感受野響應bpr、bpg、bpb即為三個通道增強后的去霧圖像，將三個通道重新組合成一幅rgb圖像，作為最終的輸出。
進一步的，步驟s2所述的第一閾值為0.1，步驟s5所述的第二閾值為0.5。
進一步的，步驟s2所述的最亮的部分像素點具體為最亮的50％的像素點。
進一步的，步驟s4所述的濾波具體為均值濾波。
進一步的，所述步驟s2中，為避免調整后紅色通道均值過高，當調整后紅色通道均值mr大于綠色通道的均值mg時，用綠色通道的均值mg作為紅色通道最終調整后的均值，即：
mr＝min(mr，mg)。
進一步的，步驟s5對亮度通道感受野的中心輸入fci采用sigmoid函數調節具體如下：
更進一步的，步驟s4所述的均值濾波器的窗寬大小為大于3*3，小于15*15的任意大小，例如7*7,9*9等。
進一步的，步驟s7與步驟s9中所述的感受野中心和外周的高斯函數具體為：
其中，δc的取值范圍具體為0.2～0.8,δs取值為δc的3倍,m，n的取值范圍具體為5～15的整數。
進一步的，步驟s8中所述γ的取值范圍具體為0.4～0.6。
本發明的有益效果是：本發明的方法模擬了魚類視網膜水平細胞與視錐細胞之間的反饋關系來去除水下圖像的色偏，模擬了魚類視網膜雙極細胞中心外周拮抗作用來去除水下圖像的模糊。在整個模擬過程中，模擬了魚類視網膜水平細胞側抑制雙極細胞的結構來設計雙極細胞感受野的雙高斯差濾波器；同時利用sigmoid曲線模擬了網間細胞在黑暗中持續釋放多巴胺調節水平細胞的活動，使得處理后的圖像更加符合魚類的視覺機制；最后采用gamma變換模擬了無長突細胞對亮度信息的非線性處理，并構成顏色雙極細胞的中心輸入。基于本發明的算法可內嵌于相機內部，作為一種水下模式來處理水下圖像的色偏以及模糊問題。
附圖說明
圖1為本發明實施例的水下圖像處理流程圖。
圖2為水下拍攝的具有色偏及模糊問題的原始圖像。
圖3為原始圖像去除色偏之后對應的結果。
圖4為原始圖像經過兩次更新后對應的圖像。
圖5為亮度通道感受野的響應圖像。
圖6為最終輸出去除色偏以及模糊的圖像。
具體實施方式
下面結合附圖對本發明的實施例作進一步的說明。
魚類對于水下圖像中的色偏以及模糊具有很強的適應能力，學習魚類視覺系統圖像處理過程有助于解決相機拍攝到的水下圖像中的色偏以及模糊等問題。基于此，本發明提出了一種基于魚類視網膜機制的水下圖像增強方法，如圖1所示，包括以下步驟：
對于一幅圖像大小為768*1024，具有色偏以及模糊問題的水下圖像(如圖2所示)，本發明的詳細步驟流程如下所示：
s1、提取顏色分量以及亮度分量：對水下圖像每一個像素點分別提取紅色分量ir、綠色分量ig、藍色分量ib，并計算出平均亮度分量i。
以原始輸入圖像(圖2)中像素值為(0.659，0.718,0.463)的示例點1和像素值為(0.275,0.373，0.212)的示例點2為例。它們對應的平均亮度分量i分別為(0.659+0.718+0.463)/3＝0.613和(0.275+0.373+0.212)/3＝0.286。
s2、計算rgb三通道的調整后均值：分別計算三個通道的均值，其中r通道計算大于0.1的最亮的50％的像素。原始圖像(圖2)中r通道像素值大于0.1的前50％像素點的均值為0.4231，所以mr＝0.4231，g通道均值為0.5407，所以mg＝0.5407，b通道均值為0.3367，所以mb＝0.3367。由于r通道的均值比g通道的均值要小，所以r通道的均值mr不作改變，仍為0.4231。
需要說明的是，不同于計算r通道的均值，這里采用通用方法計算g、b通道的均值。
s3、校正圖像的色偏：將r、g、b三通道每一像素點與其對應的均值相除，處理完成得到各通道更新后的值i′r、i′g、i′b，通過更新，圖像色偏被去除。
將兩個示例像素點對應通道的像素除以均值后，得到更新之后的像素值i′r、i′g、i′b分別為(0.659/0.4231，0.718/0.5407，0.463/0.3367)＝(1.5576，1.3279，1.3751)和(0.275/0.4231，0.373/0.5407，0.212/0.3367)＝(0.6500，0.6898，0.6296)。
此時，由i′r、i′g、i′b組成的圖像i′的均值mean(i′)計算得到的值為0.9985，原始圖像亮度的均值mean(i)為0.4170，所以，示例點1拉伸到原始圖像亮度的i′r、i′g、i′b分別變為：
同理，示例點2拉伸到原始圖像亮度對應的i″r、i″g、i″b分別為(0.2714，0.2881，0.2630)。通過這一更新，原始圖像色偏被去除，圖3展示了去除色偏之后對應的圖像,可以看出圖像的綠色色偏被有效去除。
s4、計算顏色通道與亮度通道感受野外周輸入：對s1得到的亮度通道i以及s3得到r、g、b三通道更新后的值i″r、i″g、i″b分別進行均值濾波，得到四個通道的感受野外周輸入fsi、fsr、fsg、fsb。
本實施例中，以窗寬為9*9的均值濾波器為例，對s1得到的亮度圖i進行均值濾波，得到濾波后兩個示例像素點對應位置的值為fsi分別為0.7839和0.1327。對s3得到的更新后的rgb三個通道的圖像i″r、i″g、i″b進行均值濾波，兩個示例點對應位置經均值濾波之后fsr、fsg、fsb分別為(0.6597,0.7313，0.7448)和(0.2930,0.1926，0.1304)。
s5、計算亮度通道感受野中心輸入：計算亮度通道的均值，原始輸入圖像(圖2)對應的亮度通道i的均值m為0.4170，由于它小于0.5，所以使用sigmoid函數：
計算亮度通道感受野的中心輸入fci。將s1計算得到的兩個示例點的亮度i0.613與0.286分別代入上公式，計算得到亮度通道的感受野中心輸入fci分別為0.7559和0.1053。
同時，對s3計算得到的i″r、i″g、i″b的值(0.6505，0.5546，0.5743)采用相同的函數進行處理，代入得到兩個示例像素點i″r、i″g、i″b更新后的值分別為(0.8183，0.6332,0.6777)和(0.0924,0.1073，0.0855)。
圖4展示了i″r、i″g、i″b經過再次更新后對應的圖像。
s6、計算顏色通道與亮度通道感受野外周所占權重：使用k表示rgb通道與亮度通道感受野外周權重，其計算公式為：
這里，為避免出現圖像被過度增強的現象，k值應設置合理上限，在本實施例中將這一上限設置為0.4，即kmax＝0.4，λ表示r、g、b三個通道，a為每個通道對應的最大值。i′λ(x，y)為經步驟s5處理后i″r、i″g、i″b對應(x，y)位置的像素值。此時，rgb三通道的最大值aλ分別為：0.9465，0.8778，0.9333，rgb三個通道
s7、計算亮度通道感受野響應：將步驟s4與s5計算得到亮度通道感受野中心和外周輸入fci與fsi代入雙高斯差函數，計算得到亮度通道的感受野響應值，計算公式為：
本實施例中，以σc＝0.5，σs＝1.5，m＝n＝9為例，在此處計算得兩個示例點的亮度通道的感受野響應值rodbp分別為0.4745和0.2608。
圖5展示了亮度通道感受野的響應圖。
s8、計算rgb三通道感受野的中心輸入：對s7得到的亮度通道感受野輸出rodbp進行gamma變換，與經步驟s5處理得到的i″r、i″g、i″b共同構成r、g、b三通道的感受野中心輸入fc。
本實施例所述的gamma變換中采用γ＝0.5為例，計算得rgb三通道感受野的中心輸入fcr，fcg，fcb。則示例點1對應的計算過程與結果為：
fcb＝i″r*rodbpγ＝0.8183*0.47450.5＝0.5637
fcg＝i″g*rodbpγ＝0.6332*0.47450.5＝0.4363
fcb＝i″b*rodbpγ＝0.6777*0.47450.5＝0.4669
同樣，示例點2對應的感受野的中心輸入fcr，fcg，fcb計算結果為(0.0637,0.0739,0.0589)。
s9、計算rgb三通道感受野響應并輸出：同步驟s7，在本實施例中使用雙高斯差函數來計算r、g、b三通道的感受野響應：
將s8計算得到的fcr，fcg，fcb與s6計算得到的k代入上公式，σc與σs采用與步驟s7相同的取值σc＝0.5，σs＝1.5，m＝n＝9，得到三通道的感受野響應bpr、bpg、bpb。兩個示例點對應位置的bpr、bpg、bpb計算結果分別為(1,0.778,0.865)和(0.022,0.0184,0.0376)。最后，將計算得到的結果輸出。
圖6展示了最終輸出的圖像，相比與原始圖像(圖2)，圖像的色偏以及模糊被有效去除。
以上的簡單實例主要以圖像的單個像素值作為例子來闡述，實際計算時是在整幅圖像的所有像素上進行的。通過這樣一個簡單實例，闡述了本發明模擬魚類視網膜去除色偏以及模糊的全過程。
這里所述的實施例是為了幫助讀者理解本發明的原理，應被理解為本發明的保護范圍并不局限于這樣的特別陳述和實施例。本領域的普通技術人員可以根據本發明公開的這些技術啟示做出各種不脫離本發明實質的其他各種具體變形和組合，這些變形和組合仍然在本發明的保護范圍內。
- 還沒有人留言評論。精彩留言會獲得點贊！