圖像處理的改進或與圖像處理相關的改進的制作方法
【技術領域】
[0001]本發明涉及圖像處理或與圖像處理相關的改進，特別地，但不排他地，涉及一種用于配準視網膜圖像等血管系統圖像對或圖像序列的方法和裝置。
【背景技術】
[0002]成像系統，例如激光掃描眼底鏡(SLO)，是公知的使用一個或多個數字圖像傳感器來捕獲視網膜圖像數據的系統。用于SLO的數字圖像傳感器通常是單個傳感器，其中的光強度信號與掃描位置信號同步以便生成可以同步到2D圖像的單個數據流。數字圖像傳感器可選地可以包括光敏感像元(像素)陣列，通過SLO或眼底照相機等其它視網膜成像設備生成的視網膜圖像典型地為二維像素陣列并被稱為數字視網膜圖像。
[0003]源于像素陣列的強度值集合被稱為圖像數據。由像素陣列輸出的“原始”圖像數據可以經過各種后處理技術以便再現或用于由人觀看或用于由機器處理的圖像。視網膜圖像的后處理技術包括用于圖像分析和視網膜圖像對或圖像序列配準的各種統計方法。
[0004]視網膜圖像對或圖像序列配準通常關注一個或多個圖像的縮放、旋轉和相對于基本圖像的平移以便對齊(“配準”)該圖像與基本圖像。配準的視網膜圖像典型地疊加有基本視網膜圖像，以方便圖像之間的比較。
[0005]實現視網膜圖像對或圖像序列仿射配準的算法是已知的。這種算法可以涉及“血管系統跟蹤”，其中涉及迭代搜索和決策樹以映射和提取血管系統。特別是，這種方法通常搜索血管系統分支結點等特定的特性特征。盡管這種算法提供合理程度的配準精度，但是它們在計算上效率低下，即花費大量計算。此外，這種已知的算法只允許配準從普通成像模式獲得的圖像。也就是說，這種已知的算法不允許配準從不同的成像模式，例如反射模式或自發熒光模式獲得的圖像。
[0006]這種已知算法的實例可以在下列出版物中找到:US 2012/0195481A ；Can等人“用于配準彎曲的人類視網膜圖像對的基于特征的魯棒分層算法(A featurebased, Robust, Hierarchical Algorithm for Registering Pairs of Images of theCurved Human Retina) ”，IEEE模式分析與機器智能學報，第24卷，第3期(2002年3月)；Zana和Klein，“使用容器檢測和霍夫變換的眼底圖像多模態配準算法(A MultimodalRegistrat1n Algorithm of Eye Fundus Images Using Vessels Detect1n and HoughTransform)”，IEEE醫學成像學報，第18卷，第5期(1999年5月);和Hu等人“來自頻域光學相干斷層掃描和眼底攝影的多模態視網膜血管分割(Multimodal Retinal VesselSegmentat1n From Spectral-Domain Optical Coherence Tomography and FundusPhotography) ”，IEEE醫學成像學報，第31卷，第10期(2012年10月)。
[0007]EP 2064988 A(興和株氏會社)提出了一種用于通過在匹配概率得分的基礎上疊加兩個或多于兩個眼底圖像來創建視網膜眼底“成像圖”的設備和方法。匹配是在血管提取圖像中識別的角點圖像數據的基礎上進行的。然而，發明人相信，EP' 988中提出的技術將無法在典型的視網膜圖像中的血管系統中找到足夠的角點特征以實現可靠的圖像匹配和配準，特別是實現在不同的成像模式得到的圖像之間的圖像匹配和配準。視網膜圖像承受非常多變的光照，并且在通過現代SLO生成的高分辨率視網膜圖像中，血管的特征都是相對平滑邊的特征。因此角點提取將不會產生用于匹配的大量候選點，如果不是這樣的話，那就是被各種類型的噪聲嚴重影響了。
【發明內容】
[0008]根據本發明的第一方面，提供一種數字血管圖像的處理方法，包括以下步驟:
[0009]提供第一和第二數字血管圖像數據；
[0010]采用二維方向濾波器處理所述第一和第二圖像數據以達到生成正交相鄰圖像數據點簇的效果，其中，每個正交相鄰圖像數據點之間的強度梯度的幅值小于預定值；
[0011]識別第一和第二圖像數據中的每個圖像數據中的簇，其中一個或多個相鄰的簇之間的強度梯度的幅值大于預定值；
[0012]識別第一和第二圖像數據之間的共有簇，其中一個或多個相鄰的簇之間的強度梯度的幅值大于預定值；且
[0013]配準所述第一和第二圖像數據之間的所述共有簇。
[0014]數字血管圖像可以是視網膜圖像。數字血管圖像可以包括視網膜的血管系統的細節。視網膜的血管系統包括視網膜中的血管、動脈和靜脈。視網膜的血管系統包括視網膜的循環系統。
[0015]數字血管圖像可以是人或動物的器官或身體部位的血管圖像。數字血管圖像可以包括器官或身體部位的血管系統的細節。器官或身體部位的血管系統包括器官或身體部位中的血管、動脈和靜脈。器官或身體部位的血管系統包括器官或身體部位的循環系統。
[0016]所述第一和第二數字血管圖像數據可以包括用于生成圖像數據的一個或多個像素的入射照明強度。所述第一和第二圖像可以通過不同的成像模式獲得。
[0017]濾波器可以是匹配濾波器。濾波器可以具有與血管圖像數據中的血管特征的形式或形狀相匹配的形式或形狀。
[0018]濾波器可以是高斯濾波器。濾波器可以是伽柏濾波器。
[0019]一個或多個濾波器可以是相同的濾波器或不同的濾波器。在不同的方向使用不同的二維濾波器核函數在血管系統對方向具有某種形狀靈敏度的情況下可能有用。
[0020]核函數可以是匹配的核函數。核函數可以具有與血管圖像數據的形式或形狀相匹配的形式或形狀。
[0021]正交相鄰圖像的數據點簇可以包括任何數目或配置的正交相鄰圖像數據，其中每個正交相鄰圖像數據點之間的強度梯度小于預定值。
[0022]識別在所述第一和第二圖像數據中的每個圖像數據中的簇且其中一個或多個相鄰的簇之間的強度梯度的幅值高于預定值的步驟可以包括角點檢測算法的使用。角點檢測算法可以用于識別所述第一和第二圖像數據中的每個圖像數據中的簇且其中一個或多個相鄰的簇之間的強度梯度的幅值高于預定值。角點檢測算法可以用于識別所述第一和第二圖像數據中的每個圖像數據中的簇且其中在兩個正交方向上的一個或多個相鄰的簇之間的強度梯度的幅值同時高于預定值。即，角點檢測算法可以尋找在兩個正交方向上同時出現高于預定閾值的強度梯度上的變化。該預定值可以是，例如介于可能的最大梯度值的10%和50%之間。
[0023]角點檢測算法可以是哈里斯角點檢測算法。角點檢測算法可以是莫拉維克角點檢測算法或Sh1-Thomas角點檢測算法。
[0024]識別其中一個或多個相鄰簇之間的強度梯度的幅值高于預定值的第一和第二圖像數據之間的共有簇的步驟可以包括互相關卷積后的所述第一和第二圖像數據。
[0025]識別其中一個或多個相鄰簇之間的強度梯度的幅值高于預定值的所述第一和第二圖像數據之間的共有簇的步驟可以包括互相關在所述第一和第二圖像數據中識別的簇。
[0026]識別其中一個或多個相鄰簇之間的強度梯度的幅值高于預定值的所述第一和第二圖像數據之間的共有簇的步驟可以包括卷積后的第一和第二圖像數據的多個互相關。對于卷積后的所述第一和第二圖像數據的多個互相關，每個相繼的互相關可以根據上一個互相關遞增旋轉。多個互相關可以通過約40度或大于40度旋轉。多個互相關可以以大約20度或大于20度的步長通過圍繞實質上位于視網膜視盤點周圍的樞轉點旋轉。
[0027]互相關卷積后的所述第一和第二圖像數據的步驟可以包括確定在所述第一和第二圖像數據中的每個圖像數據中識別的共有簇之間在位置上的差異的另外的步驟。簇的位置可以包括簇的角度位置和/或其平移位置。所述第一和第二圖像數據中的每個圖像數據中識別的共有簇之間在位置上的差異可以被稱為平移參數。
[0028]配準所述第一和第二圖像數據之間的共有簇的步驟使用所確定的平移參數來對齊所述第一和第二圖像數據。所述第二圖像數據可以被配準到所述第一圖像數據或所述第一圖像數據可以被配準到所述第二圖像數據。配準的圖像數據可以疊加。
[0029]該方法可以包括減小第一和/或第二數字血管圖像數據的大小的附加的初始步驟。這可以包括刪除圖像數據的一個或多個部分。減少所述第一和/或第二數字血管圖像數據的大小的步驟可以包括對圖像數據進行濾波、平滑、采樣或子采樣的步驟。對圖像數據進行濾波、平滑、采樣或子采樣的步驟可以重復任意次。
[0030]該方法可包括下采樣所述第一和/或第二數字血管圖像數據的附加的初始步驟。下采樣所述第一和/或第二數字血管圖像數據的步驟可以包括一個或多個圖像數據的縮放計算。下采樣所述第一和/或第二數字血管圖像數據的步驟可以包括一個或多個圖像數據的金字塔縮放計算。
[0031]該方法可以包括增加所述第一和/或第二數字血管圖像數據的血管系統和背景之間的對比度的附加的初始步驟。該方法可以包括優化所述第一和/或第二數字血管圖像數據的血管系統和背景之間的對比度的附加的初始步驟。優化所述第一和/或第二數字血管圖像數據的血管系統和背