本發明屬于光學顯微成像和圖像處理領域,具體涉及基于光學顯微成像系統的離焦圖像數字重聚焦方法。
背景技術:
1、光學顯微成像系統被廣泛應用于生物組織研究和精密工業測量。準確且快速的高分辨率成像一直是顯微系統發展的方向之一。然而,在實際成像過程中,由于樣品運動、透鏡偏移和系統控制誤差等因素的影響,無法一直保持對目標的準焦成像,因而會產生未知距離下的離焦圖像。利用計算成像模型和圖像處理手段,通過數字重聚焦的方式將離焦圖像轉化為準焦圖像,對于光學顯微成像觀察具有重要意義。
2、光學顯微成像系統可近似為線性空間不變系統,因此系統對目標的成像調制作用可以通過光學點擴展函數來表示。基于此,實際的成像過程就可以建模為目標的理想在焦圖像與系統點擴展函數的卷積,于是從離焦圖像到在焦圖像的重聚焦過程就轉化為圖像解卷積的過程。針對這種非相干光成像過程的圖像解卷積模型,傳統的圖像復原算法目前已被廣泛應用,例如維納濾波器、露西-理查德森算法和蘭德-韋伯算法等。這些方法結合總變分、稀疏性和非負性等人工選擇的信息先驗能夠進一步提升效果,但在實際使用中往往受限于準確的擴展函數估計、基于經驗的參數設置和耗時且不穩定的迭代過程等因素。近年來深度學習技術發展迅猛,并且在圖像解卷積問題上取得了遠超傳統算法的效果。然而,其中大部分神經網絡都是基于有監督學習模式,因而在使用時面臨著大量訓練數據和配對標簽的采集、漫長的優化過程和有限的泛化能力等阻礙。部分基于自監督學習的神經網絡方法能夠擺脫大量數據和標簽的成本問題,但犧牲的是解卷積效果的準確性和快速響應的能力。
3、因此,提出一種符合實際應用場景和需求的圖像解卷積算法來實現數字重聚焦功能具有重要意義。該方法需要滿足:1、數據獲取成本較低;2、優化過程較快;3、無需測量或估計系統的點擴散函數;4、解卷積效果較好;5、對于不同的成像系統、不同的樣品和不同的離焦距離均適用等特點。
技術實現思路
1、本發明提供一種基于參考引導學習的少樣本顯微圖像數字重聚焦方法。該方法針對光學顯微成像系統離焦成像的數字重聚焦需求,通過z軸掃描的方式拍攝獲取薄樣本b的z軸圖像堆棧作為系統成像的信息先驗,以參考引導的方式參與網絡訓練;通過同一光學顯微成像系統拍攝薄樣本a的離焦圖像;根據模糊度判據從樣本b的z軸圖像堆棧中選擇模糊度最接近的離焦圖像;構建神經網絡模型;將薄樣本a和b的離焦圖像共同輸入網絡,構建距離損失約束和正則化損失約束來推動網絡參數的優化;優化完成后能夠得到薄樣本a的重聚焦圖像和神經網絡的固化模型。類似薄樣本在相同離焦距離下的離焦圖像可利用該固化模型實現快速重聚焦,而在不同離焦距離下的離焦圖像可通過重復前述過程的再優化實現重聚焦功能。該方法的優勢在于,只需要利用少量樣本即可完成網絡的優化,數據獲取成本和網絡優化成本低,無需測量或估計系統的點擴散函數即可實現圖像解卷積,具備良好的重聚焦效果和魯棒的泛化性能,能夠適用于光學顯微成像系統的任意圖像重聚焦場景。
2、本發明的具體技術方案是:
3、一種基于參考引導學習的少樣本顯微圖像數字重聚焦方法,其特征在于該方法包括以下步驟:
4、s1.針對某一光學顯微成像系統,通過z軸掃描的方式,拍攝獲取薄樣本b的z軸圖像堆棧,其中包含薄樣本b的在焦圖像和不同距離下的離焦圖像;
5、s2.利用同一光學顯微成像系統,將薄樣本b更換為類似薄樣本a,在未知離焦距離下拍攝獲得薄樣本a的單張離焦圖像;
6、s3.根據模糊度判據,從薄樣本b的z軸圖像堆棧選擇一張離焦圖像,與薄樣本a的離焦圖像具備最接近的模糊度,并選擇薄樣本b的在焦圖像,與離焦圖像配對作為參考引導;
7、s4.建立神經網絡模型,用于離焦顯微圖像的數字重聚焦;
8、s5.將薄樣本a和b的離焦圖像作為輸入,薄樣本b的在焦圖像作為標簽,薄樣本a和b的重聚焦圖像作為輸出,構建損失函數約束推動神經網絡模型的參數優化;
9、s6.經過足量優化后,可以得到薄樣本a的重聚焦圖像,以及神經網絡的固化模型。
10、所述步驟s1的某一光學顯微成像系統,可以是滿足光學線性系統理論的任意非相干光學顯微成像系統,包括但不限于明場光學顯微成像系統和寬場熒光顯微成像系統。
11、所述步驟s1的z軸掃描,實現方式可以是電動或手動,掃描間隔越小越好。
12、所述步驟s1的薄樣本,特指厚度不超過系統景深范圍的樣本,即系統能夠拍攝薄樣本的完全準焦圖像。
13、所述步驟s2的同一光學顯微成像系統,代表薄樣本a和b經過了相同的成像系統響應。
14、所述步驟s2的類似薄樣本,特指與薄樣本b在圖像特征上具備較高的相似度,包括但不限于同種生物細胞、同類組織切片和近似微結構樣品等。
15、所述步驟s2的未知離焦距離,特指在z軸圖像堆棧的距離范圍內的任意離焦距離。
16、所述步驟s3的模糊度判據,可以是量化圖像模糊程度的任意計算方法,包括但不限于傅里葉環相關和圖像梯度等。
17、所述步驟s4的神經網絡模型,可以是任意結構的網絡模型,包括但不限于u型神經網絡、全卷積網絡、transformer網絡、模型增強的自定義網絡等。
18、本發明的有益效果在于面對光學顯微成像系統的數字重聚焦需求,提出了一種基于參考引導學習的少樣本顯微圖像數字重聚焦方法。相比于傳統的圖像復原算法,該方法無需估計系統的點擴散函數作為解卷積核,也無需基于人工經驗的調參即可實現更好的圖像解卷積效果。相比于有監督學習的神經網絡方法,該方法無需采集大量數據和標簽用于訓練,避免了長時間的優化過程,極大降低了神經網絡的使用成本,且保持了同樣優秀的圖像解卷積效果。相比于自監督學習的神經網絡方法,該方法能夠實現更優秀、更穩定和更魯棒的數字重聚焦效果,并保持了一定的快速響應能力。該方法能夠同時滿足數據獲取成本低,優化過程較快,無需測量或估計系統的點擴散函數,解卷積效果好,對于不同的成像系統、不同的樣品和不同的離焦距離均適用等特點。
1.一種基于參考引導學習的少樣本顯微圖像數字重聚焦方法,其特征在于該方法包括以下步驟:
2.根據權利要求1所述的一種基于參考引導學習的少樣本顯微圖像數字重聚焦方法,其特征在于,所述步驟s1的某一光學顯微成像系統,可以是滿足光學線性系統理論的任意非相干光學顯微成像系統,包括但不限于明場光學顯微成像系統和寬場熒光顯微成像系統。
3.根據權利要求1所述的一種基于參考引導學習的少樣本顯微圖像數字重聚焦方法,其特征在于,所述步驟s1的z軸掃描,實現方式可以是電動或手動,掃描間隔越小越好。
4.根據權利要求1所述的一種基于參考引導學習的少樣本顯微圖像數字重聚焦方法,其特征在于,所述步驟s1的薄樣本,特指厚度不超過系統景深范圍的樣本,即系統能夠拍攝薄樣本的完全準焦圖像。
5.根據權利要求1所述的一種基于參考引導學習的少樣本顯微圖像數字重聚焦方法,其特征在于,所述步驟s2的同一光學顯微成像系統,代表薄樣本a和b經過了相同的成像系統響應。
6.根據權利要求1所述的一種基于參考引導學習的少樣本顯微圖像數字重聚焦方法,其特征在于,所述步驟s2的類似薄樣本,特指與薄樣本b在圖像特征上具備較高的相似度,包括但不限于同種生物細胞、同類組織切片和近似微結構樣品等。
7.根據權利要求1所述的一種基于參考引導學習的少樣本顯微圖像數字重聚焦方法,其特征在于,所述步驟s2的未知離焦距離,特指在z軸圖像堆棧的距離范圍內的任意離焦距離。
8.根據權利要求1所述的一種基于參考引導學習的少樣本顯微圖像數字重聚焦方法,其特征在于,所述步驟s3的模糊度判據,可以是量化圖像模糊程度的任意計算方法,包括但不限于傅里葉環相關和圖像梯度等。
9.根據權利要求1所述的一種基于參考引導學習的少樣本顯微圖像數字重聚焦方法,其特征在于,所述步驟s4的神經網絡模型,可以是任意結構的網絡模型,包括但不限于u型神經網絡、全卷積網絡、transformer網絡、模型增強的自定義網絡等。