基于視覺感知的顏色紋理描述子的WCE彩色視頻中主要地形邊界的定位方法與流程

本發明涉及計算及人工智能領域，尤其涉及一種基于視覺感知的顏色紋理描述子的wce彩色視頻中主要地形邊界的定位方法。

背景技術：

目前，無線膠囊內鏡(wce:wirelesscapsuleendoscopy)作為一種重要的新型技術被廣泛應用于人類胃腸道疾病的診斷。尤其是克服了傳統內鏡無法到達到小腸的缺陷，它可以到達消化道的任何位置，具有無創傷、耐受性好的特點。但是，由于膠囊內鏡的運動主要是依靠消化道內胃腸道的蠕動，運動過程緩慢，故其在消化道內平均大致逗留8個小時左右，然而wce拍攝系統的拍攝時間間隔卻很短，平均2幀/s，所以，每個人將會采集到50000～60000幅彩色的消化道時序圖像數據。這些圖像數據是海量，對醫生瀏覽某個消化道器官的圖像，想要快速定位到此器官起始圖像帶來不小的負擔。因而，設計一種可靠的高效的計算機輔助程序來定位wce視頻中各個相鄰器官圖像的邊界位置是臨床醫生所需要的。

技術實現要素：

本發明旨在至少解決現有技術中存在的技術問題，特別創新地提出了一種基于視覺感知的顏色紋理描述子的wce彩色視頻中主要地形邊界的定位方法。

為了實現本發明的上述目的，本發明提供了一種基于視覺感知的顏色紋理描述子的wce彩色視頻中主要地形邊界的定位方法，其特征在于，包括如下步驟：

s1，在wce視頻圖像幀中獲取原始圖像i(x)轉換到lab顏色空間的圖像；

s2，提取有效圖像區域，通過監聽器算法對圖像進行處理，如果找到異常圖像窗口對則執行s3，如果未找到異常圖像窗口對則重新執行s2；

s3，構造結合紋理和顏色的融合特征-ctvp描述子；

s4，提取訓練集的ctvp特征，用來訓練svm分類器；

s5，提取測試集的wld直方圖特征，并用訓練完成的svm分類器為測試集分類；根據分類結果進行精確定位胃腸特征點信息。

所述的基于視覺感知的顏色紋理描述子的wce彩色視頻中主要地形邊界的定位方法，優選的，所述s1包括：

rgb轉xyz其中，xyz為目標顏色空間的3個分量：

其中r,g,b分別為rgb圖像r、g、b的通道值。

xyz轉lab：

其中yn＝100.0

故獲得lab各通道圖像為a(x)，如下式所示：

所述的基于視覺感知的顏色紋理描述子的wce彩色視頻中主要地形邊界的定位方法，優選的，所述s2包括：

s2-1，將整個wce視頻圖像數據劃分為連續的窗口，每個窗口包含l張圖片；獲得窗口化圖像數據w1,w2,...,wn和監聽器輸入的窗口序列對(w1,w2),(w2,w3),...,(wn-1,wn)；定位胃/小腸邊界，從視頻頭部開始；定位小腸/大腸邊界，從視頻尾部開始；

s2-2，計算當前窗口對(wk,wk+1)里的lab顏色空間各通道的平均值mc,k和mc,k+1；

s2-3，計算出當前窗口對的顏色變化度dck并存儲結果；

s2-4，，將當前的dck與先前窗口對里獲得平均顏色變化度mdc比較，當變化大于一個閾值t時，則被監聽為包含邊界的疑似窗口對，進入具體判定階段；否則，移動到下一個窗口對；

公式如下：

公式中，avgc、mc,k分別表示一幅圖和一個圖像窗口在lab顏色空間下各通道的平均值，c表示lab顏色空間的任意通道即l、a、b，nvalid表示窗口內有效圖片的數量；dck表示當前窗口對(wk,wk+1)的顏色變化度；

mdc表示平均顏色變化度。

所述的基于視覺感知的顏色紋理描述子的wce彩色視頻中主要地形邊界的定位方法，優選的，所述s3包括：

轉化成灰度圖grey，公式如下：

其中，r，g，b分別是rbg色彩空間的三個通道。

glcm的概率測量可以定義為：

其中，pi,j(δ,θ)表示給定(δ,θ)對的窗口內的灰度級i和j的出現次數；gi,j表示灰度級的量化數。為了好的效率，本發明將灰度級降到64和128；δ選取1、3、5這幾個距離；θ選取0度、45度、90度、135度這四個方向。矩陣的行和列的平均值和標準偏差為

選取其對比度、相關性、能量和均勻性四個屬性作為紋理特征的特征因子，

energy＝∑ci,j²

根據公式選用a通道和b通道的平均值作為顏色特征{avga,avgb}。

所述的基于視覺感知的顏色紋理描述子的wce彩色視頻中主要地形邊界的定位方法，優選的，所述s4包括：

最優超平面定義為：

其中，β叫做權重向量，β0叫做偏置(bias)，x表示離超平面最近的那些點。點x到超平面(β,β0)的距離為:

最大化m轉化為在附加限制條件下最小化函數l(β)。限制條件隱含超平面將所有訓練樣本xi正確分類的條件，

yi(β0+β^txi)

其中，yi表示樣本的類別標記，xi表示訓練數據。

訓練svm分類器：本發明的訓練樣本x(xi的集合)即是訓練樣本的ctvp描述子，選擇合適的核函數訓練svm分類器。

所述的基于視覺感知的顏色紋理描述子的wce彩色視頻中主要地形邊界的定位方法，優選的，所述s5包括：

s5-1，提取監聽器命中的窗口對內圖像的有效區域(去除雜質和黑邊角)，用監聽器算法依次監聽窗口序列對直到監聽到包含疑似邊界的窗口對時為止。

s5-2，提取圖像的ctvp描述子；

s5-3，用訓練好的svm分類器識別測試窗口對的ctvp特征，獲得圖像分類結果。如果窗口對中圖像分類結果，前部是胃+后部是小腸或者前部是小腸+后部是大腸，那么就輸出邊界位置(胃/小腸邊界或者小腸/大腸邊界位置)，并且程序結束；否則，跳回s5-2。

綜上所述，由于采用了上述技術方案，本發明的有益效果是：

使用訓練好的svm分類器識別測試窗口對的ctvp特征，獲得圖像分類結果。

本發明的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。

附圖說明

本發明的上述和/或附加的方面和優點從結合下面附圖對實施例的描述中將變得明顯和容易理解，其中：

圖1是本發明總體流程圖；

圖2a-2c是本發明wce圖像示意圖；

圖3是本發明wce視頻圖像數據劃分為連續的窗口示意圖；

圖4是本發明結合紋理和顏色的融合特征-ctvp描述子示意圖。

具體實施方式

下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發明，而不能理解為對本發明的限制。

在本發明的描述中，需要理解的是，術語“縱向”、“橫向”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”“內”、“外”等指示的方位或位置關系為基于附圖所示的方位或位置關系，僅是為了便于描述本發明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發明的限制。

在本發明的描述中，除非另有規定和限定，需要說明的是，術語“安裝”、“相連”、“連接”應做廣義理解，例如，可以是機械連接或電連接，也可以是兩個元件內部的連通，可以是直接相連，也可以通過中間媒介間接相連，對于本領域的普通技術人員而言，可以根據具體情況理解上述術語的具體含義。

本發明提出了一種基于視覺感知的顏色紋理描述子(ctvp)的wce視頻中主要“地形”邊界的定位技術。不同消化道器官即食道、胃、小腸、大腸(包含結腸)在wce視頻中，可以看成不同的“地形”；獲取相鄰器官圖像的分界位置即為“地形”邊界(文中簡稱邊界)。在本發明的方法中，本發明主要定位胃/小腸和小腸/大腸的分界點。首先通過本發明設計的基于窗口對的監聽器算法檢測疑似包含邊界點，然后在命中的窗口對中，本發明提取窗口對中圖像的ctvp描述子作為特征，然后通過支持向量機(svm)分類器識別特征并對圖像進行分類，并通過分類結果判定是否包含邊界點；如果沒有，監聽下一個窗口對；如果有，輸出邊界位置并結束程序。流程如圖1所示。

(1)監聽器算法

wce視頻中，當膠囊從一個器官進入另一個器官時，基于人類視覺感知，圖像顏色會有顯著的；而在同一器官中，正常拍攝狀況下，圖像顏色并不會變化很大。結合wce圖像的實際情況，wce圖像主要呈現出粉紅的胃部(圖2a，橙紅的小腸(圖2b)和淡粉紅的大腸(圖2c)。基于這樣的事實，本發明提出了根據感知顏色空間的顏色平均變化度來監聽可疑窗口的監聽器算法。其中，本發明選擇了一種基于人對顏色的感覺的彩色模型——lab色彩模型。lab中的數值描述正常視力的人能夠看到的所有的顏色，其描述的是顏色的顯示方式，而不是設備生成顏色所需的特定色料的數量，所以lab被視為與設備無關的基于感知的顏色模型。其中，l是代表圖像的明度，a描述從洋紅色至綠色的范圍，b表示的是從黃色到藍色的范圍。此算法能夠高效、快速的監聽出包含疑似邊界的圖像窗口。

1)獲取原始圖像i(x)轉換到lab顏色空間

由于wce原始圖像是按rgb顏色空間進行存儲的，所以本發明首先需要將rgb顏色空間圖像i(x)轉化為lab顏色空間的圖像，但是rgb和lab之間沒有直接的轉換公式，必須進行一次中間轉化，先將rgb顏色空間圖像轉換為xyz空間，如下式所示：

rgb轉xyz為目標顏色空間的3個分量：

其中r,g,b分別為rgb圖像r、g、b的通道值。

xyz轉lab：

其中yn＝100.0

故獲得lab各通道圖像為a(x)，如下式所示：

2)監聽器算法步驟

步驟1，如圖3所示，將整個wce視頻圖像數據劃分為連續的窗口，每個窗口包含l張圖片；獲得窗口化圖像數據w1,w2,...,wn和監聽器輸入的窗口序列對(w1,w2),(w2,w3),...,(wn-1,wn)；定位胃/小腸邊界，從視頻頭部開始；定位小腸/大腸邊界，從視頻尾部開始；

步驟2，計算當前窗口對(wk,wk+1)里的lab顏色空間各通道的平均值mc,k和mc,k+1；

步驟3，計算出當前窗口對的顏色變化度dck并存儲結果；

步驟4，，將當前的dck與先前窗口對里獲得平均顏色變化度mdc比較，當變化大于一個閾值t時，則被監聽為包含邊界的疑似，進入具體判定階段；否則，移動到下一個窗口對，根據實際觀察和統計，當t＝1.5時效果較好。公式如下：

公式中，avgc、mc,k分別表示一幅圖和一個圖像窗口在lab顏色空間下各通道的平均值，c表示lab顏色空間的任意通道即l、a、b，nvalid表示窗口內有效圖片的數量；dck表示當前窗口對ywk,wk+1y的顏色變化度；mdc表示平均顏色變化度。

基于ctvp描述子的svm分類器訓練、識別、邊界判定(color-textureofvisualperception(ctvp):可視感知的紋理顏色)

(2)基于ctvp描述子的svm分類器訓練、識別、邊界判定

基于定位胃/小腸、小腸/大腸的邊界，本發明需要訓練兩個svm分類器。針對胃/小腸，本發明在胃部、小腸部靠近幽門選擇合適的足夠的圖片作為正反樣本；針對小腸/大腸，本發明在邊界周圍選擇小腸、大腸的合適的足夠的圖片作為正反樣本。然后提取樣本的ctvp描述子作為特征放入svm分類器中訓練獲得訓練后的svm分類器。

1)ctvp描述子

結合wce圖像的實際情況，wce圖像主要呈現出顏色粉紅且紋理光滑的胃部(圖2a)，顏色橙紅且線性紋理豐富的小腸(圖2b)和顏色淡粉紅且紋理光滑的大腸(圖2c)。基于這樣的視覺感知，本發明設計出結合紋理和顏色的融合特征-ctvp描述子。其構造方式如圖4所示。

灰度共生矩陣(glcm)是像素距離和角度的矩陣函數，它通過計算圖像中一定距離和一定方向的兩點灰度之間的相關性，來反映圖像在方向、間隔、變化幅度及快慢上的綜合信息。

由于原圖是rgb彩色圖像，需要轉化成灰度圖grey，公式如下：

其中，r，g，b分別是rbg色彩空間的三個通道。

glcm的概率測量可以定義為：

其中，pi,j(δ,θ)表示給定(δ,θ)對的窗口內的灰度級i和j的出現次數；gi,j表示灰度級的量化數。為了好的效率，本發明將灰度級降到64和128；δ選取1、3、5這幾個距離；θ選取0度、45度、90度、135度這四個方向。矩陣的行和列的平均值和標準偏差為

文中選取其對比度、相關性、能量和均勻性四個屬性作為紋理特征的特征因子，如下所示：

energy＝∑ci,j²

根據公式(7)，本發明選用a通道和b通道的平均值作為顏色特征{avga,avgb}。

2)訓練svm分類器

支持向量機(svm)是一個類分類器，正式的定義是一個能夠將不同類樣本在樣本空間分隔的超平面。svm算法的實質是找出一個能夠將某個值最大化的超平面，這個值就是超平面離所有訓練樣本的最小距離即間隔(margin)，用m表示。

最優超平面定義為：

其中，β叫做權重向量，β0叫做偏置(bias)，x表示離超平面最近的那些點。點x到超平面(β,β0)的距離為:

最大化m轉化為在附加限制條件下最小化函數l(β)。限制條件隱含超平面將所有訓練樣本xi正確分類的條件，

yi(β0+β^txi)

其中，yi表示樣本的類別標記，xi表示訓練數據。

訓練svm分類器：本發明的訓練樣本x(xi的集合)即是訓練樣本的ctvp描述子，選擇合適的核函數訓練svm分類器(根據實際觀察和統計，選擇rbf非線性核函數效果最好)。

3)wce視頻中胃/小腸、小腸/大腸邊界定位

步驟1，提取監聽器命中的窗口對內圖像的有效區域(去除雜質和黑邊角)，并。

步驟2，提取圖像的ctvp描述子；

步驟3，用訓練好的svm分類器識別測試窗口對的ctvp特征，獲得圖像分類結果。如果窗口對中圖像分類結果，前部是胃+后部是小腸或者前部是小腸+后部是大腸，那么就輸出邊界位置(胃/小腸邊界或者小腸/大腸邊界位置)，并且程序結束；否則，回到監聽器。

在本說明書的描述中，參考術語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結合該實施例或示例描述的具體特征、結構、材料或者特點包含于本發明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結構、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結合。

盡管已經示出和描述了本發明的實施例，本領域的普通技術人員可以理解：在不脫離本發明的原理和宗旨的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發明的范圍由權利要求及其等同物限定。