一種三維內窺鏡及其三維重建方法

專利名稱：一種三維內窺鏡及其三維重建方法
—種三維內窺鏡及其三維重建方法
技術領域：
本發明涉 及內窺鏡領域，具體涉及一種具有三維重建功能的內窺鏡，及其方法。背景技術：
由于工業內窺鏡能夠無損的檢測到物體的狀態，同時還能觀察到人無法到達的地方，已經廣泛應用到許多工業領域中，例如在建筑業中墻壁，光纜的檢測，在油氣工業中管道內部情況的檢測，以及在汽車工業中發動機維修，安防領域中的爆炸物檢測等領域都廣泛的使用了工業內窺鏡。在工業內窺鏡的發展中，由于簡單的二維影像不能夠提供足夠的信息，因此三維內窺鏡的發展較為迅速。現有工業內窺鏡主要通過前端的微型攝像頭，伸到人眼難以觀測到的狹小空間內，拍攝其視頻圖像，供操作人員對該區域進行觀察。這種基于視頻圖像的觀測方法在很大程度上提高了檢測的效率，使人可以觀測到狹小空間的狀況。然而這種基于圖像的觀察方式，人只能看到二維的畫面信息，而無法直接觀測到目標的三維形貌。由此催生了三維內窺鏡技術的發展。現有的三維內窺鏡技術主要分兩種第一種是基于雙目視覺的內窺鏡技術，內窺鏡前端集成兩個微型攝像頭，通過立體匹配和三角測量原理，得到若干點的三維信息。然而，該方法的問題在于，其需要兩個攝像頭，因而產品體積無法做到很小，而且這種以來立體匹配的三維重構方法，無法獲得高密度的三維形貌信息，只能測量若干點處的三維深度信息。第二種方法是基于光學投影的三維內窺鏡技術，在內窺鏡前端集成一個微型攝像頭和一個用于光學條紋投射的鏡頭，通過攝像頭拍攝光纖投射出的條紋圖像，實現目標的三維重建。但該方法的問題在于其需要投射出多張具有特定信息的條紋圖像，因而前端的光學結構較為復雜，投射出的條紋圖案容易受到環境光和物體表面發射特性的影響，也無法獲得高密度的三維重建信息。因此，需要一種結構簡單、低成本的三維內窺鏡。

發明內容本發明的目的在于提供一種基于光度學原理的三維重建內窺鏡方法結構簡單，成本低，并可以獲得高密度的三維形貌信息。本發明提供一種三維內窺鏡，包括內窺鏡前端；控制處理終端，用于控制所述攝像單元和所述燈，及處理所述攝像單元采集到的圖像；連接所述內窺鏡前端與所述控制處理終端的管線；以及標定球體，所述標定球體為半徑已知的鏡面反射球，用于在首次使用前標定所述燈的光源方向，所述內窺鏡前端包括前端殼體；在所述前端殼體內的攝像單元，用于采集圖像；在所述前端殼體內、所述攝像單元前方的至少三個沿所述前端殼體周向均勻布置的燈。所述控制處理終端可以為個人電腦或嵌入式單元，并且還可以包括存儲單元和/或輸出單元。所述攝像單元可以為攝像頭。所述燈可以為LED燈、紅外LED燈、紫外LED燈、光纖、白熾燈。每個所述燈的顏色也可以改變，如為紅色、綠色、藍色等。
所述管線可以為USB數據線，并且所述管線與所述控制處理終端可以通過USB接口連接。本發明另一方面提供一種使用所述的三維內窺鏡，進行三維重建的方法，包括步驟SlOl標定攝像單元的內參數，以獲得攝像單元的焦距、中心點坐標；S102利用標定球體,標定每個燈的光源方向I ;S103通過亮度補償來矯正近光源光照場，以確定近光源光照場中每個點的矯正系數；S104控制處理終端控制燈順序亮滅，并控制攝像單元依次采集每個燈亮起時目標的圖像，并根據步驟S103的矯正系數，確定圖像中每個像素點矯正后的亮度I ;S105利用步驟S104中采集的圖像，采用反射模型設定反射率P，建立目標的三維模型，并估算圖像中每個像素點的三維法向N，以得到三維法向場；S106通過法向場積分法，獲得目標的三維模型，其中步驟S102中，光源方向I的標定步驟如下S1021以攝像單元為原點O，建立像素坐標系，并依據攝像單元的焦距f確定攝像單元在像素坐標系上的像平面；S1022攝像單元捕獲標定球體上鏡面反射點s在像平面上的像點S，的坐標；S1023計算單元通過橢圓擬合，獲得鏡面反射球心c在像平面上的像點c’坐標；
( .丫S1024根據公式—=H2 -計算鏡面反射球心c的坐標；
>S1025依據鏡面反射球心c的坐標和鏡面反射球半徑r，計算球面方程；S1026計算os’與球面方程的交點坐標，為鏡面反射點s的坐標；S1027依據鏡面反射球心c和鏡面反射點s的坐標確定法向量η ；S1028依據鏡面反射球半徑r和法向量η,通過式I = 2 (η · r)n_r,計算得到光源方向I。反射模型可以根據實際情況來確定，例如可以為朗伯反射模型。這些控制和處理操作可以通過安裝在控制處理終端的三維重建軟件進行。本發明的三維內窺鏡利用了光度學原理，結構簡單，成本低，且可以獲得高密度的三維形貌信息，具有廣闊的市場前景。

圖I為根據本發明的三維內窺鏡的總體結構示意圖。圖2為根據本發明的三維內窺鏡前端結構示意圖。圖3為根據本發明的三維重建方法的流程圖。
圖4為本發明的方法中光源方向標定步驟裝置位置示意圖。圖5為本發明的方法中光源方向標定步驟的原理示意圖。圖6為本發明的方法中光源方向標定步驟的流程圖。
具體實施方式本發明的三維內窺鏡基于光度學原理，該內窺鏡包含一個攝像單元，該攝像單元可以是普通的攝像頭，以及放置在攝像頭周圍的三個以上的燈，相比現有技術，該裝置結構簡單，成本低。在不需要三維重建功能時，燈可以為內窺鏡裝置提供普通的照明功能；當用戶需要了解目標的三維信息時，通過使若干燈依次亮起，由攝像頭拍攝各個角度燈照射下的目標圖像，通過系統預先的標定信息，用光度學的方法得到目標的三維重建結果。使用該內窺鏡的三維重建方法可以獲得高密度的三維形貌信息，具有廣闊的市場前景。下面結合附圖和具體實施例對本發明作進一步詳細說明。圖I所示為本發明的三維內窺鏡的總體結構示意圖。本發明的三維內窺鏡結構簡單，包括內窺鏡前端10、控制處理終端20、連接兩者的管線30，以及標定球體40。內窺鏡前端10用于探入腔體，采集腔體內目標的信息。管線30根據實際需要，可以是軟管或硬管。在本發明的方案中，管線30可以是USB數據線，并且管線30與控制處理終端20通過USB接口連接，如此有利于內窺鏡與終端設備之間的連接通信，并且方便擴展。控制處理終端20可以為個人電腦或嵌入式單元，并且還可以包括存儲單元和/或輸出單
J Li ο標定球體40為為半徑已知的鏡面反射球,用于標定燈的光源方向,光源方向的標 定僅需要在第一次使用前進行一次，無需每次使用都要進行。圖2示出本發明的三維內窺鏡前端10的結構，內窺鏡前端10由前端殼體11、位于前端殼體11內的攝像單元12和至少三個燈(131、132、133……)構成。攝像單元12可以是普通的攝像頭，用于采集目標的圖像。燈11放置在攝像單元12前方，沿前端殼體11內周均勻放置。在內窺鏡的操作中，燈可以提供普通的照明功能，當用戶需要了解目標的三維信息時，可以對燈進行操作，配合攝像單元獲得相應圖像，并通過控制處理終端的處理，獲得目標的三維信息。燈可以為LED燈、紅外LED燈、紫外LED燈、光纖、白熾燈。并且每個燈的顏色也可以改變，如為紅色、綠色、藍色等。例如，在本發明的具體實例中，發明人采用以下硬件系統攝像單元為普通攝像頭，分辨率640 X 480像素，速度30幀/秒；本發明使用四個白色光LED燈，發光角度120度，電壓3. 5V，功率O. Iff；標定球體為鏡面反射球體，具體為直徑25毫米的不銹鋼球體，其最大截面輪廓能清晰的被攝像單元捕獲，4個LED燈在球體上的光斑可以被攝像頭全部捕獲。根據攝像頭和LED的大小，內窺鏡前端的整體尺寸可控制在3-6_，較小的體積有利于本發明的三維內窺鏡具有更廣的應用范圍。圖3所示為本發明的三維重建方法的流程圖。
首先是步驟SlOl標定攝像單元的內參數，以獲得攝像單元的焦距、中心點坐標。攝像單元內參數的標定采用業內常用的基于棋盤格的標定法(參見，Z. Zhang，" Aflexible new technique for camera calibration" , IEEE Transactions on PatternAnalysis and Machine Intelligence, Vol. 22, No. 11, pages 1330-1334, 2000.),用于獲取攝像單元的焦距、中心點坐標等參數，該方法為業內常用方法，在此不做詳述。然后是步驟S102，利用標定球體40，標定每個燈的光源方向1，具體的標定方法將在下文中詳述。接著在S103，通過亮度補償來矯正近光源光照場，以確定近光源光照場中每個點的矯正系數。因為對于光源，特別是LED光源來說，其亮度并不是理想均勻的，而是隨著燈珠到表面點距離增大而衰減。為了保證重建范圍內的每個表面點都能接收到一樣的光強，必須對光源進行光強補償。 亮度補償的依據是當燈和目標物體位置都固定時，目標物體某表面點上接收到的光強與其表面點上最亮點的光強比例是恒定的，反比于該兩點的距離。具體方法是在待采集人體部分擺放的位置放上一張白紙，用同一個燈照射，拍下照片，再計算照片上每個像素點的光強和最亮點的光強之比。通過這一比值，對拍攝的人體信息照片進行預處理。在步驟S104，使用控制處理終端20控制燈順序亮滅，并控制攝像單元12依次采集每個燈(131、132、133)亮起時目標的圖像，并根據步驟S103的矯正系數，確定圖像中每個像素點矯正后的亮度I。在步驟S105，利用步驟S104中采集的圖像，采用反射模型設定反射率P，建立目標的三維模型，并估算圖像中每個像素點的三維法向N，以得到三維法向場。具體采用何種反射模型可以根據實際情況確定，例如，當目標的主要反射分量以漫反射為主，則可以采用朗伯反射模型對目標進行建模。簡言之，對于朗伯模型，其假設物體表面反射率為常數，即從所有觀察方向看它都是同樣亮的，并且完全反射所有入射光。假設圖像中某點亮度為I，其表面的單位法向量為N，光源方向為L，反射率為P (對于朗伯模型，該參數可視為常數)，則存在以下關系1= ΡΝ·1，其中I、P、1均為已知，N對于三個燈的情況，有三個未知變量，因而只需要三幅不同光源照射下的圖像，既可以計算出圖像中每個點的三維法向N。當然，還可以根據目標物體表面的材料特性選擇采用其他反射模型，如PHONG鏡面反射模型、雙反射模型BRDF等。最后在步驟S106，通過法向場積分法，獲得目標的三維模型。法向場積分的方法為獲得三維模型的常用方法，在此不做詳述(參見R. Τ. Frankot, R. Chellappa. A methodfor enforcing integrability in shape from shading algorithms. IEEE Transactionson Pattern Analysis and Machine Intelligence,Volume IOIssue 4，July 1988，Pages439-451)。每個步驟的控制，以及數據處理的操作，均可以通過安裝在控制處理終端的三維重建軟件來進行。圖5所示為本發明中光源方向I標定步驟的原理示意圖。當已知攝像單元12內參和標定球體40半徑r的前提下，利用球面上的最亮點(光斑)信息，可計算出燈(131、132,133)的光源方向I。如圖4所示，以攝像單元12原點O為統一坐標系,標定球體40位于攝像單元12正前方，燈13從側邊照射。以下信息為已知球體半徑r ;鏡頭焦距f，通過相機標定獲得；球體在像平面上的輪廓CC,通過Canny算子檢測(參見Canny, J. ,A Computational Approachto Edge Detection, IEEE Trans. Pattern Analysis and Machine Intelligence,8 (6)679-698,1986.);燈的光斑s,由于球體為鏡面反射,此光斑在圖像中可輕易檢測出。光源方向標定步驟102的具體流程示于圖6中。首先是步驟S1021，以攝像單元為原點O，建立像素坐標系，并依據攝像單元的焦距f確定攝像單元在像素坐標系上的像平面。然后在步驟S1022，攝像單元捕獲標定球體上鏡面反射點s在像平面上的像點s’·的坐標。在步驟S1023，計算單元通過橢圓擬合，獲得鏡面反射球心c在像平面上的像點c’坐標。然后，在步驟S1024，根據公式〃2=M2-計算鏡面反射球心c的坐標；在步驟S1025，依據鏡面反射球心c的坐標和鏡面反射球半徑r，計算球面方程；在步驟S1026，計算os’與球面方程的交點坐標，為鏡面反射點s的坐標；在步驟S1027，依據鏡面反射球心c和鏡面反射點s的坐標確定法向量η ；最后,在步驟S1028,依據鏡面反射球半徑r和法向量η,通過式I = 2 (η · r)n-r,計算得到光源方向I。對裝置中每個燈重復上述步驟，即可獲取所有燈的光源方向I1U2……。由于在本發明的三維內窺鏡中，燈的位置是固定的，因此該標定過程只需要在第一次使用之前執行一次。綜上可見，本發明的三維內窺鏡，和三維重建方法具有以下優點低成本無需使用復雜的三維掃描設備，只需要一個簡單的攝像單元和若干個燈即可完成對目標的三維重建；結構簡單體積小巧，便攜，且不包括運動組件；速度快最少使用3張照片即可完成對目標的三維重建，按照相機的30FPS速度，即最快采集時間僅為0. I秒；精度高通過對近光源光照成的矯正和光源方向標定步驟，可以精確的計算出圖像中每個點的三維法向信息，大大提高了三維重建的精度。應理解，以上所述本發明的具體實施方式
，并不構成對本發明保護范圍的限定。任何根據本發明的技術構思所作出的各種其他相應的改變與變形，均應包含在本發明權利要求的保護范圍內。
權利要求
1.一種三維內窺鏡，包括 內窺鏡前端，所述內窺鏡前端包括 前端殼體； 在所述前端殼體內的攝像單元，用于采集圖像； 在所述前端殼體內、所述攝像單元前方的至少三個沿所述前端殼體周向均勻布置的燈； 控制處理終端，用于控制所述攝像單元和所述燈，及處理所述攝像單元采集到的圖像； 連接所述內窺鏡前端與所述控制處理終端的管線；以及 標定球體，所述標定球體為半徑已知的鏡面反射球，用于在首次使用前，標定所述燈的光源方向。
2.根據權利要求I所述的三維內窺鏡，其中，所述控制處理終端為個人電腦或嵌入式單元。
3.根據權利要求2所述的三維內窺鏡，其中，所述控制處理終端還包括存儲單元和/或輸出單元。
4.根據權利要求I所述的三維內窺鏡，其中，所述攝像單元為攝像頭。
5.根據權利要求I所述的三維內窺鏡，其中，所述燈為LED燈、紅外LED燈、紫外LED燈、光纖、白熾燈。
6.根據權利要求I所述的三維內窺鏡，其中，所述燈可為紅色、綠色或藍色的不同顏色。
7.根據權利要求I所述的三維內窺鏡，其中，所述管線為USB數據線，并且所述管線與所述控制處理終端通過USB接口連接。
8.使用權利要求I至7中任一項所述的三維內窺鏡，進行三維重建的方法，包括步驟 SlOl標定攝像單元的內參數，以獲得攝像單元的焦距、中心點坐標； S102利用標定球體,標定每個燈的光源方向I ; S103通過亮度補償來矯正近光源光照場，以確定近光源光照場中每個點的矯正系數；S104控制處理終端控制燈順序亮滅，并控制攝像單元依次采集每個燈亮起時目標的圖像，并根據步驟S103的矯正系數，確定圖像中每個像素點矯正后的亮度I ; S105利用步驟S104中采集的圖像，采用反射模型設定反射率P，建立目標的三維模型，并估算圖像中每個像素點的三維法向N，以得到三維法向場； S106通過法向場積分法，獲得目標的三維模型， 其中步驟S102中，光源方向I的標定步驟如下 S1021以攝像單元為原點ο,建立像素坐標系，并依據攝像單元的焦距f確定攝像單元在像素坐標系上的像平面； S1022攝像單元捕獲標定球體上鏡面反射點s在像平面上的像點s’的坐標； S1023計算單元通過橢圓擬合，獲得鏡面反射球心c在像平面上的像點c’坐標； S1024根據公式
9.權利要求8所述的方法，其中，所述反射模型為朗伯反射模型、PHONG鏡面反射模型、雙反射模型BRDF。
10.權利要求8所述的方法，其中，所述控制與處理操作通過安裝在控制處理終端的三維重建軟件進行。
全文摘要
本發明涉及一種具有三維重建功能的三維內窺鏡，以及使用該內窺鏡進行三維重建的方法。本發明的內窺鏡無需特制的光學部件，僅在普通內窺鏡攝像頭前加裝若干LED燈，并利用標定球體進行光源方向標定，配合終端重建軟件，即可使內窺鏡具備三維重建功能。本發明的三維內窺鏡結構簡單、成本低，使用該三維內窺鏡的三維重建方法簡便，且圖像精度高。
文檔編號G06T17/00GK102944928SQ201210390080
公開日2013年2月27日 申請日期2012年10月15日 優先權日2012年10月15日
發明者宋展 申請人:中國科學院深圳先進技術研究院