基于無源標記的光學跟蹤方法和系統與流程
背景技術：
本發明涉及基于無源標記的光學跟蹤系統和方法。具體地，本發明涉及改進無源標記本身，并且涉及提高基于無源標記的方法和系統的準確性。
現有技術光學系統利用從圖像傳感器捕獲的數據來確定由一個或多個相機成像的對象的3d位置，所述一個或多個相機被校準以用于提供重疊投影。傳統上使用附接至對象或粘附至對象的特殊標記來實現數據采集。這些系統針對每個標記產生具有3個自由度的數據，并且通常應當從三個或更多個標記的相對朝向中推斷旋轉信息。例如由us2011/0254922a1或wo2004/002352a2公開了一些現有技術系統。
已知的無源光學系統使用涂覆有逆反射材料的標記來反射在相機鏡頭附近生成的光。可調整相機的閾值，從而使得將僅對明亮的反射區域進行采樣。
通常，已知的標記具有方格明暗圖案。通常由在交替的明暗區域之間形成的直邊的交點來限定標記的質心。將質心估計為所述標記在捕獲的二維圖像中的位置。
具有附接在已知位置處的標記的對象用于校準相機并且獲得其位置，并且對每個相機的鏡頭失真都進行測量。如果兩個校準的相機看到標記，則可獲得三維固定位置(來源：維基百科)。
然而，存在需要高準確度的光學跟蹤應用，諸如醫療應用、高精度機械應用、精確的構造部件測量。例如，置換手術的成功很大程度上取決于對置換植入物的恰當定位。
計算機輔助手術(computerassistedsurgery，cas——來源：維基百科)表示一種手術概念以及一組方法，其使用計算機技術進行術前計劃并且引導或執行手術介入。cas亦被稱為計算機輔助手術(computeraidedsurgery)、計算機輔助介入(computerassistedintervention)、圖像引導手術(imageguidedsurgery)和手術導航(surgicalnavigation)，但是這些術語或多或少與cas是同義詞。cas已經成為機器人手術發展的主導因素。在cas中，計算機化的模型用于確保正確的對象(諸如骨骼)對準。跟蹤有關患者解剖結構的手術器械和部件也很重要。
將有利的是，在應用成本有效的無源標記的同時提升測量準確性。
題為“methodanddeviceforcheckingamarkingelementfordisplacement(用于檢查移位標記元件的方法和設備)”的公開us6877239b2公開了一種用于檢查有關固持結構(特別是骨骼)的移位的標記元件的方法，此標記元件固定在所述固持結構上，所述標記元件用于在導航手術中確定位置，并且所述標記元件以最大可能的精度運行，提出了選擇與所述固持結構成唯一關系的朝向點并且監測所述朝向點在所述標記元件的參考系統中的位置。
根據‘239，可經由導航臺來確定標記元件在空間中的位置。例如，出于此目的，標記元件包括大量的發射器，諸如超聲發射器或紅外發射器，其信號可由接收器記錄。具體地，為所述三個空間坐標提供了三個接收器。
‘239的缺點是使用了有源標記，諸如超聲發射器或紅外發射器。這使得所述系統更加昂貴，并且所述標記設備在操作區域中相比無源標記需要更多的空間。
題為“non-imaging，computerassistednavigationsystemforhipreplacementsurgery(用于髖置換手術的非成像、計算機輔助導航系統)”的另一公開us7780681b2公開了一種定位系統，所述系統包括：計算機，所述計算機與所述定位系統對接并且采用患者的髖幾何結構的通用計算機模型來解釋跟蹤對象的位置；軟件模塊，所述軟件模塊在計算機上是可執行的，其通過對至少三個骨盆標記進行定位來限定患者的骨盆平面，而無需參考先前獲得的放射性數據；以及骨盆跟蹤標記，所述骨盆跟蹤標記可固定到所述骨盆骨骼并且可由所述定位系統來限定，以便實時跟蹤所述限定的骨盆平面的朝向。優選地，所述系統還包括：股骨跟蹤標記，所述股骨跟蹤標記通過非穿透性結扎固定地可附接至患者的股骨并且可由所述定位系統來跟蹤以便檢測腿長變化和股骨偏移。
題為“neuro-navigationsystem(神經導航系統)”的另一公開us6351659b1公開了一種神經導航系統，所述神經導航系統包括：包括無源反射器的反射器參考系統以及具有標記或標記的標記系統，其中，就其形狀、尺寸和材料選擇及其在本體部分上以用于手術治療且在手術器械上的安排或附接，所述反射器以及所述標記被配置為使得對其位置進行映射基本上得到促進或者能夠由具有圖形顯示終端的計算機/相機單元來進行更準確地定位以及在此單元的輔助下進行手術治療。
‘659專利公開還公開了一種用于手術器械和手術治療裝置的參考系統，所述系統包括：紅外輻射源；多個相機，所述多個相機用于檢測反射的紅外輻射；計算機，所述計算機連接至所述相機；多個適配器，每個適配器被配置成可移除地附接至對應的手術器械或手術治療裝置；以及多組至少三個紅外反射器，所述紅外反射器，固定至所述多個適配器。所述多組至少三個紅外輻射反射器包括至少一個球面反射器。
‘681和‘659公開公開了利用多個反射球面的合適的光學標記的應用。這種無源反射標記反射由合適的紅外照明器發射的光。
當前所使用的反射球面的缺點包括需要在一次性使用或者甚至在較長手術過程中進行置換。進一步地，所述反射球面難以在術中清潔。
上述us2011/0254922a1和de102006060716a1各自公開了光學標記，所述光學標記具有提供相交邊緣的內部標記區域并且具有包圍所述內部標記區域的外標記區域。所述外標記區域可以具有用作標識符的單獨明暗圖案。雖然這些無源標記系統避免了有源標記系統的缺點，但是將期望的是改進這些已知的系統以便以成本高效的方式獲得更高的準確性。
技術實現要素：
因而，本發明的一個目標是提供一種經改進的基于無源標記的光學跟蹤方法和系統，允許以成本有效的方式來提高準確性。
根據本發明的第一方面，提供了一種確定對象在空間中的3d位置的方法，所述方法包括以下步驟：將光學跟蹤標記附接至所述對象，所述光學跟蹤標記包括具有橢圓形狀和幾何中心的內部標記本體，所述內部標記本體填充有相對于所述幾何中心而徑向擴散的色譜點，其中，根據在穿過所述中心點的水平線與穿過所述中心點以及所述內部標記本體的每個譜點的另一條線之間所限定的角度來計算所述對應譜點的顏色值；使用第一相機來捕獲所述光學跟蹤標記的第一數字圖像并且使用另一相機來捕獲所述光學跟蹤標記的另一數字圖像；在所述第一數字圖像和所述另一數字圖像內檢測所述光學跟蹤標記的邊緣；在所述第一數字圖像和所述另一數字圖像中的對應檢測邊緣集合內檢測斑點(或blob)；在對應檢測斑點集合內檢測橢圓；在所述檢測橢圓中的每個檢測橢圓內分析正弦圖案；基于所述分析確定所述光學跟蹤標記在所述第一數字圖像和所述另一數字圖像中的每一者中的2d位置；以及基于在所述第一數字圖像和所述另一數字圖像中的每一者中的所述2d位置確定所述光學跟蹤標記在空間中的3d位置。
根據第二方面，提供了一種確定對象在空間中的3d位置的方法，所述方法包括以下步驟：將至少兩個光學跟蹤標記附接至所述對象上，所述至少兩個光學跟蹤標記各自包括具有橢圓形狀和幾何中心的內部標記本體，所述內部標記本體填充有相對于所述幾何中心而徑向擴散的色譜點，其中，根據在穿過所述中心點的水平線與穿過所述中心點以及所述內部標記本體的每個譜點的另一條線之間所限定的角度來計算所述對應譜點的顏色值；使用至少一個相機來捕獲所述至少兩個光學跟蹤標記的數字圖像；在所述數字圖像內檢測所述至少兩個光學跟蹤標記的邊緣；在對應檢測邊緣集合內檢測斑點；在對應檢測斑點集合內檢測橢圓；在所述檢測橢圓中的每個檢測橢圓內分析正弦圖案；基于所述分析確定所述至少兩個光學跟蹤標記的2d位置；以及基于所述2d位置確定所述對象在空間中的3d位置。
根據又另一目標，提供了一種用于確定對象在空間中的3d位置的系統，所述系統包括：至少一個光學跟蹤標記，所述至少一個光學跟蹤標記被配置為附接至所述對象，所述光學跟蹤標記包括具有橢圓形形狀和幾何中心的內部標記本體，所述內部標記本體填充有相對于所述幾何中心而徑向擴散的色譜點，其中，根據在穿過所述中心點的水平線與穿過所述中心點以及所述內部標記本體的每個譜點的另一條線之間所限定的角度來計算所述對應譜點的顏色值；至少一個相機，所述至少一個相機用于捕獲所述光學跟蹤標記的至少一張數字圖像；以及處理單元，所述處理單元被配置成用于執行上述方法中的至少一種方法中的步驟。
優選地，分析所述正弦圖案的步驟包括檢查經檢測的正弦圖案是否與從所述至少一個標記的已知特征中得出的預定義預期相匹配的步驟。
根據又另一目標，還提供了一種用于確定對象在空間中的3d位置的光學跟蹤標記，所述標記包括具有橢圓形形狀和幾何中心的內部標記本體，所述內部標記本體填充有相對于所述幾何中心而徑向擴散的色譜點，其中，根據在穿過所述中心點的水平線與穿過所述中心點以及所述內部標記本體的每個譜點的另一條線之間所限定的角度來計算所述對應譜點的顏色值，其中，所述對應譜點的所述顏色值沿著圍繞所述中心點的橢圓形路徑、具體地沿著以所述中心點為圓心的圓形路徑根據正弦圖案而變化。
根據又另一方面，提供了一種計算機程序，所述計算機程序包括程序代碼，所述程序代碼用于當在計算機上運行所述程序時執行上述方法中的至少一種方法的全部步驟。所述計算機程序可以存儲在非瞬態、有形的計算機可讀介質上。
附圖說明
通過附圖中示出的優選實施例的以下詳細描述，本發明的進一步細節和特征、其本質和各優點將變得更明顯，在附圖中：
圖1呈現了根據本發明的實施例的系統的簡圖；
圖2呈現了根據本發明的實施例的解釋方法的簡圖；
圖3a至圖3c呈現了根據本發明的實施例的無源標記的示例；
圖4以簡化的形式示出了根據本發明的實施例的無源標記的一般實施例；以及
圖5呈現了根據本發明的實施例的在其上具有無源標記的設備的示例。
符號和術語
隨后的具體實施方式的一些部分是關于對計算機存儲器執行的對數據位的操作的數據處理程序、步驟或其他符號表示而呈現的。因此，計算機執行這種邏輯步驟，從而需要對物理量的物理操縱。
通常，這些量采用能夠在計算機系統中存儲、轉移、組合、比較及以其他方式操縱的電信號或磁信號的形式。出于常見用法的原因，這些信號被稱為比特、分組、消息、值、元素、符號、字符、項、數字等。
另外，所有這些術語和相似術語與適當的物理量相關聯并且僅僅是應用于這些量的方便標簽。術語諸如“處理”或“創建”或“轉移”或“執行”或“確定”或“檢測”或“獲得”或“選擇”或“計算”或“生成”等指代計算機系統的動作和過程，所述計算機系統操縱并將計算機的寄存器和存儲器內的被表示為物理(電子)量的數據轉換成存儲器或寄存器或其他這種信息存儲設備內的類似地被表示為物理量的其他數據。
計算機可讀(存儲)介質(諸如在此引用的)通常可以是非瞬態的和/或包括非瞬態設備。在此上下文中，非瞬態存儲介質可以包括可以是有形的設備，這意味著所述設備具有具體的物理形式，盡管所述設備可以改變其物理狀態。因此，例如，非瞬態指設備即使狀態發生變化但仍然是有形的。
具體實施方式
圖1呈現了根據本發明的實施例的系統的簡圖。所述系統包括至少一個無源標記、至少一個相機(被定位為使得所述至少一個無源標記在其視場內)以及處理單元。在本發明的有利實施例中，具有三個相機，所述三個相機位于例如假想圓上并且間隔開120度角。然而，取決于系統數據處理能力和通信接口數據吞吐量可以使用兩個或多于三個相機。
針對標記檢測而相關的相機參數為分辨率、敏感度、光敏傳感器尺寸、鏡頭焦距、每秒捕獲的幀數。
優選地，輸出監測器連接至處理系統以用于呈現光學跟蹤結果。所述相機以及所述監測器通常將安裝在合適的底座中。
可以使用專用部件或定制fpga或asic電路來實現所述系統。所述系統包括雙向通信地耦合至存儲器104的數據總線101。另外，所述系統的其他部件通信地耦合至所述系統總線101，從而使得它們可以由控制器105來安排。
所述存儲器104可以存儲由所述控制器105執行的一個或多個計算機程序以便執行根據本發明的方法的步驟。
所述系統進一步包括提供圖像輸入的輸入接口102，所述圖像由所述相機來捕獲。有利地，立體圖像將被提供為左右相機圖像對。圖像可以存儲在存儲器104中以供處理。
可以經由輸出接口103(諸如音頻/視頻信號輸出接口，例如hdmi)輸出經處理的數據和結果。
所述系統還結合了校準模塊107，所述校準模塊被配置成用于處理配置數據并且存儲系統配置數據以供未來參考。
校準可以執行如下。首先，必須執行內部校準，即對每個相機進行校準以便確定以下參數：fx、fy(像素的焦距——像素的尺寸可以垂直地且水平地不同)、cx、cy(像素的傳感器點的坐標，相機鏡頭的光軸經由所述傳感器點穿過)、k(徑向失真系數)、p(正切失真系數)?？梢酝ㄟ^不同的方法來實現這種校準，例如，分析以不同角度拍攝的棋盤照片。
作為第二校準步驟，執行外部校準以便確定所述測量系統的幾何結構。此步驟優選地在所述測量系統的每個設置變化上被執行并且包括將參考圖案放置在所有相機的視場中(其可以是采用給定空間配置的一組標記(具有已知的標識符和尺寸))。此過程可以是全自動的。
圖2呈現了根據本發明的實施例的方法的簡圖。所述方法在步驟201處從在數字圖像內進行標記的邊緣檢測開始，所述邊緣檢測跟隨在檢測的邊緣集合內檢測斑點202之后。在計算機視覺領域中，斑點(或者“二進制大對象”的簡稱blob)檢測指數學方法，所述數學方法旨在檢測數字圖像中性能不同(諸如亮度或顏色)的區域，與包圍那些區域的區域相比。非正式地，斑點(或blob)是數字圖像的區域，在所述區域中，一些性能是恒定的或者在規定的值范圍內發生變化；斑點中的所有點在某種意義上可被認為是彼此相似的。
隨后，在步驟203處，在經識別的斑點集合內檢測橢圓(或圓)。接著，在步驟204處，在所述橢圓(或圓)中的每個橢圓(或圓)內分析正弦圖案?；谇笆龇治?，確定標記的標識符和2d位置205?？梢酝ㄟ^分析標記的圖像并且對限定標記的(多個)等式中存在的標記參數進行識別來自動確定標記的標識符，即c，a1，f1，
隨后，在步驟206處，執行由(多個)其他相機獲得的(多張)其他圖像中的相同標記的2d位置的確定。當確定了標記的至少一個2d位置時，可以在步驟207處確定此標記的3d位置。
兩種場景是可能的：1)當由至少兩個相機來確定工具(包括至少一個標記)的位置(2d位置)時，可以在步驟207處確定其在空間中的3d位置；2)當由至少一個相機來確定工具(包括至少兩個標記)的位置(2d位置)時，可以在步驟207處確定其在空間中的3d位置。
圖3a至圖3d呈現了根據本發明的無源標記的示例。每個標記具有內部標記本體，所述內部標記本體填充有相對于所述內部標記本體的幾何中心而徑向擴散的色譜點。所述內部標記本體可以具有橢圓形狀，所述橢圓形狀因此為圓的一般化，其為特殊類型的在同一位置具有兩個焦點的橢圓。
根據在穿過所述內部標記本體的所述中心點的水平線與穿過所述內部標記的所述中心點以及給定像素的線之間所限定的角度來計算所述內部標記本體的每個點的顏色值。換言之，每個點的顏色值取決于其角度位置，所述角度位置可以采用極坐標系的極坐標來表達，所述極坐標系以標記的中心點為中心。在一些實施例中，具有相同角度位置(即位于同一徑向線上)的譜點的顏色值是相同的。
可選地，填充有相對于所述內部標記本體的幾何中心而徑向擴散的色譜點的所述內部標記本體可以為使得半徑可以被劃分成至少兩個部分并且優選地不多于5部分，其中，不同的顏色生成函數應用于不同的部分。這種標記的優點將是更大的信息容量，由此允許在給定的監測區域(諸如手術室)中使用更多的標記。
在本發明的優選實施例中，根據以下等式來計算每個標記點的顏色值：
其中，
r、g、b——為顏色分量；
c——為定義r、g、b的平均值的固定系數；
a——為諸如正弦等幾何函數的振幅值；
f——為周角單元內的振動數或頻率，假設值1、2、3……n為正弦分量的數量，其中，n≤10，并且優選地n≤5，并且甚至更優選地n≤3；
θ——為在穿過所述內部標記本體的所述中心點的水平線與穿過所述內部標記的所述中心點以及給定像素的線之間所限定的角度；
r、g、b——參考顏色分量的索引。
圖3a至圖3d中示出的標記為灰度標記，其中，r＝g＝b，并且其中，
在一些示例性實施例中，正弦圖案可以表示對應標記的單獨標識符。優選地，正弦圖案還用作用于確定標記在捕獲圖像中的2d位置的基礎。因此，可以對每個標記的正弦圖案進行分析以用于以下兩者：對具有不同正弦圖案的一組標記之中的單獨標記進行識別；以及確定捕獲的圖像中的對應標記的2d位置。
新方法和系統的一些實施例可以采用以下步驟：通過分析所述正弦圖案從檢測的橢圓或圓形的中心點確定捕獲的圖像中的標記的2d位置?？商娲鼗蛄硗?，多個預期(例如，采用預期標記圖像或這種預期標記圖像的參數的形式)可以從所述標記的已知特征而得出并且可以存儲在計算機的存儲器中，并且可以通過將所述捕獲圖像與所述預期進行比較來確定所述標記的2d位置。
根據一個示例性實施例的標記參數的示例可以如下：
f1＝3
f2＝5
c＝0.25
a1＝0.25
a2＝0.25
在標記具有其被劃分成多個部分的半徑的情況下，標記參數的示例可以如下：
針對半徑rn[0，0.5]：
f1＝3；
f2＝5；
c＝0.5；
a1＝0.25；
a2＝0.25；
針對半徑rn[0.5，1]：
f1＝3；
f2＝5；
c＝0.5；
a1＝0.5；
a2＝0.5；
根據本發明的實施例，可以將rgb顏色空間改變為hsl/hsv、cmyk等，即改變為任何其他合適的顏色空間。
圖4示出了根據本發明的實施例的無源標記的一般實施例。根據圖3a至圖3c描繪了包括標記本體404的多部分標記。另外，所述無源標記優選地包括外環402，所述外環可以具有等于所述內部標記本體404的半徑的1/4的寬度(然而，其他比例是可能的)。例如，所述內部標記本體半徑可以具有16mm，而所述環為4mm。
進一步地，所述標記可以具有優選地為均勻顏色的背景403。
所述外環402允許易于檢測標記的外圍邊緣，而所述背景403是所述外環402周圍的對比區域，允許易于檢測所述外環。相對于標記的尺寸，外環可以具有不同的尺寸。背景和外環兩者可以具有不同的顏色。
還應注意的是，在rgb顏色空間的情況下，r＝g＝b，這產生了灰度標記。在其他有利實施例中，所述標記為具有正弦圖案的灰度標記，所述正弦圖案具有一個、兩個或更多個(優選地不多于三個)正弦分量，其中，所述正弦圖案是僅從單色譜點創建的，所述單色譜點具有根據所述正弦圖案而不同的強度值。在又進一步實施例中，所述標記為具有正弦圖案的灰度標記，所述正弦圖案是通過改變黑點和白點的密度而創建的。
根據本發明的標記的優點是：相對于相機，它們是可以以大角度識別的，諸如高達150°。
進一步地，存在許多不同的標記配置，并且由此易于在掃描場景中將單獨標記識別為不同的標記。
另外，相對于掃描場景，根據本發明的標記可以相對較小。
根據本發明的系統具有眾多優點：手術臺的真實場景(由于人眼視覺相機的應用，而非紅外)、對污染物或障礙物(諸如血液等)的高抵抗性、在手術環境中更長的壽命、標記集合的低成本。
借助于hamamatsu相機，針對根據本發明的實施例的單個無源標記，在大約4.7m的距離處，結果為std(z)＝0.35mm，并且在大約1.6m的距離處，優良std(z)＝0.02mm。在多個標記的情況下，測量的準確性要好很多。
圖5呈現了根據本發明的實施例的在其上具有無源標記的設備的示例。已使用了三個標記來增加測量精度。如果標記附接至長指針(其中，所述指針尖端的位置(與所述標記間隔開)是相關的)，則最小的角標記位置確定誤差變換為甚至更大的指針尖端誤差。因此，提供包括多個標記的工具將增加測量精度。優選地，所述對應標記盡可能遠離彼此而被定位。通常，三個標記將被用作工具的工效與測量精度之間的折衷。
可以限定具有單個標記的全功能性工具，只要所述測量系統包括兩個相機。自然，相對于具有兩個或更多個標記的工具，測量精度將降低。
工具上的標記的優選配置如此，其中，標記盡可能遠地彼此間隔開，所述工具的尖端盡可能靠近所述標記，并且存在盡可能多的標記。
本發明提供在三維空間中對距離的準確且成本有效的光學跟蹤和測量(點、區段以及平面之間的絕對距離和角度)。因此，本發明提供了有用、具體且明確的結果。
本發明可應用于特定機器并且將圖像數據轉換成光學跟蹤數據。因此，實現了所述機器或轉換測試，并且所述想法不是抽象的。
本領域技術人員容易認識到的是，用于光學跟蹤的上述方法可以由一個或多個計算機程序來執行和/或控制。通常通過利用計算設備中的計算資源來執行這種計算機程序。應用被存儲在非瞬態介質上。非瞬態介質的示例為非易失性存儲器，例如閃存，而易失性存儲器的示例為ram。所述計算機指令由處理器來執行。這些存儲器是用于存儲計算機程序的示例性記錄介質，所述計算機程序包括計算機可執行指令，所述計算機可執行指令執行根據在此所呈現的技術概念的計算機實現的方法的所有步驟。
雖然已經描繪、描述并且已經參考具體優選實施例限定了在此所呈現的本發明，但是這種參考以及前述說明書中的實現方式的示例并不暗示對本發明的任何限制。然而，在不背離技術概念的更廣泛范圍的情況下，將明顯的是可以對其做出各種修改和變化。所呈現的優選實施例僅是示例性的，并且并不窮盡在此所呈現的技術概念的范圍。
因而，保護范圍不限于說明書中描述的優選實施例，而是僅由以下權利要求書來進行限制。
- 還沒有人留言評論。精彩留言會獲得點贊！