用于經由網絡("DextroNet")的三維數據集的協作交互顯影的系統和方法

文檔序號：6618638閱讀：238來源：國知局

專利名稱：用于經由網絡("DextroNet")的三維數據集的協作交互顯影的系統和方法
技術領域：
本發明涉及三維("3D")數據集的交互顯影，以及更具體地涉及經由網絡由多方使用多個平臺進行一個或多個3D數據集的協作交互顯影。
背景技術：
傳統來說，通過將給出3D數據集(或由多個2D圖像生成的一個123D數據集)加載到專用工作站或計算機中，來完成3D數據集的三維
顯影。通常，單個用戶在單個專用工作站上交互地顯影3D數據集。例如，這可以在由新加坡的Volume Interactions Pte公司制造的 Dextroscope 上完成。Dextroscope 是可以立體地顯示容積并允許用戶進行完全3D控制的高端真實交互顯影系統。也由新加坡的Volume Interactions Pte公司提供的DEX-Ray 系統，是將實時視頻與共同配準的3D掃描數據組合的專用3D交互顯影系統。DEX-Ray 允許用戶-通常是外科醫師-來通過將從術前掃描數據分割出的虛擬對象與實時視頻組合成為復合圖像來"看到"實際術野的"后面"。然而，當使用傳統甚至高端的諸如Dextroscope 或DEX-Ray 的交互3D顯影系統時，即使有多個顯示系統，以及很多人員可以通過站在實際用戶旁邊來查看那些顯示，一次也只能由僅僅一個用戶來控制顯影。由此，在該系統中，在對由除了進行控制的人員之外的任何人員檢查的3D數據集進行操縱的過程中，沒有真實的參與或協作。.
例如，DEX-Ray" 系統可以用于諸如神經外科手術的復雜操作的手術規劃。在該手術規劃中，如之前引用的Camera Probe申請所述，神經外科醫師和他的團隊可以獲得術前掃描數據，從該數據分割出感興趣的對象，以及添加諸如手術期間要使用的進路的規劃數據。另外，如進一步在Camera Probe中描述的，在給出3D數據集中的多個點可以被設置為"標記"。然后，貫穿手術，可以跟蹤并連續地讀出(經由視覺或甚至聽覺信息提示)用戶的手持探測器的尖端相對于這些標記的位置。
此外，經常期望在手術發生時具有來自手術部位的3D輸入。在該場景中，例如可以通過附著跟蹤球來跟蹤一個或多個手術器械，以及可以使用增強現實來更好地顯影外科醫師與患者之間的交互。因此，如Camera Probe中所述，一旦手術開始，可以生成并顯影實時數據與虛擬對象的組合圖像。然而，通常情況是，外科醫師不在他操作(包括改變指定為標記的點)的時候動態地調整所顯示的虛擬對象。這是因為在操作同時他很少有時間來集中在優化顯影上并由此利用3D顯影系統的全部性能。使用DEX-RayTM型系統時，可以在手術之前指定一些感興趣的虛擬對象，諸如腫瘤附近或腫瘤自身的關鍵神經，并且可以在手術期間顯示那些對象。標記點的情況也是如此。如上指出，Camera Probe描述還可以如何指定定義數量的標記點，以及如何貫穿手術過程來跟蹤探測器尖端到那些對象的動態距離。雖然理論上外科醫師可以在手術期間調節標記點，他們通常不這么做，因為外科醫師忙于實際手術且具有很少時間來放下工作來優化增.強現實參數。外科醫師通常不在手術期間與虛擬數據交互還有其他原因。首先，多數導航系統界面使得現場交互太麻煩。第二，導航系統界面是非無菌(non-sterile)的，所以外科醫師將需要通過指示護士或技師來執行調節。在DEX-RayTM系統中，雖然通過僅僅移動探測器經過空氣來修改顯影是可行的(如Camera Probe中所述)，從而外科醫師可以在保持無菌的同時直接修改顯示參數，但是經常更便利的是無需在操作的同時修改顯影環境。在任何情況下，專用專家(dedicated specialist)可以協助他們進行該顯影，以便這些顯影看起來最完善。類似地，甚至當使用標準的3D交互顯影系統諸如Dextmscope 以供外科協助、引導或規劃時，經常難以在一個物理場所內協調所有感興趣人員。有時候，例如，外科醫師涉入難以完全地預規劃的復雜手術，諸如共享某個腦結構的連體嬰的分離。在該手術中，幾乎必需在實際(以及漫長)的手術期間連續地參考術前掃描，以及根據當實際暴露腦時所看到的來咨詢團隊成員或甚至其他專家。雖然術前掃描數據的交互3D顯影經常是用來分析手術的最佳方式，但是即使所有相關方處于一個物理場所中，手術團隊也難以聚集圍繞在該系統的顯示器周圍。此外，情況越復雜，團隊相距地理距離越大，則術前咨詢數據顯影的益處就越難。最終，如果兩個遠程方期望討論交互3D數據集顯影系統的使用或使用技術，諸如其中一個指示另一個進行該使用時，兩方都需要能夠同時地查看3D數據集和對方的操縱。由此本領域中需要允許多個遠程方來在3D交互顯影系統中同時地對3D數據集進行操作就像這些遠程方實體到場(physically present)一樣。發明內容提供例示系統和方法，利用這些例示系統和方法，遠程物理場所內的多個人員可以基本上同時地協作交互地顯影3D數據集。在本發明的例示實施例中，例如可以有經由數據網絡連接的主工作站以及一個或多個遠程工作站。給出主工作站可以例如是增強現實手術導航系統或3D顯影系統，以及每個工作站可以加載相同的3D數據集。另外，給出工作站可以將實時成像與之前獲得的3D數據進行組合，諸如實時或預記錄的視頻，或諸如由管理的3D超聲顯影系統提供的信息。在遠程工作站處的用戶可以執行給出的診斷或治療程序(procedure),例如手術導航或熒光透視檢査，或可以從主工作站處的另一用戶接收指令，在該主工作站處，使用共有保存的3D數據集來示出講稿(lecture)。在主工作站處的用戶可以例如看到由每個遠程用戶使用的虛擬工具以及它們的運動，以及每個遠程用戶可以例如看到主用戶的虛擬工具以及它對于遠程工作站處的數據集的相應效果。例如，遠程工作站可以采用就像主工作站的虛擬工具是與該遠程工作站相關聯的探測器的方式，經由所述本地機器的虛擬控制面板，顯示對所述遠程工作站處的 3D數據集進行操作的主工作站的虛擬工具。在本發明的例示實施例中，每個用戶的虛擬工具可以利用他們的IP地址、不同顏色和/或其他區分標志(designation)來表示。在本發明的例示實施例中，數據網絡可以是低帶寬或高帶寬。在低帶寬實施例中，3D數據集可以被預加載到每個用戶的工作站上，并且經由網絡僅僅發送主用戶的虛擬工具的運動和數據集的操縱。在高帶寬實施例中，例如，諸如視頻、超聲或熒光透視圖像的實時圖像也可以經由網絡來發送。

圖1示出根據本發明例示實施例的用于例示教師型工作站的例示程序流程；
圖2是根據本發明例示實施例的跨網絡連接的多個例示工作站的系統級圖示；
圖3示出根據本發明例示實施例的例示學生工作站的例示程序流
程；
圖4示出根據本發明例示實施例的例示外科醫師工作站的例示程序流程；
圖5示出根據本發明例示實施例的例示顯影助手工作站的例示程序流程；
圖6示出根據本發明例示實施例的例示的外科醫師的標準(脫開
(disengaged))視圖;
圖7示出根據本發明例示實施例的例示的外科醫師的涉入
(engaged)視圖；以及
圖8示出根據本發明例示實施例的的例示的顯影助手的視圖；圖9示出根據本發明例示實施例的例示的教師-學生范例架構；圖10 (a) - (e)示出根據本發明例示實施例的經由例示DextroNet 連接的教師和兩個學生的例示視圖11-13放大和順序地示出圖10 (a) - (c); 圖14 (a) - (c)示出鎖定(lock-on)模式下由圖10的例示教師和兩個學生看到的3D數據集的例示視圖15-17放大和順序地示出圖14 (a) - (c)的視圖；圖18 (a) - (c)分別示出圖14 (a) - (c)的3D數據集的例示視圖，其中，教師進行測量，并且學生1已經切換到脫開視圖模式；圖19-21放大和順序地示出圖18 (a) - (c)的視圖；圖22 (a) - (c)分別示出在教授移動了他的筆之后的圖18 (a)-(C)的例示視圖23-25放大和順序地示出圖22 (a) - (c)的視圖26-30示出根據本發明例示實施例的從教師觀點看的例示順序
步驟，其中，兩個學生參加聯網會話；
圖31示出根據本發明例示實施例的顯影助手的兩個例示視圖32-33放大和順序地示出圖31的兩個視圖34示出根據本發明例示實施例的對應于圖31的顯影助手視圖的例示的外科醫師的視圖35分別示出根據本發明例示實施例的當顯影助手和外科醫師都定位例示化身對象上的給出點時的該兩方的視圖36-37分別放大和順序地示出圖35的視圖38示出根據本發明例示實施例的例示顯影助手協助外科醫師來定位例示對象上的點；
圖39-40分別放大和順序地示出圖38的視圖41示出根據本發明例示實施例的協作定位例示對象上的點的助手和外科醫師的每一個的另外例示視圖42-43分別放大和順序地示出圖41的視圖44示出例示熒光透視圖像；
圖45示出例示的介入心臟病專家的視圖46示出根據本發明例示實施例的對應于圖45的例示顯影助手的視圖47示出根據本發明例示實施例的由圖46的例示顯影助手生成的例示畫中畫圖像；
圖48示出根據本發明例示實施例的圖46-47的顯影助手的其他例示3D視圖49示出根據本發明例示實施例的備選的例示介入心臟病專家的
視圖50示出根據本發明例示實施例的例示角色切換處理的例示第一
階段；
圖51示出根據本發明例示實施例的例示角色切換處理的例示第二階段；圖52示出根據本發明例示實施例的例示角色切換處理的例示第三和最終階段；圖53 (a)和(b)示出根據本發明例示實施例在例示教師(或主用戶)系統上的例示數據發送隊列；圖54示出根據本發明例示實施例的例示消息更新格式；圖55 (a) - (c)示出根據本發明例示實施例使用圖54的例示消息格式的用于例示控制面板、窗口小部件(widget)和工具的例示更新消息；圖56示出根據本發明例示實施例使用圖54的例示消息格式的關于文件傳輸的例示消息；圖57示出根據本發明例示實施例的備選例示消息更新格式；以及圖58 (a)和(b)示出根據本發明例示實施例使用圖54的例示消息格式的例示文件傳輸消息。
具體實施方式
1.概述在本發明的例示實施例中，可以經由數據網絡連接多種類型的3D 交互顯影系統，以便彼此遠離的人員可以為了多種目的而基本同時地對相同的3D數據集進行操作。在本發明的例示實施例中，兩個或多個人員可以位于彼此遠離并且可以將給出的3D數據集加載到他們的工作站上。通常，該例示實施例預期"主用戶"以及一個或多個"遠程用戶"。參與者可以是例如手術規劃工程的合作者，例如規劃連體嬰分離的醫生團隊，或他們可以是例如教師或講演者(lecturer)或一組學生或在場者(attendee)。另外，例如，參與者可以包括(i)使用手術導航系統(諸如Dex-RayTM系統)或一些其他診斷或治療系統(諸如Cathlab機器、被管理的超聲系統等)對患者執行或進行診斷或治療程序的外科醫師或其他臨床醫師；以及(ii)顯影專家，隨著外科醫師或臨床醫師的推進，從一些遠程位置動態地修改并顯影相關3D數據集中的虛擬對象，而不負擔治療或手術室的物理限制。或者，在各式各樣的教育、專業、檢查或客戶支持環境中，參與者可以包括教師以及一個或多個學生。在下面，本發明將使用多個可能的范例或例示使用來描述，本發明不由這些例示使用的任何一個來限制。要知道，本發明的功能可以應用于廣泛多種應用，其中期望或使用3D數據集的精細(sophisticated)顯影的研究或多種類型的協作。為了便于描述，本發明的多個例示實施例有時候將被稱為 "DextroNet" ， "DextroNet"是結合這多個實施例由這里的受讓人使用的預期商標。A. DextroscopeTM到DextroscopeTM型交互在本發明的例示實施例中，DextroNet可以例如用于遠程客戶訓練或技術支持，或3D交互顯影系統的制造商與其客戶之間的遠程咨詢。例如，DextroNet可以由3D交互顯影系統的制造商用來提供遠程隨選 (on-demand)技術支持服務到其客戶。在該使用中，例如，任何時候客戶具有關于由該制造商提供的給出3D交互顯影系統的使用的問題時，都可以與培訓中心連接。一旦連接，則遠程培訓技師可以例如向客戶示出如何使用給出工具，該給出工具諸如在DextroscopeTM上的輪廓編輯器。為了避免要求客戶發送他的整個數據集(具有患者隱私以及傳輸數據時浪費時間的潛在問題)，可以在標準數據集上執行該例示培訓，該標準數據集由雙方在遠程培訓會話開始時加載。可以提供給探索DextroNet的使用的客戶的另一服務可以例如包括為離線客戶準備(分割)患者數據。例如，在醫療環境中，客戶可以ftp與一個或多個感興趣的患者或病例相關聯的數據，以及"放射服務"部可以分割該數據并將其發送回客戶。與該服務連接，根據本發明的例示實施例，可以提供做了什么或甚至關于客戶正在處理的實際患者數據的遠程培訓的在線示范。在本發明的例示實施例中，還可以支持遠程咨詢。在該實施例中， Jt承R外科崔師和放射學家、成像技師、咨詢醫師的專家團隊可以都經由DextroNet遠程地討論病例、病例中采用的多種可能手術進路以及類似的問題。例如，放射學家可以提供他的視圖，脈管神經外科醫師可以提供他的視圖，以及顱面專家又可以提供他的視圖，全部參考以及虛擬地在由病例的掃描數據生成的給出3D數據集中"指向"多個容積對象。
B. Dextrosocpe 到DEX-Ray 型交互
如在Camera Probe中所述，可以使用DEX-Ray系統作為手術導航設備。該設備可以經由DextroNet連接到標準交互3D顯示系統。由此，在本發明的例示實施例中，可以"外包"3D數據操縱性能來去除由外科醫師的無菌場(sterile field)施加的約束。例如，當外科醫師具有患者顱骨內的DEX-RayTM型探測器時，他通常不能控制手術導航系統的界面，除非他開始向基本計算機附近的某些人員叫喊出命令。當然，那樣也是不期望的，因為該計算機通常完全忙于控制探測器和繪制圖像/視頻。
利用患者顱骨內的探測器，外科醫師嘗試在患者腦周圍找到他的路徑(也就是指向不同區域，并且不能指向他還未切開的超出組織)，外科醫師需要幫助來檢查其他成像模態、其他分割結構(腫瘤、脈管、神經(諸如經由擴散張量成像))而不太多改變探測器的位置。在該場景中，外科醫師可以利用探測器來指向，并且還可以談話/聽，但是不能提供太頻繁地移入和移出顱骨。在這種情況下，有用的是，由另一個外科醫師(或具有技術專業知識的助手)幫助來提供不同的顯影。這些不同顯影可以例如示出外科醫師最接近哪些脈管、哪些神經圍繞腫瘤等。該"顯影助手"可以經由DextroNet被連接到外科醫師的導航系統。
C. DextrosMpe 到Cathlab 型交互
或者，在本發明的例示實施例中，類似于DeXRayTM到 Dextrosc叩eTM交互的范例可以例如使用X射線熒光透視顯示的形式的在線信息。這里，遠程助手可以例如幫助調節在基本實時的X射線視
圖(2D投影)以及由個體的之前掃描生成的3D視圖(來自例如心臟的CT或MR掃描)之間的共同配準。因為以X射線不能看到脈管，要求介入心臟病專家來注射造影劑以使得脈管幾秒內不透明以被看到。對于腎有問題的患者不注射造影劑，以及在任何情況下，為了患者(為了健康以及醫院帳單考慮)都使得造影劑最少。因此，顯影助手可以使用造影劑流的幾秒來將患者的X射線視圖與例如術前CT同步。該信息可以例如作為X射線視圖上方的增強虛擬對象來呈現，該信息例如可以在X射線視圖附近的另一監視器中顯示。例如，心臟可以在X射線視圖中跳動，以及CT可以與之一起跳動，或僅僅示出凍結瞬間，該凍結瞬間可以幫助引導心臟病專家來利用導管順著(follow) 正確的脈管。在本發明的例示實施例中，可以假設僅僅一個人員控制影響3D數據的交互("主用戶")，以及假設經由DextroNet連接的其他參與者("遠程用戶")可以查看那些影響但不能改變數據自身，而不是僅僅能查看他們自身的數據視點。另外，在該例示實施例中， DextroNet可以例如經由網絡僅僅發送主用戶的3D交互細節，然后使得那些交互在每個遠程工作站或系統處被執行。這與傳統的系統形成對比，其中，一個用戶發送關于他的交互的數據到遠程服務器，然后
該遠程服務器進行計算并發送回最終的計算圖像，而不向遠程觀眾示出生成3D數據的最終圖像的步驟或操作的序列。
這些傳統的解決方案,諸如SGI的VizServerTM僅僅提供單向網絡。在本發明的例示實施例中，DextroNet可以是多向網絡。諸如 VizServerTM的方案依賴于用戶僅僅需要來自給出3D場景的最終投影的假設。如果僅僅需要投影(或甚至諸如一對立體投影)，則遠程計算機可以計算(繪制)圖像并將得到的像素發送到客戶，然后客戶看到不能與他通過本地繪制獲得的圖像區別開的圖像。用戶可以移動光標來導致旋轉操作，并且可以將該命令發送到遠程服務器，可以旋轉 3D模型，該模型可以被再次繪制，以及將圖像發送到客戶機以供查看。然而，因為不具有相對于探測器關于模型的深度信息，所以該傳統方
21案不允許其他用戶將他們自身的3D交互設備(諸如探測器、指示筆等)
插入到3D模型中。因為所有可得到的是來自一個用戶的視點的像素，
所以該傳統方案還不允許客戶機生成可分離的視點(下面將描述)。
此外，該方案不能夠向遠程用戶準確示出采用什么步驟來獲得最終繪制。如果他對于實際學習這些交互命令序列感興趣，則他不能學習。形成對比的是，在本發明的例示實施例中，可以在每個工作站處 (諸如在教師和學生的相應站處，或在顯影助手和外科醫師的相應站
處，或在顯影助手和其他診斷醫生或對于物理患者(physical patient) 執行手術的治療學家的相應站處)得到3D模型，然后可以將該3D模型與用戶的3D (也就是工具和其他對象)組合，以及然后使得每個站可以執行其自身的繪制。
為了遠程地影響數據，在本發明的例示實施例中，主用戶的指示筆的3D交互可以被布置為諸如與遠程用戶的(遠程)虛擬控制面板進行交互。在該例示實施例中，該控制面板交互不需要轉化為遠程機器上的系統命令，諸如"按下切割按鈕"或"將電子變焦滑塊滑動到2.0" 等。而是，在該例示實施例中，諸如通過在遠程用戶的機器上顯示主用戶的工具的圖像，在遠程用戶的世界中，給出的主用戶的操作可以作為主用戶的工具正被操縱的結果而呈現為在遠程用戶的機器上正被實現。在遠程用戶側，當主用戶的工具出現在遠程用戶的虛擬控制面板上的按鈕上方的位置并且其狀態為諸如"開始動作"(工具的四個例示基本狀態之一)時，則然后可以按下按鈕而無需特定的命令。以這種方式，在主用戶側或遠程用戶側，遠程工具可以采用與本地工具相同的原理來工作。由此，與使用額外系統命令來實現主用戶的機器處激起的操縱(或使用傳統的VizServerTM方案)相比，這可以獲得更無縫的集成。不使用系統級命令的理由是，避免在遠程用戶側的不一致視圖。如果例如與遠程用戶側上的虛擬控制面板的指示筆交互是不一致的，則雖然工具依然可以經由系統命令作用，但是當遠程用戶在作用或操作"B"發生的同時如果看到工具在按鈕"A"上方會困惑。如果工具位置等的顯示可以被同步，如上所述，則無需額外系統命令，以及工具將照顧自身。
注意到，虛擬控制面板的校準可以在不同平臺上的用戶之間變化。
這是因為可以有能夠經由例示DextroNet連接的多個3D顯影系統的多個硬件和軟件配置。例如，為了示出由這里的受讓人Volume Interactions Pte公司提供的多個系統，DextroBeam 因為沒有鏡而不具有"反射的" 校準，而DextroLApTM系統使用鼠標而不使用3D跟蹤器。因此，在本發明的例示實施例中，主用戶的3D校準可以被發送到所有連接的遠程用戶，這些所有連接的遠程用戶通常可以經由不同制造和模型的多種 3D交互顯影系統平臺來連接。該校準發送可以確保，例如，由主用戶執行的3D交互在正確時間撞擊到遠程用戶的正確按鈕上。因此，當連接到DextroNet時，協議(protocol)可以例如導致遠程用戶側上的控制面板與主用戶側上相同(關于位置、取向、尺寸等)，以便主用戶在他的控制面板上的操作可以在多個遠程用戶的機器上被復制。
當主工作站與遠程工作站同步界面和視點時，主工作站能夠例如將其控制面板的參數，如下結合圖55 (a)所述，以及所顯示對象的位置和取向，如下結合圖55 (b)所述，發送到遠程工作站。由此，當遠程工作站接收到這些參數時，其能夠例如使用該信息來更新其自身的控制面板并本地地顯示對象。一旦已經完成該處理，則例如可以使用主用戶的工具來操縱遠程控制面板，以及主用戶和(多個)遠程用戶的初始視點可以相同。
在本申請中描述了多個例示范例。注意到，為了節約詞匯，可以結合"教師-學生"范例來詳細描述特征，這些特征也可以應用于"外科醫師-顯影助手"范例，反之依然，以及不被重復描述。要知道，"外科醫師-顯影助手"范例與"教師-學生"范例相同地作用，后者將每個都被共同配準的記錄的或實時視頻、實時成像(例如熒光透視、超聲等)或實時器械位置信息添加到3D數據集中。D. DextroNet教育(教師-學生)范例
在本發明的例示實施例中，可以在教育上使用DextroNet連接。例如，可以使用DextroNet來指示學生進行外科手術和規劃，或例如，諸如Dextrosc叩eTM的交互3D顯影系統的使用。此外，可以使用例示 DextroNet以供解剖指示。例如，可以使用該實現來讓學生熟悉身體的特別復雜的解剖區域。此外，例示DextroNet還可以被使用以供病理指示，以及可以由此被用作輔助教育工具以供尸檢(當患者可能已在手術期間死亡時尤其有用，以及可得到該患者的術前規劃和掃描數據)。
在本發明的例示實施例中，熟悉Dextroscope 、 DextroBeam 或 DEX-RayTM系統或它們的等效的講師(可以是諸如醫生、外科醫師或其他專家)可以諸如經由DextroNet指導至少一個遠程位置的學生。學生可以具有與講師相同的面對3D模型的視點，或例如可以具有不同的視點。例如，學生可以具有采用講師視點的一個顯示(或顯示窗)，或采用不同視點的另一顯示(或顯示窗)。或者，例如，學生或講師可以在不同的視點之間轉換。這可以例如就像具有畫中畫，其中，一幅圖片是遠程視點，而另一圖片是本地圖片，類似于視頻會議操作的方式。在該例示實施例中，兩幅圖片可以都在本地工作站處生成(一幅具有本地參數，而另一幅具有遠程參數)，或例如，遠程圖片可以被遠程繪制，并以類似于VizServerTM方案的方式來發送(僅僅發送最終像素而不發送交互步驟)。由此，給出用戶可以準確看到遠程用戶所看到的，消除了所有疑惑諸如"你看到的是否是我所看到的？"
為了描述便利，在該教育實施例中的參與者將被稱為"教師"或 "講師"(主用戶)和"學生"(遠程用戶)。例示的教師-學生范例接著將結合圖l和圖3進行描述。
在本發明的例示實施例中，教師可能例如不能夠看到學生的實時視像，但是可以通過教師世界中顯示的學生工具的指示方向來被告知學生正看到什么(其可以暗示學生的感興趣區域)。雖然一個人員不能根據遠程指示筆的外觀來準確"知道"遠程站的視點，但是他可以根據已知或假設的事實來推斷關于其位置的一些情況。例如，指示筆由使用右手的人員用來指示向前等。
該例示場景被設計為允許教師能夠指導多個學生。由此，教師不需要被打斷除非學生利用語音或其他信號提出問題。然后，基于該提問學生的需求，例示教師可以例如旋轉給出對象并容易地將他的視點與學生的視點對齊，因為他能夠充分確定學生從該學生的工具的方向如何查看對象。或者，教師和學生可以顛倒他們的角色，顛倒角色在本發明的例示實施例中可以例如通過如下所述的("角色切換")一對按鈕點擊來容易地完成。要注意，在本發明的例示實施例中，在教師-學生范例中，學生例如除了某些操作不能本地地操縱對象，這某些操作不改變屬于特定對象的體素或多個體素，這些操作諸如包括平移、旋轉和/或指向對象或將對象電子變焦(改變其放大倍率)的操作。這通常需要防止沖突的指令或與3D數據集的交互。
通常，遠程用戶(諸如學生、外科醫師或不擔當教師的顯影助手) 可以實踐的本地控制經常是受限的。這是因為，通常，對于數據集的教師(或顯影助手)的操縱在每個學生(或外科醫師)的機器上本地地實現，如上所述，也就是主用戶的交互跨網絡發送并被本地地實現。主用戶由此控制遠程用戶的(本地)機器。在該例示實施例中，如果允許學生以教師的操縱不再有意義的方式來改變他或她的數據集的本
地副本，則會有混亂。例如，在標準的Dextrosc(DpeTM上，用戶具有對于3D數據集中的對象的分割的完全控制。他可以通過改變例如對象的顏色査找表來改變該分割。或者，他可以不管分割而是僅僅改變與已經被分割的對象相關聯的顏色或透明度。雖然該后種操作不會改變對象的原始內容，但是該操作能夠改變其顯影參數。
還要注意，通常在DextroscopeTM型系統以及交互3D數據集顯影系統中具有很多工具和操作，其基于關于正被操縱的對象的尺寸的某些假設來操作。例如，具有指示工具，該指示工具通過將射線從工具尖端投射到最近的對象表面來操作。如果對象的表面已經因為本地用戶改變了對象的分割而更接近該指示工具或更遠離該指示工具，當教師拾取他的指示工具并指向對象，當在學生的屏幕上實現時，該指示工具可能觸摸完全不同的對象。實際上，在學生的機器上，可以經歷在教師的機器上的東西，對象表面。通常，鉆孔工具、拾取工具、輪廓提取工具、等值面生成工具和多種其他工具可以類似地取決于他們正進行操作的對象的尺寸。因此，如注意到的，在本發明的例示實施例中，學生的本地控制面板可以被交由教師來控制。在該例示實施例中，學生所能做的就是從教師的視點脫開按照他期望的來旋轉、平移、放大(電子變焦)對象或調節對象的顏色或透明度(而不是尺寸)。因此，可以保持教師與每個對象之間的關系。注意到，總有給予學生多少本地控制的問題。在本發明的例示實施例中，該問題通常可以通過允許不改變實際數據集的任何本地動作來解決。
雖然如此，但是，在本發明的例示實施例中，可以通過允許本地用戶來執行接著將顯示效果的"實際上"不影響他的本地數據而是在
本地數據副本上作用的操作，同時主用戶的操作以"重影(ghosted)"
方式顯示，從而增加復雜度。
例如，教師可以向一個或多個學生示出如何使用多種工具來進行
3D數據集中的對象之間的多種測量。教師可以進行測量，而這些測量
將被學生看到。然而，教師還可能期望測試學生進行類似測量的能力，以及可能要求學生來運用他剛指導的東西，以及要求學生來進行教師還沒做出的另外測量。學生可以例如執行那些測量，以及那些測量可以例如被顯示在他的機器上。然后，教師可以諸如取得學生機器的快照并評估學生的能力。以類似方式，可以允許學生操縱可以顯示在他的顯示器上的數據集，在學生的顯示器中，還可以"重影"方式示出 "真實"數據集及其由教師執行的"真實"操縱。以這種方式，教師的所有操縱可以在對象的重影邊界上操作，如在學生的機器上所顯示的，以及可以在學生的機器上以實體方式顯示學生的本地操作到所需程度(也就是學生的本地操作意圖影響到3D數據集的程度)。由此，可以允許學生來執行例如除了上述的平移、旋轉、指示和/或電子變焦等的其他操縱，但是這些其他操縱都以較大復雜度以及附加本地處理為代價。
注意到，上述例示實施例要求學生在進入該"增強"脫開模式時
創建整個數據集(包括3D對象以及控制面板)的副本。在那些情況下，
學生可以例如對本地(副本)數據集進行操作，而教師可以在原始數據集上操作，該原始數據集以重影方式顯示在遠程用戶或學生的機器上。由此，兩個獨立的圖形處理可以例如并行地在相同(學生)的工
作站上操作。如果教師要看到由學生開發(developed)的新的進路，他可以取得學生視圖的快照并且與學生就該新進路進行討論。
在本發明的例示實施例中，使用角色切換，其中，教師角色由此可以被從參與者傳送到另一個參與者，學生可以從教師接管控制。他可以例如繼續教師對于對象的工作或通過示出如何執行操作或其他程序來給出他的觀點。這允許所有參與者進行協作。因為在該例示實施例中，經由網絡在給出時間僅僅存在一個教師，所以該協作可以是串行的，而沒有沖突問題。
在本發明的例示實施例中，DextroNet可以得到不同帶寬的多種網絡的支持。在一個例示實施例中，當DextroNet被用于教育指示時，可以使用例如低速網絡。經由例示DextroNet連接的3D交互顯影系統的每一個可以例如具有用于手術規劃、外科手術或解剖結構的成像和視頻數據的本地副本。由此，跟蹤數據、控制信號或圖形或圖像參數數據，通常尺寸較小，可以被經由網絡發送。通常說來，在DextroNet 中，聯網信息可以例如被分為兩種類型消息和文件。消息可以包括例如跟蹤數據、控制信號等、文件可以包括例如圖形和圖像數據，該圖形和圖像數據可以在發送之前被壓縮。這些在下面進行更全面的描述。
注意到，在本發明的例示實施例中，由一個用戶引入的動作可以被傳送到至少一個其他用戶(學生或教師)的遠程位置，其中，第二工作站本地地計算相應的圖像。聯網參與者之間的語音通信可以是帶
外(outofband)的，諸如在低速網絡實施例中經由電話，或諸如在例
示高速網絡實施例中通過網絡上語音系統，諸如通過因特網上語音協
議("VOIP")。此外，高速網絡可以容納由如在Camera Probe申請中描述的攝影探測器(Camera Probe)生成的單像(mono)或立體視頻信息的傳送。該視頻信息可以諸如與計算機生成圖像組合，或可以在獨立的顯示器或顯示窗上查看。非3D的顯示視頻(或圖像快照)通常僅僅可以被看作"背景"。這是因為圖像或視頻(圖像序列)是真實世界的投影，并且不包含3D信息。因此，在這些圖像或視頻中可見的對象不能被準確定位(position)在3D對象前面。下面將更全面地描述該顯示可能性。
在本發明的例示實施例中，DextroNet例如能夠支持協作和獨立地工作。例示系統能夠例如被用作用于手術規劃和個體培訓的獨立平臺。在該實施例中，例如，可以本地地優化系統配置。由此，學生的系統上的界面的位置和取向可以不同于講師的系統上的界面的位置和取向。然而，如果激活聯網功能，則學生的系統能夠例如改變其系統配置以匹配講師的系統。這可以避免坐標系(coordinate system)之間可能存在的失配問題。
E. DextroNet外科醫師-顯影助手范例
在本發明的另一例示實施例中，講師能夠例如指導位于遠處的至少一個學生，以及"顯影助手"能夠通過如下來協助講師操縱圖像并建議見到該助手所見需要的步驟，或者，周期性地將教師角色轉讓到該助手，以便所有人可以看到他的視點。例如，顯影助手能夠操縱圖像以加亮突出感興趣對象(諸如通過改變對象的顏色查找表或透明度)；放大(電子變焦)感興趣對象；改變取向或視點；播放、停止、倒回、快進或暫停記錄手術的視頻圖像；提供具有不同視點的分屏；將視頻圖像與計算機生成圖像組合用于顯示；在顯示單像和立體圖像之間的轉換(它們是視頻圖像還是計算機生成圖像)；以及執行其他相關圖像操縱和呈現任務。通過除了講師和學生還讓顯影助手參與，講師例如能夠集中在指導學生上而不是將注意力用于圖像的操縱。此外，當助手接管系統控制并由此變成教師時，可以協助不熟悉3D交互成像系統的操作的學生來獲得他們可能需要的視點和信息。
在本發明的例示實施例中，外科醫師或內科醫師以及"顯影助手" 能夠經由DextroNet在實際手術或其他醫療處理期間協作。在該實施例中，顯影助手能夠大體擔當主用戶，以及內科醫師能夠大體擔當遠程用戶。外科醫師或內科醫師可以諸如在手術室或治療室內正對患者操作或執行一些醫療、診斷或治療手術，以及顯影助手可以位于遠處，例如，位于手術外科內，位于手術室上方的通道(gallery)內，位于鄰近室內，或位于完全不同的地方中。這在下面結合圖4-8利用外科醫師 -助手范例進行描述。
顯影助手的任務可以例如是在外科醫師操作的同時與外科醫師進行語音接觸，以及動態地操縱3D顯示來更好協助外科醫師。其他遠程用戶可以觀察，但是遠程用戶不能自由地操縱數據。
例如，假設外科醫師結合神經外科手術地使用DEX-RayTM系統。在該例示實現中，他的主顯示被局限為從如Camera Probe申請中所述的攝影機的視點所能查看的數據集的那些部分。但是，顯影助手可以自由地從任何視點查看虛擬數據。在本發明的例示實施例中，顯影助手能夠具有兩個顯示，并看到外科醫師的視點以及他的視點。例如，
他可以從相反視點(也就是固定到腫瘤或其他顱骨內結構的一些視點) 來查看外科手術，并看到外科醫師從"外部""進入到"他的視點內。例如，假設外科醫師在視神經附近操作。如在Camera Probe申請中所述，用戶可以將數據集中的一個或多個點設置為標記，以及觀察探測器尖端到被連續讀出的那些標記的動態距離。此外，用戶能夠利用一個或多個被跟蹤的手術器械(其不會獲得視頻圖像)來進行相同的事情，以便顯影專家能夠例如在外科醫師實際操作的同時提供輸入。雖然外科醫師不能將整個顯示器專用于視神經附近的位置，但是顯影助手能夠。由此，例如，顯影助手能夠動態地電子變焦外科醫師正在操作的區域，沿著外科醫師附近的視神經設置五個標記點，以及監視到每個標記點的距離，如果外科醫師來到某個安全邊界內時警告外科醫師。另外，視情況而定，可以在外科醫師的系統顯示器上，看到和聽到由顯影助手設置的新標記以及距離每個所述標記的動態距離，因為顯影助手，也就是主用戶，控制3D數據集。如Camera Probe中所述，用戶能夠識別包括在組合(增強現實) 圖像中的多個虛擬結構。理想地這可以隨著手術的進展而動態地完成，以及在每個階段，可以顯影與該階段相關聯的分割。然而，實際上，對于單獨工作的外科醫師來說通常是不可能的，因為外科醫師不是顯影專家也不能自由地以動態方式運用系統的性能。然而，顯影助手是。當外科醫師來到給出區域附近時，顯影助手能夠添加和去除結構以更好引導外科醫師。例如，如果在外科手術之前沒有分割的某個結構變得有關，則顯影助手可以即興即時地(on the fly)地分割對象，該某個結構例如具有沒有通過任何術前掃描的腫瘤的指狀物或細紋(fmethread)的腦結構的一部分。由此，在本發明的例示實施例中，遠程觀眾能夠具有更多的自由并由此能夠進行在預規劃期間沒有完成的任何圖像處理，諸如調節上色(colorization)、透明度、分割閾值等。使用類比(analogy)，外科醫師可以被類比成足球教練，該足球教練讓他的助手(顯影助手)從比賽場上方的新聞記者席中從高處鳥瞰比賽，并且當助手看到其他隊伍調遣的圖案時經由無線電與教練交談。在本發明的例示實施例中，該顧問能夠例如看到他的屏幕以及外科醫師的屏幕，并且該顧問能夠由此動態地控制顯示在兩個屏幕上顯示的虛擬對象，從而更好地在外科醫師操作的同時對外科醫師進行支持。II.教師-學生交互A.例示程序流程下面要描述采用例示教師-學生范例的根據本發明的例示實施例的程序流程。圖1示出根據本發明的例示實施例的例示教師型控制臺。參考圖1,在101，例示系統能夠檢査已經連接的任何學生。由此，在102，判定是否有新學生加入。如果是，則在103，可以在教師控制臺與用于新近加入學生的學生控制臺之間同步界面和數據。如果否，則程序流程可以返回IOI，在IOI，系統能夠繼續檢査已經加入的任何學生。回到103，一旦新學生諸如通過明確點擊他的控制臺的3D界面上的按鈕加入了 DextroNet,則教師能夠例如發送學生消息來同步他們的相應界面和對象，諸如滑塊、按鈕等。這些消息可以包括例如教師的控制面板的位置、取向和尺寸；在控制面板上的虛擬窗口小配件 ("widget")的狀態，諸如上下按鈕、顏色查找表設置；數據集中的虛擬對象的位置、取向和尺寸；以及任何可用的視頻。或者，如果教師發現學生側上的數據太不同于他自身的數據，則教師可以選擇執行在他和學生的相應控制臺之間的整個數據集的完全同步。這可以例如通過由教師的控制臺壓縮數據集(不包括快照和記錄在內)并將其傳送給新近加入DextroNet會話的學生來完成。一旦界面以及由教師和新近加入學生共享的數據已經被同步，則用于他們的協作交互顯影的準備已經完成，并且程序流程能夠繼續到包括圖1的剩余的主循環中，31如下所述。在110，例示教師系統可以詢問是否已經接收到學生視頻。這可以在例如學生正在操作Dex-Ray 型系統時發生。如果是，則程序流程可以繼續到lll，在lll，可以繪制所述學生的視頻并且程序流程可以繼續到125。如果在110沒有接收到學生視頻，則程序流程可以直接移動到125。另外，如果教師的工作站具有可用的視頻，則該視頻可以在 105處讀取以及在106處繪制，以及程序流程可以移動到120，在120，系統可以詢問是否有任何這樣的視頻可用。注意到，在120，判定教師視頻的可用性。如果是，則可以在126 發送視頻幀，以及程序流程可以移動到125。如果否，程序流程可以直接移動到125，在125，教師3D設備可以被讀取。這里，教師能夠由本地跟蹤系統來更新他的虛擬工具(諸如指示筆、指示數據集中的教師的當前位置的化身、或鉆子)的位置、取向和狀態，該本地跟蹤系統連續地跟蹤三維控制的運動和狀態，操作員利用該三維控制與數據集進行交互。例如，在執行結腸鏡檢查應用的標準DextroscopeTM中，該3D控制可以是例如分別由用戶(這里是教師)持于右手和左手中的每只手中的指示筆和操縱桿。或例如，如果在DextroscopeTM上執行其他應用程序，用戶能夠例如代之以將6D控制器持于他的左手中。一旦在125已經讀取了教師側3D設備，則可以在130讀取網絡(學生)3D 設備，在130，教師工作站可以通過網絡經由從學生工作站接收到的消息來更新學生的代表工具的位置、取向和狀態。從130，程序流程可以例如移動到135，在135,在教師側上的交互被經由網絡發送到學生。這里，教師可以發送他正在使用的任何工具的位置、取向和狀態以及他的鍵盤事件到學生，該任何工具諸如剪切工具、鉆子、切片觀察器工具等。這些位置和取向可以被轉換為世界坐標，如下在數據格式部分中所述。從135，程序流程可以例如移動到140，在140，可以判定學生當前在本地學生顯示器處是否期望遵循教師的視點。如果是，在145，可以同步視點，也就是，一旦教師接收到學生對于同步視點的請求，則教師可以將其工作站中的虛擬對象的位置、取向和尺寸發送到學生。如果在140處為否，并且學生由此選
擇遵循他自身的視點，則程序流程可以繼續到150,在150，可以繪制數據集的3D視圖。因為這些交互正在進行，從150程序流程循環回到 110和120,這里例如只要DextroNet會話被激活就可以重復，以及3D 數據集的交互和操縱被連續地經由網絡發送。此外，如下所述，學生可以在看到教師的視點和看到他自身(本地)的視點之間轉換，他自身的視點不受到教師的視點的限制。學生對于視點選擇的當前狀態由此通過140在每個循環處測試和識別。
在描述對應的學生控制臺處的程序流程之前，下面將結合圖2描述根據本發明例示實施例的DextroNet的多種例示配置。
圖2示出例示DextroNet網絡250以及連接到其的多種控制臺。例示的連接設備都是新加坡的Volume Interactions Pte公司的產品或原型產品。例如，DEX-RayTM型工作站210可以被連接到DextroNet。如上所述，DEX-RayTM型工作站是實現在Camera Probe申請中所述技術的工作站。該技術可用于多種環境中，多種環境包括諸如神經外科規劃和導航。在DEX-RayTM型工作站中，可以生成例如腦的分割和處理后的術前3D掃描數據或虛擬數據與實時視頻的組合視圖。DEX-Ray 型工作站可以用作教師控制臺，其中，神經外科醫師可以在他執行手術規劃或甚至執行手術的同時，使用DEX-RayTM型工作站向經由網絡連接的其他人示出這些組合圖像。或，更便利地，DEX-RayTM型工作站可以作為學生操作，使得顯影助手擔當教師。
繼續參考圖2， 220和230示出連接到DextroNet的Dextroscope 型工作站。在標準Dextroscope 型工作站中，可以交互地顯影3D數據集；但是，不同于DEX-Ray 型控制臺，通常不捕獲和集成現場視頻。然而，在標準的Dextroscope中，預記錄的視頻可以被集成到3D數據集中并被操縱，諸如可以在"尸檢"分析和其中使用DEX-Ray的神經外科檢查中發生的預記錄的視頻。DextroBeam工作站220和Dextroscope工作站230是本質相同設備的不同風格(flavor)，主要不同之處在于顯示界面。Dex加Beam，代替具有如在標準計算機工作站中的連接的顯示器，使用投影儀來將其顯示投影在例如墻壁或屏幕上，如220中所示。形成對比的是， Dextroscope通常具有兩個顯示器。一個顯示器是集成監視器，其將圖像投影到鏡上，以便操作員能夠通過在鏡下面用手抓住3D控制器從而在加載的3D數據集上操作的同時具有探入(reach-in)交互感覺。另一個顯示器是顯示與投影到鏡上的內容相同的內容的標準顯示監視器。由此，如在圖2中所示，使用根據本發明例示實施例的例示 DextroNet網絡可以得到多種協作交互范例。DEX-RayTM工作站210可以與Dextroscope 工作站230協作或與DextroBeam工作站220協作。或例如，其還可以與另一個DEX-RayTM工作站210 (未示出)協作。另夕卜，DextroBeam工作站220可以經由網絡協作地與另一 DextroBeam 工作站220或Dextroscope工作站230交互。另外，雖然圖2中未示出，其他3D交互顯影系統可以被連接到 DextroNet。例如，Volume Interactions公司還提供RadioDexterTM的版本，該軟件在Dextroscope 禾n DextroBeam 系統上運行，該 Dextroscope 禾n DextroBeam 系統可以在膝上型(或其他計算機)上運行，其中，將3D操縱投射到2D控制，諸如標準鼠標和鍵盤。該軟件的功能在DextroLap申請中進行了詳細描述。該軟件可以由此在這里被稱為"DextroLap"。雖然圖2中未示出DextroLap控制臺，其還可以被連接到DextroNet。另外，尤其在教師-學生環境中，在DextroNet上可以具有多于兩個的協作工作站，在教師-學生環境中，一個教師可以操縱數據集，并且經由網絡250連接的任何數量的學生可以參與或觀察。在該例示實施例中，所有其他學生能夠例如看到每個學生的虛擬工具以及教師的虛擬工具。教師可以例如看到每個學生的IP地址，以及他們的虛擬工具的位置和他們的顯示的快照或實時視頻，如下結合圖10-30所述。
在本發明的可選擇例示實施例中，控制功能，也就是這里描述為教師的操作功能，可以在參與者之間轉交，允許任何連接的系統將其與數據集的交互廣播到其他參與者。在該例示實施例中，圖標或消息可以例如標識哪個系統然后是操作的教師。
給出DextroNet可以提供的這多種協作可能性，下面將描述學生工作站上的程序流程，知道教師-學生交互可以使用上面結合圖2描述的任何可能連接(不管是否在圖2中示出)。
參考圖3，在301，學生控制臺搜尋連接到可用的教師。這可以例如通過由學生控制臺首先在因特網上廣播對于加入DextroNet會話的請求來完成。如果具有可用的教師，則學生可以例如接收確認，然后就能夠連接。如果在因特網(或諸如VPN的其他數據網絡)上沒有教師激活，則學生例如可以連接到由給出系統配置指定的服務器并等待教師。
一旦在301連接到教師，則程序流程移動到302，在302，學生控制臺搜尋以更新與該學生和教師正協作與之交互的3D數據集相關的界面和數據。由此，在302，學生可以例如利用來自經由網絡發送的教師數據的教師的界面和數據集的位置、取向和尺寸參數來更新他的控制面板。他還可以經由通過網絡接收的消息來將他的控制面板上的窗口小部件的狀態與教師的系統上的那些窗口小部件的狀態對準。這些消息可以例如涉及虛擬控制面板上的按鈕的上和下狀態、模塊頁面的選擇(例如存在于DextroScope中，該頁面表示用戶處于的多種可能模塊或操作模式，諸如配準、分割、顯影等)、滾動條的當前值、組合框的選擇、顏色查找表設置等。一旦已經在302更新了他的界面，則學生還可以例如接收數據同步消息，該數據同步消息諸如3D數據集中的虛擬對象的位置、取向、尺寸、透明度和詳細層次(detaillevd)。如注意到的，如果學生(或在相同的自動化處理中，由學生的系統)判定在學生的數據集版本與教師的相同數據集的版本之間的差異太大，學生還可以請求教師發送整個壓縮后的數據集以供分析。在該情況下，學生控制臺然后可以解壓縮數據并重新加載遠程場景。或者，教師可以發送交互列表來代替整個數據集，并讓學生工作站通過在學生的機器上本地地運行教師已經執行在一些時間點開始的數據集的所有交互來逐漸地趕上教師的數據集版本。一旦已經更新了界面和數據，由此使得學生控制臺與教師控制臺同步，則程序流程可以移動到310和320，如下所述。在310，可以判定教師控制臺是否發送了任何視頻。如果是，則可以在314繪制教師視頻，并且程序流程可以移動到325。如果在310為否，則程序流程可以直接移動到325。處理視頻問題的逆問題，也就是學生控制臺是否具有應該發送到教師控制臺的視頻，在320的決定可以判定視頻幀是否可用。在描述320處的程序流程之前，注意，如果具有學生側視頻，則學生控制臺可以在305讀取該視頻，在306繪制該視頻，注意，該視頻在320可用并接著在326被發送。從326，程序流程還可以移動到325。如果，例如，沒有學生視頻可用，則程序流程可以直接從320移動到325。在325，學生控制臺可以讀取其自身的3D設備(例如指示筆和控制器或它們的等效一也就是用戶與之交互的真實物理界面)。這可以允許學生控制臺來計算其虛擬工具的位置、取向和狀態，諸如由指示筆和3D控制器的實際跟蹤位置所給出。如果學生正在使用DextroLap 系統，則可以在325讀取替代3D設備的鼠標和鍵盤。在330，學生控制臺可以例如從經由DextroNet接收的消息讀取教師3D設備，該教師 3D設備允許學生控制臺來更新教師的代表工具的位置、取向和狀態以及任何鍵盤事件。從330，程序流程可以移動到340，在340，可以判定學生是選擇控制他自身的視點還是遵循教師的視點。如果否，并且學生選擇控制他自身的視點，則程序流程然后可以移動到345，在345，學生可以忽略關于例如教師的左手工具的聯網消息(在該實例中，左手工具控制在3D數據集中給出用戶處于的位置以及如果有則當前選擇的是什么(多個)對象；類似于在二維中移動光標的鼠標)，并通過例如他本地的操縱桿或6D控制器來直接讀取他自身的左手工具的位置、取向和狀態。如果在340為是，并由此學生選擇遵循教師的視點，他的機器可以在346發送消息到教師的機器來請求教師的(多個) 虛擬對象的當前位置和取向。一旦他接收到答復，他然后可以更新他自身的(多個)對象。不管在340做出什么選擇，程序流程可以從345或346移動到350，在350，繪制學生控制臺的3D視圖，然后，程序流程可以循環回到決定310和320，以便，如上所述，DextroNet交互程序流程可以通過會話被連續地重復。B.教師-學生交互的例示特征給出上述的基本教師-學生范例，可以在本發明例示實施例中實現以下的特征。以下假設系統上的用戶具有雙手的虛擬工具，每個工具具有一個按鈕開關，并且系統上的用戶使用具有按鈕和滑塊的虛擬控制面板來控制顯影應用程序。該例示系統可以是例如運行 RadioDexter 軟件的新加坡的Volume Interactions Pte公司的 Dextroscope 或DextroBeam 系統。1.跟蹤負載的減少在本發明的例示實施例中，為了處理網絡數據傳輸速率的變化性，減少施加到網絡上的通信量負載，以及確保不遺漏在3D對象上的關鍵用戶交互，例如可以釆用虛擬工具的按鈕切換的四個狀態檢查、開始動作、進行動作以及結束動作。在"檢查"狀態下，用戶不點擊控制虛擬工具的指示筆，而是運動該指示筆(這生成位置和取向數據，但是不生成"按鈕按下"數據)。由此，該虛擬工具呈現為僅僅在虛擬世界中漫游而不執行任何激活操作，但是可以看到指向對象，以及實際上可以觸發一些對象來改變它們的狀態，雖然不以持久的方式。例如，鉆孔工具可以隨著虛擬工具與3D對象的交互來示出該3D對象的透視圖，但是不會對對象鉆孔除非按下了按鈕。在"開始動作"狀態下，可以按下指示筆的按鈕，以及如果保持按下該按鈕，則可以激活"執行動作"狀態。一旦用戶例如釋放指示筆的按鈕，工具可以進入"結束動作"并然后可以改變回到"檢査"狀態。由此，多數時間虛擬工具處于"檢查"狀態，該"檢查"狀態是相較工具實際起作用的那些狀態較不重要的狀態。
由此，在"檢查"狀態下，虛擬工具可以呈現為僅僅在虛擬世界中漫游而不執行任何有效操作，諸如從一個位置移動到另一個位置。傳輸該狀態下工具的位置和取向的數據分組可以被認為"不重要"的數據分組。當具有擁塞網絡時，教師的"發送"緩存器可能會充滿未
發送的分組。在該環境下，在本發明的例示實施例中，DextroNet軟件可以檢查"發送"緩存器，并將那些具有"檢查"狀態的分組扔掉。因為多數時間虛擬工具處于"檢查"狀態，從而可以大大降低通信量負載。這可以參考圖53示出。例如，假設教師在他的"發送"緩存器中具有如圖53 (a)中所示的一組消息。當網絡連接較慢時，他可以例如僅僅發送圖53 (b)中所示的消息到學生。在這種情況下，學生將看到教師的工具從位置l "跳"到位置N，以及然后執行例如鉆孔操作，但是不丟失實際鉆孔操作的任何信息。
在本發明的例示實施例中，DextroNet通信量負載控制可以利用該事實。可以對重要消息分配以傳輸優先權。通常，當網絡速度較快時，教師的工具的每個動作可以例如被傳輸到學生。由此，學生可以觀看教師的工具的連續運動。然而，如果教師的系統檢測到聯網速度減慢 (例如通過注意到在發送出緩存器中有太多消息排隊等待)，則在本發明的例示實施例中，該教師的系統可以拋棄"檢查"狀態類型的消息。以這種方式，即使在擁塞的網絡條件下，學生也可以跟上教師的步調。與該消息"壓縮"(損耗)方案的折衷是，在該模式下，在學生的本地視圖中的教師的工具可以被看到移動地不那么平滑。盡管如此，但是，不會遺失對于虛擬對象的重要操縱。注意到，該減少在聯網速度較快時不需要發生。開關可以是例如教師的"發送"緩存器中的隊列長度。當沒有"減少"時，教師的工具可以在學生的世界中平滑地運動。當"減少"確實發生時，教師工具的運動是不連續的。然而，教師對于任何虛擬對象的操作不會遺失，以及學生的工具可以跟上教師的工具的步調。以這種方式，本發明的例示實施例可以動態地適于可用的聯網速度以及以多分辨率(也就是粗糙和平滑地)顯示教師的工具。
2.視點控制
如注意到的，在本發明的例示實施例中，DextroNet學生可以控制給出的3D對象，或者遵循教師的視點。如果學生選擇3D對象的本地控制，則他對對象的本地操縱，諸如對于對象的旋轉、平移和電子變焦(數字放大)不影響在教師或其他學生的世界中的3D對象的位置。然而，教師可以看到學生的虛擬工具相對于3D對象的位置和取向，從而允許教師來推斷學生的視點，如上注意到的。在該例示場景中，學生可以在他的世界中旋轉對象以找到除了當前由教師選擇之外的感興趣的另外區域或取向，以及可以例如用語音和/或通過指向該另外區域或取向來將該另外區域或取向傳輸到教師。然后，當教師接收到學生的消息時，可以例如轉到特定的地點，并在教師的世界中注意由學生指向的該位置。另一方面，如果學生選擇遵循教師的視點，則在教師的世界中的所有運動將會與學生的本地世界共享。
在本發明的例示實施例中，可以具有特定的命令，該特定的命令可以經由網絡發送來在這兩個狀態之間切換，以及相對于用戶的視點來重新定位遠程虛擬工具。該命令可以例如分別驅動圖1和3中的140和340處的判定。 2.數據同步在本發明的例示實施例中，可以有兩個同步模式，簡單同步和完整同步。例示的簡單同步模式可以例如僅僅通信對象的位置、取向、尺寸、透明度和詳細層次。從這些參數可以經由無需較大帶寬的數據網絡傳輸的觀點來看，這些參數可被認為是"輕量(light-weight)"的。由此，在本發明的例示實施例中，教師模塊可以例如，一旦檢測到新學生加入網絡，則實現該簡單同步。在本發明的例示實施例中，例如，僅僅當用戶明確請求完整同步時(諸如圖1中的145處)，可以執行完整同步。這包括壓縮和傳輸教師的所有數據(除了為報告目的而捕獲的數據，諸如快照和3D數據)。在本發明的例示實施例中，該同步可以是可選的，因為該同步可以從容進行(take time)。在該實施例中，教師僅僅當學生要求完整同步時才可以開始完整同步。如果具有多個學生，例如，僅僅可以將數據發送到做出該請求的學生。此外，當在兩側之間發生實質的偏離時，可以使用完整同步作為恢復策略。當沒有由可用帶寬所導致的吞吐量限制時，可以自動地、周期性地或在發生某些定義的事件時進行該完整同步。C.3D界面(控制面板)的同步在本發明的例示實施例中，例示同步可以包括兩個過程，校準的同步和窗口小部件的同步，如下面要描述的。1.校準的同步當使用DextroscopeTM或DextroBeamTM型系統時，例如，虛擬控制面板需要利用(例如由丙烯酸樹脂制成的)物理基座來精確校準，3D跟蹤器在交互期間擱置在該物理基座上，以便虛擬工具可以觸摸虛擬控制面板的對應部分。由此，校準和配置是本地的，隨著機器的不同而改變。這可以導致在聯網同時的失配問題。例如，教師的工具可能由于校準和/或配置失配而不能夠觸摸給出學生的控制面板。為了避免這個問題，在本發明的例示實施例中，教師和學生控制面板可以如下同步。當激活聯網會話時，教師的控制面板的位置、取向和尺寸可以被發送到學生，這些參數可以替換學生自身的控制面板的參數。當聯網會話終止時，可以恢復學生的機器的原始配置，從而允許他來單獨工作。
2.窗口小部件的同步
當聯網會話開始時，在兩側上的控制面板的初始狀態可以不同，
例如滾動條的位置、按鈕和標簽(tab)的狀態、顏色查找表的列表等。所有這些參數需要被對準用于聯網。
D.在不同交互平臺之間的連接
在本發明的例示實施例中，在不同類型的交互平臺之間的連接可以例如被支持在Dextroscope 與DextroBeam之間。由此，在 Dextroscope上的教師可以指示在DextroBeam前面聚集的多個遠程學生，或者例如，教師可以指示在DextroBeam前面的本地學生，而在 Dextroscope 上的遠程學生可以觀看。
在本發明的例示實施例中，另一支持的連接可以在3D交互平臺與 2D桌面工作站之間，諸如在DextrosocpeTM與DextroLap系統之間，如上指出。該系統可以允許參與者使用僅僅沒有指示筆和操縱桿的3D輸入設備的桌面工作站，其中，經由鼠標和鍵盤來執行用戶與系統之間的交互(如在DextroLap應用中所述)。在該場景中，教師和學生的輸入設備可能不一樣。因為如下原因這可以最有用缺乏3D指示筆和操縱桿的學生可以依然觀看在完全3D中操作的教師，并且通過使用他們的鼠標和鍵盤來與教師通信。在桌面工作站上，鍵盤事件以及來自跟蹤系統的動作可以被傳輸和插入。在該例示實施例中，鍵名稱及其修
改器(modifier)需要被包裝到網絡消息中。例如，DextroLAP光標具有3D位置。該位置可以被發送到教師，然后教師可以看到學生的光標在3D中運動。
在本發明的例示實施例中，在Unix和Windows系統上運行的多種交互顯影系統可以都經由DextroNet連接。
E.自動教師檢測
在本發明的例示實施例中，當教師和學生都位于給出內聯網上時， DextroNet可以自動地檢測教師。如下面更詳細描述，如果客戶機從服務器得到回復，則客戶機然后可以開始與服務器的網絡連接，并告訴服務器它是教師還是學生。服務器可以例如保存所有客戶機的注冊列表(角色、IP地址、端口)。如果服務器看到新加入的客戶機是學生，他可以檢査是否有可用的教師并將該教師的IP地址和端口發送到該學生。由此，學生可以自動地從服務器獲得教師的信息。如果不存在教師，服務器則可以例如警告學生退出聯網連接。或者，學生可以等待直到教師上線。由此，在該例示實施例中，學生不需要擔心諸如配置服務器IP地址和端口的低層聯網任務。一旦有老師，則學生的系統就可以自動地檢測到老師。
III.外科醫師-顯影助手交互 A.概述
下面參考圖4到8描述根據本發明例示實施例的在外科醫師與顯影助手之間的例示3D數據集的例示協作交互顯影。圖4是例示外科醫師的控制臺的程序流程圖。圖5是顯影助手的控制臺的例示程序流程圖。圖6到8示出在該場景中的外科醫師和顯影助手的每一個的例示視圖。通常，該范例本質上不被限制為"外科醫師"，而是可以包括任何這樣的場景，在該場景中，一個參與者("外科醫師")對于給定對象執行診斷或治療手術，其中，可以獲得該對象的術前成像數據并與物理對象共同配準，并且其中，另一參與者可以根據由該術前成像數據創建的3D數據集顯影對象。由此，所述的"外科醫師"包括例
如超聲檢查醫師(所述例如在"SonoDex"中)、使用Cathlab 機器的介入心臟病專家、使用Medtronic手術導航系統的外科醫師等。
在所述的例示交互中，外科醫師預期使用Dex-RayTM型工作站，并由此捕獲位置數據和實時視頻，以及顯影助手可以使用任何類型的工作站。參考圖4，在401，外科醫師可以連接到網絡。在402，在顯影助手一側上的數據可以與外科醫師一側上的數據同步。一旦完成數據同步，則程序流程可以例如從402沿著兩個并行路徑運動。首先，在410，外科醫由可以請求顯影助手的場景，以及如果請求，則在411 可以繪制該場景。如果不請求顯影助手的場景，則程序流程可以從410 直接運動到420，在420，外科醫師的控制臺可以讀取攝影探測器的位置和取向。這里，外科醫師的控制臺獲得攝影探測器的位置和取向(本地的)并將其轉換為虛擬世界中的坐標。從420，程序流程可以例如移動到425。
注意到，并行于上述處理，還可以有本地視頻處理。想起(recalled) 作為DEX-RayTM型工作站的外科醫師的控制臺也可以獲得實時視頻。由此，在405外科醫師的控制臺可以讀取其自身的視頻，而在406外科醫師的控制臺可以繪制其自身的視頻。程序流程然后也可以移動到 425。
在425，外科醫師的控制臺可以經由網絡將其已經獲得的本地視頻發送到顯影助手。從那里，程序流程可以移動到430，在430，外科醫師的控制臺發送其的攝影探測器信息。這里，外科醫師的控制臺發送虛擬世界坐標中的攝影探測器的位置和取向到顯影助手。這僅僅是在 420獲得的信息的傳輸。在435，外科醫師的控制臺可以更新助手的代表工具。這里，外科醫師的控制臺可以接收和更新在外科醫師的虛擬世界中的顯影助手的代表工具的位置和取向。該數據可以經由網絡從顯影助手的控制臺獲得。最終，在450，外科醫師的控制臺可以繪制
3D數據集的3D視圖，其可以包括視頻和增強現實，包括顯影助手的代表工具的位置和取向。注意，當前的3D繪制將是通過外科醫師以及顯影助手與3D數據集進行交互的結果。下面將結合圖5來描述外科醫師-顯影助手范例的另一側，集中在顯影助手一側上。
在501，顯影助手可以連接到網絡，以及在502，顯影助手可以更新他或她的數據。這里，顯影助手需要使用經由網絡得到的外科醫師的數據來更新他或她自身的虛擬對象位置、取向和尺寸。
程序流程可以從502并行地運動到510和520處的判定。首先，在510，可以判定是否已經接收到來自外科醫師的控制臺的任何視頻。如果是，則在511，可以繪制外科醫師的視頻。如果否，則程序流程可以運動到530。第二，在判定520處可以判定是否應該發送助手的場景。這可以例如響應于來自外科醫師的工作站的詢問或請求。
如果外科醫師請求了顯影助手的場景，則在525，可以發送助手的場景，并且助手可以發送他的視圖的快照或視頻。這些快照可以是例如立體的或單像(monoscopic)的。如果在520外科醫師沒有請求過顯影助手的場景，則程序流程也可以運動到530，程序流程從510到達也到達530，在530，顯影助手的控制臺可以讀取其自身的3D設備。這里，顯影助手具有對于他自身工具的完全控制，由此可以利用他自身的指示筆和操縱桿來控制他的工具的位置、取向和尺寸。從這里，程序流程可以運動到540，在540，可以更新外科醫師的代表工具。這里，顯影助手的控制臺可以接收和更新在顯影助手的虛擬世界中的外科醫師的代表工具的位置和取向。
最終，程序流程運動到550，在550,顯影助手的控制臺繪制3D 數據集的3D視圖。該3D視圖將包括對于顯影助手自身的3D設備以及外科醫師的代表工具的更新，以及還可以包括從外科醫師接收的任何視頻。如上指出，外科醫師-顯影助手范例假設為包括經由DextroNet 的DEX-RayTM到Dextrosc^pe 型交互。如上所述的該場景是教師-學生范例的變體。在外科醫師-顯影助手場景中，外科醫師通常擔當學生的角色，而助手擔當教師的角色。這是因為外科醫師(學生)因為忙于操作而在與數據交互的能力上更加受限制；由此他可以主要涉及觀看顯影助手(教師)如何控制3D視覺虛擬世界。
B. 獨立視點
當在手術室中使用DEX-RayTM型控制臺時，例如，外科醫師的視點受到視頻探測器的方向的限制，如圖6所示。如更詳細地在Camera Probe申請中更完全描述的，DEX-RayTM型設備基于視頻探測器的位置以及由此從視頻探測器中的攝影機具有的視點來繪制3D場景。由此，例如，使用DEX-Ray型控制臺的外科醫師不能看到視頻探測器的尖端如何從內部也就是從目標自身內部固定的視點接近目標，該目標自身內部固定的視點諸如固定到腫瘤或其他顱骨內結構的視點。然而，諸如在Dextrosc叩eTM型機器上實現的規劃系統中，助手具有用來檢查目標的不受限視點，如圖8所示。由此，在本發明的例示實施例中，可以使用DextroNet將DEX-Ray 與Dextroscope 連接以協助外科醫師或向他提供第二對眼睛，該第二對眼睛具有不受限的自由來移動通過與外科醫師正對其執行手術的實際患者相關聯的3D數據集。這對于實時復雜手術期間的外科醫師來說具有巨大的用途，其中，多個顯影當然能幫助手術過程，但是邏輯上不可能由正在進行手術的外科醫師來完成。在該場景中，顯影助手可以顯著貢獻于外科或其他用手的 (hands-on)治療(診斷)效果。
C. 可交換的視點
或者，在本發明的例示實施例中，外科醫師可以看到助手的視點，其實例在圖9中示出。由此，在本發明的例示實施例中，外科醫師具有兩種類型的可用視圖。一種視圖是普通的攝影探測器增強現實視圖，也就是視頻覆蓋(overlaid)圖像連同三個2D三平面圖像，如圖6所示，以及另一種視圖是諸如圖7所示的從顯影助手側的視點。這兩種視圖可以在兩個分離的窗口或顯示器中顯示，或者可以在外科醫師能夠在該兩種視圖之間切換的單個窗口中查看。由此，外科醫師能夠例如在圖6和圖7之間切換。從顯影助手的視圖(圖7)，外科醫師能夠從不同觀點，諸如位于例如腫瘤的目標對象上的視點，來查看虛擬對象與他的工具的關系。此外，在本發明的例示實施例中，顯影助手可
以也可以在他的顯示器內看到外科醫師的場景。這例如在圖8中示出。
在主窗口中的是顯影助手的視圖，該顯影助手的視圖不受外科醫師持有的視頻探測器工具的攝影器的位置所限制。此外，具有"畫中畫"
視圖，在圖8中，"畫中畫"視圖被示出為圖8左上角的小窗口 810，該小窗口 810示出外科醫師的視圖就像他看到的一樣。這可以作為視頻幀來傳輸，并由此不能讓顯影助手以任何方式來操縱。因此，圖8 示出主窗口，該主窗口顯示其中也可看到外科醫師的工具(如從頂部到底部呈現的線)的虛擬3D世界。另一個較小窗口 810示出外科醫師的真實視圖，其包括現場視頻信號加上在外科醫師的場景上可得的3D 對象的增強現實，并且其顯示參數單獨由外科醫師來選擇和操縱。由此，顯影助手可以在圖6的主窗口的3D世界中以及在圖8左上部分中的畫中畫窗口 810的2D視頻中，看到外科醫師的工具。
IV.例示界面交互
在本發明的例示實施例中，DextroNet的聯網功能可以利用在主 Dextrosc叩eTM3D界面中的"聯網"標簽(tab)來控制。
A.建立連接
在本發明的例示實施例中，可以向用戶提供聯網模塊界面。該界面可以例如提供三個按鈕"教師"、"學生"和"結束聯網"。經由該例示界面，用戶由此可以選擇作為教師或學生，或選擇結束 DextroNet會話。在本發明的例示實施例中，僅當網絡中有教師時，學生才可以建立連接。否則，可以向學生通知"不存在教師"消息來終止連接。如果學生沒有3D輸入設備，則他可以使用如在DextroLAP應用程序中所述的用于通信的鼠標。
B. 教師動作
另外，可以向擔當主用戶或"教師"的用戶顯示附加的界面特征。在該例示實施例中，可以向教師提供學生IP列表以及"同步"按鈕。可以使得該面板僅可由教師使用。當新學生加入時，例如可以將例如學生的初始場景的快照發送給教師并在學生列表中顯示。另外，可以在文本框中指示例如學生的IP地址。如果具有多于一個的學生，則教
師可以滾動列表來查看其他學生的IP地址和快照。在本發明的例示實施例中，可以使用這些快照來允許教師評估他的數據集與學生的數據集的相對同步。例如，有兩種當初始化聯網時完成同步的方法簡單同步方法和完整同步方法。通常說來，如果教師和學生加載相同的數據集，僅僅需要簡單同步。然而，如果他們加載的數據集不同，則教師需要起動完整同步，否則稍后會有災難。從多個學生發送的快照在教師側上顯示他們各自的初始狀態(環境和數據)。因此，教師可以經由快照來檢查學生是否加載了與教師相同的數據。如果不是，則他可以警告學生并執行完整同步。
C. 學生動作
在本發明的例示實施例中，一旦用戶選擇作為學生時，則他失去對他的虛擬控制面板的控制。他可以查看教師的操縱并指向他感興趣的部分。然而，他在行為上受限制，因為他不能觸摸他的虛擬控制面板，而教師則控制該虛擬控制面板。如注意到的，可以經由專用按鈕
(類似于DextroLap中所述的用于PC實現的那些按鈕)，或經由不同于由教師跨例示DextroNet操縱的"標準"控制面板的專用"學生"虛擬控制面板，來便利學生可以進行的有限的一組交互。
在本發明的例示實施例中，學生有兩種可以用來觀看教師操作的方法。例如，他可以(i)遵循教師的視點，或(ii)從不同于教師的觀點的觀點來查看數據集。在該例示實施例中，他可以通過簡單點擊他的指示筆或一些其他系統定義信號來在這兩個模式之間切換。
在本發明的例示實施例中，當學生處于"接合(engaged)"或遵循教師的觀點的模式時，可以例如提供詞"LockOn (鎖定)"的紅色文本顯示。在該模式下，他不能旋轉或移動對象。如果他點擊指示筆或發送一些其他信號來脫開，則"LockOn"文本可以例如消失，這指示他可以從他自身的視點來査看數據集。在該"脫開"模式中，學生可以例如使用左手工具來旋轉和移動所顯示的對象。
D. 停止網絡連接
在所示例示實現中，因為僅僅教師的工具可以觸摸虛擬控制面板，所以由教師負責通過點擊"結束聯網"按鈕來結束聯網功能。一旦聯網結束，教師可以例如保持聯網會話期間他或她已經對數據做出的所有改變。然而，如果需要，學生可以例如將他的場景恢復到聯網之前，從而恢復在他進入聯網會話之前保存的情況。
在本發明的例示實施例中，在聯網期間，可能需要學生的數據與教師的數據同步。因此，為了避免擾亂學生的本地數據，當學生按下聯網按鈕時，例如，他自身的數據可以在聯網會話實際開始之前被自動復制到一些備份目錄。因此，當他結束聯網會話時，他可以通過從備份目錄復制回數據來恢復他自身的數據。在本發明的例示實施例中，一旦按下"結束聯網"按鈕則可以自動完成所述的恢復。
E. 例示服務器
在本發明的例示實施例中，可以在服務器-客戶機架構上建立 DextroNet，如圖9所示。在該例示結構中，教師930和學生920都是客戶機。他們可以例如物理地連接到服務器910,可以使用該服務器 910來管理多重連接、連接注冊以及連接詢問。所有來自發送機(客戶機)的信息可以被例如首先傳輸到服務器910。該服務器可以例如分析接收機的IP地址，然后將該消息傳送到特定目的地。由此，在該例示實施例中，在教師或學生側上激活聯網功能之前，需要首先運行服務器應用程序。接著描述例示的服務器特征。
1. 多重連接
從低層視點來看，在本發明的例示實施例中，服務器可以使用復用技術來支持多重連接。這可以是例如單進程并行服務器，其中，數據的到達觸發執行。如果負載太高以至于CPU不能處理，則分時
(time-sharing)可以例如接管。另外，從高層視點來看，基于來自發送機(客戶機)的IP地址，服務器可以使用TCP/IP協議來單播、多播或廣播消息到目的地。
2. 連接注冊
當客戶機連接到服務器時，它可以例如在服務器上注冊它的IP地址和聯網角色(例如教師或學生)。可以由服務器來負責例如確保兩個標準(1)學生加入之前有教師，以及(2)僅有一個教師連接到服務器。如果不滿足標準(1)，則例如可以警告學生退出聯網，或例如，可以建議學生等待直到教師連接。如果不滿足標準(2)，則第二假定(putative)教師可以例如被警告退出聯網功能，或例如可以詢問他是否期望作為學生進行連接。
3. 連接詢問
在本發明的例示實施例中，客戶機可以詢問服務器關于當前處于連接環境中有多少同級(peer)客戶機以及這些同級客戶機是誰。以這種方式，客戶機可以知道誰涉入通信。這對于教師來說是重要的，教師保持當前學生的動態列表。當服務器接收到該"詢問同級"請求時，它可以例如將所有同級客戶機的IP地址和端口發送回請求者。
4. 回答服務器詢問
在本發明的例示實施例中，可以經由LAN自動檢測服務器。例如，當服務器的UDP套接字(socket)從LAN接收到關于期望服務器應用程序的客戶機的廣播詢問時，它可以檢查運行應用程序的名稱來查看所期望的一個是否可用。如果可用，則服務器可以將其自身地址(IP: 端口)發送回進行詢問的客戶機。
由此，在本發明的例示實施例中，當用戶選擇他的聯網角色(例如，當他加入聯網連接時，在他的顯影環境中，通過按下聯網界面上的"教師"或"學生"按鈕)，他可以經由內聯網廣播包含服務器程序名稱的詢問。該信息可以例如被發送到所有內聯網機器上的指定端口。如果服務器程序正在運行，它可以保持傾聽該指定端口。一旦它從客戶機接收到廣播消息，它可以檢查在服務器機器上的所有運行程序的名稱，來查看是否匹配。如果是，則服務器可以例如將它自身的地址(IP:端口)發送回到詢問的客戶機。同時，客戶機可以等待來自服務器的回答。如果在一定時期后沒有回答回來，則客戶機可以報告
"無服務器運行"的出錯，以及可以例如再用(resume)正常獨立工作狀態。
5.服務器啟動(launch)
在本發明的例示實施例中，DextroNet服務器可以作為無需安裝在顯影機器上的獨立應用程序來運行。如果通信在LAN內發生，教師和學生無需明確知道例如服務器的IP地址。DextroNet軟件可以例如自動地定位服務器。如果通信經由WAN進行，則需要將服務器的IP和端口提供給DextroNet。如果例如沒有檢測到本地服務器，并且沒有遠程服務器，則教師可以例如當他嘗試開始聯網功能時在他的機器上自動地啟動服務器應用程序。
可選擇地，例如，可以將服務器功能與教師角色相結合。換句話說，教師的機器可以變成服務器，以及學生的機器可以保持為客戶機。然而，在該例示實施例中，因為來自3D顯影軟件的顯影命令以及同時發生的來自Dexto)Net的通信命令，所以教師機器的負擔相對更重。由此，例如，可以例如通過DextroScopeTM顯影循環來放慢DextroNet通信循環。這可以導致更多進入或輸出的數據被留在等待緩存器中。因此，在本發明的例示實施例中，如果數據隊列太長，則可以例如將"不
重要(insignificant)"的數據分組丟掉。也就是說，這些數據分組可以例如不經處理就從隊列去除。在該上下文中的"不重要"的數據分組，指的是不影響程序/顯影的輸出的那些數據分組，諸如傳送不執行任何重要操作(例如鉆、剪切等)由此不影響數據集的(教師和學生的)工具的運動的那些分組。
在該上下文中，要注意，如下面更詳細描述的，具有四種工具的
基本狀態"檢查"、"開始動作"、"執行動作"以及"結束動作"。
在"檢查"狀態中，虛擬工具呈現為僅僅在虛擬世界中漫游而不執行任何有效的操作，例如，從一個位置移動到另一個位置。在該狀態下的虛擬工具的位置和取向被認為是"不重要"的數據分組。當具有擁塞聯網情況時，教師的"發送"緩存器將充滿未發送的分組。在這種環境下，軟件將檢查"發送"緩存器，丟掉那些具有"檢查"狀態的分組。因為大多數時候虛擬工具處于"檢查"狀態，從而大大減少通
信量負載。例如，教師在他的"發送"緩存器中具有如(a)的以下消息。當網絡緩慢時，他僅僅發送如(b)中的消息到學生。在這種情況下，學生將看到教師的工具從位置1 "跳到"位置n，然后執行鉆入。
V.例示實現
圖10-49示出DextroNet的多種例示實現。該實現被設計為例如集成到Dextroscope 運行RadioDexter 軟件等中，以及可以由此呈現為在該系統中的附加功能模塊。在所示示例中，教師和學生可以通過運行服務器程序的服務器來彼此通信。注意，在每個會話期間，可以有多個學生，但是一次只有一名教師。
圖10-25示出隨著時間的例示教師和兩位學生的視圖之間的關系。圖10、 14、 18和22的每一個提供并排的三幅視圖，然后在緊接著這些附圖的三個附圖中以更大圖像示出每一幅圖。下面將描述這些附圖。圖10-25示出根據本發明例示實施例的例示教師和兩位學生的每一位所見到的相應視圖以及之間的關系。參考圖10，教師可以檢查學生是否被連接。教師的視圖如圖10 (a)所示，以及圖10 (b)和10 (c) 的每一個示出兩個例示學生也就是學生1和學生2的相應視圖。在所示示例中，教師和學生1使用Dextroscope型系統，而學生2使用 DextroLap型系統。如下所述，圖11-13更詳細示出這些視圖的每一幅。參考圖11，教師可以看到他自身的工具1100、學生1的遠程工具 1101以及學生2的遠程工具1102。注意，因為學生2使用DextroLap 型系統，所以學生2的遠程工具實際上是光標，并因此不具有完全的 3D控制。圖11中示出的還有，每個學生的遠程工具伴有該學生的計算機的IP地址。在本發明的例示實施例中，可以改變該IP地址來顯示學生的名稱。可選擇地顯示IP地址或學生名稱，或兩樣都顯示。這在用于同時教導許多學生的本發明的例示實施例中尤其有用，以將每個學生的名字顯示給教師。以這種方式，教師可以一直知道他尋址的人。圖ll也就是教師視圖中還可以見到用于多個學生的顯示的快照的顯示窗口 1120。利用該快照窗口 1120，教師能夠具有看到學生的本地視圖的能力。最終，具有三個聯網工具"同步"1150、"遠程快照" 1160和"角色切換"1170。同步1150可以用于在學生和教師之間同步數據集。如果對教師(或學生)來說明顯他們相應的數據集的狀態已經偏離足夠多到創建混淆時，則可以使用該工具。遠程快照1160僅僅獲得在快照窗口 1120中顯示的特定學生的快照。這可以例如通過具有連接學生的滾動列表的教師控制面板來便利。然后，教師可以例如滾動通過學生列表并選擇一位學生。然后，當教師按下例如"捕獲"按鈕時，可以請求來自學生的工作站的快照。最終，角色切換1170允許切換教師和學生的角色。該處理可以被限制為由教師起動，因此，如下更詳細描述的，該按鈕可以例如僅僅在教師的機器上可激活。圖12示出學生1的視圖。該視圖示出學生1的工具1201以及教師的工具1200。注意，學生1自身的IP地址與其工具一起呈現。例如，對于教師的視圖來說，該特征可以被關閉，或可以用學生名字或一些其他標識符來替代。學生見到的3D對象1225是與教師的視圖所示相同的對象，并且處于相同的準確觀點或視點。這是因為學生1的視圖被"鎖定"到教師的視圖。由此，在學生1的屏幕的右上區域中顯示鎖定符號(sign) 1290。還可以看到教師的工具1200,以及三個聯網工具同步1250、遠程快照1260和角色切換1270。因為學生1是學生且不控制聯網功能，在快照窗口 1220中沒有顯示快照。實際上，如果學生要看到教師的視圖，他所需要做的是鎖定到教師的視圖，如已經在圖12中示出的。因此，遠程快照1260變灰(ghosted)。因為僅僅教師可以執行這些功能，所以同步1250變灰，角色切換1270不變。圖13類似于圖12，并僅僅示出學生2的視圖。參考圖13,示出相同的3D對象1325。注意，3D對象的學生1的視圖呈現得比教師和學生 2的視圖更透明(transparent)。這是因為雖然所有工作站可能運行相同的程序，但是這些工作站可能具有不同的配置。例如，一些可以使得某些特征禁用，諸如，"當由指示筆觸摸控制面板時，使得3D對象變灰"。該特征可以例如加速指示筆與控制面板的交互。這是因為，根據用戶(一些可能使用在膝上型計算機上運行的 DextroLAP系統，一些可能具有較快的Dextroscope )可用的顯卡， 3D交互顯影軟件的一些更"修飾"功能可能不產生嚴格相同的視覺結果，而是會從3D對象上的效果(該效果當然需要嚴格相同以便維持同步的視圖)看來表現相同。一個這樣的修飾功能，例如，可以在圖13 中看到。為了當用戶與控制面板交互(并因此需要負責精確點擊按鈕和滑塊)時加速顯示，可以在3D視圖上方透明地(transparently)捕獲和粘貼3D對象的繪制圖像，僅僅刷新控制面板和指示筆。如果這不在學生的工作站處進行復制，應用程序上的結果將是相同的，但是交互變慢，并且對象的視覺會不同(也就是不透明)。再次參考圖13，學生2也處于鎖定模式，并由此在圖13中還顯示鎖定符號1390。學生2可以看到他自身的工具，在這種情況下是光標1302。顯示的還有學生2的本地IP地址，該本地IP地址在可選擇例示實施例中可以例如用指示符來替換或增強，如上所述。類似于學生1的情況，在快照窗口 1320中沒有顯示快照，并且聯網工具同步1350 和遠程快照1360都變灰，而角色切換1370不變。下面描述圖14-17，這些附圖示出接著圖10-13所示的例示時伺點時的圖IO的教師和兩位學生。參考圖14，教師在3D對象的右后側處的立方體對象的角和3D對象的左后側處的錐形體對象的尖端之間繪制直線。教師使用例示測量工具來完成繪制，由此測量框在測量的端點附近呈現，并顯示"47.68 mm"。兩位學生都處于鎖定模式。下面參考圖15-17描述這三幅視圖的細節。圖15示出教師的視圖。可見到教師的工具1500，使用教師的工具 1500來進行從3D對象1525中的立方體對象的角到錐形體對象的尖端的測量。還可見到學生1的遠程工具1501連同學生1的IP地址，以及學生2的遠程工具(光標)1502連同學生2的IP地址。可以從圖15 的教師視圖看到，學生1正將他的遠程工具指向教師在立方體上開始測量的點附近。學生2正指向錐形體的基部附近。參考圖16，學生1的視圖，可以看到教師的工具1600。教師的工具當然遠離學生1。還可見到學生1的工具1601、 3D對象1625以及教師做出的測量線以及測量框1692。另外可見的是鎖定符號1690，指示學生1被鎖定到教師的視圖。參考圖17，示出學生2的視圖。學生 2被鎖定到教師的視圖，由此顯示鎖定符號17卯。學生2的遠程工具 1702連同他的IP地址一起顯示，教師的工具1700不變。另外可見教師在3D對象1725中的立方體對象與錐形體對象之間做出的測量線。因此，類似示出測量框1792，該測量框1792示出教師做出測量的長度。圖18-21示出具有顯著差異的圖10-17的教師和學生。在圖18-21中，學生1已經將他的視圖從教師視圖脫開。詳細說來并參考圖19，教師可以看到他自身的工具1900以及學生1的遠程工具1901和學生2 的遠程工具1902的每一個。如可以在圖19中看到的，教師剛好利用他的工具1900完成了從立方體對象的上左后角到錐形體對象的尖端的測量。類似地，參考圖20，現在看到學生l不再鎖定，由此在該視圖中沒有出現鎖定符號。因為學生1已經從教師的視圖脫開，他可以從上面或任何其他他所選擇的視點來查看3D對象2025。另外，在脫開模式下，例如無需顯示控制面板，如這里所示，以及為了實現本地交互，可以向學生示出如在DextroLap應用程序中所述的呈現于顯示器一側的一組控制按鈕，或例如可以提供本地簡化控制面板。如上所述，可以例如使得該本地控制面板變灰，或者如果可以被容易識別出不是教師控制下的"真實"控制面板，則可以利用該本地控制面板的簡化外觀而無需變灰。參考圖21，示出學生2的視圖。學生2依然被鎖定到教師，因此顯示鎖定符號2102。學生2可以看到教師的工具2100以及他自身的工具2102。他還可以看到3D對象2125以及教師做出的測量線。下面參考圖22-25示出與圖18類似的視圖，不同之處在于，教師的筆的位置發生改變。參考圖23，教師的視圖，注意該視圖與圖19除了教師工具的位置稍微移動之外相同。由此，教師的工具2300實質上 (essentially)已經圍繞3D對象2325中的錐形體對象的尖端進行旋轉。還可在學生1的遠程工具2301以及學生2的遠程工具2302在圖19的視圖中占有的相同位置處看到它們。參考圖24，學生1的脫開視圖，唯一發生改變的是教師的工具2400的位置和取向以及學生1的工具 2401的取向。如可以通過圖20與24的比較看到，學生l的工具已經圍繞測量的終點(實質上是3D對象2425中的錐形體的尖端)向下旋轉，以便與測量線形成相較在圖20中與該測量線形成的角度更小的角度。注意，學生1的視圖不示出學生2的光標。這是因為，如上所述，僅僅教師可以看到所有學生，而每個學生只能看到教師。由此，每個學生實際上不知道其他學生的存在(當然，除非一個學生切換角色變成教師，在下面更詳細描述該過程)。
類似地，圖2示出學生2的視圖。圖25實質上除了教師遠程工具
2500的位置和取向之外與圖21相同。學生2自身的工具2502沒有發生移動，并且3D對象2525也沒有移動。學生2依然處于相對于教師視圖的鎖定模式，并由此在該學生2的視圖中顯示鎖定符號2590。
圖26到29示出替換例示實施例，其中，教師和兩位學生加入聯網會話。在圖26中，教師連接到網絡。該系統顯示消息"你是教師" 并且可以看到教師的虛擬工具。尚未連接學生。在圖27，第一位學生加入。在數據部分(section)中看到他的工具和IP地址，并且還可以見到他的視圖的初始快照(以及他加入的時間)。在圖28中，第二位學生加入，并且他的工具和IP地址現在可被教師獲得。每個學生的IP 地址呈現為他們的虛擬工具附近的文本框。在圖29和30中，教師分別與第一位學生和第二位學生的每一位同步。如上所述，教師可以通過從聯網控制面板的左面板中顯示的學生列表中選擇學生，來選擇與哪位學生同步。
圖31-43示出根據本發明例示實施例的多個"外科醫師"和"顯影助手"視圖的序列。這些附圖示出例如，當外科醫師使用DEX-Ray 型系統進行手術，并且使用例如Dextroscope 或DextroBeam型系統的顯影助手經由網絡連接到外科醫師的機器上時，可以如何發生例示協作。該范例還可以例如應用于這樣的任何情況，在該情況中，一人員正執行診斷或治療過程并由此獲得關于受者的實時信息，并且另一個人員正在接收該實時數據并使用該實時數據以及關于受者的3D 數據來產生受者的顯影，從而協助第一個人員。該例示顯影助手可以使用例如他可用的視點的自由(也就是他可以按照期望自由地旋轉、平移和放大在3D數據中的對象，而不限于用外科醫師查看這些對象的位置和取向來查看這些對象)來看看外科醫師不能看到的東西，并由此協作地引導外科醫師通過術野中的患者的組織。下面描述這些附圖。圖31示出兩個例示的顯影助手("VA")視圖。通常，在外科醫師/顯影助手范例中，外科醫師與VA視圖脫開，除非他決定鎖定并查看VA已經產生的優化顯影，該優化顯影通常不會與他在患者或受者的操縱中物理使用的進路的視點和角度相關。在圖31的環境中，以及通常當使用VA來協助使用手術導航系統諸如Dex-RayTM型系統的外科醫師，外科醫師可以與學生近似地行動，如上所述，而顯影助手則可以與教師近似地行動，如上所述。這是因為這樣的事實，由于進行手術的外科醫師的視點局限于探測器或他持有的其他器械的視點，所以導致他具有較小的關于3D虛擬數據的顯示的自由度。例如，使用 Dex-RayTM系統，觀看3D數據的視點與手持探測器中的攝影機的視點相同。另一方面，因為VA僅僅看到3D虛擬數據，所以VA能夠不受限制地改變視點。因為外科醫師通常期望顯示增強現實(或，如果使用其他手術導航系統，則期望顯示3D數據就像從與他被跟蹤的器械的視點充分相似的視點看到的一樣)，外科醫師的視圖通常與VA的視圖脫開。因此，參考圖31，顯影助手旋轉了頭骨，其表示外科醫師的操作或手術中感興趣的對象，以便能夠看到左邊的冠狀視圖以及右邊的矢狀視圖。在每個顯影助手的視圖中，可見到外科醫師(擔當學生)的遠程工具3100。在矢狀視圖中，容易看到頭骨開口。注意，脫開的外科醫師的視點，不同于這些的每一個，并且將在下面結合圖34更完全地討論。如圖34所示，外科醫師的實際視圖更沿著外科醫師的遠程工具3100的軸，因為該軸是他的手術進路，如下將知道的。圖32和33 分別是圖31的放大版本。圖34示出對應于圖31的顯影助手的視圖的例示的外科醫師的視圖。該視圖示出外科醫師具有的實際視點，并且該實際視點被本地地示出在他的例如Dex-Ray 型系統上。外科醫師的視點對應于他所持有的攝影機探測器中的攝影機的視點(并由其限制)，如在Camera Probe申請中所述，或，例如，如果使用另一手術導航系統，則對應于他在
患者中的進路的物理方向和路徑。在圖34中，外科醫師的工具3400 對應于他持有的實際攝影機探測器或導航探測器或器械。圖34中還可見到頭骨開口3410;外科醫師的IP地址3416，其如上所述可以利用一些其他標識符來替換或增強；以及僅僅部分可見的球體3405。顯影助手可以通過優化他的視點來得到該對象的更好視圖，從而幫助外科醫師在上面定位點。假設在圖31到43中，球體3405 (參考圖34)表示感興趣的對象，諸如外科醫師正在處理的腫瘤。
圖35示出顯影助手的視圖以及具有頭骨開口的頭骨的相應的外科醫師的脫開視圖，如上所述。在圖35中，顯影助手協助外科醫師在球體上定位點。顯影助手在他的視圖中已經剪切掉頭骨的側部來暴露球體。另一方面，如所述的，外科醫師的視圖，圖35 (b)受到以下事實的限制他的探測器在真實世界中移動，可以僅僅移動到頭骨或頭骨開口中的真實孔中。相反，顯影助手的視圖不受限制，使得他可以自由地操縱數據從而最好地顯影該球體。在圖35 (a)的每個視圖中，可見到外科醫師的工具3500。如可以在圖35 (b)中看到的，外科醫師的工具的軸或多或少對應于他的視點，而在圖35 (a)中，顯影助手相對于外科醫師的真實路徑從后面查看對象。圖36和37是圖35 (a)和 (b)的相應放大。如可以在圖37中看到的，清楚地顯示外科醫師的 IP地址3716。
VI.與其他手術導航系統的集成
在本發明的例示實施例中，可以經由DextroNet將來自變化的制造商的具有3D跟蹤(或2D跟蹤)性能的設備連接到3D交互顯影系統，諸如DextroscopeTM。該"外地"設備將需要能夠響應于經由DextroNet 網絡發送的詢問或命令，提供某些信息到該DextroNet。例如，美國 Colorado州Louisville的Medtronic生產用于神經外科手術的多種導航
(或圖像引導)系統。一個這樣的導航系統是例如TREONTM系統。 Medtronic還生產應用程序界面(API)網絡界面軟件，其允許數據從
58該導航系統實時地流向外部應用程序。
類似地，另一家制造商，德國Munich的BrainLAB AG，具有類似的軟件產品。該產品使用用戶定制設計的客戶機/服務器架構，稱為矢量視覺鏈路(VV鏈路)，其從顯影工具箱(VTK)擴展了功能。VV 鏈路使得能夠實時進行雙向數據傳輸，諸如圖像數據集、顯影和工具位置。這些設備以與DEX-RayTM系統相似的方式提供注冊(registratkm) 信息和探測器坐標信息。然而，因為它們不基于增強顯示，所以不提供視頻信息。在本發明的例示實施例中，DextroNet服務器的修改可以結合諸如StealthlinkTM或VV鏈路軟件，以及在連接后，其中可以交換患者信息和注冊細節，D extroNet例如可以詢問這些系統來獲得它們的探測器坐標。由此，在本發明的例示實施例中，這些系統可以用作外科醫師的工作站，并可以提供空間坐標到教師(VA)工作站。注意，與上述的DEX-RayTM實現不同，如當前配置的這些系統不會具有在手術期間從VA的工作站向外科醫師顯示視圖的選項。為了做這些，則需要它們將實施本發明例示實施例的方法的軟件結合到它們的導航系統中。
類似的，如上注意到，在本發明的例示實施例中，要跨例示 DextroNet連接的機器可以來自不同的制造商，具有不同的配置，以及具有不同的類型。如上所述，諸如Dex-Ray 系統或Medtronic或 BrainLAB系統的手術導航系統，可以跨DextroNet連接到諸如 DextroscopeTM、 DextroBeam 等的標準3D交互顯影工作站。如上面還注意到的，僅僅發送3D位置數據的系統，諸如不使用增強現實的手術導航系統，也可以被連接。
下面描述的圖44-49呈現根據本發明例示實施例的DextroNet的又一可選擇使用。該示例包括例示的心臟病專家產生2D的熒光透視圖像，該2D熒光透視圖像被經由DextroNet發送到交互3D'顯影系統，諸如DeXtrOSCOpeTM。范例類似于上述的外科醫師和顯影助手的示例。然而，在這種情況下，沒有外科醫師而有的是介入心臟病專家。在該例示實施例中，由于顯影助手對于術前獲得的CTA掃描的不受限制的3D操縱，導致顯影助手可以幫助該介入心臟病專家顯影他關注的解剖結構。由此，參考圖44，示出從Cathlab獲得的例示熒光透視圖像。該圖像通過在患者的胸部上照射X射線而獲得。在圖像中可見到動脈，更精確地說，可見到吸收服用的造影劑的動脈的內部的那些部分。圖45示出例示標準介入心臟病專家的視圖。參考圖45，介入心臟病專家僅僅從由例示熒光透視設備提供的視點看到吸收服用的造影劑的脈管的2D投影。圖45所示的圖像是該傳統介入心臟病專家視圖的模擬投影(沒有獲得實際熒光透視圖像和相關聯CTA的匹配集)。通過對CTA數據操作來獲得模擬(分割CTA的冠狀動脈(由此僅僅示出該動脈而不示出其他組織，其是當造影劑流入動脈并與由熒光透視設備發射的X射線交互作用時作用的結果)，對它們著暗色就像它們是熒光透視的結果，以及確定(orient)分割的動脈的取向并獲取快照，然后獲取未經分割的CTA的快照)。圖46示出與圖45的臨床醫師視圖對應的例示的顯影助手的視圖。該例示的顯影助手可以與圖45的介入心臟病專家協作。如注意到，該顯影助手具有對于術前CTA的不受限制的3D操縱。圖46示出VA正在檢查的冠狀動脈的放大視圖。圖46-48示出根據本發明例示實施例在介入心臟病專家與顯影助手之間的例示交互。它們示出將CTA視圖與熒光透視視圖配準的手動方法。這里，例如，VA可以經由DextroNet 獲得諸如圖45的熒光透視圖像，以及然后，例如，使用該圖像可以調節CTA (例如分割的冠脈)以匹配該接收的視圖。一旦VA定向 (oriented)，并知道心臟病專家正在查看什么(具有熒光透視設備上的限制，其通常不被跟蹤，但是具有心臟病專家很了解的一些標準位置)，然后不受限制的3D操縱允許VA向心臟病專家指示什么是什么。他可以例如利用諸如"左冠狀動脈"或"LCA"以及類似地例如"右
冠狀動脈"或"RCA"的注釋來標記那些脈管，或者例如，他可以指向(3D)脈管中的狹窄處，然后可以將該狹窄處在Cathlab圖像中(投影、或如果可得到該顯示則立體地)提供給介入心臟病專家。此外，例如，VA可以測量，以及如果VA可以看到來自熒光透視儀的新圖像，他可以識別導管在哪里以及推斷3D位置，然后將到關鍵解剖界標的距離傳輸回心臟病專家。
圖47示出與上述圖8的場景類似的場景。顯影助手可以看到完整的3D圖像和主圖像，并且還可以在左上角落中看到快照或"畫中畫" 圖像。該畫中畫圖像由例如在介入心臟病專家的Cathlab機器處的例示熒光透視設備產生。實際上就是上述圖45所示的圖像。顯影助手可以使用DextroscopeTM或等效設備，以操縱術前CTA數據，以最佳地從與熒光透視設備中相同的視點分割(或再分割)并顯影脈管。他可以例如通過將視點對準到他在畫中畫中看到的來完成這些。在VA的視圖的遠處右側還可以見到例示的交互按鈕，這些交互按鈕類似于在 DextroLap實現上共有看到的那些按鈕，示出，如果環境需要則VA可以例如使用DextroLap，或例如，他可以使用完整的Dextroscope 。
圖48示出VA可以生成的另外可選擇例示3D視圖。也就是說，如注意到的，因為VA能夠訪問全部CTA數據，由此可以例如得到 (bringup)獲取平面，如圖48的左側圖像中所示，或例如可以分割數據以僅僅展現冠狀動脈，如圖48的右側圖像中所示。
最終，圖49示出可以例如在介入心臟病專家的Cathlab設備處顯示的并排圖像。介入心臟病專家可以在相同的顯示器上將他通過本地機器獲得的熒光透視視圖(左)與由在例如DextrosMpe 或DextroLap 機器上的顯影助手產生的視圖進行比較。該比較機構(facility)可允許心臟病專家更好地解釋熒光透視投影。使用在介入心臟病專家與顯影助手之間的通信，顯影助手可以例如按照介入心臟病專家的期望和需要對他本地產生并經由DextroNet發送到介入心臟病專家以供顯示(如圖49所示)以及由介入心臟病專家進行比較的視圖進行例如精煉 (refine)、再分割以及優化。這可以通過例如使用諸如Cathlab系統的特征來完成，該Cathlab系統具有示出熒光透視程序的多個監視器。向另一監視器添加3D圖像是簡單的任務。這些后面的圖像可以例如匹配熒光透視或不匹配熒光透視。該系統還示出熒光透視設備位置，以及其他患者信息。或，例如，其他顯示器，諸如無菌條件下使用的具有簡單觸摸屏的監視器可以被用于將VA的顯影顯示回給臨床醫師。
VII.角色切換
在本發明的例示實施例中，可以支持角色切換功能。角色切換是在例示DextroNet中的特征，其允許教師與學生(或外科醫師與顯影助手)在線交換它們各自的角色。在教師-學生范例中，學生除了平移、旋轉和指向對象之外不能在3D數據集中操縱對象。利用角色切換，一旦學生從教師接管控制，則他可以例如繼續教師對于對象的工作。這在某些程度上建議協作模式。此外，因為每次在網絡上僅僅存在一名教師，所以該協作是串行的，而沒有沖突問題。
在例示的DextroNet中，教師和學生可以是低層用戶，這使得角色切換很自然。角色切換可以使用當前通信會話(也就是聯網無需停止和重新連接)，并且可以在高層上交換教師和學生角色。以這種方式，通過避免重新連接所用的耗時，角色切換可以非常快。
角色切換可以支持多個學生。教師決定他將控制權轉讓給哪名學生。其他學生可以保持原樣，或例如可以被告知教師已經被改變。如上注意到，在本發明的例示實施例中，教師和(多名)學生可以是例如低層意義上的客戶機。如圖9所示，在本發明的例示實施例中， DextroNet可以使用服務器-客戶機架構。在該架構中，教師和學生都是客戶機。該服務器還可以例如被用于管理在教師與多個學生之間的通信。由此，角色切換可以使用當前通信會話而無需停止并重新連接聯網。在整個過程期間，無需發生物理連接的改變。僅僅需要在服務器上指定并重新注冊邏輯新角色。在所有客戶機中傳輸角色變化的大體過程可以例如如下所述。在學生請求控制權之后，教師告知其他學生和服務器準備好進行角色切換。然后，例如，教師和學生都可以如下根據例示角色改變來重設并更新他們的工具-將要變成學生的教師的機器將學生工具變成本地工具，并將他的教師工具改變為指定的遠程工具(也就是新教師的工具)。從所顯示的工具中移除其他遠程學生工具。，將要變成教師的學生的機器將他的教師工具變成本地工具，并添加其他學生以及將要變成學生的教師的工具表示(學生工具)。-其他學生的機器更新他們的教師工具以表示新教師。他們的本地工具保持作為學生工具。一旦完成了這些角色改變，所有客戶機可以在服務器上重新注冊他們的新角色。然后可以完成角色切換。因為使用正在進行的通信會話，該通信會話可以支持多個學生，所以可能需要注意數據流的管理。在例示角色切換之前和之后所接收的數據需要例如被分離，以及在服務器上的角色的重新注冊需要例如被同步。為了實現這些，則整個過程可以例如被分成三個階段為角色切換做好準備(階段I)、改變角色(階段II)以及在服務器上重新注冊新角色(階段III)。在每個階段結束時，可以同步所有客戶機的狀態。該過程可以參考圖50-52總結如下。A.階段I (圖50)(1)教師信令通知所有學生他會將控制轉讓給誰。在他從他的所有學生接收到確認后，他的工具被重設，并且告知服務器他現在準備好進行角色切換，并且進入蛇神(zombie)狀態(也就是機器只能接收但是不能發送數據的狀態)。
(2)當學生接收到來自教師的信號時，他的機器檢查他會變成教師還是亦然保持為學生，并向教師確認。同時，在他重設他的工具之后還需要告知服務器現在已經準備好進行角色切換。該重設不會影響容積對象上已經發生的改變。然后，他進入被動或"蛇神"狀態，該狀態是所述的其中機器僅僅接收消息而不發送任何東西的狀態。
在本發明的例示實施例中，用戶無需擔心在角色切換過程中的所有通知。一旦用戶按下"角色切換"按鈕則可以自動地完成所有角色切換處理(并由此關于上述的"在做一些事情"的教師或學生以及接下來的事情實際上都稱為實現這些動作的例示軟件)。
在本發明的例示實施例中，服務器可以用于管理在教師和學生之間的通信。其可以具有例如存儲列表來記憶他們的角色。因此，當切換角色時，需要告知服務器。此外，在角色切換期間，在每個極端結束時需要同步教師和學生的狀態。例如，服務器還可以協調該過程。例如，在階段I結束時，學生/教師需要告知服務器他是否已經準備好進行角色切換。此后，他可以進入蛇神狀態，等待來自服務器的他現在可以改變角色的指令。服務器可以例如計數多少客戶機準備好進行角色切換。僅僅在他發現所有客戶機準備好后，他可以發送指令到每個人從而他們可以進入階段II。
B. 階段II (圖51):
(3) 當服務器發現所有客戶機準備好進行角色切換時，他發送消
息到他{|']并將他們從蛇神狀態恢復。
(4) 一旦恢復客戶機(教師/學生)，客戶機改變他的角色、告知服務器并再次進入蛇神狀態。
C. 階段III (圖52):(5) —旦服務器從所有他的客戶機得到角色切換消息，則他首先恢復教師。
(6) 教師在服務器上重新注冊并告知服務器。然后，服務器恢復學生。
(7) 在學生在服務器上重新注冊并且教師接收到來自學生的初始快照之后，教師請求服務器恢復下一個學生。
(8) 例如，可以重復步驟(7)直到所有學生完成重新注冊。
附加地，在本發明的例示實施例中，對于多個參與者，教師角色可以在參與者之間傳送，而每個角色切換遵循上述過程。
VIII.數據格式
在本發明的例示實施例中，可以使用以下策略來確保在遠程終端
中的適當顯示
A. 數據
每側(教師/學生)保持數據的相同副本。如果數據不同，則可以同步整個數據集(壓縮并發送數據文件)。
B. 啟動
在本發明的例示實施例中，當啟動聯網功能時，可以在兩側上將虛擬控制面板同步。在例如Dextroscope/DextroBeam工作站中，虛擬控制面板需要利用交互期間3D跟蹤器所擱置的物理丙稀酯基座進行精確校準，以便虛擬工具可以觸摸在虛擬控制面板上的對應部分。由此，校準和配置是本地的，且隨著機器的變化而不同。這可以例如導致聯網時的失配問題教師的工具可能例如不能夠觸摸學生的控制面板。為了避免這個問題，在本發明的例示實施例中，可以同步控制面板。當激活聯網功能時，可以將教師的控制面板的位置、取向和尺寸發送到學生，并替換學生自身的控制面板的參數。當聯網功能結束時，可以恢復學生的先前配置以獨立工作。在本發明的例示實施例中，當啟動聯網功能時，可以同步在兩側上的視點。為了適當的顯示，教師和學生應該共享相同的眼睛位置、
査看位置、投影寬度和高度、滾動角(roll angle)等。屬于視點的所有信息由此應該在聯網功能的開始時被同步。
在本發明的例示實施例中，當啟動聯網功能時，可以同步兩側上的電子變焦框。由此，當聯網功能開始時，兩側上的電子變焦框需要利用位置、取向、范圍(bound)、計算機屏幕區域等來進行同步。
C. 同步窗口小部件(widget)
在本發明的例示實施例中，當聯網功能開始時，兩側上的控制面板的初始狀態可以不同滾動條位置、按鈕和標簽的位置、顏色查找表的列表等。需要校正所有這些參數。
D. 通信
在本發明的例示實施例中，可以使用兩種類型的坐標系世界坐標和對象坐標。世界坐標是附著到虛擬世界上的坐標。對象坐標是附著到虛擬世界中的每個虛擬對象上的坐標。在本發明的例示實施例中，可以在世界坐標中顯示所有虛擬工具。教師和學生的每一個可以通信他們使用的坐標系的類型。
當學生處于接合模式("LockOn")時，教師和學生都發送他的工具的名稱、在世界坐標中的狀態、位置、取向和尺寸到他的同伴。
當學生處于脫開模式(沒有"LockOn")時，在教師一側上，如果教師的工具觸摸控制面板，則教師發送工具的名稱、世界坐標中的狀態、位置、取向和尺寸到學生。否則，他發送名稱、對象坐標中的狀態、位置、取向和尺寸到學生。當學生接收到與教師的工具相關的信息時，他可以將接收的信息從對象坐標轉變到世界坐標，以及然后在他的世界中顯示教師的工具。其間，學生可以發送他的工具的名稱、狀態、對象坐標中的位置、取向和尺寸到教師。然后，教師可以在顯示學生的工具之前將它們轉變為世界坐標。在本發明的例示實施例中，學生可以根據教師的虛擬工具在他的世界中的位置、取向和狀態來決定采取什么動作。
在本發明的例示實施例中，DextroNet可以同步在教師和學生側上的視點模式。當學生選擇脫開他的視點時，他可以例如按下在他指示筆上的按鈕。該動作可以導致發送消息到教師的機器以達到"我要脫開"的效果。到此為止。學生例如實際上沒有切換他的視點。他繼續使用來自教師的世界坐標。當教師的機器接收到學生的消息時，然后該教師的機器可以例如將確認發送到學生，以及從那時開始轉變對象坐標。一旦學生的機器從教師的機器接收到該確認后，則學生的機器然后可以實際上改變為脫開，以及然后可以使用對象坐標。
例如，當學生再次接合時情況可以是相同的。由此，在本發明的例示實施例中，學生的機器可以僅僅在教師的機器變得知道學生的脫開決定之后改變學生的視點。以這種方式，可以避免在脫開或再次接合之前和之后由教師的機器發送到學生的機器的坐標類型之間的沖
E.報文格式
在本發明的例示實施例中，例如可以有兩種報文格式。一種例如可以用于更新消息，另一種例如可以用于文件。
1.用于更新消息的格式I
圖54示出用于更新消息的第一例示格式。例如可以使用具有以下屬性的以下字段。
開始標簽標記報文的開始(無符號的字符)；
數據類型示出內容是更新的消息還是文件，對于更新消息來說該值是2 (無符號整數)；IP:發送者的IP地址(無符號字符)；對象名稱指定為使用該消息的對象；
坐標系用于表示報文中的位置、取向和尺寸的坐標系(無符號字符)。這可以例如是兩個可能的值對于世界坐標系是"Wld",對于對象坐標系是"app";
位置"對象名稱"中的對象的位置。位置包含三個值浮點值X、 y和Z;
取向"對象名稱"中的對象的取向。取向是4X4矩陣。矩陣中的每個元素是浮點的；
狀態需要時的"對象名稱"中的對象的狀態(無符號字符)。如果對象是工具，該值是四種狀態之一MK—CHECK 、 MK—START_ACTION、 MK一DO一ACTION、 MK—END—ACTION;
尺寸"對象名稱"中的對象的尺寸。尺寸包含三個值浮點值X、 y、 Z;以及
結束標簽標記報文的結束(無符號字符)。
圖55 (a)到55 (c)示出使用圖54的格式的三個示例。圖55 (a)示出用于同步控制面板的更新消息。圖55 (b)示出用于同步窗口小部件的更新消息，以及圖55 (c)示出用于同步虛擬工具的更新消息。
2.文件傳輸
在本發明的例示實施例中，可以將長文件分成塊以供傳輸。每個報文可以包含一個這樣的塊。在本發明的例示實施例中，在實際傳輸文件之前，可以發送更新消息來告知對方將要傳輸文件。
格式I，如圖54所示，可以用于這樣的更新消息中，只要可以修改"尺寸"字段以便包含總塊數(無符號整數)、塊尺寸(無符號整數)以及最后的塊尺寸(無符號整數)。在圖56中提供該更新消息的示例。圖56示出關于991KB (1014921字節)的例示文件的傳輸的例示更新消息。由此，給出尺寸字段中的數據，對方知道文件具有24S個塊，除了最后一個塊的每個塊具有4096字節的尺寸，以及最后一個塊具有3209字節。文件自身可以使用用于更新消息的第二格式發送，該第二格式適于文件傳輸。3.用于更新消息的格式I1圖57示出用于更新消息的第二例示格式。在本發明的例示實施例中，可以使用以下字段開始標簽標記報文的開始(無符號字符)；數據類型示出內容是更新的消息還是文件，對于文件來說該值是1 (無符號整數)；文件塊二進制的文件塊(無符號字符)；以及結束標簽標記報文的結束(無符號字符)。在例示的文件傳輸中，首先的247個塊，每個具有4096字節，可以例如如圖58 (a)所示被發送，以及最后一個塊，具有3209字節，可以如圖58 (b)所示使用格式II被發送。雖然參考本發明的一個或多個例示實施例描述了本發明，但是本發明不限于此，以及所附權利要求意圖解釋為不僅僅包含所示本發明的特定形式以及變體，還包含諸如在不偏離本發明的真實范圍的情況下本領域技術人員可以做出的形式和變體。
權利要求
1.用于交互地操縱三維圖像的設備，所述圖像包括由關于對象的成像數據生成的容積數據，所述設備被配置為經由通信鏈路接收一個或多個遠程機器的一個或多個遠程探測器的位置數據；生成組合的三維場景以供在本地顯示器上顯示，所述組合的三維場景包括所述至少一個遠程探測器和所述三維圖像；響應于由對于所述設備本地的用戶對本地探測器的操縱，操縱所述三維圖像；以及經由所述通信鏈路發送關于由對于所述設備本地的所述用戶進行的所述操縱的數據，所述數據足夠用來允許所述至少一個遠程機器來顯示組合的三維場景，所述組合的三維場景包括對所述三維圖像執行操縱的所述本地探測器的圖像。
2. 根據權利要求l所述的設備，還配置為響應于網絡條件，過濾關于由對所述設備本地的所述用戶進行的所述操縱的發送數據。
3. 根據權利要求3所述的設備，其中，所述過濾濾掉基本不修改所述三維圖像的數據分組。
4. 根據權利要求3所述的設備，其中，所述過濾濾掉與工具移動和工具狀態的一個相關的分組。
5. 根據權利要求1所述的設備，還被配置為顯示所述一個或多個遠程機器的IP地址、用戶名稱和用戶指示符的至少一個。
6. 根據權利要求l所述的設備，其中，發送到所述一個或多個遠程機器的關于由對于所述設備本地的所述用戶進行的所述操縱的所述數據，足夠用來允許所述一個或多個遠程機器采用所述本地探測器就像是與所述一個或多個遠程機器相關聯的探測器一樣的方式，通過與所述本地機器的虛擬控制面板進行交互，來顯示在所述三維圖像上執行操縱的所述本地探測器的圖像。
7. 根據權利要求l所述的設備，還被配置為響應于對于所述設備本地的所述用戶的命令，接收所述一個或多個遠程機器的所述顯示的快照。
8. 根據權利要求l所述的設備，還被配置為響應于對于所述設備本地的所述用戶的命令，導致在所述設備與所述一個或多個遠程機器中的任何遠程機器之間的三維圖像的同步。
9. 根據權利要求8所述的設備，其中，導致所述同步包括發送如在所述設備上保存的所述三維圖像的壓縮副本到所述一個或多個遠程機器。
10. 根據權利要求8所述的設備，其中，導致所述同步包括發送交互命令的列表，在所述設備處在所述三維圖像上執行所述交互命令。
11. 根據權利要求1-10的任何一項所述的設備，所述設備還被配置為響應于由遠程機器的遠程用戶的請求，切換所述本地機器與所述遠程機器的角色。
12. 用于交互地操縱三維圖像的設備，所述圖像包括由關于對象的成像數據生成的容積數據，所述設備被配置為經由通信鏈路接收遠程機器的遠程探測器的位置數據；接收本地探測器的位置數據；生成組合的三維場景以供在顯示器上顯示，所述組合的三維場景包括所述遠程探測器、所述本地探測器以及所述三維圖像；以及以基本上等效于由對于所述遠程機器本地的用戶經由所述本地探測器對于所述三維圖像的操縱的方式，響應于所述遠程探測器的操縱，來操縱所述三維圖像。
13. 根據權利要求12所述的設備，其中，響應于所述遠程探測器的操縱的對于所述三維圖像的操縱被顯示作為所述遠程探測器的圖像，所述遠程探測器采用就像所述遠程探測器是與所述設備相關聯的探測器一樣的方式與所述本地機器的虛擬控制面板進行交互。
14. 根據權利要求12所述的設備，還被配置為顯示所述遠程機器的IP地址、用戶名稱和用戶指示符的至少一個。
15. 根據權利要求12所述的設備，還被配置為響應于所述遠程機器的命令，發送所述顯示的快照。
16. 根據權利要求12所述的設備，還被配置為響應于來自所述遠程機器的命令，使用從所述遠程機器經由所述通信鏈路發送的圖像數據，來同步所述三維圖像。
17. 根據權利要求12所述的設備，還被配置為以以下視點之一的視點來顯示所述三維圖像就像對于所述遠程機器本地的用戶的視點一樣的視點，以及與對于所述遠程機器本地的用戶的視點不同的任意視點。
18. 根據權利要求17所述的設備，還被配置為顯示虛擬控制面板。
19. 根據權利要求17所述的設備，還被配置為當在與對于所述遠程機器本地的用戶的視點不同的任意視點處顯示所述三維圖像時，響應于對于所述設備本地的用戶的命令，顯示專用的本地控制面板。
20. 根據權利要求12-19的任何一項所述的設備，還被配置為允許用戶對所述三維圖像執行本地操作。
21. 根據權利要求20所述的設備，其中，所述本地操作包括不影響哪些體素被認為是對象的一部分的操縱。
22. 根據權利要求20所述的設備，其中，所述本地操作包括對象的平移和旋轉以及放大倍率和透明度的設置的一個或多個。
23. 根據權利要求12或17所述的設備，還被配置為創建所述三維圖像的附加本地副本，并響應于從對于所述設備本地的用戶接收的操縱來操縱所述附加副本。
24. 根據權利要求1所述的設備，所述設備還被配置為從對于所述對象本地以及對于所述遠程機器之一本地的遠程設備接收關于所述對象的附加數據，所述附加數據被共同配準到所述對象的所述三維圖像。
25. 根據權利要求24所述的設備，其中，關于所述對象的所述附加數據基本上實時獲得。
26. 根據權利要求24所述的設備，其中，關于所述對象的所述附加數據是以下的一個或多個實時視頻、預記錄視頻、對于所述對象本地的探測器或器械的位置數據、熒光透視圖像、超聲圖像和多模態圖像。
27. 根據權利要求1-12的任何一項所述的設備，還被配置為顯示來自對于所述對象本地以及對于所述遠程機器之一本地的遠程設備的關于所述對象的附加數據。
28. 根據權利要求27所述的設備，其中，所述附加數據被共同配準到所述對象的所述三維圖像。
29. 根據權利要求27所述的設備，其中，所述附加數據基本上是實時的。
30. 根據權利要求27所述的設備，其中，所述附加數據中，關于所述對象的所述附加數據是以下的一個或多個實時視頻、預記錄視頻、對于所述對象本地的探測器或器械的位置數據、熒光透視圖像、超聲圖像和多模態圖像。
31. 用于交互地操縱三維圖像的系統，所述圖像包括由關于對象的成像數據生成的容積數據，所述系統包括主工作站，包括權利要求1-11或27-30的任何一項所述的設備；一個或多個遠處工作站，包括權利要求12-26的任何一項所述的設備；以及數據網絡，其中，所述主工作站與所述一個或多個遠處工作站的每一個經由所述數據網絡連接。
32. 用于交互地操縱三維圖像的方法，所述圖像包括由關于對象的成像數據生成的容積數據，所述方法包括提供根據權利要求1-11或27-30的任何一項所述的第一設備；提供根據權利要求12-26的任何一項所述的一個或多個第二設備；以及提供數據網絡，并經由所述數據網絡連接所述第一設備和所述一個或多個第二設備，其中，在操作中，在所述第一設備處的用戶與在所述一個或多個第二設備處的用戶協作地顯影共有的3D數據集。
33. 根據權利要求33所述的方法，其中，在所述第一設備處的用戶與在第二設備處的用戶在所述第一設備處的用戶啟動后切換角色。
34. 聯網交互三維數據顯影系統，包括主系統，用于獲得對象的實時圖像并將它們與所述對象的共同配準的3D容積模型的部分組合；顯示器，用于將所述組合圖像顯示給至少一個用戶；探測器；跟蹤單元，用于跟蹤所述探測器的位置；數據網絡；以及一個或多個遠程系統，用于交互地顯影所述組合圖像，經由所述數據網絡通信連接到所述主系統，每個具有被跟蹤的虛擬工具；其中，經由所述數據網絡由每個遠程系統接收所述主系統探測器的被跟蹤位置以及所述組合圖像，并且其中，每個所述遠程系統可以交互地操縱所述組合圖像或所述共同配準的3D容積模型以及將所述操縱的圖像的顯示傳輸給所述主系統和所有其他遠程系統。
35. 根據權利要求34所述的系統，其中，所述組合圖像是覆蓋在所述對象上的2D實時視頻。
36. 根據權利要求34或權利要求35的任何一項所述的系統，其中，所述主工作站和所述遠程工作站適于修改計算機生成圖像來模擬在所述對象上執行的操作。
37. 根據權利要求36所述的系統，其中，所述模擬的操作包括移除所述對象的所述容積模型的部分。
38. 根據權利要求34所述的系統，其中，所述主系統或遠程系統適于從至少一個用戶接收所述容積模型的分割部分的著色的改變。
39. 根據權利要求34所述的系統，其中，所述主系統適于從第一用戶接收用于測量的所述容積模型的被選擇點，以及所述第二系統適于從第二用戶接收用于測量的所述容積模型的被選擇點。
40. 根據權利要求34所述的系統，其中，所述主系統或遠程系統從至少一個用戶接收輸入以在所顯示的感興趣區域上進行變焦放大。
41. 根據權利要求34所述的系統，其中，所述主系統或遠程系統適于接收來自至少一個用戶的輸入，以改變所述容積模型的至少一個分割對象的透明度或不透明度。
42. 根據權利要求34所述的系統，其中，所述主系統或遠程系統適于修改所述組合圖像以表示所述操作的所述對象的物理形狀的改變，所述修改取決于所述探測器的被跟蹤位置。
43. 用于由在定義的三維區域中執行操作的至少一個用戶使用的方法，所述方法包括生成操作的對象的圖像，與所述對象配準地顯示所述圖像給所述至少一個用戶，以及利用第一系統跟蹤具有縱軸的探測器的位置，并將所述位置傳輸到第一數據處理設備和第二系統，其中，所述第一數據處理設備根據平行于所述探測器的縱軸延伸的直線來生成圖像，所述直線具有根據由第一用戶控制的延伸控制設備的輸出進行控制的延伸；以及其中，具有第二數據處理設備的所述第二系統在所述至少一個顯示器上生成所述操作的對象的至少一個圖像，以將所述圖像顯示給所述至少一個用戶，其中，經由通信網絡由所述第二系統接收所述第一系統的探測器的被跟蹤位置，以及控制所述第一和第二數據處理設備，以根據所述直線的被控制的延伸，來修改所述操作的對象的所述至少一個圖像。
44. 根據權利要求43所述的方法，其中，所述第一系統的所述顯示器生成覆蓋在所述對象上的所述操作的所述對象的圖像。
45. 根據權利要求43或權利要求44所述的方法，其中，所述第一或第二數據處理設備修改計算機生成圖像來模擬在所述對象上執行的操作，所述模擬的操作通過控制所述直線的延伸來控制。
46. 根據權利要求45所述的方法，其中，所述模擬的操作包括移除所述計算機生成圖像的部分直到由所述直線的延伸指示的患者中的深度。
47. 根據權利要求43所述的方法，其中，所述第一系統或所述第二系統從至少一個用戶接收計算機生成圖像的著色的改變。
48. 根據權利要求43所述的方法，其中，所述第一系統從第一用戶接收用于測量的被選擇點，以及所述第二系統從第二用戶接收用于測量的被選擇點。
49. 根據權利要求43所述的方法，其中，所述第一系統或所述第二系統從至少一個用戶接收輸入以在所顯示的感興趣區域上進行變焦放大。
50. 根據權利要求43所述的方法，其中，所述第一系統或所述第二系統從至少一個用戶接收輸入以改變所述透明度或不透明度的至少一個。
51. 根據權利要求43所述的方法，其中，所述第一數據處理設備或所述第二數據處理設備修改所述圖像以表示所述操作的所述對象的物理形狀的改變，所述修改取決于所述探測器的被跟蹤位置。
52. 聯網交互三維數據顯影系統，包括主系統；顯示器，用于向至少一個用戶顯示圖像；探測器；跟蹤單元，用于跟蹤所述探測器的位置；數據網絡；以及一個或多個遠程系統，用于交互地顯影所述圖像，經由所述數據網絡通信連接到所述主系統，所述遠程系統的每一個具有被跟蹤的虛擬工具；其中，經由所述數據網絡由每個遠程系統接收所述主系統探測器的被跟蹤位置和所述圖像，以及其中，每個所述遠程系統可以交互地操縱所述組合圖像或共同配準的3D容積模型并將它的被跟蹤的虛擬工具的位置傳輸到所述主系統。
53. 根據權利要求52所述的系統，其中，可以重復地改變所述主系統和遠程系統的角色。
54. 根據權利要求52所述的系統，其中，所述遠程系統可以査看數據集的所述主系統的視圖或它自身的視圖。
55. 根據權利要求52所述的系統，其中，所述遠程系統可以本地地執行任何顯影操縱，但是不能修改所述數據集。
56. 根據權利要求52所述的系統，其中，所述主系統可以在任何時間將它的界面和數據集與任何遠程系統進行同步。
57. 協作交互地顯影并操縱容積對象或系統的方法，包括本地用戶，使用主工作站獲得對象或系統的實時圖像并將它們與相同的對象或系統的共同配準的3D數據集組合，所述本地用戶本地地顯示所述組合圖像，并經由數據網絡傳輸它們；以及一個或多個遠程用戶，每個連接到所述數據網絡，使用遠程工作站接收所述組合圖像并操縱所述組合圖像和所述共同配準的掃描圖像的至少一個；其中，所述主用戶和所述遠程用戶的每一個可以每個操縱所述組合圖像和所述3D數據集，以及其中，所述操縱還經由所述數據網絡發送以在所述主工作站和每個遠程工作站上進行基本同步的顯示。
全文摘要
本發明涉及3D數據集的交互顯影，以及更具體的涉及經由網絡由多方進行的一個或多個3D數據集的協作交互顯影。所提出的系統被配置為經由通信鏈路接收一個或多個遠程機器的一個或多個遠程探測器的位置數據，以生成組合3D場景供在本地顯示器上顯示，該組合3D場景包括一個遠程探測器和3D圖像；由對于設備本地的用戶來操縱3D圖像；以及經由通信鏈路發送關于由對設備本地的所述用戶進行的所述操縱的數據，以允許遠程機器來顯示組合3D場景，該組合3D場景包括對所述3D圖像執行操縱的本地探測器的圖像。
文檔編號G06T17/00GK101405769SQ200780001804
公開日2009年4月8日申請日期2007年1月3日優先權日2005年12月31日
發明者吳令家, 周瀘萍, 路易斯·塞拉德爾莫利諾申請人:布拉科成像S.P.A.公司

完整全部詳細技術資料下載