圖像處理裝置、圖像處理系統及圖像處理方法與流程

本發明涉及一種圖像處理裝置、圖像處理系統及圖像處理方法。

背景技術：

在使用醫療圖像的圖像診斷中，存在這樣的情況：其對利用不同的攝像參數、由不同攝像裝置在不同的時間拍攝的不同姿勢的被檢體的多個圖像進行比較。在一些情況中，執行不同圖像間的配準以便更精確地比較病變位置。通常，圖像配準有誤差。美國專利申請2014/0037177討論了在第二圖像上的、與第一圖像上的關注點對應的點的估計的位置處顯示添加了配準誤差范圍的區域。然而，僅根據對應于點的局部配準誤差難以理解在目標截面中的配準誤差的整體傾向。

技術實現要素：

根據本發明的實施例，圖像處理裝置包括估計值獲取單元，其被配置為獲取在多個三維圖像間的配準誤差的估計值；指定單元，其被配置為指定在所述多個三維圖像和配準的三維圖像中的一個中的目標截面；統計值獲取單元，其被配置為獲取在所述目標截面中的多個位置處的估計值的統計值；以及顯示控制單元，其被配置為在顯示單元上顯示所述統計值。

根據以下參照附圖對示例性實施例的描述，本發明的其他特征將變得清楚。

附圖說明

圖1例示了根據第一示例性實施例的圖像處理裝置的功能配置的示例。

圖2是例示根據第一示例性實施例的圖像處理裝置執行的處理的示例的流程圖。

圖3例示了根據第一示例性實施例的圖像處理裝置顯示的畫面的示例。

圖4例示了根據第一示例性實施例的圖像處理裝置顯示的畫面的示例。

圖5例示了根據第一示例性實施例的圖像處理裝置顯示的畫面的示例。

圖6例示了根據第二示例性實施例的圖像處理裝置的功能配置的示例。

圖7是例示根據第二示例性實施例的圖像處理裝置執行的處理的示例的流程圖。

圖8例示了根據第三示例性實施例的圖像處理裝置的功能配置的示例。

圖9是例示根據第三示例性實施例的圖像處理裝置執行的處理的示例的流程圖。

圖10例示了根據第三示例性實施例的圖像處理裝置顯示的畫面的示例。

圖11例示了根據本發明示例性實施例的圖像處理裝置硬件配置的示例。

具體實施方式

下文將參照附圖具體描述本發明的示例性實施例。

下文將描述第一示例性實施例。在第一示例性實施例中，執行使被檢體的第一三維圖像變形的可變形配準，從而使第一三維圖像的位置和形狀與第二三維圖像的位置和形狀相一致。下文將描述獲取第三三維圖像中的誤差的估計值和統計值的示例。第三三維圖像是作為變形配準的結果獲取的變形圖像。在第一示例性實施例中，將描述預先將第一三維圖像配準到第二三維圖像的情況。換句話說，在第一示例性實施例，預先獲取與第一和第二三維圖像之間的變形有關的變形信息(下文稱為變形參數)。另外，在第一示例性實施例中，預先生成表示第三三維圖像上的各體素位置中的配準誤差的估計值的誤差圖像，作為與第一和第二三維圖像之間的配準誤差有關的信息。誤差圖像是指具有分別表示體素位置中的配準誤差的估計值的體素值的三維圖像。

圖1例示了根據第一示例性實施例的圖像處理裝置的功能配置的示例。根據第一示例性實施例的圖像處理裝置是圖1例示的圖像處理裝置10。信息系統1包括圖像處理裝置10、數據服務器150、顯示器152。

數據服務器150存儲被檢體的第一和第二三維圖像。另外，數據服務器150存儲與第一和第二三維圖像之間的變形有關的變形參數。另外，數據服務器150存儲通過變形第一三維圖像而獲取的第三三維圖像(下文稱為變形圖像)，從而使第一三維圖像中的位置和形狀與第二三維圖像中的位置和形狀相一致。另外，數據服務器150存儲變形圖像的誤差圖像。各三維圖像包括圖像大小、分辨率、拍攝三維圖像的攝像裝置的類型(以下為“形式”)、攝像信息、病例信息以及圖像間的對應信息作為補充信息。攝像信息是指，例如，表示三維圖像的攝像參數、攝像區域以及體位的信息。病例信息是指，例如，患者信息、檢查信息、診斷信息、器官區域信息以及關注區域信息。根據需要將上述補充信息與圖像一起發送給圖像處理裝置10。

顯示器152是顯示單元的示例。顯示器152是例如液晶顯示器。顯示器152顯示由圖像處理裝置10的顯示控制單元114控制的畫面。

圖像處理裝置10包括三維圖像獲取單元102、區域信息獲取單元104、誤差估計單元106、截面指定單元108、截面圖像生成單元110、統計值獲取單元112、顯示控制單元114以及輸出單元116。

三維圖像獲取單元102獲取被檢體的第二三維圖像以及來自數據服務器150的變形圖像。

區域信息獲取單元104獲取與第二三維圖像中的關注區域有關的信息。在第一示例性實施例中，區域信息獲取單元104獲取代表被檢體的表面內部的被檢體內部區域的標簽圖像作為關注區域信息。另外，如果給出用戶指示，則區域信息獲取單元104設置諸如立方體區域或球形區域的任意區域作為關注區域。

誤差估計單元106從數據服務器150獲取誤差圖像作為與第一和第二三維圖像之間的配準誤差有關的信息。誤差圖像表示變形圖像中的各體素中的配準誤差的估計值的分布。誤差圖像可以是任何公知的方法生成的圖像。例如，能夠通過提供對應于第一和第二三維圖像之間的點的大量的“真(true)”并對變形后的對應點間的誤差(剩余誤差，residual errors)進行插值來生成誤差圖像。另外，在基于圖像間的對應點獲取變形信息的情況下，能夠使用如下方法：對各體素位置設置根據最近的對應點的距離(例如，距離的比例)的估計誤差。另外，能夠使用如下方法：基于兩種不同配準方法間的各體素位置中的移位的差異，從分辨率的模糊性估計誤差。能夠使用的兩種不同的配準方法的示例包括自由變形(free-form deformation(FFD))方法和薄板樣條(thin-plate spline(TPS))方法。

基于用戶操作輸入的信息，截面指定單元108指定截面，沿該截面剪切三維圖像。特別是，截面指定單元108指定變形圖像的截面。用戶能夠使用圖11例示的操作單元1109輸入上述操作。

截面圖像生成單元110會生成第二三維圖像的截面圖像和沿著指定截面的變形圖像的截面圖像。在第一示例性實施例中，截面具有預定厚度(下文稱為“板厚度(slab thickness)”)。

基于獲取的配準誤差信息，統計值獲取單元112獲取表示變形圖像中指定的截面的誤差的整體傾向。如下文所使用的，配準誤差信息是指估計的誤差值。另外，表示指定截面中誤差的整體傾向的信息是指截面的估計誤差值的統計值。

顯示控制單元114執行控制以在顯示器152上顯示第二三維圖像和變形圖像的各截面圖像。另外，顯示控制單元114執行控制以在顯示器152上顯示獲取的與截面圖像關聯的誤差統計值。另外，顯示控制單元114執行控制以在顯示器152上顯示用于通知用戶信息的畫面。

輸出單元116向數據服務器150輸出截面圖像生成單元110生成的截面圖像以及統計值獲取單元112獲取的誤差統計值。此時，輸出單元116可以輸出統計值，從而可以在數據服務器150上彼此關聯地存儲截面圖像和統計值。另外，輸出單元116可以基于用戶輸入的操作輸出圖像和統計值，或者可以自動輸出圖像和統計值。

圖11例示了圖像處理裝置10的硬件配置的示例。圖像處理單元10包括中央處理單元(CPU)1101、只讀存儲器(ROM)1102、隨機存取存儲器(RAM)1103、硬盤驅動器(HDD)1104、通用串行總線(USB)1105、通信電路1106、圖形處理單元(GPU)板1107以及高清晰度多媒體接口(HDMI)(注冊商標)1108。上述設備經由內部總線相互連接，從而使設備能夠相互通信。

CPU 1101是控制電路，被配置為整體控制圖像處理裝置10和連接到圖像處理裝置10的單元。CPU 1101執行存儲在ROM 1102上的程序來執行控制。此外，處理器1101執行作為用于控制顯示器152的軟件的顯示驅動，從而對顯示器152執行顯示控制。此外，CPU 1101對操作單元1109執行輸入/輸出控制。

ROM 1102存儲數據以及程序，該程序存儲由CPU 1101執行的控制步驟。

RAM 1103是存儲用于執行圖像處理裝置10中的以及連接到圖像處理裝置10的單元中的處理的程序和用于圖像處理的各種參數的存儲器。RAM 1103存儲CPU 1101執行的控制程序，并臨時存儲CPU 1101執行各種控制時使用的各種數據。

HDD 1104是輔助存儲設備，其被配置為存儲諸如X射線圖像數據的各種數據。

USB 1105連接到操作單元1109。

通信電路1106是執行與信息系統1中包括的單元通信的電路。可以通過根據一種或更多的通信形式的多個配置實現通信電路1106。

GPU板1107是包括GPU和音頻存儲器的一般通用圖形板。GPU板1107能夠執行圖像處理中的計算以及高速顯示圖像，而不需要專用硬件。在第一示例性實施例中，由于從數據服務器150獲取變形圖像和誤差圖像，因此圖像處理裝置10不是必需包括GPU板1107。

HDMI(注冊商標)1108連接到顯示器152。

圖2是例示圖像處理裝置10執行的處理的示例的流程圖。圖像處理裝置10執行圖2中例示的處理以獲取并顯示變形圖像的指定截面中的誤差的統計值。下文將詳細描述處理。

在步驟S200，三維圖像獲取單元102從數據服務器150獲取被檢體的第二三維圖像和變形圖像。然后，三維圖像獲取單元102將獲取的圖像發送到截面圖像生成單元110。在本示例性實施例中，變形圖像(即，第三三維圖像)是目標圖像。

在步驟S210，區域信息獲取單元104獲取表示被檢體表面內的內部區域的標簽圖像(三維圖像)，作為與第二三維圖像關注區域有關的信息。以這種方式，目標圖像中包含的區域被指定為關注區域。從這個角度來看，區域信息獲取單元104作為確定單元示例。然后，區域信息獲取單元104將所獲取的信息發送到統計值獲取單元112。使用公知的圖像處理方法執行這種處理，如從三維圖像中提取被檢體內部區域的二值化(binarization)。在數據服務器150預先存儲與變形圖像中的被檢體內部區域有關的信息的情況下，可以從數據服務器150獲取信息。在診斷目標可以被限制為三維圖像中部位/器官的情況下，以公知的方法從三維圖像中提取器官的器官區域可以被設置為關注區域。通過對變形圖像的圖像處理可以執行關注區域的獲取。

在步驟S220，誤差估計單元106從數據服務器150獲取誤差圖像，作為與第一和第二三維圖像之間的配準誤差有關的信息。從這個角度來看，誤差估計單元106作為估計值獲取單元的示例。然后，誤差估計單元106將獲取的誤差圖像發送到統計值獲取單元112。

在步驟S230，基于通過操作單元1109輸入的用戶操作，截面指定單元108指定截面，沿該截面分別剪切步驟S200獲取的三維圖像。從這個角度來看，截面指定單元108作為指定單元的示例。然后，橫截面指定單元108將與指定的截面有關的信息發送給截面圖像生成單元110和統計值獲取單元112。

例如，在初始狀態設置通過三維圖像中心的軸向截面，在用戶按下預定鍵時，軸向截面的位置在截面的法線方向偏移預定距離。例如，在按下“f”鍵時，截面的位置在截面的法線方向偏移1毫米，在按下“b”鍵時，截面位置在與按下“f”鍵時位置偏移的方向相反的方向偏移1毫米。此外，在用戶按預定鍵時，設置截面的板厚度。例如，在按下“D”鍵時，截面的厚度增加1毫米，并在按下“d”鍵時，截面的厚度減少1毫米。厚度可以設置為0毫米。在下文描述的步驟S260中顯示多個三維圖像時，可以對三維圖像分別設置各截面，或者可以對三維圖像相互共同地設置共用的截面。然而，在截面圖像被疊加和顯示情況下，期望對三維圖像設置共用的截面。

在步驟S240，截面圖像生成單元110生成步驟S200獲取的第二三維圖像的截面圖像和步驟S200獲取的變形圖像的截面圖像。截面圖像是通過沿步驟S230指定的截面剪切而分別生成的二維圖像。從這個角度來看，截面圖像生成單元110作為生成單元的示例。此外，關于作為目標圖像第二三維圖像和變形圖像，步驟S230指定的截面被設置為目標截面。具體地，截面圖像生成單元110生成目標截面的二維圖像。在步驟S230中設置的厚度大于0毫米的情況下，截面圖像生成單元110對步驟S230設置的截面執行以下處理。具體地，截面圖像生成單元110生成作為截面圖像的投影圖像，在該投影圖像上投影步驟S230設置的厚度范圍內(板內)的三維圖像的體素值的表征值(representative values)。表征值是，例如，亮度值的最大值和最小值。換句話說，截面圖像生成單元110生成投影圖像，在該投影圖像上投影在目標圖像中預定的厚度范圍內的表征值。投影了三維圖像的體素值的最大值的圖像的例子包括最大密度投影(MIP)圖像和板MIP圖像。投影了三維圖像的體素值的最小值的圖像的例子包括最小強度投影(MinIP)圖像和板MinIP圖像。然后，截面圖像生成單元110將所生成的截面圖像發送到顯示控制單元114。

在步驟S250，針對變形圖像設置的截面和關注區域相交的相交區域，統計值獲取單元112獲取在步驟S220獲取的估計配準誤差值的統計值(以下簡稱“統計誤差值”)。然后，統計值獲取單元112將所獲取的信息發送給顯示控制單元114。

具體地，統計值獲取單元112首先獲得相交區域，該相交區域是步驟S230中針對變形圖像設置的截面和步驟S210獲取的代表關注區域的標簽圖像疊加的區域。然而，在關注區域由下文描述的步驟S270執行的處理改變的情況下，統計值獲取單元112獲取關注區域和截面相交的相交區域。然后，統計值獲取單元112獲取相交區域的體素數量N。接下來，統計值獲取單元112獲取在誤差圖像中的相交區域中的每個體素的體素值，即，估計誤差值，并獲取所獲取的估計誤差值的總和T。然后，統計值獲取單元112將T除以N來獲取關注區域的估計誤差值的平均值。同樣，統計值獲取單元112使用公知方法獲取統計誤差值，諸如估計誤差值的標準偏差、最大值和中值。在顯示的截面中不包括關注區域的情況下，即在沒有相交區域的情況下，統計值獲取單元112不執行統計誤差值的獲取。

可以僅基于體素位置(基于該體素位置，在步驟S240中生成投影圖像)中的估計誤差值來獲取估計誤差值的統計值，而取代獲取相交區域中的所有體素的估計誤差值的統計值。這樣，能夠獲取更接近于顯示為投影圖像的部位的估計誤差值的統計值。

在步驟S260，顯示控制單元114執行控制以在顯示器152上顯示步驟S250獲取的統計誤差值。在第一示例性實施例中，顯示控制單元114也執行控制以在顯示器152(顯示單元的示例)上顯示與步驟S240生成的截面圖像關聯的統計誤差值。從這個角度來看，顯示控制單元114作為顯示控制單元示例。顯示與截面圖像關聯的統計誤差值的方法的示例包括以下方法：截面圖像的統計誤差值疊加在變形的圖像的截面圖像上，并在顯示器152(顯示單元的示例)上顯示疊加的圖像。在步驟S250未獲取誤差統計值的情況下，不執行統計誤差值的顯示。

在步驟S260，顯示控制單元114可以執行控制從而以截面圖像相互疊加的方式顯示第二三維圖像和變形圖像的截面圖像，或可以執行控制以平行地顯示截面圖像。另外，顯示控制單元114可以經由未示出的圖形用戶界面(GUI)獲取用戶指示以改變如何顯示截面，即，以疊加的狀態顯示截面圖像、同時顯示截面圖像或者只顯示截面圖像中的一個。此時，可以僅在以疊加狀態顯示或者同時顯示截面圖像的情況下顯示估計誤差值的統計值。或者，可以僅在顯示變形圖像的截面圖像的情況下顯示估計誤差值的統計值。

圖3例示了在顯示器152上顯示的被檢體的變形圖像的截面圖像301、與截面圖像301關聯的統計誤差值302以及關注區域303的示例。圖3例示了被檢體是乳房的情況。盡管圖3例示了顯示最大值、中值、平均值、以及標準偏差作為估計誤差值的統計值，要顯示的統計值并不限于上述統計值，也可以一起獲取并顯示諸如最小值的其他統計值。或者，可以有選擇地顯示多個統計誤差值中的至少一個。另外，可以以圖表形式顯示估計誤差值的直方圖作為誤差統計值。

在步驟S270，如果給出用戶指示以指定區域，則區域信息獲取單元104執行處理以設置指定的區域作為新的關注區域。這樣，就更新了關注區域。然后，區域信息獲取單元104將獲取的信息發送給統計值獲取單元112。

此時，例如，基于針對顯示的截面經由操作單元1109輸入的操作，與關注區域有關的信息能被設置為第二三維圖像或變形圖像的空間中的立方體或球形區域。例如，上述內容能夠通過被配置為指定顯示的截面上的球形的中心坐標和半徑的GUI(未示出)實現。圖4例示了在關注區域設置為立方體的情況下的顯示的示例。在圖4，相交區域404是指設置的截面和關注區域相交的區域，統計誤差值402是指關注區域的統計誤差值。關注區域可以被設置為當前顯示的截面中的區域(例如，具有與板的厚度相同厚度的圓形或矩形)。另外，與關注區域有關的信息可以利用點或線來設置。

通過上述步驟S270中執行的處理，在用戶指示之前或之后可以切換步驟S210中獲取的關注區域(基于諸如被檢體的內部區域或器官區域的解剖結構)和步驟S270獲取的關注區域(基于用戶輸入信息)。如果給出進一步的用戶指示，可以執行處理以再次設置或恢復基于解剖結構的區域作為關注區域。

步驟S210獲取的區域和步驟S270獲取的區域可以同時均被設置為關注區域。在這種情況下，如圖5所示，希望顯示各關注區域的統計誤差值。另外，可以基于用戶輸入的信息設置多個關注區域，并可以顯示各關注區域的統計誤差值。在這種情況下，期望僅顯示在當前顯示的截面上包括的關注區域的統計誤差值。

在步驟S280，圖像處理裝置10確定是否結束整個處理。例如，操作員通過用鼠標(未示出)點擊位于顯示器152上的結束按鈕輸入指示以結束處理。如果圖像處理裝置10確定結束處理(步驟S280為“是”)，則結束圖像處理裝置10的整個處理。另一方面，如果圖像處理裝置10沒有確定結束處理(步驟S280為“否”)，則處理返回步驟S230，然后再次執行步驟S230到S270的處理。

在步驟S280，如果給出指示結束整個處理，則輸出單元116可以關聯統計誤差值與目標圖像，并向諸如數據服務器150的外部設備輸出統計誤差值和目標圖像。例如，輸出單元116可以向數據服務器150輸出步驟S250獲取的統計誤差值和步驟S270更新的關注區域信息。在這種情況下，統計誤差值和諸如變形圖像的目標圖像是相互關聯的，并存儲在數據服務器150。

如上文所述，根據第一示例性實施例，能夠向用戶呈現指定的截面圖像的配準誤差統計值。另外，與截面圖像一起顯示誤差統計值，從而使用戶能夠容易地明白顯示的截面圖像偏移了多少。

[變形實施例]

盡管在第一示例性實施例中描述了存儲變形圖像中的各體素位置的配準誤差的估計值作為誤差圖像的情況作為示例，但不限于此，也可以存儲第二三維圖像中的各體素位置的配準誤差的估計值作為誤差圖像。在這種情況下，在步驟S250，統計值獲取單元112執行處理以獲取針對第二三維圖像設置的截面與關注區域相交的相交區域的估計誤差值的統計值。然后，在步驟S260，顯示控制單元114疊加并顯示第二三維圖像的截面圖像上的統計誤差值。以這個視角，第二三維圖像也是目標圖像。

另外，盡管在第一示例性實施例中描述了顯示第三三維圖像中的關注區域的統計誤差值作為示例，但不限于此，可以獲取并呈現截面圖像的整個范圍的統計誤差值，而不需要考慮關注區域。另外，可以根據數據服務器150是否存儲關注區域信息，將要顯示的統計誤差值在顯示的截面和關注區域相交的相交區域的統計誤差值和顯示的截面的整個范圍的統計誤差值之間切換。在上述情況下，當用戶設置關注區域時，能顯示所顯示的截面和關注區域相交的相交區域的統計誤差值。另外，可以允許僅基于解剖結構設置關注區域，或者可以允許僅基于用戶操作設置關注區域。為了比較誤差的整體傾向和用戶設置的關注區域的誤差的傾向，可以顯示整個范圍的統計誤差值和設置的關注區域的統計誤差值。在設置了關注區域的情況下，可以僅顯示關注區域的統計誤差值。

另外，顯示控制單元114可以執行控制從而連同統計誤差值一起顯示變形配準中使用的對應的點。考慮對應的點在變形圖像中具有小的誤差，并一起顯示變形圖像中的誤差的總體趨勢，從而用戶可以更精確地明白變形圖像中的誤差的趨勢。

在第一示例性實施例中，描述了如下示例，在步驟S280向諸如數據服務器150的外部裝置輸出與關注區域有關的信息和統計誤差值。當生成諸如截面圖像的二維圖形時，輸出單元116可以向外部裝置輸出二維圖像。另外，當獲取誤差統計值時，輸出單元116可以向外部裝置輸出誤差統計值。此時，可以將用于唯一地確定第一、第二、第三三維圖像的信息添加并輸出到外部裝置，從而使該信息與第一、第二、第三三維圖像能夠分別關聯并存儲在外部裝置。

在第一示例性實施例，通過變形第一三維圖像從而使第一三維圖像與第二三維圖像相一致而獲取的第三三維圖像被設置為目標圖像。本發明不限于上述內容，可以獲取通過變形第一和第二三維圖像而配準的第三三維圖像和第四三維圖像之間的配準誤差作為誤差圖像。以這樣的視角，第三和第四三維圖像是目標圖像。

在第一示例性實施例中，描述了如下情況，第一和第二三維圖像分別是攝像裝置獲取的圖像。本發明不限于上述內容，可以使用對處理的圖像進行配準而獲取的圖像，所述處理的圖像是通過對攝像裝置獲取的圖像進行處理而獲取的。所述處理的圖像是，例如，通過轉換三維圖像的坐標空間而獲取的圖像。

下文描述了第二示例性實施例。根據第二示例性實施例的圖像顯示裝置對被檢體的第一和第二三維圖像執行變形配準。具體地，圖像顯示裝置獲取第一和第二三維圖像之間的變形參數，并通過變形第一三維圖像生成變形圖像(第三三維圖像)，從而第一三維圖像的位置和形狀與第二三維圖像的位置和形狀相一致。然后，圖像顯示裝置以能夠比較截面的方式顯示第二三維圖像的截面和第三三維圖像的截面。此時，根據第二示例性實施例的圖像顯示裝置獲取統計誤差值，即在顯示的截面中的配準誤差的估計值的統計值，并顯示與截面圖像關聯的獲取的統計值。由于圖像顯示裝置被配置為基于用戶輸入的對應信息執行相互配準，因此動態地獲取配準誤差的估計值和估計值的統計值。在以下根據第二示例性實施例的圖像顯示裝置的描述中，僅描述與第一示例性實施例不同的點。與第一示例性實施例和變形例描述的相似的點的詳細描述通過并入上述描述而省略。

圖6例示了根據第二示例性實施例的信息系統6的配置。根據第二示例性實施例的信息系統6包括圖像處理裝置60、數據服務器650以及顯示器152。對與圖1中相似的部分采用相同的附圖標記或符號，并省略這部分的描述。

數據服務器650存儲被檢體的第一和第二三維圖像。另外，數據服務器650存儲與第一和第二三維圖像之間的對應點有關的信息作為第一和第二三維圖像的補充信息。不同于第一示例性實施例，數據服務器650不存儲第一和第二三維圖像之間的變形參數、第一三維圖像的變形圖像或者誤差圖像。

圖像處理裝置60包括三維圖像獲取單元602、區域信息獲取單元604、對應信息獲取單元605、誤差信息獲取單元606、變形圖像生成單元607、截面指定單元108、截面生成單元110、統計值獲取單元112以及顯示控制單元114。

三維圖像獲取單元602從數據服務器650獲取被檢體的第一和第二三維圖像。

與根據第一示例性實施例的區域信息獲取單元104類似，區域信息獲取單元604獲取與第二三維圖像中的關注區域有關的信息。另外，如果給出用戶指示，則區域信息獲取單元604設置諸如矩形或球形的區域作為關注區域。區域信息獲取單元604也能夠獲取第一三維圖像中的關注區域，該處理與根據第一示例性實施例的區域信息獲取單元104執行的處理不同。在這種情況下，當執行處理以生成第一三維圖像的變形圖像時，區域信息獲取單元604對關注區域執行類似的處理以獲取關注區域的變形圖像。

如果數據服務器650存儲了信息，則對應信息獲取單元605從數據服務器650獲取與第一和第二三維圖像之間的對應點有關的信息。另外，對應信息獲取單元605基于用戶的輸入獲取與第一和第二三維圖像之間的對應點有關的更新信息，即，有關添加、改變和刪除的信息。對應信息獲取單元605是接受生成的目標截面的截面圖像的對應信息的改變的接受單元的示例。

誤差信息獲取單元606基于當前獲取的有關對應點的信息獲取表示變形圖像中的各體素位置的配準誤差的分配的誤差圖像。

變形圖像生成單元607基于當前獲取的有關對應點的信息估計第一和第二三維圖像之間的變形參數。然后，變形圖像生成單元607以第一三維圖像的位置和形狀與第二三維圖像的位置和形狀相一致的方式、基于變形信息通過變形第一三維圖像來生成變形圖像。

圖7是例示圖像處理裝置60執行的處理的示例的流程圖。圖像處理裝置60對第一和第二三維圖像執行變形配準處理以獲取第三三維圖像。然后，圖像處理裝置60指定第三三維圖像的截面并獲取指定截面的統計誤差值。步驟S730至S770與第一示例性實施例中的步驟S230至S270類似，因此省略步驟S730至S770的描述。

在步驟S700，三維圖像獲取單元602從數據服務器650獲取被檢體的第一和第二三維圖像。然后，三維圖像獲取單元602將獲取的圖像發送到變形圖像生成單元607和截面圖像生成單元110。

在步驟S710，區域信息獲取單元604獲取代表第一或第二三維圖像的關注區域的標簽圖像(三維圖像)。然后，如果在第二三維圖像中限定關注區域，則區域信息獲取單元604將獲取的信息發送到統計值獲取單元112。另一方面，如果在第一三維圖像中限定關注區域，則區域信息獲取單元604將獲取的信息發送到變形圖像生成單元607。

在步驟S713，對應信息獲取單元605從數據服務器650獲取與步驟S700中獲取的兩個三維圖像間的對應點有關的信息。與根據第二示例性實施例的圖像之間的對應點有關的信息是，例如，在諸如血管的分支部分的圖像中的對應位置中指定的多個對應點的位置信息。具體地，對應點的位置信息是與第一和第二三維圖像中都普遍包括的點有關的位置信息。然后，對應信息獲取單元605將獲取的與圖像之間的對應點有關的信息發送到變形圖像生成單元607和誤差信息獲取單元606。

在步驟S717，變形圖像生成單元607基于步驟S713或S775指定的最新的對應點信息執行第一和第二三維圖像之間的變形配準。具體地，變形圖像生成單元607估計變形信息(下文的“變形參數”)，利用該變形信息，當第一三維圖像在設置的條件下變形時，使在第一和第二三維圖像之間的對應點的位置的剩余誤差和包括剩余誤差的價值函數(cost function)最小化。然后，變形圖像生成單元607基于獲取的變形參數通過執行對第一三維圖像的坐標轉換來生成第一三維圖像的變形圖像(第三三維圖像)，從而使第一三維圖像中的位置和形狀與第二三維圖像中的位置和形狀相一致。然后，變形圖像生成單元607將生成的變形圖像發送到截面圖像生成單元110。

另外，在第一三維圖像中限定關注區域的情況下，變形圖像生成單元607也基于變形信息對關注區域信息執行坐標轉換以獲取與第二三維圖像配準的變形的關注區域。然后，變形圖像生成單元607將與生成的變形關注區域有關的信息作為關注區域信息發送到統計值獲取單元112。

在沒有獲取對應點的情況下，即在數據服務器150沒有存儲對應點信息并且在步驟S775沒有添加對應點的情況下，使用第一三維圖像作為第三三維圖像。

在步驟S720，誤差信息獲取單元606基于步驟S713或S775中指定的最新的對應點信息獲取變形圖像中各體素位置的配準誤差，并生成表示配準誤差分布的誤差圖像。然后，誤差信息獲取單元606將生成的誤差圖像發送到統計值獲取單元112。以這個視角，誤差信息獲取單元606作為估計單元的示例。

具體地，首先，誤差信息獲取單元606從步驟S713或S775中指定的最新的與多個對應點有關的信息中選擇作為誤差獲取目標的對應點，并選擇上述選擇的對應點以外的對應點作為配準使用的對應信息。接下來，誤差信息獲取單元606基于選擇的對應信息執行配準處理以配準第一和第二三維圖像。配準處理是估計第一三維圖像變形的處理。然后，誤差信息獲取單元606從配置處理結果中獲取選擇的對應點(即，配準處理中未使用的對應點)的位置的位置誤差向量。位置誤差向量是目標配準誤差(TRE)。最后，誤差信息獲取單元606在對應點的各位置插值TRE以獲取各體素位置的配準誤差。插值中能夠使用的插值模式的示例包括如下功能組，其中在對應點的各位置處設置諸如薄板樣條(thin plate spline(TPS))函數的徑向基函數(radial basis function)。

在當前對應點信息不滿足預定條件的情況下，不執行步驟S720的誤差信息獲取處理。例如，在對應點數量為0的情況下，不能進行基于對應點的誤差估計，從而不能獲取誤差信息。另外，在對應點數量超過預定閾值之前不能獲取誤差信息。這樣有利于避免向用戶呈現低可靠性的誤差信息。

在步驟S775，對應信息獲取單元605還設置與第一和第二三維圖像之間有關的對應點的信息。具體地，對應信息獲取單元605基于用戶經由鼠標(未示出)輸入的信息設置與根據第一和第二三維圖像生成的各截面圖像之間的對應點(諸如血管的分支部分)有關的位置信息。然后，對應信息獲取單元605將與指定的對應點有關的位置信息添加到步驟S713獲取的與圖像之間的多個對應點有關的位置信息中。取代于添加新的對應點，可以移動或刪除現有的對應點。然后，對應信息獲取單元605將獲取的與圖像之間的對應點有關的信息發送到變形圖像生成單元607和誤差信息獲取單元606。

在步驟S780，圖像處理裝置60確定是否結束整個處理。如果圖像處理裝置60確定結束整個處理(步驟S780為“是”)，則結束圖像處理裝置60的整個處理。另一方面，如果圖像處理裝置60沒有確定結束整個處理(步驟S780為“否”)，則處理返回步驟S717，并再次執行步驟S717到S775的處理。

根據第二示例性實施例，在基于用戶輸入的對應信息執行圖像之間的配準的情況下，配準誤差的估計值的統計值能夠在更新的同時顯示。這使得用戶能夠基于對應點的輸入而容易地明白截面上的偏移的改變。

變形的示例

在根據第二示例性實施例的圖像處理裝置的功能配置中，省略輸出單元。在變形的示例中，如同第一示例性實施例，圖像處理裝置60可以包括輸出單元，其被配置為向數據服務器650輸出變形圖像生成單元607和截面圖像生成單元110生成的圖像以及統計值獲取單元112獲取的統計誤差值。

下文描述了第三示例性實施例。根據第三示例性實施例的圖像顯示裝置呈現在顯示的截面以外的截面中的配準誤差的估計值的統計值。更具體地，圖像顯示裝置的特征在于根據距預定區域的各距離獲取配準誤差的估計值的統計值。在第三示例性實施例中，被檢體的表面用作預定區域。在下文根據第三實施例的圖像顯示裝置的描述中，僅描述與第一示例性實施例不同的點。

圖8例示了根據第三示例性實施例的信息系統8。如圖8所示，根據第三示例性實施例的信息系統8包括圖像處理裝置80、數據服務器150以及顯示器152。對與圖1類似的部分給出相同的參考標記或符號，并省略該部分的描述。

圖像處理裝置80包括三維圖像獲取單元102、區域信息獲取單元104、誤差估計單元106、統計值獲取單元812、顯示控制單元814以及距離獲取單元822。

統計值獲取單元812基于距被檢體表面的距離獲取分類的多個區域的每一個的配準誤差的統計誤差值。在本示例性實施例中，統計值獲取單元812基于距被檢體表面的距離獲取針對多個彎曲的截面的統計誤差值。

顯示控制單元814執行控制以在顯示器152上顯示統計誤差值。另外，顯示控制單元814執行控制以在顯示器152上顯示變形圖像。

距離獲取單元822獲取從內部區域的各體素的位置到預定區域的距離。在本示例性實施例中，距離獲取單元822使用作為參考位置的被檢體表面獲取距離。

圖9是例示圖像處理裝置80執行的處理的示例的流程圖。圖像處理裝置80根據距被檢體表面的距離獲取多個區域的統計誤差值。步驟S900至S920與第一示例性實施例中的步驟S200至S220類似，因此省略步驟S900至S920的描述。

在步驟S930，距離獲取單元822獲取從預定區域到步驟S910中獲取的被檢體表面內部區域中各體素位置的距離。換句話說，距離獲取單元822獲取距被檢體表面的距離。表示被檢體表面的信息能夠通過對步驟S910獲取的標簽圖像執行公知的處理來獲取，并代表被檢體表面中的內部區域。然后，距離獲取單元822將獲取的距離發送到統計值獲取單元812。

在步驟S940，統計值獲取單元812獲取步驟S930獲取的基于距預定區域的距離分類的多個區域(即，本示例性實施例中的截面區域)中的每一個的配準誤差的統計誤差值。然后，統計值獲取單元812將獲取的信息發送到顯示控制單元814。

具體地，首先，統計值獲取單元812基于步驟S930獲取的各體素位置距被檢體表面的距離，計算距被檢體表面距離0到10mm的彎曲的截面中的體素N10的數量。接下來，統計值獲取單元812獲取距被檢體表面距離0到10mm的彎曲的截面中的各體素的體素值，即配準誤差，并獲取配準誤差的總T10。然后，統計值獲取單元812將總T10除以體素N10的數量以獲取距被檢體表面距離0到10mm的彎曲的截面中配準誤差的平均值。類似地，統計值獲取單元812使用公知的方法獲取諸如配準誤差的標準偏差、最大值、中值、直方圖的統計誤差值。

另外，如在距被檢體表面距離0到10mm的彎曲的截面中的情況那樣，統計值獲取單元812獲取距被檢體表面距離大于等于10mm且小于20mm的彎曲的截面中、距被檢體表面距離大于等于20mm且小于30mm的彎曲的截面中、距被檢體表面距離大于30的彎曲的截面中的配置誤差的估計值的統計值。

在步驟S950，顯示控制單元814執行控制以在顯示器152顯示統計誤差值。另外，顯示控制單元814可以執行控制以在顯示器152上顯示步驟S900獲取的第三三維圖像。此時，顯示控制單元814可以在顯示器152上連同第三三維圖像一起顯示步驟S940獲取的統計誤差值。

圖10例示了顯示器152顯示的被檢體的第三三維圖像1001以及與第三三維圖像1001關聯的估計誤差值的統計值1002的示例。在圖10中，顯示投影圖像(MIP圖像)，其中在軸向截面上投影整個第三三維圖像1001的厚度范圍(即，板，slab)的體素值的最大值。圖10的虛線1005、1006、1007分別表示距離關注區域303(被檢體表面)10mm、20mm、30mm的線。另外，圖10例示了各距離的配準誤差的估計值的統計值1002。盡管圖10描述了有選擇地顯示多個統計值(例如，中值、平均值)中的一個作為估計誤差值的統計值，但不限于此，可以同時顯示多個統計值。

根據第三示例性實施例，能夠根據距預定區域的各距離獲取配置誤差的估計值的統計值。這使得用戶能夠容易地明白距預定區域的距離和配準誤差之間的關系。

根據本示例性實施例，基于估計誤差值的統計值，用戶能夠容易地明白目標截面中的配準誤差的整體趨勢。

變形示例

盡管從根據第三示例性實施例的圖像處理裝置的功能配置省略輸出單元，圖像處理裝置60也可以包括如同第一示例性實施例的被配置為向數據服務器150輸出統計值獲取單元812獲取的統計誤差值的輸出單元。

盡管第三示例性實施例中描述了預定區域是被檢體表面的情況，但并不限于此，預定的參照可以是諸如被檢體胸大肌的平面的特征平面或者諸如病變位置的特征點。另外，例如，在被檢體是乳房的情況下，預定區域可以是乳頭的位置。在這種情況下，根據距乳頭的各距離獲取配準誤差的估計值的統計值。

另外，在如第一示例性實施例中顯示三維圖像的截面圖像的情況下，可以顯示彎曲截面區域和顯示的截面相交的相交區域的統計誤差值。在這種情況下，可以在步驟S940獲取彎曲截面區域分別和顯示的截面相交的相交區域并且獲取相交區域的統計誤差值。

也可以通過經由網絡或存儲介質向上述的系統或裝置提供程序實現一個或多個功能的示例性實施例，使系統或裝置的計算機的一個或多個處理器讀取并執行程序實現來實現本發明的示例性實施例。此外，本發明的實施例還可以由電路(例如，實現一個或多個功能的特定應用集成電路(ASIC))實現。

根據上述示例性實施例中每個信息處理裝置，可以以單一的裝置的形式或多個相互連接的裝置以通信方式執行上述處理的形式實現，且兩種配置都包含在本發明的示例性實施例范圍。描述的處理可以由公共的服務器設備或一組服務器執行。包括在圖像處理裝置和圖像處理系統中的多個設備可以是任何能夠在預定的通信速率相互通信的設備，并且設備不需要是相同設施或國家。

本發明的示例性實施例包括如下示例性實施例中，向系統或裝置提供用于實現上述示例性實施例功能的軟件程序，系統或裝置的計算機讀取和執行提供程序的代碼。

因此，根據示例性實施例的處理能夠由計算機實現，所以安裝在計算機種的程序代碼也是本發明示例性實施例的一個。另外，計算機上運行的操作系統(OS)可以基于計算機讀取的程序總包括的指示執行實際處理的一部分或全部，因此能夠通過處理時限上述示例性實施例的功能。

本發明的示例性實施例包括上述示例性實施例的任何組合。

其他實施例

本發明的實施例還可以通過讀出并執行記錄在存儲介質(例如，非臨時性計算機可讀存儲介質)上的用以進行本發明的上述實施例中的一個或更多個實施例的功能的計算機可執行指令的系統或裝置的計算機來實現，以及通過由系統或裝置的計算機通過例如從存儲介質讀出并執行用以進行上述實施例中的一個或更多個實施例的功能的計算機可執行指令來進行的方法來實現。計算機可以包括中央處理單元(CPU)、微處理單元(MPU)、或其它電路中的一個或更多個，并且可以包括獨立的計算機或獨立的計算機處理器的網絡。例如可以從網絡或存儲介質向計算機提供計算機可執行指令。存儲介質可以包括例如硬盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)、分布計算系統的存儲器、光盤(例如，壓縮盤(CD)、數字多用途盤(DVD)、或藍光盤(BD)TM)、閃存存儲設備、存儲卡等中的一個或更多個。本發明還可以由計算機來實現。

雖然參照示例性實施例對本發明進行了描述，但是應當理解，本發明并不限于所公開的示例性實施例。應當對下列權利要求的范圍給予最寬的解釋，以使其涵蓋所有這些變型例以及等同的結構及功能。