相似圖像檢索裝置、以及相似圖像檢索裝置的工作方法
【技術領域】
[0001]本發明涉及相似圖像檢索裝置以及相似圖像檢索裝置的工作方法。
【背景技術】
[0002]以往，進行從多個案例圖像中檢索與檢索圖像相似的相似圖像的相似圖像檢索。在相似圖像檢索中，針對檢索圖像以及案例圖像分別計算與在圖像內人在視覺上關注的確定的圖案對應的特征量，根據所計算出的特征量，判斷檢索圖像與案例圖像的相似性。
[0003]相似圖像檢索特別在醫療領域中被較大程度地利用。具體來說，在醫師基于通過CT (Computed tomography，計算機斷層掃描)裝置、MRI (Magnetic Resonance Imaging，磁共振成像)裝置、一般X射線攝影裝置等來對患者進行攝影而得到的檢查圖像中顯現出的病變，來進行疾病的確定這樣的診斷時，利用相似圖像檢索。
[0004]在專利文獻1中記載了相似圖像檢索裝置，該相似圖像檢索裝置利用相似圖像檢索，從相當于案例圖像的過去的多個病例圖像中，檢索相當于檢索圖像的用于患者的診斷的檢查圖像的相似圖像，并向醫師提供所檢索到的相似圖像。
[0005]在檢查圖像中顯現出的病變中，存在磨砂玻璃陰影、浸潤影、蜂窩組織炎肺等多種，在一張檢查圖像中顯現出的病變不一定限于一種。在存在多種病變的情況下，醫師需要識別每個病變的微妙的差異。另外，由于疾病的發展而病變的種類也變化，所以為了讓醫師僅通過檢查圖像的解讀而在沒有什么幫助的情況下做出診斷，醫師需要一定程度的經驗。因此，如專利文獻1那樣，通過利用相似圖像檢索，能夠以相似圖像作為啟示來確定檢查圖像的病變的種類，即使是經驗少的醫師，也能夠進行準確度更高的診斷。
[0006]專利文獻1的相似圖像檢索裝置將各種病變設為圖案，根據作為檢索圖像的檢查圖像與作為案例圖像的病例圖像分別計算特征量。在特征量中，存在如像素值的平均、方差、最大值、最小值或者直方圖這樣的與像素值相關的量、位置、輪廓這樣的與形狀相關的量、以用半徑、體積或者面積這樣的與大小相關的量等多種量。
[0007]在專利文獻1的相似圖像檢索裝置中，如[式1]所示，取得根據檢查圖像計算出的多種特征量Mi (i = 1、2、…，η)、根據病例圖像計算出的多種特征量mi (i = 1、2、…，η)的分別的差分|M1-mi|，計算對各差分乘以適合的加權系數wi(i = 1、2、…，η)而得到的量的總和(Swi I)，作為檢查圖像與病例圖像的相似度。
[0008]這樣計算出的相似度表示了將特征量M1、mi分別設為要素的2個η維向量(通常稱為特征向量)的η維向量空間中的距離。特征量M1、mi的差分越小(將特征量M1、mi分別設為要素的2個η維向量的距離越近)，則相似度越小，檢查圖像與病例圖像相似性被判斷為越高。另一方面，特征量M1、mi的差分越大(將特征量M1、mi分別設為要素的2個η維向量的距離越遠)，則相似度越大，檢查圖像與病例圖像相似性被判斷為越低。
[0009]現有技術文獻
[0010]專利文獻
[0011]專利文獻1:日本特開2011-118543號公報
[0012]如專利文獻1的相似圖像檢索裝置那樣，在根據特征量計算出檢查圖像與病例圖像的相似度的情況下，相似度的可靠性受到特征量的計算精度的影響。另外，特征量歸根結底是數值，并非完全地再現人的外表，所以有時在根據特征量計算出的相似度與人的外表之間產生背離。特別是在特征量存在多種情況下，根據種類而其計算精度也不同，另外，根據種類而與人的外表的背離程度也不同，所以相似度的可靠性更容易被影響。
[0013]此外，如專利文獻1的相似圖像檢索裝置那樣，在根據特征量計算出檢查圖像與病例圖像的相似度的情況下，檢查圖像與病例圖像的特征量在都大的值處大致一致的情況下，以及在檢查圖像與病例圖像的特征量在都低的值處大致一致的情況下，相似度等同。
[0014]一般地，與某個圖案對應的特征量的值越大，則表示在圖像內該圖案的存在概率越高。因此，如果出于希望得到檢查圖像的相似圖像這樣的相似圖像檢索的目的，則和檢查圖像與病例圖像的特征量在都低的值處大致一致的情況相比，應該提高在檢查圖像與病例圖像的特征量在都大的值處大致一致的情況下的相似度。然而，在專利文獻1中沒有考慮到這一點。因此，不一定能夠檢索到有說服力的相似圖像。
【發明內容】
[0015]本發明是鑒于上述課題而完成的，其目的在于，提供一種能夠檢索到有可靠性的、與人的外表的相似性相符合的有說服力的相似圖像的相似圖像檢索裝置、相似圖像檢索裝置的工作方法以及相似圖像檢索程序。
[0016]為了達到上述目的，本發明的相似圖像檢索裝置從多個案例圖像中檢索與檢索圖像相似的相似圖像，具備:特征量計算部，解析檢索圖像，計算與預先登記的圖案對應的特征量；概率計算部，根據在特征量計算部中計算出的特征量，通過統計學的方法來計算在檢索圖像內存在圖案的第1存在概率；以及相似度計算部，根據在概率計算部中計算出的第1存在概率、以及針對多個案例圖像而計算出的、在案例圖像內存在圖案的第2存在概率，計算檢索圖像與多個案例圖像的分別的相似度。
[0017]概率計算部優選使用根據人在視覺上判斷出的學習用圖像內的圖案的有無與特征量的關系通過統計學的方法來預先創建的、將特征量設為變量來計算第1存在概率的計算式。
[0018]相似度計算部優選根據第1存在概率以及第2存在概率，計算圖案存在于案例圖像以及檢索圖像這兩者中的并存概率、或者圖案僅獨立地存在于案例圖像以及檢索圖像中的一個中的非并存概率中的至少一個。
[0019]相似度計算部例如計算并存概率、或者非并存概率，來作為相似度，并存概率越高，則判斷為案例圖像與檢索圖像的相似性越高，或者非并存概率越高，則判斷為案例圖像與檢索圖像的相似性越低。
[0020]相似度計算部例如計算并存概率與非并存概率之比，來作為相似度，比越高，則判斷為案例圖像與檢索圖像的相似性越高。
[0021]在圖案有多種的情況下，相似度計算部計算多種圖案的各自的并存概率、或者非并存概率，對所計算出的并存概率的總乘積或者并存概率的對數的總和、或者非并存概率的總乘積或者非并存概率的對數的總和進行計算，來作為相似度，并存概率的總乘積或者并存概率的對數的總和越高，則也可以判斷為案例圖像與檢索圖像的相似性越高，或者非并存概率的總乘積或者非并存概率的對數的總和越高，則也可以判斷為案例圖像與檢索圖像的相似性越低。
[0022]另外，在圖案有多種的情況下，相似度計算部也可以計算多種圖案的各自的并存概率與非并存概率之比，對所計算出的比的總乘積或者比的對數的總和進行計算，來作為相似度，比的總乘積或者比的對數的總和越高，則判斷為案例圖像與檢索圖像的相似性越尚ο
[0023]優選在將第1存在概率設為Px，將第2存在概率設為Py并且將并存概率設為Pxy的情況下，Pxy = PxXPyo
[0024]優選在將第1存在概率設為Ρχ，將第2存在概率設為Py并且將非并存概率設為NPxy 的情況下，NPxy = PxX (l_Py) + (l_Px) XPy。
[0025]也可以在將第1存在概率設為Px，將第2存在概率設為Py，將Px與Py中的最小值設為min(Px，Py)并且將并存概率設為Pxy的情況下，Pxy = PxXmin (Px，Py)。
[0026]也可以在將第1存在概率設為Px，將第2存在概率設為Py，將Px與Py中的最小值設為min (Px, Py)，將Px與Py中的最大值設為max (Px, Py)并且將非并存概率設為NPxy的情況下，在 Ρχ>0.5 的情況下，NPxy = PxX {l_min(Px，Py)} + (l_Px) XPy，在 Px < 0.5 的情況下，NPxy = PxX (l_Py) + (1-Px) Xmax (Px, Py)。
[0027]優選具備過濾處理部，該過濾處理部對第2存在概率的排除范圍與第2存在概率進行比較，將第2存在概率是排除范圍的案例圖像從在相似度計算部計算相似度的候補中排除。過濾處理部優選根據將第1存在概率設為變量的、第1存在概率與第2存在概率的關系式，計算排除范圍。
[0028]特征量計算部例如計算檢索圖像的一部分的區域的特征量。
[0029]特征量計算部也可以還計算案例圖像的特征量。另外，概率計算部也可以還計算第2存在概率。
[0030]優選具備檢索結果輸出部，該檢索結果輸出部作為相似圖像的檢索結果，輸出相似圖像與相似度的組。檢索結果輸出部也可以輸出按相似度的順序對多個相似圖像與相似度的組進行排序而得到的列表。
[0031]例如，檢索圖像是在患者的診斷中使用的檢查圖像，案例圖像是作為過去在診斷中使用的檢查圖像的病例圖像，圖案是表示患者的疾病的癥狀的病變的圖案。
[0032]在本發明的相似圖像檢索裝置的工作方法中，該相似圖像檢索裝置從多個案例圖像中檢索與檢索圖像相似的相似圖像，該相似圖像檢索裝置的工作方法具備:特征量計算步驟，通過特征量計算部，解析檢索圖像，計算與預先登記的圖案對應的特征量；概率計算步驟，通過概率計算部，根據在特征量計算步驟中計算出的特征量，通過統計學的方法來計算在檢索圖像內存在圖案的第1存在概率；以及相似度計算步驟，通過相似度計算部，根據在概率計算步驟中計算出的第1存在概率、以及針對多個案例圖像而計算出的、在案例圖像內存在圖案的第2存在概率，來計算檢索圖像與多個案例圖像的分別的相似度。
[0033]本發明的相似圖像檢索程序從多個案例圖像中檢索與檢索圖像相似的相似圖像，使計算機執行以下功能:特征量計算功能，通過解析檢索圖像，來計算與預先登記的圖案對應的特征量；概率計算功能，根據由特征量計算功能計算出的特征量，通過統計學的方法來計算在檢索圖像內存在圖案的第1存在概率；以及相似度計算功能，根據由概率計算功能計算出的第1存在概率、以及針對多個案例圖像而計算出的、在案例圖像內存在圖案的第2存在概率，計算檢索圖像與多個案例圖像的分別的相似度。
[0034]根據本發明，根據解析檢索圖像而計算出的、與預先登記的圖案對應的特征量，通過統計學的方法來計算圖案存在于檢索圖像內的第1存在概率，根據該第1存在概率、以及圖案存在于案例圖像內的第2存在概率，計算檢索圖像與多個案例圖像的各個圖像的相似度，所以相似度的可靠性不受特征量的計算精度影響，并且，相似度與人的外表也不產生背離。進而，在檢索圖像與案例圖像的特征量在都大的值處大致一致的情況下、以及在檢索圖像與案例圖像的特征量在都低的值處大致一致的情況下，相似度也不會變得等同。因此，能夠提供一種能夠檢索到有可靠性的、與人的外表的相似性相符合的有說服力的相似圖像的相似圖像檢索裝置，相似圖像檢索裝置的工作方法以及相似圖像檢索程序。
【附圖說明】
[0035]圖1是示出包括相似圖像檢索服務器的醫療信息系統的結構圖。
[0036]圖2是示出從醫療檢查直到明確診斷的流程的說明圖。
[0037]圖3是示出相似圖像的取得請求的內容的圖。
[0038]圖4是示出顯示檢查圖像而受理對關注區域R0I的指定的檢查圖像顯示窗口的圖。
[0039]圖5是示出構成相似圖像檢索服務器的計算機的框圖。
[0040]圖6是示出相似圖像檢索服務器的CPU的功能的框圖。
[0041]圖7是示出特征量計算部的詳細的結構以及功能的框圖。
[0042]圖8是不出特征量與病變的圖案的對應關系的圖。
[0043]圖9是示出用于計算第1存在概率Px的計算式的創建方法的說明圖。
[0044]圖10是不出特征量Z與第1存在概率P的關系的不圖。
[0045]圖11是示出相似度計算部的結構以及功能的框圖。
[0046]圖12是示出相似度計算部的詳細的結構以及功能的框圖。
[0047]圖13是示出列表的內容的圖。
[0048]圖14是示出顯示相似圖像的檢索結果的檢索結果顯示窗口的圖。
[0049]圖15是示出相似圖像檢索服務器的CPU的處理步驟的流程圖。
[0050]圖16是示出相似度計算的處理步驟的流程圖。
[0051]圖17A是示出在使用式(2-A)的情況下的并存概率Pxy的計算結果的說明圖。
[0052]圖17B是示出在使用式(2-B)的情況下的并存概率Pxy的計算結果的說明圖。
[0053]圖18A是示出在使用式(3-A)的情況下的非并存概率NPxy的計算結果的說明圖。
[0054]圖18B是示出使用式(3-B)的情