圖像處理裝置、圖像顯示系統(tǒng)、圖像處理方法以及圖像處理程序的制作方法

圖像處理裝置、圖像顯示系統(tǒng)、圖像處理方法以及圖像處理程序的制作方法
【專利摘要】提供了一種用于虛擬切片系統(tǒng)等的圖像處理裝置，其在不合成多個分割圖像的情況下生成成像對象的圖像，防止基于分割圖像中的邊界位置或區(qū)域進行無意的診斷。該圖像處理裝置基于被捕獲以使得成像范圍具有相互重疊的區(qū)域的成像對象的分割圖像數據生成用于顯示成像對象有關的圖像數據，并且具有獲得多個分割圖像數據的圖像數據獲得部件；對于重疊區(qū)域從多個分割圖像數據中自動選擇要被顯示的圖像數據的圖像數據選擇部件；以及使用通過圖像數據選擇部件選擇的分割圖像數據在圖像顯示裝置中顯示重疊區(qū)域的顯示控制部件。
【專利說明】圖像處理裝置、圖像顯示系統(tǒng)、圖像處理方法以及圖像處理
程序
【技術領域】
[0001 ] 本發(fā)明涉及圖像處理裝置，并且尤其涉及用于觀察成像對象的數字圖像處理。
【背景技術】
[0002]這些年來，在病理學領域中，作為用作病理診斷的工具的光學顯微鏡的替代，通過捕獲設置在準備好的切片上的測試樣本(被檢體)的圖像并且數字化該圖像以使得能夠在顯示器上進行病理診斷的虛擬切片系統(tǒng)(virtual slide system)正獲得關注。通過使用虛擬切片系統(tǒng)數字化圖像以便進行病理診斷，通過光學顯微鏡獲得的測試樣本的當前圖像可被當作數字數據。結果，期望將產生諸如快速遠程診斷、使用數字圖像向患者進行解釋、稀有病例的分享以及高效的教育和訓練的益處。
[0003]為了使用虛擬切片系統(tǒng)實現與光學顯微鏡的操作基本相同的操作，準備好的切片上的測試樣本的整體需要被數字化。通過數字化測試樣本的整體，可使用在PC(個人計算機)或者工作站上操作的查看軟件來觀察通過虛擬切片系統(tǒng)創(chuàng)建的數字數據。測試樣本的整體被數字化時的像素的數量通常為數億個像素到數十億個像素，這是極大量的數據。
[0004]通過虛擬切片系統(tǒng)創(chuàng)建的數據量極大，并且通過使用查看器執(zhí)行放大和減小處理，微觀(細節(jié)的放大圖像)和宏觀(整體的概觀圖像)觀察變得可能，這產生多種優(yōu)點。通過預先獲得所有必要的信息，低倍率圖像和高倍率圖像可被以用戶希望的倍率和分辨率即時顯示。另外，對于病理診斷有用的各種信息可通過分析所獲得的關于圖像的數字數據而被提供，以便例如檢測細胞的形狀并且計算細胞的數量以及細胞質和核的面積比(N/C比)。
[0005]作為用于獲得這樣的被檢體的高倍率圖像的技術，已經想出了這樣一種方法，其中通過使用通過捕獲被檢體的各部分的圖像而獲得的多個高倍率圖像來獲得被檢體的整體的高倍率圖像。更具體而言，在PTLl中，公開了一種顯微鏡系統(tǒng)，其將被檢體分割成分區(qū)、捕獲分區(qū)的圖像并將所獲得的分區(qū)的圖像相互組合以顯示被檢體的合成圖像。在PTL2中，公開了一種圖像顯示系統(tǒng)，其通過在移動顯微鏡的臺架的同時多次捕獲圖像而獲得被檢體的多個部分圖像，并且校正圖像中的畸變并且將圖像相互組合。在PTL2中，可創(chuàng)建在其中邊界幾乎不可見的合成圖像。在PTL3中，公開了一種圖像組合裝置，其在用戶指定其圖像已被以重疊方式捕獲的重疊區(qū)域中的哪些將被選擇時獲得用戶希望的合成圖像，即使重疊區(qū)域中的圖像不匹配仍如此。
[0006]引文列表
[0007]專利文獻
[0008]PTLl:日本專利特開 N0.2007-121837
[0009]PTL2:日本專利特開 N0.2010-134374
[0010]PTLl:日本專利特開 N0.2007-211837
【發(fā)明內容】

[0011]技術問題
[0012]由于不可避免地出現的部分圖像的位置的偏離以及畸變校正造成的偽像的影響等等，通過PTLl中公開的顯微鏡系統(tǒng)以及PTL2中公開的圖像顯示系統(tǒng)獲得的合成圖像的邊界部分可能是與病理學家使用光學顯微鏡觀察到的圖像不同的圖像。如果在沒有認識到進行準確診斷中的潛在困難的情況下診斷這樣的合成圖像，則存在當合成圖像的邊界部分是診斷目標時變得難以進行準確診斷的問題。另外，在PTL3公開的合成圖像的生成中，由于用戶在查看重疊區(qū)域的圖像同時執(zhí)行指定，當作為平均圖像數據的由成百上千個分割圖像構成的病理圖像是目標時，用戶進行指定的工作負荷變得極大。結果，存在難以在實際時間段中組合圖像的問題。
[0013]問題的解決方案
[0014]本發(fā)明涉及一種圖像處理裝置，其基于成像對象的分割圖像有關的數據片段(piece of data)生成要被顯示的成像對象有關的圖像數據，該分割圖像有關的數據片段是通過捕獲成像范圍以使得分割圖像有關的數據片段包括重疊區(qū)域而獲得的。圖像處理裝置包括圖像數據獲得單元，獲得多個分割圖像有關的數據片段；圖像數據選擇單元，對于重疊區(qū)域中的每一個，基于預定條件從多個分割圖像有關的數據片段中自動選擇要被顯示的圖像數據片段，以及顯示控制單元，使用通過圖像數據選擇單元選擇的分割圖像有關的數據片段在圖像顯示裝置上顯示重疊區(qū)域中的每一個。
[0015]另外，本發(fā)明涉及一種圖像顯示系統(tǒng)。該圖像顯示系統(tǒng)包括圖像處理裝置和圖像顯示裝置。該圖像處理裝置是上述的圖像處理裝置。該圖像顯示裝置基于從該圖像處理裝置傳輸的成像對象有關的圖像數據選擇并顯示分割圖像。
[0016]另外，本發(fā)明涉及一種圖像處理方法。該方法包括圖像數據獲得處理，獲得成像對象的分割圖像有關的數據片段，該分割圖像有關的數據片段是通過捕獲成像范圍以使得分割圖像有關的數據片段包括重疊區(qū)域而獲得的；圖像數據選擇處理，對于重疊區(qū)域中的每一個，基于預定條件從多個分割圖像有關的數據片段中自動選擇要被顯示的圖像數據片段，以及顯示圖像數據生成處理，在重疊區(qū)域中的每一個中使用在圖像數據選擇處理中選擇的分割圖像有關的數據片段生成成像對象有關的圖像數據。
[0017]另外，本發(fā)明涉及使得計算機執(zhí)行處理的程序。該處理包括圖像數據獲得步驟，獲得成像對象的分割圖像有關的數據片段，該分割圖像有關的數據片段是通過捕獲成像范圍以使得分割圖像有關的數據片段包括重疊區(qū)域而獲得的；圖像數據選擇步驟，對于重疊區(qū)域中的每一個，基于預定條件從多個分割圖像有關的數據片段中自動選擇要被顯示的圖像數據片段，以及顯示圖像數據生成步驟，在重疊區(qū)域中的每一個中使用在圖像數據選擇步驟中選擇的分割圖像有關的數據片段生成成像對象有關的圖像數據。
[0018]根據通過本發(fā)明提供的優(yōu)選的圖像處理裝置、圖像顯示系統(tǒng)、圖像處理方法以及圖像處理程序，可防止出現如下狀況:由于不同于原始圖像的合成圖像的合成位置導致準確診斷變得困難。
【專利附圖】

【附圖說明】
[0019]圖1是示出使用本發(fā)明中的圖像處理裝置的例子的圖像顯示系統(tǒng)的裝置配置的示例的整體的示圖。
[0020]圖2是示出使用本發(fā)明中的圖像處理裝置的例子的圖像顯示系統(tǒng)中的成像裝置的功能框圖的示例。
[0021]圖3是示出根據第一實施例的圖像處理裝置的功能框圖的示例。
[0022]圖4是示出根據第一實施例的圖像處理裝置的硬件配置圖的示例。
[0023]圖5(a)至5(c)是示出優(yōu)先級的指定的概念的示圖。
[0024]圖6是示出根據第一實施例的生成要被顯示的圖像數據的過程的示例的示圖。
[0025]圖7是示出優(yōu)先級顯示的過程的示例的示圖。
[0026]圖8(a)至8(e)示出根據第一實施例的顯示畫面的示例。
[0027]圖9 (a)至9 (c)是示出根據第一實施例的由來自外部的指令導致顯示畫面改變的示例的概念圖。
[0028]圖10是示出根據第二實施例的圖像處理裝置的功能框圖的示例。
[0029]圖11 (a)至11 (d)是示出根據第二實施例的圖像的優(yōu)先級的自動切換的概念的示圖。
[0030]圖12是示出根據第二實施例的生成要被顯示的圖像數據的過程的示例的示圖。
[0031]圖13是示出根據第二實施例的優(yōu)先級顯示的過程的示例的示圖。
[0032]圖14是示出根據第三實施例的圖像處理裝置的功能框圖的示例。
[0033]圖15是示出根據第三實施例的生成要被顯示的圖像數據的過程的示例的示圖。
[0034]圖16是示出使用根據第二實施例的圖像處理裝置的示例的圖像顯示系統(tǒng)的示例的整體的示圖。
【具體實施方式】
[0035]以下將參照附圖描述本發(fā)明的實施例。
[0036]根據本發(fā)明的優(yōu)選實施例的圖像處理裝置基于成像對象的分割圖像有關的數據片段生成成像對象有關的圖像數據，該分割圖像有關的數據片段是在將成像范圍分割成包括重疊區(qū)域的多個分割圖像的情況下被捕獲的。本發(fā)明中的圖像處理裝置具有如下特性:在沒有執(zhí)行用于組合分割圖像有關的數據片段的處理的情況下，成像對象的合成圖像有關的數據在數據將被顯示時被生成。因此，可防止發(fā)生在分割圖像有關的數據片段經受組合處理以便生成成像對象的合成圖像有關的數據時發(fā)生的問題，即診斷精度由于與成像對象的原始圖像不同的合成部分而降低的問題。在其中多個分割圖像有關的數據片段重疊的區(qū)域中，可通過自動選擇要被顯示的分割圖像來顯示成像對象有關的圖像數據片段。因此，當在顯示器上顯示的區(qū)域包括分割圖像之間的邊界時，可通過改變邊界來觀察成像對象的圖像。
[0037]根據本發(fā)明的優(yōu)選實施例的圖像處理裝置包括圖像數據獲得單元，獲得多個分割圖像有關的數據片段；圖像數據選擇單元，從多個分割圖像有關的數據片段中選擇要被顯示的圖像數據片段，以及顯示控制單元，在顯示單元上顯示被選擇的分割圖像有關的數據片段。
[0038]通過圖像數據選擇單元進行的圖像數據片段的選擇可基于根據預定條件的對于選擇的自動確定或者從外部輸入的指令而實現。作為預定條件，可使用在圖像顯示裝置上顯示的分割圖像有關的數據片段之間的邊界的位置的改變，或者在圖像顯示裝置上顯示的分割圖像有關的數據片段的顯示的百分比變化。
[0039]本發(fā)明的圖像處理裝置可用于使用通過使用顯微鏡捕獲圖像而獲得的分割圖像有關的數據片段的虛擬切片系統(tǒng)。
[0040]在包括圖像處理裝置和圖像顯示裝置的圖像顯示系統(tǒng)中，本發(fā)明中的圖像顯示系統(tǒng)至少包括上述圖像處理裝置，以及顯示從該圖像處理裝置傳輸的成像對象有關的圖像數據的圖像顯示裝置。
[0041]另外，本發(fā)明中的用于處理圖像的方法包括圖像數據獲得處理，獲得成像對象的分割圖像有關的數據片段，該分割圖像有關的數據片段是在將成像范圍分割成包括重疊區(qū)域的多個分割圖像的情況下被捕獲的；圖像數據選擇處理，對于重疊區(qū)域中的每一個，從多個分割圖像有關的數據片段中自動選擇要被顯示的數據片段，以及圖像數據選擇處理，在重疊區(qū)域中的每一個中使用在顯示圖像數據選擇處理中選擇的分割圖像有關的數據片段生成成像對象有關的圖像數據。
[0042]另外，本發(fā)明中的程序使得計算機執(zhí)行處理，該處理包括圖像數據獲得步驟，獲得成像對象的分割圖像有關的數據片段，該分割圖像有關的數據片段是在將成像范圍分割成包括重疊區(qū)域的多個分割圖像的情況下被捕獲的；圖像數據選擇步驟，對于重疊區(qū)域中的每一個，從多個分割圖像有關的數據片段中自動選擇要被顯示的圖像數據片段，以及顯示圖像數據生成步驟，在重疊區(qū)域中的每一個中使用在圖像數據選擇步驟中選擇的分割圖像有關的數據片段生成成像對象有關的圖像數據。
[0043]另外，本發(fā)明中的記錄介質涉及在其中記錄上述程序的計算機可讀存儲介質。
[0044]本發(fā)明的圖像處理方法或者程序可反映相對于本發(fā)明中的圖像處理裝置被描述的優(yōu)選方面。
[0045][第一實施例]
[0046]本發(fā)明中的圖像處理裝置可用于圖像顯示系統(tǒng)中，該圖像顯示系統(tǒng)包括成像裝置和圖像顯示裝置。將參照圖1描述圖像顯示系統(tǒng)。應指出，在以下描述和附圖中“圖像顯示裝置”可被簡稱為“顯示裝置”。
[0047](圖像拾取系統(tǒng)的配置)
[0048]圖1示出使用本發(fā)明的圖像處理裝置的圖像顯示系統(tǒng)，該圖像顯示系統(tǒng)由成像裝置(顯微鏡裝置)101、圖像處理裝置102和圖像顯示裝置103構成，并且具有獲得并顯示其圖像將被捕獲的成像對象(測試樣本)的二維圖像的作用。成像裝置101和圖像處理裝置102通過專用或通用I/F電纜104相互連接，并且圖像處理裝置102和圖像顯示裝置103通過通用I/F電纜105相互連接。
[0049]成像裝置101捕獲位置在二維方向上不同的多個二維圖像，并且可采用具有輸出數字圖像的功能的虛擬切片系統(tǒng)。為了獲得二維圖像，諸如CCD(電荷耦合器件)或CMOS(互補金屬氧化物半導體)傳感器的固態(tài)圖像拾取部件可被使用。應指出，作為虛擬切片裝置的替代，成像裝置101可由通過在通用光學顯微鏡的目鏡上安裝數字照相機而獲得的數字顯微鏡裝置構成。
[0050]圖形處理裝置102是具有例如通過使用原始圖像有關的數據生成合成圖像有關的數據的功能的裝置，該原始圖像有關的數據是以分割方式從由成像裝置101獲得的多個原始圖像有關的數據片段獲得的。圖像處理裝置102由通用計算機或者工作站構成，包括硬件材料(諸如CPU (中央處理單元)、RAM、存儲器件、操作單元和I/F)。存儲器件是大容量信息存儲器件，諸如硬盤驅動器，并且存儲用于實現稍后將描述的處理的程序、數據、OS (操作系統(tǒng))等。上述功能由CPU通過從存儲器件將必要的程序和數據加載到RAM內并且執(zhí)行該程序來實現。操作單元由鍵盤、鼠標等構成，并且被操作員用于輸入各種指令。圖像顯示裝置103是顯示作為通過圖像處理裝置102執(zhí)行的運算處理的結果的要被觀察的圖像的監(jiān)視器，并且由CRT、液晶顯示器等構成。
[0051]盡管在圖1所示的示例中，圖像拾取系統(tǒng)由三種裝置(即成像裝置101、圖像處理裝置102和圖像顯示裝置103)構成，但是本發(fā)明的配置并不局限于此配置。例如，可使用圖像顯示裝置并入其中的圖像處理裝置，或者圖像處理裝置的功能可與成像裝置相集成。作為替代，成像裝置、圖像處理裝置以及圖像顯示裝置的功能可由單個裝置實現。另一方面，圖像處理裝置等的功能可被分割并由多個裝置實現。
[0052](成像裝置的配置)
[0053]圖2是示出成像裝置101的功能配置的框圖。
[0054]成像裝置101示意性地由照明單元201、臺架202、臺架控制單元205、圖像形成光學系統(tǒng)107、圖像拾取單元210、顯影處理單元216、預測量單元217、主控制系統(tǒng)218、和數據輸出單元220構成。
[0055]照明單元201是用于均勻地將光照射到設置在臺架202上的準備好的切片206的部件，并且由光源、照明光學系統(tǒng)和用于驅動光源的控制系統(tǒng)構成。臺架202經受由臺架控制單元205執(zhí)行的驅動控制，并且可沿三個軸(即X、y和z軸)移動。準備好的切片206是如下這樣的構件，其中要被觀察的組織或者被施加的細胞與安裝介質一起附著到載玻片上并且固定在蓋玻璃下面。
[0056]臺架控制單元205由驅動控制系統(tǒng)203和臺架驅動機構204構成。驅動控制系統(tǒng)203在接收到來自主控制系統(tǒng)218的指令之后對臺架202執(zhí)行驅動控制。臺架202的移動方向和移動量等基于通過預測量單元217測量的成像對象有關的位置信息和厚度信息(距離信息)被確定，并且必要時基于來自用戶的指令被確定。臺架驅動機構204根據來自驅動控制系統(tǒng)203的指令驅動臺架202。
[0057]圖像形成光學系統(tǒng)207是用于在圖像拾取傳感器208上形成在準備好的切片206上的成像對象的光學圖像的一組透鏡。
[0058]圖像拾取單元210由圖像拾取傳感器208和模擬前端(AFE) 209構成。圖像拾取傳感器208是通過光電轉換將二維光學圖像轉換成電物理量的一維或者二維圖像傳感器，并且例如使用C⑶或CMOS器件。在一維傳感器的情況下，通過在掃描方向上進行掃描獲得二維圖像。圖像拾取傳感器208輸出具有根據光強度的電壓值的電信號。當希望彩色圖像為捕獲的圖像時，例如，可使用安裝有具有Bayer圖案的濾色器的單芯片圖像傳感器。在臺架202正被沿X和y軸驅動的同時，圖像拾取單元201捕獲成像對象的分割圖像。
[0059]AFE209是將從圖像拾取傳感器208輸出的模擬信號轉換成數字信號的電路。AFE209由Η/V驅動器、CDS (相關雙采樣器)、放大器、A/D轉換器和定時發(fā)生器構成，稍后將進行描述。Η/V驅動器將用于驅動傳感器的垂直同步信號和水平同步信號轉換成驅動圖像拾取傳感器208所需的電勢。CDS是去除固定模式噪聲的相關雙采樣電路。放大器是調整已通過CDS從中去除了噪聲的模擬信號的增益的模擬放大器。A/D轉換器將模擬信號轉換成數字信號。當成像裝置的最終級的輸出將為8比特時，A/D轉換器在考慮了后面的級中的處理的情況下將10比特模擬信號轉換成被量化為約16比特的數字數據，并且輸出該數字數據。轉換后的從傳感器輸出的數據被稱為RAW(原)數據。RAW數據在后面的級中被顯影處理單元216進行顯影處理。定時發(fā)生器生成用于調整圖像拾取傳感器208的定時和后面的級中的顯影處理單元216的定時的信號。
[0060]當CXD被用作圖像拾取傳感器208時，AFE209是必要的，但是，當使用能夠數字輸出的CMOS圖像傳感器時，AFE209的功能被包含在該傳感器中。另外，盡管未示出，但是存在控制圖像拾取傳感器208的圖像拾取控制單元，其共同地控制圖像拾取傳感器208的操作以及操作定時(諸如快門速度、幀率和ROI (感興趣區(qū)域))。
[0061]顯影處理單元216由黑色校正部分211、白平衡調整部分212、去馬賽克處理部分213、濾波處理部分214和Y校正部分215構成。黑色校正部分211執(zhí)行用于減去RAW數據的每個像素的在光被遮擋的情況下獲得的黑色校正數據的處理。白平衡調整部分212執(zhí)行用于通過根據從照明單元201照射的光的色溫調整R、G和B中的每一個的增益來重現希望的白色的處理。更具體而言，用于白平衡校正的數據被添加到黑色校正之后的RAW數據上。當使用單色圖像時，用于調整白平衡的處理不是必需的。顯影處理單元216生成通過圖像拾取單元210捕獲的成像對象的分割圖像有關的數據。
[0062]去馬賽克處理部分213執(zhí)行用于從具有Bayer圖案的RAW數據生成關于R、G和B中的每一個的圖像數據的處理。去馬賽克處理部分213通過插值RAW數據中的相鄰像素(包括相同顏色的像素和不同顏色的像素)的值來計算目標像素的R、G和B中的每一個的值。另外，去馬賽克處理部分213執(zhí)行用于校正缺陷像素的處理(插值處理)。應指出，當圖像拾取傳感器208不包含濾色器并且獲得單色圖像時，去馬賽克處理不是必需的。
[0063]濾波處理部分214是實現圖像中包含的高頻成分的抑制、噪聲去除、以及分辨率提高的數字濾波器。根據通用顯示器件的色調表達特性，Y校正部分215執(zhí)行添加相反特性和用于使用明亮部分中的色調壓縮以及暗空間處理來根據人的視覺特性進行色調轉換的處理。在本實施例中，適合后面的級中的組合處理和顯示處理的色調轉換被應用于圖像數據，以便獲得預期用于形狀觀察的圖像。作為替代，Y校正部分215執(zhí)行的用于轉換色調的處理可被配置為將在稍后將描述的圖像處理裝置102中執(zhí)行。
[0064]預測量單元217是執(zhí)行用于計算準備好的切片206上的成像對象的位置有關的信息、距希望的焦點位置的距離有關的信息以及用于根據成像對象的厚度調整光量的參數的初步測量的單元。通過在主測量之前利用預測量單元217獲得信息，可在沒有浪費的情況下捕獲圖像。為了獲得二維平面中的位置有關的信息，其分辨率低于圖像拾取傳感器208的分辨率的二維圖像拾取傳感器被使用。預測量單元217從獲得的圖像檢測xy平面中的成像對象的位置。激光位移計或者Shack-Hartmann測量裝置被用于獲得距離信息和厚度信息。
[0065]主控制系統(tǒng)218提供了控制上述單元的功能。主控制單元218和顯影處理單元216的功能由包括CPU、R0M和RAM的控制電路實現。即，程序和數據被存儲在ROM中，并且CPU在使用RAM作為工作存儲器的情況下執(zhí)行程序，以便實現主控制系統(tǒng)218和顯影處理單元216的功能。諸如EEPROM或閃存的器件被用作R0M，諸如DDR3的DRAM器件被用作RAM。[0066]數據輸出單元219是用于將通過顯影處理單元216生成的RGB彩色圖像傳輸至圖像處理裝置102的接口。成像裝置101和圖像處理裝置102通過光學通信電纜相互連接。作為替代，諸如USB或者Gigabit Ethernet (注冊商標)的通用接口被使用。
[0067](圖像處理裝置的配置)
[0068]圖3是示出本發(fā)明中的圖像處理裝置102的功能配置的框圖。
[0069]圖像處理裝置102示意性地由數據輸入單元301、存儲保持單元302、分割圖像數據獲得單元303、顯示數據生成單元304、數據輸出單元305、用戶指令輸入單元306、用于邊界區(qū)域的優(yōu)先級指定單元307以及顯示裝置信息獲得單元308構成。
[0070]存儲保持單元302存儲或者保持通過分割成像對象的圖像并且通過捕獲分割圖像通過數據輸入單元301從外部裝置獲得的分割RGB彩色圖像有關的數據。彩色圖像有關的數據不僅包括圖像數據而且還包括位置信息。這里，位置信息是指示成像對象的其圖像已被捕獲作為分割圖像有關的數據的部分的信息。例如，位置信息可通過在圖像被捕獲的同時連同分割圖像有關的數據一起記錄驅動臺架202時的X和y坐標而被獲得。
[0071 ] 分割圖像數據獲得單元303基于從顯示裝置信息獲得單元308獲得的顯示區(qū)域的大小和圖像顯示裝置有關的信息以及從顯示數據生成單元304獲得的控制信息，獲得被存儲保持單元302存儲或者保持的分割圖像有關的數據。另外，分割圖像數據獲得單元303將獲得的分割圖像有關的數據傳輸至顯示數據生成單元304。
[0072]用戶指令輸入單元306通過諸如鼠標或鍵盤的操作輸入單元接收用戶的關于要被生成的要被顯示的圖像數據的指令(稍后將進行描述)、以及更新要被顯示的圖像數據的指令(諸如顯示位置的改變和擴大以及減小的顯示)。優(yōu)先級指定單元307基于通過用戶指令輸入單元306接收的信息，對于在其中分割圖像有關的數據片段重疊的區(qū)域，指定分割圖像有關的哪個數據片段將用作要被顯示的圖像數據。優(yōu)先級指定單元307還用作切換單元，其在通過從多個分割圖像有關的數據片段中選擇要被顯示的圖像片段而生成的成像對象有關的圖像數據以及通過組合多個分割圖像生成的成像對象的合成圖像有關的數據之間，切換重疊區(qū)域中的要被顯示的數據。
[0073]顯示數據生成單元304基于優(yōu)先級指定單元307指定的優(yōu)先級，由從分割圖像數據獲得單元303傳輸的分割圖像數據生成顯示數據。所生成的顯示數據通過數據輸出單元305被輸出到外部監(jiān)視器等作為要被顯示的數據。
[0074](圖像處理裝置的硬件配置)
[0075]圖4是示出本發(fā)明中的圖像處理裝置的硬件配置的框圖。使用例如PC(個人計算機)作為執(zhí)行信息處理的裝置。
[0076]PC包括CPU (中央處理單元)401、RAM (隨機存取存儲器)402、存儲器件403、數據輸入/輸出I/F405、和將這些組件相互連接的內部總線404。
[0077]CPU401必要時訪問RAM402等，并且在執(zhí)行各種運算處理的同時共同地控制PC的每個塊的全部。RAM402被用作CPU401等的工作區(qū)域，并且臨時保持OS、正被執(zhí)行的各種程序、以及要經受處理(諸如，作為本發(fā)明的特征的使用評注的用戶識別以及要被顯示的數據的生成)的各種數據片段。存儲器件403是輔助存儲器件，記錄并讀取以固定方式存儲的固件有關的信息，諸如要由CPU401執(zhí)行的OS、程序以及各種參數。諸如HDD(硬盤驅動器)或者SSD (固態(tài)硬盤)的磁盤驅動器或者使用閃存的半導體器件可被使用。[0078]圖像服務器1001通過LAN I/F406連接到數據輸入/輸出I/F405，圖像顯示裝置103通過圖形卡407連接到數據輸入/輸出I/F405，以虛擬切片裝置和數字顯微鏡為代表的成像裝置101通過外部裝置I/F408連接到數據輸入/輸出I/F405，并且鍵盤410和鼠標411通過操作I/F409連接到數據輸入/輸出I/F405。
[0079]圖像顯示裝置103是使用例如液晶、EL(電致發(fā)光)或CRT(陰極射線管)等的顯示器件。圖像顯示裝置103被假定作為外部裝置被連接，但是可假定合并入圖像顯示裝置中的PC。筆記本PC是這樣的一個例子。
[0080]盡管諸如鍵盤410或鼠標411的指向裝置被假定為連接到操作I/F409的裝置，但是可采用如下配置，其中圖像顯示裝置103的屏幕直接用作輸入裝置，諸如在觸摸板的情況中。在此情況中，觸摸板可合并入圖像顯示裝置103中。
[0081](圖像的優(yōu)先級的指定)
[0082]將參照圖5(a)至5(c)描述本發(fā)明中的圖像處理裝置所執(zhí)行的顯示分割圖像有關的數據片段之間的重疊區(qū)域時的優(yōu)先級的指定的概念。
[0083]圖5(a)示出分割圖像的獲得。圖5(a)的上部示出成像對象，并且在圖5 (a)的下部中，在將成像對象分割成包括重疊區(qū)域的兩個區(qū)域、即圖像⑴和圖像⑵的情況下捕獲成像對象的圖像，并且獲得分割圖像數據。
[0084]圖5(b)示出在從兩個分割圖像有關的數據片段中選擇圖像⑴的情況下顯示捕獲的重疊區(qū)域的示例。在此情況中，顯示重疊區(qū)域時的圖像(I)的優(yōu)先級被設定為高。
[0085]圖5(c)示出在選擇圖像(2)的情況下顯示圖像數據的示例，并且顯示時的圖像
(2)的優(yōu)先級被設定為高。
[0086]如上所述，可通過將相鄰的分割圖像有關的數據片段中的一個的在顯示重疊區(qū)域時的優(yōu)先級設定為較高，以便選擇相鄰數據片段中的該片段作為要被顯示的區(qū)域，生成要被顯示的合成圖像。
[0087]在本發(fā)明中的圖像處理裝置102的情況中，要被顯示的圖像數據可通過根據預定條件或者來自用戶的指令選擇該圖像數據而在圖像顯示裝置103上被顯示。
[0088](圖像數據的生成)
[0089]將參照圖6的流程圖描述本發(fā)明中的圖像處理裝置執(zhí)行的生成圖像數據的過程。
[0090]在步驟601中，當要在圖像顯示裝置103上顯示圖像數據時，獲得顯示區(qū)域有關的信息(諸如作為連接到圖像處理裝置102的圖像顯示裝置103的監(jiān)視器的分辨率、成像對象的圖像的整體中的顯示位置以及顯示倍率)。
[0091 ] 在步驟602中，分割圖像數據獲得單元303從數據輸入單元301接收的并且存儲在存儲保持單元302中的分割圖像有關的數據片段中獲得必要數量的分割圖像有關的數據片段。當不同倍率的分割圖像有關的數據片段被分層級存儲或保持時，處于適當層級的分割圖像有關的數據片段基于步驟601中獲得的顯示倍率有關的信息被選擇。
[0092]通過成像裝置101獲得的圖像數據希望地是高分辨率、高解析度圖像拾取數據，以便能夠進行診斷。但是，如上所述，當要顯示由數十億像素構成的圖像數據的縮小圖像時，如果每次顯示設定改變時執(zhí)行分辨率轉換，則處理變得麻煩。因此，希望準備倍率不同的處于某些層級的分層級圖像，并且根據來自顯示器側的請求從準備的分層級圖像中選擇處于接近顯示倍率的倍率的圖像數據，以便根據顯示倍率調整倍率。通常，為了圖像質量起見，優(yōu)選地從更高倍率的圖像數據生成顯示數據。
[0093]由于以高分辨率捕獲圖像，因此通過使用用于轉換分辨率的方法來縮小最高分辨率的圖像數據，生成要被顯示的分層級圖像數據。作為用于轉換分辨率的方法，作為二維線性插值處理的雙線性方法、使用三次插值表達的雙三次方法等是廣泛已知的。
[0094]在步驟603中，確定是否顯示分割圖像有關的數據片段之間的邊界。在本發(fā)明(沒有預先準備合成圖像，而是每次選擇要被顯示的分割圖像有關的數據片段)中，希望假定邊界被顯示，并且如果不顯示邊界，則采用用戶選擇是否顯示邊界的配置。
[0095]如果邊界將不被顯示，則過程前進至步驟606。如果分割圖像有關的數據片段之間的邊界將被顯示，則過程前進至步驟604。
[0096]在步驟604中，顯示數據生成單元304生成包括邊界位置有關的信息的圖像數據。更具體而言，通過將使用線和區(qū)域指示相鄰圖像之間的邊界的邊界位置顯示數據疊置在通常顯示的圖像數據上，生成該信息。此時，在顯示時，邊界位置顯示數據優(yōu)先于要被顯示的圖像數據。應指出，分割圖像有關的數據片段中的哪些數據片段在初始狀態(tài)中在顯示時優(yōu)先可根據預定規(guī)則被確定。例如，當四個分割圖像被使用時，例如，右側圖像可優(yōu)先于左側圖像，上側圖像可優(yōu)先于下側圖像，并且左上圖像可優(yōu)先于右下圖像。當多個分割圖像有關的數據片段被使用時，可從右端到左端、然后從下一行(緊接在已被提供編號的行之下的行)的右端提供編號，并且較小的編號可具有較高的優(yōu)先級。這樣的編號的提供可基于用戶的偏愛來進行。例如，編號可被提供為使得包括特定用戶進行的觀察的開始位置的分割圖像有關的數據片段的優(yōu)先級變?yōu)樽罡?。?yōu)先級確定規(guī)則的其它示例包括包含被顯示圖像的中心的分割圖像有關的數據片段的優(yōu)先級變得最高的規(guī)則，以及在初始狀態(tài)中的圖像是非對稱時，占據整個圖像的最大部分的分割圖像有關的數據片段的優(yōu)先級變得最高的規(guī)則。
[0097]在步驟605中，步驟604中生成的圖像數據被輸出到圖像顯示裝置103。要被顯示的輸出圖像數據被顯示在圖像顯示裝置103上。當顯示的圖像數據在顯示之后已由于來自用戶的指令(諸如畫面滾動)而改變時，執(zhí)行以下步驟中的處理和確定。
[0098]在步驟606中，對于分割圖像有關的數據片段之間的多個重疊區(qū)域，確定是否切換要在圖像顯示裝置103上顯示的分割圖像有關的數據片段的選擇，即是否改變要在圖像顯示裝置103上顯示的圖像的優(yōu)先級。如果將不改變優(yōu)先級，則過程前進至步驟609。如果要改變優(yōu)先級，則過程前進至步驟607。
[0099]在步驟607，確定是否已經存在顯示邊界的指令。如果已經存在顯示邊界的指令，則過程返回步驟604。如果不存在顯示邊界的指令，則過程前進至步驟608。應指出，此處理步驟被用于在步驟603中不存在顯示邊界的指令并且在步驟606中優(yōu)先級已經改變時，指示邊界的位置以便使得用戶能夠發(fā)出改變優(yōu)先級的指令。
[0100]在步驟608中，對于分割圖像有關的數據片段之間的多個重疊區(qū)域，改變要在圖像顯示裝置103上顯示的分割圖像有關的數據片段的選擇。即，在此步驟中，改變在圖像顯示裝置103上顯示重疊區(qū)域時的優(yōu)先級。稍后將參照另一流程圖描述優(yōu)先級的改變的細節(jié)。
[0101]在步驟609中，由于不存在關于優(yōu)先級的指令，預定初始值被設定為優(yōu)先級。在不存在來自用戶的顯示邊界的指令以及改變優(yōu)先級的指令的情況下，選擇預定的設定值。例如，位于左側的分割圖像有關的數據片段可優(yōu)先于位于右側的分割圖像有關的數據片段，并且位置較高的分割圖像有關的數據片段可優(yōu)先于位置較低的分割圖像有關的數據片段。
[0102]在步驟610中，基于在步驟608中或步驟609中確定的優(yōu)先級生成要在圖像顯示裝置103上顯示的圖像數據。
[0103]在步驟611中，通過數據輸出單元305將在步驟610中生成的要在圖像顯示裝置103上顯示的圖像數據傳輸至圖像顯示裝置103等。
[0104](優(yōu)先級的改變)
[0105]將參照圖7的流程圖描述圖6中的步驟608示出的優(yōu)先級的改變。
[0106]在步驟701中，對于分割圖像有關的數據片段之間的多個重疊區(qū)域，選擇作為用于選擇要在圖像顯示裝置103上顯示的圖像數據的方法的顯示模式。這里，基本上假定三種模式，即僅用戶選擇的分割圖像有關的數據片段的優(yōu)先級增加的模式，所選擇的分割圖像有關的數據片段的優(yōu)先級增加而其他分割圖像有關的數據片段的優(yōu)先級根據設定條件被確定的模式，以及所選擇的分割圖像有關的數據片段的優(yōu)先級增加而其他分割圖像有關的數據片段的優(yōu)先級可被任意確定的模式。
[0107]在步驟702中，確定是否選擇僅選擇的分割圖像有關的數據片段的優(yōu)先級增加的模式。如果選擇另一顯示模式，則在步驟704中進一步確定顯示條件。如果僅選擇的分割圖像有關的數據片段的優(yōu)先級將被增加，則過程前進至步驟703。
[0108]在步驟703中，僅選擇的分割圖像有關的數據片段的優(yōu)先級增加，并且其他分割圖像的優(yōu)先級保持未改變，以便確定重疊區(qū)域的優(yōu)先級。例如，當已經選擇任意分割圖像有關的數據片段時，使用所選擇的分割圖像有關的數據片段，顯示四個垂直和水平相鄰的圖像數據片段之間存在的所有四個重疊區(qū)域。
[0109]在步驟704中，選擇的分割圖像有關的數據片段的優(yōu)先級增加，然后確定是否根據預定條件改變除了選擇的分割圖像有關的數據片段之外的圖像的優(yōu)先級。如果除了選擇的分割圖像有關的數據片段之外的圖像的優(yōu)先級要被任意設定，則過程前進至步驟705，并且如果除了選擇的分割圖像有關的數據片段之外的圖像的優(yōu)先級要根據預定條件被改變，則過程前進至步驟706。
[0110]在步驟705中，選擇的分割圖像有關的數據片段的優(yōu)先級增加，并且優(yōu)先級被確定為使得在根據預定條件確定除了選擇的分割圖像有關的數據片段之外的重疊區(qū)域的優(yōu)先級的情況下，顯示圖像。
[0111]在步驟706中，選擇的分割圖像有關的數據片段的優(yōu)先級增加，并且優(yōu)先級被確定為使得在任意選擇除了選擇的分割圖像有關的數據片段之外的重疊區(qū)域的優(yōu)先級的情況下，顯示圖像。這里，任意選擇除了選擇的圖像數據片段之外的重疊區(qū)域的優(yōu)先級指的是當使用四個分割圖像有關的數據片段顯示圖像時，確定剩余的第二和第三分割圖像有關的數據片段中的每一個的優(yōu)先級。第四數據片段的優(yōu)先級不可避免地變得最低。
[0112](顯示畫面的布局)
[0113]圖8(a)到8(e)是示出在圖像顯示裝置103上顯示通過本發(fā)明中的圖像處理裝置102生成的圖像數據的示例的示圖。圖8(a)示出圖像顯示裝置103的顯示畫面的布局。在該顯示畫面中，要被詳細觀察的成像對象有關的圖像數據的顯示區(qū)域802、要被觀察的被檢體的縮略圖803以及顯示設定的區(qū)域804在整個窗口 801內被顯示。成像對象的圖像的顯示區(qū)域802以及要被觀察的被檢體的縮略圖803可使用單個文檔界面在將整個窗口 801的顯示區(qū)域分割成功能區(qū)的情況下被顯示，或者使用多文檔界面在以單獨的窗口配置每個區(qū)域的情況下被顯示。要被詳細觀察的成像對象有關的圖像數據在成像對象有關的圖像數據的顯示區(qū)域802中顯示。這里，根據來自用戶的操作指令，顯示區(qū)域被移動，或者通過改變顯示倍率而被放大或縮小的圖像被顯示。縮略圖803指示相對于成像對象的整個圖像的成像對象有關的圖像數據在顯示區(qū)域802中的位置和大小。在顯示設定的區(qū)域804中，例如，顯示設定可通過根據來自觸摸板或者從外部連接的輸入裝置(諸如鼠標411)的用戶指令選擇和按下設定按鈕805來被改變。盡管設定按鈕805被布置在顯示設定的區(qū)域804中，但是作為替代，關于選擇和設定的指令可通過選擇并且指定菜單畫面中的對應項被實現。
[0114]圖8(b)是示出由多個分割圖像有關的數據片段構成的成像對象有關的圖像數據的概念圖。在圖8(b)中，成像對象有關的圖像數據由包括重疊區(qū)域的四個分割圖像有關的數據片段構成。為了便于描述，四個圖像數據片段將被稱為圖像(I)至(4)。這些圖像數據片段包括由陰影指示的重疊區(qū)域。
[0115]圖8(c)是示出其中圖像(I)已被從外部輸入的改變優(yōu)先級的指令選擇的顯示畫面的示意圖。在圖8(c)中，圖像(I)的顯示的的優(yōu)先級最高，因此在圖像(I)和圖像(2)之間的重疊區(qū)域、圖像⑴和圖像⑶之間的重疊區(qū)域以及圖像⑴和圖像⑷之間的重疊區(qū)域中使用圖像(I)的分割圖像有關的數據片段的情況下，顯示成像對象的圖像。顯示時的圖像(2)和圖像(3)的優(yōu)先級是在圖像(I)的優(yōu)先級之后的第二高優(yōu)先級，因此在圖像⑵和圖像⑷之間的重疊區(qū)域中使用圖像⑵的分割圖像有關的數據片段以及在圖像
(3)和圖像(4)之間的重疊區(qū)域中使用圖像(3)的分割圖像有關的數據片段的情況下，顯示成像對象的圖像。圖像(4)不用于顯示重疊區(qū)域。應指出，假定在以下的描述中已經選擇了在其中僅選擇的分割圖像有關的數據片段的優(yōu)先級被改變的模式。
[0116]圖8(d)是示出在圖8(c)被顯示之后已經選擇圖像⑵的顯示畫面的示意圖。在圖8(d)中，圖像⑵、圖像⑴、圖像⑶和圖像⑷被以此順序作為重疊區(qū)域被顯示，以便創(chuàng)建成像對象有關的圖像數據。
[0117]圖8(e)是示出與圖8(c)中所示的顯示畫面不同的、其中在圖8 (C)被顯示之后已經選擇圖像⑵的顯示畫面的示意圖。在圖8(e)中，圖像⑵的顯示時的優(yōu)先級最高，圖像(I)和圖像(4)的顯示時的優(yōu)先級第二高，并且圖像(3)不用于顯示重疊區(qū)域。圖8(d)與圖8(e)之間的不同在于邊界區(qū)域是否匹配，以及邊界是否被顯示為線。
[0118]當在圖8(c)被顯示之后已經選擇圖像(2)時，根據預先選擇的模式或者從外部輸入的指令選擇圖8 (d)或圖8 (e)。
[0119](根據來自外部的指令的顯示的改變)
[0120]圖9(a)到9(c)是示出根據來自外部的指令的顯示畫面的顯示的改變的概念圖。圖9(a)示出顯示區(qū)域802中顯示的成像對象的圖像。如圖9(b)中所示，根據來自外部輸入裝置(諸如，例如鍵盤410或鼠標411)的指令，圖像中的分割圖像之間的邊界以網格顯示。顯示作為上文所述的步驟605中的處理的結果而實現。在圖9(b)中，在使用圖8(c)中所示的被提供優(yōu)先級的四個分割圖像有關的數據片段顯示重疊區(qū)域的情況下顯示成像對象的圖像。
[0121]圖9(c)示出在圖9(b)中已經使用鍵盤410、或鼠標411等選擇成像對象的圖像的右上部區(qū)域時顯示畫面的改變。盡管使用圖8(c)中所示的優(yōu)先級來顯示分割圖像，但是當圖8(c)的其中顯示圖像(2)的區(qū)域已被選擇時，顯示畫面改變?yōu)榕c圖8(d)或者圖8(c)對應的圖9(c)中所不的畫面。改變之后的圖像由來自鍵盤410或者鼠標411的指令確定。作為替代，可在進行初始選擇時確定圖像。應指出，指示分割圖像有關的數據片段之間的邊界的網格線也根據優(yōu)先級的改變被更新。
[0122]在本實施例中，通過在根據來自用戶的指令切換分割圖像有關的數據片段的情況下顯示分割圖像有關的數據片段，防止基于與原始圖像不同的合成圖像中的區(qū)域和邊界的位置的意外診斷。
[0123][第二實施例]
[0124]將參照附圖描述根據本發(fā)明的第二實施例的圖像顯示系統(tǒng)。
[0125]在第一實施例中，通過根據來自外部的用戶指令，從在將成像范圍分割成包括重疊區(qū)域的多個分割圖像的情況下被捕獲的分割圖像有關的數據片段中選擇用于顯示重疊區(qū)域的分割圖像有關的數據片段，生成要被顯示的成像對象有關的圖像數據。在第二實施例中，通過對于在將成像范圍分割成包括重疊區(qū)域的多個分割圖像的情況下被捕獲的分割圖像有關的數據片段基于重疊區(qū)域的顯示的預定優(yōu)先級進行選擇，生成要被顯示的成像對象有關的圖像數據。因此，在第二實施例中，通過根據顯示圖像中的分割圖像有關的數據片段之間的邊界的位置自動選擇要被顯示的分割圖像有關的數據片段，生成要被顯示的成像對象有關的數據。
[0126]在第二實施例中，除了與根據第一實施例的配置不同的配置之外，與第一實施例中所述的配置相同的配置可被使用。
[0127](圖像顯示系統(tǒng)的配置)
[0128]圖16是示出根據本發(fā)明的第二實施例的圖像顯示系統(tǒng)的裝置配置的整體的示圖。
[0129]在圖16中，使用本發(fā)明中的圖像處理裝置的圖像顯示系統(tǒng)由圖像服務器1601、圖像處理裝置102和圖像顯示裝置103構成。圖像處理裝置102可從圖像服務器1601獲得成像對象的分割圖像有關的數據，并且生成要在圖像顯示裝置103上顯示的圖像數據。圖像服務器1601和圖像處理裝置102通過網絡1602經由通用I/F LAN電纜1603相互連接。圖像服務器1601是包括保存通過成像裝置101捕獲的分割圖像有關的數據的大容量存儲裝置的計算機，該成像裝置101是虛擬切片裝置。圖像服務器1601可將分割圖像作為一組圖像保存到與其相連接的本地存儲裝置中，或者可將分割圖像有關的數據進行分割并在網絡上其它地方存在的一組服務器(云服務器)中將分割圖像有關的數據片段本身與鏈接信息相互分離地保持。分割圖像有關的數據不需要被保存至單個服務器。應指出，圖像處理裝置102和圖像顯示裝置103與根據第一實施例的圖像拾取系統(tǒng)中的那些相同。
[0130]盡管在圖16所示的示例中，圖像顯示系統(tǒng)由三個裝置(B卩，圖像服務器1601、圖像處理裝置102和圖像顯示裝置103)構成，但是本發(fā)明并不局限于此配置。例如，可使用圖像顯示裝置可并入其中的圖像處理裝置，或者圖像處理裝置102的功能的一部分可與圖像服務器1601集成。作為替代，圖像服務器1601和圖像處理裝置102的功能可被分割并且由多個裝置實現。
[0131](圖像處理裝置的配置)[0132]圖10是示出本發(fā)明中的圖像處理裝置102的功能配置的框圖。
[0133]圖像處理裝置102示意性地由數據輸入單元1001、存儲保持單元1002、分割圖像數據獲得單元1003、顯示數據生成單元1004、顯示數據輸出單元1005、顯示裝置信息獲得單元1006和優(yōu)先級指定單元1007構成。
[0134]存儲保持單元1002存儲或者保持通過分割成像對象的圖像并且通過捕獲分割圖像經由數據輸入單元1001從作為外部裝置的圖像服務器1601獲得的分割RGB彩色圖像有關的數據。彩色圖像有關的數據不僅包括圖像數據而且還包括位置信息。這里，位置信息是指示成像對象的其圖像已被捕獲作為分割圖像有關的數據的部分的信息。例如，位置信息可通過在圖像被捕獲的同時連同分割圖像有關的數據一起記錄驅動臺架202時的X和y坐標而被獲得。
[0135]分割圖像數據獲得單元1003獲得被存儲保持單元1002存儲或者保持的分割圖像有關的數據以及來自顯示裝置信息獲得單元1006的圖像顯示裝置有關的信息以及諸如顯示區(qū)域的數據。另外，分割圖像數據獲得單元1003將獲得的包括位置信息的分割圖像有關的數據傳輸至顯示數據生成單元1004。
[0136]優(yōu)先級指定單元1007基于從顯示裝置信息獲得單元傳輸的信息以及預定信息，對于在其中分割圖像有關的數據片段重疊的區(qū)域，選擇將使用哪個分割圖像有關的數據片段。從圖像顯示裝置103獲得的信息是指示根據用戶指令的顯示畫面的移動(畫面滾動)以及放大或縮小顯示的狀態(tài)(其是顯示倍率的改變)的值。優(yōu)先級指定單元1007根據此信息計算分割圖像有關的數據片段之間的邊界的位置的改變，并且基于作為該計算的結果的顯示畫面中的邊界的更新位置，在使用預定過程或方法顯示分割圖像有關的數據片段之間的重疊區(qū)域時切換優(yōu)先級。
[0137]顯示數據生成單元1004基于優(yōu)先級指定單元1007指定的優(yōu)先級，根據從分割圖像數據獲得單元1003傳輸的分割圖像有關的數據生成顯示數據。所生成的顯示數據通過數據輸出單元1005被輸出至外部監(jiān)視器等，作為要被顯示的圖像數據。
[0138](圖像的優(yōu)先級的自動切換)
[0139]將參照圖11(a)至11(d)描述本發(fā)明中的圖像處理裝置執(zhí)行的圖像的優(yōu)先級的自動切換的概念。
[0140]圖11(a)示出使用四個分割圖像有關的數據片段構成成像對象有關的圖像數據的示例。為了方便起見，分別從左上至右下對于四個分割圖像有關的數據片段提供編號，即圖像⑴、圖像⑵、圖像⑶和圖像⑷。在圖11(a)中，顯示優(yōu)先級被設定為高的分割圖像有關的數據片段與相鄰的分割圖像有關的數據片段之間的邊界由實線指示，而不被顯示作為重疊區(qū)域的分割圖像有關的數據片段的邊界由虛線指示。在圖11 (a)中，假定圖像(I)的優(yōu)先級最高，圖像(2)和圖像(3)的優(yōu)先級第二高，并且圖像(4)的優(yōu)先級最低。因此，圖像⑴的邊緣成為由實線指示的圖像⑴和圖像⑵之間的邊界。
[0141]圖11(b)示出了在通過用戶的指令和操作顯示畫面已從右滾動到左并且在圖11(a)中位于右上部的圖像(2)在畫面的中心被顯示時的顯示畫面中的變化。在圖11(b)中，在將成像區(qū)域分割成包括重疊區(qū)域的多個分割圖像的情況下捕獲的分割圖像有關的數據片段基于預定顯示條件被選擇并且被顯示在顯示畫面上。在圖11(b)中，圖11(a)中顯示的分割圖像有關的數據片段之間的邊界已如箭頭所示地改變。這里，圖像(I)和圖像(2)之間的邊界的位置已被改變，并且圖像(2)優(yōu)先顯示。
[0142]另外，圖11(c)示出了在顯示畫面的位置已從圖11(a)在右下方向上移動時的改變之后的顯示畫面，并且分割圖像有關的數據片段之間的邊界已如箭頭所示地改變，使得圖像⑷優(yōu)先顯示。
[0143]此外，圖11(d)示出了在顯示畫面已從圖11(a)在向下方向上移動時的改變之后的顯示畫面，并且分割圖像有關的數據片段之間的邊界已如箭頭所示地改變，使得圖像(3)優(yōu)先顯示。
[0144]以下條件中的一個被假定為圖11(a)到11(d)中所示的圖像的優(yōu)先級的自動切換的條件。當分割圖像有關的數據片段之間的邊界的位置超過顯示畫面的中心時，第一條件被滿足。在此情況中，當圖11(a)中用實線指示的邊界(其是圖像⑴和(2)之間的邊界)的位置超過顯示畫面的中心時，顯示重疊區(qū)域時的優(yōu)先級被改變，并且所顯示的圖像被自動切換。當分割圖像有關的數據片段之間的重疊區(qū)域的寬度的中心超過顯示畫面的中心時，第二條件被滿足。當正好位于實線(其是圖像(I)和(2)之間的邊界)和虛線之間的中心的位置超過顯示區(qū)域中顯示的圖像的中心時，顯示時的優(yōu)先級改變，并且重疊區(qū)域的顯示被切換。當分割圖像有關的數據片段的顯示百分比超過特定值時，用于顯示圖像的第三條件被滿足。等于或者大于25%并且小于或者等于50%的分割圖像有關的數據片段的占據整體圖像的百分比可被設定為該特定值。例如，如果顯示畫面從圖11(a)改變到圖11 (C)，在圖⑷的百分比超過25%時，圖(4)優(yōu)先顯示。因此，圖像(2)和⑷之間的邊界的位置以及圖像(3)和(4)之間的邊界的位置被切換。更具體而言，實線指示的邊界的位置改變?yōu)樘摼€，并且虛線指示的邊界的位置改變?yōu)閷嵕€。當優(yōu)先級要根據位于顯示畫面中心的分割圖像有關的數據片段的百分比改變時，使用第四條件。例如，當顯示畫面由九個分割圖像有關的數據片段構成時，位于中心的分割圖像有關的數據片段可優(yōu)先顯示。
[0145](圖像數據的生成)
[0146]將參照圖12的流程圖描述本發(fā)明中的圖像處理裝置執(zhí)行的圖像數據生成過程。
[0147]在步驟1201中，獲得顯示器(其是圖像顯示裝置103)的顯示面積的大小有關的信息(屏幕的分辨率)以及當前顯示的圖像的顯示倍率有關的信息。顯示面積的大小有關的信息用于確定要生成的顯示數據的區(qū)域的大小。顯示倍率是從分層級圖像中選擇圖像數據片段所必需的信息。
[0148]在步驟1202中，從通過數據輸入單元1001接收的并且存儲在存儲保持單元1002中的多個分割圖像有關的數據片段獲得生成要被顯示的圖像數據所必需的分割圖像有關的數據片段。當不同倍率的分割圖像有關的數據片段被分層級地存儲或保持時，基于步驟1201中獲得的顯示區(qū)域有關的信息選擇處于適當層級的分割圖像的數據片段。
[0149]步驟1203至步驟1205中的處理與根據第一實施例的圖6中所示的步驟603至步驟605中的處理相同，因此它們的描述被省略。
[0150]在步驟1206中，確定顯示畫面中是否已經發(fā)生改變(諸如滾動)。如果已經發(fā)生改變，則過程進行至步驟1207。如果沒有發(fā)生改變，則在使用計時器等確定經過了適當時間段之后，再次進行步驟1206中的對于顯示畫面的改變的確定。
[0151]在步驟1207中，確定分割圖像有關的數據片段之間的重疊區(qū)域的優(yōu)先級是否需要根據顯示畫面的改變而改變。對于此必要性的確定是通過與參照圖11(a)至(d)描述的條件進行比較而作出的。如果優(yōu)先級將不改變，則過程前進至步驟1209，并且如果優(yōu)先級將改變，則過程前進至步驟1208。
[0152]在步驟1208中，對于多個分割圖像有關的數據片段之間的重疊區(qū)域，需要時根據條件校正選擇重疊區(qū)域時的優(yōu)先級。將參照圖13的流程圖描述優(yōu)先級的改變的細節(jié)。
[0153]在步驟1209中，對于分割圖像有關的數據片段之間的多個重疊區(qū)域設定初始條件或者當前優(yōu)先級。
[0154]在步驟1210中，基于步驟1208或者步驟1209中確定的優(yōu)先級，生成要在圖像顯示裝置103上顯示的圖像數據。更具體而言，要被顯示的圖像數據被生成為使得優(yōu)先級高的分割圖像有關的數據片段的重疊區(qū)域被顯示。
[0155]在步驟1211中，在步驟1210中生成的要被顯示的圖像數據通過數據輸出單元305被傳輸至圖像顯示裝置103等。
[0156](優(yōu)先級的改變)
[0157]將參照圖13的流程圖描述圖12中所示的步驟1208中描述的顯示重疊區(qū)域時的優(yōu)先級的改變。在圖13中，顯示分割圖像有關的數據片段之間的重疊區(qū)域時的優(yōu)先級在考慮滾動方向的情況下增加。如參照圖11(a)到11(d)描述的，基于任意分割圖像有關的數據片段在顯示區(qū)域中的顯示百分比以及邊界位置的改變，進行優(yōu)先級的改變。
[0158]在步驟1301中，選擇在圖像顯示裝置上顯示分割圖像有關的數據片段之間的多個重疊區(qū)域的顯示模式。
[0159]在步驟1302中，確定是否根據邊界位置的改變增加位于顯示區(qū)域中心的分割圖像有關的數據片段的顯示時的優(yōu)先級。如果位于顯示畫面區(qū)域中心的分割圖像的數據片段的優(yōu)先級將不增加，則過程進行到步驟1304，并且如果優(yōu)先級要增加，則過程進行到步驟1303。順便提及，當畫面的分區(qū)數量為4時，任何模式的選擇都不改變顯示畫面。當分區(qū)數量大于4時，顯示的重疊區(qū)域改變。
[0160]在步驟1303中，優(yōu)先級被改變?yōu)槭沟脻L動方向上的分割圖像有關的數據片段的顯示優(yōu)先級增加，并且位于顯示畫面區(qū)域中心的分割圖像有關的數據片段的在顯示時的優(yōu)先級增加。
[0161]在步驟1304中，優(yōu)先級被改變?yōu)槭沟脻L動方向上的分割圖像有關的數據片段的在顯示時的優(yōu)先級增加，并且如下這樣的圖像的在顯示時的優(yōu)先級增加，該圖像的在其中顯示分割圖像有關的數據片段的區(qū)域的相對于顯示畫面區(qū)域的百分比超過預定值。
[0162]在本實施例中，通過在檢測顯示畫面的更新狀態(tài)的同時自動改變分割圖像有關的數據片段的優(yōu)先級，并且通過切換用于顯示的重疊區(qū)域，可防止如下狀況，即由于不同于原始圖像的合成圖像中的邊界和區(qū)域的位置而使得準確診斷變得困難。
[0163][第三實施例]
[0164]在第三實施例中，使用如下這樣的圖像處理裝置，該圖像處理裝置根據用途選擇并顯示通過選擇分割圖像有關的數據片段而生成的要被顯示的圖像數據，或者通過組合分割圖像有關的數據片段而獲得的合成圖像有關的顯示數據。在顯示倍率低時尤其顯示合成圖像，并且在顯示倍率高時使用重疊區(qū)域的切換來顯示圖像。當顯示倍率低時，使用插值處理等來組合分割圖像有關的數據片段，然后通過轉換分辨率來生成縮小的圖像，并且該縮小的圖像被用作要被顯示的圖像數據。當顯示倍率高時，如上所述，通過選擇分割圖像有關的數據片段來生成要被顯示的圖像數據。為此，畫面可被以低顯示倍率平滑地滾動，并且顯示倍率可平滑地改變，并且在高倍率下，可防止基于在分割圖像有關的數據片段之間的邊界處的圖像進行意外的診斷。
[0165](圖像處理裝置的配置)
[0166]圖14是示出根據第三實施例的圖像處理裝置102的功能配置的框圖。
[0167]圖像處理裝置102示意性地由數據輸入單元1401、存儲保持單元1402、分割圖像數據獲得單元1403、合成圖像生成單元1404、顯示圖像選擇單元1405、顯示數據輸出單元1406和優(yōu)先級指定單元1409構成。
[0168]存儲保持單元1402存儲或者保持通過分割成像對象的圖像并且通過捕獲分割圖像通過數據輸入單元1401從由虛擬切片裝置代表的成像裝置101或作為外部裝置的圖像服務器1601獲得的分割RGB彩色圖像有關的數據。彩色圖像有關的數據不僅包括圖像數據而且還包括位置信息。如上所述，位置信息是指示成像對象整體的圖像區(qū)域的其圖像已被捕獲作為分割圖像有關的數據的部分的信息。
[0169]分割圖像數據獲得單元1403獲得由存儲保持單元1402存儲或保持的分割圖像有關的數據以及來自顯示裝置信息獲得單元1408的圖像顯示裝置有關的信息和諸如顯示區(qū)域的數據。
[0170]合成圖像生成單元1404從彩色圖像有關的數據片段(分割圖像有關的數據片段)基于分割圖像有關的數據片段中的每一個的位置信息生成成像對象的合成圖像有關的數據，該關于彩色圖像的數據片段是通過分割成像對象的圖像并且通過捕獲分割圖像而獲得的。執(zhí)行組合處理的方法包括將部分圖像有關的數據片段相互組合的方法，使部分圖像有關的數據片段相互疊置的方法，對部分圖像有關的數據片段進行α混合的方法，以及使用插值處理使部分圖像有關的數據片段平滑地相互組合的方法。用于組合相互重疊的多個圖像數據片段的方法包括基于關于臺架的位置信息來將多個圖像數據片段定位并相互組合的方法，在使多個分割圖像的對應點或線相關聯的同時將多個圖像數據片段相互組合的方法，以及基于分割圖像有關的數據片段的位置信息將多個圖像數據片段相互組合的方法。疊置通常指的是將一個圖像數據片段置于另一個圖像數據片段上。用于疊置多個圖像數據片段的方法包括其中多個圖像數據片段中的一些或全部在包含重疊的圖像數據片段的區(qū)域中重疊的情況。α混合指的是使用系數(α值)組合兩個圖像。用于將部分圖像有關的數據片段平滑地相互組合的方法包括使用恒定插值的處理、使用線性插值的處理、以及使用高次插值的處理。為了將圖像平滑地相互組合，優(yōu)選地使用高次插值對圖像進行處理。
[0171]顯示數據生成單元1410基于通過用戶指定輸入單元1407和顯示裝置信息獲得單元1408獲得的信息以及通過優(yōu)先級指定單元1409指定的分割圖像有關的數據片段的優(yōu)先級指令，生成要被顯示的圖像數據。
[0172]顯示圖像選擇單元1405選擇是顯示通過組合圖像生成單元1404生成的合成圖像的數據，還是顯示在不執(zhí)行組合處理的情況下通過基于優(yōu)先級布置通過顯示數據生成單元1410生成的分割圖像有關的數據片段而生成的要被顯示的圖像數據。所選擇的要被顯示的圖像數據作為要被顯示的圖像數據通過顯示數據輸出單元1406被傳輸至外部監(jiān)視器等。
[0173](圖像數據的生成)
[0174]將參照圖15的流程圖描述本發(fā)明中的圖像處理裝置執(zhí)行的圖像數據生成過程。[0175]在步驟1501中，獲得關于作為圖像顯示裝置103的顯示器的顯示面積的大小的信息(屏幕的分辨率)以及關于當前顯示的圖像的顯示倍率的信息。關于顯示面積的大小的信息被用于確定要生成的顯示數據的區(qū)域的大小。顯示倍率是從分層級圖像中選擇圖像數據片段所必需的信息。
[0176]在步驟1502中，從通過數據輸入單元1401接收的并且存儲于存儲保持單元1402中的多個分割圖像有關的數據片段獲得生成要被顯示的圖像數據所必需的分割圖像有關的數據片段。當不同倍率的分割圖像有關的數據片段被分層級地存儲或保持時，基于在步驟1501中獲得的關于顯示區(qū)域的信息選擇處于適當層級的分割圖像有關的數據片段。另夕卜，獲得用于在步驟1503中生成合成圖像所必需的分割圖像有關的數據片段。
[0177]在步驟1503中，執(zhí)行組合分割圖像有關的數據片段的處理以便生成合成圖像有關的數據。
[0178]在步驟1504中，確定分割圖像有關的數據片段之間的重疊區(qū)域的優(yōu)先級是否需要根據顯示畫面的改變而改變。如果優(yōu)先級不需要改變，則過程進行至步驟1506，而如果優(yōu)先級需要改變，則過程進行至步驟1505。
[0179]在步驟1505中，對于多個分割圖像有關的數據片段之間的重疊區(qū)域，根據條件或用戶指令改變選擇重疊區(qū)域時的優(yōu)先級。分割圖像有關的數據片段的優(yōu)先級可如第一實施例中那樣根據來自外部的指令被改變，或者如第二實施例中那樣基于預定條件被改變。
[0180]在步驟1506中，對于分割圖像有關的數據片段之間的多個重疊區(qū)域設置初始狀態(tài)或當前優(yōu)先級。
[0181]在步驟1507中，基于確定的優(yōu)先級生成要在圖像顯示裝置103上顯示的圖像數據。這里生成的要顯示的圖像數據是基于顯示重疊區(qū)域時的優(yōu)先級生成的，并且在其中布置有分割圖像有關的數據片段。
[0182]在步驟1508中，確定是選擇步驟1503中生成的合成圖像還是選擇步驟1507中基于優(yōu)先級生成的要被顯示的圖像作為要被顯示的圖像數據。如果合成圖像有關的數據將被選擇作為要被顯示的圖像數據，過程進行至步驟1510，而如果要基于上述優(yōu)先級改變邊界的位置并且要選擇其中布置有分割圖像有關的數據片段的要被顯示的圖像數據，則過程進行至步驟1509。
[0183]在步驟1509中，通過選擇分割圖像有關的數據片段在步驟1507中生成的要被顯示的圖像數據被選擇作為要被顯示在圖像顯示裝置103上的圖像數據。
[0184]在步驟1510中，步驟1503中生成的合成圖像有關的數據被選擇作為要被顯示在圖像顯示裝置103上的圖像數據。
[0185]在步驟1511中，步驟1509和1510中選擇的要被顯示的圖像數據被輸出至圖像顯示裝置103。
[0186]在本實施例中，通過根據用途選擇和顯示通過選擇分割圖像有關的數據片段而生成的要被顯示的圖像數據，或者通過組合分割圖像有關的數據片段而獲得的合成圖像有關的顯示數據，畫面可被以低顯示倍率平滑地滾動，并且顯示倍率可平滑地改變，并且在高倍率下，可防止基于分割圖像有關的數據片段之間的邊界處的圖像進行意外的診斷。
[0187][其它實施例]
[0188]本發(fā)明的目的可通過以下方式實現。即，在其上記錄用于實現根據上述實施例的功能的全部或一部分的軟件的程序代碼的記錄介質(或者存儲介質)被供給系統(tǒng)或裝置。該系統(tǒng)或裝置的計算機(或CPU或MPU)然后讀取并執(zhí)行記錄介質中存儲的程序代碼。在此情況中，從記錄介質讀取的程序代碼本身實現了根據上述實施例的功能，并且在其上記錄該程序代碼的記錄介質構成本發(fā)明。
[0189]另外，當計算機已執(zhí)行讀取的程序代碼時，在計算機上操作的操作系統(tǒng)(OS)等基于來自程序代碼的指令執(zhí)行實際處理的一部分或全部。通過該處理實現根據上述實施例的功能的情況也可被包含在本發(fā)明中。
[0190]此外，假定從記錄介質讀取的程序代碼被寫入插入計算機的功能增強卡或者連接到計算機的功能增強單元中包含的存儲器。功能增強卡中或者功能增強單元中包含的CPU等然后基于來自程序代碼的指令執(zhí)行實際處理的一部分或全部以及通過該處理實現的根據上述實施例的功能的情況也可被包含在本發(fā)明中。
[0191]當本發(fā)明被應用于記錄介質時，記錄介質存儲對應于上述流程的程序代碼。
[0192]另外，第一到第三實施例中描述的配置可相互組合。例如，可采用如下配置，其中圖像處理裝置連接到成像裝置和圖像服務器兩者，因此用于處理的圖像可被從任一裝置獲得。另外，通過適當組合上述實施例中的各種技術而獲得的配置也可被包含在本發(fā)明的范圍中。
[0193]本發(fā)明并不局限于上述實施例，并且可在不背離本發(fā)明的精神和范圍的情況下被以各種方式修改和改變。因此，附上以下權利要求以公開本發(fā)明的范圍。
[0194]本申請要求2011年12月27日提交的日本專利申請N0.2011-286786以及2012年12月26日提交的日本專利申請N0.2012-282782的權益，該兩個申請通過引用而全文并入此。
[0195]附圖標記列表
[0196]101 成像裝置
[0197]102 圖像處理裝置
[0198]103 圖像顯示裝置
[0199]303 分割圖像數據獲得單元
[0200]304 顯示數據生成單元
[0201]306 用戶指令輸入單元
[0202]307 優(yōu)先級指定單元
[0203]1003分割圖像數據獲得單元
[0204]1004顯示數據生成單元
[0205]1007優(yōu)先級指定單元
[0206]1403分割圖像數據獲得單元
[0207]1404合成圖像生成單元
[0208]1405顯示圖像選擇單元
[0209]1409優(yōu)先級指定單元
[0210]1410顯示數據生成單元
【權利要求】
1.一種圖像處理裝置，基于成像對象的分割圖像有關的數據片段生成要被顯示的成像對象有關的圖像數據，所述分割圖像有關的數據片段是通過捕獲成像范圍以使得所述分割圖像有關的數據片段包括重疊區(qū)域而獲得的，該圖像處理裝置包括: 圖像數據獲得單元，獲得多個分割圖像有關的數據片段； 圖像數據選擇單元，對于重疊區(qū)域中的每一個，基于預定條件從所述多個分割圖像有關的數據片段中自動選擇要被顯示的圖像數據片段；以及 顯示控制單元，使用通過圖像數據選擇單元選擇的分割圖像有關的數據片段在圖像顯示裝置上顯示重疊區(qū)域中的每一個。
2.根據權利要求1所述的圖像處理裝置， 其中，預定條件是基于要在圖像顯示裝置上顯示的分割圖像有關的數據片段的邊界的位置的改變的。
3.根據權利要求1所述的圖像處理裝置， 其中，預定條件是基于要在圖像顯示裝置上顯示的分割圖像有關的數據片段的顯示百分比的改變的。
4.根據權利要求1所述的圖像處理裝置， 其中，圖像處理裝置被用于虛擬切片系統(tǒng)。
5.根據權利要求1或4所述的圖像處理裝置， 其中，圖像數據選擇單元還能夠根據來自外部的用戶輸入的指令選擇分割圖像有關的數據片段。
6.根據權利要求1至5中任一項所述的圖像處理裝置，進一步包括: 切換單元，對于重疊區(qū)域中的每一個，在通過從所述多個分割圖像有關的數據片段中選擇要被顯示的圖像數據片段而生成的成像對象有關的圖像數據與通過組合多個分割圖像而生成的成像對象的合成圖像有關的數據之間切換要顯示的數據。
7.一種圖像顯示系統(tǒng)，包括: 圖像處理裝置；以及 圖像顯示裝置， 其中，所述圖像處理裝置是根據權利要求1-6中任一項所述的圖像處理裝置，并且 其中，所述圖像顯示裝置基于從該圖像處理裝置傳輸的成像對象有關的圖像數據選擇并顯示分割圖像。
8.根據權利要求7所述的圖像顯示系統(tǒng)，其中， 所述圖像顯示系統(tǒng)顯示所顯示的分割圖像的邊界。
9.一種圖像處理方法，該方法包括: 圖像數據獲得處理，獲得成像對象的分割圖像有關的數據片段，所述分割圖像有關的數據片段是通過捕獲成像范圍以使得所述分割圖像有關的數據片段包括重疊區(qū)域而獲得的； 圖像數據選擇處理，對于重疊區(qū)域中的每一個，基于預定條件從多個分割圖像有關的數據片段中自動選擇要被顯示的圖像數據片段；以及 顯示圖像數據生成處理，在重疊區(qū)域中的每一個中使用在圖像數據選擇處理中選擇的分割圖像有關的數據片段生成成像對象有關的圖像數據。
10.一種使得計算機執(zhí)行處理的程序，包括: 圖像數據獲得步驟，獲得成像對象的分割圖像有關的數據片段，所述分割圖像有關的數據片段是通過捕獲成像范圍以使得所述分割圖像有關的數據片段包括重疊區(qū)域而獲得的； 圖像數據選擇步驟，對于重疊區(qū)域中的每一個，基于預定條件從多個分割圖像有關的數據片段中自動選擇要被顯示的圖像數據片段；以及 顯示圖像數據生成步驟，在重疊區(qū)域中的每一個中使用在圖像數據選擇步驟中選擇的分割圖像有關的數據片段生成 成像對象有關的圖像數據。
11.一種計算機可讀存儲介質，根據權利要求10的程序被記錄在該計算機可讀存儲介質中。
【文檔編號】G06T3/00GK104011531SQ201280065019
【公開日】2014年8月27日 申請日期:2012年12月27日 優(yōu)先權日:2011年12月27日
【發(fā)明者】辻本卓哉, 谷崇男 申請人:佳能株式會社