遠程視覺檢查圖像捕獲系統和方法與流程

本公開一般涉及用于設備和設施的檢查的內窺鏡系統，以及更具體來說涉及由內窺鏡系統進行的圖像捕獲。

背景技術：

諸如發電設備或設施、石油和天然氣設備和設施、飛行器設備和設施、制造設備和設施等的某些設備和設施包含多個相互關連的系統和過程。例如，發電廠可包含渦輪機系統以及用于操作和維護渦輪機系統的過程。同樣，石油和天然氣操作可包含經由管線所互連的含碳燃料回收系統(retrieval system)和處理設備。類似地，飛機系統可包含在保持適航性和提供維護支持中有用的飛機和維護棚。

某些技術、例如無損檢查技術或無損測試(NDT)技術可用來檢查和促進這類設備和設施的維護。更具體來說，這類技術可利用諸如內窺鏡、管道鏡、搖攝-傾斜變焦照相裝置、推送照相裝置等的遠程視覺檢查裝置來檢查內部，而無需拆卸各種各樣的設備和設施。例如，內窺鏡可用來檢查汽車引擎的內部特征(例如對象或表面)。更具體來說，遠程視覺檢查系統(例如內窺鏡)可插入設備或設施的各種開口中，以提供照明、視覺觀察和/或捕獲設備或設施的內部的圖像。

相應地，例如通過增加所捕獲圖像的可用性來改進遠程視覺檢查系統的圖像捕獲能力將會是有益的。

技術實現要素：

下面概述其范圍與最初要求保護的本發明相稱的某些實施例。這些實施例不意圖限制要求保護的本發明的范圍，但是這些實施例而是僅意圖提供本發明的可能形式的簡單的總結。實際上，本發明可囊括可與下面闡述的實施例類似或不同的多種形式。

第一實施例提供一種有形的非暫時的計算機可讀媒介，其存儲由內窺鏡的處理器可運行的指令。指令包含用于下列的指令：使用內窺鏡中的成像器以第一亮度級來捕獲第一多個圖像,同時顯示至少部分基于第一多個圖像的即時視頻；使用處理器通過對第一多個圖像平均或合計來生成基線圖像；使用成像器以多個亮度級來捕獲第二多個圖像，其中多個亮度級與第一亮度級不同；以及使用處理器至少部分基于基線圖像和第二多個圖像來生成高動態范圍圖像，其中高動態范圍圖像包括比基線圖像更不飽和的像素。

第二實施例提供一種遠程視覺檢查系統中的處理器，其通過對第一多個圖像平均或合計來生成基線圖像，其中第一多個圖像使用遠程視覺檢查系統的成像器以第一亮度級來捕獲，至少部分基于第一多個圖像來生成即時視頻饋送，并且使用來自基線圖像的不飽和像素數據以及來自第二多個圖像的至少一個的不飽和像素數據來生成高動態范圍圖像，其中第二多個圖像使用成像器以與第一亮度級不同的亮度級來捕獲。

第三實施例提供一種遠程視覺檢查系統，其包含：成像器，其通過將光轉換為模擬圖像數據來提供圖像；模數轉換器，其將模擬圖像數據轉換成數字圖像數據；以及處理器，其捕獲和處理數字圖像數據，以生成多個圖像。遠程視覺檢查系統還包含顯示器，其顯示描繪接近成像器的特征的即時視頻，其中即時視頻至少部分基于使用成像器以第一亮度級所捕獲的圖像，其中所捕獲的圖像用來生成基線圖像,并且其將由處理器所生成的多個圖像作為縮略圖來顯示，其中多個圖像包含基線圖像和高動態范圍圖像，其通過替換基線圖像中的飽和像素來生成。

附圖說明

在參照附圖閱讀下面的詳細描述，將變得更好地理解本發明的這些及其他特征、方面和優點，附圖中，相似字符在附圖中通篇表示相似部件，附圖包括：

圖1是圖示按照實施例的內窺鏡系統的框圖；

圖2是按照實施例的用于在圖1的內窺鏡系統中生成圖像的過程的流程圖；

圖3是按照實施例的用于在圖1的內窺鏡系統中生成圖像的備選過程的流程圖；

圖4是按照實施例的由圖1的內窺鏡系統所顯示的多個所捕獲圖像的屏幕視圖；以及

圖5是按照實施例的用于顯示圖4的屏幕視圖的過程的流程圖。

具體實施方式

下面將描述本發明的一個或多個特定實施例。致力于提供這些實施例的簡明描述，本說明書中可能沒有描述實際實現的所有特征。應當領會，在任何這種實際實現的開發中，如同任何工程或設計項目中，必須進行許多實現特定的判定以便實現開發人員的特定目標，例如符合系統相關和業務相關約束，這些目標可從一個實現變化到另一個。此外，應當領會，這種開發努力可能是復雜的且費時的，但對于獲益于本公開的技術人員仍然將會是設計、制作和制造的常規事務。

在引入本發明的各個實施例的元件時，冠詞“一”、“一個”、“該”和“所述”意圖表示存在元件的一個或多個。術語“包括”、“包含”和“具有”意圖包含在內，并且表示可存在除了所列的元件之外的附加元件。

本公開的實施例可應用于多種檢查技術和系統，包含無損測試(NDT)技術/系統。在NDT系統的一些實施例中，遠程視覺檢查系統(例如內窺鏡)可用來促進設備和設施(例如發電設備和設施、石油和天然氣設備和設施以及飛行器設備和設施)的測試和/或檢查。更具體來說，遠程視覺檢查系統可提供與設備或設施的內部特征(例如對象或表面)相關的照明、可視化和/或其他數據。

為了促進這類功能，遠程視覺檢查系統通常包含照明裝置(例如光源)和圖像捕獲裝置(例如成像器)。更具體來說，成像器可用來捕獲接近成像器的特征、對象或表面的圖像和/或視頻。例如，當內窺鏡探頭插入到汽車引擎中時，成像器可用來捕獲引擎內部的閥的圖像。由于內部特征常常阻隔外部光，所以光源、例如發光二極管(LED)可在圖像和/或視頻捕獲期間為成像器提供照明。如能夠領會，在一些實施例中，照明可由外部源、例如外部照明裝置或自然光來提供。

基于這些所捕獲圖像，遠程視覺檢查系統的用戶則可執行設備或設施的測試和/或檢查。例如，檢查圖像可用來提供汽車引擎中的閥的視覺描繪。另外，測量圖像可用來生成閥的3D表示(例如點云數據/圖像或深度剖面(profile))。更具體來說，測量圖像可采取若干不同形式。例如，立體測量圖像可通過立體光學器件與單個成像器或者與各具有它們自己的光學器件的多個成像器的使用來捕獲。另外，可在光圖案投射到被查看表面或對象時捕獲結構化光測量圖像。更具體來說，所投射光圖案可在所捕獲圖像中檢測，并且用來確定3D表面數據。

各種技術可用來投射結構化光圖案。例如，在一些實施例中，結構化光圖案可使用均勻檢查光源來投射。在其他實施例中，單獨光源、例如發射器模塊可用來僅在測量圖像捕獲期間投射結構化光圖案。在另外的實施例中，當結構化光圖案相對于均勻檢查光具有充分強度時，單獨光源可與均勻檢查光源同時啟用。這種結構化光圖案可包含使用準直光源(例如具有圖案生成光學元件(例如衍射光學器件)的激光器)所生成的線條或點。更進一步，當由均勻檢查光源所提供的照明可降低所投射的結構化光圖案的可用性時，均勻檢查光源可在啟用結構化光源時被停用。當結構化光圖案的譜與均勻檢查光源的譜重疊或者不能易于區分時，情況通常將會是這樣。

但是，在一些情況下，可阻礙所捕獲圖像的可用性，因為它們沒有準確捕獲目標特征。更具體來說，所捕獲圖像的部分或全部可以是飽和亮或飽和暗，這可使目標特征的細節模糊。例如，汽車引擎內部的焊接可因焊接的高反射率而使圖像為飽和亮(例如“模糊”)。

相應地，本公開的一個實施例描述一種遠程視覺檢查系統，其以第一亮度級來捕獲第一多個圖像同時顯示至少部分基于第一多個圖像的即時視頻，并且通過對第一多個圖像平均或合計來生成基線圖像。另外，遠程視覺檢查系統以多個亮度級來捕獲第二多個圖像，其中多個亮度級與第一亮度級不同，并且至少部分基于基線圖像和第二多個圖像來生成高動態范圍圖像，使得高動態范圍圖像包括比基線圖像更不飽和的像素。

換言之，如下面將更詳細描述，本文所述技術通過生成具有更不飽和像素的高動態范圍圖像來改進由遠程視覺檢查系統所捕獲的圖像的可用性。因此，高動態范圍圖像允許目標特征的細節更易于識別。此外，可通過基于多個圖像生成高動態范圍圖像來改進生成高動態范圍圖像的效率,該多個圖像被捕獲同時在顯示即時視頻。例如，在一些實施例中，多個圖像可連續被捕獲，并且甚至在接收任何捕獲圖像命令之前作為合計或平均圖像來存儲或者個別存儲。

為了幫助圖示，圖1描述可利用本文所述的技術的內窺鏡系統10。在一些實施例中，內窺鏡系統10可以是從通用電氣公司(斯卡奈塔，NY)可得到的XL GO+ VideoProbe、XLG3 VideoProbe、XL Vu VideoProbe等。應當領會，雖然本實施例描述一種內窺鏡系統，但是該內窺鏡系統只是意圖是說明性的。換言之，其他適當遠程視覺檢查系統(例如搖攝-傾斜-變焦照相裝置、推送照相裝置或管道鏡)也可利用本文所述的技術。

如所描繪，內窺鏡系統10包含插入管12和基本組合件14。如本文所使用的插入管12描述內窺鏡系統10中插入到設備或設施中的部分。因此，插入管12通常是長的和/或柔性的，并且包含探頭(例如尖端)15的遠尖端中的成像組件。更具體來說，在一些實施例中，探頭15可以是在插入管12的遠端處的可分離部分。另一方面，基本組合件14通常包含用于處理由插入管12的組件(例如圖像處理組件)所采集的電子電路系統。

相應地，如所描繪，插入管12包含成像器16、成像器電子器件18、透鏡20、發射器模塊22、光纖束24和擴散器26。在一些實施例中，內窺鏡系統10可經由光纖束24和擴散器26將擴散的或均勻光圖案投射到探頭15的遠端的前面的目標特征(例如表面或對象)上。例如，光纖束24可經過插入管12來攜帶由白光源28所產生的光，并且擴散器26可將均勻光圖案投射到表面或對象上。在一些實施例中，白光源28可以是發光二極管(LED)。如同所描繪的實施例中一樣，白光源28可位于基本組合件14中。備選地，白光源28也可包含在插入管12或探頭尖端15中。

除了提供擴散的或均勻光圖案之外，內窺鏡系統10還可將結構化光圖案投射到探頭尖端15的遠端的前面的表面或對象(例如特征)上。在一些實施例中，所投射的結構化光圖案可包含具有正弦強度的平行明與暗線條(例如區域)的圖案。另外地或備選地，光圖案可具有正方形剖面、梯形剖面、三角形剖面、彎曲線條、波形線條、曲折線條或者可用來生成3D點云數據的任何其他這種圖案。

在一些實施例中，結構化光圖案可經由發射器模塊22來投射。更具體來說，發射器模塊22可包含一個或多個發光元件、例如LED。例如，發射器模塊22可包含輸出光的單個發光元件，光經過強度調制元件、例如線條光柵，以生成結構化光圖案。另外地或備選地，發射器模塊22可包含多個發光元件，其在策略上放置成生成結構化光圖案。此外，發射器模塊可產生多個不同的結構化光圖案，使得每個結構化光圖案相對于其他結構化光圖案經過相移。

對發射器模塊22的操作的控制可由發射器驅動器30來提供。更具體來說，發射器驅動器30可有選擇地向發射器模塊22供應功率，以產生結構化光圖案。例如，當發射器模塊22包含多個發光元件時，發射器驅動器30可有選擇地向發光元件的每個供應功率，以產生不同的結構化光圖案。如上所述，在一些實施例中，在向發射器模塊22中的發光元件供電時，可停用白光源28，以降低從擴散器26所輸出的光降低所投射的結構化光圖案的對比度的可能性。在一些實施例中，可捕獲和處理結構化光圖像，以確定3D表面數據。

如上所述，成像器16連同成像器電子器件18一起可用來基于投射到插入管12的遠端的前面的表面或對象上的光圖案來捕獲不同圖像。更具體來說，透鏡20可將光聚焦到成像器16上，以及成像器16可包含光敏像素的二維陣列，其輸出模擬圖像數據(例如模擬信號)，以指示在每個像素所感測的光等級。因此，成像器16可以是電荷耦合裝置(CCD)圖像傳感器、互補金屬氧化物半導體(CMOS)圖像傳感器或者具有類似功能的圖像傳感器。

換言之，成像器16可促進靜止圖像和/或視頻的捕獲和顯示。例如，成像器16可用來在投射均勻或擴散的光圖案時捕獲檢查圖像。另一方面，成像器16可用來在投射結構化光圖案時捕獲測量圖像。另外，在一些實施例中，多個透鏡20和多個成像器16可用來捕獲立體圖像。在其他實施例中，立體圖像可使用具有立體透鏡系統(其可包含圖像分束棱鏡、平行透鏡系統和反射鏡)的單個成像器16來捕獲。

為了促進圖像和/或視頻的捕獲和顯示，基本組合件14中的組件可處理由成像器電子器件18所輸出的模擬圖像數據，并且向插入管12中的組件供應控制命令(例如指令)。為了促進這類功能，如所描繪，基本組合件14包含白光源28、發射器驅動器30、成像器接口32、微控制器34、視頻處理器36、中央處理單元(CPU)38、存儲器40、存儲裝置42、操縱桿44、小鍵盤46、網絡接口48和顯示器50。

在操作中，成像器電子器件18可緩沖由成像器16所輸出的模擬圖像數據并且將其傳遞給成像器接口32。成像器接口32然后可將模擬圖像數據轉換為數字圖像數據，用于由視頻處理器36進一步處理。相應地，成像器接口32可包含模數轉換器。在一些實施例中，成像器接口32還可包含模擬增益電路系統和相互關連雙取樣器。

除了處理模擬圖像數據之外，成像器接口32還可向成像器16傳送控制命令。更具體來說，成像器接口32可將控制命令從微控制器34中繼給成像器16。例如，微控制器34可指示成像器16經由成像器接口32以特定亮度級來捕獲圖像。更具體來說，當成像器16是CCD成像器時，指令可采取模擬快門控制信號的形式。另外地或備選地，當成像器16是CMOS成像器時，指令可以是使用I2C、SPI或者其他這種通信接口的串行化消息數據分組。換言之，微控制器34通常可控制成像器16的操作。

另外，微控制器34還可控制成像器接口32、發射器驅動器30和白光源28的操作。例如，微控制器34可指示發射器驅動器30經由發射器模塊22來產生結構化光圖案，其用于捕獲測量圖像。類似地，微控制器34可指示白光源28產生均勻光圖案，其用于捕獲檢查圖像。如上所述，結構化光圖案和均勻光圖案可同時或者在不同時間輸出。換言之，微控制器34通常可協調和控制圖像的捕獲。

如上所述，視頻處理器36可處理由成像器接口32所輸出的數字圖像數據。在一些實施例中，視頻處理器36可以是由Texas Instruments (Dallas，TX)所提供的TMS320DM642視頻/成像定點數字信號處理器。更具體來說，視頻處理器36可執行諸如圖像捕獲、顏色矩陣處理、伽馬處理、生成視頻數據和運動檢測的功能。例如，視頻處理器36可通過將數字圖像數據存儲在存儲器40和/或存儲裝置42中來捕獲圖像。

另外，視頻處理器36可通過將第一圖像與相同類型的第二圖像(例如檢查圖像或測量圖像)進行比較來檢測運動。另外地或備選地，視頻處理器36可識別測量圖像中的銳亮度轉變點的位置，并且將它與檢查圖像中的銳亮度轉變的位置進行比較。在一些實施例中，移動量可基于在圖像之間是不同的像素值的數量和/或特征在圖像之間已經移動的像素的數量。例如，在像素位置(50, 50)的第一像素中和在相對相同位置(例如像素位置(51, 50）或(49, 50))的第二圖像中描繪特征的可識別的細節(例如銳亮度轉變)時，可確定尚未存在圖像之間的充分移動。另一方面，在基本上不同位置(例如像素位置(60, 50))的第二圖像中描繪特征的可識別的細節(例如銳亮度轉變)時，可確定存在圖像之間的充分移動。

此外，視頻處理器36可格式化數字圖像數據，并且向顯示器50輸出圖像數據。基于圖像數據，顯示器50則可顯示由成像器16所捕獲的靜止圖像。此外，視頻處理器36可利用數字圖像數據來生成視頻數據，并且向顯示器50輸出視頻數據。基于視頻數據，顯示器50可顯示即時視頻。在一些實施例中，視頻數據可以是BT656視頻格式，以及視頻數據中攜帶的數據可具有422YCRCB數據格式。另外，在一些實施例中，顯示器50可以是可分離的，而在其他實施例中，顯示器50可以是基本組合件14或內窺鏡系統10的組成部分。

除了向顯示器50供應圖像數據和/或視頻數據之外，CPU 38可從視頻處理器36接收圖像數據用于進一步處理。在一些實施例中，CPU 38可以是由Intel Corp. (Santa Clara，CA)所提供的Pentium M處理器。換言之，與視頻處理器36相比，CPU 38可具有更大的處理能力。相應地，CPU 38可執行諸如幀平均、縮放、圖像縮放、覆蓋、合并、圖像翻轉、圖像增強(例如高動態范圍圖像的生成)和失真校正的功能。

應當領會，雖然微處理器34、視頻處理器36和CPU 38描述為單獨組件，但是它們執行的功能可由任何數量的處理器、例如單個通用處理器來實現。因此，微控制器34、視頻處理器36和CPU 38可個別或共同包含一個或多個“通用”微處理器、一個或多個專用微處理器、一個或多個專用微處理器(ASIC)、一個或多個現場可編程門陣列(FPGA)或者它們的任何組合。因此，為了簡化論述，它們可統稱為內窺鏡系統10中的“處理器”。換言之，如本文所使用的處理器可表示任何數量的處理組件。

為了促進執行所述功能的每個，處理器(例如微控制器34、視頻處理器36和/或CPU 38)可檢索和運行非暫時的計算機可讀媒介、例如存儲器40或存儲裝置42中存儲的指令。通常，存儲器40和存儲裝置可存儲信息，例如待處理的數據(例如圖像數據)和/或可運行的指令。相應地，存儲器40可包含易失性存儲器(例如隨機存取存儲器(RAM)或者非易失性存儲器(例如只讀存儲器(ROM))。另外，存儲裝置42可包含閃速存儲器、網絡驅動器、硬盤驅動器或者任何其他光、磁和/或固態存儲媒體或者它們的任何組合。

如上所述，顯示器50可顯示圖像和/或視頻用于用戶查看。換言之，更一般來說，內窺鏡系統10可與用戶傳遞所捕獲信息。更具體來說，內窺鏡系統10可例如通過在顯示器50上顯示信息(例如圖像或視頻)，向基本組合件14處的操作員輸出信息。另外，內窺鏡系統10可從基本組合件14處的操作員接收輸入信息。更具體來說，操作員可經由操縱桿44和/或小鍵盤46向內窺鏡系統10提供控制命令。例如，操作員可通過移動操縱桿44來致動探頭15，或者可使用小鍵盤46進行菜單選擇。另外，在一些實施例中，顯示器50可結合提供用戶輸入的觸敏機構(例如觸摸屏)來提供。例如，操作員可經由觸敏機構來選擇內窺鏡系統10或者與其交互。

另外，內窺鏡系統10可與遠程用戶、例如遠程計算機(例如計算裝置)處的用戶進行通信。例如，內窺鏡系統10可使用網絡接口48與遠程計算裝置形成網絡。在一些實施例中，網絡接口48可提供通過無線802.11標準的無線組網(例如個人區域網絡(例如藍牙)、局域網(LAN)或者廣域網(WAN))或者提供通過任何其他適當組網標準的無線組網(例如增強GSM演進數據速率(EDGE)網絡或3G數據網絡)。

換言之，用戶可遠程查看和/或處理所捕獲信息以及向內窺鏡系統10遠程發出控制命令。例如，在一些實施例中，用戶可利用遠程計算裝置的處理能力以進一步處理由內窺鏡系統10所捕獲的圖像或視頻。另外，用戶可采用遠程計算裝置處的顯示器來查看由內窺鏡系統10所捕獲的圖像或視頻。換言之，顯示由內窺鏡系統10所捕獲的視頻和/或圖像的顯示器可以是遠程的和/或可分離的。

如上所述，在一些情況下，如果目標特征的細節被飽和像素遮掩，則可阻礙由內窺鏡系統10所捕獲的圖像和/或視頻的可用性。用于改進所捕獲的圖像和/或視頻的可用性的過程52的一個實施例在圖2中描述。通常，過程52包含以單個亮度級來捕獲第一多個圖像同時顯示即時視頻(過程框54)，生成基線圖像(過程框56)，以多個亮度級來捕獲第二多個圖像(過程框58)，并且生成高動態范圍圖像(過程框60)。在一些實施例中，過程52可經由有形的非暫時的存儲器40或存儲裝置42中存儲并且由內窺鏡系統10中的處理器(例如微控制器34、視頻處理器36、CPU 38或者遠程計算裝置中的處理器)所運行的計算機可讀指令來實現。

相應地，處理器(例如微控制器34)可指示內窺鏡系統10以便以單個亮度級來捕獲第一多個圖像(過程框54)。取決于具體實現，第一多個圖像可以是任何適當類型的圖像，例如測量圖像、結構化光圖像、立體圖像或者它們的任何組合。因此，在一些實施例中，微控制器34可指示白光源28和/或發射器驅動器30以便以預期照明等級來產生預期的光圖案。

另外，微控制器34可指示成像器16開始捕獲圖像，其輸出表示由成像器16所捕獲的光的模擬圖像數據。更具體來說，所捕獲的圖像可具有特定亮度級，其可通過調整照明等級、成像器16的曝光時間、應用于模擬圖像數據的增益或者它們的任何組合來調整。相應地，為了以相同亮度級來捕獲第一多個圖像，微控制器34可指示成像器16使用特定曝光時間、光源(例如白光源28或發射器模塊22)來提供特定照明等級，以及指示成像器接口32對模擬圖像數據應用特定增益。如上所述，模擬圖像數據然后可由成像器接口32轉換成數字圖像數據并且供應給視頻處理器36。

在接收數字圖像數據時，處理器(例如視頻處理器36)可捕獲圖像，并且指示顯示器50顯示即時視頻(過程框54)。更具體來說，在一些實施例中，視頻處理器36可通過將數字圖像數據存儲在存儲器40和/或存儲裝置42中來捕獲圖像。另外，視頻處理器36可通過輸出視頻數據來指示顯示器50顯示視頻。更具體來說，在一些實施例中，視頻處理器36可基于數字圖像數據來生成視頻數據。例如，當第一多個圖像是快速連續地捕獲的靜止圖像時，視頻處理器36可通過指示顯示器50快速連續地顯示圖像來生成視頻。實際上，在一些實施例中，捕獲圖像的時間到它被顯示的時間之間的時長較短(例如，當捕獲圖像時之后的一毫秒之內)，這使視頻能夠作為即時視頻實時地或者近實時地顯示。

除了使用第一多個圖像來顯示視頻之外，處理器(例如CPU 38或視頻處理器36)可使用第一多個圖像來生成基線圖像。更具體來說，可生成基線圖像，以降低存在于第一多個圖像之一中的噪聲。相應地，可使用降低圖像中的噪聲的各種技術，例如對第一多個圖像平均或合計。更具體來說，由于噪聲通常是隨機的，所以對第一多個圖像共同平均或合計將強調實際存在的特征并且降低由噪聲所引起的偽影。

在一些實施例中，可在啟用白光源28時捕獲第一多個圖像。換言之，第一多個圖像可以是檢查圖像。因此，從多個檢查圖像所生成的基線圖像也可以是檢查圖像。在其他實施例中，當使用立體光學器件時，第一多個圖像可以是立體測量圖像。因此，基線圖像也可以是立體測量圖像。在另外實施例中，當投射結構化光圖像時，例如當結構化光圖像相對于均勻檢查光具有充分強度時，可捕獲第一多個圖像。因此，基線圖像可包含結構化光圖案。

為了幫助圖示，可通過將多個圖像中的每個圖像的每個像素位置處的像素值相加來合計多個圖像。因此，實際存在的特征與噪聲相比將變得更亮，因為它們將存在于多個圖像的每個中，而噪聲不是。另外，可通過合計多個圖像并且將像素值除以共同合計的圖像的數量來對多個圖像平均。因此，使用合計或者平均來生成基線圖像以如下事實為前提：通常使用的圖像按照相同方式描繪特征。換言之，用來生成基線圖像的第一多個圖像的每個可采用相對于特征處于基本上相同的位置的探頭15(例如成像器16)來捕獲。因此，可采用當尚未存在通過探頭15或特征的充分移動時捕獲的圖像來生成基線圖像。

但是，在一些實施例中，內窺鏡系統10甚至當存在特征相對于成像器16的移動時也可繼續捕獲圖像并且顯示視頻。換言之，在這類實施例中，所捕獲并且用來顯示視頻的并非全部圖像用來生成基線圖像。然而，在一些實施例中，當所檢測的移動是輕微的時，內窺鏡系統10可嘗試通過在合計或者平均之前平移或旋轉所捕獲的圖像來補償移動，使得避免或者最小化模糊。例如，如果新圖像與先前圖像之間的所檢測的移動的幅值小于閾值(例如8個像素)，或者如果置信等級高于閾值(例如，>25%)，則圖像可與先前所捕獲的圖像來合計或平均，以避免模糊。

在一些實施例中，可在捕獲第一多個圖像的每個新圖像之后，更新基線圖像。例如，每次捕獲第一多個圖像的新圖像時，視頻處理器36可從存儲器40或存儲裝置42中檢索基線圖像，應用新圖像的任何所需平移或旋轉，并且將新圖像與基線圖像來平均/合計以更新基線圖像，并且將所更新的基線圖像存儲回存儲器40或存儲裝置42中。另外地或備選地，在捕獲第一多個圖像的一定數量的新圖像之后，可更新基線圖像。例如，視頻處理器36可在捕獲第一多個圖像的五個新圖像之后更新基線圖像。

在生成基線圖像之后，處理器(例如微控制器34)可指示內窺鏡系統10以便以不同亮度級來捕獲第二多個圖像(過程框58)。更具體來說，在一些實施例中，第二多個圖像的每個可以以不同亮度級來捕獲。在其他實施例中，第二多個圖像的多個圖像可以以相同亮度級來捕獲。例如，第一圖像和第二圖像可以以第一亮度級來捕獲，第三和第四圖像可以以第二亮度級來捕獲，以及第五和第六圖像可以以第三亮度級來捕獲。

如上所述，處理器(例如微控制器34)可通過調整成像器16的曝光時間、由成像器接口32所應用的增益和/或由光源(例如白光源28或發射器模塊22)所提供的照明等級來控制所捕獲的圖像的亮度級。因此，處理器(例如微控制器34)可調整其任何組合，以便以不同亮度級來捕獲第二多個圖像。例如，為了以第一亮度級來捕獲第一圖像，微控制器34可指示成像器16具有一毫秒的曝光時間，以及為了以較亮的亮度級來捕獲第二圖像，微控制器可指示成像器16具有二毫秒的曝光時間。

以每個亮度級所捕獲的圖像的準確數量以及要使用的亮度級可取決于特定實現。更具體來說，在一些實施例中，要捕獲的圖像的數量以及要使用的亮度級可由制造商或者經過例如經由操縱桿44、小鍵盤46或觸敏顯示器的用戶輸入來定義。在其他實施例中，要捕獲的圖像的數量以及要使用的亮度級可以是自適應的。例如，當處理器(例如CPU 38或視頻處理器36)確定基線圖像中存在大量飽和像素時，處理器可指示內窺鏡系統10增加第二多個圖像中的圖像的數量和/或增加所使用亮度級的數量。

實際上，在一些實施例中，以不同亮度級的每個所捕獲的圖像的數量可以是不同的。例如，內窺鏡系統10可以以接近第一多個圖像的亮度級的亮度級來捕獲僅一個圖像，但是可以以比第一多個圖像的亮度級要暗許多的亮度級來捕獲三個圖像。在一些實施例中，以相同亮度級所捕獲的多個圖像可與第一多個圖像類似地共同平均或合計，以降低噪聲。

取決于實現，從捕獲第一多個圖像到捕獲第二多個圖像的切換可按照各種方式來觸發。更具體來說，在一些實施例中，捕獲圖像命令可指示內窺鏡系統10停止捕獲第一多個圖像，并且開始捕獲第二多個圖像。例如，用戶可經由操縱桿44、小鍵盤46、觸敏顯示器或者甚至遠程計算裝置來輸入捕獲圖像命令。

在其他實施例中，捕獲第一多個圖像與捕獲第二多個圖像之間的切換可以是自動的或者內窺鏡發起的。例如，切換可在處理器(例如CPU 38或視頻處理器36)確定不存在成像器16相對于目標特征之間的移動時發生。更具體來說，當處理器(例如CPU 38或視頻處理器36)確定不存在移動時，內窺鏡系統10可繼續捕獲第一多個圖像，直到生成充分無噪聲基線圖像，并且然后切換到捕獲第二多個圖像。另外地或備選地，如果已經生成充分無噪聲基線圖像(例如通過平移或旋轉第一多個圖像中的圖像)，則內窺鏡系統10可在沒有檢測到移動時立即開始捕獲第二多個圖像。

如上所述，移動的檢測可包含檢測第一圖像中的特征是否相比于第二圖像中的相同特征移動了少于預定數量的像素。另外，在一些實施例中，為了使模糊最小化，第一圖像(例如第一多個圖像中)與第二圖像(例如第一多個圖像中)之間的特征的移動量被確定并且在第一圖像中相加/平均之前用來對齊第一圖像。

如上所述，通過圖像所捕獲的特征的細節可被圖像上的飽和像素或區域遮掩。相應地，使用基線圖像和第二多個圖像，處理器(例如視頻處理器36或CPU 38)可生成高動態范圍圖像(過程框60)。在一些實施例中，為了生成高動態范圍圖像，處理器(例如CPU 38或視頻處理器36)可利用來自基線圖像的不飽和像素數據和來自第二多個圖像的一個或多個的不飽和像素。更具體來說，在一些實施例中，替換不飽和像素可通過縮放第二多個圖像中的不飽和像素數據來生成。

例如，當處理器(例如CPU 38或視頻處理器36)檢測基線圖像中的飽和像素時，它可基于來自第二多個圖像的一個或多個的不飽和像素數據來生成不飽和像素，以替換基線圖像中的飽和像素。在一些實施例中，處理器(例如CPU 38或視頻處理器36)可通過識別具有高于上閾值(例如白等級)或低于下閾值(例如黑閾值)的值的像素來檢測飽和像素。

由于來自第二多個圖像的像素數據用來生成像素以替換基線圖像中的飽和像素，所以在一些實施例中，第二多個圖像可以是與第一多個圖像相同類型的圖像。例如，如果第一多個圖像是檢查圖像，則第二多個圖像也可以是檢查圖像。但是，在其他實施例中，備選地可使用不同圖像類型。例如，如果第一多個圖像是結構化光圖像(例如當結構化光圖案相對于均勻檢查光具有充分強度時)，則可使用作為檢查圖像(例如，僅均勻檢查照明)的第二多個圖像，因為特征在檢查圖像中均勻地照射。換言之，高動態范圍圖像可以是測量圖像、立體圖像、檢查圖像或者它們的任何組合。

因此，高動態范圍圖像可包含比基線圖像要少的飽和像素。換言之，高動態范圍圖像的可用性可好于基線圖像，因為高動態范圍圖像可描繪在基線圖像中(例如因飽和)遮掩的目標特征的細節。實際上，為了進一步改進由內窺鏡系統10所捕獲的圖像的可用性，多個高動態范圍圖像可使用相同基線圖像以及來自第二多個圖像的一個或多個圖像來生成。例如，在一些實施例中，正常高動態范圍圖像、亮高動態范圍圖像和暗高動態范圍圖像可各被生成。在這類實施例中，不同高動態范圍圖像可提供目標特征的不同視圖。更具體來說，這些高動態范圍圖像之間的亮度差可通過對所捕獲的圖像數據應用不同線性或者非線性縮放來創建。

此外，在一些實施例中，第一多個圖像和第二多個圖像的捕獲可被散布。換言之，內窺鏡系統10可捕獲第一多個圖像的一個或多個，切換成捕獲第二多個圖像的一個或多個，切換回捕獲第一多個圖像的一個或多個，依此類推。為了幫助圖示，用于散布第一多個圖像和第二多個圖像的捕獲的過程62的一個實施例在圖3中描述。一般來說，過程62包含以第一亮度級來捕獲第一圖像(過程框64)，確定存在充分小的移動的時間(過程框66)，以不同亮度級來捕獲第二圖像(過程框68)，并且生成高動態范圍圖像(過程框70)。在一些實施例中，過程62可經由有形的非暫時的存儲器40或存儲裝置42中存儲并且由內窺鏡系統10中的處理器(例如微控制器34、視頻處理器36、CPU 38或者遠程計算裝置中的處理器)所運行的計算機可讀指令來實現。

相應地，在一些實施例中，處理器(例如微控制器34)可指示內窺鏡系統10以第一亮度級來捕獲第一圖像(過程框64)。在一些實施例中，第一圖像可以是上述第一多個圖像中的一個。相應地，第一圖像可使用在過程框54中所述的技術來捕獲。更具體來說，如上所論述，處理器(例如微控制器34)可指示成像器16使用特定曝光時間來捕獲第一圖像，指示成像器接口32應用特定增益，并且指示光源(例如白光源28或發射器模塊22)提供特定照明等級/圖案。第一圖像然后可通過將數字圖像數據存儲在存儲器40或存儲裝置42中來捕獲。另外，第一圖像或者使用第一圖像所生成的視頻可在顯示器50上顯示或者在遠程計算裝置處的顯示器上顯示。此外，第一圖像可用來生成基線圖像。

當處理器(例如CPU 38或視頻處理器36)確定存在成像器16相對于第一圖像中所描繪的特征之間的充分小移動(過程框66)時，處理器(例如微控制器34)可指示內窺鏡系統10以與第一亮度級不同的亮度級來捕獲第二圖像(過程框68)。如上所述，處理器(例如CPU 38或視頻處理器36)可使用任何適當技術(例如將第一圖像與第一多個圖像中的另一個圖像進行比較，并且確定圖像之間是不同的像素值的數量和/或特征在圖像之間已經移動的像素的數量)來檢測是否存在移動。

另外，在一些實施例中，第二圖像可以是上述第二多個圖像中的一個。相應地，第二圖像可使用在過程框58中所述的技術來捕獲。更具體來說，如上所論述，處理器(例如微控制器34)可指示成像器16使用特定曝光時間來捕獲第二圖像，指示成像器接口32應用特定增益，并且指示光源(例如白光源28或發射器模塊22)提供特定照明等級/圖案。第二圖像然后可通過將數字圖像數據存儲在存儲器40或存儲裝置42中來捕獲。

在捕獲第二圖像之后，內窺鏡系統10可選地可返回到捕獲第一多個圖像(箭頭74)。更具體來說，在一些實施例中，內窺鏡系統10可切換回到捕獲第一多個圖像，而沒有生成高動態范圍圖像。在其他實施例中，處理器(例如CPU 38或視頻處理器36)可使用第二圖像來生成高動態范圍圖像(過程框70)。

換言之，在一些實施例中，內窺鏡系統10可以以不同的亮度級來捕獲附加圖像。以不同亮度級的圖像的準確數量可根據實現而變化。例如，在一些實施例中，僅捕獲第二圖像。在其他實施例中，可捕獲第二圖像連同來自第二多個圖像的其他圖像。

基于上述示例，存在充分小移動的確定可以是用來捕獲第二圖像的觸發，以及更一般來說是用來從捕獲第一多個圖像到第二多個圖像的切換的觸發。在各個實現中，使用沒有移動作為觸發可以是有利的。例如，如上所論述，當沒有檢測到移動時，內窺鏡系統10可停止捕獲第一多個圖像，并且開始捕獲第二多個圖像。

實際上，當第一多個圖像的捕獲和第二多個圖像的捕獲被散布時，使用沒有移動作為用來捕獲第二多個圖像的一個或多個的觸發可以是特別有用的。例如，在一些實施例中，當處理器(例如CPU 38或視頻處理器36)檢測基線圖像或第一圖像中的飽和像素時，它可顯示指示本地用戶保持在相同位置中的提示，使得可捕獲第二多個圖像。在這種實施例中，由于一檢測到飽和就捕獲可用來替換飽和像素的第二多個圖像，所以向用戶顯示的圖像可以是高動態范圍圖像。

實際上，在一些實施例中，高動態范圍圖像可用來向用戶顯示高動態范圍視頻。雖然附加處理用來生成高動態范圍圖像，但是處理能力中的技術進步呈現近實時地生成高動態范圍圖像的可能性。另外應當領會，內窺鏡系統10通常將在設備或設施內緩慢移動，這放寬對顯示視頻的時間限制。換言之，近實時視頻(例如高動態范圍視頻)可足以為用戶提供接近成像器16的特征的指示。

除了生成高動態范圍圖像之外，由內窺鏡系統10所捕獲的圖像還可用來確定與目標特征相關的其他信息。例如，在一些實施例中，所捕獲的圖像可用來生成特征的點云數據、點云圖像和/或深度剖面，以描述目標特征的3D剖面。因此，在一些實施例中，與特征相關的多段信息可同時或基本上同時呈現。

例如，在圖4所述的屏幕視圖74所描繪的實施例中，可基本上同時查看由內窺鏡系統10所捕獲和生成的各種圖像。更具體來說，屏幕視圖74可在任何適當顯示器、例如顯示器50或者遠程計算裝置處的顯示器上顯示。

因此，除了只顯示各種所捕獲和生成的圖像之外，屏幕視圖74還可顯示內窺鏡系統10的狀態信息。例如，在所描繪的實施例中，屏幕視圖74顯示網絡狀態圖標76、日期指示符78、時間指示符80和電池狀態圖標82。更具體來說，在所描繪實施例中，網絡狀態圖標76指示內窺鏡系統10連接在藍牙網絡中，日期指示符78指示當前日期是2014年4月15日，時間指示符80指示當前時間是下午12:19，以及電池狀態圖標82指示電池完全充電。

另外，如上所述，用戶可例如通過經由操縱桿44或小鍵盤46輸入用戶命令來與內窺鏡系統10進行交互。例如，如下面將更詳細描述，用戶可選擇屏幕視圖74上的各種視圖中的一個，以便以全屏幕顯示。另外，如上所述，顯示器50可以是觸敏顯示器，其提供使用軟按鈕的能力。例如，如同所描繪的實施例中一樣，屏幕視圖74包含返回軟按鈕84、查看軟按鈕86、菜單軟按鈕88和保存軟按鈕90。更具體來說，用戶可選擇返回軟按鈕84以回到先前屏幕，選擇查看軟按鈕86以查看所選的縮略圖圖像，選擇菜單按鈕88以轉到菜單，或者選擇保存軟按鈕90以保存所選的圖像。如能夠領會，顯示器50上呈現的軟按鈕是可編程的，并且可基于正被顯示的內容而變化。

如上所述，屏幕視圖74可顯示由內窺鏡系統10所捕獲和/或生成的各種圖像。例如，在所描繪的實施例中，屏幕視圖74顯示正常圖像92、高動態范圍圖像94、亮圖像96、暗圖像98、點云圖像100和深度剖面圖像102。如所描繪，各種圖像可描繪為縮略圖，以便基本上同時顯示圖像。因此，用戶可例如經由鍵盤46、操縱桿44和/或觸敏顯示器與各種圖像進行交互。例如，用戶可選擇縮略圖圖像中的一個進行保存或以全屏幕查看。

可用來生成屏幕視圖74的過程104的一個實施例在圖5中描述。一般來說，過程104包含捕獲多個圖像(過程框106)，生成以正常亮度的圖像(過程框108)，生成高動態范圍圖像(過程框110)，生成以高亮度的圖像(過程框112)，生成以低亮度的圖像(過程框114)，生成點云圖像(過程框116)，生成深度剖面圖像(過程框118)，并且生成縮略圖圖像(過程框120)。在一些實施例中，過程104可經由有形的非暫時的存儲器40或存儲裝置42中存儲并且由內窺鏡系統10中的處理器(例如微控制器34、視頻處理器36、CPU 38或者遠程計算裝置中的處理器)所運行的計算機可讀指令來實現。

相應地，在一些實施例中，處理器(例如微控制器34)可指示內窺鏡系統10捕獲多個圖像。更具體來說，多個圖像可包含上述第一多個圖像和/或第二多個圖像，其如上所述地那樣可響應于用戶發起捕獲請求、充分小移動的檢測或者第一多個圖像中的飽和像素的檢測而捕獲。因此，處理器(例如微控制器34)可指示成像器16以預期亮度級來捕獲圖像。如上所述，處理器(例如微控制器34)可通過調整成像器16的曝光時間、由成像器接口32所應用的增益和/或由光源(例如白光源28或發射器模塊22)所提供的照明等級來控制所捕獲的圖像的亮度級。另外，如上所述，內窺鏡系統10可通過將數字圖像數據存儲在存儲器40或存儲裝置42中來捕獲多個圖像。

一旦捕獲多個圖像的一個或多個，處理器(例如CPU 38或視頻處理器36)可指示內窺鏡系統10生成以正常亮度的圖像(過程框108)。在一些實施例中，正常亮度圖像可以只是所捕獲的圖像中的一個。在其他實施例中，正常亮度圖像可以是基于第一多個圖像所生成的基線圖像。在這類實施例中，處理器(例如CPU 38或視頻處理器36)可指示內窺鏡系統10通過對來自第一多個圖像的圖像共同合計或平均來生成正常亮度圖像。

另外，處理器(例如CPU 38或視頻處理器36)可指示內窺鏡系統10生成高動態范圍圖像(過程框110)。如上所論述，在一些實施例中，高動態范圍圖像可至少部分基于第一多個圖像的一個或多個(例如基線圖像)和第二多個圖像的一個或多個來生成。更具體來說，在這類實施例中，正常圖像中的飽和像素可采用基于第二多個圖像的一個或多個中的不飽和像素數據所生成的不飽和像素來替換。

除了高動態范圍圖像之外，處理器(例如CPU 38或視頻處理器36)可指示內窺鏡系統10生成以高亮度級的圖像(過程框112)，并且生成以低亮度級的圖像(過程框114)。如上所述，以不同亮度級的圖像可允許用戶具有特征的變化視圖。在一些實施例中，高亮度圖像可以是以比正常圖像要高的亮度級所捕獲的單個圖像。類似地，在一些實施例中，低亮度圖像可以是以比正常圖像要低的亮度級所捕獲的單個圖像。在這類實施例中，高亮度圖像和/或低亮度圖像可以只是第二多個圖像中的一個。

在其他實施例中，高亮度圖像和/或低亮度圖像也可以是高動態范圍圖像。在這類實施例中，高亮度圖像可以是以比在過程框110中所生成的高動態范圍圖像更高縮放的亮度的高動態范圍圖像，和/或具有比基線圖像更高的像素值平均。類似地，低亮度圖像可以是以比在過程框110中所生成的高動態范圍圖像更低縮放的亮度的高動態范圍圖像，和/或具有比基線圖像更低的像素值平均。換言之，本文所述技術提供生成在亮度級中變化的多個高動態范圍圖像的能力。如上所述，高動態范圍圖像通常包含比單個圖像更少的噪聲和更少的飽和像素。換言之，通過不僅顯示以變化亮度級的圖像，而且還顯示具有更少飽和像素以變化亮度級的圖像，可進一步改進由內窺鏡系統10所生成的圖像的可用性。

如上所述，由內窺鏡系統10所捕獲的圖像可以是任何數量的適當圖像類型，例如測量圖像、立體圖像、檢查圖像或者它們的任何組合。更具體來說，變化圖像類型可使與目標特征相關的不同信息能夠被確定。例如，檢查圖像(例如以均勻亮度所捕獲的圖像)可從成像器16的角度來描繪目標特征。另一方面，立體圖像和/或結構化光測量圖像可用來生成點云數據，其然后可用來生成點云圖像和/或深度剖面。

因此，處理器(例如CPU 38或視頻處理器36)可指示內窺鏡系統10生成點云圖像(過程框116)，并且生成深度剖面圖像(過程框118)。更具體來說，點云圖像可基于被生成以給出目標特征的3D表示的點云數據。在一些實施例中，點云圖像可基于點云數據的子集，其基于測量光標或所選感興趣區域的定位來選擇。另外，深度剖面可基于被生成以給出目標特征的截面視圖的點云數據。在一些實施例中，深度剖面的位置可由用戶通過測量光標的定位來選擇。

在一些實施例中，點云數據可使用測量圖像(例如結構化光圖像)或立體圖像來生成。例如，點云數據可通過使用對結構化光圖像(其在結構化光圖案投射到被查看表面上的同時所捕獲)的相移分析來生成。另外地或備選地，點云數據可使用從不同角度所捕獲的立體圖像來生成。因此，在測量圖像中捕獲的特征的細節越多，所生成的點云圖像越準確。

但是，如上所述，當像素飽和時，在所捕獲的圖像中可遮掩目標特征的細節。例如，當接近成像器16的對象或表面上的焊接(例如高反射表面)使焊接看來似乎在所捕獲的圖像中飽和時，將難以準確確定焊接的3D特性(例如高度或形狀)，因為焊接將看來似乎全白。

在一些實施例中，第二多個圖像可用來改進目標特征的細節的捕獲。更具體來說，如上所述，第二多個圖像可包含以不同亮度級所捕獲的測量圖像。因此，點云數據可使用以變化亮度級的圖像來生成，以增加所確定的3D表面數據點的數量。

為了幫助圖示，點云數據可通過匹配從不同角度所獲取的圖像中捕獲的表面點來生成。但是，當立體測量圖像包含飽和的像素(例如過亮或者過暗)時，可阻礙立體匹配，因為可能難以區分圖像中的相同表面點。例如，繼續上述示例，可能難以定位多個立體圖像中的焊接上的相同點，因為焊接看來似乎全白。但是，第二多個圖像的一個或多個中的相同像素可能不飽和。因此，處理器可利用第二多個圖像的一個或多個來執行立體匹配并且生成點云數據。換言之，第一多個圖像的一個或多個、基線圖像、第二多個圖像的一個或多個和所生成的高動態范圍圖像的任何組合可用來生成點云數據。

類似地，如果結構化光圖案、例如激光點網格在第一和第二多個圖像中捕獲，則處理器可使用第一多個圖像的一個或多個、基線圖像、第二多個圖像的一個或多個和所生成的高動態范圍圖像的任何組合來檢測圖案的位置。處理器然后可使用所檢測的圖案位置來確定3D表面數據。

另外，如上所述，第二多個圖像可用來生成高動態范圍圖像，其可減少飽和量并且可以是任何適當圖像類型。相應地，使用高動態范圍圖像所生成的數據或圖像可以更為有用的。例如，繼續上述示例，一個或多個高動態測量圖像可用來補償焊接的高反射率，并且描繪焊接的特性的更多細節。因此，使用高動態范圍測量圖像來生成點云數據/圖像可提供與特征相關的更準確信息，其還改進點云圖像和深度剖面圖像的精度。

處理器(例如CPU 38或視頻處理器36)然后可指示內窺鏡系統10顯示作為縮略圖圖像的所生成的圖像(例如正常亮度圖像、高亮度圖像、高動態范圍圖像、低亮度圖像、點云圖像或深度剖面圖像)(過程框120)。在一些實施例中，生成縮略圖圖像可包含將所生成的圖像縮放到縮略圖大小。如上所述，縮略圖圖像可以是由用戶可選擇的，例如以保存或者以全屏幕顯示與縮略圖圖像對應的圖像。相應地，由于在一些實施例中，顯示器50可以是觸敏顯示器，所以生成縮略圖圖像可包含生成由用戶可選擇的縮略圖圖像軟按鈕。

基于以上描述，本公開的技術效果包含提供用于改進由遠程視覺檢查系統、例如內窺鏡系統所捕獲的圖像的可用性的系統和方法。更具體來說，圖像的可用性可通過生成一個或多個高動態范圍圖像來改進。此外，可以更有效地捕獲和生成高動態范圍圖像。例如，高動態范圍圖像可基于用來顯示即時視頻的圖像來生成。換言之，遠程視覺檢查系統可以甚至在接收捕獲命令之前開始生成高動態范圍圖像。

本書面描述使用包含最佳模式的示例來公開本發明，并且還使本領域的技術人員能夠實施本發明，包含制作和使用任何裝置或系統，以及執行任何結合方法。本發明的可取得的專利范圍由權利要求書來定義，并且可包含本領域的技術人員想到的其他示例。如果這類其他示例具有與權利要求的文字語言完全相同的結構單元，或者如果它們包括具有與權利要求的文字語言的非實質差異的等效結構單元，則預計它們處于權利要求的范圍之內。