從活體內多相機膠囊重建影像的制作方法
【專利說明】
[0001] 相關申請案對照參考
[0002] 本發明主張2013年5月29日所提出申請名稱為「Reconstruction of Images from an in vivo Multi-Cameras Capsule」的第61/828, 653號美國臨時性專利申請案 的優先權。本發明關于2006年12月19日所提出申請名稱為「In Vivo Image Capturing System Including Capsule Enclosing A Camera」的第 11/642, 275 號美國專利申請案、 2008 年 11 月 25 日所提出申請名稱為「Camera System with Multiple Pixel Arrays on a Chip」的第12/323, 219號美國專利申請案、2010年10月19日所提出名稱為「Panoramic Imaging System」的第7, 817, 354號美國專利案、以及2012年9月25曰所申請提出名稱為 「Camera System with Multiple Pixel Arrays on a Chip」的第 13/626, 168 號美國專利 申請案。特此將所述美國臨時性專利申請案、美國專利申請案及美國專利案的完整內容引 用合并。
技術領域
[0003] 本發明涉及從使用附有多個相機的活體內膠囊所擷取的影像將影像重建。
【背景技術】
[0004] 用于令活體內體腔或管道成像的裝置在所屬領域屬于已知，并且包括內視鏡及自 主性囊封相機。內視鏡屬于可撓性或剛性管，其透過孔口或手術開口進入體內，通常是經由 嘴進入食道或經由直腸進入結腸。影像使用鏡片成形于遠端，并且在體外通過鏡片中繼系 統或通過凝聚性光纖束任一者予以輸送至近端。概念類似的儀器可能例如使用CCD或CMOS 陣列以電子方式于遠端記錄影像，并且透過纜線將影像資料以電信號的方式轉送至近端。 內視鏡允許醫師透過視場控制，并且是受到廣泛接受的診斷工具。然而，其的確有些限制， 使病患承受危險，并且對于病患而言屬于侵入性且不舒服。其成本導致其作為例行健康籂 檢工具的應用受到限制。
[0005] 由于穿越盤繞的管道有困難，內視鏡無法到達大部分小腸道。因此，要通達整條結 腸需要特殊的技術及預防措施，這將增加成本。內視鏡的危險包括有可能貫穿所穿越的肉 體器官且麻醉會引起并發癥。此外，必須在程序期間的病患痛苦、健康危害、以及麻醉相關 的程序后停歇時間之間取得平衡。內視鏡是必要的醫療資源，其占用臨床醫師大量的時間， 因而很耗成本。
[0006] 解決許多這些問題的替代活體內影像感測器為膠囊內視鏡。相機連同用于將資料 傳送到基地臺接收器或收發機的無線傳送器予以裝在可吞式膠囊內。也可將體外的資料記 錄器用于接收并且記錄傳送的資料。資料主要包含數位相機所記錄的影像。膠囊也可包括 用于從基地臺傳送器接收指令或其他資料的無線接收器。除了射頻傳輸，另可使用較低頻 率的電磁信號。電力可利用感應方式從外部電感器供應至膠囊內的內部電感器，或從膠囊 內的電池供應。
[0007] 2006年9月 19 曰所提出申請名稱為「In Vivo Autonomous Camera with On-Board Data Storage or Digital Wireless Transmission in Regulatory Approved Band」的第 11/533, 304號美國專利申請案揭露一種附有板上資料儲存器的自主性膠囊相機系統。這個 申請案說明一種使用如半導體非揮發性歸檔記憶體以儲存所擷取影像的膠囊系統。在膠囊 從身體離開后將其取回。將膠囊外殼打開，并且將儲存的影像轉送到電腦工作站以供儲存 及分析用。對于透過無線傳輸所接收或從板上儲存器所取出任一者的膠囊影像，必須由診 斷師將影像顯示并且進行檢查以辨別潛在的異常現象。
[0008] 除了上述前視型膠囊相機以外，還有其他種提供側面圖或全景視圖的膠囊相機。 為了適當檢視組織表面，需要側邊或反轉角度。習知的裝置因其視場（FOV)實質屬于前視 型而無法看到此類表面。由于為了精確診斷需要徹底觀察息肉或其他不規則體，讓醫師看 到這些器官的所有區域是重要的事情。由于習知的膠囊無法看到脊部周圍的隱藏區，故可 能會漏掉不規則體，并且嚴重醫療狀況的關鍵診斷可能會有缺失。2006年12月19日所提 出申請名稱為「In vivo sensor with panoramic camera」的第11/642, 275號美國專利申 請案中揭露一種配置成用來擷取相機周圍環境全景影像的相機。全景相機系統配有相對于 膠囊縱軸由視角范圍所界定的縱向視場（FOV)、以及縱軸附近方位角的全景范圍所界定的 煒向視場，使得相機可擷取實質涵蓋360°煒度方向FOV的全景影像。
[0009] 從概念上講，可將多個個別相機配置成將360°煒度方向的FOV完全或實質涵蓋。 然而，此種全景膠囊系統由于可能需要多個影像感測器及相關電子裝置而可能昂貴。2007 年1月17日所提出申請名稱為「Panoramic Imaging System」的第11/624, 209號美國專 利申請案中揭露一種有成本效益的全景膠囊系統。這個全景膠囊系統使用一種配置成結合 許多視場以涵蓋360°視野的光學系統。再者，將結合的視場投射到單一感測器上以節省成 本。因此，這個單一感測器膠囊系統以較低成本有效起了多個相機的作用。2008年11月 25 日所提出申請名稱為「Camera System with Multiple Pixel Arrays on a Chip」的第 12/323, 219號美國專利申請案、以及2012年9月25日所提出申請名稱為「Camera System with Multiple Pixel Arrays on a Chip」的第13/626, 168號美國專利申請案中進一步說 明用以支援全景視圖的感測器結構及操作。
[0010] 在自主性膠囊系統中，當膠囊相機行經胃腸（GI)道時，于進程期間收集多個影像 還有其他資料。通常是將影像及資料顯示在顯示裝置上以供診斷師或醫療專業人士進行檢 查。為了提升檢查效率，以某些如顯示速度、快轉、倒轉、以及停止之類的顯示控制將影像持 續顯示成影片，允許使用者透過影像序列輕松地巡覽。將此組收集到的影像以影片資料方 式表示，可實質改善檢查的效率。然而，每一個影像都僅提供胃腸道一小段有限的視野。宜 將膠囊影像結合成一張表示內胃腸道表面剖視圖的大圖片。這張大圖片可利用高解析度大 螢幕顯示裝置讓使用者可同時觀看更多資訊。在將影像之間多余的重迭區移除后，可同時 檢視大面積的內胃腸道表面。另外，大圖片可提供內胃腸道表面的全視圖或重要部位。診 斷師或醫療專業人士應該更輕松且快速地認出如息肉之類的關注區。
【附圖說明】
[0011] 圖IA描述兩個附有重迭視場的相機的例示性組態。
[0012] 圖IB描述用以從圖IA所示兩個相機擷取影像的影像感測器陣列的例示性組態。
[0013] 圖2描述圖IA所示兩個相機所擷取影像的非重迭及重迭區。
[0014] 圖3描述用以將兩個重迭影像結合成一個寬影像的例示性影像融合。
[0015] 圖4A描述側視膠囊相機系統的膠囊旋轉及平移效應。
[0016] 圖4B描述側視膠囊相機系統的相機傾斜效應。
[0017] 圖5描述顯示根據本發明一具體實施例的膠囊相機系統所擷取多個影像的實施 例，這多個影像翹曲（warp)而形成復合影像。
[0018] 圖6描述所擷取影像局部變形（deformation)動態（時空）表示的實施例。
[0019] 圖7描述顯示根據本發明一具體實施例的膠囊相機系統所擷取多個影像的實施 例，關鍵事件基于排便而選擇的。
[0020] 圖8描述顯示根據本發明一具體實施例的膠囊相機系統所擷取多個影像的實施 例，關鍵事件基于轉動角度而選擇的。
[0021] 圖9描述顯示根據本發明一具體實施例的膠囊相機系統所擷取多個影像的實施 例，排便狀態分類成多個階段，并且與每一個階段有關的影像分成一組。
[0022] 圖10描述顯示根據本發明一具體實施例的膠囊相機系統所擷取多個影像的實施 例，其中，具有類似轉動角度的影像分為一組以形成復合影像。
[0023] 圖11描述顯示根據本發明一具體實施例的膠囊相機系統所擷取多個影像的實施 例，排便狀態分類成多個階段，并且與一階段有關的影像可與群組中相鄰影像有間隙。
[0024] 圖12描述顯示根據本發明一具體實施例的膠囊相機系統所擷取多個影像的實施 例，其中，轉動角度分類成多個階段，并且與一階段有關的影像可與群組中相鄰影像有間 隙。
[0025] 圖13A描述具有多個局部變形的例示性影像序列。
[0026] 圖13B描述顯示根據本發明一具體實施例的膠囊相機系統所擷取多個影像的實 施例，與局部變形對應的影像節段同時顯示。
[0027] 圖14A描述在云端中計算拚接的影像，并且將最終影片傳送到用戶端。
[0028] 圖14B描述在云端中計算影像對之間的所有轉換，并且在用戶端機器上應用即時 影像翹曲及混合的實施例。
[0029] 圖15描述四相機組態的實施例，兩鄰接相機之間有重迭視場以形成360°全視野 全景影像。
[0030] 圖16A描述360°全視野全景影像的膠囊旋轉及平移效應。
[0031] 圖16B描述360°全視野全景影像的轉動補償實施例。
【具體實施方式】
[0032] 將輕易理解的是，大體上如本文圖示所述及所示，可用各式各樣不同的組態，設置 且設計本發明的組件。如此，如圖所示，底下本發明系統及方法具體實施例更詳細的說明 意圖不在于限制本發明的范圍，如所主張的權利要求書所述，而只是表示本發明選擇的具 體實施例。整篇說明書對于「一個具體實施例」、「一具體實施例」或類似用語的參照，意謂 著可將配合具體實施例所述的特定特征、結構或特性含括在本發明的至少一個具體實施例 中。如此，整篇說明書各處出現的詞組「在一個具體實施例中」或「在一具體實施例中」不 必然全都指到相同的具體實施例。
[0033] 再者，可在一或多個具體實施例中以任何適宜的方式將所述特征、結構或特性結 合。然而，所屬領域技術熟練者將辨認的是，無需特定細節的一或多者，或利用其他方法、組 件等即可實作本發明。在其他實例中，為了避免混淆本發明的態樣，未詳細顯示或說明眾所 周知的結構或操作。通過參照圖示，將最佳理