圖像顯示的改進的制作方法

圖像顯示的改進的制作方法
【專利摘要】一種用于在顯示器上將數字圖像數據陣列顯示為連續圖像的方法，包括確定用于每一所述數字圖像數據陣列的非線性校正。每一非線性校正可以部分地基于用于捕獲所述數字圖像數據陣列的所述成像裝置相對于視角中心的位置的位置，所述數字圖像數據陣列將從所述視角中心顯示在所述顯示器上。所述方法還包括使用相應的非線性校正轉換每一數字圖像數據陣列。所述方法還包括在所述顯示器上顯示所述校正的圖像數據陣列，以生成通過所述成像裝置捕獲的所述場景的連續顯示，其中，所述場景中的物體的相對尺寸和位置在場景的顯示中基本上再現。
【專利說明】圖像顯示的改進

【技術領域】
[0001] 本公開總體涉及圖像顯示的改進，更具體地涉及用于顯示圖像數據和在圖像中定 位關注點的改進的方法。

【背景技術】
[0002] 傳統的測量可能涉及使用經緯儀和標桿工作的操作員。通常，一個操作員將經緯 儀定位在已知的點而另一個操作員將標桿保持在一系列待被確定位置的點處。通過經緯儀 瞄準安裝在標桿上的靶并獲得精確的角度測量值。也可以使用卷尺或任何其它的距離測量 裝置獲得精確的距離測量值。可以根據已知的三角測量技術使用角度測量值和距離測量值 來確定點的位置。
[0003] 在現代基于衛星的測量中，操作員可能隨著使用全球導航衛星系統（Global Navigation Satellite System,GNSS)確定位置信息的測量工具而走動。如今最常用的衛 星定位系統是全球定位系統（Global Positioning System, GPS)，盡管其它例如全球軌道 導航系統（Global Orbiting Navigation System,GLONASS)的衛星定位系統正在使用或在 開發中。操作員通常在一個地點走動，并在不同的點停下以記錄使用通過衛星源發送的信 號確定的位置信息。校正數據可以使用遙測系統從參考地點被發送。
[0004] 相機經常與現代測量工具一起使用，以將位置信息和圖像信息相關聯。使用已知 的攝影測量技術，組合的信息可以被用于確定點的三維坐標。這種技術常使用兩個或更多 個從不同地點（如，不同位置）拍攝的重疊的或相鄰的圖像。相機可以被布置為獲得提供 場景的連續視圖的多個圖像。例如，許多測量工具具有一個或多個相機，這些相機配置成獲 得一個或多個提供達360°的全視角的圖像。
[0005] 可以在一地點使用控制器處理位置信息和圖像信息，或者在遠離該地點的辦公室 使用計算機系統處理位置信息和圖像信息。圖像信息允許在任何時候獲得額外的測量，只 要額外的點或物體在圖像中可見。
[0006] 隨著位置信息和圖像信息的使用變得更加廣泛，利用和觀看這些信息的技術變得 日益重要。因此，不斷地需求用于顯示圖像數據和在圖像中定位關注點的改進的方法。


【發明內容】

[0007] 本發明的實施方式提供用于顯示圖像數據和在顯示的圖像中定位關注點的改進 的方法。例如，根據本發明的實施方式，一種用于在顯示器上將數字圖像數據陣列顯示為連 續圖像的方法，其中，每一陣列形成通過成像裝置捕獲的場景的不同部分的二維圖像，場景 中的表面和物體的形狀未知，以及，至少一些所述數字圖像數據陣列從與視角中心的位置 不同的位置被捕獲，其中，所述數字圖像數據陣列從視角中心被顯示，包括：確定用于每一 數字圖像數據陣列的非線性校正。每一非線性校正可以部分地基于用于捕獲數字圖像數據 陣列的成像裝置相對于視角中心的位置的位置，其中，所述數字圖像數據陣列將從所述視 角中心顯示在顯示器上。該方法還包括，使用相應的非線性校正轉換每一數字圖像數據陣 列，其中，對于每一數字圖像數據陣列，相應的非線性校正以不同于修改數字圖像數據陣列 的一部分中的像素的方式修改數字圖像數據陣列的另一部分中的像素，從而生成校正的圖 像數據陣列。該方法還包括，在顯示器上顯示校正的圖像數據陣列，以生成通過成像裝置捕 獲的場景的連續顯示，其中，場景中的物體的相對尺寸和位置在場景的顯示中基本上再現。
[0008] 在一實施方式中，每一二維圖像的至少一部分和所述場景的相應部分與另一二維 圖像和所述場景的相應部分重疊，以及不同的校正的圖像數據陣列中的從所述場景基本上 捕獲類似的光線的像素在所述場景的連續顯示中基本上彼此覆蓋。
[0009] 在另一實施方式中，所述場景的相鄰部分通過不同的數字圖像數據陣列捕獲，以 形成所述場景的相鄰的二維圖像，以及相鄰的二維圖像中的從所述場景基本上捕獲相鄰的 光線的像素在所述場景的連續顯示中基本上彼此相鄰。
[0010] 在另一實施方式中，所述成像裝置包括多個成像裝置，所述多個成像裝置中的每 個成像裝置捕獲一個所述數字圖像數據陣列，所述多個成像裝置中的每個成像裝置相對于 其它成像裝置具有固定的位置和取向。
[0011] 在另一實施方式中，所述成像裝置包括多個成像裝置，所述多個成像裝置中的每 個成像裝置捕獲一個所述數字圖像數據陣列，所述多個成像裝置聯接至測量工具并被布置 為使得所述多個成像裝置中每個成像裝置的視野與其它成像裝置的視野重疊，以提供所述 場景的圍繞所述多個成像裝置的360°視野。
[0012] 在另一實施方式中，所述成像裝置包括配置成圍繞支撐機構旋轉的數碼相機，以 提供所述數字圖像數據陣列，每一數字圖像數據陣列與相鄰的數字圖像數據陣列具有固定 的位置關系。
[0013] 所述數字圖像數據陣列形成所述場景的重疊的二維圖像，以提供場景的360°全 景視圖。
[0014] 每一非線性校正部分地基于用于捕獲所述數字圖像數據陣列的所述成像裝置的 透鏡和凹狀表面之間的距離。
[0015] 每一非線性校正部分地基于用于捕獲所述數字圖像數據陣列的所述成像裝置的 透鏡和布置成凹狀的具有多個平坦部的表面的平坦部之間的距離。
[0016] 在另一實施方式中，所述成像裝置包括多個數碼相機。
[0017] 在另一實施方式中，每一所述非線性校正改變相應的數字圖像數據陣列中的像素 的相對尺寸。
[0018] 在另一實施方式中，該方法還包括提供所述場景中的點的坐標，所述坐標在與所 述成像裝置相關聯的參考坐標系中被提供；以及在所述場景的顯示中在所述點的投影的坐 標處疊加計算機繪制的圖形，使得計算機繪制的圖形覆蓋場景的顯示中的所述點。
[0019] 根據本發明的另一實施方式，一種用于在顯示器上顯示來自多個圖像的圖像數據 的方法，其中，所述多個圖像中的至少一些圖像從不同的位置獲得，包括在所述顯示器上顯 示來自所述多個圖像的所述圖像數據。來自所述多個圖像的所述圖像數據可以從視角中心 顯示，所述視角中心與獲取所述多個圖像的所述不同位置相關聯。該方法還包括確定所述 多個圖像中的主要圖像。相比于來自在所述顯示器上顯示的其它圖像的部分圖像數據，基 于來自在所述顯示器上顯示的所述主要圖像的一部分圖像數據，確定所述主要圖像。該方 法還包括在所述顯示器上顯示來自所述多個圖像的所述圖像數據。來自所述多個圖像的所 述圖像數據可以從所述主要圖像的視角中心顯示。該方法還包括布置所述多個圖像的堆疊 順序，使得所述主要圖像在頂部。
[0020] 在一些實施方式中，所述多個圖像捕獲場景的重疊部分。在其它實施方式中，所述 多個圖像捕獲場景的相鄰部分。
[0021] 在另一實施方式中，與獲取所述多個圖像的所述不同位置相關聯的所述視角中心 基本上位于所述不同位置的平均位置處。
[0022] 在另一實施方式中，還基于在所述顯示器上的所述主要圖像的相對于在所述顯示 器上顯示的所述其它圖像的位置的位置確定所述主要圖像。
[0023] 在另一實施方式中，該方法還包括在所述主要圖像的周圍形成作為所述主要圖像 的指示的線。
[0024] 根據本發明的另一實施方式，一種用于使用顯示圖像的顯示器識別與所述圖像中 的點相關聯的圖像數據的一個或多個像素的方法，包括：接收在所述顯示器上顯示的圍繞 所述點的圖像部分的指示，以及識別在所述顯示器上顯示的接近于所述圖像部分的邊緣的 圖像數據的像素。該方法還包括：執行一個或多個逆轉換，以將在所述顯示器上顯示的圖像 數據的像素轉換成通過圖像傳感器捕獲的圖像數據的像素，以及識別通過所述圖像傳感器 捕獲的對應于圍繞所述點的圖像部分的圖像數據部分，基于通過所述圖像傳感器捕獲的圖 像數據的像素識別所述圖像數據部分。該方法還包括在所述顯示器上顯示通過所述圖像傳 感器捕獲的沒有經過數據轉換的所述圖像數據部分，接收與所述圖像中的所述點相關聯的 圖像數據的一個或多個像素的指示。
[0025] 在一實施方式中，在所述顯示器上的圍繞所述點的所述圖像部分為多邊形形狀， 以及，所述顯示器的接近于所述圖像部分的邊緣的所述像素接近于所述多邊形的角點。
[0026] 在另一實施方式中，該方法還包括放大通過所述圖像傳感器捕獲的所述圖像數據 部分。顯示通過所述圖像傳感器捕獲的所述圖像數據部分包括顯示放大的所述圖像數據部 分。
[0027] 根據本發明的另一實施方式中，一種用于在多個圖像中定位關注點的方法，包括 在場景的第一視圖中識別所述關注點。可以通過選擇顯示器上的對應于在所述第一視圖中 顯示的所述關注點的點識別所述關注點。該方法還包括識別對應于在所述顯示器上的所選 擇的點的圖像數據像素。所述圖像數據像素可以為形成所述場景的所述第一視圖的一個或 多個圖像數據陣列的一部分。該方法還包括在每一視圖中確定線。所述線可以沿著通過所 述場景中的所述關注點的光線延伸至圖像傳感器的對應于所述場景的所述第一視圖中的 圖像數據像素的像素。該方法還包括在所述線是可見的每一視圖中顯示所述線，且在每一 視圖中提供沿所述線可移動的可滑動的指示器。所述可滑動的指示器可以通過用戶輸入移 動，以及所述可滑動的指示器沿所述線的任何移動在每一其它視圖中是可見的，且相應地 更新在每一其它視圖中顯示的場景。該方法還包括沿所述線移動所述可滑動的指示器，直 至所述可滑動的指示器接近在每一其它視圖中的關注點。
[0028] 在一實施方式中，所述場景的所述第一視圖包括一個或多個圖像，每一所述圖像 從共同的視角中心顯示。
[0029] 在另一實施方式中，每一所述視圖包括多于一個圖像，且對于每一視圖，相應的圖 像從不同的位置獲得且從共同的視角中心顯示在所述顯示器的窗口上。
[0030] 在另一實施方式中，所述不同的位置位于所述場景內的不同場所。
[0031] 在另一實施方式中，通過使用輸入裝置選擇顯示器上的點而在所述第一視圖中識 別所述關注點。
[0032] 在另一實施方式中，所述可滑動的指示器為滑桿。
[0033] 在另一實施方式中，當所述可滑動的指示器移動時，每一其它視圖中的視圖被取 向，以提供沿著所述線移動的所述可滑動的指示器的側視圖。
[0034] 在另一實施方式中，至少部分地基于獲得每一所述視圖的不同位置之間的距離確 定所述線的長度，當所述可滑動的指示器沿所述線移動時，確定從所述圖像傳感器到所述 可滑動的指示器的距離。
[0035] 在另一實施方式中，當所述可滑動的指示器沿著所述線移動時，調整每一其它窗 口的縮放程度。
[0036] 本發明的實施方式提供了優于常規技術的很多優點。在一些實施方式中，例如，從 不同位置捕獲的圖像數據可以在顯示器（如，控制器屏幕、電腦顯示器等）上顯示，使得其 可以十分類似于其所表示的真實世界場景。這意味著所顯示的圖像數據具有高的度量值 (或意味著場景中的物體的相對尺寸和位置基本上再現）。這可以在不了解真實世界場景 中表面和物體的形狀的情況下進行。這允許圖像數據用于精確測量和攝影測量。這也確保 圖像數據將與疊加在圖像數據上的相應的點或物體的位置對齊。例如，在地點周圍的多個 物體的位置可以使用常規測量技術測量。也可以獲得地點的圖像。當在顯示器上觀看圖像 數據時，在圖像數據上疊加圖形（如，點、符號、坐標等）是有用的，以識別所測量的物體。若 圖像數據具有高度量值或圖像數據根據本發明的實施方式被顯示，顯示的對應于物體的圖 像數據將與疊加的圖形對齊。
[0037] 在其它實施方式中，所顯示的圖像中的關注點可以被快速定位和精確識別。例如， 在一實施方式中，通過關注點的參考圖形可以疊加在從第一位置捕獲的顯示圖像上。參考 圖形也可以疊加在從其它位置捕獲的其它顯示圖像上。參考圖形可以被跟隨至其它顯示圖 像中的關注點，以在那些圖像中快速定位關注點。在另一實施方式中，沒有經過轉換的圖像 數據像素可以用于選擇顯示圖像中的關注點。這允許精確地確定點的位置。
[0038] 根據實施方式，可以存在一個或多個優點。通過說明書對這些和其它優點進行描 述。

【專利附圖】

【附圖說明】
[0039] 圖IA至圖IB為可以根據本發明的一些實施方式使用的測量工具的簡化圖；
[0040] 圖2A至圖2B為示出了示例性圖像傳感器的各個方面的簡化圖；
[0041] 圖3為可以根據本發明的一些實施方式使用的成像裝置的簡化平面圖；
[0042] 圖4A至圖4B和圖5A至圖5B為示出根據本發明的一些實施方式的投影在表面上 的圖像數據的簡化圖；
[0043] 圖6為示出根據本發明的實施方式的用于在顯示器上顯示數字圖像數據陣列的 方法的流程圖；
[0044] 圖7為示出根據本發明的實施方式的在確定非線性校正時所涉及的一些幾何概 念的簡化圖；
[0045] 圖8A至圖8B為示出根據本發明的一些實施方式的在顯示器上顯示的一系列重疊 的圖像數據和部分圖像數據的簡化的平面圖；
[0046] 圖9為示出根據本發明的實施方式的用于在顯示器上顯示來自多個圖像的圖像 數據的方法的流程圖；
[0047] 圖10為示出根據本發明的實施方式的顯示器的像素和圖像傳感器上相應的圖像 數據像素的簡化圖；
[0048] 圖11為示出根據本發明的實施方式的用于使用顯示圖像的顯示器識別與圖像中 的點相關聯的圖像數據的一個或多個像素的方法的流程圖；
[0049] 圖12A至圖12B為示出根據本發明的實施方式的在地點周圍的不同位置的成像裝 置和在來自每一位置的圖像中捕獲的關注點的簡化圖；和
[0050] 圖13為示出根據本發明的實施方式的用于在多個圖像中定位關注點的方法的流 程圖。

【具體實施方式】
[0051] 本發明的實施方式提供了用于顯示圖像數據和在顯示的圖像中定位關注點的改 進的方法。一些實施方式可以使得從不同位置捕獲的圖像數據在顯示器上顯示，從而使得 其非常類似于其所代表的真實世界的場景。這可以使用基于用于捕獲圖像數據的陣列的成 像裝置相對于視角中心的位置的位置的非線性校正來實現，其中，圖像數據陣列將從視角 中心被顯示。非線性校正可以被確定而無需了解真實世界的場景中的表面和物體的形狀。 其它的實施方式允許更加簡單地使用圖像信息，從而使得圖像中的點或物體可以被快速地 定位并被精確地識別。在一實施方式中，這可以使用疊加在顯示的圖像上并通過關注點的 參考圖形來實現。參考圖形可以被跟隨至從不同地點捕獲的其它顯示圖像中的關注點。在 另一實施方式中，沒有經過轉換的圖像數據的像素可以用于在顯示的圖像中選擇關注點。 下面，對這些及其它實施方式進行更充分的描述。
[0052] 圖IA至圖IB是可以根據本發明的一些實施方式使用的測量工具的簡化圖。應當 理解，這些測量工具僅被提供用作示例，以及，具有不同配置的其它工具可以根據各種實施 方式被類似地使用。
[0053] 圖IA示出了測量工具100,其包括聯接至支撐桿106的GNSS接收器102和成像裝 置104。測量工具100也可以包括其它部件，如一個或多個傾斜傳感器、距離測量系統、或穩 定器。支撐桿106具有縱向軸線并可以被設計成使得支撐桿106的尖底在測量關注點的位 置和/或在關注點捕獲圖像時，可以被精確地放置在該關注點。支撐桿106可以由任何合 適的材料構造，如，木料、金屬、塑料、復合材料或類似物以及這些材料的任何組合。支撐桿 106可是單塊的或可以包括兩個或更多個的在制造或操作期間被固定或聯接在一起的單獨 的部分。在可替選的配置中，支撐桿106可以包括存儲電池的隔室，該電池向GNSS接收器 102、成像裝置104、和/或可以聯接至支撐桿106的任何其它部件提供電力。
[0054] GNSS接收器102可以被永久地固定至支撐桿106或可拆卸地連接至支撐桿106。 在特定實施方式中，GNSS接收器102可以被固定至支撐桿106的頂端，或被設置在支撐桿 106的頂部上或靠近該頂部。GNSS接收器102可以包括接收器、天線、和/或接收信號和確 定位置信息所需的其它設備。GNSS接收器102可以采用已知的多種衛星導航技術中的任一 種。例如，GNSS接收器102可以配置成采用與校正信號的接收結合的實時動態（Real-Time Kinematic，RTK)技術。GNSS接收器102也可以用于確定取向信息。此處使用的術語"取 向"意思是測量工具100相對于參照物（如磁北或真北）的任何布置。作為示例，GNSS接收 器102可以以弧旋轉，且在旋轉期間獲得的多組位置信息可以被用于確定GNSS接收器102 的取向。可替選地，GNSS接收器102可以包括指南針和/或可以獨立聯接至支撐桿106的 指南針或其它取向裝置。
[0055] GNSS接收器102也可以包括電源（如，可充電電池、以及來自外部電源的輸入 等）、永久性計算機可讀存儲介質（如，磁存儲器、光存儲器、固態存儲器等）、和通信接口。 通信接口可以包括與測量工具100的其它部件和/或外部裝置（如控制器108)進行通信 所需的硬件/或軟件。通信接口可以包括UHF無線電、蜂窩無線電、藍牙收發器、Wi-Fi收 發器、有線通信接口和/或類似物。
[0056] GNSS接收器102和成像裝置104可以配置成與控制器108通信。控制器108可 以包括用于控制和/或接收來自測量工具100的部件的輸入的任何裝置或裝置組合。控制 器108可以包括與上述GNSS接收器102的通信接口類似的通信接口。控制器108的通信 接口可以配置成支持遠程通信（如，蜂窩通信或WWAN通信），即使GNSS接收器102和成像 裝置104不支持遠程通信。另外，控制器108的通信接口可以配置成允許與其它裝置進行 通信以交換信息。
[0057] 控制器108可以包括專用的計算裝置或通用的計算系統。控制器108可以配置成 處理從測量工具100接收到的輸入，向測量工具100發送指示，以及執行根據本發明實施方 式的方法。控制器108可以包括一個或多個輸入裝置（如，按鍵、小鍵盤、鍵盤、觸摸屏、鼠 標等）和/或一個或多個輸出裝置（如，顯示器、打印機等）。通常，控制器108將包括一個 或多個處理器和永久性計算機可讀的存儲介質（如，磁存儲器，光存儲器，固態存儲器等）。
[0058] 在一些實施方式中，控制器108通過輸入裝置和輸出裝置向測量工具100提供用 戶界面。用戶界面允許用戶對測量工具100進行控制操作。可以提供各種用戶界面，包括顯 示一個或多個屏幕的圖形用戶界面，以用于向用戶提供輸出和/或接收來自用戶的輸入。
[0059] 在一些實施方式中，用戶界面和/或控制器108的功能可以遠程提供。僅以示例的 方式，控制器108和/或測量工具100可以配置成與獨立的計算機（如，辦公計算機或計算 機系統）進行通信。在這種情景中，控制器108提供的用戶界面和功能的至少一部分可以 通過遠程計算機提供。該計算機可以用于將指示傳送給控制器108和/或接收來自控制器 108的數據。因此，應當理解，本文中描述的方法可以使用控制器108本地實施（在現場）、 使用獨立的計算機遠程實施（如，在辦公室）、或兩者的一些組合。在其它的實施方式中，用 戶界面和功能可以通過網站提供，該網站可以使用運行在控制器108和/或計算機上的網 頁瀏覽器顯示。
[0060] 控制器108可以有多個不同的配置。在一個實施方式中，例如，控制器108可以永 久地（或相對永久地）安裝在支撐桿106上。在另一實施方式中，控制器108可以與支撐 桿106 -體成型。在另一實施方式中，控制器108可以可拆卸地安裝在支撐桿106上或與 支撐桿106物理分離。
[0061] 成像裝置104可以包括能夠捕獲光學圖像的任何裝置（或裝置組）。成像裝置104 可以包括一個或多個數碼相機、數碼攝像機等。成像裝置104通常包括用于向傳感器陣列 (如，和CCD或CMOS光學傳感器）提供光線的透鏡。光線可以被存在于成像裝置104周圍 的場景（或成像裝置104的視野內的場景的一部分）中的物體、表面和點反射。光線穿過 透鏡并入射在陣列的像素（或離散元素）上，以形成共同提供圖像數據（或圖像數據的陣 列）的電信號。這可以參考圖2A來說明，其中，光線202a、光線202b穿過透鏡206并入射 在傳感器陣列208的像素204a、像素204b上。本領域普通技術人員將理解，典型的成像裝 置可以包括具有數百萬像素的傳感器陣列。另外，事實上，光線不是離散元素，而是從成像 裝置的視野內的場景中的物體發出的連續光線的一部分。
[0062] 如圖2B所示，通過圖像傳感器208的像素204采集的圖像數據可以存儲在存儲器 214中和/或提供給處理器216處理。存儲器214可以是配置成存儲圖像數據的任何類型 的常規數據存儲器（如，磁存儲器、光學存儲器、固態存儲器等）。存儲器214也可以存儲處 理器216處理圖像數據所用的指示。應當理解，存儲器214和/或處理器216可以在成像 裝置104內本地設置或遠離成像裝置104設置（如，在控制器108內設置和/或在遠程計 算機內設置）。
[0063] 成像裝置104可以包括與上述的GNSS接收器102的通信接口類似的通信接口。圖 像數據可以使用通信接口被傳送至控制器108或另一計算機。成像裝置104可以包括任何 必需的硬件和軟件，以存儲所捕獲的圖像數據（如，數字圖像數據陣列），處理所捕獲的圖 像數據，和/或將所捕獲的圖像數據發送至另一裝置（如控制器108)。成像裝置104可以 具有或可以不具有用于觀看圖像數據的獨立的顯示器。
[0064] 在一些實施方式中，成像裝置104可以包括被布置為共同捕獲一系列圖像的多個 成像裝置，該一系列圖像提供測量工具100周圍的場景的全景。在一些實施方式中，全景可 以包括完整的360°視角。在圖IA所示的示例中，成像裝置104包括以圍繞支撐桿106的 簇布置的許多成像裝置。這些成像裝置可以以彼此固定的關系布置（如，它們之間的角度 固定），并配置成幾乎同時捕獲場景的連續視圖。這與圖IB所示的示例形成對比，其中，成 像裝置114包括單個成像裝置（或更少的成像裝置）。在這種實施方式中，成像裝置114可 以配置成繞支撐桿106連續或增量地旋轉，以提供一系列捕獲場景的連續視圖的圖像。在 該示例中示出的GNSS接收器102和支撐桿106可以以與上述圖IA所示的其相應部件類似 的方式配置。
[0065] 圖3是可以根據本發明的一些實施方式使用的成像裝置的簡化平面圖。成像裝 置可以用于提供可以一起顯示以提供場景的連續視圖的一系列圖像。在該示例中，成像裝 置304包括被布置為一圈并具有視野312a、312b、312c、312d、312e、312f、312g、312h的8個 獨立的成像裝置310a、310b、310c、310d、310e、310f、310g、310h。視野重疊提供重疊的部分 314a、314b、314c、314d、314e、314f、314g、314h。應當理解，該實施方式僅作為示例提供，根 據本發明的實施方式，可以使用提供更多或更少的視野的更多或更少的成像裝置。在替選 實施方式中，例如，成像裝置304可以包括更少的成像裝置，這些成像裝置配置成在該示例 中示出的成像裝置310a、310b、310c、310d、310e、310f、310g、310h的位置處獲得圖像。其它 實施方式可以利用提供小于該示例中示出的360°視圖的視圖的成像裝置。另外，在一些實 施方式中，成像裝置304可以包括圍繞水平軸和堅直軸兩者布置的成像裝置，以擴大視野 的覆蓋范圍直到包括完整的球形視角。
[0066] 顯示圖像數據
[0067] 圖4A至圖4B為示出了根據本發明的一些實施方式的投影在表面上的圖像數據的 簡化圖。每一幅圖示出了從位置432 &、43213、432(：、432(1、4326、43214328、43211投影到表面 428 上的圖像數據 424a、424b、424c、424d、424e、424f、424g、424h。位置 432a、432b、432c、 432d、432e、432f、432g、432h 在與獲得圖像數據 424a、424b、424c、424d、424e、424f、424g、 424h的位置（各成像裝置的位置）基本上相同的位置。相鄰圖像之間的圖像數據424a、 424b、424c、424d、424e、424f、424g、424h 根據位置 432a、432b、432c、432d、432e、432f、 432g、432h到表面428的距離而重疊，以提供重疊區域426a、426b、426c、426d、426e、426f、 426g、426h。
[0068] 圖4A至圖4B也示出了靠近成像裝置404的中心的視角中心422。雖然從不同的 位置 432a、432b、432c、432d、432e、432f、432g、432h 捕獲圖像數據 424a、424b、424c、424d、 424e、424f、424g、424h，但該圖像數據從單一位置的視角在顯示器上顯示。該位置通常是視 角中心422,但是，如下面就圖8A至圖8B和圖9A至圖9B所解釋的，在某些情況下，圖像數 據可以從其它位置顯示。視角中心422的位置一般被選擇在位置432a、432b、432c、432d、 432e、432f、432g、432h的平均位置以及表面428的曲率中心和表面430a、430b、430c、430d、 430e、430f、430g、430h 的曲率中心，其中，圖像數據從位置 432a、432b、432c、432d、432e、 432f、432g、432h 被捕獲。
[0069] 注意，圖 4A 至圖 4B 示出的表面 428 和表面 430a、430b、430c、430d、430e、430f、 430g、430h是平面圖的一部分，這些表面可以在第三維延伸以形成球體或圓柱體。成像裝置 也可以被布置成圍繞水平軸捕獲圖像數據以提供在這些示例中示出的水平面上方和/或 下方的場景的額外的圖像數據。應當理解，下面描述的方法同樣適用于周圍場景的任何視 角（包括完整的球形視角）的捕獲的圖像數據。
[0070] 應當理解，圖4A所示的表面428和圖4B所示的表面430a、430b、430c、430d、430e、 430f、430g、430h不代表實際的物理表面。而是，這些表面代表數學結構，假定圖像數據將投 影至該數學結構上以確定這些圖像數據的非線性校正（或用于圖像數據的非線性轉換的 參數）。另外，在確定非線性校正時或在圖像數據轉換期間，圖像數據不是實際投影在表面 428或表面430a、430b、430c、430d、430e、430f、430g、430h上，而是圖像數據被數學轉換，就 像是其被投影在這些表面上。這與顯示器上顯示這些圖像數據形成對比，其中，轉換的（或 校正的）圖像數據在顯示器上顯示，用于用戶觀看。
[0071] 非線性校正是用于轉換圖像數據的參數。圖像數據從通過圖像傳感器采集的圖像 數據的二維陣列轉換成可以提供給圖形系統以在顯示器上顯示的校正的圖像數據陣列。圖 形系統可以以立體的方式顯示校正的圖像數據。校正的圖像數據可以用于在顯示器上提供 具有高度量值的圖像。這意味著，場景中的物體的相對尺寸和位置在顯示圖像上基本上再 現。另外，由于相鄰的圖像數據陣列之間的角度已知（或用于獲得圖像數據的成像裝置之 間的角度已知），相鄰圖像數據陣列（如圖4A示出的圖像數據424a和圖像數據424b)可以 作為連續場景的一部分顯示，而無需使用特征匹配算法以拼接圖像（或使圖像失真），以及 無需了解場景中表面和/或物體的形狀。
[0072] 非線性校正可以基于用于捕獲圖像數據的成像裝置的位置和圖像數據將從其在 顯示器上顯示的視角中心的位置之間的差異。在圖4A至圖4B示出的示例中，可以看出這 些差異為位置432a、432b、432c、432d、432e、432f、432g、432h和視角中心422的位置之間 的差異。非線性校正也可以基于圖像數據所投影的表面（如，表面428或表面430a、430b、 430c、430d、430e、430f、430g、430h之一）的形狀和該表面到用于捕獲圖像數據的成像裝置 (或到成像裝置的透鏡）的距離。非線性校正也可以是基于其它參數，如成像裝置的內部校 準和/或通過成像裝置的透鏡引入的失真。
[0073] 數據所投影的表面（如，表面 428 或表面 430a、430b、430c、430d、430e、430f、430g、 430h之一）的形狀可以基于用于捕獲圖像數據的成像裝置的透鏡來確定。例如，通過成像 裝置使用常規F- Θ透鏡捕獲的圖像數據可以投影在凹狀表面，如圖4A中所示的表面428。 通過成像裝置使用常規直線透鏡捕獲的圖像數據可以投影在平坦表面，如圖4B所示的表 面430a、430b、430c、430d、430e、430f、430g、430h之一。注意，圖4B所示的平坦表面被布置 為形成凹狀的表面，使得從視角中心422b到每一表面430a、430b、430c、430d、430e、430f、 430g、430h的距離是相同的。其它表面形狀可以用于其它透鏡類型。
[0074] 圖5A至圖5B與圖4A至圖4B類似，除了圖像數據524a、524b、524c、524d、524e、 524f、524g、524h不重疊。由于上述實施方式不依賴于常規特征匹配算法，不需要相鄰的圖 像數據之間的重疊以在顯示器上顯示圖像數據，作為場景的具有高度量值的連續圖像。
[0075] 圖6為示出根據本發明的實施方式的用于在顯示器上顯示數字圖像數據陣列的 方法的流程圖。該方法包括確定用于每一數字圖像數據陣列的非線性校正，每一非線性校 正部分地基于用于捕獲數字圖像數據陣列的成像裝置相對于視角中心位置的位置，其中， 所述數字圖像數據陣列將從所述視角中心顯示在顯示器上￠02)。該方法還包括，使用相應 的非線性校正轉換每一數字圖像數據陣列，其中，對于每一數字圖像數據陣列，相應的非線 性校正以與修改數字圖像數據陣列的一部分中的像素不同的方式修改數字圖像數據陣列 的另一部分中的像素，以生成校正的圖像數據陣列（604)。該方法還包括，在顯示器上顯示 校正的圖像數據陣列，以生成通過成像裝置捕獲的場景的連續顯示，其中，場景中的物體的 相對尺寸和位置基本上在場景的顯示中再現（606)。
[0076] 應當理解，圖6所示的具體步驟提供了根據本發明的實施方式的在顯示器上顯示 數字圖像數據陣列的具體方法。根據替選實施方式，也可以執行步驟的其它次序。例如，替 選實施方式可以以不同的順序執行上述步驟。此外，圖6所示的各步驟可以包括多個可以 以各種次序執行的子步驟。另外，根據具體應用，可以增加或去除額外的步驟。
[0077] 針對凹狀表面確定非線件柃if的示例
[0078] 以下示例概述了可以用于針對凹狀（或球狀）表面確定非線性校正的一種方法。 此處提到的表面為投影表面（如，圖4A示出的表面428)。推導方程以表示光線與表面的交 點。
[0079] 注意，在該示例中，所有物體空間實體被認為是以任何坐標系表示。這通常是世界 坐標系（如測量坐標系）或可能的工具坐標系。
[0080] 空間中的光線可以通過矢量起點s和單位大小的方向矢量r表示。光線上的距起 點距離λ處的點X可以通過如下矢量方程表示：
[0081] x = s+Ar 方程（1)
[0082] 若0〈 λ，則點X在起點s的前方，g卩，其對于在位置s處具有入射光瞳的成像裝置 是可見的。若λ〈〇,則點X在成像裝置的后方且在圖像中不可見。通常，假設方向矢量 r具 有單位大小：
[0083] r2 = 1 方程⑵
[0084] 從而使得標量λ的大小表示s和χ之間的距離。
[0085] 考慮測量工具內的第i個成像裝置。在該成像裝置中的圖像傳感器的每一像素 與空間的幾何光線相關聯。讓％表示第j個關注的像素（如，圖像角點，選擇的圖像位置 等）。利用成像裝置內部和外部校準參數的組合，使用下列方程，該像素位置可以被轉換成 攝影測量光線：
[0086] Hiij - Si+λ 方程（3)
[0087] 其中，Hiij為在來自第i個成像裝置的圖像中測量的第j個關注點的圖像傳感器位 置（行，列）；
[0088]-表示光學的工具校準參數的應用，以將像素位置和空間中的幾何光線相關聯；
[0089] Si為在關注的坐標系中表示的成像裝置的入射瞳孔的位置；
[0090] Fij為光線的單位大小方向；
[0091] λ u為沿著光線的任意距離。
[0092] 注意，對于來自單一圖像的單一測量，距離參數Aij的值是未知的，且必須通過 一些其它方式（如從不同位置捕獲的另一圖像、通過與一些外部可用的或假定的表面的交 點、或另外的方式）恢復。
[0093] 球體可以由其矢量中心c，和標量半徑P表示。若點χ落在球體的表面上，貝U其滿 足隱式方程：
[0094] (x-c) 2_ P 2 = 0 方程（4)
[0095] 圖7說明了光線和球體的相交。光線和球體相交的位置可以通過將方程（1)插入 方程（4)來計算。為方便起見，球體方程可以被展開，以獲得：
[0096] 0 = (x-c)2-P 2
[0097] = x2-xc_cx+c2- P 2
[0098] = x2_2x · c+c2-P 2 方程（5)
[0099] 之后對光線方程求平方，給出：
[0100] X2 = (s+ λ r)2
[0101] = S2+λ (sr+rs) + λ 2
[0102] = s2+2 λ (s · Γ) + λ 2 方程（6)
[0103] 注意，最后一項是從r2= 1從而使得A2r2= λ2的條件下獲得的。將平方的光線 方程和原始方程代入展開的球體方程，得到：
[0104] 0 = x2-xc_cx+c2-P 2
[0105] = s2+2 λ (s · r) + λ 2_2 (s+ λ r) · c+c2- P 2 方程（7)
[0106] 其可以被重新整理為經典二次方程：
[0107] 0 = λ 2+2 λ (s · r-r · c) +s2_2s · c+c2- P 2
[0108] = λ 2+2 λ [(s-c) · r] + [(s-c)2_P 2]方程（8)
[0109] 為方便起見，可以做以下代入：
[0110] β = (S-C) · r 方程（9)
[0111] Y = (s-c)2-P 2 方程（10)
[0112] 從而使得二次方程可以表示為：
[0113] λ2+2βλ + γ=〇 方程（11)
[0114] 其可以針對λ的兩個根被求解為：
[0115] λ± = _β±(β21)1/2 方程（12)
[0116] 相應的矢量點位置x±可以確定為，在沿光線的距離λ ±處的解，如下式所示：
[0117] X+ = s+ λ ±r 方程（13)
[0118] 注意，最小的正根是物理意義的解，即，球體表面上的在圖像中可見的點。若入± 兩者都是正的，則這靠近球體的面。若兩者都是負的，則整個球體在成像設備的后方。若兩 個根相同且為正（或負），則光線與球體在成像設備的前方（或后方）相切。若用于λ的 根是虛根，則光線不與球體相交。
[0119] 作為示例，考慮加載圖像紋理到圖形庫的任務。在這種情況中，需要定義覆蓋圖像 的點的網格，其中，每一網格元素由多個頂點（一般3個或4個）組成。這些檢測器的位置 用于定義圖像紋理多邊形的角點，即，定義哪些像素從圖像數據文件中提取。然后，圖形庫 將該圖像紋理多邊形"繪制"到以3D圖形地球坐標系表示的"地球多邊形"上。針對紋理 化至球形表面，可以按如下方式，從圖像檢測器網格元素角點計算地球多邊形。
[0120] 1、在靠近成像裝置的中心處（如，使用工具原點），定義具有球心c的球體。將球 體半徑P設置為所需的觀看距離。
[0121] 2、為每一成像裝置，定義覆蓋檢測器的位置的網（如，網格）。
[0122] 3、針對每一網格頂點，將其像素位置轉換成包括起點s和方向r的光線。
[0123] 4、使用c、P、s和r、采用方程（10)計算β和Y。
[0124] 5、使用方程（12)計算λ的兩個根。若根為實根（即，若〇< (β2- Υ))，則僅考 慮具有正值的根并選擇最小的一個。
[0125] 6、在方程（1)中使用λ解的值（如果有資格），計算3D地球位置X。
[0126] 注意，所有地球解的點X都落在半徑為P的球體上。隨著P的變化，球體上的像 素的尺寸必須改變，或者球體上的像素數量必須改變。針對一些圖形應用程序和/或硬件， 這可能引起性能降低。
[0127] 一種選擇是在向圖形應用程序提供數據之前對球體的半徑重新標準化。例如，若 對于半徑為P 0的球體，紋理化性能是合理的，則通過如下方程重新標準化在上面的步驟6 中計算的所有地球坐標：

【權利要求】
1. 一種用于在顯示器上將數字圖像數據陣列顯示為連續圖像的方法，每一陣列形成通 過成像裝置捕獲的場景的不同部分的二維圖像，其中，所述場景中的表面和物體的形狀未 知，且至少一些所述數字圖像數據陣列從與視角中心位置不同的位置被捕獲，所述數字圖 像數據陣列從所述視角中心被顯示，所述方法包括： 確定用于每一所述數字圖像數據陣列的非線性校正，每一非線性校正部分地基于用于 捕獲所述數字圖像數據陣列的所述成像裝置相對于所述視角中心位置的位置，所述數字圖 像數據陣列將從所述視角中心顯示在所述顯示器上； 使用相應的非線性校正轉換每一數字圖像數據陣列，其中，對于每一數字圖像數據陣 列，所述相應的非線性校正以不同于修改所述數字圖像數據陣列的一部分中的像素的方式 修改所述數字圖像數據陣列的另一部分中的像素，從而生成校正的圖像數據陣列；以及 在所述顯示器上顯示所述校正的圖像數據陣列，以生成通過所述成像裝置捕獲的所述 場景的連續顯示，其中，所述場景中的物體的相對尺寸和位置在所述場景的顯示中基本上 再現。
2. 根據權利要求1所述的方法，其中，每一二維圖像的至少一部分和所述場景的相應 部分與另一二維圖像和所述場景的相應部分重疊，以及不同的校正的圖像數據陣列中的從 所述場景中基本上捕獲類似的光線的像素在所述場景的連續顯示中基本上彼此覆蓋。
3. 根據權利要求1所述的方法，其中，所述場景的相鄰部分通過不同的數字圖像數據 陣列捕獲，以形成所述場景的相鄰的二維圖像，以及相鄰的二維圖像中的從所述場景基本 上捕獲相鄰的光線的像素在所述場景的連續顯示中基本上彼此相鄰。
4. 根據權利要求1所述的方法，其中，所述成像裝置包括多個成像裝置，所述多個成像 裝置中的每個成像裝置捕獲一個所述數字圖像數據陣列，所述多個成像裝置中的每個成像 裝置相對于其它成像裝置具有固定的位置和取向。
5. 根據權利要求1所述的方法，其中，所述成像裝置包括多個成像裝置，所述多個成像 裝置中的每個成像裝置捕獲一個所述數字圖像數據陣列，所述多個成像裝置聯接至測量工 具并被布置為使得所述多個成像裝置中的每個成像裝置的視野與其它成像裝置的視野重 疊，以提供所述場景的圍繞所述多個成像裝置的360°視野。
6. 根據權利要求1所述的方法，其中，所述成像裝置包括配置成圍繞支撐機構旋轉的 數碼相機，以提供所述數字圖像數據陣列，每一數字圖像數據陣列與相鄰的數字圖像數據 陣列具有固定的位置關系。
7. 根據權利要求1所述的方法，其中，所述數字圖像數據陣列形成所述場景的重疊的 二維圖像，以提供所述場景的360°全景視圖。
8. 根據權利要求1所述的方法，其中，每一非線性校正部分地基于用于捕獲所述數字 圖像數據陣列的所述成像裝置的透鏡和凹狀表面之間的距離。
9. 根據權利要求1所述的方法，其中，每一非線性校正部分地基于用于捕獲所述數字 圖像數據陣列的所述成像裝置的透鏡和布置成凹狀的具有多個平坦部的表面的平坦部之 間的距離。
10. 根據權利要求1所述的方法，其中，所述成像裝置包括多個數碼相機。
11. 根據權利要求1所述的方法，其中，每一所述非線性校正改變相應的數字圖像數據 陣列中的像素的相對尺寸。
12. 根據權利要求1所述的方法，還包括： 提供所述場景中的點的坐標，所述坐標在與所述成像裝置相關聯的參考坐標系中提 供；以及 在所述場景的顯示中在所述點的投影的坐標處疊加計算機繪制的圖形，使得所述計算 機繪制的圖形覆蓋所述場景的顯示中的所述點。
13. -種用于在顯示器上顯示來自多個圖像的圖像數據的方法，其中，所述多個圖像中 的至少一些圖像從不同的位置獲得，所述方法包括： 在所述顯示器上顯示來自所述多個圖像的所述圖像數據，來自所述多個圖像的所述圖 像數據從視角中心顯示，所述視角中心與獲取所述多個圖像的所述不同位置相關聯； 確定所述多個圖像中的主要圖像，相比于來自在所述顯示器上顯示的其它圖像的部分 圖像數據，基于來自在所述顯示器上顯示的所述主要圖像的部分圖像數據，確定所述主要 圖像；之后 在所述顯示器上顯示來自所述多個圖像的所述圖像數據，來自所述多個圖像的所述圖 像數據從所述主要圖像的視角中心顯示；以及 布置所述多個圖像的堆疊順序，使得所述主要圖像在頂部。
14. 根據權利要求13所述的方法，其中，所述多個圖像捕獲場景的重疊部分。
15. 根據權利要求13所述的方法，其中，所述多個圖像捕獲場景的相鄰部分。
16. 根據權利要求13所述的方法，其中，與獲取所述多個圖像的所述不同位置相關聯 的所述視角中心基本上位于所述不同位置的平均位置處。
17. 根據權利要求13所述的方法，其中，還基于在所述顯示器上的所述主要圖像的相 對于在所述顯示器上顯示的所述其它圖像的位置的位置確定所述主要圖像。
18. 根據權利要求13所述的方法，還包括在所述主要圖像的周圍形成作為所述主要圖 像的指示的線。
19. 一種用于使用顯示圖像的顯示器識別與所述圖像中的點相關聯的圖像數據的一個 或多個像素的方法，包括： 接收在所述顯示器上顯示的圍繞所述點的圖像部分的指示； 識別在所述顯示器上顯示的接近于所述圖像部分的邊緣的圖像數據的像素； 執行一個或多個逆轉換，以將在所述顯示器上顯示的所述圖像數據的像素轉換成通過 圖像傳感器捕獲的圖像數據的像素； 識別通過所述圖像傳感器捕獲的對應于圍繞所述點的圖像部分的圖像數據部分，基于 通過所述圖像傳感器捕獲的所述圖像數據的像素識別所述圖像數據部分； 在所述顯示器上顯示通過所述圖像傳感器捕獲的沒有經過數據轉換的所述圖像數據 部分；以及 接收與所述圖像中的所述點相關聯的圖像數據的一個或多個像素的指示。
20. 根據權利要求19所述的方法，其中，在所述顯示器上的圍繞所述點的所述圖像部 分為多邊形形狀，以及所述顯示器的接近于所述圖像部分的邊緣的所述像素接近于所述多 邊形的角點。
21. 根據權利要求19所述的方法，還包括： 放大通過所述圖像傳感器捕獲的所述圖像數據部分，其中，顯示通過所述圖像傳感器 捕獲的所述圖像數據部分包括顯示放大的所述圖像數據部分。
22. -種用于在多個圖像中定位關注點的方法，所述多個圖像捕獲場景的分別在從不 同的位置獲得的不同視圖，其中，每個所述視圖的至少一部分被顯示在顯示器上的獨立的 窗口中，所述方法包括： 在所述場景的第一視圖中識別所述關注點，通過選擇所述顯示器上的對應于在所述第 一視圖中顯示的所述關注點的點識別所述關注點； 識別對應于在所述顯示器上的所選擇的點的圖像數據像素，所述圖像數據像素為形成 所述場景的所述第一視圖的一個或多個圖像數據陣列的一部分； 在每一所述視圖中確定線，所述線沿著通過所述場景中的所述關注點的光線延伸至圖 像傳感器的對應于所述場景的所述第一視圖中的所述圖像數據像素的像素； 在所述線可見的每一所述視圖中顯示所述線； 在每一所述視圖中提供能夠沿所述線移動的可滑動的指示器，其中，所述可滑動的指 示器能夠通過用戶輸入移動，以及所述可滑動的指示器沿所述線的任何移動在每一其它視 圖中是可見的且相應地更新在每一其它視圖中顯示的場景；以及 沿所述線移動所述可滑動的指示器，直至所述可滑動的指示器接近在每一其它視圖中 的所述關注點。
23. 根據權利要求22所述的方法，其中，所述場景的所述第一視圖包括一個或多個圖 像，每一所述圖像從共同的視角中心顯示。
24. 根據權利要求22所述的方法，其中，每一所述視圖包括多于一個圖像，且對于每一 視圖，相應的圖像從不同的位置獲得且從共同的視角中心顯示在所述顯示器的窗口上。
25. 根據權利要求22所述的方法，其中，所述不同的位置位于所述場景內的不同場所。
26. 根據權利要求22所述的方法，其中，通過使用輸入裝置選擇顯示器上的點而在所 述第一視圖中識別所述關注點。
27. 根據權利要求22所述的方法，其中，所述可滑動的指示器為滑桿。
28. 根據權利要求22所述的方法，其中，所述可滑動的指示器響應于用戶輸入而移動。
29. 根據權利要求22所述的方法，其中，當所述可滑動的指示器移動時，每一其它視圖 中的視圖被取向，以提供沿著所述線移動的所述可滑動的指示器的側視圖。
30. 根據權利要求22所述的方法，其中，至少部分地基于獲得每一所述視圖的不同位 置之間的距離確定所述線的長度，當所述可滑動的指示器沿所述線移動時，確定從所述圖 像傳感器到所述可滑動的指示器的距離。
31. 根據權利要求22所述的方法，其中，當所述可滑動的指示器沿著所述線移動時，調 整每一其它窗口的縮放程度。
【文檔編號】A61B5/1455GK104363822SQ201380031641
【公開日】2015年2月18日 申請日期:2013年4月8日 優先權日:2012年4月15日
【發明者】特洛伊·布朗, 大衛·科諾普 申請人:天寶導航有限公司