自適應深度感測的制作方法
【技術領域】
[0001]本發明一般涉及深度感測。更具體來說，本發明涉及在各種深度平面的自適應深度感測。
【背景技術】
[0002]在圖像捕獲期間，存在用來捕獲與圖像信息關聯的深度信息的各種技術。深度信息通常用來產生圖像中包含的深度的表示。深度信息可采取點云、深度圖或三維(3D)多邊形網格的形式，其可用來指示圖像中的3D對象的深度。深度信息也能夠使用立體像對或者多視圖立體重構方法從二維(2D)圖像來得出，并且還能夠從包括結構化光、飛行時間傳感器和許多其他方法的大量直接深度感測方法來得出。在所設置深度平面來捕獲固定深度分辨率值的深度。
【附圖說明】
[0003]圖1是可用來提供自適應深度感測的計算裝置的框圖；
圖2是具有不同基線的兩個景深的圖示；
圖3是具有MEMS裝置的圖像傳感器的圖示；
圖4是3個振動網格的圖示；
圖5是跨網格的振動移動的圖不；
圖6是示出沿基線軌的MEMS控制傳感器的簡圖；
圖7是示出基于兩個傳感器之間的基線的變化的視場的變化的簡圖；
圖8是移動裝置的圖示；
圖9是用于自適應深度感測的方法的過程流程圖；
圖10是用于提供自適應深度感測的示范系統的框圖；
圖11是可實施圖10的系統的小形狀因數裝置的示意圖；以及圖12是示出存儲用于自適應深度感測的代碼的有形非暫時計算機可讀介質1200的框圖。
[0004]相同標號在本公開和附圖中通篇用來表不相似組件和特征。100系列中的標號表示最初見于圖1的特征；200系列中的標號表示最初見于圖2的特征；依此類推。
【具體實施方式】
[0005]深度和圖像傳感器在很大程度上是靜態的預設裝置，在各種深度平面捕獲具有固定深度分辨率值的深度和圖像。深度分辨率值和深度平面因深度傳感器的預設光學視場、傳感器的固定光圈和固定傳感器分辨率而是固定的。本文的實施例提供自適應深度感測。在一些實施例中，深度表示可基于深度圖的使用或者深度圖中的感興趣面積來調整。在一些實施例中，自適應深度感測是基于人類視覺系統的可縮放深度感測。自適應深度感測可使用微機電系統(MEMS)來實現，以調整光圈和光學中心視場。自適應深度感測還可包括在各種位置的一組振動模式。
[0006]在以下描述和權利要求書中，可使用術語“耦合”和“連接”及其派生。應當理解，這些術語并不是要作為彼此的同義詞。在具體實施例中，“連接”而是可用來表示兩個或更多元件相互直接物理或電接觸。“耦合”可表示兩個或更多元件直接物理或電接觸。但是，“耦合”也可表示兩個或更多元件不是相互直接接觸，但是仍然相互配合或交互。
[0007]一些實施例可通過硬件、固件和軟件其中之一或者它們的組合來實現。一些實施例還可作為機器可讀介質上存儲的指令來實現，所述指令可由計算平臺讀取和運行以執行本文所述的操作。機器可讀介質可包括用于存儲或傳送機器、例如計算機可讀形式的信息的任何機制。例如，機器可讀介質可包括:只讀存儲器(ROM);隨機存取存儲器(RAM);磁盤存儲介質；光存儲介質；閃速存儲器裝置；或者電、光、聲或其他形式的傳播信號(例如載波、紅外信號、數字信號或者傳送和/或接收信號的接口 )等。
[0008]一實施例是實現或示例。本說明書中提到“一實施例”、“一個實施例”、“一些實施例”、“各個實施例”或“其他實施例”表示結合這些實施例所述的特定特征、結構或特性包含在本發明的至少部分實施例但不一定是全部實施例中。出現“一實施例”、“一個實施例”或“一些實施例”的各種情況不一定都表示相同實施例。來自一實施例的元件或方面能夠與另一個實施例的元件或方面相結合。
[0009]并非本文所述和所示的所有組件、特征、結構、特性等都需要包含在具體實施例中。例如，如果本說明書陳述組件、特征、結構或特性“可”、“可能”或者“能夠”被包含，則不要求包含那個特定組件、特征、結構或特性。如果本說明書或權利要求書提到“一”或“一個”元件，則并不表示只有一個這種元件。如果本說明書或權利要求書提到“一個附加”元件，則不排除存在一個以上這種附加元件的情況。
[0010]要注意，雖然一些實施例參照具體實現來描述，但是按照一些實施例，其他實現是可能的。另外，附圖所示和/或本文所述的電路元件或其他特征的布置和/或順序無需按照所示和所述的特定方式來設置。按照一些實施例，許多其他布置是可能的。
[0011]在附圖所示的各系統中，一些情況下的元件各可具有相同的參考標號或者不同的參考標號，以暗示所表示的元件可能是不同的和/或相似的。但是，元件可以足夠靈活，以便具有不同實現，并且與本文所示或所述的系統的部分或全部配合工作。附圖所示的各種元件可以是相同或不同的。哪一個稱作第一元件和哪一個稱作第二元件是任意的。
[0012]圖1是可用來提供自適應深度感測的計算裝置100的框圖。計算裝置100可以是例如膝上型計算機、臺式計算機、平板計算機、移動裝置或服務器等等。計算裝置100可包括中央處理單元(CPU) 102 (其配置成運行所存儲指令)以及存儲器裝置104 (其存儲由CPU102可執行的指令)。CPU可經過總線106耦合到存儲器裝置104。另外，CPU 102能夠是單核處理器、多核處理器、計算集群或者任何數量的其他配置。此外，計算裝置100可包括一個以上CPU 102。由CPU 102來運行的指令可用來實現自適應深度感測。
[0013]計算裝置100還可包括圖形處理單元(GPU) 108。如所示，CPU 102可經過總線106耦合到GPU 108。GPU 108可配置成執行計算裝置100中的任何數量的圖形操作。例如，GPU108可配置成渲染或操縱圖形圖像、圖形幀、視頻等，以便向計算裝置100的用戶顯示。在一些實施例中，GPU 108包括多個圖形引擎(未示出)，其中各圖形引擎配置成執行特定圖形任務或者運行特定類型的工作負荷。例如，GPU 108可包括控制傳感器的振動的引擎。圖形引擎也可用來控制光圈和視場(FOV)的光學中心，以便調整深度分辨率和景深線性度。在一些實施例中，分辨率是特定面積中的數據點的量度。數據點能夠是深度信息、圖像信息或者傳感器所測量的任何其他數據點。此外，分辨率可包括不同類型的數據點的組合。
[0014]存儲器裝置104能夠包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、閃速存儲器或者任何其他適當存儲器系統。例如，存儲器裝置104可包括動態隨機存取存儲器(DRAM)。存儲器裝置104包括驅動器110。驅動器110配置成運行用于操作計算裝置100中的各種組件的指令。裝置驅動器110可以是軟件、應用程序、應用代碼等。驅動器還可用來操作GPU以及控制傳感器的振動、光圈和視場(FOV)的光學中心。
[0015]計算裝置100包括一個或多個圖像捕獲裝置112。在一些實施例中，圖像捕獲裝置112能夠是照相裝置、立體照相裝置、紅外傳感器等。圖像捕獲裝置112用來捕獲圖像信息和對應深度信息。圖像捕獲裝置112可包括傳感器114，例如深度傳感器、RGB傳感器、圖像傳感器、紅外傳感器、X射線光子計數傳感器、光傳感器或者它們的任何組合。圖像傳感器可包括電荷耦合器件(CXD)圖像傳感器、互補金屬氧化物半導體(CMOS)圖像傳感器、芯片上系統(SOC)圖像傳感器、具有光敏薄膜晶體管的圖像傳感器或者它們的任何組合。在一些實施例中，傳感器114是深度傳感器114。深度傳感器114可用來捕獲與圖像信息關聯的深度信息。在一些實施例中，驅動器110可用來操作圖像捕獲裝置112中的傳感器、例如深度傳感器。深度傳感器可通過調整振動、光圈或者傳感器所觀測的FOV的光學中心的形式，來執行自適應深度感測。MEMS 115可調整一個或多個傳感器114之間的物理位置。在一些實施例中，MEMS 115用來調整兩個深度傳感器114之間的位置。
[0016]CPU 102可經過總線106連接到輸入/輸出(I/O)裝置接口 116，其配置成將計算裝置100連接到一個或多個I/O裝置118。I/O裝置118可包括例如鍵盤和指針裝置，其中指針裝置可包括觸摸板或觸摸屏等等。I/O裝置118可以是計算裝置100的內置組件，或者可以是外部連接