深度信息提取裝置和方法
【專利摘要】根據本發明的一個實施方式的深度信息提取裝置包括：投射單元，其不連續地投射預定圖案的IR(紅外)光；攝像單元，其捕捉圖像；以及信號處理單元，其通過使用由攝像單元捕捉的圖像來執行深度信息提取和RGB圖象信息提取，其中，信號處理單元通過使用在第一時間間隔期間接收的圖像來提取深度信息，并且通過使用在第二時間間隔期間接收的圖像來提取RGB圖像信息。
【專利說明】
深度信息提取裝置和方法
技術領域
[0001]本公開內容涉及用于提取深度信息的裝置和方法。
【背景技術】
[0002]使用捕捉裝置來獲取三維圖像的技術正在發展。深度信息(深度圖)是用于獲取三維圖像所必需的。深度信息是指示空間距離的信息，并且示出二維圖像中的一個點相對于另一個點的透視信息。
[0003]獲取深度信息的方法包括使用立體攝像機的方法、飛行時間(TOF)方法、結構光方法等。
[0004]根據使用立體攝像機的方法，可以使用兩個攝像機之間的時間差來獲取深度信息。根據TOF方法，可以通過測量飛行時間(即從發射光到光被反射所花費的時間)來獲取深度信息。根據結構光方法，可以通過將紅外(IR)結構光投射到攝像機并且解釋從對象反射的光來獲取深度?目息。
[0005]同時，隨著應用了電視機(TV)的技術的發展，可以將包括深度信息提取功能和視頻呼叫功能的模塊嵌入至TV中或連接至TV。該模塊可以包括:投射IR結構光的投影儀、檢測IR結構光的IR攝像機以及RGB攝像機。
[0006]以這種方式，當包括深度信息提取功能和視頻呼叫功能的模塊包括IR攝像機和RGB攝像機二者時，由于制造成本的增加、尺寸的增大和結構的復雜化，存在將模塊嵌入電視機中的難題。
【發明內容】
[0007]【技術問題】
[0008]本公開內容涉及提供用于提取深度信息的裝置和方法。
[0009]【技術的解決方案】
[0010]根據本公開內容的實施方式，一種用于提取深度信息的裝置包括:投射單元，該投射單元不連續地投射預定圖案的IR(紅外)光;攝像單元，該攝像單元捕捉圖像；以及信號處理單元，該信號處理單元使用由攝像單元捕捉的圖像來執行深度信息提取和RGB圖像信息提取，其中，信號處理單元使用在第一時間間隔期間接收的圖像來提取深度信息，并且使用在第二時間間隔期間接收的圖像來提取RGB圖像信息。
[0011]投射單元可以周期性地投射IR光。
[0012]第一時間間隔可以對應于其中投射單元投射IR光的時間段。
[0013]第二時間間隔可以對應于其中投射單元不投射IR光的時間段。
[0014]在第一時間間隔期間接收的圖像可以包括IR光的圖案和RGB圖像，并且在第二時間間隔期間接收的圖像可以包括RGB圖像。
[0015]攝像單元可以是捕捉RGB圖像的RGB攝像機。
[0016]用于提取深度信息的裝置還可以包括控制單元，該控制單元控制投射單元、攝像單元和信號處理單元，并且該控制單元可以控制投射IR光的時間段。
[0017]控制單元可以根據所需要的深度分辨率和距對象的距離中至少一個來控制投射IR光的時間段。
[0018]根據本公開內容的實施方式，一種用于提取深度信息的裝置的提取深度信息的方法包括:不連續地投射預定圖案的IR(紅外)光;捕捉圖像;使用在第一時間間隔期間捕捉的圖像來提取深度信息；以及使用在第二時間間隔期間捕捉的圖像來提取RGB圖像信息。
[0019]第一時間間隔可以對應于其中投射IR光的時間段，而第二時間間隔可以對應于其中不投射IR光的時間段。
[0020]用于提取深度信息的方法還可以包括:使用通過對深度信息的提取而提取的深度信息來調整投射IR光的時間段。
[0021]在調節中，可以將距對象的距離與閾值進行比較，并且時間段被控制成根據比較的結果來縮短或延長。
[0022]【有益效果】
[0023]根據本公開內容的實施方式，使用一個攝像機來執行深度信息提取功能和視頻呼叫功能二者，使得可以減少裝置的制造成本和尺寸。
【附圖說明】
[0024]圖1是示出了深度信息提取裝置的示例的框圖。
[0025]圖2示出了RGB攝像機的每個波段的量子效率。
[0026]圖3是根據本公開內容的實施方式的深度信息提取裝置的框圖。
[0027]圖4是示出了根據本公開內容的實施方式的深度信息提取裝置的深度信息提取方法的流程圖。
[0028]圖5示出了由根據本公開內容的實施方式的深度信息提取裝置的投射單元周期性地投射的IR光的圖案。
[0029]圖6示出了由根據本公開內容的實施方式的深度信息提取裝置的RGB攝像機捕捉的圖像。
【具體實施方式】
[0030]由于可以對本公開內容進行各種修改，并且本公開內容可以具有各種實施方式，所以將在附圖中圖示【具體實施方式】并描述【具體實施方式】。然而，這不是用于將本公開內容限制成具體的實施方式，而是在本公開內容的精神和范圍內包括的所有修改、等同物和替代應該被解釋為屬于本公開內容。
[0031]包括序數詞如第一和第二的術語可以用于描述各種元件，但是這些元件并不受這些術語的限制。這些術語僅用于將一個元件與另一個元件進行區分的目的。例如，在不脫離示本公開內容的范圍的情況下，第二元件可以被稱為第一元件，并且類似地，第一元件也可以被稱為第二元件。術語“和/或”包括多個相關聯描述的項目的組合或者多個相關聯描述的項目中的任何一個項目。
[0032]當提及某個元件“連接”或“鏈接”至另一元件時，盡管該某個元件可以直接連接或鏈接至該另一元件，但是應該理解的是，這兩個元件之間可以存在另一元件。另一方面，當提及某個元件“直接連接”或“直接鏈接”至另一元件時，應該理解的是，這兩個元件之間不存在另一元件。
[0033]本申請中所使用的術語僅用于描述特定實施方式，而并非意在限制本公開內容。除非上下文另有明確說明，否則單數形式的表達包括復數形式的表達。在本申請中，術語如“包括”或“具有”用于表明特征、數目、步驟、操作、元件、部件或其組合的存在，而不應解釋為排除一個或更多個其他特征、數目、步驟、操作、元件、部件或其組合的存在或增加的可能性。
[0034]除非另有定義，否則本文中使用的所有術語(包括技術或科學術語)具有與本公開內容所屬領域的普通技術人員通常理解的含義相同的含義。例如，常用字典中定義的術語應當被解釋為具有與在相關領域的上下文中的含義一致的含義，并且除非在本文中明確定義，否則將不會理想化或過于正式地來進行解釋。
[0035]在下文中，將參照附圖詳細描述實施方式，同時將同樣的附圖標記給予相同或相應的元件，盡管在附圖和其重復描述中將省略這些標記。
[0036]圖1是示出了深度信息提取裝置的示例的框圖。
[0037]參照圖1，深度信息提取裝置100包括投射單元110、IR攝像機120、RGB攝像機130、信號處理單元140和控制單元150。
[0038]投射單元110將預定圖案的IR光投射至被捕捉的對象。
[0039]IR攝像機120捕捉從投射單元110投射并且從對象反射的光。此外，RGB攝像機130捕捉RGB圖像。
[0040]信號處理單元140使用由IR攝像機120捕捉的圖像來提取深度信息，并且使用由RGB攝像機130捕捉的圖像來提取RGB圖像信息。控制單元150控制深度信息提取裝置100的整體操作。
[0041]以這種方式，當深度信息提取裝置100分別包括IR攝像機120和RGB攝像機130時，由于深度信息提取裝置100的制造成本和其尺寸的增加，存在將深度信息提取裝置100嵌入電視機(TV)中的難題。
[0042]同時，如圖2所示，可以確認的是，雖然普通RGB攝像機在400nm至700nm的可見光頻帶中的量子效率為30 %或更高，但是普通RGB攝像機在800nm至850nm的IR頻帶中的量子效率也是20%或更高。以這種方式，即使普通RGB攝像機主要檢測可見光的波段，但是也可以檢測到近IR光的波段。因此，根據本公開內容的實施方式，RGB攝像機還用于執行深度信息提取功能。
[0043]圖3是根據本公開內容的實施方式的深度信息提取裝置的框圖。
[0044]參照圖3，深度信息提取裝置300包括:投射單元310、RGB攝像機320、信號處理單元330和控制單元340。
[0045]投射單元310不連續地投射預定圖案的光。即，投射單元310可以重復投射光的處理達預定量的時間，并且然后不投射光達預定量的時間。此處，預定圖案的光可以是SOOnm或更高波段的IR光。為此，投射單元310可以包括投射IR光的至少一個激光二極管(LD)或發光二極管(LED)。投射單元310可以例如是激光投影儀。
[0046]RGB攝像機320捕捉圖像。雖然RGB攝像機320主要捕捉RGB圖像，但是RGB攝像機320還可以檢測從投射單元310投射并且由對象反射的IR光。在RGB攝像機320僅捕捉RGB圖像期間的時間間隔以及在RGB攝像機320連同RGB圖像一起還檢測IR光期間的時間間隔可以取決于其中由投射單元310投射IR圖案的時間段。即，在RGB攝像機320連同RGB圖像一起還檢測IR光期間的時間間隔可以對應于在投射單元310投射IR圖案期間的時間間隔。例如，當RGB攝像機320以1280 X 1024的分辨率發送出60fps的輸出時，對于RGB圖像可以使用具有1280X 1024的分辨率的30fps的輸出，而其余的具有1280X1024的分辨率的30fps的輸出可以用于檢測RGB圖像和IR光。
[0047]信號處理單元330使用由RGB攝像機320捕捉的圖像來提取深度信息和RGB圖像信息。當由RGB攝像機320捕捉的圖像僅包括RGB圖像時，信號處理單元330可以從該圖像中提取RGB圖像信息。此外，當由RGB攝像機320捕捉的圖像連同RGB圖像一起包括IR光時，信號處理單元330可以從該圖像中提取深度信息。為此，信號處理單元330可以提前識別其中投射單元310投射IR光的時間段。
[0048]控制單元340控制投射單元310、RGB攝像機320和信號處理單元330的全部的操作。具體地，控制單元340可以控制其中投射單元310投射IR光的時間段。此外，控制單元340可以將關于其中投射單元310投射IR光的時間段的信息發送至信號處理單元330。例如，當由信號處理單元330提取的深度信息的深度分辨率為預定水平或更低時，控制單元340可以控制投射單元310以較短的時間段來投射IR光。作為由信號處理單元330首先提取深度信息的結果，當對象與RGB攝像機120之間的平均距離或者對象的特定區域與RGB攝像機120之間的距離為預定水平或更大時，控制單元還可以控制投射單元310以較短的時間段來投射IR光。
[0049]下面詳細描述用于由根據本公開內容的實施方式的深度信息提取裝置300提取深度信息的方法。
[0050]圖4是示出了根據本公開內容的實施方式的深度信息提取裝置的深度信息提取方法的流程圖。圖5示出了由根據本公開內容的實施方式的深度信息提取裝置的投射單元周期性地投射的IR光的圖案，以及圖6示出了由根據本公開內容的實施方式的深度信息提取裝置的RGB攝像機捕捉的圖像。
[0051]參照圖4，深度信息提取裝置300的投射單元310不連續地投射預定圖案的IR光(S400)。此處，預定圖案的光可以是具有800nm或更高波長的IR光。預定圖案可以指結構光的圖案。如圖5所示，投射單元310可以被設置成僅在“開啟”時間段期間投射預定圖案的IR光，而在“關閉”時間段期間不進行投射。
[0052]RGB攝像機120捕捉圖像(S410)。即使RGB攝像機120主要捕捉RGB圖像，但是近IR光的波段的IR光也可以被檢測到。例如，如圖6所示，RGB攝像機320可以在“關閉”時間段期間僅捕捉RGB圖像，但是在“開啟”時間段期間連同RGB圖像一起還捕捉IR光。
[0053]信號處理單元330使用由投射單元310在“開啟”時間段期間捕捉的圖像(S420)來提取深度信息(S430)。由RGB攝像機320捕捉的圖像的IR光是從對象反射的光。這與由投射單元310投射的光的圖案不同。信號處理單元330可以將由投射單元310投射的IR光的圖案與由RGB攝像機320捕捉的IR光的圖案進行比較，以提取深度信息。可以通過使用IR結構光方法的各種深度信息提取算法來提取深度信息。雖然示出了信號處理單元330被包括在深度信息提取裝置300中，但是信號處理單元330也可以被設置在深度信息提取裝置300的外部。即，外部的信號處理單元330可以通過有線或無線通信從捕捉單元320接收信息。
[0054]此外，信號處理單元320使用在“關閉”時間段期間由投射單元310捕捉的圖像來提取RGB圖像信息(S440)。
[0055]同時，控制單元340可以控制其中投射單元310投射IR光的時間段。例如，作為在步驟S430中由信號處理單元330提取深度信息的結果，當距對象的距離大于閾值(S450)時，控制單元340可以調節其中投射單元310投射IR光的時間段(S460)。即，在距對象的距離較大的情況下，可能需要較大量的IR光來提取深度信息。因此，控制單元340可以將投射IR光的時間段調節得更短。可替代地，當距對象的距離在閾值內或者由于低照度造成的RGB圖像的品質不高時，控制單元340還可以將投射IR光的時間段調節得更長。
[0056]盡管已參照本公開內容的示例性實施方式描述了本公開內容，但是本領域普通技術人員應該理解，在不脫離所附權利要求中描述的本公開內容的精神和領域的范圍的情況下，可以以各種方式對本公開內容進行修改和改變。
【主權項】
1.一種用于提取深度信息的裝置，所述裝置包括: 投射單元，其被配置成不連續地投射預定圖案的IR(紅外)光； 攝像單元，其被配置成捕捉圖像；以及 信號處理單元，其被配置成使用由所述攝像單元捕捉的圖像來執行深度信息提取和RGB圖像彳g息提取， 其中，所述信號處理單元使用在第一時間間隔期間接收的圖像來提取深度信息，并且使用在第二時間間隔期間接收的圖像來提取RGB圖像信息。2.根據權利要求1所述的裝置，其中，所述投射單元周期性地投射所述IR光。3.根據權利要求1所述的裝置，其中，所述第一時間間隔對應于所述投射單元投射所述IR光的時間段。4.根據權利要求3所述的裝置，其中，所述第二時間間隔對應于所述投射單元不投射所述IR光的時間段。5.根據權利要求1所述的裝置，其中，在所述第一時間間隔期間接收的圖像包括所述IR光的圖案和RGB圖像，以及在所述第二時間間隔期間接收的圖像包括RGB圖像。6.根據權利要求1所述的裝置，進一步包括: 控制單元，其被配置成控制所述投射單元、所述攝像單元和所述信號處理單元， 其中，所述控制單元控制投射所述IR光的時間段。7.根據權利要求6所述的裝置，其中，所述控制單元根據所需要的深度分辨率和距對象的距離中的至少一個來控制投射所述IR光的時間段。8.—種用于提取深度信息的裝置的提取深度信息的方法，所述方法包括: 不連續地投射預定圖案的IR(紅外)光； 捕捉圖像； 使用在第一時間間隔期間捕捉的圖像來提取深度信息；以及 使用在第二時間間隔期間捕捉的圖像來提取RGB圖像信息。9.根據權利要求8所述的方法，其中，所述IR光在投射過程中被周期性投射。10.根據權利要求9所述的方法，其中，所述第一時間間隔對應于投射所述IR光的時間段，而所述第二時間間隔對應于不投射所述IR光的時間段。11.根據權利要求9所述的方法，進一步包括:使用通過提取所述深度信息而提取的所述深度信息來調整投射所述IR光的時間段。12.根據權利要求11所述的方法，其中，在調節過程中將距對象的距離與閾值進行比較，并且所述時間段被控制成根據比較的結果來縮短或延長。
【文檔編號】G01B11/22GK105940675SQ201580006363
【公開日】2016年9月14日
【申請日】2015年1月28日
【發明人】李明煜, 李基錫, 鄭星基
【申請人】Lg伊諾特有限公司