雙圖像采集系統及圖像采集方法與流程

本發明涉及圖像采集技術領域，特別是涉及雙圖像采集系統及圖像采集方法。

背景技術：

由于不同類型的圖像能夠反映物體的不同信息，為實現不同的應用，常需要獲取物體的多種類型的圖像，例如獲取物體的彩色圖像和深度圖像。由于彩色圖像僅能顯示目標的二維信息，但是卻有著極為豐富的色彩特征，適合用來做識別任務；而深度圖像能直接反映物體的三維形狀特征，可以實現2D圖像無法實現的三維建模以及3D識別等任務。因此，二者的結合能很大程度上提升應用范圍。

目前，不同類型的圖像需要通過不同類型的相機分別采集獲取的，具體為將兩個相機平行間隔放置，因而兩者采集到的圖像存在著像素視差。故，在將采集的兩種圖像進行結合之前，往往需要消除圖像間的像素視差，否則可能會導致結合后圖像的失真。

技術實現要素：

本發明主要解決的技術問題是提供雙圖像采集系統及圖像采集方法，能夠實現零像素視差的雙圖像采集。

為解決上述技術問題，本發明采用的一個技術方案是：提供一種雙圖像采集系統，其特征在于，包括第一圖像采集裝置、第二圖像采集裝置以及半透半反鏡，所述第一圖像采集裝置的第一光軸與所述第二圖像采集裝置的第二光軸正交，且所述半透半反鏡設置于所述第一光軸與所述第二光軸的相交處，所述第一光軸經所述半透半反鏡透射后與所述第二光軸經所述半透半反鏡反射后重合；

所述第一圖像采集裝置用于采集經所述半透半反鏡透射得到的目標的第一圖像；

所述第二圖像采集裝置用于采集經所述半透半反鏡反射得到的所述目標的第二圖像。

其中，所述第一圖像采集裝置和所述第二圖像采集裝置中的一個為彩色圖像采集裝置，另一個為激光圖像采集裝置，所述第一圖像和第二圖像的一個為彩色圖像，另一個為激光圖像。

其中，所述激光圖像采集裝置包括投影模組和圖像采集元件，所述投影模組用于向所述目標投射結構光圖案，所述圖像采集元件用于采集所述目標的結構光激光圖像。

其中，還包括與所述第一圖像采集裝置和所述第二圖像采集裝置連接的圖像處理裝置，用于獲取所述第一圖像采集裝置和所述第二圖像采集裝置采集的圖像，并采用結構光三角法對采集得到的結構光激光圖像進行計算得到所述目標的深度圖像。

其中，還包括與所述第一圖像采集裝置和所述第二圖像采集裝置連接的控制裝置，用于控制所述投影模組投射所述結構光圖案的時間和/或頻率，以及控制所述第一圖像采集裝置和所述第二圖像采集裝置的采集時間和/或采集頻率。

其中，所述控制裝置與所述圖像處理裝置為同一電路。

其中，所述系統集成于同一設備中。

其中，所述半透半反鏡的透射率和反射率的范圍均為20％至80％。

為解決上述技術問題，本發明采用的一個技術方案是：提供一種圖像采集方法，包括：

獲取第一圖像采集裝置采集的經半透半反鏡透射得到的目標的第一圖像和第二圖像采集裝置采集的經所述半透半反鏡反射得到的所述目標的第二圖像，其中，第一圖像采集裝置的第一光軸與所述第二圖像采集裝置的第二光軸正交，且所述半透半反鏡設置于所述第一光軸與所述第二光軸的相交處；

對所述第一圖像和/或所述第二圖像進行處理。

其中，所述第一圖像采集裝置和所述第二圖像采集裝置中的一個為彩色圖像采集裝置，另一個為激光圖像采集裝置，所述第一圖像和第二圖像的一個為彩色圖像，另一個為結構光激光圖像，對所述第一圖像和/或所述第二圖像進行處理，包括：

采用結構光三角法對采集得到的結構光激光圖像進行計算得到所述目標的深度圖像。

本發明的有益效果是：通過將第一圖像采集裝置和第二圖像采集裝置進行以光軸正交設置，并采用半透半反鏡設置在光軸正交處且兩個圖像采集裝置的光軸經半透半反鏡后重合，使得目標光線分別通過半透半反鏡透射和反射后，到達第一圖像采集裝置和第二圖像采集裝置后的成像位置相同，即第一圖像采集裝置采集的第一圖像和第二圖像采集裝置采集的第二圖像的對應像素相對于其采集裝置中心位置相同，故實現了采集得到的第一圖像和第二圖像之間無像素視差。

附圖說明

圖1是本發明雙圖像采集系統一實施例的結構示意圖；

圖2是本發明雙圖像采集系統另一實施例的結構示意圖；

圖3是本發明雙圖像采集系統再一實施例的結構示意圖；

圖4是本發明雙圖像采集系統又再一實施例的結構示意圖；

圖5是本發明圖像采集方法一實施例的流程圖。

具體實施方式

為了更好的理解本發明的技術方案，下面結合附圖對本發明實施例進行詳細描述。

在本發明實施例中使用的術語是僅僅出于描述特定實施例的目的，而非旨在限制本發明。在本發明實施例和所附權利要求書中所使用的單數形式的“一種”、“所述”和“該”也旨在包括多數形式，除非上下文清楚地表示其他含義。還應當理解，本文中使用的術語“和/或”是指并包含一個或多個相關聯的列出項目的任何或所有可能組合。

請參閱圖1，圖1是本發明雙圖像采集系統一實施例的結構示意圖。本實施例中，該采集系統10包括第一圖像采集裝置11、第二圖像采集裝置12、半透半反鏡13以及入光口14。

其中，所述第一圖像采集裝置11和第二圖像采集裝置12不設置在同一直線上，且第一圖像采集裝置11的第一光軸a與所述第二圖像采集裝置12的第二光軸b正交，如圖1所示。當然，在其他實施例中，也可如圖2所示。

半透半反鏡13設置于所述第一光軸a與所述第二光軸b的相交處，且第一光軸a和第二光軸b分別位于該半透半反鏡13的兩個相對側面131，使得目標光線通過入光口14后經半透半反鏡13透射后到達第一圖像采集裝置11，并經半透半反鏡13反射后到達第二圖像采集裝置12，進而可實現上述兩個圖像采集裝置對目標20的圖像采集。具體地，第一光軸a經所述半透半反鏡13透射后與所述第二光軸b經所述半透半反鏡反射后重合，例如，該半透半反鏡13與第一光軸a和第二光軸b均成45度角，以實現上述重合。

值得注意的是，本發明所述的半透半反鏡為透射率和反射率均不為零的光學元件，該半透半反鏡的透射率和反射率可根據具體應用需求進行設置。通常，將半透半反鏡的透射率和反射率均設置為20％至80％之間，例如，若當前環境第一圖像采集裝置所需的光強大于第二圖像采集裝置，則將半透半反鏡的透射率為70％，反射率為30％。在一具體應用中，該第一圖像采集裝置為彩色圖像采集裝置，第二圖像采集裝置為激光圖像采集裝置，則優選將透射率設置為60％，反射率設置為40％，反之亦然。

通過上述設置，第一圖像采集裝置11可采集經所述半透半反鏡13透射得到的目標20的第一圖像，第二圖像采集裝置12可采集經所述半透半反鏡13反射得到的目標20的第二圖像。

通常，當采集系統設置有不透光外殼，以將上述采集裝置和半透半反鏡容置于內時，該采集系統包括上述入光口14，且該入光口14設置在外殼上；當采集系統無設置外殼時，則可不包括上述入光口14。

像素視差指的是同一個空間三維點在兩個圖像采集裝置成像后，兩個圖像中的對應像素分別相對于各自采集裝置中心點的位移間之差，若兩個圖像中的對應像素相對于各自采集裝置中心點的位置相同，則視為沒有像素視差。本實施例中，通過將第一圖像采集裝置和第二圖像采集裝置進行以光軸正交設置，并采用半透半反鏡設置在光軸正交處且兩個圖像采集裝置的光軸經半透半反鏡后重合，使得目標光線分別通過半透半反鏡透射和反射后，到達第一圖像采集裝置和第二圖像采集裝置后的成像位置相同，即第一圖像采集裝置采集的第一圖像和第二圖像采集裝置采集的第二圖像的對應像素相對于其采集裝置中心位置相同，例如，目標20的c點光線經半透半反鏡13的透射和反射后，沿第一光軸a到達第一圖像采集裝置的鏡頭中心進而形成在第一圖像的中心像素處，并沿第二光軸b到達第二圖像采集裝置12的鏡頭中心進而形成在第二圖像的中心像素處，故實現了采集得到的第一圖像和第二圖像之間無像素視差。

在一實施例中，該第一圖像采集裝置11和第二圖像采集裝置12中的一個可為彩色圖像采集裝置(本實施例所述的彩色也可稱為RGB)，另一個可為激光圖像采集裝置，例如，第一圖像采集裝置11為彩色圖像采集裝置，第二圖像采集裝置12為激光圖像采集裝置；或者，第一圖像采集裝置11為激光圖像采集裝置，第二圖像采集裝置12為彩色圖像采集裝置。對應地，彩色圖像采集裝置采集得到的圖像為彩色圖像，激光圖像采集裝置采集得到圖像為激光圖像。當然，在其他實施例中，上述圖像采集裝置并不限定為彩色圖像采集裝置和激光圖像采集裝置，可以為現有的任意類型圖像的采集器件。

進一步地，該激光圖像采集裝置可以是基于結構光或TOF等其它原理的采集裝置。此類型采集裝置可由一個投影鏡頭及采集鏡頭組成，比如，如圖3所示，在第二圖像采集裝置為結構光激光圖像采集裝置的實施例中，結構光激光圖像采集裝置12包括投影模組121及圖像采集元件122，其中投影模組121用于向目標20投射特定圖案的結構光，也稱結構光圖案，如圖3所示，投影模組121通過采集系統10的出光口15向目標投射結構光圖案。圖像采集元件用于采集目標20的帶該結構光圖案的圖像，即稱為結構光激光圖像。其中，該投影模組121與圖像采集元件122可以分離設置或者一體設置，當分離設置時，該投影模組121與圖像采集元件122的位置關系可設置為對目標具有相同或近似相同的深度，又或者投影模組121與圖像采集元件122對目標的深度差為設定值。圖3所示的出光口和入光口之間的距離低于10cm，故相對于較遠距離(通常大于100cm)的目標的上述采集不會造成影響。當然，在另一實施例中，該出光口和入光口也可為相同位置，即出光口也為入光口。

投影模組121可由激光源及衍射光學元件組成，激光源可以是邊發射型的激光源也可以是垂直腔面激光源，可以是點光源或者陣列光源，該激光源用于發射能被該激光圖像采集裝置采集得到的激光。衍射光學元件根據不同的結構光圖案需要可以被設置成具有準直、分束、擴散等功能。上述結構光圖案可以為經調制的條紋，或分布不規則的散斑圖案，例如激光源發射的光通過衍射光學元件后被分成多個激光光束同時被擴散投射到目標空間中，從而形成不規則排列的散斑圖案。散斑中心能級需要符合對人體無害的要求，因此需要綜合考慮激光的功率以及衍射光學元件的配置情況。

散斑圖案的密集程度影響了后續對激光圖像采集裝置采集得到的圖像處理例如影響對圖像的深度值計算的速度及精度，散斑顆粒越多，計算速度越慢，但精度卻越高。因此，該投影模組121可根據拍攝圖像的目標區域的大致深度，選擇合適的散斑顆粒密度，在保證計算速度的同時，仍有著較高的計算精度。當然，該散斑顆粒密度也可由上述采集系統根據自身的計算需求而確定的。

其中，該投影模組121向目標區域是但不限是以一定的擴散角投射散斑顆粒圖案的。

上述激光圖像采集裝置具體可為紅外圖像采集裝置，如紅外相機，該激光圖像為紅外圖像，對應地，當該采集裝置包括投影模組時，該投影模組投射的結構光圖案為紅外結構光圖案；或者激光圖像采集器可以為紫外圖像采集裝置，如紫外相機，該激光圖像為紫外圖像，對應地，當該采集裝置包括投影模組時，該投影模組投射的結構光圖案為紫外結構光圖案。

請參閱圖4，該采集系統10還包括均與第一圖像采集裝置11和第二圖像采集裝置12連接的圖像處理裝置16和控制裝置17。

其中，圖像處理裝置16用于獲取所述第一圖像采集裝置和所述第二圖像采集裝置采集的圖像，并對采集得到的圖像進行處理，例如，采用結構光三角法對采集得到的結構光激光圖像進行計算得到所述目標的深度圖像，又例如，對采集得到圖像進行平滑、去噪處理。

在一該結構光圖案為散斑圖案的實施例中，圖像處理裝置16可具體用于根據三角法原理，通過計算采集得到的散斑圖像中散斑顆粒相對于參考散斑圖案中對應散斑顆粒的偏離值來計算目標的深度值，其中，該參考散斑圖案預先利用已設置好的投影模組向設定距離的平面投射參考散斑圖案，并利用已設置好的圖像采集元件采集該平面的參考散斑圖案得到的，上述的“設置好”應理解為一旦設置好之后，在后續進行該激光圖像的采集時亦不會移動該圖像采集元件和投影模組。

進一步地，圖像處理裝置16在獲得目標的深度圖像之后，還可根據該目標的深度圖像和彩色圖像采集裝置采集得到的目標的彩色圖像進行結合，得到該目標的三維信息。當然，上述激光相機可不包括投影模組，且得到的激光圖像未必用于深度圖像的計算，本發明對圖像采集裝置的結構以及采集得到的圖像的處理不做任何限定。

控制裝置17用于控制所述第一圖像采集裝置11和所述第二圖像采集裝置12的采集時間和/或采集頻率。為了達到好的采集效果以及避免后續多余的計算，可將第一圖像采集裝置與第二圖像采集元件設置成同步采集且采集幀數相同，這樣得到的第一圖像與第二圖像能保證一一對應的關系，便于后續圖像處理。

當激光圖像采集裝置包括投影模組時，控制裝置17還用于控制投影模組121投射結構光圖案的時間和/或頻率。在一實施例中，該投影模組121的投射時間可設置為與該激光圖像采集裝置的采集時間同步，且采集頻率相同。

可以理解的是，采集系統也可不包括上述圖像處理裝置和控制裝置，上述圖像處理裝置和控制裝置所實現的功能可由與采集系統連接的外部設備實現。而且，上述圖像處理裝置和控制裝置可由不同的電路實現，或者由同一電路如同一處理器實現。

另外，上述采集系統可集成于同一設備中，如上述采集系統所包括的器件均設置在一外殼中。當然，上述采集系統也可分離為多個設備，例如，第一圖像采集裝置、第二圖像采集裝置、圖像處理裝置和控制裝置分別為獨立的設備。

上述實施例中，可設置該第一圖像采集裝置和第二圖像采集裝置的圖像采集靶面大小相等、分辨率相同以及焦距相同。或者，第一圖像采集裝置和第二圖像采集裝置的圖像采集靶面大小、分辨率以及焦距中的至少一個不相同，例如第一圖像采集裝置的靶面大小以及分辨率都比第二圖像采集裝置元件大，此時，圖像處理裝置16在獲得第一圖像和第二圖像后，可對所述第一圖像和/或第二圖像進行插值、分割處理，使得所述第一圖像和第二圖像對應的目標區域相同，且圖像大小與分辨率也相同。由于第一圖像采集裝置和第二圖像采集裝置在裝配時存在誤差，故上述該第一圖像采集裝置和第二圖像采集裝置的圖像采集靶面大小相等、分辨率相同以及焦距相同應理解為：該第一圖像采集裝置和第二圖像采集裝置的圖像采集靶面大小、分辨力和焦距為在允許誤差的范圍內的相同。

而且，上述圖像包括照片或者視頻，當上述圖像為視頻時，所述第一圖像采集裝置和第二圖像采集裝置的采集頻率同步，或者若第一圖像采集裝置和第二圖像采集裝置的采集頻率不同步，則通過圖像插值的方式獲得頻率一致的視頻圖像。

請參閱圖5，圖5是本發明圖像采集方法一實施例的流程圖。本實施例中，該圖像采集方法應用于上述采集系統，包括以下步驟：

S51：利用第一圖像采集裝置采集經半透半反鏡透射得到的目標的第一圖像，并利用第二圖像采集裝置采集經所述半透半反鏡反射得到的所述目標的第二圖像。

其中，如上述實施例所述，第一圖像采集裝置的第一光軸與所述第二圖像采集裝置的第二光軸正交，且所述半透半反鏡設置于所述第一光軸與所述第二光軸的相交處，所述第一光軸經所述半透半反鏡透射后與所述第二光軸經所述半透半反鏡反射后重合。

S52：對所述第一圖像和/或所述第二圖像進行處理。

例如，所述第一圖像采集裝置和所述第二圖像采集裝置中的一個為彩色圖像采集裝置，另一個為激光圖像采集裝置，所述第一圖像和第二圖像的一個為彩色圖像，另一個為結構光激光圖像。該S52包括：采用結構光三角法對采集得到的結構光激光圖像進行計算得到所述目標的深度圖像。

又例如，該S52還包括：對采集得到圖像進行平滑、去噪處理；和/或，對所述第一圖像和/或第二圖像進行插值、分割處理。

可以理解的是，在其他實施例中，該采集方法也可不包括上述S52。

上述方案中，通過將第一圖像采集裝置和第二圖像采集裝置進行以光軸正交設置，并采用半透半反鏡設置在光軸正交處且兩個圖像采集裝置的光軸經半透半反鏡后重合，使得目標光線分別通過半透半反鏡透射和反射后，到達第一圖像采集裝置和第二圖像采集裝置后的成像位置相同，即第一圖像采集裝置采集的第一圖像和第二圖像采集裝置采集的第二圖像的對應像素相對于其采集裝置中心位置相同，故實現了采集得到的第一圖像和第二圖像之間無像素視差，進而可實現利用第一圖像和第二圖像得到精確的目標信息如彩色和深度信息等。

以上所述僅為本發明的實施方式，并非因此限制本發明的專利范圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發明的專利保護范圍內。