具有多個光源的運動傳感器裝置的制造方法
【技術領域】
[0001]本申請涉及具備多個光源的運動傳感器裝置。
【背景技術】
[0002]專利文獻I公開了一種一邊從多個光源對靜止或運動中的物體(對象物)分時投光，一邊基于通過I個圖像傳感器取得的多個圖像來測定到對象物的距離的技術。
[0003]專利文獻2公開了一種消除了背景光的影響的距離測量裝置。該距離測量裝置在不使光源發光的狀態下取得僅包含背景光成分的圖像，并在使光源發光的狀態下取得測量用的圖像。通過從測量用的圖像的像素值中減去僅包含背景光成分的圖像的像素值，能夠消除背景光的影響。
[0004]非專利文獻I公開了一種不進行讀取傳輸、能夠幾乎不產生時間差地拍攝多幅圖像的傳感器器件。
[0005]非專利文獻2公開了一種基于通過多樣地改變光源的位置進行拍攝而取得的多個圖像，來同時推定物體的反射特性、形狀、以及光源的位置的方法。
[0006]在先技術文獻
[0007]專利文獻
[0008]專利文獻1:JP特開2001-12909號公報
[0009]專利文獻2:JP特開2008-122223號公報
[0010]非專利文獻
[0011]非專利文獻1:Gordon Wan、Xiangli L1、Gennadiy Agranov、Marc Levoy、andMark Horowitz" CMOS Image Sensors With Mult1-Bucket Pixels for Computat1nalPhotography"、IEEE JOURNAL OF SOLID-STATE CIRCUITS、VOL.47、N0.4、APRIL 2012
[0012]非專利文獻2:荻野真佑，右田剛史，尺長健，“基于Torrance-Sparrow模型的反射特性/形狀/光源位置的同時推定的研宄”、The Institute of Electronics、Informat1n、 and Communicat1n Engineers、 IEICE Technical Report IE2007—347、PRMU2007-331(2008-03)
【發明內容】
[0013]在現有的背景光消除技術中，需要在使光源熄滅的狀態下額外進行僅包含背景光成分的圖像幀的攝像。因此，導致裝置的成本增加、規格下降。
[0014]本公開的實施方式提供一種能夠解決該問題的新的運動傳感器裝置。
[0015]解決課題的手段
[0016]為了解決上述課題，本公開的一個方式所涉及的運動傳感器裝置具備:圖像傳感器；第I光源以及第2光源；和控制部，其構成為對所述圖像傳感器和所述第I光源以及第2光源進行控制。所述控制部構成為:在第I時間一邊使所述第I光源發光一邊由所述圖像傳感器進行第I幀的攝像，在第2時間一邊使所述第2光源發光一邊由所述圖像傳感器進行第2幀的攝像，針對通過所述第I幀的攝像而取得的第I圖像以及通過所述第2幀的攝像而取得的第2圖像，執行基于所述第I圖像與所述第2圖像之差的屏蔽處理，基于所述屏蔽處理后的所述第I圖像、和所述屏蔽處理后的所述第2圖像，獲得到包含在所述第I圖像以及第2圖像中的對象物的距離信息。
[0017]本公開的其他方式所涉及的運動傳感器裝置具備:圖像傳感器；第1光源以及第2光源；和控制部，其構成為對所述圖像傳感器和所述第I光源以及第2光源進行控制。所述控制部構成為:在第I時間一邊使所述第I光源發光一邊由所述圖像傳感器進行第I幀的攝像，在第2時間一邊使所述第2光源以與所述第I光源不同的輸出而發光一邊由所述圖像傳感器進行第2幀的攝像，針對通過所述第I幀的攝像而取得的第I圖像以及通過所述第2幀的攝像而取得的第2圖像，執行基于所述第I圖像與所述第2圖像之差的屏蔽處理，對所述屏蔽處理后的所述第I圖像以及所述屏蔽處理后的所述第2圖像的至少一方，執行與所述第I光源以及第2光源的發光輸出之差相應的亮度校正處理，基于從所述亮度校正處理后的所述第I圖像獲得的對象物的亮度、和從所述亮度校正處理后的所述第2圖像獲得的所述對象物的亮度之比，獲得到所述對象物的距離信息。
[0018]本公開的其他方式所涉及的運動傳感器裝置具備:圖像傳感器；第1光源以及第2光源；和控制部，其構成為對所述圖像傳感器和所述第I光源以及第2光源進行控制。所述控制部構成為:在第I時間一邊使所述第I光源發光一邊由所述圖像傳感器進行第I幀的攝像，在第2時間一邊使所述第2光源發光一邊由所述圖像傳感器進行第2幀的攝像，生成通過所述第I幀的攝像而取得的第I圖像、和通過所述第2幀的攝像而取得的第2圖像的差分數據，在所述差分數據中的、與所述第I光源以及第2光源的排列方向對應的方向的數據中，決定差分成為極大值的位置與所述差分成為極小值的位置之間所包含的推定對象物區域，針對所述第I圖像以及第2圖像中的除了所述推定對象物區域之外的區域，執行基于所述第I圖像與所述第2圖像之差的屏蔽處理，基于所述屏蔽處理后的所述第I圖像、和所述屏蔽處理后的所述第2圖像，獲得到包含在所述第I圖像以及第2圖像中的對象物的距離信息。
[0019]本公開的其他方式所涉及的電路，在具備圖像傳感器和第I光源以及第2光源的運動傳感器裝置中使用，所述電路具備:差分作成部，其求出第I圖像與第2圖像的差分數據并輸出，其中所述第I圖像通過在第I時間一邊使所述第I光源發光一邊由所述圖像傳感器進行第I幀的攝像而取得，所述第2圖像通過在第2時間一邊使所述第2光源發光一邊由所述圖像傳感器進行第2幀的攝像而取得；極大值搜索部，其在所述差分數據中的I個水平線的數據中，判定差分是否為第I閾值以上；極小值搜索部，其在所述差分數據中的所述I個水平線的數據中，判定差分是否為小于所述第I閾值的第2閾值以下；屏蔽作成部，其判定所述差分數據的絕對值是否為第3閾值以下；控制部，其在從所述極大值搜索部接受了表示所述差分為所述第I閾值以上的信息時，從第I動作狀態過渡到第2動作狀態，在從所述極小值搜索部接受了表示所述差分為所述第2閾值以下的信息時，從所述第2動作狀態過渡到所述第I動作狀態；屏蔽信息記錄部，其基于所述屏蔽作成部的判定結果對背景區域的屏蔽信息進行保存；配對信息記錄部，其在所述控制部處于所述第2動作狀態時，對配對區域的信息進行保存，所述配對區域是所述差分成為所述第I閾值以上的位置、和所述差分成為所述第2閾值以下的位置之間的區域；和屏蔽減法部，其在所述控制部從所述第2動作狀態過渡到所述第I動作狀態時，對保存在所述屏蔽信息記錄部中的所述屏蔽信息應用保存在所述配對信息記錄部中的所述配對信息的“與”。
[0020]本公開其他方式所涉及的記錄介質保存有用于以可重構邏輯來執行的上述的電路信息。
[0021]本公開的其他方式所涉及的圖像處理裝置，在具備圖像傳感器、第I光源以及第2光源、和對從所述圖像傳感器輸出的多個圖像進行處理的圖像處理裝置的系統中使用，所述圖像處理裝置具備:處理器；存儲器；和保存在所述存儲器中的計算機程序。所述計算機程序使所述處理器執行如下處理:取得在第I時間一邊使所述第I光源發光一邊由所述圖像傳感器取得的第I圖像，取得在第2時間一邊使所述第2光源發光一邊由所述圖像傳感器攝像而得到的第2圖像，針對所述第I圖像以及第2圖像執行基于所述第I圖像與所述第2圖像之差的屏蔽處理，基于所述屏蔽處理后的所述第I圖像、和所述屏蔽處理后的所述第2圖像，獲得到包含在所述第I圖像以及第2圖像中的對象物的距離信息。
[0022]這些總括的或具體的方式也可以通過系統、方法、集成電路、計算機程序、或者記錄介質來實現。或者，也可以通過系統、裝置、方法、集成電路、計算機程序以及記錄介質的任意的組合來實現。
[0023]發明效果
[0024]根據本公開的運動傳感器裝置的實施方式，無需進行額外的圖像幀的攝像，就能夠實現抑制了背景光的影響的距離測量。
【附圖說明】
[0025]圖1A是示意性地表示具備2個光源的運動傳感器裝置的剖面的圖。
[0026]圖1B是圖1A的裝置的俯視圖。
[0027]圖2是表示光源的輻射角與相對輻射強度的關系的曲線圖。
[0028]圖3是表示光源的輻射角的圖。
[0029]圖4A是表示用從第I光源102輻射的光來照射對象物104的樣態的圖。
[0030]圖4B是表示用從第2光源103輻射的光來照射對象物104的樣態的圖。
[0031]圖5是表示攝像數據的I行(line)的像素位置與亮度的關系的曲線圖。
[0032]圖6是表示某輻射角下的亮度比與距離的關系的曲線圖。
[0033]圖7A是表示用從第I光源102輻射的光來照射稍微移動了的對象物104的樣態的圖。
[0034]圖7B是表示用從第2光源103輻射的光來照射稍微移動了的對象物104的樣態的圖。
[0035]圖8是表示將運動傳感器裝置放置于有戶外光線的場所，并將人手遮在測量范圍內的狀況的圖。
[0036]圖9是用于說明現有的背景光消除的效果的圖。(a)表示在圖8的例子中，一邊使光源103發光一邊進行了拍攝的情況下所取得的圖像的例子，(b)表示在圖8的例子中，使任何一個光源都不發光地進行了拍攝的情況下所取得的圖像的例子，(c)表示從圖9(a)所示的圖像中減去圖9(b)所示的圖像而得到的差分圖像。
[0037]圖10是示意性地表示本公開的實施方式I中的運動傳感器裝置的構成的圖。
[0038]圖11是實施方式I中的光源以及圖像傳感器的時間圖。
[0039]圖12是表示具備透鏡901、2個圖像傳感器902、903、和半透明反射鏡904的運動傳感器裝置的例子的圖。
[0040]圖13是表示實施方式I中的控制部710的動作的流程圖。
[0041]圖14是示意性地表示本公開的實施方式2中的運動傳感器裝置的構成的圖。
[0042]圖15是表示實施方式2中的控制部810的動作的流程圖。
[0043]圖16是用于說明實施方式2中的屏蔽處理的圖。(a)表示通過第I圖像幀的攝像而取得的第I圖像的例子，(b)表示通過第2圖像幀的攝像而取得的第2圖像的例子，(c)表示屏蔽處理后的第I圖像的例子。
[0044]圖17是表示具有3個光源702、703、704的運動傳感器裝置的構成例的圖。
[0045]圖18是表示在實施方式2的具有3個光源的構成中，不產生亮度差的情況下的例子的圖。
[0046]圖19(a)是表示利用實施方式2的裝置來處理位于近距離處的手的圖像時所生成的屏蔽圖像的圖，(b)是表示通過實施方式3的處理修正后的屏蔽圖像的圖。
[0047]圖20是表示對位于圖18所示的運動傳感器裝置的近距離處的手指進行了拍攝的情況下所取得的圖像中的特定的水平線(horizontal line)的亮度的曲線圖。
[0048]圖21是表示本公開的實施方式3中的運動傳感器裝置的構成的圖。
[0049]圖22是表示實施方式3中的控制部910的動作的流程圖。
[0050]圖23是本公開的實施方式4中的電路構成圖。
[0051]圖24是表示搭載了實施方式I所涉及的運動傳感器裝置的顯示器1001的圖。
【具體實施方式】
[0052]首先，說明通過本公開的運動傳感器裝置能夠測定到對象物(被攝體)的距離的基本原理。
[0053]圖1A是示意性地表示運動傳感器裝置的剖面的圖。圖1B是圖1A的俯視圖。
[0054]圖1A以及圖1B所示的裝置具備位于中央的圖像傳感器101、和位于圖像傳感器101的兩側的2個光源裝置102、103。在圖示的例子中，圖像傳感器101以及光源裝置102、103搭載于I個基板100。圖像傳感器101是將許多微細的光探測單元(光電二極管)排列為行以及列狀的固體攝像元件。圖像傳感器101典型的是CC