投影系統、半導體集成電路及圖像修正方法
【技術領域】
[0001]本發明涉及投影系統、半導體集成電路及圖像修正方法。
【背景技術】
[0002]已經公知有將影像內容(content)投影于物體例如建筑物那樣的構造物上的技術、即被稱為所謂投影映射(project1n mapping)的技術。在投影映射的系統中有具備攝像功能的系統。例如，專利文獻I公開了根據攝像數據調整影像內容的投影裝置。
[0003]現有技術文獻
[0004]專利文獻
[0005]專利文獻1:日本特開2013 - 192189號公報
[0006]專利文獻2:日本專利第4917351號公報
[0007]非專利文獻
[0008]非專利文獻I 高速7° 口夕X夕夕奩用U 3000 7 U 一 Λ每秒①三次元畫像計測> Ts1- UO)開発”，口求尹^夕只.>力卜口二夕只講演會講演概要集2007，“1Ρ1-Μ02(1)，，- “1Ρ1-Μ02(4) ”，2007-05-11
【發明內容】
[0009]在上述的以往的投影裝置中，要求進一步提高使影像內容與投影對象高精度一致的技術。
[0010]本發明的非限定性的示例性的一個方式是能夠使影像內容與作為投影對象的構造物高精度一致的投影系統。
[0011]本發明的一個方式的附加性的優點及有利之處根據本說明書及附圖得到明確。該優點以及/或者有利之處能夠通過本說明書及附圖所公開的各個方式及特征而單獨地提供，為了得到其中一個以上的優點及有利之處，不需要全部的方式及特征。
[0012]有關本發明的一個方式的投影系統具有:投影裝置，將包括圖案圖像的圖案光投影在物體上，該圖案圖像對應于將投影坐標系中的投影坐標進行代碼化而得到的信息；攝像裝置，對被投影在所述物體上的圖案光進行拍攝，并生成包括攝像坐標系中的攝像像素坐標的攝像像素值的第I攝像圖像；以及圖像修正裝置，根據所述第I攝像圖像生成將所述投影坐標和所述攝像像素坐標關聯起來的第I坐標變換信息，使用所述第I坐標變換信息來修正預先準備的投影圖像。
[0013]另外，這些總括性或者具體的方式也可以以系統、方法、集成電路、計算機程序或者計算機可讀的記錄介質來實現，還可以以裝置、系統、方法、集成電路、計算機程序及計算機可讀的記錄介質的任意組合來實現。計算機可讀的記錄介質包括例如CD —ROM (Compact 一 Disc 一 Read Only Memory)等非易失性記錄介質。
[0014]根據本發明，能夠使影像內容與投影對象高精度一致。
【附圖說明】
[0015]圖1是表示示例性的第I實施方式的投影系統的概略結構的示意圖。
[0016]圖2是表示在以40張圖案圖像將XGA坐標代碼化的示例中，40張圖案圖像中包含的代表性的12張圖案圖像的概念圖。
[0017]圖3是示例性的第I實施方式的圖像修正裝置的功能塊結構圖。
[0018]圖4是示例性的第I實施方式的圖像修正方法的流程圖。
[0019]圖5(a)是表示構造物的攝像圖像的一例的概念圖，圖5(b)是表示基準圖像的一例的概念圖。
[0020]圖6是用于說明基于使用局部特征量的方式的圖像間的關聯的概念圖，圖6 (a)表示構造物的攝像圖像的一例的概念圖，圖6(b)是表示基準圖像的一例的概念圖。
[0021]圖7是用于說明基于相位相關法的圖像間的關聯的概念圖，圖7(a)表示構造物的攝像圖像的一例的概念圖，圖7(b)是表示基準圖像的一例的概念圖。
[0022]圖8是用于說明基于像素坐標和投影坐標的關聯的示例的概念圖，圖8 (a)表示攝像圖像與被投影在構造物上的圖案圖像的位置關系的示意圖，圖8(b)是基準圖像的概念圖。
[0023]圖9是表示示例性的第2實施方式的圖像修正裝置的功能塊結構圖。
[0024]圖10是示例性的第2實施方式的圖像修正方法的流程圖。
[0025]圖11是表示示例性的第3實施方式的圖像修正裝置的功能塊結構圖。
[0026]圖12是示例性的第3實施方式的圖像修正方法的流程圖。
[0027]圖13是用于說明現有技術的投影系統結構圖。
【具體實施方式】
[0028]在說明本發明的實施方式之前，參照圖13說明以往的投影系統900。
[0029]投影系統900具有攝像裝置901、投影裝置902和計算裝置903。計算裝置903根據由攝像裝置901取得的攝像結果進行投影對象904的圖像識別。計算裝置903生成其影像以便在識別出投影對象904的區域中投影影像內容。投影裝置902將影像內容投影在投影對象904上。
[0030]在計測的領域中，除專利文獻I以外，還公知有例如專利文獻2和非專利文獻I公開的系統。非專利文獻I公開了使用光圖案投影快速計測3D形狀的方法。非專利文獻I的系統結構也可以理解為與圖13所示的系統結構相同。但是，在非專利文獻I的系統中，攝像裝置901具有進行快速攝影的功能。并且，投影裝置902被分配了能夠使用數字微鏡裝置輸出高速二進制圖像的設備。例如，攝像裝置901能夠以6000fps進行高速攝影。投影裝置902能夠以6000fps以上的速度投影具有1024X768的像素的二進制圖案。
[0031]具體而言，對將1024X768的圖像的X坐標格雷編碼(Gray Code)后的各個比特進行曼徹斯特編碼得到的圖案，在數字微鏡裝置中被設定為6000fps。該圖案被投影在投影對象904上，攝像裝置901以6000fps拍攝被投影了圖案的投影對象904。
[0032]X坐標在O?1023的范圍內，因而用10比特表示各個坐標。并且，通過進行曼徹斯特編碼，各個坐標用20比特來表示。因此，從20幀的攝像圖像能夠得到各個X坐標。并且，能夠利用三角法得到每個像素的到投影對象904的距離。將攝影結果傳輸給計算裝置(例如個人電腦)903進行分析。通過曼徹斯特編碼對每2幀得到新的X坐標的比特，并再次計算。因此，最終的計算能力是能夠以3000fps的分辨率進行3D計測。
[0033]另外，專利文獻2公開了這樣的技術，一邊投影表示2值化圖案的格雷編碼(方格板)一邊用攝像機拍攝，并修正投影在屏幕上的圖像的變形。根據該技術，通過組合多個方格板，能夠考慮攝像機的變形而進一步提尚修正的精度。
[0034]下面，說明在研究本發明時發現的現有技術的問題點。
[0035]在需要考慮投影映射等在投影對象的構造物上投影影像內容的情況下，要求按照意圖對影像內容進行位置調整并投影在構造物上。在這種情況下，本領域技術人員即使從上述的現有技術想到了使用由攝像裝置取得的數據來控制影像內容的投影范圍，在抑制投影范圍的誤差方面依舊不能解決兩大課題。
[0036]第I課題是在生成影像內容時假想的投影裝置的配置與實際的配置不一致。投影映射用的影像內容是根據例如實際的構造物的照片及建筑時的設計數據等設計的。但是，以與事前預想的情況完全相同的位置及視場角來設置投影裝置是非常困難的事情，與預想范圍相比較，可能產生誤差。此時，可以考慮通過手工作業進行誤差調整。但是，受到重新設置及微小震動等外在因素的影響，需要再次進行調整，因而基于手工作業的調整稱不上是良好的對策。
[0037]第2課題是即使是使用攝像裝置嘗試自動調整，也要求在攝像裝置與投影裝置的位置關系方面進行極其高度的調整，以便攝像裝置能夠對構造物進行嚴格計測。另外，攝像裝置的位置及視場角與投影裝置的位置及視場角不同，而且構造物不是平面的，在進深方向具有復雜的構造。因此，要求伴隨三維計測的高度的計測及幾何學變形。在不能得到嚴格的計測結果時，計測誤差表現為投影時的錯位。
[0038]專利文獻2公開的修正技術是以將屏幕作為投影對象為前提的。因此，在提取具有復雜的構造的構造物的特征、并將投影映射至該特征位置這樣的用途中，現有技術不適用。本發明的一個方式的概要如下所述。
[0039]本發明的一個方式的投影系統具有:投影裝置，將包括圖案圖像的圖案光投影在物體上，該圖案圖像對應于將投影坐標系中的投影坐標進行代碼化而得到的信息；攝像裝置，對被投影在所述物體上的圖案光進行拍攝，并生成包括攝像坐標系中的攝像像素坐標的攝像像素值的第I攝像圖像；以及圖像修正裝置，根據所述第I攝像圖像生成將所述投影坐標和所述攝像像素坐標關聯起來的第I坐標變換信息，使用所述第I坐標變換信息來修正預先準備的投影圖像。
[0040]根據這種結構，能夠以使投影圖像與作為投影對象的物體高精度一致的方式自動修正預先準備的投影圖像。
[0041 ] 在某個方式中，也可以是，所述圖像修正裝置對由所述攝像裝置取得的表示所述物體的構造的第2攝像圖像、與預先準備的基準圖像進行比較，生成通過幾何學變形將所述第2攝像圖像和所述基準圖像關聯起來的第2坐標變換信息，并使用所述第I坐標變換信息和所述第2坐標變換信息對所述投影圖像實施幾何學變形處理。
[0042]根據這種結構，能夠以使投影圖像與作為投影對象的物體高精度一致的方式自動修正預先準備的投影圖像。