專利名稱：機器人裝置和控制機器人裝置的方法
技術領域：
本發明涉及機器人裝置和控制機器人裝置的方法。
背景技術：
三維測量裝置利用立體攝像機，獲得目標對象的三維形狀或位置。然而，當目標對象的表面為黑色或白色，并且沒有任何圖案地一樣時，存在不能照原樣識別目標對象的實際形狀或位置的問題。例如，當把白底的紙張貼在墻上時，可能獲得墻上有洞的識別結果。 為此，存在一種通過把具有圖案的圖案光照射到目標對象上，準確地檢測無圖案的目標對象的形狀或位置的技術。例如，日本專利申請特開(JP-A)No. 2009-270915公開一種利用兩種投影圖案，以便高速地獲得高分辨率的三維形狀的技術。
發明內容
同時，為了使自主移動的機器人裝置能夠識別外部環境，可以使用上述三維測量裝置。在這種情況下，為了識別目標對象的準確形狀或位置，機器人裝置一邊照射圖案光一邊移動或動作。然而，在通常在附近有人的場所中，例如在家中使用的機器人裝置中，如果持續照射圖案光，那么存在圖案光過于明亮，投射到目標對象的圖案光的圖案令人討厭和有危險的問題。此外，不同于專用于三維測量的裝置，機器人裝置不僅通過三維測量識別目標對象的形狀或位置，而且進行識別目標對象的紋理或顏色的對象識別。此時，如果機器人裝置持續照射圖案光，那么存在不能識別目標對象的紋理或顏色的問題。鑒于上面所述，理想的是提供新穎的和改進的機器人裝置及其控制方法，其中能夠根據情況恰當地切換開啟或關閉用于三維測量的圖案光。按照本發明的一個實施例，提供一種機器人裝置，所述機器人裝置包括照射單元，其向外部環境照射圖案光；成像單元，其通過對外部環境成像來獲得圖像；外部環境識別單元，其識別外部環境；照射確定單元，當根據圖像的獲取狀態，確定需要圖案光的照射時，所述照射確定單元控制所述照射單元開啟；以及熄滅確定單元，當根據外部環境確定圖案光的照射不是必需的，或者必需強制停止圖案光的照射時，所述熄滅確定單元控制所述照射單元關閉。機器人裝置還包括從外部環境中檢測人的人檢測單元。當檢測到人時，所述熄滅確定單元可控制來自所述照射單元的圖案光的照射關閉。當根據內部狀態，確定圖案光的照射不是必需的，或者必需強制停止圖案光的照射時，所述熄滅確定單元可控制所述照射單元關閉。機器人裝置還包括從外部環境中識別對象的紋理或顏色的對象識別單元。當已從外部環境中識別出對象的紋理或顏色時，所述熄滅確定單元可控制來自所述照射單元的圖案光的照射關閉。
當根據電池的電力消耗、所述照射單元的溫度或者所述照射單元的連續工作時間，確定圖案光的照射不是必需的，或者必需強制停止圖案光的照射時，所述熄滅確定單元可控制所述照射單元關閉。當根據圖像的獲取狀態，確定圖案光的照射不是必需的，或者必需強制停止圖案光的照射時，所述熄滅確定單元可控制關閉照射單元。當根據圖像的獲取狀態，確定需要圖案光的照射時，所述照射確定單元可控制所述照射單元開啟。機器人裝置還包括保存根據圖像識別的目標對象的形狀或位置的存儲單元。當根據保存在存儲單元中的目標對象的形狀或位置，確定需要圖案光的照射時，所述照射確定單元可控制所述照射單元開啟。按照本發明的另一個實施例，提供一種控制機器人裝置的方法，包括下述步驟利用照射單元，向外部環境照射圖案光，利用成像單元，通過對外部環境成像而獲得圖像，利用外部環境識別單元，識別外部環境，當根據圖像的獲取狀態，確定需要圖案光的照射時， 利用照射確定單元，控制照射單元開啟，和當根據外部環境，確定圖案光的照射不是必需的，或者必需強制停止圖案光的照射時，利用熄滅確定單元，控制照射單元關閉。按照本發明，能夠根據情況恰當地切換開啟或關閉用于三維測量的圖案光。
圖1是圖解說明按照本發明的一個實施例的機器人的方框圖。圖2是圖解說明按照相同實施例的機器人的詳細結構的方框圖。圖3是圖解說明立體攝像機的配置，和用圖案照射單元投射圖案光的狀態的說明圖。圖4是圖解說明按照相同實施例的機器人的照射操作或熄滅操作的流程圖。圖5是圖解說明按照相同實施例的機器人的關于圖案光的照射確定處理的流程圖。圖6是是圖解說明按照相同實施例的機器人的關于圖案光的熄滅確定處理和照射強度的調整的流程圖。
具體實施例方式下面參考附圖，詳細說明本發明的優選實施例。注意，在說明書和附圖中，具有相同結構和功能的結構元件用相同的附圖標記表示，這些結構元件的重復說明被省略。此外，將按照下述順序進行說明1.實施例的結構2.實施例的操作<1.實施例的結構>首先，說明按照本發明的一個實施例的機器人100的結構。圖1是圖解說明按照本實施例的機器人100的方框圖。機器人100識別外部環境，并自主進行對應于所述環境的移動，或者對于用戶的動作。機器人100包括三維測量單元106，并獲取目標對象的三維形狀或位置，并識別外部
5環境。通過把具有圖案的圖案光照射到目標對象上，機器人100能夠準確地檢測無圖案的目標對象的形狀或位置。機器人100能夠根據情況，恰當地切換開啟或關閉圖案光。從而， 即使當在有人在附近的場所，例如在家中使用機器人100時，也能夠確保安全性。如圖1中所示，機器人100包括例如，中央處理器(CPU) 102，隨機存取存儲器 (RAM) 104，三維測量單元106，立體攝像機112，圖案照射單元114，用戶指令單元116，距離傳感器單元118，驅動控制單元122和驅動單元124。CPU 102是控制裝置和運算裝置。CPU 102控制機器人100的每個組件，并執行程序。RAM 104是存儲裝置。程序或各種數據被記錄在RAM104中，必要時從RAM 104讀出程序或各種數據。三維測量單元106根據用立體攝像機112對外部環境成像而獲得的圖像數據，測量目標對象的三維形狀或位置。對三維測量來說，可以采用常規技術，從而在本公開中省略對其的詳細說明。立體攝像機112包括如圖3中所示，水平布置的兩部攝像機112L和112R。圖3是圖解說明立體攝像機112的配置，和用圖案照射單元114投射圖案光的狀態的說明圖。立體攝像機112拍攝機器人100的外部環境的圖像，并獲得圖像數據。獲得的圖像數據用于三維測量單元106中的三維測量。如圖3中所示，圖案照射單元114朝著將要由立體攝像機112成像的被攝對象(目標對象)照射圖案光。通過照射圖案光，圖案20被投射到無圖案的目標對象10上，從而甚至能夠識別無圖案的目標對象10的三維形狀或位置。用戶指令單元Il6由用戶操作，從而產生操作信號。用戶指令單元116把產生的操作信號傳給CPU 102等。例如，打開或關閉圖案照射單元114的指令被輸入用戶指令單元116中。例如，操作信號從用戶指令單元116被傳給照射確定單元142，如圖2中圖解所度。距離傳感器單元118是與立體攝像機112分離地安裝的傳感器，并測量與目標對象相隔的距離。距離傳感器單元118獲得的距離被用于確認目標對象是否存在，或者提高三維測量的精確度。驅動單元IM使機器人100能夠移動或者動作。驅動單元124由驅動控制單元 122控制，并根據由機器人100自己自主產生的信號，或者通過用戶的操作產生的信號進行驅動。機器人100還包括，例如，存儲單元119，圖像亮度確定單元131，立體可靠性計算單元132，人檢測單元133，對象識別單元134，電力管理單元135，溫度管理單元136，裝置工作時間管理單元138，照射確定單元142，照射強度調整單元144，和熄滅確定單元146，如圖 2中圖解所示。圖2是圖解說明按照本實施例的機器人100的詳細結構的方框圖。例如，由距離傳感器單元118測量的距離被記錄在存儲單元119中。記錄在存儲單元119中的距離被傳給照射確定單元142。圖像亮度確定單元131確定通過用立體攝像機112對外部環境成像而獲得的圖像數據的亮度級。圖像亮度確定單元131把確定結果傳給照射確定單元142。立體可靠性計算單元132計算通過用立體攝像機112對外部環境成像而獲得的立體圖像的可靠性。立體可靠性計算單元132把計算的立體可靠性傳給照射確定單元142和熄滅確定單元146。人檢測單元133根據通過用成像裝置對外部環境成像而獲得的圖像檢測人。可利用常規技術進行人檢測處理。人檢測單元133把關于是否檢測到人的檢測結果傳送給熄滅確定單元146。對象識別單元134根據通過用成像裝置對外部環境成像而獲得的圖像，識別目標對象的紋理或顏色。可利用常規技術進行紋理識別或顏色識別。對象識別單元134把關于是否在進行對象識別處理的狀態傳送給熄滅確定單元146。電力管理單元135管理將向機器人100提供的電池電力。電力管理單元135把關于驅動機器人100所必需的電池電力是否不足的信息傳送給熄滅確定單元146。溫度管理單元136測量和管理圖案照射單元114或機器人100內的溫度。溫度管理單元136把與圖案照射單元114或機器人100內的溫度相關的信息傳給熄滅確定單元 146。裝置工作時間管理單元138測量和管理例如，圖案照射單元114的圖案光照射的連續工作時間。裝置工作時間管理單元138把關于圖案光照射的連續工作時間的信息傳送給熄滅確定單元146。三維測量單元106把關于三維測量是否已完成的信息傳送給熄滅確定單元146。照射確定單元142根據來自用戶指令單元116，存儲單元119，圖像亮度確定單元 131或立體可靠性計算單元132的信息，確定來自圖案照射單元114的照射強度是否適當。 此外，照射確定單元142把確定結果傳送給照射強度調整單元144。當照射確定單元142確定照射強度不足時，照射強度調整單元144產生用于增大照射強度的命令信號。照射強度調整單元144把所述命令信號傳送給圖案照射單元114。熄滅確定單元146根據來自立體可靠性計算單元132，人檢測單元133，對象識別單元134，電力管理單元135，溫度管理單元136，裝置工作時間管理單元138，三維測量單元106的信息，確定是否關閉圖案照射單元114。圖案照射單元114根據照射強度調整單元144的調整結果，或者熄滅確定單元146 的確定結果，來調整圖案光的強度，從而開啟或關閉圖案光。<2.實施例的操作>下面參考圖4，說明按照本發明的一個實施例的機器人100的照射操作或熄滅操作的總體概要流程。圖4是圖解說明按照本實施例的機器人100的照射操作或熄滅操作的流程圖。首先，在步驟S11，為了進行三維測量，機器人100進行關于是否朝著外部環境照射圖案光的照射確定。照射確定將在后面參考圖5說明。當確定要照射圖案光時，在步驟S12，進行關于是否應停止圖案光的照射，或者是否需要關閉圖案光的熄滅確定。熄滅確定將在后面參考圖6說明。當在熄滅確定處理中， 確定不需要關閉圖案光時，照射圖案光。然而，當在步驟Sll中，確定不應照射圖案光時，那么情況是不需要圖案光的照射，從而在步驟S15，進行圖案光的熄滅處理。當在步驟S12中，確定不應關閉圖案光，或者不需要關閉圖案光時，那么情況是需要圖案光的照射，從而在步驟S13，調整照射強度。照射強度將在后面參考圖6說明。當在步驟S12中，確定應關閉圖案光，或者需要關閉圖案光時，那么情況是不應照射圖案光，或
7者照射是不必要的，從而在步驟S15，進行圖案光的熄滅處理。在調整圖案光的照射強度之后，在步驟S14，確定照射強度是否適當。當確定照射強度不適當時，那么是例如，由于一直未識別出目標對象，照射強度變成最大的情況，從而在步驟S15，進行圖案光的熄滅處理。當確定照射強度具有適當的值時，是正在進行對目標對象的搜索，以識別目標對象的情況，從而在步驟S16，進行照射光的照射處理。下面參考圖5，說明按照本發明的一個實施例的機器人100的關于圖案光的照射確定處理。圖5是圖解說明按照本實施例的機器人100的關于圖案光的照射確定處理的流程圖。圖5圖解說明從開始照射操作或熄滅操作到熄滅確定處理或熄滅處理的照射確定處理。首先，在步驟S21，確定用戶是否已指令圖案光的照射。例如，如果用戶已指令圖案光的照射，那么是由于必須識別目標對象的形狀或位置，因此希望強制照射圖案光的情況， 從而處理進入熄滅確定處理。然而，當確定用戶未指令圖案光的照射時，存在不需要圖案光的照射的可能性，從而處理進入步驟S22。隨后，在步驟S22，確定獲得的圖像是否極暗。如果獲得的圖像極暗，那么由于未恰當地獲得被攝對象圖像，因此不能識別目標對象的形狀或位置。例如，如果獲得的圖像極暗，那么情況是希望強制照射圖案光，以識別目標對象的形狀或位置，從而處理進入熄滅確定處理。然而，如果獲得的圖像不是極暗，那么存在圖案光的照射不是必需的可能性，從而處理進入步驟S23。此外，在步驟S23，確定從獲得的圖像產生的立體圖像的可靠性(下面稱為“立體可靠性”)是否小于預定值。如果立體可靠性小于預定值，那么產生的立體圖像與實際的目標對象之間在形狀或位置方面的差異較大，從而不能成功地測量三維形狀。如果立體可靠性小于預定值，那么情況是必需圖案光的照射，從而處理進入熄滅確定處理。然而，如果立體可靠性大于預定值，那么存在圖案光的照射不是必需的可能性，從而處理進入步驟S24。此外，在步驟S24，確定距離傳感器單元118是否檢測到存在于外部環境中的對象。如果距離傳感器單元118檢測到對象，那么存在通過三維測量，將識別目標對象的三維形狀或位置的可能性。如果距離傳感器單元118檢測到存在于外部環境中的對象，那么情況是必需圖案光的照射，從而處理進入熄滅確定處理。然而，當距離傳感器單元118沒有檢測到對象時，存在圖案光的照射不是必需的可能性，從而處理進入步驟S25。此外，當通過過去的三維測量獲得的目標對象的三維形狀或位置被保存時，在步驟S25中，根據保存的數據，確定在稍后將進行三維測量的方向上，是否已存在對象。如果先前在該場所一直存在某物，那么存在通過三維測量，能夠識別目標對象的三維形狀或位置的可能性。當確定先有在該場所一直存在某物時，情況是圖案光的照射不是必需的，從而處理進入熄滅確定處理。然而，當確定先前在該場所不存在任何事物時，通過步驟S21到步驟SM全面地確定圖案光的照射不是必需的。于是，在這種情況下，處理進入熄滅處理。下面參考圖6，說明按照本發明的一個實施例的機器人100的關于圖案光的熄滅確定處理和照射強度的調整。圖6是圖解說明按照本實施例的機器人100的關于圖案光的熄滅確定處理和照射強度的調整的流程圖。圖6圖解說明從開始熄滅確定，到熄滅處理為止的處理，或者從開始熄滅確定，經照射強度的調整，到照射處理為止的處理。首先，在步驟S31，確定在外部環境中是否檢測到人。當在外部環境中檢測到人時，在步驟S41，進行圖案光的熄滅處理。結果，能夠解決在機器人100附近的人感到太亮，和投射到目標對象的圖案光的圖案使人討厭和存在危險的問題。此外，能夠改善室內環境或者確保安全。然而，當在外部環境中未檢測到人時，處理進入步驟S32。隨后，在步驟S32，確定是否在進行不是利用三維測量檢測目標對象的形狀或位置，而是檢測目標對象的紋理或顏色的對象識別。當正在進行所述對象識別時，在步驟S41， 執行圖案光的熄滅處理。結果，能夠解決由于投射到目標對象的圖案光的圖案的緣故，不能識別目標對象的紋理或顏色的問題。由于只有在未進行所述對象識別的時候，才照射圖案光，因此在進行對象識別的時候，機器人100能夠準確地識別目標對象的紋理或顏色。然而，當未進行對象識別時，處理進入步驟S33。此外，在步驟S33，確定用于驅動機器人100所必需的電池電力是否不足。當電池電力不足時，在步驟S41，執行圖案光的熄滅處理。結果，即使三維測量的準確度降低，也能夠減小因圖案光的照射而造成的電力消耗，從而能夠增大機器人100的驅動時間。然而，當不存在電力不足時，處理進入步驟S34。此外，在步驟S34，確定在圖案照射單元114或機器人100內的溫度是否高于預定溫度。當檢測的溫度高于預定溫度時，在步驟S41，執行圖案光的熄滅處理。結果，能夠避免當圖案照射單元114或機器人100內的溫度高于預定溫度時引起的問題。然而，當內部溫度不高于預定溫度時，處理進入步驟S35。此外，在步驟S35，確定圖案照射單元114的圖案光照射的連續工作時間是否大于預定時間。當連續工作時間大于預定時間時，在步驟S41，執行圖案光的熄滅處理。結果，能夠增加圖案照射單元114的燈，比如發光二極管(LED)的壽命。然而，當連續工作時間不大于預定時間時，處理進入步驟S36。隨后，利用三維測量，能夠識別目標對象的三維形狀或位置，在步驟S36，確定三維測量是否已完成。當三維測量已完成時，由于圖案光的照射不是必需的，因此在步驟S41，執行圖案光的熄滅處理。然而，當三維測量未完成時，調整圖案光的照射強度。首先，在步驟S37，確定立體可靠性是否低于預定值，從而立體可靠性并不夠。這里，所述預定值小于在圖5中圖解說明的步驟S23中的預定值。當立體可靠性不夠時，在步驟S38，增大圖案光的照射強度。結果，由于從獲得的圖像產生的立體圖像變得更鮮明，因此可提高立體圖像的可靠性。不過，當立體可靠性足夠時，不增大照射強度，從而在步驟S42， 以當前強度執行照射處理。隨后在步驟S39，確定作為增大圖案光的照射強度的結果，圖案照射單元114的照射強度是否已變成最大。例如，當圖案照射單元114的照射強度已變成最大時，那么情況是即使逐漸增大照射強度，也不能識別目標對象，從而在步驟S41，執行圖案光的熄滅處理。然而，當圖案照射單元114的照射強度未變成最大時，那么情況是照射強度已被適當調整，從而在步驟S42，執行圖案光的照射處理。如上所述，本實施例的機器人100能夠考慮到禁止持續照射圖案光的情況，或者圖案光的照射不是必需的情況，視情況切換開啟或關閉圖案光，以使機器人100是用戶友好的，例如，可供家庭之用。當用戶或機器人100確定三維測量是必需的，當由于三維形狀未被恰當測量，從而立體可靠性較低時，或者當由于被攝對象圖像過暗，不能清楚地觀察被攝對象圖像時，必須開啟圖案光。此外，即使當在與保存的數據對應的圖案光的照射方向上，先前一直存在對象時，或者當另一個傳感器(例如，距離傳感器單元118)檢測到對象時，也必須開啟圖案光。在上述情形下，優選照射圖案光。同時，如上所述，當已檢測了三維形狀，當照射了圖案光，但是未識別出目標對象時，或者當圖案光的圖案變得使在它周圍的人感到討厭時，不需要開啟圖案光，或者理想的是不開啟圖案光。此外，當電池電力不足時，當圖案照射單元114的溫度較高時，或者當圖案照射單元114的連續工作時間較長時，優選不開啟圖案光。在這些條件下，優選關閉圖案光。此外，如上所述，當需要確保安全時，或者當正在進行檢測紋理或顏色的對象識別時，如果有人在機器人100的圖案照射單元114的周圍，那么應強制停止開啟圖案光。在這些條件下，關閉圖案光。本領域的技術人員應明白取決于設計要求和其它因素，可以產生各種修改、組合、 子組合和變更，只要它們在附加權利要求書或其等同物的范圍內。例如，在上述實施例中，圖案光的波長不受限制，不過即使當使用人眼不可見的范圍的波長(例如，紅外線)時，也可類似地應用本發明。可利用紅外線發光二極管(LED)照射紅外線。紅外線不會變得使用戶感到討厭，紅外線的圖案由電荷耦合器件(CCD)圖像傳感器識別。然而，紅外線具有與可見光的圖案光相比，對識別紋理或顏色的對象識別的影響較小的優點。于是，預期能夠減少不允許開啟圖案光的條件。由于紅外線并不明亮，從而虹膜不會關閉，因此即使紅外線也優選被設定成和上述實施例中相同的條件。此外，結合其中機器人100用立體攝像機112獲得立體圖像的情況，說明了上述實施例，不過，本發明并不局限于該例子。例如，本發明可應用于其中利用紅外LED和攝像機， 進行三角測量的機器人100的技術。例如，在檢測人的面部的情況下，如果人過于接近為紅外LED的光源，那么強制停止紅外LED的照射。本申請包含與在2010年3月四日向日本專利局提交的日本優先權專利申請JP 2010-075334中公開的相關的主題，在此通過引用將該專利申請的整個內容包括于此。
權利要求
1.一種機器人裝置，包括照射單元，其向外部環境照射圖案光； 成像單元，其通過對外部環境成像來獲得圖像； 外部環境識別單元，其識別外部環境；照射確定單元，當根據圖像的獲取狀態確定需要圖案光的照射時，所述照射確定單元控制所述照射單元開啟；以及熄滅確定單元，當根據外部環境確定圖案光的照射不是必需的，或者必需強制停止圖案光的照射時，所述熄滅確定單元控制所述照射單元關閉。
2.按照權利要求1所述的機器人裝置，還包括 人檢測單元，其從外部環境中檢測人，其中當檢測到人時，所述熄滅確定單元控制來自所述照射單元的圖案光的照射關閉。
3.按照權利要求1所述的機器人裝置，其中，在所述熄滅確定單元根據內部狀態，確定圖案光的照射不是必需的，或者必需強制停止圖案光的照射時，所述熄滅確定單元控制所述照射單元關閉。
4.按照權利要求3所述的機器人裝置，還包括對象識別單元，其從外部環境中識別對象的紋理或顏色，其中，在已從外部環境中識別出對象的紋理或顏色時，所述熄滅確定單元控制來自所述照射單元的圖案光的照射關閉。
5.按照權利要求3所述的機器人裝置，其中，當根據電池的電力消耗、所述照射單元的溫度或者所述照射單元的連續工作時間，確定圖案光的照射不是必需的，或者必需強制停止周案光的照射時，所述熄滅確定單元控制所述照射單元關閉。
6.按照權利要求1所述的機器人裝置，其中，當根據圖像的獲取狀態確定圖案光的照射不是必需的，或者必需強制停止圖案光的照射時，所述熄滅確定單元控制所述照射單元關閉。
7.按照權利要求1所述的機器人裝置，其中，當根據圖像的獲取狀態，確定需要圖案光的照射時，所述照射確定單元控制所述照射單元開啟。
8.按照權利要求1所述的機器人裝置，還包括保存根據圖像識別的目標對象的形狀或位置的存儲單元，其中，當根據保存在所述存儲單元中的目標對象的形狀或位置，確定需要圖案光的照射時，所述照射確定單元控制所述照射單元開啟。
9.一種控制機器人裝置的方法，包括下述步驟 利用照射單元，向外部環境照射圖案光； 利用成像單元，通過對外部環境成像而獲得圖像； 利用外部環境識別單元，識別外部環境；當根據圖像的獲取狀態確定需要圖案光的照射時，利用照射確定單元控制所述照射單元開啟；和當根據外部環境確定圖案光的照射不是必需的或者必需強制停止圖案光的照射時，利用熄滅確定單元，控制所述照射單元關閉。
全文摘要
本發明提供一種機器人裝置和控制機器人裝置的方法，機器人裝置包括向外部環境照射圖案光的照射單元，通過對外部環境成像獲得圖像的成像單元，識別外部環境的外部環境識別單元，當根據圖像的獲取狀態確定需要圖案光的照射時控制照射單元開啟的照射確定單元，和當根據外部環境確定圖案光的照射不是必需的或者必需強制停止圖案光的照射時控制照射單元關閉的熄滅確定單元。
文檔編號G01B11/25GK102278955SQ20111007406
公開日2011年12月14日 申請日期2011年3月22日 優先權日2010年3月29日
發明者坪井利充, 宮本敦史, 川浪康范, 河本獻太 申請人:索尼公司