專利名稱：基于多信息融合的仿人型機(jī)器人作業(yè)場(chǎng)景的重構(gòu)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于機(jī)器人領(lǐng)域，主要用于對(duì)仿人型機(jī)器人作業(yè)場(chǎng)景進(jìn)行三維重構(gòu)。它適用于機(jī)器人遙操作控制，可以實(shí)時(shí)顯示仿人型機(jī)器人及其作業(yè)場(chǎng)景中的物體的三維圖像，為仿人型機(jī)器人遙操作提供視覺臨場(chǎng)感。
背景技術(shù)：
仿人型機(jī)器人，就是一種具有人類外觀特征、可模擬人類基本動(dòng)作的機(jī)器人。遙操作是機(jī)器人應(yīng)用的一個(gè)重要技術(shù)。通過(guò)遙操作平臺(tái)，操作人員可以監(jiān)視和控制遠(yuǎn)方機(jī)器人完成各種作業(yè)任務(wù)，從而使仿人型機(jī)器人能夠代替人類在一些無(wú)法觸及的、甚至一些危及人類健康或生命安全的環(huán)境下完成各種任務(wù)。
作業(yè)環(huán)境的圖像顯示是遙操作控制的一項(xiàng)關(guān)鍵技術(shù)。目前作業(yè)環(huán)境的圖像顯示，主要采用現(xiàn)場(chǎng)二維視頻圖像和基于操作者命令的三維立體虛擬場(chǎng)景兩種方式。
現(xiàn)場(chǎng)二維視頻圖像方式，是在機(jī)器人作業(yè)現(xiàn)場(chǎng)安裝多個(gè)視頻攝像機(jī)，對(duì)機(jī)器人及其作業(yè)現(xiàn)場(chǎng)進(jìn)行視頻攝像。視頻圖像經(jīng)過(guò)網(wǎng)絡(luò)傳輸?shù)讲僮髡叨耍谟?jì)算機(jī)上顯示。這樣的圖像是機(jī)器人作業(yè)的真實(shí)場(chǎng)景，能夠真實(shí)反映機(jī)器人作業(yè)的情況。但是存在以下缺點(diǎn)1)不能提供三維信息，因此實(shí)際的三維位置操作難以實(shí)現(xiàn)；2)視角有限，在機(jī)器人作業(yè)現(xiàn)場(chǎng)安裝的攝像機(jī)，位置固定，無(wú)法提供全面的觀察視角；3)較大時(shí)延，在網(wǎng)絡(luò)中傳輸?shù)囊曨l圖像文件數(shù)據(jù)量比較大，在網(wǎng)絡(luò)帶寬的有限情況下，傳輸過(guò)程存在較大的時(shí)延。
基于操作者命令的三維立體虛擬場(chǎng)景的基本原理是，操作者向機(jī)器人發(fā)出的各種操作指令，假定機(jī)器人正確執(zhí)行并產(chǎn)生相應(yīng)的運(yùn)動(dòng)，為了描述這種運(yùn)動(dòng)，在操作者端的計(jì)算機(jī)上，使用三維建模軟件，建立基于操作者指令的機(jī)器人運(yùn)動(dòng)模型和三維虛擬圖像，產(chǎn)生預(yù)測(cè)仿真的效果。這樣的圖像是對(duì)機(jī)器人執(zhí)行命令過(guò)程的預(yù)測(cè)，可以提供給操作者形象的作業(yè)場(chǎng)景。另外，由于使用三維建模軟件制作，操作者可以很方便的改變觀察角度。但存在以下缺點(diǎn)這樣的系統(tǒng)提供給操作者的是對(duì)機(jī)器人及其作業(yè)現(xiàn)場(chǎng)的預(yù)測(cè)和仿真，不能夠真實(shí)反映機(jī)器人的作業(yè)情況。
發(fā)明內(nèi)容
本發(fā)明結(jié)合操作者控制命令、仿人型機(jī)器人自身的傳感器檢測(cè)信息以及環(huán)境檢測(cè)信息構(gòu)建一個(gè)作業(yè)環(huán)境的三維立體場(chǎng)景。
本發(fā)明采用的技術(shù)方案是本發(fā)明構(gòu)建的仿人型機(jī)器人作業(yè)場(chǎng)景是一種結(jié)合操作命令和反饋信息的實(shí)時(shí)視頻圖像。場(chǎng)景能夠?qū)崟r(shí)顯示仿人型機(jī)器人模型和機(jī)器人作業(yè)現(xiàn)場(chǎng)的環(huán)境模型。
場(chǎng)景能夠接收仿人型機(jī)器人作業(yè)現(xiàn)場(chǎng)的位置信息及機(jī)器人運(yùn)行中的傳感信息。使用以上信息驅(qū)動(dòng)仿人型機(jī)器人模型及其環(huán)境模型運(yùn)動(dòng)以顯示實(shí)時(shí)視頻動(dòng)畫圖像。同時(shí)場(chǎng)景接收操作者發(fā)出的命令并進(jìn)行預(yù)測(cè)，生成理想情況下的機(jī)器人運(yùn)行數(shù)據(jù)及各個(gè)模型的位置數(shù)據(jù)。在實(shí)時(shí)反饋信息缺失或者無(wú)法獲取時(shí)，使用預(yù)測(cè)所生成的數(shù)據(jù)來(lái)驅(qū)動(dòng)模型。
操作者可以任意改變視角，實(shí)現(xiàn)全視角的觀察。
其主要技術(shù)方案為使用三維建模軟件，制作仿人型機(jī)器人的作業(yè)現(xiàn)場(chǎng)各類物體的三維模型，模型具有與實(shí)際物體相同的外形特征。同時(shí)建立與模型匹配的數(shù)據(jù)處理模塊。數(shù)據(jù)處理模塊可以接收多種信息，經(jīng)過(guò)匹配處理來(lái)驅(qū)動(dòng)作業(yè)場(chǎng)景中的模型運(yùn)動(dòng)。
仿人型機(jī)器人作業(yè)場(chǎng)景的模型主要有兩種環(huán)境模型和仿人型機(jī)器人模型。
(1)使用三維建模軟件制作結(jié)構(gòu)已知的機(jī)器人作業(yè)場(chǎng)所中的環(huán)境模型。環(huán)境模型具有與實(shí)際物體相同的外形特征和位置關(guān)系。可以實(shí)現(xiàn)全視角觀察。
(2)使用三維建模軟件制作仿人型機(jī)器人模型。模型具有與機(jī)器人相同的外形幾何特征及自由度設(shè)置，滿足仿人機(jī)器人多連桿機(jī)構(gòu)運(yùn)動(dòng)學(xué)約束條件。仿人型機(jī)器人模型接收位置數(shù)據(jù)在場(chǎng)景中定位。模型接收各個(gè)自由度的關(guān)節(jié)角度數(shù)據(jù)來(lái)驅(qū)動(dòng)各個(gè)連桿之間的角度變化，表現(xiàn)仿人型機(jī)器人的運(yùn)動(dòng)。
在機(jī)器人作業(yè)現(xiàn)場(chǎng)安裝位置傳感器，實(shí)時(shí)測(cè)量機(jī)器人及其作業(yè)目標(biāo)的位置，輸出測(cè)量得到的三維坐標(biāo)數(shù)據(jù)。機(jī)器人身體各關(guān)節(jié)安裝有角度傳感器，可以實(shí)時(shí)測(cè)量機(jī)器人身體各個(gè)關(guān)節(jié)所連接的連桿之間的相對(duì)角度數(shù)據(jù)。
數(shù)據(jù)處理模塊主要實(shí)現(xiàn)以下功能(1)接收機(jī)器人在其作業(yè)環(huán)境的位置數(shù)據(jù)，將機(jī)器人模型在作業(yè)場(chǎng)所環(huán)境模型中定位。
(2)接收機(jī)器人身體各個(gè)關(guān)節(jié)所連接的連桿之間的相對(duì)角度數(shù)據(jù)，將其匹配到機(jī)器人模型，驅(qū)動(dòng)模型的各個(gè)連桿之間運(yùn)動(dòng)來(lái)表達(dá)機(jī)器人的運(yùn)動(dòng)。
(3)接收操作者發(fā)出的命令，進(jìn)行命令解釋。按照命令生成機(jī)器人作業(yè)的理想運(yùn)動(dòng)軌跡，對(duì)機(jī)器人的運(yùn)行數(shù)據(jù)進(jìn)行預(yù)測(cè)?？缮傻倪\(yùn)動(dòng)軌跡包括機(jī)器人在命令執(zhí)行過(guò)程中關(guān)節(jié)角度數(shù)據(jù)變化軌跡，機(jī)器人的位置數(shù)據(jù)變化軌跡。在理想情況下，這些數(shù)據(jù)與機(jī)器人作業(yè)現(xiàn)場(chǎng)反饋的數(shù)據(jù)相同。
場(chǎng)景在工作的過(guò)程中，數(shù)據(jù)處理模塊正常情況下實(shí)時(shí)接收來(lái)自機(jī)器人工作現(xiàn)場(chǎng)的數(shù)據(jù)來(lái)驅(qū)動(dòng)各類模型運(yùn)動(dòng)。在現(xiàn)場(chǎng)數(shù)據(jù)臨時(shí)缺失的情況下，使用操作者發(fā)出命令的仿真預(yù)測(cè)生成的預(yù)測(cè)數(shù)據(jù)來(lái)驅(qū)動(dòng)各類模型的運(yùn)動(dòng)，維持模型運(yùn)動(dòng)的連續(xù)性。
本發(fā)明的有益效果是1.融合多種信息實(shí)時(shí)顯示機(jī)器人作業(yè)現(xiàn)場(chǎng)的動(dòng)畫圖像。場(chǎng)景中各個(gè)模型的驅(qū)動(dòng)使用現(xiàn)場(chǎng)反饋的數(shù)據(jù)，在現(xiàn)場(chǎng)反饋數(shù)據(jù)暫時(shí)缺失的情況下，使用命令預(yù)測(cè)數(shù)據(jù)進(jìn)行顯示，保持顯示的連續(xù)性。
2.全視角觀察圖像。操作者可以任意改變觀察視角，觀察場(chǎng)景的細(xì)節(jié)。
圖1是基于多信息融合的仿人型機(jī)器人作業(yè)場(chǎng)景工作原理圖
具體實(shí)施例方式整個(gè)仿人型機(jī)器人工作場(chǎng)景工作過(guò)程如下第一步，機(jī)器人開始運(yùn)行，遙操作控制開始。啟動(dòng)計(jì)算機(jī)程序，顯示已經(jīng)建立好的場(chǎng)景模型。使用初始化數(shù)據(jù)確定機(jī)器人模型及其操作目標(biāo)模型初始位置，確定機(jī)器人模型的連桿之間的初始角度。這一步所生成的是場(chǎng)景的初始化界面。
第二步，場(chǎng)景數(shù)據(jù)處理模塊實(shí)時(shí)接收遙操作者發(fā)出的操作命令，解釋生成預(yù)測(cè)軌跡數(shù)據(jù)。使用預(yù)測(cè)數(shù)據(jù)來(lái)驅(qū)動(dòng)虛擬場(chǎng)景中的各個(gè)模型，以構(gòu)成三維虛擬場(chǎng)景。這一步所生成的場(chǎng)景能夠顯示，機(jī)器人執(zhí)行操作者發(fā)出命令的理想運(yùn)動(dòng)圖像。
第三步，機(jī)器人本身的傳感器實(shí)時(shí)測(cè)量各關(guān)節(jié)角數(shù)據(jù)，經(jīng)遙操作平臺(tái)傳輸?shù)綀?chǎng)景的數(shù)據(jù)處理模塊。數(shù)據(jù)處理模塊停止使用預(yù)測(cè)關(guān)節(jié)角度數(shù)據(jù)，改為使用真實(shí)關(guān)節(jié)角數(shù)據(jù)驅(qū)動(dòng)模型表達(dá)機(jī)器人自身的運(yùn)動(dòng)。此時(shí)，三維虛擬場(chǎng)景中的機(jī)器人模型，能夠真實(shí)的表達(dá)機(jī)器人在作業(yè)現(xiàn)場(chǎng)的運(yùn)行狀態(tài)。
第四步，機(jī)器人作業(yè)現(xiàn)場(chǎng)的環(huán)境檢測(cè)傳感器開始運(yùn)行，獲取到機(jī)器人及其作業(yè)目標(biāo)的位置數(shù)據(jù)。以上數(shù)據(jù)經(jīng)過(guò)遙操作平臺(tái)傳輸?shù)綀?chǎng)景的數(shù)據(jù)處理模塊。數(shù)據(jù)模塊使用以上數(shù)據(jù)為機(jī)器人模型及其環(huán)境模型進(jìn)行定位。此時(shí)，三維場(chǎng)景能夠真實(shí)的表現(xiàn)出作業(yè)現(xiàn)場(chǎng)中機(jī)器人及其環(huán)境的位置關(guān)系。
同時(shí)使用機(jī)器人自身傳感器反饋數(shù)據(jù)和環(huán)境檢測(cè)位置傳感器反饋數(shù)據(jù)，來(lái)驅(qū)動(dòng)機(jī)器人及其作業(yè)環(huán)境的模型的三維虛擬場(chǎng)景，能夠真實(shí)表達(dá)機(jī)器人的運(yùn)行狀態(tài)及其在環(huán)境中的位置信息。其中，在現(xiàn)場(chǎng)反饋暫時(shí)缺失的情況下，場(chǎng)景數(shù)據(jù)處理模塊能夠自動(dòng)選擇由命令預(yù)測(cè)生成的軌跡數(shù)據(jù)，來(lái)驅(qū)動(dòng)各類模型。當(dāng)重新獲取到反饋數(shù)據(jù)后，切換到由真實(shí)數(shù)據(jù)驅(qū)動(dòng)模型的三維虛擬場(chǎng)景。
權(quán)利要求
1.一種可以用于仿人型機(jī)器人遙操作的三維作業(yè)場(chǎng)景?？梢韵虿僮髡咛峁┮曨l圖像以監(jiān)視機(jī)器人的運(yùn)行情況。其特征在于它是一種使用實(shí)時(shí)視頻圖像；圖像中顯示仿人型機(jī)器人及其作業(yè)場(chǎng)所中的環(huán)境模型；場(chǎng)景可以接收機(jī)器人作業(yè)現(xiàn)場(chǎng)的多種數(shù)據(jù)以及操作者的命令，使用以上信息來(lái)驅(qū)動(dòng)模型顯示實(shí)時(shí)視頻圖像。
2.按照權(quán)利要求1所述的作業(yè)場(chǎng)景，其特征在于使用三維建模軟件建立各類模型，模型具有與實(shí)際物體相同的外形特征；操作者可以任意改變視角以觀察模型的細(xì)節(jié)。
3.按照權(quán)利要求1所述的作業(yè)場(chǎng)景，其特征在于場(chǎng)景接收現(xiàn)場(chǎng)位置數(shù)據(jù)、機(jī)器人運(yùn)行數(shù)據(jù)，驅(qū)動(dòng)場(chǎng)景中的模型運(yùn)動(dòng)；場(chǎng)景接收操作者發(fā)出的命令，進(jìn)行解釋，生成預(yù)測(cè)數(shù)據(jù)；在現(xiàn)場(chǎng)數(shù)據(jù)暫時(shí)缺失的情況下，使用預(yù)測(cè)數(shù)據(jù)驅(qū)動(dòng)場(chǎng)景中的模型運(yùn)動(dòng)。
全文摘要
本發(fā)明構(gòu)建的仿人型機(jī)器人作業(yè)場(chǎng)景是一種結(jié)合操作者控制命令和反饋信息的實(shí)時(shí)視頻圖像。場(chǎng)景中能夠?qū)崟r(shí)顯示作業(yè)現(xiàn)場(chǎng)的仿人型機(jī)器人模型及其作業(yè)環(huán)境模型。場(chǎng)景能夠接收仿人型機(jī)器人作業(yè)現(xiàn)場(chǎng)的位置信息及機(jī)器人運(yùn)行中的傳感信息。使用以上信息驅(qū)動(dòng)仿人型機(jī)器人模型及其環(huán)境模型運(yùn)動(dòng)以顯示實(shí)時(shí)視頻圖像。同時(shí)場(chǎng)景根據(jù)操作者發(fā)出的命令進(jìn)行預(yù)測(cè)仿真，生成理想情況下的仿人型機(jī)器人運(yùn)行數(shù)據(jù)及各個(gè)模型的位置數(shù)據(jù)。在實(shí)時(shí)反饋信息缺失或者無(wú)法獲取時(shí)，使用預(yù)測(cè)仿真所生成的數(shù)據(jù)來(lái)驅(qū)動(dòng)模型。操作者可以任意改變視角，實(shí)現(xiàn)全視角的觀察。
文檔編號(hào)B25J19/00GK1840298SQ20051005991
公開日2006年10月4日 申請(qǐng)日期2005年4月1日 優(yōu)先權(quán)日2005年4月1日
發(fā)明者黃強(qiáng), 張雷, 劉濤 申請(qǐng)人:北京理工大學(xué)