多個(gè)不同角度攝取的該人體的多幅圖像。
[0050]該電子設(shè)備可以連接或設(shè)置有對(duì)不同方位進(jìn)行圖像采集的多個(gè)圖像采集裝置，以獲取同一人體的多個(gè)不同角度的多幅圖像。
[0051]當(dāng)然，也可以是多個(gè)不同方位的攝像頭對(duì)同一人體的不同角度進(jìn)行圖像采集，獲取到該人體不同角度的多個(gè)圖像后，再將獲取到的多幅圖像傳輸給該電子設(shè)備。
[0052]102，對(duì)該多幅人體圖像中每幅人體圖像分別進(jìn)行二維人體姿態(tài)估計(jì)，確定每幅人體圖像中的該人體的目標(biāo)二維人體姿態(tài)。
[0053]對(duì)于獲取到的該人體在任意一個(gè)角度的人體圖像而言，分別對(duì)該人體圖像進(jìn)行二維人體姿態(tài)估計(jì)，以檢測(cè)出該人體圖像中所包含的該人體的二維人體姿態(tài)。
[0054]其中，從該人體圖像中確定出該人體的二維人體姿態(tài)的過(guò)程與現(xiàn)有的二維人體姿態(tài)估計(jì)的過(guò)程相似，在此不再贅述。
[0055]在本發(fā)明實(shí)施例中，為了便于區(qū)分，將從該人體圖像中檢測(cè)出的二維人體姿態(tài)稱為目標(biāo)二維人體姿態(tài)。
[0056]103，依據(jù)預(yù)先構(gòu)建的二維人體姿態(tài)與三維人體姿態(tài)的映射庫(kù)，確定該目標(biāo)二維人體姿態(tài)對(duì)應(yīng)的目標(biāo)三維人體姿態(tài)，以分別從該多幅人體圖像中恢復(fù)出該人體在該多個(gè)不同角度的多個(gè)目標(biāo)三維人體姿態(tài)。
[0057]根據(jù)預(yù)先構(gòu)建出的該映射庫(kù)，可以確定出該從每幅人體圖像中估計(jì)出的目標(biāo)二維人體姿態(tài)所對(duì)應(yīng)的目標(biāo)三維人體姿態(tài)，這樣得到從不同角度攝取到的多幅人體圖像中恢復(fù)出的多個(gè)目標(biāo)三維人體姿態(tài)，即得到該人體在多個(gè)不同角度下的多個(gè)目標(biāo)三維人體姿態(tài)。
[0058]104，將該人體在多個(gè)不同角度的目標(biāo)三維人體姿態(tài)組合為一個(gè)三維人體，構(gòu)建出該人體的三維姿態(tài)。
[0059]將得到的該人體在多個(gè)不同角度下的目標(biāo)三維人體姿態(tài)組合為一個(gè)人體，從而可以得到三維空間中的人體姿態(tài)，構(gòu)建出人體的三維姿態(tài)。
[0060]在本實(shí)施例中，對(duì)通過(guò)預(yù)置的多個(gè)采集不同方位圖像的圖像采集裝置從多個(gè)不同角度攝取的該人體的多幅人體圖像進(jìn)行二維人體姿態(tài)估計(jì)，得到每幅人體圖像中包含的該人體的目標(biāo)二維人體姿態(tài)，并根據(jù)預(yù)先構(gòu)建的二維人體姿態(tài)與三維人體姿態(tài)的映射庫(kù)，分別確定出從每幅人體圖像中恢復(fù)出的目標(biāo)二維人體姿態(tài)所對(duì)應(yīng)的目標(biāo)三維人體姿態(tài)，將得到多個(gè)目標(biāo)三維人體姿態(tài)組合成一個(gè)三維人體，從而構(gòu)建出人體的三維姿態(tài)。在本實(shí)施例中無(wú)需攝取人體的正面圖像，對(duì)三維人體姿態(tài)估計(jì)所需的人體圖像的要求較低，從而降低了三維人體姿態(tài)估計(jì)的難度。
[0061]可以理解的是，從人體圖像中估計(jì)出的二維人體姿態(tài)中可以包含該人體的各部位在該人體圖像中所處的位置，還可以包含有該人體各部位在圖像中的尺度等。
[0062]其中，預(yù)先構(gòu)建的人體的二維人體姿態(tài)與三維人體姿態(tài)的映射庫(kù)中可以包含有人體在不同的二維姿態(tài)下各個(gè)人體部位的特征信息所對(duì)應(yīng)的各個(gè)人體部位在三維姿態(tài)下的特征信息，從而根據(jù)二維姿態(tài)下特征信息與三維姿態(tài)中的特征信息的對(duì)應(yīng)關(guān)系，實(shí)時(shí)構(gòu)建該人體的二維人體姿態(tài)所對(duì)應(yīng)的三維人體姿態(tài)。
[0063]可選的，該映射庫(kù)中可以直接包含人體的不同二維姿態(tài)所對(duì)應(yīng)的三維姿態(tài)，依據(jù)該映射庫(kù)可以確定出該目標(biāo)二維人體姿態(tài)對(duì)應(yīng)的目標(biāo)三維人體姿態(tài)。具體的，可以參見圖2，其示出了本申請(qǐng)一種三維人體姿態(tài)估計(jì)方法另一個(gè)實(shí)施例的流程示意圖，本實(shí)施例的方法可以包括:
[0064]201，獲得人體不同角度的多幅人體圖像。
[0065]其中，該多幅人體圖像為通過(guò)預(yù)置的多個(gè)采集不同方位圖像的圖像采集裝置從多個(gè)不同角度攝取的該人體的多幅圖像。
[0066]202，對(duì)該多幅人體圖像中每幅人體圖像分別進(jìn)行二維人體姿態(tài)估計(jì)，確定每幅人體圖像中的該人體的目標(biāo)二維人體姿態(tài)。
[0067]203，從預(yù)先構(gòu)建的二維人體姿態(tài)與三維人體姿態(tài)的映射庫(kù)中，匹配出與該目標(biāo)二維人體姿態(tài)相匹配的參照二維人體姿態(tài)。
[0068]在本實(shí)施例中，該映射庫(kù)中包含了人體的不同二維人體姿態(tài)，以及不同的二維人體姿態(tài)所對(duì)應(yīng)的三維人體姿態(tài)。
[0069]在從每幅人體圖像中確定出該人體的目標(biāo)二維人體姿態(tài)后，將該目標(biāo)二維人體姿態(tài)與該映射庫(kù)中包含的多個(gè)二維人體姿態(tài)進(jìn)行匹配，得到與該目標(biāo)二維人體姿態(tài)相匹配的二維人體姿態(tài)。
[0070]其中，為了便于區(qū)分，將匹配出的與該目標(biāo)二維人體姿態(tài)相匹配的二維人體姿態(tài)稱為參照二維人體姿態(tài)。
[0071]204，將該映射庫(kù)中與該參照二維人體姿態(tài)對(duì)應(yīng)的參照三維人體姿態(tài)確定為目標(biāo)二維人體姿態(tài)對(duì)應(yīng)的目標(biāo)三維人體姿態(tài)，得到分別從該多幅人體圖像中恢復(fù)出的該人體在該多個(gè)不同角度的多個(gè)目標(biāo)三維人體姿態(tài)。
[0072]其中，將該映射庫(kù)中與該參照二維人體姿態(tài)對(duì)應(yīng)的三維人體姿態(tài)稱為參照三維人體姿態(tài)。
[0073]由于該目標(biāo)二維人體姿態(tài)與該參照二維人體姿態(tài)相匹配，因此該參照二維人體姿態(tài)所對(duì)應(yīng)的參照三維人體姿態(tài)同樣也可以是該目標(biāo)二維人體姿態(tài)所對(duì)應(yīng)的目標(biāo)三維人體姿態(tài)。
[0074]利用步驟203和204可以將每幅人體圖像中所包含的人體的目標(biāo)二維人體姿態(tài)均轉(zhuǎn)換為相對(duì)應(yīng)的目標(biāo)三維人體姿態(tài)，從而得到該人體在多個(gè)不同角度下的多個(gè)目標(biāo)三維人體姿態(tài)。
[0075]205，將該人體在多個(gè)不同角度的目標(biāo)三維人體姿態(tài)組合為一個(gè)三維人體，構(gòu)建出該人體的三維姿態(tài)。
[0076]在本申請(qǐng)中構(gòu)建該二維人體姿態(tài)與三維人體姿態(tài)的映射庫(kù)的方式可以利用預(yù)先獲取三維人體數(shù)據(jù)以及對(duì)應(yīng)的二維人體圖像進(jìn)行訓(xùn)練，以確定出不同而二維人體姿態(tài)與三維人體姿態(tài)的對(duì)應(yīng)關(guān)系。
[0077]下面介紹一種優(yōu)先的構(gòu)建該映射庫(kù)的方式，參見圖3，其示出了本發(fā)明一種三維人體姿態(tài)估計(jì)方法中構(gòu)建二維人體姿態(tài)與三維人體姿態(tài)的映射庫(kù)的一種實(shí)現(xiàn)方式的流程示意圖，該種方式包括:
[0078]301，獲取三維人體運(yùn)動(dòng)骨架的數(shù)據(jù)值，建立三維人體運(yùn)動(dòng)數(shù)據(jù)庫(kù)。
[0079]通過(guò)運(yùn)動(dòng)獲取設(shè)備獲取人體的三維運(yùn)動(dòng)骨架的真實(shí)數(shù)據(jù)值，得到三維人體運(yùn)動(dòng)數(shù)據(jù)庫(kù)。
[0080]該人體運(yùn)動(dòng)數(shù)據(jù)庫(kù)中包含了人體各個(gè)部位的名稱，以及人體在不同運(yùn)動(dòng)狀態(tài)下，該人體各個(gè)部位以及各個(gè)部位中不同的點(diǎn)在三維空間中的位置等信息。
[0081 ] 其中，不同的三維人體運(yùn)動(dòng)骨架反映了人體在不同運(yùn)動(dòng)狀態(tài)下的三維人體姿態(tài)。
[0082]302，將該三維人體運(yùn)動(dòng)數(shù)據(jù)庫(kù)中的三維人體運(yùn)動(dòng)骨架上的各點(diǎn)投影到二維平面上，得到該三維人體運(yùn)動(dòng)骨架上各點(diǎn)投影到二維平面上數(shù)據(jù)值。
[0083]將該三維人體運(yùn)動(dòng)骨架上各點(diǎn)投影到該二維平面后，得到該三維人體運(yùn)動(dòng)骨架上各點(diǎn)在該二維平面上投影點(diǎn)的數(shù)值，該投影點(diǎn)組成了該人體運(yùn)動(dòng)骨架在該二維平面上的二維人體姿態(tài)所對(duì)應(yīng)的二維圖像。
[0084]303，根據(jù)該三維人體運(yùn)動(dòng)數(shù)據(jù)庫(kù)中三維人體運(yùn)動(dòng)骨架的數(shù)據(jù)值以及該三維人體運(yùn)動(dòng)骨架上各點(diǎn)投影到二維平面上的數(shù)據(jù)值，構(gòu)建出包含有不同三維人體運(yùn)動(dòng)姿態(tài)與二維人體姿態(tài)的對(duì)應(yīng)關(guān)系的映射庫(kù)。
[0085]依據(jù)將不同的三維人體運(yùn)動(dòng)骨架的各點(diǎn)向二維平面進(jìn)行投影，可以確定出不同的三維人體運(yùn)動(dòng)骨架在二維平面上的二維人體姿態(tài)，并根據(jù)各個(gè)人體運(yùn)動(dòng)骨架的數(shù)據(jù)值所確定出三維人體姿態(tài)，可以構(gòu)建出不同的三維人體運(yùn)動(dòng)姿態(tài)與二維人體姿態(tài)的對(duì)應(yīng)關(guān)系。
[0086]在該種構(gòu)建映射庫(kù)的方式中，由于人體運(yùn)動(dòng)骨架的數(shù)據(jù)值與該人體運(yùn)動(dòng)骨架中各點(diǎn)在二維平面上進(jìn)行投影后得到的數(shù)據(jù)值組成的數(shù)據(jù)對(duì)的維度較高，從而有可能會(huì)影響到后續(xù)確定目標(biāo)二維人體姿態(tài)所對(duì)應(yīng)的目標(biāo)三維人體姿態(tài)的速度?？蛇x的，在得到三維人體運(yùn)動(dòng)骨架上在二維平面上投影的數(shù)據(jù)值之后，可以基于流形學(xué)習(xí)算法對(duì)所述三維人體運(yùn)動(dòng)骨架的數(shù)據(jù)值與該三維人體運(yùn)動(dòng)骨架上在二維平面上投影的數(shù)據(jù)值組成的數(shù)據(jù)對(duì)進(jìn)行降維處理。然后利用降維后的該數(shù)據(jù)對(duì)，構(gòu)建出包含有不同三維人體運(yùn)動(dòng)姿態(tài)與二維人體姿態(tài)的對(duì)應(yīng)關(guān)系的映射庫(kù)。
[0087]可以理解的是，通過(guò)不同圖像采集裝置從不同角度攝取到的圖像中所包含的二維人體姿態(tài)，均來(lái)自同一個(gè)三維人體，而人體的骨架在一個(gè)固定時(shí)刻可以看作是一個(gè)三維剛體，因此，將多個(gè)目標(biāo)三維人體姿態(tài)進(jìn)行組合時(shí)，可以根據(jù)人體骨架的剛體約束和/或人體運(yùn)動(dòng)行為約束，將該人體在多個(gè)不同角度的目標(biāo)三維人體姿態(tài)組合為一個(gè)三維人體。
[0088]對(duì)應(yīng)本發(fā)明的一種三維人體姿態(tài)估計(jì)方法，本發(fā)明還提供了一種三維人體姿態(tài)估計(jì)裝置。
[0089]參見圖4，其示出了本發(fā)明一種三維人體姿態(tài)估計(jì)裝置一個(gè)實(shí)施例的結(jié)構(gòu)示意圖，本實(shí)施例的裝置可以應(yīng)用于具有圖像處理能力的電子設(shè)備中，本實(shí)施例的裝置可以包括:
[0090]圖像獲取單元401，用于獲得人體不同角度的多幅人體圖像，所述多幅人體圖像為通過(guò)預(yù)置的多個(gè)采集不同方位圖像的圖像采集裝置從多個(gè)不同角度攝取的所述人體的多幅圖像；
[0091]二維估計(jì)單元402，用于對(duì)所述多幅人體圖像中每幅人體圖像分別進(jìn)行二維人體姿態(tài)估計(jì)，確定每幅所述人體圖像中的所述人體的目標(biāo)二維人體姿態(tài)；
[0092]三維估計(jì)單元403，用于依據(jù)預(yù)先構(gòu)建的二維人體姿態(tài)與三維人體姿態(tài)的映射庫(kù)，確定所述目標(biāo)二維人體姿態(tài)對(duì)應(yīng)的目