查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)

在保證物理合理性的同時(shí)實(shí)現(xiàn)了全新的姿態(tài)精度。

（映維網(wǎng) 2021年04月21日）從單目視頻精確估計(jì)三維人體運(yùn)動(dòng)需要建模Kinematics運(yùn)動(dòng)學(xué)（無(wú)物理力的運(yùn)動(dòng)）和Dynamics動(dòng)力學(xué)（有物理力的運(yùn)動(dòng)）。

為了提高視頻中估計(jì)人體運(yùn)動(dòng)的物理合理性，最近的研究開始在公式中采用動(dòng)力學(xué)。這種方法首先對(duì)運(yùn)動(dòng)進(jìn)行估計(jì)，然后利用基于物理的軌跡優(yōu)化方法對(duì)誘導(dǎo)運(yùn)動(dòng)的力進(jìn)行優(yōu)化。基于軌跡優(yōu)化的方法存在一定的不足。首先，軌跡優(yōu)化需要在測(cè)試時(shí)求解一個(gè)高度復(fù)雜的優(yōu)化問(wèn)題。這可能屬于計(jì)算密集型，并且需要對(duì)時(shí)間窗口甚至整個(gè)運(yùn)動(dòng)序列進(jìn)行批處理，從而導(dǎo)致姿態(tài)預(yù)測(cè)的高延遲，并且不適合交互式實(shí)時(shí)應(yīng)用程序。

其次，軌跡優(yōu)化需要簡(jiǎn)單可微的物理模型，這可能導(dǎo)致近似誤差較大。最后，將物理應(yīng)用于基于軌跡優(yōu)化的方法是作為一個(gè)后處理步驟，其將給定的運(yùn)動(dòng)投影到物理合理的運(yùn)動(dòng)。由于它是基于優(yōu)化，所以沒有一個(gè)學(xué)習(xí)機(jī)制嘗試將優(yōu)化的運(yùn)動(dòng)與ground truth相匹配。所以，軌跡優(yōu)化所產(chǎn)生的運(yùn)動(dòng)在物理上可能合理，但離ground truth相距甚遠(yuǎn)，特別是當(dāng)輸入運(yùn)動(dòng)不準(zhǔn)確時(shí)。

針對(duì)上述局限性，F(xiàn)acebook和卡內(nèi)基梅隆大學(xué)的研究人員提出了一種新的方法：SimPoE（Simulated Character Control for Human Pose Estimation；人體姿態(tài)估計(jì)的模擬特征控制）。

SimPoE將基于圖像的運(yùn)動(dòng)學(xué)推理和基于物理的動(dòng)力學(xué)建模緊密地集成到一個(gè)聯(lián)合學(xué)習(xí)框架中。與軌跡優(yōu)化不同，SimPoE是一個(gè)因果時(shí)間模型，帶有一個(gè)集成的物理模擬器。

具體來(lái)說(shuō)，SimPoE學(xué)習(xí)以當(dāng)前姿態(tài)和下一幀圖像作為輸入的策略，并為模擬器內(nèi)的代理角色生成控件。其中，控件輸出下一幀的姿態(tài)估計(jì)。為了執(zhí)行運(yùn)動(dòng)學(xué)推斷，所述策略包含一個(gè)可學(xué)習(xí)的運(yùn)動(dòng)學(xué)姿態(tài)精化單元，后者使用圖像證據(jù)（2D關(guān)鍵點(diǎn)）迭代精化運(yùn)動(dòng)學(xué)姿態(tài)估計(jì)。精化單元以關(guān)鍵點(diǎn)重投影損失梯度作為輸入，對(duì)姿態(tài)和關(guān)鍵點(diǎn)的幾何信息進(jìn)行編碼，然后輸出運(yùn)動(dòng)姿態(tài)更新。

基于這種改進(jìn)的運(yùn)動(dòng)學(xué)姿態(tài)，策略然后計(jì)算角色控制動(dòng)作，如角色的比例驅(qū)動(dòng)（PD）控制器的目標(biāo)關(guān)節(jié)角度，從而推進(jìn)角色狀態(tài)并獲得下一幀姿態(tài)估計(jì)。所述策略設(shè)計(jì)將運(yùn)動(dòng)學(xué)姿態(tài)精化單元與基于動(dòng)力學(xué)的控制生成單元相結(jié)合，并配合強(qiáng)化學(xué)習(xí)（RL），以保證姿態(tài)估計(jì)的準(zhǔn)確性和物理合理性。在每個(gè)時(shí)間步驟，根據(jù)估計(jì)的運(yùn)動(dòng)和ground truth之間的相似性來(lái)分配獎(jiǎng)勵(lì)。

為了進(jìn)一步提高姿態(tài)估計(jì)精度，SimPoE同時(shí)引入了一種新的控制機(jī)制meta-PD-control。PD控制器廣泛應(yīng)用于先前的研究，其主要是將策略產(chǎn)生的動(dòng)作轉(zhuǎn)化為控制角色的關(guān)節(jié)力矩。然而，PD控制器參數(shù)通常具有需要手動(dòng)調(diào)整的固定值，這可能產(chǎn)生次優(yōu)結(jié)果。相反，在meta-PD-control中，SimPoE的策略訓(xùn)練成基于角色的狀態(tài)在模擬步驟中動(dòng)態(tài)調(diào)整PD控制器參數(shù)，以實(shí)現(xiàn)對(duì)角色運(yùn)動(dòng)的更精細(xì)控制。

研究人員在兩個(gè)大型數(shù)據(jù)集和一個(gè)包含手指運(yùn)動(dòng)細(xì)節(jié)的內(nèi)部人體運(yùn)動(dòng)數(shù)據(jù)集驗(yàn)證了SimPoE。團(tuán)隊(duì)比較了SimPoE和最先進(jìn)的單目3D人體姿態(tài)估計(jì)方法，包括運(yùn)動(dòng)學(xué)和基于物理的方法。在這兩個(gè)數(shù)據(jù)集上，SimPoE在基于姿勢(shì)和基于物理的度量方面都優(yōu)于先前的研究。另外，與先前基于物理的方法相比，SimPoe的姿勢(shì)精度有顯著提高。

相關(guān)論文：

SimPoE: Simulated Character Control for 3D Human Pose Estimation

https://paper.nweon.com/9688

團(tuán)隊(duì)將會(huì)在6月舉行的計(jì)算機(jī)視覺與模式識(shí)別大會(huì)介紹名為《SimPoE: Simulated Character Control for 3D Human Pose Estimation》的論文。

關(guān)鍵詞： Facebook SimPoE 攝像頭 實(shí)現(xiàn)