機(jī)器之心專(zhuān)欄
作者：上海科技大學(xué)等
隨著元宇宙概念的提出，虛擬數(shù)字人等新興技術(shù)的不斷發(fā)展，人們通過(guò)在虛擬世界中分別還原人體的不同部位并加以組合從而實(shí)現(xiàn)數(shù)字孿生。如何讓數(shù)字人擁有一雙靈巧的雙手便成了一大難題。在真實(shí)世界中，我們的手有骨骼、肌肉、肌腱等多個(gè)解剖學(xué)結(jié)構(gòu)。然而傳統(tǒng)的手部模型只專(zhuān)注于外表面皮膚建模，骨架結(jié)構(gòu)也是由簡(jiǎn)單的關(guān)節(jié)點(diǎn)連線構(gòu)成。這樣的建模方法并不能重現(xiàn)逼真的虛擬手。
針對(duì)這個(gè)問(wèn)題，一個(gè)虛擬手建模的解決方案——NIMBLE 模型由解剖學(xué)的角度提出，NIMBLE 開(kāi)發(fā)團(tuán)隊(duì)建立了一個(gè)全新的參數(shù)化手部模型，模型包含骨骼、肌肉、皮膚和外表面貼圖，擁有更精細(xì)的皮膚材質(zhì)紋理，可以輕松完成各式各樣的手勢(shì)，真實(shí)還原手部肌肉狀態(tài)。
NIMBLE 模型是多學(xué)科交叉融合的產(chǎn)物，使用 MRI 技術(shù)采集數(shù)據(jù)，作為參與單位之一的上海科技大學(xué) MARS 實(shí)驗(yàn)室孵化的數(shù)字人底層技術(shù)公司影眸科技研發(fā)的高精度掃描系統(tǒng)為手部模型提供了更為精細(xì)的貼圖與紋理，正是這種多方面的協(xié)同創(chuàng)新得以讓如今的 NIMBLE 模型真正意義上實(shí)現(xiàn)了對(duì)人手部分的完美模擬。
項(xiàng)目主頁(yè)：https://reyuwei.github.io/proj/nimble
數(shù)據(jù)集
要實(shí)現(xiàn)這樣的解剖學(xué)建模，就一定要有對(duì)應(yīng)的醫(yī)療數(shù)據(jù)。考慮到核共振（MRI）在臨床上經(jīng)常被用來(lái)診斷和治療手部疾病，該研究使用臨床 3T 核磁設(shè)備采集了高質(zhì)量的 MRI 手部三維影像數(shù)據(jù)集。該數(shù)據(jù)集包括 35 個(gè)對(duì)象的共 200 個(gè)核磁圖像，共覆蓋 50 個(gè)不同的手部動(dòng)作。為了準(zhǔn)確地區(qū)分骨骼、肌肉和皮膚，該研究在原始 MRI 圖像上也做了標(biāo)注。
MRI 數(shù)據(jù)地址：https://github.com/reyuwei/PIANO_mri_data
除了 MRI 數(shù)據(jù)，該研究還用光場(chǎng)設(shè)備采集高質(zhì)量手部 diffuse、normal 和 specular 貼圖。通過(guò)貼圖插值，實(shí)現(xiàn)了對(duì)皮膚顏色和紋理的建模。
模型定義
仿照人體參數(shù)模型 [SMPL] 和手部參數(shù)模型[MANO]，NIMBLE 模型也是由模板模型、LBS（linear blend skining）和 blend shape 構(gòu)成的。
- SMPL 地址：https://smpl.is.tue.mpg.de/
- MANO 地址：https://mano.is.tue.mpg.de/
模板模型分為三部分，分別是骨骼、肌肉和外表面，其中肌肉和外表面模型用四面體建模。
算法流程
訓(xùn)練模型的流程分為模型配準(zhǔn)（registration）和參數(shù)學(xué)習(xí)（parameter learning）兩個(gè)部分。
其中模型配準(zhǔn)是為了將數(shù)據(jù)統(tǒng)一成相同的拓?fù)浣Y(jié)構(gòu)，參數(shù)學(xué)習(xí)是將同拓?fù)涞臄?shù)據(jù)作為目標(biāo)函數(shù)去優(yōu)化模型的參數(shù)。
為了在模型配準(zhǔn)中捕捉到肌肉和皮膚的非剛體形變，該研究用四面體模型來(lái)建模肌肉和皮膚。與三角面片的模型不同的是，四面體模型能夠更方便地計(jì)算模型體積，也常應(yīng)用于非剛體物理仿真。該研究在模型配準(zhǔn)中就利用了 neo-hookean 彈性模型。他們將其作為一個(gè)物理約束應(yīng)用于模型配準(zhǔn)當(dāng)中，借此保證了模型形變時(shí)體積不變，達(dá)到了更準(zhǔn)確的配準(zhǔn)結(jié)果。
下圖展示了將模板肌肉配準(zhǔn)到 MRI 分割出的肌肉的結(jié)果。注意配準(zhǔn)后的肌肉厚度增加，并且排列更加緊密。
從配準(zhǔn)誤差的直方圖可以看出，誤差基本在 2mm 以?xún)?nèi)。
在參數(shù)學(xué)習(xí)的過(guò)程中，由于 MRI 數(shù)據(jù)的數(shù)量有限，研究者還借助了 [MANO] 模型的點(diǎn)云數(shù)據(jù)來(lái)擴(kuò)充運(yùn)動(dòng)空間。通過(guò)在多個(gè)不同模態(tài)的數(shù)據(jù)集上迭代優(yōu)化，最終構(gòu)建出 NIMBLE 模型。與僅基于外表面的傳統(tǒng)手部模型相比，NIMBLE 以數(shù)據(jù)驅(qū)動(dòng)的方式實(shí)現(xiàn)了對(duì)手的內(nèi)外部解剖結(jié)構(gòu)統(tǒng)一建模。此外，模型還可以作為一個(gè)網(wǎng)絡(luò)層應(yīng)用于深度學(xué)習(xí)，以進(jìn)行逼真虛擬手的生成和手勢(shì)識(shí)別等多種任務(wù)。
實(shí)驗(yàn)
該研究從 pose、shape 和 appearance 三個(gè)維度驗(yàn)證了模型的 compactness 和泛化（generalization）能力。
從幾何建模上，該研究和外表面模型 [MANO] 做對(duì)比。
(a) NIMBLE 在變形過(guò)程中保留了更多皮膚細(xì)節(jié)，而 MANO 的結(jié)果過(guò)于平滑。
(b)(c) MANO 在形變時(shí)沒(méi)有考慮內(nèi)部結(jié)構(gòu)，因此用簡(jiǎn)單的方法為它加上內(nèi)部結(jié)構(gòu)后會(huì)出現(xiàn)奇怪的肌肉和骨骼形變以及不真實(shí)的皮膚凹陷，而 NIMBLE 保持了解剖學(xué)上正確的和物理上合理的變形。
從外表建模的角度，該研究和貼圖模型 [HTML] 模型進(jìn)行了對(duì)比。
(a)(b)分別是兩個(gè)模型數(shù)據(jù)集中的手部紋理貼圖，(c)(d)是在兩個(gè)模型的貼圖空間中隨機(jī)采樣的紋理。顯然該研究的模型能夠保留更多細(xì)節(jié)，并且法線貼圖進(jìn)一步實(shí)現(xiàn)了手背上肌腱凸起的效果。
HTML 地址：https://handtracker.mpi-inf.mpg.de/projects/HandTextureModel/
