機器之心專欄
作者：上海科技大學等
隨著元宇宙概念的提出，虛擬數(shù)字人等新興技術的不斷發(fā)展，人們通過在虛擬世界中分別還原人體的不同部位并加以組合從而實現(xiàn)數(shù)字孿生。如何讓數(shù)字人擁有一雙靈巧的雙手便成了一大難題。在真實世界中，我們的手有骨骼、肌肉、肌腱等多個解剖學結構。然而傳統(tǒng)的手部模型只專注于外表面皮膚建模，骨架結構也是由簡單的關節(jié)點連線構成。這樣的建模方法并不能重現(xiàn)逼真的虛擬手。
針對這個問題，一個虛擬手建模的解決方案——NIMBLE 模型由解剖學的角度提出，NIMBLE 開發(fā)團隊建立了一個全新的參數(shù)化手部模型，模型包含骨骼、肌肉、皮膚和外表面貼圖，擁有更精細的皮膚材質紋理，可以輕松完成各式各樣的手勢，真實還原手部肌肉狀態(tài)。
NIMBLE 模型是多學科交叉融合的產(chǎn)物，使用 MRI 技術采集數(shù)據(jù)，作為參與單位之一的上?？萍即髮W MARS 實驗室孵化的數(shù)字人底層技術公司影眸科技研發(fā)的高精度掃描系統(tǒng)為手部模型提供了更為精細的貼圖與紋理，正是這種多方面的協(xié)同創(chuàng)新得以讓如今的 NIMBLE 模型真正意義上實現(xiàn)了對人手部分的完美模擬。
項目主頁：https://reyuwei.github.io/proj/nimble
數(shù)據(jù)集
要實現(xiàn)這樣的解剖學建模，就一定要有對應的醫(yī)療數(shù)據(jù)?？紤]到核共振（MRI）在臨床上經(jīng)常被用來診斷和治療手部疾病，該研究使用臨床 3T 核磁設備采集了高質量的 MRI 手部三維影像數(shù)據(jù)集。該數(shù)據(jù)集包括 35 個對象的共 200 個核磁圖像，共覆蓋 50 個不同的手部動作。為了準確地區(qū)分骨骼、肌肉和皮膚，該研究在原始 MRI 圖像上也做了標注。
MRI 數(shù)據(jù)地址：https://github.com/reyuwei/PIANO_mri_data
除了 MRI 數(shù)據(jù)，該研究還用光場設備采集高質量手部 diffuse、normal 和 specular 貼圖。通過貼圖插值，實現(xiàn)了對皮膚顏色和紋理的建模。
模型定義
仿照人體參數(shù)模型 [SMPL] 和手部參數(shù)模型[MANO]，NIMBLE 模型也是由模板模型、LBS（linear blend skining）和 blend shape 構成的。
- SMPL 地址：https://smpl.is.tue.mpg.de/
- MANO 地址：https://mano.is.tue.mpg.de/
模板模型分為三部分，分別是骨骼、肌肉和外表面，其中肌肉和外表面模型用四面體建模。
算法流程
訓練模型的流程分為模型配準（registration）和參數(shù)學習（parameter learning）兩個部分。
其中模型配準是為了將數(shù)據(jù)統(tǒng)一成相同的拓撲結構，參數(shù)學習是將同拓撲的數(shù)據(jù)作為目標函數(shù)去優(yōu)化模型的參數(shù)。
為了在模型配準中捕捉到肌肉和皮膚的非剛體形變，該研究用四面體模型來建模肌肉和皮膚。與三角面片的模型不同的是，四面體模型能夠更方便地計算模型體積，也常應用于非剛體物理仿真。該研究在模型配準中就利用了 neo-hookean 彈性模型。他們將其作為一個物理約束應用于模型配準當中，借此保證了模型形變時體積不變，達到了更準確的配準結果。
下圖展示了將模板肌肉配準到 MRI 分割出的肌肉的結果。注意配準后的肌肉厚度增加，并且排列更加緊密。
從配準誤差的直方圖可以看出，誤差基本在 2mm 以內。
在參數(shù)學習的過程中，由于 MRI 數(shù)據(jù)的數(shù)量有限，研究者還借助了 [MANO] 模型的點云數(shù)據(jù)來擴充運動空間。通過在多個不同模態(tài)的數(shù)據(jù)集上迭代優(yōu)化，最終構建出 NIMBLE 模型。與僅基于外表面的傳統(tǒng)手部模型相比，NIMBLE 以數(shù)據(jù)驅動的方式實現(xiàn)了對手的內外部解剖結構統(tǒng)一建模。此外，模型還可以作為一個網(wǎng)絡層應用于深度學習，以進行逼真虛擬手的生成和手勢識別等多種任務。
實驗
該研究從 pose、shape 和 appearance 三個維度驗證了模型的 compactness 和泛化（generalization）能力。
從幾何建模上，該研究和外表面模型 [MANO] 做對比。
(a) NIMBLE 在變形過程中保留了更多皮膚細節(jié)，而 MANO 的結果過于平滑。
(b)(c) MANO 在形變時沒有考慮內部結構，因此用簡單的方法為它加上內部結構后會出現(xiàn)奇怪的肌肉和骨骼形變以及不真實的皮膚凹陷，而 NIMBLE 保持了解剖學上正確的和物理上合理的變形。
從外表建模的角度，該研究和貼圖模型 [HTML] 模型進行了對比。
(a)(b)分別是兩個模型數(shù)據(jù)集中的手部紋理貼圖，(c)(d)是在兩個模型的貼圖空間中隨機采樣的紋理。顯然該研究的模型能夠保留更多細節(jié)，并且法線貼圖進一步實現(xiàn)了手背上肌腱凸起的效果。
HTML 地址：https://handtracker.mpi-inf.mpg.de/projects/HandTextureModel/
