人型骨骼動畫生成模型


摘要

為3D角色製作動畫時需要為角色製作動作骨架,而以手動方式製作骨架的過程和事後的調整都會花費大量時間。 近年來有許多研究使用深度神經網路自動生成骨架,然而多數方法無法精確生成手部骨架,導致角色無法呈現手指的動作。 如今大部分電影和遊戲中動作都使用動作捕捉技術製成,使用者也會期待角色能完美兼容這些動作,做出精細的手部動畫。

為了解決上述問題,本論文將現有的模型進行修改並強化,提出一個新的骨架生成模組。此模組能與其他骨架生成程式對接 並強化其手部骨架的精細度。本研究也有將模組結合現有骨架生成程式,產出一個新的端到端自動骨架生成系統。





引用文獻

RigNet: Neural Rigging for Articulated Characters

Xu 於 2020 年提出 RigNet,一個只要輸入 3D 腳色模型就能製作骨骼動畫的端到端自動方法。 給定一個 3D 腳色作為輸入,RigNet 會試著產生出一副骨架,此骨架會盡可能符合動畫師對關節配置和拓撲學上的期待。 此方法同時還會根據預測的骨架去計算蒙皮權重 (Skin Weights)。該研究以圖卷積網路為基礎,透過池化與多層感知器進行堆疊, 訓練出不同模型來處理生成骨骼動畫中會面對的問題。





結果

本研究開發出一個新的骨骼動畫生成方法,可以為人型角色生成包含手指的骨架。此方法彌補 RigNet 中對手掌結構資料的缺失。透過機器學習模型對手掌進行分割並重新生成其骨架。和其他骨骼動畫程式相比,本研究開發的系統能生成細部手指骨架,讓需要在動畫上呈現手指動作的使用者不需要額外手動進行生成。

本研究將手掌骨架生成模組獨立出來(HandNet),此模組可以與其他骨架生成系統對接。如果使用者偏好使用其他骨架生成方法,或是已經擁有身體骨架,但是缺少手掌結構,他們可以直接將現有的骨架輸入至 HandNet 便能獲得完整的骨架結構。本研究對 RigNet 與 Mixamo 生成出的手掌骨架進行比對,比對結果顯示我們方式明顯優於 RigNet。