运动合成——机器学习技术
參考文獻:《人體運動合成中的機器學習技術合成綜述》
根據機器學習的用途分類,在圖形學中使用到的大致如下:
1>????回歸和函數逼近?;貧w是一種插值技術,分析已知數據點來合成新的數據。
2>????降維。從高維數的運動數據中得到潛在結構。注意學習一下流行學習。
3>????分類。監督學習技術,提高數據的使用效率。
4>????聚類。非監督學習技術。將數據分割為連續的群。最簡單廣泛的K均值法
5>????決策。搜索假設空間,尋找最優解決方案。注意學習決策樹學習,增強學習。
人體運動合成主流采用數據驅動的方法,但是捕捉的數據缺乏靈活性。機器學習可以用于運動數據的合成、分類、分割、檢索。
人體動畫的計算機視覺和機器學習技術文獻:
Xiao Jun, Zhuang Yueting, Wu Fei. Computervision and machine learning in 3D hum an animation: a survey [ J] .J ournal ofC om puterAided Design & Com puter Graph ics,2008, 20( 3) : 281 290 ( inChines e)
( 肖 俊, 莊越挺, 吳 飛. 計算機視覺與機器學習技術在三維人體動畫中的應用綜述 [ J] . 計算機輔助設計與圖形學學報, 2008, 20( 3) : 281- 290)
?
回歸和函數逼近:
?通過學習已有數據得到參數化模型,以此來對運動進行控制。
①Rose采用RBF(徑向基函數)對相同內容不同風格的運動插值:
Rose C, Cohen M F, Boden heim er B . Verbsand adverbs:m ultidimensional motion interpolation [ J ] . IEEE C omputerGraphics and Applications, 1998, 18( 5) : 32- 41
②Rose采用RBF求解逆運動學問題,得到滿足約束的虛擬人位姿
Rose C F, Sloan P P J, Cohen M F. Artist-directedinverse- kinematics using radial basis function interpolation[ J ] . Compu terGraphics Forum, 2001, 20( 3) : 239 250
③學習運動混合全職合成新運動,但是認為標注風格參數
Torresani L, Hackney P, Bregler C .Learning motion style synthesis from perceptual observations [ C] - Proceedingsof NIPS 19. Cambridge: The MIT Press, 2007: 1393- 1400
④高斯混合模型訓練拳擊數據
W ang Y, Liu ZG, Zhou LZ . Key- styling:learning motion style for real-time synthes is of 3D animation [ J] . ComputerAnimation and Virtual Worlds, 2006, 17( 3-4) : 229-237
⑤插值看著丟失數據的預測,地統計學插值法
Mukai T, Kuriyama S . Geostatistical motioninterpolation[ J ] . ACM Transactions on Graphics , 2005, 24 ( 3 ) : 1062-1070
⑥機器學習,逆動力學,非線性反向優化風格化運動
Liu C K, Hertzmann A, Popovic' Z. Learningphysics- based motion style with nonlinear inverse optimization [ J] . ACMTransactions on Graphics, 2005, 24( 3) : 1071- 1081
⑦小段運動推廣到長運動或其他角色的運動上使用了高斯過程(GP)和RBF
Ikemoto L, Arikan O, Forsyth D .Generalizing motion edits with Gaussian processes [ J ] . ACM Transactions onGraphics,2009, 28( 1) : Article No 1
⑧使用HMM,隱變量表示風格參數
Brand M , Hertzmann A. Style machines [ C]– Computer Graphics Proceedings, Annual Conference Series, ACM SIGGRAPH. NewYork: ACM Press, 2000: 183- 192
⑨兩層統計模型:線性動態系統(LDS)和轉換關系(HMM表示)
Li Y, Wang T S, Shum H Y. Motion texture: atwo-level statistical model for character motion synthesis [ J] . ACMTransactions on Graphics, 2002, 21( 3): 465- 472
⑩線性時不變模型(LTI),運動風格的轉換和過渡
Hsu E, Pulli K, Popovic' J . Styletranslation for human motion [ J] . ACM Transactions on Graphics, 2005, 24 ( 3) :1082- 1089
?求解最大后驗問題
Chai J X, Hodgins J K . Constrain tbasedmotion optimization using a statistical dynamic model [ J] . ACM Transactionson Graphics, 2007, 26( 3) : Article No 8
?高斯過程動態建模(GaussProcess Dynamic Model, GPDM),考慮的輸入數據的時間結構
Wang J M , Fleet D J, Hertzmann A .Gaussian process dynamical models for human motion [ J] . IEEE Transaction sonPattern Analysis and Machine Intelligence, 2008, 30( 2 ) :283 298
?動態貝葉斯網絡( dynamic Bayesian networks, DBN)對輸入運動擴展
Lau M , BarJoseph Z, Ku ffner J . Modeling spatial and temporalvariation in motion data [ J] . ACM Transactions on Graphics, 2009, 28( 5) :Article No 171
?風格化運動控制器線性時變(lineartim e variant, LTV)系統處理平衡問題,捕獲運動提供風格
daSilva M , Abe Y, Popovic' J . Interactive simulation of stylizedhuman locomotion [ J] . ACM? Transactionson Graphics, 2008, 27( 3) : Article No 82
回歸和函數逼近方法需要大量樣本數據,所以實時性不高,適合動畫制作和仿真,不適合游戲和交互式編輯。
?對運動數據進行評價
Ren L, Patrick A, Efros AA, etal. A data- driven approach toquantifying natural human motion [ J ] . ACM Transactions on Graphics, 2005,24( 3) : 1090- 1097
?
降維:
常用的有主成分分析(PCA)和獨立成分分析(ICA)
①??????PCA不同步速和步幅的行走引擎
Glardon P, Boulic R, Thalmann D. PCAbased walk ingen gine usingmotion capture data [ C]? Proceedings ofthe Computer Graphics International. Washington D C: IEEE Computer SocietyPress , 2004: 292 298
②??????PCA風格化行走運動
Urtasun R, Glardon P, Boulic R, etal. Style-based motion synthesis[ J] . Computer Graphics Forum, 2004, 23( 4) : 799-812
③??????PCA走路上樓梯
Li Chunpeng, Wang Zhaoqi, Xia Shihong . Motion synthesis forvirtual human using functional data analysis [ J] . Journal of Software, 2009,20( 6) : 1664- 1672 ( in Chinese)( 李淳芃, 王兆其, 夏時洪. 人體運動的函數數據分析與合成[ J] . 軟件學報, 2009, 20( 6) : 1664-1672)
④??????ICA子空間合成新運動
Mori H , Hoshin o J . ICAbased interpolation of human motion [C]? Proceedings of IEEE InternationalSymposium on Computational Intelligence in Robotics and Automation. New York:IEEE Press, 2003: 453-458
⑤??????ICA提取風格傳遞給其它運動
Shapiro A, Cao Y, Faloutsos P. Style components [ C] --Proceedingsof the Conference on Graphics Interface. Quebec: Canadian Human-Computer CommunicationSociety, 2006:33-39
⑥??????多維尺度變換(multi-dimensional scaling, MDS)降維,然后插值連接等操作
Shin H J, Lee J . Motion synthesis and editing in low-dimensionalspaces [ J] . Computer Animation and Virtual Worlds, 2006, 17( 3-4) : 219- 227
用降維輔助求解運動學問題(inversekinematics,IK)問題
⑦??????非線性PCA技術變尺度高斯過程潛在變量模型(scaled Gaussian process latent variable mode,SGPLVM)降維,然后用非線性插值合成新姿態
Grochow K, Martin S L, Hertzmann A, et al. Style- based inversekinematics [ J] . ACM Transaction on Graphics, 2004,23( 3) : 522 531
⑧??????基于主測地線分析(principal geodesic analysis,PGA)逆運動學求解,屬于流行學習
Tournier M, Wu X, Courty N, et al. Motion compression usingprincipal geodesic analysis [ J] . Computer Graphics Forum , 2009, 28( 2) : 355-364
⑨??????LTI系統,誤差平方和進行分割
Zhu Dengming, Wang Zhaoqi. Extraction of key frame from motioncapture data based on motion sequence segmentation[ J] . Journal ofComputer-Aided Design & Computer Graphics, 2008, 20( 6) : 787-792 ( inChinese)( 朱登明, 王兆其. 基于運動序列分割的運動捕獲數據關鍵幀提取[ J] . 計算機輔助設計與圖形學學報, 2008,20 ( 6) : 787792)
⑩??????運動縮略圖。運用MDS降為低維運動曲線,尋找運動曲線與平均曲線距離最大的點確定關鍵姿態,也就是全局意義上的最與眾不同的姿態
Assa J, Caspi Y, Cohen-or D. Action synopsis: pose selection andillumination [ J] . ACM Transactions on Graphics, 2005, 24( 3) : 667-676
???????SOM(self organized map)自組織映射降維
Li Chunpeng, Wang Zhaoqi, Xia Shi hong, et al. Inverse kinematicsusing local support poses[ J] . Chinese Journal of Computers, 2007, 30( 11) :1982 1988 ( in Chinese)( 李淳芃, 王兆其, 夏時洪, 等. 基于局部支撐姿態的逆運動學求解[ J] . 計算機學報, 2007, 30( 11) : 1982-1988)
? ??
降維算法不具備實時性,但是計算出低維模型后新數據的合成和分析都能實時得到。
?
分類:
利用訓練出的模型對輸入數據進行預判,提高數據的使用效率
①??????模擬人摔倒,連接動力學仿真和捕獲數據,但是對運動數據庫搜索費時
Tang B, Pan ZG, Zheng L, et al . Interactive Generation of FallingMotions [ J] . Computer Animation and Virtual Worlds, 2006, 17( 3-4) : 271-279
②??????利用神經網絡(neural newworks,NN)對捕獲數據分類
Pan Zhig eng, Chen g Xi, T ang Bing . A real-time algorithm forcharacter reactive animation generation [ J] . Journal of Computer Research andDevelopment, 2009, 46( 1) : 151- 158( in Chinese)( 潘志庚, 程熙, 唐冰. 一種實時虛擬人反應式動畫生成算法[ J] . 計算機研究與發展, 2009, 46( 1) : 151-158)
③??????從運動捕獲數據學習控制策略的方法
S ok K W , Kim M, Lee J. Simulating biped behaviors from human motiondata [ J] . ACM Transactions on Graphics,2007, 26( 3) : Article No 107
④??????自動對運動片段進行分類
ArikanO, Forsyth D A, O-Brien J F. Motion synthesis from annotations [ J] . ACMTransactions on Graphics, 2003, 22( 3) : 402- 408
⑤??????關系向量機,加速出拳規則和風格的創建
ZhangL, Xiao J, Zhuang Y T , et al. Competitive motion synthesis based on hybridcontrol [ J] . Computer Animation and Virtual Worlds, 2009, 20( 2-3) : 225- 235
⑥??????相似幀聚一起,一線任意時刻任意運動片段之間的過渡
PengJ Y, Lin I C, Chao J H, et al. Interactive and flexible motion transition [ J]. Computer Animation and Virtual Worlds, 2007, 18( 3-4) : 549- 588
⑦??????符合視覺感知規律的度量性方法
TangJ K T , Leung H , Komura T, et al. Emulating human perception of motionsimilarity [ J] . Computer Animation and Virtual Worlds, 2008, 19( 3-4) : 211-221
聚類:
①??????層次化聚類,建立骨架運動學約束模型,合成滿足約束的人體動畫
Ong E J, Hilton A . Learn t inverse kinematics for animation synthesis [ J] . GraphicalModels, 2006, 68( 5-6) : 472- 483
②??????兩層模型,底層是HMM組織的原始運動數據,高層是統計模型K均值聚類后的相似幀匯聚成群,通過概率決定是否可能產生過渡
LeeJ, C hai J X, Reitsma P S A, et al . Interactive control of avatars animated withhuman motion data [ J] . ACM Transactions on Graphics, 2002, 21( 3): 491- 500
③??????使用PCA和概率PCA分割數據
BarbicJ, Safonova A, Pan J Y. Segmenting motion capture data into distinct behaviors[ C]-Proceedings of the Conference on Graphics Interface. Quebec: Canadian Human-ComputerCommunications Society, 2004: 185- 194
④??????處理時間縮放,在高層使用簡單的聚類,檢索效率高,基于SOM
WuS Y, Xia S H , Wang Z Q, et al . Efficient motion data indexing and retrievalwith local similarity measure of motion strings [ J] . The Visual Computer,2009, 25( 5-7) : 499- 508
決策:
①??????運動圖,節點是運動片段,有向邊是可能的過渡
Kovar L, Gleicher M , Pighin F. Motion graph s [ J] . ACM Transactions onGraphics, 2002, 21( 3): 473- 482
②??????使用動態規劃(dynamic programming,DP)技術對拳擊運動數據進行預處理,得到可以對外部環境進行實時反映的控制策略
LeeJ, Lee K H . Precomputing avatar behavior from human motion data [ C] -Proceedingsof Eurographics-ACMSIGGRAPH Symposium on Computer Animation. New York: ACMPress, 2004: 79- 87
③??????使用增強學習(reinforcement learning,RL)訓練一張控制策略表,記錄用戶輸入和下一個運動片段的關系,控制器根據此表實時響應用戶輸入,適合交互式游戲
McCannJ, Pollard N . Responsive characters from motion fragments [ J] . AC M Transactionson Graphics, 2007, 26( 3) : Article No 6
④??????使用基函數代替最優控制策略函數,實現次最優控制
TreuilleA, Lee Y J, Popovic' Z. Near-optimal character animation with continuouscontrol [ J] . ACM Transactions on Graphics, 2007, 26( 3) : Article No 7
⑤??????基于樹的擬合迭代算法,擴展傳統RL框架,引入參數化運動和插值方法,可在不影響控制效果的情況下減少輸入樣本數量
LoW Y, Zwicker M . Real-time planning for parameterized human motion [ C] --Proceedingsof Eurographics-ACMSIGGRAPH Symposium on Computer Animation. New York:ACMPress, 2008: 29-38
⑥??????支持向量機的離線訓練簡化運動片段的搜索過程
ChengX, Liu G D, Pan Z G, et al. Fragment-based responsive character motion forinteractive games [ J] . The Visual Computer, 2009, 25( 57) : 479- 485
⑦??????使用參數化運動表示和RL實現復雜運動控制:自動選擇少量數據構建簡單的運動控制器,并實現控制器的連接和轉換,通過迭代逐步改進基函數,實現高復雜度的控制策略函數
LeeY J, Lee S J, Popovic' Z. Compact character controller s[ J] . ACM Transactionson Graphics, 2009, 28 ( 5) : ArticleNo 169
?
在此把運動合成分為五類:
1.? 運動混合,即運動樣本之間的插值
2.? 動態建模,運動在時序上的分析和建模
3.? 動力學仿真,考慮物理特性的運動合成
4.? 逆運動學,滿足末端約束的姿態合成
5.? 運動連接,小的運動片段連接成長的運動序列
總結
以上是生活随笔為你收集整理的运动合成——机器学习技术的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 暗黑破坏神3第三赛季被抛弃 大头模式来临
- 下一篇: 剑网3 PVP花间对战藏剑小技巧分享 花