在大會重磅內容發布環節,由北京迪生數字娛樂科技股份有限公司(后簡稱:迪生數字)和青島東方影都影視產業管理有限公司(后簡稱:東方影都)共同打造的"迪生VICON-東方影都動作捕捉創作中心"進行了隆重的揭牌儀式。雙方將對東方影都影視虛擬化平臺中的動作捕捉系統進行設備、技術和制作流程升級,共同探索新質生產力的創新研發,引領行業技術革新。同時,雙方還將從科研、影視制作、人才培養及產學研等多方向展開全面合作,深度參與產業規范、標準的制定,構建產教才協同模式的創新實踐,為行業可持續發展貢獻力量。
當日下午,"迪生VICON-東方影都動作捕捉創作中心"在東方影都產業園5號攝影棚舉行盛大啟用儀式,眾多行業專家、學者以及行業精英紛紛到場共同見證這一重要時刻。
全棧升級—配置+技術+資源提供無限可能
"迪生VICON-東方影都動作捕捉創作中心"配備66臺高性能VICON VK26動作捕捉相機,可提供更高幀率、更廣視角、更高精度的動作捕捉技術服務,同時結合迪生數字卓越技術實力、豐富的行業經驗與東方影都頂尖的影視制作資源、國際化合作平臺,該創作中心不僅可為影視制作提供高質量的技術支持,更將開啟影視教育與產業實踐深度融合的新階段。
探索動作捕捉無限邊界—推動影視工業化進程
在啟用儀式活動中,迪生數字技術部總監韓沐坤先生、迪生數字內容運營部總監魏少雄先生,攜迪生數字技術團隊以其領先的技術基底和對技術的探索創新為現場觀眾帶來了一場無與倫比的技術盛宴。
——高保真數字人
韓沐坤先生的實時數字人替身展示環節,得益于Loki Emotion系統的高精度4D微表情實時捕捉技術和Vicon動捕系統強大的肢體和手指捕捉能力,為我們呈現活靈活現的數字人技術講解。
——影視級虛擬預演
影視虛擬預演技術流程展示環節,基于穩定且精準的Vicon動捕系統,完備的影視虛擬預演流程,通過手持式虛擬攝像機以及高速空中飛行的穿越機,將各種復雜需求的實時運鏡畫面呈現給觀眾。幫助創作者在創作過程中得到快速的創意反饋,優化拍攝方案,提升制作效率,為創作者提供更多創意實現的可能。
——高精度手指捕捉
小提琴實時表演捕捉環節,迪生技術團隊通過Vicon動捕系統對小提琴演員的肢體和手指進行了一比一的虛擬骨骼創建,并對三維掃描得到的百分百還原的琴身和琴弓進行了精確的實時跟蹤,在虛擬世界以驚艷的效果還原表演家手指和琴弦的每一個動態。
——復雜道具/生物的定制化捕捉
在定制化捕捉技術展示環節,迪生技術團隊利用Vicon動捕系統對通過三維掃描數字化建模后的小輪車進行復雜結構骨骼重建,同時結合Vicon自適應生成的同比例演員骨骼模型,實現極限運動項目中BMX小輪車與虛擬角色無穿幫的精準交互,在虛擬世界中真實還原了運動員與小輪車的復雜飛行姿態與每個齒輪轉動的精準細節。更值得一提的是,迪生動捕技術團隊將Vicon自定義骨骼技術在動物捕捉上發揮非凡,利用精準的捕捉數據與科學的后期骨骼重建、重定向技術呈現出對四足動物的各種真實運動捕捉。
"迪生VICON-東方影都動作捕捉創作中心"的建立,不僅標志著動作捕捉技術在影視制作領域的又一次飛躍,更預示著影視教育與產業實踐深度融合的新階段。未來,迪生數字與東方影都的戰略協作,不僅能夠為各大院校提供一個前沿、專業、實戰化的學習與交流平臺,更將激發出更多的創意火花,共同推動影視制作技術的不斷創新與發展。
本著對動捕產品的熱情和技術創新的執著,網易互娛動捕中心與迪生攜手并進,于2021年11月13日在廣州網易互娛動捕中心聯合完成了國內首次大型動捕技術全新挑戰 -- 25人同場實時動作捕捉,最終獲得驚人的視覺成果,成功打破了英國屢獲殊榮的著名視效公司Audiomotion Studios于2015年3月9日創造的19人同場實時動作捕捉的吉尼斯世界記錄。
一直以來,網易互娛動捕中心秉承對動畫品質和制作流程的極致追求,在此次技術挑戰中,對迪生技術團隊提出了更高要求。迪生則基于對動捕技術二十多年的深度探索,竭盡所能地將客戶的創意構想最大化落地。雙方發揮各自優勢共同完成此次挑戰,突破動捕技術的邊界。
技術難點:
由于此次技術挑戰面臨人數之多、場地之大、數據量之復雜,為此技術人員提前對技術、人員調配做了全面的應對和預備方案。
技術分享:
一、精準部署 -- 場地硬件調試環節
在網易30米×20米×6.75米的動捕空間里,由于捕捉25人身上反光標記點多達1450個,所以對130個Vicon Vantage16攝像機的部署十分考究,充分發揮每一臺攝像機的最大化作用。為此技術人員利用了Shogun軟件能根據場地大小合理布局鏡頭數量和方向,以及Vantage16攝像機1600萬超高像素和靈活可選鏡頭可視角度的優勢,對部分攝像機進行調整來優化攝像機的場地覆蓋,從而更好的適應這種人數較多的捕捉項目。
二、快速準備 -- 實時角色創建環節
技術人員采用兩套點位模板對演員進行嚴格的標準反光標記點位置粘貼,并為每位演員制作了獨一無二的標記簇,以增加演員識別度,減少由于演員身材比例相似而被系統識別錯誤的機率。同時Shogun高質量的骨骼解算能力也為演員的角色創建過程節省了大量時間,最終不到1小時,就完成了對25人從穿衣、貼點到角色創建的拍攝前準備。
三、高效錄制 -- 三方完美配合環節
在重要的動捕錄制環節中,要想在最短的時間獲得最高效的捕捉體驗,就需要演員、技術以及設備三方的完美配合,而這些配合的關鍵都在對演員、技術組、Vicon動捕系統發出挑戰。為此,需要做的是:首先技術組需提前布置捕捉的工作流程、呈現平臺以及便于導演和演員實時監看表演結果的回放支持;其次讓演員熟悉整個捕捉的內容、流程和注意事項;最后就是準備了多機同步實時解算方案,分散計算機的解算壓力,提高Shogun對數據的處理以及承載能力。
技術關鍵:
如何進行快速高效的動捕數據錄制,值得關注的三個關鍵點:
由于演員長時間的表演,可能會出現T-pose不標準、反復進出場地、在場地內坐躺休息等情況,但是Shogun快速骨骼識別的能力,幫助減少了因角色識別錯誤造成的時間損失。
25人同場實時動作捕捉勢必會出現嚴重的反光標記點遮擋,但Shogun強大的骨骼動力反向解算能力,保證了即使在做復雜的交互,如擁抱、握手、搭肩、跳躍等動作,或者在場地邊緣進行表演,甚至標記點錯位和丟失時,依然不會造成骨骼扭曲和消失。
錄制如此復雜且大體量的25人動捕表演數據,對軟件的數據處理能力也是一大考驗。但Shogun將所有數據實時寫入磁盤,并且可以對數據進行批量處理,為后期的優化工作提升了效率。
最終網易與迪生的專業技術團隊、敬業的演員以及Vicon動捕系統的完美配合,使得此次國內首次25人的同場實時動作捕捉挑戰成功。一直以來,網易作為業內敢于突破和挑戰的領頭人,為行業提供了非常有力的參考依據,同時迪生技術團隊的支持也為探索動捕邊界提供了堅實的保證。當然,這不僅只是一次挑戰而已,還是我們觸及動捕邊界的開始,未來,雙方還將基于動捕技術進行更廣泛深入的開發探索。
隨著虛擬制作、數字人等技術的逐步發展,動捕技術將發揮更大作用,它為虛擬與現實世界搭建了更加穩固的橋梁,配合制作人員的創意實現跨越式發展并對行業進行不斷革新,而這些也正是迪生所不斷期待和努力的。
數字人“小諍”是經15位工程師歷時三個月,利用實時高保真的數字技術打造而成,該技術的應用顛覆性的完成了原本需要四年左右時間才能培養出的真實航天員在空間站的播報任務。
肩負如此重任的“小諍”,在數字制作上也是精益求精。那么如何使“小諍”的動作更加流暢自然、表情真實細膩且能充分進行情感表達就成為該項目制作中的關鍵難題之一。
最終迪生的動作捕捉解決方案為“小諍”一一實現,首先在肢體動作如何更貼近真實人類動作上,采用了Vicon光學動作捕捉系統,其提供了1600萬像素的超高捕捉精度及120幀/秒的超高捕捉幀率,高效精準的還原了演員的肢體表演,Vicon Shogun軟件強大的算法為后續工作提供了優質的動捕數據,10指貼點的手指捕捉使精細的手部動作被準確記錄下來。
其次在臉部的細節展現方面,采用了Dynamixyz表情捕捉系統,無標記的捕捉方式讓演員可以更加自由的進行表演發揮,同時演員臉部的細微變化和眼球運動也都被精準捕捉,隨后Dynamixyz的表情分析模塊和表情重定位模塊的相互配合,為動畫師提供了高質量的面捕數據,配合騰訊NExT Studios制作團隊全新的制作管線和實時渲染技術,最終為“小諍”呈現出更加細膩且真實的表情。
在整個捕捉過程中,不得不說的是Vicon和Dynamixyz兩者的完美協同工作,Dynamixyz提供了可以被Vicon讀取的錄制觸發模塊,保證了錄制的同步以及數據的精準匹配,還提供了實時的音頻支持,為后期制作提供了有效的參考資料。最終迪生動作捕捉技術的應用不僅呈現了生動真實的“小諍”,而且還大大縮短了項目的制作周期。
在此次“小諍”的捕捉任務中,迪生有幸見證了全球第一位數字航天員的誕生,并為她賦予了鮮活的生命,今后的小諍也將為觀眾呈現更多有趣的知識,并且在數字技術的助力下“小諍”也將開展更多靈活多樣的媒體和公眾配合工作,迪生也將在數字人技術呈現方面提供更加高效和全面的技術服務。