近期,《時(shí)代周刊》新刊封面首度出現(xiàn)了“虛擬人”——美國民權(quán)領(lǐng)袖馬丁·路德·金的“數(shù)字孿生兄弟”,封面上如同真人般寫實(shí)的臉龐,是由好萊塢頂級(jí)視效公司數(shù)字王國聯(lián)合藝術(shù)家 Hank Willis Thomas通過虛擬人技術(shù)創(chuàng)作而成。

準(zhǔn)備好接受一個(gè)數(shù)字世界嗎?

數(shù)字王國復(fù)刻馬丁·路德·金

據(jù)悉,本次沉浸式體驗(yàn)游行計(jì)劃( The March Project ),通過虛擬人像技術(shù)帶領(lǐng)觀眾"穿越"到1963年8月28日的華盛頓林肯紀(jì)念堂,聆聽那場(chǎng)經(jīng)典的演講。

數(shù)字王國前期收集了大量馬丁·路德·金相關(guān)的視頻和圖片,提取他在演講當(dāng)天不同角度的姿態(tài)和光影體現(xiàn)。后期啟用了攝影測(cè)量(從照片中測(cè)量)、運(yùn)動(dòng)捕捉、人工智能和3D渲染等技術(shù)制作而成。

在動(dòng)作捕捉方面,數(shù)字王國在馬丁·路德·金數(shù)字替身的臉上畫了 190個(gè)標(biāo)記點(diǎn),并給他戴上一個(gè)每秒60幀運(yùn)行的頭戴式攝像機(jī),再給數(shù)字替身穿上動(dòng)作捕捉服,開始演繹。隨后對(duì)數(shù)字替身進(jìn)行面部和肢體的捕捉,再將膚色、體型、動(dòng)作等信息映射到馬丁·路德·金已有的數(shù)字肖像上。七位動(dòng)畫師耗時(shí)近三個(gè)月,完善了馬丁·路德·金演講時(shí)的動(dòng)作,得益于基于龐大數(shù)據(jù)收集的機(jī)器學(xué)習(xí),動(dòng)畫師們只需在微小的面部抽動(dòng)、無意識(shí)的眨眼等細(xì)節(jié)上微調(diào)和完善,以不斷接近真實(shí)。

有自己“靈魂”的三星“虛擬人”NEON

在CES 2020上,韓國三星STAR Labs正式展出了人工智人(Artificial Human)項(xiàng)目NEON。與一般“虛擬人”不同的是,它不會(huì)是百科般的語音助手,而能像真人一樣快速響應(yīng)對(duì)話,做出真實(shí)的表情神態(tài)。

效果是怎樣的呢?例如微笑這樣的表情,NEON不會(huì)每次微笑模樣都一模一樣。

因?yàn)樗梢詷?gòu)建機(jī)器學(xué)習(xí)模型,在對(duì)人物原始聲音、表情等數(shù)據(jù)進(jìn)行捕捉并學(xué)習(xí)之后,形成像人腦一樣的長期記憶。

NEON之所以能像人一樣擁有不斷進(jìn)化的學(xué)習(xí)能力,背后由兩大核心技術(shù)Core R3、SPECTRA支撐。Core R3軟件引擎,代表真實(shí)Reality、實(shí)時(shí)Realtime和響應(yīng)Responsive。它能夠自主創(chuàng)建與原始捕獲數(shù)據(jù)完全不同的新表情、動(dòng)作和對(duì)話,甚至可以使用多種語言進(jìn)行交流,如漢語、英語日語、印地語等,且延遲時(shí)間不到幾毫秒。三星希望通過NEON.Life項(xiàng)目,打造出一款A(yù)I虛擬人,并嵌入到各種應(yīng)用中。該項(xiàng)目負(fù)責(zé)人Pranav Mistry在推特上發(fā)布了一些圖片,展示了虛擬人的動(dòng)作。

AI快速生成以假亂真的“虛擬數(shù)字人”

在劉慈欣的小說《帶上她的眼睛》中,主人公休假去旅游,上級(jí)要求他帶上“一雙眼睛”,當(dāng)你戴上它時(shí),你所看到的一切被遠(yuǎn)方的人接收到,于是他就能看到你所看到的一切,就象你帶著他的眼睛一樣。

進(jìn)入5G時(shí)代,設(shè)備成本的降低、傳輸速度的提升、深度學(xué)習(xí)等算法的優(yōu)化等,讓很多科幻的場(chǎng)景成為現(xiàn)實(shí),例如《頭號(hào)玩家》中的“虛擬數(shù)字人”走近日常生活,在娛樂、文旅、教育等消費(fèi)場(chǎng)景中發(fā)揮意想不到的價(jià)值:不用去健身房辦理私教課,不用去培訓(xùn)班上一對(duì)多課程,在家實(shí)現(xiàn)一對(duì)一的“真人”教學(xué);推動(dòng)營銷升級(jí),消費(fèi)者與明星“真人”親密互動(dòng)……

這樣以假亂真的虛擬數(shù)字人背后涉及三大核心技術(shù):光場(chǎng)(Light stage )采集與三維建模、AI算法驅(qū)動(dòng)表情動(dòng)作和基于深度學(xué)習(xí)的光線追蹤算法。

1.光場(chǎng)(Light stage?)采集與三維建模

二維人臉技術(shù)發(fā)展了幾十年雖然已經(jīng)比較成熟,但是人臉關(guān)鍵點(diǎn)檢測(cè)在各種大角度、多表情、復(fù)雜光照、面部遮擋等情況下,要實(shí)現(xiàn)實(shí)時(shí)高精度檢測(cè)重建仍比較困難。而高精度深度相機(jī)的出現(xiàn)極大的推動(dòng)了三維重建技術(shù)的發(fā)展。由上百個(gè)深度相機(jī)組成的全方位相機(jī)陣列,模擬人眼的各個(gè)視點(diǎn)方向?qū)φ嫒?60度環(huán)拍攝影,瞬間實(shí)時(shí)采集真人的光場(chǎng)信息。國內(nèi)AI企業(yè)疊境數(shù)字自主研發(fā)的這套全方位光場(chǎng)采集系統(tǒng)還使用了深度學(xué)習(xí)、語義理解等人工智能技術(shù),通過機(jī)器學(xué)習(xí)來模擬人眼的視覺感知能力,最終實(shí)現(xiàn)人眼成像機(jī)理般的清晰、完整、準(zhǔn)確的重建三維模型。

該公司相關(guān)負(fù)責(zé)人表示,在光場(chǎng)(Light stage )三維建模出世之前,因固定光源環(huán)境下拍攝真人造成的人物三維模型失真問題一直是行業(yè)的技術(shù)難點(diǎn)。而在光場(chǎng)(Light stage )的高速可變光源拍攝環(huán)境下,真人三維模型真實(shí)度較之以前有大幅提提升。

2.AI算法驅(qū)動(dòng)表情動(dòng)作

數(shù)字人每做一個(gè)表情動(dòng)作,模型師需要對(duì)模型進(jìn)行拓?fù)?、綁定和?qū)動(dòng)。對(duì)三維人物模型來說,越高質(zhì)量的數(shù)字人越需要大量的綁定工作,特別是人臉部位的骨骼和肌肉細(xì)微變化,可形成上千種表情。

怎么讓“虛擬數(shù)字人”的表情如真人般更豐富、細(xì)膩、真實(shí)?疊境通過深度攝像機(jī)光場(chǎng)采集三維人臉表情和動(dòng)作數(shù)據(jù),針對(duì)不同人,采集多種表情。利用這些數(shù)據(jù)積累,再借助AI算法和一段時(shí)間的深度學(xué)習(xí)訓(xùn)練人臉表情,最終的訓(xùn)練結(jié)果是虛擬數(shù)字人在嘴角眼部的張合幅度、眼神的細(xì)微變化、肌肉的輕微顫抖等表情幾乎與真人接近一致。

3.基于深度學(xué)習(xí)的光線追蹤算法

一般電影和影視節(jié)目的制作周期比較長,采用常規(guī)渲染技術(shù)需較長的時(shí)間預(yù)覽渲染后的特效。怎么大幅提升渲染速度、降低時(shí)間成本?基于深度學(xué)習(xí)的光線追蹤算法,改變了三維人物模型的生成方式,使三維人物模型的生成方式更加實(shí)時(shí)智能,生成的模型也更加自然真實(shí)。

我們用常規(guī)渲染技術(shù)和基于深度學(xué)習(xí)的光線追蹤算法分別生成的“人物模型”對(duì)比圖來看下效果,就明白為什么基于深度學(xué)習(xí)的光線追蹤算法讓虛擬數(shù)字人更逼真?

基于常規(guī)渲染技術(shù)的數(shù)字人

基于深度學(xué)習(xí)的光線追蹤算法的數(shù)字人

在實(shí)時(shí)渲染中虛擬人的皮膚渲染一直是個(gè)極大的技術(shù)挑戰(zhàn)。皮膚具有許多精細(xì)的視覺特征,包括紋理、毛孔、毛囊、斑點(diǎn)等細(xì)節(jié)的模擬,真實(shí)還原人體皮膚質(zhì)地是一個(gè)較大的挑戰(zhàn)?；谏疃葘W(xué)習(xí)的光線追蹤算法,能夠?qū)崟r(shí)模擬大量離線光線跟蹤采樣的渲染效果,保證皮膚渲染效果中的陰影過渡自然,實(shí)現(xiàn)逼近真人膚質(zhì)的渲染效果。

莎士比亞在《仲夏夜之夢(mèng)》中曾經(jīng)寫道:想象的東西往往是虛無縹緲的,但在詩人的筆下,它們可以有形、有固有的實(shí)質(zhì)。在5G時(shí)代,視覺呈現(xiàn)的技術(shù)革新從未止步,它以全所未有的方式一次次打破原有的感知,為用戶打造無與倫比的體驗(yàn)。這次,三維智能視覺的虛擬數(shù)字人正向我們走來……