時(shí)隔12年，《阿凡達(dá)》在國(guó)內(nèi)的重映依然火爆，經(jīng)典就是經(jīng)典!觀眾對(duì)經(jīng)典影片的熱情不減，期盼更多老影片能夠在“高清修復(fù)”后煥發(fā)新生。

基于華為云視頻云，華為視頻APP上線了“高清修復(fù)”欄目，讓觀眾可以重溫更多經(jīng)典影片。接下來(lái)就為你揭開(kāi)電影修復(fù)背后的“黑科技”。

電影修復(fù)要做什么

電影AI修復(fù)高成本多人力投入類似《泰坦尼克號(hào)》的修復(fù)不在此范疇，這就包括視頻修復(fù)和視頻增強(qiáng)。其中視頻修復(fù)就是要解決視頻因拍攝、壓縮、傳輸、存儲(chǔ)等產(chǎn)生的視頻畫(huà)質(zhì)問(wèn)題，如：劃痕、壓縮失真、噪點(diǎn)等;而視頻增強(qiáng)則是通過(guò)分辨率提升、幀率提高、動(dòng)態(tài)范圍擴(kuò)大、色域變廣讓視頻質(zhì)量得到進(jìn)一步提升。

電影修復(fù)的三大挑戰(zhàn)

目前電影AI修復(fù)面臨著三大挑戰(zhàn)：數(shù)據(jù)、算法、評(píng)價(jià)。

1.數(shù)據(jù)挑戰(zhàn)：盲修復(fù)任務(wù)的泛化能力提升

電影的失真往往包含了上述多個(gè)問(wèn)題，也就是混合失真，盲修復(fù)，就是在修復(fù)之前，并不清楚視頻中有哪些問(wèn)題，用的是泛化的算法，面臨難題是：如何提升泛化算法的自適應(yīng)性來(lái)應(yīng)對(duì)多種修復(fù)場(chǎng)景。

混合失真

強(qiáng)度不一失真

2.算法挑戰(zhàn)：如何同時(shí)讓圖像各個(gè)方面質(zhì)量得到提升

視頻增強(qiáng)就是讓視頻的圖像像素更高、光線更 清晰 、色彩更飽滿、顏色過(guò)度更順滑、運(yùn)動(dòng)畫(huà)面顯示更流暢。 這就要求多任務(wù)之間的優(yōu)化需要聯(lián)合增強(qiáng)。

3.評(píng)價(jià)挑戰(zhàn)：針對(duì)生成圖像的質(zhì)量評(píng)價(jià)

如下圖，圖1經(jīng)過(guò)一定處理以后，通過(guò)傳統(tǒng)評(píng)價(jià)算法如PSNR，SSIM，VMAF等得出的結(jié)論是原始圖片是圖2，主觀卻認(rèn)為是圖3。說(shuō)明傳統(tǒng)評(píng)價(jià)算法與主觀評(píng)價(jià)算法不一致。

華為云視頻云如何修復(fù)電影

華為云視頻云對(duì)《黃飛鴻》修復(fù)前后對(duì)比

1.混合失真修復(fù)

華為云視頻云對(duì)可能存在的失真問(wèn)題，先預(yù)判，然后輸入AI算法中，再構(gòu)建多任務(wù)混合失真修復(fù)模型，最后進(jìn)行修復(fù)，詳細(xì)說(shuō)來(lái)有三方面：

● 空域增強(qiáng)：視頻超分

超分就是指通過(guò)媒體處理技術(shù)將分辨率低的圖片變?yōu)榉直媛矢叩膱D片。

對(duì)大部分電影、電視劇，受眾往往更關(guān)注人臉及字幕，這兩者是重要的增強(qiáng)區(qū)域。華為云視頻云基于語(yǔ)義的自適應(yīng)超分算法，兼顧了網(wǎng)絡(luò)輕量化、穩(wěn)定性、綜合效果。

● 增強(qiáng)：插幀F(xiàn)RC

時(shí)域增強(qiáng)讓影片畫(huà)面與畫(huà)面之間的銜接更順滑與流暢。華為云視頻云通過(guò)改進(jìn)網(wǎng)絡(luò)，結(jié)合傳統(tǒng)方法，如參考時(shí)空域上相鄰的運(yùn)動(dòng)向量對(duì)光流進(jìn)行修正。

● 對(duì)比度與飽和度增強(qiáng)

現(xiàn)有基于深度學(xué)習(xí)的對(duì)比度和飽和度增強(qiáng)算法，由于數(shù)據(jù)的不足，難以達(dá)到好的效果。華為云視頻云通過(guò)尋找圖像在亮度和色彩空間的統(tǒng)計(jì)規(guī)律，作為網(wǎng)絡(luò)先驗(yàn)輸入，能明顯提升畫(huà)面的對(duì)比度與飽和度。