很快，遠(yuǎn)處的一個黑點(diǎn)變成了清晰的火車頭，形形色色的旅客們涌了上來。

火車減速，沿月臺緩緩?fù)Ｏ?，車廂門打開，奧古斯特·盧米埃爾夫人領(lǐng)著兩個穿白衣服的孩子走進(jìn)了車廂……緊接著，一個穿潔白冬裝的少女走了過來，無意間看到了攝像機(jī)，她流露出害羞的表情，悄悄的躲過了鏡頭……

沒有復(fù)雜的拍攝技巧，沒有豐富的電影語言，一個簡單的火車進(jìn)站的縱深鏡頭，真實呈現(xiàn)了19世紀(jì)90年代法國旅客候車時的情景。

這部《火車進(jìn)站》是由盧米埃爾兄弟執(zhí)導(dǎo)的世界上第一部電影，只有50s的黑白無聲影片在當(dāng)時那個年代給人們帶來了極強(qiáng)的新鮮感，如今經(jīng)過4K修復(fù)仍有一種濃厚的歷史韻味。

電影修復(fù)技術(shù)經(jīng)過20年的發(fā)展，使大量經(jīng)典、重要且珍貴的膠片電影擺脫了蒙塵的命運(yùn)?！逗Ｉ箱撉賻煛贰队啦幌У碾姴ā贰队⑿郾旧贰栋w正傳》等影史經(jīng)典以全新的面貌重映銀屏，帶回了一代人的青春記憶，也展現(xiàn)了老電影獨(dú)特的魅力。

《永不消失的電波》4k修復(fù)劇照

4K修復(fù)既能保留膠片電影特有的質(zhì)感，又能適應(yīng)電影的數(shù)字化，可以說是膠片時代過渡到數(shù)字時代的良好選擇。然而，這些經(jīng)典電影“舊貌換新顏”的背后卻是巨額的成本投入，電影修復(fù)一直都是一門大產(chǎn)業(yè)。

一部影片要想完成4K修復(fù)起碼需要兩三個月、甚至半年之久。而“周期長”意味著“成本高”，影片《決勝時刻》從修復(fù)、投資到上映大概花了上千萬，詹姆斯.卡梅隆的傳世之作3D版《泰坦尼克號》更是耗資6千多萬元。

除了高額資金成本，人力短缺也是4K修復(fù)的一大桎梏?！堕_國大典》中一段10分鐘的鏡頭片段動用了600個人，而且這些人不僅要對電影藝術(shù)有很深的了解，更要知曉膠片的物理性質(zhì)、化學(xué)性質(zhì)、軟件修復(fù)技術(shù)以及電影特效等專業(yè)知識。

對于浩如煙海的膠片電影而言，修復(fù)工作是一項與時間賽跑的“搶救工作”。

近日，西瓜視頻與火山引擎共同發(fā)布了“經(jīng)典中視頻4k修復(fù)計劃”，表示在未來一年內(nèi)，將與央視動漫和上海美術(shù)電影制片廠合作，共同利用4K技術(shù)修復(fù)《舒克與貝塔》《西游記》等 100 部家喻戶曉的經(jīng)典動畫。

哪吒傳奇（2003）、圍棋少年（2005）、圍棋少年（2）、大頭兒子和小頭爸爸（1995）、小鯉魚歷險記（2007）、我為歌狂（2001）、葫蘆兄弟（1986）、三個和尚、小蝌蚪找媽媽、 黑貓警長1-5集、九色鹿、舒克和貝塔1-13集、沒頭腦和不高興1-26集、邋遢大王奇遇記1-13集、西游記、魔方大廈1-10集、猴子撈月、大盜賊1-8集、葫蘆小金剛1-6集、南郭先生、曹沖稱象、大耳朵圖圖（第一季）、人參娃娃、鏡花緣1-4集、小鯉魚跳龍門、東郭先生、鷸蚌相爭、老狼請客、咕咚來了、嶗山道士、 半夜雞叫、十二生肖1-13集、小虎還鄉(xiāng)、驕傲的將軍、超級肥皂、濟(jì)公斗蟋蟀 、人參王國、阿凡提的故事1-13集、過猴山、大英雄狄青1-52集、狼來了等100部影片。（修復(fù)后的內(nèi)容，用戶可免費(fèi)在西瓜視頻觀看）

發(fā)布會上，針對當(dāng)前4K電影修復(fù)成本高、周期長、人力短缺等缺點(diǎn)，火山引擎多媒體實驗室研究員趙世杰給出了火山引擎“智能處理”解決方案。他表示，通過超分辨率、智能插幀、色彩增強(qiáng)、降噪等自研算法，AI能夠大幅提升老片的修復(fù)效率和質(zhì)量。

4k修復(fù)，還原藝術(shù)本色

發(fā)布會上，哪吒、葫蘆娃、黑貓警長，一個個經(jīng)典形象以4096×2160超高分辨率出現(xiàn)在大屏幕上，每個畫面細(xì)節(jié)都被完美呈現(xiàn)，光影層次也變得流暢，給現(xiàn)場觀眾帶來了不一樣的童年感受。

所謂電影修復(fù)，其實就是將年代久遠(yuǎn)的膠片電影重新拷貝到數(shù)字載體上，通過修復(fù)、降噪、補(bǔ)光、調(diào)色等技術(shù)處理，還原和優(yōu)化影片原貌的過程。

2k技術(shù)是早期電影修復(fù)的主要手段，用于清除影片雜質(zhì)、噪音，讓畫面恢復(fù)最初的視覺質(zhì)感；4k技術(shù)在分辨率上要求更高、更精細(xì)，除了清晰度和流暢度外，注重影片的原始色調(diào)和光影層次，為觀眾打造身臨其境的感覺。

2014年上映的《舞臺姐妹》是國內(nèi)首部4K修復(fù)電影，這部4K掃描、4K輸出的全彩修復(fù)影片令當(dāng)時的觀眾耳目一新。后來隨著修復(fù)技術(shù)的日臻完善，2019年上映的修復(fù)版《那人那山那狗》《滑鐵盧戰(zhàn)役》《決勝時刻》接連成為電影市場的現(xiàn)象級作品。從這一年開始，4K修復(fù)版電影開始走進(jìn)大眾的觀影生活，電影修復(fù)技術(shù)也正式由“2K時代”邁入“4K時代”。

盡管有了AI，4k電影修復(fù)仍是一項艱難且繁重的任務(wù)。趙世杰介紹，受到拍攝條件和膠片保存、使用過程中的損傷等因素影響，老電影普遍清晰度低、流暢度低、色彩失真、有瑕疵等不同程度的畫質(zhì)問題。

在過去，老電影主要采用膠片作為拍攝和存儲的介質(zhì)。早期膠片的材料是一種比紙更易燃的硝酸片基，后來發(fā)展出醋酸片基、滌綸片基取而代之，但不管是哪種片基，在常溫狀態(tài)下都很難保存，溫度、濕度以及搬運(yùn)移動、使用播映外部因素很容易造成膠片損傷。

圖源：北京商報

目前中國電影資料館保存了近3萬部膠片影片資料，這些膠片由于年代久遠(yuǎn)，保存條件不夠理想或者轉(zhuǎn)印、播放次數(shù)過多等原因，普遍存在著灰塵、污垢、霉斑、掉色、圖像抖動、劃痕、閃爍、噪聲、變色、模糊等各種問題。

而膠片質(zhì)量直接影響著人工修復(fù)的難度和時間成本。正常情況下，一位熟練的修復(fù)師一天最多可以修復(fù)200幀畫面，但如果膠片保存不佳，臟污、裂痕、變色等問題嚴(yán)重，修復(fù)師一天可能只能修復(fù)一秒（24幀），再者，如果畫面涉及夜戲、雨戲、煙霧戲、特效戲等復(fù)雜場景，修復(fù)周期更是成倍增加。在2019年上映的4K修復(fù)版《開國大典》中，一段拍攝于1945年和1945年之前的片段，全長只有10分鐘，占用了整個修復(fù)團(tuán)隊70%的時間。

由于膠片質(zhì)量和所用時間不同，修復(fù)的花費(fèi)也不盡相同，但一部90分鐘標(biāo)準(zhǔn)時長的4K影片修復(fù)通常需要百萬人民幣以上，且從物理修補(bǔ)，數(shù)字化轉(zhuǎn)換，再到聲畫合成、調(diào)色，整個修復(fù)過程難度不亞于制作一部新片。

其實拋開成本問題，電影修復(fù)最大的難題是如何保留影片藝術(shù)風(fēng)格和美感，4K修復(fù)版電影曾一度因為顛覆膠片的美感而引發(fā)爭議。一部老電影，經(jīng)過漫長的歲月侵蝕，早已變得暗淡模糊，通過AI技術(shù)把它修復(fù)得光鮮漂亮并不是難，難的是如何還原原來老電影的感覺。因此，如何賦予AI以“藝術(shù)修養(yǎng)”，是火山引擎所要攻克的核心問題。

四大智能算法，用“實力” 讓情懷落地

“不管是修復(fù)動畫片，還是修復(fù)老電影，歸根到底，都不只是為了提高它的清晰度，而是修復(fù)這些內(nèi)容背后的記憶，通過這些記憶在幾代人之間產(chǎn)生共鳴和火花，才是修復(fù)的價值所在?！蔽鞴弦曨l總裁任利鋒表示，經(jīng)典作品凝結(jié)了老藝術(shù)家的智慧與精神，需要我們真實地去還原和呈現(xiàn)。

在首批修復(fù)的動畫作品中，經(jīng)典水墨剪紙動畫《葫蘆兄弟》也在其中，這部根據(jù)民間文學(xué)《十兄弟》改編的極具神話色彩的動畫片，是70、80后的共同回憶。為了保留水墨和剪紙獨(dú)有的藝術(shù)感，趙世杰坦言，他們修復(fù)《葫蘆兄弟》時多次與制片方討論方案，經(jīng)過反復(fù)測試和調(diào)優(yōu)才達(dá)到理想效果。

在算法方面，為了防止“誤傷”水墨朦朧的藝術(shù)效果，他們在消除瑕疵算法上沒有設(shè)置很高的強(qiáng)度，而是“故意”漏掉一部分瑕疵交由人工輔助處理。對損傷嚴(yán)重的老片來說，徹底消除瑕疵需要投入大量人力?；鹕揭嫘迯?fù)數(shù)據(jù)顯示，算法能夠直接消除95%以上的瑕疵，余下的經(jīng)過人工標(biāo)注后再調(diào)整算法做二次優(yōu)化。

據(jù)了解，此次4K修復(fù)使用了火山引擎智能處理產(chǎn)品中的部分技術(shù)能力，通過超分辨率、智能插幀、智能降噪、色彩增強(qiáng)等算法增強(qiáng)視頻畫質(zhì)。其修復(fù)過程大致為，先利用視頻降噪算法做前期處理，再進(jìn)一步通過幾類不同的超分辨率算法增強(qiáng)將畫幅擴(kuò)大到4K分辨率，并生成更精細(xì)的細(xì)節(jié)，最后再通過插幀算法網(wǎng)絡(luò)和HDR重制算法，將一個原本充斥著噪聲和壓縮損傷問題的視頻增強(qiáng)為一個主觀畫質(zhì)舒適的4K 60幀HDR節(jié)目。

以下為各項功能及優(yōu)勢的簡單介紹：

智能超分：根據(jù)已有的圖像、視頻信息重構(gòu)缺失的細(xì)節(jié)，解決老片普遍存在的模糊、清晰度差、分辨率低的問題。

超分辨率 (Super-Resolution，簡稱超分）在視覺處理方面的廣泛應(yīng)用，使其有了非常成熟的解決方案?；鹕揭娴募夹g(shù)創(chuàng)新主要體現(xiàn)在時域建模和自適應(yīng)處理。前者可自動生成恢復(fù)出額外的細(xì)節(jié)，后者可對視頻或圖像進(jìn)行“區(qū)域分片”處理，以確保不同視頻/圖像區(qū)域的風(fēng)格和美感。

智能插幀：使用深度學(xué)習(xí)算法，將低幀率視頻通過插幀的方式變?yōu)楦邘室曨l，讓視頻變得更順滑流暢。

老動畫片容易出現(xiàn)卡頓、流暢度不佳的現(xiàn)象，主要是因為影片繪畫幀數(shù)少。智能插幀技術(shù)的功效就是通過分析前后幀的動態(tài)和內(nèi)容，生成中間幀，進(jìn)而提升視頻幀率和流暢度。關(guān)于動畫紋理少的問題，現(xiàn)階段的解決方案難以判斷前后幀對應(yīng)的運(yùn)動塊，針對這個問題，火山引擎采用塊光流進(jìn)行優(yōu)化，提高了插幀的精準(zhǔn)度。

視頻降噪：消除膠片存放以及轉(zhuǎn)錄過程中帶來的各種噪點(diǎn)以及閃爍等缺陷。

常見的視頻降噪算法在消除噪聲的同時，容易對紋理區(qū)域有破壞，火山引擎方案通過對紋理、噪聲的智能分析，在去噪的同時盡可能地保留視頻原有紋理不受影響。

劃痕修復(fù)：對視頻中膠片的劃痕損傷進(jìn)行識別和修復(fù)。

對于常見的膠片劃痕，考慮到修復(fù)難度和效果，火山引擎采用了“算法+人工”相結(jié)合的解決方案。從現(xiàn)有研究來看，如果使用純AI技術(shù)進(jìn)行修復(fù)，密集且微小的劃痕很難被全部發(fā)現(xiàn)，也容易出現(xiàn)“誤傷”的情況；相對來說，人工修復(fù)的效果會更好，但它需要更多的時間和資金，效率反而降低了?；鹕揭娴姆桨甘窍仁褂盟惴ǔ醪叫迯?fù)小劃痕，人工標(biāo)注算法再“查漏補(bǔ)缺”，修補(bǔ)大的劃痕，實驗證明，算法對通過人工標(biāo)注的結(jié)果進(jìn)行再修復(fù)，所達(dá)到的效率和效果都是最優(yōu)的，而這一點(diǎn)也恰好體現(xiàn)了火山引擎“雖有先進(jìn)音視頻技術(shù)，卻不唯技術(shù)”的理念。

鋸齒修復(fù)：針對影片下采樣時出現(xiàn)的鋸齒線條和頻譜混淆，有針對性設(shè)計了一個獨(dú)立算法。

鋸齒修復(fù)所要解決的關(guān)鍵問題是鋸齒定位。與劃痕不同，并不是每一張圖像都會出現(xiàn)鋸齒線條。火山引擎多媒體實驗室團(tuán)隊經(jīng)過多次嘗試和實驗，發(fā)現(xiàn)鋸齒效應(yīng)通常是由數(shù)字化掃描不精準(zhǔn)引入的，目前業(yè)界的修復(fù)算法和工具都沒有相對應(yīng)的解決方案。所以火山引擎針對性地設(shè)計了一套優(yōu)化算法，使鋸齒的修復(fù)效果得到了很大的改善。

SDR To HDR：針對質(zhì)量較低的視頻，從色彩、對比度、細(xì)節(jié)及畫面層次等維度進(jìn)行分析，對低質(zhì)問題進(jìn)行自適應(yīng)處理，提高源視頻的質(zhì)量和轉(zhuǎn)碼后視頻質(zhì)量。

無論是產(chǎn)業(yè)界，還是學(xué)術(shù)界，從現(xiàn)有的SDR視頻中恢復(fù)更高動態(tài)范圍和色彩廣度的HDR視頻的需求一直在持續(xù)增長。一般來講，如果標(biāo)準(zhǔn)動態(tài)范圍沒有太大提升，很可能就會出現(xiàn)畫面像素過多，質(zhì)量不高，且無法呈現(xiàn)更豐富的層次和細(xì)節(jié)等影響。與SDR相比，高動態(tài)范圍（High Dynamic Range，HDR）可以提供更豐富的細(xì)節(jié)，更寬廣的色域和更自然的色彩過渡，呈現(xiàn)更高品質(zhì)的的圖像。

火山引擎，與生俱來的視頻能力

火山引擎是字節(jié)跳動旗下的企業(yè)級技術(shù)服務(wù)平臺，圍繞音視頻技術(shù)搭建了視頻點(diǎn)播、veImageX、企業(yè)直播、視頻直播、實時音視頻、云編輯、智能處理于一體的視頻云產(chǎn)品矩陣。視頻云屬于火山引擎中臺層面的服務(wù)，其最大的優(yōu)勢是擁有抖音、西瓜視頻、今日頭條等實戰(zhàn)場地，能夠在豐富的場景下不斷迭代、打磨音視頻能力。

火山引擎視頻云產(chǎn)品負(fù)責(zé)人Keith此前在接受媒體采訪時表示，“我們會在抖音和西瓜場景中，不斷去探索視頻播放體驗的極致，同時解決這個過程中出現(xiàn)的大規(guī)模問題。而這些問題的解決方案，我們會把它沉淀成方法論，然后融合到火山引擎視頻云的產(chǎn)品中去?！?/p>

所有音視頻產(chǎn)品發(fā)展到一定規(guī)模后，其突破點(diǎn)一定是“細(xì)節(jié)”的處理，早在2016年，字節(jié)跳動就上線了大規(guī)模測試平臺A/B測試，為字節(jié)跳動算法和產(chǎn)品提供檢驗和優(yōu)化的平臺。

A/B測試連接抖音、西瓜視頻等全線業(yè)務(wù)后，每天開展上萬場測試，單日新增實驗數(shù)量最高超過了1500個，覆蓋500多個大大小小的業(yè)務(wù)。此次4K修復(fù)技術(shù)用到的智能插幀、智能超分、智能降噪等算法已經(jīng)過了A/B測試及多平臺多場景的千錘百煉。

標(biāo)準(zhǔn)被譽(yù)為高科技產(chǎn)業(yè)王冠上的寶石。誰在標(biāo)準(zhǔn)中擁有更多專利，在產(chǎn)業(yè)中就擁有更大的話語權(quán)與主動權(quán)。正因為如此，各大科技巨頭都高度重視標(biāo)準(zhǔn)制定，將相關(guān)專利技術(shù)視為核心資產(chǎn)。

在國際標(biāo)準(zhǔn)H.266/VVC貢獻(xiàn)者排行榜上，字節(jié)跳動排名第三，僅次于高通和華為。

作為一家沒有參與上一代視頻編解碼標(biāo)準(zhǔn)開發(fā)的互聯(lián)網(wǎng)公司，字節(jié)跳動實現(xiàn)了從標(biāo)準(zhǔn)跟隨者到制定者的跨越。而在新一代視頻編解碼標(biāo)準(zhǔn)制定過程中，字節(jié)跳動發(fā)起的100多項技術(shù)提案獲得H.266/VVC標(biāo)準(zhǔn)采納，形成一系列原創(chuàng)性技術(shù)。

除了標(biāo)準(zhǔn)化工作的重要貢獻(xiàn)之外，火山引擎多媒體實驗室團(tuán)隊在H.266/VVC商業(yè)化落地方向也做出了積極的貢獻(xiàn)。

早在2019年6月，火山引擎已經(jīng)完成滿足點(diǎn)播場景應(yīng)用的自研編碼器BVC第一個版本，該版本與x265編碼器相比，在相同計算資源下，針對大量的1080p高清視頻，BVC編碼器可以將平均碼率下降33%。之后，BVC經(jīng)過不斷迭代，性能又有大幅提升。除了自研編碼器，自研解碼器也已經(jīng)配套完成，在高端手機(jī)上可以做到實時流暢播放高清和超高清視頻。

H.266標(biāo)準(zhǔn)之后，火山引擎對視頻編碼技術(shù)仍在進(jìn)一步探索，目前側(cè)重的兩個方向，一個是基于新興深度學(xué)習(xí)的視頻壓縮（也包括深度學(xué)習(xí)和傳統(tǒng)混合視頻編碼框架的結(jié)合），另外一個是基于傳統(tǒng)混合視頻編碼框架技術(shù)的繼續(xù)挖掘。盡管還只是剛剛開始，但已經(jīng)取得了突破性的進(jìn)展：

基于深度學(xué)習(xí)的自適應(yīng)濾波器DAM算法，獲取15%以上的性能增益；

基于混合視頻編碼框架融合多項技術(shù)，獲得超過13%以上的性能增益。

其中，自適應(yīng)濾波器(DAM)算法，主干是基于殘差單元堆疊的深度卷積網(wǎng)絡(luò)，輔以自適應(yīng)模型選擇以最大程度適應(yīng)特性復(fù)雜的自然視頻。所謂殘差單元是指通過引入跳層連接，允許網(wǎng)絡(luò)把注意力放在變化的殘差上，這與視頻圖像幀之間的殘差有異曲同工之妙，比如武林高手決斗，“劍光一閃”，每一幀圖像絕大部分內(nèi)容是相同的，閃動的劍光形成殘差，這也是視頻編碼壓縮的重點(diǎn)關(guān)注對象。

實驗結(jié)果顯示，相比H.266/VVC最新標(biāo)準(zhǔn)，字節(jié)跳動的DAM解決方案能夠為視頻編碼性能帶來顯著提升，亮度信號Y可實現(xiàn)10.28%的性能增益，兩個色度信號U和V，性能增益也分別達(dá)到28.22%和27.97%，在視頻質(zhì)量有所優(yōu)化的同時，至少還可縮小13%的數(shù)據(jù)體積。

火山引擎多媒體實驗室的各項研究成果，也將通過BVC編碼器的升級換代投入應(yīng)用，包括抖音、西瓜視頻、今日頭條等 App的視頻類內(nèi)容處理，以及云計算、云游戲等基礎(chǔ)架構(gòu)領(lǐng)域，為用戶帶來更高清畫質(zhì)、更流暢的視頻體驗。

小結(jié)

火山引擎定位為字節(jié)跳動對外提供技術(shù)服務(wù)的窗口，從統(tǒng)一的基礎(chǔ)服務(wù)、技術(shù)中臺、智能應(yīng)用和行業(yè)解決方案四個方向面對B端提供技術(shù)支撐。在過去九年，字節(jié)跳動沉淀了大量增長方法、工具和技術(shù)能力，這些能力在火山引擎上有機(jī)地組合成為了 60 多款單品，被統(tǒng)稱為『智能增長技術(shù)』。如今數(shù)字化轉(zhuǎn)型和企業(yè)服務(wù)行業(yè)迅猛發(fā)展，火山引擎『智能增長技術(shù)』亟需走向市場，接受打磨和考驗。

火山引擎啟動大規(guī)模修復(fù)經(jīng)典4k中視頻，擴(kuò)大了其音視頻能力的應(yīng)用范圍，同時也為推動中國文化遺產(chǎn)保護(hù)做出了貢獻(xiàn)。老電影修復(fù)是一項與時間賽跑的“搶救工作”，很多珍貴、重要的經(jīng)典影片遺產(chǎn)再不修復(fù)就毀了。2006年，中國電影資料館牽頭啟動“電影檔案影片數(shù)字化修護(hù)工程”項目，率先開始了發(fā)現(xiàn)、收集、拯救、保存中國膠片電影的工作，截止目前已經(jīng)修復(fù)了500多部2K以上的國產(chǎn)電影，但要想贏得這場“競賽”，提升AI技術(shù)能力終究是根本解決之道。（來源于：雷鋒網(wǎng)）