4月1日，張國榮生前最后一場、同時也被認為是堪稱“經(jīng)典”的演唱會《熱.情》超清修復版在TME live、QQ音樂、微信視頻號、騰訊視頻等平臺進行了全球首播。
這場超清修復版演唱會由騰訊音樂娛樂集團和環(huán)球音樂旗下廠牌寶麗金共同推出，騰訊云多媒體實驗室承擔了此次演唱會視頻的具體修復工作。
騰訊云多媒體實驗室隸屬于騰訊CSIG事業(yè)群（云與智慧產(chǎn)業(yè)事業(yè)群），2013年開始從事視頻處理，主要職責之一是向內(nèi)部各產(chǎn)品部門提供全自動的數(shù)字化修復技術(shù)，以低成本、高效率為特征，批量處理騰訊云等系統(tǒng)內(nèi)的以2D為主的海量視頻。
據(jù)介紹，騰訊云多媒體實驗室多從事的是電影、電視劇等畫面的修復，關(guān)于演唱會的修復是首次，其難度在于人像、場景會在演唱會燈光中迅速變化和切換，而騰訊云多媒體實驗室此前在這方面積累的數(shù)據(jù)偏少。
騰訊云多媒體實驗室總監(jiān)李松南對東西文娛表示，這恰好也給了騰訊云多媒體實驗室借修復這一演唱會，在修復技術(shù)的系統(tǒng)和算法方面雙升級的契機。
李松南表示，此次修復的目標是既保證做到修舊如舊，又要保留演唱會的藝術(shù)效果?；谘莩獣嬅鎴鼍岸?，因燈光、切換頻繁帶來的繁雜變化，騰訊云多媒體實驗室采用了“針對不同場景，來進行算法上的分類處理”這一措施，以在不斷試錯中找到最優(yōu)的解決方案，同時加上人工介入優(yōu)化算法參數(shù)的方式來進行。
對張國榮演唱會的修復，進一步豐富了騰訊云多媒體實驗室的修復品類。鑒于老片修復這一需求在時下趨于旺盛，騰訊云多媒體實驗室計劃進一步將自身技術(shù)與各需求方實現(xiàn)對接，用技術(shù)來實現(xiàn)助力經(jīng)典文化傳承的目標。
首次嘗試演唱會修復
自動化數(shù)字修復+人工介入結(jié)合
騰訊云多媒體多媒體實驗室專家研究員夏珍告訴東西文娛，騰訊云多媒體實驗室與寶麗金的此次合作，始于3月初。
“當時騰訊音樂娛樂集團聯(lián)系寶麗金唱片，雙方各自有需求，達成合作很快?！?/p>
夏珍介紹， 騰訊云多媒體實驗室自2013年成立以來，技術(shù)主攻的方向之一是全自動數(shù)字修復，但此前主要從事的是電影、電視劇等方面的修復，從事演唱會的修復是第一次。
“演唱會畫面不像電影、電視劇相對穩(wěn)定，后者在畫面色彩及藝術(shù)風格上更為統(tǒng)一，更適用于通過算法來自動修復。而演唱會的畫面、色彩、場景一直在變化和切換，此前騰訊云實驗室的算法模型，在演唱會畫面的處理數(shù)據(jù)上量不多，因而在基于算法來進行自動化修復時，會遇到困難?！毕恼涮寡?。
對此，騰訊云多媒體實驗室采用的是基于一整套自動處理的引擎基礎(chǔ)之上，根據(jù)演唱會畫面不同的場景，來進行算法上的分類處理，以在不斷試錯中找到最優(yōu)的解決方案，再加上人工介入優(yōu)化來完成。
夏珍舉例，比如對于演唱會中的大場景，騰訊云多媒體實驗室采用的是GAN的超分去做修復。在修復之前，這類大場景普遍比較模糊，而經(jīng)過GAN超分以后，清晰度和紋理，都得到了大大優(yōu)化。又比如演唱會中有很大的噪聲，技術(shù)團隊也會針對這一場景進行降噪。
據(jù)了解，純粹的算法修復大概一般只需要2天時間，但此次是演唱會，所以更多的時間是花在了不同算法的嘗試之上，以保證算法出來的結(jié)果與最終的效果之間有一個平衡。
這也關(guān)系著騰訊云實驗室就此次修復制定的總體目標：即修舊如舊，在保證畫質(zhì)等有所提升的同時，還能保留整場演唱會原有的藝術(shù)效果。
不過夏珍也表示，對于目前業(yè)內(nèi)并沒有一個標準能去界定修復的程度指標，“只能說這是目標或宗旨，然后在算法上盡量朝著這個目標去做調(diào)整，然后盡量按照肉眼可見的程度去做判斷。”
“比如，當時我們拿到的母帶分辨率只有720×480，分辨率不高。但經(jīng)過修復之后，相關(guān)畫質(zhì)確實得到了一個大幅度的改善，我們做到了接近4K的分辨率，分辨率大概提升了6倍，整個畫面的流暢度也是有做提升的，在幀率上面我們也做了一些優(yōu)化，包括張國榮臉部的一些細節(jié)，以及他的眼睛、眼神，還有整個演唱會當中他戴的假長發(fā)的發(fā)絲都比以前要好很多?！毕恼浔硎尽?/p>
借演唱會修復
實現(xiàn)原有技術(shù)系統(tǒng)+算法的雙重迭代
李松南表示，通過修復張國榮演唱會，騰訊云多媒體實驗室在技術(shù)上也經(jīng)過了比較大迭代，主要包括系統(tǒng)級別的迭代，和算法級別的迭代。
系統(tǒng)級別的迭代主要是在分析模塊的迭代上。據(jù)介紹，從修復流程上而言，一般分為四步。一是智能分析，主要是分析視頻的質(zhì)量，包括失真的類型和程度；二是修復，主要是用來修復視頻中的各種失真，比如老片中常出現(xiàn)的失真，像噪聲、隔行的失真等；三是增強，目標就是讓圖像內(nèi)容看上去更清晰和豐富；四是編碼，即在盡量少的碼率情況下去還原視頻的內(nèi)容。
分析模塊的迭代位于修復工作流程的第一步。李松南表示，由于騰訊云實驗室的算法此前基本上沒有接觸演唱會種類，然后各個行業(yè)視頻內(nèi)容差別很大，尤其是不同年代的視頻失真的類型和強度差別都很大，“這就需要去迭代分析模塊的適應(yīng)能力，以在盡量減少人工介入方式原則之下，分析模塊能去自適應(yīng)處理不同類型的視頻?！?/p>
算法上的迭代，主要指的是視頻超分和人臉修復。
李松南表示，此前騰訊云多媒體實驗室最開始做的主要是視頻的降噪、背景增強等工作，基于的以傳統(tǒng)的算法為主。
“之后，騰訊云上的許多模型雖然都是基于AI和深度學習的方式，但最開始還是基于卷積神經(jīng)網(wǎng)絡(luò)去做的，現(xiàn)在則是擴展到了用生成網(wǎng)絡(luò)去做，因為生成網(wǎng)絡(luò)可以生成很多細節(jié)?！崩钏赡媳硎尽?/p>
另外一個比較大的迭代是人臉修復。據(jù)介紹，此前行業(yè)的人臉修復主要是基于圖片來操作，騰訊云多媒體實驗室在視頻中的人臉修復被認為是行業(yè)的創(chuàng)新嘗試，同時借由這次演唱會開始基于視頻修復，實驗室也開始會在算法基礎(chǔ)上做一些人工算法參數(shù)的調(diào)整。
李松南介紹：“在這個研發(fā)的過程中嘗試了一些技術(shù)方法，積累了一些不錯的效果，成為了實驗室好的經(jīng)驗，當然未來還有前進的空間?！?/p>
老片修復市場需求日益增加
技術(shù)賦能文化
根據(jù)官方信息，騰訊云多媒體實驗室是騰訊CSIG事業(yè)群旗下技術(shù)導向的實驗室，工作主要有兩塊。一是會參與國際國內(nèi)多媒體相關(guān)的標準制定；二是會把日常積累的技術(shù)，對內(nèi)提供給騰訊云、騰訊PCG（騰訊平臺和內(nèi)容事業(yè)群）與WXG（騰訊微信事業(yè)群）、以及騰訊音樂娛樂集團等部門使用， 對外將技術(shù)輸出給客戶。
李松南介紹，目前市場中常見的“老片修復”一般有物理修復和數(shù)字修復兩類。物理修復指的是膠片的修復，包括去除上面的雜質(zhì)，對變形進行修復；而數(shù)字修復又分為全自動修復和人工修復兩種。
“目前，騰訊云多媒體實驗室主要集中在全自動的基于機器學習、深度學習這方面的修復，目標是希望通過比較少的人力介入，用算法自動化來減少后續(xù)人工修復的成本，提升相關(guān)效率。”李松南表示。
這一路徑選擇來源于騰訊云多媒體實驗室面對的需求?！拌b于騰訊云多媒體實驗室服務(wù)的用戶視頻非常海量，不可能針對每一條視頻都做精細化的離線處理，所以就需要不斷提升算法的自適應(yīng)能力，以達到省時增效的目的?！?/p>
李松南舉例，以一個2小時長的演唱會而言，傳統(tǒng)的人工修復可能需要一兩個月的時間。但從算法修復角度而言，2天就可以跑出結(jié)果。
據(jù)了解，目前老片修復的市場需求越來越大，很多電影廠、電視臺都積累了大量的老視頻留存，它們中有的計劃重新去上映，或者需要適配到現(xiàn)在的4K或8K電視上。另外包括一些演藝人員，也有修復較早演唱會的需求。
李松南表示，“老片修復是一個比較長遠的事情，可以一直做下去。原因在于現(xiàn)在觀眾看到的質(zhì)量還不錯的視頻，三五年之后質(zhì)量可能又不行了。同時觀看設(shè)備也在升級換代中，比如以后VR顯示器，沉浸式的顯示器等將利用的越來越多，展現(xiàn)方式的更新?lián)Q代又會加速老片修復技術(shù)需求的多樣化?！?/p>
李松南強調(diào)，目前視頻處理主要還是在2D的視頻上去做修復跟增強，在分辨率和幀率上，盡量在2D的條件下去提高用戶的沉浸感。“但從未來的方向來講，可能還會往全息的方式去發(fā)展，3D也好，包括3自由度，乃至最后的6自由度，實驗室在這方面是有投入的?！?/strong>
不過李松南也指出，有些聲音提出目前視頻修復能否用在更社會化的領(lǐng)域，比如優(yōu)化監(jiān)控視頻，打擊違法犯罪上，“雖然目前技術(shù)上能做到人臉修復、人臉加清上，但目前在實際的安防領(lǐng)域還難以應(yīng)用，不能從視頻判斷是不是那個人，畢竟是算法生成出來的，用作證據(jù)感覺不太合適。
李松南表示，目前實驗室作為一個技術(shù)部門，更多的業(yè)務(wù)目標是把實驗室超清沉浸感修復引擎的能力去跟更多的合作伙伴合作，在助力音視頻產(chǎn)業(yè)發(fā)展的同時，通過技術(shù)來賦能經(jīng)典文化傳承。
EW-Entertainment
近期主題 · 相關(guān)內(nèi)容
責任編輯：
