7月3日晚,超清修復(fù)版Beyond演唱會精選在抖音、西瓜視頻、鮮時光TV、今日頭條同步直播,超過1.4億人次收看。
隨著Beyond的歌聲響起,幾代歌迷的記憶被喚醒了。
1991年,29歲的黃家駒率領(lǐng)Beyond樂隊登上紅館,舉辦了連續(xù)5天的“生命接觸”演唱會。
31年來,經(jīng)典曲目《光輝歲月》《喜歡你》《不再猶豫》《灰色軌跡》《真的愛你》《再見理想》…….始終留在歌迷心里。
然而,當(dāng)初留下的影像卻存在模糊、褪色等多種瑕疵。
如今,我們通過畫質(zhì)和音質(zhì)兩個維度,重現(xiàn)了這場音樂盛宴。
接下來,就帶大家了解這次超清修復(fù)背后的技術(shù)亮點。
修復(fù)前后對比
畫質(zhì)修復(fù),再現(xiàn)Beyond風(fēng)采
1991年的演唱會中,Beyond四子的服裝造型、表情、對白,為人們津津樂道。
火山引擎多媒體實驗室通過畫質(zhì)修復(fù),再現(xiàn)了他們的風(fēng)采。
戴著戒指耳環(huán)的黃家駒
實驗室遇到的第一個難題,是畫面清晰度。
大家在看早期視頻時,經(jīng)常有一個感覺,就是條紋多、看不清楚。其中一個主要原因是,早期視頻大多采用“隔行掃描”方式處理和顯示。而目前主流的視頻,用的是“逐行掃描”。
逐行掃描比較容易理解,就是將每一幀從左到右、從上到下掃描完成后,輸出一張完整的畫面。這需要較大的帶寬來傳輸,在早期難以實現(xiàn)。
于是,人們用隔行掃描來解決:將畫面分為兩個場,先掃描奇數(shù)行像素,再掃描偶數(shù)行像素。憑借“視覺暫留效應(yīng)”,在快速播放時,兩個場互相補足,讓人眼看到完整的畫面。
但由于兩個場的畫面并非同時出現(xiàn),如果在新式設(shè)備上直接播放,就會產(chǎn)生閃爍和條紋。
這就需要“去交錯”:將隔行掃描訊號轉(zhuǎn)換為逐行掃描訊號。
傳統(tǒng)的去交錯方法只能輸入單張畫面,對運動的感知不強,難以處理運動場景的模糊情況。實驗室對此做了改進,設(shè)計了多圖輸入的神經(jīng)網(wǎng)絡(luò),可以恢復(fù)更多細(xì)節(jié)。
在處理完格式轉(zhuǎn)換問題之后,實驗室對視頻進行了“超分辨率重建”,該過程可以將視頻的分辨率檔位從低清處理至超高清,同時在缺少紋理的區(qū)域生成更豐富的信息。
對比可以看出,樂隊撥弄琴弦的身影,變得更加清晰。
彈奏吉他的黃貫中
在清晰度之外,影片還存在褪色、顏色異常、過亮過暗等問題。如何在解決褪色的同時保留演唱會的復(fù)古感,成為了修復(fù)的第二大難題。
實驗室先對畫質(zhì)進行檢測,并依據(jù)美學(xué)評分,在色調(diào)、亮度、對比度、飽和度方面,針對人像和背景區(qū)域,分別進行增強。
根據(jù)不同畫面的統(tǒng)計信息,算法還進行了自適應(yīng),使亮區(qū)與暗區(qū)都能得到最佳表現(xiàn)。
色彩亮度增強前后
第三個難題,是人像修復(fù)。
面部表情是歌手傳達情感的重要部分。然而,在演唱會的許多片段中,人臉都存在壓縮損傷、模糊、低分辨率等問題。
實驗室自研人像增強算法,基于深度學(xué)習(xí)模型,在消除整體模糊和壓縮損傷的同時,進一步做了五官重建,對眼睛、嘴巴、耳朵、皮膚甚至發(fā)絲都進行了細(xì)節(jié)重建和紋理添加,使人臉清晰度更高、更真實。
同時,針對演唱會多角度的人臉場景,包括正臉、側(cè)臉、俯視、仰視,以及被樂器或話筒遮擋的人臉,算法都做了穩(wěn)定性強的修復(fù)。
黃家駒在演唱歌曲
修復(fù)之后,原本模糊的人臉變得清晰,《光輝歲月》的激情、《灰色軌跡》的悲傷、《真的愛你》的溫暖,都更能走進歌迷內(nèi)心。
音質(zhì)修復(fù),聆聽31年前的震撼
這場流傳31年的演唱會,曾驚艷過無數(shù)歌迷。
然而,早期視頻存在各種音質(zhì)問題,在聽感上也不免打折扣?;鹕揭嬉纛l技術(shù)團隊通過AI音質(zhì)修復(fù)算法,彌補了這一遺憾。
音質(zhì)修復(fù)算法包含三個模塊,第一是降噪模塊。
降噪前的聲音攜帶著雜音是因為,早期演唱會收音條件有限,加上環(huán)境嘈雜,片子里就出現(xiàn)了許多噪聲。
然而,傳統(tǒng)降噪方案主要針對人聲,而音樂在經(jīng)過降噪算法處理后,會被不小心“誤傷”。
不過,我們的技術(shù)團隊實現(xiàn)了音樂和人聲的兼容,既可以保留這兩個部分,也能同時抑制噪聲。
如果還不夠直觀,可以看看下面的頻率分布圖:
降噪前
降噪后
降噪前,左邊無聲段噪聲明顯,右邊音樂段因為摻雜著噪聲,圖片看起來比較渾濁。而在降噪后,整張圖變得清晰了。
這意味著,噪聲不管在無聲段還是音樂段,都被消除了。
第二個模塊是超分模塊。這個詞聽起來有點拗口,其實原理不難理解。
聲音的本質(zhì)是振動,振動頻率的單位是赫茲(Hz)。我們聽到的聲音有高有低,就是因為頻率高低不同。如果音頻的高頻信息更豐富,人耳聽起來也會更明亮。
舉個例子,女生說話頻率比男生高,所以聲音也更亮。
早期演唱會的收音設(shè)備、錄制硬件或存儲壓縮條件有限,導(dǎo)致高頻區(qū)域的信息被移除,音質(zhì)受損。技術(shù)團隊將人聲部分進行頻帶擴展,恢復(fù)了部分高頻信息,提升了音質(zhì)。這就是“超分”。
下面的這段來自《午夜怨曲》,從頻率分布圖可以看出,超分處理后,一方面,原始音頻大于18kHz的高頻信息得到了一定程度的拓展補全;另一方面,10kHz和18kHz之間的高頻信息同樣得到了增強。在聽感上,處理后的聲音更加清晰明亮。
左為超分前,右為超分后
修復(fù)后,當(dāng)黃家駒唱起《光輝歲月》時,我們也更能感受到聲音里澎湃的激情。
聊完降噪、超分,還有響度模塊。
響度其實就是音量。同樣是因為收音,有時候相對于樂器聲和環(huán)境音,唱歌的聲音反而過小。響度模塊的任務(wù)就是,單獨提取出唱歌的部分進行調(diào)整,然后再和其他聲音混合,使整體聽感更加舒適。
通過響度修復(fù),記憶中的聲音,也更能縈繞耳畔。
31年過去,Beyond的歌聲始終陪伴著我們。修復(fù),是為了讓這份陪伴在歲月的流淌中變得更加光輝。
我們將持續(xù)行動,讓經(jīng)典煥發(fā)新生。