技术干货 | 网易云信音视频通话产品中的音频效果功能
導(dǎo)讀:音頻效果器一般是指某些通過改變聲音信號來實現(xiàn)某些特殊效果的設(shè)備或者算法模塊。隨著直播、短視頻等應(yīng)用的爆發(fā),娛樂應(yīng)用中對音頻效果器的需求也受到越來越多的關(guān)注。
文|陳耀斌
網(wǎng)易智企云信音視頻開發(fā)專家
音頻效果器一般是指某些通過改變聲音信號來實現(xiàn)某些特殊效果的設(shè)備或者算法模塊。常見音頻效果器包括變速變調(diào),混響,濾波均衡,調(diào)制,振幅/壓限,延遲,方位調(diào)節(jié),還有一些失真或者非線性類的特殊處理。隨著直播、短視頻等應(yīng)用的爆發(fā),娛樂應(yīng)用中對音頻效果器的需求也受到越來越多的關(guān)注。
網(wǎng)易云信音視頻通話產(chǎn)品最新版本中集成了基于音頻效果器的變聲美聲系列功能,便于娛樂社交用戶開發(fā)相關(guān)應(yīng)用。下面我們就來簡要介紹這些音效功能。
音頻效果器進化過程
音頻效果器作為專業(yè)人士使用的工具歷史悠久,多數(shù)時間內(nèi)都只被小范圍人群接觸。得益于數(shù)字處理能力的提升和個人計算設(shè)備算力的提高,歷史上需要專門硬件或者大型處理設(shè)備進行的數(shù)字音頻處理模塊逐漸被通用平臺上運行的數(shù)字音效處理模塊替代。
?
以混響為例,早期曾經(jīng)使用混響室錄音實現(xiàn)混響效果,其后也曾經(jīng)出現(xiàn)機械式和模擬/數(shù)字電路式。目前常見的軟件內(nèi)集成混響模塊的形式出現(xiàn)時間很短。我們常見的混響功能是以下軟件界面:
Audition中的房間混響界面
但是歷史上他們曾經(jīng)是這樣:
誕生于1957年的第一臺平板混響器
也曾經(jīng)是這樣:
一臺帶混響功能的數(shù)字調(diào)音臺
隨著科技的不斷進步,體積龐大、價格昂貴并且功能單一的分立式效果器最終演變成單臺個人計算設(shè)備上集成多個音頻效果器并共同使用的形式,制作者可以方便的利用這些效果器盡情展示自己的能力。
常用音頻效果器簡介
音頻效果器的種類很多,同類效果器之中由于實現(xiàn)方法的不同,效果也有細微差別。常用的幾個或者說幾類效果器主要有均衡、混響、壓限、時間拉伸等,下面進行簡要介紹。
?1. 均衡?
均衡器的表現(xiàn)看起來很簡單,簡要描述就是調(diào)整需要調(diào)整頻帶的增益。均衡器的應(yīng)用場合很多,比如房間聲學(xué)缺陷調(diào)整,設(shè)備頻響補足,錄音中的人聲瑕疵修飾,聲音美化,播放時候的聽感偏好增強等,往往會和其它效果器一起使用。
?
常見均衡器從實現(xiàn)方式上來說,可以分為頻域?qū)崿F(xiàn)和時域?qū)崿F(xiàn)。一般頻域?qū)崿F(xiàn)有FFT均衡器,時域可按濾波器類型分為IIR和FIR型,主要差別在于對相位的影響不一樣,IIR型的均衡器一般用在音頻處理的后級。
軟件中的圖示均衡器界面
上圖所示均衡器的使用和效果非常直觀,在頻譜所對應(yīng)的位置直接拖動滑塊即可,滑塊位置即為均衡器調(diào)整指示。
三段式圖示均衡器示意圖
上圖即為一個最簡單的圖示均衡器的基本架構(gòu),增加更多的中間頻段控制即可獲得更加精細的處理效果,常見的除圖中的三段式均衡器外,還有10段,20段,30段等。
?2. 混響?
混響是一種物理現(xiàn)象,房間中從聲源發(fā)出的聲波能量,在傳播過程中由于不斷被壁面吸收而逐漸衰減。聲波在各方向來回反射,而又逐漸衰減的現(xiàn)象稱為室內(nèi)混響。混響器通過使用技術(shù)手段模擬真實世界中的混響效果。
?
這里要提一下回聲這個詞?;祉懞突芈暿莾蓚€極為相似的現(xiàn)象。時間上反射聲和直達聲連在一起無法分開是混響,可以明顯聽出來間斷是回聲。
混響和回聲的區(qū)別
混響效果的數(shù)字實現(xiàn)方式比較多,一般有卷積法、鏡像法、射線追蹤法、濾波器法等。音頻效果器中常用濾波器法,偶見卷積法。鏡像法和射線追蹤法等多見于理論研究中的聲場模擬。
?
一些傳統(tǒng)音頻巨頭如Sony等都出過采樣混響,所謂采樣混響全部是真實采樣得來的wave文件,可以存放與任何存儲器,采樣混響的IR都是錄音采樣得來。在想要獲得混響特征的地方,例如小禮堂、音樂廳舞臺上安置音箱,座位席中安置立體聲話筒,然后播放一系列測試信號,以脈沖信號為主,各種速度的全頻段正弦波連續(xù)掃描為輔,錄得聲音,然后經(jīng)過計算得到IR。用這種采樣方法得到的IR,是最真實也是效果最好的一種,對應(yīng)的缺點就是成本高和靈活性差。
?
目前常見的數(shù)字混響效果器以及軟件混響以濾波器類型較多。這類混響器雖然不是來自真實場景,優(yōu)點是卻可以通過改變各種參數(shù)來修改脈沖響應(yīng),靈活的控制混響效果。Feedback Delay Network (FDN) 混響器也是近年來比較流行的一種結(jié)構(gòu)。
?
以下是幾種經(jīng)典混響器結(jié)構(gòu)
Schroeder型混響器
Moorer型混響器結(jié)構(gòu)
FeedbackDelay Network (FDN) 混響器
?3. 時間尺度變換效果?
常見的時間尺度變換算法包括兩大類,分別是基于OLA類算法和Phase Vocoder,也有文獻提及結(jié)合時域和頻域特性進行處理,但是沒有在產(chǎn)品中確認有成熟應(yīng)用。從OLA(Overlap and Add)的名字上就可以看出是一類基于時域的算法,這一類中包括SOLA, SOLA-FS, TD-PSOLA, WSOLA等一大堆改進型算法,主要是利用語音的短時平穩(wěn)特性,在時間域上直接改變某一段時間內(nèi)聲音的長度并保持較好聽感的方法。
Phase Vocoder則是在頻域上對各個頻率成分分別進行插值,從而改變整體時間長度的算法,對瞬態(tài)聲音處理能力較弱。
?
時間尺度變換和重采樣結(jié)合可以較容易的實現(xiàn)變調(diào),并以此為基礎(chǔ),進一步結(jié)合其它模塊實現(xiàn)各種變聲算法。
?4. 壓限器?
壓限器是壓縮與限制器的簡稱,它是一種幅度處理算法模塊。很多壓限器會包括壓縮器、限制器、噪聲門、放大等單一模塊。壓縮器的處理可以理解為對超過某一閾值范圍的信號幅度進行壓縮,限制器是壓縮比例非常大的壓縮器。噪聲門可以對某一閾值以下的聲音進行壓制。
壓限器的聽感等。在一些情況下會作為功能性模塊使用,例如抑制過大聲音,一些情況下也會作為效果器,比如提高整體能量平均值,制作一些飽滿的聽感等。
網(wǎng)易云信中的音頻效果器
網(wǎng)易云信音視頻通話最新版本中包含了基于EQ、混響、時域尺度變換等一系列技術(shù)的變聲美聲模塊,在最新版本中可以方便快捷的進行調(diào)用,受到用戶的好評。我們后續(xù)還會繼續(xù)增加新的音頻效果,為用戶提供更多好玩好用的功能。
?作者介紹?
陳耀斌,網(wǎng)易智企云信音視頻開發(fā)專家。曾在松下電器研究開發(fā)(中國)有限公司,思科系統(tǒng)(中國)研究開發(fā)有限公司等企業(yè)從事音頻算法研發(fā)。主要項目經(jīng)歷包括聲傳播特性研究,聲場預(yù)測,廣播級音頻設(shè)備研發(fā),聲音分類,麥克風(fēng)陣列,實時通話系統(tǒng)音頻算法的研發(fā)和優(yōu)化。
總結(jié)
以上是生活随笔為你收集整理的技术干货 | 网易云信音视频通话产品中的音频效果功能的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 日报系列 2020年6月6日
- 下一篇: 最新,2023年6月CDGP设计及论述题