Wwise + GME游戏语音方案:解锁更多语音玩法,让玩家“声临其境”
導語
游戲多媒體引擎(Game Multimedia Engine,GME)作為游戲語音的PaaS服務,致力于提升游戲語音的質量,簡化語音接入的流程,創造更多的語音玩法。GME基于Wwise引擎推出了獨有的解決方案,目前是Wwise官方支持的唯一語音合作伙伴,本文將對Wwise + GME方案做簡單的介紹,看一看那些被解鎖的游戲語音新玩法。
"如果你的團隊正在使用Wwise音頻組件,一定要使用GME for Wwise這套解決方案,它非常完美地解決了我們在即時語音功能上遇到的所有問題。"—— from 《香腸派對》項目團隊
當你玩吃雞時,右側突然出現窸窸窣窣的腳步聲,伴隨一聲槍響在右耳邊炸開,身旁的隊友瞬間倒地,隊友的驚呼中還帶著被擊中后痛苦的顫音....
當你進入狼人殺房間,映入眼簾的是夜晚的草原篝火背景,玩家圍繞著篝火席地而坐,耳機里隱約傳來左邊玩家的竊竊私語,主持人的講述里還夾雜著遠處的狼嚎,閉眼,睜眼,今晚又有人被毒...
這些游戲里語音與游戲場景完美融合的效果,能為游戲玩家提供身臨其境的沉浸式游戲體驗。上一篇《來了!GME沉浸式方案助力游戲實現Metaverse的無限可能》文章中,我們提到Metaverse游戲核心在于真實而沉浸的互動體驗。
而在實際操作中,游戲語音如何深度融合游戲場景,為玩家最大程度“還原臨場感”卻面臨諸多困難。為了解決這些行業難題,提升游戲語音體驗,作為頂級互動音頻引擎Wwise唯一官方授權的語音插件,GME和Wwise的研發團隊聯合推出了獨家語音解決方案。
Game Multimedia Engine(GME)游戲多媒體引擎是針對游戲場景定制的一站式語音解決方案,提供了包括多人實時語音、語音消息、語音轉文本以及語音內容審核等功能,開發者需要通過API調用接入GME SDK,從而在游戲中實現語音功能。
傳統的獨立語音SDK方案接入過程是獨立于游戲音效設計的,而基于Wwise音頻引擎開發的游戲,GME提供了專門的解決方案,通過使用相應的GME語音插件,游戲開發者可以將語音的接入融入到游戲音效的設計過程,Wwise強大的音頻處理能力和音頻控制能力都可以運用到語音上,在提升語音音質的同時,為游戲音效提供了更加豐富的語音玩法設計空間。其基本流程框架如下:
由上圖可以看出,GME的幾個插件把本地的待發送語音(麥克風錄制的本地玩家語音)和從網絡接收到的語音(待本地播放的其它隊友語音)全部送到了Wwise的處理管線中,GME語音流被抽象成了Wwise的基本聲音源進行處理,正是基于這樣的新穎設計,Wwise-GME相比于傳統的獨立語音SDK具有獨有的優勢。
語音與游戲音效統一設計
在Wwise工程中,GME語音音頻流無縫接入Wwise音頻管線,接入語音的過程和Wwise的音效設計過程深度融合,避免了單獨接入一套語音SDK可能引起的音頻沖突。在游戲程序端,對GME語音發送和接收的操作抽象成一個個Wwise事件的觸發,這些操作和Wwise的標準開發流程體驗一致,比以前的API調用的接入方式更直接,更形象。
完美解決行業內痛點
對于傳統的獨立語音SDK方案,語音開麥以后的游戲音效質量下降、音量跳變以及聲音發干都曾是行業痛點,開麥后整個游戲的音效音質都進入“電話音質”級別(低采樣率的單聲道信號),極大的影響了玩家的游戲體驗。Wwise-GME有效解決了手游開麥以后音量類型切換導致的游戲音效質量下降的問題,大幅提升了開麥后語音的音質,在暢快聊天的同時仍然可以保持原有音效做到聽聲辯位。
強大的設計能力,帶來無限的玩法創意
Wwise-GME方案給游戲語音玩法帶來非常大的設計空間,由于語音流全部送入Wwise總線,可將Wwise上豐富的音效處理和控制運用到語音,并且能定制化處理每一路語音流,從而增加游戲過程中語音的沉浸感和趣味感,讓玩家交流“不出戲”。
對于每一名玩家來說,語音聊天主要涉及兩條音頻流鏈路,一條是上行鏈路,即本地麥克風采集自己的說話聲,通過服務器分發到遠端隊友,另一條是下行鏈路,即從服務器接收所有隊友的語音,混音后經過本地的播放設備播放出來。
上行鏈路
玩家本地的聊天語音流會經過GME采集插件發送給Wwise引擎,基于Wwise提供的豐富的音效處理能力,游戲端可以根據玩家所處的實際環境和需求來對語音流進行處理,比如質地,混響和變聲處理等,試想現在玩家的角色是在教堂中,則處理后的帶有教堂混響的語音流會通過GME發送插件發送到服務器中,進而發送到遠端的玩家。同樣,如果游戲設計了變聲玩法,經過實時變聲算法處理的語音流會發送到遠端的玩家。
上行鏈路處理流程
下行鏈路
相比上行鏈路的單路本地語音流,下行鏈路通常會收到所有隊友的N路語音流,這些語音流會通過GME接收插件傳給Wwise引擎,同樣游戲端可以根據每一路接收語音對應的玩家在游戲中的實際場景,比如相對本地玩家的位置,距離和有無障礙物阻擋等進行對應的音效處理,處理后的數據經過Wwise混音后在本地設備播放。
具體的游戲場景中,比如隊友A站在本地玩家的左前方,那么他聽到隊友A的聲音就是在左前方發出來,隊友B跳到一個巖石后邊,那么他聽到隊友B的聲音就是經過巖石阻擋并折射出來的聲音,同時隨著隊友接近或者遠離聽者,對應的聲音也會被增強或者衰減。
下行鏈路處理流程
這種基于游戲場景處理過的語音不再像傳統獨立語音SDK那樣只能提供“語音會議”般的游戲體驗,而是把語音體驗提升到了更高的層次,即與游戲場景融合的沉浸式語音體驗。下面這個視頻就展示了Wwise-GME方案的一些基本用法,如果用手機觀看Demo視頻,需要戴耳機觀看,因為這里邊運用了雙耳虛擬聲場技術。
視頻中你是第一人稱視角,對面灰色機器人是其他隊友和你通過GME講話,3D,變聲和混響等都運用到語音聊天處理當中,視頻中的所有語音都是實時錄屏遠端玩家發送的語音,而并非后期合成制作。
Wwise+GME:3D、變聲、環境混響效果
(點擊播放,Demo中運用雙耳虛擬聲場技術,需要戴耳機感受最佳效果,順便練習下英語聽力~)
Wwise-GME方案這種獨特的設計使語音作為游戲音效設計的一部分成為可能,這里列出筆者想到的一些可能的語音處理,更多的玩法期待音頻設計師的創作。
發送環境聲音或伴奏音
GME提供的不單單是發送玩家語音的能力,還具備發送其它音頻流到語音服務器的能力。這個能力最顯而易見的應用場景就是卡拉OK了。對于游戲來說,試想這樣的游戲場景,玩家在游戲中的角色處在雨中或者風中,當玩家和隊友通話的時候,沉浸式的體驗就需要把雨聲或者風聲適當的混音到語音當中。當然還有一些其它的應用場景,比如根據玩家在游戲中的進程發送一些聲音Emoji增加語音的趣味性。
模擬語音的反射衍射等處理
沉浸式的語音體驗一定要把語音的渲染和游戲的實際場景結合起來考慮。本文之前提到的質地、衰減、變聲、混響以及3D定位處理只能算是初階的處理,為了更好的模擬游戲場景中說話人與聽者的語音傳輸路徑,Wwise提供的反射、衍射、聲籠和阻擋模型同樣可以用來處理隊友之間的語音,這些處理的效果正是元宇宙(Metaverse)對語音的終極體驗。
人物性格和狀態處理
為了增加游戲語音的趣味性,根據玩家在游戲場景中的一些性格和狀態變化也可對其語音做一些特定設計的DSP處理。比如在游戲中的玩家被對手擊打掉血,那么語音上做一些失真,延遲或者顫音處理表明玩家的痛苦狀態,再比如玩家PK掉了對手或者拾到了寶貝,就對語音做一些高通濾波或者語音加速處理,從而體現玩家的興奮程度等等。
側鏈的處理
側鏈是混音制作過程中必不可少的處理手段,其基本原理就是用一路信號控制另一路信號。游戲中加入語音功能是為增加游戲的社交屬性,語音必須要清晰地傳遞到聽者,當有玩家說話時候,游戲聲音混音的焦點就應該落到語音上而不是游戲本身的音效,這就類似收音機電臺的做法,DJ要講話時會讓播放的音樂音量降低些,等講完了話就把音量恢復。
Wwise-GME方案把語音流全部送入了Wwise總線使這種處理在游戲場景下也成為可能,比如在接收的語音處設置一個Wwise Meter,然后根據這個Meter的值動態的控制其它音效的音量大小。
下面這段視頻是Wwise的開發商Audiokinetic聯合GME制作的Demo視頻,其中展示了比如聲音反射,阻擋和側鏈對GME語音的處理。視頻中展示了第一人稱第三人稱和俯視圖視角,綠色機器人是隊友和你通過GME講話,隨著機器人所處的位置和環境變化,對應的處理就會施加到語音上(處理細節字幕有描述),這樣處理過的語音聊天會讓人有身臨其境的感覺。同樣,視頻中的所有語音都是實時錄屏遠端玩家發送的語音,而并非后期合成制作。
Wwise+GME集成效果
(點擊播放,Demo中運用雙耳虛擬聲場技術,需要戴耳機感受最佳效果~)
游戲語音解決方案GME和音頻引擎中間件Wwise,兩個產品各自可以從不同的角度提升游戲的品質,GME增強了游戲的社交屬性,從而增加游戲對玩家的粘性。
Wwise音頻引擎大幅提高了游戲中互動音效的開發效率,并且提高了游戲中的聲音體驗。當游戲語音解決方案GME遇到音頻引擎Wwise時,GME填補了Wwise生態在語音方面的空白,兩者在一起必然會產生出一加一大于二的效果,相信它們的融合方案Wwise-GME會成為游戲音效設計師的強有力工具,為游戲中創造最好最真實最富有創意的聲音。
目前,Wwise+GME語音插件已上架Wwise官網并對全行業開放。
01 Wwise+GME方案后續還有操作詳解和創意征集活動,福利多多,大佬云集,歡迎持續關注我們!
02 對Wwise+GME方案感興趣,可掃碼關注公眾號回復「聯合方案」加入交流群
總結
以上是生活随笔為你收集整理的Wwise + GME游戏语音方案:解锁更多语音玩法,让玩家“声临其境”的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 一个完整的c语言程序~~简单的实例
- 下一篇: 甘特图怎么做项目进度计划