Google Lyra Android版开源 支持3kbps语音聊天
正文字數(shù):1577 閱讀時長:3分鐘
Google Lyra Android版本今日開源,是否還會引發(fā)爭議?
?最新消息:Google于今日發(fā)布了Lyra音頻編解碼器Android開源版本。
據(jù)悉,開源發(fā)布的Lyra代碼是用C++編寫的,以提高速度、效率和互操作性,使用了帶有Abseil的Bazel構(gòu)建框架和GoogleTest框架進行全面的單元測試。
前不久,Google推出的Lyra音頻編解碼器——是一種用于語音壓縮的新型超低比特率編解碼器。其在于能給在每秒3kb的網(wǎng)絡(luò)寬帶為用戶提供自然清晰的語音聊天,還可在僅90ms延遲的情況下在從高端云服務(wù)器到中端智能手機的任何設(shè)備上運行。(有關(guān)Lyra的詳細介紹請瀏覽:在3kbps的帶寬下還能清晰地語音聊天?)
?
對此,我們查閱了Google的官方Lyra推送文章,瀏覽了文中所載的相同視頻分別在原版、Opus@6kbps和Lyra@3kbps帶寬下的音頻質(zhì)量對比(如下所示)。通過瀏覽對比,可以明確感知到Lyra在3kbps帶寬情況下,雖然比特率降低為Opus的一半,但其音頻的輸出質(zhì)量卻優(yōu)于Opus。我們著實被Lyra的音頻輸出質(zhì)量所驚艷。以下分別是原版參考?- Opus@6kbps - Lyra@3kbps 視頻中的語音對比:
?
原版參考視頻
Opus@6kbps
Lyra@3kbps
?
因此我們聯(lián)系到了負責(zé)Lyra音頻編解碼器研發(fā)工作的產(chǎn)品經(jīng)理Jamieson Brettle以及主管工程師Jan Skoglund進行了一次郵件采訪。雖然僅是一次簡短的采訪,但是從字里行間中可以看出谷歌團隊對Lyra音頻編解碼器的音頻生成質(zhì)量充滿了信心。
?
以下內(nèi)容由LiveVideoStack與Jamieson和Jan的采訪整理而成。
?
Q?、Lyra是如何做到在比特率低到3kbps的情況下,依然能輸出高質(zhì)量的語音?
首先,Lyra的目的并不是傳輸語音信號本身,而是提取少量的關(guān)鍵特征,使得模型可以利用這些特征來合成語音。這些特征可以被高度壓縮,但不會失去產(chǎn)生高質(zhì)量語音的能力。
?
Lyra是用于產(chǎn)生語音信號的,當輸入信號中存在語音時,該模型可以很好地進行語音再生。
?
Q?、Lyra為什么以3kbps為節(jié)點?
其實,我們的目標是在傳輸語音時盡可能地少用數(shù)據(jù),并且即使在最惡劣的網(wǎng)絡(luò)條件下也能進行實時通信。我們也都知道雖然Opus能以6kbps這么低的速率滿足在2G網(wǎng)絡(luò)上進行通信,但是其音頻質(zhì)量卻下降了。
?
而我們對Lyra進行了調(diào)整,使其能夠在一半的數(shù)據(jù)(3kbps)下工作,同時在這個非常低的比特率下可以提供比Opus更高的音頻質(zhì)量,并且能夠運行在我們的目標設(shè)備上。
?
Q?、Lyra目前的應(yīng)用范圍與具體的應(yīng)用場景有哪些?
目前,我們專注于確保即使在最糟糕的網(wǎng)絡(luò)狀況下Lyra也能讓用戶進行高質(zhì)量的端對端語音通話。
?
Q?、Lyra的下一步計劃是什么?
Lyra的下一步計劃是為Android開發(fā)一個開源的編解碼器,并且我們將開始關(guān)注更多的操作系統(tǒng)和硬件目標。我們相信,我們所做的研究作為下一代音頻編解碼器的基石,可以應(yīng)用于比實時語音更多的用例。
?
由此可以看出,Lyra的目標是幫助那些所處網(wǎng)絡(luò)狀態(tài)惡劣,2G網(wǎng)絡(luò)或有線撥號連接的用戶提供高質(zhì)量的語音通話,以滿足用戶對語音通話的最基本需求。除此之外,據(jù)悉Google團隊還提出Lyra與AV1相結(jié)合,將比VP9的編碼效率提高了約40%,并且用戶可以通過56kbps的撥號調(diào)制解調(diào)器連接到互聯(lián)網(wǎng)實現(xiàn)視頻聊天。
?
但是有媒體也對此提出了質(zhì)疑:AV1與Lyra的組合對于使用2G網(wǎng)絡(luò)的手機用戶來說是行不通的,因為這類手機無法支持AV1所需的處理。
?
對此,Google Lyra項目的相關(guān)負責(zé)人也有回應(yīng):Lyra并不要求用戶使用的一定是5G智能手機,只是需要有一定計算能力的智能手機。在很多發(fā)展中國家市場,我們注意到,這幾年即使是中低端手機的計算力也在快速提升。
?
另外,負責(zé)人還提到:在很多歐美市場即使是服務(wù)商無限制的數(shù)據(jù)計劃,用戶通常每個月只有1GB或2GB的高速數(shù)據(jù),之后的網(wǎng)絡(luò)速度一般會降到64kbps-128kbps, Lyra和AV1對這些用戶也會有非常有價值。
?
對此,僅個人認為:有爭議也好,有質(zhì)疑也罷。對于一個新產(chǎn)品來說都需要經(jīng)歷時間與實踐的打磨和積累,用戶的使用反饋,才能不斷提升。所以不要急,現(xiàn)在Lyra開源只是剛剛開始,我們還會持續(xù)關(guān)注。
關(guān)于Lyra開源詳情:
https://opensource.googleblog.com/2021/04/lyra-enabling-voice-calls-for-next-billion-users.html?m=1
Lyra開源代碼:https://github.com/google/lyra
LiveVideoStackCon 2021?上海站
時間:2021年4月16日-4月17日
我們準備好全新的內(nèi)容,在上海歡迎您的到來
點擊【閱讀原文】了解更多詳情
總結(jié)
以上是生活随笔為你收集整理的Google Lyra Android版开源 支持3kbps语音聊天的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 开启未来十年的编码技术之门
- 下一篇: 【网络传输与RTC】