降低网络拥塞，追求美好体验——对话拍乐云首席科学家章琦
??編 者 按?
成立于2019年，拍樂云是國內(nèi)第一家視頻會議背景的實時互動通信云服務(wù)提供商，匯聚了一大批專注于音頻、視頻、白板、網(wǎng)絡(luò)、AI等領(lǐng)域的資深技術(shù)專家。在過去兩年間，拍樂云一直致力于幫助用戶實現(xiàn)高清、穩(wěn)定、易用、低時延的實時互動。隨著5G和AI技術(shù)的發(fā)展以及全球疫情的影響，音視頻應(yīng)用場景日益多變，拍樂云如何用更好的產(chǎn)品體驗為用戶提供完善的解決方案？LiveVideoStack近日采訪了拍樂云首席科學(xué)家&合伙人章琦老師，他將從產(chǎn)品、技術(shù)挑戰(zhàn)、應(yīng)對策略以及AI賦能等角度和大家聊聊他對音視頻技術(shù)的理解和展望。章琦老師也是LiveVideoStackCon北京站的嘉賓講師，將在會上為我們帶來精彩的演講。
講師介紹：章琦，拍樂云首席科學(xué)家&合伙人。浙大數(shù)學(xué)系碩士畢業(yè)，20年視頻開發(fā)經(jīng)驗，8年WebEx音視頻引擎架構(gòu)師工作經(jīng)驗，OpenH264作者，歷任虹軟、WebEx、網(wǎng)易等公司，精通視頻算法，也精通音視頻工程，主導(dǎo)了多家公司的音視頻引擎架構(gòu)設(shè)計，深入理解人工智能技術(shù)以及其在實時通信領(lǐng)域的應(yīng)用，擁有年服務(wù)千億級分鐘音視頻通話的經(jīng)驗。
?
LiveVideoStack: 章老師，您好，非常高興邀請您接受采訪，您可以跟大家介紹一下您在拍樂云所負(fù)責(zé)的工作嗎？
?
章琦：我在拍樂云主要負(fù)責(zé)音視頻相關(guān)的開發(fā)工作，包括編碼解碼、音視頻引擎、前沿技術(shù)的研究等。除了開發(fā)和管理工作，我也會參與到客戶對接中。因為我們做的是toB企業(yè)服務(wù)，技術(shù)、產(chǎn)品、服務(wù)都很重要，所以會非常關(guān)注技術(shù)支持的對接、用戶的使用反饋。
?
?
LiveVideoStack: 我們看到，拍樂云最近推出了業(yè)內(nèi)首個“線上美術(shù)音視頻方案”，這其中有一項視頻矯正技術(shù)，您能介紹一下這項技術(shù)以及它所用到的算法嗎？
?
章琦：美術(shù)線上教學(xué)場景下，視頻的內(nèi)容以畫布居多。如果要完美呈現(xiàn)畫的內(nèi)容，保證畫的空間比例關(guān)系，對拍攝的角度要求很高，需要將攝像頭對準(zhǔn)畫布正中心，這在實際操作中其實很難，稍有偏差，作品的空間幾何關(guān)系就會變化。為了降低用戶使用難度，我們支持用戶可以隨意拍攝，在拍攝后對視頻進(jìn)行矯正處理，這其中需要關(guān)注攝像頭的拍攝位置和角度，因此需要實時估計采集參數(shù)，然后求解幾何變換矩陣，最后對視頻進(jìn)行處理，同時為了降低大量運算引入的時延，我們還進(jìn)行了GPU優(yōu)化，使整個操作在1毫秒左右，使用戶的體驗更加流暢。
LiveVideoStack: 在互聯(lián)網(wǎng)這條高速公路上，最常發(fā)生的就是網(wǎng)絡(luò)擁塞，所造成的后果就是丟包、延時和抖動，大大降低音視頻的質(zhì)量，在應(yīng)對網(wǎng)絡(luò)擁塞方面，拍樂云是如何做的呢？
章琦：拍樂云應(yīng)對網(wǎng)絡(luò)擁塞的主要手段是帶寬預(yù)測，動態(tài)碼率調(diào)整和自適應(yīng)的FEC、ARQ、PLC等技術(shù)，可以實現(xiàn)在極限場景下依然通話流暢。同時還采用了前向糾錯、丟包重傳和丟包隱藏三大丟包恢復(fù)策略來應(yīng)對擁塞。除了弱網(wǎng)對抗，拍樂云還自建了Pano Backbone全球?qū)崟r傳輸加速網(wǎng)絡(luò)，解決跨區(qū)域、跨國的鏈路問題，降低擁塞發(fā)生的概率，保障音視頻的通信質(zhì)量。
LiveVideoStack:?您之前講過，所有抵抗弱網(wǎng)的手段都需要付出代價，也可以被認(rèn)為是等價交換。這里的代價指的是什么?
?章琦：這里的代價指的是抗弱網(wǎng)帶來的其他性能的受損。舉例來說，傳輸上的丟包是隨機事件，在數(shù)據(jù)發(fā)送的時候無法得知這個數(shù)據(jù)是否會在傳輸時被丟。前向糾錯編碼雖然具備抗丟包能力，但是它對于數(shù)據(jù)包的保護是比較盲目的，客觀上導(dǎo)致傳輸效率降低。從這個角度上來說，判斷系統(tǒng)的抗弱網(wǎng)能力要避免從單一維度出發(fā)，需要全面考量。
LiveVideoStack: 您認(rèn)為在未來，AI技術(shù)還能給RTC行業(yè)帶來哪些大的變化？
章琦：AI技術(shù)對整個RTC行業(yè)帶來的影響必然是非常深遠(yuǎn)的，客觀地說，以深度學(xué)習(xí)為代表的AI技術(shù)的發(fā)展與成熟，對音視頻關(guān)鍵技術(shù)的突破提供了另一個有希望的方向。有些使用傳統(tǒng)技術(shù)無法解決的問題，可以通過與AI技術(shù)的融合，大大降低問題解決的難度。無論是RTC行業(yè)的核心音視頻編解碼，還是其他一些音視頻處理和增強技術(shù)，比如現(xiàn)在比較熱的音頻降噪、 視頻超分、對象分割識別等，在AI的加持下，都獲得了突破。
?
LiveVideoStack: 您是浙大數(shù)學(xué)系畢業(yè)，是什么樣的機緣巧合使您踏上了音視頻這條路？
章琦：我的碩士研究方向是數(shù)字圖像處理，三年求學(xué)期間，受益于我的導(dǎo)師葉懋東老師匪淺，只可惜當(dāng)時的想法不夠成熟，在數(shù)學(xué)這個方向的學(xué)習(xí)上未能理解葉老師的深意，至今覺得遺憾。讀研期間，我還參與了信電系信息與通信工程研究所劉濟林和王興國老師的一些研究項目，他們是國內(nèi)比較早研究視頻編解碼技術(shù)的團隊，在技術(shù)上，受陳國斌博士師兄影響比較大， 可以說他們幾位都是我踏上音視頻開發(fā)這條路的貴人。
?
LiveVideoStack: 在音視頻領(lǐng)域深耕這么多年，您能預(yù)測一下，下一個音視頻技術(shù)發(fā)展趨勢在哪里嗎？
章琦：深度學(xué)習(xí)、虛擬現(xiàn)實技術(shù)、3D視頻等等。深度學(xué)習(xí)在前面已有回答，這里不再贅述。虛擬現(xiàn)實和3D視頻會依賴于相關(guān)硬件技術(shù)的成熟，我相信這一天不會太遠(yuǎn)了。
?
LiveVideoStack: 我了解到您平時很喜歡閱讀，如果讓您分別推薦一本音視頻領(lǐng)域內(nèi)的技術(shù)書，和一本行業(yè)外的其他類型的書，您會推薦哪兩本？
章琦：第一本書我想推薦 Write Great Code Volume 2: Thinking Low-Level, Writing High-Level。這本書的作者是Randall Hyde，他的另一本久負(fù)盛名的作品是The Art of Assembly Language。不推薦The Art of Assembly Language 的原因是大多數(shù)同學(xué)都不會有寫匯編代碼的機會。不過不需要寫匯編代碼，并不表示你不需要掌握相關(guān)的知識，對音視頻開發(fā)來說，代碼執(zhí)行的效率是非常重要的指標(biāo)。不過實際工作中，我發(fā)現(xiàn)有相當(dāng)比例的同學(xué)都不注意代碼執(zhí)行的效率。可能也是不具備相關(guān)的知識和感覺. ?這本書是匯編語言的大家信手拈來之作，可以幫助你從匯編的角度來審視高級語言，理解軟件是如何在CPU上運行的，從而寫出高效且漂亮的代碼。
?Write Great Code Volume 2:?Thinking Low-Level, Writing High-Level
第二本書我想推薦的是《中的精神 – 吳清源自傳》, 在圍棋這個圈子中，吳清源是以昭和棋圣之名享譽于世的大人物。他擊敗了所有日本的一流棋手，將他們的對局棋分降為先相先或讓先，獨步日本棋壇二十余年。但是這樣一位高高在上的大人物，他的生活卻相當(dāng)清貧。與之對照的是他的精神世界非常豐富，舍棋之外，別無他物。金庸說他最佩服的人里，古人是范蠡，今人是吳清源。這本書就是吳清源精神世界的最好寫照。
《中的精神：吳清源自傳》
?
LiveVideoStack: 您將參加9月份在北京的LiveVideoStackCon音視頻大會，那么在會上您會帶來哪些令人期待的內(nèi)容？
章琦：我會分享拍樂云視頻編碼器的設(shè)計實踐以及針對實時視頻系統(tǒng)應(yīng)用場景落地的一些優(yōu)化策略。
大家知道，實時視頻系統(tǒng)對于時延的要求極高，所以視頻編碼器必須滿足實時性的要求。現(xiàn)代編碼器在 Rate-distortation 性能的提升上是以復(fù)雜度的上升為代價的，當(dāng)前應(yīng)用設(shè)備的碎片化非常嚴(yán)重、設(shè)備的運算能力差異巨大，這些都是新技術(shù)落地實時音視頻系統(tǒng)將面臨的挑戰(zhàn)。所以我想分享下我們在設(shè)計實時視頻編碼器時，在平衡復(fù)雜度和實時性上的一些考量。
?
LiveVideoStack: : 好的，謝謝您接受采訪，期待您在2021LiveVideoStackCon北京站的精彩演講！
?
編輯：Alex
LiveVideoStackCon2021北京站火熱報名中！
詳情請掃描圖中二維碼或點擊閱讀原文了解大會更多信息。
總結(jié)
以上是生活随笔為你收集整理的降低网络拥塞，追求美好体验——对话拍乐云首席科学家章琦的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： B站直播中HLS和去中心化P2P的实际应
- 下一篇： 未来，让我们一起想象— “Imagine