业界首发丨网易云信虚拟人解决方案,首创客户端+云端双渲染技术
元宇宙,依然還在持續升溫。
幾個月前,坐擁全球 20 億用戶的 Facebook 高調更名改姓,宣布將元宇宙刻進公司長遠的發展基因;普華永道給出預測,為2030年的元宇宙產業賦予了高達1.5萬億美元的市場規模;甚至前不久的春晚小品舞臺上,沈騰也面對著全國觀眾發出靈魂一問:知道啥是元宇宙嗎?…
凡此種種,無不展現著元宇宙獨一無二的熱度與魅力。
全民皆知的元宇宙究竟是什么?簡單來說,可以將其理解為一個平行于現實世界的虛擬空間,用戶能夠以虛擬“化身”穿梭自如,構建自己的“王國”。此外,作為互聯網的下一站,元宇宙也將顛覆社交、娛樂、辦公、城市等生活生產的各個形態。
元宇宙放飛想象
核心問題亟待解決
毫不夸張地說,元宇宙徹底引發了資本圈和科技圈的熱潮,引爆了下一個信息互聯時代的想象,通過虛擬與現實的完美連接和互通融合,構建理想的虛擬世界。
但“再造一個世界”是個宏大的命題,難度遠比想象的更高,需要解決的技術難題也更復雜多樣。
網易云信認為,在構建元宇宙的過程中,“人”與“路”是最為核心的兩個問題。
“人”指的是虛擬人,與現實世界中人類完成各項活動一致,在元宇宙世界,虛擬人代表了個體可辨識的形象和身份,也是各項生活生產活動的載體。“路”則是指通信技術,現實世界中,人們通過四通八達的交通路網前往想去的任何地方,而在元宇宙世界,通信技術便是最重要的底層基礎設施,也是實現互聯互通的必經之路。
虛擬與真實的鴻溝如何逾越?網易云信帶來了良策。
網易云信握緊現實
正式發布虛擬人解決方案
針對上述亟待解決的兩大核心難題,網易云信聯合網易伏羲經過長時間的反復打磨驗證,正式發布虛擬人解決方案。
該方案依托于網易云信強大的音視頻傳輸、直播、即時通訊等能力及網易伏羲虛擬人技術,為各大行業與場景提供可靠的能力支持,助力構建全新的虛擬世界。可應用于沉浸式會議、虛擬主播、電商直播、數字人客服、元宇宙社交等多樣場景,為用戶提供更實時、更可靠的沉浸式體驗。
網易云信虛擬人解決方案架構圖
雙渲染技術
滿足不同場景所需
與市場上的虛擬人方案相比,該方案為用戶提供了更加豐富、更加貼合市場的實現方式,同時支持客戶端和云端雙渲染技術方案,以滿足不同客戶和場景的實際需求。
具體而言,客戶端渲染方案是在端側將虛擬人模型數據解析,再通過網易云信自研的 NERTC 技術和 WE-CAN 傳輸網絡將解析后模型數據傳至遠端,遠端接收后重新渲染并輸出虛擬人音視頻畫面。此方案可進一步降低企業帶寬和虛擬人渲染成本。
而云端渲染技術則是在云端完成虛擬人的模型數據解析和渲染,無需借助額外的動捕設備即可將真人多種臉部表情和復雜動作高精度還原到虛擬人身上,可以支持喜怒哀樂、擠眉弄眼等豐富表情及點贊、比心、數字比劃等復雜動作手勢;同時可支持 AI 驅動的 3D 動畫合成和渲染能力,用戶可以根據輸入的語音或文字,合成 3D 虛擬人物的口型表情、動作手勢,口型完全匹配,整體自然連貫,符合節奏和語義,滿足非真人驅動場景。
全鏈路服務
助力應用秒上線
網易云信聯合網易伏羲提供了從虛擬人形象定制、虛擬人形象編排、虛擬人直播互動服務到虛擬人商業活動運營等全鏈路服務。企業客戶可將符合要求的形象素材加載到虛擬人形象編排服務平臺,從而實現一鍵捏臉、著裝更換等能力,無需自行完成人物建模、原畫設計、渲染引擎適配等繁雜工作,大幅降低企業開發成本,也為應用提供了更豐富多樣的可玩性。
除此之外,網易云信虛擬人解決方案還具備以下六大優勢:
01. 虛擬形象多元化
網易云信聯合網易伏羲和超次元等,覆蓋了卡通、二次元、寫實等多元化風格的虛擬形象,可高精度還原表情和軀干動作,提供涵蓋人物設計、3D制作、內容制作、IP運營、數字化周邊、商業演出的全流程服務能力。
覆蓋多元化風格的虛擬形象
02. 終端準入低門檻
網易云信虛擬人解決方案僅需一臺普通手機或具備音視頻采集能力的終端即可暢玩體驗,兼容市面上主流的智能手機,無需其他動捕設備,大幅降低了終端準入的門檻。
03. 接入方式便利化
網易云信虛擬人解決方案將虛擬人和音視頻能力在技術層面深度結合封裝,用戶僅需對接一個 SDK 即可同時擁有虛擬人、RTC、直播等多項能力。相比于市面上其他虛擬人方案,用戶不必再分多次單獨對接,快捷便利的接入方式顯著提升了接入效率。
04. 多平臺 強適配
網易云信虛擬人解決方案目前已覆蓋 Android、iOS、Web、小程序等多個主流平臺,支持原生、web、unity 等開發框架,且平臺之間全面互通,滿足不同用戶接入需求,具備強適配能力。
05. 低延時 高并發
針對元宇宙中必不可少的“實時互動”場景,網易云信 WE-CAN 全球智能路由網絡可堪大用。
面對遍布全球的龐大用戶、復雜多樣的網絡環境、良莠不齊的終端設備,WE-CAN 可穩定提供全球范圍內毫秒級延時的實時互動能力,通過智能路由網絡擇優選擇最佳路線,百毫秒內觸達全球數百個國家和地區,為 99.9% 的通話提供無卡頓的音視頻服務,完美支持虛擬人解決方案的媒體流、IM 消息、信令及通用數據傳輸。同時支持千萬級高并發,讓信息傳輸暢通無阻,讓交流互動零距離。
WE-CAN 全球智能路由網絡分層圖
06. 首創720度空間音效
網易云信首創 720 度空間語音效果,并創新性地將其融入虛擬人解決方案,可根據虛擬人的空間方位呈現不同的空間聲音效果。相比于通常的 360 度語音,720 度空間語音效果進一步豐富了垂直方向上的音頻感受,同時結合語音收發端 720 度轉向場景,即使在虛擬世界也能擁有真實世界般的通話感受和交流體驗。
絕知此事要躬行
聚焦各個場景實踐落地
好的方案需要不斷的場景實踐打磨才能更進一步,絕知此事要躬行,網易云信深諳此道。
目前,網易云信虛擬人解決方案已在諸多場景廣泛應用,在網易伏羲研發的沉浸式活動系統“瑤臺”、志在“讓美好生活觸手可及”的網易嚴選直播間、虛擬偶像及虛擬空間應用運營商超次元虛擬演出中,你都能看到來自網易云信的虛擬人“上崗就業”。
網易瑤臺是網易伏羲打造的沉浸式活動系統,能夠支持用戶在構建的虛擬世界中一起工作、學習和會議,體驗與眾不同的線上活動。網易云信助力實現隨時根據話題切換到私密小房間溝通的能力,同時保證接收者同時在多個房間收聽聊天內容,此外用戶還可以選擇向任意房間中發布音頻。
通過大型的虛擬場景,瑤臺幫助企業級用戶解決傳統視頻會議無法滿足的多場景、多互動、重體驗的訴求。
不久前舉行的網易云音樂上市“元宇宙敲鑼”就是在瑤臺中進行的。網易云信為此次儀式提供穩定、可靠的音視頻通話和直播能力,為用戶打造了高沉浸感、高互動性的“云敲鑼”體驗。
網易云音樂“元宇宙敲鑼”儀式
近兩年,直播電商快速發展,具有流量結構性紅利,實時互動的購物形式帶來了極高的轉化率和交易效率。作為網易旗下受新中產喜愛的生活方式品牌,網易嚴選始終力求給客戶最優質的商品。
網易嚴選直播間應用了網易云信虛擬人解決方案,通過集成了網易云信音視頻傳輸、直播和 AI 虛擬人能力,打造了新一代的虛擬電商直播間。該直播間支持 7X24 小時不間斷直播帶貨,降低了直播間的主播人力成本,同時虛擬帶貨主播能夠智能應答觀眾,增加了電商直播的趣味性,大大提升了GMV。
網易嚴選虛擬人直播間
超次元是一家綜合型虛擬偶像及虛擬空間應用運營商,旨在打造國內一流的3D沉浸式虛擬應用平臺,服務更多的企業和個人,共同構建元宇宙生態。
通過與網易云信在虛擬直播、虛擬演出領域的合作,超次元成功落地了多個全息演出項目。依托網易云信自研的大規模分布式傳輸網絡 WE-CAN,完成項目底層音視頻傳輸,將端到端延時控制在 200 ms 以內,極大提升了傳輸質量。憑借超次元一體化全棧式虛擬偶像及虛擬空間應用服務和網易云信低延時、高并發的直播、音視頻通話等能力,雙方將在技術、內容、運營、商業化等各環節打造行業領先的專業服務水準。
圖片來源:x-Horizon及超次元
小 結
盡管當前元宇宙仍處于產業初期的雛形階段,但得益于人工智能、5G、云計算、實時互動等關鍵技術的快速更迭,元宇宙發展將逐漸深入,互聯網和整個世界邁向數字化、虛擬化的進程也會不斷提速,虛實結合的趨勢是客觀存在的。網易云信始終保持著對前沿技術的布局,也期待與每一位行業伙伴共同思考和探尋未來社會的發展。
點擊閱讀原文
即可免費試用>>>
總結
以上是生活随笔為你收集整理的业界首发丨网易云信虚拟人解决方案,首创客户端+云端双渲染技术的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 网易云信AI音频最新研究成果获世界顶级学
- 下一篇: 网易云信携手武汉三好教育,共筑教育援疆的