金山“云”上音乐节 —— 一文带你看懂如何支持一场线上演出
疫情當下,線上演藝活動受到巨大沖擊,娛樂行業展開一場自救大行動,把演出從線下搬到了線上。
轉到線上的演出目前主要是以直播形式出現在各大直播平臺,比如最近迅速躥火的One Third(OT)云蹦迪、“宅草莓不是音樂節”、”SNH48 云公演”、音樂人的“宅現場”、“云相聲”等。豐富的在線演藝內容讓無法去現場的觀眾感到欣喜和安慰,同時也讓重創中的演藝行業依然保持著活力,并且催生出新的希望。
熱門的線上演出在線觀看人數在幾十萬到上百萬級別不等,演出時長在2小時到5小時不等,觀眾觀看時長在30-50分鐘居多。
比如之前的北京OT(One Third)酒吧 “云蹦迪”,抖音直播長達5個小時,累計在線人數超過121.3萬人,OT累計收到網友們200多萬元的打賞。金山云為這場云蹦迪提供帶寬支持的同時,也算是蹦了場野迪哈哈。
還有今年2月轉到線上的草莓音樂節,可以說是開啟了音樂節的新變種。線上首日40分鐘觀看人數破百萬、最后一天直播間觀看峰值達到了152萬、相關話題閱讀超1.3億。我們也很開心和樂迷朋友一起免費參與了一次音樂節,為草莓音樂節提供相應帶寬技術支持的同時,也有被新褲子圈粉哦~
????:抖動與實時
對于線上音樂節等線上演出這種重大的直播事件,最大的技術難點就是解決CDN分發網絡內部的偶爾抖動問題,每一次內部微小的網絡抖動,都會造成大量的觀眾卡頓、黑屏,非常影響用戶的體驗。
為了給用戶提供極致的觀看體驗,金山云采用了多流擇優技術,即允許同一個直播信號頻道多點同時注入CDN,通過對多個原始信號源的對齊編排,確保信號共存,并通過自研的高敏感度抖動算法,及時感知不同信號源的抖動情況,在毫秒尺度上篩選出最優的信號源作為向下分發的主信號,且支持最優信號源在毫秒級別上平滑切換而不引起跳幀或者重復播放。
對于實時性,金山云主要采用的是智能gop緩存發送算法。傳統的gop緩存發送方式是將節點內部的gop緩存一次性的發送給觀眾,這樣雖然可以減少端上的卡頓率,但卻增大了延時。我們可以通過請求參數、關鍵幀間隔、播放端buffer大小等因素決定發送gop緩存的大小。
此外,直播存在一個特點,就是隨著播放時間的增長,延時會越來越大,金山云分發服務會監控每個播放端的發送緩存區,適時丟棄一些非關鍵數據,來降低延時。
????:畫質增強與AI算法
試想下,當秀場、話劇演出達到高潮時,突然畫面變模糊、或者出現了抖動等,大家的心情會很受影響。金山云正在致力于視頻畫質增強、AI超分算法領域的研究,通過技術來優化畫質。
人工智能是一種非常先進的算法設計理念,利用深度學習技術,基于大數據下學習到的先驗知識,為每個視頻實現更加定制化的精細處理?;谏疃葘W習的評價指標應用前景巨大,也是我們非常看好的方向,在大數據的支持下,這些訓練得到的評價指標可以高效的指導算法的優化。
畫質增強方面,我們將其區分為信號消除,信號增強,與信號生成三類算法。
信號消除負責消除視頻中對視覺效果產生不良影響的部分,包括視頻在采集過程中引入的采集噪聲以及多次壓縮時引入的壓縮噪聲,以及去抖動,去運動模糊等技術。這一類技術的關鍵點在于如何區分有效信息和無效信息方面,如果去噪能力過強,則容易損失有效信息,反之則可能會留下過多噪聲,我們一般采用多個模型加噪聲強度預估的方案進行算法優化。
信號增強主要是將原本存在的信息量放大,比如暗場增強,銳化等技術。金山云的暗場增強的算法不僅可以有效的進行局部增強,還可以很好的避免過曝。同時,自適應銳化算法能夠配合去噪,有效的補充丟失的信息量,而不顯得違和。
信號生成是通過先驗知識,有效的補充原始視頻中并不存在的信息量,利用了GAN網絡來生成細節。其中最有效的是人臉增強,金山云通過分割網絡將眉毛,鼻子,嘴唇,頭發,臉部分割后分別進行增強補償細節。
在提升用戶體驗的算法研發中,最常遇到的問題是如何評價算法效果的優劣、發現算法的不足。
我們也為此建立了完整的主觀評價體系,并稱之為基于感知愉悅度的無參考評價體系,其中包含了如何篩選合理的最具代表性的測試視頻集合,如何有效的設計評價維度,如何測量視頻在不同播放器中的表現,如何提升評測員的評測質量等。
為此打造的KQoE評測平臺(kingsoft quality of experience)目前收集了大規模的評測數據進行訓練,該平臺也已經開始提供給客戶一起使用,以合作的方式進一步優化主觀質量。
此外,我們的“集智高清”相比傳統云轉碼最大的區別在于對視頻質量評價的理念不同。傳統的云轉碼采用psnr來衡量轉碼后的視頻質量,然而云轉碼的輸入視頻本身是帶噪聲的,去除噪聲能讓質量變好,但psnr的評分反而會變低。而“集智高清”采用主觀質量的評價方式,利用預處理和感知編碼等技術,有效地降低了對視覺而言不必要的信息量,從而大幅度降低了碼率。同時,我們利用高效的gpu集群調度算法,保證了在高計算復雜度下,仍然可以支持1080P的實時直播轉碼。
我們目前重點優化的是AV1的編碼器,支持RTMP、HLS、HDL、QUIC等協議,不久的將來也會支持SRT。
????? :VR直播
從2016年在上海舉辦的備受矚目的王菲“幻樂一場”演唱會開始,VR直播在明星演唱會、明星粉絲見面會、文藝匯演、晚會等綜藝節目中也得到了廣泛應用。觀眾通過VR直播可以近距離全方位欣賞自己的偶像, 感覺明星就在自己眼前,還能感受到現場粉絲熱情的歡呼聲、尖叫聲。
同時,VR直播也給主辦方帶來不菲的增值收益。據統計,采用VR直播的方式為此次演唱會額外創收了264萬。
但目前要觀看VR直播并獲得沉浸式的效果,必須佩戴頭戴式的VR設備,而不是僅在手機或PAD上用滑動手指進行全景觀看。
目前消費級VR眼鏡普遍支持的最大硬件解碼分辨率為4K,這限制了超高清全視角VR視頻的在終端上的實時解碼播放?;谝晥鼋?FOV)的VR編解碼和傳輸技術可以突破終端能力的限制,在目前主流的VR眼鏡上觀看8K甚至更高分辨率的VR視頻。
為了在線上演出中有更好的用戶體驗,需要在碼率節省、視角切換延遲、端到端延遲方面進行優化,在提升畫質的同時降低終端的帶寬需求,降低卡頓,提供流暢的沉浸式體驗。
變 :線上與線下
“云“模式助力行業自救,目前是迫于疫情的一種被動轉型,是困難也是機遇。
中國演出行業協會發布信息顯示,據不完全統計,由于突發疫情的影響,2020年一季度各地演出取消或延期場次約2萬場,占一季度總場次的80%以上。造成直接票房損失約24億元,估算其他損失近百億。
線上音樂節的誕生更像是一種“救急”。云演出在一定程度上提升音樂人的曝光率,以線上互動的形式增加粉絲粘性,“宅草莓不是音樂節”首期播出就獲得27萬人次觀看,也算是實現創作端與內容端的共贏。但長遠來看,演出活動的現場氛圍會更為濃厚,且線上直播活動過多過長也會導致受眾注意力分散。
線上線下各有優勢,線下演出+線上直播同步進行,將成為大多頭部藝人演唱會中的普遍模式。我們相信娛樂產業和互聯網結合的探索仍會繼續往前發展,演出方式會更加多元化,線下和線上兩者共生、互補會是娛樂產業的新形態。
編輯:Coco Liang
相關文章:
你今天怎么這么好看——基于深度學習的大型現場實時美顏
總結
以上是生活随笔為你收集整理的金山“云”上音乐节 —— 一文带你看懂如何支持一场线上演出的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 你今天怎么这么好看——基于深度学习的大型
- 下一篇: 用FFmpeg搭建基于CNN的视频分析方