音视频、AI和5G等技术在东京奥运会中的应用
?
?
?
OBS（奧林匹克廣播服務公司）一直不斷嘗試將新的數(shù)字科技應用到奧運賽事中。今年的東京奧運會，它將展示大部分科技。OBS承諾為全球觀眾呈現(xiàn)一場擁有豐富數(shù)據(jù)的視覺盛宴，其中IP、云、5G和人工智能都打破了廣播制作的傳統(tǒng)框架，改變了內(nèi)容交付和觀眾體驗的基礎，讓觀眾即使不親臨現(xiàn)場觀看比賽也能獲得最逼真的體驗。
?
OBS計劃在兩周內(nèi)制作9500小時的內(nèi)容（其中3800~4000小時為現(xiàn)場直播）。為了實現(xiàn)最沉浸式的電視賽事觀看體驗，OBS使用了如下科技：
?
原生超高清HDR畫質(zhì)
?
東京奧運會是史上第一屆全部使用原生超高清 HDR（High-Dynamic Range，高動態(tài)范圍圖像）制作的奧運會。“這項技術已然成熟，我們相信它已為東京奧運會做好準備。” 首席技術官Sotiris Salamouris說道。“但也不能掉以輕心，尤其在我們的制作環(huán)境中，需要將非常多的移動部分組合在一起。”
?
42個奧運會比賽場館中， 31臺主辦國實況轉(zhuǎn)播車和22套便攜式衛(wèi)星傳輸系統(tǒng)全部配備支持超高清 HDR的設備。
本次東京奧運會中國廣播電視總臺派出的的大型超高清轉(zhuǎn)播車（By? CGTN）
?
只有7個室外網(wǎng)球場將保留高清制作，同時OBS還將使用幾臺支持高清 SDR（Standard Dynamic Range，標準動態(tài)范圍）的專業(yè)攝像機。來自這些渠道的視頻將被轉(zhuǎn)換為超高清 HDR效果，并整合到主要制作中。
?
這些超高清HDR信號將和高清SDR信號在一路視頻流中進行傳輸。OBS通過在一個HDR/SDR工作流里這樣操作，將使轉(zhuǎn)播車能夠輸出從超高清HDR轉(zhuǎn)換而來的高清SDR畫面。為了支持這些信號在contribution network（指用于為媒體廣播網(wǎng)絡收集內(nèi)容的系統(tǒng)）中傳輸，OBS新建了一個完整的IP化基礎設施。完整的ST-2110標準平臺部署在國際廣播電視中心，用于承載、傳輸、分發(fā)超高清內(nèi)容。
?
OBS還新建了一系列色彩對應表（LUT），最大化提升全部交叉轉(zhuǎn)換（從UHD到HD/從HDR到SDR）之間的畫面質(zhì)量。其中使用的HDR標準是HLG（Hybrid-Log Gamma，混合對數(shù)伽碼，HDR的一個標準）。OBS表示，通過獲取超高清HDR中的內(nèi)容，或者上變換超高清HDR然后再下變換，最終的高清信號將在所有平臺提供高質(zhì)量視頻（質(zhì)量高于標準高清視頻）。
?
?
音效提升
?
超高清同樣意味著音效升級——達到標準的5.1.4配置，這可以讓觀眾擁有更真實的音頻體驗。賽場天花板將懸掛4個可以調(diào)節(jié)高度的麥克風來獲取頭頂上方的聲音，從而增強5.1環(huán)繞聲。其中兩個麥克風是特地為這次的沉浸式音效體驗設計的。OBS在此次奧運會將使用3600個麥克風（28種不同型號）。
?
?
云
?
隨著與阿里巴巴合作推出OBS Cloud，OBS將繼續(xù)推進數(shù)字化轉(zhuǎn)型。“這將大大提高持權轉(zhuǎn)播商的運營效率：更高效的產(chǎn)出，更低的成本（地面上的人數(shù)將減少）。這是重大創(chuàng)新。”O(jiān)BS的CEO Yiannis Exarchos說道。
OBS CEO Yiannis Exarchos
?
首席技術官Salamouris提到很多廣播專業(yè)人士不太愿意將云用于密集的內(nèi)容制作流程，尤其是體育賽事直播中。“我能理解他們的猶豫不決。但由于我們的工作流對于高帶寬、大存儲和低延遲的需求，這種轉(zhuǎn)變是必然要發(fā)生的。”
?
云工作流將很可能會成為未來賽事的重要組成部分。“全面轉(zhuǎn)向云技術仍處于早期階段，東京奧運會將邁出第一步。它在接下來的2022北京冬奧會將會得到更廣泛的應用。”Exarchos指出。
?
??AI
?
作為一種對未來科技演變的測試方式， AI主導的解決方案將在東京奧運會直播工作流程中出現(xiàn)。其中包括基于運動員識別的AMD（ Automatic Media Description，自動媒體描述）試行方案。基于運動員的號碼布，該項目將結合現(xiàn)有數(shù)據(jù)（如直播數(shù)據(jù)流和視頻日志）和圖像識別。除此之外，OBS將使用語音文本轉(zhuǎn)換技術來補充和改進媒體標記。
?
此類應用（比如圖像選擇、自動搜索和剪輯）將使工作流程更加快速、高效地運轉(zhuǎn)。到2022年的北京冬奧會，OBS的目標是將AI技術應用到盡可能多的體育項目中，并向持權轉(zhuǎn)播商開放服務。
?
OBS 廣播工程總監(jiān) Guillermo Jiménez 解釋說：“我們可以根據(jù)用戶偏好定制自動提供的內(nèi)容（來自國際奧委會、運動員或者比賽項目），”這意味著，內(nèi)容將自動推送給廣播公司，而不是他們?nèi)ニ阉鲀?nèi)容。
?
“以往的視頻標記，OBS會訓練來自主辦國的學生，讓他們來完成線上的實時標記。我們通常會雇大約120人來標記視頻源，但即使雇了這么多人，還是不夠。”Salamouris 說。“他們只能做這么多，不可能標記一切。AI 技術將標記數(shù)量提升到一個新的水平。”
?
“此外，我們只對實時報道進行記錄和標記，這僅僅是因為我們目前無法記錄和標記奧運會期間制作的其他類型的內(nèi)容，如ENG （Electronic News Gathering，電子新聞采集系統(tǒng)）中的報道內(nèi)容。對于所有非直播內(nèi)容，我們的標記范圍非常有限。”
?
東京奧運會以及接下來的北京冬奧會，OBS將驗證AI技術概念——它將識別哪些運動員在何時、何地出現(xiàn)。廣播公司希望使用以他們本國運動員為主的鏡頭片段，但是數(shù)百小時的視頻中搜索特定內(nèi)容是一項非常艱巨的任務（如果像ENG那樣，內(nèi)容沒有被密集地記錄下來的話）。
?
如果我們標記所有內(nèi)容，將需要付出巨大努力和雇傭大量的人工操作員。通過使用訓練有素的AI系統(tǒng)，標記可以在短時間內(nèi)完成，同時降低成本，并提高搜索速度和搜索結果的準確性。
?
5G 測試
?
2018年的平昌冬奧會上，OBS測試了5G網(wǎng)絡的性能和質(zhì)量。隨后OBS 再次與英特爾合作，在東京開、閉幕式期間，通過在便攜式新聞攝錄機上試用5G，測量速度及監(jiān)測網(wǎng)絡性能。OBS 將在 2022 年北京冬奧會的轉(zhuǎn)播中進一步采用 5G 技術，屆時所有比賽場館都有望實現(xiàn) 5G 網(wǎng)絡覆蓋。
?
5G 最顯著的應用是通過鏈路聚合技術對現(xiàn)有無線解決方案優(yōu)化。“我們在奧林匹克體育場內(nèi)特定區(qū)域的部分報道將采用5G技術，” Salamouris說。“5G 具有巨大潛力，讓我們在無線和移動視頻覆蓋方面擁有更多選擇，而不會進一步增加我們對臨時分配頻率的需求——這一直是奧運會這樣規(guī)模賽事的主要挑戰(zhàn)之一。”
?
5G還可以與IoT（物聯(lián)網(wǎng)）設備結合使用。比賽期間，這些設備通過傳感器接收到來自運動員的各種信號。
?
解說們對通過5G（與物聯(lián)網(wǎng)傳感器）獲取實時表現(xiàn)數(shù)據(jù)非常感興趣，這些數(shù)據(jù)使他們能更好地進行賽事解說。當然，其他無線技術也能獲取來自傳感器的數(shù)據(jù)，但5G更高效、更強大，可以在極低的延遲下提供超高的數(shù)據(jù)收集速度。有了5G，將不再需要設置覆蓋網(wǎng)絡或臨時系統(tǒng)（這些系統(tǒng)總是影響基礎設施）。”
?
?
數(shù)字覆蓋
?
與 2016 年里約奧運會相比，本次奧運會OBS 的內(nèi)容制作量將增加 30%，其中大部分內(nèi)容將分發(fā)到數(shù)字平臺。這些數(shù)字發(fā)行平臺可以使用多達9000個剪輯視頻以及被稱為Content+的短內(nèi)容，其中包括比賽賽場、奧運村、城市東京的幕后內(nèi)容，以及使用智能手機拍攝的內(nèi)容。除此之外，OBS計劃制作所有比賽項目的快速回放特輯。
?
多機位回放系統(tǒng)
?
包括體操、田徑、極限單車、滑板、運動攀巖和排球在內(nèi)的場地將會放置60~80臺 4K攝像機，每臺攝像機都安裝在一個機器人平臺上，能夠向任何方向精確地平移和傾斜，并由一位操作員遠程控制攝像機的推拉搖移。每次回放，操作員選擇運動畫面被定格的點，并且可以圍繞運動員從一側(cè)到另一側(cè)控制回放，以及在不損失分辨率的情況下放大畫面（多虧了4K 分辨率）。由于回放系統(tǒng)將這些視頻流拼接在一起，并且不必創(chuàng)建填充幀，因此不需要渲染。回放系統(tǒng)五秒內(nèi)就能準備好多機位回放。OBS 表示效果很像電影《黑客帝國》中基努·里維斯躲避子彈。
?
3D運動員追蹤（3DAT）
?
本次直播首開先河，將對以下內(nèi)容提供一種內(nèi)部視角：賽跑項目的比賽結果、運動員表現(xiàn)以及運動員間的相互對比。奧林匹克體育場將在場地內(nèi)安裝四臺云臺攝像機，以實時拍攝短跑運動員的表現(xiàn)。3DAT 技術依賴于可以處理大數(shù)據(jù)的海量算力，這些算力托管在阿里巴巴云基礎設施中基于英特爾的數(shù)據(jù)中心。OBS能夠在短時間內(nèi)交付這些新的分析數(shù)據(jù)（作為多層視頻流的一部分），如visual overlay（指節(jié)目制作里的虛擬在線包裝層）將向觀眾顯示每個短跑運動員達到最高速度的準確時刻。
?
?
虛擬3D技術
?
運動攀巖在東京奧運會上首次亮相。為了讓觀眾了解該項目給運動員帶來的巨大挑戰(zhàn)，OBS將以3D形式展現(xiàn)攀巖巖點和巖壁。AR 技術將用于（真實）攝像機鏡頭和虛擬鏡頭之間的切換，并生成巖點、巖壁不同角度和路線的虛擬數(shù)據(jù)。
?
?
360°回放
埼玉超級競技場
?
英特爾的True View技術將在本屆奧運會籃球比賽中大顯身手，35臺4K攝像機被安裝在埼玉超級競技場的大廳，用于拍攝體三維視頻（volumetric video）。這些視頻經(jīng)過處理后，可以從球場上的任何角度呈現(xiàn) 360 °回放、全景和定格畫面。OBS將為每場籃球比賽制作多達10個視頻。
?
VR
?
OBS 計劃提供 110 小時的沉浸式 180° 立體和 360° 全景直播，涵蓋開幕式和閉幕式，以及沙灘排球和體操等特定比賽項目（因為在這些項目中，攝像機距離運動員最近）。
?
OBS將在固定位置放置6臺180°立體攝像機，以及一個 360° 攝像機來拍攝奧運會開、閉幕式和比賽。大量比賽中的精彩瞬間和幾乎每個項目的多視角片段都將補充到直播中（其中一些從未被VR獲取到），其中包括運動員穿戴的攝像頭把訓練期間的表現(xiàn)記錄為VOD點播視頻，并讓 VR 用戶體驗成為一名奧運會運動員的感覺。此類視頻將以 180° 和 360° 格式提供給廣播公司用于 VR 服務。
?
8K
?
雖然8K并不是主辦國廣播機構的官方部署內(nèi)容，但自2012倫敦奧運會以來，它已成為奧運會應用未來科技的主要方向。在東京國際廣播中心，NHK 建造了一個 8K HDR 22.2 多聲道劇院，這讓其他廣播公司驚嘆不已。除了東京奧運會的開幕式和閉幕式，OBS和NHK還將提供 8K 超高清直播，包括田徑、羽毛球、足球、柔道、游泳、乒乓球和排球的選定賽事。ENG 工作人員還將用8K制作其他體育項目，包括藝術體操、藝術游泳、3x3籃球、滑板和運動攀巖。
?
?
東京奧運會正在如火如荼地進行中，這幾天前方頻頻傳來捷報，中國運動員在多個體育項目中斬獲金牌。LiveVideoStack祝福中國健兒在接下來的比賽中再接再厲，取得更好的成績！為你們驕傲！加油！
東京奧運會冠軍孫一文、楊倩和侯志慧（By Global Times）
?
翻譯?/ Alex?
技術Review / 王毅敏
原文鏈接：
https://www.ibc.org/trends/the-greatest-show-on-earth-how-obs-plans-to-immerse-viewers-in-the-tokyo-olympics/7720.article
特別說明：本文成稿與東京奧運會之前，所以文中使用將來時態(tài)。原作者Adrian Pennington已授權本文的翻譯與發(fā)布，特此感謝。
總結
以上是生活随笔為你收集整理的音视频、AI和5G等技术在东京奥运会中的应用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： LiveVideoStackCon 20
- 下一篇： QUIC协议的演进之路